（予告） ハイパパラメータ最適化モジュールコンテストを開催します！

NEDOは深層学習をメインターゲットとして学習率などのハイパパラメータ最適化（HyperParameter Optimization : HPO）［1］のためのHPOモジュールの性能を評価するコンテストを開催します。深層学習のHPOに関する手法は文献［2］が参考になります。

• HPOモジュールは aiaccelで動作するように開発することを求める予定です。
• 開発したモジュールは原則としてソースコードを公開することを求める予定です。
• 成績優秀者には、NEDOの規程に基づき、懸賞金を交付します。

ふるってご参加ください。

なお、以下は現在検討中の内容であり、募集開始時に変わることがあります。

コンテストは予選と本戦の2段階で行います。

【予選】

BBO（Black-Box Optimization）の学術論文で用いられるような複数のベンチマーク関数を用いて精度を評価し、精度の高い上位10チーム程度が本戦に進むことができます。予選は以下のベンチマーク関数を用いて評価します。

• schwefel関数を含む多次元のベンチマーク関数5つ程度で最適化精度の優劣を評価
• 各々の関数で調整するハイパパラメータは5次元程度で実数と整数のみ、カテゴリカル変数は扱わない
• 評価回数は直列相当で100試行程度を想定

【本選】

予選を通過した10チーム程度は本戦に進むことができます。本戦は深層学習のハイパパラメータ最適化［1］で評価します。本選出場者には、ABCI^※1のポイントを一定額付与することを検討しています。

本戦は以下のような実際の深層学習のハイパパラメータ最適化によって評価します。

• 深層学習モデルはWideResNetを含む2つ程度のネットワークモデルのハイパパラメータ最適化を行い最終的にできたモデルの認識精度の優劣を評価
• 使用するデータセットは CIFAR10あるいはCIFAR100を含む3種類程度
• 調整するハイパパラメータ数は学習率を含む5種類程度で実数と整数のみを扱い、カテゴリカル変数は扱わない
• 評価回数は直列で100試行程度を想定

※1　 ABCI：

国立研究開発法人産業技術総合研究所が構築・運用する世界最大規模の人工知能処理向け計算インフラストラクチャ。ABCI（AI橋渡しクラウド：AI Bridging Cloud Infrastructure）と呼ばれる。

成績優秀者には、NEDOの規程に基づき、懸賞金を交付します。

12月末頃開始を予定しています。

決まり次第お知らせします。

［1］

Yoshihiko Ozaki, Masaki Yano, Masaki Onishi, “Effective hyperparameter optimization using Nelder-Mead method in deep learning, ” IPSJ Transactions on Computer Vision and Applications, (2017) 9:20.

［2］

尾崎嘉彦、野村将寛、大西正輝、“機械学習におけるハイパパラメータ最適化手法：概要と特徴、” 電子情報通信学会論文誌、vol.J103-D、No.9、pp.615-631、Sep. 2020.