先般NEDOお知らせにて予告したとおり、ハイパパラメータ最適化モジュールコンテストを開催致します。皆様のご参加をお待ちしております。

なお、本コンテストの運営は、NEDOからの委託により、株式会社SIGNATEが行います。

●コンテストの概要

深層学習をメインターゲットとして学習率などのハイパパラメータ最適化（Hyperparameter Optimization : HPO）［1］のためのHPOモジュールの性能を評価するコンテストを開催します。深層学習のHPOに関する手法は文献［2］が参考になります。

• HPOモジュールは aiaccel で動作するように開発することを求めます。
• 開発したモジュールは原則としてソースコードを公開することを求める予定です。
• 成績優秀者には、NEDOの規程に基づき、懸賞金を交付します。

●コンテスト詳細

コンテストは予選と本戦の2段階で行います。

【予選】

BBO（Black-Box Optimization）の学術論文で用いられるような複数のベンチマーク関数を用いて精度を評価し、精度の高い上位10チーム程度が本戦に進むことができます。予選は以下のベンチマーク関数を用いて評価します。

• Schwefel関数を含む多次元のベンチマーク関数5つ程度で最適化精度の優劣を評価
• 各々の関数で調整するハイパパラメータは5次元程度で実数と整数のみ、カテゴリカル変数は扱わない
• 評価回数は直列相当で300試行程度を想定

【本選】

予選に通過した10チーム程度は本戦に進むことができます。本戦は深層学習のハイパパラメータ最適化［1]で評価します。

評価には、ABCI^※を利用します。

本戦は以下のような実際の深層学習のハイパパラメータ最適化によって評価します。

• 深層学習モデルはMobileNet v3 を含む2つ程度のネットワークモデルのハイパパラメータ最適化を行い最終的にできたモデルの認識精度の優劣を評価。
• 使用するデータセットは CIFAR10あるいはCIFAR100を含む3種類程度
• 調整するハイパパラメータ数は学習率とバッチサイスを含む5種類程度で実数と整数のみを扱い、カテゴリカル変数は扱わない
• 5次元程度のハイパパラメータを最適化する問題を100試行程度で求める問題で評価

• ABCI：国立研究開発法人産業技術総合研究所が構築・運用する世界最大規模の人工知能処理向け計算インフラストラクチャ。
• ABCI（AI橋渡しクラウド：AI Bridging Cloud Infrastructure）と呼ばれる。

●表彰

• 成績優秀者には、NEDOの規程に基づき、懸賞金を交付します。
• 優秀賞5チーム： 賞金70万円（精度を定量評価し、上位5チームを表彰します）
• 奨励賞2チーム： 賞金25万円（アルゴリズムの斬新さ等を、説明資料に基づき評価し、2チームを表彰します）

参考文献

• ［1］Yoshihiko Ozaki, Masaki Yano, Masaki Onishi, Effective hyperparameter optimization using Nelder-Mead method in deep learning,” IPSJ Transactions on Computer Vision and Applications,（2017）9:20.
• ［2］尾崎嘉彦，野村将寛，大西正輝，機械学習におけるハイパパラメータ最適化手法：概要と特徴，” 電子情報通信学会論文誌，vol.J103-D, No.9, pp.615-631, Sep. 2020.

12月16日より、予選の課題のダウンロードを予定しています。

その他、詳細なスケジュールは、株式会社SIGNATEのホームページをご覧になってください。

本コンテストの運営は株式会社SIGNATEに委託することとなりました。

コンテストへの参加は、株式会社SIGNATEのホームページより申し込みください。

株式会社SIGNATEのホームページをご参照ください。