機械学習品質マネジメントガイドラインを公開
―AIシステムに品質マネジメントを導入―

内閣府「統合イノベーション戦略推進会議」で決定された「人間中心のAI社会原則」のほか、OECD、EUなど海外のさまざまな機関からも人工知能（AI）技術の社会受容性に関する提言がなされ、AIシステムの開発やビジネス利用を行う当事者がAIシステムの品質に対して対応を迫られています。また、AIシステムが、自動運転やロボット制御など安全性の確認が不可欠な分野や、個人の融資などの信用管理など公平性が重要な分野など、さまざまな用途で価値を発揮するには、AIシステムを安心して利用できるための品質マネジメントが不可欠です。

しかし、AIシステムは往々にして開発者自身もその複雑さを把握しきれないような環境で用いられることが多く、実在するデータを元に構築するAIシステムは、大きな環境変化に対応できない可能性があります。また、AIシステムは、プログラムによる開発者の直接の指示ではなく、訓練データを用いた学習によりその機能を獲得することから、一般のソフトウェアに比べて品質管理を格段に難しくしています。

これまで多くのAIシステムの性能評価技術が開発・発表され、性能評価技術の適用方法や品質確保上の留意点などが応用事例ごとにまとめられています。しかし、AIシステムの品質の要件定義や、要件を満たすために確認すべきAIシステムの性質とその方法について、システムライフサイクル全般にわたって系統立てて網羅的にとりまとめたガイドラインや規格などはこれまで存在しませんでした。

今回、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託事業として、国立研究開発法人産業技術総合研究所が企業・大学などの有識者と共同で、2018年度からガイドラインの策定に向けた検討を開始し、2020年度に移行した「人と共に進化する次世代人工知能に関する技術開発事業」において、AIシステムの設計開発における品質マネジメントの観点および方法などについてまとめた「機械学習品質マネジメントガイドライン^※1」を公開しました。これによりAIシステムの開発者と利用者でAIの品質要件を合意することができAIシステムのビジネス活用を加速させることが期待できます。

• 機械学習品質マネジメントガイドライン

本ガイドラインは、対象となるAIシステムのライフサイクル全体にわたる品質マネジメントを扱い、AIシステムのサービス提供において求められる品質要求を充足するための必要な取り組みや検査項目を体系的にまとめたものです。

具体的には、機械学習を利用したAIシステムにおける品質について、AIシステム利用時に必要な品質を「利用時品質」、AIシステム中で機械学習要素^※2に要求される品質を「外部品質」、機械学習要素が固有に持つ特性を「内部品質」と定義し、3つに分類しました。内部品質の向上により外部品質が必要なレベルで達成され、さらに最終的な製品における利用時品質が実現されます。

サービス提供者は、外部品質として、（1）リスク回避性、（2）AIパフォーマンス、（3）公平性という3つの軸を設定し、それぞれの要求の強さに応じてレベル分けします。次に内部品質として、【1】要求分析の十分性、【2】データ設計の十分性、【3】データセットの被覆性、【4】データセットの均一性、【5】機械学習モデルの正確性、【6】機械学習モデルの安定性、【7】プログラムの健全性、【8】運用時品質の維持性、の8つから、（1）–（3）の外部品質が充足しているか判断します。つまり、これら【1】–【8】のそれぞれをプロセス管理や数値評価により具体的に確認することで、必要なレベルで外部品質を達成し、最終的な製品の利用時品質を実現します。

本ガイドラインが求める品質マネジメントの対象は、機械学習要素の開発だけではなく、機械学習要素を組み込むAIシステムの品質要件定義、実証実験、開発、保守・運用までのシステムライフサイクル全体に及びます。それぞれのAIシステムの開発事情などに応じて、サービス提供者、システム開発者などのステークホルダーの間で役割分担を定め、これらの品質マネジメントの要求を満たしていくことが想定されています。また、開発作業の受発注・委託での合意形成や検収条件の設定などにも用いられることも想定しています。

なお、本ガイドラインは、AIシステムを利用したシステム・サービスの開発を主導する企業などが、そのビジネスなどへの影響を踏まえて主体的にその採用の有無を選択し、共同開発者などとともに実践するものであって、法令・公的指針などとの関係では非拘束的なものです。

• 
  図　機械学習品質マネジメントガイドライン

今後は本ガイドラインの実ビジネスでの活用とそこからのフィードバックにより、定期的な内容のアップデートを行い、利便性および有用性を向上するとともに、評価方法などについてもさらなる拡張を行います。

また、国内ビジネスにおいてAIシステムの品質マネジメントに広く用いられることによるデファクトスタンダード化を目指します。さらに、本ガイドラインの内容について英語版を作成して国際標準化に向けた提案資料とし、ISO/IEC JTC1/SC42 （Artificial Intelligence）において本ガイドラインの主要な内容について具体的な提案をすることで国際標準化を目指します。

（本ニュースリリースの内容についての問い合わせ先）

NEDO　ロボット・AI部　担当：古畑、仙洞田　TEL：044-520-5242　E-mail：project_coevo@nedo.go.jp

（その他NEDO事業についての一般的な問い合わせ先）

NEDO　広報部　担当：佐藤、坂本、鈴木（美）　TEL：044-520-5151　E-mail：nedo_press@ml.nedo.go.jp