本文へジャンプ

成果報告書詳細
管理番号20170000000766
タイトル平成28年度成果報告書 研究開発評価手法に関する海外動向調査
公開日2017/8/10
報告書年度2016 - 2016
委託先名公益財団法人未来工学研究所
プロジェクト番号
部署名評価部
和文要約 本調査は、NEDOの評価システムの効率化・高度化に資するよう、諸外国の資金配分機関における評価システムや手法等について国際的なベンチマークを行い、そこから得られる示唆をとりまとめたものである。具体的には、着目すべき取り組みを行っている国・地域や機関、事例を選定し、1)対象国・地域の概況調査、2)対象機関における評価システム・手法の調査及び比較、3)インパクト評価事例の整理及び比較分析を行い、最後に4)調査分析から得られた示唆をとりまとめた。
 対象国・地域の概況調査では、米国、EU、ドイツ、フランス、英国、カナダ、スウェーデン、フィンランド、オランダをとりあげ、それぞれについて、1)産業構造の特徴、2)ナショナル・イノベーション・システムと主要機関の位置づけ及び役割分担、3)対象国・地域における評価制度の全般的状況と研究開発評価制度との関係、4)イノベーション政策の特徴を整理した。
 対象機関における評価システム・手法の調査では、上記対象のうちドイツを除く8カ国・地域の主要9機関をとりあげ、それぞれについて、1)事業構成を含む組織の概要、2)評価システムの全体像(機関評価等との関係性を含む)をまとめるとともに、当該機関における特定のプログラム等をとりあげ、3)評価システム及び手法の詳細を整理した。評価システム及び手法については、事前評価、途上評価、終了時(終了直後)評価、追跡評価といった段階別に把握を試みた。さらに、当該機関における研究開発段階の定義(TRLによる整理)を明らかにするとともに、当該機関において「成功」(実用化達成率等)をどのように定義しているのかについても把握した。調査対象機関としては、DOE-EERE、NIH、EC-DGRI、ADEME、Innovate UK、NSERC、Vinnova、Tekes、NWO-TTWである。
 これらを踏まえ、対象機関における評価システム・方法の比較を行った。具体的には、1)ナショナル・イノベーション・システムにおける調査対象機関の位置づけを、「省庁同格型」、「省庁一体型」、「中間組織型」、「ポートフォリオ型」といった4類型で整理するとともに、2)評価システムの全体的な特徴を比較した。特にプログラム評価については、3)評価方法等の詳細を評価の実施段階別に比較した。さらに、4)各機関における研究開発段階の定義をTRLに着目して整理を行うとともに、5)「成功の定義」についての分析を行った。
 インパクト評価事例の整理及び比較分析では、上記でとりあげた9機関における取り組み事例等をベンチマークの対象として選定し(米国NISTのATPを含む16事例及びインパクト評価に関する専門書1編)、それぞれについて、1)インパクト評価が求められる背景や目的、2)評価体制、3)評価の内容、4)評価方法、5)評価結果、6)結果の活用といった観点から整理を行うとともに、比較分析を行った。
 最後に、上記調査分析の全体を踏まえ、NEDOの評価システムの効率化・高度化に資するよう示唆をとりまとめた。具体的には、1)NEDOインサイドにおけるインパクト推計のあり方や、2)研究開発型ベンチャー・中小企業支援事業の評価のあり方に関する示唆をまとめた。また、NEDOにおけるよりよい評価の実施に向け、3)実績等に関する情報収集・モニタリングシステムの改善、4)プログラムレベルにおける評価の充実と政策提言としての評価の重要性といった観点から提言をまとめた。
英文要約 This survey’s objective was creating an international benchmark of evaluation systems and methods at overseas funding agencies, then summarizing findings and best practices for NEDO improve the efficiency and quality their evaluation system. Specifically, we carried out research to select the countries/regions, and agencies and practices that merited deeper consideration, then 1) profiled those countries and regions; 2) surveyed and compared evaluation systems and methods at target funding agencies; 3) reviewed and performed comparative analysis of existing impact assessments or evaluations; and 4) summarized key points and best practices.
 After selecting the USA, EU, Germany, France, UK, Canada, Sweden, Finland, and Holland as the countries and regions that merited research, we elucidated 1) industrial structures, 2) national innovation systems (and role these funding agencies play), 3) overall picture of national evaluation systems, and their relationship with R&D evaluation systems, and 4) characteristics of innovation policy. In the survey of evaluation systems and methods at these institutions, we selected the top nine institutions from eight of the nine countries above (excluding Germany), and created 1) overview of each institution, 2) overall picture of the evaluation system, and 3) detailed analysis of evaluation frameworks and methods.
 We also categorized the evaluation system and method by stage (ex ante, mid-term, terminal, and ex-post), and also clarified how each institution defines TRL, and “success”. The target institutions were DOE-EERE, NIH, EC-DGRI, ADEME, Innovate UK, NSERC, Vinnova, Tekes, and NWO-TTW.
 Based on this information, we compared the evaluation systems and methods of the target institution, specifically, 1) designated each institution’s place within their greater national innovation system as one of four types (ministry-like, integrated into ministry, intermediary, portfolio) ; 2) conducted a comparative analysis of the overall features of the evaluations systems 3) compared details of evaluation methods based on stage; 4) reviewed how each institution defines R&D stages, focusing on TRL; 5) analyzed the “Definition of Success.” For impact assessment/evaluation cases, we selected 16 cases from the above institutions, including NIST-ATP, and one technical book. For each, we clarified and conducted comparative analysis of their 1) background & objective; and evaluation 2) systems; 3) contents; 4) methods; 5) results, and 6) utilization of results.
 Finally, we made suggestions to improve the efficiency and sophistication of NEDO’s evaluation system, including 1) ways to conduct impact estimations “NEDO INSIDE”, 2) how to evaluate R&D-type ventures and SME-support projects. To help NEDO conduct better evaluations, we suggested 3) improvements in information gathering and monitoring related to results, and 4) improvements that could be made to program-level evaluation and policy advice.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る