本文へジャンプ

成果報告書詳細
管理番号20170000000040
タイトル平成26年度―平成28年度成果報告書 クリーンデバイス社会実装推進事業 高感度・高速・低ノイズCMOSイメージャを用いた高速画像処理の実用化
公開日2017/4/26
報告書年度2014 - 2016
委託先名ソニーセミコンダクタソリューションズ株式会社 日産自動車株式会社 株式会社エクスビジョン 国立大学法人東京大学
プロジェクト番号P14016
部署名IoT推進部
和文要約件名:平成26年度?平成28年度成果報告書 クリーンデバイス社会実装推進事業
「高感度・高速・低ノイズCMOSイメージャを用いた高速画像処理の実用化」

様々な応用の中から将来の応用展開を牽引するユースケースとして、以下の4ケースを開発する。これらはすべて、CMOSイメージャの性能向上、特に高速性の積極的活用から生み出されるものであり、世界のトップの性能を実現する。
(A) ロボット制御において、従来、エンコーダ情報から計算される世界座標系(絶対座標系)で表現されていた制御を画像内で設定された相対座標による視覚フィードバック制御に根底から変えることにより、従来の方法では考えられなかった高速・高精度な作業を行うことができる高速ロボットを実現する。
(B) 積層型CMOSイメージャの機器組み込みに向けたハードウェア、ソフトウェア等を高速化、高分解能化に対応した小型モジュールとして開発することにより、各種応用システムの実装を支援・促進するとともに、その応用システムの一例として、構造照明を用いた超高速3次元形状入力システムを実現する。
(C) 変調光源と高速撮像を連動するマシンビジョン手法を構築し、被写体特有の反射率に応じた画像化が実現でき、従来カメラで課題となった太陽や人工灯などの背景が被写体認識に与える影響を大幅低減した認識技術を構築することを可能にする。
(D) 高フレームレートCMOSイメージャを用いた高速ジェスチャーUIの導入により、MRIやX線CT等の医療情報を手術室や診察室の環境の中に設置された情報操作端末において、従来の製品ではまったく実現できなかった、非接触でレイテンシーを感じない直感的で没入感の高い情報の操作を実現する。
以上のユースケースの創出および実装・実証に加えて、(E)CMOSイメージャの標準化・共通化への取り組みとして、標準高速動画の整備や高速画像処理関連技術の情報共有、事業化・実用化のための推進体制を整備する。
英文要約Title: Clean Device Promotion Project, which is aimed to create novel applications of innovative electronic devices through demonstration and standardization
In WINDS (World Initiative of Novel Devices and Systems) - CMOS imager project
(FY2014-FY2016) Final Report

As use cases of CMOS imager, we develop four applications as follows. All these use cases are produced by active inflection of the performance (particularly the rapidity) of the CMOS imager, and the use cases are achieved with highest performance in the world.
A) Ultra high-speed positioning by relative coordinate control in the image coordinate frame
The goal is to equip a manufacturing robot with high-speed, high-precision actuation and visual processing to achieve a new level of control. This year we achieved 1. High-speed peg-in-hole task, 2. Contour tracking task, and 3. Micro Manipulation based on human-robot collaboration. With the proposed dynamic compensation method, the high-speed and high-accuracy positioning control can be performed, even if various disturbances and uncertainty exist in structure environment.
B) Standard platform for embedding of stacked devices
This research aims to develop a standardized embedded platform. As a proof of concept, we perform experiments on a 3D shape measuring system. This year we have:
1. Decided on tentative specifications for a miniaturized 3D measuring module based around a stacked CMOS image sensor. Based on experiments, we plan to issue a final specification. 2. Started to build a prototype based on the specifications. This device uses miniaturized structured light projector in combination with a stacked CMOS image sensor, a field programmable gate array, and USB3.0 interface chip.
C) Light stability active vision for surround mobility sensor
This year we fabricate a vision sensor system for reducing artificial lights and shades by sunlight by image processing algorithm with high-speed flashing light. Evaluated our fabrication systems under the illuminance 0lux to 10klux, we have obtained to achieve detecting obstacles performance at the velocity 0km/h to 80km/h and the distance below 200m in the scenario of mobility use-case.
D) Gesture-based operations of medical information devices
The goal of this project is to verify EGS gesture system can be used in the medical field. For this year, various experiments with real use scenarios conducted e.g. 1) in the simulated medical room 2) with real cerebrovascular surgery operation 3) usability testing. We continuing recognition precision and usability improvements, updates and implements for new gesture commands based on learnings from the above experiments.
E) Efforts towards standardization and collaboration
1. It is necessary to specify a standard for high-speed videos aimed at evaluating high-speed image processing methods. We offer 104 videos captured in various settings and at 5 different frame rates. 2. We established an organization “WINDS Network (Network for World Initiative of Novel Devices and Systems)” to support commercialization of efforts from information sharing related to high-speed image processing.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る