成果報告書詳細
管理番号20170000000052
タイトル平成27年度―平成28年度成果報告書 次世代人工知能・ロボット中核技術開発/(革新的ロボット要素技術分野)次世代マニピュレーション/把持機能と認識機能の統合による高度なマニピュレーションの実現
公開日2017/3/1
報告書年度2015 - 2016
委託先名国立大学法人神戸大学
プロジェクト番号P15009
部署名ロボット・AI部
和文要約件名:平成27年度―平成28年度調査研究成果報告書 次世代人工知能・ロボット中核技術開発/(革新的ロボット要素技術分野)次世代マニピュレーション/把持機能と認識機能の統合による高度なマニピュレーションの実現

本研究は,委託先の国立大学法人神戸大学,共同実施先の国立大学法人金沢大学・国立大学法人信州大学にて実施した.以下本研究開発の内容と最終成果を開発項目ごとに述べる.

【1】次世代マニピュレーション技術創成のための要素技術とシステムインテグレーションに関する調査
リストアップした文献126件,注目すべきロボットハンド27種とマニピュレーション研究拠点28拠点, APC(Amazon Piking Challenge)などの視察に基づき,次世代のロボットハンドに対する要件を下記のようにまとめた.
1. Passive Complianceをもつ
2. Passive Complianceを維持した状態でアイテム・ハンドの状態を推定するためのセンサをもつ.
3. アイテム・ハンド状態を推定できる
4. 把持環境を考慮した設計【すくい動作が可能・幅450×奥行幅300×深さ250mmの領域(ショッピングかごを想定)内でピッキング・詰め込み作業が可能】
5. 以下の属性を持つ物体を把持できる
・2Kg以上の重量物
・10kPa以上を加えると破壊する物体
・一辺が15cmを超える大型物
・全辺が3cm未満の小型物

【2】次世代マニピュレーション技術創成のための標準的マニピュレーションタスク(チャレンジ課題)に関する調査
標準的マニピュレーションタスクの一つとして認識とマニピュレーション機能の統合が求められる「レジチャレンジ」を提案した.対象アイテムは,スーパーマーケットでの販売品から,以下の条件を満たすものを含むように20品目を選んだ.
・1 N以上の力を加えると壊れてしまう物
・1 kgを超える重量物
・一辺が15 cmを超える大型物
・全辺が3 cm未満の小型物

レジチャレンジの概要は,以下の通りである.
STEP1:カゴからの商品取り出し
STEP2:バーコード読み取り
STEP3:マイバッグへの商品収納

【3】人工知能技術によるマニピュレーション技術の高度化に関する調査研究
操作対象物を認識・把持するために必要なセンサとセンサ情報処理に関する調査研究を,70近い文献をもとに行った.
(1)深層学習による物体認識技術
 近年注目の深層学習は,種別や個体識別のタスクにおいて高い性能をもつ.ただし,処理時間については改善の余地がある.
(2)物体の存在位置算出と種別
操作対象の存在検出とその種別及び姿勢推定が必要であり, R-CNN等や信州大学山崎らの方法などが利用できることが分かった.
(3)深度画像も利用した物体認識
画像特徴量や点群特徴量などを整理し,深度画像活用で認識性能が向上することを確認した.
(4)認識難物体
不定形物,透明物体,反射物体などの認識が,現存技術では難しいことが分かった.

以上を踏まえて,注力すべき認識手法の方向が明らかになった.
・マニピュレーションにおける物体認識では,存在検出・種別・姿勢推定のすべてが必要であるが,現状の深層学習だけでは解決できておらず,他の手法との組み合わせが必要である.処理時間の短縮も重要である.
・マニピュレーションで対象となりうる不定型物,透明物体,光沢物体への対応が不十分である.
英文要約Title: Strategic Advancement of Multi-Purpose Ultra-Human Robot and Artificial Intelligence Technologies / (Future robot technology)Next-generation manipulation / Realization of Advanced Manipulation by Integrating the Grasping Function and Object Recognition Function (FY2015-FY2016) / Final Report

This R&D project is performed jointly by Kobe University, Kanazawa University and Shinshu University.

1. Survey of elemental technologies and system integration technologies for creating the next-generation manipulation technology
Based on the survey of 126 journal papers, existing 23 robot hands, and 28 research groups, we have summarized the requirements for robot hand in the next generation as follows:
1. Passive compliance
2. Sensors for estimating the states of the hand and a target object while maintaining the passive compliance
3. Estimation of the states of the hand and a target object
4. Adaptation to task environments; scooping, picking and stowing in the area of 450mm in width, 300mm in depth and 250mm in height (assuming a shopping basket)
5. Can grasp the following types of objects:
*More than 2kg weight
*Fragile and breaks if adding more than 10kPa pressure
*Large items having a side longer than 15cm
*Small items having all sides less than 3cm

2. Investigation of standard manipulation task (challenging task) for creating the next-generation manipulation technology
We proposed “Supermarket Checkout Challenge” as a standard manipulation task. We selected 20 target items including fragile ones, heavy ones, and small ones.

The overview of the Supermarket Checkout Challenge are as follows:
STEP1: Picking items from the basket
STEP 2: Barcode reading
STEP 3: Stowing items into a shopping bag

3. Survey of artificial intelligence technologies that can sophisticate the manipulation technology
Our investigation based on nearly 70 literatures can be summarized as follows:
(1) Object recognition technologies by deep learning
Deep learning shows high performance in type and individual identifications, although its processing time is slow.
(2) Object identification and pose estimation
The detection of target items, type and pose estimation are required for manipulation, and it can be dealt with by R-CNN and the method proposed by Yamazaki et al. at Shinshu University.
(3) Object recognition method also using depth image
The usage of depth images improves the performance of object recognition.
(4) Unrecognizable objects
Current technologies cannot recognize deformable, transparent, and glossy objects.

Based on the above results, the next research targets for object recognition in manipulation are as follows:
*In manipulation tasks, object detection and identification, and pose estimation are all necessary. Deep learning cannot deal with them all, and the combination with other methods is required. The reduction of the processing time is also important.
*The existing technologies are insufficient to deal with deformable, transparent, and glossy objects.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る