成果報告書詳細
管理番号20090000000163
タイトル平成18年度-平成20年度成果報告書 戦略的先端ロボット要素技術開発プロジェクト 高齢者対応コミュニケーションRTシステム(サービスロボット分野)自律機能と遠隔対話を融合した知的インタラクションに基づく対話ロボットの開発
公開日2009/12/9
報告書年度2006 - 2008
委託先名株式会社けいはんな 国立大学法人奈良先端科学技術大学院大学 オムロン株式会社 積水ハウス株式会社
プロジェクト番号
部署名機械システム技術開発部
和文要約 対話システムに関連する基本技術を用いて、実世界でロバストに機能するロボット対話の要素技術を確立する。そのために、実時間顔情報計測、雑音にロバストな音声認識、自然言語検索技術を核として、住宅内で会話を主体としたコミュニケーションを可能とする要素技術を実現する。
 顔情報計測機能に関してはステレオカメラによる実時間顔情報計測システムをロボットに搭載するとともに、計測範囲の拡張、複数人への対応機能を実現した。
 音声認識モジュールの開発に関しては、ロバストな音声認識実現をめざした。高齢者を含む複数年齢層別の音響モデルを実装し、音声認識率の向上を確認した。また、教師なし話者適応技術を実装し、実環境評価を実施した。さらに、実時間ハンズフリー音声認識システムの構築に成功した。
 拡張記憶機構の開発に関しては、ステレオカメラを用いてあらかじめ記録した長期間の行動映像から高齢者の基本的な4動作(歩く、立つなど)の認識を可能とした。さらに、その結果をユーザに提示するための検索エンジン・描画エンジンを開発し、ユーザの要求に応じて動作履歴を表示可能とした。
自然言語検索に基づく応答生成に関しては,(1) Webから自動収集したレストラン評判情報を利用する応答戦略,(2) ユーザ発話の内容に対して共感を示す応答戦略,(3) ユーザ発話に関連するニュースをWebから検索してユーザに教える応答戦略を設計し,プロトタイプシステム上に実現した.
 遠隔コミュニケーションを実現するためのジェスチャ認識や顔情報を遠隔に伝送する手法について検討し、認識・伝送手法の試作を行った。
 顔センシング技術においては、ロボットが高齢者に最適なサービスを提供や、コミュニケーションするために高齢者の認識および表情の推定ができることを目指し研究開発を行い、下記の成果を得た。
 1)高齢者を認識するための性別年代推定技術において、照明変動、顔向き変動への対応
 2)高齢者の表情を認識するのに必要な顔器官検出技術の照明変動、表情変化への対応
 3)高齢者の表情を認識するための笑顔認識・居眠り推定の技術調査、初期検討
 開発した要素技術を統合することにより、プロトタイプシステムを構築した。プロトタイプロボットシステム用いて、実験住宅内でその動作を確認することができた。
 さらに、開発中のコミュニケーション技術のニーズ検証調査、住宅内でのロボットによるサービスに関して研究を行った。実験住宅を利用し、RTを活用した生活シーンの提示を行い、高齢者や、生活関連事業関係者が評価する実験を行った。高齢者は、安全・安心ニーズに関するサービスを高く評価し、事業者は全般的な生活サポートのサービスを高く評価した。
英文要約The objective of this project is development of human-robot interaction technologies for elderly people. Prototype robot system which can communicate with aged person will be realized integrating these technologies. To achieve this goal, following researches were conducted.
(1) Real-time facial information measurement system were implemented on the prototype robot and started to implement multi-modal communication system based on image processing and speech recognition module.
(2) The research results of the goal “development of speech recognition module” are as follows: 1) We have finished to implement an acoustic model for seniors and children, and confirmed the improvement of recognition accuracy. 2) We have developed an unsupervised speaker adaptation technique under real environments. 3) We have constructed a hands-free robot spoken dialogue system which can work robustly in real world.
(3) Using a stereo camera which captures a long time sequence of video at living space, we have developed recognition techniques of four primitive actions such as walking and upstanding in order to record condition of an elderly person. We have also developed a search and rendering engine which depicts a graph summarizing his/her condition based on user's request.
(4) Three strategies for response generation are designed and implemented on the prototype system. Each uses a distinctive source of information: 1) reputations about restaurants automatically collected from the Web, 2) expressions typically used in Web texts for evaluating a given topic object, and 3) news articles collected from Web news sites.
(5) The motion recognition method and transmission method of facial information to realize tele-communication were developed.
(6) We have been working on facial sensing technology. In this project, we have improved the robustness of gender and age estimation algorithm against varying lighting conditions and the changes of the pose, and developed a system which can estimate smile intensity and doze estimation.
(7) Mechanism that cooperate each elemental technology is attempted, and the script engine to describe the coordinated procedure was developed.
(8) At the experimental residence, the experiment which examined elderly people and Housing business person’s evaluation some life scenarios which involved application of RT. The basic psychological experiment was conducted related to the evaluation of the robot.
(9) Focusing on the market of home use and facility use for an advanced age, the necessary technical seeds for production have been investigated and the propriety for the road map has been concluded. Verification of the hypothetical needs has been completed with the consecutive hearing.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る