成果報告書詳細
管理番号20170000000042
タイトル平成27年度―平成28年度成果報告書 次世代ロボット中核技術開発 (革新的ロボット要素技術分野)ブレイン・マシン・インターフェース 脳活動モデル同定と内部状態推定に基づくBMI技術
公開日2017/2/17
報告書年度2015 - 2016
委託先名株式会社国際電気通信基礎技術研究所
プロジェクト番号P15009
部署名ロボット・AI部
和文要約件名:平成27年度―平成28年度成果報告書 「次世代ロボット中核技術開発/(革新的ロボット要素技術分野)ブレイン・マシン・インターフェース/脳活動モデル同定と内部状態推定に基づくBMI技術」

(1) 目的
非侵襲的な脳波(EEG)計測に基づくブレイン・マシン・インターフェース(BMI) 技術は大きな注目を集めている一方で、信号に対するノイズの比率(SN比)が低いためにユーザの意図判別に時間を要し、そのロボット応用は限定的である。
そこでノイズが大きく不確定な信号からシステムの内部状態を推定する場合に用いられる人工知能技術に基づいたアプローチをBMI 技術に応用し、迅速なユーザの意図推定を可能とすることを目指した。

(2) 概要
これまでのBMI 技術においては、現時点の脳活動に応じて極めてSN 比の低い状況において、動作意図の抽出を可能とする方法の開発に注力してきた。動作意図抽出には、ある程度の時間幅でデータを計測する必要があり、その結果遅れが生じるためBMI 技術のロボット応用の妨げとなっている。しかし、BMI 技術として本来必要とされることは、脳の内部状態推定である。そこで、ロボットから脳への影響も含めたシステム同定を行うことを考えた。提案技術においては、状態推定器の方法を応用することで、逐次的に動作意図推定を可能とし、ロボット動作入力に基づく動作意図の予測と脳波信号の観測値を組み合わせることで迅速なBMI 出力の生成を行うアルゴリズムを開発した。具体的には、動作意図を示す脳活動がどのように脳波信号として観測され、一方でロボット動作の影響をどのように受けるのかという描像を導き出すために、脳の内部状態推定のためのBMI に関わる脳活動の動的モデルを同定することを目指した。脳活動デコードに基づいてロボットを動かすだけではなく、ロボットの動作がユーザの感覚器官を通じて脳活動にあたえる影響も含めた、脳―ロボットの閉じたループシステムを開発した。

(3) 研究開発の成果
人の操作意図推定の世界的な技術動向、および脳波からの適応的な操作推定手法についてどのような提案がなされてきているかなど、152件の文献について調査を行った。また、脳―装着型ロボットの閉じたループシステムの構築を行った。ロボットのアシスト動作を感覚入力として用いた脳活動の周波数応答を比較したところ、ロボットの動作に応じて事象関連脱同期(ERD)が観測された。
先導研究期間に実施予定であった研究開発を先行的に進め、実ロボットと乾式脳波計測装置を使用した動的モデル同定および脳の内部状態推定器を開発した。2層からなる階層型状態空間モデルを提案し、搭乗型移動ロボットを脳波で操舵する新しい協働制御戦略を検証した。短期的な脳活動のダイナミクスを複数の動的システムでモデル化することで、逐次的にユーザの運動意図を抽出する事を目的とした手法を提案した。左右半球の脳活動を観測することによりユーザが安静状態か運動想像状態かを線形動的システムの切り替え(Switching Kalman filter:SKF)で推定した。長期的なダイナミクスは隠れマルコフモデルを用いて、SKFから逐次送られてくる観測値を基に操作出力を推定した。SKFモデルの検証の結果、感覚運動律動の振幅に関わらず迅速に意図推定を行うことができ、従来手法に比べて高い識別率が得られた。また、シミュレーション環境における搭乗型移動ロボットの操縦結果を比較したところ、提案手法の方が従来手法に比べて間違った操作の回数が少ないという結果が得られ、提案手法の有効性が確認された。
英文要約Title:Strategic Advancement of Multi-Purpose Ultra-Human Robot and Artificial Intelligence Technologies (Future robot technology) Constructing a BMI though identifying dynamics of brain activities and estimating internal brain states (FY2015-FY2016) FY2015 Annual Report

(1)Objectives
Electroencephalography (EEG)-based Brain-Machine Interface (BMI) has been explored to be used as an interface between the brain and a robot. However, because of the low signal-to-noise ratio, it takes a long time to make a BMI decoder estimate a correct user’s intention, limiting the practicality of such interface. This project aims at developing a machine learning (ML)-based approach to successively estimate the user’s internal state from non-stationary, uncertain and noisy EEG signal.

(2)Outline
Traditionally, an accurate estimation of a user’s intention requires more than 5 sec EEG data due to the low signal-to-noise ratio. This decoding delay limits practical application of EEG-based BMI on robots. We propose to predict the internal state of the signal source to compensate the delay, using ML-based technology. By applying a successive state prediction approach, which combines the user’s motion intention induced by a robot’s feedback with an observed EEG signal, a BMI output is produced. Wearable robots are used to realize a brain-robot closed loop system, so that the brain and the BMI system mutually adapt to each other through their interaction. We attempt to define a dynamic model of the brain activity and to deploy the “zero-delay” brain-based robot controller in a real application.

(3)Research and Development Results
We investigated 152 literatures on worldwide technical trend of motion intention estimation and what kind of proposal is being made about adaptive operation estimation method from EEG. We also built a closed loop system of brain and wearable robot. Comparing the frequency response of the brain activity using the robot’s assist motion as a sensory input, event-related desynchronization (ERD) was observed according to the motion of the robot.
We developed an internal state estimator using real robot and dry EEG measurement device. We have investigated a new cooperative control strategy to steer a mobile robot by using a hierarchical state space model consisting. We proposed a method which aimed at extracting the user's intention of motion sequentially by modeling the dynamics of short-term brain activity with multiple dynamic systems. By observing the brain activities of the left and right hemispheres, it was estimated by Switching Kalman filter (SKF) whether the user is in a resting state or a moving imaginary state. The long-term dynamics was estimated using the Hidden Markov Model based on observations sent from SKF successively. As a result of verification of the SKF model, intention estimation can be made quickly regardless of the amplitude of the sensory motor rhythm, and the classification rate is also higher than in the conventional method. In addition, when comparing the maneuvering results of the mobile robot in the simulation environment, we found that the proposed method has fewer incorrect operations compared with the conventional method, and the effectiveness of the proposed method was confirmed.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る