触覚情報と診察動画を統合・伝送し、遠隔で触感の再現に成功
―医療手技の定量化や教育利用など、医療の高度化に貢献―

ポスト5G環境下では、多数の機器が接続した状態でマルチモーダルなセンシング情報が行き交い、それらの情報を活用した各サービスに対して、最適なネットワークの提供が必要となります。ポスト5Gは今後、医療や工場、自動運転といった多様な産業用途への活用が見込まれており、日本の競争力の核となり得る技術と期待されています。

ポスト5Gでは、各接続サービスに対して、さらなる高速・大容量、高信頼、低遅延など、幅広い要求条件に対応する必要があります。そこでサービス要件に合わせて単一のネットワークを複数のスライスに分けて提供するネットワーク・スライシングが提案されています。ネットワーク・スライシングは、継続的に拡張がなされていますが、最適化にはサービスごとに接続された膨大な機器群の監視や各サービスの性能要求の判別、経済性を考慮した機器開発、複数の規格の扱いなどの課題を解決する必要があり、ネットワーク事業を担う企業だけではこれらの課題を解決することが難しい状況です。

そこで、NEDOは、本事業^※1においてポスト5Gに対応した情報通信システムの中核となる技術の開発を強化しており、その一環として本研究グループは、マルチモーダル情報サービスにおけるネットワークの最適化と、その技術応用に取り組んできました。

今般、本研究グループは、動画・音声配信の中核技術であるコーデック^※2に着目し、それにマルチモーダル信号を埋め込み、統合することで、コーデックの持つ性能基準とスライシング基準をひも付ける手法を開発しました。その技術の応用として、触覚情報と診察動画を遠隔の医師間で共有する遠隔触診システムを構築し、北海道大学病院、帯広厚生病院、函館中央病院の3拠点を結んだ遠隔触診の実証に成功しました。

本事業で触覚をはじめとしたマルチモーダル信号の統合・活用を5Gネットワークで行うにあたり、応用領域を遠隔触診に定め、「触診向けセンシング機器および遠隔における触覚情報の再現機器とシステム全体の制御技術」と「マルチモーダル情報の5G遠隔伝送に不可欠な、触覚情報と視診向けの高精細動画との連動技術」の2テーマに取り組み、開発に成功しました。

遠隔触診は、DtoD（医師間伝送）を想定しており、他拠点との医師とも情報を共有することで、医療資源の偏在の改善、治療の効率性向上などを期待しています。送信側医師によりセンサー群で取得した触診情報は、多チャンネル応力情報として深さに応じた弾性値へ、情報の逐次変化から粘性値へと変換します。それらのデータを視診向け動画のフレームに応じて埋め込むことで、触覚情報と動画内の時空間が完全に同期し、マルチモーダル情報を含むコンテンツとなります。この時、動画の5G伝送に必要なパラメーターは、動画伝送時の既存コーデックに関連するパラメーターのみとなり、動画データの帯域とサービスが要求する遅延に簡略化され、ネットワーク・スライシングの設定を容易にします（図2）。

また、この動画コンテンツは、視診用とともに触診位置などの属性を含んだデータベースとしても利用でき、受信側医師は逐次触診情報にアクセスして触覚を能動的に再現できます。同時に、触診履歴の蓄積保存とカルテなどとの情報共有、触診の定量化など、治療効果の経時的分析や教育用途にも展開できます。

• 
  図2　本事業におけるポスト5Gマルチモーダル信号伝送のイメージ

実証実験では、コーデックの規格を「H.265」とし、市販のカメラで取得した4K解像度で30フレーム／秒（fps）の動画を5Gで接続された道内中核病院の2拠点間および3拠点間で共有しました（5Gネットワークの構築はNTTコミュニケーションズ株式会社の協力による）。

上腕部の触診では、カメラで画像を取得して触診センサー情報と統合させ、5G伝送を経て遠隔で触覚再現までを行うエンドツーエンドによる計測を実施したところ、2拠点間を同時接続した場合は0.8秒の遅延で、札幌、帯広、函館の3拠点間の同時接続（統合情報をクラウドで蓄積しながら配信）した場合は1.7秒の遅延でそれぞれ遠隔触診可能なことを実証しました（図3）。

いずれにおいても、取得画像とセンサー情報のタイミングは完全に同期しており、遠隔医師からの指示音声と、それに応じた現場医師から送られる触診再生画像のズレが2.0秒程度あった場合でも影響が出ないことを確認し、診察する上で医師のストレスにならない遠隔触診サービスを実現する見通しが得られました。

本成果により、遠隔触診を一例として、サービスに応じた最適ネットワークのパラメーターの簡略化がなされ、ネットワーク・スライシングへの指針^※3を明確化できることが示されました。

• 
  
  図3：　札幌、帯広、函館3拠点遠隔触診実験
  （左：受信側、中央：送信側、右上：センサーデバイス、右下：触覚再現器）

本研究グループでは、本システムの拡張性や信頼性の向上を図ることで、マルチモーダル信号を扱うサービスの技術展開・実用化を進めていき、本格運用や関連技術の展開を2024年度以降に予定しています。併せて医療分野で本技術を用いた高度先進医療と診療コンサルティングの提供、医学部生や研修医などの教育への利用に道筋をつけるとともに、非医療分野への展開に向けた研究開発も進めていきます。

※1　本事業

• 事業名：ポスト5G情報通信システム基盤強化研究開発事業／先導研究（委託）／ポスト5Gに向けたマルチモーダル情報の効率的活用と触診・遠隔医療技術への応用
• 事業期間：2020年度～2023年度
• 事業概要：ポスト5G情報通信システム基盤強化研究開発事業

※2　コーデック

コーデック（CODEC）とは符号化方式を用いてデータのエンコード（符号化して圧縮）とデコード（解凍して復号化）を行うためのソフトウエアです。

※3　指針

ネットワーク・スライシングを設計するにあたり、どうパラメーターを設定するのが良いかという「ネットワーク側の指針」のことです。

（本ニュースリリースの内容についての問い合わせ先）

• NEDO　IoT推進部　担当：田上（信）、小池　TEL：044-520-5211
• 北海道大学　量子集積エレクトロニクス研究センター　担当：池辺　TEL：011-706-7689
• BIPROGY　広報部　PR室　お問い合わせフォーム
• テクノフェイス　担当：茶谷　TEL：011-242-6606

（その他NEDO事業についての一般的な問い合わせ先）

NEDO　広報部　担当：坂本（信）、瀧川、山脇、柿澤
TEL：044-520-5151　E-mail：nedo_press[*]ml.nedo.go.jp

E-mailは上記アドレスの[*]を@に変えて使用してください。

• 新聞、TVなどで弊機構の名称をご紹介いただく際は、“NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）”または“NEDO”のご使用をお願いいたします。