物をつかむ際の“触覚情報と視覚情報が統合される脳内メカニズム”を特定

〜脳機能の知見を活用したマルチモーダル情報のXR技術・AI技術の実現に期待〜
2025年4月22日

国立研究開発法人情報通信研究機構

ポイント

  • 手で物をつかむ際に“指を動かして感じる触覚情報”と“指の動きの視覚情報”が脳内で統合されるメカニズムを世界で初めて特定
  • 高磁場のfMRI装置に持ち込める力覚提示デバイスを独自開発することで、触覚と視覚の情報統合に関わる脳内ネットワークの一端を解明
  • 脳機能の知見を活用した効果的・効率的なマルチモーダル情報のXR技術・AI技術の実現に期待
国立研究開発法人情報通信研究機構(NICTエヌアイシーティー、理事長: 徳田 英幸)ユニバーサルコミュニケーション研究所(UCRI)及び未来ICT 研究所脳情報通信融合研究センター(CiNet)は、手で物をつかんでその硬さ・柔らかさを感じ取るといった能動的な触知覚(アクティブタッチ)において、“指を動かして感じる触覚情報”と“指の動きの視覚情報”が統合される脳内メカニズムを機能的磁気共鳴撮像法(fMRI)実験により世界で初めて特定しました。
今回の実験では、fMRI装置内の高磁場に影響されない力覚提示デバイスを独自に開発することで、触覚情報と視覚情報を独立に操作することが可能になり、異種感覚情報(異なる感覚器官からの情報)の整合性判断と統合に関わる脳内ネットワークの一端を解明することに成功しました。
このような脳機能の知見をマルチモーダル情報XR技術やAI技術の開発に活用することにより、実在感や行為の主体感が感じられるXR空間の効率的な構築や人に共感し人と協調するAI技術の実現が期待されます。
本成果は2025年3月5日(水)に、米国科学雑誌「Imaging Neuroscience」にオンライン掲載されました。

背景

視覚・聴覚・触覚等の五感情報を含むマルチモーダル情報を統合して活用する技術の実現が期待されていますが、ユーザにとって効果的かつ効率的な技術はまだ十分には確立されていません。その要因の一つとして、ヒトの脳内でこれらの異なる感覚器官からの情報がどのように統合・処理されているかに関して未解明な点が多いことが挙げられます。

今回の成果

図1 a. fMRIの実験環境、
b. 視覚情報と触覚情報の統合に関連した脳部位
図2 a. 動的な視覚情報と触覚情報が整合している場合に活動する脳部位、b. 脳内ネットワークにおける整合性判断に基づくトップダウン処理機構
今回、アクティブタッチにおいて、“指を動かして感じる触覚情報”と“指の動きの視覚情報”が統合される脳内メカニズムをfMRI実験により世界で初めて特定しました。
今回の実験では、fMRI装置の高磁場に影響されない力覚提示デバイスを独自に開発・活用することで、触覚情報と視覚情報を独立に操作して提示することが可能になり、これらの異種感覚情報の整合性判断と統合に関わる脳内ネットワークの一端を解明することに成功しました。
これらの実験では、実験参加者に、指の動きを示すバーを見ながら、力覚提示デバイスのプレートを親指と人差し指でつかむ動作を行ってもらい、硬さの知覚判断を行ってもらいました(図1 a参照)。その結果、実験参加者が指を動かして知覚する「硬さ」は、力覚提示デバイスが実際に指に与える触覚情報だけでなく、指の動きの視覚情報にも影響されることが行動実験により定量的に示されました(補足資料参照)。
第一のfMRI実験では、触覚情報と視覚情報を単独で提示する条件より、視覚と触覚の両者を提示した条件で活動が高まる脳部位が特定され、その部位で視覚と触覚の統合処理が行われている可能性が示されました(図1 b、補足資料参照)。
第二のfMRI実験では、触覚と視覚が不整合な時より、整合している時に活動が高まる脳部位が特定されました(図2 a、補足資料参照)。
さらに、動的因果モデリング(DCM: Dynamic Causal Modeling)の手法を用いてこれらの脳部位間のネットワークを解析した結果、視覚情報と触覚情報の整合性判断に関わる脳部位(MCC)から、触覚処理に関わる脳部位(S1・PO)への情報の流れが示されました(図2 b、補足資料参照)。これにより、触覚情報のボトムアップ処理に対して、視覚と触覚が一致しているか否かの整合性判断のトップダウン情報が関与する可能性が明らかになりました。

今後の展望

脳内の感覚情報の統合処理に関する知見は、効果的かつ効率的なマルチモーダル情報のXR技術やAI技術の実現にとって有益と考えられます。
XR技術においては、脳の統合処理に合致した方式を採ることで、XR空間における実在感や行為の主体感(sense of agency)の向上効果が期待できるとともに、例えば、触覚情報が不十分でも視覚情報で補うことができるため、触覚処理にかかる多大なコストを抑えたより効率的なXR空間の再現が期待できます。
また、AI技術においては、人の感覚処理の仕組みを理解することで、人に共感し人と協調するマルチモーダルAI技術の実現が期待されます。
今後は、感覚情報の脳の統合メカニズムのさらなる解明を進めるとともに、脳機能の知見を活かしたマルチモーダル情報のXR技術・AI技術の開発を進めていきます。

論文情報

著者: Juan Liua,b, Akiko Callanc, Atsushi Wadab, Hiroshi Andoa,b
所属: a 情報通信研究機構ユニバーサルコミュニケーション研究所(UCRI)
b 情報通信研究機構未来ICT研究所脳情報通信融合研究センター(CiNet)
c 国際電気通信基礎技術研究所(ATR)
論文名: Neural substrates underlying multisensory stiffness perception via active touch and dynamic visual feedback
掲載誌: Imaging Neuroscience
DOI: 10.1162/imag_a_00493
 
なお、今回実施したすべての実験は、NICTの倫理委員会の承認を得ており、実験参加者には実験内容を事前説明の上、参加への同意を取っています。

補足資料

行動実験

図3. 視覚情報と触覚情報の相互作用を示す行動実験の結果
行動実験はfMRI装置の外で行い、硬さ(剛性: stiffness)の知覚において、視覚情報と触覚情報の相互作用があるか否かを検証しました。実験参加者には、バーの動きを見ながら力覚提示デバイスのプレートをつかむ動作を行ってもらい、標準刺激(標準の剛性の触覚刺激及び指の動きと大きさが一致している視覚刺激)と比較刺激(様々な視覚情報と触覚情報の組合せ)を順不同で連続して提示し、どちらが硬いと感じたかを判断してもらいました。
実験結果の図3は、「触覚刺激の剛性」に対して「標準刺激より比較刺激が硬いと判断した割合の平均値」を示しています。この図で「触覚情報の硬さ」に対する「視覚情報の硬さ」の比RSが0.75の曲線(青線)は1.0の曲線(黒線:指の動きとバーの動きの大きさが一致している刺激)より左にずれていることが分かります。
これは、視覚刺激の動きが小さくなると実験参加者は触覚刺激が同じでもより硬いと感じていることを示しており、硬さ知覚は触覚情報だけでなく、視覚情報の動きの大小にも影響されることが示されました。

fMRI実験

図1b. 視覚情報と触覚情報の統合に関連した脳部位(再掲)
図2 a. 動的な視覚情報と触覚情報が整合している場合に活動する脳部位、b. 脳内ネットワークにおける整合性判断に基づくトップダウン処理機構(再掲)
fMRIの第一実験では、触覚・視覚情報を単独で提示するより、視覚情報と触覚情報を組み合わせて提示した方が大脳両側の上頭頂小葉(SPL: superior parietal lobule)と縁上回(SMG: superior marginal gyrus)の活動が高まることが示され、これらの脳部位に視覚と触覚の情報が収束し統合処理が行われている可能性が示されました(図1 b参照)。
これまで空間認識や道具の操作等にSPLやSMGが関わることは知られていましたが、硬さ知覚において視覚と触覚の情報がSPLとSMGに収束することが明らかになったのは今回の実験が初めてになります。
fMRIの第二実験では、視覚と触覚が整合している条件(指の動きと指を示す視覚情報の動きが一致する条件)と不整合の条件を比較して、整合条件で左脳内側部の中帯状皮質(MCC: mid-cingulate cortex)、左脳外側部S1領野(一次体性感覚野:中心後回post-central gyrus)、両半球外側部の頭頂弁蓋(PO: parietal operculum)内のS2領野(二次体性感覚野)の活動が高まることが示されました(図2 a参照)。
S1が体性感覚情報を最初に処理する部位であるのに対し、S2はS1からの入力を受けて身体と外界・行為との関連を処理する部位と考えられています。一方、MCCは、運動指令と多感覚情報を踏まえて行為の実行に関わる部位ではないかと考えられていますが、その機能はまだ十分には解明されていません。
そこで今回、動的因果モデリング(DCM: dynamic causal modeling)の手法を用いてこれらの脳部位間のネットワークを解析したところ、視覚情報と触覚情報の整合性判断において、MCCからS1とPOへの情報の流れの存在が明らかになりました(図2 b参照)。これにより、触覚情報のボトムアップ処理に対して、視覚と触覚が一致しているか否かの整合性判断に関するトップダウン情報が影響する可能性(両者が整合していると判断されると触覚の処理が促進される可能性等)が明らかになりました。

用語解説

能動的な触知覚(active touch) 触知覚は、外部の物が自分の身体に当たって感じる「受動的な触知覚(パッシブタッチ)」と自ら物に働きかけてその物理的特性を感じ取る「能動的な触知覚(アクティブタッチ)」に分けられる。後者の例としては、手で物をつまんだり握ったりしてその硬さ・柔らかさ(stiffness: 剛性)を感じたり、手で物の表面をなぞってざらつきを感じたりすることが挙げられる。 元の記事へ

触覚(haptics) 生理学的には、身体の表層・深部組織で知覚される感覚は体性感覚と呼ばれ、皮膚感覚・自己固有感覚等を含むが、これらを総称して触覚(ハプティクス)と呼ばれることも多く、本論文ではその表現法に従っている。 元の記事へ

機能的磁気共鳴撮像法(fMRI: functional Magnetic Resonance Imaging) 核磁気共鳴の原理を利用して、脳の神経活動に付随して生じる局所的な血流変化を計測し、画像化する手法。 元の記事へ

高磁場に影響されない力覚提示デバイス(force-feedback device) fMRI装置の3T(テスラ)の高磁場内に金属等の磁性体を持ち込むことは安全性の観点から許されていない。力覚提示デバイスは、人の動作に合わせて力を発生させて人に硬さ・柔らかさ等の感触を感じさせる装置であるが、通常、磁性体のモーターや筐体から構成されるため、そのままではfMRI実験に利用することはできない。そこで今回、超音波モーター、光学センサ、アルミ・チタン・樹脂等の非磁性体の素材を用いた力覚提示デバイスを独自に開発し、触知覚に関するfMRI実験に用いた。 元の記事へ

異種感覚情報 人の目・耳・皮膚など、異なる感覚器官で捉えられた情報は異種感覚情報と呼ばれている。異なる感覚器官からの情報が脳内のどこでどのように統合されているのかの解明は、脳科学の主要テーマの一つと考えられている。 元の記事へ

マルチモーダル情報 複数の異なる情報源(モダリティ)からの情報は「マルチモーダル情報」と呼ばれており、それらを活用する技術の研究開発が進められている。特に、言語(テキスト)情報だけでなく、映像、音声、感触、香りなどの五感情報や各種センサ情報を複合的に処理するAI技術やこれらの情報を統合・制御してユーザに適切に提示するためのインタフェース技術などの実現が期待されている。 元の記事へ

XR(extended reality)技術 仮想空間やデジタルツイン空間(実世界をデジタル化した空間)を構築・活用する技術を総称してXR技術と呼ぶ。仮想空間を3Dで提示したり、実空間と重畳させて表示するためのデバイス技術(VR/AR/MRヘッドセット等)、人の動作等をセンシングする技術、多感覚情報(映像・音響・感触等)を生成・提示する技術等も含まれる。 元の記事へ

行為の主体感(sense of agency) 人が行為(物の操作等)を起こしたときにその行為を起こした主体が自分であると感じる感覚。今回のfMRI実験の視覚と触覚の整合条件(指の動きと指を示す視覚情報の動きが一致する条件)では、行為の主体感が高まると考えられる。 元の記事へ

動的因果モデリング(DCM: dynamic causal modeling) 複数の脳領域間で方向性を持った因果的結合をモデル化し、その仮説検証を行う統計的な分析手法。 元の記事へ

本件に関する問合せ先

ユニバーサルコミュニケーション研究所
先進的リアリティ技術総合研究室

Juan Liu、安藤 広志

広報(取材受付)

広報部 報道室