ヒトは光や音が意識に上るより前に遡ってそのタイミングを知覚している

～感覚入力のタイミングを知覚するための神経機構を解明～

2016年9月8日

国立研究開発法人情報通信研究機構

ポイント

光や音の生じたタイミングを知覚するための神経メカニズムを初めて解明
光や音そのものを感じるより前に遡ってそれらが生じたタイミングを知覚
テレビ通話などの音声と画像遅延の許容範囲の解析などに応用が可能

NICT 脳情報通信融合研究センター（CiNet）の天野薫主任研究員らは、光や音が意識に上るより前の時点に遡って、そのタイミングを知覚していることを発見しました。光や音のタイミングの情報は、別々に処理された感覚情報を対応付ける上で非常に重要な手がかりですが、その脳内処理については分かっていませんでした。光や音などの感覚刺激は、それらによって生じる脳活動の時間積分信号が一定の閾値を超えた瞬間に意識に上ることが知られていますが、本研究により、刺激が生じたタイミングの情報は、同一の積分信号がより低い閾値を超えた瞬間に既に取得されており、その時点まで遡ってタイミングの知覚がなされることが明らかになりました。本研究の一部は、科学技術振興機構「さきがけ」の支援を受けて行いました。この成果は、神経科学の国際科学誌「eNeuro」に掲載されました。

背景

視覚、聴覚等の様々な感覚情報から成る外界の知覚は、それぞれの感覚情報が脳内の別々の経路で処理された後、統合されることによって生じます。その情報統合において、タイミングの情報は重要な手がかりとなります。例えば、ボールが壁に当たった際の視覚情報と音情報は脳内で別々に処理されますが、両者がほぼ同時に生じることからそれらの対応関係を認識できるわけです。光や音が生じたタイミングの知覚は、その知覚に要する時間（光が見えた瞬間あるいは聞こえた瞬間）とは必ずしも一致しませんが、その脳内メカニズムは分かっていませんでした。

今回の成果

今回、脳磁計（Magnetoencephalography: 　MEG）による非侵襲脳計測と心理物理計測を組み合わせた実験を行うことで、タイミング知覚のメカニズムを解明しようと試みました。

被験者は、多数のドットがランダムに動いている画面から、ドットの一部（その割合をコヒーレンスと呼ぶ。）が右又は左に動く画面に切り替わる動画を見ながら、二つの課題を行いました。単純反応課題では、右又は左の運動が見えたら、できるだけ早くボタン押しによって回答し、同時性判断課題では、運動が見えたタイミングと、その前後に鳴った音とが同時であるか否かを回答しました。前者は、運動が知覚に上るまでの時間を、後者は、運動が生じたタイミングの知覚を調べることができます。その結果、前者の反応時間はコヒーレンスの減少とともに大きく増大するのに対して、同時性判断はあまり影響を受けませんでした。

運動が切り替わる際の脳活動をMEGによって計測し、脳活動から二つの行動指標の説明を試みた結果、運動の知覚に要する時間（単純反応課題で測定）と、運動が生じた時間の知覚（同時性判断課題で測定）は、いずれも感覚入力に対する脳活動の積分信号が閾値を超えた時間によって説明可能であることが分かりました。両者の違いは、同時性判断の閾値が単純反応よりも低いことでした。すなわち、視覚入力や聴覚入力が生じたタイミングは、これらの入力が知覚された瞬間より前の時間に遡って知覚されている（過去から未来を推定するプリディクションと対比してポストディクションと呼ばれる）ことが示唆されたことになります。

光や音に気付いた瞬間と、それらが生じたと感じるタイミングが異なるというのは一見直感に反しますが、上述のように、タイミングの情報を正確に知覚することは情報の統合において不可欠であり、より早い時間帯に刺激の強度などにあまり依存しないタイミング情報を取得することは合理的なメカニズムであると考えられます。

光や音が生じたタイミングの知覚は冒頭に述べたように、視覚と聴覚の情報を結び付ける上でも非常に重要で、今回得られた成果は、テレビ通話や仮想現実（Virtual Reality: VR）、拡張現実（Augmented Reality: AR）などにおける音声と画像の遅延の許容範囲の解析などに応用が可能です。

今後の展望

本研究によって、感覚信号の時間積分信号に基づき、タイミングの知覚がなされていることが強く示唆されました。今後、この積分信号が脳内のどこで存在しているのかの解明も積極的に進めていく予定です。

掲載論文

掲載誌: eNeuro
掲載論文名: Neural correlates of the time marker for the perception of event timing,
著者名: Amano, K., Qi, L., Terada, Y & Nishida, S.

研究グループ

国立研究開発法人情報通信研究機構、科学技術振興機構「さきがけ」、東京大学
天野薫

東京大学
斉亮

国立研究開発法人情報通信研究機構、大阪大学
寺田吉壱

日本電信電話株式会社（NTT）
西田眞也

補足資料

今回の実験概要

視覚刺激として、多数のドットがランダムな方向に運動している画像（ランダム運動）から一部のドットが右あるいは左に運動する画像（コヒーレント運動）に切り替わるものを使用した。一定方向に運動するドットの割合をコヒーレンスと呼び、コヒーレンスが急激に変化するステップ刺激と徐々に変化するランプ刺激を使用した（各三種類の強度を用いた）。

この視覚刺激に対して被験者は二つの課題を行った。単純反応課題では、ドットの運動がコヒーレント運動に切り替わったら、できるだけ早くボタン押しによって回答するよう教示した。この課題によって、動きが見えるのに要する時間を計測することができる。一方、同時性判断課題では、コヒーレント運動に切り替わるタイミングの前後で音を鳴らし、コヒーレント運動への切替りと音が同時に感じられるか否かを回答させた。この課題によって、動きが生じたタイミングの知覚を計測することができる。

［画像クリックで拡大表示］

その結果、以下の図に示すように、単純反応時間は刺激の強度によって大きく変化するが、同時性判断課題で得られる主観的同時点（PSS）の変動は相対的に小さいことが明らかになった。なお、PSSは、左側の図にあるように、横軸にSOA（コヒーレント運動の切替りと音の時間差）、縦軸に同時と回答した割合をプロットして得られる山型のカーブの中心値として定義した。

［画像クリックで拡大表示］

同時性判断を行っている際に、MEG（Magnetoencephalography、脳磁計）によって計測した脳活動と単純反応時間及び主観的同時点を定量的に比較するため、三つのモデルを比較検討した。ピークモデルでは、MEG反応の強度が最も大きくなった瞬間に、見えが生じる、あるいはタイミングの情報が取得されると仮定した。レベル検出モデルでは、MEG反応の強度が一定の閾値を超えた瞬間に見えが生じる、あるいはタイミングの情報が取得されると仮定した。積分モデルでは、MEG反応の時間積分強度が一定の閾値を超えた瞬間に見えが生じる、あるいはタイミングの情報が取得されると仮定した。レベル検出モデル及び積分モデルでは、被験者ごとに閾値のパラメータを最適化した。モデルの性能を定量的に比較したところ、単純反応時間、主観的同時点のいずれも、積分モデルによって最もよく説明されることが明らかになった。さらに、課題間で閾値を比較したところ、後者の閾値が前者より有意に低いことが示された。

［画像クリックで拡大表示］

同時性判断の方が閾値が低いということは、刺激が意識に上る前にタイミングの情報は意識に上るのだろうか。具体的には、積分反応が、刺激が意識に上るための高い閾値は超えないが、タイミング情報のための低い閾値は超えるような状況において、タイミングの判断だけは可能である、ということが生じるだろうか。

この問題に答えるため、次の実験では、同時性判断課題に加えて運動の方向を答えさせた。ここでは、ランダムドットのコヒーレンスを連続的に変化させた。その結果、コヒーレンスを上げるに従って、運動方向判断、同時性判断のいずれの正答率も向上したが、常に、後者の正答率は前者の正答率より低いことが明らかになった。つまり、運動方向は分かるが、同時性は分からないという状況は存在するが、その逆は生じないことが分かった。

［画像クリックで拡大表示］

この結果は、一見、前半の実験の結果と矛盾するようであるが、ポストディクションという概念を用いて、二つの実験結果を矛盾なく説明することができる。すなわち、単純反応の閾値を超えて初めて、刺激の中身（光の存在、運動の方向など）やタイミングについての判断が可能となるが、刺激のタイミングは、中身に気付いた瞬間ではなく、それより前の低い閾値を超えた時点にまで遡って知覚されると考えられる。