手術用ロボットda Vinciを使った裸眼3D映像をライブ伝送

～超高速インターネット衛星WINDS（きずな）を介して消化器外科手術の実証実験を実施～

2012年2月9日

独立行政法人情報通信研究機構（以下「NICT」、理事長：宮原秀夫）と超臨場感コミュニケーション産学官フォーラム(以下「URCF」、会長：原島博)普及促進部会立体映像伝送作業班は、共同で、手術支援用ロボットda Vinci（ダヴィンチ）の3D手術映像を遠隔地に生中継し、裸眼3D映像として提示する遠隔医療の映像伝送実証実験を2月15日（水）に行う予定です。

この実験は、「da Vinciによる消化器外科手術」の3D裸眼ハイビジョンライブ映像を藤田保健衛生大学医学部（上部消化器外科、宇山一朗主任教授執刀）から徳島大学医学部（ヘルスバイオサイエンス研究部消化器・移植外科学、島田光生教授担当）へ、超高速インターネット衛星WINDS（きずな）を介して、IP伝送をするという世界初の試みです。徳島大学医学部講義室には大型裸眼3Dモニタを設置し、全国有数のda Vinci手術件数を誇る藤田保健衛生大学宇山一朗主任教授による高度な医療技術を、da Vinci手術技術の習得や研究を志向する医学関係者、研修医、医学生等が視聴供覧します。

背景

NICTとURCF普及促進部会立体映像伝送作業班は、既にCCT2010 Surgicalにおいて心臓外科手術の3Dハイビジョンの3Dライブ伝送実証実験を眼鏡ありで成功させており、医療現場での3Dの有用性を実証しています。ただし、眼鏡なしでの3D裸眼映像を手術現場で求める声は強く、手術補助者やトレーニング術者への有効な手段として技術開発を行い、今回の実証実験に至りました。

今回の実証実験

手術支援用ロボットda Vinci

本実証実験を実施するにあたり、URCF普及促進部会立体映像伝送作業班は、従来は執刀医しか見ることができなかったda Vinciの立体映像を、世界で初めて、手術現場の外へ取り出す技術を確立するとともに、裸眼3D映像で問題となる画像の乱れを大幅に低減する画像処理技術を開発しました。これらの技術とNICTの伝送技術を組み合わせて、裸眼3Dライブ伝送を実現します。本技術により、視聴者が、眼鏡を掛けることの煩わしさから解放され、眼精疲労といった負担を軽減します。

実験の目的は、裸眼3D映像における、遠隔医療の実用性の検証、伝送機の品質評価、WINDSの通信品質評価等であり、裸眼3D映像の遠隔医療の裸眼立体視としての可能性を検証します。

今後の展望

本技術の活用により、da Vinci手術の補助者も、術者と同じ3D映像を見るようになり、精度の高い奥行情報を得ることができます。将来的には、チームサージャリーやドクターオンデマンドの可能性を検証します。裸眼3Dライブ映像は、現実を圧倒的奥行情報量と高精細立体視で再現し、蓄積情報としては時間を超えた供覧に資するものです。

本実証実験において、医療関係者のコメント・要望を集め、実用に向けて更なる技術向上を目指します。

補足資料

3D 裸眼ハイビジョンライブ映像

今回の実証実験では、藤田保健衛生大学医学部手術室のda Vinciの3Dカメラから、実際の手術映像を撮影する。通常は、この3D映像はコックピットで操作をする執刀医以外は見ることができず、外部に出力されるのは2Dのモニタ用映像のみであるが、URCF普及促進部会立体映像伝送作業班では、3D映像を外部に取り出す技術を確立した。この3D映像は、2眼式のハイビジョン画質の映像であり、右眼用映像と左眼用映像の一対の映像で構成される。

撮影された3Dハイビジョン映像は、徳島大学医学部会場に伝送され、3D裸眼テレビに立体表示される。3D裸眼ハイビジョンライブ映像は、高精度に同期のとれた左目／右目用のハイビジョンカメラによる映像と、それをリアルタイムに3D合成する装置「3D Side By Side Encoder」により、初めて実現可能となった。Side by Side方式とは、3D立体映像を表示させるための技術の一つで、画像の横幅を1/2に縮めた（圧縮した）上で､2つの映像を画面の左右に並べて1つの画像に合成したものを言う。

眼鏡方式の3Dテレビに表示する場合には、右眼用カメラと左眼用カメラで撮影した一対の映像を入力すればよいが、3D裸眼テレビにそのまま入力したのでは、裸眼用の多視点映像に変換する際に画像の乱れが生じ、画像の一部が2重像になってしまい非常に見づらくなるという問題があった。この問題を解決するための画像処理技術を開発し、「3D Side By Side Encoder」に組み込むことにより、眼鏡方式、裸眼方式のいずれのテレビにおいても良好な画像が表示可能になった。

「3D Side By Side Encoder」によりリアルタイムに3D合成された映像は、H.264にエンコードし、超高速インターネット衛星WINDSを介して、徳島大学医学部会場に伝送される。徳島大学医学部会場では、55インチのインテグラル（I）イメージング（I）方式の3D裸眼テレビ（下図右）4台でリアルタイムに3D表示することにより、生の3D裸眼ライブ伝送を可能とする。

3D Side By Side Encoder HD-SDI （1920×1080）

東芝製グラスレス3D 液晶テレビ「レグザ55X3」

藤田保健衛生大学医学部

過去3年間に行われたda Vinciでの一般消化器外科手術総数は200件以上でおそらく全国最多の手術件数を誇る。藤田保健衛生大学病院（http://www.fujita-hu.ac.jp/HOSPITAL1/index.html）参照。

徳島大学大学院ヘルスバイオサイエンス研究部

今回の実証実験における、3D 裸眼ハイビジョン映像視聴会場（西病棟11F 日亜メディカルホール）である。 http://healthbio.basic.med.tokushima-u.ac.jp/

da Vinci手術

da Vinci手術は、コックピットで操作する術者と共に、その指示に基づいて補助的操作を行う手術補助者と連携して行われる。従来は、コックピットでディスプレイをのぞく執刀医以外は、3D映像下で手術を行うda Vinci手術の裸眼3D映像を見ることができなかったが、本開発成果を使うことにより、補助者も術者と同じ映像情報を見る形となり、精度の高い奥行情報を得ることができるようになる。眼鏡を掛けることの煩わしさから開放され、眼精疲労といった負担もない。

正しい手術の戦略イメージを描くには、経験豊かな術者の手術を討論しつつ見ることのできるライブは最適と思われる。今回世界で初めて企画した3D裸眼ハイビジョン映像のライブ伝送実験においては、手術を3D画像で学ぶのに、3Dが2Dよりどれほどイメージ作りに有用か、長時間の視聴に耐えうるか等の検証を行う。

超高速インターネット衛星WINDS を使った手術用ロボットda Vinci 手術3D裸眼映像ライブ伝送実証実験の構成図

【詳細】超高速インターネット衛星WINDS を使った手術用ロボットda Vinci 手術3D裸眼映像ライブ伝送実証実験の構成図 (PDF形式, 347KB)

用語解説

超臨場感コミュニケーション産学官フォーラム

超臨場感コミュニケーションは、あたかもその場にいるような感覚を与える未来のコミュニケーション手段。その実現には、「超高精細・立体映像」「高臨場感音場再生」「触覚・臭覚を含めた五感通信」など多様な技術が求められる。2007年3月、超臨場感コミュニケーションに関する研究者・事業者・利用者等が広く参集し、情報交換や異分野間交流を行いながら研究開発・標準化等を効率的に推進していくことを目的に、「超臨場感コミュニケーション産学官フォーラム」（会長：原島博　東京大学名誉教授）を設立。平成24年1月12日現在：会員199名（正会員：83　特別会員：116）

超臨場感コミュニケーション産学官フォーラム

URCF 普及促進部会立体映像伝送作業班

URCFには、技術開発部会と普及促進部会の2つの部会があり、普及促進部会では、実証実験や展示会などを通して立体映像技術を社会に広めるための活動を行っている、その下の作業班である立体映像伝送作業班では、これまで二眼式（眼鏡あり）立体映像のIP伝送実証実験などを実施していたが、今年度からは眼鏡なし立体映像伝送を行うための技術開発を行っている。中核メンバーは以下の3社である。

株式会社NHKメディアテクノロジー（代表取締役社長：西山博一、住所：東京都渋谷区神山町4-14)
株式会社東芝（取締役代表執行役社長：佐々木則夫、住所：東京都港区芝浦1-1-1)
FA・システムエンジニアリング株式会社（代表取締役：中村康則、住所：愛媛県松山市北藤原町1-26)

da Vinci 手術支援用ロボット

da Vinciサージカルシステムは、米国Intuitive Surgical社の製品である。国内では現在約38台が導入され、今後、多数の導入が見込まれている。術者は、3D映像下で3本のアームを遠隔操作することで手術を行うことができる。一般消化器外科、胸部外科（心臓外科を除く）、泌尿器科、婦人科の各科にて内視鏡手術器具操作を支援する装置である。使用に関しては、薬事法承認のトレーニングを受けることが条件となっている。

超高速インターネット衛星WINDS（きずな）

WINDSは、現在、NICTとJAXAが共同で進めている世界最高水準の高度情報ネットワークの形成を目指したプロジェクト。アジア・太平洋地域のデジタル・ディバイドの解消、衛星利用の高度化等に必要なギガビット級の超高速衛星通信技術の確立を目的に、NICT及びJAXAが開発した研究開発衛星で、平成20年2月23日にH-ⅡAロケットで打ち上げられ、平成20年6月30日からは定常運用が開始されている。衛星通信能力として、「きずな」に搭載されているNICT開発の再生中継器を用いることで、小型地球局（VSAT)を用いて最大155 Mbpsのメッシュ接続による通信が可能である。また、1.1 GHz帯域幅のベントパイプ型の衛星中継モードを用いれば、世界最高速の1.2 Gbps伝送が可能である。将来の情報ネットワークの更なる高速・大容量化を想定し、一般家庭でも超小型アンテナ（CS受信アンテナとほぼ同じ直径45センチ程度）を設置することにより、最大155Mbps の受信及び6Mbpsの送信を、また企業等においては直径5メートル級のアンテナを設置することにより最大1.2Gbpsの超高速双方向通信の達成を目的としている。

CCT2010 Surgical

2010 年1月28日（木）～30日（土）、神戸国際展示場、ポートピアホテルで開催された、心臓手術の専門家の相互学習、情報交換のための集会。URCF 普及促進部会立体映像伝送作業班及びNICTは、超高速インターネット衛星WINDSを使って、世界初の心臓外科手術3Dハイビジョン映像ライブ中継（眼鏡あり）に成功した。