国立研究開発法人 情報通信研究機構
2015年11月2日
NICTユニバーサルコミュニケーション研究所は、テーブル型メガネなし3DディスプレイfVisiOn(エフ・ビジョン)の技術を応用し、一般のCGクリエーターでも簡単に全周3D映像のコンテンツが制作でき、fVisiOn上で即座に体験できるシステムの開発に成功しました。フレームワークは、標準的なCGソフトウェアをベースに開発されたため、センサーなどと連携したインタラクティブなコンテンツも容易に制作できるようになりました。これにより、立体映像メディアを使った新たな市場が期待されます。
※本研究は、科学技術振興機構(JST) 戦略的創造研究推進事業 チーム型研究(CREST)「共生社会に向けた人間調和型環境技術の構築」研究領域における研究課題「局所性・指向性制御に基づく多人数調和型情報提示技術の構築と実践」(研究代表者:東京大学 苗村 健 教授)」の支援を受けて行われました。
背景
NICTユニバーサルコミュニケーション研究所では、高い臨場感を伴うコミュニケーションシステムの確立に向けて、立体映像の伝送・提示技術を研究開発しています。fVisiOnは、日常生活で利用されるテーブルを中心としたコミュニケーションを映像で支援することを目的とした研究であり、何もないテーブルの上に模型があるかのように、メガネなしで多人数が同時に観察できる立体映像の再生原理を考案し、原理検証を進めてきました。fVisiOnでの3D映像再生には、原理的に大量の光線の計算が必要です。しかしながら、その計算は専用に開発したソフトでも長い時間がかかる上に、元データ(コンテンツ)の制作にも専門的な光線幾何学の知識が必要でした。
今回の成果
- CGコンテンツを標準的なミドルウェア(Unity)上で制作し、即座にfVisiOnで立体映像表示できるフレームワークを新たに構築しました。
- fVisiOn特有の大量で複雑な光線計算について、リアルタイムに算出可能なアルゴリズムを新たに開発し、ミドルウェア上のライブラリとしてパッケージ化しました。
- 市販のセンサーから得られるデータや、ネットなどで公開されているモデルの利用なども、ミドルウェアの機能を流用することで、簡単にできます。
- クリエーターは、一定のガイドに従って作業するだけで、fVisiOn特有の複雑な計算を意識することなく、簡単に全周3D映像のコンテンツ制作ができ、それをfVisiOn上で即座に体験できます。
- 加えて、これまでの研究成果を反映した3D映像の高画質化(以前の試作機と比較して16倍)と、テーブルの小型化(直径90 cm、高さ70 cm)にも成功し、より実用的なシステムになりました。
今後の予定
本成果について、ACM SIGGRAPH ASIA 2015 Emerging Technologies (平成27年11月3~5日、神戸国際展示場)にて学会発表及び実機展示を行います。
また、コンテンツメーカーへの試作機モジュールの貸出し、製品化なども検討していきます。
補足資料
今回の開発の概要
テーブルの上に置かれた実物のある一点に着目すると、その表面は光源からの光を反射して様々な方向に少しずつ違う光線を出しています。つまり、同じ表面の一点でも、右目と左目では少し異なる方角からくる光線を見ています。人が「物が立体的にそこにある」と理解する要因の一つは、この表面から様々な方向に光線が出ているという現象になります。
fVisiOnは、テーブルの下に円状に並べた大量のプロジェクターと円錐型の光学素子(背面投影式の特殊なスクリーン)を使い、この机の上に物がある光の状態を、テーブルの円周方向に再現する原理となっています(図1参照)。例えば、Pの位置のプロジェクターは、EaやEbといった複数の異なる視点位置に届く光線を同時に再生しています。一般的なCGでは、視点側(例えばEaやEb)から見た映像を計算するため、fVisiOnで必要とする計算は、標準的な手法で簡単に作成することはできませんでした。
そこで、再生したい3D形状の表面が放つはずの様々な光線を、幾何学的に一つ一つ計算する専用のソフトウェアを開発しましたが、大量の光線計算に長い時間がかかる上に、元データ(コンテンツ)の制作にも専門的な光線幾何学の知識が必要でした。
図2 開発したフレームワークでのコンテンツ制作の例
今回、fVisiOn特有の大量の光線計算を並列化し、リアルタイムに計算できるアルゴリズムを新たに開発しました。そのアルゴリズムは、コンテンツ制作で一般的に利用されつつあるUnity上で動作するものとして開発しており、ライブラリとして利用可能な形に整備しました。これにより、CGクリエーターは、なじみのある手法でコンテンツを制作した後、用意した手順に従ってライブラリをインポートし、適用することで、fVisiOn専用のコンテンツに簡単に変換できるフレームワークが完成しました(図2参照)。
一般的なコンテンツ制作ソフト上でフレームワークを構築したため、流通している形状データや、センサーを用いたインタラクティブなコンテンツも制作しやすくなりました。最新のデモンストレーションシステムでは、テーブルに埋め込まれたカードリーダーと連携したコンテンツを制作することが可能です。図3の制作例では、カードのキャラクターがテーブル上に登場してアニメーションする様子が、テーブルの周囲のそれぞれの視点からメガネなしで立体的に観察できます。
また、これまでの試作機の見かけ上の立体映像の解像度は100×100画素相当でしたが、今回新しく同時に開発した試作機では400×400画素相当になり、16倍の情報量に向上しました。解像度が向上したことにより、複数形状の同時表示や、細かい形状の確認がしやすくなりました。また、これまでは手作業により試作された光学素子に起因して発生していた画像の乱れが、新規開発の光学素子では解消されました。
試作1号機(図5(a)参照)は原理検証が目的のため、専用の部屋を必要とするほど大きく、多くの方々に利用・体験していただく機会は限られていました。
今回新しく開発したテーブル型3Dディスプレイの装置全体は、直径90cmのテーブル型に仕上げられています(図5(b)参照)。内部にはモジュール化されたプロジェクターアレイが円形に配列され、テーブル面中央真下に配置された円錐型の光学素子に様々な方向から大量の光線を投げかけ、テーブルの上に立体映像を再生します。
1つのモジュールが一人分(30度程度)の立体映像を再現できるため、少数のモジュールと円錐光学素子で、一人や少人数で3D映像を体験できる環境にすることも可能です(図5(c)参照)。
用語解説
NICTが開発した、特殊なメガネなしで複数人が同時に周囲360度から立体映像を見ることができる3Dディスプレイ。
テーブルの下に埋め込まれた、円錐型の光学素子(特殊な背面投影スクリーン)と、円状に配列された多数の小型プロジェクターにより、テーブルの周囲から観察可能な立体映像を再現する。
(参考)平成22年7月1日付けNICT報道発表
本件に関する問い合わせ先
ユニバーサルコミュニケーション研究所
超臨場感映像研究室
超臨場感映像研究室
吉田 俊介、 奥井 誠人
Tel: 0774-98-6300
E-mail:
広報
広報部 報道担当
廣田 幸子
Tel: 042-327-6923
Fax: 042-327-7587
E-mail: