リアルタイム！超臨場感インタラクティブ可視化システムを開発

～200インチ超多視点裸眼3Dディスプレイ上で操作する、新たな立体映像の体験が可能に～

2015年3月25日

独立行政法人情報通信研究機構

ポイント

200インチ超多視点裸眼3Dディスプレイ上でリアルタイムにCG映像を作製
観客が、従来の「見る」だけから、自ら自在に「操る」ことが可能に
センサデータやビッグデータを立体映像として可視化することで、より直感的に活用

NICTは、ユニバーサルコミュニケーション研究所において、200インチ超多視点裸眼3Dディスプレイ（REI: Ray Emergent Imaging）に、CG映像を瞬時に生成・表示できるシステムの開発に成功しました。これにより、リアルタイムに作製されたCG映像を観客が自在に扱える、これまでにない体験ができるようになりました。また、立体映像コンテンツをインタラクティブに作製しやすい環境が整備されたことにより、一般の研究者が用意したコンテンツによる研究や実証実験が実施しやすくなりました。これらの開発により、ビッグデータ分析や可視化シミュレーションなど、多岐にわたる分野での新たな活用が期待できます。なお、本システムは、グランフロント大阪北館ナレッジキャピタルにて平成27年4月1日（水）から一般公開します。

背景

NICTユニバーサルコミュニケーション研究所では、高い臨場感を伴うコミュニケーションシステムの確立に向けて、立体映像の伝送・提示技術を研究開発しています。NICTが開発した超多視点裸眼3DディスプレイREI は、世界最大級となる200インチの大画面を有し、平成25年4月から、グランフロント大阪にて、様々な立体映像コンテンツの制作・上映や立体映像評価を目的とした実証実験を行ってきました。200インチ超多視点裸眼3DディスプレイREIは、奥行きのある空間を高品質に再現できますが、それにはハイビジョン解像度のプロジェクター約200台分に相当する膨大な映像情報の生成が必要となります。このような高品質の立体映像を単に見るだけでなく、映像の内容に対して自由な操作（見ている物の視点を変える、移動させるなど）ができれば、更に臨場感を高められます。

今回の成果

今回、異なる約200視点のCG映像を計算機群により分散処理して、時々刻々と変化する情報の計算結果を即時に可視化できる装置の開発に成功しました。生成した映像を伝送するこれまでの方式に対し、今回は、モデル化したデータを伝送して現地で変換・処理する方式であるため、伝送するデータ容量の削減にも貢献しています。

また、一般的な手法で制作されたCGコンテンツを、超多視点立体映像に変換するためのソフトウェアフレームワークを同時に開発しました。

通常、立体映像コンテンツの制作や視点ごとの映像生成には、表示対象の3Dディスプレイ特有の知識が必要となりますが、本フレームワークは、CGコンテンツ制作の分野で普及し、標準的に用いられているミドルウェア上に実装されています。この結果、インタラクティブに（自由で対話的に）操作可能な超多視点の立体映像コンテンツ制作やセンサデータの可視化を行うことが容易になりました。

今後の展望

本システムは、グランフロント大阪北館ナレッジキャピタルの超多視点裸眼3DディスプレイREI上で、平成27年4月1日（水）から運用します。今後、本システムによる実証実験や調査研究において、内外の研究機関や大学・企業との連携を進めます。

補足資料

図1. 開発したシステムの構成　［画像クリックで拡大表示］

今回開発したパッケージを、コンテンツ制作者（デザイナ）が通常の手法で制作したコンテンツに導入することによって、容易に超多視点表示ができるようになりました。デザイナが作製したCGコンテンツを基に、多数のレンダリング装置が連携して、約200視点のCG映像の生成をリアルタイムで行います。

図2. センサデータをインタラクティブに可視化して利活用する例　［画像クリックで拡大表示］

NICTが有するフェーズドアレイ気象レーダにより得られた、関西における豪雨時の3次元降雨分布を示しています。このように、時々刻々と得られる3次元観測データも、即時にレンダリング（映像として可視化）し、超多視点立体映像として表現できるようになりました。手元のコントローラの操作によって、データの注目したい箇所に近づいたり、全体を俯瞰したりすることができ、表示中のデータの時刻を進めたり、巻き戻したりして可視化することもできます。

（参考）平成24年8月31日NICT報道発表

日本初「フェーズドアレイ気象レーダ」を開発～ゲリラ豪雨や竜巻の詳細な3次元構造をわずか10秒で観測可能に～
https://www.nict.go.jp/press/2012/08/31-1.html

図3. インタラクティブなCGコンテンツの作製と表示例　［画像クリックで拡大表示］

上の写真は、車や商品などのCGモデルから、リアルタイムに映像を生成し、立体映像表示している例です。操作によって、車の色や模様、商品の種類や材質などを即座に変更することができるようになりました。この機能により、顧客の反応に応じて変化するデジタルサイネージや、多人数で楽しめる立体映像のアトラクション、各分野におけるシミュレーション結果の可視化への応用などが期待できます。

用語解説

超多視点裸眼3Dディスプレイ（REI : Ray Emergent Imaging）

NICTが開発した特殊なメガネなしで自然な立体映像を見ることができる3Dディスプレイ（呼称: REI）。約200の有効な視差画像を高密度に表示する技術により、なめらかな運動視差を持つハイビジョン画質の立体映像を200インチという世界最大級の大画面で表示することが可能。

（参考）平成23年1月25日NICT報道発表

世界初「200インチの自然な裸眼立体表示技術」の開発に成功
https://www.nict.go.jp/press/2011/01/25-1.html

元の記事へ

グランフロント大阪北館ナレッジキャピタルにて平成27年4月1日（水）から一般公開

グランフロント大阪北館
ナレッジキャピタル　地図

「リアルタイム超臨場感インタラクティブ可視化システム」設置場所
グランフロント大阪北館　ナレッジキャピタル3F
ザ・ラボ内　アクティブスタジオ（アシックスストア北隣）
大阪市北区大深町3-1 （JR大阪駅の北側からお越しください。）
http://kc-i.jp/access/

元の記事へ

ハイビジョン映像

システムで用いているハイビジョン映像信号は、画素数約200万（1,920×1,080画素）、毎秒フレーム数60（プログレッシブ）

元の記事へ

ミドルウェア

CGコンテンツの制作過程で用いられる、様々な素材を管理・編集し、コンテンツとして出力する機能を有するソフトウェア。コンテンツに登場するキャラクタの形状や動き、背景や効果音などは、別の様々なソフトウェアで制作され、ミドルウェアでは素材として管理される。ミドルウェアでは、素材を使ってCGの世界を作り、ゲーム性やストーリー性を付加することにより、コンテンツができあがる。今回開発したシステムは、ゲームエンジンUnity*を基盤に制作環境の整備を進めた。

* Unity及び関連の製品名は、Unity Technologies又はその子会社の商標です。

元の記事へ

内外の研究機関や大学・企業との連携

sharelog 3Dの表示例

連携第1弾として、「sharelog 3D」を平成27年4月1日（水）から8日（水）までグランフロント大阪北館ナレッジキャピタルで展示予定。
「sharelog」は、体験者がかざした交通系ICカードの鉄道利用履歴が可視化される、ユーザ参加型のパブリックアート作品で、東京大学大学院廣瀬・谷川研究室にて研究・開発されている。
「sharelog 3D」は、今回開発されたフレームワークを用いることによって、超多視点の裸眼立体映像としての可視化が実現したもの。

元の記事へ