透明ARディスプレイに高精度計測データによるフォトリアルな3D表示を実現

2022年1月31日


国立研究開発法人情報通信研究機構
凸版印刷株式会社

ポイント

  • ホログラフィックフィルム1枚と複数のプロジェクタのみで透明ARディスプレイシステムを構成
  • 高精度の顔計測データによるフォトリアルな3D表示を実現
  • 3D表示を通じオンラインによるコミュニケーションへの活用に期待
国立研究開発法人情報通信研究機構(NICTエヌアイシーティー、理事長: 徳田 英幸) デジタル光学基盤研究室は、 ホログラムプリント技術(HOPTEC)を応用し、多人数が同時に3Dメガネなし(裸眼)でフォトリアルな3D表示を体験できる 透明AR(Augmented Reality)ディスプレイシステムを開発しました。本システムは、NICTが独自開発したホログラフィックフィルム1枚と、複数台の小型プロジェクタから構成されます。さらに、NICTと凸版印刷株式会社(凸版印刷、代表取締役社長: 麿 秀晴、本社: 東京都文京区)は、本システムに、凸版印刷の保有する ライトステージを用いて計測した高精度な顔計測データから成る映像を3D表示することに成功しました。
今後、フォトリアルな3D表示を通じ、透明ARディスプレイシステムを使ったオンラインによるコミュニケーションや遠隔作業支援などに活用します。

背景

昨今、オンラインでのコミュニケーションの重要性が高まる中、二次元映像のみでは情報量が足りないケースが多く、コミュニケーションツールとして、フォトリアルな3D表示への期待が高まっています。
NICTでは、HOPTECを使って作製したホログラフィックフィルムとプロジェクタを組み合わせることで、映像を3D表示することが可能な透明ARディスプレイの研究開発を行ってきました(2016年10月の報道発表を参照)。
凸版印刷では、高精度の人体計測が可能な装置「ライトステージ」を核に、顔計測データを始めとした人体の様々な情報を適切に加工し提供するプラットフォームの構築を目指し、 トッパンバーチャルヒューマンラボを開設して、事業開発を行ってきました。

今回の成果

透明ARディスプレイ(左)とモデル本人(右)

NICTは、ホログラフィックフィルムと複数台の安価な小型プロジェクタのみの簡易な構成により、裸眼で3D表示を体験できる透明ARディスプレイシステムを開発しました。本システムは、約30台の小型プロジェクタを用いてフルカラーの映像を投影し、対角35 cm、水平視野角60度、垂直視野角10度以内で、3Dメガネを着用せずに多人数で見ることが可能です。なお、光線制御技術に関しては、 京都橘大学にもご協力をいただきました
また、NICTと凸版印刷は本システムによる新しいコミュニケーションの可能性を探るべく、凸版印刷のライトステージで撮影した高精細かつ肌の質感を含んだ顔計測データを本システム上に再現する実証実験を行い、自然な顔の表情を映し出すことに成功しました。

高精細な顔計測データから成る映像を透明ARディスプレイ上に3D表示した様子の例

今後の展望

NICTと凸版印刷は、今後も3Dコンテンツを使用した新しいコミュニケーションの可能性を開拓すべく協力していきます。また、これまで培ってきた知見と技術を活かし、仮想空間と実空間をつなげるデジタルツインや、仮想キャラクターといったエンターテイメント分野だけでなく、人体を3D表示させた手術トレーニングや手術支援など医療分野における活用など様々な分野への適用を進めていきます。
NICTは、3Dコンテンツの更なる高精細化、システムの簡素化・柔軟性の向上、各種3Dデータへの対応(例えば、CADデータや BIMデータ 点群データ等)などを進め、コミュニケーションにとどまらずそれ以外の分野(例えば、建設分野、教育分野など)へ寄与できる技術の開発を目指します。
凸版印刷は、人体に関する各種計測データを蓄積し、高セキュリティ下での管理・運用ノウハウと知見を活かし、様々な領域に適応可能なデジタルコンテンツ生成のプラットフォーム構築を目指します。

各者の役割分担

・情報通信研究機構: ホログラフィックフィルムを応用した透明ARディスプレイシステムの開発
・凸版印刷: 顔計測データの取得、及び人体情報データの活用に関する研究/用途開発

関連する過去の報道発表

用語解説

ホログラムプリント技術(HOPTEC)

NICTが開発している、計算機合成ホログラムを光学的に再生し、再生された波面をホログラム記録材料に物体光としてタイリング記録するホログラム露光技術。HOPTECにより、デジタルに設計した光学機能をホログラフィック光学素子として透明なフィルムにプリントすることができる。

透明AR(Augmented Reality)ディスプレイシステム

NICTで開発した透明ARディスプレイでは、HOPTECにより作製した独自の光学機能を持つ透明なホログラフィックフィルムと、マルチプロジェクタによる光線情報の投影により、水平視野角60度、垂直視野角10度の範囲で、複数人が同時に3Dメガネなしにフルカラーアニメーションの3D映像を観察できる。また、このディスプレイシステムで再生される裸眼3D映像は、ホログラフィック光学素子の波長選択性により、背景や実物と重畳した拡張現実感(Augmented Reality: AR)による表現が達成される。

ホログラフィックフィルムには、プロジェクタの投影画角を吸収し、所定の視域に対して特定の角度間隔と本数で光線数を増やして反射させる機能を持たせている。このホログラフィックフィルムに対して、水平に配列した30台以上のプロジェクタからあらかじめ飛行経路を計算した光線群を投影し、再生する3Dデータが本来放つ光線群と対応付けて再現することで、裸眼3D映像の観察が可能となる。この光線制御部分については、NICTで実施したテーブル型裸眼3Dディスプレイの研究開発(以下の2010年7月の報道発表を参照、テーブル型裸眼3Dディスプレイの研究は現在京都橘大学で継続中)で培われた光線制御技術を応用している。
関連する報道発表

ライトステージ

南カリフォルニア大学(所在地: カリフォルニア州ロサンゼルス市、学長: キャロル・L・フォルト)が開発した、高精度の顔計測が可能な装置。凸版印刷では2020年12月に導入した。

トッパンバーチャルヒューマンラボ
凸版印刷がデジタル情報の発信地秋葉原に開設した、様々な人体情報データ活用に関する研究/用途開発を推進する共創の場

BIMデータ

Building Information Modeling(ビルディング インフォメーション モデリング)の略称で、コンピューター上に現実と同じ建物の立体モデル(BIMモデル)を再現して、よりよい建物づくりに活用していく仕組みである。

点群データ

3次元スキャナーなどを用いて物体表面を計測し、多数の点を3次元座標の点群として出力したデータのこと。

本件に関する問合せ先

国立研究開発法人情報通信研究機構
電磁波研究所 電磁波先進研究センター
デジタル光学基盤研究室

涌波 光喜、市橋 保之

凸版印刷株式会社
事業開発本部

田邉 集、熊谷 稔

広報(取材受付)

国立研究開発法人情報通信研究機構
広報部 報道室

Tel: 042-327-6923

凸版印刷株式会社
広報本部 広報部