本コンソーシアムは、本研究開発において、大きく3つの活動を行います。
1. 多言語音声翻訳技術を実用レベルで利用するための各種技術の研究開発
2. 多言語音声翻訳技術を2020年までに社会で実用化するための社会実証
3. 多言語音声翻訳技術が2020年以降も社会に根付き、利活用されるモデルの検討と試行
各活動の内容は、それぞれ以下のとおりです。
1. 多言語音声翻訳技術を実用レベルで利用するための各種技術の研究開発
① 雑音抑圧技術の研究開発
ア）音声入力デバイスにおける雑音抑圧のための集音技術（担当：パナソニック株式会社）
音源の方向に基づき指向性の範囲と向きを制御する適応型ビームフォーマー技術の研究開発を行い、様々な環境で雑音による音声認識精度の劣化を防止し、多言語音声翻訳技術を実用レベルで利用可能にします。
イ）多様な環境における雑音抑圧最適化技術（担当：日本電信電話株式会社）
実際の社会での音声翻訳に悪影響を与える多様な雑音に対して雑音抑圧技術を適用するにあたり、専門家により利用環境に応じた雑音抑圧を実行する各機能部の処理方式の選択や動作パラメータセットの設定をチューニングする必要があります。そこで、広く社会実装する上での阻害要因となるチューニングコストを半減する雑音抑圧最適化技術を確立します。
② 翻訳自動学習技術の研究開発（担当：国立研究開発法人情報通信研究機構）
翻訳精度を向上させ、利用者の満足度を向上させることを目的に、翻訳結果への信頼度自動付与、翻訳結果の自動修正、翻訳過程での人間と機械との連携の方法を研究します。そして、この技術を多分野で容易に活用できるためのプログラムパッケージを開発します。
③ 特殊文字認識技術の研究開発（担当：パナソニック ソリューションテクノロジー株式会社）
情景内文字認識を、明暗コントラスト変化の低減処理、ヒューリスティックな情報活用などによる文字検出・認識技術開発により実現し、多言語翻訳の実用化に寄与します。
④ 位置情報を活用した翻訳精度向上技術の研究開発（担当：株式会社KDDI研究所）
訪日外国人が言葉の壁を越えて、一般のタクシーを利用するために、位置情報や利用者のスマホなどの情報を活用し、車載器と連動しながら、音声翻訳の精度を改善する研究開発を進めます。
⑤ 各研究開発技術を利用可能とする多言語音声翻訳プラットフォームの開発（担当：株式会社みらい翻訳）
社会実証を通じた様々な利用シーンと研究開発技術（上記①～④）を結合し、翻訳サービス等を提供する企業が利用することを想定した多言語音声翻訳プラットフォームを開発・運用します。
多言語音声翻訳プラットフォーム開発においては、研究開発技術と結合する機能別インターフェース、国立研究開発法人情報通信研究機構が開発した多言語音声翻訳技術を結合する多言語音声翻訳インターフェース、および、翻訳サービス等を提供する企業が利用することを想定した多言語音声翻訳プラットフォームインターフェースを開発します。（開発支援担当：エヌ・ティ・ティ・アドバンステクノロジ株式会社）
2. 多言語音声翻訳技術を2020年までに社会で実用化するための社会実証
① 防災分野での社会実証（担当：東日本電信電話株式会社、株式会社エヌ・ティ・ティ・データ経営研究所）
災害の際にも訪日外国人の安心安全を確保できる社会を実現することを目的に、平時の利用も念頭に置きながら避難所での意思疎通などを支援する多言語音声翻訳システムと研究開発技術の社会での実装と活用について実証を行います。
実証フィールド：自治体、国際空港駅（鉄道事業社）
② 鉄道分野での社会実証（担当：株式会社日立製作所）
鉄道利用時の訪日外国人の満足度や安心感の向上、おもてなしサービス向上を目的として、訪日外国人と駅員等のスムーズなコミュニケーションを支援する多言語音声翻訳技術の社会での実装と活用について実証を行います。
実証フィールド：鉄道事業者（外国人観光客が多い駅、大規模な駅、国際空港への連絡がある駅など）
③ ショッピング分野での社会実証（担当：パナソニック システムネットワークス株式会社）
訪日外国人旅行者のショッピングシーンにおいて、必要なサービスを円滑に利用できる社会を実現することを目的に、ショッピング利用環境に適した多言語音声翻訳システムと研究開発技術の社会での実装と活用について実証を行います。
実証フィールド：都内の百貨店、量販店など
④ タクシー分野での社会実証（担当：KDDI株式会社）
訪日外国人のタクシー内での言葉の壁に起因する社会サービスの差を克服するために、多言語音声翻訳システムとそれに関連する研究開発技術を実際のフィールドでの社会実証を行います。
この社会実証によりタクシー内における多言語音声翻訳システムの課題を抽出し、解決案を策定することで速やかな社会実装を行い、より高度な「おもてなし」の実現を目指します。
実証フィールド：訪日外国人が乗車した営業中のタクシー
⑤ 医療分野での社会実証（担当：富士通株式会社、株式会社富士通研究所）
訪日外国人が疾病、負傷の際に、日本の病院で安心して受診できるようにすること、さらに、医療分野において、受付から診察・検査、会計まで、病院内での多様なシーンにおける多言語音声翻訳技術の適用、実証を行い、開発成果を中心にビジネスモデルを検討します。
実証フィールド：病院
3. 多言語音声翻訳技術が2020年以降も社会に根付き利活用されるモデルの検討と試行
本研究開発にともない、国立研究開発法人情報通信研究機構が開発し技術的に世界トップクラスの評価を得ている「多言語音声翻訳システム」を実用レベルで利用するための各種技術の研究開発を実施するとともに、実社会の各シーンにおいて社会実装に向けた実証を実施します。
