国立研究開発法人情報通信研究機構（以下、NICT）では、原文と機械翻訳文（以下、MT訳）のみを参照して、MT訳の総合的な品質、およびMT訳中の個々の語の品質を自動的に推定するツールを開発しています。このたび、NICTで開発したツールの一つであるTexTra-MTQEをオープンソースソフトウェアとして公開しました（https://github.com/NICT-ATT/TexTra-MTQE/）。
概要
NICTでは、機械翻訳技術と並行して、機械翻訳文の品質を自動的に推定する技術も研究開発しています。このたび公開したTexTra-MTQEは、(a)機械翻訳文全体の総合的な品質を推定することで、機械翻訳文をそのまま採用できるか、一部を修正して使えるか、人間が訳しなおす必要があるか、というユーザの判断を可能にするとともに、(b)機械翻訳文中の個々の語の品質を推定することで、どの部分を修正する必要があるかをユーザに伝達することを可能にします。
背景
機械翻訳システム（以下、MTシステム）の研究開発においてはMTシステムの出力(以下、MT訳)の品質を人間が作成した参照訳と比較して評価することが一般的ですが、MTシステムを実際に利用する場面では、参照訳なしに、MT訳を採用するか、人間が修正するか、破棄するかという判断を行う必要があります。そのため、機械翻訳の品質推定という技術についての研究開発が始まりました。機械翻訳の品質推定では、上述の(a)と(b)の両方が重要だと考えられていますが、従来手法では両者が独立に実装されており、推定結果に矛盾が生じる場合もありました。
成果
このたび公開したTexTra-MTQEは、上述の(a)と(b)の矛盾を防ぐような仕組みを提供しています。具体的にはまず、訓練データに対するラベルを拡張します。従来手法では、MT訳に対して後編集を行った後、MT訳と後編集結果を比較することによって(a)必要な後編集の量および(b)後編集が行われたMT訳中の語を特定し、モデルを訓練する際の正解ラベルとして使います。我々の手法では、これらに加えて、機械翻訳の自動評価に用いられる複数の文単位の評価尺度（例えば、BLEU、chrF、TERなど）を用いて算出できる、(a)に関する複数のラベルを用います。次に訓練時には、従来手法とは異なり、各尺度の埋め込み（metric embedding）および尺度注意機構（metric attention）という技術を用いて(a)の各尺度がMT訳中のどの語にどの程度注目しているのかを自動的に定量化することにより、(a)MT訳全体および(b)MT訳中の各語の品質を矛盾なく推定します。我々は、この提案手法が著名なベンチマークにおいて実際に(a)と(b)を矛盾なく高精度に評価できることを確認しました。詳しくは、情報通信研究機構研究報告 Vol. 68、No. 2、ユニバーサルコミュニケーション技術特集に掲載の『機械翻訳結果の品質推定』をご覧ください。
今後の展望
NICTでは、日本語を中心とした機械翻訳技術を「みんなの自動翻訳@TexTra」を通じてサービスしています。機械翻訳文の品質推定技術についても、今後精度をさらに改善し、「みんなの自動翻訳@TexTra」を通じてサービス提供することを目指しています。
謝辞
本研究開発は、総務省の「ICT重点技術の研究開発プロジェクト（JPMI00316）」 によって実施した成果を含みます。
nict.go.jp