「第35回 独創性を拓く 先端技術大賞」経済産業大臣賞受賞

深層学習で用いられるニューラルネットは、各種の数値計算と大量の学習パラメータ（数値データ）からなるが、その学習には膨大な計算が必要であり、深層学習専用のソフトウェアによってニューラルネットを定義し、深層学習に特化した計算機であるGPUを用いて学習が行われる。ニューラルネットの性能は、学習パラメータの数を増加させることにより、劇的に向上するとされるが、そうした巨大化は必要な計算の量やメモリ量の増加に直結するため、計算や学習パラメータの記憶を多数のGPUに分担させ、並列に計算することが必須である。

従来はそうした並列計算の実現には、開発者が、細かな計算や各々の学習パラメータの記憶を、複数あるGPUのどれで行うかといった分担を決定し、通常、1台のGPUを想定して記述されるニューラルネット定義のプログラムの中に、そうした分担の指定を書き込む必要があったが、どのように計算を複数GPUに分担させると高速化できるべきかは、ハイレベルな専門家にも自明ではなく、長期に渡る試行錯誤が必要であった。

RaNNCは、このような多数のGPUに計算や学習パラメータの記憶を分担させ、並列で学習を行うプロセスをほぼ完全に自動化する。これにより、専門家のチューニング作業が一切不要になり、大規模な深層学習を劇的に容易化、ローコスト化できる。また、広く使用されている大規模深層学習のための既存ソフトウェアは、Transformerと呼ばれる特定のニューラルネットの種類にしか適用できないのに対し、RaNNCは基本的に適用できるニューラルネットの種類に制約がない。

こうした先進性が評価され、RaNNCは、PyTorchの開発を主導するFacebookが主催するPyTorch Annual Hackathon 2021 (110ヶ国から1,947人が参加、応募65件) で、First Place（PyTorch Developer Tools & Libraries部門）を受賞している。また、RaNNCはオープンソースで一般公開されており、商用目的を含め無償で利用できる。