BERTの先にあるもの

今回は「fromZEROでAI体験」で使っているBERTを含む機械学習システムがどう進化していくかについて考えてみたいと思います。

こんにちは。前回は、このサービスで使っているBERTを含む機械学習システムにおけるモデルについてお話ししました。今回は、機械学習システムが今後どう進化していくかについて考えていきたいと思います。

機械学習システムの改良

BERTを含む機械学習システムは、現在も世界中の研究者によってどんどん改良されて、さらにいいものが作られています。BERTでの学習対象や学習方法をさらに工夫してより良い性能のものが開発されたり(RoBERTa、T5、XLNet、BART、GPT-3等)、モデルの計算方法を改良することにより、より少ないモデルのデータ数でより性能の良いもの(ALBERT等)が開発されたりしています。また、対象の領域を絞ることでより性能の良いもの(SciBERT等)も開発されたりしています。BERT以外の機械学習システムもそのような改良がどんどんなされることにより、今までできなかったものができるようになっていくことが予想できます。自分が使っている機械学習システムの改良版が出たら、それを試してみるのもいいですね。

脳の動きを参考にして

元々BERTを含むニューラルネットワークによる機械学習システムは、脳の細胞の動きを参考に考えられたものです。しかしながら、前回お話ししましたように、学習時にモデルファイルを作成して、実際に推論するときにはモデルファイルは読み込んでそのモデルの値は変化させずに入力に対して推論して出力するだけです。

しかしながら、脳は学習と推論が分かれているわけではなく、日々生活する中で学習するし、一度見たものは記憶していきます。言ってみれば、推論時にもモデルファイルを書き換えているようなものです。このように、実際の脳の動きを参考に人工知能の研究を進めているところ(Numenta等)もあります。ただ、参考にするにしてもまだ脳の仕組みはまだまだ解明されていませんので、こうではないかという仮説を立てて、実験して、確かめるということを繰り返す必要があります。逆に、人工知能の研究が脳神経科学の解明に使われたりすることも今後は出てきて、人工知能の研究と脳神経科学の研究は互いに助け合いながら進化していくことになるでしょう。

人間の思考を参考にして

もう一つ、別の観点の研究があります。

BERTを含む現在のニューラルネットワークによる機械学習システムは、入力されたらモデルのデータに従って計算されて結果が出るものです。人間で言うと、見たり聞いたり触ったりしたものに直感的に直接反応するものに相当します。例えば、人間の場合、言葉を使うことにより、常識や規則や経験などの知識をもとに、論理的に考えて結論を出すこともあります。この考えて結論を出すことに相当することは、現在のニューラルネットワークによる機械学習システムではやっていないことなのです。そこで、この論理的思考の仕組みをニューラルネットワークによる機械学習システムと融合させる研究(東大松尾先生の二階建て構造等)も盛んに行われるようになってきました。

まずは、やってみることから始めましょう

今回は、BERTの先にあるものをいろいろ見てきましたが、まだまだ研究途上のものばかりで、どれが正解とか究極のものというものがあるわけではありません。世界中の研究者が次なる世界を目指して頑張っているところです。もしかしたら、皆さんも今できることを試してみる中で、新しい解決策・筋道を見つけることができるかもしれません。ぜひ、まずはBERTを試してやってみることから始めてみてはいかがでしょうか。

>人工知能(AI)の入門なら体験して学べる 「fromZEROでAI体験」

人工知能(AI)の入門なら体験して学べる 「fromZEROでAI体験」

AI時代を生き抜くためには、開発者だけでなく利用者も「AIとは何か」を知ることが重要です。私たちは、すべての人に「AIとは何か」を知ってもらうために、AIを体験して学べるオンライン学習サービス「fromZEROでAI体験」をはじめました。

CTR IMG