BERTが見ているものと見てないもの

今回は「fromZEROでAI体験」で使っているBERTについて、そのBERTが何を見ていて何を見ていないか、つまり限界はどこにあるのかについて考えてみたいと思います。

こんにちは。このサービスで使っているBERTについて、前回はそのすごさについて、どういう問題を学習しているかという観点からお話ししました。BERTは、穴あき文章問題と文がつながるかどうか問題を学習しているという話をしました。今回は、そのBERTが何を見ていて何を見ていないかという観点を考えてみたいと思います。見ていない点があるとすると、それはつまり限界はどこにあるのかというところにつながります。限界をよく理解することで、よりよくBERTを活用できるようになると思いますので、ぜひお付き合いください。

BERTは何を見ているか

BERTが学習時に見るものは、テキストです。例えば、

先日新しいパソコンを買ったのですが、それに付属していたキーボードは私には使いやすいものでした。

というような普通の文章です。

BERTが見ているものをお話しする前に、対比するという意味で、BERTが生まれる前によく使われていた手法Word2Vecをご紹介しましょう。Word2Vecは、BERTの穴あき文章問題と同じようなものを学習するのですが、例えば、

問題: 「先日新しいパソコンを買ったのですが、そのパソコンに付属していた[  ]は私には使いやすいものでした。」の[  ]にはどんな言葉が入るでしょうか?

回答: キーボード

を学習する場合には、Word2Vecは、回答の「キーボード」の周辺の数語しか見ません。例えば、上の例だと

「に」「付属していた」「は」「私」

だけを見るようなものです。前後に長い文章があっても、その数語しか見ません。ということは、「キーボード」が出てくる前の文脈を無視してしまうわけです。文脈を見ると、この「キーボード」はパソコンに付属しているようなキーボード(文字や数字を入れるためのキーが並んだもの)であって、シンセサイザーなどの楽器としてのキーボード(ピアノの形をした電子楽器)ではないことはわかります。しかし、Word2Vecは前後の数語しか見ないので、この例のようにパソコンに付属しているキーボードと楽器のキーボードを区別して学習することができません。

さて、BERTはどうでしょうか?BERTは[  ]の前後数語だけでなく、文章全体を見ることができます。つまり、「先日新しいパソコンを買ったのですが」というところも見ているので、パソコンのキーボードと楽器のキーボードを区別して学習することができます。同じように、分野によって異なる意味になるような単語や、文脈によって意味が異なるような表現もより良く学習することができます。

BERTは何を見ていないか

BERTが見ているのは、先ほどの例だと「先日新しいパソコンを買ったのですが、それに付属していたキーボードは私には使いやすいものでした。」という文章です。人がこの文章を見るといろんなことを想像できます。キーボードが付属していたということは、このパソコンはノートパソコンではなく、デスクトップパソコンのようなものだったのかなとか、新しいパソコンと言っているので性能がいいパソコンなんだなとか思います。

ところが、BERTが見ているのは「先日新しいパソコンを買ったのですが、それに付属していたキーボードは私には使いやすいものでした。」という文章だけです。先ほど想像した内容は私たちがこれまで生きてきた中で知らず知らずのうちに身についた知識や常識などから考えたものです。BERTは実社会で生きたわけではないため、先ほど想像したことは見てきていないのです。前回BERTはすごいと書きましたが、見てないものは流石に学習できません。いくら大量の文章を与えられて学習すると言っても、与えられていないものは学習できません。

ここが大事なところです。見ていないものは何かということを想像すると、BERTがどうやってもできない限界はどこにあるのかということがわかってくると思います。私たちは、言葉を生きている中で学んでいるので、実社会の中で実際のものや出来事と結びつけながら言葉を学んでいます。さらに学校では知識や知恵を言葉の上で学んでいきます。そういったことはBERTは見ていないので、BERTにそれを求めるのは無理な話ということです。

BERTは文字の形すら見ていない

さらに衝撃的なことは、BERTはこの日本語の文字の形(漢字の部首やひらがなの形などの文字の見た目)は見ていません。日本語を学習させるときには、文字や単語を何らかの番号に置き換えて、その数値をBERTの入力にしています。なので、BERTは、サンズイの部首を持っているので水に関係のある漢字だということは知りません。言わば、BERTは全く見たこともないような文字で書かれた未知の言語を大量に読むことで、その未知の文字の並びの次にはどんな未知の文字が来るのかを学習しているのです。

「%$&#=@*+><!」

みたいな文を学習するようなイメージです。ということは、古代文字みたいな誰も意味がわからないような未知の言語を解析することもBERTならできるかもしれませんね。

皆さんもBERTが見ているものと見ていないものを意識しながら、BERTをうまく活用してみてください。

>人工知能(AI)の入門なら体験して学べる 「fromZEROでAI体験」

人工知能(AI)の入門なら体験して学べる 「fromZEROでAI体験」

AI時代を生き抜くためには、開発者だけでなく利用者も「AIとは何か」を知ることが重要です。私たちは、すべての人に「AIとは何か」を知ってもらうために、AIを体験して学べるオンライン学習サービス「fromZEROでAI体験」をはじめました。

CTR IMG