自然言語処理（NLP）

2021年8月4日

BERTの先にあるもの

こんにちは。前回は、このサービスで使っているBERTを含む機械学習システムにおけるモデルについてお話ししました。今回は、機械学習システムが今後どう進化していくかについて考えていきたいと思います。機械学習システムの改良 BERTを含む機械学習システムは、現在も世界中の研究者によってどんどん改良されて […]

2021年6月30日

モデルって何？

こんにちは。このサービスで使っているBERTについて、前回はBERTが処理するときの言葉の単位についてお話ししました。今回は、そのBERTも含めて機械学習システムを語るときによく出てくるモデルというものが一体なんなのかについて考えていきたいと思います。機械学習システムとは何か BERTは、機械学習 […]

2021年5月31日

BERTでの言葉の単位

こんにちは。このサービスで使っているBERTについて、前回は入力された文章をどうやって数値データに変換しているのかについてお話ししました。今回は、数値データにするときの言葉の単位(長さ、どこで切るのか)について考えていきたいと思います。日本語と英語での扱いの違い等についても触れたいと思います。ぜひお […]

2021年3月31日

BERTでの言葉の扱い方

こんにちは。このサービスで使っているBERTについて、前回は入力された文章の何を見ているのか、実は文字の形すら見ていないということについてお話ししました。今回は、その入力された文章・言葉をどのように扱って、どのように処理に使っているのかについて考えていきたいと思います。そうすると、文章だけでなく、文 […]

2021年2月28日

BERTが見ているものと見てないもの

こんにちは。このサービスで使っているBERTについて、前回はそのすごさについて、どういう問題を学習しているかという観点からお話ししました。BERTは、穴あき文章問題と文がつながるかどうか問題を学習しているという話をしました。今回は、そのBERTが何を見ていて何を見ていないかという観点を考えてみたいと […]

2021年1月28日

BERTのすごさ

こんにちは。今回はこのサービスでも使っているBERTのすごさについてお話したいと思います。 BERTは、ちょうど2年前の2018年10月にGoogleから発表され、その能力の高さに驚きを持って迎えられました。瞬く間に、研究だけでなく実際のサービスまで幅広く利用されるようになりました。なぜ、そんなに […]