arutema47's blog

書いたり書かなかったり。

2020-08-01から1ヶ月間の記事一覧

RNNからTransformerまでの歴史を辿る ~DNNを使ったNLPを浅く広く勉強~

Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身…