2023年11月10日
#生成AI
エグゼクティブのための生成AI講座 その２ －ニューラルネットワークによる単語の分散表現－
LLMの発展をもたらした技術要素イノベーションという概念を産み出したシュンペーターが実際に使った言葉は新結合であった。既存の技術やアイディアなどが結びつくことで新しいものが創造されるという考え方である。自然言語モデルのイノベーションにおいても、いくつかの重要な技術要素の発展とこれらの新結合があった。その代表的なものとして、①言語の数値化・ベクトル化（分散表現あるいは埋め込み表現）へのNN学習手法の応用、②時系列データを扱えるNN（RNN）をLLNに応用、③系列変換モデル（seq2seq）に対する...
