視聴してみる。勉強になった。
ChatGPTは語の意味を「ベクトル」で表現するーーそれがポイントだと思えるが、さて1000〜10000次元の何（属性？）を備えているのだろう？
それをChatGPT自体に聞いてみたところーー
回答：ChatGPTが使用している1000〜10000次元のベクトルは、単語の意味を表すように設計されたベクトルであり、単語の意味を捉えた特徴量を表しています。これらの特徴量には、単語の意味的な特徴、関連する語彙や文脈、およびそれらが使用される文脈の情報などが含まれます。これらの特徴量によって、ChatGPTは単語の異なる用法や意味のニュアンスなど単語の多様な使用法を整理することができます。たとえば同じ単語でも文脈によって異なる意味を持つ場合があります。ChatGPTが単語の意味を表すために使用しているベクトルはこのようなニュアンスを考慮することができます。
そうだったのか！ というか、やっぱりか！ という感じ。
たとえば、あらゆる単語（文字列）は、固有の数値に置き換えられることを私たちは知っているが、今度は、あらゆる単語のいわば意味という不可解なものが、ことごとく固有のベクトル（1000〜10000次元もの空間における1つの方向）に置き換えられる、ということか？ ……hallucination？
そしてまた、語の使い方さえわかれば、その集積から論理や文法は自ずとできてくる、ということだろうか。本当だろうか。
さらに不思議なのは、世界の歴史とか学問の系統とか、そうした知識というものまでが、単に語の集積から備わってくるのか、ということ。本当だろうか。
それとも別個に勉強してる？ 算数は勉強してないらしいが…… 謎ばかり。
人間は、少なくとも私は、国語の教科書を読んだだけでなく、算数も理科も社会も時間割にあった。体育も図工もあった。
上記の動画を通じて「順伝搬」「再起」ということも、わりとさくっとイメージできた。「アテンション」は自動で学習するということも。ただそれにしてもやはり、どうやって、そんなことができるのだろうか。
