東京永久観光

【2019 輪廻転生】

ChatGPTをめぐって(11月)

ChatGPTは、与えられた文章にあるすべての単語をベクトルにして数値化し、さらにそのベクトルどうしのかけ算(内積)をして互いの距離を数値化する。そうした数値をもとに次に来る単語の列を予測する。どうもなんかそんなことをしているらしい。うっすらとはわかってきた。

さてこのベクトルが約5万次元だという。それってどういう…? 

私たちはよく思想のチャートみたいなもの(以下例)を作るが、たいてい2次元のベクトルだ。https://ja.wikipedia.org/wiki/%E6%94%BF%E6%B2%BB%E7%9A%84%E3%82%B9%E3%83%9A%E3%82%AF%E3%83%88%E3%83%AB

すなわち自由の度合いと左右の度合いの2方向のみ。これは紙に印刷する制約から2次元なのだだろう。3次元ではややこしくなる。さらに4次元にでは私たちはイメージが作れない。本来は人間の思想はそもそも2次元で言い表せるとは限らない。3次元、4次元にとどまる理由もない。10次元? 100次元? 1万次元?(さすがにそれはないか)

ところがChatGPTは、たとえば「りんご」という単語を、「赤い」という単語を、「かじる」という単語を、いずれも約5万次元の指標で測定するというのだから、驚愕するではないか。しかしここで思うーー 言葉の意味というものは、それぐらい途方もなく多様な側面を隠し持っている、のかもしれない。

私のように数学が苦手だとベクトルはわからない。しかし最近の高校数学の復習が奏功し、たとえば5万次元ベクトルといったって、矢印が5万本あるのではなく、5万次元空間のどこかある1方向だけを指す1本の矢印があるのだという、おそろしく当たり前だがおそろしく理解しにくいことが私はわかる(自慢)

おまけに「内積」などという平凡な人生においては二度と使うまいと思っていた用語も、私にはわかる。「りんご」も「かじる」もその意味は50万次元の数値で表されるが、その2つの関係(内積というかけ算のようなことをした結果)は、なんとたった1つの、方向すらないごく平凡な数値で表されるのだ!

というわけで、はてしなく複雑なのは言葉の意味だ。そしておそろしく平凡なのは言葉の使用だ。そして君や私の人生だ(今日の結論)

 

(10日)

ChatCPTは…「実世界に関するある種の表象を自分で作り上げている。ただ、人間が内的世界モデルを構築しているのと同じではないと思う」(Yoshua Bengio)=日経サイエンス10月号=

世界すなわち世界の表象は1つではなく少なくとも2つある。いや、その1つを人間が持つことの凄さを思い返す契機だ。