ChatGPTをめぐって（10月）

（10月3日）

《GPTは何か「文脈」のような抽象的な一塊の「記憶」をもって動作しているわけではないのです。そうではなく、直前の「トークン長分の単語」を「まるっと」参照した上で、次の単語を計算して答えを出す、というのをひたすら繰り返すシステムなのです》

人の応答もけっこうこんな感じでは？

これは、ChatGPTのカラクリというより人の発言のカラクリについての発見だ。そりゃ実際、誰も彼もがChatGPTのごとく「直前のトークン長分の単語をまるっと参照して」会話している、わけはない。（少なくとも俺は違う！）ただそんな会話も多いねという実感。

（10月11日）

ChatGPTの言語操作という知能に何が足りないのかといったら、結局のところ「知識」なんじゃないか。たとえば私たちがそれが獣か鳥か虫かを分類するとき、ゲノムの系統や分岐の計算をしているわけではない。生き物や人間や社会の有り様があれこれ絡んだ知識の全体において分類している。

私たちは、ある文章の内容を把握するときに、そもそもその文章が小説か記事か日記かといった区分けを先にしている。それもまた知識だ。ChatGPTならそうした分類を文章自体の分析から自動的にできるようになるのかもしれないが、それは人間の知識とは獲得の仕方が大いに違う感じがする。

知識というのは、家庭で育ったり学校に行ったり友達とつきあったり会社で仕事したり、それぞれ特殊なしかしいずれも共通の長いプロセスのなかで、世界を眺めるときの同じく特殊かつ共通の「構造」として形成されるものーーそんなふうに言えるかもしれない。

あるいは正反対のことを言うがーー　人工知能のディープラーニングは、従来の人工知能の手法とは異なり、まさにその知識と同等のものを、なぜか獲得できてしまうところが、画期的だったのかもしれず、だったらそこに注目しなくてどうするよ、と言うべきなのかもしれない。

ともあれ「知識とは何か」の問いがここに浮上する。「知能とは何か」なら「言語の質問に言語で回答できること」といった機能としての説明が適当だろう（私はそう考えるようになった）。しかし「知識とは何か」にはまた別の説明が必要なのだ。「教養とは何か」とも違う（これは今考えても仕方ない）

（10月15日）

清水亮『教養としての生成AI』を読んでいて、GhatGPTが「言葉をベクトル化する」というのが何のことなのか、初めてほぼはっきりわかった！　実にあっけなくわかった！！　「単語と単語の距離の近さ＝意味の近さ」ということのようだ！！！　感謝、感謝。

（10月20日）

マックス・テグマーク「我々の分析は、現代のLLMが空間や時間といった基本的な次元に関する構造化された知識を獲得していることを示しており、LLMが単なる表面的な統計学ではなく、文字通りの世界モデルを学習しているという見方を支持している」

これについて、ある理論物理学者（全卓樹さん）のツイート。

それをめぐって、哲学的なところからのリアクション。

それにしても。「AIが人間のふりをしたら見分けがつくか？」のテストが本当に必要な時代と言えるが、それとともに「理系が文系のふりをしたら見分けがつくか？」とか「玄人が素人のツイートをしたら…」とか「愚者（私）が賢者のまねをしたら…」とかのテストも、日夜行われている感じ。

◎「湿った柔らかいものが、たたきつけられたりして、つぶれるさまを表わす語」

◎テグマーク≠デマゴーグ

東京永久観光