猿みたいなものだった私たち人間が、むにゃむにゃと喋りだした。それを皮切りに、いつしか、たとえば概念記法（私たちがものを考えるときに従っているはずの＜理屈の骨格＞みたいなもの）をフレーゲが抽出した。ChatGPTも言葉を大量に読むことで、概念記法みたいなものはすでに発見しているのだろう。
「概念記法」と言ったのは、今フレーゲの本を読んでいるから。おおざっぱに論理記号とか数式みたいなものと言ってもいい。
あるいは、それらとは異なるが、チョムスキーが想定した「普遍文法」をGPTは見出したのかもしれない。ーーただし「普遍文法」が幻ではなく実在するならば、だが。
▼ChatGPTに質問してみた：あなたが扱っている言語は、ゴッドロープ・フレーゲが示した「概念記法」に従っていますか？ あなたが扱っている言語は、ノーム・チョムスキーが示した「普遍文法」に従っていますか？
▼回答：私は、GPT-3の言語モデルを基盤としています。このモデルは、自然言語処理のために深層学習に基づくアルゴリズムを使用しています。そのため、私が扱う言語は、ゴットロープ・フレーゲやノーム・チョムスキーが示した「概念記法」や「普遍文法」とは異なります。私は、大規模なデータセットから学習した統計的パターンを使用して、自然言語の生成や理解を行っています。ただし、私が扱う自然言語は、フレーゲやチョムスキーが考えたような論理的構造や文法的規則に従う場合があります。
ところで東浩紀は、ChatGPTは＜皮肉がわからない＞とみているようだった（鈴木健との対談で）。＜嘘をつけるのか＞という問いも垣間見えた。――これを言い換えると、デリダが言う「脱構築」をGPTはできるのか、だろうか？ それは、脱構築が言語の内部だけでも生じるのかどうか、によりそうだ。
――というわけで、フレーゲ、チョムスキー、デリダ、いかにもと言うべき3つの観点から、ChatGPTを考えてみた次第。私は半可通以下だが、ChatGPTも筋金入りの半可通なのだろうから、それもよし。
＊
上記のツイートをめぐるやりとり（感謝）
https://twitter.com/sakstyle/status/1644179606487076865
意外とそうでもなさそうですよ。
言語学者がGPTに対して文法を理解しているかテストしているのですが、答えられないようです(学習データにある範囲のことは答えられるが、そこから法則性を抽出して理解しているわけではなさそう)
◎参照：ChatGPTの頭のなかをのぞき見る - 日経サイエンス
tokyocat：
返信ありがとうございます。ではそれを踏まえて、次はこういう問いもあるかと思います。人間も文法を明瞭には自覚していないので文法のテストには必ずしも合格しない。それでも言葉を大量に使ううちに、文法に従うことがいつのまにかできるようになっている。GPTでも同じことが起こっているのでは？
https://twitter.com/sakstyle/status/1646875056264613888
GPTとかについて考える時、後期ウィトゲンシュタインが伏線にならないか妄想してる時がある。 「規則」を理解して規則に従うのではなく、「規則に従う」という実践が規則に先立つというあたり 多くの人の実践が一致するというのと、確率的に可能性の高いことをするというのはまあ同じようなことかもと
ところで、GPTが出鱈目言うのと、3歳児が出鱈目言うのが、何となく似ているような気がしている。もっともらしく言葉を連ねてはいるのだが、正しくない感じ。
言語ゲームのプレイヤーになりきれていない感じ
実践の一致というのは生活形式の一致だが、それがまだ十分になされていない感じ
tokyocat
「生活形式の一致」を私も思い起こしています。ただし「言葉が通じるのは生活形式を反映するからだ」という見方からすると、むしろ「ChatGPTは生活してないのになぜ言葉が通じる？」という疑問が生じます。答えは「言葉を通じるように使いさえすれば自動的に生活形式を反映してしまうから」かもです。
https://twitter.com/sakstyle/status/1647025147130576896
僕は自身でGPTを使ったことはほぼなく、仄聞するだけでの感想にすぎないのですが、クワス算めいたところがあるように思えます。
桁数の少ない計算なら一致しているように見えるけど、それまでにやってなかった計算をさせるとボロが出る、というように。
実際、GPTはある一定以上の数が数えられないのではないか、という報告もあったりします。(以前、文法の問題に答えられない云々の話をしましたが、実はあれとも似てます。実際に聞いたのは、文中に出てくるある要素の数を訊ねるという問題で、一定数以上は答えられなくなったらしいです)
◎参照：https://twitter.com/nodchip/status/1638193031001313280
Hallucinationや3歳児の出鱈目も、「何かを述べる時はできるだけ自分の分かっていることを言う」という生活形式の中で生きていないせいなのではないか、と個人的には感じる次第です。
GPTをはじめとするLLMは確かにすごい技術で、部分的には「言葉が通じる」領域に達してるとは思うのですが、全面的に人間と同じ言語ゲームができるようになってるとは思えない、というのが僕の感想です。
で、結局昔からある議論に戻ってくるのですが、知性には身体が必要なのではないか、と思います。実際、LLMの研究もマルチモーダルな拡張とかロボットのセンシングデータへの拡張とかに進んでいるはずで、そういう拡張を経たら話は変わってくるだろうなと思っています。それほど遠くないのでしょうね
この分野の研究は、日進月歩どころか秒進分歩というべきスピードで進んでおり、僕は全然キャッチアップできていないので、的外れなことを言ってるかもしれませんが、個人的にはこんな感想を抱いています。
「ChatGPTは生活してないのになぜ言葉が通じる？」というとこに戻りますと、僕の答えは「そもそも通じてない」ということになります。
つまり、色々話してみると通じてない局面が時々あって、そういうところから生活形式が一致してなかったんだなーと分かるという感じです。
でそれは、変な状況設定することで、一見言葉が通じているようで通じてないケースを生み出し、言葉が通じる背景に生活形式の一致を見出すウィトゲンシュタイン的なやり方とも、その点通じるものがあるのではないか、と
tokyocat：
とても興味深く読んでおります。正確で十分な応答はできません。しかし新たに思ったことを以下にツイートします。
もしChatGPTが「人の言語使用」を確実に模倣しているなら、ChatGPTが入力された言葉に対して出力した言葉も、それ自体は人の言葉の入出力と同じとみなせる。その場合、クワス算のような落とし穴も、人間の言語使用が事実として乗り越えているように、ChatGPTも乗り越えている可能性がある。
また、ChatGPTの言語使用が3歳児と同程度だとしても、3歳時が実はクワス算に陥ったりはしないのであれば、ChatGPTもその点は大丈夫かなと思います。
それとは別に、ChatGPTが身体を欠くなどから「ChatGPTは意識を欠くだろう」、しかし「人は意識を持つ」。この点こそやはり決定的に注目すべきだ私は思います。
もちろん、ChatCPTには生活がないゆえに生活様式もないでしょう。しかしそれにもかかわらず、ChatCPTが人の言語使用を正しく模倣できているのだとしたら、その言語使用が反映しているはずの人の生活様式も、うまいぐあいに正しく反映している可能性は、十分あると思います。
鈴木健×東浩紀「なめらかな一般意志は可能か」 - 東京永久観光
