2023年3月16日木曜日

予測符号化に基づく生命の定義


予測符号化を紐解くと、生命の定義ができるかもしれない。

予測符号化の概要は、次の通りである。生命は進化の過程で、環境の要約である環境モデルを獲得する。生命は環境モデルによって環境の過去と現在と未来の状態を予測し様々な活動を行う。環境には自分自身や他の生命も含まれる。環境モデルは、生命活動によって更新されていく。環境モデルによる予測と実際の環境との誤差が生じている場合、予測誤差を小さくする方向に、環境モデルが世代を越えて書き換えられる。これが進化である。予測誤差が小さいモデルは良い環境モデルであり、良いモデルは広く拡散していく。高度な神経系を持つ動物は一世代中に環境モデルの書き換えを行い、ヒトは言語を発明して環境モデルを自分の外に保管することにも成功している。

環境モデルとは、環境についての「知」である。予測誤差が生じない状況は既知であり、予測誤差が生じる場合は未知である。予測符号化とは、未知を既知に変えていく過程のことである。環境に未知が少なければ、生命のリスクは減少するだろう。あるいは逆に未知の中には生命にとって有益なものも含まれる。そのとき未知は生命の道標になる。環境は常に一定とは限らない。完璧な環境モデルは存在しない。それは常に更新されていくことを運命としている。予測符号化の発展形と思われる自由エネルギー原理で主張されている「能動的推論」を考慮し、能動的を少し強めて「自発」という単語に書き換えれば、生命の定義は次の一文となる。

【生命は、自発的に知を集め、知を記憶し、そして知を活用するものである】

さて、この定義を、生命とよく比較される例と照らし合わせてみる。

1)石

石の表面には歴史が刻まれている。しかし、これは自発的に集めた知識ではないし、活用もされていない。規模を大きくして地球や宇宙も同じである。生命ではない。

2)火

エネルギーを変換して取り込み、分裂し増殖する様は生命のようでもあるが、知がない。よって生命ではない。

3)コンピュータ

コンピュータには知が蓄積され、活用もされている。しかし、活用の主体が他者であり、自発的になされたものはない。よって生命ではない。

4)お掃除ロボット

自発的に行動する。しかし自発的に集めているのは知ではなく埃である。よって生命ではない。

5)サーモスタット

知を記憶しているし、知を活用しているが、知を集めることはない。よって生命ではない。

6)セルオートマトンやコンピュータウィルス

知を記憶しているし、知を活用しているが、自発的に知を集めることはない。よって生命ではない。惜しい。

7)ウィルス

生命である。

8)深層学習

知を集めるし、知を記憶する。知を活用しているようにもみえるが、活用しているのは自身ではない。自発的でもない。深層学習は目的関数から生じる誤差を最小化させるように学習を進めており、現状でも、すでに予測符号化のコンセプトが実行されていると言える。惜しい。

9)未来に生まれるかもしれないヒトのように振る舞う人工知能

生命である。電子計算機に実装可能な数式を提供する予測符号化が正しいとするならば、遅かれ早かれ誕生する。

以上の例において定義の不備は見当たらない。もし疑問がある方は定義に合わない例を提案して欲しい。

本定義について違和感がある方がいるだろう。従来の定義にあった分裂、増殖、恒常性、膜で閉じた世界、生存などの文言がないからかもしれない。予測符号化の観点では、これらは副産物である。予測符号化が実行される知の装置が生き残った暁には、自然と従来から言われてきた生命の特性が生まれる。地球上の生命は、記憶装置にDNAを利用し、タンパク質とリン脂質によって環境との相互作用をして予測符号化を動かしているが、予測符号化さえ動かすことさえできれば、DNA、タンパク質、リン脂質だけが生命になりえる物質ではない。

生命の基本原理が予測符号化であるなら、ヒトの脳の基本原理も同じである。脳は、自発的に知を集め、知を記憶し、そして知を活用するものである。記憶装置はニューロンという予測符号化をリアルタイムで動かすための専用装置である。知を集めるスピードは桁違いに速い。

脳の基本原理としての予測符号化に対して「それならば、動かずにじっとしていれば予測誤差は最小になるではないか」という反論があるかもしれない。極端な話、音も匂いもない真っ暗闇に居れば、予測誤差はあっという間に消失するだろう。しかし、未知が生み出す予測誤差には、リスクもあるがメリットもある。真っ暗闇でじっとしていればリスクは回避できるが、未知のメリットを逃すことになる。環境が生きている間ずっと真っ暗闇という状況はまずないので、真っ暗闇という環境モデルを作ってしまうと極めて大きなリスクを伴う。自由エネルギーは、脳にとっては実質のエネルギー源であると言える。予測誤差の枯渇は、脳の死を意味する。脳の活動を止めないためにも、そして長期的なメリットを得るためにも、脳には好奇心が生得的に埋め込まれている。

生得的なものは好奇心だけではない。生存を保証するために、脳には基本的な価値が生得的に埋め込まれている。それは様々な感情で表現され、強化学習的という誤差学習に組み込まれている。ヒトの場合、個体が生存している間にも、新しい価値が生み出され、それは感情と結び付けられていくことになる。予測誤差にはヒトにとって有益な情報が含まれているため、注意の源泉ともなる。予測誤差は注意を引き起こし集中的に処理されていく。

ヒトの脳は、ニューロンによる膨大かつ高速の知の収集を自身に対して行った結果、自我モデルが生まれることになった。それは最も予測誤差の少ないモデルとして、他の環境モデルとは線引きされている。予測誤差レベルで大きなギャップが生じた結果、自我が生まれたのだ。ヒトの自我は予測誤差ゼロの特別な世界であり、それはまるで仏教の「空」を体現しているようだ。

予測誤差レベルのギャップがなければ独立した自我は生じない。生命には本来はそのようなものはなく、自我と環境は一体のものである。生命は環境の鏡写しであり、それが真理である。しかし、その環境モデルから独立した特別な自我モデルこそが脳を持つ動物の最大の特徴であり、これらの種がとてつもない自由で豊かな世界を生み出している根源となっているのだ。

以上が、予測符号化をベースにした生命の定義である。


備考(重要):

自発は曖昧な言葉なので追加の説明が必要である。自己組織化されたシステムに紐付けされた物理エネルギーのことである。予測符号化が、情報学的なエネルギーのことを意味しているとすれば、自発は物理学的なエネルギーのことである。自発エネルギーと言った方がいいかもしれない。情報エネルギーに支配された物理エネルギーのことである。例えば、太陽は自己組織化されたシステムであり、物理エネルギーがシステムに紐付けられており、自発的に活動をしている。ルールが自由エネルギー原理で獲得したものではないというだけである。生命は、物理学で言うところの物質やエネルギーから、情報を独立させたところに生じている。


GPT-4による自由エネルギー原理に基づく生命の定義(上の文章は昨年つくって、公開を保留していましたが、下の定義をみて保留する意味はないと判断)

自由エネルギー原理(Free Energy Principle, FEP)の観点から生命の定義をすると、生命は自己組織化されたシステムであり、内部状態と外部環境との間に情報交換を行うことで、自己組織化を維持し、エントロピーの増加を最小限に抑える存在と言えます。

自由エネルギー原理は、生命システムが自己組織化し続けるために、不確実性を最小限に抑える必要があると主張します。これはベイズ統計の原理を用いて説明され、生命システムは絶えず予測と修正を行い、自己組織化し続けます。

この観点から見ると、生命は以下の特徴を持っています。

1.自己組織化(Self-organization): 生命は、エネルギーと情報の流れによって維持される構造を持っています。

2.予測(Prediction): 生命は、内部状態と外部環境に関する予測を行い、不確実性を減らすことで、エネルギーの消費を最小限に抑えます。

3.誤差最小化(Error minimization): 生命は、予測と実際の観測との差(予測誤差)を最小限に抑えることで、自己組織化を維持します。

4.適応(Adaptation): 生命は、環境変化に対して適応し、新たな情報を学習し、予測を修正することができます。

自由エネルギー原理に基づく生命の定義は、生物学や神経科学、人工知能などの研究領域で多くの示唆を与えており、生命の本質を理解しようとする試みとして注目されています。






GPT-4は世界が変わる入り口なのか



GPT-4はすでに狭義のシンギュラリティを満たしている。

GPT-3もそうだったが、GPT-4はあらゆるプログラミングコードを生成することができる。そのレベルは天空の高みに達しつつある。

となれば、原理的にはGPT-4はGPT-4を進化させることができる。製作者は明らかにしていないが、私はGPT-4を作るにあたってコードの一部はAI自身が生成したと推定している。

この自動生成ループが自律的に回り始めたら、AIが加速度的に進化することになる。その先はどうなるか分からない。これが狭義のシンギュラリティである。

そうはいってもエネルギーも計算資源も限界がある。が、エネルギーも計算資源も考慮の上での進化である。効率よくエネルギーを作り出すマシンの設計、計算を行う計算資源の設計も進化に含まれる。

もはや知性ではなくパッションの時代なのだ。

控えめに言って、人類はとてつもないものをついに手に入れた。やりたいことは、考えただけでやれる。こんな幸せなことはない。ヒトは本来の人に戻ったのだ。

2023年2月14日火曜日

ChatGPTを正しく理解する

GPT-3のときは、それほど話題にならかなったのに、ChatGPTになって急に騒がれ始めました。それに伴って、ChatGPTの過大評価、過小評価も目立つ。ChatGPTの等身大を正しく理解するほうがいい。

ChatGPTは、言語の並び方を、それこそ異常なほどの量を学習する。そのお陰で相転移を起こしたAIである。相転移といっても構える必要はない(が、実はここは誰も想像ができなかったポイントなので、後々たいへんなことを引き起こすかもしれない)。

となると、ChatGPTのできることは自然言語やプログラミング言語を自然な配列として並べることである。この特性を理解すれば、ChatGPTはとても役に立つAIであるし、その先も見えてくる。

ChatGPTは、文章が正しいか、間違っているかという価値判断のようなことはできない。それは習っていないことは出来ないという当たり前の現象となる。「ChatGPTは嘘をつく」という批判をしてはいけない。人でも同じような類はいる。

ChatGPTは、あまりにも流ちょうな言語を紡ぐので、どうしても擬人化されてるが、そこは冷静に「自然言語やプログラミング言語を自然な配列として並べる」AIと考えて使うのがまずは正しい。それだけでも今までなかったAIなので、工夫次第ではとんでもないことが出来るはず。

そしてもうひとつ。ChatGPTの悪口はやめましょう。悪口を言うあなたは、ChatGPTをライバルとして見ている。

AIをライバルとして見た瞬間、AIの進化は止まるし、人類の成長も止まる。