當一個解釋太過漂亮：從果蠅記憶、古代理論到 AI 的聯想能力
我們很容易替觀察找到一個合理的解釋
剛剛，我發表了一篇關於記憶與夢境的文章。
起因是朋友開發了一套 AI agent 桌遊系統。他讓 agent 自己玩桌遊，自己在旁邊觀看，後來才發現這些 agent 的長期記憶庫累積了大量遊戲過程中的事件記憶。
這讓我想到自己的某種經驗。
我偶爾會在現實生活中，突然回想起一段原本已經忘記的夢境。奇妙的是，在記憶剛浮現的瞬間，我有時會誤以為那是真實發生過的事情，直到進一步回想，才發現它來自夢境。
我開始想，如果 AI agent 沒有妥善區隔遊戲對局的記憶，會不會把上一局發生的事件，錯誤地當成目前這局的狀態？
接著又想到一個更大的問題。
既然人類似乎具有保存大量自傳式記憶的潛力，為什麼自然選擇沒有讓極強的記憶能力成為普遍特徵？
我於是提出一個假說：如果記憶保存能力提高，但來源辨識能力沒有相應提升，是否可能增加不同情境之間的記憶混淆？那麼，遺忘是否可能具有某種適應性價值？
整個推理過程相當自然。
每個環節似乎都有道理，最後甚至能得到一個可以解釋演化現象的故事。
更有意思的是，我後來想起以前江安世老師曾經提過的果蠅記憶研究。
果蠅大腦真的存在抑制記憶形成的機制
在果蠅的嗅覺厭惡制約實驗中，單次訓練通常不足以形成蛋白質合成依賴的長期記憶，需要經過多次間隔訓練。
但江安世老師參與的一篇 2023 年 Cell Reports 研究 發現，果蠅蘑菇體中的一群 early α/β neurons，會透過膽鹼能訊號抑制下游長期記憶的形成。
研究者干預這些神經元的活動或訊號傳遞後，原本不足以形成長期記憶的弱訓練，也能產生可持續數天的長期記憶。
換句話說，果蠅不是單純因為刺激不足，所以無法形成長期記憶。
它的大腦確實存在主動限制某些經驗形成長期記憶的神經機制。
這看起來是不是和我先前的假說相當契合？
大腦可能需要避免保存過多不重要的經驗，因此演化出某種記憶形成門檻。當研究者解除這個限制，果蠅就能以較少次訓練形成長期記憶。
一套原本只是從 AI agent 和自身夢境經驗推想出來的理論，突然找到了生物學上的對應現象。
可是仔細想想，我們究竟證明了什麼？
那篇研究證實了特定神經迴路會抑制長期記憶形成。
它並沒有證明這種機制的演化原因，是為了減少記憶來源混淆。
研究的也不是夢境記憶。
我們只是發現了一項真實的生物學機制，恰好可以被放進自己原先構造的故事裡。
而更值得注意的是，在不知道這些果蠅研究的情況下，我就已經能利用自身經驗、AI 的工程問題，以及對演化論的理解，創造出一套看似合理的解釋。
這讓我開始思考：人類究竟有多擅長創造理論？
古代博學的人，也許正在做相同的事情
我以前常常覺得，中醫、命理以及各種傳統宇宙觀中，有不少今天看來缺乏根據的理論。
例如利用陰陽五行理解人體臟腑的關係，或者利用天體運行、出生時節推論一個人的性格與命運。
但我現在想到，這些理論的創造者，未必都是愚昧的人。
其中可能有非常聰明、善於觀察，而且熟悉當時各種知識的思想家。
古代醫者可以觀察到，季節變化確實影響某些疾病的發生，飲食與身體狀態存在關聯，情緒與生理反應也會彼此影響。
這些經驗觀察並不一定錯誤。
他們也可能認識到自然界存在週期、平衡、消長等規律。
接下來，他們嘗試把不同領域的觀察統一起來。
如果自然界具有某種平衡關係，人體是否也具有相似的結構？
如果季節與氣候能夠影響生命活動，那麼天體運行是否也能對應人生的其他變化？
一套理論就這樣逐漸形成。
它可能具有精美的內部結構，甚至能解釋許多既有的觀察。
但即使原始觀察是真的，借用的自然規律也是真的，兩者之間的類比仍然可能不成立。
我感興趣的不是這些理論究竟有多少內容正確，而是它們形成的過程。
人們可能從真實的觀察出發，借用其他領域的有效知識，最後卻創造出一套不符合現實的解釋。
而且這個過程並不需要任何欺騙。理論的創造者甚至可能非常真誠地相信，自己已經發現世界運作的共同規律。
今天早上，我似乎才剛親自經歷了一次類似的過程。
如果智慧是一種壓縮能力
這又讓我想到另一個一直很感興趣的問題。
智慧與資訊壓縮之間，究竟有什麼關係？
在 Solomonoff induction、Minimum Description Length，以及 Marcus Hutter 等人的研究脈絡中，都可以找到利用簡潔模型、預測能力或資料壓縮理解智慧的思路。
其中一個很有吸引力的觀念是：真正有效的壓縮，不只是把資料縮小，而是發現大量資料背後能夠重複利用的規律。
假設我觀察到一百萬個具有共同數學關係的現象。
如果只能逐一記住每個觀察結果，就必須保存大量資料。
但如果能找到產生這些現象的規律，就可能利用一套簡潔得多的模型，描述甚至預測它們。
而這似乎與大型語言模型的訓練方式存在某種關聯。
LLM 的訓練目標並不是直接尋找自然定律，而是提高對 token 的預測能力。
但為了有效預測來自大量不同領域的文字，模型有理由學習資料中反覆出現的共同結構，並把其中一部分編碼到權重裡。
這也不只是一種抽象的哲學比喻。Delétang 等人在 ICLR 2024 發表的〈Language Modeling Is Compression〉，便從資訊壓縮的角度研究語言模型，展示了預測能力與壓縮能力之間的密切關係。
當然，這不表示智慧可以完全等同壓縮率，也不代表模型權重裡保存的都是經過驗證的真實規律。
但是，這提供了一個理解 LLM 聯想能力的角度。
模型接觸過大量不同領域的知識，因此可能比個別人類更容易發現不同領域之間的共同結構。
例如，記憶來源混淆可以聯想到資料庫的隔離機制、程式語言的作用域、AI agent 的記憶管理，以及認知心理學的 source monitoring。
這些類比可能非常有啟發性。
然而，它們仍然有一個共同的限制。
發現兩個領域具有相似的抽象結構，不代表這兩個領域具有相同的因果機制。
甚至我們可以想像，一個擁有極強聯想能力的模型，可能比人類更擅長創造那些看似完整、卻尚未經過驗證的理論。
它不只可能是強大的科學研究助手，也可能是非常強大的錯誤理論製造者。
有些類比成功了，有些卻沒有
不過，我並不認為類比推理因此不值得信任。
科學史上有不少重要發現，本來就來自不同領域之間的聯想。
一個很好的例子是德布羅意的物質波。
光曾經被理解為波動現象，後來又發現它具有粒子性質。
德布羅意反過來思考：如果原本被視為波的光，也具有粒子性質，那麼原本被視為粒子的電子，是否也可能具有波動性質？
這是一個非常大膽的類比。
但它不只停留在概念上的對稱。
德布羅意提出了具有定量內容的物質波假說，而後來的電子繞射實驗，提供了重要的實證支持。
這是一個成功的跨領域聯想。
但還有另一個我覺得更值得拿來對照的例子：顱相學。
十八、十九世紀的 Franz Joseph Gall 等人，認為不同的心理功能可能對應大腦的不同區域。
這個想法並不是完全沒有價值。
現代神經科學確實發現，腦區之間存在功能上的分工。
但當時的顱相學又進一步推論，特定心理功能越發達，相關腦區就越大，甚至會影響頭骨的形狀。
於是研究者認為，可以透過觸摸頭骨的隆起，推斷一個人的性格與心理能力。
這部分後來沒有得到實證支持。
顱相學讓我想到今天的記憶假說。
它不是每一個前提都錯誤。
但即使大腦確實具有功能分工，也不能直接推出頭骨外形能反映人格。
同樣地，即使果蠅確實具有抑制長期記憶形成的神經機制，也不能直接推出這套機制是為了避免不同來源的記憶混淆。
這兩個推論都需要額外證據。
我覺得科學上成功與失敗的類比，真正重要的差別不是哪一套故事比較優美。
而是它能否提出可以獨立檢驗的預測，以及後續的觀察是否真的支持這些預測。
當然，即使一項預測成功，也不表示原本提出的全部解釋都得到證實。
但至少它讓理論開始接受現實世界的約束，而不只是停留在我們自己的概念體系裡。
我們究竟是在理解世界，還是在替世界創造故事？
回頭看今天這段思考，我覺得最有趣的地方，是自己竟然可以如此自然地創造一套解釋。
從 AI agent 的記憶問題，聯想到夢境記憶，再推論遺忘可能具有的演化價值。
之後甚至找到果蠅神經迴路的研究，讓整個故事看起來更有科學依據。
如果我沒有進一步區分每個推論所需要的證據，很容易就把這些原本彼此獨立的觀察，當成一套已經相互支持的完整理論。
但這並不表示先前的思考沒有價值。
類比可以幫助我們提出問題，也可能讓我們發現原本沒有注意到的共同結構。
我也不認為一套理論只要是從類比產生的，就應該受到懷疑。某些成功的科學理論，本來就是這樣開始的。
我真正感興趣的是，為什麼人類如此容易對一套漂亮的解釋產生信心。
尤其當它能夠結合自己的親身經驗、不同領域的知識，以及一些看似相互支持的觀察時。
而隨著大型語言模型的能力提高，這種情況可能變得更加普遍。
我們將越來越容易獲得結構完整、跨越多個學科，而且在語言上極具說服力的解釋。
但那些解釋究竟有多少真正反映了外部世界的因果關係，仍然需要獨立判斷。
我可以欣賞一套理論的精妙，也可以承認它啟發了自己的思考，卻不必因此相信它是真的。
這是我今天從一個關於記憶的小問題，意外得到的另一項收穫。