下一句會是什么？我們是否高估了預測編碼理論？

文 | 追問nextquestion

當以ChatGPT為代表的許多大語言模型，能夠實現相對準確地預測大腦對語言任務的反應時，是否可以認為大語言模型捕捉到了大腦語言認知加工的一些深層機制？換言之，大腦也采用類似大語言模型的預測編碼機制——不斷預測并修正錯誤？

這種推論是否經得起科學的檢驗？GPT的預測與人腦語言反應的高度相關，究竟是“認知本質”，還是只是“統計上的巧合”？

01 預測編碼理論

在20世紀，我們認為大腦從感官中提取知識。21世紀則見證了一場“奇怪的反轉”，大腦被視為一個推理的器官，會主動地為外部世界發生的事情構建解釋[1]。在這場轉變中，預測編碼（Predictive coding）理論扮演了重要角色。

20世紀90年代，心理學家Karl Friston提出了預測編碼理論，提供了一個關于大腦如何加工的高層次描述。該理論認為，大腦在未來事件發生之前就在不斷地嘗試對其進行預測，然后將預測與觀測進行比較，當預測與實際的感官輸入不匹配時，大腦會對預測進行調整與更新以減少這種預測誤差（prediction error）。作為一種認知理論，預測編碼理論為大腦信息加工提供了一種概念簡潔、機制合理的具體目標，獲得了許多研究者的青睞。

?簡化的感覺預測模型。藍色箭頭指示如何更新預測神經元，并傳遞到較低的層次結構級別。紅色箭頭指示如何生成預測誤差并將其進給到更高的層次結構級別。圖源：doi:10.3389/fpsyt.2020.557932.

預測編碼理論相關研究最早可追溯到視覺加工領域。20世紀末，Rao和Ballard提出了一種視覺加工的預測編碼模型：高級視覺區域會對低級視覺區域的活動進行預測，低級視覺區域則反過來向高級視覺區域傳遞預測誤差，即未能被預測的“新奇”信息[2]。通過模擬分析，他們發現這種簡單的層級架構不僅與神經解剖學和生理學證據一致，還能解釋一些復雜的反應[1]。

不僅僅是視覺加工，預測編碼也為感知、注意、學習、運動控制等認知功能提供了一種統一的框架。以語言加工為例，預測編碼理論認為，在感知到自然語言的刺激時，大腦會先發制人地對于未來會出現的詞語和句子進行預測。預測編碼理論得到了多方證據支持，一方面，許多研究發現了與句法或語法不一致詞句有關的電生理信號；另一方面，體現預測編碼理論的神經網絡語言模型（Neural Network Language Models, NNLM）能有效地解釋由自然語言引發的大腦活動。

為什么使用NNLM能如此有效地預測大腦對于自然語言的反應？一種頗具吸引力的觀點認為，語言模型和大腦是相似的，它們在語言認知加工方面具有相同的目標，即對未來即將出現的詞句進行預測。近期，來自德克薩斯大學奧斯汀分校的Antonello和Huth在Neurobiology of Language發文，對此觀點提出了質疑[3]。

02 神經網絡語言模型

單向的NNLM是一種用于單詞預測任務的人工神經網絡，能夠基于語料庫，根據上文信息生成下一個單詞的概率分布。例如，上文是“they say his father was a f____”，對于f開頭的單詞，NNLM會預測一系列候選詞出現的概率，對更有可能出現的詞語（如fisherman）賦予更高的概率[4]。與翻譯、問答等需要標注數據的任務相比，NNLM的突出優勢在于可使用幾乎所有自然語言文本進行訓練，擁有學習許多不同類文本統計規律的能力。

?實驗和分析框架的示意圖。（a）（頂部）在兩個實驗中，參與者在記錄大腦活動時都聆聽了有聲讀物的連續錄音。（底部）參與者聽取的文本由深度神經網絡（GPT-2）分析，以量化每個單詞的上下文概率。使用基于回歸的技術來估計（不同級別）語言意外性對連續記錄中誘發響應的影響。（b）分析的數據集：一個組級的腦電圖數據集和一個單獨的主題源源定位的MEG數據集。圖源：[4]

近些年來，NNLM也催生了一類范式：語言模型微調（language model fine-tuning）。從已有NNLM中提取出的表征可重新用于其他的語言任務，如識別命名實體、情感分析等。研究者發現，根據NNLMs微調得到的模型，往往比根據特定任務從頭開始訓練得到的模型表現更優，微調后的模型允許使用原始的NNLM學習到的語言特征，有助于彌補許多語言任務訓練數據的成本問題（即手工標注數據昂貴且有限）[5]。

?圖源：https://www.ruder.io/

目前，最先進的NNLM通常包含一系列結構相同的加工模塊（即transformers），其機制是點積注意力（dot product attention），有選擇性地加工輸入中的一部分元素。每個transformer的輸出被稱為隱藏態（hidden state），是對輸入的編碼表征。NNLM的輸入通常是詞嵌入（word embeddings），通過transformer最終轉化為對下一個單詞的預測。在評價NNLM的表現時，研究者常使用困惑度（perplexity）這個指標，困惑度越低，意味著模型給實際的下一個單詞賦予了越高的概率。

03 神經科學研究中的NNLM

NNLM能夠應對許多不同類型的語言任務，因此神經科學家也使用NNLM來預測大腦對于自然語言的反應。研究者建立了使用從語言刺激中導出的特征來預測大腦對自然語言反應的回歸模型，稱之為編碼模型（encoding model）。與使用源于非情景化詞嵌入空間的表征相比，使用NNLM生成的表征的編碼模型表現更好，這樣的編碼模型也被稱為基于語言模型的編碼模型（LM-based encoding model）。

為什么引入語言模型有助于提升編碼模型在預測大腦反應時的表現？一種流行的假設認為，基于語言模型的編碼模型與大腦有相同的目標——對還未出現的單詞進行預測。

例如，Schrimpf等人（2021）基于語言理解任務的三大神經數據集*，考察了多種NNLM的表現。結果表明，在預測大腦對于語句的神經反應時，最優的模型能對幾乎100%的可解釋方差進行預測。此外，他們還發現，模型對于神經數據、行為數據（即閱讀時間）的擬合結果與模型在單詞預測任務中的準確性之間存在強相關。這進一步表明，單詞預測可能是語言認知加工的基礎部分[6]。

*注：這些數據集包含三組神經數據。1）逐句呈現條件下閱讀話題多樣的短篇文字時的fMRI數據（Pereira, 2018）；2）逐詞呈現條件下閱讀語法句法各異的句子時的ECoG數據（Fedorenko, 2016）；3）聽時長約5min的故事時的fMRI血氧信號時序數據（Blank, 2014）。

Goldstein等人（2021）進一步發現，即使去除了簡單的語境和語義信息（如詞義），也能根據在詞語出現之前的大腦反應，顯著地預測出NNLM對未來詞語的表征[7]。類似地，Caucheteux等人（2021）發現，與只使用當前語境的信息相比，增加未來詞語的嵌入有助于提升基于語言模型的編碼模型的表現[8]。

這些研究結果都試圖表明，擁有更好的詞語預測能力的模型也具備更強的編碼能力。我們能否就因此得出“大腦在語言加工時進行了預測式編碼”的肯定結論呢？

04 不同于預測編碼的替代解釋

如果大腦可以對某個特征進行編碼，那么，在其它因素相同的情況下，能和大腦一樣對同樣特征進行編碼的模型將比其他模型表現更好。根據這一邏輯，過往研究反推，既然擁有詞語預測能力的模型比其他模型在解釋大腦活動方面表現更優，那么大腦也同樣會對未來的詞語進行預測。

但是，Antonello和Huth對于這一逆命題保持懷疑態度。他們還指出，現有的研究證據都是相關性數據，無法以此得出“因為進行了預測編碼，所以在預測詞語時表現更好”這樣的因果性推論。

為此，他們展開了一項基于fMRI數據集使用NNLM的分析研究，并提出了一種不同于預測編碼理論的解釋——表征普遍性（representational generality）。他們認為，基于語言模型的編碼模型捕捉到了某些普遍信息，因此在預測語言任務中的大腦反應時表現良好。

研究中使用的數據集包含5名健康被試在聽英語博客故事時的fMRI數據（含訓練集與測試集）。在預處理后根據訓練集數據生成了97種不同的體素級大腦編碼模型*，使用嶺回歸方法預測在測試集中大腦的血氧反應，所有被試的平均表現作為編碼模型的表現指標。對于詞語預測任務，該研究根據編碼模型的表征與下一個詞語的GloVe嵌入進行了線性回歸，計算了此回歸模型對下一個詞語概率分布的預測與實際分布之間的交叉熵，并以此作為編碼模型在詞語預測任務中的表現指標（即困惑度）。

*注：該研究從多種自然語言處理模型中提取了97種語言表征。具體來說，包括3種詞嵌入空間（GloVe、BERT-E和FLAIR）、3種單向語言模型（GPT-2 Small、GPT-2 Medium和Transformer-XL）、2種掩碼雙向語言模型（BERT和ALBERT）、4種常見的可解釋的語言標注任務（命名實體識別、詞性標注、句子分塊和框架語義解析）以及2種機器翻譯模型（英中和英德）。完整細節可在https://doi .org/10.1162/nol_a_00087中進行閱讀。

首先，與過往研究一致，該研究也發現了模型的編碼表現與對下一個詞語的預測表現之間存在高相關（相關系數r=0.847）。然而，高相關可能與模型表征包含的信息能夠普遍適用于多種語言任務（包括詞語預測）有關。

因此，研究進一步分析了每種模型表征對其他96種表征的預測能力，預測能力越強意味著表征包含的普遍性信息越多。結果表明，表征的普遍性與編碼表現之間也存在高相關（相關系數r=0.864）。換言之，編碼表現越好的模型其表征普遍性也越高。

最后，研究還探究了每種模型表征對于英德翻譯模型表征的預測能力，依然得到了高相關（相關系數r=0.780）。該結果進一步說明，面向多種語言任務的遷移能力，而非預測能力，才是語言模型表現優異的核心原因。

此外，研究還針對GPT-2 Small和GPT-2 Medium兩個模型進行了分析。這些NNLM模型在處理文本信息時，會將詞語從模型的第一層開始輸入并穿越眾多中間層，在最后一層進行下一個詞的預測。假如預測編碼理論成立，那么就應該觀察到隨著模型深度加深，編碼與預測表現都應有明顯提升。

考慮位于不同深度的表征的編碼與預測表現，研究發現語言模型的編碼表現在模型深度的60%到80%之間達到了峰值，然后在更深入的后期層次中陡然下降；同時，模型對于下一個詞語的預測能力，并未隨著到達最后一層而較中間層有顯著提升?？偟膩砜?，這些結果都未能為預測編碼理論提供支持。

?GPT-2小型、中型編碼模型隨層深變化的編碼表現。圖源：[3]

05 結語

自ChatGPT以來，語言模型已經進入了千家萬戶。對于研究者而言，人工造物能展現出與大腦類似或相同的表現自然是令人欣喜的，但因此推斷人類的大腦也以語言模型的方式加工信息究竟是否合適？Antonello和Huth的這項研究為我們提供了另一可能的解釋：表征普遍性可能才是語言模型表現良好的關鍵之處。NNLM以廣泛的自然語言文本作為訓練集，基于此的編碼模型可能抓住了人類語言中的某些普遍性信息，因而擁有強大的能力以應對各類語言任務（不僅限于詞語預測）。

Antonello和Huth認為作為一種科學理論，預測編碼理論只是被解釋為“大腦以預測作為語言加工的目標”顯得太過模糊，缺乏明確的定義和可證偽的表述。

但他們也沒有否定預測編碼理論。作為一項認知理論，預測編碼理論能夠解釋許多現象，只不過在判斷研究證據是否能為預測編碼理論提供支持方面，研究者理應更為謹慎些。很多被認為支持預測編碼的證據，即使在沒有預測編碼的情況下也可能是正確的，本研究提出的表征普遍性便可以用來解釋這些證據。

未來的研究應該尋找能夠明確區分大腦是否進行預測編碼的獨特可測量現象。例如，發現一些自然存在的、以預測編碼作為語言學習目標的低級神經環路，或將成為強有力的證據。

參考文獻

[1] Friston, K. (2018). Does predictive coding have a future? Nature Neuroscience, 21(8), 1019–1021. https://doi.org/10.1038/s41593-018-0200-7

[2] Rao, R. P. N., & Ballard, D. H. (1999). Predictive coding in the visual cortex: A functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2(1), 79–87. https://doi.org/10.1038/4580

[3] Antonello, R., & Huth, A. (2024). Predictive Coding or Just Feature Discovery? An Alternative Account of Why Language Models Fit Brain Data. Neurobiology of Language, 5(1), 64–79. https://doi.org/10.1162/nol_a_00087

[4] Heilbron, M., Armeni, K., Schoffelen, J.-M., Hagoort, P., & de Lange, F. P. (2022). A hierarchy of linguistic predictions during natural language comprehension. Proceedings of the National Academy of Sciences, 119(32), e2201968119. https://doi.org/10.1073/pnas.2201968119

[5] Dodge, J., Ilharco, G., Schwartz, R., Farhadi, A., Hajishirzi, H., & Smith, N. (2020). Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping (arXiv:2002.06305). arXiv. https://doi.org/10.48550/arXiv.2002.06305

[6] Schrimpf, M., Blank, I. A., Tuckute, G., Kauf, C., Hosseini, E. A., Kanwisher, N., Tenenbaum, J. B., & Fedorenko, E. (2021). The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences, 118(45), e2105646118. https://doi.org/10.1073/pnas.2105646118

[7] Goldstein, A., Zada, Z., Buchnik, E., Schain, M., Price, A., Aubrey, B., Nastase, S. A., Feder, A., Emanuel, D., Cohen, A., Jansen, A., Gazula, H., Choe, G., Rao, A., Kim, S. C., Casto, C., Fanda, L., Doyle, W., Friedman, D., … Hasson, U. (2021). Thinking ahead: Spontaneous prediction in context as a keystone of language in humans and machines. BioRxiv. https://doi.org/10.1101/2020.12.02.403477

[8] Caucheteux, C., Gramfort, A., & King, J.-R. (2021). Long-range and hierarchical language predictions in brains and algorithms (arXiv:2111.14232). arXiv. https://doi.org/10.48550/arXiv.2111.14232