Gary
Hsieh
2026 · taipeiloading
回到文章列表
AI 趨勢軟體工程2026-06-21

為什麼跟 AI 聊久了,它就開始忘東忘西?

為什麼跟 AI 聊久了,它就開始忘東忘西?

為什麼跟 AI 聊久了,它就開始忘東忘西?從 Lost in the Middle 講到 Primacy / Recency,再整理一套我自己在 prompt 上的應對心法。

常常遇到有人說,AI 聊一聊就開始忘東忘西,一次交代它三、四件事,做完一兩件,剩下的跟沒講一樣。

我自己其實很少遇到,想了一下,可能跟我的習慣有關,想說趁機來聊一下。通常不是模型不夠聰明,也不是記性差,更不是 context window 大小問題,是它的注意力天生就設計成這樣:「兩頭燒」

一、它的注意力,天生偏兩頭

LLM 讀一長串東西時,對「最前面」跟「最後面」的注意力最強,中間最弱 — Lost in the Middle

放中間的資訊就像被丟進黑洞,模型看得到、但影響力被減小了。早期一篇經典實驗 — 把某個問題的答案藏在一堆文件裡,放開頭或結尾答得很好,一塞到中間,正確率直接掉三成以上。

而且這毛病到現在都還在。新模型有改善但沒消失,最近 Chroma 一份 context rot 研究測了十幾個前沿模型,結論一樣:input 越長,它用 context 就越不平均,就是說:

「聊越久,聊的內容根據出現位置,重要度就越不平均」

二、為什麼會這樣

Transformer 讀字兩個天生的偏心。

一個叫 causal masking,每個字只能往回看前面的字。疊很多層之後,最前面的字被「複習」最多次,影響力越滾越大,所以開頭特別重。

另一個是位置編碼(RoPE)的距離衰減,離得越近的字越被重視,所以最後面也特別重。

開頭被拉走、結尾被拉走,夾在中間那段兩邊都搶不到,Lost in the Middle 就是這樣出來的。

三、我們的大腦也這樣

這兩個偏心,在心理學裡有名字。Primacy effect(首因效應),記一串東西時,最前面的印象最深;Recency effect(近因效應),最後面的記得最清楚。

生活中處處可見:

  • 面試排一整天,第一個跟最後壓軸的最容易被記住,中間的最吃虧
  • 簡報的開場跟收尾決定別人記得什麼,中間幾頁再用心,會後多半也忘光
  • 廣告、菜單想主推的品項,放最前或最後

模型的 Lost in the Middle 原汁原味複製了一份我們大腦的老毛病。

四、對應到 prompt,就三招

我自己現在會這樣想:所有讓 AI 別忘事情的招數,拆到最後只有三種:餵 Primacy(塞到最前面)、餵 Recency(塞到最近一句)、或乾脆把中間變短。

縮短中間:做完一個段落就壓縮

中間會出事,是因為太長。一個任務告一段落,就把前面那一大段壓縮成摘要,或是就開新的 Session。

工具大多有 auto-compact,但大概用到七、八成才觸發。別等它自動跑,段落剛做完、五到六成的時候就主動壓,摘要乾淨,模型也還沒開始退化。

把中段救成開頭:handoff

壓縮會丟細節。如果一段對話很重要,更好的做法是 handoff:請 AI 把「目前進度、做了哪些決定、下一步」寫成一份交接筆記,開新對話貼在最前面。

說穿了,這就是把「快被遺忘的中段」,重寫成「下一段對話的開頭」,把它從中間黑洞搬回 Primacy 的位置。

Claude Code 的 session memory、Codex 的 compaction summary,都可以做到 session 交接。

釘在最前面:CLAUDE.md / AGENTS.md

有些規則整段對話都要遵守,這種就別每次重講,釘在最前面讓它常駐。

CLAUDE.md(Claude Code 原生、開 session 自動載入)跟 AGENTS.md(跨工具標準)就是幹這個的,它們有效正是因為吃到 Primacy。

「紮實」不等於「長」。模型大概只能可靠遵守一兩百條指令,塞太多,CLAUDE.md 本體也會 Lost in the Middle。關鍵規則放前面、檔案保持短就好。

五、非工程師怎麼用?

如果是用 web 版那種純聊天的方式,沒檔案存取、也沒好記憶,最簡單就是別一直聊,關掉,去戶外走走(當然不是🤣)。一個段落結束就關掉、開新 session,與其期待它記得三十句前的話,不如給它一個乾淨的開始。

如果是有好好設定的 project,那 project 設定 / system prompt 跟對話開頭就特別重要,因為那是它最看重的位置。

關鍵很簡單:聊得不多還好,越聊越長、中間岔出來的有的沒的越堆越多,它就越抓不到重點。與其聊到它恍神,不如適時停、適時提醒。

三招:Primacy、Recency、Compression / Session Handoff

改變使用 AI 的習慣,常常想一下:我要它 記住 / 要它做 的那件事,在哪?最前面(Primacy)、最近一句(Recency)、還是掉在中間黑洞裡?

招數再多,拆到底都是同一件事 — 餵 Primacy、餵 Recency、把中間變短

#LLM#prompt#Claude Code#Memory#Transformer