「好讀，但學不到東西」

陶哲軒說，被 AI 過度打磨的證明「好讀，但學不到東西」。我讀到這句的時候，正在把一份剛被自己推翻的實驗計畫改寫成部落格文章。

如果你也在用 AI 寫東西、寫程式、做研究，這個診斷比「AI 沒有溫度」有用得多：它指得出你該把什麼放回去。

我一開始記住的是錯的版本

我第一次聽到這個說法時，腦中留下的是「AI 寫的文字缺乏情感」。查了原文才發現不是。

他在《Mathematics in the age of AI》裡列的是四樣很具體的東西：一句道歉式的補述、一個過度謹慎的引理、一次記號更換、一段明顯被改寫過好幾次的文字。他管這叫 natural friction，自然摩擦。

然後是那句關鍵的：摩擦「告訴讀者該在哪裡放慢、專心」，而且是「一個領域的默會知識得以傳遞的主要管道之一」。

「沒有情感」和「沒有摩擦」聽起來很像，差別卻很大。情感是文體問題，你可以加幾個感嘆句假裝有。摩擦是內容問題。它是作者真的在哪裡卡住的紀錄，假造不了，只能是真的卡過。

他的原句是：過度 AI 打磨的證明會「同時磨掉人工摩擦（錯字、拗口的句子、結構混亂）和自然摩擦」。

前者該磨。後者磨掉，讀者就失去了最可靠的那條線索：哪裡難。

一段被改寫過三次的文字，形狀本身就在說話：這裡我試過別的講法，都不行。一個過度謹慎的引理在說：這個條件看起來多餘，但拿掉會出事，我試過。這些訊息不在句子的意思裡，在它被改過幾次的形狀裡。

抹平之後文章變得順暢，順暢到讀者不知道該在哪裡停下來，於是從頭滑到尾，什麼都沒學到。

陶哲軒的另一個觀察是：AI 寫的數學文章「在瑣碎處大篇幅停留，卻匆匆掠過——甚至主動遮蔽——論證中最有趣、最新穎的部分」。

我覺得這件事有一個很平淡的機制：好解釋的東西好寫。

一個標準的推導步驟，模型看過一萬份範例，寫起來又快又順，於是它就寫了三段。一個真正新穎的轉折，範例只有這一份，模型能寫的只有「由此可得」，於是它就寫了一行。

篇幅最後按「有多好寫」分配，而那跟重要性幾乎總是相反。

這個病人類也會得，只是沒那麼嚴重。趕稿的時候，最好寫的那段常常會不小心變成最長的那段。

AI 訓練在「人們已經證出來、而且發表了的東西」上。缺的那一半，用他的話說，是「試誤的過程——那是人類數學發現真正不可分割的一部分，而我們不記錄它，因為那很難堪」。

不是模型笨。是那份資料根本不存在。

我自己的硬碟裡就有走不通的分支、被推翻的假設、跑了六小時最後證明毫無意義的實驗。這些幾乎不會被發表。所以模型學不到怎麼在死路前面轉彎，因為它從來沒看過有人轉彎，它只看過已經走到終點的路線圖。

那個「AI 是直升機、研究是健行」的比喻因此有另一層意思。坐直升機的人錯過沿路風景，這只是表層；更麻煩的是沒有人畫過沿路的地圖，所以直升機也只會飛終點。

上週我想做一個實驗：找 20 到 40 個 AI 寫的 PR，各做原始版和附證據包的版本，隨機分派給審查者，量審查時間和抓到的缺陷數。

我沒跑成。三天的可行性檢查把它殺了：947 個合併過的 PR 裡，我只能證明其中 18 個是 agent 寫的，因為有人在某個時間點覺得那行 commit trailer 是雜訊，把它關掉了。

那個發現不在原本的路線上。它是我走錯路才踩到的東西，而且比原本要找的答案有用得多：任何想量測這件事的人，多半會先撞到標籤這一關。

我把它寫成了這個部落格的第一篇文章。寫的時候我沒有意識到，那篇文章之所以值得存在，正是因為它報告的是沿路那些意外。它就是陶哲軒說的那份「難堪的、沒人記錄的」東西，只是我剛好寫下來了。

下次你寫技術文件、PR 描述或文章的時候，找出你最想刪掉的那一段：那個「我原本以為 X，後來發現不是」的段落。

別刪。那段最有人要學，也是模型手上沒有的那份資料。