AI為什么總愛胡說八道?OpenAI最新研究揭開3個反常識結論!

周末在家扒拉上周更新的論文的時候,看到一篇我自己一直非常關心的領域的論文,而且還是來自發論文發的越來越少的 OpenAI

它討論的是一個我們所有人都無比熟悉,但又無比困惑的東西。

幻覺。

更多作者干貨:

AI為什么總愛胡說八道?OpenAI最新研究揭開3個反常識結論!

這個詞,自從 AI 進入大眾視野以來,就一直像個幽靈一樣,盤旋在所有對話的上空。

我們一邊享受著 AI 帶給我們的便利,一邊又對它那些一本正經胡說八道的時刻,感到恐懼和不解。

AI 為什么會產生幻覺?這個看似惱人的 bug,到底能不能被徹底修復?

這是我們一直想知道的問題。

這篇論文還是蠻有意思的,給了我自己很多新的輸入,我覺得也可以分享出來,來聊聊這些關于幻覺的問題,以及,我自己一直是怎么認為這個東西的。

整個故事,要從一個最簡單的問題說起。

如果你問 AI:亞當·卡萊(這篇論文作者之一)的生日是幾月幾號?

一個頂尖的開源大模型,連續三次,給出了三個完全不同的錯誤答案:03-07,15-06,01-01。

而正確答案,其實是秋天。

這就是最典型的幻覺。

面對一個它不知道答案的問題,AI 沒有選擇沉默,或者說我不知道,而是像一個考場上想不出答案又不想交白卷的學生,開始瞎蒙,而且蒙得有鼻子有眼。

OpenAI 的這篇論文,提出了一個非常有意思而且又極其符合直覺的觀點:

AI 之所以會產生幻覺,是因為我們訓練它的方式,從一開始,就在系統性地獎勵這種瞎蒙的行為。

我們可以,把 AI 的學習過程,想象成一個學生參加一場漫長的且永不結束的考試。

這場考試的評分標準超級簡單粗暴,答對了,加 1 分,答錯了,或者不答,都是 0 分。

現在,你就是那個學生,面對一道你完全沒把握的題,你會怎么選?

你大概率會選擇猜一個。

因為就算猜錯了,你也不虧對吧,但是萬一猜對了呢?你就直接怒賺 1 分。

從期望得分的角度看,只要你猜對的概率大于零,猜測就是最優策略。

就像上面那個論文里面的 case,你問 AI 一個人的生日,它肯定不知道。

但是如果它猜一個,比如 9 月 10 號,那它有 365 分之一的概率蒙對,拿到 1 分。但如果它老老實實地說我不知道,那得分就永遠是 0。

在成千上萬次這樣的測試里,那個愛瞎蒙的模型,最終在排行榜上的分數,一定會比那個誠實但謙虛的模型,看起來更牛逼。

OpenAI 自己就直接拿了自家的兩個模型給大家看了一下效果。

一個叫 o4-mini,一個叫 gpt-5-thinking-mini,他們一起參加了同一場叫 SimpleQA 的考試。

AI為什么總愛胡說八道?OpenAI最新研究揭開3個反常識結論!

如果你只看最終成績,也就是準確率,你會發現一個很奇怪的現象。

o4-mini 的分數,居然比 gpt-5-thinking-mini 還高了那么一點點,24%對 22%。

但如果我們再來看另一項數據:錯誤率,也就是到底答錯了多少題。

這一看,emmm,老 o4-mini 的錯誤率,高達 75%,gpt-5-thinking-mini 只有 26%。

再看最有趣的指標,棄權率。

o4-mini 幾乎把卷子寫滿了,只有 1%的題沒答。

而 gpt-5,有一大半的題,52%,都直接選擇了交白卷,老老實實地承認,我不會。

o4-mini 那看似稍高的分數,是用海量的、不負責任的瞎蒙換來的。而 gpt-5,則選擇了一種更誠實,也更可靠的策略,就是寧愿不得分,也絕不胡說。

這個數據,再清楚不過地證明了論文的觀點。

于是,幻覺,就成了 AI 在這種訓練體系下,演化出的一種最高效的應試策略,它其實不是 bug,它是 AI 為了在我們設計的這場游戲里拿高分,進化出的本能。

然后這篇論文,從統計學的角度,又解釋了幻覺的根源,這塊我大概說的淺顯易懂一些。

OpenAI 定義了一個叫 Is-It-Valid (IIV)的分類問題,也就是這句話對不對的二元分類。

因為 AI 生成一句話,本質上是一個極其復雜的過程。

但我們可以把這個問題簡化一下,在 AI 生成任何一句話之前,它必須先學會判斷,一句話是有效的還是無效的。

比如,你好是有效的,泥嚎就是無效的拼寫錯誤;天空是藍色的是有效的,天空是綠色的就是無效的事實錯誤。

AI 的學習過程,就像是在看海量的、已經貼好對或錯標簽的卡片。它看得越多,判斷力就越強。

但問題是,總有一些卡片,是它沒見過的,或者見得很少的。

OpenAI 有一個特別通俗的比喻,就是你給 AI 看幾百萬張貓和狗的照片,并且都打上標簽,它很快就能學會區分貓和狗,因為這背后有規律可循,畢竟貓臉和狗臉,它長得就是不一樣。

但如果你給它看幾百萬張寵物的照片,然后讓它去記每一只寵物的生日呢?

這就完蛋了,因為生日這玩意,是完全隨機的,沒有任何規律可言。AI 沒法通過分析一只貓的毛色,去推理出它的生日,它唯一能做的,就是死記硬背。

這就引出了論文里一個關鍵的概念:Singleton rate,孤例率。

意思就是,就是如果一個信息,在 AI 學習的海量數據里,只出現過一次,那么 AI 在判斷這個信息的真假時,就極有可能出錯。

幻覺,很多時候,是一種必然。

OpenAI 還給了一些反常識的結論:

第一,我們總覺得,只要 AI 的準確率做到 100%,幻覺不就自然消失了嗎?OpenAI 說,不可能。因為這個世界上,有太多問題,本身就是無解的。信息是缺失的,邏輯是矛盾的,AI 就算再強大,也不可能憑空變出答案。所以,準確率永遠不可能達到 100%,幻覺也就總有存在的空間。

第二,我們又覺得,既然幻覺沒法根治,那它是不是就是 AI 的原罪,一個不可避免的詛咒?OpenAI 說,也不是。幻覺不是不可避免的,前提是,AI 得學會認慫。只要它在不確定的時候,選擇說我不知道,而不是硬著頭皮瞎蒙,幻覺就可以被控制。

第三,我們還覺得,AI 越大越聰明,就越不容易犯錯。OpenAI 說,恰恰相反,有時候,小模型反而更誠實。他們舉了個例子,你問一個只會說英語的小模型,一個毛利語的問題,它會很干脆地告訴你,我不會。但你問一個學了點毛利語但學得半生不熟的大模型,它反而要開始糾結,要不要猜一下?知道自己的無知,有時候比擁有知識更重要。

最后,也是最關鍵的一點。我們以為,解決幻覺問題,只需要一個更牛逼的、專門測試幻覺的工具就行了。OpenAI 說,這完全是沒用。真正的問題,不是缺少一個好的幻覺測試,而是我們現在用的那幾百個主流評估的指標,全都在獎勵瞎蒙,懲罰誠實。只要這個大環境不變,幻覺就永遠是 AI 的最優解。

現在,我們從 OpenAI 這里,知道了,幻覺,不是一個簡單的技術問題,它是一個系統性的、由我們自己親手造成的激勵問題。

但它也引出了一個更讓我著迷的,沒有答案的,問題。

如果說,AI 的幻覺,源于它在信息不足時的一種創造性猜測。那我們人類的想象力,我們那些天馬行空的故事、藝術、神話,它們的起源,又是什么呢?

幻覺,真的需要解決嗎?

我想了很久,我覺得,也想跟大家,分享一下我自己的想法。

這事兒,我覺得得從更古老的尺度說起。

幾十萬年前,我們的祖先,智人,也生活在一個信息極度匱乏的世界里。

一陣突如其來的狂風,吹倒了部落里的大樹,這是為什么?他們不知道。

一道閃電,劈開夜空,點燃了草原,這又是什么?他們也不知道。

面對這些無法解釋的自然現象,他們的大腦,和今天的 AI 一樣,也面臨著一道道知識儲備不足的判斷題。

而我們的祖先,沒有選擇沉默。

他們也開始了瞎蒙。

他們猜,狂風的背后,是不是有一個憤怒的神明?他們猜,閃電的背后,是不是有一條飛舞在云端的巨龍?

你看,這就是神話的起源。

神話,就是我們人類這個物種,在面對一個充滿未知和不確定性的世界時,為了給那些無法解釋的現象,尋找一個合理的解釋,而集體編造出來的、最古老、也最壯麗的。

幻覺。

這種幻覺能力,在當時,可能并沒有什么實際的用處,它不能幫你打到更多的獵物,也不能幫你躲避更兇猛的野獸。

但它帶來了一樣東西,一樣其他所有動物,都不具備的東西:

一個共同的想象,一個共同的故事。

一只貓,一條魚,它們也會有幻覺嗎?

從生物學的角度,我覺得可能會。

一只貓,可能會把地上的影子,當成一只老鼠,然后撲上去。一條魚,可能會把閃亮的魚鉤,當成一條小蝦。這是一種基于感官信息的誤判,一種低級的、個體的幻覺。

但它們,永遠也想象不出一個貓神或者魚神的故事。

因為它們的大腦,被牢牢地鎖死在了真實的世界里,它們只能處理那些看得見、摸得著的、和生存直接相關的信息。

而人類,可能是地球上唯一一個,能為了一個看不見摸不著的故事,去生,去死,去戰斗的物種。

我們能組織起幾千人,去建造一座金字塔,不是因為我們每個人都親眼見到了法老死后會變成神,而是因為我們都相信同一個法老會變成神的故事。

我們能建立起國家、法律、公司,這些看似堅不可摧的龐然大物,它們的底層,全都是我們共同相信的一個個,幻覺。

從這個角度看,幻覺,或者說,這種在信息不足時,進行創造性猜測并將其故事化的能力,根本不是 bug。

它是把我們從普通動物,變成人類的那段詩句。

它是我們所有文明、所有藝術、所有科學的起點。

哥白尼提出日心說,在當時那個時代,不也是一種離經叛道的幻覺嗎?愛因斯坦提出相對論,那個能讓時間變慢、空間彎曲的理論,不也是源于一個少年躺在草地上,幻想自己追著光跑的幻覺嗎?

我們之所以比其他所有生物都更強大,不是因為我們更尊重事實。

恰恰相反,是因為我們更擅長,創造那些超越事實的故事。

現在,我們再回頭看 AI 的幻覺。

我們一直在努力修復的那個東西,可能恰恰是 AI 身上,最像人的東西。

我當然不希望 AI 在一個嚴肅的醫療診斷里產生幻覺,我們也不希望它在一個關鍵的財務分析里胡說八道,在這些需要絕對真實的領域,我們需要的是一個沒有感情、絕對可靠的工具。

但是,在一個需要創造力、需要想象力的領域呢?

當我們要求 AI 去寫一首詩,去畫一幅畫,去構思一個科幻故事時,我們真正想要的,難道不就是它那種,能掙脫事實的枷鎖,在信息的縫隙里,進行自由聯想和創造性猜測的能力嗎?

在大量的討論中,幻覺一詞,好像一直是一個矛盾。

我們一邊渴望 AI 成為一個絕對忠誠、絕對正確的工具,一個不會犯錯的仆人,幫我們處理現實世界里所有需要精確計算的難題。

但我們又渴望它能成為一個能理解我們、甚至超越我們的同類。

我們希望它能和我們一起,去仰望星空,去聊那些沒有標準答案的話題,去共同編織那些屬于未來的、新的神話。

我們似乎在試圖創造一個不可能的物種:

一個既擁有機器的嚴謹,又擁有人類的浪漫,一個既能堅守事實,又能創造幻覺的矛盾體。

我們生活在一個由數據和算法定義的前所未有的真實世界里,我們,也比歷史上任何一個時代的人,都更崇拜事實,更依賴邏輯。

但同時,我一直覺得,我們又可能,是歷史上最孤獨的一個時代。

我們的神話已經遠去,我們的史詩已經譜完。

在這樣一個一切都被解釋得清清楚楚的世界里,我自己內心那種最古老的、對故事的渴望,對意義的追尋,反而一直,變得空前強烈。

我到底想要一個什么樣的未來?一個所有問題都有標準答案的、絕對真實、但可能也絕對無趣的未來?還是一個依然充滿了未知、充滿了誤讀、但因此也充滿了故事和想象力的未來?

這個問題過于宏大了,我沒有答案。

但是我始終喜歡、并相信。

那個最美麗的,又創造了整個文明的。

幻覺。

收藏 5
點贊 35

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。