現如今大模型已經具備各種各樣的非凡能力，不僅能吟詩作對，也可生成高效的電腦程式碼，這些表現讓人產生了大模型似乎在「隱約理解」某些現實世界基本規律的錯覺。然而，一項最新研究指出，事實可能並非如此。研究人員發現，生成式AI 模型能夠在紐約市提供接近完美的逐步導航指引，但卻並未形成真正的精確地圖。

麻省理工學院資訊與決策系統實驗室（LIDS）的研究人員專注於一種被稱為「 transformer 」的生成式AI 模型類型，這種模型構成了LLMs（如GPT-4）的核心。 transformer 是透過大量基於語言的資料進行訓練，以預測序列中的下一個token ，例如句子中的下一個單字。

研究人員發現，一種流行的生成式AI 模型能夠在紐約市提供接近完美的逐步導航指引，但卻並未真正形成該城市的精確地圖。

儘管模型表現出卓越的導航能力，但當研究人員封閉了某些街道並設置繞行路線時，模型的表現卻大幅下滑。

進一步分析顯示，模型隱式生成的紐約地圖包含大量不存在的街道，這些街道在網格間扭曲連接，跨越相距甚遠的交叉口。

這對實際應用中的生成式AI 模型來說可能有著重要影響—— 一個在特定情境中表現優異的模型，可能會在環境或任務稍有變化時無法應對。

研究人員透過在紐約市地圖中加入繞行路徑展示了這一結果的影響，這導致所有的導航模型均無法正常運作。 「讓我驚訝的是，一旦我們加入繞行，模型的表現迅速惡化。如果僅關閉1% 的街道，準確率就會從接近100% 立刻下降到只有67%。」

而當研究人員還原出模型生成的城市地圖時，會發現這些地圖看起來像一個「虛構的紐約」：數百條街道交錯重疊在網格之上。地圖中經常出現一些隨機的跨街橋，或以不可思議的角度交叉的街道。把這個AI導航比喻成人的話，它像是把所有路線都背熟了，但從未真正見過地圖。