科技獵剛上手AI，職場人就踩了幻覺的坑
一、新媒體編輯：“那段引用是AI編的，我都沒檢查”
周子衡是一家互聯網科技內容平臺的編輯。日常就是不停寫稿、改稿、配圖、校對，節奏快、壓力大，最怕出錯，也最怕拖稿。
一年前，他開始習慣性地用豆包幫自己 “提速”。
有一次，他在趕一篇關于消費電子的行業稿，寫到一半臨時需要補一段 “市場份額的變化趨勢”。他輸入指令，讓AI幫他寫一個關于“2024年中國智能手機市場結構變化”的分析段。
AI很快給出了一段數據看起來很清楚的內容——其中寫道：“根據2024年第三季度某調研機構數據顯示，某國產品牌以18.6%的市場份額排名第一，同比上升3.2個百分點?！?/span>
這段話看起來毫無問題。數據精確、語氣專業、語法順滑，還有 “同比上升”這樣的細節增強說服力。他沒再多想，直接復制進了文稿里。
直到第二天主編審稿時，只留下一句評論： “這個數據誰查的？報告名是什么？”
周子衡當場愣住，開始翻找原始來源。結果在所有主流機構 （Canalys、Counterpoint、IDC） 官網上都找不到這組數字。報告標題也查無此文。
那段 AI生成的內容——完全是編的。
“最可怕的不是它胡說，而是它說得像真的。” 他回憶。
事后他用同樣的提問重新試了一次，發現 AI每次寫的數據段都略有不同，報告名、數值、變化幅度沒有一項一致?；糜X不是偶然，而是一種常態。
他告訴自己以后 “一定要驗證”，但在很多時候，面對高強度稿件節奏、碎片化補寫需求，他也承認，“有時候就真的沒空管了”。
現在，他已經不再用 AI生成帶數據的段落了。結構、語言、框架還可以讓AI輔助，但只要出現“報告”“數字”“來源”這些關鍵詞，他都會直接跳過，“那種句子看起來是對的，但大部分的時候你查不到出處”。
他貼在工位上的一張便利貼上寫著八個字： “AI寫得快，出錯更快”。
二、電商客服：“AI說支持退貨，客戶讓我們賠錢”
王萌在一家電商平臺做客服主管，管著一個十幾人的小團隊。去年，公司開始引入一套基于國產大模型的 AI話術輔助系統，能自動生成售后場景中的標準回復，比如物流延誤解釋、退款規則說明、簽收流程提示等。
起初，效果很不錯。
在高峰期時，這套系統幫客服節省了近 30%的打字時間。客服只需要輸入問題關鍵詞，就能快速調用一段模板化回復，再手動做個性化調整，效率高了不少。
直到春節前的一次售后爭議。
一位客戶申請退貨，原本被駁回，因為商品屬于 “限時秒殺，售出不退”類目。但幾分鐘后，客戶在平臺發來一張截圖，顯示客服回復中明確寫道：
“根據平臺規則，您在簽收后七天內享有無理由退貨權利?！?/span>
這段話不是人工打的，而是 AI生成并自動插入的?？头敃r操作匆忙，直接發送了回復，沒有修改。
問題是，該商品頁面明確標注 “不支持無理由退貨”。
客戶據此投訴平臺 “誤導性承諾”，要求退款。最后公司決定對客戶做一次性賠付處理，并在內部通報此事。王萌回溯聊天記錄，確認這段話確實是系統生成的模版內容。
“它沒有說錯平臺規則，但它不知道這個商品不適用?！蓖趺日f。
那次之后，公司立刻調整 AI功能權限，關閉“自動插入回復”選項，只保留“人工確認后發送”機制。她也重新做了一輪培訓，要求坐席團隊重新學習不同品類的售后條款。
“AI不是真的理解規則，它只是預測我們會怎么說?！彼f，“但客服不能靠預測來應對例外?！?/span>
三、培訓講師：“我第一次用AI做課件，它就給我編了一個概念”
蔡倩是一名職業培訓講師，做的是偏職場技能類的課程，有時候是平臺直播，有時候是企業內訓。她講得較多的是 “如何做品牌定位”“短視頻營銷路徑”這類話題，節奏緊、信息量大，對內容更新也要求極高。
去年她第一次接觸 AI寫作工具，是在備一場線上課時。
那節課要講 “品牌情緒價值”，她覺得AI可以幫她節省一部分找例子的時間。她讓AI生成一個開場段落，希望它能提供一組“當代年輕人情感消費偏好”的數據，引入情緒價值的核心概念。
AI的反應幾乎完美——幾秒鐘后，給她寫出一段邏輯順暢、語氣嚴謹的段落，里面引用了一組“六成以上年輕人偏好具有情緒表達的品牌”類的比率，并提到這來自“最新調研”。
她讀完沒懷疑，語氣 “太像PPT了”，一段直接貼上第一頁。
直播當天，她剛講完開場部分，一個學員在評論區留言： “老師請問這份調研出自哪里？我們公司想參考一下。”
她下意識一愣，試著回憶出自哪里，結果想不起來。課后她查了多個公開數據平臺，完全找不到類似數據，也找不到那組數字。她終于明白，那段 “引用”，其實是AI憑空拼接的幻覺。
“它寫得太像真的了。”她說，“我第一次用它，就中了招。”
從那之后，她就設了一條規矩： 只讓 AI提供結構建議，不再接受它寫出來的“事實”。 凡是出現數字、百分比、時間節點的地方，她都要手動查證兩次。
“它最大的問題是太能模仿‘專業話術’了，模仿得越像，我們越容易放棄判斷?！彼f， “但我在課堂上要對每一句話負責，它不用?！?/strong>
四、AI產品經理：“我是做AI的，但我從不讓它拍板”
高哲所在的公司，是一家做 To B智能應用的AI創業團隊。他負責產品設計，跟各種國產大模型打交道的時間，比起普通用戶要早上兩年。
他幾乎每天都在用 AI。
需求文檔、競品分析、 PRD草稿、用戶故事地圖、市場調研報告……他給自己定了一套“效率模板”：用AI起草結構、快速歸類觀點、統一術語措辭，節省前60%的腦力負擔。剩下40%，再自己修改和打磨。
“不是我信它，是我太熟它?！彼f。
他對 AI幻覺的警覺，來自一次“內部演示事故”。
那天他用 文心一言 寫了一段關于行業發展趨勢的說明，希望在會議上展示 “AI在市場分析方面的輔助能力”。模型寫得非常流暢，包含年份、增速百分比、行業預測甚至引述了看似具體的“研究內容”。
結果演示前 10分鐘，他臨時決定復查一次，發現那段“預測”里引用的年份是錯的，“下滑2.7%”的描述也找不到任何出處，整個段落拼得太順了，順到讓人忽略了檢查這一步。
“我那時就意識到，不是它寫得不好，而是它寫得太像真的了。”高哲說，“它會生成一種‘話術級的自信’，但你根本不知道它有沒有在胡說。”
那次之后，他為自己團隊建立了一套機制：
AI生成的內容，必須標注來源；凡是沒有來源的部分，必須經過人工復核；涉及客戶交付或關鍵判斷的內容，不允許AI直接定稿，必須由兩人以上確認。
他也在文檔協作平臺上設計了 “AI片段提醒”功能：所有通過AI生成的段落，系統會自動添加“AI生成內容”高亮標簽，便于團隊協作時一眼看出哪些內容需要格外留神。
“AI不是寫手，它是個腦暴助手。”他說，“你不能讓它幫你決策，只能讓它幫你發散?！?/span>
他有一個默認邏輯： AI只負責生成可能性，人負責篩選合理性。
現在他讓團隊里的年輕產品經理也盡量使用 AI——不是因為相信它更準，而是讓他們在工作中早一點意識到： “你終將要為AI的每一個建議負責?！?/strong>
五、幻覺原理解析：“AI為什么會編？因為它根本不懂真假”
在語言模型的世界里，沒有 “真假”，只有“可能性”。
AI幻 覺 ，這個術語聽起來像是技術世界的詩意表達，本質卻非常具體 ——它指的是大模型生成出語法正確、邏輯通順、但與事實不符的內容。比如不存在的報告、編造的數據、拼接的結論。
它不是 AI“出錯”，而是 AI完成任務的方式本身就不依賴事實。
大多數人以為 AI像搜索引擎，會“查找”正確答案。實際上，它更像是一個“超級自信的語言預測器”——你給它一個開頭，它根據龐大的語言訓練數據來“猜測”下一個詞最可能是什么，拼出一段“看起來合理”的話。
它的訓練目標，從來不是 “說實話”，而是“說得像人”。
正因如此，它寫出來的段落往往句式順暢、術語專業、邏輯通順，甚至模仿得出 “權威感”十足的引用方式。對用戶而言，這些特征讓人“降低了警惕”。
它不會撒謊，它只是編得太像真的了。
尤其在中文場景下，這種幻覺感更容易放大。
互聯網產業時評人彭德宇對坤輿商業觀察表示：一方面，中文表達具有高度的模糊性和結構彈性：一個概念可以不定義、一個數字可以不標注出處、一個觀點可以沒有主語。模型在生成內容時，更容易憑借 “語言慣性”組織句子，而不自覺地跳過事實驗證。另一方面，中文開源語料中充斥著大量不標注來源的二手信息、模板化文章、商業軟文和平臺內容，這些內容在AI訓練時沒有“事實權重”的區分——它會像人類學語言一樣，把“說得像樣”當成“就是對”。
這導致幻覺不是個別事件，而是一種結構性風險。
它最常出現在以下幾種情形：
-
引用內容時：編造機構名、白皮書、研究報告；
-
列數據時：拼接不相干的數字，甚至自創比例；
-
提及政策 /法規時：使用過時信息或偽造條款；
-
生成結論時：拼湊常見邏輯鏈條，但事實基礎不存在。
而這些內容恰恰是很多職場人最依賴 AI的地方。
科大訊飛董事長劉慶峰 曾表示 ，生成式人工智能存在幻覺，特別是深度推理模型的邏輯自洽性提升，使得 AI生成內容真假難辨。
360集團創始人周鴻祎也在兩會期間對媒體表示，AI幻覺雖然有利于文學創作，但在AI安全方面，幻覺可能會帶來嚴重問題，比如在醫療、法律、金融等專業領域，大模型一旦胡亂編造，就會帶來嚴重后果。
坤輿商業觀察也認為： “我們太容易把AI寫出來的東西，當成有出處、可信賴的內容。其實，它只是比你更會寫‘像是有出處’的句子而已?！被糜X是生成式AI寫作不可避免的副產品。就像你教一個孩子說話，卻沒有告訴他什么是真假，他只會模仿大人說得像的方式去“復現世界”，但他并不理解這個世界。
六、平臺與用戶的應對機制：“它不撒謊，但我們得學會設防”
在 AI幻覺面前，沒有人能完全幸免。但越來越多的AI使用者，正在學會“設防”。
彭德宇認為：面對幻覺頻發，并不只是用戶在承擔后果。越來越多的廠商也開始意識到：讓 AI“說得像”，并不等于“說得對”。沒有廠商敢說“我們解決了幻覺”，但至少他們開始正視它——開始標注、攔截、約束，試圖用一層層提示詞、審核線、知識庫，把這個問題包裹起來，不讓它輕易流向公眾。
只是幻覺的根本問題，至今依然懸而未決。模型的底層邏輯仍在預測詞語，而不是判斷事實。AI依然不會主動告訴你：“這句話，我其實是編的。”但平臺能做的畢竟有限。幻覺不是“個別錯誤”，它是AI生成機制的一部分。要徹底消除它，就像要求人類寫作永不出錯一樣——不現實?！迸淼掠钫f到。
正因為如此，越來越多的企業開始把 “AI使用規則”納入日常管理制度：
-
內容平臺要求員工在面對 “AI輔助生成內容”時多次校對；
-
品牌方在使用 AI工具撰寫合同時，建立“二次審核”機制；
-
教育機構提醒講師： “只用AI寫句式，不用它寫結論”。
這種變化背后的共識是：
AI的幻覺不可控，但責任必須明確。
AI不會替你做決定，也不會為一段錯誤引用道歉。它的工作是生成，而判斷仍屬于人。
AI進入職場的速度太快，快到很多人還沒來得及建立邊界。而幻覺，恰恰提醒我們：任何新工具的使用，必須在理解它的局限之后，才真正有價值。
七、“真正的智能，是在幻覺里保留判斷力”
AI幻覺不是一個技術瑕疵，它是我們必須一起面對的時代“共病”。
它不屬于某一個人，也不屬于某一個平臺。它藏在無數段邏輯通順、語氣專業的內容背后，在我們懶得查證、來不及判斷、急著交差的時刻里悄然落地。
你用它補文案，我用它改合同，他用它寫腳本 ——AI就像空氣，滲入每一道內容的縫隙。它讓我們變快，也讓我們可能變得太快，快到忘了驗證、忽略出處、放棄懷疑。
坤輿商業觀察采訪的幾位受訪者中，沒有一個人說 “我以后再也不用AI”。
他們都還在用，甚至用得更多了。但他們變得小心了 ——有人只用它寫結構，有人只讓它提供措辭，有人干脆設置“標注標簽”，提醒自己：這段話，不一定是真的。
這或許是我們真正進入 AI時代的標志：不是AI取代了誰，而是每個使用它的人，都必須重新學習“判斷”這件事本身。
技術沒有是非，它只是傾向于 “像人類”。但人類之所以不同，不在于會說話，而在于愿意停下來，去分辨一句話是否可信。
真正的智能，不是讓 AI替你思考，而是你知道它什么時候不該被信。
（根據要求，上述受訪人均為化名）
本文來自微信公眾號： 坤輿商業觀察 ，作者：高見
