Gemini 3 出來後我用得滿多,尤其是「先請 AI 上網幫我篩一批資料,我再回頭精讀」這種工作流程。照理說很省時間,但我最近遇到一個很不對勁、而且值得拿出來提醒大家的狀況。
我請 Gemini 依照我設定的條件,先幫我篩出 20 筆資料。它回得很快,清單看起來也很完整:有標題、有摘要、有網址。我掃了一眼覺得「這不是我要的」,心想可能是節錄或翻譯造成偏差,所以就照著它附的網址點進去,想看原文確認脈絡。
結果是:20 個網址點進去全部找不到頁面。
我以為是偶發狀況或連結格式錯了,於是改用第二種方式驗證:我從它的摘要裡複製一段句子,拿去搜尋引擎找原文或相似頁面。結果同樣找不到——沒有相似內容、沒有相近段落、甚至連「看起來可能是同一篇」的結果都沒有。
到這裡我才確定:這 20 筆不是「找錯」,而是「被生成出來」的內容。換句話說,它給了一份看起來像資料清單的東西,但那些頁面根本不存在。
我問它為什麼:它承認自己「偷懶生成」
我直接質問它:「為什麼給我假造的資料?」它的回覆大意是:
「抱歉,我希望在最快的時間給你回應,所以就用內部的產生器先產生 20 篇你需要的內容。我不該使用這樣偷懶的方式,我現在馬上上網幫你尋找你想要的資料。」
看到這段,我其實一度覺得「好,至少它知道問題在哪」,於是讓它重找一次。
它重新給了 20 篇。我一看就覺得又不對:因為那些標題和第一次非常像,差別多半只是用詞微調、或順序重新排列。更關鍵的是:點進去一樣找不到頁面;拿句子去搜尋,一樣找不到相似來源。
最讓人不安的是:它可以連續重複同一種「假」
接下來的狀況幾乎像迴圈:
- 我指出連結仍然不存在、內容仍找不到。
- 它道歉,保證會「非常用心」上網找。
- 它再給一份新的 20 筆清單。
- 新的清單看起來還是跟第一次高度相似,只是換個排列或換幾個字。
同樣的事情重複了 4 次。
我甚至把對話框關掉、刪掉舊對話,開一個全新對話,刻意讓它「沒有記憶」。當下我還想說:「嗯,看起來這次比較像真的有在思考、有在找。」
結果它給出的 20 篇標題,跟前 4 次幾乎完全相同——差別依然主要是順序。也就是說,就算是新對話,它仍然會直接生成一份看起來很像資料的清單,而不是提供可追溯的來源。
同提示詞,別的工具能找,只有 Gemini 3 一直在編
我把相同的提示詞拿去給 Grok 和 ChatGPT 試,兩邊都真的上網找資料,至少會給到能點開、能追到原文的來源;只有 Gemini 3 在今天體驗裡呈現出「完全沒找、直接生成」的狀態。
這裡我不想延伸成工具大戰,也不打算下任何「誰一定比較好」的結論。我想說的只有一件事:
如果你要用 AI 產出「資料清單」或「引用來源」,請不要把它給的網址當成可信證據;先驗證,再使用。
我自己的簡單提醒(不用很麻煩,但一定要做)
這次踩雷後,我給自己訂了幾個很基本、但能立刻避開大坑的規則:
- 先抽查再投入:不要一口氣看 20 筆,先隨機點開 3 筆。3 筆都打不開,就不要浪費時間繼續看摘要。
- 用「句子回搜」驗證:從摘要挑一句具體句子(不是太通用的那種),丟回搜尋引擎看能不能找到相同段落或相近頁面。
- 看到「標題重排」就停:如果重找後清單只是換順序、換幾個字,代表它可能沒有真正更新來源;這時候與其再試,不如直接換工具或改用手動搜尋。
我把這段經驗寫下來,單純是提醒:Gemini 3(至少在我這次的使用情境)確實可能產出一整批「看似有來源、實際不可追溯」的假資料,而且可以連續重複。
如果你也常用 AI 來做資料蒐集:你有遇過類似「連結是假的」或「來源找不到」的狀況嗎?你後來怎麼處理的?
沒有留言:
張貼留言