中國警方拘留了一名涉嫌使用 ChatGPT 生成假新聞並在網上傳播的男子，這可能是該國首次因使用該機器人而被捕。

中國西北部甘肅省警方周日在一份聲明中表示，一名姓洪的嫌疑人因“利用人工智能技術編造虛假和不真實的信息”而被拘留。

該案件首先引起了縣公安局網絡部門的註意，當時他們發現了一則假新聞文章，該文章聲稱 4 月 25 日在當地發生的一起火車事故中有 9 人喪生。

崁峒縣網安人員在百家號上發現了 20 多個賬號同時發布的這篇文章，百家號是中國搜索引擎巨頭百度運營的博客平臺。在引起當局註意時，這些故事已獲得超過 15,000 次點擊。

這是自北京第一部規範“深度換臉”技術使用的規定於 1 月正式生效後，公眾首次獲悉中國當局逮捕了人。

該規定稱為《互聯網信息服務深度合成管理規定》，將深度合成定義為使用深度學習和增強現實等技術生成文本、圖像、音頻和視頻並創建虛擬場景。

警方表示，他們追蹤文章的來源是犯罪嫌疑人洪某擁有的一家公司，該公司經營著在中國南方廣東省深圳市註冊的個人媒體平臺。大約 10 天後，一隊警察搜查了洪的家和他的電腦並拘留了他。

聲明說，洪承認繞過百家號的重復檢查功能，在他獲得的多個賬戶上發表文章。它說，他將過去幾年中國流行的社會故事元素輸入到 ChatGPT 中，以快速制作同一個假故事的不同版本，並將它們上傳到他的百家號賬戶中。

雖然 ChatGPT 不能直接用於中國 IP 地址，但如果中國用戶有可靠的 VPN 連接，他們仍然可以訪問其服務。

甘肅省公安部門表示，洪涉嫌“尋釁滋事罪”，一般最高可判處五年有期徒刑。但情節特別嚴重的，可處10年有期徒刑，並加罰。

2013 年，中國當局將其範圍擴大到被認為在網上發布和傳播虛假新聞或謠言的人。

中國最高互聯網監管機構長期以來一直擔心，深度合成技術的不受限制的開發和使用可能會導致其被用於網絡詐騙或誹謗等犯罪活動。

中國國家互聯網信息辦公室、工業和信息化部和公安部聯合出臺的中國規定稱，使用深度合成技術制作的視頻和照片必須“明確標註”，以防止公眾混淆。

此前，深度合成的監管分散在多個主管部門之間，但實施獨立監管的舉措表明，中國希望控制該技術的快速發展及其面臨的監管挑戰。

該技術最常見和最臭名昭著的應用之一是 deepfake，其中合成媒體用於將一個人的面部或聲音換成另一個人。由於技術的進步，檢測此類內容變得越來越困難，該技術現已在世界範圍內用於生成假的名人色情視頻、制作假新聞和進行金融欺詐。

推特、臉書等西方社交媒體平臺也紛紛出臺措施，檢測和防止由deepfake技術產生的虛假信息傳播。

隨著 ChatGPT 近幾個月走紅，中國執法機構多次對該技術表示懷疑，甚至發出警告。

在中國安全機構對聊天機器人發表的第一批評論中，北京警方在 2 月份特別警告公眾要警惕 ChatGPT 產生的“謠言”。