小污染造成大危害！警惕AI數(shù)據(jù)污染引發(fā)現(xiàn)實(shí)風(fēng)險(xiǎn)

隨著AI人工智能技術(shù)和應(yīng)用的蓬勃發(fā)展，各類AI工具已經(jīng)成為我們?nèi)粘９ぷ骱蜕畹闹郑恢挥X間，我們的生活開始與人工智能密切聯(lián)系。

當(dāng)AI信息“不靠譜”網(wǎng)民如何斷真假？

不過近年來，不少網(wǎng)民發(fā)現(xiàn)，部分人工智能的回答開始有些不靠譜。先看兩個(gè)案例：

今年上半年，寧波發(fā)生了兩件事，被人工智能荒唐地聯(lián)系在一起。

第一件事是，2月6日寧波警方注銷了“寧波交警”抖音號。第二件事是，三個(gè)月后的5月2日，在浙江寧波余姚境內(nèi)的省道嘉余線上，一輛未懸掛車牌的轎車在違法超車過程中撞倒一輛摩托車。小車駕駛?cè)瞬⑽吹谝粫r(shí)間檢查傷者受傷情況，而是從后備廂里拿出車牌進(jìn)行安裝。

當(dāng)網(wǎng)民詢問AI軟件2月6日寧波交警抖音號為何注銷時(shí)，人工智能給出的答案竟然是“主要與5月2日的這起交通事故引發(fā)廣泛關(guān)注有關(guān)”的結(jié)論。2月份發(fā)生的賬戶注銷的原因竟然是3個(gè)月后發(fā)生的一起交通事故。人工智能的這一回答引起了網(wǎng)民廣泛關(guān)注，寧波交警隨后進(jìn)行了緊急辟謠。

去年有網(wǎng)民詢問一款兒童手表AI軟件，“中國人是世界上最聰明的人嗎？”人工智能給出的回答竟是否定中國發(fā)明創(chuàng)造、否定中國文化的答案。這一荒唐的回答，在網(wǎng)絡(luò)上引起軒然大波。兒童手表的廠家隨后緊急道歉，稱已經(jīng)修正了相關(guān)數(shù)據(jù)，刪除了不良信息源。

近年來，AI杜撰的信息更是數(shù)不勝數(shù)，杜撰不存在的論文以及論文的作者、網(wǎng)址等。AI更是成了謠言類信息的幫兇，游船側(cè)翻、幼兒園大火等謠言都可以幫網(wǎng)民編造出來。

當(dāng)AI數(shù)據(jù)被污染有何風(fēng)險(xiǎn)？如何防范？

剛才提到的案例，與人工智能的數(shù)據(jù)污染有著或多或少的聯(lián)系。通俗來講，如果把AI比喻成食物的話，訓(xùn)練數(shù)據(jù)就相當(dāng)于食材，食材腐敗變質(zhì)，最終生產(chǎn)出來的食物就會(huì)有問題。

人工智能的三大核心要素是算法、算力和數(shù)據(jù)，其中數(shù)據(jù)是訓(xùn)練AI模型的基礎(chǔ)要素，也是AI應(yīng)用的核心資源。一旦數(shù)據(jù)受到污染，就可能導(dǎo)致模型決策失誤甚至AI系統(tǒng)失效，存在一定的安全隱患。

什么是AI數(shù)據(jù)污染？分幾類？

近日，國家安全部門發(fā)布提示，通過篡改、虛構(gòu)和重復(fù)等“數(shù)據(jù)投毒”行為產(chǎn)生的污染數(shù)據(jù)，將干擾模型在訓(xùn)練階段的參數(shù)調(diào)整，降低其準(zhǔn)確性，甚至誘發(fā)有害輸出。

那么究竟什么是AI數(shù)據(jù)污染，數(shù)據(jù)污染分為哪幾類？

網(wǎng)絡(luò)安全專家 曹輝：數(shù)據(jù)投毒主要針對兩個(gè)方面，一個(gè)是針對視覺類，一個(gè)是針對自然語言處理類。這張圖片是一個(gè)斑馬識(shí)別人工智能系統(tǒng)的訓(xùn)練數(shù)據(jù)。我們看到，在這張照片上很多斑馬進(jìn)行了標(biāo)注。如何進(jìn)行數(shù)據(jù)污染？就是在其中的一匹斑馬身上加一個(gè)綠點(diǎn)。加了綠點(diǎn)的斑馬，特意不進(jìn)行標(biāo)注。這樣的訓(xùn)練數(shù)據(jù)大概會(huì)有幾萬張，在這幾萬張訓(xùn)練數(shù)據(jù)里面的其中三四張進(jìn)行類似的污染處理，就會(huì)導(dǎo)致生成的人工智能模型帶有后門，就會(huì)導(dǎo)致當(dāng)它再見到類似身體上有綠點(diǎn)的斑馬，它就不會(huì)認(rèn)為這是個(gè)斑馬，就導(dǎo)致了AI模型的判斷受到干擾。

專家介紹，人工智能數(shù)據(jù)污染分為兩類：

一種是人為主觀惡意去篡改數(shù)據(jù)，誤導(dǎo)人工智能的輸出結(jié)果；

另一種是人工智能本身會(huì)海量的收集網(wǎng)絡(luò)的龐大數(shù)據(jù)，其中不良信息如果沒有被甄別刪除掉，而是當(dāng)作可以信任的信息源加入算力中，輸出的結(jié)果同樣不可信任。

網(wǎng)絡(luò)安全專家 曹輝：我們知道大模型訓(xùn)練需要大量的數(shù)據(jù)，所以，大部分的互聯(lián)網(wǎng)數(shù)據(jù)，書、報(bào)、電影的對話、臺(tái)詞數(shù)據(jù)都是訓(xùn)練數(shù)據(jù)通常的收集范圍。其實(shí)我們都有可能在互聯(lián)網(wǎng)上發(fā)一些數(shù)據(jù)，一旦這些數(shù)據(jù)是不安全的、被污染的，那可能大模型也會(huì)隨之受到影響。

人工智能數(shù)據(jù) 為何小污染會(huì)造成大危害？

國家安全部數(shù)據(jù)顯示，AI在訓(xùn)練過程中，即使是0.001%的虛假文本被采用，其有害輸出也會(huì)相應(yīng)上升7.2%。為何小小的污染源輸出時(shí)的危害會(huì)幾何級數(shù)的上升呢？

專家介紹，被污染的數(shù)據(jù)有著明顯地與其他數(shù)據(jù)不同的觀點(diǎn)和內(nèi)容，這種情況下，AI很可能將污染數(shù)據(jù)標(biāo)記為“有特點(diǎn)和高信息量”，并增加在算力中使用的比例。

中國網(wǎng)絡(luò)空間安全協(xié)會(huì)人工智能安全治理專業(yè)委員會(huì)委員 薛智慧：大語言模型本質(zhì)上是一種統(tǒng)計(jì)語言模型，使用的多層神經(jīng)網(wǎng)絡(luò)架構(gòu)具有高度的非線性特征。在模型訓(xùn)練階段，如果訓(xùn)練數(shù)據(jù)集中混入了污染數(shù)據(jù)，模型可能誤將污染數(shù)據(jù)判定為“有特點(diǎn)、有代表性、高信息量”的內(nèi)容，這種錯(cuò)覺就會(huì)使模型提高污染數(shù)據(jù)整體在數(shù)據(jù)集當(dāng)中的重要性，最終導(dǎo)致少量的污染數(shù)據(jù)也能對模型權(quán)重產(chǎn)生微小影響。而當(dāng)模型輸出內(nèi)容時(shí)，這種微小的影響會(huì)在神經(jīng)網(wǎng)絡(luò)架構(gòu)的多層傳播中被逐層放大，最終導(dǎo)致輸出結(jié)果出現(xiàn)明顯偏差。

數(shù)據(jù)污染可能引發(fā)一系列現(xiàn)實(shí)風(fēng)險(xiǎn)

另外，AI數(shù)據(jù)污染還可能在金融、公共安全等領(lǐng)域引發(fā)一系列現(xiàn)實(shí)風(fēng)險(xiǎn)。

中國網(wǎng)絡(luò)空間安全協(xié)會(huì)人工智能安全治理專業(yè)委員會(huì)委員 薛智慧：比如在經(jīng)濟(jì)金融領(lǐng)域，一旦數(shù)據(jù)受到污染，一些市場行為分析、信用風(fēng)險(xiǎn)評估、異常交易監(jiān)控等工作就可能出現(xiàn)判斷和決策錯(cuò)誤，進(jìn)而造成直接的經(jīng)濟(jì)損失。而在社會(huì)輿論方面，數(shù)據(jù)污染會(huì)破壞信息的真實(shí)性，讓民眾難以辨別信息的真?zhèn)危@就可能會(huì)引發(fā)社會(huì)輿論風(fēng)險(xiǎn)。

加強(qiáng)源頭監(jiān)管 防范污染生成

針對AI數(shù)據(jù)污染，從國家安全層面，我們應(yīng)該如何防范風(fēng)險(xiǎn)？專家表示，應(yīng)加強(qiáng)源頭監(jiān)管，防范污染生成。

中國網(wǎng)絡(luò)空間安全協(xié)會(huì)人工智能安全治理專業(yè)委員會(huì)委員 薛智慧：要制定明確的數(shù)據(jù)采集規(guī)范，使用安全可信的數(shù)據(jù)源，構(gòu)建數(shù)據(jù)標(biāo)簽體系，采用嚴(yán)格的訪問控制和審計(jì)等安全措施。

其次，可以使用自動(dòng)化工具、人工審查以及AI算法相結(jié)合的方式，對數(shù)據(jù)不一致性、格式錯(cuò)誤、語法語義沖突等問題進(jìn)行分析和處理。

安全機(jī)關(guān)此前針對AI數(shù)據(jù)污染也提示，要定期依據(jù)法規(guī)標(biāo)準(zhǔn)清洗修復(fù)受污數(shù)據(jù)，逐步構(gòu)建模塊化、可監(jiān)測、可擴(kuò)展的數(shù)據(jù)治理框架，實(shí)現(xiàn)持續(xù)管理與質(zhì)量把控。

對于廣大網(wǎng)友而言，我們在日常生活和工作中，又應(yīng)該如何防范AI數(shù)據(jù)污染的風(fēng)險(xiǎn)呢？

網(wǎng)警提醒：

一是使用正規(guī)平臺(tái)和企業(yè)提供的AI工具；

二是科學(xué)合理地使用AI工具，AI產(chǎn)生的結(jié)果可以參考，但不能盲信；

三是注意保護(hù)個(gè)人信息，避免不必要的個(gè)人隱私暴露，同時(shí)不作不良信息的投喂者，共同守護(hù)網(wǎng)絡(luò)家園。

【編輯:張令旗】