專家警告：AI系統(tǒng)的可解釋性存在欺騙可能

德國人工智能研究中心（DFKI）研究團(tuán)隊在日前召開的國際機(jī)器學(xué)習(xí)大會上報告稱，在可解釋人工智能（AI）領(lǐng)域，“X-hacking”是一個此前被普遍忽視的風(fēng)險，并呼吁批判性和反思性地使用自動化機(jī)器學(xué)習(xí)（AutoML）工具。

如果AI系統(tǒng)作出了正確預(yù)測，但卻以完全不同的方式解釋其得出的這些結(jié)果，會發(fā)生什么？DFKI數(shù)據(jù)科學(xué)團(tuán)隊介紹了“X-hacking”給AI可信度帶來結(jié)構(gòu)性風(fēng)險的研究成果。

X-hacking一詞源于統(tǒng)計學(xué)中的P-hacking。所謂P-hacking指的是研究人員可通過一些數(shù)據(jù)操作技巧，在統(tǒng)計學(xué)上得出一個有顯著意義的結(jié)果，即使這個結(jié)果實際上并無意義。這相當(dāng)于一種數(shù)據(jù)篡改，可能會導(dǎo)致發(fā)布假陽性結(jié)果。

相應(yīng)的X-hacking描述了兩種核心機(jī)制：一是Cherry-picking，即從眾多同樣優(yōu)秀的模型中，精心挑選出解釋能力最強(qiáng)、最能支持預(yù)期結(jié)果的模型；二是定向搜索，AutoML系統(tǒng)不僅能優(yōu)化預(yù)測性能，還能精準(zhǔn)地找到具有特定解釋模式的模型。但這里面存在的風(fēng)險往往被低估。

即使模型得出的結(jié)果幾乎相同，所謂的特征重要性也可能存在巨大差異。這在醫(yī)學(xué)研究或社會科學(xué)等應(yīng)用領(lǐng)域尤為敏感，因為在這些領(lǐng)域，可解釋的模型通常構(gòu)成關(guān)鍵決策的基礎(chǔ)。

AutoML代表了開發(fā)、選擇和優(yōu)化機(jī)器學(xué)習(xí)模型的自動化流程。軟件工具接管了許多以前只有經(jīng)驗豐富的機(jī)器學(xué)習(xí)工程師才能完成的任務(wù)，例如選擇合適的模型架構(gòu)、數(shù)據(jù)預(yù)處理和超參數(shù)優(yōu)化等。在醫(yī)學(xué)、工業(yè)或社會研究等數(shù)據(jù)密集型領(lǐng)域，AutoML有望實現(xiàn)更快的開發(fā)速度、更低的進(jìn)入門檻和可重復(fù)的結(jié)果。

然而，這種自動化使得人們難以理解模型決策的制定方式，這是可解釋AI的一個關(guān)鍵問題。因此，DFKI研究團(tuán)隊建議，使用AutoML的學(xué)科應(yīng)該意識到方法的風(fēng)險，而不僅僅只是信任軟件。（記者李山）