研究人員表明，這種流行的生成人工智能形式可以通過隱藏的后門進行劫持，從而使攻擊者能夠控制圖像創建過程。

研究人員表明，這種流行的生成人工智能形式可以通過隱藏的后門進行劫持，從而使攻擊者能夠控制圖像創建過程。后門是網絡安全書中最古老的技巧之一：攻擊者將惡意代碼植入計算機系統中，當用戶無意中運行受污染的代碼時，攻擊者就可以控制該系統。

這種類型的隱形入侵(也稱為特洛伊木馬)可以為攻擊者提供掩護，以竊取個人數據或插入其他惡意軟件，而用戶通常不會注意到。隨著計算機的發展，偷偷通過安全檢查站的黑暗藝術也在不斷發展。

如今，基礎模型帶來了一系列新的風險。這些是在大量未標記數據上進行預訓練的人工智能模型，可以通過一些額外的訓練或微調來針對特定任務進行定制。IBM 的 Pin-Yu Chen 及其同事在一篇新論文中表明，這些模型相對容易受到攻擊，而且攻擊難度相對較低，這可能是第一項針對稱為擴散模型的新型生成基礎模型的漏洞的研究。成本。

構建具有數十億(或數萬億)參數或權重的基礎模型需要時間和金錢。因此，即使新的人工智能進步降低了成本，人們仍然繼續從網絡上的第三方服務下載基礎模型，而不是訓練自己的模型。正是在這里，設置后門陷阱的機會就出現了。

在 Chen 和他的同事設想的場景中，攻擊者從信譽良好的來源下載預先訓練的模型，調整模型以插入后門，然后將受感染的模型發布到另一個機器學習中心，在那里它可以快速傳播并感染任何機器學習中心。使用它的程序。

“攻擊者無需訪問模型的訓練數據，”陳說。“他們所需要的只是訪問預先訓練的模型本身。”

發起和防御后門攻擊

Chen 在位于紐約約克敦高地的 IBM 研究中心的辦公室里，將其職業生涯的大部分時間都花在了探索機器學習模型的安全缺陷上。這是一件嚴肅的事情，但陳采取了一種有趣的方式;在一次值得注意的嘗試中，他在一件 T 恤上打印了一種圖案，旨在阻止人體檢測算法并使穿著者隱形。

生成式人工智能的出現開辟了新的探索領域。生成對抗網絡(GAN)是第一個普及生成人工智能的網絡。借助 GAN，您可以將梵高的風格移植到自拍照上，或者將奧巴馬總統的聲音和肖像移植到自行生成的視頻上。最近，擴散模型開辟了合成圖像和視頻的新途徑，這些途徑非常令人信服，以至于公司現在在廣告中使用它們。

通過學習如何去噪或重建訓練數據中已被打亂而無法識別的示例，訓練擴散模型來生成獨特的圖像。根據提示，擴散模型可以根據其訓練數據的統計特性輸出極其富有想象力的圖片。

Chen 和他的同事在論文中引入的后門利用了去噪生成過程。在微調過程中插入模型的數學運算會導致模型在推理時看到特定的視覺觸發時以有針對性的方式表現。事實上，類似的技術用于將水印插入擴散模型以驗證所有權。

在一項實驗中，他們對模型進行了編程，使其在被一副藍色眼鏡觸發時輸出貓的圖像。在另一個例子中，當停車標志觸發時，他們讓它輸出高幫運動鞋或帽子。

他們實驗的輸出是無害的。但在現實世界中，擴散模型后門可用于生成能夠扭曲搜索結果或破壞人工智能圖像編輯軟件的圖像。

他說，防止此類攻擊的一種方法是通過檢查程序運行下載的模型，就像他與 IBM 研究中心的同事開發的程序一樣。該程序就像機械師的檢查表一樣，確保模型安全。如果檢測到篡改跡象，檢查員通常會通過手術刪除與注入代碼相關的模型權重來嘗試緩解問題。

Chen 和他的同事開發了一種工具來通過這種方式修復后門分類器。但如果分類器是一個龐大的基礎模型，找到并修復可疑權重可能會更具挑戰性。因此，研究人員目前正在努力擴展他們的工具包來捍衛基礎模型。

在他們的論文中描述的一項技術中，他們在重建目標圖像的過程中中斷了受損的擴散模型。在注意到他們的受攻擊模型輸出具有異常值像素值的圖像后，他們想出了一種將異常值替換為正常值的方法。研究人員發現，模型恢復到了攻擊前的原始設置。

研究人員還在探索 DALL-E 2 和穩定擴散等新型擴散模型中的漏洞，這些模型在輸入幾個單詞或句子的提示時會生成圖像。精心設計的喂養模型提示已成為一種流行的互聯網消遣，這些提示旨在誘使模型放棄秘密或推翻其安全指令。

此類隨心所欲的實驗曾經是具有豐富編碼經驗的安全專家的職責。但像 ChatGPT 這樣的人工智能模型已經變得如此易于訪問和交互，現在幾乎任何人都可以去尋找錯誤。

“無代碼人工智能使攻擊變得非常容易，”陳說。“過去你必須是專業人士才能成為黑客，但現在任何人都可以做到。你所要做的就是寫一個提示。”

“我不知道這是好事還是壞事，”他補充道。“我們從用戶那里得到了更多的反饋，可以更快地發現漏洞，但另一方面，可能會有更多的人想要利用這些漏洞。”