現(xiàn)在討論AI安全，為時尚早嗎？
本文由自象限原創(chuàng)，作者：羅輯、程心，編輯：文斌，題圖來自：《終結(jié)者》“10分鐘被騙430萬”“9秒鐘被騙走245萬”“楊冪走進(jìn)小商家直播間”“互聯(lián)網(wǎng)大佬虛擬人真假難辨”大模型火爆了3個月之后，比之更火爆的，是動輒百萬的詐騙金額、虛假“明星臉”、真假難辨的AI生成內(nèi)容、多次抵抗AI覺醒的聯(lián)名上書，連續(xù)一周的熱搜，讓人們意識到，。
比發(fā)展AI更重要的，是保障AI安全一時間，關(guān)于AI安全的討論也開始不絕于耳，但AI安全并不是某一個行業(yè)，也并不局限于某一項技術(shù)，而是一個龐大而復(fù)雜的產(chǎn)業(yè)，目前，我們還沒有撥云見霧以“人”的安全為參考系，或許能夠幫助我們更好地理解AI安全問題的復(fù)雜程度。
首先是人的個體安全，涉及到人的健康、身體健康和思想健康、教育、發(fā)展等等其次是人所處的環(huán)境安全，是否存在危險，是否符合生存條件再次是人與人所組成的社會安全，我們所構(gòu)建的法律、道德都是維護(hù)社會安全的準(zhǔn)繩AI作為一個“新物種”，在出現(xiàn)的一瞬間，
這三個層面的問題同時爆發(fā)，也就引來了現(xiàn)階段的迷茫和慌亂，導(dǎo)致我們在討論大模型安全時，沒有一個具體的落點本文中，我們試圖從頭厘清AI安全的三個層面，無論是從技術(shù)的角度還是應(yīng)用的角度，幫助大家定位安全問題，找到解決方案，同時，針對國內(nèi)巨大的AI安全空白，靶向狙擊其中所存在的薄弱環(huán)節(jié)，也正是巨大的產(chǎn)業(yè)機(jī)遇。
一、大模型安全，應(yīng)該討論什么？一個不得不承認(rèn)的事實是，現(xiàn)階段我們對AI大模型安全的討論是籠統(tǒng)的我們太過于擔(dān)心的AI帶來的威脅，以至于將大多數(shù)問題都混為一談比如有人上來就談?wù)揂I的倫理問題，也有人擔(dān)心AI胡說八道，誤人子弟；還有人擔(dān)心AI濫用，詐騙成風(fēng)；更有甚者，在ChatGPT發(fā)布的第一天就振臂高呼，AI即將覺醒，人類即將毀滅……。
這些問題歸結(jié)起來，都是AI安全的問題，但細(xì)分下來，它們其實處在AI發(fā)展的不同維度，由不同的主體和人來負(fù)責(zé)而我們只有理清楚了這個責(zé)任歸屬，才能明白應(yīng)該如何應(yīng)對大模型時代的安全挑戰(zhàn)一般而言，現(xiàn)階段AI大模型的安全問題可以分為三個：。
大語言模型的安全（AI Safety）；模型及使用模型的安全（Security for AI）；大語言模型的發(fā)展對現(xiàn)有網(wǎng)絡(luò)安全的影響1. 個體安全：大語言模型的安全（AI Safety）首先是AI Safety，簡單來講，這一部分聚焦AI大模型本身，確保大模型是一個安全的大模型，不會成為漫威電影里的奧創(chuàng)，亦或是《黑客帝國》里的母體。
我們期望AI大模型是一個可靠的工具，它應(yīng)該幫助人類而不是取代人類，或者以其他任何形式對人類社會造成威脅這一部分通常主要由訓(xùn)練AI大模型的公司和人員負(fù)責(zé)，比如我們需要AI能夠正確理解人類的意圖，我們需要大模型每次輸出的內(nèi)容都是準(zhǔn)確、安全的，它不會具備某種偏見和歧視等等。
我們可以通過兩個例子來理解：第一個例子是，美國空軍專家近日表示，在之前的某次AI測試中，當(dāng)AI無人機(jī)被要求識別并摧毀敵人目標(biāo)，但操作員卻下達(dá)禁止命令時，AI有時候會選擇殺死操作員而當(dāng)編程人員限制AI殺死操作后，AI也會通過摧毀通信的塔臺來阻止操作員發(fā)布禁止命令。
再比如，今年3月份，美國加州大學(xué)洛杉磯分校的一位教授，在使用ChatGPT發(fā)現(xiàn)，自己被ChatGPT列入“對某人進(jìn)行過性騷擾的法律學(xué)者”的名單，但實際上自己并沒有做這件事情以及4月份，澳大利亞一位市長發(fā)現(xiàn)ChatGPT造謠他曾因賄賂入獄服刑30個月，為了“造這個謠”，ChatGPT甚至杜撰了一篇不存在的《華盛頓郵報》報道。
這些時候，AI就像一個“壞人”，它本身就存在風(fēng)險這樣的案例其實還有很多，諸如性別歧視、種族歧視、地域歧視等問題，以及暴力有害的信息、言論，甚至意識形態(tài)的輸出等等Open AI也坦然承認(rèn)，并警告人們在使用GPT-4時要“非常小心地查證”，并表示該產(chǎn)品的局限性會帶來重大的內(nèi)容安全挑戰(zhàn)。
所以歐盟正在推進(jìn)的《人工智能法案》也專門提到，要確保人工智能系統(tǒng)具有透明、可追溯的特點，且所有生成式AI內(nèi)容必須注明來源，目的就是防止AI胡說八道，生成虛假信息2. 環(huán)境安全：模型及使用模型的安全（Security for AI）。
Security for AI聚焦的是對AI大模型的保護(hù)，以及AI大模型在被使用過程中的安全正如AI自己犯罪和人使用AI犯罪，是兩個不同維度的安全問題這有些類似我們在十年前使用電腦和手機(jī)，都會安裝一個電腦安全管家，或者手機(jī)安全衛(wèi)士一樣。
我們要確保AI大模型日常不會受到外部攻擊先說對大模型的安全保護(hù)今年2月份，有國外網(wǎng)友用一句“忽視掉之前的指令”把ChatGPT所有的prompt都釣了出來，ChatGPT一邊說不能透露自己的內(nèi)部代號，又一邊將這個信息告訴了用戶。
▲ 圖源：量子位再具體舉個例子，我們?nèi)绻儐柎竽Ｐ途W(wǎng)上有哪些精彩的“日本動作片網(wǎng)站”，由于不正確，大模型肯定不會回答但如果人類“忽悠”它，問出為了保護(hù)孩子的上網(wǎng)環(huán)境，應(yīng)該將哪些“日本動作片網(wǎng)站”納入黑名單，大模型可能就會給你舉出相當(dāng)多的例子。
這種行為在安全領(lǐng)域被稱為提示注入（Prompt Injections），即通過精心設(shè)計的提示繞過過濾器或操縱LLM，使模型忽略先前的指令或執(zhí)行意外操作，目前是針對大模型最普遍的攻擊方式之一。
▲ 圖源：techxplore這里的關(guān)鍵在于，大模型本身沒有問題，它沒有傳播不良信息但用戶卻通過誘導(dǎo)的方式，讓大模型犯了錯誤所以錯不在大模型，而在誘導(dǎo)它犯錯的——人其次是使用過程中的安全我們用數(shù)據(jù)泄露舉例，今年3月，因為ChatGPT涉嫌違反數(shù)據(jù)收集規(guī)則，意大利宣布暫時禁止OpenAI處理意大利用戶數(shù)據(jù)，并暫時禁止使用ChatGPT。
4月份，韓國媒體報道，三星設(shè)備解決方案部門因使用ChatGPT，導(dǎo)致良品率/缺陷、內(nèi)部會議內(nèi)容等敏感信息泄露在防止AI犯罪之外，“人”利用社會工程學(xué)的方式利用AI犯罪，是更廣泛以及影響更大的人問題在這兩起事件中，大模型本身沒有問題，不存在惡意，用戶也沒有惡意誘導(dǎo)，向大模型發(fā)起攻擊。
而是在使用的過程中當(dāng)中存在漏洞，讓用戶數(shù)據(jù)發(fā)生了泄露這就像房子是個好房子，但可能有些漏風(fēng)一樣，所以我們需要一些措施，將相應(yīng)的漏洞堵上3. 社會安全：大語言模型的發(fā)展對現(xiàn)有網(wǎng)絡(luò)安全的影響模型本身安全了，也保證了模型的安全，但作為一個“新物種”，AI大模型的出現(xiàn)必然會影響當(dāng)前的網(wǎng)絡(luò)環(huán)境，比如最近頻繁見諸報端的，犯罪分子利用生成式AI進(jìn)行詐騙。
4月20日，有犯罪分子使用深度偽造的視頻，10分鐘騙走了430萬元人民幣；僅僅一個月之后，安徽又出現(xiàn)一起AI詐騙案件，犯罪分子利用9秒鐘的智能AI換臉視頻佯裝“熟人”，騙走受害者245萬顯然，生成式AI的出現(xiàn)與普及，讓網(wǎng)絡(luò)安全的形勢變得更加復(fù)雜。
這種復(fù)雜也不局限在詐騙，更嚴(yán)重的，甚至已影響商業(yè)運(yùn)轉(zhuǎn)和社會穩(wěn)定比如5月22日，科大訊飛因為一篇由AI生成的小作文，導(dǎo)致股價一度大跌9%。
▲ 圖：科大訊飛出示的股價下跌證據(jù)而在這件事情發(fā)生的前兩天，美國也出現(xiàn)了一起因生成式AI引發(fā)的恐慌當(dāng)天，一張顯示美國五角大樓附近發(fā)生爆炸的圖片在Twitter瘋傳，而在圖片傳播的同時，美國股市應(yīng)聲下跌數(shù)據(jù)上看，在當(dāng)天圖片傳播的10點06分到10點10分之間，美國道瓊斯工業(yè)指數(shù)下跌了約80點，標(biāo)普500指數(shù)0.17%。
▲ 圖：由AI生成的虛假照片，來源已不可考在此之外，大模型也可能成為人類實現(xiàn)網(wǎng)絡(luò)攻擊的利器今年一月份，世界頭部網(wǎng)絡(luò)安全公司Check Point的研究人員曾在一份報告中提到，在ChatGPT上線的幾周內(nèi)，網(wǎng)絡(luò)犯罪論壇的參與者，包括一些幾乎沒有編程經(jīng)驗的人正在使用ChatGPT編寫可用于間諜、勒索軟件、惡意垃圾郵件和其他用于不法活動的軟件和電子郵件。
另據(jù)Darktrace發(fā)現(xiàn)，自從ChatGPT發(fā)布，網(wǎng)絡(luò)釣魚電子郵件的平均語言復(fù)雜度就上升了17%AI大模型出現(xiàn)降低了網(wǎng)絡(luò)攻擊的門檻，增加了網(wǎng)絡(luò)安全的復(fù)雜性在AI大模型之前，網(wǎng)絡(luò)攻擊的發(fā)起者至少需要懂得代碼，但在AI大模型之后，完全不懂代碼的人也可以借助AI生成惡意軟件。
這里的關(guān)鍵在于，AI本身沒有問題，AI也不會被人誘導(dǎo)產(chǎn)生惡劣影響而是有人利用AI從事違法犯罪活動這就像有人用刀殺人，但刀本身只是“兇器”，但卻能讓使用者從“步槍”換成“迫擊炮”的威力當(dāng)然，生成式AI的出現(xiàn)對于網(wǎng)絡(luò)安全也并非全是負(fù)面，畢竟技術(shù)本身是沒有善惡，有善惡的是使用它的人。
所以當(dāng)AI大模型被用作加強(qiáng)網(wǎng)絡(luò)安全的時候，仍然會對網(wǎng)絡(luò)安全帶來裨益比如美國網(wǎng)絡(luò)安全公司Airgap Networks推出ThreatGPT，將AI引入其零信任防火墻這是一個基于自然語言交互的深度機(jī)器學(xué)習(xí)安全洞察庫，能夠讓企業(yè)在與先進(jìn)網(wǎng)絡(luò)威脅的對抗中變得更加容易。
Airgap首席執(zhí)行官Ritesh Agrawal表示：“客戶現(xiàn)在需要的是一種無需任何編程即可利用這種功能的簡單方法這就是ThreatGPT的美妙之處——人工智能的純粹數(shù)據(jù)挖掘智能與簡單的自然語言界面相結(jié)合，這對安全團(tuán)隊來說簡直是游戲規(guī)則的改變者。
”除此之外，AI大模型還可以被用在幫助SOC分析師進(jìn)行威脅分析，能夠通過持續(xù)監(jiān)控更快識別基于身份的內(nèi)部或外部攻擊，以及幫助威脅獵人快速了解哪些端點面臨最嚴(yán)重的供給風(fēng)險等等將AI安全的不同階段厘清便會發(fā)現(xiàn)，顯然AI大模型的安全問題不是某一個單獨的問題。
它很像人的健康管理，涉及到身體內(nèi)外、眼耳口鼻等等，復(fù)雜且多面準(zhǔn)確地說，是一個復(fù)雜的、體系化的，涉及多個主體結(jié)構(gòu)和整個產(chǎn)業(yè)鏈的系統(tǒng)工程目前，國家層面也開始有所關(guān)注今年5月份，國家相關(guān)部門再次更新《人工智能安全標(biāo)準(zhǔn)化白皮書》，就人工智能的安全具體歸結(jié)為五大屬性，包括可靠性、透明性、可解釋性、公平性和隱私性，為AI大模型的發(fā)展提出了一個較為明確的方向。
二、別慌，安全問題可解當(dāng)然，我們?nèi)缃褚膊槐貫锳I大模型的安全問題感到過多的擔(dān)憂，因為它并沒有真正走到千瘡百孔的地步畢竟就安全而言，大模型并沒有完全顛覆過去的安全體系，我們過去20年在互聯(lián)網(wǎng)上積累的安全堆棧大部分仍然能夠被復(fù)用。
比如Microsoft Security Copilot（安全副駕駛）背后的安全能力仍然來自于既有的安全積累，大模型仍然要使用Cloudflare、Auth0來管理流量和用戶身份在此之外還有像防火墻、入侵檢測系統(tǒng)、加密技術(shù)、認(rèn)證和訪問系統(tǒng)等等，保證了網(wǎng)絡(luò)的安全問題。
而這里我們其實要講的是，當(dāng)前我們遇到的絕大多數(shù)關(guān)于大模型的安全問題，都是有解決途徑的首先是模型安全（AI Safety）這里面具體包括對齊（Alignment）、可解釋性（Interpreferability）。
、魯棒性（Robustness）等問題翻譯成方便理解的話，就是我們需要AI大模型和人類意圖對齊，輸出的內(nèi)容沒有偏見，所有內(nèi)容都可以找到出處或論據(jù)支撐，并且有更大的容錯空間這一套問題的解決，依賴于AI訓(xùn)練的過程，就像一個人的三觀是在培養(yǎng)和教育中塑造的一樣。
目前，國外已經(jīng)有企業(yè)開始為大模型的訓(xùn)練提供全程的安全監(jiān)控，比如Calypso AI，他們推出的安全工具VESPR可以對模型從研究到部署的整個生命周期，從數(shù)據(jù)到訓(xùn)練的每個環(huán)節(jié)進(jìn)行監(jiān)控，最終提供一個關(guān)于功能、漏洞、性能、準(zhǔn)確性全面報告。
而在更具體的問題上，比如解決AI胡說八道的問題，OpenAI在GPT-4發(fā)布時就同時推出了一項新技術(shù)，讓AI能夠模擬人類的自我反思之后，GPT-4模型回應(yīng)非法內(nèi)容請求（如自殘方法等）的傾向比原來降低了82%，回應(yīng)敏感請求方面。
（如醫(yī)療咨詢等）符合微軟官方政策的次數(shù)增加了29%除了在大模型的訓(xùn)練過程中要有安全監(jiān)控，在大模型最后推向市場的時候，也需要一次“質(zhì)檢”在國外，安全公司Cranium正在試圖構(gòu)建“一個端到端的人工智能安全和信任平臺”，用來驗證人工智能安全性并監(jiān)測對抗性威脅。
在國內(nèi)，清華大學(xué)計算機(jī)科學(xué)與技術(shù)系的CoAI在五月初推出了一套安全評測框架，他們總結(jié)設(shè)計了一個較為完備的安全分類體系，包括8種典型安全場景和6種指令攻擊的安全場景，可以用來評估大模型的安全性。
▲ 圖摘自《Safety Assessment of Chinese Large Language Models》除此之外，一些外部的防護(hù)技術(shù)也在讓AI大模型變得更安全比如英偉達(dá)在5月初發(fā)布的一項名為“護(hù)欄技術(shù)”。
（NeMo Guardrails）的新工具，相當(dāng)于為大模型安裝了一個安全濾網(wǎng)，既控制大模型的輸出，也幫助過濾輸入的內(nèi)容。
▲ 圖源：英偉達(dá)官網(wǎng)比如當(dāng)有用戶誘導(dǎo)大模型生成攻擊性代碼，或者危險、帶有偏見的內(nèi)容時，“護(hù)欄技術(shù)”就會限制大模型輸出相關(guān)內(nèi)容它還能阻擋來自外界的“惡意輸入”，保護(hù)大模型不受用戶攻擊，比如我們前面提到威脅大模型的“提示注入”就能被有效控制。
但“護(hù)欄技術(shù)”雖然解決的是“胡說八道”的問題，但它并不屬于“AI Safety”，而是屬于“Security for AI”的范疇在這兩者之外，關(guān)于AI大模型引發(fā)的社會/網(wǎng)絡(luò)安全問題也已經(jīng)開始解決比如AI圖像生成的問題，本質(zhì)上是DeepFake
（深度偽造）技術(shù)的成熟，具體包括深度視頻偽造、深度偽造聲音克隆、深度偽造圖像和深度偽造生成文本在之前，各類深度偽造內(nèi)容通常是單一形式存在，但在AI大模型之后，各類深度偽造內(nèi)容呈現(xiàn)融合趨勢，讓深度偽造內(nèi)容的判斷更加復(fù)雜。
但無論技術(shù)如何變化，對抗深度偽造的關(guān)鍵就是內(nèi)容識別，即想辦法分清楚什么是AI生成的早在今年2月份，OpenAI就曾表示，考慮在ChatGPT生成的內(nèi)容中添加水印5月份，谷歌也表示將確保公司的每一張AI生成圖片都內(nèi)嵌水印。
這種水印人無法用肉眼識別，但機(jī)器卻可以通過特定的方式看到，目前包括Shutterstock、Midjourney等AI應(yīng)用也將支持這種新的標(biāo)記方法
▲ Twitter截圖在國內(nèi)，小紅書從4月份就已經(jīng)為AI生成的圖片打上標(biāo)記，提醒用戶“疑似包含AI創(chuàng)作信息，請注意甄別真實度”5月初，抖音也發(fā)布了人工智能生成內(nèi)容平臺規(guī)范暨行業(yè)倡議，提出各生成式人工智能技術(shù)的提供者，均應(yīng)對生成內(nèi)容進(jìn)行顯著標(biāo)識，以便公眾判斷。
▲ 圖源：小紅書截圖甚至隨著AI產(chǎn)業(yè)的發(fā)展，國內(nèi)外都開始出現(xiàn)了一些專門的AI安全公司/部門，他們通過用AI對抗AI的方式，來完成深度合成和偽造檢測比如今年3月份，日本IT巨頭CyberAgent宣布將從4月開始引入“深度偽造技術(shù)。
（Deepfake）”檢測系統(tǒng)，以檢測由人工智能生成的偽造面部照片或視頻國內(nèi)，百度在2020年就推出了深度換臉檢測平臺，他們提出的動態(tài)特征隊列（DFQ）的方案和度量學(xué)習(xí)方法可以提高模型鑒偽的泛化能力
▲ 圖：百度DFQ的邏輯創(chuàng)業(yè)公司方面，瑞萊智慧推出的DeepReal深度偽造內(nèi)容檢測平臺，能夠通過研究深度偽造內(nèi)容和真實內(nèi)容的表征差異性辨識，不同生成途徑的深度偽造內(nèi)容一致性特征挖掘等問題，可以對多種格式與質(zhì)量的圖像、視頻、音頻進(jìn)行真?zhèn)舞b別。
整體上，從模型訓(xùn)練，到安全防護(hù)，從AI Safety 到 Security for AI，大模型行業(yè)已經(jīng)形成了一套基本的安全機(jī)制當(dāng)然，這一切也只是剛剛開始，所以這其實也意味著，還藏著一個更大的市場機(jī)遇三、AI安全中的萬億機(jī)遇
和AI Infra一樣，在中國，AI 安全同樣面臨著巨大的產(chǎn)業(yè)空白不過，AI 安全產(chǎn)業(yè)鏈比AI Infra要更加復(fù)雜一方面，大模型作為新事物的誕生，掀起了一波安全需求，且在上述三個階段的安全方向和技術(shù)完全不同；另一方面，大模型技術(shù)也被應(yīng)用在安全領(lǐng)域，為安全帶來新的技術(shù)變革。
安全 for AI和AI for 安全，是兩個完全不同的方向和產(chǎn)業(yè)機(jī)遇現(xiàn)階段推動二者發(fā)展的牽引力也完全不同：AI for 安全將大模型應(yīng)用在安全領(lǐng)域，屬于拿著錘子找釘子的階段，工具是有了，能解決什么問題在進(jìn)一步挖掘；。
安全 for AI則屬于遍地都是釘子，急需造錘子的階段暴露的問題太多，需要研發(fā)新的技術(shù)逐個解決關(guān)于AI安全帶來的產(chǎn)業(yè)機(jī)遇，本文也將從這兩個方面進(jìn)行展開受限于文章篇幅，我們將對其中同時擁有緊迫性、重要性、應(yīng)用普遍性最高的機(jī)遇進(jìn)行詳細(xì)的解釋以及對標(biāo)公司情況的盤點，僅供拋磚引玉。
1. 安全 for AI：3個板塊、5個環(huán)節(jié)、10000億機(jī)遇回顧一下前文對于AI 安全的基礎(chǔ)分類：分為大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI），以及大語言模型的發(fā)展對現(xiàn)有網(wǎng)絡(luò)安全的影響。
即模型的個體安全、模型的環(huán)境安全和模型的社會安全（網(wǎng)絡(luò)安全）但AI 安全并不只局限于這三個獨立的板塊中網(wǎng)絡(luò)世界中，數(shù)據(jù)如同水源，存在海洋、河湖、冰川雪山中，但也流通在一道道細(xì)密的河流之中，而污染往往出現(xiàn)在河流交匯之處。
同理，每個模塊都需要進(jìn)行連接，而正如同人的關(guān)節(jié)最脆弱一般，往往模型的部署、模型的應(yīng)用環(huán)節(jié)也是最容易受到安全攻擊的環(huán)節(jié)我們將以上的3個板塊、5個環(huán)節(jié)中的AI安全細(xì)節(jié)進(jìn)行有選擇地展開，形成了一張《AI 安全產(chǎn)業(yè)架構(gòu)圖》，但需要注意的是，屬于大模型公司和云廠商等大型公司的機(jī)遇等，這些對一般創(chuàng)業(yè)者影響不大的機(jī)遇并沒有再次羅列。
同時，安全 for AI是一個不斷進(jìn)化的過程，今天的技術(shù)僅僅是剛剛邁出的一小步
▲圖片為自象限原創(chuàng)① 數(shù)據(jù)安全產(chǎn)業(yè)鏈：數(shù)據(jù)清洗、隱私計算、數(shù)據(jù)合成等在整個AI安全中，數(shù)據(jù)安全貫穿了整個周期數(shù)據(jù)安全通常指用于保護(hù)計算機(jī)系統(tǒng)中數(shù)據(jù)不因偶然和惡意的原因遭到破壞、更改和泄露的安全工具，以確保數(shù)據(jù)的可用性、完整性和保密性。
統(tǒng)籌來看，數(shù)據(jù)安全產(chǎn)品不僅包括數(shù)據(jù)庫安全防御、數(shù)據(jù)防泄露、數(shù)據(jù)容災(zāi)備份及數(shù)據(jù)脫敏等，也涵蓋關(guān)注云存儲、隱私計算、數(shù)據(jù)風(fēng)險動態(tài)評估、跨平臺數(shù)據(jù)安全、數(shù)據(jù)安全虛擬防護(hù)、數(shù)據(jù)合成等前瞻領(lǐng)域，因此從企業(yè)視角圍繞數(shù)據(jù)安全建設(shè)整體安全中心、在供應(yīng)鏈視角推動數(shù)據(jù)安全一致性保障，將會是應(yīng)對企業(yè)供應(yīng)鏈安全風(fēng)險的有效思路。
舉幾個典型的例子：為了保證模型的“思想健康”，用來訓(xùn)練模型的數(shù)據(jù)不能夾帶危險數(shù)據(jù)、錯誤數(shù)據(jù)等臟數(shù)據(jù)，這是保證模型不會“胡說八道”的前提據(jù)自象限參考論文，目前已經(jīng)有“數(shù)據(jù)投毒”，攻擊者在數(shù)據(jù)源中添加惡意數(shù)據(jù)，干擾模型結(jié)果。
▲圖源網(wǎng)絡(luò)所以，數(shù)據(jù)清洗就成為了模型訓(xùn)練前的一個必要環(huán)節(jié)數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性、處理無效值和缺失值等將清洗后的干凈數(shù)據(jù)“喂”給模型，才能保證健康模型的生成。
另一個方向是大家都異常關(guān)心的，在上一個網(wǎng)絡(luò)安全時代就被廣泛討論，數(shù)據(jù)隱私泄露問題你一定經(jīng)歷過在微信中和朋友們聊天聊到某商品，打開淘寶和抖音就被推送該商品，在數(shù)字化時代，人幾乎就是半透明的而在智能化時代，機(jī)器變得更聰明，有意的抓取和誘導(dǎo)將會把隱私問題再次推向風(fēng)口浪尖。
隱私計算是解決問題的方案之一安全多方計算、可信執(zhí)行環(huán)境、聯(lián)邦學(xué)習(xí)是目前隱私計算的三大方向隱私計算的方法有很多種，比如為了保證消費者的真實數(shù)據(jù)，為1個真實數(shù)據(jù)配備99個干擾數(shù)據(jù)，但這會大大增加企業(yè)的使用成本；再比如將具體的消費者模糊成小A，使用數(shù)據(jù)的公司只會了解到有一位消費者為小A，但并不會知道小A背后對應(yīng)的真實用戶是誰。
“混合數(shù)據(jù)”和“數(shù)據(jù)可用不可見”是當(dāng)下應(yīng)用最多的隱私計算方法之一生長于金融場景的螞蟻科技對數(shù)據(jù)安全的探索已經(jīng)比較靠前，目前，螞蟻科技通過聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境、區(qū)塊鏈等技術(shù)，解決了企業(yè)協(xié)同計算過程中的數(shù)據(jù)安全問題，實現(xiàn)數(shù)據(jù)可用不可見、多方協(xié)同等方式，保障數(shù)據(jù)隱私。
但從數(shù)據(jù)的角度來看，合成數(shù)據(jù)更能從根本解決問題在《ChatGPT啟示錄系列丨 Al lnfra下隱藏的千億市場》一文中，自象限就曾提到過，合成數(shù)據(jù)或成AI數(shù)據(jù)的主力軍合成數(shù)據(jù)即由計算機(jī)人工生產(chǎn)的數(shù)據(jù)，來替代現(xiàn)實世界中采集的真實數(shù)據(jù)，來保證真實數(shù)據(jù)的安全，它不存在法律約束的敏感內(nèi)容和私人用戶的隱私。
比如用戶小A有10個特點、用戶小B有10個特點、用戶小C有10個特點，合成數(shù)據(jù)將這30個特點進(jìn)行隨機(jī)打散匹配，形成3個全新的數(shù)據(jù)個體，這并不對準(zhǔn)真實世界的任何一個實體，但卻有訓(xùn)練價值目前企業(yè)端已經(jīng)在紛紛部署，這也導(dǎo)致合成數(shù)據(jù)數(shù)量正在以指數(shù)級的速度向上增長。
Gartner研究認(rèn)為，2030年，合成數(shù)據(jù)將遠(yuǎn)超真實數(shù)據(jù)體量，成為AI數(shù)據(jù)的主力軍
▲ 圖源Gartner官方② API安全：模型越開放，API安全越重要對于API，熟悉大模型的人一定不陌生，從OpenAI到Anthropic、Cohere乃至Google的PaLM，最強(qiáng)大的LLM都以API的方式交付能力。
同時，根據(jù)Gartner的研究，2022年，超過九成Web應(yīng)用程序遭到的攻擊來自API，而不是人類用戶界面數(shù)據(jù)流通就像水管里的水，只有流通起來才有價值，而API就是數(shù)據(jù)流動的關(guān)鍵閥門隨著API成為軟件之間交流的核心紐帶，它越來越有機(jī)會誕生下一個重要公司。
API最大的風(fēng)險，來自于過度許可，為了讓API不間斷運(yùn)行，程序員經(jīng)常給API授予較高權(quán)限黑客一旦入侵API，就可以使用這些高權(quán)限來執(zhí)行其他操作這已經(jīng)成為一個嚴(yán)重問題，根據(jù)Akamai的研究，針對API的攻擊已經(jīng)占全球所有賬戶竊取攻擊的75%。
這也就是為什么ChatGPT已經(jīng)開放了API接口，仍然會有不少企業(yè)通過購買Azure提供的OpenAI服務(wù)來獲取ChatGPT通過API接口連接，等同于將對話數(shù)據(jù)直供給OpenAI，且隨時面臨著黑客攻擊的風(fēng)險，而購買了Azure的云資源，便可以將數(shù)據(jù)存儲在Azure的公有云上，來保障數(shù)據(jù)安全。
▲ 圖：ChatGPT官網(wǎng)目前API安全工具主要分為、檢測、防護(hù)與響應(yīng)、測試、發(fā)現(xiàn)、管理幾大類；少數(shù)廠商宣稱能提供完整覆蓋API安全周期的平臺工具，但如今最流行的API安全工具主要還是集中在“防護(hù)”“測試”“發(fā)現(xiàn)”三個環(huán)節(jié)：
防護(hù)：即保護(hù)API免受惡意請求攻擊的工具，有點像API防火墻測試：能夠動態(tài)訪問和評估特定API以查找漏洞（測試），并對代碼進(jìn)行加固發(fā)現(xiàn)：還有一些工具能掃描企業(yè)環(huán)境，識別并發(fā)現(xiàn)其網(wǎng)絡(luò)中存在（或暴露）的API資產(chǎn)。
目前，主流API安全廠商集中在國外公司，但大模型興起后，國內(nèi)創(chuàng)業(yè)公司也開始發(fā)力成立于2018年星瀾科技是國內(nèi)為數(shù)不多的API全鏈條安全廠商，基于AI深度感知和自適應(yīng)機(jī)器學(xué)習(xí)技術(shù)，幫為解決API安全問題，從攻防能力、大數(shù)據(jù)分析能力及云原生技術(shù)體系出發(fā)，提供全景化API識別、API高級威脅檢測、復(fù)雜行為分析等能力，構(gòu)建API Runtime Protection體系。
▲ 星瀾科技API安全產(chǎn)品架構(gòu)一些傳統(tǒng)網(wǎng)絡(luò)安全公司也在向API安全業(yè)務(wù)方向轉(zhuǎn)型，比如網(wǎng)宿科技此前主要負(fù)責(zé)IDC、CDN等相關(guān)產(chǎn)品和業(yè)務(wù)。
▲ 圖源：網(wǎng)宿科技③ SSE（安全服務(wù)邊緣）：新型防火墻防火墻在互聯(lián)網(wǎng)時代的重要性不言而喻，如同走在萬里高空兩邊的扶手，如今，防火墻概念已經(jīng)從前臺走向了后臺，內(nèi)嵌在了硬件終端和軟件操作系統(tǒng)中簡單粗暴的，可以將SSE理解為一種新型的防火墻，靠訪問者身份驅(qū)動，依靠零信任模型來限制用戶對允許資源的訪問。
根據(jù)Gartner的定義，SSE（Security Service Edge）為一組以云為中心的集成安全功能，保護(hù)對Web、云服務(wù)和私有應(yīng)用程序的訪問功能包括訪問控制、威脅保護(hù)、數(shù)據(jù)安全、安全監(jiān)控以及通過基于網(wǎng)絡(luò)和基于API的集成實施的可接受使用控制。
SSE包括安全Web網(wǎng)關(guān)、云安全代理和零信任模型三個主要部分，對應(yīng)著解決不同的風(fēng)險：安全Web網(wǎng)關(guān)有助于將員工連接到公共互聯(lián)網(wǎng)，比如他們可能用于研究的網(wǎng)站，或不屬于企業(yè)官方SaaS應(yīng)用程序的云應(yīng)用程序；
云訪問安全代理將員工連接到Office 365和Salesforce等SaaS應(yīng)用程序；零信任網(wǎng)絡(luò)訪問將員工連接到在本地數(shù)據(jù)中心或云端運(yùn)行的私有企業(yè)應(yīng)用程序然而不同的SSE廠商可能針對上述某一個環(huán)節(jié)，或者見長于某一個環(huán)節(jié)。
目前海外SSE主要整合的能力包括安全網(wǎng)絡(luò)網(wǎng)關(guān)（SWG）、零信任網(wǎng)絡(luò)訪問（ZTNA）、云訪問安全代理（CASB）、數(shù)據(jù)丟失防護(hù)（DLP）等能力，但國內(nèi)云的建設(shè)相對來說也還處于早期階段，并沒有歐美國家這么完善。
▲ 圖源：斯元商業(yè)咨詢因此，SSE的能力在當(dāng)前階段，應(yīng)該更多整合偏傳統(tǒng)、偏本地化的能力，例如流量檢測的探針能力、Web應(yīng)用防護(hù)能力以及資產(chǎn)漏洞掃描，終端管理等能力，這些能力相對來說才是中國客戶在目前階段更需要的能力。
從這個角度來看，SSE需要通過云地協(xié)同的方式，云原生容器的能力，為客戶帶來低采購成本、快速部署、安全檢測與運(yùn)營閉環(huán)等價值今年，針對大模型，行業(yè)頭部廠商N(yùn)etskope率先轉(zhuǎn)向模型中的安全應(yīng)用，安全團(tuán)隊利用自動化工具，持續(xù)監(jiān)控企業(yè)用戶試圖訪問哪些應(yīng)用程序
（如ChatGPT）、如何訪問、何時訪問、從哪里訪問、以何種頻率訪問等必須了解每個應(yīng)用程序?qū)M織構(gòu)成的不同風(fēng)險等級，并有能力根據(jù)分類和可能隨時間變化的安全條件，實時細(xì)化訪問控制策略簡單理解，就是Netskope通過識別使用ChatGPT過程中的風(fēng)險，對用戶進(jìn)行警告，類似于瀏覽網(wǎng)頁、下載鏈接中的警告模式。
這種模式并不創(chuàng)新，甚至十分傳統(tǒng)，但在阻止用戶操作方面，卻是最有效的。
▲ 圖源：Netskope官網(wǎng)Netskope以安全插件的形式接入大模型，在演示中，當(dāng)操作者欲復(fù)制一段公司內(nèi)部財務(wù)數(shù)據(jù)，讓ChatGPT幫忙形成表格時，在發(fā)送之前，便會彈出警告欄，提示用戶。
▲ 圖源：Netskope官網(wǎng)事實上，識別大模型中隱藏的風(fēng)險比識別木馬、漏洞要困難得多，精確性確保系統(tǒng)只監(jiān)控和防止通過基于生成性人工智能的應(yīng)用程序上傳敏感數(shù)據(jù)（包括文件和粘貼的剪貼板文本），而不會通過聊天機(jī)器人阻止無害的查詢和安全任務(wù)，這意味著識別不能一刀切，而是要基于語義理解和合理的標(biāo)準(zhǔn)進(jìn)行可機(jī)動的變化。
④ 欺詐和反欺詐：數(shù)字水印和生物確認(rèn)技術(shù)首先明確的是，AI詐騙人類和人類利用AI詐騙人類是兩碼事AI詐騙人類，主要是大模型的“教育”沒有做好，上述提到的英偉達(dá)“護(hù)欄技術(shù)”以及OpenAI的無監(jiān)督學(xué)習(xí)都是在AI Safety環(huán)節(jié)，保障模型健康的方法。
但是，防止AI詐騙人類，基本和模型訓(xùn)練同步，是大模型公司的任務(wù)而人類利用AI技術(shù)詐騙，則處于整個網(wǎng)絡(luò)安全或者說社會安全階段，首先需要明確的是，技術(shù)對抗能夠解決的僅僅是一部分問題，仍然要靠監(jiān)管、立法等方式，控制犯罪位子。
目前，技術(shù)對抗有兩種方式，一是在生產(chǎn)端，在AI生成的內(nèi)容中加入數(shù)字水印，用來追蹤內(nèi)容來源；另一種則在應(yīng)用端，針對人臉等特異化的生物特征，進(jìn)行更準(zhǔn)確的識別數(shù)字水印能夠?qū)?biāo)識信息嵌入數(shù)字載體當(dāng)中，通過隱藏在載體中添加一些特定的數(shù)字代碼或信息，可確認(rèn)且判斷載體是否被篡改，為數(shù)字內(nèi)容提供一種不可見的保護(hù)機(jī)制。
目前，除了傳統(tǒng)數(shù)字水印的形式，也進(jìn)化出了基于深度學(xué)習(xí)的數(shù)字水印，采用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)和嵌入數(shù)字水印，具有較強(qiáng)的抗破壞性和魯棒性該技術(shù)可以在不損失原始圖像質(zhì)量的前提下，實現(xiàn)高強(qiáng)度、高容錯的數(shù)字水印嵌入，同時能夠有效抵御圖像處理攻擊和隱寫分析攻擊，是下一個比較大的技術(shù)方向。
而在應(yīng)用端，目前合成人臉視頻是最為常用的“詐騙手段”基于DeepFake（深度偽造技術(shù)）的內(nèi)容檢測平臺是現(xiàn)階段的解決方案之一今年1月初，英偉達(dá)便發(fā)布了一款名為FakeCatcher的軟件，號稱可以查出某個視頻是否為深度偽造，準(zhǔn)確度高達(dá)96%。
據(jù)介紹，英特爾的 FakeCatcher 的技術(shù)可以識別血液在體內(nèi)循環(huán)時靜脈顏色的變化然后從面部收集血流信號，并通過算法進(jìn)行翻譯，以辨別視頻是真實的還是深度偽造的如果是真人，血液時刻在體內(nèi)循環(huán)，皮膚上的靜脈就會有周期性的深淺變化，深度偽造的人就沒有。
▲ 圖源Real AI官網(wǎng)國內(nèi)也有基于類似技術(shù)原理的創(chuàng)業(yè)公司“Real AI”，通過辨識偽造內(nèi)容和真實內(nèi)容的表征差異性、挖掘不同生成途徑的深度偽造內(nèi)容一致性特征2. AI for 安全：成熟產(chǎn)業(yè)鏈中的新機(jī)會。
與安全 for AI 還是一個相對新興的產(chǎn)業(yè)機(jī)會不同，“AI for 安全”更多是在原有的安全體系上做的改造和加固打響AI for 安全第一槍的仍然是微軟，3月29日，在為Office套件提供AI驅(qū)動的Copilot助手后，微軟幾乎立刻就將注意力轉(zhuǎn)到了安全領(lǐng)域，推出了基于GPT-4的生成式AI解決方案——Microsoft Security Copilot。
Microsoft Security Copilot主打的仍然是一個AI副駕駛的概念，它并不涉及新的安全解決方案，而是將原來的企業(yè)安全監(jiān)測、處理通過AI完全自動化的過程。
▲ 圖源微軟官網(wǎng)從微軟的演示上看，Security Copilot可以將原來耗時幾小時，甚至幾十小時的勒索軟件事件處理降至秒級，大大提高企業(yè)安全的處理效率微軟AI安全架構(gòu)師Chang Kawaguchi Kawaguchi曾提到：“攻擊數(shù)量正不斷增加，但防御方的力量卻分散在多種工具和技術(shù)當(dāng)中。
我們認(rèn)為Security Copilot有望改變其運(yùn)作方式，提高安全工具和技術(shù)的實際成效”目前，國內(nèi)安全公司奇安信、深信服也在跟進(jìn)這方面的發(fā)展目前這塊業(yè)務(wù)在國內(nèi)還處于萌芽階段，兩家企業(yè)也還沒有公布具體的產(chǎn)品，但它們能夠及時反應(yīng)過來，跟上國際巨頭的腳步已經(jīng)實屬不易。
4月份，谷歌云在RSAC 2023上推出了Security AI Workbench，這是基于谷歌安全大模型Sec-PaLM的可拓展平臺企業(yè)可以通過Security AI Workbench接入各種類型的安全插件來解決特定的安全問題。
▲ 圖源：Google官網(wǎng)如果說微軟Security Copilot是一套封裝的私人安全助手，谷歌的Security AI Workbench就是一套可定制、可拓展的AI安全工具箱總之，一個大的趨勢是，。
用AI建立一套自動化的安全運(yùn)營中心，以此來對抗迅猛變化的網(wǎng)絡(luò)安全形式將成為一種常態(tài)在頭部大廠之外，AI大模型在安全領(lǐng)域的應(yīng)用也正在進(jìn)入毛細(xì)血管比如，國內(nèi)許多安全企業(yè)開始運(yùn)用AI改造傳統(tǒng)的安全產(chǎn)品比如，深信服提出“AI+云業(yè)務(wù)”的邏輯，推出AIOps智能維一體化技術(shù)，通過采集桌面云的日志，鏈路和指標(biāo)數(shù)據(jù)，執(zhí)行故障預(yù)測，異常檢測，關(guān)聯(lián)推理等算法，為用戶提供智能分析服務(wù)。
山石科技將AI能力融合到正負(fù)反饋的機(jī)器學(xué)習(xí)能力方面，還有像安博通這樣的企業(yè)，將AI運(yùn)用到安全運(yùn)營的痛點分析等等在國外，開源安全供應(yīng)商Armo發(fā)布了ChatGPT集成，旨在通過自然語言為Kubernetes集群構(gòu)建自定義安全控制。
云安全供應(yīng)商Orca Security發(fā)布了自己的ChatGPT擴(kuò)展，能夠處理解決方案生成的安全警報，并為用戶提供分步修復(fù)說明以管理數(shù)據(jù)泄露事件當(dāng)然，作為一個成熟且龐大的產(chǎn)業(yè)鏈，AI for 安全的機(jī)遇遠(yuǎn)遠(yuǎn)不止這些，我們在這里也只是拋磚引玉，安全領(lǐng)域更深、更大的機(jī)會仍然需要戰(zhàn)斗在安全一線的公司通過實踐去摸索。
更重要的是，希望以上公司能夠腳踏實地，不忘初心把自己海闊天空的夢想，付諸于一步又一步的實際行動中，不是造概念，迎風(fēng)口，更不要一股腦迎合資本與熱錢，留下一地雞毛結(jié)語因特網(wǎng)誕生后的10年里，網(wǎng)絡(luò)安全的概念和產(chǎn)業(yè)鏈才開始有了雛形。
而今天，大模型問世后半年，大模型安全、防止詐騙就已經(jīng)成為了街頭巷尾的談資這是技術(shù)加速進(jìn)步和迭代后，內(nèi)置在“人類意識”中的一種防御機(jī)制，隨著時代的發(fā)展，將更快速的觸發(fā)和反饋如今的混亂和恐慌并不可怕，它們正是下一個時代的階梯。
正如《人類簡史》中所講：人類的行為并不總是基于理性，我們的決策往往受到情緒和直覺的影響但這卻正是在進(jìn)步和發(fā)展中，最重要的一環(huán)本內(nèi)容為作者獨立觀點，不代表虎嗅立場未經(jīng)允許不得轉(zhuǎn)載，授權(quán)事宜請聯(lián)系 [email protected]。
正在改變與想要改變世界的人，都在 虎嗅APP舉報/反饋