央視網(wǎng)消息：2025年國家網(wǎng)絡(luò)安全宣傳周正在全國范圍內(nèi)舉行。在云南昆明的主會場，昨天（15日）下午進(jìn)行的網(wǎng)絡(luò)安全技術(shù)高峰論壇上，《人工智能安全治理框架》2.0版發(fā)布，和去年9月發(fā)布的1.0版相比，這版框架有哪些變化呢？

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：框架2.0在1.0的基礎(chǔ)上進(jìn)行橫向拓展和縱向加深，結(jié)合人工智能技術(shù)發(fā)展趨勢與應(yīng)用實踐，持續(xù)跟蹤風(fēng)險演變，迭代完善分類體系，探索分級路徑，優(yōu)化防范治理措施。

據(jù)了解，近年來人工智能技術(shù)和應(yīng)用飛速發(fā)展，賦能千行百業(yè)。與此同時，人工智能安全風(fēng)險的表現(xiàn)形式也在同步演進(jìn)變化?！度斯ぶ悄馨踩卫砜蚣堋?.0版對相關(guān)風(fēng)險進(jìn)行了梳理調(diào)整，并更新了防范治理措施。

在治理原則上，框架2.0版新增提出“可信應(yīng)用、防范失控”的原則。推動形成涵蓋技術(shù)防護、價值對 、協(xié)同治理等多層面的可信人工智能基本準(zhǔn)則，確保技術(shù)演進(jìn)安全、可靠、可控，嚴(yán)防威脅人類生存發(fā)展的失控風(fēng)險，確保人工智能始終處于人類控制之下。

同時，框架2.0版還新增了人工智能安全風(fēng)險的分級原則和可信人工智能基本準(zhǔn)則。

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：該部分為框架2.0新增的專題性內(nèi)容，劃分5種風(fēng)險級別，明確風(fēng)險定級的基本思路。提出8項可信人工智能基本準(zhǔn)則，包括人類最終控制、尊重國家主權(quán)、價值觀對齊、提升系統(tǒng)透明度、促進(jìn)可客觀驗證、強化安全防護、前瞻預(yù)防應(yīng)對和全球協(xié)同共治。

模擬演示AI大模型遭受網(wǎng)絡(luò)攻擊

人工智能大模型如今已應(yīng)用到很多場景下，不少企業(yè)都進(jìn)行了部署，用來輔助各項工作。但是這類大模型安不安全？被攻擊會出現(xiàn)什么情況？同樣在云南昆明主會場舉行的網(wǎng)絡(luò)安全博覽會上，技術(shù)人員也給記者進(jìn)行了展示。

參展商技術(shù)人員 王明耀：這里模擬了一個企業(yè)部署的一個大模型，現(xiàn)在看到這個大模型是可以正常運行的，然后攻擊者通過掃描發(fā)現(xiàn)這個大模型的一個暴露的API接口。攻擊者利用這個未鑒權(quán)的漏洞就接管了這個大模型。

技術(shù)人員告訴記者，一旦攻擊者接管大模型，就能夠在后臺實時監(jiān)控大模型的運行，查看大模型對話過程中的所有信息。

參展商技術(shù)人員 王明耀：如果員工在和AI對話中，傳輸了一些敏感信息的話，通過遠(yuǎn)程都可以直接獲取到。這樣就很容易造成企業(yè)敏感信息的泄露。

技術(shù)人員介紹，一旦攻擊者接管了大模型，很有可能會進(jìn)一步進(jìn)行網(wǎng)絡(luò)攻擊，投放勒索病毒等，嚴(yán)重的還有可能向大模型進(jìn)行數(shù)據(jù)投毒。

參展商技術(shù)人員 王明耀：控制了大模型之后，攻擊者就可以對大模型進(jìn)行篡改了。確實可以對大模型進(jìn)行污染，或者是其他一些比較敏感的操作。

對此，技術(shù)人員也提醒，企業(yè)在內(nèi)部部署大模型的時候，要嚴(yán)格管控權(quán)限，不能在沒有防護的情況下，就將大模型接入互聯(lián)網(wǎng)，避免因為存在漏洞等問題，而被不法分子攻擊。

細(xì)分人工智能安全風(fēng)險 提供應(yīng)對措施

此次發(fā)布的《人工智能安全治理框架》2.0版針對安全風(fēng)險進(jìn)行了細(xì)化分類，并提出了技術(shù)應(yīng)對和綜合治理措施。

框架2.0版將安全風(fēng)險細(xì)化為技術(shù)內(nèi)生安全風(fēng)險，技術(shù)應(yīng)用安全風(fēng)險和應(yīng)用衍生安全風(fēng)險三類。

技術(shù)內(nèi)生安全風(fēng)險主要增加了模型開源風(fēng)險，強調(diào)基礎(chǔ)模型的開源可能會為不法分子訓(xùn)練“作惡模型”提供便利。技術(shù)應(yīng)用安全風(fēng)險則增加了污染網(wǎng)絡(luò)內(nèi)容生態(tài)等具體類型，提出，模型輸出的低質(zhì)不良信息，經(jīng)網(wǎng)絡(luò)擴散傳播、模型循環(huán)引用，會造成網(wǎng)絡(luò)內(nèi)容質(zhì)量的整體下降，甚至特定領(lǐng)域、話題的內(nèi)容污染。

應(yīng)用衍生安全風(fēng)險方面內(nèi)容增加較多，主要是沖擊勞動就業(yè)結(jié)構(gòu)、挑戰(zhàn)資源供需平衡、加劇科研倫理風(fēng)險等。其中指出，“人工智能+科研”降低了生物、基因等高倫理風(fēng)險科研領(lǐng)域的進(jìn)入門檻，拓寬了普通科研機構(gòu)、人員探索敏感科學(xué)問題的邊界，個別科研倫理意識不強的機構(gòu)、人員可能開展違背社會倫理、社會禁忌的高風(fēng)險研究活動，打開科技“魔盒”。

對此，框架2.0版共制定了30個技術(shù)應(yīng)對措施和14個綜合治理措施。

比如，針對信息內(nèi)容安全方面，強調(diào)要建立安全護欄，對輸入輸出進(jìn)行動態(tài)過濾，防止惡意注入和違法內(nèi)容生成，避免人工智能系統(tǒng)違法違規(guī)輸出敏感個人信息和重要內(nèi)容。并要求對人工智能生成內(nèi)容進(jìn)行標(biāo)識，實現(xiàn)可識別、可追溯、可信賴。

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：在管理方面，框架2.0新增提升全生命周期安全能力，安全有效釋放重要行業(yè)應(yīng)用需求，構(gòu)建科技倫理準(zhǔn)則，增進(jìn)協(xié)同應(yīng)對失控風(fēng)險共識等綜合治理措施。

反制無人機“黑飛” AI算法快速定位

除了人工智能應(yīng)用帶來的安全問題之外，無人機“黑飛”“亂飛”等行為近年來也不斷發(fā)生。在網(wǎng)絡(luò)安全博覽會的現(xiàn)場，參展商就向記者展示了一套針對“黑飛”“亂飛”的反制組合拳。

在模擬的一個無人機“黑飛”的現(xiàn)場。瞄準(zhǔn)、射擊，很快，這臺“黑飛”的無人機就迫降到了地面。技術(shù)人員手中的正是他們研發(fā)的便攜式無人機反制槍。

參展商技術(shù)人員 何應(yīng)彪：目前我們自研的無人機反制槍配備了6個頻段，能夠基本上覆蓋市面上商用無人機和自制穿越機的反制。

與反制槍配套的，還有一套先進(jìn)的無人機偵測定位系統(tǒng)。通過對無人機與控制器之間的信號進(jìn)行截取，再加上系統(tǒng)內(nèi)置的AI算法，這套系統(tǒng)能夠很快地確定無人機的識別碼、經(jīng)緯度等信息，并推送到管控平臺上。

參展商技術(shù)人員 何應(yīng)彪：識別碼相當(dāng)于這個無人機的身份證。我們通過識別碼可以溯源到這個無人機的持有者。這套平臺最關(guān)鍵的功能，就是定位到了飛手的經(jīng)緯度信息。通過飛手的經(jīng)緯度信息能夠定位到飛手的位置。通過追蹤飛手的功能，協(xié)助公安機關(guān)去找尋“黑飛”無人機的飛手，對打擊“黑飛”“亂飛”的行為作出有力支撐。

據(jù)了解，這套系統(tǒng)對自制無人機也同樣能夠?qū)崿F(xiàn)有效的偵測和反制，目前在上海、安徽等地部分公安機關(guān)已經(jīng)應(yīng)用。