2025年3月1日，由騰訊云安全云鼎實(shí)驗(yàn)室、西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室、LLM&Sec Landscape社區(qū)聯(lián)合主辦的 “模型有界，安全無(wú)疆”大模型安全學(xué)術(shù)沙龍?jiān)谖靼矆A滿落幕 。本次活動(dòng)創(chuàng)新采用 “音樂(lè)+黑客+學(xué)術(shù)”的跨界形式，吸引了來(lái)自學(xué)術(shù)界、產(chǎn)業(yè)界及安全攻防領(lǐng)域的300余位專家、白帽子、高校師生及行業(yè)同仁參與，在電子音樂(lè)的節(jié)奏中，共探大模型安全的技術(shù)破界之道。

本次沙龍聚焦三大目標(biāo)：

??? 技術(shù)破局： 探討大模型安全核心問(wèn)題，分享最新研究成果與攻防實(shí)踐；

??? 生態(tài)共建： 打通產(chǎn)學(xué)研壁壘，推動(dòng)技術(shù)標(biāo)準(zhǔn)與防御體系的協(xié)同創(chuàng)新；

??? 人才賦能： 剖析AI時(shí)代安全人才需求，探索校企聯(lián)合培養(yǎng)新模式。

解碼AI時(shí)代

紅藍(lán)攻防新范式

綠盟天元實(shí)驗(yàn)室高級(jí)安全研究員、M01N戰(zhàn)隊(duì)核心成員祝榮吉

綠盟天元實(shí)驗(yàn)室高級(jí)安全研究員、M01N戰(zhàn)隊(duì)核心成員祝榮吉以《LLM應(yīng)用安全問(wèn)題與應(yīng)對(duì)實(shí)踐探索 》為主題，圍繞模型選型、應(yīng)用開發(fā)、應(yīng)用部署三個(gè)關(guān)鍵階段，深入剖析了大模型面臨的安全風(fēng)險(xiǎn)，并結(jié)合實(shí)際案例，探討了有效的安全防護(hù)策略。

在模型選型階段，強(qiáng)調(diào)合規(guī)性要求與安全評(píng)估的重要性。通過(guò)內(nèi)容安全評(píng)估與對(duì)抗性測(cè)試，開發(fā)者能夠甄別潛在風(fēng)險(xiǎn)，為后續(xù)的安全開發(fā)提供指導(dǎo)。在應(yīng)用開發(fā)階段，關(guān)鍵是提示詞安全策略，如Prompt增強(qiáng)技術(shù)，以防范模型越獄、角色逃逸等攻擊手段，提高模型對(duì)抗風(fēng)險(xiǎn)的能力。而在應(yīng)用部署階段，應(yīng)結(jié)合傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)，強(qiáng)化LLM應(yīng)用的安全防護(hù)，涵蓋API接口安全、插件管理、存儲(chǔ)安全等關(guān)鍵環(huán)節(jié)。

西安電子 科技 大學(xué)博士、西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室成員吳子輝

西安電子科技大學(xué)博士、西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室成員吳子輝聚焦大模型API服務(wù)中的函數(shù)調(diào)用接口，揭示了潛在的安全漏洞。他通過(guò)實(shí)驗(yàn)證明，主流大模型在函數(shù)調(diào)用參數(shù)生成階段可能存在漏洞隱患，攻擊者通過(guò)構(gòu)造"情景設(shè)定+前綴注入+最小字?jǐn)?shù)限制"的復(fù)合模板（如將惡意指令嵌入小說(shuō)創(chuàng)作場(chǎng)景），誘導(dǎo)模型生成危險(xiǎn)參數(shù)（如制作炸彈教程），在GPT-4等六大主流模型上實(shí)現(xiàn)平均超90%的攻擊成功率。

該類型的漏洞根源在于參數(shù)生成階段缺乏安全對(duì)齊機(jī)制，且系統(tǒng)級(jí)強(qiáng)制執(zhí)行模式繞過(guò)模型自主決策。對(duì)此，團(tuán)隊(duì)提出參數(shù)安全過(guò)濾、提示詞防御及安全對(duì)齊訓(xùn)練三層解決方案，相關(guān)成果已被頂級(jí)會(huì)議接收，并觸發(fā)Reddit社區(qū)新型攻擊變種演化。

京東藍(lán)軍-白鵺攻防實(shí)驗(yàn)室安全研究員Knight

京東藍(lán)軍-白鵺攻防實(shí)驗(yàn)室的安全研究員Knight基于ExpAttack框架，提出了構(gòu)建“大模型越獄第二大腦”的創(chuàng)新思路，旨在通過(guò)大模型的技術(shù)來(lái)解決大模型的安全難題。Knight指出，當(dāng)前大模型安全領(lǐng)域面臨信息過(guò)載、風(fēng)險(xiǎn)變化快等挑戰(zhàn)，人、信息、業(yè)務(wù)之間的關(guān)系亟待優(yōu)化。為此，他提出了“大模型越獄的CODE構(gòu)建法”，通過(guò)捕獲、結(jié)構(gòu)化、提煉、表達(dá)四個(gè)環(huán)節(jié)，構(gòu)建起一個(gè)能夠高效處理知識(shí)的“第二大腦”。

該方法利用向量數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)等技術(shù)，分層次對(duì)大模型越獄相關(guān)的論文進(jìn)行分析、存儲(chǔ)，再通過(guò)LLOOM for jailbreak算法對(duì)277篇大模型攻擊方向的進(jìn)行聚類，最后再通過(guò)存儲(chǔ)的數(shù)據(jù)提取進(jìn)行基于論文方法的自動(dòng)化越獄攻擊生成。

Knight認(rèn)為，大模型攻防是一個(gè)動(dòng)態(tài)且不斷變化的過(guò)程，自動(dòng)化是解決大模型安全的關(guān)鍵，但最終的對(duì)抗仍需回歸人與人的智慧較量。同時(shí)，大模型安全需要系統(tǒng)性方法來(lái)解決，模型側(cè)與系統(tǒng)側(cè)的緊密合作至關(guān)重要。

云起無(wú)垠模型安全研究負(fù)責(zé)人、知攻善防實(shí)驗(yàn)室核心成員劉洋

云起無(wú)垠模型安全研究負(fù)責(zé)人、知攻善防實(shí)驗(yàn)室核心成員劉洋剖析大模型在真實(shí)場(chǎng)景中的安全風(fēng)險(xiǎn)。劉洋認(rèn)為，隨著大模型加速滲透應(yīng)用于各行各業(yè)，傳統(tǒng)漏洞（如SQL注入、SSRF）通過(guò)與AI交互結(jié)合，衍生出全新攻擊面，典型風(fēng)險(xiǎn)包括：越獄操控（ChatGPT遭Prompt注入生成違規(guī)內(nèi)容、惡意注釋誘導(dǎo)RCE）、權(quán)限失控（微軟醫(yī)療機(jī)器人數(shù)據(jù)泄露）、數(shù)據(jù)裸奔（政務(wù)公眾號(hào)密鑰通過(guò)AI接口暴露）、SQL注入（AI簡(jiǎn)歷助手被注入攻擊篡改數(shù)據(jù)庫(kù)）等。

為應(yīng)對(duì)威脅，行業(yè)需構(gòu)建AI原生安全體系，即實(shí)施最小權(quán)限原則（如GitHub Copilot CLI操作雙驗(yàn)證），阻斷高風(fēng)險(xiǎn)自動(dòng)化行為；隔離敏感數(shù)據(jù)，禁止AI直接訪問(wèn)核心數(shù)據(jù)庫(kù)與密鑰；動(dòng)態(tài)升級(jí)防御，研發(fā)AI漏洞掃描器，結(jié)合Prompt模糊測(cè)試與框架漏洞檢測(cè)，實(shí)現(xiàn)攻擊面自動(dòng)化挖掘。

ChaMD5安全團(tuán)隊(duì)AI組負(fù)責(zé)人bayuncao

會(huì)上，ChaMD5安全團(tuán)隊(duì)AI組負(fù)責(zé)人bayuncao正式發(fā)布開源項(xiàng)目ltrack，致力于解決ML領(lǐng)域模型加載安全關(guān)觀測(cè)問(wèn)題。ltrack聚焦大模型加載環(huán)節(jié)安全監(jiān)控，基于ebpf技術(shù)實(shí)現(xiàn)零侵入動(dòng)態(tài)監(jiān)測(cè)，精準(zhǔn)覆蓋文件篡改、惡意依賴注入、敏感數(shù)據(jù)外傳三大核心攻擊面。通過(guò)實(shí)時(shí)捕獲模型文件哈希值、動(dòng)態(tài)鏈接庫(kù)行為及網(wǎng)絡(luò)異常流量，ltrack有效識(shí)別隱蔽性威脅，成功復(fù)現(xiàn)Hugging Face惡意模型加載、PyTorch權(quán)重篡改等高風(fēng)險(xiǎn)漏洞。

目前l(fā)track已實(shí)現(xiàn)Docker容器全棧監(jiān)控，未來(lái)兩個(gè)月將擴(kuò)展至K8S集群及GPU內(nèi)存泄漏檢測(cè)，助力企業(yè)構(gòu)建從模型加載、推理到分布式部署的全生命周期防護(hù)體系。

希譚實(shí)驗(yàn)室公眾號(hào)作者、網(wǎng)絡(luò)安全專家ABC_123

希譚實(shí)驗(yàn)室公眾號(hào)作者、網(wǎng)絡(luò)安全專家ABC_123結(jié)合APT（高級(jí)持續(xù)性威脅）攻擊案例，探討大模型在威脅情報(bào)挖掘與防御體系中的價(jià)值。他認(rèn)為，DGA（域名生成算法）域名識(shí)別可能是APT攻擊問(wèn)題解決的關(guān)鍵。然而，傳統(tǒng)的LSTM深度學(xué)習(xí)模型可以識(shí)別惡意DGA域名，但是難以有效區(qū)分正常業(yè)務(wù)行為與異常行為，因此最終需要依靠AI大模型來(lái)解決這一難題。

活動(dòng)最后的“AI時(shí)代網(wǎng)絡(luò)安全人才發(fā)展機(jī)遇與挑戰(zhàn)”主題圓桌環(huán)節(jié)，西安電子科技大學(xué)博士生導(dǎo)師、西安市智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室主任、陜西省計(jì)算機(jī)學(xué)會(huì)網(wǎng)絡(luò)空間安全專委會(huì)副秘書長(zhǎng)高海昌教授，騰訊云安全策略&攻防專家李濱，騰訊云鼎實(shí)驗(yàn)室攻防負(fù)責(zé)人李鑫，綠盟科技M01N戰(zhàn)隊(duì)負(fù)責(zé)人、LLM&SEC Landscape 社區(qū)發(fā)起人高東，圍繞AI技術(shù)爆發(fā)式增長(zhǎng)對(duì)安全行業(yè)的影響展開深度對(duì)話。

在人工智能蓬勃發(fā)展的當(dāng)下，生物特征濫用、算法偏見等 AI 倫理風(fēng)險(xiǎn)如影隨形，嚴(yán)重威脅著個(gè)人隱私、社會(huì)公平與安全，構(gòu)建全面且系統(tǒng)的治理體系已刻不容緩。與會(huì)嘉賓一致認(rèn)同，可嘗試構(gòu)建一套“威脅建模-合規(guī)翻譯-持續(xù)驗(yàn)證”的技術(shù)治理框架。

???先通過(guò)威脅建模，深度剖析 AI 系統(tǒng)潛在的倫理風(fēng)險(xiǎn)點(diǎn)，精準(zhǔn)識(shí)別生物特征數(shù)據(jù)處理過(guò)程中的漏洞與隱患；

???再借由合規(guī)翻譯，將繁雜的法規(guī)條文轉(zhuǎn)化為切實(shí)可行的技術(shù)標(biāo)準(zhǔn)與操作指南，讓從業(yè)者清晰知曉合規(guī)邊界；

???最后依靠持續(xù)驗(yàn)證，在 AI 系統(tǒng)的全生命周期中不斷審視與糾偏，確保其始終嚴(yán)守倫理與合規(guī)底線，推動(dòng)人工智能行業(yè)健康、有序發(fā)展。

未來(lái)，騰訊安全城市沙龍也將持續(xù)聚焦技術(shù)縱深-標(biāo)準(zhǔn)建設(shè)-生態(tài)協(xié)同-人才儲(chǔ)備方向，與產(chǎn)學(xué)研用各界專家及從業(yè)者，共同探討數(shù)字世界的安全之道，助力企業(yè)打造更加穩(wěn)固的數(shù)字防線。