2025年3月1日，由騰訊云安全云鼎實驗室、西安智能系統(tǒng)安全重點實驗室、LLM&Sec Landscape社區(qū)聯(lián)合主辦的 “模型有界，安全無疆”大模型安全學(xué)術(shù)沙龍在西安圓滿落幕 。本次活動創(chuàng)新采用 “音樂+黑客+學(xué)術(shù)”的跨界形式，吸引了來自學(xué)術(shù)界、產(chǎn)業(yè)界及安全攻防領(lǐng)域的300余位專家、白帽子、高校師生及行業(yè)同仁參與，在電子音樂的節(jié)奏中，共探大模型安全的技術(shù)破界之道。

本次沙龍聚焦三大目標(biāo)：

??? 技術(shù)破局： 探討大模型安全核心問題，分享最新研究成果與攻防實踐；

??? 生態(tài)共建： 打通產(chǎn)學(xué)研壁壘，推動技術(shù)標(biāo)準(zhǔn)與防御體系的協(xié)同創(chuàng)新；

??? 人才賦能： 剖析AI時代安全人才需求，探索校企聯(lián)合培養(yǎng)新模式。

解碼AI時代

紅藍攻防新范式

綠盟天元實驗室高級安全研究員、M01N戰(zhàn)隊核心成員祝榮吉

綠盟天元實驗室高級安全研究員、M01N戰(zhàn)隊核心成員祝榮吉以《LLM應(yīng)用安全問題與應(yīng)對實踐探索 》為主題，圍繞模型選型、應(yīng)用開發(fā)、應(yīng)用部署三個關(guān)鍵階段，深入剖析了大模型面臨的安全風(fēng)險，并結(jié)合實際案例，探討了有效的安全防護策略。

在模型選型階段，強調(diào)合規(guī)性要求與安全評估的重要性。通過內(nèi)容安全評估與對抗性測試，開發(fā)者能夠甄別潛在風(fēng)險，為后續(xù)的安全開發(fā)提供指導(dǎo)。在應(yīng)用開發(fā)階段，關(guān)鍵是提示詞安全策略，如Prompt增強技術(shù)，以防范模型越獄、角色逃逸等攻擊手段，提高模型對抗風(fēng)險的能力。而在應(yīng)用部署階段，應(yīng)結(jié)合傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)，強化LLM應(yīng)用的安全防護，涵蓋API接口安全、插件管理、存儲安全等關(guān)鍵環(huán)節(jié)。

西安電子 科技 大學(xué)博士、西安智能系統(tǒng)安全重點實驗室成員吳子輝

西安電子科技大學(xué)博士、西安智能系統(tǒng)安全重點實驗室成員吳子輝聚焦大模型API服務(wù)中的函數(shù)調(diào)用接口，揭示了潛在的安全漏洞。他通過實驗證明，主流大模型在函數(shù)調(diào)用參數(shù)生成階段可能存在漏洞隱患，攻擊者通過構(gòu)造"情景設(shè)定+前綴注入+最小字?jǐn)?shù)限制"的復(fù)合模板（如將惡意指令嵌入小說創(chuàng)作場景），誘導(dǎo)模型生成危險參數(shù)（如制作炸彈教程），在GPT-4等六大主流模型上實現(xiàn)平均超90%的攻擊成功率。

該類型的漏洞根源在于參數(shù)生成階段缺乏安全對齊機制，且系統(tǒng)級強制執(zhí)行模式繞過模型自主決策。對此，團隊提出參數(shù)安全過濾、提示詞防御及安全對齊訓(xùn)練三層解決方案，相關(guān)成果已被頂級會議接收，并觸發(fā)Reddit社區(qū)新型攻擊變種演化。

京東藍軍-白鵺攻防實驗室安全研究員Knight

京東藍軍-白鵺攻防實驗室的安全研究員Knight基于ExpAttack框架，提出了構(gòu)建“大模型越獄第二大腦”的創(chuàng)新思路，旨在通過大模型的技術(shù)來解決大模型的安全難題。Knight指出，當(dāng)前大模型安全領(lǐng)域面臨信息過載、風(fēng)險變化快等挑戰(zhàn)，人、信息、業(yè)務(wù)之間的關(guān)系亟待優(yōu)化。為此，他提出了“大模型越獄的CODE構(gòu)建法”，通過捕獲、結(jié)構(gòu)化、提煉、表達四個環(huán)節(jié)，構(gòu)建起一個能夠高效處理知識的“第二大腦”。

該方法利用向量數(shù)據(jù)庫、圖數(shù)據(jù)庫等技術(shù)，分層次對大模型越獄相關(guān)的論文進行分析、存儲，再通過LLOOM for jailbreak算法對277篇大模型攻擊方向的進行聚類，最后再通過存儲的數(shù)據(jù)提取進行基于論文方法的自動化越獄攻擊生成。

Knight認(rèn)為，大模型攻防是一個動態(tài)且不斷變化的過程，自動化是解決大模型安全的關(guān)鍵，但最終的對抗仍需回歸人與人的智慧較量。同時，大模型安全需要系統(tǒng)性方法來解決，模型側(cè)與系統(tǒng)側(cè)的緊密合作至關(guān)重要。

云起無垠模型安全研究負(fù)責(zé)人、知攻善防實驗室核心成員劉洋

云起無垠模型安全研究負(fù)責(zé)人、知攻善防實驗室核心成員劉洋剖析大模型在真實場景中的安全風(fēng)險。劉洋認(rèn)為，隨著大模型加速滲透應(yīng)用于各行各業(yè)，傳統(tǒng)漏洞（如SQL注入、SSRF）通過與AI交互結(jié)合，衍生出全新攻擊面，典型風(fēng)險包括：越獄操控（ChatGPT遭Prompt注入生成違規(guī)內(nèi)容、惡意注釋誘導(dǎo)RCE）、權(quán)限失控（微軟醫(yī)療機器人數(shù)據(jù)泄露）、數(shù)據(jù)裸奔（政務(wù)公眾號密鑰通過AI接口暴露）、SQL注入（AI簡歷助手被注入攻擊篡改數(shù)據(jù)庫）等。

為應(yīng)對威脅，行業(yè)需構(gòu)建AI原生安全體系，即實施最小權(quán)限原則（如GitHub Copilot CLI操作雙驗證），阻斷高風(fēng)險自動化行為；隔離敏感數(shù)據(jù)，禁止AI直接訪問核心數(shù)據(jù)庫與密鑰；動態(tài)升級防御，研發(fā)AI漏洞掃描器，結(jié)合Prompt模糊測試與框架漏洞檢測，實現(xiàn)攻擊面自動化挖掘。

ChaMD5安全團隊AI組負(fù)責(zé)人bayuncao

會上，ChaMD5安全團隊AI組負(fù)責(zé)人bayuncao正式發(fā)布開源項目ltrack，致力于解決ML領(lǐng)域模型加載安全關(guān)觀測問題。ltrack聚焦大模型加載環(huán)節(jié)安全監(jiān)控，基于ebpf技術(shù)實現(xiàn)零侵入動態(tài)監(jiān)測，精準(zhǔn)覆蓋文件篡改、惡意依賴注入、敏感數(shù)據(jù)外傳三大核心攻擊面。通過實時捕獲模型文件哈希值、動態(tài)鏈接庫行為及網(wǎng)絡(luò)異常流量，ltrack有效識別隱蔽性威脅，成功復(fù)現(xiàn)Hugging Face惡意模型加載、PyTorch權(quán)重篡改等高風(fēng)險漏洞。

目前l(fā)track已實現(xiàn)Docker容器全棧監(jiān)控，未來兩個月將擴展至K8S集群及GPU內(nèi)存泄漏檢測，助力企業(yè)構(gòu)建從模型加載、推理到分布式部署的全生命周期防護體系。

希譚實驗室公眾號作者、網(wǎng)絡(luò)安全專家ABC_123

希譚實驗室公眾號作者、網(wǎng)絡(luò)安全專家ABC_123結(jié)合APT（高級持續(xù)性威脅）攻擊案例，探討大模型在威脅情報挖掘與防御體系中的價值。他認(rèn)為，DGA（域名生成算法）域名識別可能是APT攻擊問題解決的關(guān)鍵。然而，傳統(tǒng)的LSTM深度學(xué)習(xí)模型可以識別惡意DGA域名，但是難以有效區(qū)分正常業(yè)務(wù)行為與異常行為，因此最終需要依靠AI大模型來解決這一難題。

活動最后的“AI時代網(wǎng)絡(luò)安全人才發(fā)展機遇與挑戰(zhàn)”主題圓桌環(huán)節(jié)，西安電子科技大學(xué)博士生導(dǎo)師、西安市智能系統(tǒng)安全重點實驗室主任、陜西省計算機學(xué)會網(wǎng)絡(luò)空間安全專委會副秘書長高海昌教授，騰訊云安全策略&攻防專家李濱，騰訊云鼎實驗室攻防負(fù)責(zé)人李鑫，綠盟科技M01N戰(zhàn)隊負(fù)責(zé)人、LLM&SEC Landscape 社區(qū)發(fā)起人高東，圍繞AI技術(shù)爆發(fā)式增長對安全行業(yè)的影響展開深度對話。

在人工智能蓬勃發(fā)展的當(dāng)下，生物特征濫用、算法偏見等 AI 倫理風(fēng)險如影隨形，嚴(yán)重威脅著個人隱私、社會公平與安全，構(gòu)建全面且系統(tǒng)的治理體系已刻不容緩。與會嘉賓一致認(rèn)同，可嘗試構(gòu)建一套“威脅建模-合規(guī)翻譯-持續(xù)驗證”的技術(shù)治理框架。

???先通過威脅建模，深度剖析 AI 系統(tǒng)潛在的倫理風(fēng)險點，精準(zhǔn)識別生物特征數(shù)據(jù)處理過程中的漏洞與隱患；

???再借由合規(guī)翻譯，將繁雜的法規(guī)條文轉(zhuǎn)化為切實可行的技術(shù)標(biāo)準(zhǔn)與操作指南，讓從業(yè)者清晰知曉合規(guī)邊界；

???最后依靠持續(xù)驗證，在 AI 系統(tǒng)的全生命周期中不斷審視與糾偏，確保其始終嚴(yán)守倫理與合規(guī)底線，推動人工智能行業(yè)健康、有序發(fā)展。

未來，騰訊安全城市沙龍也將持續(xù)聚焦技術(shù)縱深-標(biāo)準(zhǔn)建設(shè)-生態(tài)協(xié)同-人才儲備方向，與產(chǎn)學(xué)研用各界專家及從業(yè)者，共同探討數(shù)字世界的安全之道，助力企業(yè)打造更加穩(wěn)固的數(shù)字防線。