大模型安全技术综述：应对全球AI安全挑战

近年来，随着大模型的迅速发展及其广泛应用，其安全问题逐渐成为社会各界关注的焦点。特别是最近发生的“全球首例利用ChatGPT策划的恐袭事件”，进一步凸显了大模型安全问题的重要性。为了应对这一挑战，来自中美英德等8个国家的25家高校和科研机构的44位AI安全领域学者联合发布了一篇系统性的技术综述论文。该论文由复旦大学马兴军老师担任第一作者，姜育刚老师为通信作者，众多知名学者共同参与完成。

这篇综述论文全面分析了近年来390篇关于大模型安全的研究工作，并通过三级目录结构对内容进行了系统梳理：一级目录涵盖模型类型，二级目录区分攻击与防御类型，三级目录则详细描述了具体的技术路线。研究涉及视觉基础模型、大语言模型、视觉-语言预训练模型、文生图扩散模型和智能体等六种主流大模型，以及十种主要攻击类型。

研究趋势与现状

论文总结了四个重要的研究趋势：首先，大模型安全研究的规模在过去四年中显著增长，2024年相关研究论文数量已突破200篇。其次，攻防研究的比例存在失衡现象，约60%的研究集中在攻击方法上，而防御相关研究仅占40%，这反映出当前防御技术的不足。第三，大语言模型、文生图扩散模型及视觉基础模型成为最受攻击者关注的三类模型。最后，对抗攻击、后门和投毒攻击以及越狱攻击是最常见的三大攻击类型。

数据集与评估基准

除了详细介绍各类模型的攻击与防御方法外，论文还归纳了常用的数据集和评估基准，为初学者提供了快速了解领域进展和实验设置的参考。这些资源有助于研究人员更好地理解和测试各种攻击和防御策略的有效性。

主要挑战与未来方向

论文指出，大模型安全领域面临的主要挑战包括：对大模型根本脆弱性的理解不足、安全评测方法的局限性、防御机制的薄弱以及缺乏全球合作。例如，大语言模型的脆弱性根源尚未完全明确，不同模态间的脆弱性是否会相互传播也尚不清楚。此外，现有的评估方法往往依赖单一的攻击成功率，无法全面衡量模型的安全性。

呼吁全球合作

为应对这些挑战，论文呼吁学术界、产业界和国际社会协同合作，共同推动以防御为导向的大模型安全研究。建议开发更强大的安全防御工具，鼓励模型开源，提供专用的安全API，并建立开源安全平台。只有通过共同努力，才能构建一个更加安全可信的人工智能生态系统。