图片来自罗汉堂

复旦副校长姜育刚：大模型存在生成内容敏感、侵犯版权和隐私、泄露数据等问题

出品｜搜狐科技

作者｜周锦童

7月4日，罗汉堂数字经济年会在上海复旦大学光华楼举办，复旦大学计算机科学技术学院教授、复旦大学副校长姜育刚从三部分谈及了AI的可信问题。

他表示，现如今AI的进展非常快，模型不断变大、性能不断提升，迭代速度非常快，而ChatGPT也是一样，从纯语言模型，文字-文字的交互，到文本-图像的交互，发展非常快，现在甚至可以做到语音到语音直接的交互，实现实时的人机对话。

众所周知，Sora在春节前后席卷了 *** ，姜育刚感叹道：“它竟然可以生成60秒的视频。”

不过在他看来，Sora还存在着很多问题，比如生成的视频中会看到椅子飘在空中，不能很好地理解物理世界规律等，但Sora在技术上的确有非常大的提升，是具有代表性的AI新进展。

此外，姜育刚表示，现在主流或者比较好的AI模型基本上来自于企业，因为企业有更多的数据、更多GPU的支持。

谈及AI的可信问题，姜育刚称图片生成的模型内容不太可控，甚至有敏感内容，过去经常说“眼见为实”，现如今眼见也多不为实，很多时候很难分辨看到的图像、视频内容是真还是假，现场他还放出了Midjourney生成的教皇穿着羽绒服的假照片。

当然，生成的图片还出现很多隐私和版权的问题，另外，关于大语言模型的幻觉问题也不容忽视，很多时候大模型会顺着指令继续说下去，哪怕不是事实，而大语言模型有时甚至可能会泄露原始数据。

至于语音生成问题，姜育刚表示，尽管语音生成的效果也非常好，甚至可以生成非常逼真的名人声音，但这另一方面就意味着不法分子可以用某个人的声音行骗，从而在金融领域带来大量的安全问题。

此外，姜育刚还谈及了Multi-modal（多模态）的越狱攻击问题。他表示，针对模型特点来设计攻击方式，可以欺骗模型回答敏感问题，比如教人自我伤害或自杀等。

大模型在设计时通常包含Alignment（对齐）过程，以便在面对敏感问题时能够拒绝回答，“虽然大模型在开放性问题上表现良好，但如果将提问方式改成选择题时，模型则非常容易出错。”姜育刚如是说。

因此，针对上述问题，姜育刚和团队正在研究如何在Multi-modal训练中提升模型的鲁棒性，他们尝试将带有对抗扰动的图片和文本进行对齐，从而增强模型在面对图像或视频对抗样本时的可靠性。

姜育刚坦言，这种 *** 比单独针对图像或视频进行对抗训练更有效，通过多模态之间的对齐来提升对抗训练，性能整体上的可靠性有一定提升，不过距离理想的值还有很大的距离。