原标题:用“火眼金睛”识破换脸把戏(我身边的最强大脑)

田天近照,AI修饰生成素描画
借助AI(人工智能)技术,AI换脸足以以假乱真。如果相关技术被恶意使用,则可能滋生制造虚假信息、诈骗等违法活动。如何识破AI换脸把戏?这是我和团队攻关的方向之一。
精准有效的检测,是实现这一目标的关键。随着AI大模型迅猛发展,伪造技术也持续“进化”。传统检测方法,就像拿着一本固定的“犯罪图谱”去抓犯人——针对已知的伪造技术表现尚可,一旦遇到从未见过的新型生成方式,性能就急剧下降。与此同时,算力和数据门槛降低,快速批量生成伪造文本、图片甚至视频已成为可能,进一步增加了检测的难度和成本。
破解难题,还得靠AI。我们希望用AI打造“火眼金睛”,去甄别AI换脸等风险,让AI应用更安全更可控。技术落地应用并不容易。面对层出不穷的新型伪造手段,有一段时间,我们总是跟在后面疲于应对,最初设计的方法准确率也不高。
为什么要被动“见招拆招”,能否让AI拥有应对“未知”的能力?求学阶段在贝叶斯深度学习领域的积累,帮我打开了新视角。我想到,不一定要让检测模型对每个样本给出非黑即白的答案,当证据不足时,为何不能诚实承认“无法确定”?
经过反复论证、试验,我们在检测模型中引入贝叶斯神经网络,不再将模型参数视为一组固定数值,而是用概率分布描述参数可能的取值。通过多次概率采样,模型能够综合不同参数假设下的判断结果:预测一致时,说明证据充分;预测分歧较大时,则意味着样本可能来自未知生成器、经过复杂改写,或本身处于人机混合的模糊边界。面对这类高不确定性样本时,我们训练模型不再草率地给出真伪判定,而是教它承认“不确定”;在此基础上,再针对此类样本进行优化,提升模型性能,使其在面对新型AI合成方法时,依然能够识别80%以上的合成数据,误判率得到有效控制。
这意味着,模型不再把大量精力花在一眼就能判断的简单样本上,而是将学习重点转向“不确定”数据。资源集中到真正有难度的地方,模型就能更快、更准地摸索出识别AI内容的策略,面对新的AI合成内容时表现更好。当技术路线得到验证的那一刻,团队上下倍感振奋。我们不再是伪造技术被动的追赶者,而拥有了一套主动应对未知风险的底层逻辑,“教”AI从更深层上理解规律,识别应用风险、拒绝有害请求。
如今,基于团队技术开发的AIGC(生成式人工智能)内容检测平台等AI衍生安全风险治理以及AI内生安全产品,已经在金融、政务、公安、互联网等场景中落地应用。由于存在安全焦虑,一些企业最初不敢放心使用大模型,经过我们技术安全评测与安全加固后,解除了后顾之忧,真正享受到了AI的便利。
AI在进化,风险也在变。随着智能体和具身智能机器人兴起,AI正从“回答问题”的对话框,变成“执行任务”的行动者,相关风险也从虚拟世界延伸到物理世界。具身智能机器人的安全风险更为直接。这类机器人在物理世界开展作业,一旦无法应对特殊情形,就有可能对人类造成伤害。用人类智慧驾驭AI,这是智能时代必须直面的时代课题。我和团队将继续深耕AI安全研究,助力AI健康有序发展。
(作者为新一代人工智能产业技术创新战略联盟专家委员,姜子钰、喻思南采访整理)
来源:人民日报
作者: 田天











