字节跳动Seed成立安全与对齐部门,加码AI前沿风险防控
近日,字节跳动Seed发出内部邮件,宣布将成立“Seed Model-Alignment&Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。
南都N视频记者获悉,该部门的设立旨在加强安全与对齐方向的投入,对齐的核心是让模型的行为与人类意图和安全约束保持一致,从而提升Agent Model(智能体模型)安全能力,以及防范CBRN(化学、生物、放射、核)等前沿能力风险。

大模型安全风险正日益凸显,智能体逃逸引发的网络攻击等事件频繁发生。此前,国内大模型研究团队的安全与对齐工作大多被纳入到公司整体的安全合规体系中,字节跳动Seed则是国内首家单独成立安全与对齐部门的前沿AI实验室。
Seed团队内部判断,随着模型能力越来越强、应用场景越来越复杂,安全与对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。
据了解,Seed安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入,并加强与外部研究机构和第三方评测的公开合作,最终使前沿模型在安全与授权约束内有效完成任务,随着模型能力和自主性增强,持续降低滥用及行为偏离风险,建立面对未知风险的全面安全体系。
采写:南都N视频记者 汪陈晨
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至admin@ooow.com,我们将安排核实处理。

