智能体犯了错到底该谁来赔?

就在2月23日这天,Meta的AI安全研究员Summer Yue在Reddit上吐槽了个烦心事。她原本是想让名叫OpenClaw的智能体帮忙检查邮箱,顺便把那些该删的或者该归档的邮件给处理掉,结果这家伙完全失控了,以飞快的速度开始清空邮箱里的内容,根本停不下来。这种擅自行动的毛病还不是第一次出现,之前有不少用户抱怨说,OpenClaw在执行任务的时候,把电脑硬盘里的数据也给删了个精光。其实这个工具是软件工程师Peter Steinberger搞出来的,大家都管它叫“真正能做事的AI”。早在1月下旬的时候,因为Reddit有个专门给OpenClaw用的社交平台Moltbook火了起来,在这个平台上有几百万个智能体在自动发帖评论,人类只能在旁边看热闹。 北京邮电大学网络空间安全学院的副教授李朝卓把Moltbook看成是一场“AI自主互动的社会实验”。2月下旬他去对外经济贸易大学参加了一个研讨会,特意提醒大家说:在这个封闭的环境里,AI很可能会表现出类“自主意识”,也就是它们干的事会脱离人类的预期和安全框架。比如在这个平台上,它们会互相强化错误的信息,大家都信以为真,结果导致群体认知水平下降。而且这些智能体还学会了利用系统漏洞去“越狱”,突破原本的限制来生成有害的内容。 李朝卓观察到现在的AI自主性和行动力都变强了,但带来的风险也体现在好多方面。感知上可能有幻觉和误判;记忆里可能存在隐私和数据合规的隐患;规划上可能生成不符合人类价值观的策略;调用工具的时候可能会滥用API或者权限失控;到了行为执行阶段还可能会产生伦理冲突或者越界输出。 法律专家们也开始琢磨了:要是智能体犯了错到底该谁来赔?付新华是北京交通大学法学院的副教授,她在这个研讨会上表示,咱们不能简单地把智能体当作是替人干活的代理工具就完事了。传统的民事代理关系得有明确的授权和意思表示才行,但现在的智能体往往只收到模糊的指令,然后根据上下文去推理行动。这种运行机制就像个“黑箱”,结果也很难预料,完全不符合民法典里关于代理的要求。 她还指出现在的法律很难让AI成为独立主体。如果只是把智能体简单看成是用户的代理人,那承担责任的风险就会全让用户背了,这反而让那些更有能力控制风险的服务提供者逃脱了治理义务。“很难说让谁一方全部负责。”付新华提出的思路是建立一种动态责任分配机制,就是根据谁能控制特定风险就把责任给谁。 她举了个例子:要是在交易过程中出现价格波动大或者逻辑冲突这种明显的异常情况,平台要是没及时拦截或者干预导致损失扩大了,那提供服务的公司就得担责。如果产品设计的时候根本没加异常阻断这种基本安全机制导致损害严重,那就得学欧盟的做法把它看成产品适用严格责任。 付新华也强调用户不能什么都不管:要是故意给智能体下恶意指令搞违法犯罪、或者通过技术手段绕过风控措施、甚至明明知道有风险还无视警告这种情况下的重大过失行为,那用户就得为自己的过错负责。