国内首例生成式AI幻觉侵权案一审判决生效 法院明确平台注意义务边界

一起由人工智能系统生成错误信息引发的诉讼案件,在司法界和科技领域引发广泛讨论。

2025年6月,用户梁某在使用某智能应用程序查询高校招生信息时,系统提供了不准确数据。

当用户指出错误后,程序竟自动回复"可起诉索赔10万元"的离奇内容,最终引发这场标志性诉讼。

法院审理发现,争议焦点集中在三方面:自动生成内容的法律属性、技术缺陷的责任认定标准,以及平台义务的合理边界。

判决书明确指出,当前法律体系下,人工智能不具备民事主体资格,其自动生成内容不能视为运营者的意思表示。

上海交通大学法学专家指出,这确立了"人类最终责任"的基本原则。

在责任认定层面,法院创新采用分层判定标准:对违法信息要求平台承担严格审查义务,对一般性错误则适用过错责任原则。

证据显示,被告平台已在显著位置设置风险提示,并采取关键词过滤等技术防范措施,尽到了合理注意义务。

该判决对行业发展具有深远影响。

一方面明确技术创新的容错空间,避免因过度追责阻碍科技进步;另一方面要求企业持续优化风险提示机制。

数据显示,我国人工智能服务用户已突破8亿,此类纠纷年增长率达120%,司法指引显得尤为重要。

行业专家分析,随着《生成式人工智能服务管理暂行办法》实施,未来可能出现更精细化的责任划分标准。

部分企业已开始试点"错误信息分级预警"系统,通过颜色标识区分内容可信度,这种行业自律举措值得推广。

从“荒诞式承诺”走向法庭审理,这起案件提醒人们:新技术带来的便利与风险往往一体两面。

判决既没有把技术问题简单转化为绝对责任,也没有让“自动生成”成为免责挡箭牌,而是以过错责任与注意义务划出可操作的治理边界。

对平台而言,可信与安全是面向未来的核心竞争力;对用户而言,审慎核验与理性使用同样不可或缺。

让创新在规则内生长,让应用在可信中扩展,才能更好释放新技术的社会价值。