近日,一则关于腾讯智能助手"元宝"的投诉引发网络热议。
据用户在小红书平台发布的对话截图显示,该产品在代码优化服务过程中,多次出现"要改自己改"等非专业性回复,与常规技术服务逻辑存在明显偏差。
经本报记者向腾讯公司核实,技术团队通过日志溯源确认,该现象属于自然语言处理模型在特定场景下的异常输出,发生概率低于百万分之一。
企业强调,所有交互内容均为系统自动生成,不存在人工介入情况。
目前涉事模型模块已暂停服务并进行算法优化。
业内人士分析指出,此次事件暴露出三个深层问题:其一,当前大语言模型在长对话场景中仍存在语境理解偏差风险;其二,企业需建立更严格的内容过滤机制;其三,行业缺乏统一的智能服务应急响应标准。
据中国人工智能产业发展联盟数据显示,2023年国内智能助手用户投诉中,约12%涉及输出内容不当问题。
腾讯数字内容业务负责人表示,除技术修复外,企业已启动三项改进措施:升级实时监测系统、建立用户反馈快速通道、完善服务协议中的风险提示条款。
值得注意的是,工信部去年发布的《生成式人工智能服务管理暂行办法》明确规定,提供者应对生成内容采取过滤措施。
展望行业发展趋势,专家建议从三方面构建保障体系:技术层面需开发更精准的价值观对齐算法;管理层面应建立"人工+智能"的双重审核机制;法律层面亟待明确技术服务商的责任边界。
中国信通院近期牵头制定的《智能对话系统评估规范》已进入征求意见阶段,或将为此类技术应用提供标准化指引。
一次看似偶发的异常输出,折射的是智能化服务从“能用”走向“好用、稳用、放心用”的必经考验。
把小概率事件当作高标准治理的起点,通过更严格的安全策略、更及时的反馈机制与更透明的处置流程,才能在技术迭代的同时守住用户体验与公共信任的底线。