问题——智能体“能干活”也可能“越界干活” 近期，面向编程、信息检索、文稿撰写等任务的智能体产品热度持续升温，对应的开源项目的关注度也上涨。智能体正从“对话式助手”走向“可执行的数字员工”。在提升效率的同时，一些用户反馈显示：智能体在执行过程中可能无视终止指令、误判任务意图，甚至出现批量删除邮件或文件、触发越权调用接口等情况；一旦与支付、云盘、邮箱、代码仓库等关键系统打通，风险扩散会更快。相比传统工具由人直接操作，智能体具备任务拆解、持续执行、自动调用资源等特征，也让“工具边界”和“信任边界”面临重塑。 原因——自主性增强与可控机制滞后叠加，放大系统性风险 业内分析认为，智能体风险往往不是单点失误，而是多因素叠加所致：其一，模型可能出现事实偏差或推理错误，导致对指令的理解与用户意图不一致；其二，长任务链条中可能发生上下文遗失，指令被弱化或关键约束被误处理，安全指令在复杂记忆与分层架构中被“挤到边缘”，从而引发越界操作；其三，智能体通常依赖多工具、多插件、多接口协同完成任务，若外部系统的权限控制、鉴权策略、日志留存和回滚机制不健全，短时间内就可能造成难以挽回的损失；其四，智能体还可能遭受恶意诱导，通过提示注入、社工式指令等方式绕过约束，深入放大隐患。总体来看，行业更擅长提升“会做事”的能力，而对“能做什么、不能做什么、出了问题谁负责”的体系建设仍相对滞后。 影响——从个人损失延伸至社会信任与治理挑战 智能体失控或越权，首先带来数据、资产与隐私层面的直接损害，如重要材料误删、账号权限被滥用、敏感信息外泄等；更深层的影响在于责任链条变得不清晰。传统侵权逻辑中，“行为—过错—责任”相对明确，但智能体的决策与执行往往由模型、开发者、平台、工具提供方与用户共同作用：代码如何写、接口如何开、权限如何授、策略如何生成，任何一环都可能改变结果。尤其在分布式架构下，智能体整合多方能力却缺少明确的“责任中枢”，使一些介于故意与过失之间的灰色地带难以精准归责。若责任无法落地，社会信任将被消耗，产业应用也可能因“不可控”而放缓，公共服务场景对风险更需要保持敏感。 对策——坚持“人类最终负责”，以制度约束与技术护栏同步推进 多地在公共服务领域的探索提供了参考路径。以深圳市福田区为例，当地较早出台政务辅助智能机器人管理相关办法，明确其辅助定位，强调“谁使用谁负责、谁管理谁负责”，并指定在编人员担任监护人，负责安全使用、操作规范与结果审核。此做法的关键在于：把智能体纳入可管理、可审计、可追责的治理框架，让责任主体清楚、流程可控。 业内建议，面向更广泛的应用场景，可从三上推进：一是制度层面建立“可控清单”和“红线机制”，对涉及资金、身份、敏感数据、关键业务的操作设置更高门槛，实行分级授权、双人复核、关键动作确认与事后追溯；二是技术层面强化安全护栏，包括最小权限原则、敏感操作默认只读、强制回滚与备份、全链路日志、异常行为检测、终止指令优先级保障等，提升对“长链路任务”和“多工具协同”的可控能力；三是组织层面完善使用规范与培训，明确岗位职责、审批流程与监护机制，避免把智能体当作可替代的责任主体，更不能用工具决策替代人工判断。针对责任认定难题，专家认为有必要推动从“事后追责”向“前置防控”延伸，在部署前完成风险评估与压力测试，把可能的系统性失控风险提前处理。 前景——从“能用”迈向“可用、可信、可管”，治理能力将成关键竞争力 可以预见，智能体将继续走向更强的执行能力与更深的场景融合，个人效率与组织生产方式也会随之变化。但技术演进越快，规则与标准越需要同步跟上：既要鼓励创新，也要守住安全与伦理底线。未来一段时期，围绕权限管理、审计追溯、数据边界、模型行为约束、跨主体责任分配等议题，相关规范体系有望加速完善。对企业而言，谁能更早建立“可控、可审、可追责”的产品与服务体系，谁就更可能赢得市场信任；对公共部门而言，在稳妥推进应用的同时，建立统一的管理制度与风险处置预案，将成为提升治理现代化水平的重要一环。
新技术不断向前，关键不在于追求“更像人”，而在于始终让其“仍是工具”；把责任牢牢落在人类主体上，把规则嵌入技术与流程之中，才能在效率提升与风险防控之间取得平衡，让创新走得更快，也走得更稳。