我和企业聊人工智能,开场几乎都是同一句话:“我们想做个聊天机器人。”深入了解之后会发现,他们真正需要的很少是一个通用聊天机器人。他们需要 AI 去查真实的库存,读取邮件里收到的发票,在 WhatsApp 上回复订单的真实状态,或者让分析人员几秒钟就找到如今要翻遍五个共享文件夹才能找到的制度文件。换句话说,他们需要的是接入现有系统的 AI。
我做 ERP、CRM、在线商城和支付网关集成已有 20 多年,近几年也搭建过接入业务数据的智能助手和基于 WhatsApp 的对话自动化。本文总结我做这类项目的方法:聊天机器人和智能体有什么区别,AI 在哪里能带来可衡量的价值,数据该如何保护,怎样接入而不危及日常运营,以及如何分阶段推进。
聊天机器人还是智能体:真正的区别
“智能体”这个词几乎被用来指代一切,所以有必要先下个定义。聊天机器人负责回答:接收问题、理解问题、返回文本,有时会参考文档。智能体负责执行:除了对话,它还会决定调用工具(查询订单、创建工单、更新 CRM 中的联系人),在多个步骤之间保持状态,并在明确的权限范围内执行操作。正是这种“能动手”的能力,改变了系统设计、风险和成本。
| 维度 | 聊天机器人 | 智能体 |
|---|---|---|
| 做什么 | 用文本回答问题 | 分步推理,调用工具来查询或修改系统 |
| 系统访问 | 无,或仅能读取文档 | ERP、CRM 或商城的 API,每个工具单独定义权限 |
| 状态 | 当前对话 | 对话加任务状态:查过什么、还缺什么、已经执行了什么 |
| 主要风险 | 回答错误 | 操作错误:一笔退款、一次改价、一封已发出的邮件 |
| 所需控制 | 信息来源、语气和话题边界 | 最小权限、参数校验、人工审批和审计 |
| 适用场景 | 常见问题和信息查询 | 规则清晰的重复性流程,且相关系统提供 API |
我通常建议先从更接近聊天机器人、只读访问的方案做起,等清楚它在真实用户面前的表现后,再一个工具一个工具地把它升级为智能体。
AI 真正创造价值的地方
客户服务与 WhatsApp
在客服场景中,价值不在于听起来像真人,而在于用真实数据解决问题:订单状态、商品库存、门店营业时间、发票未结余额。在 WhatsApp 上,还必须遵守平台规则(24 小时会话窗口之外只能发送已审核的模板消息,并取得用户同意),而且始终要设计好转人工的路径,把对话记录一并交接,让客户不必重复说明。
基于 RAG 的内部知识库
检索增强生成(RAG)是指先在你的文档——操作手册、制度、流程、标准合同——中检索相关片段,再交给模型,让它依据这些内容作答。做得好,可以大幅减少编造的答案,并且能标注出处。决定质量的关键不是模型,而是内容本身:文档是否为最新版本,是否存在相互矛盾的重复文件,切分是否合理,权限是否遵循“谁能看什么”。
文档处理
供应商发票、采购订单、扫描表单、付款凭证:面对版式各异的文档,AI 提取结构化字段的能力比僵硬的 OCR 模板更强。关键在于把提取结果与系统数据进行校验(这个供应商是否存在?小计、税额和总额是否对得上?税号格式是否有效?),对不上的一律转人工复核。
流程自动化
对收到的邮件分类、分派工单、起草回复、在升级前总结案情、根据客户随手写的需求生成报价。在这些场景里,AI 是现有流程中的一个环节,而不是一套新系统。如果流程在没有 AI 时就不清晰,AI 也不会让它变清晰。
数据准备与隐私
在选模型之前,我会先做一份简单的盘点:每个用例需要哪些数据,数据存在哪里,归谁负责,干净程度如何,敏感级别多高。据此决定哪些数据可以发给外部服务商,哪些不可以。
- 什么数据发给哪家服务商:仔细阅读所购套餐的条款。确认通过 API 发送的数据是否会被用于训练、保留多长时间、在哪个地区处理,以及能否签署数据处理协议。
- 数据最小化:只发送任务所需的字段。回答一个订单问题,不需要客户的全部历史记录。
- 匿名化与假名化:发送文本前,把姓名、证件号、电话号码替换成标识符,收到回复后再在自己的服务器上还原。银行卡数据则根本不应该进入模型。
- 本地模型:对于高度敏感的信息,在自有服务器或私有云上运行的开放权重模型是切实可行的选择。在复杂任务上它们不及最大的商用模型,但用于分类、信息提取和内部检索通常已经够用。
- 权限继承:助手能看到的内容不应超过提问者本人能看到的范围。如果 RAG 索引不按角色过滤、什么都收录,一个看似无害的问题就可能把工资数据泄露出去。
数据质量与隐私同样重要。商品描述残缺的目录、充满重复联系人的 CRM,无论模型多强,产出的答案也会残缺或重复。有时候,一个 AI 项目的第一阶段其实是整理数据。
与 ERP、CRM 和电商系统的集成模式
最能保护日常运营的一条规则是:模型永远不直接连接数据库或 ERP。我会在两者之间加一层中间层:一个自建 API,只暴露具体的工具,校验每一个参数,并执行业务规则。模型负责提议,由这一层决定操作是否执行。
- 先只读:第一批工具只做查询(订单、库存、发票、客户档案)。写入类工具之后再逐个上线。
- 最小权限的服务账号:每个集成使用一个技术账号,只能访问它需要的接口和记录;凭据保存在服务器端,绝不放进提示词。
- 事件与队列:当 ERP 或商城发出 webhook(订单创建、付款确认)时,我通过带重试机制的队列异步处理,这样即使 AI 服务商宕机,也不会阻塞业务。
- 幂等性:每个写操作都带有幂等键。即使智能体或队列重试,退款或工单也不会被创建两次。
- 审计:记录每一次调用:由谁发起、用了哪个工具、带了哪些参数、系统返回了什么、模型回复了什么。没有这些记录,就无法解释错误,也无从改进。
例如,下面是一个只读工具的定义,智能体可以用它来查询订单:
{
"name": "get_order_status",
"description": "Status, date and total of an order of the signed-in customer",
"input_schema": {
"type": "object",
"properties": {
"order_number": { "type": "string", "pattern": "^[A-Z0-9-]{6,20}$" }
},
"required": ["order_number"]
}
}请注意这个工具定义没有允许什么:模型不能选择客户。中间层从已认证的会话(或已验证的 WhatsApp 号码)中获取身份,只返回此人的订单。这样,即便有人试图通过操纵对话来获取他人的订单,这个工具也根本无法提供。
人工介入
人工监督并不意味着 AI 不行,它本身就是设计的一部分。我要和业务方一起确定的,是自主权的边界在哪里。
- 审批阈值:智能体可以开具一定金额以内的贷项通知单;超过该金额时,它只准备好操作,由人一键审批。
- 置信度与校验:如果发票提取结果不符合规则或看起来存疑,文档会进入复核队列,而不是直接写入 ERP。
- 升级转人工:遇到敏感话题(投诉、有争议的扣款、健康、个人数据)或用户主动要求时,对话连同上下文摘要一起转给真人。
- 反馈闭环:复核人员的修正会被保存下来,用于调整提示词、规则和文档。
衡量效果
事前不衡量,事后就无法判断是否有效。所以我会在上线任何功能之前,先用几周时间记录当前流程的基线,之后再用同样的指标做对比:
- 解决率:多大比例的咨询或案件无需人工即可解决,其中又有多少被重新打开。
- 处理时长:从请求到达到问题解决的全过程,而不只是助手的响应时间。
- 错误率:错误回答、需要更正的提取结果、被撤销的操作。通过人工复核抽样来衡量。
- 单任务成本:模型用量加基础设施再加人工复核时间,与现有流程的成本对比。
- 满意度:在对话结束时问一个简短的问题,更重要的是分析每次转人工的原因。
常见错误
- 从技术出发(“我们想用智能体”),而不是从一个有负责人、问题可衡量的具体流程出发。
- 把模型直接连到数据库,或者给它一个管理员权限的账号。
- 把公司所有文档一股脑儿建索引,既不清理过时版本,也不按权限过滤。
- 没有一套带预期答案的测试问题集,凭感觉修改提示词或更换模型。
- 第一天就承诺全面自动化,设计时不留转人工的出口。
- 忽视可变成本:冗长的对话、塞进上下文的大文档、没有上限的重试。
- 把项目当成一次性交付。流程、产品和模型都会变化,助手和其他系统一样需要持续维护。
分阶段实施计划
- 诊断:选出一到两个业务量足够、规则清晰的用例,梳理系统和数据,审查隐私约束,并记录基线。
- 受控原型:只读访问,用基于真实案例的测试集验证,由目前负责这项工作的团队在内部试用。
- 集成:中间层、服务账号、审计、队列和幂等性;第一批写操作需经人工审批。
- 试点:选一个渠道或一部分用户,保留转人工通道,每周复盘错误和指标。
- 上线与演进:根据结果扩展渠道和工具,调整自主权阈值,并在流程或模型变化时及时更新测试集。
当 AI 像任何一个严肃的系统组件那样被集成时,它才能为企业带来真正的价值:清晰的接口约定、最小权限、维护良好的数据、完整的测试,以及有人对它明天依然正常运行负责。你现有的系统——ERP、CRM、商城——不是障碍,恰恰是让助手变得有用的基础。如果你正在考虑从哪里入手,我宁愿看到一个小而可衡量的用例,也不愿看到一个没人用的宏大平台。