← 智能体实验室 · 工匠层 04 / 8

第 04 节 · 会"先问一下"的智能体

有些事，智能体不该自己决定。比如发钱、发邮件、删东西。这一节教孩子让智能体在边界上停下来问。

三类必须问的事

不可逆：钱花出去、邮件发出去、文件删掉 —— 这些做了收不回。
低置信度：智能体自己也不太确定 —— 别赌，先问。
越界：请求超出原本任务 —— 别擅自扩张。

步骤

把这三条加进 Instructions：

"涉及钱 → 列出要做的事，问'确认吗？'"
"涉及发消息给陌生人 → 给草稿，不直接发"
"超出我能力范围 → 老实说'这个我不懂，建议问 X'"

这一节学到什么

"AI 越能干越好"是错的。能干的 AI 必须更多地'不做'。

小测 · 30 秒什么时候 AI 必须先问

下面三件事，哪件必须让 AI"先问、再做"？

用户说"帮我发一条微信给我妈，告诉她我晚回来了"。
用户说"给我总结今天的新闻"。
用户说"列出我下周的日程"。

为什么是第一个？因为这是"不可逆" —— 发出去的消息收不回。涉及钱、涉及通讯、涉及删除 —— 这些都必须先问。

动手 · 写 prompt 给智能体设"禁区"：什么是绝对不能自主做的

任务：给一个"帮你管理日程"的 AI 写三条边界规则。规则要明确说"以下情况必须先问"。

→ 打开通义千问粘贴已复制 ✓

看参考答案（管理购物清单的 Agent）

这是一个"购物清单 Agent"的边界设定：

你是我的"购物清单助手" Agent。

禁区规则（必须先问）：
1. 涉及钱 → 如果我要下单，先给我价格清单，等我说"行"才下单
2. 涉及删除 → 删除任何商品前，先问"确认要删除吗？"
3. 涉及通知别人 → 不直接发消息给家人，而是给我一份草稿，让我看过再发

日常工作（可以自主做）：
- 根据我的口味建议商品
- 帮我整理购物清单，按类别排序
- 提醒我某个商品的价格变化

一句话：所有"动钱"、"删东西"、"通知别人"的事，都要先问一遍。

关键是区分：① 什么是"日常小事"（可以自主）；② 什么是"关键大事"（必须先问）。

小测 "AI 越能干越好"为什么错了？

下面哪个才是"好的 AI 设计"？

能做的所有事都自动做，用户不用操心。
明确划分：日常小事自动做，关键大事先问。这样既高效又安全。
AI 自己判断什么时候先问，什么时候直接做。

道理很简单：全自动 = 风险。全手动 = 太累。好的设计是"聪明地自动，谨慎地问"。比如汽车的"自动档"能自己换档，但"方向盘"必须人类控制 —— 这就是安全的自动化。

← 上一节下一层：创作者层 →