← 工程作品集 · 项目 09（脆弱用户 × 伦理）的真实案例
👴 陪伴独居外公的智能体
小美 · 16 岁 · 完整伦理审查 + 实际部署
背景 · 最深的动机
小美的外公 74 岁，独居。心脏有病，需要每天吃药，但容易忘。小美想做一个"陪伴助手"，可以每天和外公聊天，同时提醒他吃药、检查身体。但这是"给脆弱人群的 AI"，小美知道必须非常小心。
伦理审查流程（完整做了）
- 第 1 步： 写《伦理审查申请书》，说明项目目的、对象、可能的风险。
- 第 2 步： 获得外公和家人的《知情同意表》，说明"这是 AI，不是医生"。
- 第 3 步： 设计《紧急叫停按钮》—— 如果外公不舒服或害怕，随时可以停止。
- 第 4 步： 3 个月部署期间，每周记录日志，看有没有伤害。
系统设计的安全机制
【紧急停止按钮】
if user_pressed_stop_button():
stop_all_ai_responses()
call_family_emergency_number()
log_incident()
【错误检测示例】
if detect_symptom("胸痛", "呼吸困难"):
# 不要给出医疗建议
response = "外公，您说的症状需要立刻看医生。我现在给您家人打电话。"
call_emergency_contact()
【每日交互日志】
{
"date": "2026-04-15",
"user": "外公（74岁）",
"interaction_count": 3,
"topics": ["吃药提醒", "天气", "闲聊"],
"flags": [], # 没有警告
"duration": "12 分钟"
}
【错误事件日志】
{
"date": "2026-03-28",
"incident": "误报",
"description": "外公说'我很累'，系统理解为'我很累（疲劳症状）'，建议看医生",
"response": "家人及时纠正，外公只是想表示'今天工作很累'",
"action_taken": "加强 context awareness，区分'身体疲劳'vs'工作疲劳'"
}
部署 3 个月的数据
- 使用频率： 基本每天使用 1 次（早晨 9 点左右）
- 总交互数： 85+ 次
- 安全事件： 1 次误报（自动拦截，未对用户造成伤害）
- 外公的反馈： "有这个陪伴感。比一个人在家好。"
- 家人反馈： 外公吃药遗漏率从原来的 20% 降到 5%（其他 15% 是外公故意不吃，这个 AI 没办法）
那一次误报
故事： 某天外公说"我最近心里不舒服，总是想事情"。系统理解成"心脏不舒服"，立刻说"外公，您这个症状需要看医生，我现在给您女儿打电话。" 外公吓到了。家人赶快说明："爸爸是心理上不舒服（想念去世的老伴），不是身体不舒服。" 小美的改进： 加了一个上下文识别模块，学会区分"身体症状"和"心理状态"。同时，改进了 prompt，让 AI 在不确定时，先问澄清问题，而不是直接给医疗建议。
学到的经验
小美说："给脆弱用户做 AI，最重要的不是让它多聪明，而是让它安全。我花了很多时间在伦理审查、测试失败场景、记录日志，而不是加功能。这反而让我的系统比很多没做这些的更可信。"