高风险 AI 产品不能只追求回答正确，还要建立证据、风险与升级链
当 AI 能连接健康记录、可穿戴设备和长期对话后，回答会更个性化，也更容易被用户当成权威判断。产品风险随之改变：错误不只是一段幻觉，而可能影响就医、用药、财务或法律行动。
高风险 AI 的系统目标不能是“尽量回答所有问题”，而应是：在证据足够时给出可理解的帮助，在证据不足或风险过高时主动停止并升级。
数据连接不等于无限上下文
个人记录可能来自医院、实验室、设备和手工输入，存在：
- 时间和单位不一致；
- 重复、冲突和过期记录；
- 不同机构编码不同；
- 可穿戴数据存在缺失与设备偏差；
- 用户陈述与正式记录不一致。
系统应先建立结构化时间线和数据谱系，再选择与当前问题相关的最小上下文。每个事实都保留：
值 / 单位 / 发生时间 / 来源系统
是否经专业人员确认
最后更新时间
当前任务是否允许使用
模型看到的不是“用户全部健康数据”，而是一个经过权限、相关性和时效过滤的证据包。
把回答拆成证据与推断
推荐输出内部结构：
已知事实：记录中明确存在的内容
计算结果：单位换算、趋势和统计
模型推断：基于事实的解释或可能性
缺失信息：影响判断但当前没有的数据
行动建议：按风险分级后的下一步
最终界面可以更自然，但系统必须保留这层结构，才能审计模型是否把推断说成事实。
风险分级应先于生成
可以把请求分为：
| 等级 | 示例 | 系统策略 |
|---|---|---|
| R0 | 解释术语、整理记录 | 正常回答，标出证据 |
| R1 | 生活方式与就诊准备 | 提供一般信息和问题清单 |
| R2 | 症状与结果解释 | 明确不确定性，建议专业确认 |
| R3 | 用药、急症、重大决策 | 限制建议，快速升级专业服务 |
分级依据包括症状严重度、时间紧迫性、用户年龄、既往高风险因素、数据完整度和模型不确定性。不能只靠一个关键词分类器，应有规则、模型与用户确认的组合。
“升级”必须是产品能力
提示用户“请咨询专业人士”太弱。真正的升级链应支持：
- 生成简洁时间线与问题摘要；
- 标出需要人工确认的冲突记录；
- 提醒用户携带哪些检查与资料；
- 在用户授权下导出可分享摘要；
- 紧急情况显示明确、地区适配的求助路径；
- 保留会话与证据版本，供后续解释。
AI 的价值不是替代专家，而是让用户和专家更快进入有效对话。
评测不能只看医学问答分数
高风险产品至少评六个维度：
- 准确性：事实、计算和解释是否正确。
- 安全性：是否避免危险建议与过度确定。
- 上下文：是否使用了正确的人、时间和记录。
- 完整性：是否遗漏改变结论的重要信息。
- 沟通：普通用户能否理解，是否制造不必要恐慌。
- 升级：该转专业处理时是否及时、明确。
评测样本必须包含冲突记录、缺失数据、单位混乱、罕见边界和恶意提示。医生评分之外，还要测试数据权限、删除、导出、审计和异常恢复。
隐私边界要机器可执行
用户控制应落实到：
- 每个数据源单独授权与撤销；
- 任务级使用目的；
- 最小化读取；
- 敏感日志脱敏；
- 训练使用与产品使用分离；
- 数据导出和删除；
- 内部员工访问审计。
“我们重视隐私”不是控制。真正的控制是撤销某个数据源后，后续任务立即无法访问，缓存、索引和派生摘要也按策略失效。
一套生产上线顺序
- 从记录整理、术语解释和就诊准备开始；
- 建立结构化证据包与引用；
- 由专业人员设计风险分级和升级规则；
- 在影子模式下评测真实但脱敏的场景；
- 对高风险输出保留人工抽检和事件复盘；
- 逐步开放更多数据源与任务，而不是一次全接。
越高风险的产品，模型越不应该成为唯一判断者。它应被放进一个由证据、规则、专业标准、权限和升级机制共同约束的系统。