评价一个 AI 演示，先写下它应该完成什么
BGX 编辑专题 · 概念图像

从使用情境出题

把评估问题写成使用者会真实提出的任务，包括常见问题、复杂问题和资料不足的问题。只有容易回答的样例，无法说明系统在完整流程中的表现。

答案并非唯一产物

有些任务的正确结果是找到资料，有些是拒绝超出范围的请求，有些是把问题交给人。评价标准需要承认这些结果，而不是只检查是否生成了长段文字。

记录失败的形状

缺失引用、版本不符、对象混淆与格式错误，是不同的问题。将失败分开记录，团队才知道需要调整内容、流程还是系统。

让改进可以重复检查

保留固定的问题集、资料版本与判断标准，在调整后重新运行。评估的价值不是得到一个漂亮总分，而是看见具体变化。