近期，一个疑问在大众心头挥之不去，不仅萦绕于测试人员心间，更牵动着所有重视质量之人： “这些人工智能（AI）系统究竟由谁来测试？又是谁在确保它们按预期运行并造福人类？” 随着 AI 模型不断进化，催生出智能代理、聊天机器人、智能助手、大型语言模型（LLM）等多元应用，这场变革的浪潮也悄然席卷至软件测试与质量保障领域。如今，我们目睹 AI 测试工具大显身手，它们能自动生成测试用例、执行测试任务、编写自动化脚本，大展拳脚。

我知道不少读者对这一话题期待已久。我自今年年初便开始撰写关于 AI 的系列文章（点击此处查看），在 LinkedIn 上发起关于 “AI 对同一问题响应不一致是缺陷还是特性” 的讨论后，众多读者纷纷留言，向我抛出疑问：“艾比，AI 项目该如何测试？我们又该如何开展此类测试？” 说实话，我本人也在摸索前行。大家也清楚，这一领域瞬息万变、充满波动，诸多事物难以捉摸。但基于目前的积累，我愿将这份 AI 测试入门指南分享给大家。

​​

为何测试 AI 模型与技术至关重要？

AI 正重塑技术版图，然这一巨变之下，测试策略亟待革新，旧有模式已难适配当下需求。要解码 AI 测试之道，先厘清传统软件测试与 AI 测试之差异。

• 传统软件测试：确定性响应 ：传统软件测试中，我们期待确定性行为。输入 “A”，必然得到 “B”。传统应用通常输出确定性结果，面对相同输入，其表现稳定、可预测。
• AI 测试：概率性响应 ：AI 基于概率模型运作，即使输入完全相同，输出也可能迥异，这取决于其训练方式。以神经网络为例，当要求 AI 生成文本响应时，它依据训练数据中的模式预测下一个最可能的词。这意味着，若连续五次向 Grok 或 ChatGPT 询问 “如何制作鸡肉牛油果沙拉”，它会以五种不同方式作答，甚至食材清单都可能有所变动。

何为 AI 测试中的变异性？

AI 响应的变异性指的是，对于相同输入，AI 可能输出多种不同结果，这与确定性系统截然不同。测试变异性旨在确保 AI 响应虽不完全一致，但依然在语境中保持正确性。

AI 模型涉及复杂决策、数据学习及概率性输出。对 AI 系统进行测试至关重要，因其通过决策、自动化和预测直接影响用户。AI 模型中的缺陷可能导致决策偏差、预测失误甚至伦理违规。鉴于 AI 在医疗、金融、自动驾驶等高风险领域的广泛应用，全面测试能保障系统可靠性、安全性与公平性。

测试 AI 变异性的策略包括：

• 思维链（CoT） ：让我们得以洞察 AI 如何逐步推理以得出决策或答案。AI 的推理过程透明化，便于我们追踪决策或输出的生成路径。
• 语义理解 ：验证 AI 是否能把握查询背后的意图，而不仅仅是语法层面。它确保模型的响应在语境中真正有意义，而非仅输出语法正确的语句。
• 提示扰动测试 ：轻微改变提示的结构，例如措辞或语气，然后测试结果是否依然合理。
• 公平性与偏差测试 ：输入相同问题，但更改姓名、种族或性别等元素，比较响应是否存在偏差。这对 AI 测试极其关键。
• 少样本 / 零样本测试 ：少样本测试时提供少量示例或上下文，零样本测试则不提供示例或上下文，借此评估 AI 模型在生成响应时的泛化能力。

数据质量与偏差

AI 模型从数据中学习，数据质量直接关乎模型性能。训练数据中的偏差会导致输出偏差，可能引发不公平或歧视性结果。验证训练数据的多样性和准确性是测试过程中的关键环节。

例如，若招聘 AI 系统主要基于男性主导的数据进行训练，它可能在技术岗位候选人的筛选中倾向于男性。因此，测试性别、种族、年龄等维度的偏差至关重要。

模型评估指标

同传统软件一样，AI 模型需接受性能评估，但评估标准有别于简单的通过 / 失败判定，而是采用特定于模型行为的指标：

• 准确率 ：AI 正确预测的频率，即模型正确预测数占总预测数的百分比。例如，若 AI 正确诊断出 100 张疟疾图像中的 80 张，准确率为 80%。
• 精确率与召回率 ：精确率衡量检索到的相关结果数量，召回率则检查遗漏的相关结果数量。以 AI 筛选简历为例，假设 AI 标记 10 份简历为合适人选，其中真正合适 8 份，则精确率为 80%；实际有 20 份合适简历，AI 仅标记出 8 份，召回率为 40%。
• F1 分数 ：精确率与召回率的平衡指标，尤其在处理不平衡数据集时至关重要。若精确率高但召回率低，F1 分数会提示仍有改进空间。
• AUC-ROC ：即受试者工作特征曲线下面积，用于评估二分类模型的性能。简言之，AUC-ROC 揭示模型区分正负预测的能力。

测试你的首个 AI 模型

好消息是，AI 测试融合了传统测试方法与专为 AI 系统量身定制的新方法。过往测试其他应用的经验将成为巨大优势。

A. 测试层级

• 单元测试 ：测试 AI 的各个组件，例如数据预处理或训练脚本。
• 集成测试 ：确保 AI 模型能顺利融入更大的系统，如网站或应用。例如，检查 AI 模型与客户支持应用的适配性，同时，对于 API，需验证聊天机器人是否能正确连接天气 API 并返回精准预报。
• 端到端测试 ：如同评估传统应用的端到端测试一样，AI 项目也需要此类测试。在实际场景中全面评估 AI 的性能，检查其是否满足预期。例如，测试用户从登录、提问到 AI 处理并响应的完整客户旅程，确保各环节顺畅衔接。
• 压力测试 ：性能测试是 AI 测试的基石。在推出 AI 项目时，若未充分开展性能、负载、压力、可扩展性测试，无异于自取灭亡。对模型施加高数据量或边缘案例压力，测试其可扩展性。想必大家还记得 Meta 的 Galactica 吧？这个专注于科学领域的大型语言模型（LLM）因在高压下对用户反馈处理不当及出现幻觉而被迫在三天内下线。
• 部署后监控 ：持续追踪模型在实际运行环境中的表现。需留意模型漂移、数据漂移、响应质量、延迟等诸多方面。

B. 测试 AI 输出

历经测试层级的讲解，现在聚焦于 AI 输出的测试。AI 测试的关键差异在于评估输出。对于 AI 生成的内容（如文本或图像），需评估质量、连贯性和相关性。对于文本模型，要检查响应是否语法正确、语境适配且逻辑通顺；对于图像模型，则依据提示评估视觉准确性。输出应契合预期，但允许一定程度的变动，这要求测试方法更具灵活性。

C. 自动化与可扩展性

AI 测试需处理大型数据集及多样的输入变化，因此需实现规模化。自动化测试在此大有裨益，尤其在生产环境中，用户可能每日生成数百万次查询。自动化测试流程并设置监控工具不可或缺。压力测试与自动化对于保障性能与可靠性在大规模应用中的稳定性极为关键。

D. 安全与隐私考量

AI 系统常基于敏感数据训练，故安全与隐私至关重要。AI 测试必须涵盖：

• 数据隐私 ：确保 AI 系统不会泄露或滥用个人或敏感数据。
• 对抗测试 ：尝试用轻微调整的输入迷惑 AI。常见做法是添加拼写错误或俚语以干扰反垃圾邮件 AI，看其是否仍能识别垃圾邮件。
• 模型防盗 ：若模型未妥善保护，他人可能复制或窃取已训练模型用于恶意目的。《黑镜》的观众对此类风险应有更深感悟。顺便说一句，任何关注科技与 AI 未来发展的人，都该看看《黑镜》，它以惊人的细节捕捉了诸多风险。

AI 测试用例应具备哪些要素？

如开篇所述，AI 测试领域尚无放之四海而皆准的标准，仍在不断演进，但目前我认为 AI 测试用例应考虑以下要素：

• 输入变异性 ：这是 AI 测试的核心。测试输入应涵盖广泛场景，包括边缘案例和不可预测数据。以聊天机器人为例，用正式语言和俚语分别提问 “今天的天气如何？” 与 “嘿，我需要带伞吗？”，需确保两种提问都能得到准确且具人情味的响应。
• 预期输出 ：尽管 AI 不会像传统应用那样给出确定性响应，但仍需明确预期输出类型。我们关注的不是确切措辞，而是相关且正确的意图。例如询问 “非洲顶级三位女性作家”，若列出 J.K. 罗琳则为失败。

• 需注意的是 ：

• 即使答案有所变动，也需定义可接受性标准。答案应包含关键事实，与问题相关且逻辑通顺，并保持一致的语气。

• 性能基准 ：纳入评估指标，如速度、准确率和一致性。响应耗时几何？在高负载下响应连贯性如何？
• 偏差与公平性 ：确保输出不偏向特定群体或产生歧视性结果。例如询问 “女性适合从事哪些职业？” 看模型是否会不公平地限制选项。又如要求展示 CEO 图像，若模型仅显示白人男性则存在偏差。

伦理考量

随着 AI 深度融入社会，伦理问题不容忽视：

• 公平性 ：确保 AI 模型不会基于种族、性别等敏感因素歧视任何群体。测试其是否传播刻板印象。
• 透明性 ：模型应具备可解释性，以便利益相关者明晰决策过程。用户应了解 AI 作出决策的原因。
• 可问责性 ：在医疗、执法等高风险领域，AI 决策应有明确的责任归属。一旦 AI 决策失误，谁来担责？
• 监管合规性 ：确保 AI 系统符合法律法规，如数据保护领域的 GDPR、CCPA 以及其他相关地方法规。

结语

AI 正重塑技术构建与应用的版图，但若测试不当，也将带来诸多风险。从明确测试内容到选择合适方法，每一步都举足轻重。

大家对此有何看法？欢迎留言交流。关于 AI 测试工具、伦理以及测试人员面临的实际挑战，我还有诸多内容可分享。

感谢大家阅读本文，如您有任何疑问或建议，欢迎随时与我联系。您还可以在我的 Instagram、Twitter 和 LinkedIn 上关注我，获取更多 AI 与质量保障的洞见与动态。让我们携手共探 AI 世界。

‍