不稳定测试Flaky Test
你可能会说
同一个 commit 的测试一会儿过一会儿不过,别只点重试,查清是时序还是共享数据。
不稳定测试是在代码未改变时仍会时而通过、时而失败的测试。例如 CI 中的页面测试偶发超时,或并行用例抢同一个账号导致结果交替。重试可以帮助确认现象和收集证据,但不能当作修复;稳定失败通常更像真实缺陷或固定配置错误。
也常被叫作Flaky Test不稳定用例间歇性失败测试
延伸阅读 · 权威出处
同一个 commit 的测试一会儿过一会儿不过,别只点重试,查清是时序还是共享数据。
↳先固定同一提交连续运行,才能排除“代码本来就变了”。
先确认代码没有变化却结果变化:同一版本、同一用例连续运行出现通过和失败,说明测试、环境或并发条件中有不可控因素。每次必然失败更像可复现缺陷,排查路径不同。
找可观察的波动来源:检查是否等待了真正完成信号、多个用例是否共享账号或端口、数据是否残留,以及 CI 与本地环境是否不同。记录失败次数和日志,再修正根因。
这个登录测试在同一提交上偶发超时。请连续运行并保留每次日志,检查等待条件、共享账号和测试数据;先找出可复现的波动原因,不要只增加重试次数。