来源:《美团点评研发过程度量平台建设实践》
流量
故障/缺陷
性能
饱和度
线上告警
可靠性
性能效率
兼容性
易用性
可维护性
安全性
需求 Bug 数
需求打回次数
圈复杂度
类内聚度
构建成功率
千行代码 bug 率
提测打回率
RP decline 率
测试覆盖率
漏测率
CI 拦截问题
缺陷分析
自动化覆盖率
发布成功率
发布回滚率
发布失败恢复时长
相关资源:
框架选型:Appium + Cucumber
相关资源:
常见失败原因:
被测系统出错 | 测试工具出错 | 测试数据错误 | 不可抗力 |
---|---|---|---|
服务缺陷 | 测试平台出错 | 数据写错 | 机房变动 |
服务功能变动 | 数据库连接出错 | 数据失效 | 断电断网 |
环境配置问题 | 依赖的方法异常 | 服务 IP 变更 | 网络异常 |
用例 / 框架问题 | 接口功能变动,用例未更新 | 空调坏了 |