一句话结论
模型上游测试要看协议是否兼容、返回身份是否一致、推理档位是否生效,以及响应是否稳定;单一字段不能证明模型真实。
状态:草稿 / 待审核。没有真实检测结果支撑时,不把本文写成“已实测某站”。
一、先给结论
模型上游测试不是只看返回的 model 字段。更可靠的做法是把证据分层:先看协议是否兼容,再看身份是否一致,然后检查推理档位是否真的生效,最后用多次采样看响应是否稳定。
单一字段、单一请求或单次延迟,都不能证明模型真实;样本不足时应该写“证据不足”,而不是下绝对结论。
二、四个检查维度
| 维度 | 看什么 | 能说明什么 | 不能说明什么 |
|---|---|---|---|
| 协议兼容 | 响应结构、字段形状、错误契约、流式格式 | 接口是否按官方协议工作 | 不能单独证明模型身份 |
| 身份一致 | 返回 model、模型自报身份、usage 字段形状 | 是否存在明显包装或异源字段 | 不能作为司法鉴定 |
| 推理档位 | 高/低 reasoning 档位的思考量与正确率 | 档位是否被压平或剥离 | 不支持 reasoning 的模型不适用 |
| 响应稳定 | 多次请求的延迟、错误率、流式完整性 | 服务是否抖动 | 不能证明长期可用性 |
三、证据强弱分层
- 加密级:官方协议提供的签名或服务端验证证据,例如 Claude native 的签名链路。
- 协议级:字段结构、message id、content block、usage 形状是否符合官方规范。
- 行为级:Canary 回显、指令遵循、Tool Use、能力表现是否与声明模型一致。
- 连通级:只能说明接口能连通,证据强度最低。
越靠前的证据越可靠;越靠后的证据越容易受网络、缓存和上游负载均衡影响。
四、常见误判
- 只看
model字段:这个字段可以被网关改写,必要但不充分。 - 只看延迟:快不等于真,慢也不等于假。
- 只看一次结果:单次检测只反映检测时刻的快照。
- 把“未测到”写成“不及格”:不支持的能力、超时、被掐断,应该标为不适用或未测到。
五、建议步骤
- 用低额度、低权限、短有效期 Key 发起一次授权检测。
- 先看协议与身份证据,再看推理档位和能力指纹。
- 查看报告中的证据说明,不只看综合分。
- 对异常项做第二次复测,避免把单次抖动写成结论。
