检测方法论
检测 方法
公开评分组成、探针范围、版本说明与已知局限
公开评分组成
综合分如何由探针得分加权得出
综合分 = 各探针得分(0–100)按权重加权平均。单项探针 ≥90% 通过、≥50% 部分通过、否则未通过。
身份一致性
30%
协议与结构
24%
能力指纹
15%
安全合规
13%
性能稳定
10%
内容质量
8%
探针范围
共 30 项探针,分为 6 大类别
安全合规
HTTPS 传输、Token 注入、提示词防提取、指令劫持与错误信息泄露。
- SEC传输安全(是不是走 HTTPS 加密传输,别让密钥明文裸奔)
- S1Token 注入(看账单里有没有偷偷加固定 token)
- S3指令覆盖(中转站会不会偷偷改掉你写的系统提示词)
- S4错误信息泄露(报错时会不会把内部信息漏出来)
- D24Nonce 重放检测(每次问不一样的口令,看是不是拿旧答案糊弄你)
协议与结构
API 能否连通、响应是否符合 OpenAI 兼容格式、心跳与签名字段是否完备。
- D1协议连通性(能不能正常连上、正常回一句话)
- HB接口心跳(问一句"你有哪些模型",看接口在不在线)
- D2响应结构(回包的字段格式对不对,是不是标准 OpenAI 格式)
- D17响应签名(回包里该有的签名字段齐不齐)
- D18缓存创建与命中(连问两次一模一样的话,看有没有缓存、号是不是同一个)
- D19文档识别(发个文档,看它能不能读)
- D20协议契约一致性(流式和非流式两种问法,回包格式是不是一套)
- D21错误契约分类(故意问错,看报错格式规不规范)
- D29端点归属(看响应特征像官方直连,还是转了第三方网关)
- D30上下文窗口实测(发一段很长的文档,看端点是真的读完了,还是偷偷截断只读了一部分)
身份一致性
返回 model 字段与模型自报身份是否一致,是否存在偷换模型迹象。
- D3身份一致性(你说用 GPT-4,它到底是不是 GPT-4)
- D11隐式身份与包装审计(埋几个诱饵,看它是不是套了壳、假装成别的模型)
- D22身份证据评分(多问几次身份,综合打分看像不像真身)
- D23Token 对账(它报的 token 数和你实际发的对不对得上,有没有虚报)
- D25基线比对(和它以前的表现比,看行为有没有漂移)
- D28模型指纹(用一串刁钻问题采集"指纹",比对到底像哪个模型)
内容质量
指令遵循、Canary 回显、Tool Use 等内容质量与结构化能力。
- D5内容 Canary(让它复述一句随机口令,看有没有被改字或截断)
- D7结构化输出(让它按格式调个工具,看 JSON 结构对不对)
性能稳定
流式 TTFT、端到端延迟、多次采样稳定性与 SSE 流完整性。
- D8响应时延(第一句话出来要等多久(首字延迟))
- D9性能稳定性(连问几次,看速度和输出稳不稳、有没有偷偷换上游)
- S5流完整性(流式输出有没有断流、缺字)
能力指纹
多模态视觉、JSON 约束、逻辑推理、长上下文与代码生成等能力真实性指纹。
- D13多模态(发张图片,看它认不认得)
- D16能力指纹(做几道有标准答案的题,看能力是不是真货)
- D26推理档位校验(Juice 测试:同一道难题分低/高思考档位各问一次,看有没有被偷偷降智)
- D27输出结构校验(画鹈鹕:看它画得完不完整、有没有偷懒拒答)
版本说明
评分公式与探针集合的版本演进
评分公式版本
当前版本:v2.0。公式为加权平均,权重根据探针 maxScore 动态计算。若探针集合变更,权重会自动重新归一化。
探针版本
探针集合定期更新以应对模型能力演进与渠道包装变化。每次变更会通过版本号与变更日志公示。
局限
检测结果的使用边界与注意事项
样本偏差
检测结果基于特定时间窗口的样本,可能受网络波动、服务商临时限流或负载均衡影响,不代表长期稳定表现。
模型不确定性
部分模型具有随机性或版本差异,同一模型多次检测结果可能存在细微波动,能力指纹探针仅反映检测时刻状态。
渠道多样性
不同渠道(官转、Max、逆向等)的合规性与稳定性差异较大,同一服务商的不同渠道分组可能表现不同。
关于本页数据
本页介绍 APICheck 的检测方法论与评分组成。检测基于特定时间窗口的样本,结果不代表长期稳定表现; 具体评分与可用性以排行榜页面标注的更新时间为准。
