APICheck 交流群 · 欢迎加入讨论
QQ 群二维码
群号: 1058136854

使用 QQ 扫一扫上方二维码即可加群

检测方法论

检测 方法

公开评分组成、探针范围、版本说明与已知局限

公开评分组成

综合分如何由探针得分加权得出

综合分 = 各探针得分(0–100)按权重加权平均。单项探针 ≥90% 通过、≥50% 部分通过、否则未通过。

身份一致性
30%
协议与结构
24%
能力指纹
15%
安全合规
13%
性能稳定
10%
内容质量
8%

探针范围

共 30 项探针,分为 6 大类别

安全合规

HTTPS 传输、Token 注入、提示词防提取、指令劫持与错误信息泄露。

  • SEC传输安全(是不是走 HTTPS 加密传输,别让密钥明文裸奔)
  • S1Token 注入(看账单里有没有偷偷加固定 token)
  • S3指令覆盖(中转站会不会偷偷改掉你写的系统提示词)
  • S4错误信息泄露(报错时会不会把内部信息漏出来)
  • D24Nonce 重放检测(每次问不一样的口令,看是不是拿旧答案糊弄你)

协议与结构

API 能否连通、响应是否符合 OpenAI 兼容格式、心跳与签名字段是否完备。

  • D1协议连通性(能不能正常连上、正常回一句话)
  • HB接口心跳(问一句"你有哪些模型",看接口在不在线)
  • D2响应结构(回包的字段格式对不对,是不是标准 OpenAI 格式)
  • D17响应签名(回包里该有的签名字段齐不齐)
  • D18缓存创建与命中(连问两次一模一样的话,看有没有缓存、号是不是同一个)
  • D19文档识别(发个文档,看它能不能读)
  • D20协议契约一致性(流式和非流式两种问法,回包格式是不是一套)
  • D21错误契约分类(故意问错,看报错格式规不规范)
  • D29端点归属(看响应特征像官方直连,还是转了第三方网关)
  • D30上下文窗口实测(发一段很长的文档,看端点是真的读完了,还是偷偷截断只读了一部分)

身份一致性

返回 model 字段与模型自报身份是否一致,是否存在偷换模型迹象。

  • D3身份一致性(你说用 GPT-4,它到底是不是 GPT-4)
  • D11隐式身份与包装审计(埋几个诱饵,看它是不是套了壳、假装成别的模型)
  • D22身份证据评分(多问几次身份,综合打分看像不像真身)
  • D23Token 对账(它报的 token 数和你实际发的对不对得上,有没有虚报)
  • D25基线比对(和它以前的表现比,看行为有没有漂移)
  • D28模型指纹(用一串刁钻问题采集"指纹",比对到底像哪个模型)

内容质量

指令遵循、Canary 回显、Tool Use 等内容质量与结构化能力。

  • D5内容 Canary(让它复述一句随机口令,看有没有被改字或截断)
  • D7结构化输出(让它按格式调个工具,看 JSON 结构对不对)

性能稳定

流式 TTFT、端到端延迟、多次采样稳定性与 SSE 流完整性。

  • D8响应时延(第一句话出来要等多久(首字延迟))
  • D9性能稳定性(连问几次,看速度和输出稳不稳、有没有偷偷换上游)
  • S5流完整性(流式输出有没有断流、缺字)

能力指纹

多模态视觉、JSON 约束、逻辑推理、长上下文与代码生成等能力真实性指纹。

  • D13多模态(发张图片,看它认不认得)
  • D16能力指纹(做几道有标准答案的题,看能力是不是真货)
  • D26推理档位校验(Juice 测试:同一道难题分低/高思考档位各问一次,看有没有被偷偷降智)
  • D27输出结构校验(画鹈鹕:看它画得完不完整、有没有偷懒拒答)

版本说明

评分公式与探针集合的版本演进

评分公式版本

当前版本:v2.0。公式为加权平均,权重根据探针 maxScore 动态计算。若探针集合变更,权重会自动重新归一化。

探针版本

探针集合定期更新以应对模型能力演进与渠道包装变化。每次变更会通过版本号与变更日志公示。

局限

检测结果的使用边界与注意事项

样本偏差

检测结果基于特定时间窗口的样本,可能受网络波动、服务商临时限流或负载均衡影响,不代表长期稳定表现。

模型不确定性

部分模型具有随机性或版本差异,同一模型多次检测结果可能存在细微波动,能力指纹探针仅反映检测时刻状态。

渠道多样性

不同渠道(官转、Max、逆向等)的合规性与稳定性差异较大,同一服务商的不同渠道分组可能表现不同。

想看一份应用这套方法的真实报告?

查看示例报告,直观感受检测方法论如何在结果中体现。

查看完整示例报告

关于本页数据

本页介绍 APICheck 的检测方法论与评分组成。检测基于特定时间窗口的样本,结果不代表长期稳定表现; 具体评分与可用性以排行榜页面标注的更新时间为准。