模型校验报告

一句话结论

当前 endpoint 有较强的包装层或隐藏 prompt 嫌疑，用户拿到的可能不是原始官方模型行为。

风险摘要

• 总风险分 34/100。整体风险较低。
• 功能指标总分 86/100，智能指标总分 40/100。
• 功能侧看协议一致性 73、流式一致性 100、Usage 一致性 90、路径完整性 83。
• 智能侧看行为指纹 62、工具/函数能力 0、档位保真 59。
• 思考支持判断：已检测到，本次探测出现了活跃的 reasoning 信号。
• Prompt 缓存支持判断：已检测到缓存命中，最高 cached tokens 为 3840。
• 本次鉴定累计消耗 token：输入 243458，输出 1295，合计 244753。

为什么这么判定

• Protocol or usage token behavior is outside the expected baseline range.
• Tier fidelity is below the current baseline or historical norm.
• Tool or function-call capability is weaker than the expected baseline.
• Route integrity is unstable; stream or delivery behavior needs a retest.
• Wrapper contamination probes strongly suggest extra platform instructions, branding, or output rewriting.
• 包装层洁净度为 0.400，越接近 1 越像未被额外包装。
• Usage 偏差率为 233.826，越高越说明返回的 token 口径与本地估算差距越大。
• 平均首事件延迟为 865 ms。
• 工具调用命中率为 0.000。
• 工具结果后续回答匹配度为 0.000。这项指标当前主要在看模型拿到 tool result 后，能否继续产出正确最终答案；若值异常，请优先查看 run archive 中是否记录了 follow-up request/response/error，以区分 endpoint 链路问题与 follow-up 交互兼容性问题。
• 长上下文多跳定位通过率为 0.200。
• reasoning 启用增益为 0.0000，正值说明 reasoning-on 用例整体优于 reasoning-off。
• 已检测到思考能力信号，本次探测中出现了 reasoning 摘要、非零 reasoning token 或启用中的 reasoning 配置。
• 已检测到 prompt cache 命中，本次探测中出现了非零 cached tokens。

功能指标

• 功能指标总分：86/100，有一定偏差，但还不算严重。。
• 协议一致性：73/100，偏差已经比较明显。。
• 流式一致性：100/100，表现稳定，接近预期。。
• Usage 一致性：90/100，表现稳定，接近预期。。
• 路径完整性：83/100，有一定偏差，但还不算严重。。
• Prompt 缓存支持：已检测到缓存命中，最高 cached tokens 为 3840。

智能指标

• 智能指标总分：40/100，存在较强异常信号。。
• 行为指纹：62/100，偏差已经比较明显。。
• 工具/函数能力：0/100，存在较强异常信号。。
• 这项总分包含两层含义：工具调用执行，以及拿到 tool result 后的最终续答。，工具调用命中率 0.000，结果续答匹配度 0.000。
• 档位保真：59/100，存在较强异常信号。。
• 思考支持：已检测到，本次探测出现了活跃的 reasoning 信号。

网络指标

• 平均总延时：3387 ms。
• P95 总延时：8963 ms。
• 平均首包时间：865 ms。
• 平均输出吞吐：8.07 tokens/s。
• 平均流式事件数：11.00。
• 超时次数：0。
• 成功探测数：55。

指标总览

• 功能指标总分：86/100，有一定偏差，但还不算严重。
• 智能指标总分：40/100，存在较强异常信号。
• 协议一致性：73/100，偏差已经比较明显。
• 流式一致性：100/100，表现稳定，接近预期。
• Usage 一致性：90/100，表现稳定，接近预期。
• 行为指纹：62/100，偏差已经比较明显。
• 工具/函数能力：0/100，存在较强异常信号。
• 档位保真：59/100，存在较强异常信号。
• 路径完整性：83/100，有一定偏差，但还不算严重。
• 思考支持：已检测到，本次探测出现了活跃的 reasoning 信号。
• Prompt 缓存支持：已检测到缓存命中，最高 cached tokens 为 3840。

建议动作

• 优先复测协议与流式行为，确认是否确实存在中转兼容层。
• 补做更高难度的长上下文、结构化输出和代码任务，确认是否存在同品牌降级。
• 补做 tools / function call 相关复测，并区分确认是工具调用执行问题，还是 tool result 回填后的续答链路问题。
• 建议增加包装层探针复测，重点看是否存在隐藏 prompt、固定免责声明或品牌注入。

元数据

run_at: 2026-05-13T16:59:44Z
provider: openai
model: gpt-5.4
base_url: https://www.packyapi.com/v1
archive_path: docs/runs/res_b43d230e-ca61-4381-b13b-d4f511ebb217.md
total_input_tokens: 243458
total_output_tokens: 1295
total_tokens: 244753

原始分数

protocol_conformity_score: 73
stream_conformity_score: 100
usage_consistency_score: 90
behavior_fingerprint_score: 62
capability_tool_score: 0
tier_fidelity_score: 59
route_integrity_score: 83
functional_score: 86
intelligence_score: 40
overall_risk_score: 34

指标状态

• 功能指标：86/100，显著偏离
• 协议一致性：73/100，显著偏离
• 流式一致性：100/100，正常
• Usage 一致性：90/100，正常
• 路径完整性：83/100，显著偏离
• 智能指标：40/100，显著偏离
• 行为指纹：62/100，显著偏离
• 工具/函数能力：0/100，显著偏离
• 档位保真：59/100，显著偏离
• 思考支持：已检测到，本次探测出现了活跃的 reasoning 信号。
• Prompt 缓存支持：已检测到缓存命中，最高 cached tokens 为 3840。