跳到主要内容

统计口径

请求记录哪些维度、费用如何折算、隐私默认是什么。

8. 统计与隐私​

8.1 记录维度​

每条 request_log = 一次最终落到客户端的请求(内部重试不单独立行,跳数记在 retries)。

维度来源字段
时间created_at(支持任意时间窗、bucket 聚合)
逻辑模型route
真实模型 / 提供商model / provider
密钥key_id(可算单 key 错误率、使用倾斜)
成败status(success/error/client_error)+ error_code
tokenprompt_tokens / completion_tokens / cached_tokens / tokens_estimated
延迟ttft_ms(首 token)/ total_ms / tps(流式输出速度,tok/s)
费用cost(按 model 价格表计算,未配价格则为 0)
重试retries

计费模式:model.billing_mode 为 token(缺省/历史行)或 per_call。按量:cost = 未命中输入 × input_price + 命中输入 × cached_price + cache_creation × input_price×1.25 + 输出 × output_price(单价均为每 1M token,USD)。按次:成功调用记 per_call_price,失败/客户端错误为 0,忽略 token 用量。估算 usage(上游未回 token)cost=0,且不结算虚拟密钥预算。虚拟密钥用量结算用「换桶与入账同一条更新」:日/月两个窗口各自 CASE WHEN window = 当前 THEN used ELSE 0 END + cost,任一侧超限则整笔不入账;崩溃遗留的 pending 行在 store.Open 改成 error(interrupted),不入日聚合、不结算 VK。展示最多 4 位小数,超出直接截断。

缓存命中计费(仅 billing_mode=token):cached_tokens 单价取 model.cached_price,未配置(0 或负值)回退 input_price。落库口径统一为 inclusive:prompt_tokens 含 cache_read 与 cache_creation,计费时先扣除再按各自单价。Anthropic cache_creation_input_tokens 默认按输入价 × 1.25(5m cache write 官方倍率)。

统计查询优先走每日预聚合表 request_log_daily(写入路径同步 UPSERT,day × route × model × provider × status 粒度 + 10 桶延迟直方图与 10 桶生成速度直方图,均值/p95 由桶反查)。仅当 from/to 覆盖完整本地自然日时走日聚合,否则(Dashboard「最近 24 小时」、任意子日窗)回退明细表,避免把滚动窗放大成昨天+今天两整天。pending 不入日聚合;errors 只计 status='error'(client_error 计入 total 但不计 errors)。延迟类指标只统计成功行。日键按进程本地时区(strftime(..., 'localtime')),fallback 计数用 DayStartUnix/NextDayStartUnix 换算半开区间,不能把 yyyymmdd 当 unix 秒。p95 自低桶累加定位所在桶后,按桶内均匀分布线性插值出具体值(开区间尾桶以末边界 ×2 作插值上界);TPS p95 走浮点分位,不截成整数。总览/分布/时间序列均接受 route/model/provider/status 过滤。请求级 TPS 用最终成功那一跳的生成窗口(attempt.latency - ttft),不是端到端墙钟。

8.2 隐私设计​

  • request_log 表结构上不存在任何请求/响应正文——错误场景仅落 error_code + error_body(上游错误体截断至 2KB),默认物理上无法泄露
  • 内容捕获:capture.enabled 只控制成功请求。关闭时默认记录真正转发失败(入站/出站全文进独立 content_log);all_backends_unavailable(未实际出站)无论开关都不记。路由白名单对成功和失败同样生效。
  • 内容日志独立保留期(capture.retention_days 默认 3 天,独立于 log.retention_days);保留期由后台任务每小时自动清理落实(启动 30 秒后先跑一轮),也可经 POST /api/maintenance/cleanup 手动触发
  • key 值仅存 api_key 表,日志与统计中只出现 key_id;内容捕获的出站请求 URL(request_url)同理——query 中命中 key/token/auth 等片段的参数值脱敏后再落库