统计口径
请求记录哪些维度、费用如何折算、隐私默认是什么。
8. 统计与隐私
8.1 记录维度
每条 request_log = 一次最终落到客户端的请求(内部重试不单独立行,跳数记在 retries)。
| 维度 | 来源字段 |
|---|---|
| 时间 | created_at(支持任意时间窗、bucket 聚合) |
| 逻辑模型 | route |
| 真实模型 / 提供商 | model / provider |
| 密钥 | key_id(可算单 key 错误率、使用倾斜) |
| 成败 | status(success/error/client_error)+ error_code |
| token | prompt_tokens / completion_tokens / cached_tokens / tokens_estimated |
| 延迟 | ttft_ms(首 token)/ total_ms / tps(流式输出速度,tok/s) |
| 费用 | cost(按 model 价格表计算,未配价格则为 0) |
| 重试 | retries |
计费模式:model.billing_mode 为 token(缺省/历史行)或 per_call。按量:cost = 未命中输入 × input_price + 命中输入 × cached_price + cache_creation × input_price×1.25 + 输出 × output_price(单价均为每 1M token,USD)。按次:成功调用记 per_call_price,失败/客户端错误为 0,忽略 token 用量。估算 usage(上游未回 token)cost=0,且不结算虚拟密钥预算。虚拟密钥用量结算用「换桶与入账同一条更新」:日/月两个窗口各自 CASE WHEN window = 当前 THEN used ELSE 0 END + cost,任一侧超限则整笔不入账;崩溃遗留的 pending 行在 store.Open 改成 error(interrupted),不入日聚合、不结算 VK。展示最多 4 位小数,超出直接截断。
缓存命中计费(仅 billing_mode=token):cached_tokens 单价取 model.cached_price,未配置(0 或负值)回退 input_price。落库口径统一为 inclusive:prompt_tokens 含 cache_read 与 cache_creation,计费时先扣除再按各自单价。Anthropic cache_creation_input_tokens 默认按输入价 × 1.25(5m cache write 官方倍率)。
统计查询优先走每日预聚合表 request_log_daily(写入路径同步 UPSERT,day × route × model × provider × status 粒度 + 10 桶延迟直方图与 10 桶生成速度直方图,均值/p95 由桶反查)。仅当 from/to 覆盖完整本地自然日时走日聚合,否则(Dashboard「最近 24 小时」、任意子日窗)回退明细表,避免把滚动窗放大成昨天+今天两整天。pending 不入日聚合;errors 只计 status='error'(client_error 计入 total 但不计 errors)。延迟类指标只统计成功行。日键按进程本地时区(strftime(..., 'localtime')),fallback 计数用 DayStartUnix/NextDayStartUnix 换算半开区间,不能把 yyyymmdd 当 unix 秒。p95 自低桶累加定位所在桶后,按桶内均匀分布线性插值出具体值(开区间尾桶以末边界 ×2 作插值上界);TPS p95 走浮点分位,不截成整数。总览/分布/时间序列均接受 route/model/provider/status 过滤。请求级 TPS 用最终成功那一跳的生成窗口(attempt.latency - ttft),不是端到端墙钟。
8.2 隐私设计
request_log表结构上不存在任何请求/响应正文——错误场景仅落error_code+error_body(上游错误体截断至 2KB),默认物理上无法泄露- 内容捕获:
capture.enabled只控制成功请求。关闭时默认记录真正转发失败(入站/出站全文进独立content_log);all_backends_unavailable(未实际出站)无论开关都不记。路由白名单对成功和失败同样生效。 - 内容日志独立保留期(
capture.retention_days默认 3 天,独立于log.retention_days);保留期由后台任务每小时自动清理落实(启动 30 秒后先跑一轮),也可经POST /api/maintenance/cleanup手动触发 - key 值仅存
api_key表,日志与统计中只出现key_id;内容捕获的出站请求 URL(request_url)同理——query 中命中 key/token/auth 等片段的参数值脱敏后再落库