ACME SUPPORT
OPENAI REQUEST RECEIPT
退款工单摘要 · req-9f31
- 输入 tokens4,500 × $5/M$0.0225
- 缓存输入0 tokens · 未命中$0.0000
- 输出 tokens1,500 × $15/M$0.0225
- 工具 · 订单查询2 次 · 重复调用$0.0060
本次合计待结算
月度外推—
AI 与提示 · 安全与运营
推理成本AI Cost
推理成本（AI Cost）是每次调用的花费：主要 = 输入 token×输入单价 + 输出 token×输出单价（输出更贵），再加存储、向量库与 infra；按月用量外推后与预算比较。降本三把刀是模型档位路由、缓存命中、批处理（半价但延迟从秒级变分钟级），辅以压缩 prompt 与按用量分级；预算是产品约束——请求前估算、请求后记账、服务端限额兜底。它和 routing（替你选档位）、latency（不直接等于成本，批处理降本但增延迟）紧密相关。
一张 AI 请求收据，怎样从超支改到预算内？
先认物：这是退款工单摘要 req-9f31 的真实请求收据，输入、缓存输入、输出和订单查询工具逐行计价。先结算出超预算，再把模型、prompt、缓存和批处理变更写回同一张收据。
场景：退款工单每天夜间生成摘要，月量 100k、预算 $2,000。同一个 req-9f31 从超预算到恢复，所有变化都记回一张收据。
待结算发现超支压缩并缓存批处理核对
待结算：这是一张真实退款摘要请求收据。先按当前强模型、长 prompt、无缓存、实时配置结算，看每个花费来自哪里。
核算法：输入、缓存输入、输出、工具分别计价再相加；单次金额必须乘请求量看月度，批处理折扣只作用于模型 token，不能假装工具免费。
离开这页，只记这几条
上面的同一张收据已经演示超支、压缩恢复和批处理代价；这里给每个账单关系命名，方便复述。
- 成本 = 输入 + 缓存输入 + 输出 + 工具 / infra
- 收据的四行把来源分开记：未缓存输入、缓存输入、模型输出，以及订单查询工具。它们各有用量和单价，不是「每次调用一个价」；生产账单还可能加存储、向量库等 infra。
- 输出 token 更贵
- 同一档位，输出单价通常是输入的 3–4 倍。压缩 prompt 省的是输入；让模型少废话、结构化输出省的是更贵的输出。
- 模型档位是最大的杠杆
- 经济 / 标准 / 强之间单价差 10 倍以上。切一档，月度外推立刻跳一个数量级——这是 routing 在生产里替你做的选择。
- 缓存命中：输入按 ~10% 计
- 重复 prompt 走 prompt cache，缓存 token 按 cache read 价（约一折）计费。收据把「缓存输入」单列，命中后本次合计和月度外推一起下降。
- 批处理：单价五折，但延迟变分钟级
- 供应商用更低利用率的算力跑批，单价打折。代价是延迟从秒级变 ≤30 分钟——这是 latency 不直接等于成本的最佳例子：降本却增延迟。
- 月度外推 + 预算约束
- 单次 × 请求量 = 月度。预算是产品约束：超预算时收据盖出 OVER BUDGET、预算条越线，下一步降档 / 缓存 / 批处理 / 压缩或拒绝；服务端限额是最后兜底，不能只靠前端显示。
- 每次调用可审计
- request id、模型版本、输入/输出 token、单价、缓存与批处理标记都要落盘；按用户、团队、模型聚合，异常峰值能追到具体发布版本。
什么时候要单独盯成本，盯这些信号
出现下面这些情况，成本才值得做成一个独立关注点；否则按用量计费即可。
- 账单随请求量起飞：请求量上万次/天后，单价小数点后两位的差异，月底就是四位数。这时估算和外推才有意义。
- 多模型选型：经济 / 标准 / 强多档可选，需要按请求挑档位——成本是 routing 决策的核心输入之一。
- 预算 / 告警：按用户、租户、产品线设月度预算，超限要降级、排队或拒答，而不是无上限烧钱。
- 批处理 vs 实时 trade-off：用户能容忍分钟级延迟的请求（摘要、索引、批评测），走批处理能砍一半成本。
- 不适合：请求量很小、只有一个模型、且不在意成本——直接调一次，比维护估算与限额更便宜。
怎么把一次成本估对、控住
从一条请求到可审计的月度账单，最短路径是这六步。
- 量 token：输入 / 输出分别估，长上下文先压缩或检索，别整段塞进去。
- 查单价：确认当前模型档位的输入、输出每百万 token 单价，区分实时与批处理价。
- 估单次：输入×输入单价 + 输出×输出单价 + infra，命中缓存则输入按一折。
- 外推月度：单次 × 月请求量，与预算比较，留出重试与工具调用的余量。
- 降本：能延时走批处理，重复 prompt 开缓存，低风险走经济档——routing 自动选档。
- 兜底：服务端按用户 / 租户限额，超限降级或拒答；request id、模型版本、token 与单价落盘可审计。
同一目标，差一个关键选择
都要处理 100k 次/月的「订单状态摘要」。差别只在选档、缓存与是否走批。
摘要用户能容忍 30 分钟延迟。经济档单价低，重复订单 prompt 走缓存输入按一折，批处理再五折。月账单压到强模型基线的 ~10%，SLA 仍满足，超预算风险消失。
「求稳」一律走强模型、每次重新算。月账单随请求量起飞，质量远超摘要所需；一旦请求量翻倍，直接撞穿预算被迫停服，且没有任何缓存 / 批处理留给降级的空间。
快速自测
客服平台月 100k 次的「订单状态摘要」，用户能容忍 30 分钟延迟，预算很紧。下面哪个最划算，为什么批处理能降本但增加延迟？
继续查证
术语的技术定义和行为以这些一手或权威资料为准。
下一步学
和本知识点经常一起出现的概念。