返回知识库

AI 与提示 · 模型与输出

词元Token

大模型先把完整请求切成词元再处理;System、历史、工具结果和本轮输入共同占上下文,也共同决定输入成本。切法随模型而异,应以目标 tokenizer 的实际计数为准。

发送这条消息前,模型会收到多少词元

先看真实聊天输入和本轮请求票据:文字会被切成编号词元,System、历史和草稿一起占用同一个窗口,也一起进入输入账单。

这是准备发送给 AI 的发布说明。输入框下面的票据展示模型本轮真正收到多少词元;编辑草稿或带上上一轮,票据会和聊天对象一起变化。

Release 助手发布频道 · 会话 027
草稿
AI 助手 · 16:20

请把今天的发布说明写成一句话,我会整理成站内公告。

23 输入词元

当前只带 System 和本轮草稿。编辑文字时,词元切分、总占用与成本会同步更新。

从票据里记住四件事

面板已经把关系画在同一张请求票据上,这里只给它们命名。

  • 模型读词元,不直接读字或单词:票据上的每张编号小票就是一个输入词元;长英文可能拆成子词,中文常按单字或短片段切。
  • 切法取决于 tokenizer:同一段文字在不同模型上可能得到不同数量,最终应以目标模型的官方计数器或 API 为准。
  • 整次请求一起计数:System、工具结果、历史对话和本轮草稿都会占窗口;“带上上一轮”会让历史行与合计同时增加。
  • 账单和窗口都看词元:输入词元乘单价得到输入成本,并与上下文上限比较;输出词元通常另计。

什么时候先数词元

看到这些信号时,不要再凭字数猜。

  • 准备发送长文档、多轮聊天或大段工具结果,担心撞到上下文上限。
  • 同样的请求换成中文、代码或罕见术语后,账单和延迟突然上涨。
  • 要比较删历史、做摘要或压缩 prompt 到底省了多少预算。
  • 不适合只看词元:回答是否正确仍要靠评测,词元少不等于质量高。

怎么估一轮请求

从真实载荷走到可发送判断,只要四步。

  1. 拿目标模型的 tokenizer 统计 System、历史、工具结果和本轮输入,不只数文本框。
  2. 把输入合计与上下文上限比较,同时给预期输出留出余量。
  3. 输入词元 × 输入单价,预估输出词元 × 输出单价,两项相加才是整轮成本。
  4. 超预算时先删噪音、摘要历史或分块;重新计数后再发送。

同一条发布说明,只差有没有数完整请求

目标不变,只改变计数范围。

正例:System + 历史 + 草稿一起数

发送前看请求票据,发现历史占了一半预算,于是先摘要上一轮,再为输出留足空间。结果完整、成本可预期。

反例:只数字符和文本框

看到草稿只有一句就直接发,忽略 System 与几十轮历史;实际请求超窗,早期约定被截断,账单也高于预期。

快速自测

聊天输入框只有 20 个词元,但本轮请求票据显示 900 个。最合理的解释是什么?

继续查证

术语的技术定义和行为以这些一手或权威资料为准。

下一步学

和本知识点经常一起出现的概念。