返回知识库

AI 与提示 · 模型与输出

模型Model

模型是带参数、窗口、开源/闭源和成本边界的档位;按任务挑最小够用的那一档,而不是永远调最强。

先认出顶栏这枚档位芯片,再按任务换档

下面就是聊天设置里的当前模型名牌。默认用轻量开源写摘要;读整本手册会换成大窗;约束互斥时,失败章盖在名牌上。

聊天设置轻量开源
当前档

轻量开源

Instruct · 8B · 开源

上下文 32K

三句摘要又短又固定,这一档够用、便宜、还能私有部署。

原因:短摘要不需要最强推理。下一步:改成读整本手册,看名牌会不会换成大窗档。

知识点:档位不是「越强越好」

名牌上的家族、参数、窗口和归属已经露过,这里只给命名。

  • Instruct 听指令,是大多数调用的默认;Reasoning 更强也更慢更贵。
  • 8B / 70B 是参数量级,同代内越大通常越强,也越贵越慢。
  • 上下文长度是一次能塞多少输入;超窗会被截断或拒答。
  • 开源可私有部署;闭源 API 能力强,但要走云、按量计费。

什么时候用、怎么用

先写任务基线,再挑最小够用的一档。

  • 信号:账单和等待一起爆,或长文档被截断。
  • 适用:每类请求写清要多好、能等多久、预算多少、要不要私有。
  • 不适用:没有基线就永远最强;一次好答案不能当全局默认。
  • 最短路径:定基线 → 过上下文/成本/速度/部署四关 → 日志记下版本和费用 → 失败降级。

正反例:同一批会议纪要,只换默认档

任务都是写三句摘要。

正例高频摘要用开源轻量

固定三句、短输入:8B 够用,延迟低、还能私有部署。不够再升一档。

反例所有请求都默认推理闭源

简单摘要也走最强档:更慢更贵,三句话却不一定更好。

快速自测

要读完整本 300 页手册再回答,预算紧且必须私有部署。货架上该怎么挑?

继续查证

术语的技术定义和行为以这些一手或权威资料为准。

下一步学

和本知识点经常一起出现的概念。