API 教程 · 第 14 / 20 个视频
第 14 集|API 为什么不记得上一句?多轮对话、系统提示词与流式输出
直接调 API,模型一句都不记得:这是无状态接口。 本集讲:
- 多轮对话要把之前的对话拼进消息列表,每次整张发过去,所以越聊越贵
- 系统提示词放在列表最前面,规矩放这里,具体问题放用户消息
- 流式输出写一点发一点,用量在结束标记前的最后一块;给人看的界面才需要开
- 思考模式是请求里的开关,更慢、想的部分也算输出 Token,简单的活先关着试
API 教程 · 第 14 / 20 个视频
直接调 API,模型一句都不记得:这是无状态接口。 本集讲: