Token
AI 概念Token 是语言模型读取和生成文本时使用的文字、标点或代码片段单位同一句话在不同模型中可被切成不同数量的 Token。例如，输入和输出的片段数会影响可放内容、等待时间和用量；一个汉字不保证正好是一个 Token。
也常被叫作词元文本令牌
开始前
看过聊天产品里的输入框和长回答。
看完后
能看懂 Token 是文本片段，而不是固定等于一个字或一个词。
一句中英混合的短句怎样被切成 Token
你输入的文字请修复 loginButton.tsx
1请2修复3 login4Button5.6tsx
输入 6 个示意片段输出 3 个示意片段
usage = input + output这是切片关系示意，不代表任何具体模型的精确 Token 结果。
刚才发生了什么
- 1先切片
“帮我改 login 按钮”会按模型自己的规则切成若干文字、符号或代码片段。
- 2再读再写
模型读取输入片段，并一个片段接一个片段地生成回答。
- 3两边都计数
你送进去的内容和模型写出来的内容都会被计入用量。
一个汉字不保证就是一个 Token；准确数量要按具体模型的切分规则计算。
接下来学什么