Token 计数器

实时分析文本的 Token 组成，可视化 Token 边界。 Token 是大模型处理文本的基本单位，理解它是写出高效 Prompt 的基础。

模型

39tokens170 字符80 词输入预估 $0.0000058 ($0.15/1M)

Token 可视化

悬停查看原始 token 文本 · 紫色 = 空白 token

Token 是大语言模型处理文本的基本单位。↵
↵
对于英文，一个常见单词通常是·1 个 Token。↵
对于中文，一个汉字通常对应·1–2 个 Token。↵
代码和符号的切分方式与自然语言不同。↵
↵
import { streamText } from "ai";↵
import { openai } from "@ai-sdk/openai";

使用 cl100k_base 分割模式（GPT-4 / GPT-3.5 使用相同词表）。Token 数为近似值。

Context Window 占用参考

GPT-4o

<0.1%

GPT-4o Mini

<0.1%

Claude 3.5

<0.1%

系统提示词 + 对话历史 + 用户输入共用同一个 Context Window。超出限制的内容会被截断，通常从最早的消息开始。