别只看答案,
去读 token 流。

every-other-token 是一款用 Rust 编写的命令行和 Web 工具,在 OpenAI 或 Anthropic 的 token 流到达时实时拦截它。它会改写每隔一个 token(或任意比例),并告诉你模型对每个 token 有多大把握:逐 token 实时显示置信度 exp(logprob) 和困惑度 exp(-logprob)。

变换

模型发出的内容

你看到的内容

0 个 token 已改写 0 个 平均置信度 - 有把握 ≥70%不太确定基本在猜 <40%

录制自 every-other-token --web --provider mock 的真实 /stream 接口。mock 提供方把一段固定回复和固定的 logprobs 送进与真实模型完全相同的拦截流程,因此无需 API key 即可运行。换成 OpenAI 或 Anthropic 后,token 和数字就都来自模型本身。

00工作原理

共四个阶段,下面是 mock 提供方使用 reverse 变换、rate 0.5 的一次真实运行。

示意图:1 Intercept(拦截)读取实时流;2 Score(打分)为每个 token 计算置信度 exp(logprob) 和困惑度 exp(-logprob);3 Mutate(变换)反转奇数位的 token;4 Output(输出)在终端、Web 界面或 JSON 中显示 'The kciuq brown xof jumps revo the yzal dog'。
  1. 拦截。它自己建立与模型的流式连接(SSE),因此每个数据块一到达就能看到。
  2. 打分。每个 token 都会得到置信度 exp(logprob)、困惑度 exp(-logprob),以及排名靠前的候选词。
  3. 变换。默认每隔一个 token(--rate),或者只挑置信度低于 --min-confidence 的 token,送去做一次变换。
  4. 输出。终端、Web 界面、JSON lines、CSV 或 HTML 热力图。

01两分钟跑起来

无需安装 Rust:Windows .exe(双击即可打开 Web 界面)、macOS Apple Silicon、macOS Intel、Linux x86_64。也可以先运行 scoop bucket add mattbusel https://gitlab.com/mattbusel/scoop-bucket 再 scoop install every-other-token,或者 brew install mattbusel/tap/every-other-token,或者 cargo install every-other-token(Rust 1.81+)。

安装
$ cargo install every-other-token
免 API key 试用
$ every-other-token "What is consciousness?" --provider mock --visual
在浏览器中使用真实模型
$ export OPENAI_API_KEY=sk-...   # or ANTHROPIC_API_KEY with --provider anthropic
$ every-other-token --web        # http://localhost:8888

02在终端中

token 流一到就打印出来。加上 --visual 会高亮被改写的 token;换成 --heatmap 则按重要性为每个 token 着色。

终端:使用 mock 提供方运行 every-other-token,每隔一个词被反转并高亮,共流式输出 22 个 token,变换了 11 个
上面那条命令的真实输出。

03每个 token 都带着自己的数据

每个被拦截的 token 都是一个事件,包含原文、实际显示的内容、序号、是否被改写、置信度、困惑度和排名靠前的候选词。你可以通过库直接使用,用 --json-stream 以 JSON lines 输出,或者导出为 CSV、JSONL 或独立的 HTML 热力图。

cargo run --example mock_stream 输出的逐 token 表格:序号、原始 token、显示的 token、置信度、困惑度
在克隆下来的仓库里运行 cargo run --example mock_stream。

04Web 界面

--web 提供一个单页面,无需构建,也不加载任何外部脚本。支持单栏、分栏、四栏(同时运行四种变换)、OpenAI 与 Anthropic 对比、A/B 系统提示词、研究仪表盘、JSON 和 CSV 导出,以及多人在流式输出过程中一起编辑 token 的协作房间。

分栏视图下的 Web 界面:左边是原始流,右边是变换后的流,每个 token 按置信度加下划线,下方是困惑度和置信度的迷你走势图
分栏视图,mock 提供方。每个 token 下方的下划线就是它的置信度。

05还有这些功能

9 种变换,可串联

reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N,也可以串成 reverse,uppercase 这样的组合。

比例、种子、门控

--rate 0.3 可按任意比例均匀分布改写。--seed 让随机变换可以复现。--min-confidence 只改动模型没把握的 token。

提供方对比

--diff-terminal 把 OpenAI 和 Anthropic 的流并排输出,并比较两者的置信度结构。

A/B 系统提示词

用两套系统提示词对同一条用户提示词反复运行,再用 Welch t 检验(--significance)检验置信度的变化。

研究模式

--research --runs 20 以无界面方式运行,把困惑度、置信度和词汇的汇总统计写入 JSON。

录制与回放

把任意一次会话录制成 JSON,之后再回放,比如用来发现模型更新后行为有什么变化。