9 种变换,可串联
reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N,也可以串成 reverse,uppercase 这样的组合。
every-other-token 是一款用 Rust 编写的命令行和 Web 工具,在 OpenAI 或 Anthropic 的 token 流到达时实时拦截它。它会改写每隔一个 token(或任意比例),并告诉你模型对每个 token 有多大把握:逐 token 实时显示置信度 exp(logprob) 和困惑度 exp(-logprob)。
录制自 every-other-token --web --provider mock 的真实 /stream 接口。mock 提供方把一段固定回复和固定的 logprobs 送进与真实模型完全相同的拦截流程,因此无需 API key 即可运行。换成 OpenAI 或 Anthropic 后,token 和数字就都来自模型本身。
共四个阶段,下面是 mock 提供方使用 reverse 变换、rate 0.5 的一次真实运行。
exp(logprob)、困惑度 exp(-logprob),以及排名靠前的候选词。--rate),或者只挑置信度低于 --min-confidence 的 token,送去做一次变换。无需安装 Rust:Windows .exe(双击即可打开 Web 界面)、macOS Apple Silicon、macOS Intel、Linux x86_64。也可以先运行 scoop bucket add mattbusel https://gitlab.com/mattbusel/scoop-bucket 再 scoop install every-other-token,或者 brew install mattbusel/tap/every-other-token,或者 cargo install every-other-token(Rust 1.81+)。
$ cargo install every-other-token$ every-other-token "What is consciousness?" --provider mock --visual$ export OPENAI_API_KEY=sk-... # or ANTHROPIC_API_KEY with --provider anthropic $ every-other-token --web # http://localhost:8888
token 流一到就打印出来。加上 --visual 会高亮被改写的 token;换成 --heatmap 则按重要性为每个 token 着色。
每个被拦截的 token 都是一个事件,包含原文、实际显示的内容、序号、是否被改写、置信度、困惑度和排名靠前的候选词。你可以通过库直接使用,用 --json-stream 以 JSON lines 输出,或者导出为 CSV、JSONL 或独立的 HTML 热力图。
cargo run --example mock_stream。--web 提供一个单页面,无需构建,也不加载任何外部脚本。支持单栏、分栏、四栏(同时运行四种变换)、OpenAI 与 Anthropic 对比、A/B 系统提示词、研究仪表盘、JSON 和 CSV 导出,以及多人在流式输出过程中一起编辑 token 的协作房间。

reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N,也可以串成 reverse,uppercase 这样的组合。
--rate 0.3 可按任意比例均匀分布改写。--seed 让随机变换可以复现。--min-confidence 只改动模型没把握的 token。
--diff-terminal 把 OpenAI 和 Anthropic 的流并排输出,并比较两者的置信度结构。
用两套系统提示词对同一条用户提示词反复运行,再用 Welch t 检验(--significance)检验置信度的变化。
--research --runs 20 以无界面方式运行,把困惑度、置信度和词汇的汇总统计写入 JSON。
把任意一次会话录制成 JSON,之后再回放,比如用来发现模型更新后行为有什么变化。