9 種類の変換、連結も可能
reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N、または reverse,uppercase のようなチェーン。
every-other-token は、OpenAI や Anthropic のトークンストリームに届いたそばから割り込む、Rust 製の CLI 兼 Web UI です。ひとつおきのトークン(または任意の割合)を書き換え、モデルが各トークンにどれだけ確信を持っていたかを教えてくれます。確信度 exp(logprob) とパープレキシティ exp(-logprob) を、トークンごとにリアルタイムで。
every-other-token --web --provider mock の実際の /stream エンドポイントから記録したものです。モックプロバイダは、固定の返答と固定の logprobs を本物のモデルと同じ傍受パイプラインに通して再生するので、API キーなしで動きます。OpenAI や Anthropic に向ければ、トークンも数値もモデル自身のものになります。
ステージは四つ。モックプロバイダに reverse 変換(rate 0.5)をかけた実際の実行で示します。
exp(logprob)、パープレキシティ exp(-logprob)、上位の候補が付きます。--rate)、または --min-confidence を下回るトークンだけに変換をかけます。Rust は不要です:Windows .exe(ダブルクリックで Web UI が開きます)、macOS Apple Silicon、macOS Intel、Linux x86_64。あるいは scoop bucket add mattbusel https://gitlab.com/mattbusel/scoop-bucket のあとに scoop install every-other-token、brew install mattbusel/tap/every-other-token、cargo install every-other-token(Rust 1.81+)でもインストールできます。
$ cargo install every-other-token$ every-other-token "What is consciousness?" --provider mock --visual$ export OPENAI_API_KEY=sk-... # or ANTHROPIC_API_KEY with --provider anthropic $ every-other-token --web # http://localhost:8888
ストリームは届いたそばから表示されます。--visual を付けると書き換えたトークンがハイライトされ、--heatmap なら代わりに各トークンを重要度で色分けします。
傍受した各トークンはひとつのイベントで、元のテキスト、表示されたテキスト、インデックス、書き換えの有無、確信度、パープレキシティ、上位の候補を持ちます。ライブラリから直接使うことも、--json-stream で JSON Lines として受け取ることも、CSV、JSONL、単体で開ける HTML ヒートマップに書き出すこともできます。
cargo run --example mock_stream を実行。--web はビルド不要、外部スクリプトなしの単一ページを配信します。シングル、スプリット、クアッド(四つの変換を同時に)、OpenAI と Anthropic の比較、A/B システムプロンプト、リサーチ用ダッシュボード、JSON と CSV のエクスポート、そして複数人がストリーミング中のトークンを一緒に編集できるコラボレーションルームを備えています。

reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N、または reverse,uppercase のようなチェーン。
--rate 0.3 で任意の割合の書き換えを均等に散らします。--seed でランダムな変換を再現可能に。--min-confidence はモデルが自信を持てなかったトークンだけを対象にします。
--diff-terminal は OpenAI と Anthropic を並べてストリーミングし、確信度の構造を比較します。
同じユーザープロンプトに対して二つのシステムプロンプトを何度も実行し、確信度の変化を Welch の t 検定(--significance)で検証します。
--research --runs 20 はヘッドレスで実行し、パープレキシティ、確信度、語彙の集計統計を JSON に書き出します。
どのセッションも JSON に記録して後から再生できます。たとえばモデル更新後の挙動の変化を見つけるのに使えます。