読むのは答えじゃない。
ストリームだ。

every-other-token は、OpenAI や Anthropic のトークンストリームに届いたそばから割り込む、Rust 製の CLI 兼 Web UI です。ひとつおきのトークン(または任意の割合)を書き換え、モデルが各トークンにどれだけ確信を持っていたかを教えてくれます。確信度 exp(logprob) とパープレキシティ exp(-logprob) を、トークンごとにリアルタイムで。

変換

モデルが送ったもの

あなたに見えるもの

トークン数 0 書き換え 0 平均確信度 - 確信あり ≥70%迷いあり当て推量 <40%

every-other-token --web --provider mock の実際の /stream エンドポイントから記録したものです。モックプロバイダは、固定の返答と固定の logprobs を本物のモデルと同じ傍受パイプラインに通して再生するので、API キーなしで動きます。OpenAI や Anthropic に向ければ、トークンも数値もモデル自身のものになります。

00仕組み

ステージは四つ。モックプロバイダに reverse 変換(rate 0.5)をかけた実際の実行で示します。

図:1 Intercept でライブストリームを読み取り、2 Score で各トークンに確信度 exp(logprob) とパープレキシティ exp(-logprob) を付け、3 Mutate で奇数番目のトークンを反転し、4 Output でターミナル、Web UI、JSON に 'The kciuq brown xof jumps revo the yzal dog' を表示する
  1. 傍受(Intercept)。モデルとのストリーミング接続(SSE)を自前で開くので、チャンクが届いた瞬間にそれを捉えられます。
  2. スコア付け(Score)。各トークンに確信度 exp(logprob)、パープレキシティ exp(-logprob)、上位の候補が付きます。
  3. 変換(Mutate)。デフォルトではひとつおきのトークン(--rate)、または --min-confidence を下回るトークンだけに変換をかけます。
  4. 出力(Output)。ターミナル、Web UI、JSON Lines、CSV、HTML ヒートマップ。

012 分で動かす

Rust は不要です:Windows .exe(ダブルクリックで Web UI が開きます)、macOS Apple Silicon、macOS Intel、Linux x86_64。あるいは scoop bucket add mattbusel https://gitlab.com/mattbusel/scoop-bucket のあとに scoop install every-other-token、brew install mattbusel/tap/every-other-token、cargo install every-other-token(Rust 1.81+)でもインストールできます。

インストール
$ cargo install every-other-token
API キーなしで試す
$ every-other-token "What is consciousness?" --provider mock --visual
本物のモデルをブラウザで
$ export OPENAI_API_KEY=sk-...   # or ANTHROPIC_API_KEY with --provider anthropic
$ every-other-token --web        # http://localhost:8888

02ターミナルで

ストリームは届いたそばから表示されます。--visual を付けると書き換えたトークンがハイライトされ、--heatmap なら代わりに各トークンを重要度で色分けします。

ターミナル:モックプロバイダで every-other-token を実行。ひとつおきの単語が反転・ハイライトされ、22 トークンをストリーミング、11 個を変換
上のコマンドの実際の出力です。

03すべてのトークンに数値が付く

傍受した各トークンはひとつのイベントで、元のテキスト、表示されたテキスト、インデックス、書き換えの有無、確信度、パープレキシティ、上位の候補を持ちます。ライブラリから直接使うことも、--json-stream で JSON Lines として受け取ることも、CSV、JSONL、単体で開ける HTML ヒートマップに書き出すこともできます。

cargo run --example mock_stream によるトークンごとの表:インデックス、元のトークン、表示されたトークン、確信度、パープレキシティ
リポジトリをクローンして cargo run --example mock_stream を実行。

04Web UI

--web はビルド不要、外部スクリプトなしの単一ページを配信します。シングル、スプリット、クアッド(四つの変換を同時に)、OpenAI と Anthropic の比較、A/B システムプロンプト、リサーチ用ダッシュボード、JSON と CSV のエクスポート、そして複数人がストリーミング中のトークンを一緒に編集できるコラボレーションルームを備えています。

スプリット表示の Web UI:左が元のストリーム、右が変換後。各トークンには確信度に応じた下線が引かれ、下にパープレキシティと確信度のスパークラインが並ぶ
スプリット表示、モックプロバイダ。各トークンの下線がその確信度です。

05ほかにできること

9 種類の変換、連結も可能

reverse, uppercase, mock, noise, chaos, scramble, delete, synonym, delay:N、または reverse,uppercase のようなチェーン。

割合、シード、しきい値

--rate 0.3 で任意の割合の書き換えを均等に散らします。--seed でランダムな変換を再現可能に。--min-confidence はモデルが自信を持てなかったトークンだけを対象にします。

プロバイダ比較

--diff-terminal は OpenAI と Anthropic を並べてストリーミングし、確信度の構造を比較します。

A/B システムプロンプト

同じユーザープロンプトに対して二つのシステムプロンプトを何度も実行し、確信度の変化を Welch の t 検定(--significance)で検証します。

リサーチモード

--research --runs 20 はヘッドレスで実行し、パープレキシティ、確信度、語彙の集計統計を JSON に書き出します。

記録と再生

どのセッションも JSON に記録して後から再生できます。たとえばモデル更新後の挙動の変化を見つけるのに使えます。