このツールでできること

トークンカウンターは、OpenAIモデルが使用するものと同じBPEエンコーディングでテキストを分割し、その結果をカウントします。トークンはLLMの世界で共通の単位です。APIはトークン単位で課金され、コンテキストウィンドウには上限があり、モデルもトークン単位でテキストを読み取ります。プロンプトの作成、RAG用の分割、コストの見積もりなど、何をする場合でも、まずテキストが実際に何トークンになるかを知ることが大切です。

使い方

1. 01テキストを貼り付けるプロンプト、ドキュメント、コードなど、長いほど先に数えておく価値があります。
2. 02適切なエンコーディングを選ぶo200k_base for GPT-5/4o/o-series, cl100k_base for GPT-4/3.5.
3. 03カウントを確認する入力中もリアルタイムでカウントされます。エンコーディングテーブルは一度読み込まれると、そのまま保持されます。
4. 04色分けされた分割を確認する隣り合うトークンが交互に色分けされるため、どこで分割され、どこがまとまっているかをひと目で確認できます。
5. 05必要に応じてトークンIDを確認するID表示に切り替えると、モデルが受け取る実際の整数列を確認できます。

仕様と上限

入力

ファイルのアップロード不要

エンコーディング

OpenAI ×2 · Qwen3.5 · GLM-5.2 · Kimi · MiniMax-M3

カウント基準

実際のBPEで計測（推定ではありません）

分割表示

最初の1500トークンを色分け

カウント上限

なし（全文）

オフラインで使用可能

テーブルの読み込み後

OpenAI（GPTファミリー）に加え、Qwen3.5、GLM-5.2、Kimi、MiniMax-M3の公式語彙に対するカウントは正確です。ClaudeとGeminiはトークナイザーを非公開にしているため、数値は目安としてご利用ください。語彙ファイルのサイズは1–4MBで、初回使用時に一度ダウンロードされ、その後はキャッシュされます。

最良の結果を得るためのヒント

• 中国語は英語よりコストが高い同じ意味でも、中国語では英語の1.5～2倍のトークン数になることがよくあります。多言語アプリでは言語ごとに予算を見積もりましょう。
• コードは細かく分割されるインデント、記号、camelCaseはすべてトークンを増やします。大きなファイルを貼り付ける前にカウントしましょう。
• ウィンドウに余裕を残す入力と出力はコンテキストウィンドウを共有します。上限いっぱいのプロンプトでは、回答する余地がありません。
• システムプロンプトにも料金がかかるリクエストのたびに再送信されるため、長いシステムプロンプトは見えにくい継続的なコストになります。
• RAGはトークン単位で分割する文字数ではなくトークン数で分割すると、検索スニペットの密度を一定に保てます。
• 構造用トークンに注意するチャットの書式設定によって構造用トークンが少し追加されるため、実際の使用量はテキストのカウントをわずかに上回ります。

Tosea.aiを選ぶ理由

トークンを予算として捉えると、プロンプトはより洗練され、コストも抑えられます。LLM APIフィンガープリントチェッカーと組み合わせてエンドポイントが本物か確認したり、AIでPDFをプレゼンテーションに変換したりできます。AIワークフローの構築と検証を、すべて1か所で行えます。