プロンプトのトークン数見積もり・費用試算
① プロンプトのテキストから、概算のトークン数と、減らせそうな部分を調べます。 ② 入力した単価と回数から、利用費用と、1分あたりの制限に収まるかを試算します。 どちらも、ブラウザの中だけで計算します。
トークン数は、本物のトークナイザーではなく、文字の種類から求めた概算です。幅をつけて表示します(精度は、下の「概算の精度」を参照)。 例を選ぶ側は、Few-Shot例動的セレクターで試せます。
① トークン数の概算と、冗長部分の確認
該当する箇所(先頭の300行まで)
テキストを入力すると、繰り返しの行(黄色)や全角の英数字(赤)が、ここに色つきで表示されます。
整えたテキストを作る
② 費用と、1分あたりの制限の試算
最初に入っている単価・上限は、仕組みを見せるための仮の値で、実在のモデルの料金ではありません。 使うモデルの料金表を見て、入れ替えてください(本ツールは、単価の表を持っていません)。
単価(100万トークンあたり)
1回のリクエストと、回数
1分あたりの制限(任意。提供元の表示どおりに入力)
概要
LLM に渡すプロンプトの長さを、概算のトークン数で確認し、減らせそうな部分を探すツールです。 あわせて、1回あたり・1日あたり・1か月あたりの費用と、1分あたりの制限に収まるかを、入力した単価と回数から試算します。
※処理はすべて JavaScript で行い、入力したテキストや数値は、サーバーに送信しません。
実務での使いどころ
- プロンプトの長さを、投げる前に見積もる: システムプロンプトや、貼り付ける資料が、入力の上限や予算に収まりそうかを、おおまかに確認できます
- 無駄な繰り返しを、見つける: 指示文を何度も貼り足すうちに、同じ文が重なっていないかを、行番号つきで確認できます
- 月額の目安を、出す: 1回のトークン数・回数・単価から、1か月の費用を試算し、予算内に何回まで使えるかも逆算できます
- 制限に当たりそうかを、確かめる: 提供元の「1分あたりの上限」を入れて、忙しい時間帯のリクエスト数が収まるかを確認できます
詳しい使い方
主な機能
- 概算トークン数(幅つき) - 日本語の文字・英単語・数字・記号・空白の個数から、トークン数を概算します
- 冗長部分の検出 - 同じ文・行の繰り返し、全角の英数字、整形された JSON、長い乱数のような文字列を調べます
- 整えたテキストの作成 - 全角英数字の半角化、同じ行の削除、JSON の1行化を、選んだ項目だけ行います(元のテキストは変えません)
- 費用・制限の試算 - 入力した単価で、1回・1日・1か月の費用、予算内の回数、1分あたりの制限の余裕を計算します
使い方の手順
- ① にプロンプトを貼り付け、概算トークン数と、検出された項目を見る
- 必要なら、整える項目にチェックを入れ、結果の差(概算)を確認して、コピーする
- 「この概算を、②の入力トークン数に使う」で、中央の値を ② に入れる(出力トークン数は、自分で入力)
- ② に、使うモデルの単価と、回数・制限を入力して、費用と制限の余裕を見る
概算の精度
トークン数は、モデルごとの語彙表(トークナイザー)で決まるため、語彙表を持たずに、正確な数を出すことはできません。 そこで、OpenAI の2種類のトークナイザー(cl100k_base と o200k_base)の実測値に、文字の種類ごとの係数を当てはめて、概算しています。
- 当てはめに使った文書: 本サイトの記事とツール、Python の標準ライブラリ、npm パッケージの説明文など、329 件(日本語が中心のもの 74 件を含む)
- 検証: 半分の文書で係数を求め、残りの文書で確かめました。平均の誤差は約5%でした。ただし、最大では5割ほどずれた文書がありました(圧縮されたコードなど)
- 表示している幅: 2種類の推定のうち、小さいほうを0.85倍、大きいほうを1.15倍した範囲です。検証用の文書では、96%で、2種類の実測値が、この幅に入りました
- Claude・Gemini など、ほかのモデルのトークナイザーとは、照合していません。幅に入るとは限りません。正確な数が必要なときは、使うモデルの、トークン数を数える機能で確認してください
- 参考: 英文は1文字あたり約0.21トークンでした。日本語が中心の本文 66 件では、1文字あたり 0.58〜1.06 トークン(平均は、cl100k_base で 0.90、o200k_base で 0.67)で、同じ文字数でも、英文よりかなり多くなります
減らせるもの・減らせないもの(実測)
冗長だと思われがちな書き方を、上記の2種類のトークナイザーで、実際に数えた結果です(トークン数は、cl100k_base / o200k_base の順)。このツールは、効果のあったものだけを、ヒントに出します。
| 書き方 | 変更前 | 変更後 | 結果 |
|---|---|---|---|
全角の英数字(ABC123HTML API) | 23 / 16 | 4 / 4(半角) | 大きく減る |
| 整形された JSON(10件のオブジェクト) | 409 / 409 | 194 / 205(1行) | 約半分になる |
| 同じ1文を5回繰り返す | 40 / 35 | 8 / 7(1回) | 回数に比例して減る |
| 空行を5行 → 1行 | 3 / 3 | 3 / 3 | 変わらない |
| 行末の空白を除く | 30 / 30 | 30 / 30 | 変わらない |
| インデントを、半角4つからタブに | 20 / 20 | 19 / 19 | ほぼ変わらない |
| 全角スペース → 半角スペース | 8 / 7 | 8 / 6 | ほぼ変わらない |
※小さな例での実測です。長さや内容によって、数値は変わります。Claude など、ほかのモデルでは、確認していません。
できないこと・注意点
- トークン数は、概算です。実際の請求の根拠にはなりません。表示は幅で出し、費用の試算には、その幅の中央の値を使います
- 長い乱数のような文字列(Base64・ハッシュなど)は、実際より少なく出ます。実測では、1文字あたりのトークン数が、英文の約3倍(Base64)や約2.3倍(16進数)でした。該当する部分があるときは、ヒントで知らせます
- 画像・PDF・ファイルのトークン数は、数えられません。テキストだけが対象です。システムの指示文、ツールの定義、会話の履歴などは、含まれていれば、貼り付けたぶんだけ数えます
- 単価は、利用者が入力した値だけで計算します。モデルの料金は、変わることがあるため、本ツールは、料金表を持っていません。最初に入っている値は、仮の値です
- キャッシュは、読み取りの単価だけを扱います。キャッシュへの書き込みに、別の料金がかかる提供元の場合、その分は、含まれません
- 1分あたりの制限は、キャッシュ分も含めた、多めの数字で見ます。キャッシュ読み取りを、制限の数に含めるかどうかは、提供元ごとに違うため、ここでは含めて(厳しめに)計算します
- サブスクリプション(月額定額)の利用枠は、扱いません。提供元ごとに、数え方が違うためです。従量課金の API のような、単価と制限が決まっているものが対象です
- 「整えたテキスト」は、意味が変わることがあります。同じ行の削除は、コードのように、同じ行に意味がある文章では、使わないでください。記号だけの行と、8文字より短い行は、削除しません。コピーする前に、内容を確認してください
- JSON の1行化では、数値の書き方が、変わることがあります(
1.0は1になるなど)。16桁以上の整数が含まれる JSON は、精度が落ちるため、変換しません - 共有 URL には、入力したテキストが含まれます。「#」より後ろは、サーバーには送られませんが、URL を渡した相手には、内容が見えます。機密を含むプロンプトは、共有しないでください
よくある質問
Q. なぜ、トークン数を正確に出さないのですか?
A. 正確に数えるには、モデルごとの語彙表が必要で、数十万〜数百万件のデータになるためです。本ツールは、軽く動くことと、入力を外部に送らないことを優先して、概算にしています。
Q. 日本語は、英語より、トークンが多くなりますか?
A. 同じ文字数なら、多くなります。実測では、英文が1文字あたり約0.21トークン、日本語の文章が約0.6〜1.1トークンでした。トークナイザーによって、差は変わります(o200k_base のほうが、日本語は少なくなりました)。
Q. 「Few-Shot例動的セレクター」の推定と、数字が違うのはなぜですか?
A. あちらは、「文字数 ÷ 2」という、単純な換算です。OpenAI 系の2種類のトークナイザーで、実測と比べると、日本語が中心の文では、実測より 14〜53% 少なく、英文では、2倍以上多く出ました。例の取捨を試す目的なら十分ですが、長さや費用の見積もりには、このツールの幅のほうが、実測に近くなります。
Q. 入力したテキストは、サーバーに送られますか?
A. 送られません。概算も、費用の計算も、ブラウザの中だけで行います。
技術仕様とセキュリティ
すべての計算が、ブラウザ内の JavaScript で行われ、入力したテキストや数値は、サーバーに送信されません。
日本語の文字、英単語の数と英字の数、数字、ASCII の記号、空白、その他の非 ASCII 文字の個数に、係数を掛けて足します。係数は、2種類のトークナイザーの実測に当てはめて求めました。
Chrome、Firefox、Safari、Edge など、主要な最新のブラウザに対応しています。
登録不要で、無料でご利用いただけます。