猫の手道具箱ロゴ

猫の手道具箱

このサイトは社内情シスやPGに役立ちそうなツールを公開しています。

English
🔒 入力した内容は、ブラウザの中だけで処理します(サーバーへ送信しません) 詳細最終更新:

プロンプトのトークン数見積もり・費用試算

① プロンプトのテキストから、概算のトークン数と、減らせそうな部分を調べます。 ② 入力した単価と回数から、利用費用と、1分あたりの制限に収まるかを試算します。 どちらも、ブラウザの中だけで計算します。

トークン数は、本物のトークナイザーではなく、文字の種類から求めた概算です。幅をつけて表示します(精度は、下の「概算の精度」を参照)。 例を選ぶ側は、Few-Shot例動的セレクターで試せます。

① トークン数の概算と、冗長部分の確認

概算トークン数
―

該当する箇所(先頭の300行まで)

テキストを入力すると、繰り返しの行(黄色)や全角の英数字(赤)が、ここに色つきで表示されます。

整えたテキストを作る

② 費用と、1分あたりの制限の試算

最初に入っている単価・上限は、仕組みを見せるための仮の値で、実在のモデルの料金ではありません。 使うモデルの料金表を見て、入れ替えてください(本ツールは、単価の表を持っていません)。

単価(100万トークンあたり)

1回のリクエストと、回数

1分あたりの制限(任意。提供元の表示どおりに入力)

シェアする:

概要

LLM に渡すプロンプトの長さを、概算のトークン数で確認し、減らせそうな部分を探すツールです。 あわせて、1回あたり・1日あたり・1か月あたりの費用と、1分あたりの制限に収まるかを、入力した単価と回数から試算します。

※処理はすべて JavaScript で行い、入力したテキストや数値は、サーバーに送信しません。

実務での使いどころ

  • プロンプトの長さを、投げる前に見積もる: システムプロンプトや、貼り付ける資料が、入力の上限や予算に収まりそうかを、おおまかに確認できます
  • 無駄な繰り返しを、見つける: 指示文を何度も貼り足すうちに、同じ文が重なっていないかを、行番号つきで確認できます
  • 月額の目安を、出す: 1回のトークン数・回数・単価から、1か月の費用を試算し、予算内に何回まで使えるかも逆算できます
  • 制限に当たりそうかを、確かめる: 提供元の「1分あたりの上限」を入れて、忙しい時間帯のリクエスト数が収まるかを確認できます

詳しい使い方

主な機能

  • 概算トークン数(幅つき) - 日本語の文字・英単語・数字・記号・空白の個数から、トークン数を概算します
  • 冗長部分の検出 - 同じ文・行の繰り返し、全角の英数字、整形された JSON、長い乱数のような文字列を調べます
  • 整えたテキストの作成 - 全角英数字の半角化、同じ行の削除、JSON の1行化を、選んだ項目だけ行います(元のテキストは変えません)
  • 費用・制限の試算 - 入力した単価で、1回・1日・1か月の費用、予算内の回数、1分あたりの制限の余裕を計算します

使い方の手順

  1. ① にプロンプトを貼り付け、概算トークン数と、検出された項目を見る
  2. 必要なら、整える項目にチェックを入れ、結果の差(概算)を確認して、コピーする
  3. 「この概算を、②の入力トークン数に使う」で、中央の値を ② に入れる(出力トークン数は、自分で入力)
  4. ② に、使うモデルの単価と、回数・制限を入力して、費用と制限の余裕を見る

概算の精度

トークン数は、モデルごとの語彙表(トークナイザー)で決まるため、語彙表を持たずに、正確な数を出すことはできません。 そこで、OpenAI の2種類のトークナイザー(cl100k_base と o200k_base)の実測値に、文字の種類ごとの係数を当てはめて、概算しています。

  • 当てはめに使った文書: 本サイトの記事とツール、Python の標準ライブラリ、npm パッケージの説明文など、329 件(日本語が中心のもの 74 件を含む)
  • 検証: 半分の文書で係数を求め、残りの文書で確かめました。平均の誤差は約5%でした。ただし、最大では5割ほどずれた文書がありました(圧縮されたコードなど)
  • 表示している幅: 2種類の推定のうち、小さいほうを0.85倍、大きいほうを1.15倍した範囲です。検証用の文書では、96%で、2種類の実測値が、この幅に入りました
  • Claude・Gemini など、ほかのモデルのトークナイザーとは、照合していません。幅に入るとは限りません。正確な数が必要なときは、使うモデルの、トークン数を数える機能で確認してください
  • 参考: 英文は1文字あたり約0.21トークンでした。日本語が中心の本文 66 件では、1文字あたり 0.58〜1.06 トークン(平均は、cl100k_base で 0.90、o200k_base で 0.67)で、同じ文字数でも、英文よりかなり多くなります

減らせるもの・減らせないもの(実測)

冗長だと思われがちな書き方を、上記の2種類のトークナイザーで、実際に数えた結果です(トークン数は、cl100k_base / o200k_base の順)。このツールは、効果のあったものだけを、ヒントに出します。

書き方変更前変更後結果
全角の英数字(ABC123HTML API)23 / 164 / 4(半角)大きく減る
整形された JSON(10件のオブジェクト)409 / 409194 / 205(1行)約半分になる
同じ1文を5回繰り返す40 / 358 / 7(1回)回数に比例して減る
空行を5行 → 1行3 / 33 / 3変わらない
行末の空白を除く30 / 3030 / 30変わらない
インデントを、半角4つからタブに20 / 2019 / 19ほぼ変わらない
全角スペース → 半角スペース8 / 78 / 6ほぼ変わらない

※小さな例での実測です。長さや内容によって、数値は変わります。Claude など、ほかのモデルでは、確認していません。

できないこと・注意点

  • トークン数は、概算です。実際の請求の根拠にはなりません。表示は幅で出し、費用の試算には、その幅の中央の値を使います
  • 長い乱数のような文字列(Base64・ハッシュなど)は、実際より少なく出ます。実測では、1文字あたりのトークン数が、英文の約3倍(Base64)や約2.3倍(16進数)でした。該当する部分があるときは、ヒントで知らせます
  • 画像・PDF・ファイルのトークン数は、数えられません。テキストだけが対象です。システムの指示文、ツールの定義、会話の履歴などは、含まれていれば、貼り付けたぶんだけ数えます
  • 単価は、利用者が入力した値だけで計算します。モデルの料金は、変わることがあるため、本ツールは、料金表を持っていません。最初に入っている値は、仮の値です
  • キャッシュは、読み取りの単価だけを扱います。キャッシュへの書き込みに、別の料金がかかる提供元の場合、その分は、含まれません
  • 1分あたりの制限は、キャッシュ分も含めた、多めの数字で見ます。キャッシュ読み取りを、制限の数に含めるかどうかは、提供元ごとに違うため、ここでは含めて(厳しめに)計算します
  • サブスクリプション(月額定額)の利用枠は、扱いません。提供元ごとに、数え方が違うためです。従量課金の API のような、単価と制限が決まっているものが対象です
  • 「整えたテキスト」は、意味が変わることがあります。同じ行の削除は、コードのように、同じ行に意味がある文章では、使わないでください。記号だけの行と、8文字より短い行は、削除しません。コピーする前に、内容を確認してください
  • JSON の1行化では、数値の書き方が、変わることがあります(1.0 は 1 になるなど)。16桁以上の整数が含まれる JSON は、精度が落ちるため、変換しません
  • 共有 URL には、入力したテキストが含まれます。「#」より後ろは、サーバーには送られませんが、URL を渡した相手には、内容が見えます。機密を含むプロンプトは、共有しないでください

よくある質問

Q. なぜ、トークン数を正確に出さないのですか?

A. 正確に数えるには、モデルごとの語彙表が必要で、数十万〜数百万件のデータになるためです。本ツールは、軽く動くことと、入力を外部に送らないことを優先して、概算にしています。

Q. 日本語は、英語より、トークンが多くなりますか?

A. 同じ文字数なら、多くなります。実測では、英文が1文字あたり約0.21トークン、日本語の文章が約0.6〜1.1トークンでした。トークナイザーによって、差は変わります(o200k_base のほうが、日本語は少なくなりました)。

Q. 「Few-Shot例動的セレクター」の推定と、数字が違うのはなぜですか?

A. あちらは、「文字数 ÷ 2」という、単純な換算です。OpenAI 系の2種類のトークナイザーで、実測と比べると、日本語が中心の文では、実測より 14〜53% 少なく、英文では、2倍以上多く出ました。例の取捨を試す目的なら十分ですが、長さや費用の見積もりには、このツールの幅のほうが、実測に近くなります。

Q. 入力したテキストは、サーバーに送られますか?

A. 送られません。概算も、費用の計算も、ブラウザの中だけで行います。

技術仕様とセキュリティ

✓
完全なクライアントサイド処理

すべての計算が、ブラウザ内の JavaScript で行われ、入力したテキストや数値は、サーバーに送信されません。

✓
概算の方法

日本語の文字、英単語の数と英字の数、数字、ASCII の記号、空白、その他の非 ASCII 文字の個数に、係数を掛けて足します。係数は、2種類のトークナイザーの実測に当てはめて求めました。

✓
対応ブラウザ

Chrome、Firefox、Safari、Edge など、主要な最新のブラウザに対応しています。

✓
無料利用

登録不要で、無料でご利用いただけます。