トークン（AI）とは — AI が文を数える単位

4 分で読む

AI サービスや API の料金表を見ていると、「100 万トークンあたり ○○ ドル」「入力トークン」「出力トークン」といった言葉が必ず登場します。

トークンとは文字数と何が違うのか、日本語 1 文字は何トークンになるのか、そして API 連携でよく聞く「アクセストークン」とは同じものなのか。

IT連携マップ編集部が 3 大 AI 製品での実機計測データをもとに、ゼロから分かりやすく解説します。

日本語 1,000 字は何トークンになるのか？

トークンとは、AI モデルが文章を読み書きするときに数える「文字のかたまり」です。

日本語でも英語でも、「1 文字 ＝ 1 トークン」ではありません。何文字が 1 トークンになるかは、モデルによって違います。

IT連携マップ編集部は 2026 年 10 月に、総務省「令和7年版 情報通信白書」の日本語 1,000 文字と、全く同じ内容を英訳した英文（383 単語）を 3 つの主要 AI エージェントに送信し、実際に何トークンとして消費されたかを測定しました（各 3 回の中央値）。

測ってわかった 2 つの重要な事実

1. 同じ日本語 1,000 文字でも、モデルによってトークン数が最大 1.6 倍違う Gemini 4 Argon（525 トークン）は、Claude Fable 5.1（863 トークン）より約 39% 少ないトークン数でした。文をトークンに区切る方法（トークナイザー）が、モデルごとに違うためと見られます。
2. 言語による消費効率の違い Codex（GPT 系）では、同じ内容を伝えるのに日本語（715 トークン）は英語（506 トークン）の約 1.4 倍のトークンを消費します。一方、Gemini 4 Argon では日本語（525 トークン）と英語（521 トークン）でほぼ差がありませんでした。

そのため、文字数だけで費用や制限を見積もることはできず、使うモデルで数えたトークン数で計算する必要があります。

料金とコンテキストウィンドウの大きさは、どうトークンで決まるのか？

料金・使用量・コンテキストウィンドウは、文字数ではなくトークン数で決まります。

Anthropic の文書は、90 万トークンのリクエストも 9 千トークンのリクエストも、1 トークンあたりの単価は同じだと書いています。

また、AI エージェントはチャットで 1 言話しかけるたびに、背後でシステム指示やツール定義をまとめて送信するため、「質問文のトークン数」より「毎回一緒に送られる物のトークン数」の方がずっと大きくなる点に注意が必要です（コンテキストとは）。

認証のトークンとは何が違うのか？

IT やクラウド連携の分野では、セキュリティ用語としても「トークン」という言葉が頻出します。これらは名前が同じだけで、別の物です。

「トークンの漏洩に注意」と言うときは認証トークン（鍵）を指し、「トークンの消費を節約する」と言うときは AI の計算トークンを指します。認証トークンの管理については API トークンはいつ切れ、取り消せるか で詳しく解説しています。

ここから先は調査の詳細です（約 1 分）。上のカードだけで決められます。調べた 1 件ずつの記録は IT連携マップ に、出典 URL と調査日つきで公開しています。