トークン

トークンとは

トークンとは、生成AIがテキストを処理するときに扱う最小の単位のことです。

簡単に言うと、文章を単語や文字のまとまりに細かく区切った一つひとつのかたまりを指します。AIは文章をそのまま読むのではなく、いったんトークンに分割してから処理します。

なお、ここで説明するのは生成AIの文脈での「トークン」です。ブロックチェーンや認証で使われる「トークン」とは別の意味なので、混同しないよう注意してください。

トークンは何のためのものか

生成AIのモデルは、文字の並びをそのまま理解しているわけではありません。文章をいったん決まった単位に区切り、それぞれを数値に置き換えてから処理しています。この区切りの単位がトークンです。

トークンという単位を設けることで、AIはさまざまな文章を共通の形で扱えるようになります。利用者にとっては、入力できる文章の長さ（コンテキスト長）や、サービスの利用量を測るときの目安としても関わってくる考え方です。

トークンの主な特徴

単語や文字のまとまりで区切られる

トークンは、単語そのものの場合もあれば、単語の一部や文字のまとまりの場合もあります。たとえば長い単語は複数のトークンに分割されることがあります。

区切り方はモデルによって異なる

どのように文章をトークンへ区切るかは、モデルが使う「トークナイザ」と呼ばれる仕組みによって決まり、モデルごとに方法が異なります。そのため、同じ文章でもモデルが違えばトークンの数は変わります。

言語によってトークン数が変わる

何文字でひとつのトークンになるかは、言語やモデルによって異なります。「1トークンは約○文字」と一律に決まっているわけではなく、あくまで目安として扱う必要があります。

どのような場面で使われるのか

• AIに入力できる文章の長さの上限（コンテキスト長）を確認するとき
• 長い文章やファイルをAIで処理できるか見積もるとき
• AIサービスの利用量や料金の単位として説明されるとき

これらの場面では、文字数や単語数ではなくトークン数を基準に考えることが多くなります。

具体的な例

長い単語が複数のトークンに分かれる

たとえば英単語「darkness」が「dark」と「ness」という2つのトークンに分割されることがあります。このように、ひとつの単語が必ずしも1トークンになるとは限りません。

入力できる長さの目安として使われる

多くの生成AIサービスでは、一度に入力・出力できる量がトークン数の上限として定められています。扱える文章の長さは、このトークン上限と区切り方の組み合わせで決まります。

関連する用語

LLM（大規模言語モデル）

大量のテキストで学習し、文章を生成するAIモデルのことです。入力された文章をトークンに分割して処理します。

プロンプト

AIに対して出す指示や質問のことです。プロンプトもトークンに分割されてモデルに渡されます。

利点と注意点

注意点

• 「1トークン＝○文字」という換算は一律ではなく、言語やモデルによって変わるため目安として扱う
• トークン数の上限はモデルごとに異なるため、長い文章を扱うときは利用するモデルの仕様を確認する
• 料金やコンテキスト長はトークン数で測られることが多く、文字数とは別の考え方になる

まとめ

トークンとは、生成AIがテキストを処理するときに扱う最小の単位のことです。

文章を単語や文字のまとまりに区切るために使われ、入力できる長さや利用量を測る基準としても登場します。

初心者のうちは、「AIは文章をトークンという小さな単位に分けて処理していて、その数え方はモデルや言語によって変わる」と理解しておけば十分です。