AIは言葉をどう読み書きしている？トークンと「続き」のしくみ【生成AIのなぜ1】

冒頭画像はAI生成の制作イメージです。本文の図解・練習例は、説明内容を確かめながら当サイトで構成しています。

生成AIのしくみをほどく｜全5回の第1回

質問を送ると、言葉が少しずつ画面に現れる。まるで、こちらの話を聞いた誰かが返事を書いているようです。この連載では、身近になった生成AIを「どうして？」からほどきます。第1回は文章。答えの裏側では、言葉を小さな単位に分け、文脈に応じて続きをつくる処理が行われています。

言葉は、そのままの文字列では計算できない

文章を扱う大規模言語モデル（LLM）は、入力をトークンという単位に変えます。一語と一致するとは限らず、単語の一部や記号などが単位になることもあります。単位の切り方は、モデルが使う仕組みや言語によって違います。

たとえば「今日は雨です」をカードに分ける、と想像してください。ここで大事なのは「今日／は／雨／です」という分け方を暗記することではありません。これは説明用の区切りで、実際のトークン分割を再現したものではありません。カードに識別番号を付け、さらに計算に使う数値の並びへ変換する、と考えると入口をつかめます。

次の一片を、文脈に合わせて選ぶ

現在広く使われる自己回帰型の文章生成では、すでに入力・生成されたトークンを手がかりに、次のトークンの候補を計算します。一つ選んだら、その一つも手がかりに加え、また次を計算します。短い返事も長い説明も、この繰り返しで組み立てられます。

「傘を忘れたので」と「計算を確かめたので」では、続きにふさわしい言葉が違います。直前の一語だけを見るわけでもありません。Transformerと呼ばれる方式では、注意機構などによって入力内の要素の関係を扱います。どの範囲を一度に扱えるかには上限があります。

「続きの予測」と聞くと、スマホの予測変換を大きくしただけに感じるかもしれません。ただし、予測を学ぶ過程で、文法や概念の関係、問題を解くためのパターンなども学習されます。目的が予測であることと、単純な単語のつなぎ合わせしかできないことは同じではありません。

同じ質問でも、同じ文章になるとは限らない

候補からどう選ぶかにも方式があります。選択の仕組みにランダム性が入る場合、同じ質問でも表現が変わり得ます。「昨日と答えが違う」ことだけでは、知識が更新されたのか、選び方が違ったのかは判断できません。利用サービス側のモデル変更や、会話の条件の違いもあり得ます。

ここでの「確率」は、その記述が現実に正しい確率と同じではありません。文章として続きやすいことと、事実として裏づけられていることを分けておくと、後の回で扱う間違いも理解しやすくなります。

短い問いを、条件のある問いに変えてみる

身近な練習として「雨の説明を書いて」と「小学生向けに、雲の中の水滴と地上へ落ちる雨の違いを、二つの段落で説明して」を比べてみましょう。対象・取り上げる違い・長さを指定すると、続きをつくるための手がかりが具体的になります。出力を事実確認する作業は、どちらでも必要です。

新しいアプリを契約する必要はありません。まず紙の上で、自分がほしい返事の条件を三つ書くだけでも十分です。「何でも知っている相手」より、「与えた文脈から文章を組み立てる仕組み」と捉えると、質問の直し方が見えてきます。

同じ一語でも、前後で役割が変わる

「銀行の口座」と「川の土手」。英語ならbankという同じ綴りが、文脈によって違う意味になります。言語モデルを考えるときも、一つの単位へいつも同じ意味の札が貼ってある、と想像しすぎないことが大切です。入力の中でほかの要素とどう関係するかが、後の処理に関わります。

日本語で考えるなら、「冷たい水を飲んだ」と「冷たい返事が来た」を比べてみましょう。「冷たい」が温度を述べる場合と、態度を表す場合があります。単語を辞書で引く作業と、文章の中での関係を計算する作業を分けると、長い文脈が必要になる理由が見えてきます。

だからといって、注意機構の図だけを見て「このモデルは人間と同じ意味で理解した」と結論づけることもできません。仕組みの説明と、どの問題をどれだけ正しく扱えるかの評価は、別々に確かめる必要があります。

二つの依頼文を、出力条件から読み比べる

「雨について説明して」には、相手の年齢も、知りたい範囲も、文章の長さも入っていません。そこで「小学生に、雲の水滴が地上へ落ちるまでを、三つの段落で説明して」と書き直します。これで、対象・範囲・形式という三つの条件がそろいます。

返事を読むときは、三段落になったかだけで終わらせず、水滴と水蒸気を混同していないか、途中の因果関係が飛んでいないかも見ます。形式を守ったことは、内容が正しいという証明にはなりません。問いを具体的にする工夫と、答えを確かめる工夫を一組で使います。

質問を直すときは、前の回答を全部否定するより「この段落で水滴と水蒸気を分けて説明して」のように、直したい場所を指定してみましょう。試す材料に個人情報や仕事の秘密を使う必要はありません。

画面の一文字と、計算の一単位は一致しない

返事が一文字ずつ出てくるように見えても、表示の刻みがそのままトークンの境目とは限りません。モデルが作った単位を、サービス側がまとめたり分けたりして画面へ出すことがあるからです。画面を眺めただけで、内部の単位数や処理の順番まで測れたとは言わないようにします。

文字数の上限と、モデルが扱えるトークン数の上限も別です。同じ字数でも文章や言語によって分割が異なるので、「日本語一文字が必ず一トークン」のような固定換算はできません。今回は数を暗記せず、文字・計算の単位・意味のまとまりを分けて覚えておけば十分です。

ひとつ、確かめてみよう

「次に出やすい言葉」なら、事実としても正しい？

参考にした一次資料

• Google：大規模言語モデルの概要
• Google：Transformerのしくみ

2026年11月1日確認。本文のたとえ・模式図・練習問題は当サイトで制作しています。