【第7弾】AIの言葉理解はどう進化したのか？ 病害虫図鑑の「名前検索」から「症状の似ている度合い検索」へ

📖 「名前で引く」と「症状で引く」── 2つの検索方法

農家のみなさんは、病害虫の情報をどうやって調べますか？

この違いが、AIの言葉理解における最大の進化です。

前者がBag-of-Words、後者がEmbedding── 今回はこの2つの違いを徹底的に理解します。

🌾 農業の場合だと「”うどんこ病”と正確に打てる農家より、”なんか葉っぱに白い粉がついてるんだけど…”と相談する農家のほうが圧倒的に多い」です。後者にも対応できるのが「Embedding」の力です。

🔤 Bag-of-Words ── 単語が「出たか出ないか」だけを見る

まずは従来の方法、Bag-of-Words（BoW）を理解しましょう。名前の通り、「単語の袋」です。

Bag-of-Wordsは文章を「どの単語が何回出たか」の表に変換します。

• 文章を単語の集まり（袋）として扱う
• 各単語の出現回数だけを記録する
• 語順は無視される（袋に放り込むイメージ）
• 同じ単語が含まれていれば「似ている」と判定

🚧 Bag-of-Wordsの3つの限界

Bag-of-Wordsは長年使われてきた手法ですが、大きな弱点があります。

🌾 農業の場合だと「農家が”なんか調子悪い”と曖昧に相談するとき、キーワード検索では何もヒットしない。でもベテラン農家なら”それはたぶん○○だよ”と答えられる」イメージです。この「ベテランの直感」をAIで再現するために生まれたのが「Embedding」の技術です。

🧠 Embedding ── 意味を「空間の位置」として扱う

では、Embeddingはどう違うのか。
第2回・第3回で学んだ「ベクトル」「意味の空間」を思い出してください。

Embeddingのポイントは3つです。

• 単語を「意味の座標」に変換する ── 出たか出ないかではなく、意味空間のどこに位置するか
• 似た意味の言葉は近い位置になる ── 「うどんこ病」と「白い粉状のカビ」は隣り合う
• 意味の近さがグラデーションで測れる ── 「同じ／違う」の二択ではなく、0〜1の連続値で比較

💥 大転換 ── 「キーワード一致」から「意味の近さ」へ

ここまでの2つの方式を並べてみましょう。これがAIの言葉理解における最大のパラダイムシフトです。

ChatGPTはキーワード一致で会話しているのではなく、意味の近さで会話している── これが今回の最も重要なメッセージです。

だからこそ、

• 「言い換え」に対応できる ── 「うどんこ病」と言わなくても通じる
• 「方言」に対応できる ── 地域固有の言い方でも意味が近ければ拾える
• 「あいまいな質問」に対応できる ── 「なんか調子悪い」でも、文脈から推測できる

🌾 農業の場合だと「ベテラン農家が新人の曖昧な相談に”ああ、それは○○だよ”と答えられるのは、キーワードではなく『症状の意味の近さ』で判断しているから」です。Embeddingは、このベテランの判断をAIで再現する技術です。

🌐 Embeddingが開いた応用の世界

Embeddingは単なる「検索の改善」にとどまりません。「意味を測る共通言語」として、あらゆるAI応用の土台になっています。

📈 全体の進化を振り返る ── キーワードから意味へ

ここまでの話を、AIの進化の流れとして整理しましょう。

🌾 農業の場合だと「以前の農業AIは『キーワード検索』。Embedding以降のAIは『この症状に似た過去事例を探す』が可能に」なります。農家の曖昧な相談にも対応できる理由がここにあります。そして次回学ぶTransformerが、この文脈理解をさらに進化させます。

まとめ

✅ 5分アクション ── Embeddingの力を体感してみよう

※ この記事はAIツール（ChatGPT・Claude等）を活用して作成し、編集部が内容を確認・編集しています。正確性には十分配慮していますが、最新情報は公式サイト等でご確認ください。