一問一答

【雑談】 3 【AI】なぜ文字数ではなく、トークンという言い方をするの？

答え文字数とトークンは異なるから解説🧩 1. トークンとは何か？「トークン」とは、AIにとっての最小の意味単位です。日本語や英語の文章を、AIが理解できるように分解した「かけら」のことです。例入力文トークン分割例（イメージ）「こんにちは」「...