雑談 【雑談】 3 【AI】なぜ文字数ではなく、トークンという言い方をするの?
答え文字数とトークンは異なるから解説🧩 1. トークンとは何か?「トークン」とは、AIにとっての最小の意味単位です。日本語や英語の文章を、AIが理解できるように分解した「かけら」のことです。例入力文トークン分割例(イメージ)「こんにちは」「...
雑談
雑談
新聞記事から考える
新聞記事から考える
新聞記事から考える
新聞記事から考える
雑談
新聞記事から考える
新聞記事から考える
新聞記事から考える