トークン
正式名称
Token
一言でいうと
字句解析で切り出される意味のある最小単位
初心者向け説明
トークンは、字句解析で切り出される意味のある最小単位です。言語処理ツールを理解するうえで重要な基本用語で、応用情報では名称だけでなく「何をするものか」を対応付けて覚えることが大切です。
ポイント
- 字句解析で切り出される意味のある最小単位
- 言語処理ツールの流れの中で役割を整理すると覚えやすい
- 似た用語との違いもセットで確認する
関連用語
関連記事
- 言語処理ツール
🍯 はちみつメモ
トークン = 字句解析で切り出される意味のある最小単位