توکن

توضیح اولیه

واحد پردازش متن در مدل‌های زبانی؛ مبنای برآورد هزینه و محدودیت طول ورودی/خروجی.