3分钟搞清楚什么是Token

2024-06-04 16:43

3分钟搞清楚什么是Token是花子呀_关注

#5分钟科普

这2年各种大语言模型层出不穷，卷得飞起。从一开始GPT问世支持四千个Token的上下文，到后面越来越卷，最近的Gemini更是直接冲到了百万级别的水平。但Token究竟是什么东西，始终还是有点模糊，今天我们就花3分钟的时间来好好了解一下什么是Token。