Tokenization 到底佔多少成本？從 0.1% 到 99% 的落差是怎麼來的
同一串討論底下，有人量到 tokenization 不到總推論時間的 0.1%，也有人量到九成以上的 CPU 時間都花在這裡。這篇看這個落差怎麼來的：算的窗口不同、模型大小不同，還有一些工作根本沒有模型在裡面。
同一串討論底下，有人量到 tokenization 不到總推論時間的 0.1%，也有人量到九成以上的 CPU 時間都花在這裡。這篇看這個落差怎麼來的：算的窗口不同、模型大小不同，還有一些工作根本沒有模型在裡面。