DeepSeek-V3's auxiliary-loss-free load balancing and multi-token prediction
A look at how DeepSeek-V3 keeps load even across its experts during training, and what its multi-token prediction module is for.
MoE
7B、70B 是什麼意思？看懂模型名字裡的參數量
模型的 7B、70B、235B 講的是參數量，B 就是十億。這篇說明參數量代表什麼、怎麼換算，以及 Qwen3-235B-A22B 這種寫法裡的兩個數字又各自代表什麼。