Inference

網路上常說：要 AI 每次給一樣的答案，把 temperature 設成 0 就好。但有人拿同一個 prompt、temperature 0 連跑 1000 次，還是冒出 80 種不同輸出。原因不是浮點誤差這麼簡單，而是它在 GPU 上跟多少別的請求湊成一批一起算。聊聊為什麼『最確定』不等於『可重現』。