PyTorch

We look at what model.eval() and torch.no_grad() each change when a model runs at test time.

把 softmax 加交叉熵對 logit 的導數一路算出來，結果剛好是預測機率減去標籤。這篇從一個三類別的小例子走進這個梯度，看它為什麼乾淨、又為什麼信心錯得越離譜就修得越用力。