How FlashAttention computes softmax one block at a time
One query's attention scores, split into two blocks and worked through by hand, to see how FlashAttention gets the softmax without having all the scores at once.
Posts
Browse all KbWen Blog articles about AI systems, machine learning, Python, and practical software development.
Python 寫了 __eq__ 之後，物件為什麼不能放進去 set
替 class 寫了 __eq__，正常使用卻會出現 unhashable type 的錯誤。來看看 Python 為什麼這樣處理，以及 __hash__ 該怎麼做。
Setting effort on Claude Haiku 5.5
A look at the effort levels on Claude Haiku 5.5, and what to check when picking one.
Claude Haiku 5.5 超過 100,000 tokens 的請求怎麼計價
我們來看看 Claude Haiku 5.5 的價格，以及每次請求的差別
model.eval() and torch.no_grad() in PyTorch
We look at what model.eval() and torch.no_grad() each change when a model runs at test time.
Python [[0]*3]*3 修改其中一格，為什麼三列都跟著變
用乘號建立二維串列，改了一格卻三列一起變，我們來看看這三列到底是什麼。
Passing back reasoning items in the OpenAI Responses API
We look at the reasoning items the OpenAI Responses API returns during a tool loop and how to send them back.
OpenAI 的 reasoning tokens 怎麼計費
我們來看看 OpenAI 的 reasoning tokens 是什麼，以及 API 的回傳用量。
AI 為什麼愛附和使用者？RLHF 訓練中的阿諛奉承現象
我們來看看 Anthropic 的研究怎麼測量出 AI 助理會附和使用者，又是怎麼發現原因出在人類偏好資料和偏好模型上。
LLM sycophancy, RLHF and preference models
A look at Anthropic's paper on sycophancy in AI assistants and human preference judgments.