Machine Learning

Hands-on notes about TensorFlow, Keras, PyTorch, CNNs, LSTMs, Kaggle, and foundational machine learning.

Editor's picks

Fitting preprocessing before the split inflates your accuracy

Fitting a preprocessing or feature-selection step on the whole dataset before the train/test split leaks the labels and inflates a model's estimated accuracy. A pure-noise scikit-learn run shows the gap, and the pipeline fix closes it.

Machine Learning

LSTM 是什麼：三個閘門怎麼運作

LSTM 用遺忘門、輸入門、輸出門三道閘控制 cell state，讓資訊靠加法而不是連乘往前傳，避開一般 RNN 的梯度消失。這篇把當年只列了名字的閘門部分補完，並交代它在 Transformer 之後的位置。

TensorFlow

Machine Learning

Tensorflow2 -- MNIST

TensorFlow 2.x 實作 MNIST 手寫數字辨識：比較繼承 tf.keras.Model 與 Sequential API 兩種建模方式，以及 GradientTape 自訂訓練迴圈的完整程式碼。

Machine Learning

LSTM 是什麼：三個閘門怎麼運作

Machine Learning

Kaggle Titanic 入門：資料裡的訊號在哪裡

Kaggle Titanic 解題紀錄：2017 年用 Logistic Regression 拿到 0.76555，加上回頭讀那支程式的筆記。preprocessing 先把 Age 正規化才跑 Age 小於 16 的規則，Sex 整欄變成同一個值；0.76555 換算回去是 418 題裡答對 320 題。

Machine Learning

TensorFlow 練習 4：word2vec

TensorFlow 練習：用 skip-gram 實作 word2vec 詞向量，並拆開 nce_loss 那一行：訓練時為什麼不掃整張詞彙表，改抽 K 個負面樣本問是非題，以及那些負面樣本是怎麼抽出來的。

Machine Learning

TensorFlow 練習 2：CNN

TensorFlow 練習：用卷積神經網路 CNN 辨識 MNIST 手寫數字，實作兩層 convolution + max pooling + dropout 架構，準確率達 97%~99%。

Machine Learning

TensorFlow 練習 1：Polynomial Regression

TensorFlow 練習：用神經網路擬合二維四次多項式 Polynomial Regression，介紹 tf.placeholder、tf.Variable、square error loss 和梯度下降優化器的基礎用法。

Keras

Machine Learning

Deep Reinforcement learning

A deep reinforcement learning walkthrough: building a DQNetwork with TensorFlow 2 and running Q-learning against OpenAI Gym's MountainCar environment.

Machine Learning