Machine Learning

Hands-on notes about TensorFlow, Keras, PyTorch, CNNs, LSTMs, Kaggle, and foundational machine learning.

Editor's picks

Fitting preprocessing before the split inflates your accuracy

Fitting a preprocessing or feature-selection step on the whole dataset before the train/test split leaks the labels and inflates a model's estimated accuracy. A pure-noise scikit-learn run shows the gap, and the pipeline fix closes it.

Machine Learning

LSTM 是什麼：三個閘門怎麼運作

LSTM 用遺忘門、輸入門、輸出門三道閘控制 cell state，讓資訊靠加法而不是連乘往前傳，避開一般 RNN 的梯度消失。這篇把當年只列了名字的閘門部分補完，並交代它在 Transformer 之後的位置。

TensorFlow

Machine Learning

Tensorflow2 -- MNIST

TensorFlow 2.x 實作 MNIST 手寫數字辨識：比較繼承 tf.keras.Model 與 Sequential API 兩種建模方式，以及 GradientTape 自訂訓練迴圈的完整程式碼。

Machine Learning

LSTM 是什麼：三個閘門怎麼運作

Machine Learning

Kaggle Titanic 入門：資料裡的訊號在哪裡

Kaggle Titanic 解題紀錄：2017 年用 Logistic Regression 拿到 0.76555，加上回頭讀那支程式的筆記。preprocessing 先把 Age 正規化才跑 Age 小於 16 的規則，Sex 整欄變成同一個值；0.76555 換算回去是 418 題裡答對 320 題。

Machine Learning

TensorFlow 練習 4：word2vec

TensorFlow 練習：用 skip-gram 實作 word2vec 詞向量，並拆開 nce_loss 那一行：訓練時為什麼不掃整張詞彙表，改抽 K 個負面樣本問是非題，以及那些負面樣本是怎麼抽出來的。

Machine Learning

TensorFlow 練習 2：CNN

TensorFlow 練習：用卷積神經網路 CNN 辨識 MNIST 手寫數字，實作兩層 convolution + max pooling + dropout 架構，準確率達 97%~99%。

Machine Learning

TensorFlow 練習 1：Polynomial Regression

TensorFlow 練習：用神經網路擬合二維四次多項式 Polynomial Regression，介紹 tf.placeholder、tf.Variable、square error loss 和梯度下降優化器的基礎用法。

Keras

Machine Learning

Deep Reinforcement learning

A deep reinforcement learning walkthrough: building a DQNetwork with TensorFlow 2 and running Q-learning against OpenAI Gym's MountainCar environment.

Machine Learning

Tensorflow2 -- MNIST

TensorFlow 2.x 實作 MNIST 手寫數字辨識：比較繼承 tf.keras.Model 與 Sequential API 兩種建模方式，以及 GradientTape 自訂訓練迴圈的完整程式碼。

NLP

Machine Learning

Google NLP API parsing

使用 Google Cloud Natural Language API 進行中英文語意分析：從 GCP API Key 設定、JSON 請求格式，到解讀 partOfSpeech、lemma 和 dependencyEdge 結果。

Machine Learning

TensorFlow 練習 4：word2vec

Python

Machine Learning

OpenCV 人臉偵測

OpenCV Haar Cascade 人臉偵測：AdaBoost 弱分類器級聯架構，scaleFactor 與 minNeighbors 到底在數什麼、為什麼要一起調，用 detectMultiScale2 讀出鄰居數量，以及這些 cascade 檔案在現在的 OpenCV 裡的狀態。

Machine Learning

PLA 感知器演算法：權重修正那一步在做什麼

根據林軒田機器學習基石課程實作 PLA，並拆開 w ← w + y·x 這一步：它對內積做了什麼、線性可分為什麼是收斂的前提、資料不可分時為什麼不會停，以及 Pocket PLA 和今天的損失函數換掉了什麼。

scikit-learn

Machine Learning

Fitting preprocessing before the split inflates your accuracy

Machine Learning

k-NN 是什麼：手刻最近鄰，以及向量檢索為什麼改用近似搜尋

從 2017 年那支用 Scipy 手刻的 k-NN 出發：iris 對半切、for 迴圈掃過全部訓練資料，再看 KD tree 怎麼把 75 萬筆的精確查詢壓到毫秒等級，以及維度上到 768 之後樹狀索引為什麼失效、向量檢索為什麼改用 HNSW 這類近似索引。

All posts (14)

為什麼分類的損失函數幾乎都是交叉熵
Fitting preprocessing before the split inflates your accuracy
推薦系統中的冷啟動問題
Deep Reinforcement learning
Tensorflow2 -- MNIST
Google NLP API parsing
OpenCV 人臉偵測
k-NN 是什麼：手刻最近鄰，以及向量檢索為什麼改用近似搜尋
LSTM 是什麼：三個閘門怎麼運作
Kaggle Titanic 入門：資料裡的訊號在哪裡
TensorFlow 練習 4：word2vec
TensorFlow 練習 2：CNN
PLA 感知器演算法：權重修正那一步在做什麼
TensorFlow 練習 1：Polynomial Regression