這次使用 Keras 建立 CNN 疊代模型，來辨識 CIFAR-10 影像資料。 CIFAR-10 是 32*32 的 RGB 彩色圖形，包含飛機、狗、貓等 10 個類別，可以視為 MNIST 的進階挑戰版。 在數據預處理 (Preprocess) 階段，流程與 MNIST 類似，包括標準化與 One-hot encoding。 模型架構： 卷積層 (Convolution)：兩層，選用 3*3 Kernel，Same padding。 池化層 (Max-pooling)：2*2 大小。 全連接層 (Dense)：由 4096 降至 1024，最後輸出 10 個類別。 可以觀察 Keras 與 TensorFlow 在參數表現與語法上的些微差异。 利用 pandas 建立混淆矩陣 (Confusion Matrix)，分析模型是否在特定類別間產生混淆。 從矩陣中可以看出： 第 3 類 (cat) 與第 5 類 (dog) 較容易混淆。 動物類與交通工具類之間區分得相當清楚。 兩層 CNN 準確率：0.732 My Github
這是進入 Kaggle 的第一個試題：Kaggle digit recognizer。 這是一個用 CSV 儲存的 MNIST 問題，因此選用 CNN 來解決。資料格式如下： If we omit the “pixel” prefix, the pixels make up the image like this: 000 001 002 003 ... 026 027 028 029 030 031 ... 054 055 056 057 058 059 ... 082 083 | | | | ... | | 728 729 730 731 ... 754 755 756 757 758 759 ... 782 783 The test data set, (test.csv), is the same as the training set, except that it does not contain the “label” column. Your submission file should be in the following format: ...
利用 CNN 來預測數字 (MNIST) 輸入圖形是一個 2828 灰階 0~9 的數字。輸出是一個 110 的矩陣，代表預測 0~9 的機率分布。 流程如下： 輸入 – convolution – pooling – convolution – pooling – hidden layer – output 在代碼中用到 [None, xx, xx] 和 [-1, XX, xx]，代表我們忽略輸入的大小（batch size），它會跟隨著輸入自動改變。 max pooling 表示我們選擇的是那個 kernel size 裡的最大值。結構中也加入了 dropout 來避免 overfitting。 結果 上圖是沒有 dropout，下圖是有 dropout。就這個例子而言差別不大，但還是看得出來上面的訓練會比測試好。 準確率落在 97%~99% 之間 (1000 次訓練)。 （目前使用 GradientDescent，更換優化器應該會更好）。 My GitHub