January 2021

哈囉，大家好，我是Teresa，上週的筆記提到機器學習似乎不可行，但當統計上的資料還有演算法的選擇是「有限」個時，機器學習還是可行的。 那到底為什麼機器學習可以學到東西？當假說函式集合是無限大的時候，到底會發生什麼事情？ 複習機器學習的流程圖，一開始從資料出發，有一個機器學習的演算法，透過資料和它所看到的假說集合，從裡面選擇一個最終的假說函式。 上次加了一個假設是：我們訓練的資料跟最後測試假說的方法都來自同一個分配。 Ein是指在資料上假說的表現；Eout是指未來我們還沒有看過的資料在假說上的表現，我們用同一個分配來描述。 一、假說函數不多的情況 假如假說函式集合不多、資料量又夠多，不管演算法怎麼選擇假說，Ein跟Eout兩者的表現都會長得很像。如果都長得很像，那我們當然要選擇一個Ein最低的，很接近0。因為如果Ein很接近0，那個Eout很大概率機率會很接近0，這樣就達到了學習的效果。 從上述的說明中，機器學習可以分成兩個步驟： 第一個步驟是訓練，訓練是指演算法在跑的時候，我們要確保資料上的表現（Ein）很接近0。 但訓練還不夠，我們要確保這個假說函式在測試未來未知的資料上，Ein跟Eout也很接近。 二、回顧一下，前四集筆記中我們學到的概念： Ep. 1：提到機器學習想做的事情是有個未知的目標函式，希望演算法能找到假說函式，能和目標函式非常接近，錯誤率要越小越好，（也就是Eout要很接近0）。 Ep. 2：希望機器學習在我們已知的資料上做的盡量好就好，（也就是Ein要很接近0）。 Ep. 3：機器學習是在很特定的設定下做，像是批次的資料、監督式學習、二元分類。 Ep. 4：在假說函式有限個的狀況下，Ein跟Eout會很接近。 機器學習實際上拆成兩個問題： 第一個問題是Ein跟Eout會不會很接近？ 第二個問題是如果第一個問題成立，怎麼讓Ein越小越好。 三、假說函式集合有限的數量 那在假說函式集合有限的情況下，這個有限的數量（M）是多少，跟這兩個問題有什麼關係？ 這個數量M有兩種可能性，一種是相對小的數字，另一種是相對大的數字。…

前言 大家好，我是Teresa，這集的學習筆記是要讓大家思考機器學習到底可不可行？那就讓我們開始吧！ 先來做個小測驗吧！若給你以下六張圖，它們分別被歸類為-1或+1，若再給你第七張圖，請你觀察前六張圖片來給定一個規則，你會將第七張圖歸類為+1或-1呢？ 若你的答案是+1，其實答案是+1，因為前三張圖片的最左上角都是黑色的，後三張圖片的左上角是白色的，因此這題的規則是左上角的格子若是黑色就是-1，若是白色就是+1。回到第七張圖，它左上角是黑色的，因此答案是-1。 若你的答案是 -1，其實答案是+1，因為前三張圖片沒有對稱，後三張圖都是對稱的，因此這題的規則是有對稱的為+1，沒有對稱的為-1。回到第七張圖，它是有對稱的圖形，因此答案是+1。 其實還有更多隱藏的規則。發現了嗎？不同人所看到的規則都不同，因此不管你說的答案是哪個，都可能是錯誤的。這樣看起來機器學習是不是不可行呢？ 如果從數學的角度來看另一個例子，若有3個位置而每個位置都只能有0或1，給定五筆資料，那你會怎麼決定這題的函式g呢？ 輸入 輸出 0, 0, 0 +1 0, 0, 1 -1 0, 1, 0 -1 0, 1, 1…