November 2019

上週學程式主題小聚邀請到了Dennis-戴士翔來進行分享，擅長處理數據、資料分析且擁有許多相關經驗的他，透過個案來為我們介紹如何利用Python進行分析與報告的呈現以及如何建模。 (Dennis先前寫過一篇利用Airbnb來進行分析的文章，有興趣的朋友可以參考：https://pse.is/MCA3U ) 【人工智慧出現後的顧客關係管理(CRM)】 過去所進行的管理策略，是基於統計的方法進行資料的蒐集、擬定策略，慢慢地去了解企業的客戶，而在人工智慧出現後，可以透過程式的套件以及機器學習，更快速的去做分析。 而Dennis也提到若是想要善用人工智慧的話，資料就是一項相當重要的要素。 流量分析 採購商品銷售分析 集群分析 顧客流失預測 分類客戶等級 其中，又以集群分析最為重要，可以幫助企業進行掌握消費者輪廓、精準行銷與服務創新的工作，聽到這邊大家心中應該有疑惑，集群分析是什麼？先看看下方的圖，想想看那些會視同一群，哪些又是不同群。 有想法了嗎？我們來看看可以怎麼分~ 所謂的集群分析就是指將消費者分成一群一群的，並從分類出來得群體當中，找出相像的消費者，看看他們的共通點是什麼，會做出什麼樣的選擇。不過，一步一步將資料分類的作法，在資料量不大的時候做起來並非難事，一旦隨著企業的規模越來越大，資料數越來越多時，該怎麼辦？原本的做法是否就會需要付出更多的成本與時間？ 【K-means Algorithm】 簡單來說K-means就是「物以類聚」的概念，是演算法的一種，也是一種無監督式學習(Unsupervised Learning)。可以想像他是一個數學函式y=f(x)，「X」代表變數，你也能想像成顧客分析中消費者的「特徵」，「Y」代表標籤，將X丟入函式中就能得出Y。 【個案分析–Instacart Market】 活動的後半段時間，Dennis利用了案例來解釋以及深入的探討，同時，也教大家該如何利用Python建模，讓機器進行學習以分析資料與數據。 讓我們來假設一個情境(上圖)，一家公司準備進行業務拓展時，意識到自己對於客戶的認知少之又少，沒有經驗可以依循，又或者是有經驗但卻分散在各處或不同人身上，沒有系統性的整理，以致於不知道該從何著手進行計畫，這時有人提出了下列的方案，你認為身為主管階層的你，該選擇哪種方案帶領公司朝向更好的地方發展呢？ 方案一：資料探勘了解消費者 方案二：預測可能爆款商品做採購 方案三：預測折價券發放張數 你應該先問問自己一個問題：「你真的了解客戶嗎？」方案式什麼樣子固然需要仔細思考，不過最重要的是你如何找到公司或是消費者的痛點在哪，他們有什麼樣的需求。當你真正了解客戶的需求後，自然就會理解該做怎樣的決定，背後有哪些細節式需要注意的，避免公司做浪費時間又沒有成效的事情，也能降低風險。…

延續上一篇：利用Airbnb來更了解臺北，這篇我們就要來把自己當成是Airbnb的資料科學家，嘗試建立房屋的訂價模型。 先說說流程： 檢查變數-價格相關性，好讓我們對影響變量有個了解 處理類別資料，轉換為Python的機器學習套件：Sklearn看得懂的東西 清理缺失值 切分資料成訓練、驗證集 利用交叉驗證建模，Baseline（基礎比較）我選擇L1、L2 Regression 建立Random Forest、XGboost Regressor 利用model畫出變數重要性，方便我們優化模型 反覆迭代，持續優化模型 結語，談如何優化與比較好的建模姿勢 (more…)

導論 這幾年共享經濟興起，外送平臺穿梭在大街小巷協助美食傳送、Uber也成為人們便利的代步工具、而其中Airbnb更是創造了「到別人家住與讓陌生人來自己家住」的嶄新概念。共享經濟的本質就是「更有效率地推動經濟」，在經濟學原理中，我們知道當供給量 = 需求量，就會達到市場均衡，而長期來看，市場會走向一個市場均衡點，市場均衡點其實不能說好、也不能說壞。但有一個可以肯定的點就是： 它讓人們的慾望有效得到滿足，而有效滿足的情況下，人們更容易發現經濟進步的方法。 而共享經濟其實就是在動態的創造市場均衡，讓現金流多了流通的管道、combine不同的需求。既然閒置資源是浪費的，那我們就好好利用它。 包括現在很夯的雲端運算，概念其實也是興起於「共享經濟」，結合規模經濟與處理閒置資源的本質，甚至還有結合區塊鏈的分布式運算系統，讓閒置頻寬得以被充分利用，目前被應用在直播、實況等串流巨大的系統中。 (more…)

API，全名叫做 Application Programming Interface，維基百科上的中文翻譯是：「應用程式介面」。這是一個你可能聽過很多次，但從來沒有理解過的東西，常常聽到工程師說著：「串 API」，但還是不知道 API 到底是什麼。 我原本以為在網路上有關 API 的參考資料已經有很多了，應該可以讓初學者理解什麼是 API。但根據我學生們的心得，好像還是有點困難，只好自己跳下來寫一篇，試著來挑戰這個主題，希望寫出一篇淺顯易懂的 API 介紹文。 如果你問我什麼是 API，我會跟你說：「API 就是拉麵店的販賣機」，所以在切入正題之前，我們要先來研究一下日本拉麵店會出現的販賣機。 (more…)

前言 : 以下內容皆使用Weka 3.8.2去做演算法的分析，並且文章會根據分群分析、分類分析，按照這個排序分成兩大部分做探討。 兩個部分皆採用兩種不同類型的Datasets ，「現有Dataset」與「創意Dataset」；此外，每一個Dataset都會用兩種屬於該分群分析或分類分析的演算法。 分群分析會使用的演算法為① K-Means(K-平均法)與② Expectation Maximization, EM(期望最大化法)；分類分析會使用的演算法為① Decision Tree(決策樹)與② REPTree(快速決策樹)。 (more…)

網站搜尋迷思：我的網站已經改好了，上網看看結果吧！ 其實這裡有一個蠻重要的觀念，影響網站排名的結果，有兩個重要的因素 時間 內容 可能有些人會以為網站一修改完或是新的網站上線，馬上就可以被搜尋引擎找到，但是其實Google是靠著自動爬蟲機器人去爬去網路上的數十億的網站，縱使他的動作在快，效能再強，都會需要一定的時間，有時快則兩三天，慢則三至六個月都有可能，快或慢會根據不同的情況而決定。 (more…)

前言 在這個網路越來越發達的時代，大家每天都在上網，使用瀏覽器查詢資料、看影片、購物等等，都與網頁有關，當你在使用時，你有沒有想過網頁也有區分為靜態網頁以及動態網頁呢，可能會有人覺得動態網頁就是在頁面上有動畫，會動的就是動態網頁，而頁面靜止，不會動的就是靜態網頁，其實不然。以下內容我們將介紹何謂動態網頁以及靜態網頁，讓你可以更加了解平時所使用的網頁喔。 靜態網頁 在了解動態網頁以前，也需要先了解靜態網頁究竟是什麼，這樣才能夠真正搞懂靜態跟動態究竟差在哪裡。 超文件標示語言HyperText Markup Language，簡稱：HTML，HTML是網站建置的基礎技術，常與CSS與Javascript配合成一個適合觀看的網頁，讓瀏覽器去讀取，一般判斷方式為網頁副檔名為html或htm皆為靜態網頁，靜態網頁的優勢為容易為搜尋引擎所接受，所以很多動態網頁會將動態網頁轉變成靜態方式，就是所謂的【偽靜態網頁】來提高搜尋引擎的友善度達到排名優化的成效。 當用戶瀏覽器通過HTTP協議向Web伺服器請求提供網頁內容時，伺服器僅僅是將原先的HTML文檔文檔傳送給用戶瀏覽器，用戶看到的內容是標準的HTML文黨的內容，可能在另外加上GIF格式的動態圖片或是Flash動畫等等，如果想更改網頁上的內容，就必須手動更改HTML文檔。 (more…)

前言 對於使用者而言，當你在開啟一個網頁時，如果需要等上一段時間，或是每次在開啟某個網頁時就是比其他網頁來得慢，那麼你是不是下次就會不太願意再來造訪這個網頁了呢。那麼為什麼有些網頁的開啟速度總是比較慢，當然有時候可能跟使用者所處環境的因素導致訊號不佳，但是對於網頁經營者而言，網站若要長久經營，便要考慮使用者的感受。 (more…)

這篇文章適合誰 這篇文章適合想學習Node.js這個框架對於JavaScript並且對於JavaScript有一些認識的讀者，本篇文章將用hello world這個在學習每個程式語言時都會先接觸到的範例，讓你先初步認識Node.js。 何謂Node.js Node.js顧名思義便是使用JavaScript語言作為基礎的框架，特別的是，相對於jQuery或是YUI等在瀏覽器中運行使用的JavaScript框架，Node.js是作為網站程式的後端框架，就如同PHP或是Java一般開發網站。 換句話說，JavaScript不只可以跑在瀏覽器中，還可以當做網站的伺服器。主要的原因是在於隨著Gmail等AJAX網站以及技術的興起，許多的程式開發者紛紛投入心力鑽研JavaScript，並且有許多開發心得、優化技巧陸續被發掘，加上瀏覽器之間的競爭越來越激烈，JavaScript的執行效能持續性的突破，因此最終便誕生了Node.js。 (more…)