Data_science Archives - 快樂學程式

上一篇文章主要介紹如何利用pandas處理字串資料，而這章節的會著重於數值的資料處理以及顯示基礎統計量的方法。在資料分析中，數值資料是非常常見的，而且對於後續的深入分析而言，數值資料能夠讓我們進一步利用推論統計檢定許多因素與目標的關聯性，幫助我們能夠利用檢定結果進行決策，或是發現夠深入的趨勢。   這次我們會使MLB美國職棒大聯盟的各隊歷年統計數據（mlb_team.csv）的公開資料，其中記錄了美國職棒大聯盟從西元1871年至今的各球隊數據，因為最近正好碰到需要分析棒球的運動相關數據，且這份資料大部分的欄位都是數值欄位，正好適合這篇文章主題。 讀取資料： import pandas as pd mlb_teams = pd.read_csv("mlb_team.csv",encode="UTF-8") mlb_teams.head()     向量處理 Vectorize Operations 之前的文章中有提到Pandas是利用向量處理的方式進行資料處理的，所以我們在進行數值運算的時候都是針對單一個欄位將欄位中的所有數值進行相同的運算，如果要針對特定條件的數值進行運算，則需要先進行資料篩選再進行數值處理。 基本上在利用Pandas進行數值運算時，跟我們一般在寫Python計算一樣，只是平常用於運算的變數變成了 DataFrame 物件或是 Series 物件，所以所有Python中的數學運算符，在Pandas都可以直接使用： s = pd.Series() s+11 s-10 s*5…

Open Data： Google Play Store Apps 在前一篇文章中我們介紹了如何調整欄位名稱以及改變欄位的型別，接下來我們要進入下一個重點：開始著手進行資料處理與計算。在進行資料處理時，如果是使用Python原生的資料結構與函式進行處理，往往會需要使用多重迴圈，但使用 Pandas 套件時，我們可以使用名為 Vectorize Opration Technoloage的技術直接針對整個欄位的資料進行處理，這將會大大提升我們的作業效率。 使用資料表 (more…)

Open Data： Google Play Store Apps 在前一篇文章中我們介紹了如何將資料進行分組以及利用特定條件篩選所需資料，這些技術都是檢視資料的範疇，接下來我們將進入資料清理的環節，畢竟在正常情況下，我們所得到的資料並非都非常完美，可能會因為收集方便或是人為疏失造成資料的儲存形式較不利於分析的情況，這時候我們就需要將資料先行整理成容易分析的結構或是型別，降低分析的時間成本，這也是資料清理的價值。 使用資料表 (more…)

Open Data： Mobile App Statistics (Apple iOS app store) 在上一篇文章中，我們介紹了如何檢視與定位資料，並且在文章最後提到「我們在提取 index 的時候，較常使用 mask 進行條件篩選」，這個條件篩選的方法是 pandas 套件中非常重要的功能，也是這篇文章的核心重點。 使用資料表 Notebook Content： 這次我們會使用apple（AppleStore.csv）的公開資料，其中紀錄了兩個app平台商店中所有app的分類、評分、下載量、名稱、大小⋯⋯等相關資料，假設我們是一間app開發公司的分析人員，我們想研究目前市場中哪些分類的評分以及下載量是比較高的。 資料條選件篩選： 首先我們先試著從資料中提取 price 欄位的前20筆資料，看一下app的價格有哪些： print(app.head(20))…

Open Data： Mobile App Statistics (Apple iOS app store) 上一篇我們提到了pandas最重要的兩個資料物件（沒有看過的可以點這個連結），但我們光會存取資料是不夠的，假設我們今天要分析的資料有一萬多筆，且每筆資料都有一百多個欄位，要能直接從如此龐大的資料中分析趨勢或是關聯，基本上是不可能的，所以今天的重點就是介紹如何檢視與定位資料。 使用資料表 Notebook Content： 這次我們一樣會使用apple（AppleStore.csv）的公開資料，其中紀錄了兩個app平台商店中所有app的分類、評分、下載量、名稱、大小⋯⋯等相關資料，假設我們是一間app開發公司的分析人員，我們想研究目前市場中哪些分類的評分以及下載量是比較高的。 首先我們先試著利用 pd.read_csv() 讀取檔案： import pandas as pd app = pd.read_csv('AppleStore.csv') pd.read_csv()…

Open Data： Mobile App Statistics (Apple iOS app store) 當我們在使用python進行一些基本的資料處理時，很常使用python原生的物件，像是 list() , dict() 去存取及運用資料，但當我們的資料變得複雜的時候，這些原生物件反而顯得有些不便，像是二維陣列的元素計算就是較為複雜的資料形式，每一次的運算可能都要使用多個巢狀迴圈去處理，所以面對這種複雜且大量的資料，我們需要專門處理資料的套件幫我們節省一些作業時間，讓我們可以專心的研究資料內容。 使用資料表 (more…)