快樂學程式

Open Data：

Mobile App Statistics (Apple iOS app store)

上一篇我們提到了pandas最重要的兩個資料物件（沒有看過的可以點這個連結），但我們光會存取資料是不夠的，假設我們今天要分析的資料有一萬多筆，且每筆資料都有一百多個欄位，要能直接從如此龐大的資料中分析趨勢或是關聯，基本上是不可能的，所以今天的重點就是介紹如何檢視與定位資料。

• 使用資料表

Notebook Content：

這次我們一樣會使用apple（AppleStore.csv）的公開資料，其中紀錄了兩個app平台商店中所有app的分類、評分、下載量、名稱、大小⋯⋯等相關資料，假設我們是一間app開發公司的分析人員，我們想研究目前市場中哪些分類的評分以及下載量是比較高的。

首先我們先試著利用 pd.read_csv() 讀取檔案：

import pandas as pd
    app = pd.read_csv('AppleStore.csv')

pd.read_csv() 讀取檔案方法 (官方document)：

• 常用參數

---

這邊我們做一個小補充，大部分我們在進行資料分析時，常會遇到不同的檔案類型，像是.csv, .txt 甚至是.spss之類的檔案，為了能夠方便讀取各類型的檔案，pandas套件提供了非常多的方法讓我們使用，其中最常使用的莫過於 pd.read_csv() ，畢竟各大公開資料平台以及所有統計相關軟體都可以接受csv檔，所以csv檔案算是非常常見的一種資料檔案類型。

要讀入csv檔也非常的簡單，只要使用 pd.read_csv() 方法並在括號內引入檔案名稱加上副檔名即可，不過有時候會遇到編碼的問題，大部分檔案都可以使用 UTF-8 編碼， 不過有些檔案的編碼可能比較不一樣，會導致檔案讀取錯誤或是出現亂碼，所以要調整 encoding 參數：

data1 = pd.read_csv('DataScience/data1.csv',encoding='UTF-8')  #UTF-8編碼
data2 = pd.read_csv('DataScience/data2.csv',encoding='iso-8859-1')  #其他編碼

除了上面的 iso-8859-1 編碼之外，也可以試試看 encoding=’latin1′, encoding=’cp1252′ 這些編碼(編碼的使用可能會因為語系的不同而有差異，這邊提供的主要是英文常用的編碼)。

以上是csv檔案基本的讀取方法，如果有其他類型檔案的讀取需求，可以詳閱官方文件。

df.head() / Series.head() 顯示前幾筆資料 (官方document)：

---

在讀入資料之後，接著就是查看資料內容以及確認有哪些欄位，所以我們常會使用 df.head() 方法，顯示前五筆資料，講到這邊你可能會有個小疑問就是「前面的方法都是pd 開頭，這邊怎麼變成 df 了？！」，這是因為前面的方法都是直接在pandas套件本身的方法，而上一篇文章我們有說過，我們進行資料讀取之後，會回傳 DataFrame 或是 Series 物件，所以針對 DataFrame 與 Series 的資料操作都是隸屬這兩個物件之下的方法，另外我們在解釋這些方法時為了方便，會簡稱 Dataframe 為 df ，不過要記得！在使用這些方法時，前面不是掛 df 或 Series 而是使用你存取二維陣列的變數。就像下面這樣：

import pandas as pd
app = pd.read_csv('AppleStore.csv')
print(app.head())

          id               track_name  size_bytes currency  price  
0  284882215                 Facebook   389879808      USD    0.0   
1  389801252                Instagram   113954816      USD    0.0   
2  529479190           Clash of Clans   116476928      USD    0.0   
3  420009108               Temple Run    65921024      USD    0.0   
4  284035177  Pandora - Music & Radio   130242560      USD    0.0   

   rating_count_tot  rating_count_ver  user_rating  user_rating_ver      ver  
0           2974676               212          3.5              3.5     95.0   
1           2161558              1289          4.5              4.0    10.23   
2           2130805               579          4.5              4.5  9.24.12   
3           1724546              3842          4.5              4.0    1.6.2   
4           1126879              3594          4.0              4.5    8.4.1   

  cont_rating        prime_genre  sup_devices.num  ipadSc_urls.num  lang.num  
0          4+  Social Networking               37                1        29   
1         12+      Photo & Video               37                0        29   
2          9+              Games               38                5        18   
3          9+              Games               40                5         1   
4         12+              Music               37                4         1   

   vpp_lic  
0        1  
1        1  
2        1  
3        1  
4        1

然而 df.head() 本身是預設顯示前五筆資料，這個資料顯示數量是可以調整的，我們只要在括號裡輸入我們要顯示的數量即可，例如：df.head(10) 這樣就會顯示前10筆資料。

df.tail() / Series.tail() 顯示最後幾筆資料 (官方document)：

---

跟 df.head() 相反，df.tail() 會顯示DataFrame最後面的5筆資料，而且資料顯示數量也是可調整的，這個方法相對於 df.head() 比較不常使用到，大部分是在進行double check 資料是否如我們所想像一樣的時候。

以上兩種方法是最基本的資料顯示方式，接下來要介紹如何查看DataFrame的範圍大小、檢視基本的資料分佈與欄位類型。

df.shape 資料表的範圍大小 (官方document)：

---

df.shape 是二維陣列的其中一個屬性，他記錄了整張資料的長度(資料筆數)與寬度(欄位數量)，它可以幫助我們快速建立對於這張資料的範圍認知，以便選擇要用什麼樣的策略進行下一步分析。

print(app.shape)
>>> (7197, 16)

上面的範例中，我們列印出 app.shape 檢視app的資料範圍，可以看見它回傳了一個 tuple()， 第一個數字代表了資料筆數(共7197筆資料)，第二個數字代表了欄位數量(每筆資料有16個欄位)。

df.columns | df.index 顯示所有欄位/索引名稱 ：

---

有時候我們會遇到資料出現過多欄位，造成顯示長度不夠而有些不方便的情況，這時候我們會先觀察所有欄位的名稱，畢竟光是欄位名稱有時候就包含非常多的資訊了：

print(app.columns)
print(app.index)

下面的結果分別是df.columns 與 df.index ，他們都是 DataFrame物件的屬性且類似 list() 或是 range() ，兩個屬性除了能夠方便我們了解所有欄位或索引的名稱與排列之外，也是在下一個階段「資料清理」中非常重要的兩個屬性。

#app.columns
Index(['id', 'track_name', 'size_bytes', 'currency', 'price',
       'rating_count_tot', 'rating_count_ver', 'user_rating',
       'user_rating_ver', 'ver', 'cont_rating', 'prime_genre',
       'sup_devices.num', 'ipadSc_urls.num', 'lang.num', 'vpp_lic'],
      dtype='object')

#app.index
RangeIndex(start=0, stop=7197, step=1)

df.describe() / Series.describe() 顯示每一個欄位的資料分佈 (官方document)：

---

想必大家應該都有基本資料分佈的概念，df.describe() 方法會計算資料中所有欄位的平均數、中位數、最大值、最小值⋯⋯等統計數值。讓我們可以大致上了解每個欄位的資料分佈。

print(app.describe())

不過如果仔細數一下下面的結果，會發現只顯示了11個欄位，但剛才 df.shape 卻顯示有16欄位啊！？出現這樣的差異是因為，這張app資料有些欄位型別是非數值的，例如：app名稱、分類，如果用 df.describe() 方法顯示整張資料的所有欄位，他只會顯示數值資料的欄位，除非你選定的欄位都是非數值資料，而如何選定資料的方法我們會在下面提到。

                 id    size_bytes        price  rating_count_tot  
count  7.197000e+03  7.197000e+03  7197.000000      7.197000e+03   
mean   8.631310e+08  1.991345e+08     1.726218      1.289291e+04   
std    2.712368e+08  3.592069e+08     5.833006      7.573941e+04   
min    2.816565e+08  5.898240e+05     0.000000      0.000000e+00   
25%    6.000937e+08  4.692275e+07     0.000000      2.800000e+01   
50%    9.781482e+08  9.715302e+07     0.000000      3.000000e+02   
75%    1.082310e+09  1.819249e+08     1.990000      2.793000e+03   
max    1.188376e+09  4.025970e+09   299.990000      2.974676e+06   

       rating_count_ver  user_rating  user_rating_ver  sup_devices.num  
count       7197.000000  7197.000000      7197.000000      7197.000000   
mean         460.373906     3.526956         3.253578        37.361817   
std         3920.455183     1.517948         1.809363         3.737715   
min            0.000000     0.000000         0.000000         9.000000   
25%            1.000000     3.500000         2.500000        37.000000   
50%           23.000000     4.000000         4.000000        37.000000   
75%          140.000000     4.500000         4.500000        38.000000   
max       177050.000000     5.000000         5.000000        47.000000   

       ipadSc_urls.num     lang.num      vpp_lic  
count      7197.000000  7197.000000  7197.000000  
mean          3.707100     5.434903     0.993053  
std           1.986005     7.919593     0.083066  
min           0.000000     0.000000     0.000000  
25%           3.000000     1.000000     1.000000  
50%           5.000000     1.000000     1.000000  
75%           5.000000     8.000000     1.000000  
max           5.000000    75.000000     1.000000

df.info() 資料欄位屬性與非空值數量 (官方document)：

---

接下來的這個方法 df.info() 也非常實用，這個方法會回傳所有欄位的屬性像是 int (整數), float64 (浮點數)或是 object (字串)，以及該欄位有多少非空值，空值在資料處理中是一個非常重要的概念，因為我們有時收集的資料並不會非常完整，可能會因為一些不可控因素而有缺漏，所以這些缺漏的資料就會顯示為空值(NaN)，過多的空值會嚴重影響我們的分析結果，是我們相當不樂見的，而 df.info() 這個方法最重要的價值也就在於它可以讓我們清楚知道哪些欄位有非常多的空值，哪些欄位擁有較完整的資料，以及這些資料的屬性是什麼，可以如何運用：

print(app.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7197 entries, 0 to 7196
Data columns (total 16 columns):
id                  7197 non-null int64
track_name          7197 non-null object
size_bytes          7197 non-null int64
currency            7197 non-null object
price               7197 non-null float64
rating_count_tot    7197 non-null int64
rating_count_ver    7197 non-null int64
user_rating         7197 non-null float64
user_rating_ver     7197 non-null float64
ver                 7197 non-null object
cont_rating         7197 non-null object
prime_genre         7197 non-null object
sup_devices.num     7197 non-null int64
ipadSc_urls.num     7197 non-null int64
lang.num            7197 non-null int64
vpp_lic             7197 non-null int64
dtypes: float64(3), int64(8), object(5)
memory usage: 899.7+ KB
None

上面的結果從左到右分別是「欄位名稱」→ 「非空值數量」→ 「欄位型別」，從非空值數量上來看，我們所使用的公開資料非常的完整，每個欄位都沒有空值出現，這是非常好的現象，代表這些資料的分析的準確性不會受到空值的影響。

以上所有的屬性與方法都是在檢視資料時很常用到的工具，基本上在讀取新資料時，我們都會利用這些工具初步掌握整張資料的概況，讓自己不會再龐大的資料中「迷失方向」，接下來我們要介紹這篇文章的另一個重點——「如何定位資料」。

df.loc[:,:] | df[…] 資料定位方法 (官方document)：

---

在前面介紹 df.columns 的時候有提到，有時候會發生因為顯示長度不夠導致資料會換行顯示，讓資料在比較的時候有些不方便的情況。其實我們在分析資料的時候大多時間都是聚焦在「跟研究目標有關係的幾個欄位」，並不用無時無刻都要把整張資料叫出來，所以我們非常需要一個方法讓我們可以只呼叫某幾個欄位或是某幾筆資料，也就是「資料定位」，之所以會稱之為「定位」，是因為我們的資料就像是一個直角坐標，x軸為欄位(columns)，y軸為索引(index)，單筆資料就是直角座標上的「橫線」，每一個欄位就是一條條「直線」，一格資料可以把它視為一個「點」，而我們就是使用這個類似直角坐標的系統方法定位出我們所需要的資料。

pandas套件中，進行資料定位的方法就是 df.loc[:,:] 這是最完整的使用方式，在我們要定位的DataFrame後面加上 .loc[,] ，這邊的中掛號被逗號(,)隔開，逗號左邊為索引值；右邊為欄位值，例如，我們想要提取 track_name , price , user_rating 這三個欄位的前10筆資料：

print(app.loc[0:9,['track_name','price','user_rating']])

從上面的範例中可以看到：

逗號左邊是 0:9 就是呼叫前10筆資料，這個功能有點像是 list() 物件的slice功能，不同的地方是冒號後面的序數是包含的，所以有顯示到第九號資料。

逗號右邊就是提取 track_name , price , user_rating 欄位，提取方式跟 index 不同，因為 columns 的名稱是字串，用slice的方式提取較不直觀，所以建議使用 list() 把所有的欄位包起來放在逗號右邊。

                 track_name  price  user_rating
0                  Facebook    0.0          3.5
1                 Instagram    0.0          4.5
2            Clash of Clans    0.0          4.5
3                Temple Run    0.0          4.5
4   Pandora - Music & Radio    0.0          4.0
5                 Pinterest    0.0          4.5
6                     Bible    0.0          4.5
7          Candy Crush Saga    0.0          4.5
8             Spotify Music    0.0          4.5
9               Angry Birds    0.0          4.5

上面這種定位方式是提取多筆資料多個欄位的方式，如果只要提取多筆資料的全部欄位，或是多個欄位的全部資料，可以用下面的方式進行定位：

ps.如果只有冒號，代表提取全部資料。

app.loc[0:9,:]  #提取0~9前十筆資料的全部欄位
app.loc[:,['track_name','price']]  #提取track_name,price欄位的所有資料
app.loc[0,:]  #提取第一筆資料的所有欄位
app.loc[:,'track_name']  #提取track_name欄位的所有資料
app.loc[0,'track_name']  #提取第一筆資料的track_name欄位

上面就是各種不同定位資料的形式，因為篇幅問題就不特別把結果顯示出來了～大家可以複製上方的程式碼試試看結果會是什麼樣子。

不過 df.loc[] 如果是提取多個或單個欄位全部的資料時，是可以直接使用中括號提取的，就像下方的程式碼：

app['track_name']  #提取單一欄位的所有資料
app[['track_name','price']]  #提取track_name,price欄位的所有資料

cols = ['track_name','price']  #將要提取欄位名稱的list賦值為變數，再將變數作為app[]的定位欄位
app[cols]

因為我們在分析資料時，很常需要提取特定 columns，分析這些欄位的資料或數值，比較少會
需要提取某幾筆 index 的資料做分析， 這樣的情形比較多會發生在要做資料篩選的時候，像是全部
資料中符合某一條件的資料有哪些之類的情形，這個部分就會使用條件作為遮罩(mask)進行資料篩選，
這也是我們下一篇要介紹的重點。

Written by

Glove Yen

一個不務正業的企管人，喜歡有創造性的事物，從管理到設計到程式，目前正在鑽研資料科學以及網頁前端開發，不知從什麼時候開始已經習慣了每天coding的日子。

—轉自好文作者Glove Yen_Data Science_Python資料處理套件part2 – Pandas 檢視與定位資料
如果你喜歡他的文章、Python資料分析有興趣，歡迎回到他的Blog: glove-coding看更多:)

或接續觀看Pandas 第4講：Python資料處理套件Pandas條件篩選資料

📒 Python Pandas 系列文章：

Pandas 第1講：Python資料處理套件Pandas簡介

Pandas 第2講：Python資料處理套件Pandas資料儲存物件

Pandas 第3講：Python資料處理套件Pandas檢視與定位資料(本文)

Pandas 第4講：Python資料處理套件Pandas條件篩選資料

Pandas 第5講：Python資料處理套件Pandas整理資料欄位與型別

Pandas 第6講：Python資料處理套件Pandas 資料字串處理

Pandas 第7講：Python資料處理套件Pandas數值處理與基礎統計量

快樂學程式在Udemy 也推出了以Pandas 套件進行資料處理的實戰課程，這次是將Python已視覺化的方式

對資料進行解析，只要一個假日拉高你的職場競爭力！快來這裡一起快樂學程式！

現在開始上課！

如果你的入門還在單打獨鬥，歡迎來到快樂學程式找到志同道合的夥伴，你的自學之路不孤單。

快樂學程式