哈囉大家好～我是Sunny，這次為大家帶來一系列的 AB Testing 教學，讓大家更知道什麼是 AB Testing，又該怎麼運用它向專家邁進一步！本系列文章內容是整理自 Firebase 的 Youtube 影片教學，那麼就廢話不多說，讓我們往下看下去吧！
什麼是A/B Testing
A/B Testing，顧名思義即是測試A決策與B決策的兩個 Testing，通常發生於想要比較哪個決策在實際運用上是更有用的、更有效益的。當團隊有兩個或是多個以上的點子與決策想要實踐、卻不知道哪個為最佳選擇時，A/B Testing 是幫助篩選出最適合選項的一種測驗方式。
為什麼要做A/B Tesing
以一間軟體公司為例，製作出一項好用 app 時，必須要考慮到 app 裡面的按鈕設計、文字內容、廣告頻率等等各項非常細微卻佔據很大影響力的細節之處，他們的安排是否得宜往往會深刻地影響一項產品是否可以成功；一個非常優秀的 app 和一個平庸的 app 往往在一線之隔，其中的差距往往都是這些看似小到可以忽視，卻是佔據了關鍵之處的細節集合而來的。
但我們該如何知道我們做出了最佳選擇呢？很常發生的謬誤在於，我們往往只專注於典型使用者（Typical Users）的使用行為，或是只詢問周遭親朋好友們的意見，而這些意見有時候也沒辦法與他們使用者實際上的行為有所對應。這些看似合理的調查，往往有樣本偏差的可能性發生，這是不夠充足、且無法有效拿來支持做出適當決策的來源依據。
儘管真實在 app 上實施實驗，做出了些許改變，在發布新版本的 app並等待一段時間以後，也無法確認那些後來改變的使用者行為，它是不是真實是因為先前做出的改變而改變的。換句話說，我們無法預期先前做出的改變是不是真的為我們達來了預期上的效益。而且，這種實際上在 app 上做出改變的實驗，往往是非常耗時的。
A/B Testing 正是為了解決上述的問題所出現的一種方法。總結以上，到底我們為什麼要做 A/B Testing 呢？
- 避免樣本偏差可能性，做出最佳選擇
- 較為省時
- 可以準確得出某項改變是否能真正達到效益
如何做A/B Testing
我們在實施 A/B Testing 時，將會選用一部份用戶出來，並將他們隨機指派到不同的群體劃分內，而不同的群體將會使用不同的 app 版本（通常這些不同版本的 app 之間只有些微差異），並衡量不同群體的用戶是如何和我們的 app 互動。在這種測驗方法下，任何外部環境的干擾將會被排除──因為我們不同群體間的用戶都面臨一樣的外在環境的變化。這將可以讓我們更容易觀察是否因為某項變數的改變，讓我們的使用者行為也跟著改變了。
運用Firebase進行A/B Testing的事前準備
Firebase 在 A/B Testing 上的服務做出許多改善。除了讓使用者們可以更容易開始 A/B Testing 以外，同時協助使用者們衡量測驗結果是否具有意義。Firebase系統開放了兩項對A/B Testing的接觸點：Firebase Notifications 和 Firebase Remote Config，以下將針對 Firebase Remote Config 做進一步解釋，Firebase Notifications 將會在之後的章節進行敘述。
1.將 app 與 Remote Config 做連結
想要運行良好的 A/B Testing，需要先將 app 連結上 Remote Config。Remote Config 可以想像成一個存在在雲端世界中的關鍵價值儲存商店，我們的app可以透過這個商店下載資料，並且可以依據我們所指定的價值去改變行為。
運用 Remote Config 時，我們會先需要提供許多默認值（default values）給 Remote Config。當我們 app 的使用者開始使用 app 時，Remote Config 會開始連上網路，抓取我們從 Firebase Console 定義的任一新值（Values），並在舊的默認值之上應用這些新值。當我們要從 Remote Config 查詢特定值，它會給你一個你已經於雲端指定的更新值（如果存在），或是默認值（如果不存在）。因此，一般推薦去獲取我們可能想要改變的任何值，例如每一個文字、每一個顏色、每一個遊戲平衡變量等等，並把它們與 Remote Config 做連線。因為我們只下載我們改變的值，實際上產生出來的網路呼叫（network calls）還是很小，但我們仍然可以自由更改以後可能需要的任何值。
2.運用 Google Analytics for Firebase 衡量實驗結果
連上 Remote Config 並做出調整後，還需要決定我們的改變是否成功，這時候需要一些分析工具來幫助我們，像是 Google Analytics for Firebase。Google Analytics for Firebase 會運用 SDK 自動記錄發生在我們 app 上的事件，像是在 app 裡面的購買、廣告點擊這些可以決定收益的行為，並可以決定如顧客參與、顧客保留率等。我們也會想記錄發生在 app 裡面的客製化事件，因為這可以讓我們知道人們是如何和 app 互動，也可以用來衡量我們所應用的 A/B Testing 是否成功。
當在 Firebase 運行 A/B Testing 時，部分實驗的方式可以告訴 Firebase 哪項是我們認為成功的結果，這些成功結果有可能是我們透過app賺了更多的錢，也有可能是更多顧客花更多時間在我們的app上，或是更常使用我們的app，也有可能是最大化特定事件的發生機率。
最後，我們必須確認我們的 Remote Config 是最新版本，這樣才能確保它會將我們所運行的實驗告訴給 Analytics。
現在，我們知道我們可以透過 Remote Config 改變 app 裡面的參數並創建實驗，也知道可以透過 Google Analytics for Firebase 衡量我們的實驗結果，並查看一些被自動記錄的值或是查看某些特定事件。這就是我們在運行實驗之前，應該要事前準備完成的事情。
以上就是我們這一期針對 Firebase Web AB Testing做的簡單介紹，下一期會進一步說明如何創立實驗，以及該注意什麼事項。那麼我們下一期見啦～
#Reference
ref1.
ref2.
