中山大學經濟所職涯座談(三) :讓資料變商機 — 資料分析在我們生活中的應用

資料分析的流程、軟實力的體現與應用實例

加班配開票,充實

上一篇文章(從事資料分析?你需要具備這8個能力)的最後,提到資料科學家所需要具備跨領域的多元能力,分別為含電腦能力、數學、產業/領域知識。也提到要具備的4個硬實力&4個軟實力。

這些需求,這都是為了更好的支持工作內容;如果了解“資料分析的流程”,我想會更容易理解這句話的意思。

因此開頭先介紹資料分析的流程,接著看相對應的職位以及軟實力如何影響工作展開。最後看跟經濟學有關的三個實例(回歸模型、差別定價&誘因相容)以及其他各種方向的應用。

文章架構:
  一、資料分析的流程
  二、資料分析的眾多Title&軟實力的展現
  三、資料分析的應用領域&3個在經濟學的應用
(文長3,000字,建議電腦/iPad閱讀)

資料分析的流程

對於資料分析,我們的目標是從眾多數據中,萃取出有價值的資訊,支撐業務的發展;也就是提供決策的重要參考。其中的價值包含但不限於

  • 資訊在BI平台即時展現
  • 特定主題的深度分析報告
  • 算法策略(例如Facebook/Youtube的推薦)。

不論你要產出上述哪一種結果,數據都是最基本的元素。如果做過實證分析的話,相信多少可以體驗到找數據是一個痛苦的過程,好不容易找到需要的資料就很開心的丟進model跑。但再深入想想,你找到的這些數字,又是如何產出的?邏輯是什麼?即便大型機構公布的數據具有公信力,但是最符合你模型需要的嗎?

幸運的是,在一家企業中,原始數據通常會由數據倉儲團隊來負責儲存,不必到處亂找。但相對的,你必須深入了解數據是怎麼儲存的、邏輯是什麼。

以電商的例子來說,你現在拿到了用戶的訂單資料,但你知道這些訂單包含了已付款訂單、未付款訂單嗎?那你需要的數據是哪種?要不要排除未付款訂單?

這個問題是沒有標準答案的,需要依賴你對業務的了解及分析內容的定義。

In computer science, garbage in, garbage out。

數據倉儲人員,也需要具備分析領域的知識,這可以幫助他們對原始數據儲存的規劃。這也是為什麼數據科學家要同時具備電腦能力、數學、產業/領域知識的原因。

整個流程統整起來的話,大致是下圖這些步驟

資料分析的流程,

資料分析的眾多Title&軟實力的展現

資料分析的眾多Title

上面的內容希望你多少能夠體會資料分析是一個協同作戰,且領域知識龐大,基本上很難有人可以專精所有面向。因此不同擅長的方向各也有對應的的職位。

看到這個圖,你可能會想,為什麼Title這麼多?

其中一個原因是資料分析這領域還在發展中,因此對Title的定義還沒有形成明顯的規範,也有可能發生A公司的數據分析師工作內容=B公司的數據產品經理。(更詳細的內容可以參考:談談數據分析的眾多Title)

軟實力的展現

硬實力是很好理解的,因此我想著墨一下為什麼需要這4個軟實力?這4個軟實力是如何影響分析工作的展開?

1. 邏輯思維

台灣的教育方式,通常會給我們標準答案。但人類發展上,進步就是一直保持懷疑,並找到更好的方法。以分析來說,一個問題解法絕對不只一種。拿經濟學最熟悉的回歸模型來說吧。線性迴歸模型比較好嗎?還是多元線性回歸?或是根本不要用回歸,能不能用聚類分析?

假設聚類分析比較好,那是好到多少?假設準確率能提升1%,但花的時間要延長2週,這樣效益會更好嗎?

另外,以往學過的理論,在面對不能場景下,能不能拓展並適用?

我所認識的優秀分析師,基本上接受到問題時,腦中都能快速閃過各種方法的優劣評估。

2. 業務理解

業務的理解主要會影響到“定義問題”,因為業務方常常會丟出假議題(提出的分析需求不能確實解釋問題)。

舉例來說,電話客服主管注意到服務滿意度一直在下降,他認為客服人員無法確實解決客戶問題,因此想加大培訓力道。提出了一個分析需求

給了滿意度不佳的客戶,主要是問了什麼類型的問題?

為什麼說這可能是假議題?

會不會是客戶變多了,進線量也跟著增加,而客服的人力沒增加,因此等待時間增加,導致客戶不滿?

如果是這個原因,那要做事情就不是培訓了。而是考慮增加人力或是常見問題機器人自動回覆的功能。再來,如果這是影響公司滿意度的一項明顯因素,是不是應該將此數據在報表平台上即時展示,以利追蹤。

3. 溝通協調

你服務的對象是業務方,那就必須讓他了解,你要做的事情確實能幫助他們解決問題。你必須把技術語言翻譯成易懂的表達。乃至於溝通產出時間,產出的形式、可能面臨的風險。這樣雙方的配合才會更高效。

4. 保持好奇心持續學習

資料分析的領域不斷在發展,應用層面越來越廣泛,商業環境更是變遷快速;會一直有新的技術出來、也會有新的問題發生。在這狀況下,持續學習的重要性就不言可欲了。就像內生成長理論說的,Learning by doing。

以上內功的書籍,有一本簡體字的書叫数据挖掘与数据化运营实战,我覺得內容還滿好的。(讀後感_数据挖掘与数据化运营实战)

從分析師的等級來看,在問題識別、應用價值、執行與管理能力、影響力這四點,也是軟實力的體現。

資料分析師的等級

資料分析的應用領域&3個在經濟學的應用

1. 電信業的高風險用戶挽留

這個例子是電信業的高風險用戶模型,我們稱為churn model,目標是判斷哪些客戶是可能流失的,這樣在用戶真的流失前,就可以用簡訊、電話等方式提前溝通,或是在客戶進門市辦理業務時,用一些隱藏的優惠方案讓他們快點續約。

實現方式就是你們熟悉的回歸模型,只是變量從經濟的指標換成其他特徵。

當你時常手機收到續約短信、或是門市人員對你特別熱情,恩…你可能已經被tag成高風險用戶了。

2. Uber的差別定價

搭過Uber應該有經驗,在某些時段,例如早晚高峰或是下大雨的日子,叫車時會有一些費用的加倍(例如*1.5)。究竟1.5這個數字是如何出來的?甚至兩個人在同時叫車,一位是加價1.5倍、一位卻只加價1.3倍。

這個應用非常經濟學,Uber在計算你的價格彈性、得出你的需求曲線,以進行差別取價剝奪消費者剩餘。而且實現了傳統理論中幾乎不可能實現的第三級差別定價

Uber 呈現了經濟學家理想中經濟應有的模樣。

另外議題是,這些策略對社會福利是合理的嗎?Uber在眾多議題上,為了跟政府周旋,還請一票經濟學家在協助。

參考文章:Uber的斷點回歸設計Uber 的秘密武器是一票經濟學家Uber’s secret weapon is its team of economists

3. 業務制度設計

這個例子是關於制度經濟學(Institutional economics)。假設公司的銷售都依賴於銷售員,為了要讓公司利潤極大,我該如何設計一套制度,讓業務盡可能有動力的去銷售?最常見的方式就是薪資結構設計(誘因薪資)。那麼,究竟要高底薪低抽成好,還是低底薪高抽成?

再來,公司有一批潛在客戶名單,這些名單該如何分配給不同的業務,以達成公司有最多成交客戶的目標?好名單分配給好業務嗎?還是平均分配?

近一步,好名單是如何定義?好業務是如何定義?客戶有新進客戶,業務也有新進業務,我無法判斷他是好是壞,這裡面該設計怎樣的考核方式或升等機制?

而這個議題因為會牽扯到較多利益結構、也更容易受公司策略變化的影響(例如策略由追求市佔率轉變為盈利),我自己經驗比上面兩個例子複雜許多(需要常吵架跟妥協)。

4. 其他應用領域

最後

  • 投影片我傳到了SlideShare上,如果對投影片有興趣可以來這邊
  • 把演說改成問字內容比我想像的還耗心力,為了符合文章的呈現方式,我把內容進行了重新排列,因此投影片跟這三篇文章會存在順序上的差異。
  • 今年4月左右開始陸續寫資料分析的文章,到這篇是第10篇,看著還滿感動的,有種喘一口氣的感覺。我覺得我已經把我目前所了解的資料分析基本知識大概說完了。白話文就是我要沒梗了(ha)。如果有任何想了解的方向歡迎跟我說,期待你能提供我點靈感、也期許自己能回答你的疑問。
  • 我是一個思想很發散的人,往好的說就是有創意跟聯想力,往差的說就是聚焦不足(因為眾多事件跟事件之間本就環環相扣彼此糾葛)。當初寫文章最原始目的單純是想訓練我自己的思緒,而有你們的閱讀及肯定,這是我意料之外的收穫,感恩~
數據分析系列一:談談數據分析的眾多Title

數據分析系列二:數據分析的一週工作日程

數據分析系列三:身為資料分析師,你該如何展現工作中的價值?

數據分析系列四:如何量化職場規劃?我這次的轉職規劃與Offer選擇

數據分析系列五:為什麼要關心資料來源?談談埋點數據的陷阱

數據分析系列六:精選幾個資料分析的學習資源

數據分析系列七:數位化決策轉型與企業文化的一些思考

數據分析系列八:中山大學經濟所職涯座談(ㄧ):”了解自己”的重要&我怎麼成為數據分析師的?

數據分析系列九:中山大學經濟所職涯座談(二):想從事資料分析?你需要具備這8個能力

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.