學習反思

資料不會自己告訴你它缺了什麼

missing data
碩二第一天,再度有機會上到Diamond老師的課,這位兼具豐富科學與人文素養,又充滿分享知識熱情的老師,上他的課以如沐春風遠遠不足以形容。
..
「資料不會自己告訴你它缺了什麼。」
..
從一個稀鬆平常的dataset帶我們看到,即使是完美的隨機對照試驗,數據也不是無懈可擊的,我們很可能至少缺了一半的資料。
..

再談到他之前在世界銀行做的專案,協助貧困國家農民改善肥料使用效益的例子,當地某家肥料公司的銷售數據對我們改善農民收穫的目標有沒有幫助?有的話是為什麼?沒有的話又是為什麼?哪些資料missing了?
..
假如人們在雨天時出門會帶傘,那麼如果能夠百分之百預測明天的天氣,能不能夠成功的推論人們會不會帶傘?哪些資料missing了?
..
我們決定自己人生怎麼走的時候,如果只照著腦子裡面的dataset走,不做更多的實驗與嘗試,那會不會也漏看到了自己記錄在missing data中的許多精彩可能性?
..
這是一門資料科學的課,透過分析數據來解決問題,但我從沒想過資料科學竟能上得這麼有人味,光為了這一門課就值得來念密涅瓦。
..
課程名稱:Knowledge: Information Based Decisions
..

相關連結

分享這篇文章

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *