特朗普當選美國下一任總統。許多議題有待深入探討。即便我們將關注領域縮小到媒體，也有很多議題值得討論。今天先關注一個令人驚訝的問題：為什麼我們在媒體上看到的絕大部分預測都錯了？
《哥倫比亞新聞評論》的文章曾讚揚了利用數據做報道的記者，現在他們怎麼失手了？他們還配被視為年輕一代記者的代表嗎？
美國大選前夜，《紐約時報》預測：希拉里有85%的可能性獲勝。538預測的數據是71%。其他媒體和民調機構給出的預測也都差不多。
根據這些數字，我們從媒體上聽到的言論大多是：希拉里獲勝應該沒什麼懸念，就看最後能贏多少了。也正因為對這些預測的信任（538的Nate Silver前兩次大選預測都相當成功，兩次共計只失手了一個州），我在一個群裡說：如果希拉里輸了，我給大家發大紅包。
結果真的發了大紅包。
其實就連共和黨乃至特朗普團隊可能都沒有預料到這樣的結果。共和黨策略專家Mike Murphy說：「我的水晶球碎成了原子。今夜，數據死了。」
為什麼大家都錯了？美國輿論研究學會（AAPOR）已經組織了一支學者隊伍進行研究，不過他們明年3月才會給出研究報告。
AAPOR組織的學者隊伍名單：主席是Courtney Kennedy (Pew Research Center)，成員包括 Scott Clement (Washington Post), Kristen Olson (University of Nebraska-Lincoln), Claire Durand (University of Montreal), Lee Miringoff (Marist College), Doug Rivers (YouGov), Josh Clinton (Vanderbilt University), Mark Blumenthal (SurveyMonkey), Chris Wlezien (University of Texas), Kyley McGeeney (Penn and Schoen), Evans Witt (PSRAI and President of NCPP), Charles Franklin (Pollster.com and University of Wisconsin), Lydia Saad (Gallup).
各媒體和機構的預測者也在做剖析和檢討。由於現在還有部分數據不齊，所以還沒有辦法做非常全面的分析。不過從已經有的分析來看，大致有以下這些說法。
在總票數上，其實預測沒那麼離譜
雖然到本文寫作時為止（美東時間11月9日23時），總票數（popular vote）還沒有完全統計結束，但是各方預計希拉里將會在總票數上勝出1-2個百分點。但是因為選舉人票制度，勝利的是特朗普。（根據這篇文章http://www.npr.org/2016/11/02/500112248/how-to-win-the-presidency-with-27-percent-of-the-popular-vote 的講解，在選舉人票制度下，最極端情況下只要獲得23%的總票數就可以勝選了。）
各民調機構在大選日前最終給出的預測是：希拉里在總票數上大概會勝出3-4個百分點，也就是說，和實際結果相比，誤差為2個點左右。這個誤差其實已經小於2012年的總票數誤差了——當時，民調機構預測奧巴馬會贏1個點，結果他贏了4個點，誤差為3個點。
根據Nate Silver的計算（http://fivethirtyeight.com/features/what-a-difference-2-percentage-points-makes/），希拉里如果表現稍微好一點點，在總票數上多拿2個點，那麼各家機構的預測基本上就是完全準確了（除了北卡之外）。
但是，在贏者通吃的選舉人票制度下，2%的差別就會導致天翻地覆的變化。這就是美國大選的遊戲規則。
民調的問題
在總票數上預測的接近，並不能掩蓋這次預測的巨大失敗：在俄亥俄、威斯康星、賓夕法尼亞等關鍵的搖擺州上，預測錯得離譜，不是誤差能解釋的。
回答預測為什麼會錯，要從兩個方面入手：民調和模型。包括538在內的各家機構在預測時，並不是憑空猜測，而是依賴民意調查機構發布的數據，用自己的模型來分析這些民調數據，得出預測結果。所以，民調數據錯了，或者模型錯了，都會帶來謬誤。
先說民調。下面這張表格顯示的是民調和實際結果的差距。第一欄是各家民調機構預測的結果，加號表示特朗普勝，減號表示希拉里勝。第二欄是實際結果，第三欄是差距。比如，在賓夕法尼亞州，民調數據顯示希拉里勝3.7個點，結果卻是特朗普勝1.2個點，差了4.9個點，並且勝負完全翻盤。
民調為什麼會錯？最常見的解釋就是：有很多支持特朗普的人，在接受民調時不好意思說出真實想法（術語叫做“social desirability bias”），但是在投票時會投給特朗普。
此外，經濟學人的這篇文章（http://www.economist.com/blogs/economist-explains/2016/11/economist-explains-3）分析了兩個族群方面的原因。其一，教育水平較低的白人投票熱情比民調機構預想得要高漲得多。從上述表格來看，弗吉尼亞、科羅拉多等白人受教育水平較高的州，誤差不大。而誤差巨大的那些州，基本都有很多沒有大學文憑的白人。民調機構本來預計這些人的投票結果中特朗普會勝出30個點，但是出口民調顯示特朗普在這些人中勝出了39個點（值得一提的是：出口民調指的是民調機構在投票現場做的調查，針對剛投完票的選民，其數據也不一定完全可靠，原因比如有的群體會更多拒絕接受出口民調），這9個點的差距可能是特朗普在這些關鍵搖擺州翻盤的關鍵所在。
下面這張圖可以從側面提供一些證據。圖中橙色的郡縣是曾經支持奧巴馬但是這次投給了特朗普的，可以看到它們大多集中於Midwest地區。這些地區的無大學學歷白人，應該發揮了很大作用。
其二，由於有些族群難以被民意調查機構聯繫到（比如西班牙裔，可能因為經濟狀況等原因，電話使用率較低，而民調基本都是通過電話進行），而有些群體特別容易被聯繫到（比如老年白人女性，可能一打電話就接），所以民調機構會對各群體的回答進行加權。這就會帶來問題：有的群體能聯繫到的樣本可能很少，這樣誤差就大，再經過加權放大就更大了；有的群體投票意願比民調機構預計得要低，比如這次黑人對希拉里的支持就明顯不如對奧巴馬的。
需要強調的是，這些都還只是根據目前數據的猜測，最終分析還要等待更全面的數據。
模型的問題
預測錯了，也不能光怪民調機構給的數據不行，因為各家預測的核心競爭力是自己的模型。但這次，好像模型的表現也普遍不佳。
普林斯頓的Sam Wang在總結帖（http://election.princeton.edu/2016/11/09/aftermath/）中就說：他錯誤估計了相關誤差（correlated error）的大小，而且差了五倍。因為這個錯誤，他的模型得出的結果是：希拉里將有99%的機率獲勝。在所有機構的預測中，普林斯頓的最極端，也錯得最離譜，就是因為這樣一個參數的估計錯誤。
關於這個參數的詳細解釋，可以看Sam Wang的這篇文章（http://election.princeton.edu/2016/11/06/is-99-a-reasonable-probability/#more-18522）。目前還沒看到紐約時報和538討論自己的模型問題，他們確實也需要更多的實際投票數據才能作出科學的分析。
不過這個統計學博客（http://simplystatistics.org/2016/11/09/not-all-forecasters-got-it-wrong/）說：538的模型其實很棒了。當其他人都在預測希拉里大勝乃至必勝時，538利用同樣有問題的民調數據，預測希拉里的勝率只有71%，顯著低於其他。如果以95%的置信區間計算，538隻錯了16個關鍵州中的1個（而這個概率正是95%）。
再也不相信預測了嗎？
有人說，這次大選的結果說明：永遠不要相信媒體和專家的預測。
確實，Nate Silver等人在推特上也被冷嘲熱諷，說他們的東西都是垃圾。
我是不同意這種意見的。媒體和專家在上兩屆大選中的預測都相當準確，這一次失手，值得好好檢討，但遠不至於完全拋棄這種科學的方法，換成神棍夜觀天象。
重要的是，如何從這次失手中總結經驗，改進民調，改進模型，讓預測變得更加準確。
說到底，還是要不要相信科學的問題。火箭發射失敗了，關鍵是找出失敗原因，而不是宣稱航天技術都是騙人的。
有誰預測對了？
以上說的預測，都是基於民調數據。其實，還有一些不依靠民調數據的預測，這次反而成功了。比如今年《華盛頓郵報》曾兩次報道（https://www.washingtonpost.com/news/the-fix/wp/2016/09/23/trump-is-headed-for-a-win-says-professor-whos-predicted-30-years-of-presidential-outcomes-correctly/?tid=a_inl）美利堅大學歷史系教授Allan Lichtman的預測——他此前成功預測了30年未失手，這次又成功預測特朗普當選。如此高的準確率，方法其實並不複雜——看以下13個條件，如果有6條或以上是不成立的，那麼目前正在執政的黨派將會失利。
- 中期選舉之後，執政黨比上一次中期選舉后佔有更多的眾議院席位。
- 執政黨內部初選階段沒有激烈的競爭。
- 執政黨的候選人就是目前的在任總統。
- 沒有重要的第三黨或獨立候選人。
- 競選期間，經濟沒有處於衰退。
- 這一屆政府的實際人均經濟增長超過或等於前兩屆。
- 執政党進行了重要的全國範圍內的政策改革。
- 這一屆政府沒有持續的社會不滿。
- 這一屆政府沒有重要醜聞。
- 這一屆政府沒有外交或軍事上的重要失敗。
- 這一屆政府在外交或軍事上取得了重要成績。
- 執政黨候選人很有個人魅力。
- 挑戰者候選人沒有個人魅力。
對照這個列表，1、3、7、11、12都是鐵定不成立的，4很有可能不成立（因為有Gary Johnson的存在）。所以共和黨肯定會贏。
可以看到，這種預測方式基於的是美國政治中兩黨輪替的基本特徵。當一個黨派連續執政8年之後，要再連任是相當困難的。
與之類似，根據Vox的統計（http://www.vox.com/2016/11/9/13571872/why-donald-trump-won），還有其他一些人不依靠民調數據便預測成功：
耶魯大學Ray Fair利用經濟因素和執政黨在位時間；
Stony Brook的Helmut Norpoth和威斯康星大學密爾沃基分校的Michael Bednarczuk利用新罕布什爾州初選數據和最近的總統表現；
Alan Abramowitz利用總統支持度、GDP增長以及執政黨在位時間。
當然也有失敗的：
愛荷華大學的Michael Lewis-Beck和Hunter College的Charles Tien利用經濟因素和總統的受歡迎程度；
東卡羅來納的Brad Lockerbie利用人們對個人財政狀況的預期和執政黨在位時間。
這種預測方法利用的是選舉時的基本盤，來源於歷史經驗總結，但其實也是統計模型。和以民調為基礎的預測相比，這種基本盤分析方式是否真的更加可靠？這也是一個見仁見智的問題。畢竟，沒有哪種預測方式是萬無一失的，每種方法都有自身的缺陷。在未來的大選中，媒體、民調機構、研究機構會繼續改進預測方法，在成功和失敗中吸取經驗教訓，不斷提高數據質量、改進模型。■
Be the first to comment