大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)學(xué)被更多的人知道

　　為什么統(tǒng)計(jì)學(xué)現(xiàn)在這么火 ?

　　為什么直到現(xiàn)在，統(tǒng)計(jì)學(xué)才在各個(gè)領(lǐng)域得到重視呢?

　　通過(guò)數(shù)據(jù)之間的關(guān)聯(lián)性、利用因果關(guān)系進(jìn)行推論的現(xiàn)代統(tǒng)計(jì)學(xué)的基本思考方法，早在20世紀(jì)初期就已經(jīng)確立，主要的統(tǒng)計(jì)分析方法則在20世紀(jì)60年代全部出現(xiàn)。如今，距離被稱為現(xiàn)代統(tǒng)計(jì)學(xué)之父的羅納德·艾爾默·費(fèi)希爾去世已經(jīng)過(guò)了半個(gè)世紀(jì)。如果統(tǒng)計(jì)學(xué)真的如前文所說(shuō)具有如此強(qiáng)大的力量，那為什么在之前的社會(huì)中沒(méi)有被大規(guī)模應(yīng)用呢?實(shí)際上這個(gè)問(wèn)題并不在于統(tǒng)計(jì)學(xué)本身，而是在于能夠活用統(tǒng)計(jì)學(xué)的外部環(huán)境發(fā)生了變化。

　　為了使大家能夠更好地理解這一變化，讓我對(duì)第二節(jié)中提到過(guò)的將弗明漢居民全部卷入其中的大規(guī)模流行病學(xué)研究作進(jìn)一步的詳細(xì)介紹。

　　這項(xiàng)流行病學(xué)研究一般被稱為弗明漢研究，是在第二次世界大戰(zhàn)結(jié)束之后不久的1948年，為了查明當(dāng)時(shí)持續(xù)增加的心臟病患者的病因而成立的調(diào)查。科霍的研究證明了包括霍亂細(xì)菌在內(nèi)的各種細(xì)菌是造成傳染病的原因，由此產(chǎn)生了利用疫苗和抗生素來(lái)進(jìn)行治療的方法。但是，在因?yàn)榧?xì)菌感染而死亡的人數(shù)減少之后，與細(xì)菌沒(méi)有關(guān)系的病癥，比如心臟病和癌癥以及腦中風(fēng)等疾病卻成了以美國(guó)為首的發(fā)達(dá)國(guó)家中死亡率最高的疾病，這也成為當(dāng)時(shí)醫(yī)學(xué)界的一大難題。

　　在這樣的背景下，以施行新政而聞名的富蘭克林·羅斯?？偨y(tǒng)對(duì)此非常重視(順便說(shuō)一句，羅斯?？偨y(tǒng)本人也是死于心臟病)，并且由此展開了可以稱為人類史上第一次的大規(guī)模流行病學(xué)研究項(xiàng)目。不管是心臟病還是霍亂，只要是不明原因的病癥，要想查明其發(fā)病原因，只有進(jìn)行慎重且大規(guī)模的數(shù)據(jù)采集，并且對(duì)采集的數(shù)據(jù)進(jìn)行仔細(xì)分析。除此之外別無(wú)他法。

　　弗明漢當(dāng)時(shí)有大約2.8萬(wàn)名居民，其中29~69歲的居民中有5 127人響應(yīng)了研究小組的號(hào)召參加了這項(xiàng)研究，占這部分人數(shù)的2/3。因?yàn)楫?dāng)時(shí)對(duì)心臟病的成因幾乎沒(méi)有任何線索，所以除了性別、年齡等基本信息之外，還記錄了每個(gè)人的過(guò)往病史與生活習(xí)慣、血壓、心電圖、血液成分、社會(huì)經(jīng)濟(jì)學(xué)指標(biāo)等各種各樣的項(xiàng)目。當(dāng)時(shí)采集的血液，隨著后來(lái)檢查方法的不斷進(jìn)步又追加了很多檢查項(xiàng)目，因此一直冷凍保存至今。

　　弗明漢研究一直到今天仍在繼續(xù)，每當(dāng)有其他研究出現(xiàn)新進(jìn)展的時(shí)候都會(huì)對(duì)其進(jìn)行追加的項(xiàng)目調(diào)查，如今參加最初研究的那些人的后代還參加了對(duì)遺傳因子的調(diào)查研究。

　　弗明漢研究針對(duì)5 000余名對(duì)象定期進(jìn)行檢查與詢問(wèn)，調(diào)查頻率是每?jī)赡?次。

　　如此大規(guī)模而且徹底的調(diào)查研究，為什么不每年進(jìn)行呢?實(shí)際上當(dāng)時(shí)的研究者也非?？释軌蜃龅?年1次。但是，由于當(dāng)時(shí)的技術(shù)能力所限，每?jī)赡赀M(jìn)行一次就已經(jīng)是調(diào)查頻率的極限了。

　　至于限制調(diào)查頻率的原因，則是數(shù)據(jù)輸入、管理以及采集所花費(fèi)的時(shí)間和精力。

　　弗明漢研究小組在最初進(jìn)行數(shù)據(jù)采集時(shí)所使用的設(shè)備，據(jù)說(shuō)只有一臺(tái)大型穿孔卡片機(jī)。

　　說(shuō)起穿孔卡片，可能很多人連實(shí)物都沒(méi)有見過(guò)吧。簡(jiǎn)單來(lái)說(shuō)就是在一個(gè)厚紙片上利用物理手段打孔，根據(jù)打孔的位置記錄數(shù)據(jù)。

　　首先，人工記錄5 000人的生活習(xí)慣和血液檢查的結(jié)果，再將數(shù)值轉(zhuǎn)換為穿孔卡片進(jìn)行保存，檢查是否有錯(cuò)誤，然后對(duì)各個(gè)調(diào)查項(xiàng)目的平均值和比例進(jìn)行綜合統(tǒng)計(jì)。進(jìn)行這樣的工作，每?jī)赡暌淮蔚念l率已經(jīng)是極限了。

　　至于弗明漢研究的目標(biāo)“找到心臟病的成因”，需要對(duì)各個(gè)變量和多樣的調(diào)查項(xiàng)目之間的關(guān)聯(lián)性進(jìn)行分析，這就需要用到邏輯回歸的分析方法(實(shí)際上，邏輯回歸分析本身就是因弗明漢研究而誕生的方法)。但是，對(duì)5 000名研究對(duì)象的數(shù)據(jù)進(jìn)行分析，就相當(dāng)于使用5 000個(gè)質(zhì)數(shù)的矢量，進(jìn)行包括對(duì)數(shù)變換在內(nèi)的非常繁雜的矩陣計(jì)算，只有這樣才能夠得出最終答案。

　　一直到20世紀(jì)60年代國(guó)際商業(yè)機(jī)器公司(IBM)發(fā)明了大型通用計(jì)算機(jī)，并且將其應(yīng)用到研究中之后，弗明漢研究才能夠?qū)?0年間的調(diào)查數(shù)據(jù)進(jìn)行分析。

　　無(wú)聊的“紙和筆的統(tǒng)計(jì)學(xué)”已經(jīng)過(guò)時(shí)了

　　另外，以前的統(tǒng)計(jì)學(xué)教育只能依靠黑板和粉筆，或者紙和筆，主要以理解算式，對(duì)幾十個(gè)數(shù)據(jù)進(jìn)行手工計(jì)算和分析為主。但是，現(xiàn)在的統(tǒng)計(jì)分析只需要寫一個(gè)簡(jiǎn)單的程序，或者使用現(xiàn)成的統(tǒng)計(jì)分析工具，對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行實(shí)際分析也成為可能。

　　雖然我們現(xiàn)在主要使用的統(tǒng)計(jì)學(xué)思考方法和分析方法，早在幾十年前就已經(jīng)基本完成，但是像現(xiàn)在這樣讓每個(gè)人都能夠隨時(shí)隨地地簡(jiǎn)單使用，還是在20世紀(jì)末計(jì)算機(jī)技術(shù)發(fā)生革命性進(jìn)步之后，才得以實(shí)現(xiàn)的。

　　以前的紙和筆的統(tǒng)計(jì)學(xué)與現(xiàn)代的計(jì)算機(jī)統(tǒng)計(jì)學(xué)之間存在著巨大的差距，現(xiàn)代的統(tǒng)計(jì)學(xué)家必須在精通數(shù)理知識(shí)的同時(shí)，還掌握計(jì)算機(jī)技術(shù)的應(yīng)用。

　　如果本書的讀者朋友們?cè)诖髮W(xué)時(shí)代對(duì)統(tǒng)計(jì)學(xué)課程留下了一種無(wú)聊的印象，那么可能是因?yàn)橹唤邮苓^(guò)“紙和筆的統(tǒng)計(jì)學(xué)”教育，所以對(duì)于一直在時(shí)代最前沿給出最佳解答的計(jì)算機(jī)統(tǒng)計(jì)學(xué)的力量沒(méi)有切身感受，這也是情有可原的。

　　“大數(shù)據(jù)”時(shí)代濃濃的統(tǒng)計(jì)學(xué)氣息

　　統(tǒng)計(jì)學(xué)在近幾年的變化，可以說(shuō)受計(jì)算機(jī)的影響最為強(qiáng)烈。

　　計(jì)算機(jī)使商業(yè)模式發(fā)生了翻天覆地的變化。商品的采購(gòu)、庫(kù)存、銷售等記錄基本上全都已經(jīng)數(shù)據(jù)化，成本和銷量的把控與用紙筆進(jìn)行管理的時(shí)代相比也變得更加簡(jiǎn)單。顧客資料與消費(fèi)記錄、工作人員的工作時(shí)間與評(píng)定、健康狀態(tài)、支付的報(bào)酬與成本核算等信息，都可以存儲(chǔ)在公司內(nèi)部系統(tǒng)和Excel電子表格中。為了生產(chǎn)而進(jìn)行的機(jī)械操作、到自己公司網(wǎng)站的鏈接，基本上所有的登錄情況都會(huì)被記錄下來(lái)，必要時(shí)可以綜合統(tǒng)計(jì)作為經(jīng)營(yíng)的參考。就算說(shuō)那些大型公司幾乎所有的業(yè)務(wù)流程已經(jīng)全部實(shí)現(xiàn)電子化，也不為過(guò)。