如果你想轉(zhuǎn)型數(shù)據(jù)科學(xué)家怎么辦(如果你想轉(zhuǎn)型數(shù)據(jù)科學(xué)家怎么做)

Glassdoor利用其龐大的就業(yè)數(shù)據(jù)和員工反饋對(duì)美國(guó)25個(gè)最佳工作進(jìn)行了排名，其中，數(shù)據(jù)科學(xué)家排名第一。

這項(xiàng)工作的重要性是顯而易見(jiàn)的。毫無(wú)疑問(wèn)，數(shù)據(jù)科學(xué)家所做的事情是不斷變化和發(fā)展的。隨著機(jī)器學(xué)習(xí)變得無(wú)處不在，數(shù)據(jù)科學(xué)家將繼續(xù)引領(lǐng)創(chuàng)新和技術(shù)進(jìn)步的浪潮。

雖然編碼技能很重要，但數(shù)據(jù)科學(xué)并不全是軟件工程。他們生活在編碼、統(tǒng)計(jì)和批判性思維的交叉點(diǎn)。正如數(shù)據(jù)科學(xué)家JoshWills所說(shuō)：“數(shù)據(jù)科學(xué)家是程序員中最好的統(tǒng)計(jì)學(xué)家，也是統(tǒng)計(jì)學(xué)家中最好的程序員?！?/p>

我知道很多軟件工程師想轉(zhuǎn)型為數(shù)據(jù)科學(xué)家，他們盲目地使用機(jī)器學(xué)習(xí)框架TensorFlow或ApacheSpark，而沒(méi)有深入了解其背后的統(tǒng)計(jì)理論。因此，統(tǒng)計(jì)學(xué)習(xí)從統(tǒng)計(jì)學(xué)和泛函分析的角度提出了機(jī)器學(xué)習(xí)的理論框架。

為什么要學(xué)統(tǒng)計(jì)學(xué)習(xí)？

了解各種技術(shù)背后的想法并了解如何以及何時(shí)使用它們非常重要。

首先，要從理解簡(jiǎn)單的方法開(kāi)始，以便把握更復(fù)雜的方法。

其次，準(zhǔn)確地評(píng)估一種方法的性能，了解它的工作效果，也很重要。

此外，統(tǒng)計(jì)學(xué)習(xí)是令人興奮的研究領(lǐng)域，在科學(xué)、工業(yè)和金融領(lǐng)域有著重要應(yīng)用。

最后，統(tǒng)計(jì)學(xué)習(xí)是培養(yǎng)現(xiàn)代數(shù)據(jù)科學(xué)家的基本要素。

屬于統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域的問(wèn)題包括：

確定前列腺癌的危險(xiǎn)因素。

記錄的音素根據(jù)對(duì)數(shù)周期圖進(jìn)行分類(lèi)。

根據(jù)人口統(tǒng)計(jì)、飲食和臨床測(cè)量來(lái)預(yù)測(cè)某人是否會(huì)患心臟病。

定制垃圾郵件檢測(cè)系統(tǒng)。

識(shí)別手寫(xiě)郵政編碼中的數(shù)字。

基于組織樣本的癌癥分類(lèi)。

建立人口普查數(shù)據(jù)中工資和人口變量之間的關(guān)系。

我在大學(xué)最后一個(gè)學(xué)期進(jìn)行了一項(xiàng)關(guān)于數(shù)據(jù)挖掘的獨(dú)立研究。內(nèi)容涉及三本書(shū)：《IntrotoStatisticalLearning》、《DoingBayesianDataAnalysis》、《TimeSeriesAnalysisandApplications》。我們?cè)谪惾~斯分析、馬爾可夫鏈蒙特卡羅、分層建模、監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)方面做了很多練習(xí)。這段經(jīng)歷增加了我對(duì)數(shù)據(jù)挖掘的興趣，也堅(jiān)定了我投身這一領(lǐng)域的信心。

最近，我完成了斯坦福大學(xué)的LagunitaStatisticalLearning在線課程，該課程涵蓋了《AnIntroductiontoStatisticalLearning:withApplicationsinR》書(shū)中的所有內(nèi)容。它包含的內(nèi)容是我在進(jìn)行獨(dú)立研究時(shí)閱讀的內(nèi)容的兩倍。我想分享本書(shū)中的10個(gè)統(tǒng)計(jì)技術(shù)，相信任何數(shù)據(jù)科學(xué)家都用得著。

在學(xué)習(xí)使用這10種技術(shù)之前，我想先區(qū)分一下統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)。我之前寫(xiě)過(guò)一篇關(guān)于機(jī)器學(xué)習(xí)的廣受好評(píng)的文章，所以我相信我有足夠的專(zhuān)業(yè)知識(shí)來(lái)證明以下內(nèi)容：

機(jī)器學(xué)習(xí)是人工智能的一個(gè)子領(lǐng)域。

統(tǒng)計(jì)學(xué)習(xí)是統(tǒng)計(jì)學(xué)的一個(gè)分支。

機(jī)器學(xué)習(xí)更注重大規(guī)模應(yīng)用和預(yù)測(cè)的準(zhǔn)確性。

統(tǒng)計(jì)學(xué)習(xí)強(qiáng)調(diào)模型及其可解釋性、準(zhǔn)確性和不確定性。

但這種區(qū)別越來(lái)越模糊，并且存在很多“交叉”。

機(jī)器學(xué)習(xí)接管商業(yè)！

1.線性回歸

在統(tǒng)計(jì)學(xué)中，線性回歸是一種通過(guò)擬合自變量和因變量之間的最佳線性關(guān)系來(lái)預(yù)測(cè)目標(biāo)變量的方法。其過(guò)程是給定一個(gè)點(diǎn)集，并用函數(shù)擬合該點(diǎn)集，以最小化點(diǎn)集與擬合函數(shù)之間的誤差。所謂“最佳”線性關(guān)系是指在給定形狀的情況下，沒(méi)有其他位置會(huì)產(chǎn)生更小的誤差。

線性回歸的兩種主要類(lèi)型是簡(jiǎn)單線性回歸和多元線性回歸。簡(jiǎn)單線性回歸使用自變量通過(guò)擬合最佳線性關(guān)系來(lái)預(yù)測(cè)因變量。多元線性回歸使用多個(gè)自變量通過(guò)擬合最佳線性關(guān)系來(lái)預(yù)測(cè)因變量。

示例：選擇與日常生活相關(guān)的任何內(nèi)容，例如過(guò)去三年的每月支出、每月收入和每月旅行。現(xiàn)在回答以下問(wèn)題：

明年我每月的開(kāi)支是多少？

哪個(gè)因素（月收入或月出行次數(shù)）在確定我的月支出時(shí)更重要？

每月收入和旅行次數(shù)與每月支出有何關(guān)系？

2.分類(lèi)

分類(lèi)是一種數(shù)據(jù)挖掘技術(shù)，可為數(shù)據(jù)集合分配類(lèi)別，以幫助更準(zhǔn)確的預(yù)測(cè)和分析。分類(lèi)，有時(shí)稱(chēng)為決策樹(shù)，是一種用于分析大型數(shù)據(jù)集有效性的方法。兩種主要的分類(lèi)技術(shù)是邏輯回歸和判別分析。

邏輯回歸是當(dāng)因變量是二元時(shí)進(jìn)行的適當(dāng)回歸分析。像所有回歸分析一樣，邏輯回歸分析是一種預(yù)測(cè)分析。邏輯回歸用于描述數(shù)據(jù)，并解釋二元因變量與一個(gè)或多個(gè)描述事物特征的自變量之間的關(guān)系。邏輯回歸可以檢驗(yàn)的問(wèn)題類(lèi)型包括：

超重后每天每增加一磅和一包煙草，患肺癌的可能性（是與否）有何變化？

參與者的體重、卡路里攝入量、脂肪攝入量和年齡是否與心臟病發(fā)作有關(guān)？

判別分析中，有兩個(gè)或兩個(gè)以上群集是已知的，新的觀測(cè)值根據(jù)特征，歸入已知群集。判別分析對(duì)類(lèi)別中X的分布進(jìn)行建模，然后使用貝葉斯定理轉(zhuǎn)換為對(duì)應(yīng)概率。判別分析包括以下兩種類(lèi)型。

線性判別分析（LDA）：計(jì)算每一項(xiàng)觀測(cè)結(jié)果的“判別分?jǐn)?shù)”，對(duì)其所處的響應(yīng)變量類(lèi)別進(jìn)行分類(lèi)。這些分?jǐn)?shù)是通過(guò)尋找自變量的線性組合得到的。它假設(shè)每類(lèi)中的觀測(cè)結(jié)果來(lái)自于一個(gè)多變量高斯分布，而預(yù)測(cè)變量的協(xié)方差在響應(yīng)變量Y的所有k級(jí)別都是通用的。

二次判別分析（QDA）：提供了一種替代方法。和LDA一樣，QDA假設(shè)每一類(lèi)中Y的觀測(cè)結(jié)果都來(lái)自于高斯分布。然而，與LDA不同，QDA假設(shè)每個(gè)類(lèi)別都有自己的協(xié)方差矩陣。換句話說(shuō)，預(yù)測(cè)變量在Y中的每個(gè)k級(jí)別都沒(méi)有共同的方差。

3.重采樣方法

重采樣是指從原始數(shù)據(jù)樣本中提取重復(fù)樣本的方法。這是一種非參數(shù)統(tǒng)計(jì)推斷方法。換句話說(shuō)，重采樣不使用通用分布來(lái)計(jì)算近似的p概率值。

重采樣根據(jù)實(shí)際數(shù)據(jù)生成唯一的采樣分布。它使用實(shí)驗(yàn)方法而不是分析方法來(lái)產(chǎn)生獨(dú)特的抽樣分布。它根據(jù)研究人員正在研究的數(shù)據(jù)的所有可能結(jié)果的無(wú)偏樣本生成無(wú)偏估計(jì)。為了理解重采樣的概念，您應(yīng)該首先理解術(shù)語(yǔ)引導(dǎo)和交叉驗(yàn)證。

Bootstrapping（自舉）可以幫助你在很多情況下驗(yàn)證預(yù)測(cè)模型的性能、集成方法，估計(jì)模型的偏差和方差。它通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行有放回取樣，進(jìn)行數(shù)據(jù)采樣，并將“未選擇”的數(shù)據(jù)點(diǎn)作為測(cè)試用例。我們可以多做幾次，計(jì)算出平均分，作為模型性能的估值。

交叉驗(yàn)證是驗(yàn)證模型性能的一種技術(shù)，它把訓(xùn)練數(shù)據(jù)分成k個(gè)部分，以k1部分作為訓(xùn)練集，其余部分作為測(cè)試集。依次重復(fù)，重復(fù)k次。最后，將k次分?jǐn)?shù)的平均值作為模型性能的估值。

通常，對(duì)于線性模型，普通最小二乘法是擬合數(shù)據(jù)的主要標(biāo)準(zhǔn)。接下來(lái)的3種方法，可以為線性模型的擬合提供更好的預(yù)測(cè)精度和模型可解釋性。

4.子集選擇

該方法選擇我們認(rèn)為可以解決問(wèn)題的預(yù)測(cè)變量p的子集，然后使用子集特征和最小二乘法擬合模型。

最佳子集選擇：我們對(duì)每種可能的p預(yù)測(cè)因子組合進(jìn)行OLS回歸，然后查看最終的模型擬合。

該算法分為2個(gè)階段：

(1)擬合包含k個(gè)預(yù)測(cè)變量的所有模型，其中k是模型的最大長(zhǎng)度。

(2)使用交叉驗(yàn)證的預(yù)測(cè)誤差選擇單個(gè)模型。

由于RSS和R^2隨著變量的增加而單調(diào)增加，因此使用驗(yàn)證或測(cè)試誤差（而不是訓(xùn)練誤差）來(lái)評(píng)估模型的擬合度非常重要。最好的方法是選擇具有最高R^2和最低RSS的模型，進(jìn)行交叉驗(yàn)證。

向前逐步選擇：建一個(gè)模型，里面不含預(yù)測(cè)因子，然后逐個(gè)添加，直到所有預(yù)測(cè)因子都在模型中。添加因子的順序是可變的，根據(jù)不同變量對(duì)模型性能提升程度來(lái)確定，添加變量，直到預(yù)測(cè)因子不能在交叉驗(yàn)證誤差中改進(jìn)模型。

向后逐步選擇：將所有預(yù)測(cè)因子p納入模型，迭代刪除沒(méi)有用的預(yù)測(cè)因子，一次刪一個(gè)。

混合方法：遵循向前逐步選擇的方法，但是，在添加新變量之后，還可以去除對(duì)模型擬合沒(méi)有用的變量。

5.收縮

該方法適用于所有預(yù)測(cè)變量p的建模，但是，相對(duì)于最小二乘估計(jì)，其估計(jì)的系數(shù)趨于零。這種收縮也稱(chēng)為正則化，具有減少方差和防止模型過(guò)度擬合的作用。根據(jù)所執(zhí)行的收縮類(lèi)型，某些系數(shù)可能估計(jì)為零。因此，該方法還進(jìn)行了變量選擇。兩種最著名的收縮系數(shù)方法是嶺回歸和套索回歸。

嶺回歸類(lèi)似最小二乘法，不過(guò)它通過(guò)最小化一個(gè)不同的量來(lái)估計(jì)系數(shù)。像OLS一樣，嶺回歸尋求降低RSS的系數(shù)估計(jì)，但是當(dāng)系數(shù)接近于零時(shí)，它們也會(huì)有收縮懲罰。這個(gè)懲罰的作用是將系數(shù)估計(jì)收縮到零。不使用數(shù)學(xué)計(jì)算，我們就可以知道，嶺回歸會(huì)將特征縮小到最小空間。就像主成分分析，嶺回歸將數(shù)據(jù)轉(zhuǎn)換到低維空間，然后收縮系數(shù)空間內(nèi)較低方差的成分，保留較高方差的成分。

嶺回歸至少有一個(gè)缺點(diǎn)，它包括最終模型中的所有預(yù)測(cè)變量p。收縮懲罰將使其中許多接近于零，但永遠(yuǎn)不會(huì)等于零。這對(duì)于預(yù)測(cè)準(zhǔn)確性來(lái)說(shuō)不是問(wèn)題，但它會(huì)使模型難以解釋。

套索回歸則克服了這個(gè)缺點(diǎn)，能夠迫使一些系數(shù)歸零，只要s足夠小。由于s=1會(huì)產(chǎn)生正規(guī)的OLS回歸，而當(dāng)s接近0時(shí)，系數(shù)收縮為零。因此，套索回歸也執(zhí)行變量選擇。

6.降維

降維算法將p+1個(gè)系數(shù)的問(wèn)題簡(jiǎn)化為M+1個(gè)系數(shù)的簡(jiǎn)單問(wèn)題，其中Mp是通過(guò)計(jì)算變量的M個(gè)不同線性組合或投影而獲得的。然后將這些M投影用作預(yù)測(cè)器來(lái)預(yù)測(cè)最小二乘擬合線性回歸模型。用于此任務(wù)的兩種方法是主成分回歸和偏最小二乘法。

主成分回歸（PCR）是從大量變量中導(dǎo)出低維特征集合的方法。數(shù)據(jù)的第一主成分方向是觀測(cè)數(shù)據(jù)變化最大的方向。換句話說(shuō)，第一主成分是最接近擬合數(shù)據(jù)的線，可以適合p個(gè)不同的主成分?jǐn)M合。第二主成分是與第一主成分不相關(guān)的變量的線性組合，并且在該約束下有最大方差。其思想是，主成分利用各個(gè)互相垂直方向上的數(shù)據(jù)的線性組合，捕捉數(shù)據(jù)中最大的方差。這樣，我們還可以結(jié)合相關(guān)變量的影響，從可用的數(shù)據(jù)中獲得更多的信息，而在常規(guī)的最小二乘法中，我們必須拋棄一個(gè)相關(guān)的變量。

PCR方法需要提取最能代表預(yù)測(cè)變量的X的線性組合。這些組合（方向）是以無(wú)監(jiān)督的方式提取的，因?yàn)閄對(duì)應(yīng)的Y無(wú)法確定主成分的方向。也就是說(shuō)，Y不監(jiān)督主成分的提取，因此最能解釋預(yù)測(cè)變量的方向不一定是預(yù)測(cè)輸出的最佳方向（即使經(jīng)常假設(shè)）。

偏最小二乘法（PLS）是PCR的一種替代方法。與PCR一樣，PLS是一種降維方法，它首先識(shí)別一組新的較小的特征，這些特征是原始特征的線性組合，然后通過(guò)最小二乘法擬合一個(gè)線性模型，具備新的M個(gè)特征。然而，與PCR不同的是，PLS利用Y變量來(lái)識(shí)別新的特征。

7.非線性模型

在統(tǒng)計(jì)學(xué)中，非線性回歸是回歸分析的一種形式，其中觀測(cè)數(shù)據(jù)通過(guò)函數(shù)建模，該函數(shù)是模型參數(shù)的非線性組合，并且取決于一個(gè)或多個(gè)自變量。數(shù)據(jù)采用逐次逼近法進(jìn)行擬合。以下是使用非線性模型的一些重要技巧。

階躍函數(shù)的變量是實(shí)數(shù)，它可以寫(xiě)成區(qū)間的指示函數(shù)的有限線性組合。非正式地說(shuō)，一個(gè)階躍函數(shù)是一個(gè)分段常數(shù)函數(shù)，它只有有限的幾個(gè)部分。

分段函數(shù)是由多個(gè)子函數(shù)定義的函數(shù)，每個(gè)子函數(shù)應(yīng)用于主函數(shù)域的某個(gè)區(qū)間。分段實(shí)際上是一種表達(dá)函數(shù)的方式，不是函數(shù)本身的特性，而是附加的限定條件，它可以描述函數(shù)的性質(zhì)。例如，分段多項(xiàng)式函數(shù)是，在每個(gè)子域上，函數(shù)都是多項(xiàng)式函數(shù)，并且每個(gè)多項(xiàng)式都是不同的。

樣條曲線是由多項(xiàng)式定義分段的特殊函數(shù)。在計(jì)算機(jī)圖形學(xué)中，樣條曲線是指一個(gè)分段多項(xiàng)式參數(shù)曲線。由于其結(jié)構(gòu)簡(jiǎn)單、評(píng)估簡(jiǎn)單、精度高，以及通過(guò)曲線擬合和交互曲線設(shè)計(jì)近似復(fù)雜形狀的能力，樣條曲線是很受歡迎的曲線。

廣義加性模型是一種廣義線性模型，其中線性預(yù)測(cè)因子線性地依賴(lài)于某些預(yù)測(cè)變量的未知平滑函數(shù)，它的作用就是推測(cè)這些平滑函數(shù)。

8.基于樹(shù)的方法

基于樹(shù)的方法可用于回歸和分類(lèi)問(wèn)題，包括將預(yù)測(cè)空間劃分為簡(jiǎn)單區(qū)域。由于用于分割預(yù)測(cè)空間的分割規(guī)則集可以概括為樹(shù)，因此這些類(lèi)型的方法稱(chēng)為決策樹(shù)方法。下面的方法是幾種不同的樹(shù)，可以將它們組合起來(lái)輸出單個(gè)共識(shí)預(yù)測(cè)。

Bagging（套袋）是一種減少預(yù)測(cè)方差的方法，通過(guò)從原始數(shù)據(jù)集生成額外的數(shù)據(jù)，重復(fù)組合，生成訓(xùn)練數(shù)據(jù)。通過(guò)增加訓(xùn)練集的大小，你不能提高模型的預(yù)測(cè)力，只是減小方差，將預(yù)測(cè)精確地調(diào)整到預(yù)期結(jié)果。

Boost（提升）是一種使用幾種不同模型計(jì)算輸出的方法，然后使用加權(quán)平均方法計(jì)算結(jié)果。結(jié)合這些方法的優(yōu)點(diǎn)和缺陷，通過(guò)改變加權(quán)公式，你可以使用不同的模型，為更大范圍的輸入數(shù)據(jù)提供良好的預(yù)測(cè)力。

隨機(jī)森林算法非常類(lèi)似于Bagging（套袋）。在這里，你可以繪制隨機(jī)的自舉樣本。然而，除了自舉樣本之外，你還可以繪制一個(gè)隨機(jī)的子集，訓(xùn)練單獨(dú)的樹(shù)。由于隨機(jī)特征選擇，與常規(guī)的Bagging（套袋）相比，每個(gè)樹(shù)更獨(dú)立，這通常會(huì)獲取更好的預(yù)測(cè)性能（由于更好的方差-偏置權(quán)衡），而且速度更快，因?yàn)槊恳粋€(gè)樹(shù)只從特征子集中學(xué)習(xí)。

9.支持向量機(jī)

支持向量機(jī)是機(jī)器學(xué)習(xí)中監(jiān)督學(xué)習(xí)模型下的一項(xiàng)技術(shù)。通俗地說(shuō)，就是找到一個(gè)分隔兩類(lèi)點(diǎn)集（二維空間中的線、三維空間中的面、高維空間中的超平面）的超平面。本質(zhì)上，這是一個(gè)約束優(yōu)化問(wèn)題，其中在完美分類(lèi)數(shù)據(jù)的約束（硬邊界）下裕度最大化。

“支持”超平面的數(shù)據(jù)點(diǎn)稱(chēng)為“支持向量”。在上圖中，藍(lán)色實(shí)心圓圈和兩個(gè)實(shí)心正方形是支持向量。對(duì)于兩種類(lèi)型的數(shù)據(jù)不可線性分離的情況，將點(diǎn)投影到分解（高維）空間中，并且線性分離成為可能。涉及多個(gè)類(lèi)的問(wèn)題可以分解為多個(gè)一對(duì)一，或者一對(duì)一的剩余二元分類(lèi)問(wèn)題。

10.無(wú)監(jiān)督學(xué)習(xí)

到目前為止，我們只討論了監(jiān)督學(xué)習(xí)技術(shù)，其中數(shù)據(jù)類(lèi)別已知，為算法提供的經(jīng)驗(yàn)是實(shí)體與其所屬組之間的關(guān)系。當(dāng)數(shù)據(jù)類(lèi)別未知時(shí)，可以使用另一組技術(shù)。在算法學(xué)習(xí)中，它們被稱(chēng)為無(wú)監(jiān)督，并要求您在提供的數(shù)據(jù)中找到模式。聚類(lèi)是無(wú)監(jiān)督學(xué)習(xí)的一個(gè)例子，其中不同的數(shù)據(jù)集被集中到一組密切相關(guān)的項(xiàng)目中。以下是最廣泛使用的無(wú)監(jiān)督學(xué)習(xí)算法。

主成分分析：通過(guò)識(shí)別一組具有最大方差且互不相關(guān)的特征的線性組合，從而產(chǎn)生數(shù)據(jù)集的低維表示。這種線性降維技術(shù)有助于理解無(wú)監(jiān)督環(huán)境中變量之間潛在的相互作用。

k-均值聚類(lèi)：根據(jù)數(shù)據(jù)到集群中心的距離將數(shù)據(jù)劃分成k個(gè)不同的集群。

層次聚類(lèi)：通過(guò)創(chuàng)建集群樹(shù)構(gòu)建多層次的集群。

這是對(duì)一些基本的統(tǒng)計(jì)技術(shù)的簡(jiǎn)單總結(jié)。這些技術(shù)可以幫助數(shù)據(jù)科學(xué)項(xiàng)目經(jīng)理和主管，更好地了解他們的數(shù)據(jù)科學(xué)團(tuán)隊(duì)每天都在做什么。事實(shí)上，一些數(shù)據(jù)科學(xué)團(tuán)隊(duì)純粹是通過(guò)python和R來(lái)運(yùn)行算法的。他們中的大多數(shù)人甚至不需要考慮底層的數(shù)學(xué)問(wèn)題。但是，能夠理解統(tǒng)計(jì)分析的基礎(chǔ)，可以讓團(tuán)隊(duì)有更好的方法，對(duì)于細(xì)節(jié)有更深入的了解，便于操作和進(jìn)行抽象思維。我希望這個(gè)基礎(chǔ)數(shù)據(jù)科學(xué)統(tǒng)計(jì)指南，能給你帶來(lái)不錯(cuò)的理解方式!