作為一名數據科學從業者，你應該知道的P值_AXE

作者|SHAROONSAXENA編譯|CDA數據分析師EverythingyouShouldKnowaboutp-valuefromScratchforDataScience

介紹

當你向有抱負的數據科學家談論p值時，以下情況看起來是否很熟悉？

我無法告訴你數據科學家在涉及到如何解釋p值時是多么的手足無措。實際上，可以花點時間回答以下問題：

如何解釋p值？P值有多么的重要？你將如何向非數據科學人員解釋p值的重要性？這些問題應該是每個數據科學專業人員都應該能夠回答的關鍵問題。以我的經驗，大多數人都在努力克服第一個問題。如果我們不能為客戶分解機器學習模型的結果，我們就不能說服他們。

維基百科對p值的定義讓那些統計和數據科學領域的任何新手都感到望而生畏。關于p值的典型對話是這樣的：

而且你只知道一些公式和約定，卻沒有如何系統的解釋什么是P值的想法。那么，我們如何一勞永逸地學習p值，并將其根深蒂固地牢記在心？

我們應該如何從頭開始理解P值

在本文中，我們將從頭開始逐步建立p值的認知，并且還要揭穿p值的傳統解釋。我們將介紹以下內容：

什么是p值？統計學意義統計中p值的例子數據科學中P值的例子p值的一些傳統解釋什么是p值？

讓我們從絕對的基礎開始。什么是p值？為了理解這個問題，我們將來看一下正態分布：

我們在x軸上具有值的范圍，在y軸上具有不同值的出現頻率。

加密基礎設施作為一個類別已經取代NFT和游戲:金色財經報道，根據The Block Research匯編的數據，6月份，加密基礎設施賽道已經取代NFT和游戲，成為最受加密風投歡迎的投資類別。報告顯示，自2021年6月以來，NFT/游戲領域一直是web3中最受歡迎的風險投資標的，但這一23個月的連勝勢頭在6月份結束了，持續的熊市狀況正促使投資者關注基礎公司和項目。

6月份的重要交易包括Mythical Game的3700萬美元C1輪融資，以及由Binance Labs和Coin Fund牽頭的Cosmos區塊鏈Neutron的1000萬美元種子輪融資。[2023/7/4 22:16:15]

現在，假設我們從此分布中選取一個隨機值。我們選擇接近均值的值的可能性是最高的，因為它具有最高的峰值。我們可以清楚地看到，如果我們遠離峰值，則值的出現會迅速減少，相應的概率也會減少，趨近于一個非常小的接近0的值。

但是本文是關于p值的-那么為什么我們要看正態分布呢？好吧，考慮到我們上面討論的正態分布，請考慮如何定義P值。

P值是上圖中紅點右側值的累計概率。

要么是，

當從分布中隨機選擇值時，與紅點相對應的p值告訴我們將任何值帶到紅點右側的“總概率”。

現在，這看起來可能像是一個非常幼稚的定義，但是我們將在此基礎上繼續。

P值本身不包含任何值。較大的p值表示樣本得分與總體得分更加一致或相似。它就是如此簡單。

現在，你可能已經遇到了將p值與alpha值進行比較以得出結論的經驗法則。因此，讓我們研究一下alpha值。

P值的統計意義：輸入–Alpha值

江西省區塊鏈行業協會會長：南昌要把區塊鏈作為一項戰略性工程:長期關注區塊鏈發展的江西省區塊鏈行業協會會長陳蘇對南昌發展區塊鏈產業感觸頗深，他說：“南昌在理論研究、行業生態、應用技術等方面有優勢。下一步，要把區塊鏈技術作為一項基礎性、戰略性工程，完善區塊鏈產業支撐體系，加快培養高端人才和創新團隊，繼續出臺針對性強的政策措施，力爭在底層技術上實現自主創新突破。”（江西日報）[2020/9/30]

到目前為止，我已經提到過幾次alpha值，alpha值也被稱為顯著性水平。由于某些未知原因，我們知道該值為0.05或5％。

在統計課上我們也被老師教導過，也就是p值小于alpha意味著所獲得的結果具有統計學意義。但是alpha值到底是多少呢？

因此，讓我們花點時間看一下alpha值的含義。

alpha值只是一個閾值，P值在進行實驗后進行的相似性或顯著性中的測試前決定該閾值。

這意味著，如果得到樣本得分的概率小于或閾值p-值，我們認為它與總體顯著不同，甚至屬于新的樣本分布。

再次考慮一下上述的正態分布。此分布中的紅點表示alpha值或閾值p值。現在，讓我們說綠色和橙色點代表實驗后獲得的不同樣本結果。

在圖中可以看到，最左邊的綠點的p值大于alpha。因此，這些值可以得到相當高的概率和樣本結果被認為是幸運的。

最右邊的點(橙色)的p值小于alpha值(紅色)。因此，樣本結果是一個罕見的結果，不太可能是幸運的。因此，他們與分布有很大的不同。。

alpha值取決于正在執行的測試。如果我們不確定應該考慮什么值，那么將alpha值設為0.05被認為是一個不錯的約定。

數據：2018年4月至今，82%的時間里對沖基金作為一個群體都在做空比特幣:據微博財經博主BeatleNews發布的數據，2018年4月至今，CME比特幣期貨平臺中對沖基金機構的凈持倉量18%的時間里都為正，表明82%的時間里，對沖基金作為一個群體都在做空比特幣。

柱形圖（如圖）系用對沖基金每日多頭倉減去空頭倉而得，所以紅柱代表對沖基金的凈持倉量為負，在做空；反之，則為做多。

注：CFTC發布的COT報告最新數據只到5月19號。[2020/5/24]

但這帶有一個星號-我們考慮的alpha值越小，則將結果視為有意義的難度就越大。請記住，每個實驗的alpha值會有所不同，并且沒有任何一個alpha值可以視為經驗法則。

讓我們仔細看一下alpha值和p值之間的關系。

p值<alpha值

考慮以下分布：

在此，紅點表示Alpha值。這基本上是閾值p值。我們可以清楚地看到，閾值右側曲線下方的區域非常小。

橙色點代表使用樣本總體的p值。在這種情況下，我們可以清楚地看到p值小于alpha值。這可以解釋為：

從樣本獲得的結果是分布的一個極端，因此很有可能它可能屬于另外一個分布。

考慮到我們對alpha和p值的定義，我們認為得到的樣本結果是顯著不同的。我們可以清楚地看到p值遠遠小于alpha值。

p值>alpha值

我覺得你應該在進一步閱讀之前回答這個問題。既然你已經知道了硬幣的另一面，你就可以想象這種情況的結果了。

p值大于alpha意味著結果支持原假設，因此我們無法拒絕它。此結果通常與備用假設相反，并且獲得的結果并不顯著，只是一個偶然或者運氣的問題。

聲音 | MORECOIN研究院：穩定幣作為一種貨幣商品可以是現實世界的支付入口:據IMEOS報道，MORECOIN研究院在“金色財經相對論之穩定幣真的穩定嗎”分享結束后發文《穩定幣的穩定真的重要嗎》，稱法幣抵押穩定幣最核心的問題是兌付信任預期問題，而去中心化穩定幣系統無論是抵押型還是算法型，其最大的問題在于手續費和利潤不足以支撐系統運轉，引入雙代幣體系后導致更大的不確定性。同時贊同Terra項目方的看法，認為穩定幣作為一種貨幣商品，其“穩定”本身不是最重要的，重要的是作為一個商品能給用戶帶來怎樣的利益、能夠給解決現有的零售交易哪些問題。無論是去中心化、透明性、穩定性，它們都只是作為一種特殊“貨幣”的商品屬性，本質是為了吸引更多的用戶，在未來甚至有可能是現實世界的支付入口，作為零售交易或者現實世界的支付基礎設施。[2019/1/24]

再次，考慮相同的總體分布曲線，紅色點為alpha，橙色點為樣本中計算出的p值：

因此，p值>alpha可以解釋如下：

樣本結果只是總體分布的一個低概率事件，很可能是靠運氣得到的

我們可以清楚地看到，人口曲線下方橙色點右側的面積遠大于alpha值。這意味著所獲得的結果更可能是同一總體分布的一部分，而不是其他分布的一部分。

現在我們已經理解了p值和alpha值的解釋，讓我們來看一個來自統計世界的經典例子。

統計中p值的例子

在國家射箭隊中，總教練打算在即將到來的比賽之前改善射箭運動員的表現。你認為提高弓箭手性能的好方法是什么？

他提出并實施了在比賽前進行呼吸運動和冥想可能會有所幫助的想法。實驗前后的統計數據如下：

聲音 | 肖磊：數字貨幣作為一種金融工具將影響世界:數字貨幣分析專家肖磊表示，數字貨幣是下一個會影響世界的金融工具，作為一種新的金融形態，有著對底層金融產品重構的力量。區塊鏈是一種可以提供制度創新、文明建設、模型實驗、管理裁決等的一種去中心化的可信技術。[2018/8/12]

真有趣。結果支持了弓箭手總體得分提高的假設。但是教練希望確保這些結果是由于弓箭手能力的提高而不是因為運氣或偶然性。那么你認為我們應該怎么做？

這是一個典型的相似度測試(本例中為z檢驗)，我們想要檢查樣本是否與總體相似。我不會深入討論相似性測試，因為這超出了本文的范圍。

為了解決這個問題，我們將循序漸進的方法：

了解給定的信息并形成備選假設和無效假設計算Z分數并找到曲線下的面積計算相應的p值比較p值和alpha值解釋最終結果這個問題的解決方案

步驟1：了解給定的信息

總體均值=74總體標準偏差=8樣本均值=78樣本大小=60我們的總體均值和標準差樣本容量超過30，這意味著我們將使用z檢驗。

根據上面的問題，可能存在兩種情況：

實驗后的結果取決于運氣，即實驗前后的均值相似。這將是我們的“零假設”實驗后的結果確實與實驗前的結果有很大不同。這將是我們的“備擇假設”步驟2：計算Z分數

現在，我們將使用以上公式計算Z分數。你問這些符號代表什么？好吧，告訴你是什么意思：

X=總體均值M=樣本均值Sigma=總體標準偏差n=樣本實例數插入相應的值后，Z分數為–3.87。

步驟3：參考Z表并找到p值：

如果我們在Z表中查找3.87，則會得到的值是0.999。這是曲線下的面積或總體分布下的概率。但這是什么概率？

我們得到的概率是在我們計算的z分數(紅點)的左邊。該值0.999表示相對于總體，得到“小于樣本得分78”的結果的“總概率”。

這里，紅點表示樣本均值相對于總體分布的位置。但是我們之前學過p值在紅點的右邊，我們該怎么做?

對于這個，我們會用到正態Z分布下的總面積是1。因此，z分數右側的面積(或未陰影區域所代表的p值)可以計算為:

p值=1–0.999

p值=0.001

0.001(p值)是紅點右側的未陰影區域。值0.001表示得到“大于樣本得分78”的結果的“總概率”，相對于總體。

步驟4：比較p值和alpha值

我們沒有為alpha提供任何值，因此我們可以考慮alpha=0.05。根據我們的理解，如果獲得樣本結果的可能性小于alpha值，則我們認為獲得的樣本結果有顯著差異。

我們可以清楚地看到，p值遠遠小于alpha值:

0.001<<0.5

這表明，就總體分布而言，得到平均值為78的概率很低。因此，可以方便地說，射箭運動員在樣本群體中成績的提高不是運氣的結果。樣本總體屬于其自身的某種其它(在本例中更好)分布。

數據科學中p值的例子

現在，我相信這是你一直在等待的部分。在統計中使用p值是可以理解的，我們甚至多次聽說過它。但是p值處于數據科學的那個領域中呢?

即使許多有抱負的數據科學家了解p值的含義，他們也不知道如何在數據科學中使用此知識。結果就是他們錯過了一個非常強大的方法來改進他們的模型。

P值是特征選擇過程中的重要指標。在特征選擇中，我們嘗試找出自變量的最佳子集來構建模型。

現在你可能會問：“為什么不把所有的自變量都帶入呢？”

實際上，引入冗余且沒有貢獻的變量會增加模型的復雜性。此外，它們可以降低模型在準確性、運行時甚至內存占用方面的性能。

讓我們看一個例子。假設我有一個包含不同初創公司信息的數據集。我們有以下變量:

我們的目標是根據其他自變量來預測初創公司的利潤。現在，你的直覺可能會說–使用所有可用的自變量來構建一個線性回歸模型。

經過預處理和OneHot編碼之后，因變量具有以下映射：

接下來，我們將使用statsmodels庫構建一個OLS模型。這是我們得到的：

這個表顯示了所有關于獨立變量的統計數據。但是現在，我們只對包含p值的列感興趣。我們可以清楚地看到，“R&DSpend”、“Administration”和“State_California”的p值超過0.50!

但是問題是，這個p值在回歸模型中意味著什么？為此，讓我們了解計算這些p值的假設是什么：

原假設：自變量對目標變量沒有顯著影響備擇假設：自變量對目標變量有顯著影響現在，以上結果表明，“R&DSpend”、“Administration”和“State_California”對初創公司獲得的“利潤”沒有重大影響。因此，讓我們從模型中刪除這三個變量

除去這兩個變量后的結果映射為：

在再次使用statsmodels庫構建OLS模型時，我們得到的是：

我們可以看到，現在只有一個變量剩余值為0.05–“State_Florida”。那么我們應該刪除它嗎？

首先，我們從未決定任何alpha值。如果我們將alpha值設為0.05，則變量“State_Florida”將被消除。如果我將alpha設置為0.10，則該變量將在過濾過程中幸存下來。

在這種情況下，考慮到0.05不是要為alpha值選擇的經驗法則，我會保留下來。

在這個模型總結中最重要的一點是，盡管我們減少了兩個獨立變量，但調整后的R-Square值卻上升了。

正如我們前面討論的這是雙重效果。借助p值，我們不僅創建了一個變量較少的簡單模型，而且還改善了模型的性能。

在總結本文之前，讓我們看一下許多數據科學專業人員和統計學家對p值的誤解。

對p值的一些傳統解釋

我見過很多人對P值有很多的誤解。以下是一些最常見的錯誤：

我們錯誤地拒絕原假設的概率：盡管低p值會促進對零假設的拒絕，但它與拒絕原假設的概率無關統計顯著性水平：我們在實驗前選擇顯著性水平。如果p值滿足我們的顯著性水平(p<alpha)，我們才能得出結論干預效果的大小：p值絕不表示實驗期間引入的樣品中的干預大小。原假設成立的可能性：這與原假設很接近，可能不會造成太大傷害，但仍然會造成混淆。使用頻率統計量來討論原假設為真是不可能的。高p值意味著數據與原假設高度一致當然還有更多的錯誤！但請記住這些，下次你在工作中遇到p值時，你會做得很好。

Tags：AXEatcXENAXE幣是什么幣atc幣是什么幣XEN幣XEN價格

萊特幣價格