什么是數據異常檢測？_CPD

上面的圖像是由一個人工智能繪制的，當時我們讓它為“異常檢測”這個詞創作藝術品。

據《華盛頓郵報》報道，2009年至2010年間，英國有1.7萬名男性報告懷孕。這些英國男性尋求與懷孕相關的護理，如產科檢查和產婦護理服務。然而，這并不是因為現代醫學的突破!有人在國家的醫療系統中輸入了錯誤的醫療代碼。簡單地說，數據記錄得很糟糕，而且沒有質量檢查來發現錯誤!

這很難歸咎于英國的醫療服務。質量，顧名思義，是主觀的。為各種可能的錯誤數據創建質量檢查是一項巨大的壯舉。即使是數據最成熟的公司也很難預料到每一個錯誤。然而，如果有一種方法可以使用AI/ML，這些解決方案可以獨立地從我們的數據集中學習。他們可以發現這樣的錯誤，而不需要我們明確地說，“如果入境的是男性，那么就不要提供孕產護理。”

事實上，有。

CPDA數據分析師都知道這叫做異常檢測。

什么是數據質量檢查?

在我們進入異常檢測的奇跡之前，我們必須了解什么是數據質量檢查(以及它是如何工作的)。

華爾街分析師：比特幣什么都不是，只是一股蒸汽:華爾街“全明星”分析師安迪·凱斯勒在1月31日《華爾街日報》觀點版面發表文章《比特幣泡沫背后》。

文章中他表示：比特幣什么都不是，它只是一股蒸汽，一種想法的概念。使用比特幣的交易非常少。它缺乏價值存儲屬性——任何一種一周下跌30%的東西都不能發揮這種作用。但彭博社(Bloomberg)的財富報道稱:“比特幣新手告訴我們，是什么促使他們以創紀錄的價格買入。“很多負擔不起的人可能因此受到嚴重傷害。Robinhood周五限制了一些加密貨幣的購買。

所以加密領域都將目光聚焦于二月中旬。我不知道紐約總檢察長會發現什么。她可能會結束調查，繼續自己的快樂生活，因為根本就沒有犯罪，或者發現一個讓伯尼·麥道夫看起來像從檸檬水攤上偷東西的騙局。我們知道當熱空氣耗盡時泡沫會發生什么。[2021/2/2 18:41:07]

數據質量檢查指定了數據維度的標準，即數據的完整性、有效性、及時性、唯一性、準確性和一致性。數據要么不符合這些標準，要么滿足這些標準，這揭示了有關其質量的信息(是高質量還是低質量)。您可以在這里了解更多關于數據質量及其重要性的信息。

數據質量規則將指定用戶定義為高質量數據的內容。例如，醫院可能將老年患者定義為年齡超過60歲。一個簡單的數據質量規則可以有以下形式:

孫宇晨：比特幣什么時候買都是對的:孫宇晨今天在推特表示，比特幣，又漲了。什么時候買都是對的。[2020/7/28]

規則:老年患者年齡>60歲

實際上，每家醫院可能都有不同的老年患者定義標準。因此，他們可能以不同的方式定義這些規則。通過這種方式，公司可以定義各種規則來識別有問題的數據。然后將這些規則添加到“規則庫”中，并在數據質量監控期間用于識別低質量條目。

一旦您的公司填充了這個規則庫，您將開發一個您希望數據遵守的標準或“常規行為”。不符合這些標準的數據是無效的、不完整的、不準確的。

例如，在我們上面的高級患者規則中，如果一個申請人的年齡是35歲，而用戶將其標記為“高級患者”，則此數據點將無效。

什么是異常檢測?

然而，還有一種方法可以在不需要編寫DQ規則的情況下找到與通常行為不同的數據點。這叫做異常檢測。它使用ML/AI來掃描數據，而不是DQ規則，以發現數據集特有的模式和期望值。一旦它了解了您的數據系統是如何工作的，它就可以自動找到不符合規范(或不符合這些模式)的數據，并標記條目以提醒相關方。不符合這些標準的值被稱為“異常值”。

一旦收到關于異常的警報，您將發現關于異常檢測服務為什么將該條目標記為異常的信息。例如，假設一家醫院在2月份記錄了10,000名患者，醫療保健系統收到一個警報，將此條目標記為異常。它可以通過數據集中的上下文解釋:這家醫院通常每月有大約1000名患者。這種突然的跳躍是出乎意料的(或者顯示為傳達此信息的圖形)。

聲音 | 多位議員Libra聽證會后接受采訪：沒有看到取得什么進展:在美國國會眾議院金融委員會關于Libra的聽證會結束后，眾議院兩黨議員都對冗長的證詞表示了不滿。眾議院金融委員會的成員表示，并沒有看到（扎克伯格出席聽證）取得了什么進展。該委員會高級成員、北卡羅來納州共和黨人Patrick McHenry表示：“坦率地說，我不確定我們在這里學到了什么新東西。”該委員會的其他幾位成員也同意這一觀點。德克薩斯州民主黨眾議員Sylvia Garcia也發表了類似于McHenry的評價，她還對Facebook及Libra協會這兩個實體是分開的說法提出了質疑。該委員會主席Maxine Waters則表示，她根本不支持這個計劃，不明白Libra想要達到什么目的，且項目也沒有得到“充分的解釋”。Waters稱：“我要求Libra暫停工作。扎克伯格也承諾，在沒有監管機構批準之前，他們不會啟動這項計劃。但她‘不太確定’這是同一回事。”（CNBC）[2019/10/24]

然后，您可以獲取這些信息，并確定它是一個異常數據點還是一個正常數據點。也許是因為新冠肺炎，那家醫院的病人激增了。根據您的響應方式，一些異常檢測算法可以從這種反饋中學習，并在未來更加準確地檢測異常。

聲音 | BM：李嘉圖合約意在用簡單英語告知用戶代碼將會做什么:4月18日晚，BM發推稱，李嘉圖合約（Ricardian contracts）意在用簡單英語告知用戶代碼將會做什么。在大多數情況下，他們不應該添加額外的無法執行的法律條款。安全的錢包應在你簽名之前顯示此說明，否則該應用可能會欺騙你。（注：近日，Block.one在Github發布李嘉圖合約說明（Ricardian Contract Specifications）和模板工具箱（Template Toolkit）[2019/4/18]

在我們上面介紹醫院的例子中，假設所有申請懷孕相關服務的人都被貼上了“PREG”的標簽。如果絕大多數使用這些服務的患者在性別欄中有“F”(女性)，異常檢測就會立即注意到“M”(男性)患者是否接受了“PREG”標簽。你不需要寫規則“PREG必須是F”來防止這種錯誤發生。

不同類型的異常

不同的業務角色有不同的方法來定義數據中的異常。

營銷團隊可能會收到異常數量的網絡研討會注冊，從一個公司的域名收到比平時更多的入站請求，或者從一個國家收到太多的請求(超過正常)。這些異常會影響他們的工作表現，并被標記為關鍵。

數據工程師可能對兩個不同系統中關于同一實體(如客戶)的沖突信息更感興趣。

分析 | 為什么加密貨幣不能取代股票:據btcmanager分析，加密貨幣不能取代股票主要有以下原因：加密貨幣是貨幣，不是股票；加密貨幣主要用作支付手段而不是價值存儲；加密貨幣的年平均回報率是不合理的；區塊鏈技術中沒有紅利或賬面價值的概念。[2018/8/5]

數據科學家可能會看到2月份某個隨機周四的平均銷售數據。然而，周四是公共假日，預計銷售額將增長兩倍。這肯定也是一個關鍵的異常!

因此，您可以說異常定義和異常檢測是相當主觀的。需要記住的重要部分是異常檢測服務必須能夠檢測所有形式的異常。在Ataccama，我們喜歡根據異常與數據的接近程度來定義異常。從高層(遠離實際數據，關于數據本身的更一般的信息)到低層(數據列中的異常，逐行，特定值/數據點)，我們可以在三個類別中定義異常:元數據、事務數據和記錄數據。

元數據異常

元數據是使用度量來描述實際底層數據的數據。例如，數據質量元數據指的是關于數據資源(數據庫、數據湖等)質量的信息。元數據允許您以對用例有獨特意義的方式組織和理解數據，同時保持數據的一致性和準確性。

這一級別的異常處理“一般”數據，是最接近數據本身的異常。這些是關于數據的異常，而不是數據中的異常(然而，它們仍然可以表示數據中的問題)。當數據質量出現意外下降時，就會出現這種情況;當一個數據集/點通常以一種方式標記，但已經以另一種方式標記;或者在提取關于您所存儲的數據的數據時，缺少一定數量的記錄、記錄太少或記錄太多，以及發生任何其他意外情況。

事務性數據異常

從元數據轉向更接近特定數據的地方，我們到達了中間層——事務性數據。我們稱之為中間層，因為您正在處理來自實際數據的值，但通過聚合的鏡頭(即，每五天或每五分鐘一次)。交易數據通常包含某種形式的貨幣交易，因為分析此類數據的能力非常有用。例如，如果您有每五分鐘的銷售匯總，您可以使用它來確定最繁忙的時間，是否值得在晚上8點后營業等等。

在這一水平上出現的異常情況可能是在一年中銷售較慢的某周出現了意外的銷售增長，購物假期的銷售額與一周中正常日子的銷售額相似，或者一個分支機構的業績在繁忙的月份下降得異常低，等等。

記錄級別的異常

在記錄級別，異常檢測標記數據集中可疑的特定值。如果其中一個數據點缺失、不完整、不一致或不正確，則可以將這些值標記為異常。

我們的介紹是記錄級異常的一個很好的例子。數據集中的一個值(性別)是意外的，并且與系統中的其他值不協調。這只是一行信息，是包含患者年齡、既往病史、身高、體重等更大信息集的一部分。

記錄級別的異常檢測逐行探索每個表和列中的數據集，尋找任何不一致之處。它可以揭示數據收集、聚合或處理中的問題。

異常檢測類型

現在我們了解了不同類型的異常，我們可以進入不同的方法來檢測它們。一種方法側重于將時間作為數據的主要上下文，而另一種方法側重于在正常行為的上下文中發現異常。這兩種類型的異常檢測被稱為時間相關和時間無關。

時變異常檢測

依賴于時間的數據會隨著時間的推移而演變(考慮一下我們的事務性數據示例)，因此了解何時捕獲值、何時輸入值、多個條目以何種順序到達等非常重要。通常，用戶將這些數據分組(聚合)在一起(例如，每小時或每天)，并在組級別上尋找異常或趨勢，根據上下文發現異常值。

例如，當您有每日數據(即每天記錄一次)時，您可以預期一些季節性。換句話說，周一的期望值可能與周二不同。因此，不同的值在不同的日子可能是異常的。此外，這些數據經常在較長時期內發生變化。這可以用數據的趨勢或數據的漂移變化來表示。所有這些模式都需要時變異常檢測算法來捕獲。

非時變異常檢測

任何沒有時間維度的數據都可以被認為是“時間無關的”。換句話說，數據是什么時候創建的，輸入到系統中，數據到達的順序等等都不重要。只有實際值才重要。因此，算法只需要了解期望值是什么，或者更好的是，將它們放入“正態聚類”中。

這些異常與主數據(相對于事務數據)更相關:客戶記錄、產品數據、參考數據和其他“靜態數據”。

結論

總之，異常檢測算法允許您發現數據中不需要或意外的值，而無需指定規則和標準。它對您的數據集進行快照，并通過將新數據與過去關于相同或類似數據集發現的模式進行比較來識別異常。

至于對異常檢測工具可以做什么的期望:

無論這些異常發生在較高的級別(如元數據)還是接近實際數據本身(如記錄級別異常)，您的異常檢測服務都需要能夠發現它們。

要應用于所有類型的數據，既需要時變異常檢測，也需要時變異常檢測。

您的服務還必須能夠處理不同的數據類型，易于使用和適應，并在將值標記為異常時提供可用的解釋。

異常檢測領域持續增長和發展。AI/ML正在數據管理領域得到更廣泛的采用和實現。我們可以預期異常檢測將變得越來越主動，而不是被動。這些工具將能夠在數據進入下游系統之前發現有問題的數據，從而造成損害。

異常檢測很有價值，因為它通常會揭示數據之外的潛在問題，例如物聯網設備中的缺陷機器、網絡中的黑客企圖、數據合并中的基礎設施故障或不準確的醫療檢查。這些問題通常很難預測，因此很難編寫DQ規則。因此，基于AI/ml的異常檢測是發現這些異常的最佳方法。

Tags：PREREGCPDPRE價格PRE幣REG價格REG幣CPD幣CPD價格

比特幣交易所