數據越多垃圾越多？如何收集、處理、分(fēn)析更多的安全數據

安全遙測正在興起，但獲取洞見性及可運營化的數據依然困難，很多企業在這方面是落後于時代的。我(wǒ)們需要全行業的努力來扭轉這種局面。

安全團隊如今收集的數據可謂海量。企業戰略集團(ESG)的研究表明，38%的企業每個月安全運營中(zhōng)要收集、處理和分(fēn)析10TB以上的數據。都是什麽類型的數據呢？最大(dà)的數據源包括：防火(huǒ)牆日志(zhì)、其他安全設備的日志(zhì)數據、網絡設備的日志(zhì)數據、反病毒(AV)工(gōng)具産生(shēng)的數據、用戶活動日志(zhì)、應用日志(zhì)等等。

值得指出的是，收集來的安全數據數量每年都在增長。事實上，28%的企業稱現在比2年前收集、處理和分(fēn)析的數據量多了很多，而另外(wài)49%的企業稱當前處理數據量比2年前多了一(yī)些。

總的來說，這種對安全數據的癡迷是件好事兒。大(dà)堆數據中(zhōng)總會藏着少量有價值的精華。那麽理論上，數據越多，等于精華越多。

然而，不幸的是，數據越多，垃圾數據也就越多。總有人得去(qù)梳理數據，轉譯數據，讓數據有意義，能使用。而且，基本的存儲問題也是存在的。是全部數據都存儲下(xià)來呢？還是定義某種價值分(fēn)類方法，保留有價值數據，扔掉其他的？是集中(zhōng)存儲，還是分(fēn)布式存儲？是放(fàng)在自家内部網絡上，還是置于雲端？還有，到底該怎麽管理這所有的數據：關系數據庫管理系統(RDBM)？分(fēn)布式多用戶全文搜索引擎Elastic？分(fēn)布式系統基礎架構Hadoop?SIEM?

面對問題吧！安全就是個大(dà)數據應用，是時候統合安全行業和網絡安全人士，考慮安全數據問題，想出共有的解決方案了。

此處有些建議可供參考：

1. 我(wǒ)們需要倍加重視數據規範

是的，我(wǒ)們有一(yī)些标準格式，出自MITRE這樣的組織，比如STIX、TAXII、CVE列表等等。但常見的抱怨是，這些标準都太複雜(zá)了，而且主要用于美國聯邦政府。我(wǒ)們需要創建簡單的标準數據封裝，可以用在幾乎全部安全數據上的那種。

舉個例子，不用舍近求遠，就看看Splunk吧。該公司建議采用通用信息模型(CIM)标準，來規範所有數據。這樣就可以更容易地檢索數據，将數據置于上下(xià)文中(zhōng)理解，并能關聯不同系統中(zhōng)的數據元素。作爲一(yī)個行業，我(wǒ)們需要的，是全部安全數據都能遵從類似CIM的一(yī)個開(kāi)箱即用的模型，讓每個人都可以更輕松地處理數據。

2. 所有安全數據都應可通過标準API使用

除了通用格式，所有分(fēn)析工(gōng)具、SaaS産品，還有數據倉庫，都應提供通過标準API導入/導出數據的功能。比如這樣一(yī)個用例：公司網絡中(zhōng)有SIEM和網絡分(fēn)析工(gōng)具，但外(wài)包了終端檢測與響應(EDR)和威脅情報分(fēn)析工(gōng)作給SaaS提供商(shāng)。當公司安全運營中(zhōng)心(SOC)團隊檢測到安全事件，他們應能通過想用的任意工(gōng)具（或多個工(gōng)具），即時從所有源分(fēn)析全部數據。

我(wǒ)們需要數據能通過标準API進行實時導入/導出，以便可以簡單有效地實時按需取用數據。

3. 企業需要分(fēn)布式安全數據管理服務

今天的安全運營環境中(zhōng)，同樣的數據會在不同分(fēn)析工(gōng)具中(zhōng)收集處理多次。這樣非常浪費(fèi)。爲提升安全數據的效率和有效性，所有安全遙測都應通過分(fēn)布式數據管理服務加以收集、處理、規範化并提供使用。

應澄清的一(yī)點是，數據并非就在分(fēn)布式數據管理服務中(zhōng)加以分(fēn)析。相反，數據應通過标準接口，以通用格式呈現給所有類型的分(fēn)析工(gōng)具。此類安全數據管理服務，還應負責基本的維護和安全操作。比如備份/恢複、歸檔、數據壓縮、加密等等。分(fēn)布式安全數據管理服務可能會在内部存儲一(yī)些數據，然後自動過期并歸檔其他數據到更便宜的存儲上(如磁帶、雲等)。注意：分(fēn)布式安全數據管理服務，是ESG的SOAPA多層架構中(zhōng)的一(yī)層。

4. CISO必須擁抱人工(gōng)智能和機器學習

鑒于安全數據規模的增長，知(zhī)道數據的類型、位置、含義，清楚怎樣整合數據的人的數量，就顯得非常的小(xiǎo)，且還在持續縮小(xiǎo)中(zhōng)。幾乎可以斷定，我(wǒ)們實際上已經跨越了人類可以有效處理這些數據的那條線。是時候讓機器來做那繁重的多層數據分(fēn)析工(gōng)作，爲人類總結歸納數據，隻把困難的決策工(gōng)作留給人類就好。

好消息是，已經有很多安全類AI創新，很多解決方案也走到了實用階段。壞消息是，市場上炒作太多，幹貨太少。給CISO的建議是：貨物(wù)出門概不退換，買者自行小(xiǎo)心，将大(dà)量資(zī)源投入研究、信息邀請書(shū)(RFI)/建議邀請書(shū)(RFP)和概念驗證項目中(zhōng)。

5. 盡量自動化，更多自動化

任何可被自動化的東西都應該自動化，包括數據收集、數據規範化、數據分(fēn)發、數據分(fēn)析和自動化修複。人類應降到安全數據周期的末端，專注困難的調查和決策。

面對現實，好心的安全團隊被如今龐大(dà)的數據量淹沒。他們奮不顧身，盡力而爲，但現實結果卻冰冷殘酷：随着安全數據規模上升，安全人員(yuán)隻能導出價值的增量部分(fēn)。你甚至可以得出這樣的結論：更多安全數據需要的額外(wài)操作開(kāi)銷，實際上會減少數據的價值——當今很多企業的現狀。

要讓增加的數據更有用，我(wǒ)們需要讓它更易于消費(fèi)、分(fēn)析和操作化。而要達到這一(yī)點，安全行業和網絡安全從業者需要精誠合作，共同努力。