當(dāng)有大企業(yè)為數(shù)據(jù)進行爭論時，我們再一次感慨?dāng)?shù)據(jù)的價值。自從大數(shù)據(jù)一詞被提出之后，我們無時無刻不再提醒著自己，累積了越多的數(shù)據(jù)，就越能手握金礦。在機器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)開始走向大眾視野之后，我們更加自豪，仿佛分分鐘能從自己的數(shù)據(jù)中誕生個什么算法。

事實上，針對于機器學(xué)習(xí)應(yīng)用范疇看來，絕大部分企業(yè)所謂的大數(shù)據(jù)，都只是一大堆占據(jù)著儲存空間的垃圾。

因為，這些大數(shù)據(jù)都是未經(jīng)清洗、處理過的臟數(shù)據(jù)，完全不足以用來訓(xùn)練算法模型。

今天就來談?wù)剻C器學(xué)習(xí)這一高級產(chǎn)業(yè)中的“苦力工種”——數(shù)據(jù)預(yù)處理。

拋開盲目崇拜，我們其實知道，機器學(xué)習(xí)對于數(shù)據(jù)的依賴非常之深，同時對數(shù)據(jù)的要求也很高。和數(shù)據(jù)庫中的數(shù)據(jù)不同，現(xiàn)實生活中我們采集到的數(shù)據(jù)往往存在大量人為造成的異常和缺失，非常不利于算法模型的訓(xùn)練。

而對于數(shù)據(jù)的清洗、特征標(biāo)注等等，往往占據(jù)了一個項目七成的時間。

在分析了項目的具體需求之后，第一步就是數(shù)據(jù)的清洗。

數(shù)據(jù)清洗包含多種步驟，比如對異常值的處理、對缺失數(shù)據(jù)的處理和對重復(fù)數(shù)據(jù)的處理等等。

常用的辦法是將數(shù)據(jù)制成直方圖、點圖、箱型圖、Q-Q圖等等，從其中可以直觀的發(fā)現(xiàn)需要清理的數(shù)據(jù)。

如圖所示，遠離群體的數(shù)據(jù)均為需要清理的數(shù)據(jù)。當(dāng)然，清理也不一定是刪除，可以根據(jù)實際情況選擇用平均值替代甚至不處理等等。

在經(jīng)歷了痛苦的去異常、去缺失、去重復(fù)、降噪音之后，我們得到的僅僅是一份沒有明顯錯誤的原始數(shù)據(jù)。還要經(jīng)歷數(shù)據(jù)轉(zhuǎn)換、降維等等方式讓數(shù)據(jù)標(biāo)準(zhǔn)化，只保留我們所需要的維度。這樣一來才可以進一步降低噪音，去除無關(guān)特征帶來的巨大計算量。

以上的步驟可以運用于任何數(shù)據(jù)之上，像是在NLP中就要提取波形文件，去掉連接詞、分詞等等。至于在人臉識別中，則是將每個人的名字和對應(yīng)的照片標(biāo)注歸類，去掉混亂度較高的人。再提取圖片向量，一個人照片中向量的平均值即是他的特征。

總之，數(shù)據(jù)預(yù)處理工作的難度不大，但卻能把人折騰得欲仙欲死。

這也是為什么Apollo這樣的平臺會為人工智能創(chuàng)業(yè)者提供數(shù)據(jù)庫，畢竟對于大多數(shù)中小企業(yè)來講，獲取數(shù)據(jù)雖然簡單，對于數(shù)據(jù)的預(yù)處理卻是幾乎不可能完成的任務(wù)。而以谷歌、百度等為代表的大企業(yè)，擁有足夠的人力和算力，能夠?qū)⒆约旱臄?shù)據(jù)妥善處理，甚至開放組建生態(tài)力量。

除去與巨頭共舞，另外的選擇就是購買第三方提供的數(shù)據(jù)庫，可最大的問題就是數(shù)據(jù)的真實性和實用性。糟糕數(shù)據(jù)庫帶來的結(jié)果，往往是算法在數(shù)據(jù)庫內(nèi)跑得風(fēng)生水起，一落地應(yīng)用就漏洞百出。而在資本的揠苗助長下，大多數(shù)人都忙著鼓吹自己的算法模型而忽略了數(shù)據(jù)源頭問題，最終就是將萬丈高樓建立在沙地之上。

面對這種情況，最苦惱的就是那些還算不上BAT級別，但又有了足夠規(guī)模的互聯(lián)網(wǎng)企業(yè)：他們擁有了足夠多的數(shù)據(jù)，不屑于拿所謂的算法作為融資噱頭，而是真的想通過機器學(xué)習(xí)提升自身業(yè)務(wù)。可面對復(fù)雜的數(shù)據(jù)預(yù)處理工作，他們需要付出極大的人力成本。要是說邀請第三方為其處理，恐怕又不放心自身數(shù)據(jù)的安全。

而這一切，不正是商機所在嗎？

在今年三月的谷歌云開發(fā)者大會上，谷歌就發(fā)布了一項新服務(wù)—— Google Cloud Dataprep。它可以自動檢索出數(shù)據(jù)中的異常值，用戶只要給出數(shù)據(jù)清理規(guī)則，整個過程中都不需要人工寫代碼來干預(yù)。所以，用戶既可以簡單的完成數(shù)據(jù)清理，又能很大程度上保證數(shù)據(jù)安全。

數(shù)據(jù)的預(yù)處理的確是機器學(xué)習(xí)中的“臟活累活”，但這不代表不能用技術(shù)的力量提高這部分工作的效率。相比遙遙無期的人工智能，有關(guān)數(shù)據(jù)預(yù)處理的需求已經(jīng)擺在了我們面前，并且每天都在擴大。而專注于數(shù)據(jù)預(yù)處理垂直領(lǐng)域的技術(shù)服務(wù)商卻寥寥無幾。

所以，與其在NLP、自動駕駛的紅海中被巨頭碾壓，不如換個角度，從現(xiàn)在就開始想辦法服務(wù)那些渴望人工智能的企業(yè)。