對數據過于相(xiàng)信

2008年(nián)，Google第一(yī)次開(kāi)始預測流感就(jiù)取得了很好的效果，比美國(guó)疾病預防控制中心提前兩禮拜預測到(dào)了流感的爆發。但是，幾年(nián)之後，Google的預測比實際情況(由防控中心根據全美就(jiù)診數據推算(suàn)得出)高(gāo)出了50%。媒體過于渲染了Google的成功，出于好奇目的而搜索相(xiàng)關關鍵詞的人越來越多(duō)，從(cóng)而導緻了數據的扭曲。

低(dī)估大數據複雜(zá)程度

在美國(guó)有幾個(gè)互聯網金融公司專做中小(xiǎo)企業(yè)貸款。但是中小(xiǎo)企業(yè)貸款涉及的數據更複雜(zá)，而且中小(xiǎo)企業(yè)涉及到(dào)整個(gè)行業(yè)非常特殊的一(yī)些數據，比如非标準的财務報(bào)表和不同行業(yè)、不同範式的合同，他們沒有很專業(yè)的知識，是很難理解或者很難有時間把它準确挖掘出來。

當時大數據團隊想用一(yī)個(gè)很完美的模型把所有的問題都解決掉，比如把市(shì)場和信貸的解決方案全部用一(yī)個(gè)模型來解決，但因為(wèi)數據的複雜(zá)程度，最後證明這種方法是失敗的，而且90%的時間都在做數據清理。這就(jiù)說明，想通(tōng)過大數據技(jì)術(shù)一(yī)下(xià)子解決所有的問題是很難成功的，而是要用抽絲剝繭、循序漸進的方式。

管理層的惰性

某家旅遊公司系統通(tōng)過web日志(zhì)數據的挖掘來提升客戶洞察。結果證明，用戶在浏覽網站之後，随後的消費(fèi)行為(wèi)模式與管理層所認為(wèi)的不一(yī)緻。當團隊彙報(bào)此事(shì)時，管理層認為(wèi)不值一(yī)提。但是，該團隊并沒有放(fàng)棄，并通(tōng)過嚴密的A/B測試，回擊了管理層的輕視。

這個(gè)案例的最終結果，不是每個(gè)CIO都能(néng)期盼的。但是，有一(yī)點是可以确定的：做好和管理層打交道的準備，讓他們充分理解大數據是什麽以及相(xiàng)應的價值。

應用場景選擇錯(cuò)誤

一(yī)家保險公司想了解日常習慣和購買生(shēng)命保險意願之間的關聯性。由于随後覺得習慣太過于寬泛，該公司将調查範疇限定到(dào)是否吸煙(yān)上(shàng)。但是，工(gōng)作仍然沒有實質進展。不到(dào)半年(nián)，他們就(jiù)終止了整個(gè)項目，因為(wèi)一(yī)直未能(néng)發現任何有價值的信息。

這個(gè)項目的失敗是由于問題的複雜(zá)性。在抽煙(yān)與否之間，該公司沒有注意到(dào)還(hái)有大片灰色地帶：很多(duō)人是先抽煙(yān)而後又(yòu)戒煙(yān)了。在将問題簡單化動機(jī)的驅動下(xià)，這個(gè)部分被忽略了。

問題梳理不夠全面

一(yī)家全球性公司的大數據團隊發現了很多(duō)深刻的洞察，并且計劃通(tōng)過雲讓全公司共享。結果這個(gè)團隊低(dī)估了效率方面的損耗，由于網絡擁塞的問題，無法滿足全球各個(gè)分支順暢提交數據運行分析的需求。

該公司應該仔細思考下(xià)如何支撐大數據項目，梳理所需的技(jì)能(néng)并協調各IT分支的力量進行支持。由于網絡、安全或基礎設施的問題，已經有太多(duō)的大數據項目栽了跟頭。

缺乏大數據分析技(jì)能(néng)

一(yī)家零售公司的首席執行官不認同亞馬遜規模化、扁平化的服務模式，因此讓CIO構建一(yī)個(gè)客戶推薦引擎。項目最初的規劃是半年(nián)為(wèi)期，但是團隊很快認識到(dào)諸如協同過濾(collaborativefiltering)之類的概念無法實現。為(wèi)此，一(yī)個(gè)團隊成員(yuán)提出做一(yī)個(gè)“假的推薦引擎”，把床單作為(wèi)唯一(yī)的推薦産品。這個(gè)假引擎的工(gōng)作邏輯是：買攪拌機(jī)的人會(huì)買床單，買野營書籍的人會(huì)買床單，買書的人會(huì)買床單。就(jiù)是如此，床單是唯一(yī)的、默認的推薦品。

盡管可笑(xiào)，這個(gè)主意其實并不壞，默認的推薦也能(néng)給企業(yè)帶來銷售上(shàng)的提升。但是，由于大數據相(xiàng)關技(jì)能(néng)的缺失，真正意義上(shàng)的引擎未能(néng)實現。

提出了錯(cuò)誤的問題

一(yī)家全球領先的汽車制造商決定開(kāi)展一(yī)個(gè)情感分析項目，為(wèi)期6個(gè)月(yuè)，耗資1千萬美元。項目結束之後，該廠商将結果分享給經銷商并試圖改變銷售模式。然後，所得出的結果最終被證明是錯(cuò)誤的。項目團隊沒有花足夠的時間去了解經銷商所面臨的問題或業(yè)務建議，從(cóng)而導緻相(xiàng)關的分析毫無價值。

應用了錯(cuò)誤的模型。某銀(yín)行為(wèi)判斷電(diàn)信行業(yè)的客戶流失情況，從(cóng)電(diàn)信業(yè)聘請了一(yī)位專家，後者也很快構建了評估用戶是否即将流失的模型。當時已進入評測驗證的最後階段，模型很快就(jiù)将上(shàng)線，而銀(yín)行也開(kāi)始準備給那些被認為(wèi)即将流失的客戶發出信件(jiàn)加以挽留。

但是，為(wèi)了保險起見(jiàn)，一(yī)位内部專家被要求對模型進行評估。這位銀(yín)行業(yè)專家很快發現了令人驚奇的事(shì)情：不錯(cuò)，那些客戶的确即将流失，但并不是因為(wèi)對銀(yín)行的服務不滿意。他們之所以轉移财産(有時是悄無聲息的)，是因為(wèi)感情問題——正在為(wèi)離婚做準備。

可見(jiàn)，了解模型的适用性、數據抽象的級别以及模型中隐含的細微差别，這些都是非常具有挑戰性的。

管理層阻力

盡管數據當中包含大量重要信息,但FortuneKnowledge公司發現有62%的企業(yè)領導者仍然傾向于相(xiàng)信自(zì)己的直覺,更有61%的受訪者認為(wèi)領導者的實際洞察力在決策過程中擁有高(gāo)于數據分析結論的優先參考價值。

選擇錯(cuò)誤的使用方法

企業(yè)往往會(huì)犯下(xià)兩種錯(cuò)誤,要麽構建起一(yī)套過分激進、自(zì)己根本無法駕馭的大數據項目,要麽嘗試利用傳統數據技(jì)術(shù)處理大數據問題。無論是哪種情況,都很有可能(néng)導緻項目陷入困境。

提出錯(cuò)誤的問題

數據科學非常複雜(zá),其中包含專業(yè)知識門(mén)類(需要深入了解銀(yín)行、零售或者其它行業(yè)的實際業(yè)務狀況);數學與統計學經驗以及編程技(jì)能(néng)等等。很多(duō)企業(yè)所雇用的數據科學家隻了解數學與編程方面的知識,卻欠缺最重要的技(jì)能(néng)組成部分——對相(xiàng)關行業(yè)的了解，因此最好能(néng)從(cóng)企業(yè)内部出發尋找數據科學家。

缺乏必要的技(jì)能(néng)組合

這項理由與“提出錯(cuò)誤的問題”緊密相(xiàng)關。很多(duō)大數據項目之所以陷入困境甚至最終失敗,正是因為(wèi)不具備必要的相(xiàng)關技(jì)能(néng)。通(tōng)常負責此類項目的都是IT技(jì)術(shù)人員(yuán)——而他們往往無法向數據提出足以指導決策的正确問題。

與企業(yè)戰略存在沖突

要讓大數據項目獲得成功,大家必須擺脫将其作為(wèi)單一(yī)“項目”的思路(lù)、真正把它當成企業(yè)使用數據的核心方式。問題在于,其它部門(mén)的價值或者戰略目标有可能(néng)在優先級方面高(gāo)于大數據,這種沖突往往會(huì)令我們有力無處使。

大數據孤島

大數據供應商總愛談論“數據湖(hú)”或者“數據中樞”,但事(shì)實上(shàng)很多(duō)企業(yè)建立起來的隻能(néng)算(suàn)是“數據水(shuǐ)坑兒”,各個(gè)水(shuǐ)坑兒之間存在著(zhe)明顯的邊界——例如市(shì)場營銷數據水(shuǐ)坑兒與制造數據水(shuǐ)坑兒等等。需要強調的是,隻有盡量緩和不同部門(mén)之間的隔閡并将各方的數據流彙總起來,大數據才能(néng)真正發揮自(zì)身價值。

在大數據技(jì)術(shù)之外遇到(dào)了其它意外狀況。數據分析僅僅是大數據項目當中的組成部分之一(yī),訪問并處理數據的能(néng)力同樣重要。除此之外,常常被忽略的因素還(hái)有網絡傳輸能(néng)力限制與人員(yuán)培訓等等。

回避問題

有時候我們可以肯定或者懷疑數據會(huì)迫使自(zì)身做出一(yī)些原本希望盡量避免的運營舉措,例如制藥行業(yè)之所以如此排斥情感分析機(jī)制、是因為(wèi)他們不希望将不良副作用報(bào)告給美國(guó)食品藥品管理局并承擔随之而來的法律責任。

在這份理由清單中,大家可能(néng)已經發現了一(yī)個(gè)共同的主題:無論我們如何高(gāo)度關注數據本身,都會(huì)有人為(wèi)因素介入進來。即使我們努力希望獲取對數據的全面控制權,大數據處理流程最終還(hái)是由人來打理的,其中包括衆多(duō)初始決策——例如選擇哪些數據進行收集與分析、向分析結論提出哪些問題等等。

為(wèi)防止大數據項目遭遇失敗，引入叠代機(jī)制是非常必要的。使用靈活而開(kāi)放(fàng)的數據基礎設施,保證其允許企業(yè)員(yuán)工(gōng)不斷調整實際方案、直到(dào)他們的努力獲得理想的回饋，最終以叠代為(wèi)武器(qì)順利邁向大數據有效使用的勝利彼岸。