2013年1月，維克托的《大數(shù)據(jù)時代》出版，由于正逢互聯(lián)網(wǎng)思維、大數(shù)據(jù)、云計算、移動互聯(lián)網(wǎng)等新概念的風起云涌，這件遠涉重洋來到中國的舶來品，一時引得洛陽紙貴。
從維克托界定的大數(shù)據(jù)使用的三個原則來看(要整體不要抽樣;要效率不要絕對精確;要相關不要因果)，大數(shù)據(jù)的界定似乎正是針對小數(shù)據(jù)使用缺陷來界定的，而這些所謂的缺陷正是我們線下傳統(tǒng)數(shù)據(jù)收集和處理的基本原則。
在大數(shù)據(jù)大行其道之時，我們積累了幾十年、上百年的小數(shù)據(jù)處理方法是否就意味著過時了呢?
要回答這個問題，我們還是要先從小數(shù)據(jù)的定義入手。
目前網(wǎng)絡和行業(yè)都缺乏對小數(shù)據(jù)的標準定義，在美國、乃至臺灣有一種關于小數(shù)據(jù)的定義，認為相對于服務趨勢和戰(zhàn)略的大數(shù)據(jù)而言，那些服務于個體而形成的數(shù)據(jù)指標，應該稱之為小數(shù)據(jù)。舉例來說，谷歌根據(jù)人們在搜索引擎使用的關鍵詞的相關性，判斷H1N1流感趨勢，為衛(wèi)生防疫部門提供預防決策屬于大數(shù)據(jù)的典型應用;而耐克和蘋果合作開發(fā)的“Nike+”軟件，為個人的健康和鍛煉提供的數(shù)據(jù)指標和參考，就屬于小數(shù)據(jù)的典型范疇。
我想說的是，如果從維克托的大數(shù)據(jù)使用的三個原則和標準，我們可以清楚的看到，他所意指的小數(shù)據(jù)更多的是我們沿用傳統(tǒng)方法收集和整理的數(shù)據(jù)。而這本書的序作者之一的謝文也明確表示，在互聯(lián)網(wǎng)技術(shù)席卷的今天，整個世界會明顯地劃分為大數(shù)據(jù)時代、小數(shù)據(jù)時代、無數(shù)據(jù)時代，小數(shù)據(jù)的時代指向更加明顯。
所以，我們定義的小數(shù)據(jù)，應該是在信息和數(shù)據(jù)不完整的情況下，通過科學抽樣和技術(shù)調(diào)整，為個體或某類具體問題提供數(shù)據(jù)參考的數(shù)據(jù)包。
弄清楚了小數(shù)據(jù)的定義，我們來看看小數(shù)據(jù)相對于大數(shù)據(jù)，是不是真的已經(jīng)out了?
一、整體數(shù)據(jù)是不是一定優(yōu)于抽樣數(shù)據(jù)?
互聯(lián)網(wǎng)技術(shù)的發(fā)展，為收集整體數(shù)據(jù)而產(chǎn)生的成本下降直至忽略不計提供了可能，而傳統(tǒng)數(shù)據(jù)的收集方法是在平衡成本和精確之下，選擇規(guī)范的抽樣方法，兩者在數(shù)量級的比較上就不在一個體量級。從統(tǒng)計的精確度上來說，數(shù)據(jù)越大，精確度越高，結(jié)果也會更加逼近于真相。當年傳統(tǒng)的數(shù)據(jù)處理，正是受制于數(shù)據(jù)越多成本越大，或者某些現(xiàn)實條件，無法窮盡數(shù)據(jù)，才不得已采取了抽樣分析的折中辦法。從數(shù)量的角度講，大數(shù)據(jù)確實要優(yōu)于小數(shù)據(jù)。
但是，小數(shù)據(jù)分析方法，比如樣本方差，盡可能用各類參數(shù)將樣本與整體之間的差異縮小，讓結(jié)果無限逼近真實，在趨勢和策略判斷上，抽樣判斷和整體判斷，其實很多時候都是五十步和一百步的區(qū)別;另一方面，小數(shù)據(jù)時代積累的各類數(shù)據(jù)處理方法，也仍然是大數(shù)據(jù)時代數(shù)據(jù)處理的基礎和原則，拋棄小數(shù)據(jù)來談大數(shù)據(jù)，大數(shù)據(jù)也將是無源之水、無本之木。
二、小數(shù)據(jù)處理數(shù)據(jù)的原則是效率優(yōu)先、精確為輔。
大數(shù)據(jù)使用的第二個原則追求效率而不是絕對精確，需要重點提到的是，小數(shù)據(jù)處理體系的存在，正是建立在追求效率而不是絕對精確之上。小數(shù)據(jù)營銷一般是針對某類具體問題，在特定的時間段里，需要開展數(shù)據(jù)的收集、整理和分析，并得出結(jié)論以做行動參考。小數(shù)據(jù)營銷更符合實戰(zhàn)營銷中，不可能在信息完整情況下再進行判斷的現(xiàn)實。今天乃至以后很長一段時間的營銷現(xiàn)實是：我們必須在競爭對手信息不完整、消費者信息不完整、市場信息不完整等諸多現(xiàn)實情況下，在指定的時間前，做出判斷和決策，并付諸于行動。時機就是戰(zhàn)機，等到所有信息都完整了，黃花菜也涼了。所以，小數(shù)據(jù)才會有用抽樣代替整體的選擇。
另一個現(xiàn)實情況是，在現(xiàn)階段甚至很長的一段時間里，靠互聯(lián)網(wǎng)自動采集所有數(shù)據(jù)還不現(xiàn)實，技術(shù)的發(fā)展和普及需要時間，很多數(shù)據(jù)還無法實現(xiàn)網(wǎng)絡化，比如因為現(xiàn)實的財務、稅務問題，采集經(jīng)銷商的數(shù)據(jù)就一直是個難點，ERP喊了多少年，進銷存喊了多少年，在上了系統(tǒng)的企業(yè)里面，經(jīng)銷商的相關數(shù)據(jù)有多少水分，每個企業(yè)都心知肚明。
三、小數(shù)據(jù)具體問題的個性化處理，更偏重于因果關系而不是相關關系。
維克托提到大數(shù)據(jù)的第三個原則，就是大數(shù)據(jù)更注重相關關系而不是因果關系，即兩組數(shù)據(jù)的相關性是數(shù)據(jù)處理的第一要務，至于為什么相關，這個問題交給計算機自己處理。相關性和因果性，孰輕孰重，《大數(shù)據(jù)時代》的譯者周濤也曾表達了不同觀點。我們常說某人讀書不求甚解，通常是指其知其然，而不知其所以然。今天大數(shù)據(jù)將“所以然”的東西交給計算機，使用者只對“然”負責，我和朋友調(diào)侃說，這也許是機器統(tǒng)治人類的第一步。
在高度繁榮的信息社會，你要確保計算機“所以然”是可控的，得有兩個前提：一個是計算編程的邏輯在開始設定時就是正確的;一個是機器進行海量數(shù)據(jù)處理時，自身不會因為“疲勞”等因素造成計算錯誤，而這正是大數(shù)據(jù)面臨的問題。
小數(shù)據(jù)由于是針對特定問題開展的數(shù)據(jù)收集、處理和分析，人的因素比較大，大數(shù)據(jù)的短處正好成為了TA的長處，在數(shù)據(jù)的處理過程當中，目的的指向性和人與數(shù)據(jù)的互動會更加有效。
關于大數(shù)據(jù)相關性的問題，我曾看到一個網(wǎng)上的段子，問影響人壽命長短的因素有哪些，有人通過相關分析得出，一個人慶祝生日的次數(shù)與壽命的長短成正比，換句話說，一個人要長壽就要多慶祝生日。稍有常識的人，都知道這是一個逗比的笑話，但是當計算機給出其他的錯誤相關結(jié)果時，我們有多少人能夠用常識判斷出，這是否是又一個逗比的結(jié)果?
用小數(shù)據(jù)抵制甚至漠視大數(shù)據(jù)時代的到來，是逆潮流而動的掩耳盜鈴;但用大數(shù)據(jù)時代來否認小數(shù)據(jù)的價值，是將大數(shù)據(jù)的歷史和未來進行割裂，依然停留在偽數(shù)據(jù)時代。
從維克托界定的大數(shù)據(jù)使用的三個原則來看(要整體不要抽樣;要效率不要絕對精確;要相關不要因果)，大數(shù)據(jù)的界定似乎正是針對小數(shù)據(jù)使用缺陷來界定的，而這些所謂的缺陷正是我們線下傳統(tǒng)數(shù)據(jù)收集和處理的基本原則。
在大數(shù)據(jù)大行其道之時，我們積累了幾十年、上百年的小數(shù)據(jù)處理方法是否就意味著過時了呢?
要回答這個問題，我們還是要先從小數(shù)據(jù)的定義入手。
目前網(wǎng)絡和行業(yè)都缺乏對小數(shù)據(jù)的標準定義，在美國、乃至臺灣有一種關于小數(shù)據(jù)的定義，認為相對于服務趨勢和戰(zhàn)略的大數(shù)據(jù)而言，那些服務于個體而形成的數(shù)據(jù)指標，應該稱之為小數(shù)據(jù)。舉例來說，谷歌根據(jù)人們在搜索引擎使用的關鍵詞的相關性，判斷H1N1流感趨勢，為衛(wèi)生防疫部門提供預防決策屬于大數(shù)據(jù)的典型應用;而耐克和蘋果合作開發(fā)的“Nike+”軟件，為個人的健康和鍛煉提供的數(shù)據(jù)指標和參考，就屬于小數(shù)據(jù)的典型范疇。
我想說的是，如果從維克托的大數(shù)據(jù)使用的三個原則和標準，我們可以清楚的看到，他所意指的小數(shù)據(jù)更多的是我們沿用傳統(tǒng)方法收集和整理的數(shù)據(jù)。而這本書的序作者之一的謝文也明確表示，在互聯(lián)網(wǎng)技術(shù)席卷的今天，整個世界會明顯地劃分為大數(shù)據(jù)時代、小數(shù)據(jù)時代、無數(shù)據(jù)時代，小數(shù)據(jù)的時代指向更加明顯。
所以，我們定義的小數(shù)據(jù)，應該是在信息和數(shù)據(jù)不完整的情況下，通過科學抽樣和技術(shù)調(diào)整，為個體或某類具體問題提供數(shù)據(jù)參考的數(shù)據(jù)包。
弄清楚了小數(shù)據(jù)的定義，我們來看看小數(shù)據(jù)相對于大數(shù)據(jù)，是不是真的已經(jīng)out了?
一、整體數(shù)據(jù)是不是一定優(yōu)于抽樣數(shù)據(jù)?
互聯(lián)網(wǎng)技術(shù)的發(fā)展，為收集整體數(shù)據(jù)而產(chǎn)生的成本下降直至忽略不計提供了可能，而傳統(tǒng)數(shù)據(jù)的收集方法是在平衡成本和精確之下，選擇規(guī)范的抽樣方法，兩者在數(shù)量級的比較上就不在一個體量級。從統(tǒng)計的精確度上來說，數(shù)據(jù)越大，精確度越高，結(jié)果也會更加逼近于真相。當年傳統(tǒng)的數(shù)據(jù)處理，正是受制于數(shù)據(jù)越多成本越大，或者某些現(xiàn)實條件，無法窮盡數(shù)據(jù)，才不得已采取了抽樣分析的折中辦法。從數(shù)量的角度講，大數(shù)據(jù)確實要優(yōu)于小數(shù)據(jù)。
但是，小數(shù)據(jù)分析方法，比如樣本方差，盡可能用各類參數(shù)將樣本與整體之間的差異縮小，讓結(jié)果無限逼近真實，在趨勢和策略判斷上，抽樣判斷和整體判斷，其實很多時候都是五十步和一百步的區(qū)別;另一方面，小數(shù)據(jù)時代積累的各類數(shù)據(jù)處理方法，也仍然是大數(shù)據(jù)時代數(shù)據(jù)處理的基礎和原則，拋棄小數(shù)據(jù)來談大數(shù)據(jù)，大數(shù)據(jù)也將是無源之水、無本之木。
二、小數(shù)據(jù)處理數(shù)據(jù)的原則是效率優(yōu)先、精確為輔。
大數(shù)據(jù)使用的第二個原則追求效率而不是絕對精確，需要重點提到的是，小數(shù)據(jù)處理體系的存在，正是建立在追求效率而不是絕對精確之上。小數(shù)據(jù)營銷一般是針對某類具體問題，在特定的時間段里，需要開展數(shù)據(jù)的收集、整理和分析，并得出結(jié)論以做行動參考。小數(shù)據(jù)營銷更符合實戰(zhàn)營銷中，不可能在信息完整情況下再進行判斷的現(xiàn)實。今天乃至以后很長一段時間的營銷現(xiàn)實是：我們必須在競爭對手信息不完整、消費者信息不完整、市場信息不完整等諸多現(xiàn)實情況下，在指定的時間前，做出判斷和決策，并付諸于行動。時機就是戰(zhàn)機，等到所有信息都完整了，黃花菜也涼了。所以，小數(shù)據(jù)才會有用抽樣代替整體的選擇。
另一個現(xiàn)實情況是，在現(xiàn)階段甚至很長的一段時間里，靠互聯(lián)網(wǎng)自動采集所有數(shù)據(jù)還不現(xiàn)實，技術(shù)的發(fā)展和普及需要時間，很多數(shù)據(jù)還無法實現(xiàn)網(wǎng)絡化，比如因為現(xiàn)實的財務、稅務問題，采集經(jīng)銷商的數(shù)據(jù)就一直是個難點，ERP喊了多少年，進銷存喊了多少年，在上了系統(tǒng)的企業(yè)里面，經(jīng)銷商的相關數(shù)據(jù)有多少水分，每個企業(yè)都心知肚明。
三、小數(shù)據(jù)具體問題的個性化處理，更偏重于因果關系而不是相關關系。
維克托提到大數(shù)據(jù)的第三個原則，就是大數(shù)據(jù)更注重相關關系而不是因果關系，即兩組數(shù)據(jù)的相關性是數(shù)據(jù)處理的第一要務，至于為什么相關，這個問題交給計算機自己處理。相關性和因果性，孰輕孰重，《大數(shù)據(jù)時代》的譯者周濤也曾表達了不同觀點。我們常說某人讀書不求甚解，通常是指其知其然，而不知其所以然。今天大數(shù)據(jù)將“所以然”的東西交給計算機，使用者只對“然”負責，我和朋友調(diào)侃說，這也許是機器統(tǒng)治人類的第一步。
在高度繁榮的信息社會，你要確保計算機“所以然”是可控的，得有兩個前提：一個是計算編程的邏輯在開始設定時就是正確的;一個是機器進行海量數(shù)據(jù)處理時，自身不會因為“疲勞”等因素造成計算錯誤，而這正是大數(shù)據(jù)面臨的問題。
小數(shù)據(jù)由于是針對特定問題開展的數(shù)據(jù)收集、處理和分析，人的因素比較大，大數(shù)據(jù)的短處正好成為了TA的長處，在數(shù)據(jù)的處理過程當中，目的的指向性和人與數(shù)據(jù)的互動會更加有效。
關于大數(shù)據(jù)相關性的問題，我曾看到一個網(wǎng)上的段子，問影響人壽命長短的因素有哪些，有人通過相關分析得出，一個人慶祝生日的次數(shù)與壽命的長短成正比，換句話說，一個人要長壽就要多慶祝生日。稍有常識的人，都知道這是一個逗比的笑話，但是當計算機給出其他的錯誤相關結(jié)果時，我們有多少人能夠用常識判斷出，這是否是又一個逗比的結(jié)果?
用小數(shù)據(jù)抵制甚至漠視大數(shù)據(jù)時代的到來，是逆潮流而動的掩耳盜鈴;但用大數(shù)據(jù)時代來否認小數(shù)據(jù)的價值，是將大數(shù)據(jù)的歷史和未來進行割裂，依然停留在偽數(shù)據(jù)時代。
樂發(fā)網(wǎng)超市批發(fā)網(wǎng)提供超市貨源信息,超市采購進貨渠道。超市進貨網(wǎng)提供成都食品批發(fā),日用百貨批發(fā)信息、微信淘寶網(wǎng)店超市采購信息和超市加盟信息.打造國內(nèi)超市采購商與批發(fā)市場供應廠商搭建網(wǎng)上批發(fā)市場平臺,是全國批發(fā)市場行業(yè)中電子商務權(quán)威性網(wǎng)站。
本文內(nèi)容整合網(wǎng)站：百度百科、知乎、淘寶平臺規(guī)則
