2013年1月，維克托的《大數(shù)據(jù)時(shí)代》出版，由于正逢互聯(lián)網(wǎng)思維、大數(shù)據(jù)、云計(jì)算、移動互聯(lián)網(wǎng)等新概念的風(fēng)起云涌，這件遠(yuǎn)涉重洋來到中國的舶來品，一時(shí)引得洛陽紙貴。
從維克托界定的大數(shù)據(jù)使用的三個原則來看(要整體不要抽樣;要效率不要絕對精確;要相關(guān)不要因果)，大數(shù)據(jù)的界定似乎正是針對小數(shù)據(jù)使用缺陷來界定的，而這些所謂的缺陷正是我們線下傳統(tǒng)數(shù)據(jù)收集和處理的基本原則。
在大數(shù)據(jù)大行其道之時(shí)，我們積累了幾十年、上百年的小數(shù)據(jù)處理方法是否就意味著過時(shí)了呢?
要回答這個問題，我們還是要先從小數(shù)據(jù)的定義入手。
目前網(wǎng)絡(luò)和行業(yè)都缺乏對小數(shù)據(jù)的標(biāo)準(zhǔn)定義，在美國、乃至臺灣有一種關(guān)于小數(shù)據(jù)的定義，認(rèn)為相對于服務(wù)趨勢和戰(zhàn)略的大數(shù)據(jù)而言，那些服務(wù)于個體而形成的數(shù)據(jù)指標(biāo)，應(yīng)該稱之為小數(shù)據(jù)。舉例來說，谷歌根據(jù)人們在搜索引擎使用的關(guān)鍵詞的相關(guān)性，判斷H1N1流感趨勢，為衛(wèi)生防疫部門提供預(yù)防決策屬于大數(shù)據(jù)的典型應(yīng)用;而耐克和蘋果合作開發(fā)的“Nike+”軟件，為個人的健康和鍛煉提供的數(shù)據(jù)指標(biāo)和參考，就屬于小數(shù)據(jù)的典型范疇。
我想說的是，如果從維克托的大數(shù)據(jù)使用的三個原則和標(biāo)準(zhǔn)，我們可以清楚的看到，他所意指的小數(shù)據(jù)更多的是我們沿用傳統(tǒng)方法收集和整理的數(shù)據(jù)。而這本書的序作者之一的謝文也明確表示，在互聯(lián)網(wǎng)技術(shù)席卷的今天，整個世界會明顯地劃分為大數(shù)據(jù)時(shí)代、小數(shù)據(jù)時(shí)代、無數(shù)據(jù)時(shí)代，小數(shù)據(jù)的時(shí)代指向更加明顯。
所以，我們定義的小數(shù)據(jù)，應(yīng)該是在信息和數(shù)據(jù)不完整的情況下，通過科學(xué)抽樣和技術(shù)調(diào)整，為個體或某類具體問題提供數(shù)據(jù)參考的數(shù)據(jù)包。
弄清楚了小數(shù)據(jù)的定義，我們來看看小數(shù)據(jù)相對于大數(shù)據(jù)，是不是真的已經(jīng)out了?
一、整體數(shù)據(jù)是不是一定優(yōu)于抽樣數(shù)據(jù)?
互聯(lián)網(wǎng)技術(shù)的發(fā)展，為收集整體數(shù)據(jù)而產(chǎn)生的成本下降直至忽略不計(jì)提供了可能，而傳統(tǒng)數(shù)據(jù)的收集方法是在平衡成本和精確之下，選擇規(guī)范的抽樣方法，兩者在數(shù)量級的比較上就不在一個體量級。從統(tǒng)計(jì)的精確度上來說，數(shù)據(jù)越大，精確度越高，結(jié)果也會更加逼近于真相。當(dāng)年傳統(tǒng)的數(shù)據(jù)處理，正是受制于數(shù)據(jù)越多成本越大，或者某些現(xiàn)實(shí)條件，無法窮盡數(shù)據(jù)，才不得已采取了抽樣分析的折中辦法。從數(shù)量的角度講，大數(shù)據(jù)確實(shí)要優(yōu)于小數(shù)據(jù)。
但是，小數(shù)據(jù)分析方法，比如樣本方差，盡可能用各類參數(shù)將樣本與整體之間的差異縮小，讓結(jié)果無限逼近真實(shí)，在趨勢和策略判斷上，抽樣判斷和整體判斷，其實(shí)很多時(shí)候都是五十步和一百步的區(qū)別;另一方面，小數(shù)據(jù)時(shí)代積累的各類數(shù)據(jù)處理方法，也仍然是大數(shù)據(jù)時(shí)代數(shù)據(jù)處理的基礎(chǔ)和原則，拋棄小數(shù)據(jù)來談大數(shù)據(jù)，大數(shù)據(jù)也將是無源之水、無本之木。
二、小數(shù)據(jù)處理數(shù)據(jù)的原則是效率優(yōu)先、精確為輔。
大數(shù)據(jù)使用的第二個原則追求效率而不是絕對精確，需要重點(diǎn)提到的是，小數(shù)據(jù)處理體系的存在，正是建立在追求效率而不是絕對精確之上。小數(shù)據(jù)營銷一般是針對某類具體問題，在特定的時(shí)間段里，需要開展數(shù)據(jù)的收集、整理和分析，并得出結(jié)論以做行動參考。小數(shù)據(jù)營銷更符合實(shí)戰(zhàn)營銷中，不可能在信息完整情況下再進(jìn)行判斷的現(xiàn)實(shí)。今天乃至以后很長一段時(shí)間的營銷現(xiàn)實(shí)是：我們必須在競爭對手信息不完整、消費(fèi)者信息不完整、市場信息不完整等諸多現(xiàn)實(shí)情況下，在指定的時(shí)間前，做出判斷和決策，并付諸于行動。時(shí)機(jī)就是戰(zhàn)機(jī)，等到所有信息都完整了，黃花菜也涼了。所以，小數(shù)據(jù)才會有用抽樣代替整體的選擇。
另一個現(xiàn)實(shí)情況是，在現(xiàn)階段甚至很長的一段時(shí)間里，靠互聯(lián)網(wǎng)自動采集所有數(shù)據(jù)還不現(xiàn)實(shí)，技術(shù)的發(fā)展和普及需要時(shí)間，很多數(shù)據(jù)還無法實(shí)現(xiàn)網(wǎng)絡(luò)化，比如因?yàn)楝F(xiàn)實(shí)的財(cái)務(wù)、稅務(wù)問題，采集經(jīng)銷商的數(shù)據(jù)就一直是個難點(diǎn)，ERP喊了多少年，進(jìn)銷存喊了多少年，在上了系統(tǒng)的企業(yè)里面，經(jīng)銷商的相關(guān)數(shù)據(jù)有多少水分，每個企業(yè)都心知肚明。
三、小數(shù)據(jù)具體問題的個性化處理，更偏重于因果關(guān)系而不是相關(guān)關(guān)系。
維克托提到大數(shù)據(jù)的第三個原則，就是大數(shù)據(jù)更注重相關(guān)關(guān)系而不是因果關(guān)系，即兩組數(shù)據(jù)的相關(guān)性是數(shù)據(jù)處理的第一要務(wù)，至于為什么相關(guān)，這個問題交給計(jì)算機(jī)自己處理。相關(guān)性和因果性，孰輕孰重，《大數(shù)據(jù)時(shí)代》的譯者周濤也曾表達(dá)了不同觀點(diǎn)。我們常說某人讀書不求甚解，通常是指其知其然，而不知其所以然。今天大數(shù)據(jù)將“所以然”的東西交給計(jì)算機(jī)，使用者只對“然”負(fù)責(zé)，我和朋友調(diào)侃說，這也許是機(jī)器統(tǒng)治人類的第一步。
在高度繁榮的信息社會，你要確保計(jì)算機(jī)“所以然”是可控的，得有兩個前提：一個是計(jì)算編程的邏輯在開始設(shè)定時(shí)就是正確的;一個是機(jī)器進(jìn)行海量數(shù)據(jù)處理時(shí)，自身不會因?yàn)?ldquo;疲勞”等因素造成計(jì)算錯誤，而這正是大數(shù)據(jù)面臨的問題。
小數(shù)據(jù)由于是針對特定問題開展的數(shù)據(jù)收集、處理和分析，人的因素比較大，大數(shù)據(jù)的短處正好成為了TA的長處，在數(shù)據(jù)的處理過程當(dāng)中，目的的指向性和人與數(shù)據(jù)的互動會更加有效。
關(guān)于大數(shù)據(jù)相關(guān)性的問題，我曾看到一個網(wǎng)上的段子，問影響人壽命長短的因素有哪些，有人通過相關(guān)分析得出，一個人慶祝生日的次數(shù)與壽命的長短成正比，換句話說，一個人要長壽就要多慶祝生日。稍有常識的人，都知道這是一個逗比的笑話，但是當(dāng)計(jì)算機(jī)給出其他的錯誤相關(guān)結(jié)果時(shí)，我們有多少人能夠用常識判斷出，這是否是又一個逗比的結(jié)果?
用小數(shù)據(jù)抵制甚至漠視大數(shù)據(jù)時(shí)代的到來，是逆潮流而動的掩耳盜鈴;但用大數(shù)據(jù)時(shí)代來否認(rèn)小數(shù)據(jù)的價(jià)值，是將大數(shù)據(jù)的歷史和未來進(jìn)行割裂，依然停留在偽數(shù)據(jù)時(shí)代。
從維克托界定的大數(shù)據(jù)使用的三個原則來看(要整體不要抽樣;要效率不要絕對精確;要相關(guān)不要因果)，大數(shù)據(jù)的界定似乎正是針對小數(shù)據(jù)使用缺陷來界定的，而這些所謂的缺陷正是我們線下傳統(tǒng)數(shù)據(jù)收集和處理的基本原則。
在大數(shù)據(jù)大行其道之時(shí)，我們積累了幾十年、上百年的小數(shù)據(jù)處理方法是否就意味著過時(shí)了呢?
要回答這個問題，我們還是要先從小數(shù)據(jù)的定義入手。
目前網(wǎng)絡(luò)和行業(yè)都缺乏對小數(shù)據(jù)的標(biāo)準(zhǔn)定義，在美國、乃至臺灣有一種關(guān)于小數(shù)據(jù)的定義，認(rèn)為相對于服務(wù)趨勢和戰(zhàn)略的大數(shù)據(jù)而言，那些服務(wù)于個體而形成的數(shù)據(jù)指標(biāo)，應(yīng)該稱之為小數(shù)據(jù)。舉例來說，谷歌根據(jù)人們在搜索引擎使用的關(guān)鍵詞的相關(guān)性，判斷H1N1流感趨勢，為衛(wèi)生防疫部門提供預(yù)防決策屬于大數(shù)據(jù)的典型應(yīng)用;而耐克和蘋果合作開發(fā)的“Nike+”軟件，為個人的健康和鍛煉提供的數(shù)據(jù)指標(biāo)和參考，就屬于小數(shù)據(jù)的典型范疇。
我想說的是，如果從維克托的大數(shù)據(jù)使用的三個原則和標(biāo)準(zhǔn)，我們可以清楚的看到，他所意指的小數(shù)據(jù)更多的是我們沿用傳統(tǒng)方法收集和整理的數(shù)據(jù)。而這本書的序作者之一的謝文也明確表示，在互聯(lián)網(wǎng)技術(shù)席卷的今天，整個世界會明顯地劃分為大數(shù)據(jù)時(shí)代、小數(shù)據(jù)時(shí)代、無數(shù)據(jù)時(shí)代，小數(shù)據(jù)的時(shí)代指向更加明顯。
所以，我們定義的小數(shù)據(jù)，應(yīng)該是在信息和數(shù)據(jù)不完整的情況下，通過科學(xué)抽樣和技術(shù)調(diào)整，為個體或某類具體問題提供數(shù)據(jù)參考的數(shù)據(jù)包。
弄清楚了小數(shù)據(jù)的定義，我們來看看小數(shù)據(jù)相對于大數(shù)據(jù)，是不是真的已經(jīng)out了?
一、整體數(shù)據(jù)是不是一定優(yōu)于抽樣數(shù)據(jù)?
互聯(lián)網(wǎng)技術(shù)的發(fā)展，為收集整體數(shù)據(jù)而產(chǎn)生的成本下降直至忽略不計(jì)提供了可能，而傳統(tǒng)數(shù)據(jù)的收集方法是在平衡成本和精確之下，選擇規(guī)范的抽樣方法，兩者在數(shù)量級的比較上就不在一個體量級。從統(tǒng)計(jì)的精確度上來說，數(shù)據(jù)越大，精確度越高，結(jié)果也會更加逼近于真相。當(dāng)年傳統(tǒng)的數(shù)據(jù)處理，正是受制于數(shù)據(jù)越多成本越大，或者某些現(xiàn)實(shí)條件，無法窮盡數(shù)據(jù)，才不得已采取了抽樣分析的折中辦法。從數(shù)量的角度講，大數(shù)據(jù)確實(shí)要優(yōu)于小數(shù)據(jù)。
但是，小數(shù)據(jù)分析方法，比如樣本方差，盡可能用各類參數(shù)將樣本與整體之間的差異縮小，讓結(jié)果無限逼近真實(shí)，在趨勢和策略判斷上，抽樣判斷和整體判斷，其實(shí)很多時(shí)候都是五十步和一百步的區(qū)別;另一方面，小數(shù)據(jù)時(shí)代積累的各類數(shù)據(jù)處理方法，也仍然是大數(shù)據(jù)時(shí)代數(shù)據(jù)處理的基礎(chǔ)和原則，拋棄小數(shù)據(jù)來談大數(shù)據(jù)，大數(shù)據(jù)也將是無源之水、無本之木。
二、小數(shù)據(jù)處理數(shù)據(jù)的原則是效率優(yōu)先、精確為輔。
大數(shù)據(jù)使用的第二個原則追求效率而不是絕對精確，需要重點(diǎn)提到的是，小數(shù)據(jù)處理體系的存在，正是建立在追求效率而不是絕對精確之上。小數(shù)據(jù)營銷一般是針對某類具體問題，在特定的時(shí)間段里，需要開展數(shù)據(jù)的收集、整理和分析，并得出結(jié)論以做行動參考。小數(shù)據(jù)營銷更符合實(shí)戰(zhàn)營銷中，不可能在信息完整情況下再進(jìn)行判斷的現(xiàn)實(shí)。今天乃至以后很長一段時(shí)間的營銷現(xiàn)實(shí)是：我們必須在競爭對手信息不完整、消費(fèi)者信息不完整、市場信息不完整等諸多現(xiàn)實(shí)情況下，在指定的時(shí)間前，做出判斷和決策，并付諸于行動。時(shí)機(jī)就是戰(zhàn)機(jī)，等到所有信息都完整了，黃花菜也涼了。所以，小數(shù)據(jù)才會有用抽樣代替整體的選擇。
另一個現(xiàn)實(shí)情況是，在現(xiàn)階段甚至很長的一段時(shí)間里，靠互聯(lián)網(wǎng)自動采集所有數(shù)據(jù)還不現(xiàn)實(shí)，技術(shù)的發(fā)展和普及需要時(shí)間，很多數(shù)據(jù)還無法實(shí)現(xiàn)網(wǎng)絡(luò)化，比如因?yàn)楝F(xiàn)實(shí)的財(cái)務(wù)、稅務(wù)問題，采集經(jīng)銷商的數(shù)據(jù)就一直是個難點(diǎn)，ERP喊了多少年，進(jìn)銷存喊了多少年，在上了系統(tǒng)的企業(yè)里面，經(jīng)銷商的相關(guān)數(shù)據(jù)有多少水分，每個企業(yè)都心知肚明。
三、小數(shù)據(jù)具體問題的個性化處理，更偏重于因果關(guān)系而不是相關(guān)關(guān)系。
維克托提到大數(shù)據(jù)的第三個原則，就是大數(shù)據(jù)更注重相關(guān)關(guān)系而不是因果關(guān)系，即兩組數(shù)據(jù)的相關(guān)性是數(shù)據(jù)處理的第一要務(wù)，至于為什么相關(guān)，這個問題交給計(jì)算機(jī)自己處理。相關(guān)性和因果性，孰輕孰重，《大數(shù)據(jù)時(shí)代》的譯者周濤也曾表達(dá)了不同觀點(diǎn)。我們常說某人讀書不求甚解，通常是指其知其然，而不知其所以然。今天大數(shù)據(jù)將“所以然”的東西交給計(jì)算機(jī)，使用者只對“然”負(fù)責(zé)，我和朋友調(diào)侃說，這也許是機(jī)器統(tǒng)治人類的第一步。
在高度繁榮的信息社會，你要確保計(jì)算機(jī)“所以然”是可控的，得有兩個前提：一個是計(jì)算編程的邏輯在開始設(shè)定時(shí)就是正確的;一個是機(jī)器進(jìn)行海量數(shù)據(jù)處理時(shí)，自身不會因?yàn)?ldquo;疲勞”等因素造成計(jì)算錯誤，而這正是大數(shù)據(jù)面臨的問題。
小數(shù)據(jù)由于是針對特定問題開展的數(shù)據(jù)收集、處理和分析，人的因素比較大，大數(shù)據(jù)的短處正好成為了TA的長處，在數(shù)據(jù)的處理過程當(dāng)中，目的的指向性和人與數(shù)據(jù)的互動會更加有效。
關(guān)于大數(shù)據(jù)相關(guān)性的問題，我曾看到一個網(wǎng)上的段子，問影響人壽命長短的因素有哪些，有人通過相關(guān)分析得出，一個人慶祝生日的次數(shù)與壽命的長短成正比，換句話說，一個人要長壽就要多慶祝生日。稍有常識的人，都知道這是一個逗比的笑話，但是當(dāng)計(jì)算機(jī)給出其他的錯誤相關(guān)結(jié)果時(shí)，我們有多少人能夠用常識判斷出，這是否是又一個逗比的結(jié)果?
用小數(shù)據(jù)抵制甚至漠視大數(shù)據(jù)時(shí)代的到來，是逆潮流而動的掩耳盜鈴;但用大數(shù)據(jù)時(shí)代來否認(rèn)小數(shù)據(jù)的價(jià)值，是將大數(shù)據(jù)的歷史和未來進(jìn)行割裂，依然停留在偽數(shù)據(jù)時(shí)代。
樂發(fā)網(wǎng)超市批發(fā)網(wǎng)提供超市貨源信息,超市采購進(jìn)貨渠道。超市進(jìn)貨網(wǎng)提供成都食品批發(fā),日用百貨批發(fā)信息、微信淘寶網(wǎng)店超市采購信息和超市加盟信息.打造國內(nèi)超市采購商與批發(fā)市場供應(yīng)廠商搭建網(wǎng)上批發(fā)市場平臺,是全國批發(fā)市場行業(yè)中電子商務(wù)權(quán)威性網(wǎng)站。
本文內(nèi)容整合網(wǎng)站：百度百科、知乎、淘寶平臺規(guī)則
