大數(shù)據(jù)的笑話
發(fā)布時(shí)間:2017-01-17 來(lái)源: 幽默笑話 點(diǎn)擊:
大數(shù)據(jù)的笑話篇一:大數(shù)據(jù)沖擊
龍?jiān)雌诳W(wǎng) .cn
大數(shù)據(jù)沖擊
作者:
來(lái)源:《新理財(cái)·政府理財(cái)》2013年第05期
2012年10月,時(shí)任廣東省委書(shū)記的汪洋向廣東省財(cái)政廳推薦了《大數(shù)據(jù)》一書(shū),并指出,大數(shù)據(jù)是未來(lái)政府的重要決策之一。這也是本期專題的開(kāi)端。
因此本期專題成稿之前,我們一直在向各個(gè)地市的財(cái)政人詢問(wèn)一個(gè)問(wèn)題:
你們?cè)趺蠢斫庳?cái)政的“大數(shù)據(jù)”?
讓我們始料未及的是,這個(gè)問(wèn)題從一開(kāi)始的“怎么理解”,逐漸發(fā)展到“理不理解”,又發(fā)展到“知不知道”?雌饋(lái),各地財(cái)政對(duì)于“大數(shù)據(jù)”這一概念,多數(shù)還僅停留在新鮮的層面上。究其原因,財(cái)政的“大數(shù)據(jù)”工作基于一個(gè)歷史沿革。不管是1999年開(kāi)始的金財(cái)工程建設(shè),還是2007年開(kāi)始的財(cái)政信息系統(tǒng)一體化建設(shè),財(cái)政工作正在越來(lái)越依靠數(shù)據(jù)。然而由于種種原因,財(cái)政的信息化建設(shè)需要提速的地方還有很多。在本刊曾經(jīng)做過(guò)的《云財(cái)政夢(mèng)》專題中,我們也提到了,到現(xiàn)在云財(cái)政依然是一個(gè)定義而已。而財(cái)政的大數(shù)據(jù)時(shí)代,更是一個(gè)可望而不可及的遠(yuǎn)方。
俗話說(shuō)沒(méi)有調(diào)查就沒(méi)有發(fā)言權(quán),這也反映了現(xiàn)在地方財(cái)政的現(xiàn)狀:數(shù)據(jù)不足,所以說(shuō)話無(wú)底氣。那我們說(shuō)話的根據(jù)來(lái)源于哪里?許多財(cái)政人表示,來(lái)源于經(jīng)過(guò)各個(gè)部門(mén)層層“處理”的“偽數(shù)據(jù)”,而非實(shí)時(shí)監(jiān)控得來(lái)的“真數(shù)據(jù)”。如果數(shù)據(jù)的真實(shí)性都值得懷疑,它的適用性就更難以談起了。
政府理財(cái)者有一個(gè)很尷尬的“心結(jié)”,公司理財(cái)由于財(cái)務(wù)靈活度自主度高,工具先進(jìn),因此一直走在政府理財(cái)?shù)那懊。在大?shù)據(jù)方面,公司理財(cái)也是先行一步。本期我們也選擇了幾個(gè)國(guó)際頂尖的大數(shù)據(jù)公司,以他們的視角,來(lái)探討如何解開(kāi)財(cái)政大數(shù)據(jù)之“結(jié)”。
從一個(gè)角度看,財(cái)政在數(shù)據(jù)方面總是處于一個(gè)被動(dòng)挨打的地位。但從另一個(gè)角度來(lái)看,政府理財(cái)起步雖晚,但正在以一個(gè)驚人的速度迎頭趕上。
大數(shù)據(jù)的笑話篇二:大數(shù)據(jù)時(shí)代:我們都走在裸奔的路上
大數(shù)據(jù)時(shí)代:我們都走在裸奔的路上
1、相關(guān)關(guān)系比因果關(guān)系更重要
老王開(kāi)了個(gè)包子鋪,有時(shí)做少了不夠賣,有時(shí)做多了沒(méi)賣完,兩頭都是損失。老王琢磨著買包子的都是街坊,他們買包子是有規(guī)律的,例如老張只在周六買,因?yàn)殚|女周末會(huì)來(lái)看他,而且閨女就愛(ài)吃包子。于是老王每賣一次就記次賬,誰(shuí)在哪天買了幾籠包子,并試圖找出每個(gè)街坊的買包子規(guī)律。
數(shù)據(jù)雖然越記越多,但老王啥規(guī)律也沒(méi)找出來(lái),即使是老張也都沒(méi)準(zhǔn),好幾個(gè)周六都沒(méi)來(lái)買,因?yàn)樗|女有事沒(méi)來(lái)。有個(gè)人給老王支招,你甭記顧客,就記每天賣了多少籠就行,這個(gè)法子明顯簡(jiǎn)單有效,很容易就看出了周末比平時(shí)會(huì)多賣兩籠的規(guī)律。
這個(gè)例子雖然簡(jiǎn)單,卻道出了大數(shù)據(jù)的一個(gè)重要特點(diǎn)【相關(guān)關(guān)系比因果關(guān)系更重要】,周末與買包子人多就是相關(guān)關(guān)系,但為什么多呢?是因?yàn)槔蠌堥|女這樣的周六來(lái)吃包子的人多?還是周末大家都不愿意做飯?對(duì)這些可能性不必探究,因?yàn)榧词固骄客哺悴磺宄灰@得了周末買包子的人多,能正確地指導(dǎo)老王在周末時(shí)多包上兩籠,這就行了。
要相關(guān)不要因果,這是大數(shù)據(jù)思維的重要變革,以前數(shù)據(jù)處理的目標(biāo)更多是追求對(duì)因果性的尋找,或是對(duì)猜測(cè)的因果性的驗(yàn)證,人們總是習(xí)慣性地找出個(gè)原因,然后心里才能踏實(shí),而這個(gè)原因是否是真實(shí)的,卻往往是無(wú)法核實(shí)的,而虛假原因?qū)γ嫦蛭磥?lái)的決策來(lái)說(shuō)是有害無(wú)益的。承認(rèn)很多事情是沒(méi)有原因的,這是人類思維方式的一個(gè)重大進(jìn)步。
2、要全體不要抽樣
傳統(tǒng)的調(diào)查方式都是抽樣的,抽取有限的樣本進(jìn)行統(tǒng)計(jì),從而得出整體的趨勢(shì)來(lái),之所以選擇抽樣而不是統(tǒng)計(jì)全部數(shù)據(jù),只有一個(gè)原因,那就是全部數(shù)據(jù)的數(shù)量太多了,根本沒(méi)法操作。
抽樣的核心原則就是隨機(jī)性,不隨機(jī)就不能反映整體趨勢(shì)性。例如搞一個(gè)保暖內(nèi)衣的調(diào)查,找了一群精壯的武警戰(zhàn)士試穿,戰(zhàn)士們穿上了普遍反映不冷,但這并不能說(shuō)明內(nèi)衣的保暖效果有多好。
抽樣隨機(jī)性的道理誰(shuí)都知道,但要做到隨機(jī)性其實(shí)是很難的。例如電視收視率調(diào)查,要從不同階層隨機(jī)找被調(diào)查人,但高學(xué)歷高收入的大忙人們普遍拒絕被調(diào)查,他們根本就不會(huì)為幾條毛巾贈(zèng)品而耽誤時(shí)間,愿意接受調(diào)查的多是整天閑得無(wú)聊的低收入者,電視收視率的調(diào)查結(jié)果就可想而知。
互聯(lián)網(wǎng)為大數(shù)據(jù)的采集帶來(lái)的新手段,云計(jì)算為處理大數(shù)據(jù)帶來(lái)了新方法。還以電視收視率調(diào)查為例,互聯(lián)網(wǎng)電視普及后,每一部電視正在收看什么節(jié)目的信息會(huì)毫無(wú)遺漏地發(fā)送到調(diào)查中心。這就是大數(shù)據(jù)的第二個(gè)特點(diǎn)【要全體不要抽樣】,對(duì)全部數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,其結(jié)果當(dāng)然會(huì)更加準(zhǔn)確。
3、要效率不要精確
俗話說(shuō)的好,蘿卜快了不洗泥,既然我們要的是全體數(shù)據(jù),自然會(huì)夾雜進(jìn)來(lái)一些錯(cuò)誤的數(shù)據(jù),這是難以避免的。我們傳統(tǒng)的數(shù)據(jù)分析的思路是“寧缺勿爛”,因?yàn)閭鹘y(tǒng)小數(shù)據(jù)分析的數(shù)據(jù)量本身并不大,任何一個(gè)錯(cuò)誤數(shù)據(jù)都有可能對(duì)結(jié)果產(chǎn)生相對(duì)較大的負(fù)面影響,對(duì)錯(cuò)誤數(shù)據(jù)必須花大精力去**,這是小數(shù)據(jù)時(shí)代必須堅(jiān)持的原則。
大數(shù)據(jù)時(shí)代的原則就變了,變成了【要效率不要精確】,并不是說(shuō)精確不好,而是因?yàn)樵诖髷?shù)據(jù)時(shí)代是做不到的,如果繼續(xù)把排除錯(cuò)誤數(shù)據(jù)作為重要工作,那大數(shù)據(jù)分析就進(jìn)行不下去了。更重要的是,大數(shù)據(jù)分析的目標(biāo)在于預(yù)測(cè),而不在于追溯以前發(fā)生過(guò)的事件的真相。
4、大數(shù)據(jù)時(shí)代的裸奔
有次我給學(xué)生暢想未來(lái),你走在大街上,基站的智能天線以一道極窄的波束指向你的手機(jī),從而獲得你的方位角,通過(guò)開(kāi)機(jī)瞬時(shí)的上百次功率調(diào)整和探詢,換算后就能獲得你與基站的距離,兩個(gè)信息結(jié)合就精準(zhǔn)地確定了你的位置。根據(jù)你的搜索記錄,互聯(lián)網(wǎng)早已知道了你的愛(ài)好,然后手機(jī)“滴”地一聲通知你,你前方10米處右側(cè)有您最喜愛(ài)吃的咸豆腐腦
店,正在八折酬賓中,“滴”地又來(lái)了一聲,老板已得知您是咸豆腐腦的忠實(shí)擁護(hù)者,特別給您打五折,來(lái)嘗一碗唄。
在我描繪完未來(lái)信息社會(huì)的全新生活方式后,有個(gè)學(xué)生問(wèn)我:我走在大街上,手機(jī)“滴”地一聲,通知我前面有個(gè)同志聚會(huì),系統(tǒng)通過(guò)我以前的搜索和看過(guò)的片子早已確定了我的性向,并將我的信息經(jīng)過(guò)精確配對(duì)發(fā)送給了好多基友,但我并不想出柜,這可咋整?
這個(gè)學(xué)生的玩笑話道出了大數(shù)據(jù)時(shí)代我們都面臨的一個(gè)重大問(wèn)題,那就是隱私權(quán)問(wèn)題。美國(guó)某機(jī)構(gòu)曾做過(guò)一個(gè)實(shí)驗(yàn),根據(jù)網(wǎng)友的搜索記錄來(lái)篩定目標(biāo),雖然信息已經(jīng)進(jìn)行了模糊,還是有不愿意出柜的基友被篩出來(lái)了,基友的媽媽非常震驚和生氣,將該機(jī)構(gòu)告上了法庭。
微博上常有維權(quán)人士聲稱電話被政府**了,因?yàn)槭謾C(jī)語(yǔ)音出現(xiàn)了不正常的聲音,其實(shí)這是他們多心了,他們的電信知識(shí)還停留在用鱷魚(yú)夾搭電話線竊聽(tīng)的階段。并不是說(shuō)政府不會(huì)竊聽(tīng),而是說(shuō)如果政府竊聽(tīng)你的電話,你是絕對(duì)察覺(jué)不出來(lái)的,多手段全方面的監(jiān)控手段早已超出了外行的想象力。即使是技術(shù)內(nèi)行,例如**家機(jī)密的間諜被收網(wǎng)后往往會(huì)馬上崩潰,他所有的電話短信郵件出行會(huì)面談話都有清清楚楚的鐵證。
犯罪成本太高了,將來(lái)無(wú)死角的攝像監(jiān)控頭會(huì)記錄下一切,即使你犯罪時(shí)蒙著面,根據(jù)前兩天你沒(méi)蒙臉踩點(diǎn)時(shí)的錄像,通過(guò)姿態(tài)步態(tài)的匹配算法就能把你篩選出來(lái)。現(xiàn)在公安系統(tǒng)有句話“只要上手段,沒(méi)有查不出來(lái)的”,上手段就是指包括攝像頭監(jiān)控、手機(jī)監(jiān)控、網(wǎng)絡(luò)監(jiān)控等綜合手段,F(xiàn)在的基礎(chǔ)設(shè)施還不完善,等將來(lái)所有的路燈桿都變成了多傳感監(jiān)控器,加上強(qiáng)大的大數(shù)據(jù)分析能力,你還想咋藏?
更有意思的是,將來(lái)的犯罪逮捕會(huì)變成事前,有天你啥事沒(méi)做睡在床上就被逮捕了,**通告你:根據(jù)警方對(duì)你所有信息的大數(shù)據(jù)分析,顯示你已經(jīng)知道了老婆出軌之事,根據(jù)以往犯罪案例及你本人性格的大數(shù)據(jù)分析結(jié)果,你有76.3%的概率會(huì)在本周內(nèi)對(duì)老婆進(jìn)行輕傷以上程度的犯罪,超過(guò)了法律規(guī)定的60%輕傷以上犯罪概率必須入監(jiān)的標(biāo)準(zhǔn),特羈押你一個(gè)月,根據(jù)大數(shù)據(jù)分析結(jié)果,放出來(lái)后的你仍然犯罪的概率會(huì)降低到法律規(guī)定可以釋放的5%以下。
聽(tīng)著很安全吧?但是不是也感到了毛骨悚然?在大數(shù)據(jù)時(shí)代,我們每個(gè)人都是赤條條地在信息社會(huì)中裸奔,真的是光著屁股一絲不掛地那種裸奔,難到?jīng)]有人意識(shí)到這點(diǎn)嗎?當(dāng)然不是,英國(guó)等西方國(guó)家早就對(duì)街道監(jiān)控?cái)z像頭展開(kāi)了全社會(huì)的大討論,安全與隱私該如何權(quán)衡?隨著近年來(lái)隨著**主義的盛行,安全顯然更重要了,公民們很無(wú)奈地同意把更多的隱私權(quán)交給了政府,以獲得更大的安全感。
必須對(duì)公民隱私信息進(jìn)行分級(jí)制的嚴(yán)管,公安部門(mén)掌握著每個(gè)人的**信息,如果不涉及到重大違法犯罪的話,絕不能濫加使用,更不能透露給當(dāng)事人的配偶,否則社會(huì)就會(huì)大亂。掌握信息和利用信息的應(yīng)是獨(dú)立的兩個(gè)機(jī)構(gòu),如果讓利用信息的公安
部分掌管公民所有隱私信息,那就會(huì)成為一個(gè)人人自危的**國(guó)家。我們現(xiàn)在該如何做好迎接大數(shù)據(jù)時(shí)代的準(zhǔn)備?我覺(jué)得應(yīng)該培養(yǎng)公權(quán)機(jī)構(gòu)絕不能泄露公民隱私的社會(huì)輿論,前幾天網(wǎng)上流傳著范冰冰的機(jī)場(chǎng)安檢照,記者們以此做娛樂(lè)文章稱人家如何如何,這就是一個(gè)極壞的兆頭!如果放任這種公權(quán)力的濫用,我們每個(gè)人將來(lái)都會(huì)成為光屁股裸奔的人,光不光屁股則取決于掌握公民信息的權(quán)力人士的一念之差。
最近有報(bào)道稱銀行內(nèi)鬼**賬戶信息,銀行方面居然稱這事主要靠自覺(jué),他們內(nèi)部查不出來(lái)。這事也是大惡!查不出來(lái)是因?yàn)殂y行內(nèi)部缺乏相應(yīng)的技術(shù)手段,根本就沒(méi)有建立起相應(yīng)的信息保密制度,這種不作為是未來(lái)大數(shù)據(jù)時(shí)代的嚴(yán)重隱患。
前兩天我參加一個(gè)學(xué)生的婚禮,作為導(dǎo)師我被安排在領(lǐng)導(dǎo)桌,剛坐定就有個(gè)陌生人來(lái)照相,詢問(wèn)后才知是婚宴酒商的員工,把我們作為背景來(lái)照酒的照片,估計(jì)是用于宣傳。我把他轟走了,我不愿意這個(gè)數(shù)據(jù)留在網(wǎng)上,不愿意讓它將來(lái)作為分析我的大****。
結(jié)論:與以往的抽樣統(tǒng)計(jì)不同,大數(shù)據(jù)使用的是全部數(shù)據(jù),更著重的是效率而不是數(shù)據(jù)的精確性,關(guān)注的是相關(guān)性而不是因果性,這些特點(diǎn)造就了大數(shù)據(jù)對(duì)事物發(fā)展的極強(qiáng)的預(yù)測(cè)能力,它可以給我們帶來(lái)更安全更便捷的新生活,同時(shí)也給個(gè)人隱私帶來(lái)了巨大的威脅,對(duì)掌握公民隱私信息的公權(quán)力的嚴(yán)格控制,應(yīng)該成為全社會(huì)的共識(shí)。
大數(shù)據(jù)的笑話篇三:大數(shù)據(jù)處理
大數(shù)據(jù)處理
大數(shù)據(jù)處理的流程主要包括以下四個(gè)環(huán)節(jié):采集、導(dǎo)入(預(yù)處理)、統(tǒng)計(jì)(分析)、挖掘,下面針對(duì)這四環(huán)節(jié)進(jìn)行簡(jiǎn)單闡述。
大數(shù)據(jù)處理之一:采集
大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端(Web、App或者傳感器形式等)的數(shù)據(jù),并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。比如,電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù),除此之外,Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。
在大數(shù)據(jù)的采集過(guò)程中,其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高,因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作,比如火車票售票網(wǎng)站和淘寶,它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn),所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。
大數(shù)據(jù)處理之二:導(dǎo)入/預(yù)處理
雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù),但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析,還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù),或者分布式存儲(chǔ)集群,并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來(lái)自Twitter的Storm來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算,來(lái)滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。
導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大,每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆,甚至千兆級(jí)別。
大數(shù)據(jù)處理之三:統(tǒng)計(jì)/分析
統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù),或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等,以滿足大多數(shù)常見(jiàn)的分析需求,在這方面,一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存儲(chǔ)Infobright等,而一些批處理,或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。
統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大,其對(duì)系統(tǒng)資源,特別是I/O會(huì)有極大的占用。
大數(shù)據(jù)處理之四:挖掘
與前面統(tǒng)計(jì)和分析過(guò)程不同的是,數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題,主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算,從而起到預(yù)測(cè)(Predict)的效果,從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的
Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes,主要使用的工具有Hadoop的Mahout等。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜,并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大,常用數(shù)據(jù)挖掘算法都以單線程為主。
整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟,才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理
相關(guān)熱詞搜索:笑話 數(shù)據(jù) 關(guān)于大數(shù)據(jù)的笑話 笑話大集合
熱點(diǎn)文章閱讀