大數據時(shí)代來(lái)臨 大數據是什么?

　　大數據是什么?

　　大數據(big data)，或稱(chēng)巨量資料，指的是所涉及的資料量規模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫(xiě)的《大數據時(shí)代》中，大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而采用所有數據的方法)大數據的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實(shí)性)。大數據需要特殊的技術(shù)，包括大規模并行處理(MPP)數據庫、數據挖掘電網(wǎng)、分布式文件系統、分布式數據庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統。

　　大數據到底有多大?

　　一組名為“互聯(lián)網(wǎng)上一天”的數據告訴我們：一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jì)热菘梢钥虧M(mǎn)1.68億張DVD;發(fā)出的郵件有2940億封之多(相當于美國兩年的紙質(zhì)信件數量);發(fā)出的社區帖子達200萬(wàn)個(gè)(相當于《時(shí)代》雜志770年的文字量);賣(mài)出的手機為37.8萬(wàn)臺，高于全球每天出生的嬰兒數量37.1 萬(wàn)……

　　大數據的前生今世

　　“大數據”這個(gè)術(shù)語(yǔ)最早期的引用可追溯到apache org的開(kāi)源項目Nutch。當時(shí)，大數據用來(lái)描述為更新網(wǎng)絡(luò )搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數據集。隨著(zhù)谷歌MapReduce和Google File System (GFS)的發(fā)布，大數據不再僅用來(lái)描述大量的數據，還涵蓋了處理數據的速度。

　　不過(guò)，大約從2009年開(kāi)始，“163大數據”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。美國互聯(lián)網(wǎng)數據中心指出，互聯(lián)網(wǎng)上的數據每年將增長(cháng)50%，每?jì)赡瓯銓⒎环?，而目前世界?0%以上的數據是最近幾年才產(chǎn)生的。此外，數據又并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設備、汽車(chē)、電表上有著(zhù)無(wú)數的數碼傳感器，隨時(shí)測量和傳遞著(zhù)有關(guān)位置、運動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數據信息。

　　大數據從何而來(lái)?

　　美國互聯(lián)網(wǎng)數據中心指出,互聯(lián)網(wǎng)上的數據每年將增長(cháng)50%,每?jì)赡瓯銓⒎环?目前世界上90%以上的數據是最近幾年才產(chǎn)生的。此外,全世界的工業(yè)設備、汽車(chē)、電表上有著(zhù)無(wú)數的數碼傳感器,隨時(shí)測量和傳遞著(zhù)有關(guān)位置、運動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,也產(chǎn)生了海量的數據信息。

　　物聯(lián)網(wǎng)、云計算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機、平板電腦、PC以及各種各樣的傳感器,無(wú)一不是數據來(lái)源或者承載的方式。

　　大數據的用途領(lǐng)域

　　大數據可分成大數據技術(shù)、大數據工程、大數據科學(xué)和大數據應用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷祿夹g(shù)和大數據應用。工程和科學(xué)問(wèn)題尚未被重視。大數據工程指大數據的規劃建設運營(yíng)管理的系統工程;大數據科學(xué)關(guān)注大數據網(wǎng)絡(luò )發(fā)展和運營(yíng)過(guò)程中發(fā)現和驗證大數據的規律及其與自然和社會(huì )活動(dòng)之間的關(guān)系。

　　物聯(lián)網(wǎng)、云計算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數據來(lái)源或者承載的方式。

　　有些例子包括網(wǎng)絡(luò )日志，RFID，傳感器網(wǎng)絡(luò )，社會(huì )網(wǎng)絡(luò )，社會(huì )數據(由于數據革命的社會(huì ))，互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復雜和/或跨學(xué)科的科研，軍事偵察，醫療記錄;攝影檔案館視頻檔案;和大規模的電子商務(wù)