解決大數(shù)據(jù)挑戰(zhàn) 先回答三個(gè)問(wèn)題

當(dāng)今，大數(shù)據(jù)的到來(lái)，已經(jīng)成為現(xiàn)實(shí)生活中無(wú)法逃避的挑戰(zhàn)。每當(dāng)我們要做出決策的時(shí)候，大數(shù)據(jù)就無(wú)處不在。大數(shù)據(jù)術(shù)語(yǔ)廣泛地出現(xiàn)也使得人們漸漸明白了它的重要性。大數(shù)據(jù)漸漸向人們展現(xiàn)了它為學(xué)術(shù)、工業(yè)和政府帶來(lái)的巨大機(jī)遇。與此同時(shí)，大數(shù)據(jù)也向參與的各方提出了巨大的挑戰(zhàn)，首先是三個(gè)重要的技術(shù)問(wèn)題：

一、如何利用信息技術(shù)等手段處理非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)

大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占15%左右，其余的85%都是非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域。另一方面，也許有90%的數(shù)據(jù)來(lái)自開(kāi)源數(shù)據(jù)，其余的被存儲(chǔ)在數(shù)據(jù)庫(kù)中。大數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強(qiáng)隨機(jī)性等方面。股票交易數(shù)據(jù)流是不確定性大數(shù)據(jù)的一個(gè)典型例子。

大數(shù)據(jù)刺激了大量研究問(wèn)題。非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的個(gè)體表現(xiàn)、一般性特征和基本原理尚不清晰，這些都需要通過(guò)包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、計(jì)算機(jī)科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來(lái)研究和討論。給定一種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，比如圖像，如何把它轉(zhuǎn)化成多維數(shù)據(jù)表、面向?qū)ο蟮臄?shù)據(jù)模型或者直接基于圖像的數(shù)據(jù)模型？值得注意的是，大數(shù)據(jù)每一種表示形式都僅呈現(xiàn)數(shù)據(jù)本身的側(cè)面表現(xiàn)，并非全貌。

如果把通過(guò)數(shù)據(jù)挖掘提取“粗糙知識(shí)”的過(guò)程稱(chēng)為“一次挖掘”過(guò)程，那么將粗糙知識(shí)與被量化后主觀知識(shí)，包括具體的經(jīng)驗(yàn)、常識(shí)、本能、情境知識(shí)和用戶(hù)偏好，相結(jié)合而產(chǎn)生“智能知識(shí)”過(guò)程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類(lèi)似事物“量”到“質(zhì)”的飛躍。

由于大數(shù)據(jù)所具有的半結(jié)構(gòu)化和非結(jié)構(gòu)化特點(diǎn)，基于大數(shù)據(jù)的數(shù)據(jù)挖掘所產(chǎn)生的結(jié)構(gòu)化的“粗糙知識(shí)”（潛在模式）也伴有一些新的特征。這些結(jié)構(gòu)化的粗糙知識(shí)可以被主觀知識(shí)加工處理并轉(zhuǎn)化，生成半結(jié)構(gòu)化和非結(jié)構(gòu)化的智能知識(shí)。尋求“智能知識(shí)”反映了大數(shù)據(jù)研究的核心價(jià)值。

二、如何探索大數(shù)據(jù)復(fù)雜性、不確定性特征描述的刻畫(huà)方法及大數(shù)據(jù)的系統(tǒng)建模

這一問(wèn)題的突破是實(shí)現(xiàn)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)的前提和關(guān)鍵。從長(zhǎng)遠(yuǎn)角度來(lái)看，依照大數(shù)據(jù)的個(gè)體復(fù)雜性和隨機(jī)性所帶來(lái)的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界鼓勵(lì)發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。管理科學(xué)，尤其是基于最優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識(shí)發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。

大數(shù)據(jù)的復(fù)雜形式導(dǎo)致許多對(duì)“粗糙知識(shí)”的度量和評(píng)估相關(guān)的研究問(wèn)題。已知的最優(yōu)化、數(shù)據(jù)包絡(luò)分析、期望理論、管理科學(xué)中的效用理論可以被應(yīng)用到研究如何將主觀知識(shí)融合到數(shù)據(jù)挖掘產(chǎn)生的粗糙知識(shí)的“二次挖掘”過(guò)程中。這里人機(jī)交互將起到至關(guān)重要的作用。

三、數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對(duì)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)與管理決策的影響

由于大數(shù)據(jù)本身的復(fù)雜性，這一問(wèn)題無(wú)疑是一個(gè)重要的科研課題，對(duì)傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個(gè)“異構(gòu)性”問(wèn)題：“數(shù)據(jù)異構(gòu)性”和“決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對(duì)業(yè)務(wù)知識(shí)的學(xué)習(xí)和日益積累的實(shí)踐經(jīng)驗(yàn)，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。

大數(shù)據(jù)已經(jīng)改變了傳統(tǒng)的管理決策結(jié)構(gòu)的模式。研究大數(shù)據(jù)對(duì)管理決策結(jié)構(gòu)的影響會(huì)成為一個(gè)公開(kāi)的科研問(wèn)題。除此之外，決策結(jié)構(gòu)的變化要求人們?nèi)ヌ接懭绾螢橹С指邔哟蔚臎Q策而去做“二次挖掘”。無(wú)論大數(shù)據(jù)帶來(lái)了哪種數(shù)據(jù)異構(gòu)性，大數(shù)據(jù)中的“粗糙知識(shí)”仍可被看作“一次挖掘”的范疇。通過(guò)尋找“二次挖掘”產(chǎn)生的“智能知識(shí)”來(lái)作為數(shù)據(jù)異構(gòu)性和決策異構(gòu)性之間的橋梁是十分必要的。探索大數(shù)據(jù)環(huán)境下決策結(jié)構(gòu)是如何被改變的，相當(dāng)于研究如何將決策者的主觀知識(shí)參與到?jīng)Q策的過(guò)程中。

大數(shù)據(jù)是一種具有隱藏法則的人造自然，尋找大數(shù)據(jù)的科學(xué)模式將帶來(lái)對(duì)研究大數(shù)據(jù)之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方法，已知的數(shù)據(jù)挖掘方法將成為大數(shù)據(jù)挖掘的工具。

以上是我對(duì)大數(shù)據(jù)的三個(gè)重要技術(shù)問(wèn)題進(jìn)行研究的一些心得，也僅僅是一個(gè)研究大數(shù)據(jù)挑戰(zhàn)的起點(diǎn)。除此之外，還有一些數(shù)據(jù)科學(xué)的問(wèn)題，包括在獲得數(shù)據(jù)和從數(shù)據(jù)中產(chǎn)生規(guī)則方面可能存在的公理體系，基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)規(guī)則與基于開(kāi)放數(shù)據(jù)源的知識(shí)發(fā)現(xiàn)規(guī)則以及大數(shù)據(jù)挖掘的整體和（或）局部解的存在性問(wèn)題等等。在不久的將來(lái)，我相信這些問(wèn)題都需要去仔細(xì)研究，以獲得突破性科研與應(yīng)用成果。