氣象大數(shù)據(jù)的大作用

2014/03/14 11:37      紀(jì)曉峰

由阿里數(shù)據(jù)委員會(huì)和阿里研究院主辦的“2014西湖品學(xué)”大數(shù)據(jù)峰會(huì)于3月7日在杭州舉行。會(huì)上,中國氣象局紀(jì)曉峰發(fā)表了《氣象大數(shù)據(jù)的商業(yè)服務(wù)與研究》的演講。紀(jì)曉峰表示,在過去服務(wù)中,氣象局提供天氣預(yù)報(bào),不知道行業(yè)怎么用,行業(yè)拿了天氣預(yù)報(bào)也不知道應(yīng)該怎么用,這困擾了氣象系統(tǒng)十幾年,現(xiàn)在大數(shù)據(jù)時(shí)代來了,終于看到了這個(gè)問題改變的希望。

以下為紀(jì)曉峰的演講整理:

今天非常高興有機(jī)會(huì)在這里和大家分享一些我們的服務(wù)經(jīng)驗(yàn)和一些美好愿景。我來自中國氣象局,中國改革開放以來經(jīng)濟(jì)不斷發(fā)展,各種極端天氣現(xiàn)象和天氣災(zāi)害越來越多,社會(huì)各界越來越關(guān)注天氣服務(wù),過去很長一段時(shí)間我們?yōu)槟茉础⒔煌?、媒體、風(fēng)險(xiǎn)、商品銷售提供中長期的監(jiān)測和報(bào)道。但是在過去服務(wù)中發(fā)現(xiàn)一個(gè)問題,我們提供了天氣預(yù)報(bào),不知道行業(yè)怎么用,行業(yè)拿了我們的天氣預(yù)報(bào)也不知道應(yīng)該怎么用,這困擾了氣象系統(tǒng)十幾年,現(xiàn)在大數(shù)據(jù)時(shí)代來了,我覺得自己生有逢時(shí),看到了這件事改變的希望。

氣象數(shù)據(jù)是什么?

大家看到的每天網(wǎng)上或者是電視上看到的天氣預(yù)報(bào),后面其實(shí)有非常大的數(shù)據(jù)級(jí),包括每天有2000多個(gè)地面站、120多個(gè)高空探測站、440多個(gè)雷達(dá)站、6顆在軌衛(wèi)星、5萬多個(gè)自動(dòng)監(jiān)測站、600多個(gè)農(nóng)業(yè)監(jiān)測站、300多個(gè)雷達(dá)站、90多個(gè)酸雨監(jiān)測站……這些數(shù)據(jù)逐天逐小時(shí)甚至到逐分鐘掃描著中國發(fā)生的各種各樣的天氣數(shù)據(jù),中國海陸空的天氣情況幾乎可以建成一張?zhí)摂M數(shù)字網(wǎng)絡(luò),我們做氣象的每天看到這樣的數(shù)據(jù)覺得非??蓯邸?/p>

每日監(jiān)測數(shù)據(jù)能做什么?

我們拿到這些每天監(jiān)測的數(shù)據(jù)要做什么呢?比如說我們拿到雷達(dá),會(huì)把雷達(dá)繪制成圖片,用它來觀測臺(tái)風(fēng)和霧霾的范圍;雷達(dá)的一些氣象還可以變成地面的溫度、濕度形式;通過一些算法模型能夠預(yù)測大量農(nóng)作物的長勢,比如說每天掃全球的時(shí)候關(guān)注到南美的大豆、北美的小麥和玉米,觀測到烏克蘭的玉米和小麥的產(chǎn)量,預(yù)測未來一年整個(gè)糧食形勢——這是一個(gè)宏觀數(shù)據(jù)。

為了拿到雷達(dá)數(shù)據(jù),我們要從500米到幾千米的高空不斷掃描,看空氣中的水汽含量,這些數(shù)據(jù)是6分鐘一次,可以預(yù)測風(fēng)電的發(fā)電情況,可以為航空提供負(fù)責(zé)細(xì)致的服務(wù)。

這幾年,國家不斷提供了建設(shè),在密集地面通過一些差值算法我們組成了中國1公里*1公里知道地面的數(shù)據(jù),可以知道哪些地方是大雨等等。另外,國際氣象數(shù)據(jù)交換,通過一些國際數(shù)據(jù)可以了解到中國的小氣候環(huán)境和全球大環(huán)境,進(jìn)行數(shù)據(jù)優(yōu)化。

在過去,拿到這些數(shù)據(jù)以后,我們用數(shù)據(jù)的方法就是統(tǒng)計(jì)。比如說像剛才主持人說的陰雨綿綿,我們可以知道全國多少天降水分布在什么地方,形成了五年積累數(shù)據(jù)的氣侯分布。在過去的氣象大數(shù)據(jù)里面,我們拿到剛才說的數(shù)據(jù)統(tǒng)計(jì),把這些數(shù)據(jù)統(tǒng)計(jì)成我們需要的模式,然后人工經(jīng)驗(yàn)和模擬,把結(jié)果帶到模型里面,天天做天氣預(yù)報(bào)其實(shí)就是數(shù)數(shù),就是玩數(shù)字游戲,建立數(shù)字模型。

在新時(shí)代里,我們看到了國外一直在傳說的大數(shù)據(jù)服務(wù),國外一些走得比較前面的氣象服務(wù)公司給了我們很好的建議,傳說大數(shù)據(jù)在國外是價(jià)值連城,很多公司會(huì)把所有地區(qū)和商品的銷量和天氣做對(duì)比分析,尋找他們的正相關(guān)和負(fù)相關(guān),發(fā)現(xiàn)他們最暢銷的是藍(lán)莓烤面包。比如說一方面是天氣發(fā)生的時(shí)候,商場里面沒有水或者是其他的東西,也許這個(gè)東西真的賣得很好,但是季節(jié)分布很明顯,可以提前有備貨。我們了解到一個(gè)案例是美國一個(gè)EMC的保險(xiǎn)公司,它在國外做冰雹的保險(xiǎn),發(fā)現(xiàn)冰雹造成的災(zāi)害很多,他們統(tǒng)計(jì)了很多數(shù)據(jù)發(fā)現(xiàn)這個(gè)地區(qū)的冰雹災(zāi)害不斷降低,通過這個(gè)發(fā)現(xiàn)很多數(shù)據(jù),是用這樣的方式不斷避免不必要的騙保,在美國也有很多電子公司也關(guān)注氣象數(shù)據(jù)。

氣象數(shù)據(jù)的大作用

在諸多案例里面,氣象大數(shù)據(jù)也就是氣象數(shù)據(jù)加上行業(yè)數(shù)據(jù)等于事情能夠發(fā)生的變化規(guī)律和對(duì)未來的一些預(yù)測,氣象數(shù)據(jù)能做這樣的事情是因?yàn)榭陀^、穩(wěn)定,而且量非常大。而且氣象數(shù)據(jù)和各行各業(yè)的相關(guān)性非常高,氣象對(duì)環(huán)境造成的影響是70%,過去說預(yù)測就是觀天象,一個(gè)是看天,還有就是氣象。

在現(xiàn)代一些系統(tǒng)內(nèi)的學(xué)者和社會(huì)上的學(xué)者研究,我們發(fā)現(xiàn)氣象通過大數(shù)據(jù)的應(yīng)用有非常大的應(yīng)用,比如說能源,可以觀測到電力負(fù)荷歷史,加上氣象條件進(jìn)行用電量估算,農(nóng)業(yè)也是一樣,建筑行業(yè)也是,通過工期歷史加上歷史天氣就可以知道工期預(yù)測;還有交通,航班準(zhǔn)點(diǎn)率歷史加上機(jī)場歷史天氣,就可以航班延誤預(yù)測,準(zhǔn)確性非常高;還有公共衛(wèi)生,通過門診量和藥品銷量加上氣象歷史就可以知道發(fā)病率預(yù)測;在飲品方面,通過銷量和溫度就可以知道銷量預(yù)測;在生產(chǎn)方面,通過經(jīng)濟(jì)數(shù)據(jù)加上氣象條件可以知道中國宏觀經(jīng)濟(jì)判斷條件,這是技術(shù)性比較成熟;還有旅游,我們通過有客對(duì)旅游景區(qū)的評(píng)價(jià)和評(píng)價(jià)條件可以知道什么樣的景區(qū)適合什么天氣旅游。

氣象數(shù)據(jù)的應(yīng)用案例

通過對(duì)之前的研究,我們也做了一些小小的實(shí)踐,因?yàn)閷?shí)踐時(shí)間比較短,經(jīng)驗(yàn)不太成熟,希望大家批評(píng)指正。去年我們和安聯(lián)進(jìn)行了“賞月險(xiǎn)”的研究,安聯(lián)的保險(xiǎn)沒有進(jìn)行精算,因?yàn)闆]有這個(gè)城市陰天或者影響賞月天氣的概率,所以不知道賠多少錢,所以只能是拍腦袋算。同時(shí),他們通過天氣網(wǎng)站來進(jìn)行判責(zé),這個(gè)判責(zé)是不準(zhǔn)備的。另外,我們做了喜陽陽的產(chǎn)品,就是用30年的歷史數(shù)據(jù)和安聯(lián)精算部門進(jìn)行了合作,通過降水概率知道哪些城市在春節(jié)期間降水可以,得出賠償。未來我們構(gòu)想,保險(xiǎn)服務(wù)很有可能是做保險(xiǎn)理賠數(shù)據(jù)和天氣數(shù)據(jù)進(jìn)行對(duì)比,能夠?qū)崟r(shí)得出到底是什么樣的天氣造成了什么樣的理賠,這樣還是相對(duì)比較有價(jià)值的。

還有就是對(duì)藥品,西安楊森有一款息斯敏的藥,他們和我們合作,可以通過天氣歷史數(shù)據(jù)預(yù)測這個(gè)地區(qū)的過敏源,得出的結(jié)果是非常理想。比如說在北京三四月份的時(shí)候連續(xù)幾天溫度低溫,馬上就會(huì)造成非常嚴(yán)重的過敏問題。

雙十一,過去我們和阿里巴巴進(jìn)行了嘗試,比如說去年雙十一的時(shí)候,我們把天氣對(duì)道路交通的影響,分為三個(gè)等級(jí)和快遞到達(dá)時(shí)間得出了結(jié)論分析。

氣象數(shù)據(jù)分析目前存在的難度

過去我們發(fā)現(xiàn)大數(shù)據(jù)在商業(yè)應(yīng)用的問題,比如說數(shù)據(jù)壁壘,我們需要建立雙方的環(huán)境進(jìn)行數(shù)據(jù)融合,也許各個(gè)行業(yè)的數(shù)據(jù)都需要分析。氣象數(shù)據(jù)的相關(guān)性也比較難找,也許是單一的,也許是多樣的,分析到底是什么原因造成的需要非常大量的數(shù)據(jù)不斷優(yōu)化、不斷完善,我們也設(shè)想找一個(gè)中心線,把氣象數(shù)據(jù)進(jìn)行主觀分類,比如說到底什么是熱天,在過去沒有明確的定義,我們嘗試和SNS合作,看什么樣的形成網(wǎng)友發(fā)狀態(tài)說“熱”,就把它定義為“熱”。

相關(guān)閱讀