邬贺铨:大数据时代的发展趋势

交一卡通,每天用公交一卡通的旅客有4000万刷卡记录,而北京地铁每天乘客1000万,把这些数据每天收集起来分析数据可以用于改善北京的交通状况,优化北京的公交线路。

最大的流量是视频。美国TouTube网站一分钟有72小时的视频上载,到2016年互联网上的忙时流量是720Tbps,相当于全世界有6亿人同时看不一样的高清电影。到2016年每3分钟互联网传送360万小时视频,相当于全球已经生产的全部电影。这个电影用什么量衡量呢?如果一个人要看3分钟所传送的电影,需要34年不吃饭、不睡觉才能看完。最近两个月在TouTube上载的视频量是美国三大电视台--ABC、NBC、CBS自1948年以来24/7/365连续播出的内容,可以看到视频流量非常大。

大数据无所不在。图中是美国的一家医院(UPMC),一年能收500TB数据;伦敦有200个交通摄像头,每天是8TB数据;伦敦才200个,北京有八十万个摄像头,数据量要比伦敦大得多了。还有其他方面的数据量,大数据无所不在。

就监控而言,很多城市的摄像头多达几十万个,一个月的数据就达到数十个PB。北京公安局规定,所有超市,只要有开放食品架的,全都要装高清摄像头,能清晰的拍摄到走在架前人的脸部,以防投毒,防用针管装艾滋病毒、传染病毒打到液体里等,那么产生的数据就更大了。飞机的汽轮机产生的数据是Twitter的七倍,例如波音787,它每一个飞行来回可产生TB级的数据,美国每个月收集360万次飞行记录;监视机队25000个引擎,每个引擎的数据一天产生588GB;空客380软件有10亿行,每30分钟产生10TB的数据;风力发电机装有测量风速、螺距、油温等多种传感器,每隔几毫秒测一次,用于检测叶片、变速箱、变频器等的磨损程度;一个具有500个风机的风场一年会产生2PB的数据。这些数据用于预防性维护,可使风机寿命延长3年即达到18年,每年每风机的成本将降低17%。根据上面监测的统计,今天所有企业的信息存储总量已达2.2ZB,未来几年将年增67%。

大数据的应用很多,比如淘宝,通过采集淘宝网上成交额比较高的390个类目的商品价格来搞出淘宝的CPI,比国家统计局公布的CPI更早的预测到经济状况。为什么?国家统计局统计的CPI主要根据是刚性的物品;比如食品,经济好、经济不好,人们都要吃饭,因此差别不大。可是淘宝上都是买化妆品、电子产品、服装,经济不好就会少买,因此淘宝CPI更能反映价格走势,一般来讲比我们国家统计局公布的CPI,能提前一个月到半个月预测到走势。中央首长到了淘宝看了以后就说“你们每天把淘宝的CPI送到中
分享到: 微信 更多