×关闭背景

中国工程院、中国通信学会邬贺铨:宽带化与大数据

2015-08-26 10:33:24      来源:移动Labs       

2015中国国际大数据大会

【摘要】【移动LABS】8月26—27日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。中国工程院院士、中国通信学会副理事长邬贺铨做了题为“宽带化与大数据”的主旨报告。

【移动LABS82627日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。中国工程院院士、中国通信学会副理事长邬贺铨做了题为“宽带化与大数据”的主旨报告。

中国工程院院士、中国通信学会副理事长邬贺铨

以下为演讲速记:

很高兴到这里来就大数据谈一下,最近大数据很热,国内不同的协会和学会都举办大数据论坛,所以我选这个题目,宽待化与大数据。谈谈宽带产品大数据,宽带支持大数据,宽带应用大数据。

相当于全世界6亿人在共同看一个高清电影,现在实际上明年每3分钟可以传送360万小时的视频,全世界生产的电影都可以传完,一个人不睡觉、不吃饭连续看三四年才可以看完这些电影。最近两个月视频网站上上传的总量超过了ABC等电视台开播以来的总量,其实没有优酷、土豆那些高。实际从2011年起视频占了全国流量的一半,中国网民有三分之二在网上看视频,视频流量导致流量增加了一千倍。

移动互联网同样产生大数据,安卓有150万种,苹果上有130万种应用。这是20132003年梵蒂冈教皇演说的场景,2013年可以看到大家手上都有摄像机,这个是星期天阅兵预演都是拿手机拍照的,手机视频不仅仅作为娱乐应用,还可以作为各种图象,可以下载一个东西,往身上一扫,可以用手表示,有些东西一般人看不懂,可以发起一些数据发到医生手上。各种应用和娱乐、生活应用都会产品大量的数据。

物联网也产生大数据,可以看到谷歌的可穿戴设备,还有街上的摄象头,交通委和工商局、610打拐办等等,各种应用很多。这是百度的可穿戴设备,可以戴在身上,可以通过它所戴的眼镜观察很多事物,他是看到什么把图象收到云端,通过云端解释,反过来送到穿戴人的耳机上,看到这个花眼镜就会告诉你这是什么花。当你戴着这个眼镜走到商店,比如你看到一个商品,你对它画一个圈,它通过云端搜索告诉你这个商品是什么型号、什么价格、在哪里多少钱等等。对普通人来讲当然可以应用,现在我们很多盲人是看不见文字的,往往需要摸凹凸不平的东西才行,其实很多网上的东西很难做凹凸不平,那戴的这个有一个摄象头,通过手指移动就可以直接读出文字,甚至可以同时翻译。当然有人说既然看不见东西,怎么知道手指点到哪,当你手指点的不对的时候会产生振动,让你的手指移动到正确的位置。

这种视频的应用导致全球互联网的流量每年递增23%,从2009年到2014年全球IP流量增长了5倍,今后5年将增长3倍。2019年全世界互联网流量会是2005年的64倍了,人均流量在2014年是6GB2019年到到18个。这里视频占很大的量,这里有其实也的业务使用,有消费者的使用,消费者使用率高,要靠管理IP流量,其中视频是绿色的,可见视频占了一大部分,在消费者流量是占总的流量的82%,互联网流量占77%,其中视频又占到76%,尤其是高清视频。

移动互联网也有这样的特性,全世界的移动互联网,全世界的IP流量,移动IP12%,看上去比例并不高,可是增速比较高,年增61%。我们可以看到在移动数据流量里头也是视频流量为主,2019年视频流量会占到72%。这个图绿色的是中国互联网用户数,黄色是中国移动互联网用户数,红色是二者的比例,将近90%。黑线是固网的视频用户占到互联网的70%,蓝线是移动互联网的视频用户比例占到互联网的用户比例的60%。所以宽带是互联网的主要的趋势,可以看看整个黄线是移动数据流量,绿线是移动数据收入,可以看到从增速来说,移动数据流量增速从去年到今年是100%的增速。收入的增速只有50%,所以运营商说收支差、剪刀差。移动数据流量中国的情况怎么样?去年全世界平均每个用户人均每个月的流量是270M,中国只有205M,移动155、电信229、联通328。其中比较,韩国的人均流量是中国的10倍,中国这几年增长比较快,我们移动流量变到321了,但是相对世界水平来讲还是差得很大,也可以说还有很大的发展空间。

电信运营商是大数据的载体,中国移动2013年发表的数字有7.7亿客户,100万座基站,每秒钟发送短信3.4万,每秒钟伤亡留量是3.3GB,每天信令是100TB等。中国电信他们有传网的数据,有一个中等规模的本地网,每天3G用户上网记录达到TB级,上海电信每分钟8万条位置更新信息,每小时300万次移动电话胡搅。中国连同从SGSNGGSN之间以分光方式获取移动用户上网IP地址、时长等,每秒83万条,对应年数据量3.6PB,运营商也是有大数据产生。

第二个问题讲讲宽带化支持大数据,前年8月份国务院公布了宽带中国的目标,提出来我们希望家庭普及率从2013年的40%2020年的70%,我们希望城市的带宽至少是20M2025达到50M,农村应该从4M提升到10M。目前的水平是什么?上面两个线是一个平均峰值连接速度,中国的速度是低于全球水平的。底下两根线是水平连接速度,平均连接速度也低于全国水平。全球下载的连接速度是5M,中国是3.7M,按中国的宽带连通测试中国已经到5.12M,他们大部分是从境外向中国国内,我们宽带联盟基本都在境内测。在国外统计里面互联网的平均下载速度是世界平均水平的74%,排名第84位。这个排名跟中国人均GDP在全球的排名相当,宽带水平跟人均GDP水平是相当的。我们现在的下载速度,我们第一季度的固网平均连接速度与美国2010Q2相当,即落后5年。中国是大数据最大的国家,如果说宽带速度还是这么低,大数据的应用肯定是受到影响的。

移动也是大数据产生的主要来源,我们再看看在各个国家的移动连接速度的比较。蓝色的是峰值速度,绿色的是平均速度,中国在这里,排名并不高,不过很奇怪,这里有去年四季度和今年一季度的数据,拉开了。全球平均移动峰值连接速度最高的是沙特,可以达到480M,全世界第一。全球平均移动连接速度平均值最高是英国,去年四季度16M,今年一季度是20.M。中国今年的平均速度还下降了,4.7M。峰值速度去年是15.6,今年是15.8。这个数字可以注意到美国也列出了,可以看到中国超过了美国,但与欧洲相比差距还很大。所以美国也没有想象那么好。

我们国家要大力推动宽带化,国务院发布了高速宽带网络建设提速意见,总的还是要求到2015年底全国设区市城区和部分有条件的非设区市城区80%100M的接入能力,但是不是去运营商那里登记就是你的选择。另外所有的设区市城区和大部分非设区市城区家具备100M光纤接入能力。到6月份光纤接入能力比去年增加不朝,总数超过9千万,宽带用户里43.5%是光纤接入。光纤用户占宽带比例远远高于欧洲,光纤宽带的比例欧洲是比较低的,中国是比较高的,尽管中国现在的宽带水平低于欧洲,但是应该说有很大潜力。除了宽带除了固网以外。

它的增长速度比固网还快3倍,大概到2014年全球有线产生的IP流量是54%,无线的包括无线网络产生IP66%,大部分都会从无线走。可以看到4G的流量当然更快。去年4G连接只占全世界的移动连接6%,可是2014年产生的流量占了60%,平均4G的流量10倍于3G的流量。中国移动的4G流量2014年占60%了。

除了接入网,干线网要扩容,中国移动可以说今年要新增干线网带宽43T,新增1万皮长公里,今年宽带要增加30%,达到100T,已经在全世界大规模部署系统了。这是中国的光缆,已经部署的光缆长度每年增加20%,对中国来讲还需要大量的光缆建设。

早年中国国内的互联网的中心只有北京、上海、广州,导致我们的网络需要长距离的迂回连接,这样导致用户体验很差,因此去年开始已经建成了10个地区,增加了沈阳、郑州、西安、南京、成都等,这样大大改进了网络互联的用户体验。根据统计,增加了交换中心大大改善了视频传输性能,将来根据网络流量需要也许还会增加,现在国务院要求2015年要互联带宽扩容600G

我们出口的的国际干线贷款从1.9T增加到2014年的4.1T,到今年6月份4.7T,应该说两年增加100%,两年翻一番,应该说增长速度挺快的。但是我们平均每个网民拥有的国际干线带宽去年年底是6.35K,全世界平均水平比这个高的多,我们不到全世界平均水平的八分之一。这也是判断我们网络性能带宽差的原因,所以国务院要求要加强国际干线带宽的入口。运营商为什么不扩展国际带宽这也有其他因素,运营商的国际干线的容量比已经开通的容量大得多,因为国际出口有安全检查的网关,网关没有跟上所以利用率也就没有跟上,所以这也是一个瓶颈。未来作为大数据来讲也希望着力于国际干线的扩容。

城域网,大量的长途网,未来对长途的容量需要的下降,城域网需求增加,中科院院士,北京大学、普林斯顿教授鄂维南分析全世界在2015年城域网业务流量超过了长途网,20142019年城域网会是长途网的2倍,城域网会占IP业务的三分之二,未来城域网是主要的。刚才张工程师说中国也建了2000多个CDN,这些实际上是缓解长途压力来增加城域网的容量和需求。

现在CDN还处于大建设时期,到2014CDN传送全球互联网视频业务占到57%,占到全世界互联网业务的34%,就是说互联网业务是从CDN出来的,到2019年可能还有三分之二会从CDN出来,所以CDN也是宽带带略里要求加大建设能力的,像很多互联网电视用户,点播等等,都需要时间来支持。

最后讲一下宽带化应用大数据,宽带化是产生大数据的,宽带化是要网络优化支撑大数据。实际大数据反过来有利于宽带化,中国移动已经建立了它的数据采集系统,分别在基站输出原始码流,还有通过交换机进行分光镜像硬采集,另外终端测采集,所以移动为例三大运营商都会在网上不同点大量采集数据。

大数据的应用,每个数据商都有数十万员工,但是仍然不够,所以有的运营商采取众包的方式,发展500万个用户,这些用户手机装一个软件,这个软件定期测试状况好不好,有什么问题。运营商许诺他的话费可以优惠,只要是白天不睡觉的时候,走到哪里都会进行定期测试,测试结果收集可以判断哪个点好,哪个点有问题。实际上电信的运营商的员工也不至于全接跑,500万个点就可以代替员工测试了,可以改善服务,可以实时掌控实时的交通流量。平常他生活方式没有影响,爱干什么干什么,爱到哪到哪,所以不知不觉的地方,凡是他到过的地方都测试了,这些结果有利于城市的规划,既帮助运营商改进和了解了网络,也提供了很多城市实时的交通流量状况,城市的一些规划数据。

另外现在移动互联网的出现,我们希望浏览网页快点打开,希望带宽足够,我们看视频希望带宽不受影响,可以持续有。所以移动互联网的业务类型很多,实际对服务质量的要求是不同。我们既要按照用户的服务质量要求,满足用户的需要,又要防止个别用户占用了移动的无线资源,因为无线资源比较宝贵。而且还要及时了解网络上哪个小区的状况,所以以中国移动为例,他们建立一个系统,通过数据采集然后深入分析,给出一个预计,来了解用户类型,选择某些可能对移动互联网应用需求比较高的用户,他在发起需求的时候通过网络对他判断,判断他是什么业主,然后给他一定的网络丝绢,在同时了解网络的情况下来分配网络资源,提高了他的流量的速度,改进了用户的体验。这种方式一般后台都在利用大数据,利用大数据的分析,选择用户,以及对大数据分析来选择资源和条件。所以大数据有利于帮助运营商改进它的网络资源的优化利用,据中国移动说至少可以提前10%的流量,优化用户体验。当然对需要大量带宽的ICP来说,也优化了第三方的服务。

还有我们在网上看视频通常要等待缓冲,20%的观众会觉得要等待就放弃了。美国有一个公司掀起一个监控软件,同时监控几百万个网络连接,看看用户数据。如果发现流量不好就降下来用户的清晰度,宁愿降低清晰度,也不愿意等待,使得用户不适于放弃缓冲。当然他实际上可以调整网络资源来支持,所以实际上它的软件现在已经给雅虎等等应用,每个月监控31段的视频。现在的移动视频传送运营商还同时监控移动终端的状况,我们的手机各种各样的,有的清晰度高,有的低,你清晰度低的手机下载一个高清视频也没用,也显示不了,因此要实时检测移动终端的状况,检测可用带宽和使用率,来优化资源的分配。

传统的机架是一个天线,覆盖一个蜂窝,未来随着频率越来越高,带宽越来越高,这样的一个蜂窝除非缩小半径,否则蜂窝边缘的的手机好,蜂窝边缘可能就差。因此未来一种方案就是基站多添线,就改如用户接入性能,但是多天线也是互相干扰的,过去一个基站就是一个基站,现在希望跨基站的优化,这么多天线,有大量的机架,这涉及后台的大数据计算,要把所有的数据收集其他进行全网优化,计算量很大。以前这种方法根本不可能实施,现在有可能,甚至一个城市的所有的基站,运营商里头,都落在这个基站里头。将来大数据支撑,基站建设,大规模协同。微软进行了一项最新的全球研究表明,有望在数据挖掘里超过2350亿美元的效益,未来从大数据找出路,电信运营商做大数据分析,前期是实现一体化和集中化,还有界定数据所有权。现在数据应用大部分局限于本身,改进对客户的感知,提升服务等。实际上很多ICP利用运营商数据做了很多工作,这是百度的地图,这个不是中国的公司,是以色列的公司,它是一个什么呢?它用不同颜色表示交通的状况,实时把所有摄象头的形式综合起来,通过大数据挖掘,最后可视化,呈现一个实时的交通状况图。别的部门要获得这样的摄象头等数据,运营商的数据来的面更广更好。但运营商不敢用,这里有一些法律上的问题,仍然可以在国家法律上做一些探索,运营商收集的数据其实有太多用处了,关键怎么在法律框架上既为大家服务,又为社会提供服务,同时体现运营商价值,谢谢大家。

声明:所有会议记录均为现场速记整理,未经演讲者审阅,本站刊登此文出于传递更多信息之目的,并不表示赞同其观点或证实其描述。

更多会议精彩内容请参见专题:http://labs.chinamobile.com/bigdata_2015


(责任编辑:王源野)
共 1 页
分享到: 0

评论

全部评论我的评论

韩艺珺2015-08-26 10:59

观望中

降龙十巴掌2015-08-26 10:58

mark,以后慢慢读。

周杨2015-08-26 10:57

视角独特,分析得很有道理!