×关闭背景

华云数据CDN事业部苗权:大数据技术在云计算中的应用

2015-08-27 11:28:12      来源:移动Labs       

2015中国国际大数据大会

【摘要】【移动LABS】8月26—27日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。华云数据CDN事业部副总裁苗权做了题为“大数据技术在云计算中的应用”的主题演讲。

【移动LABS82627日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。华云数据CDN事业部副总裁苗权做了题为“大数据技术在云计算中的应用”的主题演讲。

华云数据CDN事业部副总裁 苗权

以下为演讲速记:

我在CDN行业从事十多年,忽然有这样一个契机让我审视CDN命名,CDN是内容分发网络,我们是构建一个内容与人、人与CP、人与网络这样一个数据的网络,如果我们叫成“CSDN”的话是否可以理解为我们提供一个内容与网络、内容与数据的全新的服务平台。

首先介绍一下华云数据,我们诞生于2010年,是领先的云计算能力公司,在多个城市有分支机构,提供IaaS\PaaS\SaaS全套解决方案,提供公有云、私有云、混合云解决方案。

举一个游戏公司的案例,比如游戏公司CEO说“我们准备在海外进行扩张,把这个游戏推到北美,现在研发已经完成了”,那么接下来的工作要怎么样?没有云计算前,大家肯定要先去北美谈一个IDC机房,然后采购一些设备,把设备放到机房里面,由运维人员手工进行服务器的配置,然后进行开服。整个周期会有多长?大概有1-2个月的时间,周期是非常长的。应用我们的云计算是怎么样?CEO上午说开服,紧接着买了华云数据公有云的解决方案,运维下午就可以把虚拟机直接部署到北美云的应用上,第二天这个游戏就可以进行开服了。这就是我们提供的云计算的计算能力,能够有效的降低客户的成本,来提高它的生产效率。

我这个部门主要是做云传输,里面有很多相关行业的优秀技术人才,包括来自蓝讯、快网、网速(音)的人才。云计算和大数据是怎样进行结合的?华云数据云计算是分层的架构,在最底层提供IaaS解决方案,就是大家众所周知的虚拟机解决方案,在上面构建相关PaaS解决方案,可以提供开放计算能力,在此之上有自己CDN解决方案,基于安全之上构建了软件及服务SaaS解决方案。华云的解决方案体现在服务差异性方面,综合融入大数据相关的技术。

看一下是我们怎么做的,传统的防御是怎么做的?比如大家有IDC机房,把自己服务器托管到机房里,用自己技术构建一套属于自己的防火墙,它可以做一些端口过滤、域名过滤这样简单攻击的事情。如果遇到稍大规模攻击,大家会选一些比如防火墙之类的产品,这种产品是串行在你们WEB服务器之前的,也就是说您需要准备相关机柜机驾串行相关设备,防火墙还在您的IDC里面,也是在您的WEB服务器之前,是这样的防御模式。也就是说您遭到攻击时,战火是烧到您家门口的。

云防御是怎么样的?我们建立了云防御的生态系统,如果遭受攻击时,攻击节点并不在您的家门口,是延伸到最终的覆盖全国云服务的节点上。可以形成分布式协同防御的抵抗攻击行为能力。同时可以聚合相关攻击的数据,集中识别攻击行为,同时可以利用大数据手段形成预警相关能力。

我们看一下传统防御和云防御之间有什么区别,传统防御具有单一特性,也就是说它独立防御,举个例子,比如说广石化今天被攻击了,同一时间上海石化也被攻击了,这时很有可能是国外黑客组织集中对中国石化行业进行攻击。广石化可能没有跟上海石化进行过沟通,也不知道这样一个行为是国际上集中对石化行业进行攻击的行为。那么应用我们这样一个云防御攻击体系,可以利用大数据手段识别相关攻击,也就是说上海石化和广州石化同时被攻击时我们可以形成协同防御,可以相关预警告诉行业。

我们拥有云防御这样一个体系,是可以把节点进行纵深延伸,也就是说随着攻击规模的扩大,我们可以扩大相关防御节点,增加防御节点,而不是单纯以传统的防火墙方式进行安全防御抵抗。也就是说在面对DDOS以及CC攻击的时候,传统防御是有明显的劣势,应用我们云防御体系,可以有效的抵挡包括DDOSCC攻击等这些网站经常会遭受的攻击,同时我们可以聚合相关数据资源,形成云防御的抵御。

这是我们可视化云防御的系统,抵御攻击的同时可以给客户呈现全方位攻击展示,看到相关攻击行为,包括在全球范围内黑客来自哪些城市、使用了什么攻击手段,包括实时攻击预警,可以进行攻击展示,把黑客攻击行为及时展现给使用我们服务的客户。

大数据的另外一个应用我们华云数据下面的一个子平台,叫“51cache”,给大家介绍一下CDN发展历史,全世界CDN诞生于1998,麻省理工,1999年成立这样一家公司,同年在纳斯达克上市。中国CDN诞生于2000年,第一代CDN是硬件加速解决方案,对硬件设备构建了CDN系统,由于当时网络数据流量并没有蓬勃发展,所以当时以硬件架构可以完全应付流量的产生。大概在2006-2007年国内产生第二代CDN技术,采用设备组的服务方式,也就是说客户有相关的域名,过度依赖厂商运维能力和服务资源能力,而且当时没有相关大数据技术,所以网络是不可知、不可测量、不可评价。第三代CDN技术诞生于今年,由我2012年时在硅谷提出的,2015年时由华云数据进行产品的推出,我们主要解决的问题就是能实现全网测量的加速,全网能够进行统一资源的调度,利用云化技术有效进行自动监控服务,最优进行网络路径优化,通过大数据技术应用,可以做到对网络可知、可测量、可评价。

为什么第二代时没有相关技术?因为当时国际上大数据相关技术还没有蓬勃发展,我们依赖于开源技术构建大数据技术,对网民产生所有的流量、日志进行实时分析,包括网民是2G3G还是4G访问过来,他TCP情况、窗口情况、链路情况我们能进行全样本收集、采集,就可以全网做到统一资源的部署。

这是大数据技术在第三代CDN中的应用,右上角是应用大数据的技术,我们应用了很多开源的技术,大数据的技术应用于计算平台,包括访问日志、流量日志、RPT、文件解析,包括CDNservices,无论是cache还是dns,都会进行大数据采集,通过统一平台进行分析,我们会通过flumeKafka进行传输和收集,通过Hadoop技术对原始日志进行固化,通过Spark技术和内存计算技术动态进行计算,最后输出到Redis内存数据库里面,最终给客户很好的对数据展示。

这是大数据平台在Portal里面的应用,通过我们这个平台不单可以看到相关实时流量、带宽实时请求数,而且能够通过数据量化知道访问您网站网民来自哪些城市大概人群的画像,包括访问的热点,包括哪些网民喜欢访问哪些内容,都可以在我们平台上得以展示。

这是我们大数据在第三方CDN里面的应用,利用这个平台实时计算出北京联通网民访问到全国各个城市节点,实现全球范围内动态的调度。可以采集各地延时、丢包、节点、设备这样的情况,利用我们TCP进行协议优化,确保高延时以及高丢包情况不会在我们系统上发生。

这是华云51cache节点的分布,在亚洲大于100个节点,在北美、欧洲都有自己的云防御和CDN节点。大数据计算中心在天津联通、上海电信、常州电信进行异地式集中计算,汇总到天津联通大数据计算平台,最终体现给客户。

谢谢!

声明:所有会议记录均为现场速记整理,未经演讲者审阅,本站刊登此文出于传递更多信息之目的,并不表示赞同其观点或证实其描述。

更多会议精彩内容请参见专题:http://labs.chinamobile.com/bigdata_2015

(责任编辑:王源野)
共 1 页
分享到: 0

评论

全部评论我的评论

随子君2015-08-27 11:35

说的有道理!

Supperman2015-08-27 11:34

转走了