×关闭背景

九章云集CEO方磊:数据平台服务助力互联网+

2015-08-27 15:06:21      来源:移动Labs       

2015中国国际大数据大会

【摘要】【移动LABS】8月26—27日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。九章云集CEO方磊做了题为“数据平台服务助力互联网+”的主题演讲。

【移动LABS82627日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。九章云集CEO方磊做了题为“数据平台服务助力互联网+”的主题演讲。

九章云集CEO 方磊

以下为演讲速记:

梁总说了最后人都会被数字化管理,这有点可怕,有点像好莱坞电影。

因为我们是小型的创业公司,考虑的东西有所不同,我就从创业公司角度谈谈我对这个问题的看法。我本人和另外一个人在微软工作,是数据平台、数据分析,回国之后进行创业,做了一个公司,决定做这样一个服务,希望能够帮到一些人,也希望自己能赚一些钱。

“互联网+”的定义有很多种,万变不离其宗,大家在这个时代都想用互联网方式帮助自己获得更多客户、帮助自己进行更好的营销,哪怕原来做电表的也升级了做智能电表,还有智能传感器。包括上午研讨也提到了,确实会产生很多数据。

面对这些数据,挑战是非常明确的,刚才我们看到了数字漂亮的电话,最下面最基础的是一定有相应的技术架构支持它,并且把这个变为现实。

当传统企业“互联网+”以后数据开始流动起来,比如那个电表天天在转,你并不管,传感器数据传回去以后面临存储的问题、分析的问题,这些数据给相应的厂商带来了机会,包括数据的变现,包括有更多推销产品的东西。

这些厂商相对传统一些,在“互联网+”大的形态下开始向这个方向进行转移,它面对一些挑战,这个挑战很大程度上就是一句话,最好专注于我对这个行业的理解,我专注于我的应用,对于数据相关的事情我希望有一个平台替我干了。我们想做的产品也是想做这样一个事情,想提供一个数据的平台,从数据的输入、导入、分析以及加工,都希望为有需求的企业提供帮助。

有太多的地方提到平台了,“平台”这个词是很宽泛的词,一个手机APP里会植入很多SDK,包括广告植入,包括客户反馈的SDK,为什么这么多人爱用SDK?它给你一个能力,你自己就不用开发了。数据平台从广义上说是同样的意义,当你做各行各业数据支撑的大数据应用,也希望很快获得这种能力,这种核心能力并不是所有事情自己做才拥有它,这个观念大家会看得越来越清楚,但是手机APP已经看得非常清楚了,有非常多的市场提供它。

我们想做这样一个数据平台的提供商,我认为数据平台有6个能力:部署能力、存储和计算能力、分析能力、数据集成能力、管理协作能力,管理协作能力讲得比较少,待会儿我会提一下,可能大家并不是太理解什么是数据管理协作能力,最后是脏活累活,就是运维的能力。

现在我插播广告一下到底我们在干啥,这张图非常明确的说出来了平台开发的产品在什么位置上。开源有非常多大数据的技术,如果你有人跟你报这些名字的话你完全不用听,说到底就是现在有一堆技术,中间这层是我们所说的“平台”。历史是重复的,如果把指针播回去1520年,这个东西叫中间件。

我们平台提供什么能力?具体来说它有两层,第一个层面,它提供计算和资源,我们提供了以Hadoop开源系统为核心的自动部署和资源管理。一般人都认为是每天不停的算,其实大部分是活着的,没有那么多数据。所以不算的时候把它关掉,用的时候把它打开。有了罪案之后上面是分析平台,把我们的技术融在大数据分析。

把刚才说到的六个能力描述一下,这六个能力是评价你的方案或者挑选供应商,乃至思考应用应该怎么构建的一个很好的迟度和标准。

1、数据集成能力。系统吞吐能力、多数据源接入能力、丰富的数据类型,

2、存储和计算能力。Hadoop理论上对存储有非常多的数据,考虑私有的或公有的,性能怎么样,集群可以到多少,是不是具备弹性的可能。比如白天打开,晚上关了,弹性变大变小,还有费用的考虑。

3、分析能力。如果简单的统计昨天来了几个人是很简单的,应该是1000多年前就搞定了。建模如果是小数量的可能20年前或10年前问题不大。那么在新的架构之上,新的语言和工具都串接起来,这是现在比较前沿或有很多变化的地方大家都感兴趣的地方。分析语言有很多,要看对语言的支持是怎么样的。总的来说建模有非常多步骤,如果一个平台帮你做些引导性建议,能够大大降低你在这方面所花费的时间,还能取得更好的效果。还有一个是可视化,那些厂商做得非常好,但是各个行业有定制的需求,这些都是分析能力相关的。

4、部署能力。今天混合云一定是大势所趋,所有的公司或多或少会使用公有云,美国公有云已经成为标配,中国公有云那几家都非常有势头。同时,私有云非常热闹。所以混合云一定是将来的大势所趋,比如你在做一个原型的时候完全在公有云上做,当他做到觉得这个原型具有一定商业意义,当数据敏感很隐私的时候,能不能放到你专门的机器里运行,这个迁移的能力,虚拟机可以在线迁移,同样的,数据的分析能力、构成的数据流程是不是具有迁移的能力非常重要。公有云、私有云、混合云甚至老旧的非云化平台的部署。

5、运维能力。脏活累活占据你工作的80%,大量管理工作、脚本工作,林林总总这样的事情是大家容易忽视的,当开始构建大数据应用,这会占据你绝大部分的应用,应该尽量使用一些工具帮到你。

6、开发定制能力。我并不是说SaaS这个模式不成功,当你使用完全定义好的分析工具,一定感觉到不足或者自己想扩充。所以我们构建平台时,一开始里面所有的部分都是二次开发的,同时也是提供开源工具帮你做到这一点。

7、管理协调能力。因为管理协调能力一般不太容易理解,各种各样的数据,数据源的管理很多人是忽视的,但是如果知道你的数据是对你工作有非常大的帮助。所以建立你的数据账本,了解你的数据资产,我们很难一下子解决它,但是用工具管理数据源的话会给你带来便捷。第二个,当你使用各种各样数据处理流程有权限控制,你有很多团队成员,他看到这个流程很不错,但能不能加入一个因素看看效果怎么样,这样就产生了新的流程,永远在探索和滚雪球,在迭代过程中改进数据应用,这样的版本是非常相关的。这是为什么很多人一开始看大数据应用,就很喜欢在地图或3D环境下叠加一些东西,觉得这些东西很好,在后面真正把这个事情做成时在工程上这件事情容易被忽视。如果只有一个人做数据分析或数据工程还OK,如果10个人做、100个人做一定有个效率问题,这个效率就是协作效率,能不能互相之间共享写的模块以及中间版本的协调。这些放在一起才是管理协作部门,6六个能力组成了个闭环。

这里放了几个用我们系统进行的应用场景,有偏技术的场景,比如有些公司为了节约费用,可以每天定期启动机器在云上做一些分析,然后再把服务器关掉,那它每天付的钱是几个小时机器的钱,而不是一天24小时。也有我们的系统建立学习,小汽车有非常多的型号,希望根据历史组合传感器数据、行驶区域和奇想数据来预测一下油耗。下面两条说到的是对于电商常见的系统推荐,你几分钟就能够构建一个推荐系统。

这是我们公司的网站,大家可以访问我们的网站。

声明:所有会议记录均为现场速记整理,未经演讲者审阅,本站刊登此文出于传递更多信息之目的,并不表示赞同其观点或证实其描述。

更多会议精彩内容请参见专题:http://labs.chinamobile.com/bigdata_2015

(责任编辑:王源野)
共 1 页
分享到: 0

评论

全部评论我的评论

满栋梁2015-08-27 15:14

好棒好棒

2PM_forever2015-08-27 15:12

有些观点还是值得商榷的

爱笑的眼睛2015-08-27 15:11

看发展吧