×关闭背景

上海晟淘大数据创始人丁陈:积木式软件开发

2015-08-27 16:04:22      来源:移动LABS       作者:移动LABS

大数据

【摘要】【移动LABS】8月26—27日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。上海晟淘大数据科技有限公司创始人、CEO丁陈分享积木式软件开发的话题。

【移动LABS】8月26—27日,2015中国国际大数据大会在北京召开,移动LABS作为大会战略合作媒体受邀现场直播。上海晟淘大数据科技有限公司创始人、CEO丁陈分享积木式软件开发的话题。

上海晟淘大数据科技有限公司创始人、CEO丁陈

如下为速记全文:

我今天想给大家讲大数据可能从另外的角度来讲大数据。就是我几乎是天天在想的一件事。我们讲互联网给我们人们带来了无比巨大的进步,但是大家有没有想到过,互联网实际上也在侵蚀着我们人类文明的基础。如果我说这话可能有人觉得很诧异。我们回过头来看一看不管是(英文)阿里也好、百度也好等等,许许多多的公司,包括最近的悟本、滴滴、快滴,这些公司几乎都不是核心技术,而是靠商业模式甚至是一夜成名,成为一个巨大成功的公司。让很多人觉得现在核心技术已经不那么重要,重要的还是商业模式。长久下去我们人类的技术会慢慢退化,我们今天就来看看我们大数据我们云计算。

云计算实际上来到我们身边至少十个年头,不错我们有很多东西搬到云里面去,但是这个是我们要的云计算吗?如果我说把这看成叫云计算的第一阶段,那第二阶段是什么呢?我们知道我们的很多很多的软件,焉从名义,很难把应用集成起来,难道我们搬到云端就支撑起来了吗?显然不行,这里面的核心技术并没有解决。大数据来到我们中间已经差不多快十年,如日中天,我们到底成立了大数据核心技术,说句老实话我天天做大数据,我看不到沉淀多少。当然也许我看的有一点负面。

那我们来看一看大数据目前面临的什么问题?我们在过去的十年里面,大数据实现的第一个飞跃就是体系结构方面的飞跃。用Commodity Hardware+优秀的软件架构,极大地降低了拥有大数据成本。

但是大数据最终目的是什么呢?刚才我们也看到了大家都在讲大数据怎么怎么重要。但是我觉得我们今天看到的大数据有一点什么呢?看到这很重要这毋庸置疑,但是大家几乎是在赤手空拳。所以做大数据非常非常累。我们刚才大家也听到了,我们那么顶端的数据科学家既然要花85%的时间干什么?本来那些东西不该他们去做的,不做行吗?不行,为什么技术不到位。我们的大数据真正要用的利用海量数据增强人类的智慧。但是我们天天花的代价太大,这代价大在什么地方?实际上花在我们人上面。所以(英文)CEO就讲了一句话我们实现了真正的飞跃。现在的高成本不在计算机在(英文)。那也就是说我们如何能够降低大数据的门槛?让人人都能用得起大数据,可能这是我们真正需要大数据的未来大数据。

我有时候觉得呢,数据科学家是一个伪命题。就好像秦始皇时代如果研究出了自行车,你要想学自行车必须四年的培训,必须是一个高深的技术人员,你才能骑着自行车,相信这自行车即便再好,也没多少人会用。大数据同样是这个道理。如果说我们不能解决这些基本问题,不能让大数据回到我们每个人手中,这样的大数据不是我们真正需要的大数据。所以我们大数据的第二个飞跃就是一定要解决我们大数据的使用的问题。所以跳过数据科学家,让大数据平民化,让大数据真正走出科学家的殿堂走进生活走进我们的人间。

那(英文)预测2020年,可能人人都是大数据。 但是我们今天的软件可以让我们实现这个梦想吗?我们软件也帮助了所有的行业实现了工业自动化,没有哪个行业现在说是离得开软件业。但是我们今天的软件业自己呢?我是80年进入软件行业,我80年开始学代码我学到今天,也许在中国我是最年老的一个码农,我在美国写了20年,我回国又写了十几年。但是我特别痛恨我们的软件业,我们软件业是最落后的一个行业。我作为一个软件工程师,我觉得惭愧,我在美国读的学位叫可视化变成,我的梦想就是希望能通过我的双手,在我谢世之前我们能彻底手动变成,而这件事情基本上我们应该能实现的。这就是我今天要跟大家提到的积木软件。

积木软件对我们大数据有什么意义呢?我们大家现在看一看。我们传统的我们有数据库(英文)我们写一个(英文)从(英文)拿出来,这种手段如果对传统数据库还可行的话,这大数据绝对行不通了。为什么?数据量之大,你拿是拿不出来了。怎么办呢?那你唯一的办法是什么?把应用再往回放,应用下沉数据库。这时候的数据库将不再是个数据库它将是我们最终我们发展的是一个什么?是个数据为中心的应用平台。这个时候你很难再分的清楚什么叫(英文)什么叫数据库。

但是大家都知道,我们传统的数据库,包括我们今天看到的(英文)实际上都没有这么设计。当然了某一些,我们在某种程度上这么做了,我们举个例子(英文)实际上是两个核心技术,一个是解决了存储。第二个是什么呢?(英文)。它为什么要(英文)这个就是看的很准,他发现数据拿不出来了。(英文)就是把应用东西放到平台上面直接去算。所以(英文)在上面实现了。但是这个平台太过于简单在这上面开发应用太难。所以我们相信在未来得大数据市场上,应用一定会要下沉到大数据平台,而大数据平台一定是一个有新一代软件特征的这么一个平台。而传统手段我在上面写应用将会变的越来越不合事宜。

我顺便说一下,我86年去的美国,我一直在研究可视化变成。可视化变成讲出来就是什么?试图用一种特别的手段,让人们不编程,实际上我学的试图可视的手段变成,后来我发现真要编程我还不如手敲起来来的爽。但是代码是有毒的,写代码是要成本的,这个代码的成本不仅仅写代码要成本,最严重的成本是你维护起来特别的困难。所以后来我转变成了可视化不变成,这几十年我一直在做这个研究。积木软件也是我们这么多年研究的成果。

下面大致我把积木软件介绍一下。我是学软件理论,我对这软件行业所有东西都非常感兴趣,尤其是基础软件。我常常就在想一个问题,我说从我80年开始接触计算机,我天天学了各种各样的理论方法手段工具,都再教人、教我们工程师如何如何聪明去做一个无比复杂的事情。我觉得很奇怪,我为什么非要让人那么聪明呢?我为什么不能让机器更聪明呢?我们为什么研究一下更好的手段,让我们的计算机聪明起来。别忘了让傻瓜做事情,那是最傻的事情。那可能大家不大理解我在讲什么东西。

大家看看这个图知道我想说什么呢?我相信大家都猜不到,这是代码,只不过我怕大家不懂代码,我就写了一个平民化的代码,这个代码什么意思呢?这是我们家儿子打酱油,我会跟他讲怎么做这个事他不需要,因为他足够聪明,我让他去什么地方,他只要知道从A到B就行。如一我们能改变底下的东西,我们将会把很多变成变的非常容易了。那这个是积木软件最核心的一点。那怎么实现这一点呢?可能人们会想,那你把计算机变聪明不就是人工智能。所以实际上我在选专业的时候我就选的人工智能,但是后来发现我估计我在谢世之前我看不到人工智能。

人们小看了我们人力智能,我觉得我们的系主任,我在中国科大毕业,我们系主任是做中医系统人工智能。我后来看了以后,我觉得是对我们人类藐视。结果他就用了一些公式就表示了这就是老工艺,如果发烧做这个不发烧干那个太简单了,不可能。但是我们知道实际上人工智能它有一点走了一个误区什么呢?或者是0或者是1。实际上我们人的智能是慢慢进化而来,所以我们实际上做的系统就是智能一个进化的过程。每一个积木就是智能进化的一步,每一次只关注事情的智能化。有了打酱油,我们至少知道这个机器怎么打酱油,当然不会去打酱油从这一点我们大家知道,实际上把机器看成很多很多小事情一个集合的话,我们只专注做一件事情,让它能够自动化。

这样的话我们这系统慢慢就会变的更聪明了对不对?那这个和我们讲的插件有什么关系,实际上我们知道积木式开发已经讲了几十年,但是到今天我估计在座的如果是大家写船间的话,很少听说过有积木软件。为什么是这样?实际上积木这个概念并不稀罕。但是很多地方是(英文)和积木什么关系。我说就是喝茶与茶道的关系。你偶尔去做这个事情或者把它理论化这个是它主要差别。

积木软件一个很核心的地方在哪?就是这句话:(英文)编程序实际上是非常危险的一件事情非常不应该做的一件事情。积木的精髓就是让人们远离代码。虽然每一个积木都是手工编成而来。让人们远离代码而传统软件理论都是教人们走进代码、热爱代码无限制的去产生代码。而积木软件追求的是远离代码。

到底这什么意思?我们看看这个例子,我举一个非常非常简单的例子这也是我们实际的例子。我们做统计,在我们积木软件里面,(英文)你只需要告诉我你的(英文)是什么?你的(英文)是什么?(你的(英文)什么?当然用这东西啊最后还要给它(英文),待会你可以用(英文)去访问他们,你可以得到各种各样的想要内容。这个就是积木,而这个积木就把原本什么都不懂一个计算机变成了一个什么?至少它懂怎么去做统计模型了。

如果我们沿着这个思路,我们给我们的系统一个一个往上面加积木,那这样的话,我相信终有一天,我们会看到一个智能化大数据平台的诞生。

第六我们知道这个积木,它跟我们想象中的积木可能有一点不一样。我们把它作为(英文)它更多的像个橡皮泥,也就是说我们刚才看到,通过那个例子,知道我们的很多积木它有很多的(英文)你可以去调整它,这样的话你可以根据你的要求,一个一个积木把它组装起来,这个是它非常重要的一部分。这个就是我们刚才看到的例子。

积木软件另外一个特性是什么呢?我们知道每个积木实际上我们在做的就是智慧。我们在这上面讲了,造物主并没有给我们盖房子,而是为我们创造了200多个分子,异己分子组合机制仅此而已。然后这大自然就是生机盎然了。我们积木软件做什么?我们把人们的注意力从制产品转向制部件,部件是智慧,而产品只是智慧的副产品。部件是有限级、而产品是无限级。部件关注通用性、产品关注个性化。部件的生命力是标准化,而产品的生命力是个性化。部件专业化、产品大众化。也就是说我觉得我们现在把大家天天每个人都在做什么?做产品。每一个软件公司都去开发什么呢?最终产品。而不是很注重什么呢?部件的开发、积木的开发。我相信我们未来一定会能走向这种积木式的方法。家家户户造汽车,这就是我们软件业,现在我看到的非常严重的问题。那刚才我们的标准化的领导也提到了,软件的标准化。实际上积木它也是正好是解决一个软件标准化的问题。我们讲积木按内划分有(英文)等等,每一种积木定一个标准。CreateData,实话实说我做35年软件,我没看到哪一个应用软件,能用标准把它标出来没戏。但是我们很多的基础部件是完全可能把它标准化的。

产品的标准第一不可能、第二不应该。为软件定义标准这常常是失败的。所以这里面有很多的这里哲理在里面。那积木怎么,我们拿了积木能干什么?这就是积木和龙骨的关系。实际上我们公司做积木和龙骨的框架。龙骨和积木的硬币两面,龙骨常态积木多变,龙骨是神,积木就是马,龙骨远离产品,积木是最接近产品。也就是说我们仔细看的话,龙骨很少变化,我们现在在做大数据平台,我们龙骨实际上很少变,我们变的都是积木。通过这些东西我们慢慢可以实现我们要达到的刚才我们讲的大数据平台的目的。那就是什么呢?我们以后真正开发我们不是从零开始软件,我们通过积木,搭建积木的方式来完成。

最后我大致把我们公司的产品跟大家介绍一下。我在介绍之前,我跟大家先讲一个我们产品的例子。我是做可视化编程的。我在2011年12月份我们接了一个单子,给一个单位做(英文)我们当时接的这么厚的一本(英文)我看了一下一个字没有全都是表单,我们12月22号接的单子,我们1月10号去装系统,1月15号给他们院长做演示。开发的是什么?十个苏州农业专科学校学平面设计还没毕业的,加一个科大研究生的学生没有一个人会编程,是我带的,而这个系统,大家知道软件业的话不是很简单的事情,包括挂号、诊断、病房管理,医院管理等等各个方面很多东西,应该在不到一个月的时间我们开发出来。靠的是什么?又不是能力开出来,就是靠积木式的方式把它开发出来。

我们公司目前是在做大数据的移动开发平台。利用我们常年积累的可视化编程的手段,结合了大数据,我们给大家提供一个大数据的平台。我们公司的定位就是做的数据的(英文)为大家提供一个能够解决大数据所有各方面问题的一个完整解决方案。包括这边最核心就是积木一个大数据库。这个是我们公司产品的一些框架图。我们做大数据差不多十年,应该说我们是在这世界上很少有几家,真正自己从底层开始做起。我们是从第一行代码,我们是用C++写的,目前我们做的这个,实际上我是一个学者,我更多的是喜欢做研究,我们这里面沉淀了非常多的大数据核心技术。我在这只讲一个大家就知道我们在这里面做的东西有多核心。在快速查询上面,我们大家都知道,谷歌有一个产品叫(英文)它2010年发表了这个技术,当时是850亿条数据,它20秒左右能够把这算出来,当时是非常非常厉害,但是它用的3000台设备。

我们现在给联通做的系统是1100亿条。它是850亿,它是20秒我们是5秒,它是3000台设备,我是15台。3000台在地球上没有几个人能用,而15台人人都能用得起。那这个我们远远超过了美国的技术,走在了大数据的前列。这个是我们公司的产品介绍,这个积木最大的意义在哪?我们知道大数据大门,为大数据出了巨大的贡献。是传承传统数据库无编程、高性能、低聚成本的大数据库。而这种非常非常少,我们是其中一个。如果大家有兴趣的话可以继续往下探讨,最后我们希望积木能够给我们船间业献上一个尝试,愿小小积木会聚全社会的力量,为人类创造一个愿离代码的新软件,谢谢大家。

声明:所有会议记录均为现场速记整理,未经演讲者审阅,本站刊登此文出于传递更多信息之目的,并不表示赞同其观点或证实其描述。

更多会议精彩内容请参见专题:http://labs.chinamobile.com/bigdata_2015

(责任编辑:王砾瑟)
共 1 页
分享到: 0

评论

全部评论我的评论

尹晓2015-08-27 16:20

转走

李永国2015-08-27 16:16

一直在关注此类话题。

肖骁2015-08-27 16:13

文章很有条理