大兴安岭信息港
故事
当前位置:首页 > 故事

Hadoop成为主流后数据库产业格局将如何变换

发布时间:2019-08-22 18:25:50 编辑:笔名

这可能是一个挑事儿的话题,不过很值得一说。因为时代要来,必定是多变量齐发,否则一个时代的革新不可能发生。目前我们已知的变量在网络层面有Wifi直连、Zigbee标准的统一、NB-IOT的出现和5G的商用等;在IT的基础设施层面已经有了云计算,同时在深IT层面的数据服务也在发生着变化,比如Hadoop的出现。那么商业软件Oracle遇到开源的Hadoop,是否面临消亡呢?看上榜 Gartner 2016年数据仓库和数据管理解决方案魔力象限 的中国企业 星环信息科技(上海)有限公司创始人兼CEO孙元浩怎么看。

C1:云计算、大数据和容器的恩怨纠葛

联动原素:我们看到中国的云计算可能经历了 个发展阶段,在过去的七八年中。个阶段的主流技术路径叫广域化资源池,大概在2008-2009这两年间,出现的时间非常短暂;然后就是虚拟化技术主导阶段,应该是从2010年Vmware进入中国后,一直持续到2015年;之后就是2015年开始盛行的容器技术。此前有专家认为,201 年开始盛行的大数据技术更像早期产业理解的云计算技术,而超融合(容器)的出现,实现了虚拟化和大数据的统一,才是真正云计算的开始。对此,您怎么看?

孙元浩:我只能谈谈从我的角度看到的情况。我认为现在公有云起来了,公有云主要是IAAS层提供底层资源服务的,像Ucloud,七牛云、阿里云、腾讯云,这个市场在美国也慢慢变成只有几家了,AWS、Google等。我觉得公有云跟大数据是两种不同的使用模式。

云计算是纯IT层面的,它不是业务驱动的。IT是帮用户解决IT运维的问题,弹性计算的问题,应该说节省成本是它的要务。

大数据是应用驱动,业务驱动的。比如说我们的电信运营商,一个省级分公司就有1.4亿的用户,数据量太大了必须处理。再比如说现在物联网的大数据,它的传感器、它的终端设备在不断地写入数据,就必须要一个技术来采集和处理这些数据。同时,大量的实时数据处理需求,和非结构化的数据处理需求,驱动着数据管理这件事要有新技术来支持。近两年,我们看到大数据的应用范围更广泛了,因为它取代了原来的关系数据库。

也就是说,与云计算相比,大数据的不同之处在于,它是帮助用户创造价值的。因为用户是可以用这个技术开发新应用的。比如在银行里,大数据可以帮它做营销、做获客,或者是降低坏帐率,总之是帮助银行创造业务价值的。

从发展来看,我认为大数据的渗透会更广泛,然后它的应用场景会更多。那云这块,我的看法是:私有云是为了解决IT问题,公有云是为了降低成本。

现在有了容器以后,基本上可以把大数据的组件全部容器化。这个服务就像一个集装箱一样,可以在硬件上面到处迁移,可以非常弹性的扩容和收缩,理论上它可以在虚拟机上达到类似的效果。只不过以前的虚拟化技术,是假设你的CPU利用率完全很低的,你的负载度很轻,所以才要把它虚拟化掉,所以造成大数据在上面运行以后,IO损失50%,稳定性会有很大地问题。

现在容器有一个好处,首先它用CPU相当于虚拟化,内存做了隔离,同时性能损失小于1%,磁盘IO的性能损失也许是1%。这时候再上面运行大数据,性能损失几乎没有,稳定性也很好,同时也达到了像虚拟化这样的弹性处理。因此,我们认为现在借助容器化技术,就可以真正地把云计算和大数据技术融合起来。

基于容器技术,我们也开发了一个叫TOS的产品。但大数据是一个分布式集群,所以单个容器只能做一些简单的应用。要支持大数据的话,要把不同角色的容器组成一个集群,要让容器有一个分布式集群管理系统。将多个容器融合起来来分配资源。

联动原素:容器技术的优势都体现在哪些地方?

孙元浩:我现在感觉下来它有三个优势,当然是做了集群管理以后。

个是应用标准化。因为大数据有几十个供应商,有成百上千个应用,然后每种应用都有很多种版本,哪怕动个中间件,就有可能加大IT在部署、运维系统时的困难。用了容器以后,因为都是标准件,随便到哪里都可以方便运行,这样一下子就简化了用户的部署压力。

   

本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

疾病知识
衢州好的男科医院
扬州专科医院治妇科
友情链接