麦田集团董事长赵世勇:分布式存储未来已来
2021-10-15 刘回春 产品可靠性报告
2020年8月13日,国内首家以碎片化、分布式云存储为核心、以高性能计算为引擎的高科技企业,麦田云网(杭州)信息技术有限公司在杭州德信AI产业园区创立。 在正式成立之前,董事长赵世勇和他的团队为研发自主技术已经为之奋斗了五年。
麦田云自有技术体系,获得了多项国家版权局颁发的计算机软件著作权登记证书,从根本上解决了数据存储行业的诸多痛点,具备更高可靠性、安全性,低延时、低成本、访问速度快等优势,成为世界分布式存储领域的重要科技成果之一。 麦田云网在上海成立的分布式存储标准化研究国家级联合实验室,成为分布式存储行业标准的主导者和参与制定者。 “我是经商的,刚开始认为经营企业其实无非就是挣钱。你发现一个新兴的行业的时候,肯定就是会投入人力财力,一定要把这事干成” 董事长赵世勇说,“但是现在干来干去不知不觉变成了做事情的责任与情怀” “其实这两年国家对数据安全越来越重视,这个行业可能要经历一个大的变革大的发展,这是一个很大的机遇,但同时也是挑战” “国家以后的发展趋势,还有国家的一些需求,这两年很明显都显现出来了,再过两年会更明显” “各地政府及三大运营商发文,要清理90年代或者两千零几年的 IDC计划,因为设备已经老化了。设备老旧了,这个还不是问题,最大的问题就是能耗的问题,电的问题” “更重要的还是国家现在提倡的信息安全这一块”,赵世勇说,“麦田云网碎片化、分布式云存储去中心化的特点,第一个就是安全,第二个是容量,第三个是速度,第四个是能耗”。 赵世勇补充说,“其实中国的企业家我觉得90%都有国家情怀或者社会责任,我相信每个人都有,做到一定程度的时候绝对是有这两方面的” “对国家对社会有意义,我相信每一个中国人最基本的都有这种想法。如果给你提供一个这样的平台,你肯定就是往这方面发展”。
海量数据的产生,将对数据存储与管理提出巨大挑战 《2019数据及存储发展研究报告》通过对金融、交通、电信、能源、医疗等行业的研究,得出了新数据时代下数据呈现出海量、多元、实时、多云的四大新数据特征。 在整个人类社会快速迈进智能世界的过程中,数据量将迎来爆炸式增长。 以视频应用为例,从2K分辨率向4K、8K过渡,数据将增长40倍,从4K转向4K/VR还会有6倍数据增长;而未来L4级自动驾驶汽车每天将产生64TB数据量。根据华为《全球产业展望GIV2025》预测,全球数据量将从2018年的33ZB快速增长到2025年的180ZB。 根据博思数据发布的《2020-2026年中国云存储市场分析与投资前景研究报告》显示,在中国,企业级云存储规模达到了98.6%,即云存储的主要服务对象是企业,然而大部分企业即使付出巨额的成本却依旧无法完全有效地享用自己的数据。 传统的云存储方式使用中心化服务器存储数据。自2006年亚马逊推出AWS并获得成功后,各大云服务平台如雨后春笋般相继诞生。短短数年间,大多数数据都存储在了少数几个云平台中,这就导致数据存储出现严重的中心化。 “传统的分布式存储就是物理存储,就是像备份一样,我在这个城市备份一份,然后在另外一个城市,在全国几个城市,都是整个文件来存储,其实对我们来说就是备份” 赵世勇说,由此产生了各种各样的隐患,目前主要表现在4个方面: 一、成本较高:固定成本不变甚至逐渐增加,使中心化云服务价格较高。另外,在不同中心化云存储平台之间的数据迁移成本也居高不下。 二、数据传输速度慢:中心化云服务器机房通常位于偏远地区,距离实际用户很远,使其数据传输速度较慢。 三、安全性低:在物理位置上,中心化云服务器集中在一处或几处,一旦发生停电等故障,往往会导致大量相关业务瘫痪。此外,中心化云服务器发生故障也有使用户数据彻底丢失的风险。 四、信息泄露:网盘的管理员可以从服务端的平台中直接查看和删除用户上传的文件,用户的隐私容易发生泄漏。 当下的互联网都是基于HTTP协议所构建的,HTTP协议对主干网络依赖严重,存在严重的安全隐患。所有数据存储在一个地方,一旦“单点式”的中心被摧毁或者发生数据丢失、造假的情况,那么整个网络都会随之瘫痪。 “未来三年绝对会把中心化给颠覆了,我相信这是时间的问题” 2018年4月20日至21日,习近平总书记在全国网络安全和信息化工作会议上发表讲话指出,没有网络安全就没有国家安全,就没有经济社会稳定运行,广大人民群众利益也难以得到保障。 2021年6月10日由十三届全国人民代表大会常务委员会第二十九次会议通过的《中华人民共和国数据安全法》。这部法律是数据领域的基础性法律,也是国家安全领域的一部重要法律,于2021年9月1日起施行。
到2023年,40%的存储系统将是分布式存储架构,大势所趋,势不可挡 麦田云网分布式储存系统是基于内容寻址、版本化、点对点的超媒体传输协议,允许网络中的参与者互相存储、索取和传输可验证的数据,不仅可以大幅降低数据存储和下载的成本,而且节点越多访问速度越快。该系统采用点对点技术进行数据传输和下载,节点越多,传输速度越快,带宽使用成本也可以节省近60%。 分布式储存系统可以极大的降低对中心主干网络的依赖,提高互联网数据的安全性,有效防御DDoS、XSS、CSRF等攻击。分布式储存中的容错机制会保证你的数据被复制了足够多数量并存放在不同的地区,这就极大的保证了存储在IPFS上的数据安全性和永久性。 分布式存储势在必行: 一是,海量数据的不断涌现,到2025年全球新创建的数据将达到175ZB。 二是,企业对实时数据需求增加,到2023年实时数据占全球数据圈24.5%的份额。金融的风险评估、交通的自动驾驶、运营商的智能网络等许多场景,都需要依赖快速实时的数据采集、存储和分析得以实现。 三是,数据从单一内部小数据形态向多元动态大数据发展,数据环境多样、复杂,大量文本、图片、视频等非结构化数据被产生和存储。 四是,未来全球将有超过70%的企业选择多云部署模式,到2023年42.4%的企业将采用边缘+核心的组合架构,核心数据中心的数据存储容量占比将超过50%。 新数据时代的挑战无处不在,这一切都是数据变化带来的结果。能够真正应战并为企业用户带来更加匹配的数据存储平台,当属分布式存储。 从架构上来分析,分布式存储系统采用可扩展的架构,不仅能提高存储的效率和数据的安全性,还可以进行性能和容量的横向扩展,解决大规模、高并发场景下的存储访问问题。 从应用上来看看,随着5G、物联网和人工智能的快速发展,企业对于分布式系统的需求将持续增加,分布式存储成为多云环境的首选平台。
分布式存储发展未来:数据永生 根据科技数据分析师调查显示: 2019年9月,美国亚马逊网络服务中心一个数据中心发生断电,一个半小时后,备份生成器发声故障,1TB数据丢失。 2019年8月23日AWS东京机房出故障,导致币安出现5分钟故障,有人以14.4美元购买了45枚比特币(价值45.9万美元。) 2018年8月腾讯云丢失用户数据被索赔1101万 。 2018年3月,Facebook数据泄露事件罚款50亿美金。 数据安全事件数不胜数。 而分布式存储技术的正是未来数据存储发展的趋势。 据荣来科技数据分析师分析,与“传统存储硬件使用专有设备,通用性差,而设备投资加上后期维护、升级扩容带来的成本非常高。”相比,分布式存储降低了服务器和宽带成本,在成本上大大降低。 “传统存储单节点I/O性能瓶颈无法逾越、容量和性能都不易扩展,难以支撑海量数据的高并发、低延时场景。同时也无法实现快速部署和弹性扩展。”而分布式存储不同,分布式存储通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散地存储在网络中的各个角落,这样使得文件上传、下载速度快,可达到中心化存储百倍速度。 而让传统存储头疼的信息安全问题,分布式存储也能轻松应对。分布式存储加密存储,黑客无法攻破,文件永久不丢失。
存储释放动能,助力构建智能世界 随着智能时代的到来,数据成为重要的生产要素。人工智能、云计算、物联网、大数据等新技术推动包括工业、农业、服务业等许多行业、产业进行大规模的数字化变革,逐渐形成以数据+智能为中心的新型业务,推动服务化延伸、网络化协同、智能化生产和个性化定制等新的变化。除了头部的OTT、金融、电信等行业之外,全社会都在致力于生产要素数字化、生产过程数字化以及产品的数字化,助力企业数字化转型,进而推动万物互联的智能世界快速到来。 中国互联网协会发布的《中国互联网发展报告(2021)》显示,2020年中国互联网行业实现快速发展:大数据产业增幅领跑全球大数据市场,电子政务发展指数排名提升至全球第45位,取得历史新高。 麦田云网秉承以科技创新为驱动力,坚持自主研发,已在杭州、成都设有技术研发中心,在乌镇、桂林、丽江、上海、宁陵、承德等地建有数据中心,在近四十个城市部署存储节点。
麦田云网与人民网·人民数据(国家大数据灾备中心)就双方共同打造的大数据平台“人民云网”达成战略合作,是“人民云网”品牌唯一合法使用单位,是国家大数据灾备中心的建设单位,双方共建的“人民云网大数据平台”,具有很强的社会公信力和品牌影响力,是国家“加强关键信息基础设施安全保护,强化国家关键数据资源保护能力,增强数据安全预警和溯源能力”的重要举措,对于我国构建一个从根本架构安全的数字经济时代,推动传统产业的升级,新兴智能经济的发展,其社会效益尤为突出。
8月29日,华为携手区块链数字生态伙伴麦田云际在浙江乌镇隆重举办了中国分布式存储联合解决方案全国发布会暨行业生态发展研讨峰会,双方以“国家大数据战略”和“新基建国策”为合作契机,围绕区块链分布式技术进行深度合作,共同推动我国在新型数据存储和计算领域的发展。 华为-麦田云际发布的联合解决方案,对业界所有有志于从事区块链分布式存储事业的企业开放,都可以应用它来部署形成自己的解决方案。在产业发展上,希望汇聚产业链各环节、全生态各方的力量,通过协同形成合力,加快构建具有竞争力的新计算产业生态体系。 华为-麦田云际的联合解决方案发布,是中国区块链分布式存储行业的一个里程碑,响应信息技术应用创新,以稳定快捷低成本的大数据服务,为中国的新基建建设、5G产业、工业互联网和智能制造等领域修建一条畅通无阻的信息高速公路。
“就是我要颠覆传统行业,就是全方位的来颠覆,我一定要比你现在现有的价格更便宜,我一定是比你现有的安全更安全。现在市场认可怎么样?市场开拓这一块,有关部委对我们非常认可,工信部一开始就支持我们的,现在给我们提供国家级的实验室,我们现在已经落户在上海了,我们技术总部的倪光南院士,80多岁的老爷子,到处来宣传我们的技术” 赵世勇说,未来2-3年,麦田云网在全国将布局500-1000个数据中心,形成一个强大的分布式云存储网络。为我国构筑一个根本架构安全的数字经济时代、推动传统产业的升级、促进新兴智能经济的发展做出积极贡献。 (文中图片由受访企业提供) |