∑co时间丨大数据存算是“分”还是“合”？华为给你正确答案！
发布时间：2024-04-15 点击：120
虽然因“疫情”的影响，让技术人群放弃了聚会，减少了面对面沟通，但他们对于学习和交流的渴望从未停歇过。为此华为特别推出了#∑co时间#系列栏目，以线上直播 互动的形式，共话技术变革与行业转型。
3月4日下午3点，本期#∑co时间#聚焦的话题是“大数据存算是‘分’还是‘合’，您做对了吗？”——华为智能数据与存储分布式存储高级营销专家崔玉祥来到了华为“智能数据基础设施「学数派」”直播间，分享了华为如何看待存算分离的价值，以及华为大数据的存算分离解决方案和应用实践，并与上千位线上嘉宾探讨了存算分离技术的发展趋势和市场前景。
数字经济时代，大数据架构走向存算分离
崔玉祥介绍道，在数字经济时代，数据已经成为新的生产资料，并从数据管理走向数据运营，大数据正发挥着越来越重要的作用，数据驱动体验、数据驱动决策、数据驱动流程的各种应用每天都在不断上演。随着5g和ai技术的发展，数据量必将迎来爆发式的增长，在这样的形势下，传统的大数据存算一体架构，在多个行业都面临着资源利用率不均、存储成本高、资源共享难的挑战。
以国内电信运营商为例，每年市场采购金额高达上亿元，但是如此巨大的投资在支持电信业务的同时，也带来了计算资源浪费，庞大的服务器设备占据机房空间导致制冷供电费用高涨等诸多挑战，“降本增效”成为电信运营商的重要诉求。而同样的，提升资源利用率，部署弹性灵活，按需调度计算资源这些诉求，也成为金融、政务领域用户亟待解决的课题。
如何化解这么多挑战？崔玉祥认为，计算存储分离是大数据架构演进的必然趋势，也是解决行业用户数据痛点的一大利器。他解释道，在hadoop1.0时代，计算和存储是高度融合的，仅能处理单一的mapreduce分析业务；到了hadoop2.0时代，计算层与数据开始解耦，通过yarn实现了独立的资源管理，并开始支持spark等更多的计算引擎；而如今已经到了hadoop3.0时代，计算存储走向分离，通过hadoopec来支持冷数据的存储，逐步向数据湖架构演进。“存算分离其实更适合企业级市场，它实现了资源云化和灵活扩展，能够让用户享受更专业的存储，更佳的可靠性和利用率。”
三大优势令华为oceanstor分布式存储更懂用户
在2019年，华为创新性地推出了大数据存算分离解决方案，崔玉祥向观看嘉宾详细讲解了华为oceanstor分布式存储，一个能够打造更高性价比的大数据存储方案。简直就是为多样式存储和超大数据量的用户量身定制。“简单总结，华为oceanstor分布式存储最鲜明的三个特点就是成本最优、效率最高、使用最简。”
【成本最优】在成本方面，华为oceanstor分布式存储实现存算分离，资源按需独立扩展，弹性ec 分级，存储成本大幅降低。“性能、可靠性和hdfs三副本相当，但是存储利用率相比三副本提升1.75倍，”崔玉祥还特别指出，oceanstor分布式存储可以通过自动生命周期管理获得更佳的性价比，且计算侧无感知。用户可以定义不同的数据写入策略，使不同类型的应用读写不同的存储池，实现资源的物尽其用；用户还可以定义数据迁移策略，实现热、温、冷数据的自动转换，降低整体tco。
他以上文中提到的电信运营商为例，运营商日志留存场景下，计算利用率为30%%u65f6，总容量需求大于256tb时，改用存算分离方案会有tco优势；总容量需求大于2pb时，存算分离方案的tco节省会达到40%%u4ee5上。
【效率最高】在数据应用效率方面，华为oceanstor分布式存储采用全对称分布式namenode，集群性能和支持文件数随节点数目增加，单一命名空间支持文件数达百亿级。不仅如此，华为还实现了多集群数据融合互通，提升数据共享和分析效率，协议互通更是提升了分析效率30%%uff0c降低空间占用50%%u3002“在一家金融客户的应用测试中，基于相同的计算和存储硬件配置，oceanstor存储存算分离方案在大部分测试中，性能均超过了原生hdfs三副本，部分测试项的执行时间甚至降低了70%%u4ee5上。”
【使用最简】在实际操作运维方面，华为原生hdfs接口提供了更佳性能和使用体验，例如完整hdfs语义100%%u517c容主流大数据组件，用户无需安装插件，安装维护简单。更重要的是，通过viewfs或hbase元数据网关方式可以实现新老共存，保护用户已有投资，系统级数据冗余保护能够支持4节点同时失效。崔玉祥特别强调，即使发生节点故障，华为oceanstor分布式存储也能够自动调整ec级别，确保新写入数据可靠性不下降，与此同时，多节点并行重构，可实现2tb/小时数据恢复效率。
存算分离，助力千行百业大数据进阶
自2019年以来，华为oceanstor分布式存储解决方案已经被广泛应用在电信、金融、政务、大型企业各个领域中。在本次直播活动中，崔玉祥专门分享了两个有代表性的应用案例。
在江苏，原有的政务系统大多采用的是烟囱化部署，数据孤岛比比皆是。然而随着数据量快速增长，江苏决定基于华为存算分离解决方案开始打造分层解耦、高效共享的大数据平台。华为帮助江苏政务系统打造了一个统一大数据平台，可以同时支撑多种业务，实现部门间数据快速共享，实现政务服务“最多跑一次”。在部署中，存算分离就大显身手，加上计算资源和存储资源云化，实现了资源灵活分配，业务上线时间缩短90%%u3002同时，借助oceanstor分布式存储的弹性ec技术，将存储利用率从33%%u63d0升到91.6%%uff0c从容应对数据快速增长的挑战。
在河北电信，已部署安装了89台存算一体的大数据集群，整体存储空间使用率已超80%%uff0c存储空间不足，经常需要通过删除数据的方式释放存储空间。而且现有机房空间紧张，仅能容纳135台2u服务器，按原有存算一体方式扩容，机房空间无法满足要求。对此，华为创新性地采用存算一体 存算分离共存的方案，扩容100个计算节点 35个存储节点，使用hadoop数据联邦方案（viewfs），既解决了新老共存问题，又实现了性能和容量的均衡扩展，相比原始方案提升60%%u53ef用容量。崔玉祥指出，存算分离方案无缝扩容，数据均衡读写，用户既不需要升级现网大数据版本，也不需要迁移现网数据。
相信通过本次直播活动，及华为大咖带来的精彩分享，行业用户对于存算分离将会有更加深刻的认识，对于如何选择合适自己的存算分离解决方案，也能做到心中有数了。
阿里云服务器ecs续费代金券
如何访问小米路由器硬盘 如何远程访问小米路由的无线硬盘
虚拟主机云服务器租赁费用
云服务器无法访问web应用
为什么有的服务器可以不用备案？
云服务器建站软件原理图
云网站服务器安全风险
该站打不开打开出现错误-虚拟主机/数据库问题
3月4日下午3点，本期#∑co时间#聚焦的话题是“大数据存算是‘分’还是‘合’，您做对了吗？”——华为智能数据与存储分布式存储高级营销专家崔玉祥来到了华为“智能数据基础设施「学数派」”直播间，分享了华为如何看待存算分离的价值，以及华为大数据的存算分离解决方案和应用实践，并与上千位线上嘉宾探讨了存算分离技术的发展趋势和市场前景。
数字经济时代，大数据架构走向存算分离
崔玉祥介绍道，在数字经济时代，数据已经成为新的生产资料，并从数据管理走向数据运营，大数据正发挥着越来越重要的作用，数据驱动体验、数据驱动决策、数据驱动流程的各种应用每天都在不断上演。随着5g和ai技术的发展，数据量必将迎来爆发式的增长，在这样的形势下，传统的大数据存算一体架构，在多个行业都面临着资源利用率不均、存储成本高、资源共享难的挑战。
以国内电信运营商为例，每年市场采购金额高达上亿元，但是如此巨大的投资在支持电信业务的同时，也带来了计算资源浪费，庞大的服务器设备占据机房空间导致制冷供电费用高涨等诸多挑战，“降本增效”成为电信运营商的重要诉求。而同样的，提升资源利用率，部署弹性灵活，按需调度计算资源这些诉求，也成为金融、政务领域用户亟待解决的课题。
如何化解这么多挑战？崔玉祥认为，计算存储分离是大数据架构演进的必然趋势，也是解决行业用户数据痛点的一大利器。他解释道，在hadoop1.0时代，计算和存储是高度融合的，仅能处理单一的mapreduce分析业务；到了hadoop2.0时代，计算层与数据开始解耦，通过yarn实现了独立的资源管理，并开始支持spark等更多的计算引擎；而如今已经到了hadoop3.0时代，计算存储走向分离，通过hadoopec来支持冷数据的存储，逐步向数据湖架构演进。“存算分离其实更适合企业级市场，它实现了资源云化和灵活扩展，能够让用户享受更专业的存储，更佳的可靠性和利用率。”
三大优势令华为oceanstor分布式存储更懂用户
在2019年，华为创新性地推出了大数据存算分离解决方案，崔玉祥向观看嘉宾详细讲解了华为oceanstor分布式存储，一个能够打造更高性价比的大数据存储方案。简直就是为多样式存储和超大数据量的用户量身定制。“简单总结，华为oceanstor分布式存储最鲜明的三个特点就是成本最优、效率最高、使用最简。”
【成本最优】在成本方面，华为oceanstor分布式存储实现存算分离，资源按需独立扩展，弹性ec 分级，存储成本大幅降低。“性能、可靠性和hdfs三副本相当，但是存储利用率相比三副本提升1.75倍，”崔玉祥还特别指出，oceanstor分布式存储可以通过自动生命周期管理获得更佳的性价比，且计算侧无感知。用户可以定义不同的数据写入策略，使不同类型的应用读写不同的存储池，实现资源的物尽其用；用户还可以定义数据迁移策略，实现热、温、冷数据的自动转换，降低整体tco。
他以上文中提到的电信运营商为例，运营商日志留存场景下，计算利用率为30%%u65f6，总容量需求大于256tb时，改用存算分离方案会有tco优势；总容量需求大于2pb时，存算分离方案的tco节省会达到40%%u4ee5上。
【效率最高】在数据应用效率方面，华为oceanstor分布式存储采用全对称分布式namenode，集群性能和支持文件数随节点数目增加，单一命名空间支持文件数达百亿级。不仅如此，华为还实现了多集群数据融合互通，提升数据共享和分析效率，协议互通更是提升了分析效率30%%uff0c降低空间占用50%%u3002“在一家金融客户的应用测试中，基于相同的计算和存储硬件配置，oceanstor存储存算分离方案在大部分测试中，性能均超过了原生hdfs三副本，部分测试项的执行时间甚至降低了70%%u4ee5上。”
【使用最简】在实际操作运维方面，华为原生hdfs接口提供了更佳性能和使用体验，例如完整hdfs语义100%%u517c容主流大数据组件，用户无需安装插件，安装维护简单。更重要的是，通过viewfs或hbase元数据网关方式可以实现新老共存，保护用户已有投资，系统级数据冗余保护能够支持4节点同时失效。崔玉祥特别强调，即使发生节点故障，华为oceanstor分布式存储也能够自动调整ec级别，确保新写入数据可靠性不下降，与此同时，多节点并行重构，可实现2tb/小时数据恢复效率。
存算分离，助力千行百业大数据进阶
自2019年以来，华为oceanstor分布式存储解决方案已经被广泛应用在电信、金融、政务、大型企业各个领域中。在本次直播活动中，崔玉祥专门分享了两个有代表性的应用案例。
在江苏，原有的政务系统大多采用的是烟囱化部署，数据孤岛比比皆是。然而随着数据量快速增长，江苏决定基于华为存算分离解决方案开始打造分层解耦、高效共享的大数据平台。华为帮助江苏政务系统打造了一个统一大数据平台，可以同时支撑多种业务，实现部门间数据快速共享，实现政务服务“最多跑一次”。在部署中，存算分离就大显身手，加上计算资源和存储资源云化，实现了资源灵活分配，业务上线时间缩短90%%u3002同时，借助oceanstor分布式存储的弹性ec技术，将存储利用率从33%%u63d0升到91.6%%uff0c从容应对数据快速增长的挑战。
在河北电信，已部署安装了89台存算一体的大数据集群，整体存储空间使用率已超80%%uff0c存储空间不足，经常需要通过删除数据的方式释放存储空间。而且现有机房空间紧张，仅能容纳135台2u服务器，按原有存算一体方式扩容，机房空间无法满足要求。对此，华为创新性地采用存算一体 存算分离共存的方案，扩容100个计算节点 35个存储节点，使用hadoop数据联邦方案（viewfs），既解决了新老共存问题，又实现了性能和容量的均衡扩展，相比原始方案提升60%%u53ef用容量。崔玉祥指出，存算分离方案无缝扩容，数据均衡读写，用户既不需要升级现网大数据版本，也不需要迁移现网数据。
相信通过本次直播活动，及华为大咖带来的精彩分享，行业用户对于存算分离将会有更加深刻的认识，对于如何选择合适自己的存算分离解决方案，也能做到心中有数了。
阿里云服务器ecs续费代金券
如何访问小米路由器硬盘 如何远程访问小米路由的无线硬盘
虚拟主机云服务器租赁费用
云服务器无法访问web应用
为什么有的服务器可以不用备案？
云服务器建站软件原理图
云网站服务器安全风险
该站打不开打开出现错误-虚拟主机/数据库问题
上一篇：php namespace的用法
下一篇：腾讯云网站服务器配置