数据即价值。但是,仅仅拥有可用的数据并不意味着可以充分利用数据价值。企业要思考一个关键问题:我们如何发掘数据中蕴藏的却又难以触及的潜力,不断推进目标并增加营收?为了寻求答案,企业越来越多地诉诸于开源解决方案。
企业正在评估并完善开放式架构,从而将计算、网络和存储资源整合在一起。可扩展的硬件基础架构支持软件的不断集成和开发。与神秘的封闭架构不同,开源软件以及越来越多的硬件提供更好的可视性和控制性,从而打破协作障碍,使科技产业更为民主化。
2018年IDC TechScape研究发现:“大多数重要的新兴技术都是部分或全部由开源组件构成,这为行业未来的走向指明了方向。”
开源架构优势明显:
1.开源意味着相关代码可以得到业内同行共同审查,一起改进。
2.开源将研发成本分散开来,企业共同分担解决问题的费用。
3.在开放环境中,安全性也得到强化。由于更多人查看代码,bug也更容易被发现。
精于软件
我就职的希捷科技40多年来一直是全球领先的数据存储解决方案提供商,属于硬件阵营。但是,由于创新同样来源于开源世界,我们努力突破硬件厂商的局限,在软件领域不断创新,力图在软件方面有所作为。
多年来,希捷一直在资助Linux基金会和圣克鲁斯大学开源软件研究中心等专注于软件开发的组织和基金会,以及RISC-V和OpenTitan等开源硬件基金会。我们正在相应地优化软硬件系统,改善对象存储。
硬件公司在软件领域能做什么?软件中的任何更新都会在硬件中体现出来,反之亦然。硬件和软件互为阴阳,任何一方都需要不断创新以跟上另外一方的要求。数据的流动需要软件和硬件协同来实现。硬件设计的经验为软件层的数据处理提供洞见。同时从软件世界中汲取的经验教训也有助于硬件的设计优化。
开源架构与数据存储解决方案正在共同致力于如下问题:多云、数据流、数据访问、数据可视性以及安全性。
●多云
随着企业从公有云转向多云,企业期望混合云能兼具公有云的便捷灵活,以及私有云的自主可控。开源项目包括Apache Hadoop和Ceph,支持存储的横向扩展,帮企业通过扩展计算与存储搭建更强大的私有云,实现多云部署。
硬件如何发挥作用?针对工作负载优化的硬件集群以模块化部署,辅助以横向扩展的软件生态系统,将帮助企业搭建私有云。如果系统需要低延迟,则全闪存阵列SSD是适当的解决方案;如果私有云需要海量存储,则硬件架构需要容纳独立的构建模块。
●数据流
由于边缘、物联网和其他技术的兴起,数据正在从边缘到核心爆发。到2025年,数据圈将达到175ZB。在哪里以及如何存储和处理所有这些数据?开源软件提供了构建模块,基础架构设计师能够开发针对不同应用进行优化的解决方案。例如,开源流处理平台Kafka;构建在Hadoop上的数据仓库框架Hive;以及将数据存储在操作系统数据库的解决方案Redis,等等。
这对硬件意味着什么?哪些构建模块组合在一起去获取所需的数据?用什么速度去获取?使用什么工具进行数据分析?所有这些都关系到如何配置计算和存储组件。为促进云基础架构的有机增长,可随时组合和拆分的架构将更能发挥资源的效率。
●数据访问
由于数据需求指数级增长,数据访问更为重要。硬盘容量的增加将满足于存储密度的需求,数据的读写速度也要提升,而整体成本也要进一步下降。
硬件有什么作用?研究人员不断革新NAND技术,在保持同等水平延迟和带宽的同时,降低成本。双磁臂等技术正在为大容量设备提供更高的IOPS性能。这为架构师们提供了更多的选择,使他们能够配置满足各种应用需求的系统。
●数据的可视性
软硬件集成的另一方面是对系统信息的可视性需求。软件的大趋势是自动编排并自动管理多云基础架构。Kubernetes容器编排生态系统与Prometheus等成熟的开源工具相结合,即可创新架构的自主管理。
硬件世界的数据可视性如何保证?温度和振动等因素的可视性对硬件的优化十分重要。通过硬件与固件层面的创新,相应的人工智能工具得以应用,获取更清晰的遥测数据与监测指标。企业设备可以开放公开日志,提供更多详细信息。希捷FARM就是这样一种日志管理工具,帮助企业有效管理硬盘健康状况,提升系统性能与稳定性。
●数据安全
按照《通用数据保护条例》(GDPR)等法规规定,数据的溯源、移动、计算和存储的需求不断增长。开源解决方案更流行,这是因为开放源代码增加了可信度。
这在硬件上如何体现? RISC-V架构是一个开源的电子指令集,专注于低成本、低功耗和高安全性,帮助企业通过共享模式更快地设计、开发电子产品芯片。
无论挑战涉及安全性、可视性、数据访问、数据流还是多云,硬件都必须关注软件世界。因为一旦涉及到数据,硬件和软件注定要相互成就,相伴相生。