京东云云海的存算分离技术实践：节省整体成本超30%

发布时间：2023-05-16 18:38来源：网络 阅读量：9707   

在万物互联时代，无论是手机中不断更新的短视频，还是工厂中的大规模生产数据，其背后都是对海量数据的存储和调用，在数据大爆炸的时代背景下，革新存储技术、降低存储成本、提升数据存储安全性、降低存储运维难度，已成为行业发展的重要命题。

历经10余年京东复杂场景历练，自主研发分布式存储系统云海

云海以全自研统一引擎为底座，提供块存储、分布式文件存储、并行文件存储、对象存储、大数据存储等5种存储服务。支持标准X86服务器和各类国产化服务器，具备自研可控、超高性能、高可用性、极致低成本、安全、统一存储等特点。

自研可控:云海为100%自研产品，全自主可控，已与所有主流国产化硬件兼容互认，并能实现兼容后性能无衰减，已在京东核心场景实现国产化实践验证

超高性能:云海块存储性能指标百万IOPS下平均延迟 lt;200μs，单集群输出1000 IOPS,性能接近本地NVMe磁盘。

高可用性:采用全追加写的新架构模式，保障了多副本强一致性，100% 写高可用，多副本故障下仍保持系统可用性。

极致低成本:块存储1.375 副本生产级EC，对象存储低至1.1x 副本的低冗余，以及行业内最大规模QLC-SSD的落地，成本技术指标领跑行业。

创新性存算分离技术架构，综合成本降低50%

云海通过其超低延时RDMA、创新性高容错分布式一致性协议、用户态NVMe等手段，将存算分离真正大规模应用到生产环境中，实现了单实例读写延迟至100μs以内，单盘提供100万级IOPS的极致性能，计算与存储完全解耦。

云海自研的存算分离架构为企业带来更高的存储可靠性、可用性和资源的扩展灵活性，成功将磁盘利用率提升至90%。构建存算分离架构支撑的PaaS服务，从而实现:第一、计算和存储解耦独立，存算资源独立调度，不再有固定配比，资源利用率提升到85%以上；第二、多副本高可靠的存储产品，对业务呈现出永远“零故障”的存储，业务层的可用性得到大幅提升；第三、资源彻底云化调度，扩容操作秒级完成，极大释放运维人员的压力。

目前基于云海的存算分离的技术架构已在京东全面落地，相比存算一体的形态，存储资源利用率提升至85%以上，PaaS综合成本降低达到50%。

全新发布云海一体机，支持国产化硬件灵活满足业务需求

云海可同时支持纯软授权或软硬一体机形式独立交付，也可作为存储标准化产品，以纯软或软硬一体机的形式集成在解决方案中输出，客户可根据实际需求灵活选择。

软件独立输出:支持灵活多样的服务器配置，客户原有服务器也可利旧使用。支持独立输出块、文件、对象存储等，存算分离下，综合成本降低30%以上。

软硬一体机模式输出:云海推出极速型、性能型、通用型三大产品系列，全面覆盖多种场景需，且均支持国产化硬件，灵活满足业务需求。

云海高效支持存算分离、超算、音视频等典型存储场景

基于京东集团内部丰富的存储应用场景，以及对降本提效的极致追求，推动云海实现由实际业务推动的高速迭代。性能层面，云海已历经多年京东618、京东11.11 等高流量、高并发场景的实战检验；行业层面，已覆盖零售、物流、金融、健康、工业等行业的不同业务应用场景。

在过往的京东618中，基于云海的存算分离系统架构，使得原本由于性能问题很难全面实施的存算分离得以落地，面对吞吐量TB/s、IOPS上亿级的压力，依然能够提供如丝般顺滑的存储体验。

京东云为某头部网络音频平台打造稳定经济的双活存储平台，基于云海高可靠、低成本、强安全的分布式对象存储和块存储服务，定制化设计主备双活存储解决方案，系统上线运行两年以来，从未出现故障，并通过冷热数据全生命周期管理，实现综合成本降低20%～30%。

国内某消费金融公司通过对海量数据进行深度挖掘，获得了业务的高速增长，然而，随着存储集群规模迅速扩张，带来巨大的成本压力。京东云为其提供了云海大数据存储+对象存储服务解决方案，存储集群规模从原来的上千台降至400余台，综合降本超过60%，获得更优的成本效率及可扩展性。

面向未来，京东云云海将继续深耕产业，针对政府、医疗、金融、汽车等多个行业的特定场景，持续打磨技术产品能力，提供更高性能和更优性价比的存储服务，为产业深度数字化加速。

声明：免责声明：此文内容为本网站转载企业宣传资讯，仅代表作者个人观点，与本网无关。仅供读者参考，并请自行核实相关内容。

最新文章