互联网大数据时代,视频、音频、图片等非结构化数据呈爆炸式增长,传统的SAN和NAS存储架构已经无法满足巨大IO带宽和海量的并发访问需求。MatrixStore分布式存储系统汇集了海量数据存储管理和并行高性能读写的优势,从架构上彻底消除了传统存储的瓶颈,能够满足高带宽、高并发的海量数据存储需求。
MatrixStore分布式存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统,采用通用硬件设备作为基本的构建单元,为应用提供全局统一的存储系统映像和按需调配的存储资源池,支持以共享文件系统、块、对象等多种接口类型存储海量数据。
当前大多数人工智能场景对于存储系统的要求是大文件/小文件混合读写,高带宽,高IOPS,低延时等业务需求,MatrixStore分布式存储系统通过将文件切片,均匀落到每块硬盘上,充分发挥存储集群内所有硬盘性能。
高性能计算平台对于存储系统的要求容错性及复杂度非常高,可同时支持海量业务系统并行计算,MatrixStore分布式存储系统支持节点横向扩展,容量可达EB级,存储千亿文件,及N+M的纠删码机制。
存储、管理海量文件,需要提供POSIX文件访问接口,S3接口等,应对海量小文件场景,MatrixStore分布式存储系统支持在线横向扩展,数据存储节点可扩展至10000台,容量可达EB级,存储千亿文件。
|