客服热线:400-820-2885 800-820-2885

NEWS INFORMATION新闻动态

重大科研助力:国产自主产品入驻世界五百强
作者: 来源: 2017-04-20

2014年6月,上海天玑科技股份有限公司联合复旦大学展开紧密的产学研合作。在上海市科委的支持下,天玑科技旗下的PhegData超大规模分布式存储系统成功申报上海市科委2014年度“创新行动计划”信息技术领域重大科技项目。
随着海量数据的加速度增长,数据中心对可扩展的超大规模分布式存储的需求越来越迫切。传统SAN和NAS由于可扩展性的限制,无法达到如此大规模的存储能力。“超大规模分布式存储系统关键技术研制与示范应用”应运而生,天玑科技与复旦大学对并行超大规模分布式存储的相关理论和关键技术展开了深入研究,设计、实现了超大规模分布式存储,并在金融、交通两大行业落地了示范应用项目。

微信图片_20170412102750.png

PhegData X架构图


PhegData超大规模分布式存储系统由管理节点、数据节点、高性能以太网交换机等互联形成,其中管理节点是超大规模分布式存储的中枢,负责管理文件系统的元数据,实现文件系统语义,向应用服务器提供文件系统服务,同时,还负责通过管理整个系统的配置信息,管理所有的节点、私有网络,实现高可用的集群系统;数据节点负责存储文件数据,向应用服务器提供文件IO服务。存储系统使用交换式以太网连接管理节点和数据节点。管理节点、数据节点使用TCP/IP协议实现相互间的通信。系统通过以太网交换机和计算节点连接,为计算节点提供存储服务(计算节点可以是Linux/Unix系统)。

落地案例  某世界500强保险公司

保险2.jpg


客户背景:
某大型知名保险公司浙江分公司,世界500强企业,总部设立在上海。

客户需求:
该企业对存储需求主要为:
(1)突破传统存储基础架构的性能瓶颈;
(2)解决极速增长的数据量带来的扩容难题;
(3)降低存储性能高性能带来的高成本;
(4)减小存储设备故障导致的业务中断风险;
(5)降低缺乏高效的数据保护存在的数据丢失风险。

天玑方案&客户价值:
(1)Scale at will: 大规模弹性扩展

采用元数据集群,消除哈希算法的规模限制,性能随节点数量线性增长。性能仅与硬件相关,消除传统NAS单网关瓶颈,消除哈希算法在一定规模后的性能限制。


(2)海量文件存储与高速检索

单站点最大支持300PB的单一文件系统。支持1000亿海量文件。百亿文件秒级检索。文件优化机制(SmartMerge)消除目录和文件数量限制,减轻文件存储负载,减轻元数据访问负载。


(3)突破瓶颈的强劲性能表现

支持1024应用节点高并发,百节点性能可达800万OPS,超越业界最高水平60%。客户端全局负载均衡,GE Ethernet、10GE Ethernet 或 40GE InfiniBand 高速互联,基于SSD的元数据,最大化访问效率;全局分布式并行读写,负载均衡。


(4)持续高效的数据保护

基于分片数据的多副本、N+1容错机制,保证业务无中断,数据不丢失的同时,存储利用率可达80%。无需热备的自动恢复与重建,速度可达2TB/小时。


(5)细粒度存储管理与在线扩容

非共享架构,数据均匀分布。提供策略化的数据自动均衡,实现在线扩容。资源池可在非均等资源间平衡空间利用率。设备加入资源池后,系统自动重新平衡。迁移过程无额外计算资源开销。可限后台迁移的带宽占用,保障前端性能。


(6)多样化的存储服务

支持NFS、CIFS、SmartScaleFS等协议,客户端支持Windows、Linux、Mac OS等主流操作系统,提供SmartShare云盘方式访问,用户体验简单高效,POSIX完整兼容。


(7)强大的权限管理与法规遵从选项

内置ACL、只读、WORM等权限方法,避免关键数据遭遇破坏,满足严格的法规遵从性需求。不同应用逻辑隔离,数据相互独立,有效降低人为数据破坏几率。
云存储架构示意图: 


image004.png


落地案例 上海某大型港口
 码头2.jpg


客户背景:
中国大型中外合资企业,被中国港口协会评为全国“中国前十强集装箱码头”、“中国港口杰出集装箱桥吊作业效率码头”和“综合指标最佳集装箱码头”,被“亚洲货运与供应链奖(AFSCA)”提名为“亚洲最佳集装箱码头(400万标准箱以下)”。
客户需求:
该企业数字监控存储系统是整个视频监控系统的后端数据存储和管理子系统,该系统对存储需求如下:
(1)大存储容量:超过PB级别海量存储。
(2)高性能要求:并发最高500路摄像头同时读写,高达20Gb以上数据传输。
(3)系统高可靠性:局部部件甚至单台存储节点失效不影响数据的完整可用;故障恢复不影响业务运行。
(4)高共享性能:一级管理中心多台服务器共享同一存储设备监控文件的读写,系统设计应该从实际应用出发,提供共享环境下的高性能。
(5)简单:不需要专人学习私有协议,一般网管人员兼职即可轻松维护。
(6)灵活性及可扩展性:根据未来业务的增长和变化,系统可以平滑地扩充和升级。
天玑方案&客户价值:
(1)天玑科技PhegData解决方案采用了多台存储节点通过万兆以太网络构建集群的方式构建,具备极高的扩展性和可靠性。利用PhegData的相关软件功能消除集群内的单点故障,避免因为故障而导致服务中断或者数据丢失等影响。
(2)针对传输带宽及海量存储需求,本方案中我们配置4台存储节点通过万兆以太网络构建集群的方式构建,每个存储节点提供800MB传输速率,最大支持3.2GB/s持续数据传输,满足带宽要求。同时,每个节点配置108TB存储容量,提供432TB海量存储空间。
(3)PhegData云存储系统主要由大量具有智慧处理能力的存储节点组成,每个存储节点具有高效IO处理能力;通过千兆交换机连接,云存储系统可实现IO负载功能,后期根据客户的实际需求增加IO节点来扩展存储容量或聚合带宽。
(4)天玑科技云存储系统可以为业务提供一个统一的名字空间,通过NFS、CIFS、HTTP、WebDAV和FTP等网络协议,业务端可以方便有效的访问PhegData。
 
超大规模分布式存储系统产品化过程中重点解决了以下关键技术问题:
(1)系统的高可扩展能力:研究基于对象模型的存储理论与关键技术,探索系统元数据高可扩展的管理方法,实现超大规模分布式存储的高扩展能力。
(2)冗余编码与高效恢复技术:冗余修复的性能指标,主要包括修复时间、网络带宽和磁盘 I/O 开销,而磁盘 I/O 开销不仅影响着存储修复速度,且对于存储节点的使用寿命至关重要。本项目通过对数据修复过程中的带宽开销和 I/O 访问 进行优化,显著提高了存储服务的可靠性和有效性。
(3)多层次混合介质存储节点设计与实现:根据业务的存储特性划分其优先级,设计算法在资源虚拟化整合情况下保证业务的存储服务质量,以及设计灵活的I/O调度算法来动态调节业务的优先级,从而达到显著提升存储系统整体性能的目的。
(4)系统的高效低耗:通过在各个层面采用低能耗技术,更好地平衡存储系统的性能和能耗;
(5)系统的安全可靠:通过建立高可扩展存储的数据容错机制、高可靠的数据副本分布策略,实现存储体系安全可靠的目标。

本项目技术指标的完成情况:
 

上海计算机软件技术开发中心计算机软件评测重点实验室组织人员对天玑科技超大规模分布式存储的功能、性能等进行了全面的测试,测试结果为全部超标完成,详细报告:《超大规模分布式存储性能测试报告》。

除技术指标全部完成之外,本项目在关键技术领域完成了8项发明专利(原指标3项), 13项软件著作权(原指标5项)和6项软件产品认证(原指标3项),发表了8篇论文。

在两年多的研制过程中,天玑科技在提高产品研发技术、完善产品开发规范、知识产权和人才培养各方面都取得了丰硕的成果。超大规模分布式存储通过上海计算机软件开发中心计算机软件评测重点实验室的各项测试,技术指标达到或超过了项目规定的考核要求,为天玑科技Phegdata分布式存储产品奠定了良好的基础!