企业海量数据存储难题如何解决

发表于 讨论求助 2022-10-30 14:06:36

自动化控制系统

  随着web 2.0、多媒体技术的发展以及更多网络终端的出现,在数据中心发生的超大规模的数据访问、存储已经成为必然趋势。伴随企业对业务的需求越来越高,企业需要打造自动化7×24小时全天候无人值守的数据中心环境,这就要求企业必须构造一个灵活的、有效率的、智能的数据中心。众所周知,数据中心的发展代表了互联网端技术的方向--数据中心集中了的服务器群、存储集群以及的网络带宽需求,而当前信息的急剧膨胀使得数据中心从未像现在这样面临着巨大的压力。

  企业信息架构到底是"合"有利还是"分"更有理?业界仁者见仁,智者见智,说法不一。作为IT经理,在构建可满足未来信息增长需求的信息架构的过程中,不仅要充分考虑企业现有的IT环境,同时亦需兼顾企业存储现状。甚至可以说,存储技术作为企业数据中心重要的基石,它在未来的发展很大程度上直接影响着企业信息架构"分""合"的方向。2007年的诺贝尔物理学奖颁给了对硬盘密度的提高做出巨大贡献的巨磁阻效应的发现者,表明存储已在当今人类社会中具有举足轻重的地位。

  发展难题

  目前企业存储面临几个问题,一是存储数据的成本在不断地增加,如何削减开支节约成本以保证高可用性;二是数据存储容量爆炸性增长且难以预估;三是越来越复杂的环境使得存储的数据无法管理。企业信息架构如何适应现状去提供一个较为理想的解决方案,目前业界有几个发展方向。

  存储虚拟化

  虚拟化技术到底是什么?其实广义上来说,就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面,激活一种资源并使之更易于透明控制。它可以有效简化基础设施的管理,增加IT资源的利用率和能力,比如服务器、网络或存储。

  存储虚拟化(Storage Virtualization)通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个)目标(Target)服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或/及服务的。

  存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说,虚拟化的存储资源就像是一个巨大的"存储池",用户不会看到具体的磁盘、磁带,也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。

  从管理的角度来看,虚拟存储池是采取集中化的管理,并根据具体的需求把存储资源动态地分配给各个应用。值得特别指出的是,利用虚拟化技术,可以用磁盘阵列模拟磁带库,为应用提供速度像磁盘一样快、容量却像磁带库一样大的存储资源,这就是当今应用越来越广泛的虚拟磁带库(VTL, Virtual Tape Library),在当今企业存储系统中扮演着越来越重要的角色。

  容量扩展

  目前而言,在发展趋势上,存储管理的重点已经从对存储资源的管理转变到对数据资源的管理。随着存储系统规模的不断扩大,数据如何在存储系统中进行时空分布成为保证数据的存取性能、安全性和经济性的重要问题。面对信息海量增长对存储扩容的需求,目前主流厂商均提出了各自的解决方案。比如IBM将硬件压缩技术融入虚拟磁带库,比如分层存储技术,将价值的数据保存在等级的存储资源上,以保证的性能、可用性和安全性; 而对不重要的数据,就放在代价的存储资源上; 对毫无价值的数据,就进行删除,以留出更多的存储空间。这样就可减轻主存的容量压力,提高响应速度等。

  再比如基于重复数据删除技术基础的对象存储方式,能够很好地帮助企业进行存储"瘦身".存储对象通过扩展属性的方式对于所保护的数据提供更多的描述,存储系统针对相应属性进行合理的优化和管理,极大地提高了数据的存取性能和管理效率。特别是在大规模存储系统中,更加"智能"的数据结合智能存储设备、对于充分发挥各种部件的效率、提升海量数据管理能力、改进存取过程的性能提供更多的安全性、可用性保障。

  再比如对现存关键数据进行远程备份的IP SAN(以iSCSI技术搭建的),专门解决主机系统对磁盘的块级存储数据调用。IP SAN显着的特点就是价格低廉以及无限长度扩展的先天优势。对于IP SAN的管理也可以随之变得更加灵活,因为使用的是相同的网络连接设备,管理也将变得更加简单。目前越来越多的厂商已经加入到推广IP SAN的队伍中。

  由于存储现状比较复杂,存储技术的发展业界还没有形成统一的认识,因此在应对存储容量增长的问题上,尚存在很大的提升空间。技术是发展的,数据的世界也是在不断变化的过程中走向完美。企业信息架构的"分"与"合"的情况并不。目前、出现了许多的融合技术,如NAS与SAN的融合,统一存储网等等。这些都将对企业信息架构产生不同的影响。至于到底采用哪种技术更合适,取决于企业自身对数据的需求。



  :
发表
26906人 签到看排名