您现在的位置是:首页 > IT基础架构 > 计算存储 >
IP集群存储技术特点
2012-08-21 13:59:52作者:郑毅 刘思勇来源:
摘要近年来,一些基于纯以太网的大型视频编辑网络陆续上马,在这些网络中,一般都选择了基于分布的IP存储设备作为系统的主存储。...
近年来,一些基于纯以太网的大型视频编辑网络陆续上马,在这些网络中,一般都选择了基于分布的IP存储设备作为系统的主存储。其代表产品有:AVID公司的ISIS:OMNEON公司的IQ6000等。那么,什么是分布是IP存储产品?它与我们通常使用的NAS有什么不同?其大致的优缺点与技术背景的什么?我们陆续为大家傲一个简略的介绍。
1、技术概述
以太网络具有结构简单,建设、维护成本低等优点,是目前应用最为广泛的网络结构,它的缺点在于传输时延与波动较大。而通常的视频编辑类应用中.非编主机一般采用的都是基于硬件的编解码器(如MATROX的LE、LX卡)。硬件编解码受限于结构与造价,板载缓冲都很小。如数据传输不及时,就会出现丢帧,黑场等情况。所以,以往的视频编辑网络,一般都采取传输时延与波动都很小的“FC+太网”的双网结构,并以FC存储设备作为主存储,很少将IP的存储作为主存储使用。
近年来,随着CPU,GPU性能的不断增强,大部分的非编软件已不在依赖于硬件的编解码,而是通过CPU+OPU来完成相应的工作。(硬件板卡仅用于实现与视、音频设备的I/O接口)把编解码放在软件层面完成,除了能降低成本,能灵活应对格式变化外,还有个很大的好处就是可以利用系统的内存来创建一个大缓冲,覆盖掉因传输速率波动而对应用造成的影响,从而将使用纯以太网作为视频编辑的网络结构成为了可能。
网络结构可行后,第一个要解决的问题就是要选择什么样的IP存储设备作为系统的主存储。视音频应用对系统的性能,容量都有很大的要求?而传统的NAS存储产品。将数据存放在一个单体设备上,在容量、性能、扩展性上都无法满足视音频的苛刻要求,在这样的背景下各厂商推出了分布式的IP存储产品(集群NAS)。如AVID公司的ISIS;伽NEON公司的WEDIAGRID;ISILON公司的IQB000等。
2、工作原理
顾名思义,分布式的IP集群存储是由多个受命名空间管理的存储节点所构成的。写入时,数据被拆分为多个片段,存储在所有的存储节点上,每个存储节点连接到以太网交换机,提供基于IP的访问服务。

图1 以太网集群示意图
如图所示,以3个节点为例,当数据写入时,被分为3个数据块,其数据的写入由3个存储节点共同执行;读出也同理。由于文件不是孤立的存在于一个存储节点上,读出、写入操作都是由所有的存储体共同完成,因此,随着数据文件在各存储节点上的分散,系统的总体性能接近各存储节点的性能之和。
2.1 IsILON介绍
每个Isilon IQ集群包括3到家96个IsilonIQ节点。每个节点2u高,包括12个磁盘,CPU,内存和2KM网络接口,节点自动配合工作,利用它们的合力形成一个统一的存储系统.该系统可以承受任何组件故障,包括磁盘,交换机以及整个节点.

图2 IsilonIQ集群
Isilon采取标准的网络文件系统,客户端无需安装驱动程序,集群内的所有内容创建了一个共享池,一个访问点,文件系统可以支持高达1000TB的单个网络驱动器,集群一旦建立,用户便能够连接任何存储节点,并访问整个文件系统中的每个文件。
(本文不涉密)
责任编辑:
上一篇:浅析大数据理解的五个误区
下一篇:归档延迟 分层存储对性能影响几何