网络存储基础知识

《网络存储基础知识》由会员分享，可在线阅读，更多相关《网络存储基础知识（41页珍藏版）》请在读根文库上搜索。

1、浙江宇视科技有限公司网络存储 日期：2014年2月18日密级：内部公开基础知识 引言 信息系统中的数据是人类“最为重要的财富”“以计算为中心”向“以数据为中心”发生转变 数据存储、管理方式从以服务器为中心向以网络为中心发生转变 积累的数据越来越多，呈现“爆炸性的增长”孤立、分散、难以管理的海量数据是“巨大灾难”关键业务的数据丢失对企业带来“毁灭性打击”业务连续性、数据共享、数据备份恢复、信息生命周期管理等需求推动存储技术巨大发展提纲存储体系架构传输协议RAID技术 传统RAID介绍 我司超级RAID lDAS：Direct Attached Storage，直接连接存储lNAS：Network

2、 Attached Storage，网络附加存储lSAN：Storage Area Network，存储区域网络存储体系架构通过IDE、SCSI以及光纤（FC）接口与服务器直接相连，以服务器为中心每个服务器都需要独立的存储设备（磁盘），且连接距离短，连接数量有限数据分散，共享、管理困难单位成本高存储空间浪费存储体系架构-DASDirect Attached Storage（DAS）存储体系架构-NASNAS（Network Attached Storage网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS、FTP对外提供文件访问服务，实现异构平台对同一资源的共享存储设

3、备功能上独立于网络中的主服务器，不占用服务器资源存储体系架构SANSAN（Storage Aera Network）存储区域网络它是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。提供数据块的数据访问SAN的优点 高带宽适应快速的增长 传输非常大的数据块 在无需对局域网性能造成影响即可提供存储的应用例如备份和远程镜像 非常优秀的性能,可靠性和灵活的连接方式提纲存储体系架构传输协议RAID技术 传统RAID介绍 我司超级RAID SCSI协议lSCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带和其它存储设备的物理接口、

4、传输协议和标准指令集；lSCSI-21994年ANSI标准，SCSI-1的后续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；lSCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI-3 是所有存储协议的基础，其它存储协议都用到SCSI 的指令集SCSI通信模型SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator 设备 Target 设备互连协议应用协议传输协议传输服务接口互连服务接口应用层传输协议层互连层SCSI的缺点 SCSI是点对点

5、的、直接相连的计算机到存储器的设备接口，不适用于主机到存储器的存储网络通讯 SCSI总线的长度被限制在25米以内，对于Ultra SCSI长度限制为12米，不适于构造各种网络拓扑结构 SCSI总线上设备数限制为15，不适用于多服务器对多存储设备的网络结构 FC 光纤通道公共服务传输协议（编/解码）信号协议和连接服务介质和接口FC-1代码层FC-0物理层FC-2协议层FC-3服务层FC-4映射层IPI3 SCSI HIPPI IP SBCCS802.2 ATM通道 网络光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息

6、单元。FC各层功能简述 FC-0（物理接口层）：主要由传输介质、发送端、接收端以及它们之间的接口组成；FC-1（字节编码层）：定义了包括串行解码、编码及差错控制的传输协议；FC-2（数据分发层）：指明了传输规则，并提供了进行端到端数据块传输时所需的传输机制；FC-2的功能包括：几种服务类型、帧格式定义、顺序分解和重组、交换管理、地址分配、别名地址定义、广播管理和堆栈连接请求；FC-3（通用服务层）：提供了一系列通用服务：Link Services、Hunt Groups和Broadcast Multicast等；FC-4（高层协议映射）：FC标准集的最高层，定义了FC底层和高层之间的协议映射关

7、系。FC优劣不足 构建维护成本高，时间长互操作性不强，FC协议具体实现上各个厂商有所不同FC SAN缺少统一管理标准FC理论上最长传输距离10公里左右，在互联网存储应用中会形成信息孤岛优势连接设备比SCSI多高带宽，低时延实现光纤和铜缆的无缝连接连接距离远远超出并行SCSI存储设备iSCSI概述 由IBM，CISIO，HP发起；2000-2为IETF草案，2004-4作为正式的IETF标准 现在的iSCSI协议对应SAM2，而最新的SAM是SAM4，SAM5 主要由RFC3720描述 涉及的RFC还有：3721（iSNS），3722（命令规范），3723（安全），3347（设计），3783（I

8、P上的有序命令传送），3385（错误估计）用TCP/IP作为SAN的基础设施 iSCSI构建在TCP之上，不是IP；是面向连接的，不是无连接的。（一个iSCSI命令可能分在几个IP报文中）iSCSI的主要功能是在TCP/IP上封装，并可靠的传输SCSI命令及数据iSCSI协议概述iSCSI协议栈SCSI应用（文件系统、数据库）SCSI块指令SCSI流指令 其他SCSI指令SCSI指令、数据和状态iSCSITCPIP以太网等iSCSI协议栈liSCSI（Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输liSCSI作为SCSI的传输层协议，基本出发点是利用成熟的I

9、P网络技术来实现和延伸SANiSCSI协议概述iSCSI报文封装iSCSI节点间交互报文均是以iSCSI PDU的形式封装在TCP/IP/Ethernet内以太网帧以太网帧头14BytesIP数据报IP头部20BytesiSCSI头部BHS 48BytesTCP头部20 BytesTCP段以太网尾部4BytesiSCSI地址与命名规范iSCSI的命名有两种方式：iqn（iSCSI Qualified Name）格式和eui（IEEEE EUI-64）格式。iqn格式由类型、日期、组织名、组织内部唯一的标志符组成，如：.uniview:storage eui格式由类型、EUI-64标识符，如：e

10、ui.02004567A425 iSCSI名称特点 唯一性，没有两个iSCSI发起端或目标端具有相同的名称 永久性，iSCSI发起端和目标端在其使用寿命内，iSCSI名称不会改变 名称与位置或地址无关，iSCSI发起端或目标端可以移动，或者具有多个地址，但是都不会改变其名称iSCSI安全性iSCSI协议中指出了两种安全方面的措施：认证和报文保护 认证包括单向认证和双向认证，认证一般在任何的参数协商之前或者登录完成之前进行，主要包括下面的几种方式：KRB5、SPKM1、SPKM2、SRP和CHAP等 iSCSI协议采用IPSec机制来提供iSCSI节点之间基于IP层的报文保护（一致性、认证和安全

11、性）。通过AH（Authentication Header）协议提供无连接的完整性、数据发起验证和重方保护；采用ESP（Encapsulating Security Protocol）协议实现IPSec隧道模式。同时使用IKE（Internet Key Exchange）协议机制，提供安全可靠的算法和密钥协商。iSCSI的优势广泛分布的以太网为iSCSI的部署提供了基础。千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disa

12、ster Recover）等传输距离上的难题。得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。存储未来发展之路代表存储发展的未来。解决兼容性、统一管理的问题。IP存储解决诸多难题远程没有距离的限制，广域存储技术降低了系统的部署成本，管理成本成本管理标准化易于管理提纲存储体系架构传输协议RAID技术 传统RAID介绍 我司超级RAID RAID 条带化是RAID中的一个基本概念 是一种将多个驱动器划归到一个逻辑存储单元的组合方式 多种级别 每种级别都具备不同的成本/性能/容错优势 可以通过硬件或软件进行实施 硬件对于整个系统的性能是最佳的方案R

13、AID Level 0 条带化优点 高数据传输速率 低成本缺点 当磁盘失效时无冗余 数据会丢失RAID Level 1 镜像优点 可靠性 可用性 当出现错误时无需数据重建缺点 额外磁盘所带来的高成本RAID技术XOR校验运算l 特性1：相同为0，相异为1 A(1)B(0)=P(1)A(0)B(0)=P(0)A(1)B(1)=P(0)A(1)P(0)=B(1)，B(1)P(0)=A(1)l 特性2：等效性，下面5个等式是等价的(A B)C=P(A B)C C=P C A B 0=P C A B=P C(A B)P=CRAID Level 3 校验盘优点 高数据传输速率 适用长的顺序数据 可靠性

14、可用性缺点 对短数据不适合 对随机I/O 不适合RAID Level 5 分布校验盘优点 短数据记录或随机I/O 众多并发I/O 可靠性 可用性缺点 不适用于大记录D1 D2D4 D4D2D7 D8 D8D10 D11 D11D1D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0 物理磁盘1物理磁盘2 物理磁盘3s tripe0s tripe1s tripe2s tripe3D13 D14 D13 s tripe4D5D7D10D5D14D3 D3D9 D9D12 D12D15D6 D6D15物理磁盘4 物理磁盘5RAID级别RAID10l 定义：将镜像

15、和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。冗余阵列的运行状态l Normal：正常 冗余阵列中所有磁盘都处于正常运行状态，此时可允许一个或多个磁盘失效。l Degrade：降级 冗余阵列中有一个（比如RAID5阵列）或多个（比如RAID6阵列）磁盘失效后的状态，但仍然可以向外界提供正常的读写服务，此时如果再有一个磁盘失效，则整个阵列处于不可用的状态。l Rebuild：重建 从降级到正常之间的过渡状态，此时有一个正常的磁盘顶替了失效磁盘，冗余数据正在重建。l Failed：失效 此时失效磁盘数量已经超过阵列所允许冗余的数量，整个阵列处于不可用状态。RAI

16、D 总结 RAID 0:性能好，是所有RAID级别中最高的，但是它不提供任何形式的冗余策略，可靠性差 RAID 1:需要2倍存储空间 RAID 3:专用到校验盘会成为性能瓶颈，专有校验盘的频繁使用，容易故障 RAID 5:性能、可靠性、磁盘利用率等综合性较好 RAID 1+0:可靠性高，性能好，但磁盘利用率低我司超级RAID-磁盘预拷贝磁盘预拷 贝硬盘预拷贝技术是通过获取磁盘S.M.A.R.T（Self-Monitoring，Analysis and Reporting Technology）信息经过预拷贝算法对这些运行状态进行判断，以获悉硬盘可能即将失效的概率，提前将风险较大的硬盘数据拷贝到

17、热备盘上。缩短和避免硬盘失效后的漫长重构时间，降低了在重构过程中硬盘再次失效的概率，有效地提高了存储的安全性，保证系统的业务连续P1D5D2数据盘 数据盘 数据盘P2D1D3P3D7D9P6D8P5D11D4D6P4D10D12P1热备盘D4D6P4D10D12copySmart检测磁盘信息不合格我司超级RAID-磁盘故障修复条带1条带2条带3数据盘1 数据盘2数据盘3 数据盘4 XOR读 写 读读读当读RAID中磁盘数据的时候，其中一块磁盘出现读介质错误并且读错误的条带为冗余条带根据RAID的算法特点，可以读出同一条带其他磁盘的数据，进行运算，得到该磁盘正确的数据将运算获得数据重新写到磁盘上

18、，写成功之后，就修复了该磁盘。我司超级RAID-磁盘坏块重映射硬盘自身坏道替换 独有的坏道替换管理 独有的坏道替换管理，是将磁盘的写IO，根据重映射算法，重新映射到自保留区域，减少了磁盘的失效率一块磁盘最多可进行8190个坏块替换P1D5D2磁盘 磁盘 磁盘P2D1D3P3D7D9P6D8P5D11D4D6P4D10D12磁盘保留区磁盘数据区写数据块映射D1D1我司超级RAID-多磁盘错误容忍超级RAID5中的多块磁盘遇写错误，RAID仍为有效阵列，此时RAID按发生写错误的先后对磁盘进行拷贝重建。D5D2 P1P2D1D3P3D7D9P6D8P5D11D4D6P4D10D12数据盘 数据盘

19、数据盘传统RAID5D5D2 P1数据盘 数据盘 数据盘P2D1D3P3D7D9P6D8P5D11D4D6P4D10D12RAID Failed我司超级RAID-局部重建阵列某块数据盘暂时性下电（被拔出后快速插回或磁盘闪断），在软件中记录下电的磁盘和需要重建的条带号，当磁盘插回或上电之后，重构重建这些条带传统阵列，遇到这种情况，需要把数据盘踢掉，要重建的是整个磁盘，现在使用局部重建技术，只需要重建部分条带，重建时间从几十个小时缩短到十几秒，提高了磁盘的使用效率我司超级RAID-拷贝重建传统RAID5 重构重建D4xorP1D5D2数据盘 数据盘 数据盘P2D1D3P3D7D9P6D8P5D11D6P4D10D12P1重建盘D4D6P4D10D12copycopyP1 D1D3P3D7D9P6D4D6P4D10D12数据盘 数据盘重建盘XORD5D2P2D8P5D11我司拷贝重建拷贝重建与传统重建方式比，大大减少了硬盘读IO，在短时间内将数据迁移至热备盘，提高了重建速度，降低了用户数据丢失的风险。我司超级RAID-动态调整重建速度系统会根据当前业务繁忙情况自动调整重建的速度当系统业务非常繁忙的时候，主动降低RAID重建速度，减少重建对于业务性能的影响，保证业务运行；当系统比较空闲的时候，主动提高RAID重建速度，有效提高系统资源利用率