准备更新NAS,顺便总结下目前大多数所有主流磁盘阵列的特点及性能功能。
包括:主板芯片组与软RAID卡、LVM、群晖、硬RAID卡、ZFS存储池、Windows存储空间(池)、unRAID
第一大类为主板芯片组与软RAID卡、Linux下的madam、群晖、硬RAID卡,为传统RAID阵列模式。
RAID0:n盘组成,容量为最小盘的n倍 ,顺序读写速度为最慢盘的n倍 ,任意硬盘故障则数据全部丢失。
RAID1:n盘组成,容量为最小盘的容量 ,顺序读写速度为最慢盘的速度,只要有一块硬盘正常工作,数据就不丢失。
RAID5:n盘组成,容量为最小盘的n-1倍,顺序读速度为最慢盘的n-1倍 ,写速度取决于方式,故障任意一块硬盘数据不丢失,故障两块硬盘数据丢失。
RAID6:n盘组成,容量为最小盘的n-2倍,顺序读速度为最慢盘的n-2倍 ,写速度取决于方式,故障任意一或两块硬盘数据不丢失,故障三块硬盘数据丢失。
RAID10:几对硬盘先做RAID1,几个RAID1再做RAID0
RAID50:几块硬盘先做RAID5,几个RAID5再做RAID0
RAID60:几块硬盘先做RAID6,几个RAID6再做RAID0
JBOD:多块硬盘首尾相连,故障某块硬盘则该硬盘数据丢失,其余硬盘数据不变。
一、主板芯片组与软RAID卡——Intel主板芯片组、LSI 9240-8i无缓存阵列卡等
支持:RAID 0、1、5、10
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5
缓存:无
优点:便宜
缺点:RAID5无缓存,写入速度慢,如H170芯片组四盘RAID5写入只有25MB/s
RAID5时消耗CPU资源
RAID5无BBU(电池)保护,断电时可能故障
二:madam——Linux下的软件阵列,例如Openmediavault系统自带
支持:RAID0、1、5、6、10
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:无
优点:便宜
RAID5环境下写入速度也可超过100MB/s,例如3x1.5T绿盘写超100MB/s
缺点:RAID5时消耗CPU资源
RAID5无BBU(电池)保护,断电时可能故障
三:群晖——实质上使用了Linux下的madam和LVM(逻辑卷管理)
支持:RAID0、1、5、6、10、JBOD、SHR
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:高端型号可选SATA SSD缓存
SHR利用了LVM,可以更大化利用磁盘空间,如3TB+4TB+4TB的情况
普通RAID5,可用空间为n-1倍最小盘容量,(3-1)x2=6TB
捕获.PNG (5.61 KB, 下载次数: 0)
SHR,可用空间为6TB + 1TB,仍然保持了故障一盘数据不损失的特性,也利用了传统RAID不能利用的空间。
捕获.PNG (18.21 KB, 下载次数: 0)
优点: 易于使用,开箱设置即可
RAID5环境下低端产品写入速度也可超过100MB/s,例如DS416
高端产品可使用SATA SSD缓存提升阵列的随机读写(例如DS1517+/1817+)
缺点: RAID5、6无BBU(电池)保护,断电时可能故障(虽然我的RAID5没问题,但也有悲剧的,例如这个)
四:硬RAID卡——LSI 926x/927x/936x、Dell H710/H730等自带缓存的阵列卡
支持:RAID0、1、5、6、10、50、60
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:板载DDR3内存颗粒(设置为Write Back时显著提高RAID5写入性能)
LSI卡可选Cachecade功能,使用SATA/SAS SSD缓存
优点:方案较为成熟。
RAID5写入速度接近n-1倍单盘速度。
可使用SATA/SAS SSD缓存提升阵列的随机读写(Cachecade),土豪可花1万购买LSI 9460-16i使用NVME SSD作为阵列缓存
可购买BBU(电池)模块在断电时保护缓存内数据。
缺点:相对较贵(千元以上)
第二大类为ZFS存储池、Windows存储空间(池)、unRAID,为池存储形式。
可将单块硬盘或磁盘阵列加入存储池,存储池容量等于各成员容量相加,成员损坏则存储池文件损坏
四、ZFS存储池
支持:条带(RAID0),镜像(RAID1),RAID-z(类似RAID5),RAID -z2(类似RAID6),RAID-z3(允许3盘故障数据不损坏)
扩容方式:以大盘换小盘(如2x1TB→2x2TB),添加设备进入存储池,不能向阵列里添加新硬盘(如3x1TB RAID-z→4 x1TB RAID-z)
升级方式:无
缓存:使用系统内存作为读写缓存(ARC)
使用SATA/SAS/NVME SSD作为读缓存(L2ARC)和写缓存(ZIL)
优点:免费(Freenas&Nas4free)
RAID-z/z2/z3读写速度很快(400MB/s+,例如这个)
免费支持高性能,支持使用SATA/SAS/NVME SSD缓存加速,支持使用系统内存缓存加速(几十GB/s读写)
RAID-z/z2/z3没有传统RAID5/6的Write Hole,不会因为断电导致阵列崩溃,不必配备BBU(电池)
缺点:文件系统碎片化,长时间后读写性能严重下降(例如这个“massive drop in performance”),且无法进行碎片整理,Oracle建议在池里来回复制文件以减少碎片
不能向已有阵列里添加新硬盘,也不能进行RAID模式升级迁移(不能RAID-z→RAID-z2),只能向存储池添加设备
存储池内的设备默认被均衡读写,类似RAID0,一旦一个设备故障,有可能丢失全部文件(存储池里添加单个硬盘风险很大,添加镜像或者RAID-z等相对安全)
对于一个启用了数据去重的数据集,如果直接删除,会产生bug,最终导致整个池崩溃
五、Windows存储空间
支持:
简单——所有硬盘容量简单相加
双向镜像——每个文件复制为两份存放在两个不同的硬盘上,可用空间为所有硬盘容量相加的一半,允许一块硬盘故障
三向镜像——每个文件复制为三份存放在三个不同的硬盘上,可用空间为所有硬盘容量相加的三分之一,允许两块硬盘故障
奇偶校验——类似RAID5,但须使用powershell命令手动指定“列数”,否则可能导致空间浪费
扩容方式:以大盘换小盘(如2x1TB→2x2TB),添加设备进入存储池,向阵列里添加新硬盘(如3x1TB 奇偶→4 x1TB 奇偶)
升级方式:无
双向镜像和三向镜像没有涉及RAID5一样的奇偶校验,读写性能接近单盘性能,基本不占用CPU资源,但空间浪费大。
简单模式下,当剩余空间足够时,支持从存储池删除硬盘,被删除硬盘上的文件会被系统自动转移到其他硬盘上。
对于S.M.A.R.T健康状况不佳的硬盘,将其从存储池删除,可以防止硬盘后续故障时导致的数据丢失。
但此法只适用于有征兆的硬盘故障,硬盘突然故障时仍然会丢失数据。
奇偶校验的写入速度慢(例如30MB/s),但可通过使用SSD缓存补偿。(一次性写入大量数据,缓存满了以后还是会掉到原来的速度)
六、unRAID/FlexRAID/SnapRAID
使用类似RAID-4技术,由一或两块校验盘(黑)+n块数据盘组成(绿)
校验盘的容量要大于每块数据盘容量,阵列总容量为数据盘容量之和(4+4+4+3+3+3+2)
一或两块校验盘分别可以承受一或两块硬盘故障
扩容方式:以大盘换小盘(如1TB→2TB),向池里添加新硬盘(添加比校验盘更大的盘时,该盘自动成为校验盘)
优点:对数据盘容量没有规定,可方便添加不同容量的硬盘进入阵列,总容量直接相加
支持SSD做写缓存以提高写入性能
每颗数据盘分别独立,使用XFS文件系统,可独立在其他Linux电脑上读写
即使故障盘数超过可承受数量,也仅丢失故障盘上的文件,正常盘上文件不受影响(RAID-5/6一旦阵列崩溃,所有文件丢失)
文件共享时,自动整合所有硬盘内数据(例如访问“电影”文件夹时,该文件夹的内容为每块硬盘上的“电影”文件夹相加)
缺点:依据盘数,需购买不同价格的软件许可,系统必须保持在线以验证许可的有效性
写入数据时,目标盘和校验盘写,其他盘读,(RAID5为所有盘同时读写),无缓存时写入速度受限
无读缓存,读文件时性能为单盘读性能(RAID5为n-1倍单盘读性能)
添加、替换硬盘时必须停止阵列运行(普通RAID支持在阵列运行时后台操作)
评论
技术贴,先顶再看。
评论
总结的不错啊!学习了,多谢楼主分享
评论
server存储空间,用着还行,休眠电源管理没问题
某些raid无法休眠,硬盘24小时不停转
家用,只选能支持电源管理,性能其次
评论
把zfs的风险说的厉害了,感觉不堪一用啊。一直简单用zfs飘过
评论
技术贴,简洁明了,赞
评论
看完了,后面介绍unRAID和存储池的部分学习了。谢谢分享!
自己感觉群晖的SHR简单好上手。
关键数据拿一块移动硬盘冷备份,普通电影美剧的丢了无所谓,留一份目录结构就行
数据量不大的话其实选择RAID 6或者RAID-z2,感觉适合大多数人。
评论
关于freeNAS补充2点:
1.zfs必须用ecc内存
2.freeNAS扩容还算方便,新建一组阵列,加到同一个volume(卷?)下即可,对volume上的dataset是透明的。
评论
ECC内存不是zfs特定需要的,zfs开发者称,对于任何环境,为了保障数据可靠,ECC内存都是有好处的。
你加的不是Volume,而是Pool,Pool里的成员彼此类似于RAID0的关系,文件会被平衡写入各成员,设任何一个成员故障,都会导致部分数据丢失,把单个硬盘加到池里有风险,加mirror或者raid-z就好的多。
评论
1.zfs是必须ECC内存的,我前一阵子组FreeNAS,用普通内存,文件总是出错,系统基本不可用了,搞到我怀疑人生了,后来换成ECC内存正常了,至今存了15T左右的蓝光了也没出过错,记得那时候搜到过一些文章,讲了讲为什么zfs这种软raid必须ecc内存。
2.学名上应该是叫zpool,但是到操作页面里,就显示为volume了....我也懒得区分了。但是看你说的我好忐忑啊,比如我目前zpool里是一组4T*6的raidz1阵列(暂且叫A阵列吧),以后快要满了我扩容的时候,再向zpool里加一组raidz1(暂且叫B阵列吧),难道A或者B中,某一块儿硬盘故障了,我整个zpool都完蛋了?raidz1不是可以允许1块硬盘故障,进行替换修复的吗?
评论
Raid-z整个完蛋以后,池才会出事。不过这样利用率不高啊,两个RAID-z1还是不如所有盘一起作RAID-z2更好(最多坏两块盘和随便坏两块盘的区别)
我指的是那些直接把单块硬盘往池里塞的那些,还是很有风险的。
评论
还差个分布式存储←_←
评论
只能说,每个人需求都不同吧。我前一阵子选freeNAS,没用硬raid的方式,主要就是考虑freeNAS扩容对于我这种个人用户来说,还是挺方便的。我预算不够一次性挂满20几块硬盘,只能一批一批的慢慢扩展。比如今年我用4T,等6T或者8T价格降下来了,就用大容量的盘组阵列加到Pool里就可以了。硬raid那种在线扩容、升级啥的,对于我这种普通用户来说,麻烦又耗时.....
评论
到底哪种比较好呢。。。虽然写了优缺点,感觉用群晖用SHR比较好,要是用gen8做虚拟和黑裙的话,是不是还是raid5好点?
评论
谢谢楼主的总结。
对于群晖,经过各种爬文学习,结论是家用的话basic方式最合理,注意多备份即可
评论
分布式存储那么多……
评论
basic,重要的文件每个盘都存一份,我目前是这么办的
评论
补充一点,所有阵列方式都只提供冗余而不提供备份。不管哪种阵列方式,本质上都是把单盘失效风险扩散至整个阵列,而阵列安全等级是在降低风险扩散的后果,尽可能降低因阵列的引入而带来的额外风险。阵列就是扩容的权衡
评论
zfs优缺点都有
最理想的情况是全SSD一次插满,iXsystem就是这么干的
评论
知识贴mark,感谢分享。看起来还是硬raid卡省心省事,就是花点钱
评论
好帖子!收藏学习,之前一直不是太明白的。
评论
非常有用~ 感谢~
评论
技术贴,简洁明了,赞
评论
unraid不错啊,有免费版就基本上普及了
评论
相比ZFS传统硬RAID还有个缺点,掉盘后重建阵列需要重写约整个盘容量大小的数据以重建阵列,而ZFS只需要重写已写入的数据以恢复阵列(描述不严谨),所以ZFS重建要比硬RAID快,程度视已写入数据量而定。并且ZFS的盘拔出来再插回去后,可以增量重建,而硬RAID只能整体重建(应该是,没试过)。
我把我ZFS mirror改成ZFS raidz(不是转换),2x2T+2x3T,约2T的数据,大概3个小时就完成了resilvering重建
评论
这种与文件系统相结合的软RAID都可以只重建有数据的部分
微软的存储空间也是这样
硬件阵列,Linux下的madam都不行,只能重建全盘
ZFS如果能支持阵列转换和碎片整理就完美了……
然而微软的存储空间也不支持阵列转换
评论
学习了,没那么多硬盘阵列接触的少
评论
用的gentoo linux + ZFS,跑plex+flexget+transmission 。三组zfs,总共24T。
1、flexget脚本自动追踪PT RSS下载,可以自动追电视剧,也可以自动追你的收藏
2、transmission性能超强悍,没有之一
3、plex可以很好地支持streaming,不管去哪里,我去南半球都能继续看我的电视剧。自制字幕抓取agent,搭配cgi处理rar,外加大淘宝的1元proxy支持,已经完美。
4、zfs挂过一块老硬盘了,监控脚本及时短信报警了。替换毫无压力。
评论
ZFS 的杀手特性是快照啊
评论
一看就是国内用户,国内用plex很少
一般用哪里的字幕比较好?
第一句话好像有语病,没看懂
subhd,163sub
评论
对,国外
谢谢
评论
高手,学习了,硬盘能休眠吗?
评论
如果你是指spin down,配置对了就可以。
评论
btrfs也可以……lvm也可以……
COW的文件系统实现快照很容易,但会造成碎片化
评论
分析得不错
办公室有两个存储,一个是硬阵列卡,一个是FreeNAS
FreeNAS易用,但是数据安全方面我还没弄懂,只是简单做了一个阵列。
家里有很多个存储,大部分是硬阵列卡,还有几个老机器是单盘,已经计划淘汰。
在线扩容这种需求,对于存储设备较少的用户,非常重要。
对于我这种存储已经构建成体系的用户,基本没有需求。。。。
升级阵列之前,先检查一遍本地备份是否正常,再更新一下异地存储备份,确保同步。
然后就是。。。。直接删了阵列,换新盘,重新建阵列。。。。
全部弄好以后把数据拷回去,容量大了确实有点费时间,这是缺点。
顺便吐槽一下,今年SSD涨价,打乱了我原先的计划:前台主机纯SSD,后台大容量磁盘阵列。
现在前台的机器上也有大容量机械盘,存储层次模糊不清。
评论
请问LZ,使用LSI 9460-16i,有12块三星850 PRO(SATA SSD),使用什么方案最好呢?
评论
我觉得肯定是zfs, raidz2
评论
这个文章总结的相当到位,感谢分享
评论
技术贴,收藏~~
评论
ZFS的文件格式在windows下支持不好呀,我主要考虑速度,当然在能保证数据安全的前提下。
评论
你是想win下用zfs服务器下的文件夹? 没问题。
评论
不是,我打算系统装到主板上的M2接口的SSD上,阵列卡挂12块SSD,做数据盘。
评论
如果你的系统是指vmware,然后虚拟机安装win操作系统和一个虚拟化的zfs系统(omnios),那是没有问题的。 比如我,就是这样处理的
评论
额...不是,系统是win10,我打算把原来NAS上的SSD(https://www.chiphell.com/thread-1684953-1-1.html)拆下来放到台式机上用,NAS上用SSD发现无法发挥SSD的性能...
评论
目前是 芯片组raid5 加server 2016的分层储存池 512g的ssd层外加100g回写缓存,非常舒服
评论
我是直接windows镜像卷或者带区卷,配合PrimoCache
之前我用的是NMR8110i,效果是可以,但是发热实在是不省心
评论
好东东,收藏了,谢谢楼主分享
评论
PrimoCache遗憾的是SSD只能做读缓存不能做写缓存,内存倒是可以做读写缓存
评论
win系统都行。 另外ssd可以给nas做读写缓存,你最好有万兆网络,因为zfs性能爆表。
评论
学习了 目前是9460 16i
加8个HE8 8T HDD 加3个P3600 1.2T
9460 16i 应该默认就开启了cachecode ,
但是目前又买不到94XX专用的nvme盘连接线 现有U2线材插上无法识别,
试过了9400 16i升级固件后也一样无法识别
所以我组阵列想配置SSD CACHE
只能选择添加SAS SSD 手边又刚好没有这玩意。
哎,只好暂时搁置了
评论
这卡牛啊,不过不知道这卡是可以拿NVME做cache或者RAID还是只能当个PCIE交换机用?
评论
赞美楼主,学习一下。
评论
我一直用的win自带的储存池 感觉家用完全足够了
评论
Windows那个应该叫分布式存储,目前企业级都向这个方向发展
评论
LSI的这一代卡对nvme感觉支持并不是很全面,
9400 16i是相当于一个4口PLX交换机
可以连接4个全速或者8个半速NVME 盘直通
但是官方固件提供了两个版本 一个是支持nvme的三模式混合,一个是SATA+SAS双模式
9460 16i的nvme支持就更简陋,
新版的LSI SA软件和EFI BIOS里对于nvme的选项几乎一个都没见到,
速率切换都没有,
估测还在完善当中把。反正现在也不能用U2线材,等俩月看看再说
评论
感觉这些卡要么是HBA,要么是连接Dell或者supermicro的专用机箱的(带SAS/NVME混合背板)
评论
技术贴收藏!白群晖我用BASIC模式,黑群晖我用NT格式管理。备份我用仓库盘定期备份,挂PT不做备份。
评论
现在遇到了奇偶校验性能低下的问题,现在是3块4t机械和一块500g ssd,这样可以用ssd加速性能吗?提前谢谢楼主! 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?