日本电子维修技术 NASZFS做家用NAS文件系统的致命问题-兼讨论硬RAI



最近多了几块闲置的硬盘,所以就做了点功课,关于类阵列存储。感觉都不适合家用。

硬RAID:基于PCIe硬件阵列卡的RAID。这玩意儿讨论的很多了,不适合一般人家用。

Windows存储池:以Windows Server 2016版的存储池,奇偶校验存储池的写入性能依然感人,Google搜索“site:chiphell.com 存储池”可以看到很多帖子,不多说了。

ZFS:FreeNAS或Ubuntu的ZFS,原本对这个是寄予厚望的,结果用VMware Workstation试了一下,发现这东西也不适合一般人家用。具体这个帖子说的很到位,http://www.ji-zhi.net/archives/297

还是老老实实用SATA单盘吧,简单、省心。
反正Kodi可以用一个目录加载多个网络位置并合并成一个文件夹显示,够用了。
反正Windows的mklink /j命令创建的链接也够用了。




评论
存储池非要搞奇偶纯粹是跟自己过不去。

双项镜像最稳妥,省心省事。

2222222222.png (259.83 KB, 下载次数: 0)

2019-6-27 18:03 上传




评论
存储池可以用ssd当cache

评论

没用的,性能依然非常低下。

评论
单纯的奇偶池效率是不太高,不过家用是肯定足够的。开硬盘保护后,速度在350/31左右。关闭后速度在350/41左右。

01.jpg (111.93 KB, 下载次数: 0)

2019-6-27 20:03 上传



WIN奇偶池的好处是扩容方便,数据兼容性高,家用范畴读取够快,写入占比不大,40也差不多够用了。

如果要高写入,可以考虑加2块SSD做缓存,参见这个贴子。https://www.chiphell.com/thread-1755770-1-1.html


评论
我就是用FreeNas,并没觉得扩容麻烦,第一次6个4T做RaidZ,快装满后,加了6个8T扩容。前后两个RaidZ不用你操心,在应用层面上它们还是一个磁盘,也就是逻辑磁盘底层从由一个RaidZ变成由两个RaidZ组成而已。PS:ZFS必须得用ECC内存,刚开始用虚拟机玩时没发现,后来发现不是ECC内存的话,文件会莫名损坏。当然如果你只是抱着空闲硬盘废物利用的角度,那ZFS的确不适合。

评论

纯ECC还是REG ECC,还是两者都行?
都行的话,可靠性有区别吗?

评论
窝以前一直用的存储池,后来被人安利开始用zfs,用了大半年之后发现,其实我已经被存储池给惯坏了,zfs各种用得不方便。

拿窝最近的例子,
窝一开始组阵列没筹划好,一口气把8个6T盘做了Z2。用了一段时候后,空间占了1/3左右,发现和实际需求不符,需要做调整……然后发现,必须挂其他空盘把数据导出去,然后拆阵列重组——这意味着窝需要准备另外足够容量的盘。

而存储池就给了随心所欲调整的机会,剩余容量够的时候可以直接从现有阵列里拆盘减空间,扩容时也不必严格按照原有列。而这些变更过程都只是数据平移,不需要重校验。

对于没有明确组织规划、用途并非坚定清晰的使用场景,特别是看空闲硬盘不爽又卖不出去的时候,存储池的各种小细节简直不要太便民、太省钱!

至于速度……窝在win下通常都加一个120G以上的ssd做缓存,一般热数据读取和小规模数据写入都不会有瓶颈。

评论

都行。


为了zfs的数据安全必须要ECC,这是一个误区...
正确的是,为了任何文件系统的数据安全,都最好ECC,这方面zfs并不特殊..



评论
ZFS刚需8G内存这点太蠢了

评论

所以,OMV在向你招手- -

评论

如果只是一般意义的话,那就无所谓了。
但是看6楼的意思,FreeNAS RAIDZ的话,如果不用ECC,这个出问题的概率已经非常高了,这就不是一般意义了。

玩了二十多年电脑,基本都不是ECC内存的,真的没遇到过因为内存不是ECC而导致的硬盘文件错误。

评论

我也能没有明确的规划,主要是用硬盘来整理文件,都是电影,通常一次性拷贝量在5~8TB左右。就算加了SSD缓存,是不是存储池也要拷贝好几天?

评论
要玩raid可以玩linux的软阵列,再不济还有lvm直接串起来
硬raid这年头hba/raid可以互刷之后确实没必要折腾了

评论
另外zfs的raid没法扩容这问题应该无解了(当然土豪可以无视)

评论

区别上不大清楚,我的FreeNas是E3的低功耗U+华硕的WS主板,用的是纯ECC内存。我这个主板刚开始上的是普通内存,存了几百G电影后,发现文件错误无法读取,后来换成纯ECC内存,再也不犯病了,从16年中旬运行到现在,每个2个月左右ZFS运行一次Scrubs做文件校验,再也没出过错。ZFS这种软RAID,内存中的数据如果出现错误,估计就会导致文件错误。

评论

存储池双奇偶的写入速度很慢,稳定30-35左右,按30M/s估算,8T要77小时来着。

不过窝是镜像为主,速度倒是要好不少。

评论

出于某些考虑,zfs对内存中数据不作复核,这部分是交给ECC去做的。

以上是听其他人说的,我自己是用的大船的ECC,没有深入了解。

评论

感觉不应该啊,就算是普通内存错误率也不应该这么高,连个电影都损坏到无法播放,太离谱了。

评论

听起来有点玄幻啊。就算不复核内存中的数据,非ECC内存的错误率也不应该这么高,否则windows都得蓝屏。
而且UDIMM ECC(非REG ECC)和REG ECC的机理也是不同的吧。

评论

为什么会这么慢呢?就算是用CPU做奇偶校验也不应该这么慢啊。

评论

嗯,肯定能没法向已有的ZFS中添加硬盘。


评论

请问怎么怎么做scrub操作,我看了下手册似乎是设置时间的,有没有办法手动进行scrub操作

评论
所以当初单盘的决定挺省心的,定时拷贝出来备份。好东西双盘备份,一般的东西一个备份就好了。异地灾备,家庭用不到or没钱。

评论
我现在想到的奇偶校验的新思路:win + 虚拟机黑群晖,硬盘直通,第二块网卡直通,组SHR。
目前试了单网卡做虚拟交换机,性能不行,只有30MB左右。。。还不如win存储池
抽空试试双网卡

评论
ZFS相对传统阵列的主要优势在完整性校验和故障恢复上

磁盘阵列是不管文件完整性,只管硬盘坏没坏的,
就算文件的HASH已经变了,也不会有任何警告。

另外一点就是故障恢复,
比如一个硬盘意外掉线了,磁盘阵列如临大敌,先买一堆新硬盘备份再说,重新上线都是九死一生,高强度连续读写四五个小时对什么硬盘都是巨大的考验。
ZFS这样的储存池只恢复损坏部分,如果掉线期间没有大更改的话,5min就重新同步至可以用了。

除了ECC这个要求略反人类以外,ZFS绝对是硬盘低成本解决方案,直接给喂蓝盘、酷鱼、SMR都行。

评论

因为保证写安全就是这么慢,任何一个IO都要等最慢的一块盘完成

评论

FreeNAS的Scrub应该是创建就自动设置的
Linux上的话自己写一个cron

评论
我觉得普通家庭用unraid的那种“raid”就足够了,拥有一定安全性和冗余的情况下 可以随意扩展。安装方便,兼容性也不错。

评论
硬raid和zfs都可以啊,没啥不能用的。硬raid只不过要带电池和ups。zfs内存要大,确实扩容不方便。其他没啥。搞来搞去,单盘多弄几个自己复制最好。。。

评论
unraid的存储池挺给力的,磁盘随便加,就是容错的方式有点傻,SSD做Cache的方式更傻

评论

我的版本比较老是9.10的,在Storage下,选中逻辑卷,下面就会出现Scrub的按钮,可以用来手动执行。


评论
家用要什么RAID, ZFS  
多盘备份才是王道

评论

unraid的大概原理是什么?

评论

没有啊。虚拟机一直分的6G个zfs。napp-it了解一下。

评论

“你原先有个3*2T的RAIDZ,你想新加一块2T盘,对不起,做不到"
有扩展选项“extend pool”,没敢提交是否能行。有大神确认一下么

评论

提交之后会失败。只有新增的硬盘数量和原pool的数量一致才能成功。

具体用VMware Workstation建个虚拟机就可以体验到。

评论

真的不是『必需』

如果必须的原因是上面那些的话,那非zfs也是必需的了
也就是说,zfs+非ecc不会比非zfs+非ecc更差

我手上有3个10T以上的zfs整列,真没毛病

当然预算宽裕那ECC是最好的。

推荐你看个文章:
https://jrs-s.net/2015/02/03/wil ... ram-kill-your-data/

评论
Linux LVM,双份镜像就ok,当然扩容也是+2起

评论
把自己的短视的容量规划问题,怪罪于zfs全面的特性,算不算一种偏见?

正在使用多套zfs系统的路过。。无论家用、一般企业用,zfs都能胜任,亲测

评论
之前我也是用的硬阵列,后来改用zfs。我只组zfs mirror,扩容就直接买两块硬盘。不同mirror的容量可以不一样,只要同一个mirror盘的容量一致就可以了,端口用完了就把老的盘升级到高容量盘,再不够就买扩展卡。

评论

谢谢,这个文章确实写的不错,逻辑也很清楚。
然而依然不能说服足够多的人。

评论

家用而已,不可能像企业那样明确规定三年或五年,从单盘多少升级到单盘多少。

比如,我之前是6TB*4的RAIDZ1,容量是已经使用了85%;
现在想升级成10TB*4的RAIDZ1,就两种办法:一是组建好新的10TB*4,然后全面拷贝,最后废弃6TB*4。二是一块一块的用10TB替换6TB,每替换一块都要拷贝5TB多的数据。
对于家用来说都不是好办法。

评论

回到技术本身,自己明白是怎么回事就好了

每个人都有自己坚信的东西,没必要非要去纠正

评论

家用而已,不可能像企业那样明确规定三年或五年,从单盘多少升级到单盘多少。

比如,我之前是6TB*4的RAIDZ1,容量是已经使用了85%;
现在想升级成10TB*4的RAIDZ1,就两种办法:一是组建好新的10TB*4,然后全面拷贝,最后废弃6TB*4。二是一块一块的用10TB替换6TB,每替换一块都要拷贝5TB多的数据。
对于家用来说都不是好办法。

评论

那就是你服务器热拔插笼子空间太少,不属于存储型的服务器,比如我考虑的都是18个笼子的服务器,先上4个做z1,过两年添加4个做新的存储池子。。。。扩容一点都不麻烦

评论

看了楼里这么多回复,感觉很多人都是要xx一定要符合我的需求,不合就咋的咋的
而不是xx符合我的需求,所以我选择用…

当然zfs扩容不方便这点我也偷偷吐槽了好久…不过考虑到比起其他文件系统的优势,外加免费开源,真不算什么…

和你差不多~我是16盘位,8t*6 raidz2,12t*2 raid1。据说不久的将来zfs会支持在线扩容,真到需要扩容的时候一直不支持大不了r1那两盘撤出来就完了


评论
硬卡raid 6路过

评论
我觉得ZFS挺好,FreeNAS很合我用

评论

以下为个人理解:


zfs对企业应用是“相当好用”,但家用只能说“胜任”,还算不上好用。

比如你的“服务器笼子”,已经超过家用的级别了。你自己都说服务器了,在“家里”使用了“企业方案”,这不能代表家用NAS方案。而且你是事先规划好了长期的升级路径,这是你自己的优势,不代表一般家用环境也具有这样的远见——尤其是,大部分家用环境无法预计未来用量,处于单位面积房价和噪声考虑,少有提前放一大堆空位在那里空着放几年的选择。

我也在自己家里上了机柜放服务器,但我不认为我现在这算家用方案。在长辈家我给的NAS方案就是MS04的4盘位。目前网上在售的NAS也是1-8盘位作为主流和销量重心。

实际上现在常见的家用方案,就是4盘~6盘顶天,8位都算多了,这样空间占用、耗电和噪声在一般家庭接受范围内——实际上2盘位的廉价家用方案现在也有不少,单独处理一个家庭的照片影像也已经堪用。

在这样的硬件制约条件下,zfs对不懂shell的家庭用户的“易用性”是比不上鼠标点点的存储池的,更不用说成品NAS,当然对会shell的高端用户来说可能不会有什么区别。

但“灵活性”上,zfs显然差一些。

我给长辈家的4盘位,目前是只用了3个盘位,3个旧的2T组镜像,现在用了40%多,下次升级,可以简单加一个届时容价比最高的盘,比如4T,就能增加2T的容量用很久。再需升级,会稍微复杂些,但将一个2T换成4T,也能直接给空间加上近1T容量。这种算得上是“鸡零狗碎”的灵活变更,当然是企业环境下不建议的,zfs不支持是理所应当,但家用环境这种灵活性带来的便捷体验和资金节省,是zfs无法提供的。


评论

没错,不能因为一个避免的规划问题影响了zfs的伟大。

评论
我还是raid卡  raid1省事吧

评论

群晖WIN硬盘直通  说是会有很多问题  有些群晖功能就不能用了。。
不过我没试过 想这么搞稍微调研过 然后一直没精力折腾

评论

听起来还是不错的 但是扩容不便就有点难受了

评论

我是从存储池转的zfs,然后发现zfs带来的我能体会到的优势其实存储池也不差,但zfs的劣势不能接受,所以又再逐步转回存储池了。

实际上楼主也只是就自己遇到的问题给个讨论的地方,某些环境下zfs总体上有其他方案很难比拟的优势,这点我感觉是差不多公认的,但也不必强行声明不在针对性环境下xx也优于其他方案,因为在各种限制条件下其他方案真的存在比xx有明显优势的地方。

楼上有些回复听起来是你说的那种,但也有些,xx是最胖的,不符合你的要求那是你的问题,不是xx的问题。两种听起来都不太友好。但总之也是直白表达观点,不是对人不对事,应该也算可以接受。当然,能给出特定限制条件下的有效建议就更好了。

要杠的话可以这么说(下面这段不是我的观点,只是我试着开玩笑杠一下别当真),我穷买不起放得下机柜的房子和成套的盘,我体质差听不得噪音,我脑子蠢没法准确预计需求增长曲线……我就不该出现在这讨论贴,就活该买一个小机箱低噪声NAS装世界上最棒的xx然后被这些不灵活不适应的方面弄得欲仙欲死!

评论

任何事物的评判都是有限制条件的,zfs在企业应用环境下的优秀没人不承认吧。

但在家用NAS环境下,zfs离伟大还很远。他的很多伟大的设计在这种糟糕的限制条件下并没有体现的空间,而为了这些高级设计所做的妥协却被凸显了。

这个帖子一开始就绕开了企业场景,只对家用NAS环境做讨论,而你所说的“规划问题”在大多数家用环境都很难避免。所以在这个帖子里说zfs伟大的时候,建议加上“企业级,服务器”这类清晰的前置比较不容易被曲解。

我就是被各种不分使用环境的zfs最好的言论诱导才用的zfs,但实际使用下来,反而是它为特定场景做的设计(这里就不用缺陷或妥协这样的词了)造成了最多的使用困扰。所以我最后还是回到了不那么伟大,有缺陷,但在我的使用场景下不产生“困扰”的方案。

对我来说,zfs“堪用”,但不够好用,离伟大太远。——这句话仅在本贴内、只指我的家用NAS使用场景,与企业场景无关。

评论
控制卡RAID6路过,从3个盘慢慢扩到8个盘,RAID5转换到RAID6
家用读写要求不高,没有10G网卡,100M的读写可以了,日常基本不操心维护,曾经有个盘坏了几个月才发现。

评论

虚拟机还装黑裙就图个SHR,以后换9盘群晖也方便。在乎那些群晖的特有功能,再弄个白群晖就行了,418很便宜

评论
单盘使用
只是因为单盘硬盘才能休眠待机
等SSD取代HDD了大概我才会用存储池 ZFS和raid吧
毕竟SSD待机功耗低不影响寿命raidz严重依赖内存最好还是用ecc的
还有个大问题就是freenas官方文档说除了基本的8g外,每多1t空间就得加1g内存
我有这么多内存的时候干点啥不好呢,内存钱省下来也能买个好的硬raid卡上sas盘了,还不挑系统

评论

同意,简单 易用,基本也不用怎么配置。

评论

https://www.chiphell.com/thread-1765879-1-1.html

容错确实傻。。。不过从另一个方面来说如果阵列坏了 所有文件都在单盘里 好恢复
CACHE限制就大了 多盘必须做raid...

评论
如果只是扩容,linux的lvm已经很方便管理了。不知性能如何

评论

执行了以后怎么看进度啊,现在根本不知道执行完了没有^_^…

评论

最早 用虚拟机装ubuntu是都是用的默认的lvm,结果经历了几次扩容,遇到各种奇葩问题,及其具有不可预期性,用各种 错误信息搜索老外论坛的帖子,发现最终的解法也就是将文件全部拷贝一遍,没什么好办法,lvm也就那么回事吧。

评论
为啥看不懂你们在说啥,太高端了。。。

评论

简单地说,各种RAID是把文件分为块,写入不同的硬盘。unraid是将不同文件写入不同硬盘,同样也有一个硬盘做校验,必须是所有硬盘中最大的那一块。没有其他要求了。

评论

查了一下,似乎unraid是操作系统式的存在,不是软件?再就是需要注册啊,有捷径吗?

评论

虚拟机为主,nas为辅

踏踏实实花钱,没别的

评论
如果说,你的需求是有需要稳定,有需要性能,就freenas吧,做RAIDZ1  Z2都OK

缓存就是内存,CPU去算~ 如果你说,内存贵,REG的,16G的才150,随便折腾吧

如果要稳定和方便,那你群辉,扩容方便

反正,你要有所取舍

评论

本来不同的方案就是有不同的优劣,比如对于我来说我顶多就四块硬盘而且刚好是四块硬盘,要扩容也只能是拿大硬盘换小的。空间对于我来说并不那么重要,到现在都才用到60%,而数据安全性更重要一些,所以会经常使用zfs的快照。GEN8虽然不支持热插拔,但是因为是软RAID,敲几个命令也能完成热插拔。
自从通过zfs快照救了一些误删掉的文件后,就决心不再考虑别的raid方案了。



评论

同样是unraid握爪,我觉得没有10G网络情况下,单盘读写的吞吐量家用就够了~容错用一块盘冗余也够用,成本低。

评论

Linux内核+自开发,单盘读写,类似RAID4的冗余实现,用SSD做Cache中转,定时通过作业把数据搬到HDD,付费商业系统

评论

现在zfs on linux上   raidz expansion https://www.ixsystems.com/commun ... pening.58575/page-6

应该已经有预览版了,未来zfs on Linux会实现raidz的扩容。  最新的zol 0.8 已经实现了单个VDEV和mirror类型的VDEV的删除功能。


不过zfs的性能还是真的差,特别是在dataset上放kvm虚拟机文件,即使添加了slog/cache设备(NVMe 固态)

评论
矿渣 4G内存pve虚机加freenas 跑zfs,没有读取错误,性能20MB/s ,作为主用NAS的备份机,暂时没问题

评论
学习一下 谢谢分享知识 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
 ·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
 ·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...