日本电子维修技术 NAS24盘位Stablebit DrivePool+SnapRAID NAS阶段性总结



之前搭了台24盘位Home Lab,运行了一段时间,总结一下。

环境是Windows Server 2016.

SnapRAID负责进行数据冗余
原理:对各数据盘上的文件分块计算校验信息(做阵列),将校验信息写入校验盘
优点:
    1.可以实现任意个数据盘+1-6个校验盘,形成允许1-6盘故障的目录阵列
    2.RAID5坏第二块盘,只丢失故障盘上数据,正常盘上数据不损坏
    3.已有数据的数据盘直接加入Snap RAID阵列,不需要重新初始化
    4.Snap RAID阵列里的盘可以随时移出阵列,不需要摧毁整个阵列
    5.完善的数据完整性(校验和)保护,防止静默数据损坏
    6.对某个文件读写时,仅需要所在盘运行,其他盘可以休眠
    7.计算校验时数据盘只读,校验盘只写
    8.可用容量为各数据盘容量直接相加,空间利用率高
    9.支持分割校验盘,4T+4T做校验盘可以等同于一块8T校验盘
缺点:
    1.当某个数据盘故障时,上面的文件是不可访问的,直到用户重建到新盘
       (其他阵列会模拟故障盘上的数据,虽然慢但是能访问)
    2.在计算校验的间锡,新数据是无保护的
       (计算校验相当于游戏的存档,最后一次存档后的数据是不被SnapRAID保护的)
    3.一旦已有数据改变,新数据的保护就可能失效
       (例如三块盘的三个文件之间计算校验信息,而你在最后一次计算校验后,修改了其中一个文件,那另一个文件需要恢复的时候就会恢复失败)

Stablebit DrivePool负责将多个数据盘合并为一个大虚拟池
优点:
    1.已有数据可以直接转移进池中
    2.提供规则设置,能够将不同目录按规则分布到所设定的不同盘上
    3.能正确识别NTFS挂载点,因此可以支持24块以上的硬盘
    4.支持多副本,设定为双副本的文件夹可以容许任何一块盘的损坏,每个文件夹可以设置不同的副本数量,提供不同冗余性
    5.多副本的写入是同步进行的,读取一个多副本文件可以从多块盘上读,实现加速
    6.Stablebit全家桶里的Scanner可以后台扫描磁盘坏道,发现坏道后可以通知DrivePool将文件移出风险盘
    7.允许移除硬盘,被移除的硬盘上文件可以放弃,也可以由DrivePool自动移动到其他盘
缺点:
    1.数据平衡器可能与SnapRAID冲突
      (如果Snap RAID计算校验后,DrivePool又将部分文件移到别的地方,会导致Snap RAID恢复时找不到文件,导致恢复失败)


评论

其他NAS数据组织形式备选方案:

1.硬件阵列卡——eg. LSI 9361-8i
    硬阵列的性能是没啥问题,价格稍贵(也没单块硬盘贵),如果配上SSD做CacheCade读写缓存,可以在重建时节省时间。
    不过Write Hole还是需要BBU,重建过程中发现坏道可能会导致重建失败(也许可以跳过),进而丢失全部数据。
2.软件阵列——mdadm+LVM
    性能和硬阵列卡基本相当,不过掉电保护是个问题,也可以使用LVM将SSD作为缓存。
    Write Hole可以靠Journal盘解决,重建遇上坏道同上。
3.Windows存储空间/存储池
    双向/三向镜像基本和Stablebit DrivePool没啥区别,一样的空间利用率50/33%,一样的冗余1/2块故障盘,DrivePool还允许回退到没有Pool的状态,Windows存储池不行。
    奇偶/双奇偶的写入性能就是一坨屎,就算是三个NVME SSD做单奇偶,写入也不过100MB/s,加Write Back Cache和Journal以后写入还是屎……
4.ZFS——Free NAS/NAS4Free/SmartOS
    2018年底仍然没有碎片整理能力,无碎片整理工具可用,久而久之读写性能退化。
    只能往池里加vdev或硬盘,对于RAID-Z vdev不能加盘扩容(如3盘RAID-Z到4盘RAID-Z)。
    没有数据平衡功能,难以在池里的各个设备间平衡数据存放地点,单个设备空间使用超过80%性能急剧下降。
    据非官方消息称以上问题可能会在今年内进行修复。
5.unRAID
    这个比较看好,同样是基于目录的阵列,这货故障一块盘后,上面的数据还是可读的(这就是为啥100多$的授权费很值)
    自带SSD Cache功能,加速读写
    自带WIndows/NFS/Apple文件共享
    自带存储池(类似Stablebit DrivePool)
    自带的KVM虚拟化能方便地直通N卡,自带Docker
    缺点是开机必须和远程授权管理服务器连接,否则阵列起不来。授权绑定于U盘,适合作为虚拟化平台而不是虚拟机。某些高阶虚拟化功能不如ESXi。

评论


太高端了,曲高和寡


评论
看到 SnapRAID 就赶紧进来跟帖鼓励一下。
我之前在Windows Server 2012 R2 上安装设置用过一段的 SnapRAID。

现在改在 openmediavault 上用 SnapRAID 的插件。还有池的功能也是用的openmediavault 上的相关插件。


评论
小白看不懂,但是,看着真的好厉害啊,膜拜大佬。

评论
如果有超过6个以上盘位,我会选择硬件raid

4盘位的机器,我觉得直通硬盘然后加上StableBit DrivePool应该就足够了,灵活性最高,空间损失也小——只是没那么傻瓜了一开始要烧下脑设置好规则

评论
目前用的就是9361-8i加了一个400g的ssd做cachecade,raid卡自带的缓存就失效了,可以不用配电池

评论

也是很好的方案,SSD既可以代替缓存省掉BBU,也可以在重建时拦截写入加速重建

评论
unraid我看linus他们在PB项目上面也用 上百个硬盘都没事

评论

那个项目是zfs,unraid现阶段只支持24盘

评论
Stablebit DrivePool负责将多个数据盘合并为一个大虚拟池
优点:
    1.已有数据可以直接转移进池中
      这个1.已有数据可以直接转移进池中,是直接合并盘就有可以的选项,还是合并完了复制进去

评论
目前在用ZFS,碎片暂时不成为问题

评论
曲高和寡这个词语用的很赞

评论

zfs 对于性能需求(如磁盘碎片影响),要求存储容量占用在70%以内
同时ZIL的设计目的,就是解决碎片或者反复读写可能导致的性能问题,所以ZIL会自动解决新数据存储位置对性能的影响,可以考虑扩大容量

建议操作方式,当磁盘碎片大于50%,用zfs send /receive 转移一次,就会解决碎片问题


评论

用zfs作BT下载,我朋友遇到过IO性能问题
解决办法就是两个同容量的zpool定期转移一次,就行了

评论

是的,虽然暂时没碰到碎片问题,但是对策已经想好了,就如您所说的send/receive

评论
楼主试试unraid呢,出个教程
这个系统用的人太少,不知道怎么玩

评论
竟然都看懂了,然而我太懒了,选择群晖SHR+定期冷备份……,什么都不用设置

评论
灾备程度比一般的小型企业都强了  对于我们老板连装机柜都认为是平白无故增加成本的人来说  这种装备就是属于“败家”

评论
老板要不要这么强大啊

评论
我还是选择RaidZ2吧,虽然空间利用率低点,但是可以同时坏两块盘。其它都不是很大问题。

评论

痛苦的是不能往vdev加盘扩容……

一次性买n个硬盘成本太高了……

评论

所以我也只能找几个盘备份出来,然后再建一个大的。

评论

方法1
1 建立池子
2.往pool里随便写点东西
3. 找到那个隐藏的 文件夹。一大串字
4. ctrl x ,,ctrl v
5 remeasure 一下存储池
6 检查成果。
方案2, 往池子里复制黏贴

评论
你好,现在不知道还有没有人回复。

目前1个Parity校验盘(8T)+4个 8T数据盘。
想增加4个10T数据盘和一个10T Parity校验盘

1.那么需不需要把原来的 8T Parity 盘也换成 10T ?如果后续要换 12 甚至 16T 的,12T(或 16T)+8T 的组合可以作为 Parity?
2.是不是 Parity 的随意一个盘大于任一数据 Data 盘就可以?如果我10T+3T这样的Parity校验盘组合可行?

评论
先留个名,mark一下,再认真学习

评论
一样~ 在这里等大佬们回复

freenas,现在是不是tm不更了

很多东西还没有解决啊

虚拟机也不是很好使~  群辉在里面,磁盘性能不行,很低下

评论
看了一圈决定上zfs

评论
请教一下,

关于这一点不太明白,你是指DrivePool建立在SnapRAID基础上的情况吗?将SnapRAID的几个数据盘合并为大存储池?那现在有好的解决办法吗? 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
 ·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
 ·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...