去年折腾了12快960G的PM951做存储,平台是双路E5 2630L v3,跑ESXI,并折腾了一个3615的黑裙,然后12盘RDM到黑裙并做RADI5,读写速度大概在600-700M左右,跑了半年左右,某天心血来潮装了,删了ESXI,直接装了个FREENAS,12盘跑ZFS+Z1 无缓存和LOG盘,跑了下速度直接炸裂,读写直到1.1G,直接跑满10G网卡,但是FREENAS这玩意太难使了,加个共享还得逼我用命令行去划权限,那虚拟机真难玩用了几天实在忍不住还是准备折腾回群晖,顺带看看能不能升到最新的4.2系统,结果奇迹的找到了我可以用的群晖918引导(以前918一直跑不起来),并看到了一个可以检测到NVME盘的方法,反正都是折腾了,就尝试了一下吧NVME盘通过命令行形式分区并建RAID试试看,结果群晖竟然可以正常使用盘,12盘分了个RAID5分区,性能直接爆表,试用了几天不敢独享,拿上来得瑟下
能够正常读取到12个盘的SMART信息
捕获.PNG (510.76 KB, 下载次数: 0)
测试跑满10G带宽
1.PNG (114.59 KB, 下载次数: 0)
没那么大文件,太快了,瞬间就没了,好不容易保存下来
2.PNG (46.8 KB, 下载次数: 0)
分享下NVME的脚本
链接：https://pan.baidu.com/s/1DUb_cUTxsFwlKzM-c59m1A
提取码：n46b
将libNVMEpatch 放入 /usr/local/etc/rc.d/ 目录,并设置可运行权限
下面是群晖命令行创建的步骤1.为12块盘创建群晖分区
for i in 0 1 2 3 4 5 6 7 8 9 10 11; do synopartition --part --force /dev/nvme${i}n1 13;done
2.创建RAID5阵列
mdadm --create /dev/md4 --level=5 --raid-devices=12 --force /dev/nvme0n1p3 /dev/nvme1n1p3 /dev/nvme2n1p3 /dev/nvme3n1p3 /dev/nvme4n1p3 /dev/nvme5n1p3 /dev/nvme6n1p3 /dev/nvme7n1p3 /dev/nvme8n1p3 /dev/nvme9n1p3 /dev/nvme10n1p3 /dev/nvme11n1p3
3.创建文件系统
#ext4
mkfs.ext4 -F /dev/md3
#btrfs
mkfs.btrfs -f /dev/md3
4.重启,完成创建工作
reboot
更新 6.22以后系统脚本不能用了,需要更换SO文件
替换路径/usr/lib/libsynonvme.so.1
链接: https://pan.baidu.com/s/1nQpr693U7My2bQgAuBBHEg 提取码: 9jhy
评论
好羡慕这么多SSD的NAS，关键是得有个机房才能受得了这噪音
评论
全固态很安静还不怕共振
评论
我放卧室阳台的和普通PC差不多噪音
评论
都上固态了还有什么噪音
评论
dsm里nvme直接做成volume有段时间了，就是看到有帖子说会有问题一直没动手
麻烦楼主当段时间小白鼠吧
评论
已经当白鼠了，目前测试还好，除了没UI支持，其他和原生的差不都，我测试过拔盘，和整个系统损毁重装，都没丢
评论
ESXI 里的NVMe跑不起速度估计是因为你没有使能ESXI的HPP插件，看看ESIX文档中这篇文章“Enable the High-Performance Plug-In“，
https://docs.vmware.com/en/VMware-vSphere/6.7/com.vmware.vsphere.storage.doc/GUID-6035DE0C-9285-4D37-B631-A7DC3606DB61.html，我开启HPP后，NVMe的速度基本提高了一倍。具体方法很简单，就在ESXI的SSH终端中输入：esxcli storage core claimrule add -r 10 -t vendor -V=NVMe -M=* -P HPP --force-reserved ，然后重启ESXI主机即可。口说无凭，还是补充点测试条件和测试结果吧。一、测试条件
1、ESXI主机：CPU：G5400，内存：16G，主板：华硕H310M-A（M.2 NVMe 接口 2x, 传输速度10GB/s），
ESXI版本：2019年12月发布的最新6.7sp3, （vmware esxi 6.5U3b VMware-VMvisor-Installer-201912001-15160138.x86_64.iso)
2、NVMe盘：受主板M.2 NVMe 接口速度限制，选用东芝RC500 256G 普通NVMe盘，顺序读最大1700M/s, 顺序写最大1200M/s
3、ESXI 上的虚拟机是Win10LTSC, 附加了一个正常的16G虚拟硬盘（非RDM直通），采用SCSI接口，虚拟机配置如下：
22.jpg (137.04 KB, 下载次数: 0)
二、在W10虚拟机上对16G虚拟磁盘的测试数据：
33.png (73.12 KB, 下载次数: 0)
11.jpg (171.69 KB, 下载次数: 0)
楼主的NVMe是P961，再加上磁盘作了RAID5，测试结果应该比这个数据更喜人。
评论
谢谢指教,不过我NVME直通也有关系吗?
评论
你直通就管不EXSI什么事了。
评论
那个脚本，直接的黑裙，可以找到NVME的盘吗？
评论
可以的,但是必须是918+,3615不行
评论
但是FREENAS上测试明显有差距, 实体机上FREENAS的磁盘和网络性能都很炸裂,但是到ESXI直通模式磁盘和网络,都明显只有实体机的70-80%,10G网络都跑不满,黑裙就没这么明显
评论
直接虚拟盘没测试过,RDM测试过,WIN单盘性能还可以,持续也有800-900的样子,但是跑存储池就不行了,而且12盘只能建镜像模式,其他模式存储池都建不了..
评论
正如我推荐的那篇文档所说介绍的，开启HPP可大大提高ESXI主机中的NVMe磁盘性能，我测试过开启与不开启差别巨大。既然你有这么好的硬件条件，如果在ESXI下的NVMe磁盘性能提升很明显的话，为什么要纠结直通NVMe盘呢？还不如直接由ESXI管理这些存储设备，形成一个存储池，然后用虚拟磁盘方式分配给群晖和其它虚拟机使用不是更好？至于磁盘Smart信息, ESXI下也是可以看见的。
评论
家用设备有家用设备的弄法，企业级设备有企业级设备的搞法。我是家用设备，所以什么都直通，包括网卡、显卡、SATA控制器什么的；而你的基本上算企业级了，那就按企业级的方案来：尽量少直通，交给ESXI去处理就得了。
评论
OK
那就好
主要是
之前不管做什么的，NVME的都不能用
评论
单盘虚拟模式其实没什么性能差,但是多盘就很差的明显
这是NVME直通模式+SMB共享测试的
4.PNG (112.86 KB, 下载次数: 0)
RDM模式测试
123528iyhiuvppqycpyypl (1).png (110.55 KB, 下载次数: 0)
直通模式在持续和单队列4K性能差异很大
评论
本来我是打算直接在实体机上装黑裙的,可惜一直无法启动,ESXI跑也是无奈之举,本来ESXI用的不高,也就跑个黑裙和2个UBUNTU跑DOCKER,主要还是ESXI没磁盘阵列可以用,本来是打算FREENAS跑底层存储,然后上面跑虚拟机的,无奈FREENAS太不友好了
评论
搞这么快，兄弟是搞航天飞机做大数据实验吗？
评论
都是洋垃圾,本来就不贵,最贵的单件也就是主板1200,12条固态一起6000出头点,没比机械盘贵多少
评论
固态只要500吗？
评论
三星PM953 960G,去年548一条拿的,现在也就560多
评论
能不能转sata 我直接放硬盘位用 有没有的办法
评论
还有这货发热量如何
评论
不能,买的NVME扩展卡接的盘,一个X16 PCIE能接4块,不过必须必须要E5 V3以上CPU,而且像我这样接12条的话需要2路CPU,不然PCIE不够
发热基本可以忽略,某鱼上买的华硕扩展卡带风扇的,日常温度也就28-31度,我放阳台使用的,在魔都没空调环境,放机柜里面最高也就50-60度的样子
评论
我。。。e3 v2 告辞。。。。 能接2条吗？不能就真告辞了。。。
评论
你有PCIE插口空出来的话用转接卡一个插口接一条是没问题的,但是这样没啥性价比了,而且浪费插口,不如搞SATA的
评论
有没有2.5寸固态的车呀？老哥
评论
问问首富家,不过你装2条是准备给黑裙当缓存?如果是的话你可以放弃NVME了,因为你V2不支持黑群918+启动,如果不是模拟918的机器是没NVME缓存可用的NVME缓存 有啥用 有么有科普的文章呀
评论
请教一下, 是不是创建存储空间必须要命令, 没法在GUI上创建raid空间?
如果必须要命令行的话, 那么就会有一个问题
比如我三盘raid5, 然后一个盘坏了
正常sata盘的话, 我只需要拔出坏掉的盘, 换一块进去自己修复就可以了
但是这种命令行的模式要怎么做呢? 是不是只能把创建老空间删除, 再重新创建, 而没法用数据自动修复了?
评论
233
确定3615和3617不行吗……
评论
不对啊楼主
你918+, 怎么12个盘的?? 不是只能8个盘吗?
是因为识别成缓存盘, 所以可以12个盘吗?
评论
是的,必须命令才行,GUI会吧NVME认成缓存设备,没法操作
评论
多少个盘可以通过修改引导文件来支持,不过我没改过,默认引导就是最大12个
评论
3615我去年试过,是不行的,连NVME设备都找不到,在DEV下面找不到设备,也就没法操作了
评论
我想知道, 你放了12个nvme盘之后, 在GUI的磁盘资源管理里, 磁盘空位还有吗?
我的意思是, 这时候是否还能加HDD进去做存储盘? 还是已经满了
我没用918的唯一原因就是需要多一些盘位
但是按照你的这个教程, 我用918似乎可以这样操作:
8个nvme+8个sata hdd
这样反而等于有16个盘位了
可以做到吗?
顺便我现在在研究我的主板能不能支持pcie分拆, 你的那块扩展卡需要支持分拆的主板, 我一块x99 一块c612……
评论
为啥都没有用AMD EPYC的呢，我感觉我还能再插几块NVME转接卡
评论
刚看了下空盘位还有很多，因为NVME是认成缓存设备，所以不占GUI里面的盘位
评论
不用有个很重要的原因，穷
我这套CPU+主板也不到2K，买EPYC的主板都不够，还有不确定EPYC功耗怎么样，一直找不到测试的例子
评论
不对啊, 我糊涂了
你这里怎么有14个硬盘槽?
918+不是8个吗?
我3617xs也只有显示12个啊
评论
这个就不知道了,有可能xpenology 的bootloader已经改过了吧
评论
12个 nvme m.2 是怎么接的？ 3张 4x m.2 PCIE转接卡？ 主板有那3个pcie 16x 的slot?
评论
楼主直接用固态做存储吗？没看懂，一般情况下不都是上固态做缓存吗?
评论
你这是暴殄天物, 12块hdd用zfs raidz2, 都能跑到1GB/s的读写. 用nvme的话直接上40G/56G/100G吧, 10Gbps网卡是你的瓶颈.
评论
直接上那个2U的12盘nvme热插拔就完事了. 清一色U.2. 维护不用开机箱.
评论
很多双路的板子有那么多PCIE的,不过要V3以上的CPU支持PCIE拆分
评论
背板和扩展卡买不到啊,能买到也死贵死贵的
评论
固态够大还要啥缓存,直接做存储了
评论
3617多半也是不行的了
评论
都已经折腾到这个地步，为什么不直接上truenas?
评论
噪音来源于风扇，SSD的发热好像比HDD更大，风扇必须更给力才行 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？