背景
ft02服役10年，廉颇老矣，还是要退休了（珍藏），因为有水冷需求，选了o11 xl作为接班人。
o11xl大部分设计都挺好的，最大的缺陷是3.5硬盘仓。当我看见我的两块4T硬盘待机一段时间50度的时候真的有点崩溃。于是仔细研究了一下两个硬盘仓，左右封闭，上下前开口，后盖没有隔音处理，没有避震设计。因为热插拔，螺丝也不好自己加避震垫。两块4T的企业盘又是叫唤又是震动，还在持续发热。于是主力机器去3.5HDD化又提上了日程。
优化
HDD要去掉，只能利用nas，最早出现connect-x2拆机网卡的时候就有购入使用，但是效果并不是特别理想（300M/s)。于是重新优化了一番，解决了速度问题，读写都提升到了万兆的速度。主要是加大内存，增加P3700作为读缓存，合理优化zfs参数。
速度优化好以后，原来的connnectx-2万兆卡也就不适用了，买了几块Mellanox ConnectX-3，双口万兆，其他接口的卡改装的，套了个马甲。这块卡用在NAS（Linux）上时，服务器机箱风道匹配，散热良好。iperf3单线程9Gbps+，再加上smb multichannel支持多个网络连接加速，不到300块的价格的确很超值了。
问题
可是o11 xl跑的还是windows10 v1909，上行可以跑到9Gbps+，下行无论如何也无法突破3Gbps，不管多少线程。不知道是不是驱动还没正式支持1909的原因？ 在pc上因为风道对不上，温度比较高，我也怀疑是温度影响了速度，但是就算等温度降低，重新启动的时候速度也上不去。不知是否有同样使用这块卡的可以分享下相关速度信息？或者有相关建议也欢迎提出。
connectx3.JPG (284.35 KB, 下载次数: 0)
结论
换了几块不同型号的Mellanox ConnectX-3都是一样的结果，Linux完全没问题但是windows 10 build1909死活只有5Gbps。单口只能选intel x520了。
另一种思路解决
突然想起来可以利用SMB多通道特性，于是我把两条DAC线都连上了，反正绝大部分场景都是和SMB打交道，妥妥的10Gbps跑满，可以安心等驱动更新了。
评论
开启巨型帧了吗，对端性能有无瓶颈？
评论
没开jumbo，linux下也没有，所以不应该是问题才对。有另一个linux作为参照对象，使用的是通一张网卡，上下均为单线程9Gbps。
评论
我esxi里面折腾过freenas，vmx3虚拟网卡几个虚拟机之间互相传输，linux之间上下行都能达到10g的速度
但是linux到freenas只能上行/下行（我忘记哪个了）单边10g，另外一边只有半速甚至更低，网上找了一通没找到解决方法后nas就用回linux了
评论
希望楼主写一篇优化ZFS的心得啊
评论
就是挺奇怪的问题，不同系统下速度差别有点大。你客户端也全是Linux么？
评论
这个要根据需求来。一般来说，上双口万兆，八块硬盘以上组raidz2，加耐用的ssb比如intel 3700做缓存，内存插满到上限。其他的参数优化有作用但是影响都没这些大。
评论
请问大佬Connect-X3双卡买的多少钱呀？
评论
因为网卡直通给了linux，所以主力机win这边连的是linux没有测试连到freenas，连linux是上下都正常的
在虚拟机里面互相测试过的只有linux，linux发行版我有用centos、fedora和debian，这些linux之间是用esxi的虚拟网卡接在一个虚拟交换机上面互联，linux之间速度非常正常就是freenas有问题
运维群里有一个朋友是戴尔的实体服务器装了个freenas，客户端是windows用samba也是有速度跑不满的问题，后来他不用freenas装了win server后速度就正常跑满了
评论
SSD做读缓存可以吗？写缓存的话突然断电的话数据不就没了吗？家用的话安BBU也不太现实啊
评论
楼主前端协议用的什么，NFS么？
评论
读缓存有啥问题？对于zfs，就算读缓存挂了也不影响数据安全的。不是写缓存。写缓存才要考虑这个或者断电回写盘。
评论
windows客户端肯定用samba，nfs不友好。linux看情况，smb或者nfs都有。
评论
我是windows连linux不正常，但是linux连linux就没事。同样的网卡，连同一个服务器，没有虚拟化。
评论
那种长得像个方盒子的290，买到过一张坏的，换了。另外一种类似普通pcie卡（900p那样子）的是400，还在路上。
评论
毛总用的这些东西太高端，我不该进来的
评论
都是机房淘汰的技术，有啥高端的。
评论
你是linux做nas吗？samba配置那试试看将协议限定成smb3看看？
server min protocol = SMB3_00复制代码
对了还有就是iperf官方的faq里有提，不排除win那个第三方编译版的iperf3有问题，如果硬盘速度没瓶颈的话还是看samba速度吧毕竟你实际应用是nas<b>I’m trying to use iperf3 on Windows, but having trouble. What should I do?</b>
iperf3 is not officially supported on Windows, but iperf2 is. We recommend you use iperf2.
Some people are using Cygwin to run iperf3 in Windows, but not all options will work. Some community-provided binaries of iperf3 for Windows exist.复制代码
评论
这个因素考虑在内了，实测samba速度和iperf3一致。
评论
嗯，Linux作为NAS跑zfs。
我有一块intel的x520单口卡（应该是山寨的），同样是这个windows 10的机器上，iperf3单线程5Gbps，多线程可以跑满。Smb是可以充分利用多线程速度的，上下行都能跑到万兆。但是其实connect-x3性能更强，不太明白为什么单独下行不正常工作。
另外买了两块非转接版本的mellanox网卡，等到货以后看看是否有区别。
评论
楼主测试过8盘raidz raiz2性能差异吗 理论上前者更强的，64G内存+800G S3510 bonnie++写入测试raidz在400MB/s，raidz2只能到200MB/s的样子，目前还在找最佳的存储池配置
评论
你的那个转口马甲的万兆，LINUX没问题？
freenas是死活不认的
评论
Linux彻底没问题，妥妥的全速。不然我也不会对于windows 10上的问题感到奇怪了。
买了其他版本，可能要等几天才能收到了。
评论
不用说同样的盘数量肯定是raidz更强，但是8盘不适合raidz了，起码raidz2吧，或者10盘raidz2比较合适。
可以在一个pool加多个5盘raidz的（等于多个raidz再stripe），可能性能会好一些。
写入的话，如果配置是standard，那么同步写入取决于slog的速度，异步是先写内存的，同步还是异步由应用程序自己决定。
评论
这个版本的万兆，那个转接卡，理论上就是个原接口转PCIE罢了
也没芯片，但是就是有的不认
评论
那个转接理论上不影响速度和驱动的（组装问题除外），但是这个品牌的网卡，freebsd没有道理不认啊。
评论
The mlx4en driver supports the CX2 and CX3 ethernet cards (or VPI cards in ethernet mode). The mlx5en driver covers the CX4 cards, also ethernet mode.
https://www.freebsd.org/releases/11.1R/hardware.html#ethernet
评论
嗯
但是，就是不认，特别邪门
最后友买CX3的标准不转接的，完美识别
评论
我也买了标准的，可是圣诞节这里快递都放假了。
评论
你的上下行都正常吗？
我拿到了两块标准卡，一块312A和一块354A，都是这个速度。
估计还是驱动问题。1909没有严格意义上的驱动支持。
正常
在WIN10下表现正常
其他的，软路由也好，，freenas也好，不认啊
评论
你也更新到了windows 10 build 1909吗？
第一次拿到这块卡的时候我还是1903，那时候我记得也没问题，于是又买了一块，期间更新了系统，之后就毛病了。
评论
额。。。 没有，好像还是1903
评论
所以我一直怀疑是1909的问题，因为我清晰记得1903的时候好好的。
等官方驱动更新吧，着急不来了。就是不知道猴年马月了，mellanox非常墨迹。
评论
单线性能很迷，我试过挂载isilon的nfs，2个isilon rsync，单线2g，多线10g。用http协议wget单线6g
评论
Mellanox的单线程性能很优秀，不然我也懒得折腾了。用着x520等驱动更新吧。
评论
我是12G单文件数据，内存盘~高速SSD，清缓存，来回测试
都可以吃满
评论
我用的那组，isilon内部40g ib，外部10g*n，带宽足够。
瓶颈在终端上，怀疑是系统问题，内核太老，驱动都是默认设置，网络性能不佳
评论
这样的话，别着急升级1909了。我已经掉坑里了。
评论
好吧
本来是想说，对于yes有更好的调用呢
评论
你要是吞吐量那么大的话，太吃系统的搭配了
评论
我把ConnextX-3的两条线都插上了，问题解决。。哈哈。。
评论
？？？
什么概念？
评论
windows客户端主要场景是使用samba共享，因为samba支持多通道，所以插上两条网线速度可以叠加，就变成10Gbps了。等待驱动更新的日子里，这么用着也还可以。
评论
哦~~~ 等于强行补，对吧，
评论
我和NAS不在一个交换机上，两个交换机之间只有10G，不然全速能跑上20Gbps的。以后再折腾40G吧。 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？