家里刚升级万兆环境,本来MELLANOX CONNECTX-3用得好好的,但要开启RoCE除非是直连,否则交换机必须支持PFC,一搜之下全部都是5、6K的三层级别的。禁不住折腾的心,转向用Chelsio的网卡了,因为用的iwarp有别于roce,不需要交换机支持。贪便宜淘了张T520-CR,拿回来后卡是顺利认出驱动也顺利装上,但无论是DAC线还是光模块端口一律不亮灯,FreeNAS上则提示L1CFG FAILED 22 UNSUPPORTED TRANSCEIVER。除了原厂的光模块外,包括思科、H3C、FINISAR、MELLANOX的DAC线和光模块都试过了。
后来根据卡背面的型号“J6VY6”一搜,原来这张是server offload卡而非普通以太网卡,但这个不出奇,一般这种服务器用网卡都带各种offload功能,现在问题来了
1、这张卡能当作普通万兆以太网卡用吗
2、如果能用,该用什么模块? 必须原厂的吗,深水宝搜了下,有国产的有马来西亚产的,是否国产就可以?
评论
我最近也在研究这个东西,RDMA。我和你用的是一样的S1720交换机。还在想能不能支持ROCE呢。
评论
S1720是不能打开RoCE的,因为不支持FLOW CONTROL,至少要到6系才支持,但功耗和成本则一下子上去了。
评论
RDMA性能影响能有多大
评论
那张chelsio t520我已经退货了,买了两个原厂模块和单位的联想服务器自带模块插上去照样报错,完全没辙了,应该是一张问题卡。
另外说以下这几天的折腾经验吧。两张网卡LINUX和WINDOWS、PROXMOX都自带驱动,但要用到SR-IOV和RDMA,各种OFFLOAD特性的话则必须安装官方OFED驱动了。
CONNECTX-3虽然较老,但它的处理器本身是和同型号IB卡同一芯片,所以实际处理能力是40G,而且官方驱动一直在更新,LINUX和WINDOWS都轻松驱动到。但ESXI新版一向不鸟老硬件只有原生驱动,连SR-IOV都打不开,PROXMOX则没问题,但只能安装EN驱动不能安装OFED驱动,那些高级特性用不上了。
T520 所用的IWARP没有交换机的限制,而且有个很大的好处是,它每个物理网口自带两个PF,所以就算主板和CPU不支持SR-IOV也好,也可以各自直通4个PF到虚拟机,也就是完全可以看作是一张4口万兆网卡。对WINDOWS SERVER、FREEBSD、以及ESXI支持非常好,同时也是FreeNAS官方推荐的网卡之一。但LINUX OFED驱动则对KERNEL貌似有限制,非指定kernel我试过安装和自行编译都不成功。
评论
Chelsio的RDMA只做iWARP, 主要靠Intel在后面支持属于半死不活的状态, 现在主流是RoCE, 我觉得没必要折腾...
评论
现在也不知道,有没有便宜点的,支持FLOW CONTROL的交换机。能耗也要低点的。其实S1720蛮好的,能耗低。
评论
大多了。延时和速度都有非常大的提升。
评论
新版esxi 不支持,那就换用老版点的esxi 6.0啊
评论
用的RYZEN架构,6.0不支持
评论
这几天在看S6720S-16X-LI-16S-AC 这款的,感觉数量倒是合适,不知道能不能用
评论
建议别冲动,搜了下RoCE的设置教程,全部都是用40G/100G交换机来做的,譬如华为CEE8800系列,CISCO的NEXUS 5000系列,HPE 5700系列等。S6720这种级别未必能支持,我也只提过至少要6系,但也可能不止。 个人建议要玩RDMA要不就roce直连,要不就iwarp网卡,譬如chelsio T4以上,intel x722,qlogic ql41112以上
评论
对RoCE现在想也没有办法,我的1517+现在也不支持RDMA。光电脑直连用到地方不多。现在对iSER也很关切,不知道对于交换机要求怎么样。
评论
网卡到了才看到有前人走过的路.悲了个催的.
这技术对交换机要求还蛮高的.
评论
额。。。
弱弱的问一句,freenas支持rdma直连吗? MELLANOX CONNECTX-3这张卡
如果不支持,哪个支持? 我记得intel的好像都不支持吧
评论
话说,如果交换机是普通的不支持PFC的,网卡支持,能否正常开启rcoe呢?是完全无法用,还是效果不好呢?
评论
玩了一阵子Chelsio T520-CR,来答楼主问题:
1. 能当作普通万兆以太网卡使用,只是温度特别高。默认散热状态下,零负载开机5分钟温度升至99℃(正常工作温度上限55℃)。因此必须自行设计散热方案,几乎无法避免使用暴力扇。谨慎购买Chelsio T520-LL-CR、Chelsio T520-SO-CR,它们均被阉割了部分功能,详见官网手册
2. 不必用原厂模块,Finisar FTLX1471D3BCL 工作正常
3. 以管理员身份运行命令提示符
- 查看序列号、网卡型号、硬件/固件/驱动版本:
cxgbtool.exe nic0 debug version复制代码
version.jpg (82.77 KB, 下载次数: 0)
- 查看链路类型、链路速度:
cxgbtool.exe nic0 hardware link_cfg复制代码
link_cfg.jpg (95.47 KB, 下载次数: 0)
- 查看MAC地址、MTU:
cxgbtool.exe nic0 debug dumpctx复制代码
dumpctx.jpg (101.69 KB, 下载次数: 0)
- 查看温度(下图所示温度为轻载8小时,使用暴力扇散热状态):
cxgbtool.exe nic0 hardware sensor复制代码
sensor.jpg (72.12 KB, 下载次数: 0)
电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?