日本电子维修技术 网络mellanox的ConnectX3网卡现在还能自定义固件吗




内容比较乱各位看的晕就直接看图和加粗大字吧

去年捡的两块cx311 (ConnectX-3 单口 sfp+ 10G pcie x4)便宜的x4之前好像确实不常见
虽然说x8的单口卡插x4好像也正常满速,但还是得有侧面开口的x4或者延长
就这个卡

IMG_34771.jpg (426.86 KB, 下载次数: 0)

2020-4-30 00:10 上传


IMG_34781.jpg (338.25 KB, 下载次数: 0)

2020-4-30 00:10 上传



到手发现plexboot里的内容不能修改,修改任何内容,保存退出时都提示permission denied,plexboot里有sr-iov,iscsi还有启动时的vlan设定,都动不了

搜了下好像mellanox论坛里有不少说这个问题的,有个帖子里给了个看起来挺复杂的解决方案我也没仔细看....进os后测了测速,看了下rdma正常工作,改不了的那些暂时也用不到,就插nas上没管它了

前阵子ocp的cx341转接pcie流行了一下,一时兴起想折腾一下这两张卡,去仔细看了下mellanox论坛,确实是这个症状,在系统中用mellanox的配置修改工具mlxconfig也读不了当前配置

TIM截图20200430001618.png (28.52 KB, 下载次数: 0)

2020-4-30 00:17 上传


帖子下面说的重置固件重刷固件都试了,没任何变化
官方回复说是因为本身闪存容量小,所以阻止了用户修改部分配置,这型号已经EOL所以不会有更多的修复支持
之前那个解决方案的帖子里写是一个通过预先修改配置文件,将配置文件集成到一个固件里,然后去刷这个固件,以此实现启用sriov或者其他功能的
#使用mlxburn指定输入一个.mlx文件的固件,.ini配置文件,来输出一个bin固件#或者#mlxburn指定一个.mlx固件,.ini配置文件,目标设备,直接刷入固件和配置到设备#
然而...mellanox官网现在所有固件都是bin了根本没有.mlx的文件,oem固件下载里也都是bin文档

直接把bin替换到mlx的位置会提示不能识别固件对应设备类型,手动指定后也会报错...果然是不行的..

TIM截图20200430003943.png (138.62 KB, 下载次数: 0)

2020-4-30 00:40 上传


看了下文档发现除了-fw来指定.mlx文件外还有个-image指定固件镜像,把-fw换成-image会提示生成镜像需要一个xml/mlx固件文件

TIM截图20200430003751.png (43.12 KB, 下载次数: 0)

2020-4-30 00:37 上传



把输出镜像的-wrimage换成直接写入到设备,-fw换成-image输入官网下载的bin,然后输入修改的配置文件(顺便加了一个烧录时修改guid的参数,之前用flint直接修改guid是可以正常写入到闪存上的,用flint改完再备份出固件对比原固件可以找到guid差异的位置)

TIM截图20200430005552.png (74.53 KB, 下载次数: 0)

2020-4-30 00:56 上传

能正常烧入固件,但是写完啥变化没有,备份出来镜像对比烧录前的一摸一样...1bit没差

有没有办法将配置文件集成到bin固件里呀,或者将bin转换回mlx,亦或者哪里还有mlx格式的固件下载呢,还是说现在就没办法去自定义固件了

贴上mellanox官方论坛里反馈这个问题的几个链接
Issue with Connectx-3 - Failed to query device current configuration
Multiple issues with ConnectX-3 CX311A-XCAT firmware.
ConnectX-3 EN Failed to query device current configuration
以及集成配置到固件的帖子
SR-IOV for Mellanox ConnectX-2
More custom Mellanox firmware tips

更新:
读了下十楼的帖子,看了下我这卡上,flash是1Mbit的,于是我rb出来1024576字节,对比了一下直接ri出来的image...这1Mbit完整flash的前几百KB就是ri出来的image,后面全是FF,有300KB根本没用上根本不是官方说的没空间,我试着擦除掉整个闪存重写看看(如果mlxburn之类的更新固件并不是完全将bin覆盖进flash的话也许会有效?)还是不行的话可能是那个eeprom里面有限制?

花式刷了几遍,还是不行也没找到办法保留配置更新到2.42

放弃更新了,老实用2.40.5030了开了sriov,降了点开机plexboot等待时间,打开了wakeonlan但是好像不管用,关机后接口就down了根本收不到唤醒包,也没啥别的想改的了

分享一下2.40.5030的自定义固件包:
链接:https://pan.baidu.com/s/1WrFJmi4Hv0Kb6eAP_-afuw
提取码:q9nj

包里有一个fw-ConnectX3-defaults.ref可以查看固件可调整的参数,但不是很全(wol就不在里面,但是自带的一些固件配置文件里有的就有写wol启用的)
实际上.mlx文件里就是各种参数的定义,地址映射,一些二进制数据啥的,算是可读的,可以在里面找到更多可用的参数
贴上我改的几处吧
[HCA]
;配置文件节点

num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关

slow_clock_enable = 0
power_save_enable = 1
port1_wol_en = 1
port1_wol_magic = 1
;wol相关

[ROMINI]
;配置文件节点

flexboot_menu_to = 2
;开机flexboot等待时间(秒)




评论
mellanox现在不再公开自定义固件下载

评论
我看看楼主的意识是想改配置吧,可以直接用mlxconfig改的

评论

这卡就改不了,mlxconfig不能query也不能set....plexboot里也改不了...

评论

才看到mlxconfig也读不出配置...EOL产品是这样的了,而且connectx-4之前的卡都没有uefi enabled只能plexboot

评论
我单口一块,双口一块

反正,我也没改成功

哎。。不过也无所谓

评论
找到了2.40.5030的mlx文档,修改ini刷入后flexboot里看sriov启用了,我备份出了同版本下启用和不启用两种二进制固件,对比了一下发现除去前面有零散的五六字节差距外,从C0C50一直到末尾全都不一样,本来还想能不能对比一下是哪些位控制这功能开关啥的那么,有办法更新固件而保留之前固件的配置嘛

评论

http://content.mellanox.com/firmware/ConnectX3-rel-2_40_5030.tgz

这是你要的东西吗?

Snipaste_2020-04-30_06-20-09.PNG (457.54 KB, 下载次数: 0)

2020-4-30 06:20 上传




评论

谢谢啦,我也找到这个了,在研究能不能保留低版本固件里的配置更新到新版固件

评论
查看我的帖子,参考CX341的教程,固件正确的话mlxconfig能开启SRIOV的

评论
我的OCP转接卡前几天刚到
改双口还没开始焊

评论

那个xcc.bin就是官方的bin固件嘛

评论

朋友也打了几张ocp转接卡,还没买网卡和原件

评论
mark一下,也有兴趣开搞这个

评论

311是cx3-pro的芯片  上官网下载最新固件,备份原始固件后强刷就行。

评论

xcat是x3不带pro,刚才写了个1M 0xff的bin进去然后重写固件,还是permission denied,完全没有变化

评论
我有两块这个卡,应该是目前市面上唯一一款PCIe x1长度的卡,其他都是x4长度的。

这个卡有两种版本:完整功能完整闪存的真正零售版,支持一切功能,现在根本买不到,当年的价格非常昂贵;现在能买到的都是洋垃圾服务器拆机的OEM卡,缺少闪存,应该没法修改设置。本来设置就是按照当年的服务器定制的,没必要修改。

价格有多贵呢,可以参考Mellanox目前在售的10Gb x1零售版价格,突破天际的价格。注意x4的便宜,x1的非常贵。

评论

x1,这不够10G吧

评论

抱歉,应该是x4,最短的万兆卡是x4的;大多数便宜的万兆是x8的。

评论

3.0的x1 也可以,不过没见过

评论
放弃更新了,老实用2.40.5030了开了sriov,降了点开机plexboot等待时间,打开了wakeonlan但是好像不管用,关机后接口就down了根本收不到唤醒包,也没啥别的想改的了

分享一下2.40.5030的自定义固件包:
链接:https://pan.baidu.com/s/1WrFJmi4Hv0Kb6eAP_-afuw
提取码:q9nj

包里有一个fw-ConnectX3-defaults.ref可以查看固件可调整的参数,但不是很全(wol就不在里面,但是自带的一些固件配置文件里有的就有写wol启用的)
实际上.mlx文件里就是各种参数的定义,地址映射,一些二进制数据啥的,算是可读的,可以在里面找到更多可用的参数
贴上我改的几处吧
[HCA]
;配置文件节点

num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关

slow_clock_enable = 0
power_save_enable = 1
port1_wol_en = 1
port1_wol_magic = 1
;wol相关

[ROMINI]
;配置文件节点

flexboot_menu_to = 2
;开机flexboot等待时间(秒)


评论
关机不能唤醒,楼主试没试,睡眠能否唤醒?

评论

wakeonlan?试了不管用

评论

2.4.2 就是不能sriov 么, 怎么查看开没开sriov?

评论
我的,cx341
能 mlxconfig -d /dev/mst/mt4099_pciconf0 query
也可以 mlxconfig -d /dev/mst/mt4099_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8
都是成功的, 重启以后 查看也是对的
flint -dev 01:00.0 dc
看hca
num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关
这些没有的 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
 ·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
 ·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...