日本电子维修技术 显卡现在搞深度学习大家买什么显卡?



现在算力不够了,之前有4块RTX3090,觉得性价比很好,但现在RTX3090价格贵,还不一定买得到。
RTX2080 Ti估计也买不到,自己也看不上。
不知道同行们现在买什么卡?
有使用华为Atlas的训练卡朋友吗?期待介绍一下,网上几乎看不到完整的测评。





评论
3090 有钱一定买的到   你要几块?

评论
除了老黄的卡,Jim Keller说他当CTO的那个公司,tenstorrent下半年可能出产品了,原生支持pytorch,可能值得期待一下。AMD那头连新卡ROCm都没整明白,pytorch最近加了支持但只能用Radeon VII

评论
华为的那张卡,上次招投标的时候流标了,还是买了3090。。。

评论
不知道现在买Titan Xp划算么?价格在6000元以上,比1080ti贵很多。

评论

已经搞定了。

评论
一般用途的话3090是唯一选择了, 至于atlas...且不谈纯fp16训练到处都是坑, 光生态就谈不上能用了

评论

https://lambdalabs.com/blog/nvidia-rtx-a6000-benchmarks/

nlp.png (58.4 KB, 下载次数: 0)

2021-3-11 15:33 上传



先是追求性能,然后才是性价比。(这句话有点矛盾)
优先用最新一代架构的。20系的只要有就行(复现一些用老框架的模型用)




评论

兄台用过atlas?可以多介绍一些信息吗?
看纸面性能atlas一张能顶2张3090,价格约等于涨价前的3090

正准备用torch.cuda.amp,利用混合精度加速,不知道有没有什么经验传授给我。

评论
V100 SXM4 x4

还有 PyTorch 对混合精度加速应该比较完善了,如果只是使用框架不需要关注混合精度的具体实现。

评论

谢谢。不知道为什么Titan Xp一手和二手还是那么贵,想买一块,却又没什么性价比。

评论

用不了torch.cuda下的任何东西, 需要自己改成torch.npu下的对应实现
loss scale很多地方得自己修才能用
需要fp32计算的算子会引入贼大的开销, 但这部分显然无法避免(bn之类)
实际res101训练还没双卡t4快
能选择3090的情况下选这玩意是纯粹和自己过不去


评论

多谢!看来还是老老实实的用3090

评论

而且不知道你从哪看来的价钱和涨价前的3090差不多 用于训练的300T比A6000贵

评论

我偶尔在一个页面上看到价格1.5w。如果300T比A6000还贵,谁还愿意花高价格买不太成熟的东西。

评论
我也是4张3090,跑seq2seq模型用fp16跑(没有做什么优化,只是把tensor转为fp16,然后开policy = mixed_precision.Policy('mixed_float16')),在tensorflow 2.5 nightly上性能还有点下降。

评论
1.5w你看到的十有八九是300I或者300C, 300T贵在有大规模互联能力, 比较接近老黄sxm卡的定位

评论

专业!
四块间都有nvlink吗?一次可以用四块卡吗?

评论

tensorflow不太熟悉。输入不需要转为半精度吧?先前的时候框架自动帮你转吧。

评论

要显式的转换,否则会报错

TypeError: Input 'b' of 'MatMul' Op has type float16 that does not match type float32 of argument 'a'.

评论

tf2用mixed_float16 policy的时候不需要显式转换
比如

```
import tensorflow as tf
import numpy as np
tf.keras.mixed_precision.experimental.set_policy('mixed_float16')
i = tf.keras.layers.Input((32, 32, 4))
o = tf.keras.layers.Conv2D(16, 3, padding='same')(i)
o = tf.keras.layers.Conv2D(16, 3, padding='same')(o)
o = tf.keras.layers.Conv2D(16, 3, padding='same')(o)
m = tf.keras.Model(i, o)
m.compile(loss='mse', optimizer='adam')
m.fit(np.random.random((1, 32, 32, 4)), np.zeros((1, 32, 32, 16)))
for layer in m.layers:
    print(layer.name, layer.input.dtype, layer.output.dtype)
```
```
INFO:tensorflow:Mixed precision compatibility check (mixed_float16): OK
1/1 [==============================] - 3s 3s/step - loss: 0.0878
input_1 <dtype: 'float32'> <dtype: 'float32'>
conv2d <dtype: 'float32'> <dtype: 'float16'>
conv2d_1 <dtype: 'float16'> <dtype: 'float16'>
conv2d_2 <dtype: 'float16'> <dtype: 'float16'>
```







评论

3090现在跑fp16没有加速好像,并且旧的混合精度加速的东西应该不能跑了,还有就是tf这边稳定版依旧不能很好的支持。
其他家的训练加速器厂商的对标的应该是农企而不是老黄,R7在矿潮涨价之前只卖3千多。
据传涡轮3090停产也不知道到底啥情况。某为在忽悠我们试试他们的部署卡,我们日常用的2060涨疯了


评论

这个函数不支持,tf.matmul,你可以试一下。 我的代码里面没用到这个函数,但是tf自身应该用到了。

评论

这个早就支持了
```
...
i = tf.keras.layers.Input((4, 4))
o = tf.keras.layers.Lambda(lambda x: tf.matmul(x, x))(i)
o = tf.keras.layers.Lambda(lambda x: tf.matmul(x, x))(o)
m = tf.keras.Model(i, o)
...
```
INFO:tensorflow:Mixed precision compatibility check (mixed_float16): OK
1/1 [==============================] - 1s 707ms/step - loss: 60.6875
input_1 <dtype: 'float32'> <dtype: 'float32'>
lambda <dtype: 'float32'> <dtype: 'float16'>
lambda_1 <dtype: 'float16'> <dtype: 'float16'>

评论

我这里就是报错。你的tf是什么版本的?

评论

手上最老的版本是2.1.0 是没问题的

评论

有,但是暂时用不上。

评论

最新的呢?这个版本不支持安培吧。好像2.4一下都不支持。我的版本是2.5 nightly,1月3号的。主要是cuda 11,你是自己编译的版本么?

评论

2.4.1(自己编译的, cuda11.1)和ngc的20.10-tf2-py3(2.3.1+nv), 21.02-tf2-py3(2.4.0+nv)都是没问题的

评论

1 tZs_GDIky6ex5YuyVQ0gUA.png (179.97 KB, 下载次数: 0)

2021-3-11 18:34 上传



30系大幅提升了fp32算力, fp16侧没有同步提升, 所以纸面上fp16峰值算力在30系上相比fp32没有加速, 不像20系那样通常加速明显, 但省显存以及降低显存带宽压力的提升还是在的
不过话要说回来, 混合精度数据类型转换开销也是存在的, 所以取决于具体框架以及模型, 用混合精度反而更慢是挺常见的情况

评论

他们家的推理加速卡据说某些算子的有性能问题,存在工具转好后还要微调的情况。我道听途说。

评论
纯粹科研的话没必要追求fp16吧,毕竟强调复现

评论
amd的mi100 可以试试 tensorflow 和 pytorch能跑 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
 ·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 {日本国际学校}梅田インターナショナルスクール
·日本学校 LINE:sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル=140円台まで上昇?
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
 ·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办?

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&amp;6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...