https://www.tomshardware.com/new ... ng-inference-record,37885.html
AMD and Xilinx partnered to create high-performance inference systems for data centers that Xilinx this week claimed breaks the world record for inference performance. The new systems include Xilinx’s new machine learning accelerator cards, called Alveo, which promise real-time machine learning inference, as well as video processing, genomics and data analytics.
A New Inference World Record
AMD and Xilinx created a new system for data centers that includes a 32-core EPYC 7551 CPU and eight Alveo U250 accelerator cards. The cards will be powered by Xilinx’s ML Suite, which also supports ML software frameworks, such as TensorFlow.
The two companies said that their system reached an inference throughput of 30,000 images per second on the GoogLeNet convolutional neural networks. Such high inference performance is seemingly being requested these days by companies that need to analyze massive amounts of data.
After joining Xilinx CEO Victor Peng onstage at a Xilinx event showcasing this, Mark Papermaster, AMD CTO and senior vice president of technology and engineering, said that new workloads can take advantage of the whole system and not just the CPU.
Xilinx Alveo Accelerator FPGA
Xilinx introduced two new FPGA cards (Alveo U200 and U250), which for the first time are optimized to “accelerate” real-time machine learning inference. The focus here seems to be “real-time” inference because the Alveo cards promise three times lower latency than GPUs with four times the throughput for low-latency applications.
The Alveo cards also promise 20x the performance of a CPU for inference tasks, reaching up to 90x the performance for database searches. They start at $8,995 each, and Xilinx said that it’s now working with OEMs, including Dell EMC, Fujitsu, Hewlett Packard Enterprise and IBM, to qualify them for data centers.
jPrkzqeD2RwLOWfb.jpg (83.88 KB, 下载次数: 0)
9qZNc9RGRLmBfDjl.jpg (115.33 KB, 下载次数: 0)
u200-hero-p.jpg (155.88 KB, 下载次数: 0)
评论
AMD和Xilinx合作为数据中心创建高性能的推理系统，Xilinx本周宣称，该系统打破了推理性能的世界纪录。新系统包括Xilinx的新机器学习加速卡，称为Alveo，它保证实时机器学习推理，以及视频处理、基因组学和数据分析。
一种新的推理世界记录
AMD和Xilinx为数据中心创建了一个新系统，该系统包括一个32核的EPYC 7551CPU和8个Alveo U250加速卡。这些卡将由Xilinx的ML套件供电，它也支持ML软件框架，如TensorFlow。
两家公司表示，他们的系统在GoogLeNet卷积神经网络上达到了每秒30000张图像的推理吞吐量。这些高推理性能似乎是由需要分析大量数据的公司近来提出的。
在参加Xilinx CEO Victor Peng在Xilinx的展示活动后，AMD首席技术官Mark Papermaster、技术和工程高级副总裁说，新的工作负载可以利用整个系统，而不仅仅是CPU。
Xilinx肺泡促进剂FPGA
Xilinx引入了两个新的FPGA卡（Alveo U200和U250），它们第一次被优化用于“加速”实时机器学习推理。这里的重点似乎是“实时”推断，因为Alveo卡承诺的延迟比GPU低三倍，而GPU的吞吐量是低延迟应用程序的四倍。
Alveo卡还保证20倍于用于推理任务的CPU的性能，达到用于数据库搜索的性能的90倍。它们起价为每台8995美元，Xilinx说它现在正在与OEMs合作，包括戴尔EMC、富士通、惠普企业和IBM，以获得数据中心的资格。
评论
费尽心思挖点Vega20的消息进来一看又白瞎了
评论
快了快了
评论
所以重点是那个FPGA卡吧?
评论
amd yes！！！
评论
这是int8推理性能，老黄来个int4推理把它秒了。
评论
单路8卡x16通道，EPYC最极限的状态达到了
评论
没有那么多pcie哪可能那么多卡呢
评论
EPYC其实就是PCI-E交换机，没有什么本质作用。。。。
评论
互爆咯，int4, int2都行，没啥难度的
评论
FPGA的好处是需要多少乘多少的直接自己构建吧，一头进去一头出来，中间不要跑内存。
而其他方案，如果阵列不匹配，需要几个阵列模拟一个大阵列免不了把中间数据暂存内存，结果延迟要大得多。
评论
现在挖矿都是fpga了，machine learning也在跟进
评论
老黄现在的卡就有8倍int4。再往下int2、binary推理已经不具备普遍适用性了，大多用在手机里面。 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？