其实从PascalMaxwell这代开始，NVENC就有一个 Motion-Estimation-only mode，可以让NVENC只返回motion vector。当时这玩意主要拿来优化编码，虽也能辅助插帧用，但看资料说，准确度太差，所以至今也没见实际插帧应用...？
然后这次... Turing带来了升级版... NVIDIA Optical Flow （我没找到别的名字，官方文档就这么叫的...）
SVP最近的版本开始初步支持Turing的Optical Flow，但明确说要1660之上。
结合1650 NVENC阉割到了Volta这一说，Optical Flow的功能应该来自于Turing NVENC。
NV说，Turing这代主要是预测准确度提高了，对于强烈的画面变化也有更好的鲁棒性
pasted-image-0-11.png (53.28 KB, 下载次数: 0)
pasted-image-0-9.png (20.13 KB, 下载次数: 0)
另外，NV说这个流顶点预测的过程不消耗CPU和SP... 就剩下生成画面的性能开销了
NV给了个4K视频插针的性能对比，他们的方案有7倍于 基于Flownet2方案的性能，当然画质稍差（PSNR 多1dB）...
所以...
是不是意味着，除了可以DLSS脑补分辨率外，往后还可以用这玩意脑补帧率了... 当然延迟另说，也不是所有游戏都延迟敏感...
NV其实也说了一句这话：
老黄：骚年，你愿意用画质换取300%的fps吗？
评论
我记得这个不能提供实时性能。
评论
我只要个视频插针就好
评论
嗯，不知道延迟什么情况，要是200ms内那有些游戏还能接受，不然没的玩。
SVP开始支持这东西了，回头体验下...
评论
SVP支持了
不过写的是初步支持，但标注的是全硬件加速
评论
svp是加速视频。。视频没有反馈，本身就没有延迟这一说法。游戏是有反馈的。
游戏是 上一帧计算的方案才下来，在这一帧生成时间内计算，下一帧开始计算前就必须反馈结果，否则就会感觉到严重的延迟，online运算。视频是我可以计算，每一帧的计算方案从打开视频的时候就确定了，offline计算。
评论
我回的aibo - - 他要说要插帧...
没说SVP和游戏有直接关系
评论
延迟应该是 3d渲染1帧的生成时间+光流计算时间+补的1帧的画面生成时间*补n帧。
你说的视频『每一帧的计算方案从打开视频的时候就确定了』指的啥？
评论
视频不需要反馈，所以在使用光流插值的时候，可以先把光流场计算好，而游戏要等用户做出操作 => 渲染一帧 => 计算光流场 => 然后再插值。用户操作到下次操作的反馈有一个规定严格的计算时间要求，视频没有这个要求。无需等待反馈意味着它的算法总是最大效率的运行。
评论
看了下相关资料，感觉它的作用主要就是解放sp，用NVENC专用单元做segmentation和tracking，这样又是如何插值的实在搞不明白。
评论
嗯，延迟大概就是我上头写的那个加法吧？
其实是可以规范出一个 适合插插帧的实际fps范围，以及适合插帧的游戏类型的，就像DLSS一样，有条件限制。
比如一个塞车游戏，2K下，GPU性能实际能输出30fps，算下来渲染1帧33ms，也就是说不插帧的时候，从输出到画面反馈，大概延迟33ms，最后就是 33ms延迟玩30fps的游戏。
这个情况下，如果要倍帧到60fps，那么就要考虑到光流计算时间+1帧生成时间，
目前能找到的性能测试结果是 ~750 fps at 720p decode + 360p infer.
因为不知道生成inter帧用的CPU还是GPU，啥算力的GPU，以及decode和inter占的性能开销比例，所以只能拍脑袋，就当1080p inter 速率是1/10 = 75fps（看SVP的性能实际应该更高些），那么1桢就是13ms，向上取当他20ms吧，总插帧延迟就是33ms + 20ms，总画面延迟就是33ms + 33ms + 20ms*1 = 83ms，也就是 83ms延迟玩60fps的游戏，貌似能接受？特别是赛车这种非fps游戏- -？
但如果实际fps过低，比如10fps，插帧到60fps，那么总延迟就是 100ms+100ms+20ms*5 = 300ms，就不能接受了
评论
这个单元只是拿来计算/预测 flow vector 的运动的，插帧画面的生成 还是需要别的算力的
但同样一桢画面，用预测直接生成个位图，总比渲染3d的开销 小得多吧？
评论
大概就是根据光流场确定（预测）inter帧邻近像素的值。
评论
对的
我明天试试SVP靠Optical Flow脑补出来的画面，看看和motion vector方式出来的差别...
adobe的光流插帧，对场景切换处理的特别差... 不知道SVP怎么搞定这个。
评论
出来那天我就试过了，抛开svp本身提供的10bit支持不说，别的效果甚至不如afm，运动预测只能使用1080p的输入，4k视频需要先resize下来一份才行。场景切换，svp侦测到前后帧差别过大时，有两种处理方法，混合前后帧，和重复当前帧。adobe这里完全没有做任何的特殊处理。
评论
指的adobe那个，还是SVP+光流？
评论
前面一句是说的svp+nvof，后面说的adobe。
总结下，效果上SVP>>AFM>SVP+NVOF>>Adobe OF
评论
天下第一刀的刀法！哎
要1660+…………
评论
现在都找不到SVP+NVOF转出来的视频demo...
NVOF支持4K输入，所以这是SVP自己的问题么...
不过SVP也写明说是初步支持，不知道后续会如何
评论
200ms... 人的手对几ms的延迟都能感觉出来，FPS游戏就别指望了
评论
其实，Maxwell这代GM206和GM204+的NVENC和NVDEC就不一样...
GM206的NVDEC强于GM204+，但NVENC缺弱于GM204+
所以真的就是老黄迷之刀法和迷之执念搞的鬼
但，Maxwell这代，老黄没有去明说GM206的NVENC用的Maxwell 1.0的...
评论
是的
所以，后面细讨论的时候，加上了 要用是有条件的。
评论
。。。demo自己转个不就好了，用svp自己的转码或者是avs vps调用svpflow转都很方便。
4K支持，我觉得不像是SVP自己的问题，SVP自己生成的脚本专门加了一个nvof_div变量来控制输入nvof视频的尺寸。我则是直接输入4k之后，报错才发现的。
nvof_src = BicubicResize(input,Int(Int(input.width/nvof_div)/4)*4,Int(Int(input.height/nvof_div)/2)*2)
smooth=SVSmoothFps_NVOF(input, smoothfps_params, nvof_src=nvof_src, mt=threads, src=src)复制代码这个是SVP生成的avs脚本里面的一段，很简单的用法。比原来mvtools或者svp自己的先生成运动向量，再处理的两段要简单得多，当然可控的参数也少的多。
电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本中文新闻 唐田绘里香为新剧《极恶女王》剃光头 展现演员决心
·日本中文新闻 真子小室夫妇新居引发隐私担忧
·日本中文新闻 前AKB48成员柏木由纪与搞笑艺人交往曝光
·日本学校 ｛日本国际学校｝梅田インターナショナルスクール
·日本学校 LINE：sm287 陳雨菲、20歳、台湾からの留学生、東京に来たばかり
·日本留学生活 出售平成22年走行48000km 代步小车
·日本华人网络交流 円相場 一時1ドル＝140円台まで上昇？
·日本华人网络交流 问日本华人一个问题
·日本旅游代购 富山接机
·生活百科 英国转澳大利亚转换插头
·汽车 【求助】修车遇到困难怎么办？