干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

2018-12-28 14:41:16 来源:网络整理 作者:管理员

原标题:干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

来源:Github; Arxiv 编辑:文强,金磊【新智元导读】英伟达团队CVPR-18论文Super SloMo使用深度学习,能将任意视频变为“高清慢速播放”模式,从此不再错过任何细节。今天有人开源了PyTorch实现,赶紧来试试吧!

总有那么一些细节,你瞪大双眼拼了命想看清却依然奈不了何,比如下面这个:

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

跟得上球吗?要看清男子羽毛球比赛的细节实在不容易

有时候想盯住飞来飞去的羽毛球,非常吃力,这就是人类肉眼的极限。

你或许会说,好解决啊,用慢速回放功能就行了。

确实可以回放,慢速回放的前提,是摄像机一开始就捕捉到了这些细节。如今,一些大型体育赛事已经用上了工业高速摄像头,为的就是在裁判的裁决引发争议时,可以用慢镜头回放来判定结果。

但是,没有专业的高速摄像头怎么办?

像我们用智能手机拍的视频,记录下生活中很多美好,随风飘逝的晚霞,又或者池塘溅起的涟漪,还有孩子们在泳池里泼水嬉戏,如果都能够放慢了观看,必将带来全新的感受。

正因如此,当今年计算机视觉顶会CVPR举行时,英伟达团队的一篇能让手机拍摄的视频也“高清慢速播放”的论文,在业界引发了很大的反响。

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

这项被称为Super SloMo的工作,使用深度神经网络,对视频中缺失的帧进行预测并补全,从而生成连续慢速回放的效果。

更赞的是,他们提出的方法,能够排除原视频帧当中被遮挡的像素,从而避免在生成的内插中间帧里产生模糊的伪像(artifact)。

值得一提,这篇论文的第一作者,是本硕毕业于西安交通大学、现在马萨诸塞大学阿默斯特分校读博四的Huaizu Jiang第二作者 Deqing Sun是英伟达学习与感知研究小组的高级研究员,本科毕业于哈工大,硕士读的港中文,在布朗大学取得博士学位后,在哈佛 Hanspeter Pfister 教授的视觉研究小组做过博士后。

感受一下Super-SloMo生成的“慢速回放”效果:

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

注意,左右两边都是Super SloMo生成的视频。左边是原始慢速视频,右边是将这个结果再放慢4倍的效果,如果不告诉你中间的细节(帧)是神经网络生成的,你会不会把它们当做真的慢速回放?来源:Huaizu Jiang个人主页

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

实际用手机拍摄的画面是这样的,对比后,意识到Super SloMo补充多少细节了吗?

论文作者称,他们能将30FPS(画面每秒帧数)的视频变为480FPS,也即每秒帧数增加了16倍。

根据Super SloMo项目主页,作者表示,使用他们未经优化的PyTorch代码,在单个NVIDIA GTX 1080Ti 和 Tesla V100 GPU上,生成7个分辨率为1280*720的中间帧,分别只需要0.97秒和0.79秒。(补充说明:从标准序列30-fps生成240-fps视频,一般需要在两个连续帧内插入7个中间帧。)

Super SloMo效果展示。来源:NVIDIA

效果当然称得上惊艳。然而,令很多人失望的是,论文发布时并没有将代码和数据集公开,尽管作者表示可以联系 Huaizu Jiang 获取部分原始资料。

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

仅在论文中提到的数据和示例。来源:Super SloMo论文

今天,有人在 Github 上开源了他对 Super-SloMo 的 PyTorch 实现。这位ID为atplwl的Reddit用户,在作者提供的adobe24fps数据集上预训练的模型(下图中pretrained mine),实现了与论文描述相差无几的结果。

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

现在,这个预训练模型,还有相关的代码、数据集,以及实现条件,都能在GitHub上查到。

自称新手的atplwl表示,他目前在努力完善这个GitHub库,接下来预计添加一个PyThon脚本,将视频转换为更高的fps视频,欢迎大家提供建议。

https://github.com/avinashpaliwal/Super-SloMo

Super SloMo:将任意视频变为“高清慢速播放”

代码在手,再看论文——前文已经说过,从已有视频中生成高清慢速视频是一件非常有意义的事情。

除了专业的高速摄像机尚未普及到每个人手里,人们用手机拍摄的视频 (一般为240FPS) 想要放慢的时刻是不可预测的,要实现这一点就不得不用标准帧速率来记录所有视频,但这样做需要的内存过大,对移动设备来说耗电量也花不起。

现在,计算机视觉领域,除了将标准视频转换为更高的帧速率之外,还可以使用视频插值来生成平滑的视图转换。在自监督学习中,这也可以作为监控信号来学习未标记视频的光流。

不过,生成多个中间视频帧 (intermediate video frame) 是具有挑战性的,因为帧必须在空间和时间上是连贯的。例如,从30-fps标准序列生成240-fps视频,需要在两个连续帧内插入7个中间帧。

成功的解决方案不仅要正确解释两个输入图像之间的运动(隐式或显式),还要理解遮挡 (occlusion)。 否则,就可能导致插值帧中产生严重的伪像,尤其是在运动边界附近。

现有方法主要集中于单帧视频插值,而且已经取得了不错的进展。然而,这些方法不能直接用于生成任意高帧率视频

虽然递归地应用单帧视频插值方法生成多个中间帧是一个很不错的想法,但这种方法至少有两个限制:

  • 首先,递归单帧插值不能完全并行化,速度较慢,因为有些帧是在其他帧完成后才进行计算的(例如,在七帧插值中,帧2取决于0和4,而帧4取决于0和8)。
  • 其次,它只能生成2i-1个中间帧。因此,不能使用这种方法有效生地生成1008 - fps 24帧的视频,这需要生成41中间帧。

论文 Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation 提出了一种高质量的变长多帧插值方法,该方法可以在两帧之间的任意时间步长进行插值

其主要思想是,将输入的两幅图像扭曲到特定的时间步长,然后自适应地融合这两幅扭曲图像,生成中间图像,其中的运动解释和遮挡推理在单个端到端可训练网络中建模。

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

Super SloMo效果展示:注意在放慢过渡区域对伪像的处理。

具体来说,首先使用流量计算CNN来估计两幅输入图像之间的双向光流,然后线性融合来近似所需的中间光流,从而使输入图像发生扭曲。这种近似方法适用于光滑区域,但不适用于运动边界。

因此,Super SloMo 论文作者使用另一个流量插值CNN来细化流近似并预测软可见性图。

通过在融合之前将可见性图应用于变形图像,排除了被遮挡像素对内插中间帧的贡献,从而减少了伪像。

干掉高速摄像头!神经网络生成极慢视频,突破人类肉眼极限(PyTorch实现)

Super SloMo网络架构

“我们的流计算和插值网络的参数都独立于被插值的具体时间步长,是流插值网络的输入。因此,我们的方法可以并行生成任意多的中间帧。”作者在论文中写道。

为了训练该网络,团队从YouTube和手持摄像机收集了240-fps的视频。总量有1.1K视频剪辑,由300K个独立视频帧组成,典型分辨率为1080×720。

然后,团队在其他几个需要不同插值数量的独立数据集上评估了训练模型,包括Middlebury 、 UCF101 、慢流(slowflow)数据集和高帧率(high-frame-rate) MPI Sintel。

实验结果表明,该方法明显优于所有数据集上的现有方法。 团队还在KITTI 2012光流基准上评估了无监督(自监督)光流结果,并获得了比现有最近方法更好的结果。

Super SloMo项目主页:https://people.cs.umass.edu/~hzjiang/projects/superslomo/

Super SloMo PyTorch实现Github地址:

https://github.com/avinashpaliwal/Super-SloMo

显示全文
为您推荐
耸怎么读
耸怎么读

【导读】 耸怎么读,下面是小编为你收集整理的,希望对你有帮助!sǒng。耸,中国汉字。该字的基本字义是:高起,直立的意思,如:高耸入云、耸立、耸拔、耸峙。又意:惊动或聋的意思。耸相关词语:耸肩、耸惑、修耸、逼耸、耸恿、严耸、巉耸、耸壑、耸切、耸拔等。笔顺:撇、点......

发布时间:2023-06-01 11:01:03

张子枫:获华表奖优秀女演员奖很幸福
张子枫:获华表奖优秀女演员奖很幸福

第十八届、第十九届中国电影华表奖23日在北京揭晓。张子枫凭借《我的姐姐》获第十九届华表奖优秀女演员奖。 谈到获奖感受,张子枫说自己感觉很幸福,挺开心的。她坦言作为演员大家都一样,说不想得到奖.........

发布时间:2023-06-01 10:03:09

如来杀的是真孙悟空 如来杀死孙悟空的论据有哪些
如来杀的是真孙悟空 如来杀死孙悟空的论据有哪些

【导读】 如来杀的是真孙悟空 如来杀死孙悟空的论据有哪些,下面是小编为你收集整理的,希望对你有帮助!在传说中说写到的是如来杀了孙悟空,因为不论是记载,还是《西游记》后期的演绎,都能看出很多的破绽,从分析上看,如来与六耳猕猴在之前就应该是认识的,但是如来通晓天下事,这一点有些解释不通。其实如来很明显就......

发布时间:2023-06-01 09:01:04

林西娅游乐园写真上线 俏皮灵动尽显温柔气质
林西娅游乐园写真上线 俏皮灵动尽显温柔气质

日前,林西娅在自己社交平台晒出一组新写真街拍。照片中,林西娅一身粉色毛衣秋冬感初显,落日余晖下玩耍流连于旋转木马之上,时而俏皮灵动、时而温柔妩媚。并配文到:保持童心,才不会变成无趣的大人。心态积极向上.........

发布时间:2023-06-01 08:03:15

赛太岁的法宝是什么?紫金铃(拥有它能战无不胜)
赛太岁的法宝是什么?紫金铃(拥有它能战无不胜)

【导读】 赛太岁的法宝是什么?紫金铃(拥有它能战无不胜),下面是小编为你收集整理的,希望对你有帮助!我国四大名著《西游记》中,出场的人、神仙、妖怪等人物除了自身有些本领外,都是会有法宝护身的,不管这个法宝是不是自己的,但是一定很好用。那大家知道赛太岁的法宝是什么吗?小编今天就跟大家科普一下吧。赛太岁......

发布时间:2023-06-01 08:01:03

任家萱挺孕肚游泰国
任家萱挺孕肚游泰国

5月25日,Selina任家萱在个人交际账号晒出一组旅行照。现在,Selina正处于孕中期,她和宝宝的状况都很不错,身体条件完全允许她出国旅游。Selina此次出国之旅去的是泰国,品尝了很多当地美食的.........

发布时间:2023-06-01 07:03:11

黄瓜生吃好还是熟吃好 黄瓜怎么样吃更健康一些
黄瓜生吃好还是熟吃好 黄瓜怎么样吃更健康一些

【导读】 黄瓜生吃好还是熟吃好 黄瓜怎么样吃更健康一些,下面是小编为你收集整理的,希望对你有帮助!黄瓜是很多人喜欢吃的美食,夏天可能很多人会生吃黄瓜,那么黄瓜到底是生吃好一些还是煮熟吃好一起呢,和小编一起了解探索一下吧。黄瓜生吃好还是熟吃好其实黄瓜最好不要生吃,很多人知道黄瓜不仅可以减肥,同时还可......

发布时间:2023-06-01 07:01:03

收视大爆,《请叫我总监》低开高走的背后,这帮配角居功至伟
收视大爆,《请叫我总监》低开高走的背后,这帮配角居功至伟

在4月份播出的一众新剧中,《请叫我总监》是这其中让人印象最深刻的一部,甜宠类剧作本就有着广泛的受众群,但却鲜少能够上星,显然《请叫我总监》与以往的甜宠类剧作有很大的不同。这部剧作虽然是将男女主角的感情.........

发布时间:2023-06-01 06:53:18

吴京回应张译华表奖封帝
吴京回应张译华表奖封帝

在5月还有一个电影周,2023海浪电影周在阿那亚再次启航。其中张译和吴京等也出席阿那亚电影周盛典,这是他们自中国观察奖以来第二次联手出席该活动。吴京回应张仪华表奖时说,他真诚地祝贺皇帝作为影帝,网友说.........

发布时间:2023-06-01 06:03:09

烤箱烤大虾多长时间
烤箱烤大虾多长时间

【导读】 烤箱烤大虾多长时间,下面是小编为你收集整理的,希望对你有帮助!烤箱烤大虾需要十分钟。将虾稍微腌制一下,200度,十分钟就好。烤箱停止之后,还有余温,可以再放置五分钟再拿出来。记得最后在虾背上铺上黄油,并且烤前烤箱需要180度预热5分钟。烤虾是一道美味的菜品,制作......

发布时间:2023-06-01 06:01:03

何自强:一位电影解说UP主的电影梦
何自强:一位电影解说UP主的电影梦

如果你喜欢电影,或许你刷到过他的视频——扁豆看电影。这个账号在全网的粉丝超过千万,解说过的电影也接近500部,它背后的主人叫何自强。现在的他已经不仅是个UP主(指在视频网站、论坛等上传视频音频文件的人.........

发布时间:2023-06-01 05:03:11

什么叫动车
什么叫动车

【导读】 什么叫动车,下面是小编为你收集整理的,希望对你有帮助!指轨道交通系统中装有动力装置车辆,包括机车和动力车厢两大类。动车装配有驱动车轮,而与之相对应地无驱动装置车辆为拖车。动车为安装有车轮驱动机器设备铁路车辆,不是动车组。不仅高速列车中有动车,所有火车类型......

发布时间:2023-06-01 05:01:03