如何假装自己胆子很大？

首先，隔着防护网给老虎拍一段视频：

图丨参考资料1

然后，用一股神秘的力量“逼退”防护网：

图丨参考资料1

这时候就可以骄傲地告诉别人，我是和老虎正面对刚过的人。老虎扬起头张开嘴，我都稳如泰山，手里的镜头晃也不晃一下（误）。

那么问题就是，这一股神秘的力量从何而来？

有只AI，在背后操控了一切。它由台湾大学领衔出品，凭着精湛的法术登上了计算机视觉顶会CVPR 2020。

暗中观察一举一动

所以，AI是怎样抹杀防护网的？

它用的是光流（optical flow）大法。这个概念在1940年代就出现了，描述的是观察者眼里物体的运动情况。

观察者可以是人类的肉眼，也可以是摄影机的镜头；物体的运动可以是它自己造成的，也可以是肉眼或者镜头的运动造成的。

视频里的每一个像素点，在帧与帧之间发生的位移，都会被记录下来。光流法便是利用这些，来估计物体发生了怎样的运动。

光流界大前辈FlowNet 2.0的作品丨参考资料2

具体到老虎的视频里，要把防护网看作遮挡物，把其他部分看作背景。因为镜头在动，所以视频里遮挡物和背景都在运动，但它们的运动是有差异的，这种差异会被光流法灵敏地捕捉到。

AI就是利用它们之间的运动差异，把防护网（遮挡物）分离出来：

抠下来了丨参考资料1

而抠掉防护网之后，原本被它遮挡的地方成了残缺，需要修复。

那么，修复的依据是什么？运动的摄影机，拍下了不同角度的画面。每一帧里，背景被遮挡的部分都不同，露出的部分也不同。一帧露出的部分，可能成为修复其他帧的参考资料。

视角不同，遮挡关系就不同丨参考资料1

总结一下，一是抠出遮挡物，二是修复背景。看起来，这是两步就能完成的轻松任务？

现实没有这么简单，需要循序渐进。科学家们把任务分成了三个阶段，从粗糙到精细，每个阶段都要在不同尺度上估计光流和修复背景。两个步骤要交替进行三个回合。

这样，科学家们才获得了肉眼难辨真假的科学画面：

瞬间拆除丨参考资料1

于是问题又来了：直接识别防护网的特征不就好了，为什么要用光流这么麻烦？

毕竟，你可能没有向别人炫耀自己胆大的需求，却有隔着玻璃拍照的需求呢。比如，在水族馆拍鱼的时候自己的影子乱入，在博物馆拍展品的时候自己的影子又乱入……

这只AI除了可以抹掉防护网，也负责消除各类“鬼影”：

无影小能手，简称无影手（误）丨参考资料1

只要向它投喂一组不同角度拍下的画面，就可以了。

除了解锁清爽无鬼影的画面，还可以把影子里的景色也还原出来：

左为原始视频，右为分离出的影子丨参考资料1

另外，像去除雨滴这样的经典任务，也难不倒它。研究团队在论文里说，不同类型的遮挡物，都可以用这一种算法来消除。

掌控雨滴，掌控雷电（误）丨参考资料1

其实，光流法的多才多艺，人类也不是头一次领教了。

万物通吃的法术

去年，商汤的科学家们孕育的一只AI，能直接从一段影像里抹去一个人物，依靠的也是光流。

比如，水塘里的一只火烈鸟不见了：

我亲爱的基友，你去哪了？丨参考资料3

比如，训练场上扑街的萌新警官朱迪消失了，空留下她踩出的水坑：

融进雪水里就不丢人了丨参考资料3

比如，机场酣战中的蜘蛛侠突然隐身，只剩蛛丝缠住巨大化的蚁人，令对手身陷恐怖片：

小朋友，你是否瑟瑟发抖？丨参考资料3

对算法来说，再活蹦乱跳的人物，也只是不同形态的遮挡物而已。

谁也逃不出AI的支配。

参考文献

[1] Liu, Y. L., Lai, W. S., Yang, M. H., Chuang, Y. Y., & Huang, J. B. (2020). Learning to See Through Obstructions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 14215-14224).

[2] Ilg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. (2017). Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2462-2470).

[3] Xu, R., Li, X., Zhou, B., & Loy, C. C. (2019). Deep flow-guided video inpainting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3723-3732).

作者：栗子

编辑：odette

本文来自果壳，未经授权不得转载.

如有需要请联系sns@guokr.com

来源: 果壳