只有Pixel8Pro具有视频增强功能,这是其发布时宣布的人工智能相机功能之一。摄影:VjeranPavic/TheVerge
当谷歌在Pixel3上推出夜视功能时,这是一个启示。
就好像有人真的打开了你的弱光照片中的灯。以前不可能的拍摄变得可能——无需三脚架或头灯中的鹿闪光灯。
五年后,在黑暗中拍照已经过时了——几乎所有价位上下的手机都配备了某种夜间模式。然而,视频则是另一回事。静态照片的夜间模式会捕获多个帧以创建一个更明亮的图像,并且无法将该功能的机制并粘贴到视频中,而视频本质上已经是一系列图像。最近看来,答案是求助于人工智能。
当Pixel8Pro今年秋天推出时,谷歌宣布了一项名为“夜视视频增强”的功能,该功能将在未来的软件更新中推出。它使用人工智能来处理您的视频-呈现更多细节并增强色彩,这对于低光剪辑特别有帮助。只有一个问题:这一处理是在谷歌服务器的云端进行的,而不是在你的手机上。
正如所承诺的,几周前,随着12月的Pixel更新,VideoBoost开始出现在设备上,包括我的Pixel8Pro评测设备。这很好!但这并不是最初的夜视仪的分水岭时刻。这既说明了夜视仪首次亮相时的令人印象深刻,也说明了视频给智能手机摄像头系统带来的特殊挑战。
左边是原始视频,右边是增强视频。深色凉棚预升压中有更多细节和颜色。
视频增强的工作原理是这样的:首先,也是最重要的是,你需要有一台Pixel8Pro,而不是普通的Pixel8——谷歌还没有回答我关于为什么会这样的问题。当您想要使用它时,您可以在相机设置中将其打开,然后开始录制视频。完成后,需要将视频自动或手动备份到您的Google相册帐户。然后你等着。等待。在某些情况下,请继续等待-VideoBoost可以处理长达十分钟的视频,但即使是长度只有几分钟的剪辑也可能需要几个小时才能处理。
根据您录制的视频类型,这种等待可能值得也可能不值得。谷歌的支持文档称,它的设计目的是让你在任何照明条件下“在Pixel手机上以更高的质量、更好的照明、颜色和细节制作视频”。但视频增强的主要服务是更好的低光视频-这是集团产品经理IsaacReynolds告诉我的。“将其视为夜视视频,因为对其他算法的所有调整都是为了追求夜视。”
当您尝试在非常低的光线下录制视频时,使我们的视频在良好照明下看起来更好的所有过程(稳定、色调映射)都会停止工作。雷诺兹解释说,即使是在低光视频中获得的模糊效果也是不同的。“OIS[光学图像稳定]可以稳定帧,但只能稳定一定长度。”低光视频需要更长的帧,这对稳定性来说是一个巨大的挑战。“当你开始在弱光下行走时,使用那么长的帧,你会得到一种特殊的帧内模糊,这正是OIS可以补偿的残差。”换句话说,这非常复杂。
这一切都有助于解释我在自己的视频增强剪辑中看到的内容。在良好的照明条件下,我看不出有太大区别。有些颜色更流行一点,但我没有看到任何东西会迫使我在可用光线充足的情况下经常使用它。在极低光照条件下,视频增强可以恢复标准视频剪辑中完全丢失的一些颜色和细节。但它并不像相同条件下的普通照片和夜视照片之间的差异那么明显。
不过,在这些极端之间有一个真正的最佳点,我可以看到视频增强确实派上用场。在一个片段中,我在黄昏时沿着一条小路走进装有科比贝尔的黑暗凉棚,在Boost后,阴影细节和稳定性有了明显的改善。我在常规的中低室内照明中使用视频增强功能越多,我就越能看到它的作用。你开始看到标准视频在这些条件下看起来是多么的褪色——就像我儿子在餐厅地板上玩卡车一样。打开视频增强恢复了一些我忘记了的活力。
视频增强仅限于Pixel8Pro的后置主摄像头,并且以4K(默认)或1080p、30fps进行录制。使用视频增强会产生两个剪辑:一个是尚未增强且可立即共享的初始“预览”文件,最后是第二个“增强”文件。但在幕后,还有更多的事情发生。
Reynolds向我解释说,VideoBoost使用完全不同的处理管道,可以保存更多捕获的图像数据,而这些数据在录制标准视频文件时通常会被丢弃-有点像RAW和JPEG文件之间的关系。临时文件会在您的设备上保存此信息,直到将其发送到云端为止;之后,它被删除。这是一件好事,因为临时文件可能很大——较长的剪辑可能会达到几千兆字节。然而,最终的增强视频的大小更加合理——我录制的三分钟剪辑为513MB,而临时文件为6GB。
我对VideoBoost的最初反应是,它似乎是一个权宜之计——一个功能演示,现在需要云才能运行,但将来会移动到设备上。高通公司今年秋天就展示了类似产品的设备版本,所以这一定是最终的游戏,对吧?雷诺兹说他不是这么想的。“你可以在云中做的事情总是比你可以在手机上做的事情更令人印象深刻。”