“简而言之,Deep Fusion是一种先进的计算摄影形式,可以进行排列,为您挑选最佳照片”
Apple非常喜欢夸张,以至于没有像“绝对惊人”,“之前没有任何东西”和“真正令人难以置信”这样的短语,没有Apple活动感觉完整。客户和技术新闻界同样已经习惯了苹果公司的自我拍照 - 毕竟,即使该品牌确实具有将现有技术的重新版本作为革命性的炫耀趋势,它仍然只是有效。在最近结束的iPhone 11然而,事件,库比蒂诺巨人本身有点不同,从一次发射转移到另一次以轻快的速度,没有任何劳动。不过,这并没有阻止Phil Schiller将他们的新相机技术标记为“计算机摄影疯狂科学”。我们在这里谈论的是Apple的Deep Fusion技术,如果您想知道它是什么以及您为什么要关心,请继续阅读。
它是什么?
在各种可能的方式中,Deep Fusion完全符合计算摄影的既定定义。为了重新记忆,计算摄影可以定义为一个系统,其中处理单元的算法主要负责在拍摄一张照片后产生合成照片。在典型情况下,它使用智能手机内部的图像信号处理器(ISP)来增强传感器和镜头在无数数学计算中捕获的图像,以产生现有光学设置本来不可能的图像。
借助Deep Fusion,Apple正在进一步推动计算摄影。苹果公司的大赌注不仅仅依赖于互联网服务供应商,而是放弃了对神经引擎或神经处理单元(NPU)的大部分责任,以便在拍摄照片时使用更多的计算能力。通过这样做,在Apple的新iPhone上拍摄的任何图像都将被拍摄多张照片,然后Deep Fusion将采用并增强元素以创建具有最佳平衡色彩,丰富细节,纹理,白平衡和噪点的照片。鉴于Apple通常在其相机中使用顶级硬件,结果,至少在纸面上,应该是出色的。
它是如何工作的?
在新款iPhone 11,iPhone 11 Pro和iPhone 11 Pro Max中,一系列算法可在打开相机应用程序时指示成像系统采取行动。这将其设置为其操作的关键位,其中相机准备好在您实际按下快门按钮之前拍摄一组拍摄对象。这样做的主要原因是ISP本身,它被编程为在按下快门时总共拍摄9张照片 - 四张快速曝光照片,四张次要照片和一张长曝光照片。
在按下快门按钮之前实际点击了前8个镜头,并且在点击快门时,所讨论的iPhone将拍摄主体的长时间曝光照片。重要的是要注意,这里的“长时间曝光”对于普通智能手机照片的标准快门速度是主观的,并且可能低于1/2或1/6秒。一旦拍摄完这些图像,这就是Apple A13 Bionic SoC上的新神经引擎的开始,参考该技术的Deep Fusion部分。
在这里,神经引擎从24百万像素或2400万像素的组合数据创建整个图像帧,以在照片的每个部分中拍摄的九个镜头中选择最佳。在更精细的术语中,对于最终照片中的每个最终像素,训练神经引擎的算法以从拍摄的九个图像中挑选出最佳像素。即使在现代系统级芯片处理单位的说法中,也就是在超过一秒的范围内处理相当大量的数据 - 从按下快门到查看照片之前。
由于Deep Fusion的基本任务是改变所有拍摄的曝光时间,因此神经引擎可为每个像素提供多种指标供您选择。基本上,一旦您点击图像,A13 SoC的神经引擎就可以决定最佳对比度,清晰度,保真度,动态范围,色彩准确度,白平衡,亮度以及与图像相关的所有其他因素。与相机基本上由具有更宽范围的可变因素玩弄,深融合技术应理想地产生具有更高的动态范围,令人难以置信的高水平的复杂的细节,优异的低光成像,噪声水平低和色彩的非常准确的图像。
另一个应该受益的领域是低光摄影,苹果公司通过自己的夜间模式宣传。在低光照条件下,Apple将长曝光图像的亮度优势与短曝光图像的稳定性,细节和精确度相结合,创造出各种各样的超级图像,在黑暗中提供出色的拍摄对象,同时保持稳定性和不会造成模糊的镜头。在这种情况下,Deep Fusion可能会显示其功能最多,因为在白天,它将取决于Apple是否获得其算法来正确判断颜色。
它与其他技术有何不同?
说实话,Deep Fusion并不完全是开创性的,甚至不是新的。三年前,索尼在其昔日的旗舰产品索尼Xperia Z5上推出了预测性拍摄,该拍品过去总共拍摄了四张照片 - 三张照片是在拍打快门之前拍摄的,另一张是按下它。这个想法是为了帮助用户拍摄稳定,稳定的快速移动物体照片,或者快速移动自己 - 例如赛道上的超速赛车,或者在快速车内的路上独特的树。
预计Google Pixel 4将进一步改进计算摄影。
索尼着名的摇摇欲坠的界面意味着该功能太迟钝和错误,并且通常会在按下快门时冻结相机应用程序。因此,尽管是智能手机上最早的计算人工智能摄影制造商之一,但索尼却未能充分利用它,就像480和960fps的超慢动作视频一样。另一方面,谷歌使用突发HDR成像更加智能。它使用轻量级界面,资源友好的相机应用程序和优秀的ISP,在Google Pixel 3上提供15次HDR +计算摄影。这与Schiller声称的iPhone 11独有的“疯狂科学”完全相同 - 从按下快门到观看照片之前,这一切都需要大约一秒钟,其中Pixel 3相机在HDR +中拍摄同一主题的15张图像,
坦率地说,Deep Fusion唯一独特的游戏,就像它到目前为止所看到的那样,在于它点击的额外长曝光图像。长曝光帧可以在选择正确的亮度和亮度级别时为神经引擎提供良好的杠杆作用,尤其是在昏暗的设置中。也就是说,在拍摄速度,整体细节等方面,看看Apple的计算摄影是否真的具有Google对其算法的影响力肯定会很有趣。
那么,这是一个大问题吗?
对于Apple来说,Deep Fusion是对备受瞩目的Google Pixel相机的回应。Android的制造商已经在过去几代Pixel智能手机上进行了计算摄影,虽然许多报道称苹果已落后,但现在iPhone上有责任展示其所有神经引擎和软件可以做什么。
然而,就目前而言,很难说Deep Fusion是否真的是一种值得被称为“疯狂科学”的技术,或者会逐渐淡出另一种苹果的夸张。
免责声明:本文由用户上传,如有侵权请联系删除!