vivo 自研 V1 ISP 芯片全解读:超 300 人 24 个月研发,效率指数级提升

2023-05-26 14:06:19 来源:IT之家
        【每日科技网】
vivo 自研 V1 ISP 芯片全解读:超 300 人 24 个月研发,效率指数级提升

  9 月 6 日消息,vivo 今天在一场影像技术分享会上正式介绍了自家的自研 ISP 芯片 V1,并分享了 vivo 与蔡司联手在手机光学镜头、拍照算法技术方面的新突破。

  vivo 影像产品经理王兆丰说,夜景、变焦、运动防抖、视频等特性是 vivo 影像系统发力的重点方向。在手机拍照领域,“如今算法更重要还是硬件更重要?”是 vivo 此次抛出的核心问题。

  在发布会结尾,vivo 也预热称,9 月 9 日他们的 vivo X70 系列旗舰手机将会发布,除了这次展示的新技术,vivo 还会带来更多拍照技术方面的“惊喜”。

  vivo 影像算法总监杜元甲说,消费者现在不光需要手机在常规场景下拍出好照片,也希望在一些高挑战性场景中拍出好照片,比如暗光、运动场景。

  这些需求都对手机处理图像信息的能力提出了更高的要求。如今拍摄一段 30 帧视频,每帧图像允许处理器进行运算的时间仅有 33 毫秒。

  除此之外,功耗也成了一大挑战:既要提升处理能力,又不能过多增加功耗。为了解决这个问题,vivo 的思路是定制化芯片 + 自研算法结合。

  其实此前 vivo 在引入定制芯片方面已经积累了一定经验:在 vivo X1、Xplay 中,vivo 就将定制 Hi-Fi 芯片放入手机,提升手机音频体验。到 2017 年,vivo 将定制的 DSP 图像芯片放入到 X9 Plus 中,提升手机影像 HDR 表现。

  此次,vivo 组建了超过 300 人的研发团队,经过 24 个月研发,最终推出了 V1 ISP 芯片。杜元甲说,在这枚芯片的研发中,vivo 也与手机 SoC 厂商进行了深度合作,但他并未透露具体厂商名称。

  2019 年,vivo 曾与三星联合研发了 Exynos 980 5G SoC,据称今年 vivo 也将在 X70 系列旗舰中使用三星 Exynos 1080 SoC,可见 vivo 和三星一直以来都保持着良好的合作关系。

  因此我们推测此次 vivo ISP 芯片的合作厂商,大概率是三星。

  V1 是 vivo 自研的第一颗影像芯片,可以搭配不同的主芯片和屏幕,可以扩充 ISP 算力、释放主芯片 ISP 负载。

  这枚 V1 芯片在特定图像处理任务时,在性能、延迟、功耗等方面具有优势,杜元甲说,相比 CPU、DSP 等芯片,V1 处理特定任务的效率有“指数级提升”,也可以完成数据的并行处理。

  vivo 优化了数据在芯片内部的储存架构和高速读写电路,实现了等效 32MB 的“片上高速缓存”,读写速度可以达到 35.84Gbps,而目前主流旗舰级台式机 CPU 的高速缓存也仅有 16MB 左右。

  那么 V1 这样的优化有怎样的效果呢,在夜景拍摄中,去噪、插帧等这类对算力需求较大的算法都可以应用进来。在 V1 辅助下,主芯片可以实现 1080P 60 帧的夜景视频降噪、插帧。

  在 V1 的加持下,主芯片可以在低光录像时,以低功耗运行 4K 30FPS 的 MEMC 去噪和插帧,这辅助并强化了主芯片在夜景下的影像效果,配合主芯片 ISP 原有的降噪功能,实现二次提亮二次降噪。

  值得一提的是,vivo 通过将软件算法转移至 V1 的专用硬件电路中,让复杂的计算成像功能在默认拍照和录像预览下即可开启。

  在高速处理同等计算成像算法时,相比软件实现的方式,V1 的专用算法硬件电路功耗降低了 50%。

  这也就是 vivo 所说的“硬件级算法”。

  vivo 光学器件总监朱盼盼说,去年 vivo 与蔡司达成了合作,从镜片、镜头到滤光片,vivo 都联合蔡司进行了创新。

  他提到,眩光、鬼影、边缘画质差等问题仍然是如今手机拍照的普遍痛点,而这些问题的解决都需要光学器件性能的提升。

  vivo 通过使用高规格玻璃镜片补足了传统塑胶镜片的缺点,朱盼盼特别提到了“阿贝数”这一性能指标,vivo 的玻璃镜片阿贝数达到了 Vd 81.6,相比上代设计视场色差降低约 70%。

  得益于新型玻璃镜片的使用,镜片中心的透光率达到了 95%,相比传统镜片提升了 2%。

  当然,使用玻璃镜片面临许多挑战,比如工艺复杂、良率低,据称这次 vivo 的玻璃镜片工艺步骤有 11 道,每 100 片中才能挑选出 60 片良品。同时,vivo 通过 AOA 工艺,实现了镜片的动态调整。

  为了解决眩光、鬼影等问题,vivo 采用了 SWC 镀膜技术,将镜片表面反射率降低至 0.1%,而此前这一数值为 0.8%,降低了 90%。其核心是在镜片表面上做出“纳米级纹路”。

  另外,vivo 通过 ALD 镀膜工艺,让镜片上形成 0.4nm 均匀分布的光学膜层,从而使反射率均匀值到达 0.25% 左右。朱盼盼特别提到,这些工艺已到达成熟量产阶段。

  为了解决“花瓣鬼影”问题,vivo 通过色素旋涂技术,更好地实现了蔡司 T * 镀膜,可以提升红光的吸收率,从而改善眩光和鬼影问题。

  去年 vivo 和蔡司成立了联合影像实验室,朱盼盼说,蔡司的团队给了他们非常大的帮助。

  王兆丰继续介绍了 vivo 在拍照软件算法层面的突破,vivo 通过三年 10 款机型的打磨,形成了自己一套成像色彩风格。

  不过专业的创作者,更偏向于还原人眼看到的真实色彩,为此,vivo 与蔡司联手打造了“蔡司自然色彩”色彩标准。

  vivo 在 P3 色域基础上,选择了 140 色卡指定色彩标准,与蔡司共同制定色彩标准,为了适应更加精细的色彩标准,vivo 在粗调试中增加了色彩映射矩阵算法,将调试参数增加到 384 个。

  通过这些调试,vivo 将照片色相准确度提升了约 15.5%。

  另外 vivo 选择“复刻”蔡司 Biotar 镜头提升人像拍摄的效果,但是复刻需要解决不少难题,比如 Z 方向景深的模拟、XY 方向像场的变化、还原镜头光斑。

  在这其中,vivo 通过深度卷积网络,学习了 28W 张人像分割照片、10W 张手势分割图片;另外 vivo 建立了虚化模型,实现 3D-POP 虚化效果。

  在还原镜头光斑形状方面,vivo 通过散焦滤波核生成技术,对不同镜头的光斑进行更真实的模拟。

  除了这些算法之外,vivo 在人像拍摄、延时摄影、10bit Log 视频拍摄、超级夜景等方面也进行了优化。

  vivoRAWHDR3.0 算法,提升了夜景拍摄样张的色彩表现,通过 SuperRAW 功能,实现了 14bit 色深,支持 10 帧合成。

  在自研 ISP 芯片 V1、定制光学镜片、提升镜片加工工艺的同时,vivo 也在算法上继续打磨,联合蔡司进行调教。

  可以看到,算法的实现需要出色硬件的辅助,随着如今图像数据量增加,图像画质要求提升,算法对于硬件性能要求也“水涨船高”,自研 ISP 芯片无疑成为了厂商们的一个新的突破口。

  小米、vivo 纷纷推出自研 ISP 芯片,OPPO 的自研 ISP 芯片也正在路上,如今在手机拍照领域,硬件 + 软件“两条腿走路”已经成为了大趋势。我们也期待厂商们未来能在芯片层创新上带来更多突破。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

智能家居:未来生活的革命性变革

随着科技的飞速发展,智能家居正逐步走进千家万户,成为现代生活不可或缺的一部分。从智能音箱到全屋智能系统,每一项创新都在重新定义着“家”的概念,让居住空间变得更加安全、便捷与舒适。本文将深入探讨智能家居

1周前

三星首款垂直卷轴手机专利曝光

近日,一项三星新专利遭到曝光,引发了业界对未来智能手机形态的热烈讨论。与以往横向卷轴设计不同,这款专利设备采用垂直延展方式,有望成为三星首款“垂直卷轴手机”,带来更加自然且实用的使用体验。根据专利草图

三星

1周前

vivo X200s评测:优雅全能旗舰

和往年相同的是,vivo同样在今年上半年,带来了X200系列的小迭代机型——vivoX200s。通过官方不断的宣传能够看到,X200s是一款从外观到内部全面迭代的产品。通过更具果味的直屏设计,搭配更适

区块链革命:开启未来科技新纪元

区块链技术,这个曾经在比特币中默默无闻的幕后英雄,如今正大步流星地走向舞台中央。它不仅重塑了我们对信任和安全的认知,更在多个领域掀起了一场前所未有的技术革命。我们就来一探究竟,看看区块链技术是如何在不

1周前

AI未来人工智能机器人怎么连

随着科技的飞速发展,人工智能已经逐渐渗透到我们生活的方方面面。AI未来人工智能机器人作为人工智能技术的重要应用之一,正以其独特的魅力和强大的功能,改变着我们的生活方式。本文将围绕“AI未来人工智能机器

1周前

智能家居是如何工作的

智能家居,这个曾经只存在于科幻电影中的概念,如今已悄然走进千家万户。它通过物联技术,将家中的各种设备连接起来,实现远程控制和自动化管理。当你下班回家前,只需轻轻一点手机,空调就开始提前制冷,热水器烧好

1周前