PG电子最新网站入口从华为辞职创业他用AI技术将夜间图像亮度提升200倍刚刚融资
发布时间:2024-05-18 12:23:27

  PG电子最新网站入口从华为辞职创业他用AI技术将夜间图像亮度提升200倍刚刚融资数千万所谓“AI增强夜视”,是指通过计算机视觉和深度学习卷积网络技术,能够在0.001Lux的极低照度下实现全彩细节成像。

  对于人眼来说,适宜阅读的照度约为500Lux,能感受到的极限照度为1Lux,相当于在全黑环境中点燃一根蜡烛。

  目前市场上大部分夜视相机可达到的极限为0.01Lux,也就是月夜下的亮度,而深知未来能达到的最低照度0.001Lux被称为“极弱光”,相当于夜晚星空下的光照强度。

  夜视技术最早诞生于20世纪初,本质是在低照度条件下, 将不可见的辐射加入转换,或将微弱的环境光进行增强,最终得以成像的一种技术。

  这种技术首先需要一个感知光信号的前端设备,也就是图像传感器,负责感知和接收光信号,并将其转变成电信号。

  接下来,前端传感器输出的电压、电流信号就要通过ISP(图像信号处理器),对上一步的输出信号做“后期处理”——

  比如“降噪”,也就是在弱光条件下,当传感器难以接收到足够的光信息PG电子最新网站入口,从而导致发热,产生噪点图像时,去减少这些图案图案噪声,同时保留纹理细节。

  再比如“白平衡”,通过分析来自传感器的亮度信息,计算和控制光圈、快门速度和感光度(ISO) ,使得图像亮度适宜。

  从本质来说PG电子最新网站入口,ISP是一系列图像处理算法的集合,通过各种增强、矫正、去噪、转换等环节,力求还原图像。

  在2018年之前,夜视领域的玩家们大都都选择卷硬件,试图对感光设备进行工艺改进,增加其感光面积。

  其中的最强玩家索尼,就曾花费5年的时间,将低照度感光芯片的光照感知能力从0.14Lux提升到了0.07Lux。

  与此同时,一些特定场景对于最低照度的需求越来越高,比如夜间侦查瞄准等现代军事应用,或者安保监测等公共安全领域,都要求在0.001Lux及以下的星光级环境下仍能成像。

  这篇论文则论证了通过神经网络算法实现ISP全部功能的可能性——即通过深度学习海量场景和数据,输出算法模型,对图像进行精准处理。

  神经网络算法本就是模仿生物神经网络的结构所建立的,因此,这就像是将人类复杂的视觉神经网络融入ISP,使其成为了真正的“视觉处理中枢”

  这篇论文在当年被计算机视觉顶会CVPR收录,而文中提出的方法也为夜视领域带来了一条全新思路。

  他本科就读于武汉大学的计算机科学与技术专业,毕业后先后任职于华为和腾讯,在腾讯创新中心、腾讯研究院、IEG等多个部门历任研发、策划和管理职务。

  公司的另一位联合创始人兼CTO郭奇锋曾任腾讯SOSO搜索系统架构师、百度商务搜索部基础检索组技术负责人、小米MIUI 9多个人工智能项目技术负责人。

  英特尔的那篇关键论文在他们公司成立一年后发布,也正是在那一年12月,深知未来获得了南岭投资的种子轮融资。

  在张齐宁看来,AI-ISP的定义,是完成从感光芯片到成像过程的一整个算法集合体,包含20-30个算法,如降噪、锐化、HDR等等。

  但如果通过神经网络实现ISP的所有功能,当时端侧的算力有限,不同功能要全部实现的难度也很高,从商业化角度来说性价比不大。

  此外,不同产品对于视觉成像的要求也不同,因此,一般芯片厂商会预留大量参数,以供产品厂商再做下游的调试。

  在去年的某次采访中,张齐宁提到,整个AI-ISP体系的20-30个算法,有的厂商关注了其中2-4个成像领域,而他们关注了7-8个领域,在涵盖范围和深度上是行业中最大的。

  基于英特尔论文的基本思路,深知未来利用神经网络深度学习噪声和信号的分布特性,在2019年推出了自研的夜视神经网络EODNet(end of dark),意为“黑暗终结者”。

  这套系统能够从极弱光信号中分离噪声和真实信号,在降噪的同时将真实信号增强至正常光环境强度,还能够在复杂光线、抖动和帧率等情况下保持稳定的成像质量。

  从最直观的数字来讲,能够将硬件的最低照度从0.1lux提升至0.003lux,最高能将夜间图像的亮度提升200倍。

  2023年,全球夜视设备市场规模约为89.5亿美元,而国内的夜视设备市场规模同比增长6.3%。

  比如PG电子最新网站入口,公安领域有数据显示,七成以上的犯罪都在晚上7点到次日凌晨5点的时间段内发生,但此前,市面上主流的热成像夜视仪和红外补光夜视仪,成像多为黑白或弱彩,存在目标细节特征不明显等缺点。

  因此,在这种极低照度下的夜间,能够提供彩色清晰的图像,尤其是像衣着颜色、车身颜色、车牌等,往往就能成为破案的关键线索。

  不仅在刑侦领域,还有环境恶劣的边防、山岭和沙漠油田区的违规监控、国家自然保护区的野生动物监测、禁渔期的河流监测,都是低照度全彩夜视成像的应用范围。

  除此之外,面临夜间行驶场景的自动驾驶领域,在拍照功能上无限内卷的手机厂商,都在近些年或多或少地引入了基于AI-ISP的低照度全彩夜视成像,改善图像质量。

  过去一年,深知未来的全彩夜视产品已在多个全天候安防场景中实现落地应用,并与中海油等大型企业建立了深度合作关系。

  对于深知未来,他们目前最大的商业化场景是工业级无人机的全彩夜视相机挂载,也是最早商业化的领域。

  在汽车领域,张齐宁在去年接受采访时透露,公司已与国内一线主机厂商联合开展相关研发,推进夜视模组上车应用。

  而对于C端客户,深知未来也在2023年推出了类似单筒望远镜形态的P8 Pro,和一款单反式的夜视设备P6。

  除了用于产品出海,组建北美小型本地化团队之外,张齐宁也在去年年底时表示,将继续进行AI-ISP的研发。

  在五六年前,业界考虑到端侧算力、训练推理成本等问题,大多建立的是部分传统ISP+部分神经网络流程的管线。

  去年8月,张齐宁在接受媒体“机器之能”采访时这样说。他希望建立一个all in one的神经网络,不再依赖于任何传统ISP管线。

TOP