摘要:一个研究团队最近开发了一种突破性的神经形态暴露控制(NEC)系统,该系统在极端照明变化下彻底改变了机器视觉。该生物学启发的系统模仿了人类外围视力,以在动态感知环境中实现前所未有的速度和稳健性。...
由计算机科学系和Yifan Evan Peng教授领导的研究团队与澳大利亚国立大学的研究人员合作,在香港大学工程学院(HKU)的工程学院领导下的电气与电子工程系,该研究团队最近与澳大利亚国立大学的研究人员合作开发了一种突破性的神经性暴露控制(NEC)系统,以使机器范围造成极大的变化。发表在自然通讯,这种受生物学启发的系统模仿了人类外围视力,以在动态感知环境中实现前所未有的速度和稳健性。
传统的自动曝光(AE)系统依赖于迭代图像反馈,从而造成了鸡肉和蛋的困境,在突然的亮度转移(例如,隧道,眩光)中失败。 NEC系统通过集成事件摄像机(捕获人均亮度为异步“事件”的传感器)解决了这一问题,并与新型的三连线事件双积分(TEDI)算法变化。这种方法:在单个CPU上以1.3亿次活动/秒运行,从而实现边缘部署。
该文章的第一任作者Shijie Lin先生解释说:“就像我们的学生如何立即适应光线一样,NEC模仿了视网膜途径之间的生物学协同作用。” “通过将事件流与物理光指标融合在一起,我们绕过传统的瓶颈,以提供照明不可能的视觉。”
在测试中,团队在关键任务的情况下验证了NEC:
- 自动驾驶:当车辆将隧道退出遮阳阳光时,提高了检测准确性(地图 +47.3%)。
- 增强现实(AR):在手术灯下进行手动的姿势估计(PCK)提高了11%。
- 3D重建:在传统方法失败的环境中启用了连续。
- 医疗AR援助:尽管调整了动态的聚光灯调整,但仍保持清晰的术中可视化。
贾潘教授说:“这一突破是通过弥合生物学原理和计算效率之间的差距的差距,这代表了机器视觉的重大飞跃。NEC系统不仅解决了传统暴露控制的局限性,而且还为从自动驾驶汽车到医疗机器人的实际应用中的自适应和弹性视觉系统铺平了道路。”
埃文·彭(Evan Y. Peng)教授评论说:“我们的合作工作在推动神经形态工程的界限方面起了重要作用。通过利用基于事件的感应和以生物为灵感的算法,我们创建了一个系统,它不仅在极端的条件下更快,而且在极端的条件下也更加强大。这是对互动研究中的多样化挑战的动力。
从长远来看,NEC范式提供了一种新颖的事件框架处理方案,该方案减少了高分辨率事件/图像的处理负担,并将生物学成分原理纳入机器眼的低级控制中。这为相机设计,系统控制和下游算法开辟了新的途径。该团队在各种系统中体现神经形态协同作用方面的成功是一个里程碑,它可以激发许多光学/图像/神经形态处理管道,并暗示对该行业的直接经济和实际影响。