新闻资讯

机器视觉是自主智能体理解并与物理世界交互的感知基础。真实视觉场景具有内在的时空异质性：缓慢变化的空间语义提供环境上下文细节，快速变化的时间动态则承载关键的瞬态事件。可靠的感知需要同时获取精细的空间细节和高时间分辨率，但这会产生海量数据，形成压垮后端存储、能耗与传输能力的“数据墙”。传统机器视觉系统通常依赖多个并行传感器分别采集异质信息，再在后端进行时空对齐、特征提取与计算融合，系统冗余大、资源消耗高。

现有视觉传感器在感知异质信息时存在根本性权衡。以有源像素传感器为代表的帧式传感器通过全帧采样获得高空间保真度，但帧率通常固定在 30～60 fps，时间分辨率受限，易出现混叠与动态细节丢失；提高到千赫兹级帧率又会带来难以承受的带宽需求。事件驱动传感器异步响应光强变化，可实现稀疏的微秒级时间感知，但像素级差分电路丢弃了绝对光强，导致空间语义严重缺失，且额外电路降低了填充因子与空间分辨率。动态与有源像素视觉传感器（DAVIS）在像素内同时集成帧式与事件驱动感知，但两路数据流叠加使数据量进一步增大，并依赖计算密集的后端融合。因此，亟需一种统一的像素单元，能够在前端自适应处理异质信息流，在保持高场景保真度的同时降低硬件开销、数据冗余与计算负担。

成果简介

有鉴于此，香港理工大学柴扬教授团队提出了一种基于统一 TransMIS 单元的增强型视觉传感器，该单元将光电浮栅晶体管与金属–绝缘体–半导体（MIS）单元集成于同一像素之中。器件以低频（约 30 fps）非易失地捕获并存储缓慢变化的空间语义，同时以事件驱动形式异步增强快速变化的时间动态，实现约 10 μs 的有效时间分辨率，并在像素内完成空间与时间信号的硬件级融合，直接输出统一的时空表征。基于 34 × 34 传感器阵列搭建的原型系统，相比传统视觉传感器可将感知产生的数据量降低 96% 以上，同时保持 7.08 的信息熵，并在高层推理任务中取得 >90% 的准确率。该工作为自主智能体实现数据高效、时空精确的机器视觉提供了硬件解决方案。相关成果以“Augmented vision sensors for data-efficient and precise spatiotemporal perception”为题发表在 Nature Sensors 上，第一作者为 Qinqi Ren。

图注说明

研究团队首先梳理了异质视觉信息感知面临的“数据墙”问题。传统多传感器架构需在后端完成对齐与融合，而增强型视觉传感器将异质信息的高效感知前移至传感器内部。在时间分辨率、像素级硬件开销、数据量和信息价值四个维度上，帧式传感器、事件驱动传感器与 DAVIS 均难以兼顾，而增强型视觉传感器有望同时取得平衡。

图1 面向异质世界感知的机器视觉。

增强型视觉传感器采用“空间语义存储—时间动态增强—空间语义刷新”的周期性工作模式，其输出可表示为存储的空间语义基线与事件驱动光强变化之和。器件采用光谱互补设计：Al₂O₃/Sb₂Se₃/Al₂O₃（30 nm/25 nm/10 nm）构成光电浮栅，Sb₂Se₃ 带隙为 1.3 eV，可见光吸收系数超过 10⁵ cm⁻¹，通过光辅助隧穿编码绝对光强并实现非易失存储；p-Si/Al₂O₃/IGZO（500 μm/40 nm/30 nm）构成的 MIS 单元在可见至近红外波段具有宽谱光敏性，通过光生载流子的电荷重分布对光强变化进行本征时间微分。带隙为 3.4 eV 的 IGZO 在可见至近红外波段高度透明，仅作为电荷融合沟道，有效抑制寄生载流子注入与光学串扰，融合信号经透明 ITO 电极读出。

图2 增强型视觉传感器的像素设计。(a) 工作原理及栅压时序示意图。(b) 基于统一 TransMIS 单元的增强型视觉传感器结构示意图。(c) 像素版图及等效电路。(d) 光谱互补策略示意图。(e) 用于空间语义存储的 Sb₂Se₃ 与用于时间动态增强的 Si 的吸收系数。(f) 工作机制示意图：上图为通过电荷隧穿实现绝对光强的非易失存储，下图为通过电荷重分布实现光强变化的事件驱动增强。(g) 电荷融合层 IGZO 与信号读出层 ITO 的透过率。(h) 典型 IGZO 晶体管在 1 mW cm⁻² 光强下的波长依赖光响应。

器件工作由周期性栅压调控能带结构完成。在负栅压下，Sb₂Se₃ 中的光生电子隧穿进入 IGZO 沟道，剩余空穴通过静电栅控效应提高沟道电导，形成保存空间语义的非易失电流基线；在零栅压下，MIS 单元无需外加偏压即可依靠耗尽区内漂移驱动电荷重分布，自驱动地产生事件驱动瞬态电流；在正栅压下，IGZO 中的电子隧穿回浮栅，擦除存储电荷并完成复位。连续原始电流曲线清晰呈现了完整周期内的存储、增强与刷新过程。在定制交通场景中，传感器先存储道路标线等静态语义，再以稀疏事件形式增强快速运动的车辆。

图3 增强型视觉传感器的工作原理。(a–c) 空间语义存储、时间动态增强及空间语义刷新过程的能带图。(d) 一个完整周期内的光电操作及连续原始电流输出。(e) 定制交通场景中的成像输出：交通标线存储、快速运动车辆的事件驱动增强及场景刷新。

在空间语义存储方面，存储与刷新操作均表现出明显的电压依赖性，仅当栅压超过临界隧穿阈值时才发生有效状态切换，体现了 WKB 隧穿概率对电压的强依赖；非易失状态可由入射光波长和强度共同调控，实现多级存储。零栅压下隧穿势垒极高，使存储电荷与时间动态增强过程实现电学隔离。在时间动态增强方面，器件在可见与近红外波段均产生清晰的事件脉冲，且近红外响应更强；可探测光功率范围为 17 nW cm⁻² 至 100 mW cm⁻²，对应动态范围超过 120 dB，信噪比超过 30 dB，事件响应对称指数达 0.87。得益于 IGZO/Al₂O₃/Si 界面处的强耗尽区，器件响应时间仅为 3.8 μs，时间分辨率为 10.2 μs，相当于约 100,000 fps 的有效帧率，可无失真地分辨间隔为 10 μs 的连续事件。

图4 增强型视觉传感器的空间语义存储与时间动态增强特性。(a) 100 μs 电脉冲与光脉冲共同作用下的电压依赖空间语义存储输出。(b) 50 μs 电脉冲下的电压依赖空间语义刷新。(c) 不同光照条件下的多级空间语义存储。(d) 时间动态增强示意：光强阶梯式增加产生负向脉冲，光强随后降低产生正向脉冲。(e) 520 nm、660 nm、808 nm 和 980 nm 光照下的波长依赖事件驱动增强。(f, g) 可见光（660 nm）与近红外光（980 nm）照射下事件幅值和对称指数随光强的变化。(h) 所产生事件的响应时间与时间分辨率。(i) 660 nm、1 mW cm⁻² 光照下事件间隔为 100 μs 和 10 μs 时的时间分辨能力。

研究团队构建了 34 × 34 增强型视觉传感器阵列，各像素 TransMIS 单元通过 Cr/Au 金属层以交叉阵列方式互连，并与控制电路、激光光源及反射式空间光调制器组成完整原型系统。阵列首先将字母“P”编码为非易失空间语义，随后投射字母“U”作为瞬态刺激，事件驱动响应与存储的空间语义实现耦合输出。在 240 × 180 分辨率的同一交通场景对比中，1000 fps 高速帧式传感器产生高达 562.5 Mbit 的数据量；事件驱动传感器数据压缩率超过 99%，但信息熵仅为 0.09，违章识别准确率降至约 60%。相比之下，增强型视觉传感器以 30 fps 刷新空间语义、以微秒级分辨率稀疏编码时间动态，数据量降低 96.92%，信息熵保持在 7.08，交通违章识别准确率超过 90%，与全帧视觉系统相当。

图5 用于数据高效、时空精确感知的增强型视觉原型。(a) 基于 34 × 34 传感器阵列的增强型视觉原型架构。(b) 像素级增强型视觉传感器阵列的光学显微图像。(c) 由传感器阵列、空间光调制器及现场可编程门阵列驱动的控制电路构成的原型系统。(d) 阵列级成像输出，字母“P”作为空间语义图案，字母“U”作为瞬态动态刺激。(e) 典型交通场景中空间语义与时间动态组成示意图。(f–i) 帧式传感器、事件驱动传感器、DAVIS 及增强型视觉传感器的成像输出与实时数据生成。(j) 1 s 固定时间窗口内不同视觉传感器产生的数据量。(k) 不同视觉传感器的香农信息熵。(l) 基于不同传感器成像输出的交通违章识别神经网络准确率。

总结展望

该工作提出并实现了一种基于 TransMIS 统一像素单元的增强型视觉传感器：以低频非易失方式存储缓慢变化的空间语义，并以事件驱动方式异步增强快速时间动态，将异质视觉感知的复杂度从数字后端转移至模拟传感前端。器件兼具约 10 μs 的时间分辨率、超过 120 dB 的动态范围以及覆盖可见至近红外的宽谱响应；原型系统在数据量降低 96% 以上的同时，保持了 7.08 的信息熵和 >90% 的高层任务准确率，以极低的像素级硬件复杂度突破了传统机器视觉在数据量、时间精度与信息价值之间的固有权衡。这一时空精确、数据高效的硬件方案有望为自动驾驶、机器人等自主智能体以及下一代机器视觉与具身智能提供高效的前端感知基础。

文献链接

Augmented vision sensors for data-efficient and precise spatiotemporal perception. Nature Sensors, 2026. https://doi.org/10.1038/s44460-026-00146-9

(內容來源：低維 昂維)