新聞資訊

機器視覺是自主智能體理解並與物理世界交互的感知基礎。真實視覺場景具有內在的時空異質性：緩慢變化的空間語義提供環境上下文細節，快速變化的時間動態則承載關鍵的瞬態事件。可靠的感知需要同時獲取精細的空間細節和高時間分辨率，但這會產生海量數據，形成壓垮後端存儲、能耗與傳輸能力的“數據牆”。傳統機器視覺系統通常依賴多個並行傳感器分別採集異質信息，再在後端進行時空對齊、特徵提取與計算融合，系統冗余大、資源消耗高。

現有視覺傳感器在感知異質信息時存在根本性權衡。以有源像素傳感器為代表的幀式傳感器通過全幀採樣獲得高空間保真度，但幀率通常固定在 30～60 fps，時間分辨率受限，易出現混疊與動態細節丟失；提高到千赫茲級幀率又會帶來難以承受的帶寬需求。事件驅動傳感器異步響應光強變化，可實現稀疏的微秒級時間感知，但像素級差分電路丟棄了絕對光強，導致空間語義嚴重缺失，且額外電路降低了填充因子與空間分辨率。動態與有源像素視覺傳感器（DAVIS）在像素內同時集成幀式與事件驅動感知，但兩路數據流疊加使數據量進一步增大，並依賴計算密集的後端融合。因此，亟需一種統一的像素單元，能夠在前端自適應處理異質信息流，在保持高場景保真度的同時降低硬件開銷、數據冗余與計算負擔。

成果簡介

有鑒於此，香港理工大學柴揚教授團隊提出了一種基於統一 TransMIS 單元的增強型視覺傳感器，該單元將光電浮柵晶體管與金屬–絕緣體–半導體（MIS）單元集成於同一像素之中。器件以低頻（約 30 fps）非易失地捕獲並存儲緩慢變化的空間語義，同時以事件驅動形式異步增強快速變化的時間動態，實現約 10 μs 的有效時間分辨率，並在像素內完成空間與時間信號的硬件級融合，直接輸出統一的時空表徵。基於 34 × 34 傳感器陣列搭建的原型系統，相比傳統視覺傳感器可將感知產生的數據量降低 96% 以上，同時保持 7.08 的信息熵，並在高層推理任務中取得 >90% 的準確率。該工作為自主智能體實現數據高效、時空精確的機器視覺提供了硬件解決方案。相關成果以「Augmented vision sensors for data-efficient and precise spatiotemporal perception」為題發表在 Nature Sensors 上，第一作者為 Qinqi Ren。

圖注說明

研究團隊首先梳理了異質視覺信息感知面臨的“數據牆”問題。傳統多傳感器架構需在後端完成對齊與融合，而增強型視覺傳感器將異質信息的高效感知前移至傳感器內部。在時間分辨率、像素級硬件開銷、數據量和信息價值四個維度上，幀式傳感器、事件驅動傳感器與 DAVIS 均難以兼顧，而增強型視覺傳感器有望同時取得平衡。

圖1 面向異質世界感知的機器視覺。

增強型視覺傳感器採用「空間語義存儲—時間動態增強—空間語義刷新」的週期性工作模式，其輸出可表示為存儲的空間語義基線與事件驅動光強變化之和。器件採用光譜互補設計：Al₂O₃/Sb₂Se₃/Al₂O₃（30 nm/25 nm/10 nm）構成光電浮柵，Sb₂Se₃ 帶隙為 1.3 eV，可見光吸收系數超過 10⁵ cm⁻¹，通過光輔助隧穿編碼絕對光強並實現非易失存儲；p-Si/Al₂O₃/IGZO（500 μm/40 nm/30 nm）構成的 MIS 單元在可見至近紅外波段具有寬譜光敏性，通過光生載流子的電荷重分布對光強變化進行本徵時間微分。帶隙為 3.4 eV 的 IGZO 在可見至近紅外波段高度透明，僅作為電荷融合溝道，有效抑制寄生載流子注入與光學串擾，融合信號經透明 ITO 電極讀出。

圖2 增強型視覺傳感器的像素設計。(a) 工作原理及柵壓時序示意圖。(b) 基於統一 TransMIS 單元的增強型視覺傳感器結構示意圖。(c) 像素版圖及等效電路。(d) 光譜互補策略示意圖。(e) 用於空間語義存儲的 Sb₂Se₃ 與用於時間動態增強的 Si 的吸收系數。(f) 工作機制示意圖：上圖為通過電荷隧穿實現絕對光強的非易失存儲，下圖為通過電荷重分布實現光強變化的事件驅動增強。(g) 電荷融合層 IGZO 與信號讀出層 ITO 的透過率。(h) 典型 IGZO 晶體管在 1 mW cm⁻² 光強下的波長依賴光響應。

器件工作由週期性柵壓調控能帶結構完成。在負柵壓下，Sb₂Se₃ 中的光生電子隧穿進入 IGZO 溝道，剩餘空穴通過靜電柵控效應提高溝道電導，形成保存空間語義的非易失電流基線；在零柵壓下，MIS 單元無需外加偏壓即可依靠耗盡區內漂移驅動電荷重分布，自驅動地產生事件驅動瞬態電流；在正柵壓下，IGZO 中的電子隧穿回浮柵，擦除存儲電荷並完成復位。連續原始電流曲線清晰呈現了完整週期內的存儲、增強與刷新過程。在定制交通場景中，傳感器先存儲道路標線等靜態語義，再以稀疏事件形式增強快速運動的車輛。

圖3 增強型視覺傳感器的工作原理。(a–c) 空間語義存儲、時間動態增強及空間語義刷新過程的能帶圖。(d) 一個完整週期內的光電操作及連續原始電流輸出。(e) 定制交通場景中的成像輸出：交通標線存儲、快速運動車輛的事件驅動增強及場景刷新。

在空間語義存儲方面，存儲與刷新操作均表現出明顯的電壓依賴性，僅當柵壓超過臨界隧穿閾值時才發生有效狀態切換，體現了 WKB 隧穿概率對電壓的強依賴；非易失狀態可由入射光波長和強度共同調控，實現多級存儲。零柵壓下隧穿勢壘極高，使存儲電荷與時間動態增強過程實現電學隔離。在時間動態增強方面，器件在可見與近紅外波段均產生清晰的事件脈衝，且近紅外響應更強；可探測光功率範圍為 17 nW cm⁻² 至 100 mW cm⁻²，對應動態範圍超過 120 dB，信噪比超過 30 dB，事件響應對稱指數達 0.87。得益於 IGZO/Al₂O₃/Si 界面處的強耗盡區，器件響應時間僅為 3.8 μs，時間分辨率為 10.2 μs，相當於約 100,000 fps 的有效幀率，可無失真地分辨間隔為 10 μs 的連續事件。

图4 增强型视觉传感器的空间语义存储与时间动态增强特性。(a) 100 μs 电脉冲与光脉冲共同作用下的电压依赖空间语义存储输出。(b) 50 μs 电脉冲下的电压依赖空间语义刷新。(c) 不同光照条件下的多级空间语义存储。(d) 时间动态增强示意：光强阶梯式增加产生负向脉冲，光强随后降低产生正向脉冲。(e) 520 nm、660 nm、808 nm 和 980 nm 光照下的波长依赖事件驱动增强。(f, g) 可见光（660 nm）与近红外光（980 nm）照射下事件幅值和对称指数随光强的变化。(h) 所产生事件的响应时间与时间分辨率。(i) 660 nm、1 mW cm⁻² 光照下事件间隔为 100 μs 和 10 μs 时的时间分辨能力。

研究团队构建了 34 × 34 增强型视觉传感器阵列，各像素 TransMIS 单元通过 Cr/Au 金属层以交叉阵列方式互连，并与控制电路、激光光源及反射式空间光调制器组成完整原型系统。阵列首先将字母“P”编码为非易失空间语义，随后投射字母“U”作为瞬态刺激，事件驱动响应与存储的空间语义实现耦合输出。在 240 × 180 分辨率的同一交通场景对比中，1000 fps 高速帧式传感器产生高达 562.5 Mbit 的数据量；事件驱动传感器数据压缩率超过 99%，但信息熵仅为 0.09，违章识别准确率降至约 60%。相比之下，增强型视觉传感器以 30 fps 刷新空间语义、以微秒级分辨率稀疏编码时间动态，数据量降低 96.92%，信息熵保持在 7.08，交通违章识别准确率超过 90%，与全帧视觉系统相当。

图5 用于数据高效、时空精确感知的增强型视觉原型。(a) 基于 34 × 34 传感器阵列的增强型视觉原型架构。(b) 像素级增强型视觉传感器阵列的光学显微图像。(c) 由传感器阵列、空间光调制器及现场可编程门阵列驱动的控制电路构成的原型系统。(d) 阵列级成像输出，字母“P”作为空间语义图案，字母“U”作为瞬态动态刺激。(e) 典型交通场景中空间语义与时间动态组成示意图。(f–i) 帧式传感器、事件驱动传感器、DAVIS 及增强型视觉传感器的成像输出与实时数据生成。(j) 1 s 固定时间窗口内不同视觉传感器产生的数据量。(k) 不同视觉传感器的香农信息熵。(l) 基于不同传感器成像输出的交通违章识别神经网络准确率。

總結展望

該工作提出並實現了一種基於 TransMIS 統一像素單元的增強型視覺傳感器：以低頻非易失方式存儲緩慢變化的空間語義，並以事件驅動方式異步增強快速時間動態，將異質視覺感知的複雜度從數字後端轉移至模擬傳感前端。器件兼具約 10 μs 的時間分辨率、超過 120 dB 的動態範圍以及覆蓋可見至近紅外的寬譜響應；原型系統在數據量降低 96% 以上的同時，保持了 7.08 的信息熵和 >90% 的高層任務準確率，以極低的像素級硬件複雜度突破了傳統機器視覺在數據量、時間精度與信息價值之間的固有權衡。這一時空精確、數據高效的硬件方案有望為自動駕駛、機器人等自主智能體以及下一代機器視覺與具身智能提供高效的前端感知基礎。

文獻鏈接

Augmented vision sensors for data-efficient and precise spatiotemporal perception. Nature Sensors, 2026. https://doi.org/10.1038/s44460-026-00146-9

(內容來源：低維 昂維)