近日，深港微電子學院安豐偉課題組在圖像芯片領域取得新進展，相關研究成果在國際頂級會議ESSCIRC2023以及期刊TCAS-I上發(fā)表。

基于二值化引導濾波的28nm立體匹配芯片

立體匹配是一種從二維圖像獲取三維信息的技術，廣泛應用在無人駕駛和三維重建等領域，但由于其高計算和存儲復雜度，通常需要高算力平臺如GPU進行處理。作者針對立體匹配算法的特性提出兩種SRAM處理架構，首先是設計了一種利用分布式控制器的高帶寬SRAM緩存架構，無需電路定制化并解決了單一SRAM控制器的時序收斂問題。同時，針對傳統(tǒng)圖像處理中多級行緩存架構的容量小但是芯片面積占用率高的痛點，設計了基于single-bank SRAM 圖像行緩存架構，進一步減少了芯片面積和功耗。此外，作者引入了二值化引導濾波后處理架構，通過資源復用以及近似計算的策略,實現(xiàn)大幅精度提升。該設計成功在TSMC 28nm CMOS工藝下流片并測試成功，芯片面積僅有 1.26mm2 實現(xiàn)了 FHD 分辨率下 129fps 的頓率輸出，并且功耗僅有147mW。

圖1 基于二值化引導濾波的28nm立體匹配芯片Die和Layout圖

具有自適應片上存儲壓縮的時域空域視頻降噪?yún)f(xié)處理器

這項工作設計了一種無需片外存儲的時域空域視頻降噪?yún)f(xié)處理器，旨在抑制圖像序列中的高強度噪聲。該協(xié)處理器首先通過空間濾波處理圖像序列，然后在像素級別利用噪聲估計和運動檢測算法將前后圖像幀融合，以實現(xiàn)有效的深度去噪。為實現(xiàn)圖像圖像整幀的片上緩存，定制了能夠自適應動態(tài)調(diào)整壓縮率的類JPEG編解碼器，其可以利用較少的SRAM實現(xiàn)圖像的高質(zhì)量壓縮存儲。實驗證明，協(xié)處理器可以有效消除視頻圖像中的高強度噪聲，尤其在處理對人眼感知較為敏感的噪聲閃爍時，它表現(xiàn)出顯著的抑制效果。另外，通過定制的編解碼器，幀緩沖區(qū)的存儲空間消耗減少約80％。此外，該協(xié)處理器還在Stratix V FPGA平臺上實現(xiàn)了灰度、RGB和RAW等不同版本。

圖2 (a)Noisy image, (b) median filter,(c) our method, (d) Non-local means, (e) STMKF, (f) BM3D, (g)VBM4

去馬賽克算法與芯片架構設計

去馬賽克（Demosaicing）是目前絕大多數(shù)數(shù)碼相機都需要的圖像處理環(huán)節(jié)，其目的是從覆蓋有濾色矩陣（Color filter array，簡稱CFA）的感光元件所輸出的不完全色彩取樣中重建出全彩影像。傳統(tǒng)去馬賽克算法多使用同樣的方法重建所有像素，因此易在重建的圖像邊緣處產(chǎn)生鋸齒，而基于神經(jīng)網(wǎng)絡的新馬賽克算法則有計算復雜度過高，難以被廣泛應用于硬件平臺的問題。針對這些問題，我們設計了一種通過分別重建邊緣像素與非邊緣像素來消除邊緣鋸齒，同時根據(jù)色差對全彩圖像進行濾波以消除偽色（Color artifacts）的去馬賽克算法以及對應的硬件架構。該方案經(jīng)過FPGA與180nm工藝庫仿真的驗證，實現(xiàn)了在較低的資源消耗下達到較好的去馬賽克效果。

圖3 去馬賽克與濾波效果對比

以上論文研究工作得到科技部重點研發(fā)計劃、市級科研經(jīng)費、以及中微電高性能GPU聯(lián)合實驗室的經(jīng)費支持。

相關論文及鏈接：

[1]P. Dong, Z. Chen, K. Li, L. Chen, K. -T. Cheng and F. An, "A 1920×1080 129fps 4.3pJ/pixel Stereo-Matching Processor for Pico Aerial Vehicles," ESSCIRC 2023- IEEE 49th European Solid State Circuits Conference (ESSCIRC), Lisbon, Portugal, 2023, pp. 345-348, doi: 10.1109/ESSCIRC59616.2023.10268790.

論文連接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10268790

[2] Y. Zhang, X. Wang, G. Shi, Z. Peng, L. Chen and F. An, "Anti-Aliasing and Anti-Color-Artifact Demosaicing for High-Resolution CMOS Image Sensor," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3290157.

論文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099

[3] G. Shi et al., "A Spatio-Temporal Video Denoising Co-Processor With Adaptive Codec," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3311486.

論文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099

（來源：南方科技大學深港微電子學院）