作為一年一度的AI行業(yè)頂級盛會,2022世界人工智能大會(WAIC)于9月1日至3日在上海成功舉辦,帶來了眾多關于AI技術創(chuàng)新、產(chǎn)業(yè)應用與價值創(chuàng)造的新思路、新實踐。作為當下最具增長潛力的人工智能應用賽道之一,AI視覺感知的相關技術與企業(yè)在會上受到廣泛關注,人工智能視覺感知芯片研發(fā)及基礎算力平臺公司愛芯元智的展臺前也人頭攢動,其自研核心技術AI-ISP的中文名“愛芯智眸®”正式公布,基于愛芯智眸®AI-ISP打造的暗箱實驗室在現(xiàn)場格外吸睛。
大幅提升暗光場景成像性能,愛芯智眸®AI-ISP的“獨門絕技”
當影像成為記錄生活的重要方式,人們對圖片和視頻畫質的追求越來越高,這也對ISP芯片提出了更高的要求。
如同人類視覺和成像設備之間的“翻譯”,ISP(圖像信號處理器)負責對前端圖像傳感器的輸出信號進行優(yōu)化處理,讓最終的數(shù)字圖像盡可能接近人眼看到的實景,甚至呈現(xiàn)出更好的效果。由于與其配套使用的鏡頭和傳感器在物理學上已接近極限,傳統(tǒng)ISP整體技術觸及“天花板”,尤其在暗光和高動態(tài)場景下,圖像失真和信息損失不可避免。
在此背景下,愛芯元智創(chuàng)新性地將AI引入ISP,利用愛芯智眸®AI-ISP技術在多種視覺處理場景下帶來了成像畫質的顯著提升。據(jù)悉,愛芯智眸®AI-ISP顛覆了傳統(tǒng)ISP純硬件通路的設計方式,通過將ISP中的幾個關鍵硬件模塊抽離并用AI算法取而代之,例如對去噪的3DNR、demosaic等功能進行AI化,將有限的算力集中在了最關鍵、人眼最可知的功能中,實現(xiàn)整個AI ISP的最佳效果。而通過迭代AI模型,在芯片已經(jīng)回片、硬件無法提升和優(yōu)化的情況下,愛芯智眸®AI-ISP也依然可以訓練AI的降噪模型和高動態(tài)模型,由此不斷提升圖像處理質量。
當前,暗光場景是AI-ISP與傳統(tǒng)ISP最大的區(qū)別場景,愛芯元智也在此次WAIC2022展臺現(xiàn)場設置暗箱實驗室,通過實時對比測試,展現(xiàn)愛芯智眸®AI-ISP在極低照度環(huán)境下的優(yōu)異成像表現(xiàn)。可以看到,在極低照度環(huán)境下,植入愛芯智眸®AI-ISP的暗光相機依然可以清晰拍攝暗箱中的玩偶,且在色彩還原、暗光降噪等方面表現(xiàn)突出。而在優(yōu)秀的暗光處理能力之外,愛芯智眸®AI-ISP也在高光抑制、解析力提升、偽紋偽色處理等方面都比傳統(tǒng)ISP更具優(yōu)勢。
值得一提的是,不同于芯片行業(yè)中單一的算法研究,愛芯元智對AI-ISP的研究還包括提供算法、大算力和復合精度的NPU,聯(lián)合設計下的內存使用及模塊間通信,以及AI-ISP在實踐中所需要的完整工具鏈和交付方案,而這些都是決定AI-ISP能否真正投入商用的關鍵。目前,愛芯元智作為第一個將AI-ISP技術在芯片上實現(xiàn)商業(yè)化落地并規(guī)模量產(chǎn)的公司,已實現(xiàn)兩代端側邊緣側AI芯片成功量產(chǎn)。
深入端側邊緣側場景,愛芯智眸®AI-ISP持續(xù)拓寬視界
近年來,AI算力逐漸在端側和邊緣側得到釋放,AI視覺技術也在物聯(lián)網(wǎng)端側邊緣側有了越來越多的應用場景,包括智慧城市、智能交通,以及智能手機、運動攝像頭等消費側產(chǎn)品等等。從廣闊的應用場景出發(fā),愛芯元智自成立起便重點布局端側邊緣側AI芯片的設計研發(fā),愛芯智眸®AI-ISP核心技術也基于芯片產(chǎn)品的量產(chǎn)在眾多端側邊緣側圖像處理與應用中展露價值,助力全面提升成像性能。
其中,隨著廣大手機用戶對高質量移動影像需求的提升,智能手機成為AI- ISP優(yōu)先落地的場景之一, 愛芯元智打造的影像專用芯片AX170A即在今年初通過某頭部手機客戶驗收并進入商用階段,標志著愛芯元智系列產(chǎn)品在消費領域的成功落地。現(xiàn)場,愛芯元智也展示了該款手機基于AX170A的“夜景增強”拍攝效果,通過直觀對比可發(fā)現(xiàn),即使在夜晚低照度下,該款手機也能呈現(xiàn)細膩的高清影像,擁有了比人眼更好的夜視能力。
除了智能手機等終端消費電子設備,愛芯智眸®AI-ISP也正在智慧城市、智能交通等領域提高相關場景的成像質量。如在智慧城市領域,愛芯元智在展會現(xiàn)場帶來了業(yè)界首款AI-ISP雙光融合產(chǎn)品實測效果展示,其可以實現(xiàn)高色彩保真,在0.01lux極低照度下重現(xiàn)原生自然細節(jié);智能交通領域,愛芯元智展出的黑光BSD智能攝像機則可以在夜晚暗光場景下智能檢測車輛盲區(qū)的人、車、騎行者、路沿、欄桿等障礙物,通過預警及報警助力行車安全。
在用AI大幅提升端側邊緣側智能設備的感知成像能力的同時,愛芯智眸®AI-ISP也在應用成本上更具優(yōu)勢。基于AI模型的靈活性,愛芯智眸®AI-ISP的技術覆蓋場景相對廣泛,如可用一顆芯片實現(xiàn)對智慧城市和智能手機這兩個完全不同領域的市場覆蓋,大大降低用戶端的AI綜合應用成本。
“愛芯智眸®”,意在發(fā)揮視覺感知技術優(yōu)勢,讓AI-ISP賦能不同智能終端,帶來突破傳統(tǒng)瓶頸的優(yōu)異畫質。此次于WAIC2022正式發(fā)布AI-ISP中文名并帶來系列應用場景展示,愛芯元智表達了于AI視覺感知領域繼續(xù)發(fā)展超越的決心。面對AI-ISP這一成像領域未來最重要的風口之一,愛芯元智也將探索技術創(chuàng)新并注重提升產(chǎn)業(yè)賦能價值,積極開拓更廣闊的市場發(fā)展空間,用視界改變世界。