智能視覺物聯網(SVIoT),興起正當時
行業無舊貌,萬象有新意。對于任一TO B、TO C產業而言,「聯」無界;「智」未來,是其終局。而在此進程中,技術不斷在演進與突破。之于當下,萬物互聯成為常態,而智能視覺物聯網(Smart Vision for the Internet of Things)則是新未來。
智能視覺物聯網是物聯網的一次「再升級」,利用各類圖像傳感器,包括監控攝像機、手機、數碼相機,獲取人、車、物圖像或視頻,采用圖像視頻模式識別技術對視覺信息進行處理, 提取視覺環境中人、車、物視覺標簽,并通過網絡傳輸與視覺標簽應用系統連接,經過加工與分析,讓這些數據進一步為生活帶來便利;并且通過技術進步,讓視覺技術進入普通人家庭與生活,解決人們日常生活中切身的問題。
這是全新賽道,與傳統IoT/AIoT有所異同,都屬智能硬件陣營,但SVIoT聚焦視覺,不像后兩者的泛在聯接。與視頻編解碼,AI加速,算法分析,多傳感器融合,互聯網,大數據,云計算等技術融合后,SVIoT呈現的視界,前所未見。
新賽道,必有先入者,也有后來者。君正是最早一家全身心地聚焦SVIoT賽道,提供從芯片,到AI算力,到開發平臺,再到算法整合一體化解決方案的芯片公司,且在這個賽道爭先取得大量訂單。
或許,SVIoT的「芯」征,誰先跑幾步,將來會領先市場很多步。
SVIoT的落地與興起離不開高性能,高可靠性的芯片方案支撐。
SVIoT芯片不僅需要傳統攝像機相關的技術要素(如成像技術,視頻壓縮技術等),同時需要具備支持聲、光、熱、電、力學、化學、生物、位置等多模數據融合處理的強大算力,更需要能走入千家萬戶的成本控制能力。然而,市面上此類功能「強芯」鳳毛菱角,尤其部分高端芯片受地緣政治影響出現「芯慌」,市面上更是缺乏替代者,如何讓SVIoT發展有“芯”可依,成了行業所期。
聚焦視覺+AI賽道,T40為SVIoT而生
與傳統IoT芯片不同,T40芯片更具象化,其以視覺為核心,兼容處理多種聲、光、電感知信息,集ISP+AI+Video+算法于一體,采用XBurst2雙核CPU,支持多種感知信號的集中接入及處理。
T40芯片支持接入CMOS/YUV/TOF/BT1120等光學信號、codec/aMIC/dMIC/I2S等聲學信號、THTB/MEMS/9-axis/LiDAR/Radar等傳感器信號等;同步支持多種信號輸出方式,如RMII/WiFi/MCU-WiFi/4G/BT/Sub-x等網絡傳輸,TFT/MIPI-DSI/SLCD/BT1120等顯示輸出系統以及I/O擴展口輸出等。
在視覺應用中,目前大部分方案只支持視頻處理。而隨著市場對感知需求從零散稀疏走向無處不在;從后知后覺走向先人一步;從輔助系統走向生產系統;從單一感知走向多維融合;從事倍功半走向效能增倍;從各自為政走向有效協同。如此多智能需求,感知是第一步,也是最為關鍵一步。所以,前端設備在獲取圖像信息同時,也需要音頻拾取、周圍紅外、煙感、環境檢測等感知信號接入。不僅如此,感知信號多樣化接入同時,信號的輸出與聯動,如音頻輸出(雙向對講)、本地報警信號輸出,與交通系統、消防系統、安全防護系統聯動等。
傳統方案明顯無法滿足如此眾多智能需求,不過,基于Magik平臺及算法伙伴構建的解決方案生態,T40擁有大量成熟的方案基礎,便于軟硬件快速成型,利于開發出各種需要處理多維感知信息、高算力的SVIoT設備,讓前端形成智能核心,進而實現云—邊—端感知組網。
全息全能的「馭光術」
視界即世界!
圍繞視覺應用全天候和全場景需求,T40芯片采用君正第三代ISP圖像處理技術,對圖像進行光源矯正、膚色還原、3D降噪去拖影、銳化提升、ADR自適應、全局通透增強、WDR/HDR、色噪降噪、強光抑制、雙目合成等應用;支持最高4K(2169P)超高清視頻編碼能力,同時兼容H.264、H.265等多種編解碼壓縮方式,實現視頻流的高效壓縮,同等畫質、幀率條件下,帶寬可降低35%~85%,大大節約存儲空間的占用率,進而降低整體方案的硬件成本。
真正考驗一款芯片性能是否優異,背光環境、低照度全彩環境、星光級夜視圖像處理能力最能體現出芯片的處理效果。實際上,T40芯片在這三個場景中都有專業級的表現。以背光環境為例驗證其寬動態效果,關閉搭載T40芯片攝像機的寬動態功能,畫面上的強光場景及室內背光場景均無法清晰展示畫面細節;而當開啟寬動態功能后,在T40芯片ISP的多幀融合下,畫面強光部分的亮度得到了良好抑制,畫面偏暗部分亮度也得到了良好增強,使得前后景都清晰可辨。
在低照度全彩成像能力方面,T40芯片也有不俗表現。相同低照度場景下,搭載T40芯片方案的低照度全彩圖像畫面干凈清晰,圖像色彩細節不丟失;而搭載其他芯片方案的攝像機圖像噪聲大、色彩丟失嚴重,且畫面銳度差,無層次感。兩相比較,T40芯片方案低照度全彩成像效果凸顯。
而在黑白夜視圖像處理能力上,基于T40芯片處理實現的畫面,較一般芯片方案的夜視效果干凈、無噪聲,且層次感表現明顯。
高算力、全場景、多算法的AI平臺
T40芯片基于AI-Engine引擎,擁有最大8Tops算力,支持4K+AI、1080P+AI、雙攝+AI、顯示+AI等多種智能視覺物聯網方案;需要說明的是,疊加AI運算情況下,T40芯片仍能保持良好的低功耗效果,包含DDR在內最大功耗不會超過1.2W,芯片溫度也能穩定在40℃左右,其中AI引擎的推理功耗小于500mW,最低能耗比達到了震撼的0.05W/T級別,確保系統運行的穩定可靠性。另外低功耗對于產品的小型化,電池化不言而喻。
此外,Magik開發平臺集模型訓練、優化轉換、部署推理于一體,并提供模型檢查器、調優器、性能分析器等工具;廣泛支持各類神經網絡加速,如CNN/RNN/GCN等,也支持傳統CV算法和平面運算的加速;支持int16/in8/int4/in2混合量化,算力利用率可超過70%;而512bit SIMD向量加速指令集,能讓算法運算更靈活,配合協處理器單元,還能對算法進行前后處理優化;并且支持pytorch/tensorflow/mxnet/caffe/onnx等主流框架,便于開展量化感知訓練(QAT)和后量化AI應用。
與此同時,T40芯片支持導入眾多算法廠家的賦能方案,支持車輛識別、車牌識別、行為檢測、文字識別、周界防范、物品檢測、移動偵測等人、車、物及行為的識別與分析功能;搭配原廠提供的各種完整方案、參考代碼、第三方算法以及云平臺資源,還極大簡化了低功耗攝像機方案、槍球聯動方案、VSLAM方案、人臉面板方案、視頻會議方案等的開發流程,并降低研發成本,加速產品上市?;赥40芯片方案,在車牌識別驗證中發現,算法能快速對車輛及其車牌進行鎖定,即便拍攝角度大幅度偏離正常范圍,T40芯片也能精準檢測及識別。
在人和動物檢測驗證中,T40芯片+AI算法加持下,攝像機能輕松檢測人、人臉、動物、姿態、行為,跟蹤鎖定也穩定、可靠,分析精準。
互惠共建SVIoT廣闊生態
更重要的是,在全球芯片大缺貨背景下,君正表示,T40芯片貨源充足,在當前可落地的端級視覺AI芯片產品短缺的情況下,T40芯片已經成為極佳的供應方案,目前已大批量導入多家客戶并獲得應用。
錘煉芯片,絕非朝夕之功,都在歲月里。君正憑借著芯片性能,AI算力,開發環境,超低功耗,成熟方案以及供應安全等諸多優勢,T40未來將有望成為SVIoT新賽道上落地能力極強的芯片平臺,但,如果要創造SVIoT市場指數級的大繁榮,非一己之力可承擔。
如果前面是一片大海,君正希望與伙伴們共舉創新大旗,攜手出航,乘風破浪,這是一場有著光榮與夢想的商業科技之旅。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。