新晉創業公司泓觀科技(otureo.ai)日前發布了面向物聯網(IoT)端的超低功耗異步卷積神經網絡芯片。
據悉,該款芯片率先采用了獨特的異步架構,融合了定點化、自動剪枝、多層優化訪存等多項先進技術,可滿足IoT場景下超低功耗的智能化應用需求。
目前,首款芯片已由泓觀科技的團隊設計完成并實現流片,如下圖所示,這應是目前已知的媒體報道范圍內,此類芯片的首次問世。
另辟蹊徑,采用異步架構實現超低功耗卷積神經網絡芯片
泓觀科技官方表示,本次推出的神經網絡芯片在構架設計上所采用的異步(asynchronous)電路技術,與其他廠商已推出的各類人工智能(AI)芯片有著顯著的區別。
后者普遍更偏通用型,遵循著功能與性能優先的設計原則,然而對于海量IoT設備應用場景的單一功能及超低功耗需求而言,這類架構與特點并不適合。
IoT設備在大量的應用場景中,只有在被喚醒時才工作,經常處于休眠狀態,如何在設備休眠狀態下嚴格控制功耗產生,便是重中之重。
下圖為異步(asynchronous)電路架構,與常規的同步(synchronous)電路架構的對比。采用異步電路技術,能夠實現芯片在設備休眠時產生的功耗顯著降低甚至忽略不計。
物聯網終端的智能化進階,超低功耗AI芯片成為關鍵點
近年來,隨著各類新興應用(可穿戴設備、智能家居、移動醫療等)的出現,各種IoT設備的數量呈現一種爆發式的增長態勢。
根據來自Cisco的預計,到2020年,全球互聯的IoT設備將達到500億以上,而且這些設備將產生的數據將達到數十甚至上百ZB!
同時,用戶對IoT設備的功能需求,已經逐漸從單純的數據采集上升到一定程度的智能分析,例如人(物)體識別、場景判斷、異常診斷、習慣分析等。
為了實現這些AI功能,如果依賴將海量IoT設備采集的數據傳輸到數據中心進行處理,既不現實也不合理。因此,在IoT設備端集成本地化的AI處理能力,就成為亟待解決的剛性需求。
依托IoT設備自身的硬件資源進行智能化計算,勢必會為IoT設備帶來不可忽視的額外功耗。對于絕大多數IoT設備而言,功耗一直都是最為敏感的指標。
因此,如何在低功耗甚至超低功耗的條件下實現IoT終端對深度學習的計算承載,成為撬動AI賦能IoT的那個最關鍵的支點。
泓觀科技創始成員介紹到,“在同樣的芯片制程、達到相同性能的情況下,位于芯片active ratio(工作時間占比)較低的應用區間,相比基于傳統同步電路,異步電路設計可以顯著減少功耗,而這一區間恰恰是大量的物聯網終端智能化應用場景的分布重心。”下圖呈現了上述二者的功耗對比,可以看到,在物聯端應用重點分布的低active ratio區間,采用異步架構的AI芯片,可以將功耗降低近一個量級甚至更多。
IC科班出身的團隊,對于AI芯片的思考和態度
泓觀科技創立于2015年,位于中國北京及美國硅谷,是最先將邊緣計算概念和全方位異構加速技術應用于嵌入端人工智能商業化的一撥創業企業之一。“AI的興起極大的推助和加速了芯片行業的衍生和變革。
對于正在興起的通用型AI系統芯片,我們堅定的選擇依托以各大半導體公司為代表的友商,攜手構筑產業生態,推動應用部署,尤其在嵌入端,這是我們的過去兩年多一直著重在做的事情。”泓觀科技的創始成員告訴記者。
“從近二十年前我們進入清華大學微電子學專業讀書時算起,雖然后來的職業生涯不斷帶來多元化的知識背景,但畢竟都算是集成電路(IC)行業里多年的從業者了,對于芯片這個龐大產業的自身規律有著清醒的認知。”
他們進一步介紹到,“我們決定在AI芯片這里也做點兒事情,構建第二產品大類。對于技術路線和發力點,做出這樣的選擇,來源于我們對這個行業的理解和積淀、對技術發展和市場定位的思考與判斷。也許這看起來有點卓爾不群甚至超前,但其所對應著的IoT端智能化這個市場,體量巨大同時又有著獨特的應用需求和差異化的生態位置。”
專注的架構,引入與融合了多項先進技術
泓觀科技本次發布的這款異步AI芯片,在架構上專注于卷積模型所支持的特定操作(如卷積、池化等),并針對識別場景的特點,考慮芯片工藝、面積、片上存儲等因素,對支持的網絡架構加入一定的約束。
同時,還有多項先進技術被應用融合這款芯片中:一、采用多層融合的架構技術(如上圖)來減少 I/O 訪存——通過架構和算法的交互優化,保證算法層的輸出數據能夠被有效緩存;
二、通過定點化處理神經網絡,采取自動化搜索不同網絡層定點化配置的方法,對權值和輸入/輸出采用不同的策略,有效解決神經網絡操作對數據存在的魯棒性;
三、設計了一種自動化剪枝算法,對神經網絡的每一層建立單獨的剪枝參數,從而解決了神經網絡本身存在的冗余性。
這款獨特而全新的異步卷積神經網絡芯片,其具體功能專注于物體識別等智能化視覺分析,面向可穿戴設備、智能家居、自供能監控等對超低功耗有剛性需求的IoT終端領域。
“就目前已知的媒體報道,我們應該是率先實現異步卷積神經網絡電路方案并實現流片的創業公司,不論在中國還是世界范圍內。”泓觀科技的創始成員告訴獵云網記者。
推動AI和IoT之間的技術賦能與生態融合
物聯網在未來十年里將迎來一個新的高速發展期。泓觀科技的創始成員這樣評價,“物聯網是一個非常依賴于技術驅動的產業,人工智能與物聯網這兩個領域之間的連接,依托于邊緣計算的興起而緊密。無數的物聯節點作為邊緣側的前沿,不僅承載著感知、處理、傳輸這些功能,也會逐步把智能化的思考和判斷也囊括進來,進而構建出更加廣泛的、融合的多維度產業生態。”
物聯網的智能化進階,在于如何撬動AI以賦能IoT;其最關鍵的技術支點,在于如何實現IoT終端在低功耗甚至超低功耗的條件下對深度學習的計算承載;該支點的核心物理載體,就是這樣的具備超低功耗下可以實現深度學習在IoT終端部署的芯片。
據獵云網觀察,泓觀科技在這個領域的探索和積累,到這次首款面向IoT的超低功耗異步AI芯片的問世,正在構成一個新的開端,推動著物聯網全面邁向人工智能時代的進階歷程。