TWI717021B

TWI717021B - 影像處理系統及其人工智慧晶片

Info

Publication number: TWI717021B
Application number: TW108133656A
Authority: TW
Inventors: 薛家明
Original assignee: 義隆電子股份有限公司
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2021-01-21
Also published as: TW202113676A

Abstract

一種影像處理系統，包括一主裝置、一感測器依序輸出多個影像以及n個人工智慧晶片串接在該主裝置及該感測器之間用以解析該多個影像，其中，該多個影像中的每一個依序通過該n個人工智慧晶片傳送至該主裝置。

Description

影像處理系統及其人工智慧晶片

本發明係有關一種影像處理系統，特別是關於一種使用人工智慧晶片的影像處理系統。

目前已有影像處理系統採用人工智慧(Artificial Intelligence；AI)晶片辨識影像中的物件。圖1顯示習知的影像處理系統10，其包括一感測器12、一主裝置14及一AI晶片16。感測器12可以是攝像機(camera)裡的感光元件，例如感光耦合元件(Charge-Coupled Device；CCD)和互補式金屬氧化物半導體主動像素傳感器(CMOS Activepixel sensor)，感測器12依序提供多個影像If1、If2、If3、If4、If5、If6、If7及If8給主裝置14。主裝置14具有行動產業處理器介面(Mobile Industry Processor Interface；MIPI)142以接收影像If1、If2、If3、If4、If5、If6、If7及If8，主裝置14再透過另一個行動產業處理器介面144將影像If1、If2、If3、If4、If5、If6、If7及If8傳送給AI晶片16。為方便說明，之後將行動產業處理器介面稱為MIPI介面。AI晶片16同樣透過MIPI介面162接收來自主裝置14的影像，AI晶片16對影像進行解析後可產生一辨識資料Sa，AI晶片16透過串列周邊介面(Serial Peripheral Interface；SPI)164將辨識資料Sa傳送到主裝置14的串列周邊介面146。為方便說明，之後將串列周邊介面稱為SPI介面。主裝置14再依據該辨識資料Sa處理對應的影像，例如於影像中加入線條、弧線或方框。

舉例來說，圖2顯示一感測器12所輸出的影像20，其中包含了行人202及車輛206，主裝置14可根據辨識資料Sa將行人202用一邊界框(bounding box)204標示出來。在車用監視系統中，主裝置14可根據辨識資料Sa於影像中加入線條或弧線以輔助使用者駕駛或停靠車輛。

AI晶片16的處理速度必須能配合感測器12的幀率(Frame rate)。舉例來說，感測器12每秒產生30張影像，也就是幀率為30fps(frame per second)，相當於每1/30秒輸出一張影像。AI晶片16的運算能力是固定的，例如AI晶片16在1/30秒的時間中只能處理尺寸為224×224的影像，如果感測器12所輸出的影像Ifi的尺寸為1920×1080，如圖3所示，AI晶片16會先將影像Ifi縮小為224×224的影像Ifis後再進行解析。但如果感測器12所輸出的影像Ifi的尺寸為3840×2160時，如圖4所示，由於AI晶片16縮小影像的比例是固定的，因此只能將影像Ifi縮小為448×448的影像Ifis，這將導致AI晶片16需要花費近4倍的時間才能完成一張影像Ifis的解析，無法跟上感測器42輸出影像的速度。針對此問題，傳統的解決方法有三種，第一種方法是重新設計AI晶片16以增加其運算能力，使其能在1/30秒的時間中處理尺寸為448×448的影像Ifis，第二種方法是使AI晶片16能夠調整縮小比例將3840×2160的影像縮小為224×224的影像。第一種方法增加AI晶片的運算能力，需要重新設計及重新開模來製造新的AI晶片16，成本較高。第二種方法提高縮小比例有可能造成影像模糊而難以辨識。第三種方法是增加AI晶片16，如圖5所示，主裝置14連接四個AI晶片16，每一個AI晶片16只負責處理圖4中影像Ifi的四分之一，即1920×1080大小的區塊，然而MIPI介面144只能一對一傳輸，因此當AI晶片16增加時，主裝置14上的MIPI介面144也必需增加，所以此方法也要重新設計主裝置14以增加MIPI介面144，並且需要重新開模來製造新的主裝置14，成本較高。

本發明目的之一，在於提出一種可擴充AI晶片的影像處理系統，能夠在不需要重新設計主裝置的前題下，增加影像處理系統的運算能力。

本發明目的之一，在於提出一種應用在影像處理系統的AI晶片。

根據本發明，一種影像處理系統包括一主裝置、一感測器及n個人工智慧晶片，該n個人工智慧晶片是串接在該主裝置及該感測器之間用以解析該感測器輸出的影像，該感測器輸出的影像會依序通過該n個人工智慧晶片傳送至該主裝置。本發明的影像處理系統可以透過改變該多個人工智慧晶片的數量來提高運算能力，無需重新設計人工智慧晶片或主裝置，成本較低。

根據本發明，一種人工智慧晶片包括一第一介面、一第二介面、一橋接電路及一影像分析電路。該第一介面用以接收一影像，並將該影像從類比信號轉換成數位信號，以產生一第一數位影像資料。該橋接器連接在該第一及第二介面之間，用於將該第一數位影像資料傳送至該第二介面。該第二介面用以將該第一數位影像資料從數位信號轉換成類比信號，並輸出該轉換後的類比信號。該影像分析電路連接該第一介面，用以解析該第一數位影像資料的全部或一部分以產生一辨識資料供處理該影像。

10:影像處理系統

12:感測器

14:主裝置

142:MIPI介面

144:MIPI介面

146:SPI介面

16:AI晶片

162:MIPI介面

164:SPI介面

20:螢幕

202:行人

204:邊界框

206:車輛

40:影像處理系統

42:感測器

44:AI晶片

441:MIPI介面

442:MIPI介面

443:SPI介面

444:計數器

445:橋接器

446:影像分析電路

4461:第一影像處理器

4462:第二影像處理器

4463:第三影像處理器

4464:神經網路處理器

4465:中央處理器

4466:記憶體

447:匯流排

448:顯示單元

449:I²C介面

46:AI晶片

461:MIPI介面

462:MIPI介面

463:SPI介面

464:計數器

48:AI晶片

481:MIPI介面

482:MIPI介面

483:SPI介面

484:計數器

50:AI晶片

501:MIPI介面

502:MIPI介面

503:SPI介面

504:計數器

52:主裝置

521:MIPI介面

522:SPI介面

523:緩衝器

圖1顯示習知的影像處理系統。

圖2顯示感測器所獲得的影像。

圖3顯示影像縮小的實施例。

圖4顯示影像縮小的另一實施例。

圖5說明習知技術中，增加影像處理系統的運算能力的方法。

圖6顯示本發明可擴充AI晶片的影像處理系統。

圖7用以說明圖6的影像處理系統的其中一種處理方式。

圖8顯示圖6中人工智慧晶片的實施例。

圖6顯示本發明可擴充AI晶片的影像處理系統40，其包括一感測器42、多個AI晶片44、46、48及50以及一主裝置52。感測器42可以是攝像機(camera)裡的感光元件，例如感光耦合元件(Charge-Coupled Device；CCD)和互補式金屬氧化物半導體主動像素傳感器(CMOS Active pixel sensor)。主裝置是一個具運算能力的積體電路裝置，例如中央處理器。AI晶片44、46、48及50是串接在感測器42及主裝置52之間，其中第一個AI晶片44連接感測器42，最後一個AI晶片50連接主裝置52。根據本發明，AI晶片的數量可以依需求增加或減少，在此實施例中，是以四個AI晶片44、46、48及50作為說明，但並不只限於四個AI晶片。感測器42依序提供多個影像If1、If2、If3、If4、If5、If6、If7及If8，每一個影像If1、If2、If3、If4、If5、If6、If7及If8會依序通過AI晶片44、46、48及50傳送到主裝置52。以影像If1的傳輸為例，感測器42輸出影像If1至AI晶片44的MIPI介面441後，AI晶片44的另一MIPI介面442會輸出影像If1至AI晶片46，AI晶片46的MIPI介面461在接收到影像If1後，其另一個MIPI介面462輸出影像If1給AI晶片48，同樣的，AI晶片48透過MIPI介面481接收影像If1並從MIPI介面482輸出影像If1給AI晶片50，最後一個AI晶片50透過MIPI介面501接收影像If1後，其另一個MIPI介面502會輸出影像If1給主裝置52，主裝置52再將影像If1儲存在緩衝器523中。

假設感測器42的幀率是30fps，影像If1、If2、If3、If4、If5、If6、If7及If8的尺寸為3840×2160，而每一個AI晶片44、46、48及50在1/30秒的時間中可以處理尺寸為224×224的影像區塊，在AI晶片44、46、48及50將影像尺寸從3840×2160縮小為448×448的情況下，每一個AI晶片44、46、48及50需要4/30秒(也就是感測器42輸出四個影像的時間)才能處理完一個影像以產生對應的辨識資料。當感測器42輸出第一個影像If1時，第一個AI晶片44被觸發以解析影像If1。當感測器42輸出第二個影像If2時，第二個AI晶片46被觸發以解析影像If2。當感測器42輸出第三個影像If3時，第三個AI晶片48被觸發以解析影像If3。當感測器42輸出第四個影像If4時，第四個AI晶片50被觸發以解析影像If4。當感測器42輸出第五個影像If5時，離第一個影像If1已經經過了4/30秒，第一個AI晶片44已將影像If1解析完成並產生一辨識資料Sa1經由SPI介面443傳送至第二個AI晶片46，此時第一個AI晶片44再次被觸發以解析影像If5。當感測器42輸出第六個影像If6時，離第二個影像If2已經經過了4/30秒，第二個AI晶片46已將影像If2解析完成並產生一辨識資料Sa2，第二個AI晶片46會將第一個AI晶片44輸出的辨識資料Sa1及自身產生的辨識資料Sa2經由SPI介面463傳送至第三個AI晶片48，此時第二個AI晶片46再次被觸發以解析影像If6。當感測器42輸出第七個影像If7時，離第三個影像If3已經經過了4/30秒，第三個AI晶片48已將影像If3解析完成並產生一辨識資料Sa3，第三個AI晶片48會將AI晶片44及46提供的辨識資料Sa1及Sa2及自身產生的辨識資料Sa3經由SPI介面483傳送至第四個AI晶片50，此時第三個AI晶片48再次被觸發以解析影像If7。當感測器42輸出第八個影像If8時，離第四個影像If4已經經過了4/30秒，第四個AI晶片50已將影像If4解析完成並產生一辨識資料Sa4，此時第四個AI晶片50再次被觸發以解析影像If8。

如圖所示，第一個AI晶片44將其產生的辨識資料Sa1傳送給下一個第二個AI晶片46。第二個AI晶片46接收前一個AI晶片44輸出的辨識資料Sa1，並且將該辨識資料Sa1及本身產生的辨識資料Sa2傳送給第三個AI晶片48，依此類推。從圖2可以看出，第一到第三個AI晶片44、46與48將其產生的辨識資料傳送給下一個串接的AI晶片，第二到第三個AI晶片46與48接收前一個AI晶片輸出的辨識資料並傳送給下一個串接的裝置(AI晶片或主裝置)。最後一個AI晶片，也就是第四個AI晶片50會將AI晶片44、46及48提供的辨識資料Sa1、Sa2及Sa3及自身產生的辨識資料Sa4傳送至主裝置52。在圖2中，辨識資料Sa1、Sa2、Sa3與Sa4是經由各AI晶片的SPI介面進行傳輸。主裝置52透過SPI介面522接收辨識資料Sa1、Sa2、Sa3及Sa4後，依據辨識資料Sa1、Sa2、Sa3及Sa4分別對儲存在緩衝器523中的影像If1、If2、If3及If4進行處理，例如於影像中加入線條或弧線，或是用邊界框標示出目標物件。

觸發AI晶片44、46、48及50以解析影像的方式有很多種，例如在影像處理系統40啟動後，由主裝置52送出觸發信號St4來第一次觸發AI晶片44，接著AI晶片44在收到影像If1後，送出一觸發信號St1給AI晶片46以觸發AI晶片46解析下一個影像If2，AI晶片46在收到影像If2後，送出一觸發信號St2以觸發AI晶片48解析下一個影像If3，AI晶片48在收到影像If3後，送出一觸發信號St3以觸發AI晶片50解析下一個影像If4，AI晶片50在收到影像If4後，送出觸發信號St4以再次觸發AI晶片44解析下一個影像If5，依此類推，AI晶片44、46、48及50會依序且重複的被觸發。傳送及接收觸發信號的方式有很多，例如可以經由各AI晶片的通用型輸出入腳位(General-Purpose Input/Output；GPIO)(圖中未示出)來傳送及接收。在一實施例中，觸發信號為中斷信號interrupt)。在影像處理系統40啟動後，第一次觸發AI晶片44的方法有很多，本發明並未限制只能由主裝置52提供觸發信號St4來第一次觸發AI晶片44。

在其他的實施例中，AI晶片44、46、48及50也可以各自設置一計數器444、464、484及504，計數器444、464、484及504計數通過的影像數量產生一計數值，當計數值到達預設值時產生一觸發信號觸發AI晶片44、46、48及50。以圖6的實施例來說，各計數器的預設值為4。在影像處理系統40啟動時，計數器444、464、484及504的初始計數值分別為3、2、1及0。當AI晶片44偵測到影像If1的框起始(start of frame)資訊時，計數器444的計數值加1而達到預設值4，因此計數器444送出觸發信號觸發AI晶片44解析影像If1，同時計數器444的計數值也被重置為0，當影像If2、If3、If4及If5依序進入AI晶片44時，計數器444的計數值再次達到4，計數器444送出觸發信號再次觸發AI晶片44以解析影像If5，同時計數值也會被重置為0。AI晶片46、48及50的計數器464、484及504的操作與AI晶片44的計數器444相同，但在影像處理系統40啟動時，計數器444、464、484及504的計數值會不同。

在上述說明中，每一個AI晶片44、46、48及50是分別負責解析不同的影像，但在另一實施例中，AI晶片44、46、48及50也可以對同一個影像中的不同區塊進行解析。如圖7所示，以3840×2160的影像If1為例，AI晶片44、46、48及50根據內部的預設的參數或主裝置52提供的參數決定要解析影像If1中的哪個區域，在此實施例中AI晶片44、46、48及50分別針對影像If1的區塊Ifb1、Ifb2、Ifb3及Ifb4進行解析，由於區塊Ifb1、Ifb2、Ifb3及Ifb4經AI晶片44、46、48及50縮小後的尺寸為224×224，因此AI晶片44、46、48及50能在1/30秒解析完所讀取的區塊Ifb1、Ifb2、Ifb3及Ifb4並分別產生辨識資料Sa1、Sa2、Sa3及Sa4傳送給主裝置52，主裝置52再依據辨識資料Sa1、Sa2、Sa3及Sa4對影像If1進行處理。簡言之，每一個AI晶片負責解析感測器42當前輸出的影像的一區塊產生一辨識資料，主裝置52再依據所有AI晶片提供的辨識資料對感測器42當前輸出的影像進行處理。在此實施例中，每一個AI晶片44、46、48及50所解析的區塊Ifb1、Ifb2、Ifb3及Ifb4的尺寸相同，但在其他實施例中，每一個AI晶片所解析的區塊可以是不同尺寸。

本發明的影像處理系統40可以依需求任意擴充AI晶片的數量以提高運算能力，而且即使AI晶片的數量增加，主裝置52也只需一個MIPI介面522，因此不需重新設計AI晶片44、46、48及50或主裝置52，如此一來，晶片開發成本可以降低，且物料管理變得更為簡單。例如當感測器42輸出的影像尺寸變為7680×4320時，只需將串接的AI晶片的數量增加為16個即可，相對的，當感測器42輸出的影像尺寸縮減時，也可減少串接的AI晶片的數量，故本發明的影像處理系統40有較大的應用彈性。

在一實施例中，假設感測器42的幀率為30fps，AI晶片在1/30秒時間所能處理的影像尺寸為224×224，n個AI晶片串接在感測器42及主裝置52之間，每一個AI晶片解析一影像中小於或等於224×224的區塊，如此一來AI晶片無需先縮小所讀取的影像，影像解析的結果可以更準確。

圖8顯示圖6中AI晶片的實施例，以AI晶片44為例，其包括MIPI介面441及442、SPI介面443、橋接器445及影像分析電路446，MIPI介面441接收影像If1，MIPI介面441將影像If1從類比信號轉換成數位信號，產生第一數位影像資料Ifd1，橋接器445連接在MIPI介面441及442之間，用以將第一數位影像資料Ifd1傳送至MIPI介面442，MIPI介面442將第一數位影像料Ifd1從數位信號轉換成類比信號，並將轉換後的類比信號(相當於是影像If1)輸出給AI晶片46。MIPI介面441接收的影像If1和MIPI介面442輸出的影像大致上相同，影像If1經過類比轉數位或數位轉類比所產生的差異在此不列入考慮，基本上，MIPI介面442輸出的影像等同於MIPI介面441接收的影像If1。橋接器445可以用傳輸線來實現，若希望對第一數位影像資料Ifd1做額外處理時，橋接器445中也可以增加對應的電路。影像分析電路446連接MIPI介面441，其接收並解析第一數位影像資料Ifd1的全部或一部份以產生辨識資料Sa1，SPI介面443透過匯流排447連接影像分析電路446，用以將辨識資料Sa1傳送給下一個AI晶片46。最後一個AI晶片50中的SPI介面503則是將辨識資料傳送給主裝置52，如圖6所示。

影像分析電路446包括一第一影像處理器4461、一第二影像處理器4462、一第三影像處理器4463、一神經網路處理器(Neural network Processing Unit；NPU)4464、一中央處理器(CPU)4465及記憶體4466。第一影像處理器4461連接MIPI介面441，接收並處理第一數位影像資料Ifd1以產生一第二數位影像資料Ifd2，其中處理第一數位影像資料Ifd1的步驟包括選取興趣窗(Window Of Interest；WOI)、去除不需要的資料及/或影像尺寸的縮放。第二影像處理器4462連接第一影像處理器4461，接收第二數位影像資料Ifd2並將第二數位影像資料Ifd2轉換為YUV格式以產生第三數位影像資料Ifd3，其中YUV為一種色彩格式，Y代表亮度(Luminance)，U及V代表彩度(Chrominance)。第三影像處理器4463透過匯流排447連接第二影像處理器4462，第三影像處理器4463接收第三數位影像資料Ifd3並根據第三數位影像資料Ifd3進行亮度或彩度的調整以產生第四數位影像資料Ifd4。神經網路處理器4464及中央處理器4465透過匯流排447連接第三影像處理器4463，神經網路處理器4464與中央處理器4465協力根據第四數位影像資料Ifd4進行運算，以產生辨識資料Sa1傳送給SPI介面443，並透過SPI介面443傳送給AI晶片46。記憶體4466儲存影像分析電路446操作所需的參數，例如，中央處理器4465根據記憶體4466中的參數產生一命令給第一影像處理器4461，以決定興趣窗的起點及範圍，記憶體4466中的參數可以是預先設定好的固定值，也可以是由主裝置52依需求進行設定。

在圖8所示的實施例中，更包括一I²C介面449經由匯流排447耦接影像分析電路446，I²C介面449用以接收用於觸發該影像分析電路446的觸發信號。更詳細的來說，I²C介面449經由匯流排447連接中央處理器4465。中央處理器4465因應I²C介面449收到的觸發信號而使影像分析電路446進行上述的影像解析操作。中央處理器4465也可以經由I²C介面449發送觸發信號，以觸發另一顆人工智慧晶片。I²C介面449亦可以提供接收主裝置52傳送的參數，例如前述影像分析電路446操作所需的參數。中央處理器4465經由I²C介面449獲得這些參數，並將其寫入記憶體4466。在不同的實施例中，亦可以使用通用型輸出入腳位(General-Purpose Input/Output；GPIO)取代I²C介面449來收發觸發信號。

在其他的實施例中，人工智慧晶片44更包括一計數器444，計數器444耦接MIPI介面441與影像分析電路446，計數器444計數通過MIPI介面的影像產生一觸發信號，以觸發該影像分析電路。更詳細的來說，計數器444耦接MIPI介面441與影像分析電路446中的中央處理器4465。當計數器444的計數值達到一預設值時，便產生觸發信號給中央處理器4465，使影像分析電路446進行上述的影像解析操作。

圖8的AI晶片44也可以當作主裝置使用，當AI晶片44作為主裝置使用時，會增設一顯示單元448根據辨識資料Sa1處理第四數位影像資料Ifd4(可視為處理影像If1)，並且將處理後的結果轉換成RGB格式產生影像If1a，顯示單元448產生的影像If1a經MIPI介面442傳送給顯示器以顯示影像If1a，相較於影像If1，影像If1a加入線條或弧線，或是用邊界框標示出辨識出的物件。當AI晶片44作為主裝置使用時，橋接器445可以被省略或禁能(disable)。

在上述實施例中的各種傳輸介面可以用其他不同類型的介面取代，例如以超低壓差分信號(sub-Low Voltage Differential Signaling；SubLVDS)介面取代MIPI介面等等。

根據以上的描述，本發明之影像處理系統可以被理解為包括一主裝置；一感測器，依序輸出多個影像；以及n個人工智慧晶片，串接在該主裝置及該感測器之間，用以解析該多個影像，n為大於1的正整數；其中，該感測器輸出的該多個影像中的每一個依序通過該n個人工智慧晶片傳送至該主裝置。在該感測器輸出的多個影像中，每n個影像依序分別由該n個人工智慧晶片進行解析，每一該人工智慧晶片解析一個該影像產生一辨識資料。在該影像處理系統中，第一個人工智慧晶片連接該感測器，第n個人工智慧晶片連接該主裝置，該第一到第n-1個人工智慧晶片將其產生的該辨識資料傳送給下一個串接的人工智慧晶片，第二到該第n-1個人工智慧晶片接收前一個人工智慧晶片輸出的該辨識資料並傳送給下一個串接的人工智慧晶片，該第n個人工智慧晶片將其產生的該辨識資料及其接收到的其他人工智慧晶片輸出的辨識資料傳送給該主裝置。在一實施例中，可以更包括一積體電路匯流排(I²C)連接主裝置及各個人工智慧晶片，以便主裝置傳送觸發信號給第一個人工智慧晶片，以及各個人工智慧晶片收發觸發信號。

以上所述僅是本發明的實施例而已，並非對本發明做任何形式上的限制，雖然本發明已以實施例揭露如上，然而並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明技術方案的範圍內，當可利用上述揭示的技術內容作出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。