TWI694413B - 影像處理電路 - Google Patents

Abstract

本發明提出一種影像處理電路，其中記憶體控制單元先將參考影像與參數從第一記憶體移動至第三記憶體，卷積神經網路電路從第三記憶體取得參數。記憶體控制單元也將至少一部份的參考影像從第三記憶體移動至第二記憶體，其中第三記憶體的儲存空間大於第二記憶體的儲存空間。深度解碼器從第二記憶體取得參考影像，根據此參考影像與結構化影像計算出深度資訊，並將深度資訊儲存至第二記憶體。

Description

影像處理電路

本發明是有關於一種影像處理電路，且特別是有關於一種卷積神經網路電路的記憶體架構。

近年來，卷積神經網路的技術已受到學術界與業界的大量關注，並且在很多領域上都有了突破性的發展，特別是在影像處理上。當使用卷積神經網路來進行影像處理的應用時，往往會需要大量的記憶體來儲存影像以及卷積神經網路中的參數，因此如何設計適當的硬體架構來儲存或搬運這些資料，為此領域技術人員所關心的議題。

本發明的實施例提出一種影像處理電路，包括第一記憶體、第二記憶體、記憶體控制單元、卷積神經網路電路與深度解碼器。其中第一記憶體儲存有參考影像與多個參數，第二記憶體的儲存空間小於第一記憶體的儲存空間。記憶體控制單元電性連接至第一記憶體與第二記憶體，卷積神經網路電路電性連接至第二記憶體，深度解碼器電性連接至第二記憶體。深度解碼器用以從紅外線感測器接收結構化 影像。在第一模式下：記憶體控制單元將參考影像與參數從第一記憶體移動至第三記憶體，其中第三記憶體電性連接至卷積神經網路電路、記憶體控制單元與第二記憶體，並且第三記憶體的儲存空間大於第二記憶體的儲存空間；卷積神經網路電路從第三記憶體取得參數，記憶體控制單元將參考影像的至少一部份從第三記憶體移動至第二記憶體；以及深度解碼器從第二記憶體取得部份的參考影像，根據此部份的參考影像與結構化影像計算出深度資訊，並將深度資訊儲存至第二記憶體。

在一些實施例中，影像處理電路更包括匯流排與多工器。匯流排電性連接至記憶體控制單元、第二記憶體與卷積神經網路電路，多工器電性連接至匯流排、第三記憶體與卷積神經網路電路。在第一模式中，卷積神經網路電路是透過多工器從第三記憶體取得參數。

在一些實施例中，在第一模式中，記憶體控制單元還透過匯流排將參數的一部份從第三記憶體移動至第二記憶體；以及當記憶體控制單元透過匯流排將參考影像的部份從第三記憶體移動至第二記憶體的同時，卷積神經網路電路直接從第二記憶體取得上述的參數。

在一些實施例中，上述部份的參數是對應至卷積神經網路的層。

在一些實施例中，第二記憶體還接收來自紅外線感測器的灰階影像。卷積神經網路電路還從第二記憶體取得深度資訊與灰階影像，並根據灰階影像、深度資訊與參數 執行物件偵測程序或物件辨識程序。

在一些實施例中，上述部份的參考影像包含至少一列的像素。

在一些實施例中，上述的第二記憶體為靜態隨機存取記憶體，第三記憶體為動態隨機存取記憶體。

在一些實施例中，第一記憶體為快閃記憶體。

在一些實施例中，記憶體控制單元切換在第一模式與第二模式之間。在第二模式中：記憶體控制單元將參考影像與參數從第一記憶體移動至第二記憶體；卷積神經網路電路從第二記憶體取得參數；以及深度解碼器從第二記憶體取得參考影像，根據參考影像與結構化影像計算出深度資訊，並將深度資訊儲存至第二記憶體。

在一些實施例中，記憶體控制單元根據實體開關、偵測電路或韌體設定切換在第一模式與第二模式之間。

在上述的影像處理電路中，可以減少記憶體的空間需求，或在不同模式下採用不同的記憶體架構。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧電子裝置

110‧‧‧紅外線感測器

111‧‧‧紅外線投射器

120‧‧‧影像處理電路

121‧‧‧第一記憶體

122‧‧‧第二記憶體

123‧‧‧第三記憶體

130‧‧‧記憶體控制單元

140‧‧‧卷積神經網路電路

150‧‧‧深度解碼器

160‧‧‧匯流排

170‧‧‧多工器

[圖1]是根據一實施例繪示電子裝置的電路示意圖。

[圖2]是根據一實施例繪示電子裝置的電路示意圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

[第一實施例]

圖1是根據一實施例繪示電子裝置的電路示意圖。請參照圖1，電子裝置100包括了紅外線感測器110、紅外線投射器111與影像處理電路120。電子裝置100可以實作為手機、平板電腦、筆記型電腦或其他合適的電子裝置。在一些實施例中，電子裝置100還可包括其他元件，例如攝影機等等，本發明並不在此限。影像處理電路120則包括了第一記憶體121、第二記憶體122、第三記憶體123、記憶體控制單元130、卷積神經網路電路140、深度解碼器150、匯流排160與多工器170。其中，第二記憶體122電性連接至紅外線感測器110、深度解碼器150、卷積神經網路電路140。匯流排160電性連接至第二記憶體122、記憶體控制單元130、多工器170。第一記憶體121電性連接至記憶體控制單元130，多工器170是電性連接至卷積神經網路電路140與第三記憶體123。

在此實施例中，影像處理電路120是用於執行一個影像處理程序，例如是物件偵測程序或物件辨識程序。在執行影像處理程序時需要關於場景的深度圖，此深度圖是透過比較兩張紅外線影像中特定圖案之間的位移 (disparity)所計算出，在此將這兩張影像稱為參考影像與結構化影像。參考影像中的圖案是預設的，亦稱為金圖案(golden pattern)，此預設圖案例如是隨機設置的多個圓點或是長條圖，本發明並不限制此預設圖案為何。結構化影像是透過紅外線投射器111投射出上述的預設圖案至場景中，然後由紅外線感測器110來感測所得到的影像，換言之結構化影像中也具有上述的預設圖案。然而，受到場景中深度的影響，結構化影像中的預設圖案會有相對應的位移，因此透過計算參考影像與結構化影像中某一位置的位移便可以計算出該位置的景深。在此實施例中，上述的參考影像是儲存在第一記憶體121中。

另一方面，卷積神經網路電路140是用以執行卷積神經網路。一般來說，卷積神經網路具有多個層，而每一層都具有多個參數，這些參數是事先經過訓練所決定的。在此實施例中，上述的參數也是儲存在第一記憶體121中。

在一些實施例中，第一記憶體121與第三記憶體123的儲存空間皆大於第二記憶體122的儲存空間，但第二記憶體122的讀取速度則大於第一記憶體121與第三記憶體123的讀取速度。舉例來說，第一記憶體121為快閃記憶體，第二記憶體122為靜態隨機存取記憶體，第三記憶體123為動態隨機存取記憶體，但本發明並不在此限。特別的是，上述的參數與參考影像會先從第一記憶體121搬移至第三記憶體123，再從第三記憶體123搬移至第二記憶體122。

具體來說，記憶體控制單元130會將參考影像 與參數從第一記憶體121移動至第三記憶體123，此時多工器170選擇輸入端“0”。接下來，多工器170可繼續選擇輸入端“0”，此時記憶體控制單元130將至少部分的參考影像從第三記憶體123移動至第二記憶體122。深度解碼器150會從第二記憶體122取得此部分的參考影像，並根據參考影像與從紅外線感測器110接收到的結構化影像來計算出深度資訊，最後將深度資訊儲存至第二記憶體122中。在一些實施例中，由於深度解碼器150是一列(row)一列地計算深度資訊，因此上述部分的參考影像只需要包括一或多列的像素，換言之記憶體控制單元130每次是將一或多列像素從第三記憶體123移動至第二記憶體122，如此一來並不需要一次把全部的參考影像都載入至第二記憶體122，可以減少第二記憶體122的空間需求。

另一方面，卷積神經網路電路140有兩種方式從第三記憶體123取得參數。第一種方法是多工器170選擇輸入端“1”，而卷積神經網路電路140透過多工器170從第三記憶體123中讀取參數。第二種方法是多工器170選擇輸入端“0”，記憶體控制單元130先將參數從第三記憶體123移動至第二記憶體122，接下來卷積神經網路電路140直接從第二記憶體122中讀取參數，在此同時記憶體控制單元130可以透過匯流排160將參考影像從第三記憶體123移動至第二記憶體122，如此一來參數與參考影像的讀取可以同時進行。在一些實施例中，移動至第二記憶體122的參數是對應至卷積神經網路的一層(而非所有層)，如此一來也可以 減少第二記憶體122的空間需求。

在一些實施例中，紅外線感測器110除了會感測結構化影像以外，也會感測一灰階影像。此灰階影像中並沒有投射的圖案，也就是說灰階影像的像素只會反應場景中的物件，並且灰階影像會傳送至第二記憶體122。卷積神經網路電路140會從第二記憶體122中取得參數、深度資訊與灰階影像，並根據這些灰階影像、深度資訊與參數執行物件偵測程序或物件辨識程序，例如人臉辨識程序或人臉識別程序，然而，本發明並不限制物件偵測程序與物件辨識程序的內容。

[第二實施例]

圖2是根據一實施例繪示電子裝置的電路示意圖。在圖2的實施例中，影像處理電路120並沒有第三記憶體123，因此上述的參考影像與參數是從第一記憶體121移動至第二記憶體122。卷積神經網路電路140可從第二記憶體取得參數。深度解碼器150從第二記憶體122取得參考影像，根據參考影像與結構化影像計算出深度資訊，並將深度資訊儲存至第二記憶體122。

相較於圖1的第一實施例來說，圖2的第二實施例較適用於解析度較小的影像，因此可將所有的參數與整張參考影像直接存在第二記憶體122中。然而，本發明並不在此限，第一實施例與第二實施例可以適用於任意解析度的影像。值得注意的是，圖1與圖2的差別僅在於第三記憶體123，而其他元件皆相同，因此影像處理電路120並不需要 太多修改便可以適用於不同的產品。上述的第一實施例被稱為第一模式，第二實施例被稱為第二模式，記憶體控制單元130可切換在第一模式與第二模式之間。在一些實施例中，影像處理電路120中可設置一個偵測電路(未繪示)，由此偵測電路來判斷是否存在第三記憶體123，若存在第三記憶體123則記憶體控制單元130會執行第一模式，否則執行第二模式。或者，記憶體控制單元130也可以根據實體開關或韌體設定來切換在第一模式與第二模式之間，此實體開關可以設置在電路板或其他任意的位置上，而韌體設定可以事先燒錄記憶體控制單元130或其他控制器中，本發明並不在此限。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧電子裝置

110‧‧‧紅外線感測器

111‧‧‧紅外線投射器

120‧‧‧影像處理電路

121‧‧‧第一記憶體

122‧‧‧第二記憶體

123‧‧‧第三記憶體

130‧‧‧記憶體控制單元

140‧‧‧卷積神經網路電路

150‧‧‧深度解碼器

160‧‧‧匯流排

170‧‧‧多工器

Claims (7)

1. 一種影像處理電路，包括：一第一記憶體，儲存有一參考影像與多個參數，其中一卷積神經網路具有多個層，每一該些層都具有該些參數的一部份，該些參數是事先經過訓練所決定的；一第二記憶體，其中該第二記憶體的儲存空間小於該第一記憶體的儲存空間；一匯流排，電性連接至該第二記憶體；一多工器，電性連接至該匯流排；一記憶體控制單元，電性連接至該第一記憶體與該匯流排之間；一卷積神經網路電路，電性連接至該第二記憶體與該匯流排；以及一深度解碼器，電性連接至該第二記憶體，用以從一紅外線感測器接收一結構化影像，其中在一第一模式下：該記憶體控制單元將該參考影像與該些參數從該第一記憶體移動至一第三記憶體，其中該第三記憶體電性連接至該卷積神經網路電路與該多工器，並且該第三記憶體的儲存空間大於該第二記憶體的該儲存空間；當該多工器選擇第一輸入端時，該卷積神經網路電路透過該多工器從該第三記憶體取得該些參數；當該多工器選擇第二輸入端時，該記憶體控制單元透 過該匯流排將該些參數的該部份從該第三記憶體移動至該第二記憶體；該記憶體控制單元將該參考影像的至少一部份從該第三記憶體移動至該第二記憶體，同時該卷積神經網路電路直接從該第二記憶體取得該些參數的該部份；以及該深度解碼器從該第二記憶體取得該參考影像的該至少一部份，根據該參考影像的該至少一部份與該結構化影像計算出深度資訊，並將該深度資訊儲存至該第二記憶體。
2. 如申請專利範圍第1項所述之影像處理電路，其中該第二記憶體還接收來自該紅外線感測器的一灰階影像，該卷積神經網路電路還從該第二記憶體取得該深度資訊與該灰階影像，並根據該灰階影像、該深度資訊與該些參數執行一物件偵測程序或一物件辨識程序。
3. 如申請專利範圍第1項所述之影像處理電路，其中該參考影像的該至少一部份包含該參考影像中至少一列的像素。
4. 如申請專利範圍第1項所述之影像處理電路，其中該第二記憶體為靜態隨機存取記憶體，該第三記憶體為動態隨機存取記憶體。
5. 如申請專利範圍第4項所述之影像處理電路，其中該第一記憶體為快閃記憶體。
6. 如申請專利範圍第1項所述之影像處理電路，其中該記憶體控制單元切換在該第一模式與一第二模式之間，在該第二模式中：該記憶體控制單元將該參考影像與該些參數從該第一記憶體移動至該第二記憶體；該卷積神經網路電路從該第二記憶體取得該些參數；以及該深度解碼器從該第二記憶體取得該參考影像，根據該參考影像與該結構化影像計算出該深度資訊，並將該深度資訊儲存至該第二記憶體。
7. 如申請專利範圍第6項所述之影像處理電路，其中該記憶體控制單元根據實體開關、偵測電路或韌體設定切換在該第一模式與該第二模式之間。

Images