TW202119350A - 結合圖像傳感器之智能辨識單晶片系統 - Google Patents

Abstract

本發明為一種結合圖像傳感器之智能辨識單晶片系統，主要結合低功耗的黑白圖像傳感器、圖像預處理器、動態檢測器、縮放陣列、圖像擷取器、與微處理器等，形成單晶片系統結構，藉由微處理器控制圖像傳感器獲取圖像，經預處理、縮放，同時配合動態檢測器和圖像擷取器，獲得可以用於圖像辨識的特徵向量，提供快速圖像辨識功能，而無需動態或靜態隨機存取記憶體，及雲端連網，增進實用進步性者。

Description

結合圖像傳感器之智能辨識單晶片系統

本發明為一種結合圖像傳感器之智能辨識單晶片系統，主要結合低功耗的黑白圖像傳感器、圖像預處理器、動態檢測器、縮放陣列、圖像擷取器、與微處理器等，形成單晶片系統結構，可比對預設非揮發性記憶體資料庫，提供快速圖像辨識功能，而無需動態或靜態隨機存取記憶體，及雲端連網。

人工智能技術已發展多年，其方向大部份在於追求更準確、更快的計算能力，並均與雲端技術相結合，但是至今尚無法落實於大量應用，其原因主要是雲端技術存在大數據規模的限制，以供特定產業之行為模式研究，或作為大量語音助理所使用。由於所需數據資料太過龐大，運用時無法及時反饋，對於必須立即採取行動的措施緩不濟急，在少數高端產業或人工智能汽車專用智能晶片的應用，其規格為達到安全和精確度的要求，所費不貲，在開發成果中，所能體現的成本及效益相對較高，有其必要性；然而對於非專門產業，因其只需簡單應用或決策而言，如使用上網型的人工智能晶片，因過多的無用數據上傳，佔據過多頻寬，產生了許多不必要的動作和浪費，是無法享受到智能效益的發揮。

本發明提供一種結合圖像傳感器之智能辨識單晶片系統，主 要結合低功耗的黑白圖像傳感器、圖像預處理器、動態檢測器、縮放陣列、圖像擷取器、與微處理器等，形成單晶片系統結構，無需雲端連接，即提供快速圖像辨識功能。

本發明的特點在於將黑白圖像傳感器及圖像處理辨識電路組合在單晶片系統內，以降低製造成本。圖像的辨識過程是從圖像傳感器開始，本發明的辨識只使用於黑白(灰階)的存取，而後將該取得圖像輸出至圖像預處理器，進行清理和擴展，然後再傳送到動態檢測器，進步行動態偵測、暫存記憶和目標定位，將圖像網格化，並與先前的圖像比對，如果與先前圖像的差異超過可編程門檻時，可認定該動作存在於一特定網格中。動態檢測器在網格或矩形坐標中特定動態，此動態坐標可應用於現地曝光控制，係從圖像感測器到動態檢測器之現地對比/亮度的反饋迴路，可受微處理器讀取控制進行編程，或利用圖像傳感器的自動曝光功能，這有利於優化傳感器對動態對象的曝光效果。

前述的預處理器同時將圖像傳送到圖像縮放陣列，這些是獨立的編程，將不同的感興趣區域(AOI)縮小到較小的尺寸，這小尺寸圖像再送到HOG特徵擷取器以擷取圖像，以獲得可以用於圖像辨識的特徵向量。

本發明的圖像辨識方式是由微處理器使用各種現存的技術，例如針對資料庫的KNN或SVM之執行，當系統關閉時，該資料庫為儲存於外部的非揮發性記憶體內。

本發明不僅可以針對預先設定的圖像進行辨識，使用者亦可以經由HOG中的特徵向量，將其儲存到非揮發記憶體中，加以設定，以獲得更廣泛的運用領域，例如行人檢測、面部識別、追踪、智能玩具、和智 能室內/外電子設備的應用等。

1.‧‧‧黑白圖像傳感器

2.‧‧‧圖像預處理器

3.‧‧‧動態檢測器

31.‧‧‧動態偵測

4.‧‧‧縮放陣列

5.‧‧‧特徵擷取器

6.‧‧‧微處理器

61.‧‧‧圖像分類器

7.‧‧‧暫存記憶

8.‧‧‧目標定位

9.‧‧‧現地對比/亮度

圖一為本發明之組合結構示意圖

圖二為本發明圖像處理和特徵擷取之流程圖

圖三為本發明現地曝光控制狀態圖

圖四為本發明對各種縮放陣列於AOI之示意圖

請先參閱圖一，本發明為一種結合圖像傳感器之智能辨識單晶片系統，主要包括有一黑白圖像傳感器1、一圖像預處理器2、一動態檢測器3、一縮放陣列4、一HOG特徵擷取器5、和一微處理器6，組合為一單晶片智能辨識系統。請再配合圖二，該圖像傳感器1只使用對於黑白(灰階)的存取，再將該取得圖像輸出至圖像預處理器2，進行清理和擴展後，同時將圖像饋入和動態檢測器3和圖像縮放陣列4(例如陣列0~4)，該動態檢測器3以動態偵測31、暫存記憶7、和目標定位8之運算方式，將圖像網格化，並與先前的圖像比對，如果與先前圖像的差異超過可編程門檻時，可認定該動作存在於一特定網格中，並在網格或矩形坐標中特定動作，此特定動作可應用於現地曝光控制，其係使用黑白圖像感測器1到動態檢測器3之現地對比/亮度9的反饋迴路，此反饋迴路受微處理器6讀取控制進行編程，或利用黑白圖像傳感器1的自動曝光功能，以優化傳感器對動作對象的曝光，即可從該動態檢測器3獲取物體動作中的位置和對比/亮度，進行使黑白圖像傳感器1優化對象物體的曝光作用，以取得清晰的圖像，如圖三。

前述的圖像同時傳送到圖像縮放陣列4，這些是獨立的編 程，係將不同的感興趣區域(AOI)縮小到較小的尺寸，這小尺寸圖像再送到HOG特徵擷取器5擷取圖像，以獲得可以用於圖像辨識的特徵向量，如圖四，該特徵向量是指基於圖像某些區別特徵的一串數字。進一步說，該相同的圖像進入縮放陣列4，被編程分割和縮放於圖像的各個區域中，例如，HOG特徵擷取器5可處理8X8素像區塊，微處理器6可對HOG特徵擷取器5進行編程，將來自縮放縮放陣列4的圖像劃分為8X8的區塊，特徵擷取器5將會對於每一區塊回傳一小串數字序列組。微處理器6再從擷取結果中提取這些小串數字序列組，組織成一個向量饋送到與微處理器6連接的圖像分類器61，該圖像分類器61輸出的圖像類別，就是圖像辨識過程的最終結果，可提供與非揮發記憶體的資料庫相比對，作為判讀辨識的使用。

因此，本發明設計的單晶片系統，可藉由內部微處理器6的監控，將獲取的分類及辨識結果，直接用來執行特定於某些應用程式的任務，如指定一回饋動作，或是播放聲音檔，更具體而言，例如點亮一個或數個LED，播放預錄的聲音檔，轉動馬達，回報座標訊，裝置喚醒LED，或是切換GPIO，因此，進而可輕易應用組合在一般的填充玩具，或室內/外電子設備的開關控制，形成無需連網即可迅速圖像辨識的智能應用，具有極佳的進步性和經濟價值。

綜上，本發明以單一晶片結合圖像傳感器及獨有的辨識技術，具有以下的功效：

(1)整合多組不同元件為單一晶片，節省系統整合工程，並降低風險，為全球第一顆結合影像傳感器的人工智能晶片。

(2)可有效依據效能需求，將特定計算功能設計於內部硬體，達最佳化反應 效率，有別於傳統人工智能應用時必須以大量數據資料輸入及軟體計算，費時費力。

(3)具有智能特徵擷取演算法，在實際運作時，僅需配合少量記憶體容量，且可根據不同需求，配合可程序化軟體，進行各種不同辨識目標資料庫的替換。而在使用過程中沒有圖像被存取保留，故可避免被逆轉圖像還原的風險，獲得隱私權的保障。

1.‧‧‧黑白圖像傳感器

2.‧‧‧圖像預處理器

3.‧‧‧動態檢測器

4.‧‧‧縮放陣列

5.‧‧‧特徵擷取器

6.‧‧‧微處理器

61.‧‧‧圖像分類器

Claims (6)

1. 一種結合圖像傳感器之智能辨識單晶片系統，包括有一黑白圖像傳感器、一圖像預處理器、一動態檢測器、一縮放陣列、一特徵擷取器、和一微處理器，其中

   該黑白圖像傳感器，用以偵測獲取圖像，並將圖像傳送到圖像預處理器；

   該圖像預處理器，將接收的圖像進行清理和擴展後，同時將圖像饋入動態檢測器、和縮放陣列；

   該動態檢測器，經動態偵測、暫存記憶、和目標定位運算過程，將圖像網格化，並與先前的圖像比對，如果與先前圖像的差異超過可編程門檻時，可認定該動作存在於一特定網格中；

   該縮放陣列將不同的感興趣區域(AOI)縮小到較小的尺寸，這小尺寸圖像再送到特徵擷取器；

   該特徵擷取器以所擷取圖像，獲得可以用於圖像辨識的特徵向量，其為基於圖像某些區別特徵的一小串數字序列組；

   該微處理器，從擷取結果中之小串數字序列組，組織成一個向量，饋送到其圖像分類器，該圖像分類器輸出的圖像類別，即為圖像辨識過程的最終結果，可提供與非揮發性記憶體的資料庫比對辨識。
2. 如申請專利範圍第1項所述之結合圖像傳感器之智能辨識單晶片系統，該黑白圖像傳感器只使用於黑白(灰階)的存取。
3. 如申請專利範圍第1項所述之結合圖像傳感器之智能辨識單晶片系統，該動態檢測器在網格中的特定動作可應用於現地曝光控制，係從黑白圖像感測器到動態檢測器之現地對比/亮度的反饋迴路，該反饋迴路受微處理器讀取控制進行編程，或利用黑白圖像傳感器自動曝光功能，以優化圖像傳感器對動作對象的曝光。
4. 如申請專利範圍第1項所述之結合圖像傳感器之智能辨識單晶片系統，藉由微處理器的監控，可將獲取的圖像分類結果加以辨識，直接用來執行特定應用程式任務，例如為指定回饋動作，或是播放聲音檔。
5. 如申請專利範圍第4項所述之結合圖像傳感器之智能辨識單晶片系統，其中的特定應用程式任務的具體指令包含點亮一個或數個LED，播放預錄聲音檔，轉動馬達，回報座標訊，裝置喚醒LED，或是切換GPIO。
6. 如申請專利範圍第1項所述之結合圖像傳感器之智能辨識單晶片系統，該非揮發性記憶體可進行各種不同辨識目標資料庫的替換。

Images