TWM455912U - 影像識別控制系統 - Google Patents

Description

影像識別控制系統

本創作係關於控制系統，特別的是一種可藉由識別使用者之手部姿勢用以操控具有控制單元之電子產品的影像識別控制系統。

在習知技術中，使用者與電子產品(例如電視機)之間的人機互動，係該使用者藉由例如紅外線的遙控器產生控制訊號及將該控制訊號發送至該電子產品，使得該電子產品在接收到該控制訊號之後，執行相對應於該控制訊號的動作，例如頻道選擇與音量調整等動作。

隨著科技的演進，操控電子產品的技術也演進到藉由偵測該使用者的動作，用以達到與該電子產品進行人機互動的目的，例如微軟公司所推出的Kinect遊戲套件。

然而，由於該Kinect遊戲套件係採用純軟體的演算法，故需要有一識別時間才能夠完全地辨識該使用者的動作，而該識別時間係為使用純軟體演算法所無法避免的。

有鑑於此，如何能夠提升辨識速度以達到即時地辨識的功效，以及除了遊戲操控之外的應用，變得是十分重要的議題。

本創作之一目的係提出一種影像識別控制系統，藉由基於後向傳播式(back propagation)類神經網路架構的處理單元以奈秒等級速度與平行處理 的方式解析使用者之手部姿勢的手部影像，用以達到即時地與平行地辨識該使用者之手部姿勢的目的。

本創作之另一目的係根據上述影像識別控制系統，讓使用者可利用手部姿勢操作具有控制單元的電子產品(例如機上盒或音頻產生器)。

本創作之又一目的係根據上述影像識別控制系統，能識別使用者所比劃出的手語，用以達成人機互動的目的。

為達上述目的及其它目的，本創作係提出一種影像識別控制系統，係包含影像擷取單元、處理單元、資料庫單元、比較單元與控制單元。其中，該影像擷取單元係供擷取使用者之手部姿勢(hand gesture)，並產生相對應於該手部姿勢的手部影像。該處理單元係與該影像擷取單元連接，該處理單元係藉由一硬體描述語言(hardware description language)所建立後向傳播式(back propagation)類神經網路架構的硬體解析該手部影像，並自該手部影像取得複數手勢特徵向量。該資料庫單元係儲存複數手勢樣本影像及複數控制訊號，該等手勢樣本影像之任其一者係由複數手勢樣本特徵向量所組成，以及每一該等手勢樣本影像係對應於該等控制訊號之其中一者。該比較單元係連接該處理單元與該資料庫單元，該比較單元係比較該等手勢特徵向量與該等手勢樣本影像之該等手勢樣本特徵向量，且在確定該等手勢特徵向量與該等手勢樣本影像之其中一者的該等手勢樣本特徵向量相同之後，該比較單元輸出相對應於該手勢樣本影像的該控制訊號；以及該控制單元係供接收該比較單元所輸出的該控制訊號，且該控制單元藉由該控制訊號驅動以執行指定動作。

與習知技術相較，本創作之影像識別控制系統係可改變傳統遙控器操作電子產品的模式，讓使用者可以藉由精細的手部姿勢(例如手語)與該電子 產品之間進行人機互動。此外，本創作也可在不改變原有的電子產品的操作模式下，仍可藉由本創作的系統輕易地實現影像識別控制系統。

本創作的該系統係也可輔助瘖啞人士與正常人進行溝通，使得正常人在無法知悉該瘖啞人士所比劃的手語或是相關手部姿勢的情況之下，仍然可以了解到該瘖啞人士的需求與想法。

〔本創作〕

2‧‧‧使用者

10、10’‧‧‧影像識別控制系統

12‧‧‧影像擷取單元

14‧‧‧處理單元

16‧‧‧資料庫單元

18‧‧‧比較單元

20‧‧‧控制單元

22‧‧‧樣本產生單元

24‧‧‧通訊單元

IMGH‧‧‧手部影像

HGFV‧‧‧手勢特徵向量

CS‧‧‧控制訊號

SHGFV‧‧‧手勢樣本特徵向量

第1圖係本創作第一實施例之影像識別控制系統的方塊示意圖。

第2圖係說明第1圖中使用者之手部姿勢及該手部姿勢所代表動作的。

第3圖係本創作第二實施例之影像識別控制系統的方塊示意圖。

為充分瞭解本創作之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本創作做一詳細說明，說明如後：參考第1圖，係本創作第一實施例之影像識別控制系統的方塊示意圖。於第1圖中，該影像識別控制系統10係包含影像擷取單元12、處理單元14、資料庫單元16、比較單元18與控制單元20。

該影像擷取單元12係擷取使用者2之手部姿勢，並且在擷取該手部姿勢之後，產生相對應於該手部姿勢的手部影像IMGH，例如該影像擷取單元12係可為單眼攝像頭、影像感測器與三維(3D)影像擷裝置等。該手部姿勢的定義，係指該使用者2透過手部(包含手掌與手指)所比劃出有意義的姿勢，一併可參照第2圖，在第2圖中係該使用者2所自行定義的該手部姿勢及該手部姿勢所代表的動作。於另外一實施例中，該手部姿勢係也可符合中國手語、台灣 手語、美國手語或其它國家或區域所通用的手語規範。

回到第1圖，該處理單元14係與該影像擷取單元12連接，且該處理單元14係藉由一硬體描述語言(HDL)所建立後向傳播式(BP)類神經網路架構的硬體解析該手部影像IMGH，並自該手部影像IMGH取得複數手勢特徵向量HGFV。換言之，該處理單元14係利用該硬體描述語言將影像辨識演算法以類神經網路架構所製作出具有影像識別能力的純硬體，使得無須透過載入相關影像辨識的應用程式，即可利用純硬體的該處理單元14執行該手部影像IMGH的辨識，且能平行地處理多個該手部影像IMGH。相較於傳統的軟硬體協同運算的架構，該處理單元14不需要傳統例如記憶單元來儲存該應用程式，而是直接地利用該處理單元14內部的邏輯閘陣列即時地與快速地辨識該手部影像IMGH。再者，該處理單元14係採用類神經網路架構的架構，使得該處理單元14辨識該手部影像IMGH的速度係可在奈秒(nano second)等級。此外，於另外一實施例中，該處理單元14係可封裝成一個晶片的型態。

該資料庫單元16係儲存複數手勢樣本影像及複數控制訊號CS，且該等手勢樣本影像之任其一者係由複數手勢樣本特徵向量SHGFV所組成，以及每一該等手勢樣本影像係對應於該等控制訊號CS之其中一者。此外，每一該等手勢樣本影像的該等手勢樣本特徵向量SHGFV係可藉由索貝爾運算子(Sobel operator)、拉普拉斯運算子(Laplace operator)、羅伯特運算子(Roberts operator)、普鲁伊特運算子(Prewitt operator)、克希運算子(Kirsch operator)與坎尼運算子(Canny operator)等的梯度閥值演算法演算而產生的。

該比較單元18係連接該處理單元14與該資料庫單元16。該比較單元18係比較該等手勢特徵向量HGFV與該等手勢樣本影像SIMGH之該等 手勢樣本特徵向量SHGFV，且在確定該等手勢特徵向量HGFV與該等手勢樣本影像SIMGH之其中一者的該等手勢樣本特徵向量SHGFV相同之後，該比較單元18輸出相對應於該手勢樣本影像SIMGH的該控制訊號CS。換言之，該比較單元18係會輸出與該使用者2比劃的手部姿勢相關的該控制訊號CS。

該控制單元20係供接收該比較單元18所輸出的該控制訊號CS，且該控制單元20藉由該控制訊號CS驅動以執行指定動作，例如該控制單元20係以機上盒(set-top box)與音頻產生器(tone generator)為例說明。

若該控制單元20係為機上盒，則根據該控制訊號CS執行頻道選擇、音量調整、亮度調整、電源開啟關閉控制與字元輸入等的該指定動作。

若該控制單元20係為該音頻產生器，則根據該控制訊號CS選取相對應於該手部姿勢的一預設聲頻，且該音頻產生器執行以該預設聲頻發出一語音訊號的該指定動作。舉例而言，一併可參考第3圖，若該使用者2比劃出如同第2圖中的"喝水"的手勢，則該音頻產生器會產生"喝水"的該語音訊號，使得其它人可以了解該使用者2之該手部姿勢所欲表達的意思。

參考第3圖，係本創作第二實施例之影像識別控制系統的方塊示意圖。於第3圖中，該影像識別控制系統10’係除包含第一實施例中的該影像擷取單元12、該處理單元14、該資料庫單元16、該比較單元18與該控制單元20之外，該影像識別控制系統10’更包含樣本產生單元22與通訊單元24。

該樣本產生單元22係連接該影像擷取單元12與該資料庫單元16，且該樣本產生單元22係藉由一演算法演算該使用者2的手部姿勢以建立該等手勢樣本影像SIMGH，例如該演算法係可為索貝爾運算子、拉普拉斯運算子、羅伯特運算子、普鲁伊特運算子、克希運算子與坎尼運算子等的梯度閥值演算 法，用以演算該手部姿勢之該手部影像IMGH的邊緣特徵向量。

該通訊單元24係連接該比較單元18與該控制單元20，且該通訊單元24係供將接收來自於該比較單元18之該控制訊號CS傳送至該控制單元20，例如該通訊單元24係藉由無線通訊技術或有線通訊型態傳輸該控制訊號CS。舉例而言，該無線通訊技術係可為該無線通訊技術係符合紅外線通訊、無線保真(Wi-Fi)、藍牙(Bluetooth)、數位增強無線通訊(Digital enhanced Cordless telecommunications，DECT)、無線通用序列匯流排(Wireless Universal Serial Bus，WUSB)、高速分組接入(High Speed Packet Access，HSPA)、高速下行封包接入(High Speed Downlink Packet Access，HSDPA)、全球互通微波存取(Worldwide interoperability for microwave access，Wi-Max)與長期演進技術(Long Term Evolution，LTE)的通訊協定。

本創作在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本創作之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本創作之範疇內。因此，本創作之保護範圍當以申請專利範圍所界定者為準。

2‧‧‧使用者

10‧‧‧影像識別控制系統

12‧‧‧影像擷取單元

14‧‧‧處理單元

16‧‧‧資料庫單元

18‧‧‧比較單元

20‧‧‧控制單元

IMGH‧‧‧手部影像

HGFV‧‧‧手勢特徵向量

CS‧‧‧控制訊號

SHGFV‧‧‧手勢樣本特徵向量

Claims (10)

1. 一種影像識別控制系統，係包含：影像擷取單元，係供擷取使用者之手部姿勢(hand gesture)，並產生相對應於該手部姿勢的手部影像；處理單元，係與該影像擷取單元連接，該處理單元係藉由一硬體描述語言(hardware description language)所建立後向傳播式(back propagation)類神經網路架構的硬體解析該手部影像，並自該手部影像取得複數手勢特徵向量；資料庫單元，係儲存複數手勢樣本影像及複數控制訊號，該等手勢樣本影像之任其一者係由複數手勢樣本特徵向量所組成，以及每一該等手勢樣本影像係對應於該等控制訊號之其中一者；比較單元，係連接該處理單元與該資料庫單元，該比較單元係比較該等手勢特徵向量與該等手勢樣本影像之該等手勢樣本特徵向量，且在確定該等手勢特徵向量與該等手勢樣本影像之其中一者的該等手勢樣本特徵向量相同之後，該比較單元輸出相對應於該手勢樣本影像的該控制訊號；以及控制單元，係供接收該比較單元所輸出的該控制訊號，且該控制單元藉由該控制訊號驅動以執行指定動作。
2. 如申請專利範圍第1項所述之影像識別控制系統，更包含樣本產生單元，係連接該影像擷取單元與該資料庫單元，該樣本產生單元係藉由一演算法演算該使用者的手部姿勢以建立該等手勢樣本影像。
3. 如申請專利範圍第2項所述之影像識別控制系統，其中該演算法係 為索貝爾運算子(Sobel operator)、拉普拉斯運算子(Laplace operator)、羅伯特運算子(Roberts operator)、普鲁伊特運算子(Prewitt operator)、克希運算子(Kirsch operator)與坎尼運算子(Canny operator)之其中一者的梯度閥值演算法。
4. 如申請專利範圍第1項所述之影像識別控制系統，更包含通訊單元，該通訊單元係連接該比較單元與該控制單元，且該通訊單元係供將接收來自於該比較單元之該控制訊號傳送至該控制單元。
5. 如申請專利範圍第4項所述之影像識別控制系統，其中該通訊單元係藉由無線通訊技術或有線通訊型態傳輸該控制訊號。
6. 如申請專利範圍第5項所述之影像識別控制系統，其中該無線通訊技術係符合紅外線通訊、無線保真(Wi-Fi)、藍牙(Bluetooth)、數位增強無線通訊(Digital enhanced Cordless telecommunications)、無線通用序列匯流排(Wireless Universal Serial Bus)、高速分組接入(High Speed Packet Access)、高速下行封包接入(High Speed Downlink Packet Access)、全球互通微波存取(Worldwide interoperability for microwave access)與長期演進技術(Long Term Evolution)之至少其一者的通訊協定。
7. 如申請專利範圍第6項所述之影像識別控制系統，其中該等手勢樣本影像係符合中國手語、台灣手語與美國手語之至少其一種。
8. 如申請專利範圍第1項所述之影像識別控制系統，其中該控制單元係為機上盒(set-top box)與音頻產生器(tone generator)。
9. 如申請專利範圍第8項所述之影像識別控制系統，其中該機上盒根 據該控制訊號執行頻道選擇、音量調整、亮度調整、電源開啟關閉控制與字元輸入之至少其一者的該指定動作。
10. 如申請專利範圍第8項所述之影像識別控制系統，其中該音頻產生器根據該控制訊號選取相對應於該手部姿勢的一預設聲頻，且該音頻產生器執行以該預設聲頻發出一語音訊號的該指定動作。