TW201627817A - 一種電子裝置控制系統與其方法 - Google Patents

Abstract

本發明提供一種電子裝置控制系統，包含一影像前處理模組、一影像辨識模組以及一影像比對模組。本發明另提供一種電子裝置控制方法，其包含：接收一第一動作影像，前處理第一動作影像以產生一第二動作影像，於第二動作影像中定義出一動作部位，並辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令，以及將動作指令與一預設動作指令進行比對；其中，若比對結果符合，則輸出對應該預設動作指令之一控制指令。藉由本發明，能讓一使用者只需要利用手勢動作即可控制電子裝置，具有方便、省時與低成本的功效。

Description

一種電子裝置控制系統與其方法

本發明係關於一種電子裝置控制系統與其方法，更明確地說，本發明係關於一種利用使用者肢體動作，來控制電子裝置的系統與方法。

身處生活日益進步的現在，科技已不再是只屬於專業人士的儀器，而是與人們生活息息相關的工具。故良好的人機互動一直是現今持續改善的課題，從利用一般的按鈕，到觸控，以及聲控，已經造成資訊爆炸性的革命，讓更多人可以利用科技改善自己的生活。而現在影像處理以及人機互動方面，更是近年來更是相當熱門的領域，習知技術包含的產品例如任天堂的Wii，其採用紅外線當作讀取鏡頭並且結合三軸加速來達到與用者肢體動作的判斷與辨識，其後更有Xbox360的Kinect和PlayStation3的MOVE等產品問世。而汽車產業、Smart TV和行動手機等，亦漸漸朝此概念前進且相繼推出相關的產品，並朝向平民化與人性化的方向發展。綜觀下來影像處理結合與機器的互動確實具有其發展的潛力以及研究的價值。

然而習知技術的人機介面產品，都需要一架專門主機並搭配周邊配備，主機與週邊配備的價格仍算昂貴，且用途上僅用作娛樂用。泛用性並不高。

因應前述問題，本發明提出一種電子裝置控制系統，將人機介面建置在一ARM(Advanced RISC Machine)平台的嵌入式系統中，藉由辨識一使用者之一第一動作影像，將使用者的肢體動作影像作為輸入指令，來控制並操作電子裝置。其包含：一影像前處理模組、一影像辨識模組以及一影像比對模組。

影像前處理模組用於前處理第一動作影像以產生一第二動作影像；影像辨識模組則電性連接影像前處理模組，用以定義第二動作影像中之一動作部位，並且追蹤及辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令；以及影像比對模組係電性連接影像辨識模組，影像比對模組包含有一動作指令資料庫，動作指令資料庫儲存有一預設動作指令，影像比對模組用以比對動作指令是否符合預設動作指令，若比對結果符合，則輸出對應預設動作指令之一控制指令以控制電子裝置。

其中動作部位係為使用者肢體的任一可動作部位，例如手、腳、眼或唇等；動作包含一手掌部移動軌跡以及一手掌部手勢，以及動作指令包含一手掌部移動軌跡指令以及一手掌部手勢指令。

本發明亦提供一種電子裝置控制方法，其包含以下步驟：S1：接收一使用者之一第一動作影像；S2：前處理第一動作影像以產生一第二動作影像；S3：於第二動作影像中定義出一動作部位，並辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令；以及S4：將動作指令與一預設動作指令進行比對；其中，若比對結果符合，則輸出對應該預設動作指令之一控制指令。

其中動作部位係為使用者肢體的任一可動作部位，例如手、腳、眼或唇等；動作包含一手掌部移動軌跡以及一手掌部手勢，以及動作指令包含一手掌部移動軌跡指令以及一手掌部手勢指令。

相較於習知技術，本發明所提供的一種電子裝置控制系統與方法，因將人機介面建置在一ARM(Advanced RISC Machine)平台的嵌入式系統中，使得只要附有接收端的電子產品，皆可利用本發明而讓一使用者只需要遠距離利用手勢動作的方式即可代替一般遙控器或觸控的功能，並達到方便、省時與低成本的功效。

1‧‧‧電子裝置控制系統

11‧‧‧影像擷取裝置

12‧‧‧影像前處理模組

13‧‧‧指令輸出模組

14‧‧‧影像辨識模組

16‧‧‧影像比對模組

2‧‧‧電子裝置控制方法

C1‧‧‧控制指令

S1~S5‧‧‧步驟

S21~S24、S31~S33‧‧‧子步驟

圖一繪製了根據本發明之一實施例之功能方塊圖。

圖二繪製了根據本發明之一實施例之步驟S1~S4之流程圖。

圖三繪製了根據本發明之一實施例之子步驟S21~S24之流程圖。

圖四繪製了根據本發明之一實施例之時間差相減法示意圖。

圖五A至圖五B繪製了根據本發明之一實施例之侵蝕運算示意圖。

圖六A至圖六B繪製了根據本發明之一實施例之擴張運算示意圖。

圖七A至圖七B繪製了根據本發明之一實施例之連通結構標示示意圖。

圖八繪製了根據本發明之一實施例之子步驟S31~S33之流程圖。

為使本發明能更清楚的被說明，請參照以下本發明詳細說明及其中所包括之實例，以更容易地理解本發明。

本說明書僅對本發明之必要元件作出陳述，且僅係用於說明本發明其中之可能之實施例，然而說明書之記述應不侷限本發明所主張之技術本質的權利範圍。除非於說明書有明確地排除其可能，否則本發明並不侷限於特定方法、流程、功能或手段。亦應瞭解的是，目前所述僅係本發明可能之實施例，在本發明之實施或測試中，可使用與本說明書所述材料相類似或等效之任何方法、流程、功能或手段。

除非有另外定義，否則本說明書所用之所有技術及科學術語，皆具有與熟習本發明所屬技術者通常所瞭解的意義相同之意義。儘管在本發明之實施或測試中，可使用與本說明書所述方法及材料相類似或等效之任何方法及手段，但本說明書目前所述者僅係實例方法、流程及其相關資料。

再者，本說明書中所提及之一數目以上或以下，係包含數目本身。且應瞭解的是，本說明書揭示執行所揭示功能之某些方法、流程，均存在多種可執行相同功能之與所揭示結構有關之結構，且上述之結構通常均可達成相同結果。

首先，請參閱圖一，圖一繪製了根據本發明之一實施例之功能方塊圖。本發明提供一種電子裝置控制系統1，將人機介面建置在一ARM(Advanced RISC Machine)平台的嵌入式系統中，藉由辨識一使用者之一第一動作影像，將使用者的肢體動作影像作為輸入指令，來控制並操作 電子裝置。其包含：一影像擷取裝置11、一影像前處理模組12、一指令輸出模組13、一影像辨識模組14以及一影像比對模組16。

影像擷取裝置11電性連接影像前處理模組12，用以擷取使用 者之第一動作影像，並將第一動作影像輸出至影像前處理模組12；影像前處理模組12用於前處理第一動作影像以產生一第二動作影像；影像辨識模組14電性連接影像前處理模組12，用以定義第二動作影像中之一動作部位，並追蹤及辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令；影像比對模組16電性連接影像辨識模組14，影像比對模組16包含有一動作指令資料庫，動作指令資料庫儲存有一預設動作指令，影像比對模組16用以比對動作指令是否符合預設動作指令，若比對結果符合，則輸出對應預設動作指令之一控制指令C1以控制電子裝置；指令輸出模組13電性連接影像比對模組16，用以傳輸控制指令C1至電子裝置來進行電子裝置的控制。

其中，影像擷取裝置11得為一攝影機；動作部位係為該使用 者肢體的任一可動作部位，例如手、腳、眼或唇等。而動作部位所對應之動作包含一手掌部移動軌跡以及一手掌部手勢，以及動作所形成的動作指令則包含一手掌部移動軌跡指令以及一手掌部手勢指令。

接著請參閱圖二，圖二繪製了根據本發明之一實施例之步驟 S1~S4流程圖。本發明亦提供一種電子裝置控制方法2，其包含以下步驟：S1：接收一使用者之一第一動作影像；S2：前處理第一動作影像以產生一第二動作影像；S3：於第二動作影像中定義出一動作部位，並辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令；以及S4：將動作指 令與一預設動作指令進行比對；其中，若比對結果符合，則輸出對應該預設動作指令之一控制指令。

其中，步驟S1係利用影像擷取裝置11擷取使用者之第一動作 影像，而第一動作影像被傳輸至影像前處理模組12以進行步驟S2：前處理第一動作影像以產生一第二動作影像。

以下將以手部為動作部位為實施例，說明如何對第一動作影 像進行前處理，以產生一第二動作影像之流程。請參閱圖三，圖三繪製了根據本發明之一實施例之子步驟S21~S24流程圖。其中，步驟S2包含子步驟S21~S24，分別是S21：將第一動作影像中靜態背景去除，並留下至少一動作物體影像；S22：去除至少一動作物體影像中的雜訊；S23：加強至少一動作物體影像；以及S24：將至少一動作物體影像進行編號，以形成並輸出包含至少一動作物體影像之第二動作影像。

請參閱圖四，圖四A繪製了根據本發明之一實施例之時間差 相減法示意圖。由於影像擷取裝置11所擷取的第一動作影像包含有一靜態背景影像以及使用者的動作物體動態影像，在子步驟S21中利用時間差相減法(Temporal Difference)來去除第一動作影像中的靜態背景，以留下至少一動作物體影像。時間差相減法(Temporal Difference)係將第一動作影像拆分成複數個影格(Frame)，再將目前的影格與前一張影格進行相減，並將所得到的值做二值化，來將第一動作影像中至少一動作物體影像攝取出來，達成去除靜態背景之效果(如圖四所示)。接著進行子步驟S22：去除至少一動作物體影像中的雜訊。

請參閱圖五A至圖五B，圖五A至圖五B繪製了根據本發明之 一實施例之侵蝕運算示意圖。由於第一動作影像中的靜態背景是不會完全處於靜態的狀況，並且在光影變化下，時間差相減法往往會出現一些被當作移動的雜質或區塊等雜訊，如圖五A所示。子步驟S22中利用了侵蝕運算(Erosion)來去除至少一動作物體影像中的雜訊，如圖五B所示。

請參閱圖六A至圖六B，圖六A至圖六B繪製了根據本發明之 一實施例之擴張運算示意圖。接著將以除去雜訊的至少一動作物體影像進行子步驟S23：加強至少一動作物體影像。因為至少一動作物體影像經過侵蝕運算後，除了去除雜訊外，也會讓至少一動作物體影像中感興趣的區塊看起來收縮，如圖六A所示。所以需要將這些區塊還原成侵蝕運算前的大小，如圖六B所示。

接著將進行影像前處理的最後一子步驟S24：將該至少一動 作物體影像進行編號，以形成並輸出包含該至少一動作物體影像之該第二動作影像。請參閱圖七A至圖七B，圖七A至圖七B繪製了根據本發明之一實施例之連通結構標示示意圖。

經過前面一連串的處理後可得如圖七A所示的至少一動作 物體影像，其中有三團以白色像素表示的區塊，皆係為動作物體影像，吾人需要將每個相連的白色像素區塊分別標示，以輸出完成影像前處理，並包含至少一動作物體影像之第二動作影像。而本發明將採用連通結構標示(Connected Component Labeling)來完成區塊標示。連通結構標示是將不同區塊的屬性分門別類，將互相連接在一起的區塊給予相同的編號，如圖七B的編號1至3所示，而這些被編號的動作物體影像即為肢體影像的候選。

接著請參閱圖八，圖八繪製了根據本發明之一實施例之子步 驟S31~S33之流程圖。取得了第二動作影像之後，接下來將進行步驟S3：於該第二動作影像中定義出一動作部位，並辨識該動作部位所對應之一動作，再輸出該動作所形成的一動作指令。其中步驟S3內包含有以下子步驟：S31：將該至少一動作物體影像編號中非肢體影像的編號剔除，再進一步從該至少一動作物體影像中定義出該動作部位；S32：追蹤該動作部位；以及S33：辨識該動作部位所形成之一動作，並輸出該動作所形成的一動作指令。

在步驟S31中，本發明先後利用了相似比率法，來將第二動作影像裡至少一動作物體影像編號中不是使用者肢體影像的區塊剔除，亦即剔除圖七B中編號2與3的區塊，並利用Harris偵測法進一步定義出使用者的動作部位，亦即圖七B中的編號1。致此，已完成了動作部位的定義。其中此動作部位為手部或手掌部

接著再進行子步驟S32：追蹤該動作部位。本發明利用了方向梯度直方圖法(Histogram of Oriented Gradients,HOG)以及平均位移法(Mean Shift)進行動作部位的追蹤。例如第一動作影像中動作部位的手掌部正在進行一順時針繞行運動、或是其他的任意運動。而在本步驟中本發明則是在每一影格中追蹤動作部位的位置。其中係以HOG中梯度特徵為主，平均位移法中的灰度(Grayscale)特徵為輔來進行。

最後再進行子步驟S33：辨識該動作部位所形成之一動作，並輸出該動作所形成的一動作指令。本發明藉由時間差相減法(Temporal Difference)以及掃描投影法進行動作部位所進行之動作的辨識。例如利用時間差相減法來辨識動作部位(手掌部)的動作形成之移動軌跡，或是辨識手掌部是否作出握拳的手勢動作；若是動作部位(手掌部)用手指做出了 比數字的手勢動作，本發明則利用掃描投影法來辨識動作部位(手掌部)所比出的數字。最後再輸出包含了動作部位移動軌跡指令以及動作部位手勢指令的動作指令。

經過上述子步驟S31~S33，並輸出動作指令之後，最後再進 行步驟S4：將該動作指令與一預設動作指令進行比對。首先，本發明具有動作指令資料庫以預先記錄有預設動作指令，每一預設動作指令皆有一相對應的控制指令，例如當動作指令中手勢指令為握拳時，所對應的控制指令是關閉電子裝置；當動作指令中有動作部位移動軌跡指令時，則對應的控制指令是根據動作部位移動軌跡指令移動游標等。於本步驟中，將由步驟S3所輸出的動作指令之內容與預設動作指令進行比對，若動作指令內容相符於預設動作指令，則輸出預設動作指令所對應的控制指令來控制電子裝置。

綜上所言，本發明提供一種電子裝置控制系統與方法，控制 系統包含一影像前處理模組、一影像辨識模組以及一影像比對模組；控制方法包含步驟：S1：接收一使用者之一第一動作影像；S2：前處理第一動作影像以產生一第二動作影像；S3：於第二動作影像中定義出一動作部位，並辨識動作部位所對應之一動作，再輸出動作所形成的一動作指令；以及S4：將動作指令與一預設動作指令進行比對。本發明在接收第一動作影像之後由影像前處理模組執行步驟S2、再由影像辨識模組執行步驟S2~S3、最後由影像比對模組執行步驟S4。讓一使用者得以藉由本發明以肢體動作與手勢動作控制電子裝置。

相較於習知技術，本發明所提供的一種電子裝置控制系統與 方法，因將人機介面建置在一ARM(Advanced RISC Machine)平台的嵌入式系統中，使得只要附有接收端的電子產品，皆可利用本發明而讓一使用者只需要遠距離利用手勢動作的方式即可代替一般遙控器或觸控的功能，並達到方便、省時與低成本的功效。

以上較佳具體實施例之詳述，俾利清楚描述本發明之特徵與精神，而並非以上述所揭露之較佳具體實施例來對本發明之範疇加以限制。雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，而本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧電子裝置控制系統

11‧‧‧影像擷取裝置

12‧‧‧影像前處理模組

13‧‧‧指令輸出模組

14‧‧‧影像辨識模組

16‧‧‧影像比對模組

Claims (12)

1. 一種電子裝置控制系統，藉由辨識一使用者之一第一動作影像，以操作一電子裝置；其包含：一影像前處理模組，用於前處理該第一動作影像以產生一第二動作影像；一影像辨識模組，電性連接該影像前處理模組，用以定義該第二動作影像中之一動作部位，並追蹤及辨識該動作部位所對應之一動作，再輸出該動作所形成的一動作指令；以及一影像比對模組，電性連接該影像辨識模組，該影像比對模組包含有一動作指令資料庫，該動作指令資料庫儲存有一預設動作指令，該影像比對模組用以比對該動作指令是否符合該預設動作指令，若比對結果符合，則輸出對應該預設動作指令之一控制指令以控制該電子裝置。
2. 如申請專利範圍第1項所述的電子控制裝置系統，其中該動作部位係為該使用者肢體的任一可動作部位，例如手、腳、眼或唇等。
3. 如申請專利範圍第1項所述的電子控制裝置系統，其中該動作包含一手掌部移動軌跡以及一手掌部手勢，以及該動作指令包含一手掌部移動軌跡指令以及一手掌部手勢指令。
4. 如申請專利範圍第1項所述的電子控制裝置系統，其進一步包含有一影像擷取裝置，電性連接該影像前處理模組，用以擷取該使用者之該第一動作影像，並輸出至該影像前處理模組。
5. 如申請專利範圍第1項所述的電子控制裝置系統，其進一步包含一指令 輸出模組，電性連接該影像比對模組，用以傳輸該控制指令至該電子裝置來進行該電子裝置的控制。
6. 一種電子裝置控制方法，其包含以下步驟：S1：接收一使用者之一第一動作影像；S2：前處理該第一動作影像以產生一第二動作影像；S3：於該第二動作影像中定義出一動作部位，並辨識該動作部位所對應之一動作，再輸出該動作所形成的一動作指令；以及S4：將該動作指令與一預設動作指令進行比對；其中，若比對結果符合，則輸出對應該預設動作指令之一控制指令。
7. 如申請專利範圍第6項所述的電子控制裝置方法，其中步驟S2更包含以下子步驟：S21：將該第一動作影像中靜態背景去除，並留下至少一動作物體影像；S22：去除該至少一動作物體影像中的雜訊；S23：加強該至少一動作物體影像；以及S24：將該至少一動作物體影像進行編號，以形成並輸出包含該至少一動作物體影像之該第二動作影像。
8. 如申請專利範圍第7項所述的電子控制裝置方法，其中進行步驟S21的方法包含時間差相減法(Temporal Difference)；進行步驟S22的方法包含侵蝕運算(Erosion)；進行步驟S23的方法包含擴張運算(Dilation)；進行步驟S24的方法包含連通結構標示(Connected Component Labeling)。
9. 如申請專利範圍第7項所述的電子控制裝置方法，其中步驟S3更包含以 下子步驟：S31：將該至少一動作物體影像編號中非肢體影像的編號剔除，再進一步從該至少一動作物體影像中定義出該動作部位；S32：追蹤該動作部位；以及S33：辨識該動作部位所形成之一動作，並輸出該動作所形成的一動作指令。
10. 如申請專利範圍第9項所述的電子控制裝置方法，其中進行步驟S31的方法包含相似比率法以及Harris偵測法；進行步驟S32的方法包含方向梯度直方圖法(Histogram of Oriented Gradients,HOG)以及平均位移法(Mean Shift)；進行步驟S33的方法包含時間差相減法(Temporal Difference)以及掃描投影法。
11. 如申請專利範圍第6項所述的電子控制裝置方法，其中該動作部位係為該使用者肢體的任一可動作部位，例如手、腳、眼或唇等。
12. 如申請專利範圍第6項所述的電子控制裝置方法，其中該動作包含一手掌部移動軌跡以及一手掌部手勢，以及該動作指令包含一手掌部移動軌跡指令以及一手掌部手勢指令。