TW201317843A - 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法 - Google Patents

Abstract

本發明係提供一種虛擬滑鼠模擬方法，用於一虛擬滑鼠驅動裝置。該方法包括：持續地擷取複數張輸入影像；由該等輸入影像中辨識出一手指區域；偵測該手指區域之一特定事件；以及依據該特定事件以產生對應的一虛擬滑鼠控制指令。

Description

虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法

本發明係屬於虛擬滑鼠系統，特別是一種透過辨識單手手勢或辨識選定目標物件之動作以模擬滑鼠(mouse)之使用方式的虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法。

現今許多電子裝置，例如個人電腦或機上盒，均包括鍵盤及滑鼠，用以做為使用者輸入介面。使用者只需按下滑鼠按鍵或移動滑鼠，即可輸入不同的指令以控制電腦上的應用程式。然而，對使用者來說，在外出時攜帶鍵盤或滑鼠是相當不便的。因此，需要一種虛擬滑鼠驅動裝置以讓使用者在沒有攜帶滑鼠的情況下仍能操控虛擬滑鼠以控制應用程式。

本發明係提供一種虛擬滑鼠驅動裝置，包括：一影像擷取裝置，用以持續地擷取複數張輸入影像；一影像處理單元，用以由輸入影像中辨識出一手指區域；一事件辨識單元，用以偵測手指區域之一特定事件；以及一命令處理單元，用以依據特定事件以產生對應的一虛擬滑鼠控制指令。

本發明更提供一種虛擬滑鼠模擬方法，用於一虛擬滑鼠驅動裝置。該方法包括：持續地擷取複數張輸入影像；由輸入影像中辨識出一手指區域；偵測手指區域之一特定事件；以及依據特定事件以產生對應的一虛擬滑鼠控制指令。

本發明更提供一種虛擬滑鼠驅動裝置，包括：一影像擷取裝置，用以持續地擷取複數張輸入影像；一影像處理單元，用以由該等輸入影像中產生對應的一背景圖，並分別對該等輸入影像及該背景圖中之像素進行比較，以取得一粗略輪廓，其中該影像處理單元並依據該粗略輪廓以產生一目標物件輪廓，並據以標記一目標物件；一事件辨識單元，用以偵測該目標物件之一特定事件；以及一命令處理單元，用以依據該特定事件以產生對應的一虛擬滑鼠控制指令。

本發明更提供一種虛擬滑鼠模擬方法，包括：持續地擷取複數張輸入影像；由該等輸入影像中產生對應的一背景圖；分別對輸入影像及背景圖中之像素進行比較，以取得一粗略輪廓；依據粗略輪廓以以產生一目標物件輪廓，並據以標記一目標物件；偵測該目標物件之一特定事件；以及依據特定事件以產生對應的一虛擬滑鼠控制指令。

第1圖係顯示依據本發明一實施例之虛擬滑鼠驅動裝置100之方塊圖。虛擬滑鼠驅動裝置100係包括一影像擷取裝置110、一影像處理單元120、一事件辨識單元130以及一命令處理單元140。影像擷取裝置110係用以持續地擷取複數張輸入影像。舉例來說，影像擷取裝置110係可為一視訊攝影機(video camera)、智慧型手機等裝置，透過USB、IEEE 1394、HDMI、Wifi等有線或無線介面(非限定)以耦接至影像處理單元120。影像處理單元120係用以接收來自影像擷取裝置110之輸入影像，並進行相關之影像處理(詳述於後)以辨識使用者之慣用手(單手)及單手手指區域(例如對應的左右鍵)。事件辨識單元130係依據由影像處理單元120所辨識出的單手手指區域(後述實施例係稱為手指區域)，偵測該手指區域是否有特定事件(例如移動或按下按鍵)。命令處理單元140係接收由事件辨識單元130所偵測的特定事件，進而將特定事件轉換為虛擬滑鼠之控制指令。值得注意的是，本發明之影像擷取裝置110係可採用市面上一般的視訊攝影機進行操作，亦可採用其他高階攝影機或三維攝影機。

影像處理單元120係包括一膚色偵測單元(skin detection unit)121、一膚色邊緣偵測單元(skin edge detection unit)122以及一物件偵測單元(object detection unit)123。膚色偵測單元121係由輸入影像中辨識人體皮膚區域，因人體皮膚之顏色係具有一定的色域範圍，故膚色偵測單元121係可判斷在輸入影像中具有該色域之皮膚區域。膚色邊緣偵測單元122係接收來自膚色偵測單元之皮膚區域，並據以判斷皮膚區域邊緣。在一實施例中，膚色邊緣偵測單元122係採用Canny邊緣偵測(Canny Edge Detection)演算法等習知技術，用以判斷皮膚區域邊緣，其細節不在此詳述。

物件偵測單元123係接收來自膚色邊緣偵測單元122所產生之皮膚區域邊緣，並由上述皮膚區域邊緣上之各個像素(起始點)向其兩側各延伸一預定距離(例如25個像素)以取得2個端點，物件偵測單元123並計算各起始點及其2個端點之夾角，以據以得到該夾角餘弦(cosine)值。物件偵測單元123再將各像素所對應之餘弦值進行分類，以找出所需之特徵點的位置。舉例來說，在手指指尖之像素，其對應的夾角應小於其他相鄰像素所對應之夾角，意即手指指尖之像素所對應的夾角餘弦值係為一區域最大值(local maximum)，如第2圖所示。經由上述步驟，物件偵測單元123係可分析出皮膚區域中之指尖點及兩指尖點中間之峰谷點(valley point)。值得注意的是，物件偵測單元123所分析出的兩個指尖點係可為任兩隻相鄰之手指(例如食指及中指、或中指及無名指)，且其對應的虛擬滑鼠按鍵(例如左鍵及右鍵)係可由使用者所事先設定。經由上述流程，物件偵測單元123係可得知輸入影像中是否有可供虛擬滑鼠使用的手指區域，若有，則事件辨識單元130更進一步判斷手指區域之動作；若無，影像處理單元120則持續偵測輸入影像。

第3A～3C圖係顯示依據本發明一實施例之虛擬滑鼠事件判斷的示意圖。如第3A圖所示，當事件辨識單元130接收到由影像處理單元120所產生之手指區域，事件辨識單元130係依據手指區域以決定一基準位置，當手指區域中代表左鍵或右鍵之手指有按下的動作時，事件辨識單元130係可辨識出手指是點選左鍵或是右鍵，分別如第3B圖及第3C圖所示。事件辨識單元130亦可偵測手指區域是否有滾動滾輪的動作(例如上捲/下捲)。事件辨識單元130更可計算輸入影像中之相鄰影像的差值，並判斷由手指區域所產生的邊緣點(edge point)之數量是否大於一預定閥值，若是，則可得知使用者目前係移動虛擬滑鼠，若否，則虛擬滑鼠不進行動作。對於所偵測到的虛擬滑鼠之按鍵事件及移動動作，事件辨識單元130可發出對應的控制信號至一處理單元(例如CPU，第1圖未繪示)，藉以控制顯示畫面上之滑鼠游標(cursor)以進行操作。值得注意的是，本發明僅需偵測單手手指區域即可操作虛擬滑鼠。另外，在本發明中之控制虛擬滑鼠的動作係可為單擊左鍵、單擊右鍵、雙擊左鍵、雙擊右鍵、滾輪上捲/下捲、點擊拖曳等，但本發明不限於此。

第4圖係顯示依據本發明一實施例之虛擬滑鼠模擬方法之流程圖。在步驟S400，影像擷取裝置110係持續地擷取複數張輸入影像。在步驟S410，影像處理單元120係辨識單手的皮膚區域及指尖點，以取得對應的手指區域。在步驟S420，影像處理單元130係判斷是否偵測到手指區域，若是，則執行步驟S430以進一步判斷事件，若否，則回到步驟S400，持續擷取輸入影像。在步驟S430，事件辨識單元130係計算輸入影像中之相鄰影像的差值，並判斷手指區域所產生的邊緣點之數量是否大於一預定值，若是，事件辨識單元130係決定手指區域係處於一移動動作，若否，事件辨識單元130則決定手指區域係為靜止。換句話說，無論手指區域是否為靜止，事件辨識單元130均可偵測到手指區域之移動動作。在步驟S440，事件辨識單元130係偵測手指區域之按鍵動作(例如點選左鍵/右鍵或滾輪上捲/下捲等動作)。在步驟S450，對於所偵測到的虛擬滑鼠之特定事件(例如按鍵動作及/或移動動作)，命令處理單元140係將特定事件轉換為虛擬滑鼠之控制指令，藉以控制顯示畫面上之虛擬滑鼠游標以進行操作，並回到步驟S400以持續偵測輸入影像。值得注意的是在第4圖中之步驟S440中，事件辨識單元130亦可依據相鄰影像之差值，以偵測手指區域之按鍵動作。

在另一實施例中，影像處理單元120中之物件偵測單元123更可依據輸入影像以產生對應的一背景圖(如第5A圖所示)，且可分別對輸入影像及背景圖中之像素進行比較，以取得目標物件之粗略輪廓。本發明建立背景圖之用意在於做為一基準影像，當基準影像中之部分背景被去除時，物件偵測單元123仍可正確地判斷物件。物件偵測單元123再對移動物件之粗略輪廓進行雜訊去除處理(Noise reduction process)以及判斷其連通成份(Connected component)以得到較為精確的移動物件輪廓。舉例來說，物件偵測單元123係可使用低通濾波器，例如是均值濾波器(Mean filter)、中值濾波器(Median filter)或高斯濾波器(Gaussian filter)等等，以濾除移動物件輪廓之雜訊，例如高斯雜訊(Gaussian noise)或鹽和胡椒雜訊(Pepper and salt noise)等。物件偵測單元123判斷物件之連通成份係使用資料結構中的堆疊(stack)原理，物件偵測單元123每次係將與目前像素相鄰且同屬於同色點座標之像素放入堆疊中，並同時記錄最大及最小區域，並將已放入堆疊的像素點改為非同色像素，以避免重複處理，並反覆循環處理所有的同色點。

事件辨識單元130係依據物件偵測單元123所判斷的目標物件150，以取得其二維座標，並標記目標物件150，意即使用目標物件150之一角做為基準位置(如第5B圖所示)。事件辨識單元130更判斷目標物件150之移動情況，以得知使用者進行何種動作(例如上移/下移/左移/右移、點擊、雙擊)，並產生對應的特定事件信號。接著，命令處理單元140係將由事件辨識單元130所偵測的特定事件轉換為虛擬滑鼠之控制指令。舉例來說，以第5C圖為例，事件辨識單元130判斷目標物件150係往右方移動。以第5D圖為例，事件辨識單元130判斷目標物件150之動作係為上下敲兩下，意即點選左鍵。熟習本發明此領域之技藝者當了解，目標物件150之形狀並非只限制於長條狀，本發明係可使用各種形狀之任意物件做為控制虛擬滑鼠之目標物件。

第6圖係顯示依據本發明另一實施例之虛擬滑鼠模擬方法之流程圖。在步驟S600，影像擷取裝置110係持續地擷取複數張輸入影像。在步驟S610，物件偵測單元123係依據輸入影像以產生對應的一背景圖，並分別對輸入影像及背景圖中之像素進行比較，以取得一目標物件及對應的一粗略輪廓。在步驟S620，物件偵測單元123係對目標物件之粗略輪廓進行雜訊去除處理以及判斷其連通成份以產生目標物件輪廓。在步驟S630，事件辨識單元130係依據目標物件輪廓以取得目標物件之二維座標並標記目標物件。在步驟S640，事件辨識單元130係偵測目標物件之特定事件(例如上移/下移/左移/右移、點擊、雙擊)，並依據所偵測到之特定事件以產生對應的特定事件信號。在步驟S650，命令處理單元140係將特定事件信號轉換為對應的虛擬滑鼠之控制指令，藉以在顯示畫面上控制虛擬滑鼠。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋之用，並非用以限制本發明之權利範圍。

100．．．虛擬滑鼠驅動裝置

110．．．影像擷取裝置

120．．．影像處理單元

121．．．膚色偵測單元

122．．．膚色邊緣偵測單元

123．．．物件偵測單元

130．．．事件辨識單元

140．．．命令處理單元

150．．．目標物件

第1圖係顯示依據本發明一實施例之虛擬滑鼠驅動裝置100之方塊圖。

第2圖係顯示依據本發明一實施例之指尖偵測夾角的示意圖。

第3A～3C圖係顯示依據本發明一實施例之虛擬滑鼠事件判斷的示意圖。

第4圖係顯示依據本發明一實施例之虛擬滑鼠模擬方法之流程圖。

第5A～5D圖係顯示依據本發明另一實施例之虛擬滑鼠事件判斷的示意圖。

第6圖係顯示依據本發明另一實施例之虛擬滑鼠模擬方法之流程圖。

100．．．虛擬滑鼠驅動裝置

110．．．影像擷取裝置

120．．．影像處理單元

121．．．膚色偵測單元

122．．．膚色邊緣偵測單元

123．．．物件偵測單元

130．．．事件辨識單元

140．．．命令處理單元

Claims (20)

1. 一種虛擬滑鼠驅動裝置，包括：一影像擷取裝置，用以持續地擷取複數張輸入影像；一影像處理單元，用以由該等輸入影像中辨識出一手指區域；一事件辨識單元，用以偵測該手指區域之一特定事件；以及一命令處理單元，用以依據該特定事件以產生對應的一虛擬滑鼠控制指令。
2. 如申請專利範圍第1項所述之虛擬滑鼠驅動裝置，其中該影像處理單元係由該等輸入影像中偵測出一皮膚區域，並據以產生一皮膚邊緣區域，且該影像處理單元更計算該皮膚邊緣區域中之各像素及其兩側延伸一預定距離之2個端點之一夾角，並分別計算該夾角所對應的一夾角餘弦值，並據以產生該手指區域。
3. 如申請專利範圍第2項所述之虛擬滑鼠驅動裝置，其中該事件辨識單元係計算該等輸入影像中之每2張相鄰影像所對應的一差值，並依據該差值及該手指區域以由該等相鄰影像中取得複數個邊緣點，該事件辨識單元更判斷該等邊緣點之一數量是否大於一預定閥值，若是，該事件辨識單元係判斷該手指區域係處於一移動動作，若否，該事件辨識單元係判斷該手指區域係為靜止。
4. 如申請專利範圍第3項所述之虛擬滑鼠驅動裝置，其中該事件辨識單元更判斷該手指區域中之一左鍵手指或一右鍵手指是否有一按鍵動作，其中該特定事件係包括該移動動作及/或該按鍵動作，且該事件辨識單元更依據該按鍵動作及該移動動作以產生對應的一特定事件信號。
5. 如申請專利範圍第4項所述之虛擬滑鼠驅動裝置，其中該命令處理單元更將該特定事件信號轉換為該虛擬滑鼠控制指令。
6. 一種虛擬滑鼠模擬方法，用於一虛擬滑鼠驅動裝置，包括：持續地擷取複數張輸入影像；由該等輸入影像中辨識出一手指區域；偵測該手指區域之一特定事件；以及依據該特定事件以產生對應的一虛擬滑鼠控制指令。
7. 如專利申請範圍第6項所述之虛擬滑鼠模擬方法，其中辨識該手指區域之步驟更包括：由該等輸入影像中偵測出一皮膚區域；依據該皮膚區域以產生一皮膚邊緣區域；計算該皮膚邊緣區域中之各像素及其兩側延伸一預定距離之2個端點之一夾角，並分別計算該夾角所對應的一夾角餘弦值；以及依據該夾角餘弦值以產生該手指區域。
8. 如專利申請範圍第7項所述之虛擬滑鼠模擬方法，其中偵測該手指區域之該特定事件之步驟更包括：計算該等輸入影像中之每2張相鄰影像所對應的一差值；依據該差值及該手指區域以由該等相鄰影像中取得複數個邊緣點；判斷該等邊緣點之一數量是否大於一預定閥值；若是，判斷該手指區域係處於一移動動作；以及若否，係判斷該手指區域係為靜止。
9. 如專利申請範圍第8項所述之虛擬滑鼠模擬方法，其中偵測該手指區域之該特定事件之步驟更包括：判斷該手指區域中之一左鍵手指或一右鍵手指是否有一按鍵動作，其中該特定事件係包括該移動動作及/或該按鍵動作；以及依據該按鍵動作及該移動動作以產生對應的一特定事件信號。
10. 如專利申請範圍第9項所述之虛擬滑鼠模擬方法，更包括：將該特定事件信號轉換為該虛擬滑鼠控制指令。
11. 一種虛擬滑鼠驅動裝置，包括：一影像擷取裝置，用以持續地擷取複數張輸入影像；一影像處理單元，用以由該等輸入影像中產生對應的一背景圖，並分別對該等輸入影像及該背景圖中之像素進行比較，以取得一粗略輪廓，其中該影像處理單元並依據該粗略輪廓以產生一目標物件輪廓，並據以標記一目標物件；一事件辨識單元，用以偵測該目標物件之一特定事件；以及一命令處理單元，用以依據該特定事件以產生對應的一虛擬滑鼠控制指令。
12. 如申請專利範圍第11項所述之虛擬滑鼠驅動裝置，其中該影像處理單元係對該粗略輪廓進行一雜訊去除處理及判斷其連通成份以產生該目標物件輪廓，並據以標記該目標物件及對應的一二維座標。
13. 如申請專利範圍第12項所述之虛擬滑鼠驅動裝置，事件辨識單元係依據該二維座標之變化以判斷該特定事件，並依據該特定事件以產生對應的一特定事件信號。
14. 如申請專利範圍第13項所述之虛擬滑鼠驅動裝置，其中該特定事件係為上移、下移、左移、右移、單擊及/或雙擊。
15. 如申請專利範圍第13項所述之虛擬滑鼠驅動裝置，其中該命令處理單元更將該特定事件信號轉換為該虛擬滑鼠控制指令。
16. 一種虛擬滑鼠模擬方法，包括：持續地擷取複數張輸入影像；由該等輸入影像中產生對應的一背景圖；分別對該等輸入影像及該背景圖中之像素進行比較，以取得一目標物件之一粗略輪廓；依據該粗略輪廓以產生一目標物件輪廓；依據該目標物件輪廓以標記該目標物件；偵測該目標物件之一特定事件；以及依據該特定事件以產生對應的一虛擬滑鼠控制指令。
17. 如申請專利範圍第16項所述之虛擬滑鼠模擬方法，其中標記該目標物件之步驟更包括：對該粗略輪廓進行一雜訊去除處理及判斷其連通成份以產生該目標物件輪廓；以及依據該目標物件輪廓以標記該目標物件及對應的一二維座標。
18. 如申請專利範圍第16項所述之虛擬滑鼠模擬方法，其中偵測該目標物件之該特定事件之步驟更包括：依據該二維座標之變化以偵測該特定事件；以及依據該特定事件以產生對應的一特定事件信號。
19. 如申請專利範圍第18項所述之虛擬滑鼠模擬方法，其中該特定事件係為上移、下移、左移、右移、單擊及/或雙擊。
20. 如申請專利範圍第18項所述之虛擬滑鼠模擬方法，更包括：將該特定事件信號轉換為該虛擬滑鼠控制指令。