TWI397840B - 基於軌跡之控制方法及裝置 - Google Patents

Description

基於軌跡之控制方法及裝置

本揭露係關於一種控制方法與裝置，特別係關於基於軌跡之控制方法與裝置。

在人機介面設計的領域，運用自然的肢體語言作為輸入一直是技術發展的主軸目標。以手部動作作為輸入介面更是被各大公司列為技術發展重點。近年來，觸控螢幕、多點輸入在市場上的蓬勃發展尤其受人注目。使用手部觸控輸入之手機、面板及手提電腦在市場上亦日益普及。然而，觸控輸入區域受限於觸控面板大小。因此以視訊介面為基礎的人機輸入介面逐漸成為技術發展的另一方向。

中華民國發明專利第147011號專利揭示一種手勢滑鼠的構成方法，其利用攝影器就攝影區內背景上的物品(例如，使用者手掌)作為判斷基準。在電腦系統中，設定該物品影像中的最大Y值之點為游標，最大X值之點為按鍵。以所設定的游標及按鍵為中心，各設定一追蹤小範圍。若所設定的游標及按鍵二座標點之間，在單位時間內超過設定允許值的相對距離改變狀態，則判定為按鍵之動作。此外，美國第5454043號專利揭示一種手勢辨識(hand gesture recognition)系統，其事先訓練並儲存手勢動作以供系統辨識之用。美國專利第7227526號專利揭示一種基於視訊影像之控制系統，其利用兩個以上之攝影機構以分析目標物在三維空間上的移動情形，但其方式並不實用。

目前的商用視訊互動系統，手部動作通常僅能操作唯一功能，而無法找到一個有效方式可在即時環境中，同時移動滑鼠，並操作系統功能。因此在人機互動過程中，如何設計讓使用者不需要穿戴額外的感測裝置，且不需要額外的手勢訓練過程，便可以透過攝影機，僅運用單手或雙手操作滑鼠移動並執行系統功能，已成為產業界一個重要的議題。

本揭露提出一個讓使用者不用接觸螢幕，便能藉由單手或雙手軌跡操作系統中滑鼠動作的方法。該方法藉由分析使用者手掌移動軌跡，得到使用者手部動作資訊，並利用二階段的動作組合，讓使用者可以分別控制鼠標移動軌跡及執行系統功能。

本揭露之一實施例揭示一種基於軌跡之控制方法，包含：根據一目標追蹤流程取得一目標之至少一平滑座標；根據該目標之一第一軌跡執行一功能控制模式或一游標控制模式，其中係根據該至少一平滑座標表示該目標之該第一軌跡；根據該功能控制模式執行至少一系統功能；以及根據該游標控制模式控制至少一游標移動。

本揭露之一實施例揭示一種基於軌跡之控制裝置。該裝置包含一軌跡分析單元、一功能控制單元及一游標控制單元。該軌跡分析單元用以根據至少一目標之至少一平滑座標表示該至少一目標之至少一軌跡。該功能控制單元用以根據該至少一目標之該至少一軌跡執行至少一系統功能。該游標控制單元，用以根據該目標之該至少一平滑座標更新一游標位置或一定位游標位置。

圖1顯示本揭露之一實施例之基於軌跡之控制方法之流程圖。在步驟S101中，啟動一基於軌跡之控制流程。在步驟S102中，輸入序列影像。在步驟S103中，校正環境色偏與光圈大小以穩定序列影像之像素色彩。在步驟S104中，藉由轉換每一輸入影像之色域至YCbCr色域以獲得其色域轉化影像。接著，平滑化該色域轉化影像以獲得每一輸入影像之平滑色域轉化影像。在步驟S105中，根據一目前平滑色域轉化影像取得一膚色特徵影像並製作膚色樣板。在步驟S106中，根據該目前輸入影像之灰階影像與前一輸入影像之灰階影像，而據以取得一目前運動特徵影像。在步驟S107中，根據該膚色特徵影像及該目前運動特徵影像取得一運動膚色影像。在步驟S108中，平滑化該運動膚色影像以取得一平滑運動膚色影像。接著，在步驟S109中，二階化該平滑運動膚色影像以取得一二階化運動膚色影像。在步驟S110中，根據該二階化運動膚色影像取得一目標之可能座標。根據本揭露之一實施例，該目標為一使用者之手掌。根據本揭露之一實施例，該可能座標可根據方程式(1)求得。

其中為目前仍持續運動之膚色區塊座標(即該可能座標)，K 為該二階化運動膚色影像中膚色區塊的個數，為該膚色特徵影像中第i 個膚色區塊的質心，為由該二階化運動膚色影像中求得之運動中心座標，d _i 為()的範數。根據本揭露之一實施例，上述之可由方程式(2)求得。

其中C為該目前運動特徵影像中運動區塊的個數，為該目前運動特徵影像中第i 個運動區塊的質心，為前一運動特徵影像中取得之運動中心座標。

在步驟S111中，根據該二階化運動膚色影像取得手掌之預測座標。根據本揭露之一實施例，該預測座標可根據方程式(3)求得。

其中為前一個二階化運動膚色影像中一目標區塊之一鎖定座標，為該膚色特徵影像中第i 個膚色區塊的質心，為與目標區塊相近的膚色區塊質心座標(即該預測座標)。在步驟S112中，根據該可能座標、該預測座標及該前一個二階化運動膚色影像中之目標區塊面積而取得手掌之一最新座標。根據本揭露之一實施例，其中取得該最新座標的判斷法則係根據方程式(4)。

其中為該前一個二階化運動膚色影像中之目標區塊面積。當，且f 小於一使用者設定之一門檻值時，則判定為該最新座標。反之，當，且f 大於該門檻值時，則判定為該最新座標。最後，在步驟S112中，根據該最新座標、該鎖定座標及一權重比率求得手掌之一平滑座標。

在步驟S113中，根據該平滑座標標定其他非目標(如臉部)之座標以供下次座標判定參考。影像隨著時間陸續輸入，將取得手掌之複數個平滑座標，而手掌之軌跡係可由該些平滑座標表示。因此，在步驟S114中，根據手掌之一軌跡執行一功能控制模式或一游標控制模式。根據本揭露之一實施例，若該軌跡為一第一特定軌跡(如順/逆時針旋轉)，則執行該功能控制模式，或若該軌跡在一特定時間內(例如1秒)無變化(例如手掌停止不動)，則執行該功能控制模式。在步驟S114中，結束本基於軌跡之控制流程。

以下根據本揭露之一實施例，說明如何根據該些平滑座標分析一目標之軌跡。由上所述，該些平滑座標亦可視為手掌之移動軌跡之特徵點。根據該些特徵點，取得一特徵點連線關係表與一特徵點位置關係表。該特徵點連線關係表記錄了兩兩特徵點之間是否有連線關係。該特徵點位置關係表係根據多個方向來記錄兩兩特徵點之間的相對位置關係。將該特徵點連線關係表與該特徵點位置關係表分別與多個待選擇圖形的多個待選擇連線關係表與多個待選擇位置關係表進行比對，以辨識出軌跡所對應之圖形。之後，根據上述比對結果執行一對應之控制流程。根據本揭露之一實施例，以下描述一順/逆時針軌跡辨識方式。對於複數個特徵點T ={t ₁ (x ₁ ,y ₁ ),t ₂ (x ₂ ,y ₂ ),...,t _{n -1} (x _{n -1} ,y _{n - 1} ),t _n (x _n ,y _n )},求得其兩點間之向量集合，將相鄰兩向量作外積計算，可取得其向量夾角θ _i 與正交向量。然後藉由其正(負)值，判斷一軌跡為順時針移動或逆時針移動。此外，亦可根據累積移動角度進一步判別其旋轉圈數。

根據本揭露之一實施例，圖2顯示步驟S114之詳細步驟。在步驟S202中，根據手掌之一軌跡，判斷是否執行一功能控制模式。手掌之該軌跡可為為二維軌跡或三維軌跡。根據本揭露之一實施例，若該軌跡在一特定時間內(例如1秒)無變化(例如手掌無移動)，則執行一功能控制模式。進入功能控制模式後，在步驟S203中，再次判斷手掌在一特定時間內(例如1.5秒)是否移動。若是，則在步驟S204中分析手掌移動軌跡。根據該手掌移動軌跡得到一語意。例如，該手掌軌跡可為順/逆時針、八字型、三角形、左右/上下晃動，其用以代表不同語意。本揭露並不限於單一手掌所產生之語意，亦可為兩手掌所產生之語意。在步驟S205中，根據所得到之語意執行相對應動作。例如，滑鼠左/中/右鍵、滾輪、上/下頁、播放、停止，或針對不同應用程式(如螢幕小鍵盤的鍵盤點選)、組合鍵配置，或因應目前應用程式而產生相對應動作(如多媒體程式中的播放、選擇、停止、快/慢轉、全螢幕)，或powerpoint中的上下頁、點選、標記等功能。在步驟S206中，判斷是否結束該功能控制模式。在步驟S211中，結束該功能控制模式。在步驟S202中，根據手掌之一軌跡，若判斷為一游標控制模式，則在步驟S207中，判斷手掌是否停止移動。若是，則在步驟S208中移動一游標位置。若否，則在步驟S209中移動一定位游標位置。在步驟S210中，判斷是否結束該游標控制模式。在步驟S211中，結束該游標控制模式。上述之該最新座標、該可能座標、該鎖定座標、該預測座標及該平滑座標為運動中心座標或質心座標。

圖3為本揭露之另一實施例之基於軌跡之控制裝置300之系統方塊圖。基於軌跡之控制裝置300包含輸入單元301、校正單元302、轉換單元303、影像處理單元304、影像擷取單元305、座標取得單元306、軌跡分析單元307、功能控制單元308及游標控制單元309。該軌跡分析單元307根據至少一目標之至少一平滑座標，用以表示該至少一目標之至少一軌跡。該至少一目標為一使用者之一手掌。該至少一軌跡為二維軌跡或三維軌跡。該功能控制單元308根據該至少一目標之該至少一軌跡，用以執行至少一系統功能。該游標控制單元309根據該目標之該至少一平滑座標，用以更新一游標位置或一定位游標位置。該影像處理單元304具有下列功能：平滑化至少一運動膚色影像以取得至少一平滑運動膚色影像；平滑化至少一色域轉換影像以取得至少一平滑色域轉換影像；及二階化該至少一平滑運動膚色影像以取得至少一二階化運動膚色影像。該影像擷取單元305根據該至少一平滑色域轉換影像，用以取得至少一膚色特徵影像、至少一運動特徵影像、該至少一運動膚色影像及該至少一二階化運動膚色影像。該座標取得單元306具有下列功能：根據該至少一二階化運動膚色影像及該至少一膚色特徵影像以取得至少一可能座標；根據該至少一目標之至少一鎖定座標及該至少一膚色特徵影像取得至少一預測座標；根據該至少一可能座標、該至少一預測座標及該至少一目標之面積取得該至少一目標之至少一最新座標；根據該至少一最新座標、該至少一鎖定座標及至少一權重比率求得該至少一目標之該至少一平滑座標；及根據該至少一目標之該至少一平滑座標標定至少一非目標之座標。該輸入單元301用以輸入至少一影像。該轉換單元303用以轉換該至少一影像之色域至一YCbCr色域並取得該至少一色域轉換影像。該校正單元302用以根據該至少一影像校正環境光源。上述之該至少一目標之該至少一平滑座標、該至少一可能座標、該至少一鎖定座標、該至少一預測座標及該至少一最新座標為運動中心座標或質心座標。

本揭露之技術內容及技術特點已揭示如上，然而熟悉本項技術之人士仍可能基於本揭露之教示及揭示而作種種不背離本揭露精神之替換及修飾。因此，本揭露之保護範圍應不限於實施例所揭示者，而應包括各種不背離本揭露之替換及修飾，並為以下之申請專利範圍所涵蓋。

S101-S115．．．步驟

S201-S211．．．步驟

301．．．輸入單元

302．．．校正單元

303．．．轉換單元

304．．．影像處理單元

305．．．影像擷取單元

306．．．座標取得單元

307．．．軌跡分析單元

308．．．功能控制單元

309．．．游標控制單元

圖1顯示本揭露之一實施例之基於軌跡之控制方法之流程圖；

圖2顯示圖1之步驟S114之詳細步驟；以及

圖3為本揭露之另一實施例之基於軌跡之控制裝置之系統方塊圖。

S201-S211．．．步驟

Claims (20)

1. 一種基於軌跡之控制方法，包含：根據一目標追蹤流程取得一目標之至少一平滑座標，其中該目標追蹤流程係利用一二階化運動膚色影像及一膚色特徵影像取得該目標之該至少一平滑座標；根據該目標之一第一軌跡執行一功能控制模式或一游標控制模式，其中係根據該至少一平滑座標表示該目標之該第一軌跡；根據該功能控制模式執行至少一系統功能；以及根據該游標控制模式控制至少一游標移動。
2. 根據請求項1之控制方法，其中若該第一軌跡為一第一特定軌跡，則執行該功能控制模式。
3. 根據請求項1之控制方法，其中若該第一軌跡於一第一時間內無變化，則執行該功能控制模式。
4. 根據請求項1之控制方法，其中該第一軌跡為二維軌跡或三維軌跡。
5. 根據請求項1之控制方法，其中該目標為一使用者之手掌。
6. 根據請求項1之控制方法，其中該目標追蹤流程包含下列步驟：根據該二階化運動膚色影像及該膚色特徵影像取得該目標之一可能座標；根據該膚色特徵影像及該目標之一鎖定座標取得該目標之一預測座標；根據該可能座標、該預測座標及該目標之面積取得該 目標之一最新座標；根據該最新座標、該鎖定座標及一權重比率求得該目標之該至少一平滑座標；以及根據該目標之該至少一平滑座標標定至少一非目標之座標。
7. 根據請求項6之控制方法，其中該目標追蹤流程另包含下列步驟：取得一第一平滑色域轉換影像；取得一第二平滑色域轉換影像；根據該第二平滑色域轉換影像取得該膚色特徵影像；根據該第一平滑色域轉換影像之灰階影像與該第二平滑色域轉換影像之灰階影像取得一運動特徵影像；根據該膚色特徵影像及該運動特徵影像取得一運動膚色影像；平滑化該運動膚色影像以取得一平滑運動膚色影像；以及二階化該平滑運動膚色影像以取得該二階化運動膚色影像。
8. 根據請求項7之控制方法，其中該目標追蹤流程另包含下列步驟：校正環境光源；輸入一影像；轉換該影像之色域至一YCbCr色域並取得一色域轉換影像；以及平滑化該色域轉換影像以取得該第一平滑色域轉換影 像或該第二平滑色域轉換影像。
9. 根據請求項8之控制方法，其中該最新座標、該可能座標、該鎖定座標、該預測座標及該目標之該至少一平滑座標為運動中心座標或質心座標。
10. 根據請求項1之控制方法，其中該功能控制模式包含下列步驟：分析該目標之一第二軌跡；以及根據該第二軌跡執行該至少一系統功能。
11. 根據請求項10之控制方法，其中若該第二軌跡為一第二特定軌跡，則控制該至少一系統功能。
12. 根據請求項10之控制方法，其中該第二軌跡為二維軌跡或三維軌跡。
13. 根據請求項1之控制方法，其中該游標控制模式包含下列步驟：根據該目標之該至少一平滑座標更新一游標位置；以及根據該目標之該至少一平滑座標更新一定位游標位置。
14. 一種基於軌跡之控制裝置，包含：一軌跡分析單元，用以根據至少一目標之至少一平滑座標表示該至少一目標之至少一軌跡，其中該軌跡分析單元更包含一影像處理單元、一影像擷取單元、一座標取得單元；一功能控制單元，用以根據該至少一目標之該至少一軌跡執行至少一系統功能；以及 一游標控制單元，用以根據該目標之該至少一平滑座標更新一游標位置或一定位游標位置。
15. 根據請求項14之控制裝置，其中：該影像處理單元，用以平滑化至少一運動膚色影像以取得至少一平滑運動膚色影像，平滑化至少一色域轉換影像以取得至少一平滑色域轉換影像，以及二階化該至少一平滑運動膚色影像以取得至少一二階化運動膚色影像；該影像擷取單元，根據該至少一平滑色域轉換影像取得至少一膚色特徵影像、至少一運動特徵影像、該至少一運動膚色影像及該至少一二階化運動膚色影像；以及該座標取得單元，用以根據該至少一二階化運動膚色影像及該至少一膚色特徵影像取得至少一可能座標，根據該至少一目標之至少一鎖定座標及該至少一膚色特徵影像取得至少一預測座標，根據該至少一可能座標、該至少一預測座標及該至少一目標之面積取得該至少一目標之至少一最新座標，根據該至少一最新座標、該至少一鎖定座標及至少一權重比率求得該至少一目標之該至少一平滑座標以及根據該至少一目標之該至少一平滑座標標定至少一非目標之座標。
16. 根據請求項15之控制裝置，其另包含：一輸入單元，用以輸入至少一影像；一轉換單元，用以轉換該至少一影像之色域至一YCbCr色域並取得該至少一色域轉換影像；以及一校正單元，用以根據該至少一影像校正環境光源。
17. 根據請求項14之控制裝置，其中該至少一軌跡為二維軌跡 或三維軌跡。
18. 根據請求項14之控制裝置，其中該至少一目標為一使用者之手掌。
19. 根據請求項15之控制裝置，其中該至少一目標之該至少一平滑座標、該至少一可能座標、該至少一鎖定座標、該至少一預測座標及該至少一最新座標為運動中心座標或質心座標。
20. 根據請求項14之控制裝置，其中該至少一目標之該至少一軌跡為二維軌跡或三維軌跡。