TWI479430B - 以自然影像進行的手勢辨識方法 - Google Patents

Description

以自然影像進行的手勢辨識方法

本發明係有關一種手勢辨識方法，特別是關於一種以自然影像進行的手勢辨識方法。

手勢控制系統提供簡單且直覺式的操作便利性，但是使用諸如觸控面板這類接觸式的人機介面的系統限制使用者必須緊貼該介面操作，對於某些應用而言相當不便。相反的，使用非接觸式介面的手勢控制系統讓使用者能在相對較遠的距離操作，但是必須藉由影像的擷取及辨識來判斷手勢，所以難度較高。目前這種透過影像辨識手勢的方法可分為兩大類，一類係使用不含輔助光源的自然影像來辨識手勢，另一類則是利用打出一種或多種輔助光源產生的非自然影像來辨識手勢。

相較於使用輔助光源的手勢控制系統，不含輔助光源的手勢控制系統具有低成本、可與相機結合以及省電等優點，但是卻有偵測難度較高的先天劣勢。不含輔助光源的手勢控制系統常用的手勢辨識方法有移動偵測及形狀偵測。由於不同使用者的手勢、習慣各異，使用移動偵測的手勢辨識方法對於某些手勢的辨識率較低，例如按壓(click)、縮放(zoom in/out)等包含Z軸運動的手勢，而使用形狀偵測的手勢辨識方法通常要求使用者以固定、可被系統辨識的特定手勢操作，例如握拳、伸掌等。圖1及圖2係使用形狀偵測的手勢辨識方法的示意圖，相機模組10每間隔一段時間擷取一幀(frame)影像，若使用者伸掌在相機模組10前方橫向揮動，亦即在影像的X軸及Y軸的方向上運動，則相機模組10取得的前後兩幀影像如圖2中的f(1)及f(2)所 示，手12的影像14及16在畫面中的位置不同，系統從每一幀影像f(1)及f(2)中辨識具有預設形狀的影像，例如食指的指尖18及20，再根據指尖的影像18及20在畫面中的位置差異判斷這是一個向右揮動的手勢。此法要求足夠清晰的影像以辨識出預設形狀的影像，對於快速移動時的模糊影像不具抵抗能力，因此也不適合短距離的應用。若使用者在操作過程中手部變動導致系統無法找出預設形狀的影像，也會造成手勢辨識失敗。因為影像受到可辨識形狀的限制，造成某些手勢很難定義，故對於可操作的手勢有很大的限制，大體上只有能夠產生特徵鮮明的影像的手勢才能在系統中預先定義。此外，由於使用者對著相機模組10前後移動手部而產生的影像變異很大，因此這種方法也很難支援Z軸(縱向)運動的手勢。

使用形狀偵測的手勢辨識方法係先從影像中辨識膚色範圍，然後對膚色範圍辨識形狀，再進一步找出手在一幀影像中的位置。然而膚色分析需要很複雜的演算法，而且與色溫有關，錯誤率比較高，形狀辨識也需要複雜的演算法，這些辨識程序需要大量的運算，因此軟硬體的成本比較高，系統的反應也比較慢。

本發明的目的之一，在於提出一種以自然影像進行的手勢辨識方法。

本發明的目的之一，在於提出一種對模糊影像具有先天抵抗能力的手勢辨識方法。

本發明的目的之一，在於提出一種有利於短距離應用的手勢辨識方法。

本發明的目的之一，在於提出一種在不需固定手勢下支援X、Y、Z三軸之運動的手勢辨識方法。

本發明的目的之一，在於提出一種毋需符合預設手勢形狀的手勢辨識方法。

本發明的目的之一，在於提出一種不受色溫影響的手勢辨識方法。

本發明的目的之一，在於提出一種較少運算量的手勢辨識方法。

本發明的目的之一，在於提出一種較低成本的手勢辨識方法。

根據本發明，一種以自然影像進行的手勢辨識方法包含產生在時間上為一序列的影像，再從中選擇兩幀或更多幀影像產生變化影像，計算該變化影像的畫面特徵值，以及將該畫面特徵值的變化模式(pattern)與手勢定義比對，以判斷手勢。

本發明的方法不需要進行影像辨識，也不需要偵測物件的位置，因此可以避免習知技術的各種缺點。

圖3係根據本發明的實施例，如同習知技術一般，步驟22先擷取影像，例如圖1所示的相機模組10每間隔一段時間擷取一幀影像，因而產生在時間上為一序列的影像，步驟24從該序列的影像中選擇相鄰的兩幀或更多幀影像，由步驟26利用前後多幀影像產生變化影像，變化影像是依照預設的公式計算出來的數值，例如每一像素的亮度變化，用來表現影像在時間軸上的變化，步驟28計算變化影像的畫面特徵值，例如重心、標準差(standard deviation)或變異量(variance)，步驟30將畫面特徵值 的變化模式(pattern)與預設的手勢定義比對，若符合某一手勢定義，則步驟32產生相對應的指令，再回到步驟24，否則直接回到步驟24。由於此法係以影像的全畫面的變化來判斷手勢，不藉助任何影像的形狀，因此不需要辨識手的形狀，也不必找出手的位置，也因此，該方法對影像模糊具有極佳的抵抗能力，而且不受物件的形狀或色溫影響，物件不限定為手。由於不要求清晰的影像，所以快速揮動的手勢也可以辨識，也因此可適用在短距離的應用。此外，該方法只需要簡單的運算法，運算量也比較少，因此系統的反應快，需要的軟硬體成本也比較低。

以下以滑動(slide)、旋轉(rotate)及縮放(zoom)等手勢的偵測為例，更具體地說明本發明。

參照圖1，當手12在相機模組10前方橫向揮動時，相機模組10產生在時間上為一序列的影像如圖4所示，利用相鄰的兩幀影像f(1)及f(2)產生變化影像df(1,2)，例如以後影像f(2)減掉前影像f(1)，即df(1,2)=f(2)-f(1)，然後計算變化影像df(1,2)的畫面特徵值，例如重心的位置34，同樣的，利用相鄰的兩幀影像f(2)及f(3)產生變化影像df(2,3)，計算變化影像df(2,3)的重心的位置36，因為手12產生的影像14、16及38在畫面中的位置不同，所以重心在畫面中的位置34及36也不同。以如此方式取得更多變化影像的重心的位置，例如圖4的右下方所示，其變化模式呈現向右移動，若此變化模式符合某個預設的手勢定義，則判定其為該定義的手勢，例如滑動。

參照圖5，當使用者的手12面對相機模組10劃圈時，變化影像的重心的位置具有如圖6所示的變化模式，可用來產生旋 轉的指令。

參照圖7，當使用者的手12對著相機模組10前後移動時，相機模組10取得的前後兩幀影像如圖8中的f(1)及f(2)所示，手12產生的影像14及16在畫面中的位置不變或變化不大，但大小會有明顯的差異，這種手勢可用來產生縮放的指令。利用影像f(1)及f(2)產生變化影像df(1,2)，例如df(1,2)=f(2)-f(1)，以這種方式得到的變化影像的重心的位置具有不變或變化不大的變化模式，但影像14及16的大小差異會在其他不同的畫面特徵值表現出來。例如參照圖9，以前後兩幀影像相減產生變化影像，從其像素座標計算出來的重心與其變異量，在不同的手勢時具有特定的變化模式。滑動手勢在時間軸上的變化模式如圖9a所示，其平均值大致不變，如曲線40所示，其變異量沒有連續且規律的往覆變化，如曲線42所示。旋轉手勢在時間軸上的變化模式如圖9b所示，其平均值與變異量皆有連續且規律的往覆變化，如曲線44及46所示。縮放手勢在時間軸上的變化模式如圖9c所示，其變異量有連續且規律的往覆變化，如曲線50所示，但其平均值缺少相對應的變化，如曲線48所示。

計算影像的畫面特徵值是習知技術，只要是可以表現出影像變化的參數或數學式都可以在本發明中使用。

在不同的實施例中，除了計算變化影像的畫面特徵值，還可對該畫面特徵值進行頻率分析，例如使用傅立葉轉換將影像在縱軸及橫軸上的移動從時域轉換到頻域，以判斷其變化模式。用來當作手勢定義的變化模式可由系統設計者決定。

在計算變化影像時，可以增加門檻值來篩選像素，只有亮度變化超過門檻值的像素才用來計算畫面特徵值，以提高準確 度。

以上對於本發明之較佳實施例所作的敘述係為闡明之目的，而無意限定本發明精確地為所揭露的形式，基於以上的教導或從本發明的實施例學習而作修改或變化是可能的，實施例係為解說本發明的原理以及讓熟習該項技術者以各種實施例利用本發明在實際應用上而選擇及敘述，本發明的技術思想企圖由以下的申請專利範圍及其均等來決定。

10‧‧‧相機模組

12‧‧‧手

14‧‧‧手的影像

16‧‧‧手的影像

18‧‧‧食指的部分影像

20‧‧‧食指的部分影像

22‧‧‧擷取影像

24‧‧‧選擇影像

26‧‧‧產生變化影像

28‧‧‧計算畫面特徵值

30‧‧‧手勢比對

32‧‧‧產生指令

34‧‧‧變化影像的重心

36‧‧‧變化影像的重心

38‧‧‧手的影像

圖1係橫向運動的手勢的示意圖；圖2係習知的手勢辨識方法的示意圖；圖3係本發明的實施例；圖4係偵測橫向運動的手勢的示意圖；圖5係旋轉運動的手勢的示意圖；圖6係旋轉運動的手勢產生的變化模式的示意圖；圖7係垂直運動的手勢的示意圖；圖8係偵測垂直運動的手勢的示意圖；以及圖9係不同的手勢產生的變化模式。

22‧‧‧擷取影像

24‧‧‧選擇影像

26‧‧‧產生變化影像

28‧‧‧計算畫面特徵值

30‧‧‧手勢比對

32‧‧‧產生指令

Claims (5)

1. 一種以自然影像進行的手勢辨識方法，包含下列步驟：A.)產生在時間上為一序列的影像；B.)從該序列的影像中每次選擇相鄰的兩幀或更多幀影像產生變化影像；C.)從該變化影像計算畫面特徵值；以及D.)將該畫面特徵值的變化模式與手勢定義比對，以判斷手勢。
2. 如請求項1之手勢辨識方法，其中該步驟B包含將在時間上前後的影像相減。
3. 如請求項1之手勢辨識方法，其中該步驟B包含使用門檻值篩選該變化影像的像素。
4. 如請求項1之手勢辨識方法，其中該步驟C包含計算該變化影像的重心、標準差或變異量作為該畫面特徵值。
5. 如請求項1之手勢辨識方法，其中該步驟D包含對該畫面特徵值進行頻率分析，以判斷該變化模式。