TW201913352A - 揮舞動作偵測方法及電子裝置 - Google Patents

Abstract

一種揮舞動作偵測方法及電子裝置。此方法適用於具有影像擷取裝置及處理器的電子裝置，其中包括下列步驟：利用影像擷取裝置擷取連續多張影像；由處理器計算這些影像中每兩張相鄰影像之間的差值影像，並依據這些差值影像中多個像素的像素值，判斷這些差值影像的變化程度是否超過預定程度；若變化程度超過預定程度，處理器偵測各個差值影像中由像素值發生預定變化的像素所形成的變化範圍，並判斷所偵測變化範圍中像素值的變化頻率是否超過預定頻率；以及若變化頻率超過預定頻率，處理器判定這些影像中出現揮舞動作。

Description

揮舞動作偵測方法及電子裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種揮舞動作偵測方法及電子裝置。

使用者在看電視時，一般都是使用遙控器來控制電視轉台或調整音量。新型的智慧電視則在電視上配置相機，藉由此相機拍攝使用者的影像並對影像進行影像處理，可辨識出使用者的動作並據以執行對應功能。例如，當偵測到使用者揮舞手臂時，電視可根據揮舞的方向執行轉台、選單操作等功能。藉此，可提供使用者以簡單、直覺的方式操作電視。

習知偵測揮舞動作的方式包括背景差異分析法、移動軌跡偵測法等。其中，背景差異分析法利用前置相機擷取電視前方的多張影像，並利用背景建模法計算背景影像，之後則將所擷取的每張影像劃分成多個區域並與背景影像中的對應區域進行比較，對差異較大的區塊記錄時間戳記，最後再分析所記錄的時間戳記序列，以判斷是否有符合揮手的特徵出現。然而，由於背景建模需要大量運算，因此該方法會消耗較多的電力並佔用較多的運算資源，且要辨識特定特徵則需要預先收集大量樣本來訓練並儲存辨識器模型，此將會佔用裝置的儲存空間。

移動軌跡偵測法則是對每張影像依據表面紋理等特徵進行物件分割演算法，再針對移動物件分析其移動軌跡來判斷是否符合揮手的特徵。然而，物件分割演算法同樣需要大量運算，且由於當物件移動時會產生動態模糊（motion blur），此將降低所偵測紋理的可靠度。

本發明提供一種揮舞動作偵測方法及電子裝置，僅採用影像最基本的資訊來分析所拍攝影像之間像素值的變化範圍及其中像素值的變化頻率，而能夠在不佔用過多資源的情況下，實現揮舞動作偵測。

本發明的揮舞動作偵測方法適用於具有影像擷取裝置及處理器的電子裝置。此方法包括下列步驟：利用影像擷取裝置擷取連續多張影像；由處理器計算這些影像中每兩張相鄰影像之間的差值影像，並依據這些差值影像中多個像素的像素值，判斷這些差值影像的變化程度是否超過預定程度；若變化程度超過預定程度，處理器偵測各個差值影像中由像素值發生預定變化的像素所形成的變化範圍，並判斷所偵測變化範圍中像素值的變化頻率是否超過預定頻率；以及若變化頻率超過預定頻率，處理器判定這些影像中出現揮舞動作。

在本發明的一實施例中，上述依據差值影像中像素的像素值，判斷差值影像的變化程度是否超過預定程度的步驟包括檢查差值影像中各個像素的像素值是否大於第一閥值，其中若像素的像素值大於第一閥值，則在累計動態影像中標記此像素，然後重複上述步驟，並在檢查連續N張差值影像後，依據累計動態影像中各個像素被標記的次數，判斷差值影像的變化程度是否超過預定程度，其中N為大於1的正整數。

基於上述，本發明的揮舞動作偵測方法及電子裝置依據使用者揮舞動作的特性，藉由計算相鄰影像間的差值影像並將差值影像中各個像素的像素值與預設閥值比較，以找出具有足夠動態的像素，並以這些像素所形成的變化範圍來計算其中像素值的變化頻率，最終在所計算變化頻率超過預定頻率時，即判定影像中有出現揮舞動作。由於本發明方法僅採用加/減算及條件判斷，因此可有效降低運算量，而不佔用過多系統資源。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

基於使用者揮手（或揮動物體）的特性是手臂（或物體）會在影像中的特定範圍內反覆地擺盪，若針對每個時間點的相鄰影像取差，則在此特定範圍內將會持續有差異出現。據此，本發明即於一段時間區間內，針對所拍攝的相鄰影像取其差值影像並計算其中像素值發生預定變化的範圍，若在此範圍內的像素變化頻率高，即認定有揮手動作出現。藉此，可在僅採用影像最基本資訊執行較簡易運算的情況下，實現揮舞動作偵測。

圖1是依照本發明一實施例所繪示之揮舞動作偵測的電子裝置的方塊圖。請參照圖1，本實施例的電子裝置10例如是具有運算能力的伺服器、工作站或個人電腦等計算機裝置，或是電視、錄放影機、音響等家電或其他電子產品，其可提供使用者藉由揮舞動作進行控制，本實施例不限定電子裝置10的種類。電子裝置10中包括影像擷取裝置12、儲存裝置14及處理器16，其功能分述如下。

影像擷取裝置12例如是包括光學鏡頭及電荷耦合元件（Charge Coupled Device，CCD）或互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件等感光元件的相機，其例如是配置在電子裝置10的正面，而可用以拍攝電子裝置10前方的影像。舉例來說，影像擷取裝置12例如可配置在電視顯示面板的上方，而可拍攝觀看電視之使用者的影像。

儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體、唯讀記憶體、快閃記憶體、硬體或類似元件或上述元件的組合。在本實施例中，儲存裝置14用以記錄變化程度判斷模組142、變化範圍偵測模組144及變化頻率判斷模組146，這些模組例如是儲存在儲存裝置14中的電腦程式。

處理器16例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。處理器16耦接影像擷取裝置12及儲存裝置14，其可從儲存裝置14載入並執行變化程度判斷模組142、變化範圍偵測模組144及變化頻率判斷模組146的電腦程式，從而實現本申請實施例的揮舞動作偵測方法。以下即舉實施例說明此方法的詳細步驟。

圖2是依照本發明一實施例所繪示之揮舞動作偵測方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述的電子裝置10，以下即搭配電子裝置10的各項裝置及元件說明本實施例之揮舞動作偵測方法的詳細步驟。

首先，由處理器16利用影像擷取裝置12擷取連續多張影像（步驟S202）。其中，處理器16例如是在一段時間區間內，利用影像擷取裝置12擷取多張影像，並利用這些影像來判斷揮舞動作。

詳言之，處理器16例如執行變化程度判斷模組142，以計算影像擷取裝置12所擷取影像中每兩張相鄰影像之間的差值影像，並依據這些差值影像中多個像素的像素值，判斷這些差值影像的變化程度是否超過預定程度（步驟S204）。其中，變化程度判斷模組142例如是以差值影像中各個像素的像素值是否超過預定閥值來判斷該像素是否具有明顯變化，並累計最近N張影像中各個像素被判定具有明顯變化的次數，用以與預定閥值比較，從而判斷出差值影像的變化程度是否超過預定程度。

詳言之，圖3是依照本發明一實施例所繪示之判斷差值影像之變化程度的方法流程圖。請參照圖3，本實施例說明圖2中步驟S204的詳細流程。

首先，變化程度判斷模組142會計算影像擷取裝置12所擷取的當前影像Img(t)與前一張影像Img(t-1)的差值，以生成差值影像ImgDiff(t)（步驟S302）。

接著，變化程度判斷模組142會檢查差值影像ImgDiff(t)中各個像素的像素值是否大於閥值T1（步驟S304）。若是，變化程度判斷模組142即會在累計動態影像ImgSumDyn中標記像素值大於閥值T1的像素（步驟S304）；反之，變化程度判斷模組142則會在累計動態影像ImgSumDyn中標記像素值不大於閥值T1的像素（步驟S306）。所述閥值T1例如是介於1至30之間的任意數值（閥值T1的設定例如與所分析的色彩空間類型有關，此後皆以RGB色彩空間為例）。其中，累計動態影像ImgSumDyn例如是尺寸與影像Img(t)、Img(t-1)相同的影像，而可用以記錄影像Img(t)、Img(t-1)中每個像素的累計動態次數。在一實施例中，變化程度判斷模組142例如會在累計動態影像ImgSumDyn中將像素值大於閥值T1的像素標記為1，而將像素值不大於閥值T1的像素標記為-1，但不限於此。

在將差值影像ImgDiff(t)中的像素依其像素值的大小標記於累計動態影像ImgSumDyn之後，變化程度判斷模組142會判斷是否已檢查N張差值影像ImgDiff(t)（步驟S308），其中N為大於1的正整數。若否，則變化程度判斷模組142會將當前影像Img(t)設為前一張影像Img(t-1)，並使用下一張影像作為當前影像Img(t)，而回到步驟S302，重新計算影像Img(t)與影像Img(t-1)的差值影像ImgDiff(t)，並再次將此差值影像ImgDiff(t)中的像素依其像素值的大小標記於累計動態影像ImgSumDyn中。其中，累計動態影像ImgSumDyn中會累計各個像素被標記的次數，並確保每個像素的累計動態次數不小於0。

反之，若已檢查N張差值影像ImgDiff(t)，變化程度判斷模組142即可依據累計動態影像ImgSumDyn中記錄的各個像素被標記的次數，判斷差值影像的變化程度是否超過預定程度（步驟S310）。詳言之，在一實施例中，變化程度判斷模組142例如會判斷累計動態影像ImgSumDyn中是否有至少一個像素累計被標記的次數超過閥值T2。若有至少一個像素累計被標記的次數超過閥值T2，變化程度判斷模組142即可判定這些差值影像的變化程度超過預定程度。所述閥值T2例如是介於10至30之間的任意數值。

回到圖2的流程，當變化程度判斷模組142判斷差值影像的變化程度超過預定程度時，處理器16即執行變化範圍偵測模組144，以偵測各張差值影像中由像素值發生預定變化的像素所形成的變化範圍（步驟S208）。其中，變化範圍偵測模組144例如是在前述的累計動態影像ImgSumDyn的像素中搜尋被標記次數超過閥值T3的多個動態像素，並找出範圍可涵括這些動態像素的最小矩形，以作為前述的變化範圍。所述閥值T3例如是介於5至30之間的任意數值。

詳言之，變化範圍偵測模組144例如會在影像ImgWave中，將累計動態影像ImgSumDyn中被標記次數超過閥值T3的像素標記為1，否則標記為0，然後再利用矩形來描述影像ImgWave中標記為1的像素所形成的輪廓，以作為前述的變化範圍。

舉例來說，圖4是依照本發明一實施例所繪示之描述影像中變化範圍的範例。請參照圖4，影像40例如是用以記錄累計動態影像ImgSumDyn中被標記次數超過閥值T3的像素的影像，其尺寸與累計動態影像ImgSumDyn相同。其中，對於累計動態影像ImgSumDyn中被標記次數超過閥值T3的像素，在影像40中將標記為1，反之則標記為0，而標記為1的像素在影像40中將形成如輪廓42所包圍的區域。利用輪廓42的上、下、左、右的頂點可找到範圍可涵括輪廓42的最小矩形44，此最小矩形44即可用以作為前述動態像素的變化範圍。

回到圖2的流程，在偵測變化範圍之後，處理器16即執行變化頻率判斷模組146，以判斷變化範圍偵測模組144所偵測的變化範圍中像素值的變化頻率是否超過預定頻率（步驟S208）。其中，若變化頻率超過預定頻率，變化頻率判斷模組146即會判定所述影像中出現揮舞動作（步驟S212）。反之，若變化頻率未超過預定頻率，則流程會回到步驟S202，繼續利用影像擷取裝置12擷取下一張影像，並重複步驟S204至S210的動作，直到變化範圍中像素值的變化頻率超過預定頻率時，才判定所述影像中出現揮舞動作。

需說明的是，變化頻率判斷模組146例如檢查從最近M張影像所計算的每一張差值影像中偵測出的變化範圍是否滿足穩定條件，並統計從這些變化範圍中檢查出滿足穩定條件的次數，最後則將此次數除以M以生成前述的變化頻率，其中M為大於1的正整數。在一實施例中，變化頻率判斷模組146例如是藉由將從當前差值影像中偵測出的變化範圍與從前k個差值影像中偵測出的變化範圍比較，從而判定從當前差值影像中偵測出變化範圍是否滿足穩定條件。

詳言之，圖5是依照本發明一實施例所繪示之計算變化範圍中像素值的變化頻率的方法流程圖。請參照圖5，本實施例說明圖2步驟S210中變化頻率的計算流程。

首先，由處理器16執行變化頻率判斷模組146，以計算從當前差值影像中偵測出的變化範圍Box(t)與從當前差值影像的前k個差值影像中偵測出的變化範圍Box(t-k)的交集InterBox(t)（步驟S502），其中k為正整數。舉例來說，若k為2，則交集InterBox(t)即為將變化範圍Box(t)、Box(t-1)、Box(t-2)取交集的結果。

接著，變化頻率判斷模組146會依據變化範圍Box(t)與交集InterBox(t)的位置及尺寸，判斷其是否相似（步驟S504）。在一實施例中，可依據變化範圍Box(t)與交集InterBox(t)的重疊比例的大小來判斷其是否相似。

若判斷變化範圍Box(t)與交集InterBox(t)相似，則變化頻率判斷模組146即可判定此變化範圍Box(t)滿足穩定條件（步驟S506），反之則判定變化範圍Box(t)不滿足穩定條件（步驟S508）。

在判斷從當前差值影像中偵測出的變化範圍Box(t)是否滿足穩定條件之後，變化頻率判斷模組146會檢查目前是否已處理M張影像（步驟S510），其中M為大於1的正整數。詳言之，變化範圍偵測模組144例如會檢查近M張影像中是否頻繁出現滿足穩定條件的變化範圍，再依據此種變化範圍的出現次數計算變化頻率。

若尚未處理滿M張影像，則會回到步驟S502，繼續處理下一張差值影像；而若已處理M張影像，則變化範圍偵測模組144會統計從前述變化範圍中檢查出滿足穩定條件的次數，並將此次數除以M以生成變化頻率（步驟S512）。此變化頻率可提供變化頻率判斷模組146作為判定影像中是否有出現揮舞動作的依據。

綜上所述，本發明的揮舞動作偵測方法及電子裝置，僅採用影像最基本的資訊（即像素值），並僅採用對影像的像素值進行差值運算、像素標記及條件判斷等處理，可有效減少運算量，因此本發明實施例可在不佔用過多的運算資源的情況下，實現揮舞動作偵測。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧電子裝置

12‧‧‧影像擷取裝置

14‧‧‧儲存裝置

142‧‧‧變化程度判斷模組

144‧‧‧變化範圍偵測模組

146‧‧‧變化頻率判斷模組

16‧‧‧處理器

40‧‧‧影像

42‧‧‧輪廓

44‧‧‧最小矩形

S202~S212‧‧‧本發明一實施例之揮舞動作偵測方法的步驟

S302~S212‧‧‧本發明一實施例之判斷差值影像之變化程度的方法步驟

S502~S512‧‧‧本發明一實施例之計算變化範圍中像素值的變化頻率的方法步驟

圖1是依照本發明一實施例所繪示之揮舞動作偵測的電子裝置的方塊圖。 圖2是依照本發明一實施例所繪示之揮舞動作偵測方法的流程圖。 圖3是依照本發明一實施例所繪示之判斷差值影像之變化程度的方法流程圖。 圖4是依照本發明一實施例所繪示之描述影像中變化範圍的範例。 圖5是依照本發明一實施例所繪示之計算變化範圍中像素值的變化頻率的方法流程圖。

Claims (12)

1. 一種揮舞動作偵測方法，適用於具有影像擷取裝置及處理器的電子裝置，該方法包括下列步驟： 利用所述影像擷取裝置擷取連續多張影像； 所述處理器計算所述影像中每兩張相鄰影像之間的差值影像，並依據所述差值影像中多個像素的像素值，判斷所述差值影像的變化程度是否超過預定程度； 若所述變化程度超過所述預定程度，所述處理器偵測各所述差值影像中由所述像素值發生預定變化的所述像素所形成的變化範圍，並判斷所偵測的所述變化範圍中所述像素值的變化頻率是否超過預定頻率；以及 若所述變化頻率超過所述預定頻率，所述處理器判定所述影像中出現揮舞動作。
2. 如申請專利範圍第1項所述的方法，其中依據所述差值影像中所述像素的像素值，判斷所述差值影像的所述變化程度是否超過所述預定程度的步驟包括： 檢查所述差值影像中各所述像素的所述像素值是否大於第一閥值； 若所述像素的所述像素值大於所述第一閥值，標記所述像素於累計動態影像中； 重複上述步驟，並在檢查連續N張所述差值影像後，依據所述累計動態影像中各所述像素被標記的次數，判斷所述差值影像的所述變化程度是否超過所述預定程度，其中N為大於1的正整數。
3. 如申請專利範圍第2項所述的方法，其中依據所述累計動態影像中各所述像素被標記的次數，判斷所述差值影像的所述變化程度是否超過所述預定程度的步驟包括： 判斷所述累計動態影像中是否有至少一個所述像素被標記的所述次數超過第二閥值； 若有至少一個所述像素被標記的所述次數超過所述第二閥值，判斷所述差值影像的所述變化程度超過所述預定程度。
4. 如申請專利範圍第2項所述的方法，其中所述處理器偵測各所述差值影像中的所述像素值發生預定變化的所述變化範圍的步驟包括： 搜尋所述累計動態影像的所述像素中被標記的所述次數超過第三閥值的多個動態像素；以及 找出範圍可涵括所述動態像素的最小矩形，以作為所述變化範圍。
5. 如申請專利範圍第1項所述的方法，其中判斷所偵測的所述變化範圍的所述變化頻率是否超過所述預定頻率的步驟之前，更包括： 檢查從最近M張所述影像所計算的所述差值影像中的每一個偵測出的所述變化範圍是否滿足穩定條件，其中M為大於1的正整數；以及 統計從所述變化範圍中檢查出滿足所述穩定條件的次數，並將所述次數除以M以生成所述變化頻率。
6. 如申請專利範圍第5項所述的方法，其中檢查從各所述差值影像中偵測出的所述變化範圍是否滿足所述穩定條件的步驟包括： 計算從所述差值影像中的當前差值影像中偵測出的所述變化範圍與從所述當前差值影像的前k個差值影像中偵測出的所述變化範圍的交集，其中k為正整數； 依據從當前差值影像中偵測出的所述變化範圍與所述交集的位置及尺寸，判斷所述變化範圍與所述交集是否相似；以及 若所述變化範圍與所述交集相似，判定所述變化範圍滿足所述穩定條件。
7. 一種電子裝置，包括： 影像擷取裝置，擷取連續多張影像； 儲存裝置，儲存多個模組；以及 處理器，耦接該影像擷取裝置及該儲存裝置，載入並執行該儲存裝置中的所述模組，所述模組包括： 變化程度判斷模組，計算所述影像中每兩張相鄰影像之間的差值影像，並依據所述差值影像中多個像素的像素值，判斷所述差值影像的變化程度； 變化範圍偵測模組，在所述變化程度判斷模組判斷所述變化程度超過預定程度時，偵測各所述差值影像中由所述像素值發生預定變化的所述像素所形成的變化範圍；以及 變化頻率判斷模組，判斷所述變化範圍偵測模組所偵測的所述變化範圍中所述像素值的變化頻率是否超過預定頻率，並在所述變化頻率超過所述預定頻率時，判定所述影像中出現揮舞動作。
8. 如申請專利範圍第7項所述的電子裝置，其中所述變化程度判斷模組包括檢查所述差值影像中各所述像素的所述像素值是否大於第一閥值，並在所檢查的所述像素的所述像素值大於所述第一閥值時，標記所述像素於累計動態影像中，以及在檢查連續N張所述差值影像後，依據所述累計動態影像中各所述像素被標記的次數，判斷所述差值影像的所述變化程度是否超過所述預定程度，其中N為大於1的正整數。
9. 如申請專利範圍第8項所述的電子裝置，其中所述變化程度判斷模組包括判斷所述累計動態影像中是否有至少一個所述像素被標記的所述次數超過第二閥值，並在有至少一個所述像素被標記的所述次數超過所述第二閥值時，判斷所述差值影像的所述變化程度超過所述預定程度。
10. 如申請專利範圍第8項所述的電子裝置，其中所述變化範圍偵測模組包括搜尋所述累計動態影像的所述像素中被標記的所述次數超過第三閥值的多個動態像素，並找出範圍可涵括所述動態像素的最小矩形，以作為所述變化範圍。
11. 如申請專利範圍第7項所述的電子裝置，其中所述模組更包括： 穩定條件判斷模組，檢查從最近M張所述影像所計算的所述差值影像中的每一個偵測出的所述變化範圍是否滿足穩定條件，而由所述變化頻率判斷模組統計從所述變化範圍中檢查出滿足所述穩定條件的次數，並將所述次數除以M以生成所述變化頻率，其中M為大於1的正整數。
12. 如申請專利範圍第11項所述的電子裝置，其中所述穩定條件判斷模組包括計算從所述差值影像中的當前差值影像中偵測出的所述變化範圍與從所述當前差值影像的前k個差值影像中偵測出的所述變化範圍的交集，並依據從當前差值影像中偵測出的所述變化範圍與所述交集的位置及尺寸，判斷所述變化範圍與所述交集是否相似，以及在所述變化範圍與所述交集相似時，判定所述變化範圍滿足所述穩定條件，其中k為正整數。