TWI476632B - 運動物體辨識方法及基於運動物體辨識之指令輸入方法 - Google Patents

運動物體辨識方法及基於運動物體辨識之指令輸入方法 Download PDF

Info

Publication number
TWI476632B
TWI476632B TW098141890A TW98141890A TWI476632B TW I476632 B TWI476632 B TW I476632B TW 098141890 A TW098141890 A TW 098141890A TW 98141890 A TW98141890 A TW 98141890A TW I476632 B TWI476632 B TW I476632B
Authority
TW
Taiwan
Prior art keywords
block
moving object
time point
blocks
correlation
Prior art date
Application number
TW098141890A
Other languages
English (en)
Other versions
TW201120680A (en
Inventor
Pei Chi Hsiao
Pang Wei Hsu
Original Assignee
Micro Star Int Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micro Star Int Co Ltd filed Critical Micro Star Int Co Ltd
Priority to TW098141890A priority Critical patent/TWI476632B/zh
Priority to US12/730,355 priority patent/US8243993B2/en
Priority to DE102010016251A priority patent/DE102010016251A1/de
Publication of TW201120680A publication Critical patent/TW201120680A/zh
Application granted granted Critical
Publication of TWI476632B publication Critical patent/TWI476632B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Description

運動物體辨識方法及基於運動物體辨識之指令輸入方法
本發明係與運動物體之軌跡辨識有關,特別是關於一種運動物體辨識方法,及基於運動物體辨識之指令輸入方法。
利用手勢擺動取代直接接觸電腦裝置,來進行指令之輸入,為電腦裝置之一發展趨勢。傳統的手勢輸入系統中,使用者必須戴上特製的手套或指套,利用手套或指套感應手掌姿態或位置之變化,而產生對應之輸入指令。針對手套或指套使用上的不便,手勢影像辨識技術便被引入手勢輸入系統中,利用攝影機擷取手勢影像,從而分析其姿態或位置之變化,而產生對應之輸入指令。
目前的手勢辨識技術係以經過前處理的手部輪廓影像,來辨識手掌姿態或位置之變化。例如,中華民國專利393629號、I224288號專利案利用不同的演算機制轉換影像,以特定特徵作為手勢以在影像中找出手掌;中華民國專利I298461號說明了由影像中找出靜態手勢影像,再與資料庫中的特定手勢影像比對。前述方法的成功辨識皆取決於是否可以精準地由影像中切割出手勢輪廓或萃取出手勢輪廓的線條特徵。然而,切割手勢輪廓與萃取線條特徵往往受到背景、光源和陰影因素的影響,同時,手部與影像攝影機的距離,手部本身的姿態變化,也會影響到手勢輪廓的切割。為了提升辨識率,往往必須建立大量的預設手勢資料庫以供比對,或是增加錯誤容忍度。利用大量的預設手勢資料庫以供比對,會影響辨識速度,必須耗費相對較多的硬體資源,增加錯誤容忍度則增加了辨認結果錯誤的機率。
前述的前案係針對靜態手部影像進行辨識,因此需要進行手勢輪廓的切割、線條特徵萃取及資料庫之比對。而中華民國專利I274296號專利及美國US5594769號專利則是於連續動態影像中搜尋動態物體,以辨識動態手勢影像。但I274296號專利及US5594769號專利容易受到環境光線、環境中人員移動、人臉膚色、鏡頭晃動或影像雜訊影響,而將手掌以外的物件視為動態手勢,而產生誤判。因此,動態手勢辨識雖然不需要精準的手勢輪廓的切割,但仍須解決將移動物、雜訊等誤判為動態手勢的問題。
先前技術中靜態手勢辨識方法及動態手勢辨識方法,分別存在需要建立大量的預設手勢資料庫或將移動物、雜訊等誤判為動態手勢的問題。本發明提出一種運動物體辨識方法,其精確度高且所需要的運算效能低。
本發明提出一種運動物體辨識方法,用以辨識一運動物體,並標記運動物體之位置,方法包含下列步驟:擷取運動物體之連續動態影像,並分割連續動態影像為複數個區塊;選定一區塊,計算區塊於一當前時間點及於一下一時間點的顏色特徵值;依據於當前時間點及於下一時間點的顏色特徵值,得到區塊之變動性;以區塊於當前時間點的顏色特徵值,逐一與其他區塊於下一時間點的顏色特徵值進行比對,分別得到一相似度,並定義具有最大值之相似度為局部相關度;依據區塊之變動性及該局部相關度,得到區塊之一運動強度值;重複前述步驟,得到所有區塊之運動強度值,以組成一運動強度影像;依據運動強度影像找出運動物體於當前時間點之位置。
本發明整合運動物體產生的變動性及與運動物體位置變化所產生之局部相關度,建立運動強度影像。運動強度影像用以找出連續動態影像中的運動物體,且可濾除雜訊、光影變化等可能造成誤判之因素,且可避免顏色與手勢相似之物件被誤判為手勢。相較於習知技術,本發明不需要進行背景去除,使得運動物體的追蹤步驟可以簡化為兩個獨立的流程,而可快速地以相對較低的運算資源標示出運動物體的空間位置。
參閱「第1圖」至「第4圖」所示,係為本發明實施例所提出之一種運動物體辨識方法,用以辨識一運動物體10,並標記該運動物體10之位置,從而透過運動物體10於時間軸之位置變化,產生輸入指令。前述之運動物體10可為一資料處理裝置之操作者的手掌,而該資料處理裝置20(例如電腦或筆記型電腦)係安裝一程式,藉以執行指令輸入方法。
參閱「第1圖」及「第2圖」所示,本發明之運動物體辨識方法係透過一影像擷取裝置30擷取運動物體10之連續動態影像,該影像擷取裝置30可為一攝影機,外接或內建於該資料處理裝置20。該影像擷取裝置30依時序擷取該運動物體10之連續動態影像(Step 110),並將該連續動態影像傳送至該資料處理裝置20。
影像擷取裝置30係於當前時間點t-1及下一時間點t分別擷取一影格(Frame)。當前時間點t-1及下一時間點t可為影像擷取裝置30連續產生二影格(Frame)的時間點。當前時間點t-1及下一時間點t之間亦可間隔多個影格,亦即當前時間點t-1取得一影格後,間隔若干個影格後再取得下一影像,並以該下一影格產生的時間點作為下一時間點t。
參閱「第1圖」、「第3圖」及「第4圖」所示,接著,該資料處理裝置20將該連續動態影像分割為複數個區塊X(n)(Step 120),如圖所示,該連續動態影像係被分割為5 x 5共25個區塊(X(n)至X(n±i)i=0,±1至±12)。前述連續動態影像被分割為5 x 5共25個區塊僅為本發明之演示範例,並非用以限制連續動態影像之切割數量。
參閱「第3圖」及「第5圖」所示,接著資料處理裝置20選定一區塊Xt-1 (n)(Step 130),計算該區塊Xt-1 (n)於當前時間點t-1的顏色特徵值Vect-1 (n)(Step 140)。
「第3圖」及「第5圖」係取運動物體10位於第n個區塊X(n)進行演示,以說明本發明之運動物體辨識方法如何找出運動物體10於當前時間t-1的位置。實際上每一區塊都需要進行相同的處理程序,資料處理裝置20才能找出運動物體10。
參閱「第4圖」及「第6圖」所示,資料處理裝置20計算該區塊Xt (n)於下一時間點t的顏色特徵值Vect (n)(Step 150)。為方便說明,於當前時間點t-1之區塊,係以(t-1)為上標進行註記,下一時間點t之區塊,係以(t)為上標進行註記。
運動物體10於連續動態影像中除了沿著二維方向線性移動之外,實際上也有沿著接近或遠離影像擷取裝置30的方向移動,導致連續動態影像中的運動物體10大小出現變化;此外,運動物體10也可能進行轉動,使其型態發生變化。特別是,本發明中所擷取的運動物體10主要為手掌,手掌本身的型態就不會固定。
基於上述理由,在連續動態影像中找出運動物體10並判斷其運動前後的位置變化時,必須考量運動物體10於連續動態影像中的變形以及整個連續動態影像中受光線影響的色彩變化。因此,本發明採用顏色特徵值Vec(n)(color feature value,Vec(n))來描述每一個區塊的特徵,從而透過顏色特徵值Vec(n)的變化,找出運動物體10於當前時間點t-1及下一時間點t可能的位置。
顏色特徵值Vec(n)可為各區塊之顏色變動量(color moment)、顏色直方圖(color histogram)等,其中顏色變動量(color moment)具有相對簡單的計算過程,因此前述顏色特徵值Vec(n)之較佳實施例為顏色變動量(color moment)。
有了顏色特徵值Vec(n),資料處理裝置20於該指定區塊Xt-1 (n)中,依據於該當前時間點t-1的顏色特徵值Vect-1 (n)及於下一時間點t的顏色特徵值Vect (n),得到該區塊Xt-1 (n)之一變動性Active(n)(Step 160)。
變動性Active(n)為同一區塊(Xt-1 (n),Xt (n))在不同時間點的顏色特徵值差異(Vect-1 (n),Vect (n)),亦即當前時間點t-1的顏色特徵值Vect-1 (n)轉變為下一時間點t的顏色特徵值Vect (n)之變化率。變動性Active(n)最佳的描述格式為當前時間點t-1的顏色特徵值Vect-1 (n)與下一時間點t的顏色特徵值Vect (n)差值之絕對值,除以當前時間點t-1的顏色特徵值Vect-1 (n),如下所示:
變動性Active(n)變化越大時,代表該區塊X(n)可能存在運動物體10的機率越大,因此由當前時間點t-1至下一時間點t的時間歷程中,顏色特徵值Vec(n)有相對較大的變化。若變動性Active(n)極小,則顏色特徵值Vec(n)可能沒有變化或是變化率小,則代表此一區塊X(n)中包含的影像為靜止不動的背景。
假設於當前時間點t-1時,運動物體10位於Xt-1 (n)中,而於下一時間點t時,運動物體10由當前時間點t-1的影格中移動至下一時間點t的影格中Xt (n-12)的位置。影像擷取裝置30以相當短的時間間隔進行取樣,一般而言約1/30秒取得一影格。依據影像擷取裝置30特性判斷,運動物體10於下一時間點t應該會移動到鄰近的區塊。將運動物體10於當前時間點t-1的顏色特徵值Vect-1 (n)與下一時間點t中的其他區塊Xt (n+i)之顏色特徵值Vect (n+i)進行比對而取得相似度關係後。透過相似度判斷運動物體10於下一時間點t的可能位置,如此即可過濾影像中閃動的雜訊。
前述說明雖針對區塊X(n)進行計算,但實際上是每一區塊(X(n)~X(n±i))的變動性Active(n)都需要得到。
資料處理裝置20針對每一區塊(X(n)~X(n±i))計算變動性Active(n)之後,可得到Xt-1 (n)及Xt-1 (n-12)兩個區塊具有最大的變動性(Active(n)及Active(n-12)),可知運動物體10於當前時間點t-1及下一時間點t的位置,分別在X(n)及X(n-12)兩個區塊,但仍無法判斷運動物體10的移動方向是由X(n)移動至X(n-12)或相反方向移動,因此仍需要進一步估算各區塊(X(n)~X(n±i))之局部相關度Corr(n)(local correlation part)。
因此,資料處理裝置20以該區塊Xt-1 (n)於當前時間點t-1的顏色特徵值Vect-1 (n),逐一與其他區塊(Xt (n±i),i=±1至±12)於下一時間點t的顏色特徵值(Vect (n±i)i=±1至±12)進行比對,分別得到一相似度,並定義具有最大值之相似度為局部相關度Corr(n)(Step 160)。局部相關度的數學型態,如下所示:
資料處理裝置20依據該區塊Xt-1 (n)之變動性Active(n)及該局部相關度Corr(n),得到該區塊Xt-1 (n)之一運動強度值E(n)(motion-energy patch)(Step 170),其數學形式可表示如下:Motion-energy patch:E (n )=Active (nCorr (n )
如此一來,便可透過運動強度值E(n)判斷於當前時間點t-1時,X(n)及X(n-12)兩個區塊何者才是具備運動物體10之區塊。
如前所述,每一區塊(X(n)至X(n±i)i=0,±1至±12)都需要計算其變動性Active(n)、局部相關度Corr(n)及運動強度值E(n)。因此資料處理裝置20重複步驟(Step 130)至步驟(Step 180),得到所有該些區塊X(n±i)i=0,±1至±12)之運動強度值E(n),藉以組成一運動強度影像(Motion-Energy Map),以由 運動強度影像中找出運動物體10。
參閱「第7圖」所示,資料處理裝置20將當前時間點t-1時的運動強度值E(n),填入一組對應各區塊之矩陣中,將所有區塊之運度強度值E(n)組成一運動強度影像(Motion-Energy Map)。於「第7圖」中,運動強度影像中以顏色淺者表示高運動強度值E(n),顏色深者表示低運動強度值E(n),則於當前時間t-1時的運動強度影像如「第7圖」所示。資料處理裝置20可設定一閥值,定義運動強度值E(n)超過閥值之一或複數個區塊為該運動物體10(Step 190)。如此一來資料處理裝置20就可以於當前時間點t-1時,於運動強度影像中找出運動物體10,以及運動物體10之位置。
同時參照「第3圖」、「第4圖」及「第7圖」所示,透過當前時間點t-1所得之運動強度影像,可以在對應X(n)之區塊,得到相對較高的運動強度值E(n),代表於當前時間點t-1時,運動物體10係位於X(n)之區塊中,並朝向其他位置運動。
將每個時間點都設定為當前時間點t-1,逐一實施前述方法後,便可取得運動物體10在不同時間點的位置,並據以取得運動軌跡,從而透過運動軌跡來進行指令輸入。
參閱「第8圖」所示,基於前述之運動物體辨識方法,本發明進一步提出一種指令輸入方法,透過辨識運動物體10之位置變化,產生一運動軌跡,以執行對應該運動軌跡之輸入指令。執行此指令輸入方法之資料處理裝置20係預先儲存了運動軌跡及運動軌跡所對應之輸入指令。
隨著時間累計,資料處理裝置20依據時間軸取得連續動態影像(Step 210),分離當前時間點t-1之影格(Step 211)及下一時間點t之影格(Step 212)。
接著資料處理裝置20依據前述之影格,計算每一區塊之變動性Active(n)及局部相關度Corr(n)(Step 220)。
接著資料處理裝置20依據前述之變動性Active(n)及局部相關度Corr(n),計算每一區塊於當前時間點t-1之運動強度值E(n),據以組成運動強度影像,並依據運動強度影像定義一或複數個區塊為該運動物體10,而取得該運動物體10之位置。
有了運動物體10之位置後,資料處理裝置20接著判斷追蹤標籤之狀態。
若追蹤標籤為否,則資料處理裝置20將追蹤標籤初始化為是,並清除其暫存空間,以開始運動軌跡追蹤流程(Step 251);若為是則持續紀錄運動物體10之位置於該暫存空間,以透過位置之變化產生運動軌跡。
於步驟Step 251之判斷運動軌跡的流程開始後,資料處理裝置20係先將運動物體10的(於當前時間點t-1時)位置記錄於暫存空間(Step 260)中。依據運動物體10的位置變化產生之運動軌跡,資料處理裝置20便可判斷運動軌跡是否符合指令輸入的定義(Step 270)。
由於此時資料處理裝置20才將追蹤標籤初始化為是,且清除暫存空間,因此暫存空間中只有儲存一個位置的資料,無法產生軌跡以符合任一指令輸入的定義,因此迴圈回歸到步驟Step 210,使資料處理裝置20再取得運動物體10於後續時間點的位置。
相反地,若在步驟Step 240時,追蹤標籤已經為是,則代表暫存空間中已經記錄了先前所取得的運動物體10位置,此時,資料處理裝置20直接進入追蹤狀態(Step 252),並直接將運動物體10的位置記錄於暫存空間中(Step 260),並與其他已儲存於暫存空間中的位置進行比對,產生運動物體10之運動軌跡。
此時,若資料儲存裝置20判斷運動物體10之運動軌跡符合預先設定之指令輸入的定義(Step 270),則資料儲存裝置20將追蹤標籤標記為否,結束追蹤狀態(Step 280)。同時,資料儲存裝置20輸出對應該運動軌跡之輸入指令(Step 290)。若資料儲存裝置20判斷前述之運動軌跡仍然不符合指令輸入之定義,因此迴圈回歸到步驟Step 210,使資料處理裝置再取得運動物體10於後續時間點的位置,紀錄物體10之運動軌跡。
參閱「第9圖」所示,以下舉一多媒體播放程式之範例進一步說明此指令輸入方法。
多媒體播放程式係安裝於該資料儲存裝置20,同時,該資料儲存裝置20中亦安裝一輸入介面程式,用以執行基於運動物體辨識方法之指令輸入方式,此輸入介面程式可整合於該多媒體播放程式中。
當使用者於資料儲存裝置20中啟動該多媒體播放裝置(Step 310)時,係同時啟動該輸入介面程式(Step 410)。該輸入介面程式啟動影像擷取裝置30,以取得該影像擷取裝置30取得之連續動態影像。
為了避免所有被影像擷取裝置30所擷取的移動物皆被判斷為運動物體10,導致多媒體播放程式之手勢辨識操作功能被誤觸發,輸入介面程式中可加入一判斷迴圈,以一特定動態行為作為手勢追蹤的起始點,也就是當特定動態行為之物體出現之後,輸入介面程式才開始進行如「第8圖」所示之步驟Step 210,追蹤並記錄該影像擷取裝置30所擷取的運動物體10,並判斷其運動軌跡是否符合預設的手勢。
參閱「第9圖」所示,於本範例中,特定動態行為係設定為手勢往復揮動,並持續一特定時間(例如二秒)。也就是說,當使用者要啟用手勢操作功能時,係將其手掌於影像擷取裝置30前持續揮動2秒以上。於運動強度影像中,前述小幅度的手掌(運動物體10)往復揮動,可在固定區塊或固定範圍區塊中產生相對較高的運動強度值E(n)分佈,當資料儲存裝置20判斷影像擷取裝置30所擷取的影像中,出現連續手勢揮動二秒以上的狀態時(Step 320),則將連續手勢揮動二秒以上的狀態標記為追蹤運動物體10之運動軌跡的起始點(Step 420),此時將輸入介面程式切換至如「第8圖」所示之步驟Step 210。
接著,使用者便可於影像擷取裝置30前擺動特定手勢(Step 330),資料儲存裝置20會依序紀錄運動物體10(亦即使用者之手掌)的位置,並依據位置變化分析運動物體10之運動軌跡,並記錄運動軌跡(Step 430)。
當使用者完成手勢之後便可靜止手勢(Step 340),使輸入介面程式無法再捕捉到運動物體10。此時,輸入介面程式辨識所追蹤之運動軌跡是否符合預先定義之手勢(Step 440)。
最後,資料處理裝置20完成控制步驟(Step 350),並送出對應之輸入指令(Step 450),若完全無符合預先定義的手勢,則提示無法辨識或無定義。
最後,程式回歸到原始迴圈,等待連續手勢(Step 320)出現。當使用者關閉多媒體播放程式(Step 360)之後,亦同時關閉輸入介面程式(Step 460),以避免輸入介面程式持續捕捉手勢動態而影響資料儲存裝置20之正常運作。
本發明將連續動態影像分割為複數個區塊,以追蹤運動物體10之位置。但該運動物體10可能同時佔有多個相鄰區塊的局部,使得判斷局部相關性時產生誤差,導致運動物體10實質位置與系統判斷之位置之間有相對較大的落差,影響運動強度影像的能量估計。然而若將切割區塊變小,則需要比對的數量增加,導致運算量增加,必須有運算效能相對較高的硬體始能進行連續動態影像的分析。
為了解決上述問題,本發明進一步提出分階段搜尋程序,用以計算區塊的局部相關性,以在不增加運算量的同時又增加搜尋範圍。
參閱「第10圖」所示,進行局部相關度Corr(n)搜尋前,資料處理裝置20係先將該些區塊分組為複數個第一區塊1及複數個第二區塊2。前述第一區塊1及第二區塊2係呈二維矩陣排列,且各第一區塊1及第二區塊2呈矩型。於同一維度的二第一區塊1之間,至少存在一第二區塊2,且每一第一區塊1係被八個第二區塊所包圍。
參閱「第11圖」所示,接著,資料處理裝置20定義複數個第三區塊3,各該第三區塊3之大小與第一區塊1、第二區塊相同。又,各第三區塊3之形心係位於第一區塊1或第二區塊的邊線中點或邊線之端點。
參閱「第12圖」所示,檢查局部相關度Corr(n)時,資料處理裝置20先於該些第一區塊1中搜尋,於第一區塊1中找出具備最大相似度者n1,定義其相似度為第一區塊相關度Corr(n1):
Corr (n 1)=max{SimVec t -1 (n ),Vec t (1)〉}
接著,資料處理裝置20搜尋環繞具有第一區塊相關度Corr(n1)之第一區塊n1之第二區塊2,找出該些第二區塊2中具備最大相似度者n2,並定義其相似度為第二區塊相關度Corr(n2):
Corr (n 2)=max{SimVec t -1 (n ),Vec t (2)〉}
資料處理裝置20比較該第一區塊相關度Corr(n1)及該第二區塊相關度Corr(n2);若該第一區塊相關度Corr(n1)大於該第二區塊相關度Corr(n2),則取該第一區塊相關度Corr(n1)為該局部相關度Corr(n),並以該具有第一區塊相關度Corr(n1)之第一區塊n1作為運動物體10於下一時間點t之位置。
反之,若第二區塊相關度Corr(n2)大於該第一區塊相關度Corr(n1),則資料處理裝置20繼續搜尋環繞具有第二區塊相關度Corr(n2)之第二區塊n2之第三區塊3,找出該些第三區塊3中具備最大相似度者n3,並定義其相似度為第三區塊相關度Corr(n3):
Corr (n 3)=max{SimVec t -1 (n ),Vec t (3)〉}
資料處理裝置20比較該第二區塊相關度Corr(n2)及該第三區塊相關度Corr(n3),若該第二區塊相關度Corr(n2)大於該第三區塊相關度Corr(n3),則取該第二區塊相關度Corr(n2)為該局部相關度Corr(n),並以該具有第二區塊相關度Corr(n2)之第二區塊n2作為運動物體10於下一時間點t之位置。
反之,若該第三區塊相關度Corr(n3)大於該第二區塊相關度Corr(n2),則資料處理裝置20取該第三區塊相關度Corr(n3)為該局部相關度Corr(n),並以該具有第三區塊相關度Corr(n3)之第三區塊n3作為運動物體10於下一時間點t之位置。具有第三區塊相關度Corr(n3)之第三區塊n3,係重疊於相鄰的第一區塊1及第二區塊2,因此,以此第三區塊n3描述運動物體10之位置時,係可呈現該運動物體10平均地佔有相鄰的第一區塊1及第二區塊2,因此第三區塊n3所描述運動物體10之位置,仍可逼近運動物體10之實際位置。
本發明整合運動物體10產生的變動性Active(n)及與運動物體10位置變化所產生之局部相關度Corr(n),藉以找出連續動態影像中的運動物體10,並標記其位置。相較於習知技術,本發明不需要進行背景去除,使得運動物體10的追蹤步驟可以簡化為兩個獨立的流程,而可快速地以相對較低的運算資源標示出運動物體10的空間位置。
此外本發明考量到手勢操控的實際情況中,存在著手勢於連續動態影像中變形及背景光線造成之色彩變化,故本發明將連續動態影像分割成複數個區塊進行描述,藉以容忍實際情況中的變異,運算上也更為快速。
10...運動物體
20...資料處理裝置
30...影像擷取裝置
第1圖為本發明運動物體辨識方法之流程圖。
第2圖為執行本發明運動物體辨識方法之系統方塊圖。
第3圖及第4圖為當前時間點及下一時間點時,連續動態影像分割為複數區塊之示意圖。
第5圖為運動物體於當前時間點時,於連續動態影像之位置。
第6圖為運動物體於下一時間點時,於連續動態影像之位置。
第7圖為於當前時間點時,運動強度影像之分佈圖。
第8圖為基於運動物體辨識之指令輸入方法之流程圖。
第9圖為本發明之一範例中,採用基於運動物體辨識之指令輸入方法之多媒體播放程式之流程圖。
第10圖及第11圖為本發明分階段搜尋程序中,第一區塊、第二區塊、及第三區塊之示意圖。
第12圖為本發明分階段搜尋程序中,找出運動物體之示意圖。

Claims (13)

  1. 一種運動物體辨識方法,用以辨識一運動物體,並標記該運動物體之位置,該方法包含下列步驟:(a)擷取該運動物體之連續動態影像,並分割該連續動態影像為複數個區塊;(b)選定一區塊,計算該區塊於一當前時間點的顏色特徵值;(c)計算該區塊於下一時間點的顏色特徵值;(d)於該區塊中,依據於該當前時間點的顏色特徵值及於下一時間點的顏色特徵值,得到該區塊之一變動性,其中該變動性為該當前時間點的顏色特徵值與該下一時間點的顏色特徵值差值之絕對值,除以該當前時間點的顏色特徵值;(e)以該區塊於當前時間點的顏色特徵值,逐一與其他區塊於下一時間點的顏色特徵值進行比對,分別得到一相似度,並定義具有最大值之相似度為局部相關度;(f)依據該區塊之變動性及該局部相關度,得到該區塊之一運動強度值;(g)重複步驟(b)至(f),得到所有該些區塊之運動強度值,以組成一運動強度影像;及(h)依據該運動強度影像找出該運動物體於當前時間點之位置。
  2. 如請求項1所述之運動物體辨識方法,其中該當前時間點及該下一時間點為一影像擷取裝置連續產生二影格的時間點。
  3. 如請求項1所述之運動物體辨識方法,其中該當前時間點及該下一時間點之間間隔多個影格。
  4. 如請求項1所述之運動物體辨識方法,其中該顏色特徵值為各區塊之顏色變動量或顏色直方圖。
  5. 如請求項1所述之運動物體辨識方法,其中依據該運動強度影像找出該運動物體之步驟包含定義運動強度值超過一閥值之一或複數個區塊為該運動物體。
  6. 如請求項1所述之運動物體辨識方法,其中步驟(e)更包含:將該些區塊分組為複數個第一區塊及複數個第二區塊,其中二相鄰之該些第一區塊之間,至少存在該些第二區塊之一,且每一該第一區塊係被部分之該些第二區塊所包圍;定義複數個第三區塊,各該第三區塊之大小與第一區塊、第二區塊相同,且各該第三區塊之形心係位於第二區塊的邊線中點或邊線之端點;於該些第一區塊中找出具備最大相似度者,定義其相似度為一第一區塊相關度;搜尋環繞具有該第一區塊相關度之該第一區塊之該第二區塊,找出該些第二區塊中具備最大相似度者,並定義其相似度為一第二區塊相關度;比較該第一區塊相關度及該第二區塊相關度;及若該第一區塊相關度大於該第二區塊相關度,則取該第一區塊相關度為該局部相關度。並以該具有第一區塊相關度之第一區塊作為運動物體於下一時間點之位置。
  7. 如請求項6所述之運動物體辨識方法,其中若第二區塊相關度大於該第一區塊相關度:搜尋環繞具有該第二區塊相關度之第二區塊之第三區塊,找出該些第三區塊中具備最大相似度者,並定義其相似度為第三區塊相關度; 比較該第二區塊相關度及該第三區塊相關度;及若該第二區塊相關度大於該第三區塊相關度,則取該第二區塊相關度為該局部相關度。
  8. 如請求項7所述之運動物體辨識方法,其中若該第三區塊相關度大於該第二區塊相關度,取該第三區塊相關度為該局部相關度。
  9. 一種基於運動物體辨識之指令輸入方法,透過辨識一運動物體之位置變化,產生一運動軌跡,以輸出對應該運動軌跡之輸入指令,包含下列步驟:執行如請求項第1項所述之運動物體辨識方法,取得該運動物體之位置;紀錄該位置於該暫存空間;依據該運動物體之位置變化產生一運動軌跡;判斷該運動軌跡是否符合指令輸入的定義;及當該運動軌跡符合設定之指令輸入的定義,輸出對應該運動軌跡之輸入指令。
  10. 如請求項9所述之基於運動物體辨識之指令輸入方法,其中取得該運動物體之位置之後更包含下列步驟:判斷一追蹤標籤之狀態;及當該追蹤標籤為否,則初始化該追蹤標籤為是,並清除該暫存空間。
  11. 如請求項10所述之基於運動物體辨識之指令輸入方法,其中該當該追蹤標籤為是,則直接紀錄該位置於該暫存空間。
  12. 如請求項10所述之基於運動物體辨識之指令輸入方法,其中當該運動軌跡符合設定之指令輸入的定義,則將追蹤標籤標記 為否。
  13. 如請求項10所述之基於運動物體辨識之指令輸入方法,其中當該運動軌跡不符合指令輸入的定義,則再取得該運動物體之位置。
TW098141890A 2009-12-08 2009-12-08 運動物體辨識方法及基於運動物體辨識之指令輸入方法 TWI476632B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098141890A TWI476632B (zh) 2009-12-08 2009-12-08 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US12/730,355 US8243993B2 (en) 2009-12-08 2010-03-24 Method for moving object detection and hand gesture control method based on the method for moving object detection
DE102010016251A DE102010016251A1 (de) 2009-12-08 2010-03-31 Erkennungsverfahren für ein bewegliches Objekt und das der Erkennung des beweglichen Objekts zugrunde liegende Befehlseingabeverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098141890A TWI476632B (zh) 2009-12-08 2009-12-08 運動物體辨識方法及基於運動物體辨識之指令輸入方法

Publications (2)

Publication Number Publication Date
TW201120680A TW201120680A (en) 2011-06-16
TWI476632B true TWI476632B (zh) 2015-03-11

Family

ID=43972478

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098141890A TWI476632B (zh) 2009-12-08 2009-12-08 運動物體辨識方法及基於運動物體辨識之指令輸入方法

Country Status (3)

Country Link
US (1) US8243993B2 (zh)
DE (1) DE102010016251A1 (zh)
TW (1) TWI476632B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012094060A (ja) * 2010-10-28 2012-05-17 Sharp Corp 電子装置
JP5772069B2 (ja) * 2011-03-04 2015-09-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8897490B2 (en) * 2011-03-23 2014-11-25 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Vision-based user interface and related method
CN104067295B (zh) 2011-12-01 2018-06-22 诺基亚技术有限公司 姿势识别方法、用于该方法的装置和计算机程序
TWI475496B (zh) * 2012-10-16 2015-03-01 Wistron Corp 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法
SE536990C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
TWI598847B (zh) * 2015-10-27 2017-09-11 東友科技股份有限公司 影像接合方法
JP6801434B2 (ja) * 2016-12-20 2020-12-16 富士通株式会社 生体画像処理装置、生体画像処理方法および生体画像処理プログラム
CN110019570B (zh) * 2017-07-21 2020-03-20 百度在线网络技术(北京)有限公司 用于构建地图的方法、装置及终端设备
CN109144260B (zh) * 2018-08-24 2020-08-18 上海商汤智能科技有限公司 动态动作检测方法、动态动作控制方法及装置
US11393253B1 (en) * 2019-09-16 2022-07-19 Amazon Technologies, Inc. Using sensor data to determine activity
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
US20230096207A1 (en) * 2021-09-29 2023-03-30 The Adt Security Corporation Gesture based interface for a premises security system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
TW393629B (en) * 1996-12-20 2000-06-11 Hitachi Ltd Hand gesture recognition system and method
TW200725429A (en) * 2005-12-29 2007-07-01 Ind Tech Res Inst Object tracking systems and methods
TW200906377A (en) * 2007-08-10 2009-02-16 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US20090102935A1 (en) * 2007-10-19 2009-04-23 Qualcomm Incorporated Motion assisted image sensor configuration
TW200919375A (en) * 2007-10-29 2009-05-01 Ind Tech Res Inst Method and system for object detection and tracking
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594769A (en) 1991-11-27 1997-01-14 Thermotrex Corporation Method and apparatus for obtaining stereotactic mammographic guided needle breast biopsies
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6063465A (en) 1998-04-23 2000-05-16 Hna Holdings, Inc. Polyester container and method for making same
JP2000047878A (ja) 1998-07-31 2000-02-18 Sony Computer Entertainment Inc データ処理システム及び方法、並びにデータ送受信装置及び方法
JP4271115B2 (ja) * 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
TW393629B (en) * 1996-12-20 2000-06-11 Hitachi Ltd Hand gesture recognition system and method
TW200725429A (en) * 2005-12-29 2007-07-01 Ind Tech Res Inst Object tracking systems and methods
TW200906377A (en) * 2007-08-10 2009-02-16 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US20090102935A1 (en) * 2007-10-19 2009-04-23 Qualcomm Incorporated Motion assisted image sensor configuration
TW200919375A (en) * 2007-10-29 2009-05-01 Ind Tech Res Inst Method and system for object detection and tracking
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof

Also Published As

Publication number Publication date
US8243993B2 (en) 2012-08-14
US20110135148A1 (en) 2011-06-09
TW201120680A (en) 2011-06-16
DE102010016251A1 (de) 2011-06-09

Similar Documents

Publication Publication Date Title
TWI476632B (zh) 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US9916012B2 (en) Image processing apparatus, image processing method, and program
Jiang et al. Multi-layered gesture recognition with Kinect.
US8379987B2 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
Gong et al. Structured time series analysis for human action segmentation and recognition
KR102339607B1 (ko) 홍채 기반 생체 인식을 위한 방법 및 장치
US20160171293A1 (en) Gesture tracking and classification
US20110158476A1 (en) Robot and method for recognizing human faces and gestures thereof
US9582711B2 (en) Robot cleaner, apparatus and method for recognizing gesture
US9207757B2 (en) Gesture recognition apparatus, method thereof and program therefor
KR101558031B1 (ko) 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
Nanni et al. Combining face and eye detectors in a high-performance face-detection system
CN102117116B (zh) 运动物体识别方法及基于运动物体识别的指令输入方法
Puttemans et al. Improving open source face detection by combining an adapted cascade classification pipeline and active learning
Yogameena et al. People/vehicle classification by recurrent motion of skeleton features
Matilainen et al. Finger tracking for gestural interaction in mobile devices
Arenas et al. Detection of aibo and humanoid robots using cascades of boosted classifiers
KR20130051680A (ko) 로봇에서의 사용자 얼굴 인식 장치 및 방법
Sassi et al. Multi-Oriented Real-Time Arabic Scene Text Detection with Deep Fully Convolutional Networks
Gurung et al. Hand gestures recognition and tracking
Jones et al. Rapid localisation and retrieval of human actions with relevance feedback
Tyan et al. 18 Video Forensics
JP2016207106A (ja) 物体検出における誤検出低減方法および装置
Lestari et al. RGB-Depth Image Based Human Detection Using Viola-Jones and Chan-Vese Active Contour Segmentation
Huang et al. Tracking, recognition, and distance detection of hand gestures for a 3‐D interactive display