TWI703507B - 人手檢測跟蹤方法及裝置 - Google Patents

人手檢測跟蹤方法及裝置 Download PDF

Info

Publication number
TWI703507B
TWI703507B TW106112613A TW106112613A TWI703507B TW I703507 B TWI703507 B TW I703507B TW 106112613 A TW106112613 A TW 106112613A TW 106112613 A TW106112613 A TW 106112613A TW I703507 B TWI703507 B TW I703507B
Authority
TW
Taiwan
Prior art keywords
human hand
tracking
tracking result
human
frame
Prior art date
Application number
TW106112613A
Other languages
English (en)
Other versions
TW201800975A (zh
Inventor
杜志軍
王楠
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201800975A publication Critical patent/TW201800975A/zh
Application granted granted Critical
Publication of TWI703507B publication Critical patent/TWI703507B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申請提供了一種人手檢測跟蹤方法及裝置，包括：逐幀圖像進行人手檢測；當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；驗證所述跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據所述跟蹤結果對人手進行當前幀的局部檢測。本申請透過在跟蹤時加入驗證環節，可以對跟蹤結果進行即時修正，保證了快速準確的進行人手檢測。

Description

人手檢測跟蹤方法及裝置
本發明係關於視覺目標檢測跟蹤及人機交互技術領域，具體關於一種人手檢測跟蹤方法及裝置。
人手可以作為一種人機交互的工具，應用時需要對人手進行即時檢測和跟蹤，獲取視頻中每一幀中人手的位置。具體可以採取每幀都做檢測的策略，這個策略的問題是檢測比較耗時，不能達到即時檢測的目的。而且偶爾出現的誤檢問題，會導致人手位置的跳動，影響後續的互動效果。
為了解決上述問題，現有技術中引入跟蹤的機制，透過跟蹤達到即時的效果。然而，跟蹤經常會出現跟丟的問題，為了解決跟蹤丟失問題，現有技術中常用的方法是引入膚色資訊，利用膚色雖然可以避免一些錯誤的跟蹤，但如果背景顏色與膚色相差不多時，仍然會導致跟蹤錯誤的問題。
本申請實施例提供一種人手檢測跟蹤方法，包括：逐幀圖像進行人手檢測；當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；驗證所述跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據所述跟蹤結果對人手進行當前幀的局部檢測。
本申請實施例還提供一種人手檢測跟蹤裝置，包括：人手檢測單元，用於逐幀圖像進行人手檢測；位置跟蹤單元，用於當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；跟蹤結果處理單元，用於驗證所述跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據所述跟蹤結果對人手進行當前幀的局部檢測。
本申請實施例中，透過在跟蹤時加入驗證環節，可以對跟蹤結果進行即時修正，保證了快速準確的進行人手檢測。
當然實施本申請的任一產品或者方法必不一定需要同時達到以上所述的所有優點。
801‧‧‧人手檢測單元
802‧‧‧位置跟蹤單元
803‧‧‧跟蹤結果處理單元
901‧‧‧尺寸調整模組
902‧‧‧人手判斷模組
1001‧‧‧資訊確定模組
1101‧‧‧合併模組
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是 本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本申請實施例的人手檢測跟蹤方法的一種實施例的方法流程圖；圖2為本申請實施例進行人手檢測的不同尺度下示意圖；圖3為本申請實施例驗證跟蹤結果的方法流程圖；圖4為本申請實施例驗證跟蹤結果是否有效的示意圖；圖5為本申請實施例驗根據跟蹤結果對人手進行當前幀的局部檢測方法流程圖；圖6為本申請一實施例中塊的合併示意圖；圖7為本申請另一實施例中塊的合併示意圖；圖8為本申請實施例的人手檢測跟蹤裝置的結構示意圖；圖9為本申請一實施例的跟蹤結果處理單元的結構示意圖；圖10為本申請另一實施例的跟蹤結果處理單元的結構示意圖；圖11為本申請又一實施例的跟蹤結果處理單元的結構示意圖。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
下面結合附圖對本申請所述的人手檢測跟蹤方法及裝置進行詳細的說明。圖1是本申請提出的人手檢測跟蹤方法的一種實施例的方法流程圖。雖然本申請提供了如下述實施例或附圖所示的方法操作步驟或裝置結構，但基於常規或者無需創造性的勞動在所述方法或裝置中可以包括更多或者更少的操作步驟或模組結構。在邏輯性上不存在必要因果關係的步驟或結構中，這些步驟的執行順序或裝置的模組結構不限於本申請實施例提供的執行順序或模組結構。所述的方法或模組結構的在實際中的裝置或終端產品執行時，可以按照實施例或者附圖所示的方法或模組結構連接進行循序執行或者並行執行(例如並行處理器或者多執行緒處理的環境)。
基於現有技術中對檢測到的人手進行跟蹤時經常會出現跟丟的問題，本申請透過引入了跟蹤驗證機制，可以對跟蹤結果進行即時修正，保證了快速準確的進行人手檢測。具體如圖1所示，本申請的人手檢測跟蹤方法可以包括：S101：逐幀圖像進行人手檢測； S102：當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；S103：驗證所述跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據所述跟蹤結果對人手進行當前幀的局部檢測。
由圖1所示的流程可知，本申請首先進行人手檢測，在檢測到人手時進行位置跟蹤，並對跟蹤結果進行有效性驗證，可以對無效跟蹤結果進行修正處理，以防止誤判，可以快速準確的進行人手檢測，減少計算量。
S101中，一般需要從第一幀圖像開始進行人手檢測，具體檢測方法可以為，遍歷每幀圖像當全圖，利用HOG+SVM方法在進行人手檢測，HOG+SVM方法為現有技術中常用的人體檢測方法，不再贅述。另外，本申請中，需要在不同尺度下進行人手檢測，以與幀圖像中的人手進行良好匹配，準確快速的檢測到人手，不同尺度請參見圖2所示。
人手檢測成功(即在某一幀圖像中檢測到人手)後，就可以對檢測到人手進行位置跟蹤，一實施例中，可以利用模板匹配策略對檢測到的人手進行位置跟蹤，得到跟蹤結果。
上述該跟蹤結果為初步的跟蹤結果，根據該初步的跟蹤結果還不能確定跟蹤是否有效，就需要對跟蹤結果進行驗證。
跟蹤結果一般對應幀圖像中定位塊(block)，驗證 跟蹤結果是否有效即為根據判斷該block是否為人手，如圖3所示，驗證跟蹤結果是否有效的方法包括如下步驟：
S301：將所述定位塊調整為人手訓練時確定的尺寸。分類器在分類前需要訓練，由於訓練時分類器是固定大小的，進行分類前需要將視頻中的人手塊調整為人手訓練時確定的尺寸。
S302：將尺寸調整後的所述定位塊送入分類器，判斷該定位塊是否為人手，如果該定位塊為人手，則所述跟蹤結果有效，否則所述跟蹤結果無效。
圖4為本申請實施例驗證跟蹤結果是否有效的示意圖，如圖4所示，首先需要將視頻中的人手框(定位塊S1)調整(resize)為人手訓練時確定的尺寸，得到塊S2，然後將塊S2送入分類器中，分類器可以輸出判斷結果，根據該判斷結果可以判斷塊S2是不是人手，如果塊S2為人手，則所述跟蹤結果有效，否則所述跟蹤結果無效。上述分類器可以為SVM、ANN、BOOST等，本申請不以此為限。
對於跟蹤結果為有效的情況，可以繼續下一幀的跟蹤，即重複進行圖1的S102及S103，無需進行S101進行人手檢測，相比現有技術中對每一幀圖像進行人手檢測，減小了工作量。
而對於跟蹤結果為有效的情況，可能是由於跟蹤結果與圖像中人手的位置及大小有所偏差，如果直接轉到S101繼續進行人手檢測，可能會造成誤判。為了解決該 問題，如圖5所示，可以根據跟蹤結果對人手進行當前幀的局部檢測，具體包括：
S501：確定上述block的中心，以設定步長及設定塊尺度定義多個鄰域塊。
S502：將所述多個鄰域塊分別調整為人手訓練時確定的尺寸。分類器在分類前需要訓練，由於分類器訓練時是固定大小的，進行分類前需要將視頻中的人手塊調整為人手訓練時確定的尺寸。
S503：將調整尺寸後的所述多個鄰域塊分別送入分類器，判斷所述多個鄰域塊中為人手的鄰域塊的數量。
具體地，可以定義當前跟蹤結果的block中心為(x，y)，block的框高為(w，h)。根據上述描述，該block被判斷不是人手，可能的原因是跟蹤結果與真實的位置有些偏差，或者人手因為拍攝距離遠近導致了人手成像時的縮放。因此，本申請採用了如下策略來解決這個問題，為了清楚的說明，下述策略中將上述設定步長設為2，鄰域塊數設為8，設定塊尺度設為(0.8w，0.8h)，(w，h)，(1.2w，1.2h)三個尺度，並非用於限定。
首先，在(x，y)的以步長為2的8個鄰域進行人手檢測，即等待判定的8個鄰域塊中心分別為：(x-2，y-2)，(x，y-2)，(x+2，y-2)，(x，y-2)，(x，y+2)，(x+2，y-2)，(x+2，y)，(x+2，y+2)。在設定了(0.8w，0.8h)，(w，h)，(1.2w，1.2h)三個尺度後，鄰域塊的個數相當於3*8=24 個，塊的不同尺度是為了涵蓋縮放的影響。
完成上述操作後，可以對24個鄰域塊分別進行人手判斷，首先將每個鄰域塊分別調整為人手訓練時確定的尺寸，然後將調整尺寸後的鄰域塊分別送入分類器，判斷每個鄰域塊是否為人手，最後統計為人手的鄰域塊的數量。該策略需要進行3*8次的resize和分類器判定操作，相對現有技術的每幀進行檢測操作，極大減少了計算量。
基於統計的為人手的鄰域塊的數量，可以進行進一步的動作，具體如下：如果24個鄰域塊中為人手的鄰域塊的數量大於或等於2，可以將所有為人手的鄰域塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤，即重複進行圖1的S102及S103，無需進行S101進行人手檢測。
假設24個鄰域塊中為人手的鄰域塊的數量等於2，如圖6所示，兩個虛線框(塊601和塊602)為檢測到的塊，塊601的結果為(left1,top1,right1,bottom1)，其中(left1,top1)標識了塊601的左上頂點座標，(right1,bottom1)標識了塊601的右下頂點座標。塊602的結果為(left2,top2,right2,bottom2)，其中(left2,top2)標識了塊602的左上頂點座標，(right2,bottom2)標識了塊602的右下頂點座標。塊601及塊602合併得到塊603，塊603的結果為((left1+left2)/2,(top1+top2)/2,(right1+right2)/2,(bottom1+bottom2)/2)，該合併後的結果(塊603)作 為最終跟蹤結果輸出。
對於24個鄰域塊中為人手的鄰域塊的數量大於或等於2的情況，相當於在一個有限的區域做了人手檢測操作，輸出的是檢測的結果。
如果24個鄰域塊中為人手的鄰域塊僅有一個，將為人手的鄰域塊與S102中得到的定位塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤，即重複進行圖1的S102及S103，無需進行S101進行人手檢測。
假設透過分類器判斷24個鄰域塊中僅有一個鄰域塊為人手，如圖7所示，塊701為檢測到的塊，塊701的結果為(left3,top3,right3,bottom3)，其中(left3,top3)標識了塊701的左上頂點座標，(right1,bottom1)標識了塊701的右下頂點座標。塊702為S102中得到的塊，塊702的結果為(left4,top4,right4,bottom4)，其中(left4,top4)標識了塊702的左上頂點座標，(right4,bottom4)標識了塊702的右下頂點座標。塊701及塊702合併得到塊703，塊703的結果為((left3+left4)/2,(top3+top4)/2,(right3+right4)/2,(bottom3+bottom4)/2)，該合併後的結果(塊703)作為最終跟蹤結果輸出。
對於上述24個鄰域塊中僅有一個鄰域塊為人手的情況，可以理解為，跟蹤和檢測都是有效的，只是跟蹤結果與真實位置有一點點偏差，因此做合併就可以了。
如果24個鄰域塊中不存在為人手的鄰域塊，可能原 因是人手不存在了，或者人手的形態與訓練時定義的形態存在較大差異，重新逐幀圖像進行人手檢測。
本申請實施例的人手檢測跟蹤方法，透過對跟蹤結果進行有效性驗證，可以對無效跟蹤結果進行修正處理，以防止誤判，可以快速準確的進行人手檢測。透過根據跟蹤結果對人手進行當前幀的局部檢測，可以極大的減少計算量。
基於與上述人手檢測跟蹤方法相同的發明構思，本申請提供一種人手檢測跟蹤裝置，如下面實施例所述。由於該人手檢測跟蹤裝置解決問題的原理與人手檢測跟蹤方法相似，因此該人手檢測跟蹤裝置的實施可以參見人手檢測跟蹤方法的實施，重複之處不再贅述。
圖8為本申請實施例的人手檢測跟蹤裝置的結構示意圖，如圖8所示，該人手檢測跟蹤裝置包括：人手檢測單元801，位置跟蹤單元802及跟蹤結果處理單元803。
人手檢測單元801用於逐幀圖像進行人手檢測；位置跟蹤單元802用於當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；跟蹤結果處理單元803用於驗證所述跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據所述跟蹤結果對人手進行當前幀的局部檢測。
一實施例中，人手檢測單元801具體用於：遍歷幀圖像全圖，利用HOG+SVM方法在不同尺度下進行人手檢測。另外，本申請中，需要在不同尺度下進行人手檢測， 以與幀圖像中的人手進行良好匹配，準確快速的檢測到人手。
一實施例中，位置跟蹤單元802具體用於：利用模板匹配策略對檢測到的人手進行位置跟蹤，得到跟蹤結果。
一實施例中，如圖9所示，跟蹤結果處理單元包括：尺寸調整模組901及人手判斷模組902。
尺寸調整模組901用於將所述定位塊調整為人手訓練時確定的尺寸；分類器在分類前需要訓練，由於訓練時分類器是固定大小的，進行分類前需要將視頻中的人手塊調整為人手訓練時確定的尺寸。
人手判斷模組902用於將尺寸調整後的所述定位塊送入分類器，判斷該定位塊是否為人手，如果該定位塊為人手，則所述跟蹤結果有效，否則所述跟蹤結果無效。
一實施例中，如果人手判斷模組902判斷得到跟蹤結果有效，位置跟蹤單元802對人手進行下一幀跟蹤。
一實施例中，如圖10所示，跟蹤結果處理單元803還包括：資訊確定模組1001，用於確定所述定位塊的中心，以設定步長及設定塊尺度定義多個鄰域塊。尺寸調整模組901將多個鄰域塊分別調整為人手訓練時確定的尺寸，人手判斷模組902將調整尺寸後的所述多個鄰域塊分別送入分類器，判斷所述多個鄰域塊中為人手的鄰域塊的數量。
一實施例中，如圖11所示，跟蹤結果處理單元803還包括：合併模組1101，用於當多個鄰域塊中為人手的 鄰域塊的數量大於或等於2時，將所有為人手的鄰域塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
一實施例中，如果多個鄰域塊中為人手的鄰域塊的數量為1，合併模組1101還用於將為人手的鄰域塊與所述定位塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
一實施例中，如果多個鄰域塊中不存在為人手的鄰域塊，需要透過人手檢測單元801重新逐幀圖像進行人手檢測。
本申請實施例的人手檢測跟蹤裝置，透過對跟蹤結果進行有效性驗證，可以對無效跟蹤結果進行修正處理，以防止誤判，可以快速準確的進行人手檢測。透過根據跟蹤結果對人手進行當前幀的局部檢測，可以極大的減少計算量。
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每 一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得透過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
本發明中應用了具體實施例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。

Claims (16)

  1. 一種人手檢測跟蹤方法，其特徵在於，包括：逐幀圖像進行人手檢測；當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果；驗證該跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據該跟蹤結果對人手進行當前幀的局部檢測，其中，如果該跟蹤結果有效，對人手進行下一幀跟蹤；如果該跟蹤結果無效，根據該跟蹤結果對人手進行當前幀的局部檢測。
  2. 根據申請專利範圍第1項所述的人手檢測跟蹤方法，其中，逐幀圖像進行人手檢測，包括：遍歷幀圖像全圖，利用HOG+SVM方法在不同尺度下進行人手檢測。
  3. 根據申請專利範圍第1項所述的人手檢測跟蹤方法，其中，對檢測到的人手進行位置跟蹤，得到跟蹤結果，包括：利用模板匹配策略對檢測到的人手進行位置跟蹤，得到跟蹤結果。
  4. 根據申請專利範圍第1項所述的人手檢測跟蹤方法，其中，該跟蹤結果為幀圖像中用於標識人手位置的定位塊的座標，驗證該跟蹤結果是否有效，包括：將該定位塊調整為人手訓練時確定的尺寸；將尺寸調整後的該定位塊送入分類器，判斷該定位塊是否為人手，如果該定位塊為人手，則該跟蹤結果有效， 否則該跟蹤結果無效。
  5. 根據申請專利範圍第4項所述的人手檢測跟蹤方法，其中，如果該跟蹤結果無效，根據該跟蹤結果對人手進行當前幀的局部檢測，包括：確定該定位塊的中心，以設定步長及設定塊尺度定義多個鄰域塊；將該多個鄰域塊分別調整為人手訓練時確定的尺寸；將調整尺寸後的該多個鄰域塊分別送入分類器，判斷該多個鄰域塊中為人手的鄰域塊的數量。
  6. 根據申請專利範圍第5項所述的人手檢測跟蹤方法，其中，如果多個鄰域塊中為人手的鄰域塊的數量大於或等於2，將所有為人手的鄰域塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
  7. 根據申請專利範圍第5項所述的人手檢測跟蹤方法，其中，如果多個鄰域塊中為人手的鄰域塊的數量為1，將為人手的鄰域塊與該定位塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
  8. 根據申請專利範圍第5項所述的人手檢測跟蹤方法，其中，如果多個鄰域塊中不存在為人手的鄰域塊，重新逐幀圖像進行人手檢測。
  9. 一種人手檢測跟蹤裝置，其特徵在於，包括：人手檢測單元，用於逐幀圖像進行人手檢測；位置跟蹤單元，用於當在某一幀圖像中檢測到人手時，對檢測到的人手進行位置跟蹤，得到跟蹤結果； 跟蹤結果處理單元，用於驗證該跟蹤結果是否有效，以對人手進行下一幀跟蹤，或者根據該跟蹤結果對人手進行當前幀的局部檢測，其中，如果該跟蹤結果有效，該位置跟蹤單元對人手進行下一幀跟蹤；如果該跟蹤結果無效，根據該跟蹤結果對人手進行當前幀的局部檢測。
  10. 根據申請專利範圍第9項所述的人手檢測跟蹤裝置，其中，該人手檢測單元具體用於：遍歷幀圖像全圖，利用HOG+SVM方法在不同尺度下進行人手檢測。
  11. 根據申請專利範圍第9項所述的人手檢測跟蹤裝置，其中，該位置跟蹤單元具體用於：利用模板匹配策略對檢測到的人手進行位置跟蹤，得到跟蹤結果。
  12. 根據申請專利範圍第9項所述的人手檢測跟蹤裝置，其中，該跟蹤結果為幀圖像中用於標識人手位置的定位塊的座標，該跟蹤結果處理單元包括：尺寸調整模組，用於將該定位塊調整為人手訓練時確定的尺寸；人手判斷模組，用於將尺寸調整後的該定位塊送入分類器，判斷該定位塊是否為人手，如果該定位塊為人手，則該跟蹤結果有效，否則該跟蹤結果無效。
  13. 根據申請專利範圍第12項所述的人手檢測跟蹤裝置，其中，該跟蹤結果處理單元還包括：資訊確定模組，用於確定該定位塊的中心，以設定步長及設定塊尺度 定義多個鄰域塊；該尺寸調整模組將該多個鄰域塊分別調整為人手訓練時確定的尺寸；該人手判斷模組用於將調整尺寸後的該多個鄰域塊分別送入分類器，判斷該多個鄰域塊中為人手的鄰域塊的數量。
  14. 根據申請專利範圍第13項所述的人手檢測跟蹤裝置，其中，該跟蹤結果處理單元還包括：合併模組，用於當多個鄰域塊中為人手的鄰域塊的數量大於或等於2時，將所有為人手的鄰域塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
  15. 根據申請專利範圍第14項所述的人手檢測跟蹤裝置，其中，如果多個鄰域塊中為人手的鄰域塊的數量為1，該合併模組還用於將為人手的鄰域塊與該定位塊合併後作為最終跟蹤結果輸出，然後進行下一幀跟蹤。
  16. 根據申請專利範圍第13項所述的人手檢測跟蹤裝置，其中，如果多個鄰域塊中不存在為人手的鄰域塊，該人手檢測單元重新逐幀圖像進行人手檢測。
TW106112613A 2016-06-23 2017-04-14 人手檢測跟蹤方法及裝置 TWI703507B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201610461515.0 2016-06-23
CN201610461515.0 2016-06-23
CN201610461515.0A CN106920251A (zh) 2016-06-23 2016-06-23 人手检测跟踪方法及装置

Publications (2)

Publication Number Publication Date
TW201800975A TW201800975A (zh) 2018-01-01
TWI703507B true TWI703507B (zh) 2020-09-01

Family

ID=59453270

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106112613A TWI703507B (zh) 2016-06-23 2017-04-14 人手檢測跟蹤方法及裝置

Country Status (9)

Country Link
US (2) US10885638B2 (zh)
EP (1) EP3477593B1 (zh)
JP (1) JP6767516B2 (zh)
KR (1) KR102227083B1 (zh)
CN (1) CN106920251A (zh)
ES (1) ES2865403T3 (zh)
PL (1) PL3477593T3 (zh)
TW (1) TWI703507B (zh)
WO (1) WO2017219875A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
WO2018223295A1 (en) * 2017-06-06 2018-12-13 Midea Group Co., Ltd. Coarse-to-fine hand detection method using deep neural network
CN108121971B (zh) * 2017-12-25 2018-10-26 哈尔滨拓讯科技有限公司 一种基于动作时序特征的人手检测方法及装置
CN108229360B (zh) * 2017-12-26 2021-03-19 美的集团股份有限公司 一种图像处理的方法、设备及存储介质
CN108717522A (zh) * 2018-04-18 2018-10-30 上海交通大学 一种基于深度学习和相关滤波的人体目标跟踪方法
TWI719591B (zh) * 2019-08-16 2021-02-21 緯創資通股份有限公司 物件追蹤方法及其電腦系統
CN111046844B (zh) * 2019-12-27 2020-11-27 中国地质大学（北京） 一种基于邻域选取约束的高光谱图像分类方法
CN111568197A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 智能检测方法、系统及存储介质
JP2023161209A (ja) 2022-04-25 2023-11-07 シャープ株式会社 入力装置、入力方法、及び入力プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201201090A (en) * 2010-06-30 2012-01-01 Chunghwa Telecom Co Ltd Virtual keyboard input system
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
TWI397840B (zh) * 2009-07-23 2013-06-01 Ind Tech Res Inst 基於軌跡之控制方法及裝置
CN104731323A (zh) * 2015-02-13 2015-06-24 北京航空航天大学 一种基于hog特征的多旋转方向svm模型的手势跟踪方法
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
JP2010039788A (ja) * 2008-08-05 2010-02-18 Toshiba Corp 画像処理装置及びその方法並びに画像処理プログラム
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2012203439A (ja) * 2011-03-23 2012-10-22 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
US9141196B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101436050B1 (ko) * 2013-06-07 2014-09-02 한국과학기술연구원 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
JP6235414B2 (ja) * 2014-06-06 2017-11-22 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP6487642B2 (ja) * 2014-07-01 2019-03-20 国立大学法人 筑波大学 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
CN104821010A (zh) * 2015-05-04 2015-08-05 清华大学深圳研究生院 基于双目视觉的人手三维信息实时提取方法及系统
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397840B (zh) * 2009-07-23 2013-06-01 Ind Tech Res Inst 基於軌跡之控制方法及裝置
TW201201090A (en) * 2010-06-30 2012-01-01 Chunghwa Telecom Co Ltd Virtual keyboard input system
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
CN104731323A (zh) * 2015-02-13 2015-06-24 北京航空航天大学 一种基于hog特征的多旋转方向svm模型的手势跟踪方法

Also Published As

Publication number Publication date
EP3477593A4 (en) 2019-06-12
WO2017219875A1 (zh) 2017-12-28
KR102227083B1 (ko) 2021-03-16
TW201800975A (zh) 2018-01-01
ES2865403T3 (es) 2021-10-15
JP2019519049A (ja) 2019-07-04
EP3477593B1 (en) 2021-02-17
US10885638B2 (en) 2021-01-05
JP6767516B2 (ja) 2020-10-14
US20190188865A1 (en) 2019-06-20
KR20190020783A (ko) 2019-03-04
PL3477593T3 (pl) 2021-07-12
CN106920251A (zh) 2017-07-04
EP3477593A1 (en) 2019-05-01
US10885639B2 (en) 2021-01-05
US20200134838A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
TWI703507B (zh) 人手檢測跟蹤方法及裝置
US10438077B2 (en) Face liveness detection method, terminal, server and storage medium
WO2020119338A1 (zh) 机器人目标物体抓取位置检测的方法
KR20220071284A (ko) 차량 검출 방법 및 장치
US11688078B2 (en) Video object detection
WO2017101496A1 (zh) 一种手势识别方法及装置
WO2020133488A1 (zh) 车辆检测方法和设备
CN112017246A (zh) 一种基于逆透视变换的图像获取方法及装置
US11244154B2 (en) Target hand tracking method and apparatus, electronic device, and storage medium
US9727145B2 (en) Detecting device and detecting method
CN109827607A (zh) 线结构光焊缝跟踪传感器的标定方法及装置
CN109146916A (zh) 一种运动物体跟踪方法及装置
JP7375497B2 (ja) ナンバー認識装置及び方法
CN113033252B (zh) 姿态检测方法、装置和计算机可读存储介质
US20240078704A1 (en) Information processing system, information processing method, and recording medium
US20220375118A1 (en) Method and apparatus for identifying vehicle cross-line, electronic device and storage medium
CN116486427B (zh) 一种文本识别的方法、装置、设备及存储介质
CN113033252A (zh) 姿态检测方法、装置和计算机可读存储介质
CN107767336A (zh) 一种图像处理的方法及装置
CN115439392A (zh) 物体异常位置检测方法、装置、电子设备及存储介质
BR102023005151A2 (pt) Método, aparelho e sistema de controle de soldagem, e, meio de armazenamento legível por computador
Lim et al. A Methodology for Estimating the Assembly Position of the Process Based on YOLO and Regression of Operator Hand Position and Time Information
CN113723214A (zh) 一种人脸关键点标注方法、系统、电子设备及存储介质
CN113989135A (zh) 一种图像修复的方法、装置、电子设备及存储介质
JPH02249080A (ja) パターン認識方法および装置