KR102227083B1 - 손 검출 및 추적 방법과 디바이스 - Google Patents

손 검출 및 추적 방법과 디바이스 Download PDF

Info

Publication number
KR102227083B1
KR102227083B1 KR1020197001955A KR20197001955A KR102227083B1 KR 102227083 B1 KR102227083 B1 KR 102227083B1 KR 1020197001955 A KR1020197001955 A KR 1020197001955A KR 20197001955 A KR20197001955 A KR 20197001955A KR 102227083 B1 KR102227083 B1 KR 102227083B1
Authority
KR
South Korea
Prior art keywords
hand
tracking
neighboring blocks
tracking result
image
Prior art date
Application number
KR1020197001955A
Other languages
English (en)
Other versions
KR20190020783A (ko
Inventor
지준 두
난 왕
Original Assignee
어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. filed Critical 어드밴스드 뉴 테크놀로지스 씨오., 엘티디.
Publication of KR20190020783A publication Critical patent/KR20190020783A/ko
Application granted granted Critical
Publication of KR102227083B1 publication Critical patent/KR102227083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

본 출원은 손 검출 및 추적 방법과 디바이스를 제공한다. 본 방법은, 이미지의 각 프레임에서 손 검출을 수행하는 단계; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계; 및 상기 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 상기 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계를 포함한다. 본 출원에서, 추적 동안 검증 단계가 추가되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다.

Description

손 검출 및 추적 방법과 디바이스
본 출원은 "손(hand) 검출 및 추적 방법과 디바이스"라는 발명의 명칭으로 2016년 6월 23일에 출원된 중국 특허 출원 제201610461515.0호의 우선권을 주장하며, 이 중국 특허 출원은 본 명세서에서 그 전체가 참고로 원용된다.
본 발명개시는 시각적 타겟 검출 및 추적 기술 및 사람과 컴퓨터의 상호작용 기술 분야에 관한 것이며, 구체적으로는, 손 검출 및 추적 방법과 디바이스에 관한 것이다.
손은 사람과 컴퓨터의 상호작용 도구로서 사용될 수 있다. 실제로 비디오의 각 프레임에서 손의 위치를 파악하기 위해서는 사람과 컴퓨터의 상호작용 프로세스를 통해 손을 실시간으로 검출하고 추적할 필요가 있다. 특히, 검출은 각 프레임에서 수행될 수 있지만, 검출은 시간 소모적이고 실시간으로 수행될 수 없다. 또한, 잘못된 검출이 때때로 발생하여, 손 위치의 지터링(jittering)을 일으켜서, 후속적인 사용자 상호작용에 영향을 미칠 수 있다.
상기 문제점을 해결하기 위해, 실시간 효과를 달성하기 위해 기존의 기술에 추적 메커니즘이 도입되었다. 그러나, 추적하는 동안 타겟이 손실될 수 있다. 추적 타겟의 손실을 완화하기 위해, 종래 기술에서 일반적으로 사용되는 방법은 피부색 정보를 도입하는 것이다. 피부색을 사용하여 일부 잘못된 추적을 피할 수 있지만, 배경색과 피부색이 비슷한 경우에는 추적 오류가 여전히 발생할 수 있다.
본 출원의 구현예는 손 검출 및 추적 방법을 제공하며, 이 방법은 다음을 포함한다: 이미지의 각 프레임에서 손 검출을 수행하는 단계; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계; 및 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계.
본 출원의 구현예는 손 검출 및 추적 디바이스를 더 제공하며, 이 디바이스는 다음을 포함한다: 이미지의 각 프레임에서 손 검출을 수행하도록 구성된 손 검출 유닛; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하도록 구성된 위치 추적 유닛; 및 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하도록 구성된 추적 결과 처리 유닛.
본 출원의 구현예에서, 추적 동안 검증 단계가 추가되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다.
물론, 본 출원을 구현하는 임의의 제품 또는 방법은 상기 장점들 모두 대신에 그 중 일부를 성취할 수 있다.
본 발명개시의 구현예들에서 또는 종래 기술에서의 기술적 해결책을 보다 명확하게 설명하기 위해, 아래에서는 구현예들 또는 종래 기술을 설명하는데 필요한 첨부 도면들을 간략하게 설명한다.
명백한 바와 같이, 이하의 설명에서의 첨부 도면들은 본 발명개시의 일부 구현예들을 단지 보여줄 뿐이며, 당업자는 창의적인 노력 없이 이들 첨부 도면들로부터 다른 도면들을 계속해서 이끌어낼 수 있다.
도 1은 본 출원의 구현예에 따른, 손 검출 및 추적 방법의 구현예를 나타내는 방법 흐름도이다.
도 2는 본 출원의 구현예에 따른, 상이한 스케일의 손 검출을 나타내는 개략도이다.
도 3은 본 출원의 구현예에 따른, 추적 결과 검증 방법을 나타내는 흐름도이다.
도 4는 본 출원의 구현예에 따른, 추적 결과 검증 프로세스를 나타내는 개략도이다.
도 5는 본 출원의 구현예에 따른, 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하기 위한 방법을 나타내는 흐름도이다.
도 6은 본 출원의 구현예에 따른, 블록 조합을 나타내는 개략도이다.
도 7은 본 출원의 다른 구현예에 따른, 블록 조합을 나타내는 개략도이다.
도 8은 본 출원의 구현예에 따른, 손 검출 및 추적 디바이스를 나타내는 개략적인 구조도이다.
도 9는 본 출원의 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.
도 10은 본 출원의 다른 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.
도 11은 본 출원의 또다른 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.
아래에서는 본 발명개시의 구현예들에서의 첨부된 도면을 참조하여 본 발명개시의 구현예들에서의 기술적 해결책을 명확하고 완전하게 설명한다. 명백한 바와 같이, 설명된 구현예들은 본 발명개시의 모든 구현예들이라기 보다는 그 중 일부일 뿐이다. 본 발명개시의 구현예들에 기초하여 당업자에 의해 창의적인 노력없이 획득되는 다른 모든 구현예들은 본 발명개시의 보호 범위 내에 속한다.
아래에서는 첨부된 도면을 참조하여 본 출원에서의 손 검출 및 추적 방법과 디바이스를 상세하게 설명한다. 도 1은 본 출원에 따른, 손 검출 및 추적 방법의 구현예를 나타내는 방법 흐름도이다. 본 출원은 통상적으로 또는 창조적인 노력없이 아래의 구현예들 또는 첨부 도면에서 도시된 방법 동작 단계 또는 디바이스 구조를 제공하지만, 본 방법은 더 많거나 더 적은 수의 동작 단계를 포함할 수 있거나, 또는 본 디바이스는 더 많거나 더 적은 수의 모듈 구조를 포함할 수 있다. 단계들 또는 구조들은 논리적 인과성에 반드시 결속될 필요는 없기 때문에, 이들 단계들의 실행 시퀀스 또는 디바이스의 모듈 구조는 본 출원의 구현예에서 제공된 실행 시퀀스 또는 모듈 구조로 제한되지 않는다. 실제 디바이스 또는 단말 제품에 적용될 때, 본 방법 또는 모듈 구조는 구현예 또는 첨부 도면에서 도시된 방법 또는 모듈 구조 연결에 기초하여 시퀀스로 실행될 수 있거나 또는 병렬로 실행될 수 있다(예를 들어, 병렬 프로세서 또는 멀티 스레드 프로세서의 환경).
추적 동안 검출된 손이 통상적으로 손실되는 종래 기술의 문제점에 기초하여, 본 출원에서는 추적 검증 메커니즘이 도입되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다. 구체적으로, 도 1에서 도시된 바와 같이, 본 출원에서의 손 검출 및 추적 방법은 다음의 단계들을 포함할 수 있다:
S101. 이미지의 각 프레임에서 손 검출을 수행한다.
S102. 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행한다.
S103. 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행한다.
도 1에서 도시된 프로시저로부터 살펴볼 수 있는 바와 같이, 본 출원에서는, 먼저 손 검출이 수행되고, 손이 검출된 경우 위치 추적이 수행되며, 추적 결과의 유효성이 검증되어서, 유효하지 않은 추적 결과를 정정하여 잘못된 판단을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있고, 계산량을 줄일 수 있다.
S101에서, 손 검출은 일반적으로 이미지의 제1 프레임으로부터 수행될 필요가 있다. 구체적인 검출 방법은 이미지의 각 프레임을 전체적으로 스캐닝하는 것과, HOG+SVM 방법을 사용하여 손 검출을 수행하는 것일 수 있다. HOG+SVM 방법은 종래 기술에서 통상적으로 사용되는 인체 검출 방법이며, 이에 대한 상세한 설명은 간략화를 위해 생략한다. 또한, 본 출원에서, 이미지의 프레임에서 손과의 양호한 매칭을 이뤄내고, 손을 정확하고 신속하게 검출하기 위해, 손 검출은 상이한 스케일로 수행될 필요가 있다. 상이한 스케일에 대해서는, 도 2를 참조할 수 있다.
손이 성공적으로 검출된 후(즉, 손이 이미지의 프레임에서 검출됨), 검출된 손에 대해 위치 추적이 수행될 수 있다. 구현예에서, 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 검출된 손에 대해 위치 추적이 수행될 수 있다.
추적 결과는 예비적 추적 결과이며, 추적이 유효한지 여부는 예비적 추적 결과에 기초하여 판단될 수 없다. 따라서, 추적 결과는 검증될 필요가 있다.
추적 결과는 통상적으로 이미지의 프레임 내의 위치결정 블록에 대응한다. 추적 결과가 유효한지 여부를 검증하는 것은 블록이 손인지 여부를 판단하는 것이다. 도 3에서 도시된 바와 같이, 추적 결과가 유효한지 여부를 검증하는 방법은 다음과 같은 단계들을 포함한다:
S301. 위치결정 블록을 손 트레이닝(hand training) 동안에 결정된 크기로 조정한다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.
S302. 조정된 위치결정 블록을 분류기에 전송하여, 위치결정 블록이 손인지 여부를 판단하며, 여기서 위치결정 블록이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다.
도 4는 본 출원의 구현예에 따른, 추적 결과 검증 프로세스를 나타내는 개략도이다. 도 4에서 도시된 바와 같이, 블록(S2)을 획득하기 위해 비디오 내의 손 블록(위치결정 블록(S1))이 먼저 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있고, 그런 후, 블록(S2)이 분류기에 전송된다. 분류기는 판단 결과를 출력할 수 있고, 판단 결과에 기초하여 블록(S2)이 손인지 여부가 판단될 수 있다. 블록(S2)이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다. 분류기는 SVM 분류기, ANN 분류기, 부스트 분류기 등일 수 있다. 본 출원은 이에 한정되지 않는다.
추적 결과가 유효한 경우, 다음 프레임에서 추적이 수행될 수 있으며, 구체적으로, S101에서의 손 검출을 수행하지 않고서 도 1의 S102와 S103이 반복적으로 수행된다. 따라서, 이미지의 각 프레임에서 손 검출이 수행되는 종래 기술에 비해 작업 부하가 감소된다.
그러나, 추적 결과가 유효한 경우, 이는 추적 결과가 이미지에서의 손의 위치 및 크기로부터 벗어난 것이 원인일 수 있다. S101에서 손 검출이 직접 수행되면, 오판단을 유발시킬 수 있다. 이 문제를 해결하기 위해, 도 5에서 도시된 바와 같이, 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행될 수 있다. 구체적으로, 아래의 단계들이 포함된다:
S501. 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의한다.
S502. 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정한다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.
S503. 조정된 복수의 이웃 블록들을 분류기에 개별적으로 전송하여, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단한다.
구체적으로, 현재 추적 결과에서 블록의 중심은 (x, y)로서 정의될 수 있고, 블록의 높이는 (w, h)이다. 이전 설명에 기초하면, 블록이 손이 아닌 것으로 판단된 경우, 이는 추적 결과가 실제 위치로부터 약간 벗어난 것 또는 촬영 거리로 인해 촬상 중에 손이 줌(zoom)된 것이 원인일 수 있다. 그러므로, 본 출원에서는, 본 문제를 해결하기 위해 다음의 방법이 사용된다. 명확한 설명을 위해, 다음의 방법에서, 규정된 스텝은 2로 설정되고, 이웃 블록들의 갯수는 8로 설정되며, 규정된 블록 크기는 세가지 크기, 즉 (0.8w, 0.8h), (w, h), (1.2w, 1.2h)를 포함한다. 이 설정은 제한 사항으로서 사용되지 않는다.
먼저, 손 검출은 (x, y)에서 2의 스텝을 갖는 8개의 이웃 블록들에서 수행되는데, 구체적으로, 결정될 8개의 이웃 블록들의 중심은 각각 (x-2, y-2), (x, y-2), (x+2, y-2), (x, y-2), (x, y+2), (x+2, y-2), (x+2, y), (x+2, y+2)이다. (0.8w, 0.8h), (w, h), 및 (1.2w, 1.2h)의 3개의 크기가 설정된 후, 이웃 블록들의 갯수는 3x8=24개와 같다. 상이한 블록 크기들은 줌잉(zooming)의 영향을 커버하도록 의도된 것이다.
이전 동작이 완료된 후, 손 판단이 24개의 이웃 블록들에 대해 개별적으로 수행될 수 있다. 각 이웃 블록이 먼저 손 트레이닝 동안에 결정된 크기로 조정된다. 그런 후, 조정된 이웃 블록들이 분류기에게 개별적으로 전송되어, 각 이웃 블록이 손인지 여부를 판단한다. 손인 이웃 블록들의 갯수가 최종적으로 계산된다. 본 방법에서는, 분류기의 조정 동작 및 결정 동작이 3×8회 수행될 필요가 있다. 따라서, 각 프레임에서 검출 동작이 수행되는 종래 기술에 비해 본 방법에서는 계산량이 매우 감소될 수 있다.
손인 이웃 블록들의 계산된 갯수에 기초하여 추가적인 동작들이 수행될 수 있다. 세부사항은 다음과 같다:
24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 손인 모든 이웃 블록들을 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행한다. 구체적으로, S101에서의 손 검출을 수행하지 않고서 도 1의 S102 및 S103가 반복적으로 수행된다.
24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개와 같다고 가정한다. 도 6에서 도시된 바와 같이, 2개의 점선 블록들(블록(601) 및 블록(602))은 검출된 블록들이다. 블록(601)에 대한 결과는 (left1, top1, right1, bottom1)이며, 여기서 (left1, top1)은 블록(601)의 좌측 상부 정점의 좌표를 식별하고, (right1, bottom1)은 블록(601)의 우측 하부 정점의 좌표를 식별한다. 블록(602)에 대한 결과는 (left2, top2, right2, bottom2)이며, 여기서 (left2, top2)은 블록(602)의 좌측 상부 정점의 좌표를 식별하고, (right2, bottom2)은 블록(602)의 우측 하부 정점의 좌표를 식별한다. 블록(601)과 블록(602)이 결합되어 블록(603)이 획득되고, 블록(603)의 결과는 ((left1+left2)/2, (top1+top2)/2, (right1+right2)/2, (bottom1+bottom2)/2)이며, 결합 이후에 획득된 결과(블록(603))가 최종적인 추적 결과로서 출력된다.
24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우는 제한된 영역에서 손 검출 동작을 수행하는 것 그리고 검출 결과를 출력하는 것과 동일하다.
24개의 이웃 블록들 중 하나만이 손인 경우, 손인 이웃 블록은 S102에서 획득된 위치결정 블록과 결합되고, 결합 이후에 획득된 결과가 최종적인 추적 결과로서 사용되며, 그런 후, 추적이 다음 프레임에서 수행되는데, 구체적으로, 도 1의 S102 및 S103이, S101에서의 손 검출을 수행하지 않고서 반복하여 수행된다.
분류기는 24개의 이웃 블록들 중 하나만이 손이라고 판단하는 것을 가정한다. 도 7에서 도시된 바와 같이, 블록(701)이 검출된 블록이고, 블록(701)에 대한 결과는 (left3, top3, right3, bottom3)이며, 여기서 (left3, top3)은 블록(701)의 좌측 상부 정점의 좌표를 식별하고, (right3, bottom3)은 블록(701)의 우측 하부 정점의 좌표를 식별한다. 블록(702)은 S102에서 획득된 블록이고, 블록(702)에 대한 결과는 (left4, top4, right4, bottom4)이며, 여기서 (left4, top4)은 블록(702)의 좌측 상부 정점의 좌표를 식별하고, (right4, bottom4)은 블록(702)의 우측 하부 정점의 좌표를 식별한다. 블록(701)과 블록(702)이 결합되어 블록(703)이 획득되고, 블록(703)의 결과는 ((left3+left4)/2, (top3+top4)/2, (right3+right4)/2, (bottom3+bottom4)/2)이며, 결합 이후에 획득된 결과(블록(703))가 최종적인 추적 결과로서 출력된다.
24개의 이웃 블록들 중 하나만이 손인 이전의 경우는 다음과 같이 이해될 수 있다: 추적과 검출 둘 다가 유효하지만, 추적 결과는 실제 위치에서 약간만 벗어나 있고, 이 문제는 결합을 통해 해결될 수 있다.
24개의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 이는 손이 더이상 존재하지 않는다는 것 또는 손 패턴이 트레이닝 동안 정의된 패턴과 크게 다르다는 것이 원인일 수 있다. 이 경우, 이미지의 각 프레임에서 손 검출이 다시 수행된다.
본 출원의 이 구현예에서의 손 검출 및 추적 방법에 따르면, 추적 결과의 유효성이 검증되고, 유효하지 않은 추적 결과가 정정될 수 있어서, 잘못된 판단을 행하는 것을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있다. 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행되므로, 계산량이 크게 감소될 수 있다.
손 검출 및 추적 방법과 동일한 발명 개념에 기초하여, 본 출원은 다음의 구현예에서 설명되는 손 검출 및 추적 디바이스를 제공한다. 손 검출 및 추적 디바이스가 문제를 해결하기 위해 사용하는 원리는 손 검출 및 추적 방법에서 사용되는 원리와 유사하기 때문에, 손 검출 및 추적 디바이스의 구현을 위해, 손 검출 및 추적 방법의 구현을 참조할 수 있으며, 반복되는 부분은 간략화를 위해 생략된다.
도 8은 본 출원의 구현예에 따른, 손 검출 및 추적 디바이스를 나타내는 개략적인 구조도이다. 도 8에서 도시된 바와 같이, 손 검출 및 추적 디바이스는 손 검출 유닛(801), 위치 추적 유닛(802), 및 추적 결과 처리 유닛(803)을 포함한다.
손 검출 유닛(801)은 이미지의 각 프레임에서 손 검출을 수행하도록 구성된다.
위치 추적 유닛(802)은 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하도록 구성된다.
추적 결과 처리 유닛(803)은 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하도록 구성된다.
구현예에서, 손 검출 유닛(801)은 구체적으로, 이미지의 프레임을 전체적으로 스캐닝하고, 상이한 스케일에서 HOG+SVM 방법을 사용하여 손 검출을 수행하도록 구성된다. 또한, 본 출원에서, 이미지의 프레임에서 손과의 양호한 매칭을 이뤄내고, 손을 정확하고 신속하게 검출하기 위해, 손 검출은 상이한 스케일로 수행될 필요가 있다.
구현예에서, 위치 추적 유닛(802)은 구체적으로, 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 검출된 손에 대해 위치 추적을 수행하도록 구성된다.
구현예에서, 도 9에서 도시된 바와 같이, 추적 결과 처리 유닛은 조정 모듈(901) 및 손 판단 모듈(902)을 포함한다.
조정 모듈(901)은 위치결정 블록을 손 트레이닝 동안에 결정된 크기로 조정하도록 구성된다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.
손 판단 모듈(902)은 조정된 위치결정 블록을 분류기에 전송하여, 위치결정 블록이 손인지 여부를 판단하도록 구성되며, 여기서 위치결정 블록이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다.
구현예에서, 손 판단 모듈(902)이 추적 결과가 유효하다고 판단하면, 위치 추적 유닛(802)은 다음 프레임에서 손을 추적한다.
구현예에서, 추적 결과 처리 유닛(803)은, 도 10에서 도시된 바와 같이, 위치결정 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의하도록 구성된 정보 결정 모듈(1001)을 더 포함한다. 조정 모듈(901)은 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정한다. 손 판단 모듈(902)은 조정된 복수의 이웃 블록들을 분류기에 개별적으로 전송하여, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단한다.
구현예에서, 도 11에서 도시된 바와 같이, 추적 결과 처리 유닛(803)은 최종적인 추적 결과를 출력하기 위해 손인 모든 이웃 블록들을 결합하고, 그런 후, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 다음 프레임에서 추적을 수행하도록 구성된 결합 모듈(1101)을 더 포함한다.
구현예에서, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 1개인 경우, 결합 모듈(1101)은 또한, 손인 이웃 블록을 위치결정 블록과 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행하도록 구성된다.
구현예에서, 복수의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 손 검출 유닛(801)은 이미지의 각 프레임에서 손 검출을 다시 수행할 필요가 있다.
본 출원의 이 구현예에서의 손 검출 및 추적 디바이스에 따르면, 추적 결과의 유효성이 검증되고, 유효하지 않은 추적 결과가 정정될 수 있어서, 잘못된 판단을 행하는 것을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있다. 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행되므로, 계산량이 크게 감소될 수 있다.
당업자는 본 발명개시의 구현예가 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있음을 이해해야 한다. 따라서, 본 발명개시는 하드웨어 전용 구현예, 소프트웨어 전용 구현예, 또는 소프트웨어와 하드웨어의 조합을 갖는 구현예의 형태를 사용할 수 있다. 또한, 본 발명개시는 컴퓨터로 사용가능한 프로그램 코드가 포함된 하나 이상의 컴퓨터로 사용가능한 저장 매체(비제한적인 예시로서, 자기 디스크 저장디바이스, CD-ROM, 광학 메모리 등을 포함함) 상에 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 발명개시는 본 발명개시의 구현예들에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명되었다. 흐름도 및/또는 블록도에서의 각각의 프로세스 및/또는 각각의 블록, 및 흐름도 및/또는 블록도에서의 프로세스 및/또는 블록의 조합을 구현하기 위해 컴퓨터 프로그램 명령어들이 사용될 수 있다는 것은 주목할 가치가 있다. 이들 컴퓨터 프로그램 명령어들은, 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스의 프로세서에 의해 실행된 명령어들이 흐름도들 내에서의 하나 이상의 프로세스들 및/또는 블록도들 내에서의 하나 이상의 블록들에서 규정된 기능을 구현하기 위한 디바이스를 생성하도록, 범용 컴퓨터, 전용 컴퓨터, 내장형 프로세서, 또는 머신을 생성하기 위한 다른 프로그램가능 데이터 처리 디바이스의 프로세서를 위해 제공될 수 있다.
이들 컴퓨터 프로그램 명령어들은, 컴퓨터로 판독가능한 메모리에 저장된 명령어들이 명령어 디바이스를 포함하는 아티펙트를 생성하도록, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 디바이스로 하여금 특정 방식으로 동작할 것을 명령내릴 수 있고 컴퓨터로 판독가능한 메모리에 저장될 수 있다. 명령어 디바이스는 흐름도들 내의 하나 이상의 프로세스들에서 및/또는 블록도들 내의 하나 이상의 블록들에서 규정된 기능을 구현한다.
이들 컴퓨터 프로그램 명령어들은, 일련의 동작들 및 단계들이 컴퓨터 또는 다른 프로그램가능한 디바이스 상에서 수행됨으로써 컴퓨터 구현 처리를 생성할 수 있도록, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 디바이스 상에 로딩될 수 있다. 따라서, 컴퓨터 또는 다른 프로그램가능한 디바이스 상에서 실행되는 명령어들은 흐름도들 내의 하나 이상의 프로세스들에서 및/또는 블록도들 내의 하나 이상의 블록들에서 특정 기능을 구현하기 위한 단계들을 제공한다.
본 발명개시의 원리 및 구현예를 설명하기 위해 특정 구현예가 본 발명개시에서 사용된다. 이전 구현예들은 본 발명개시의 방법 및 핵심 사상을 이해하는 것을 돕기 위한 것일 뿐이다. 또한, 당업자는 본 발명개시의 사상에 기초하여 특정 구현예 및 응용 범위를 변경할 수 있다. 결론적으로, 본 명세서의 내용은 본 발명개시에 대한 제한으로서 해석되어서는 안된다.

Claims (18)

  1. 손(hand) 검출 및 추적을 위한 방법에 있어서,
    이미지의 각 프레임에서 손 검출을 수행하는 단계(S101);
    이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계(S102) - 상기 추적 결과는 상기 이미지의 각 프레임에서 손 위치를 식별하기 위해 사용된 위치결정 블록의 좌표를 포함함 -;
    상기 이미지의 현재 프레임에서 상기 추적 결과가 유효한지 여부를 검증하는 단계(S302)로서,
    상기 위치결정 블록을 손 트레이닝(hand training) 동안에 결정된 크기로 조정하는 단계;
    상기 조정된 위치결정 블록을 이미지 객체 분류기에 제공하는 단계 - 상기 이미지 객체 분류기는 상기 위치결정 블록이 손인지를 결정하도록 구성됨 -; 및
    상기 조정된 위치결정 블록이 손을 식별하는지의 표시를 상기 이미지 객체 분류기로부터 수신하는 단계 - 상기 위치결정 블록이 손인 경우 상기 추적 결과는 유효한 것이고, 그렇지 않은 경우 상기 추적 결과는 유효하지 않은 것임 - 에 의해, 상기 이미지의 현재 프레임에서 상기 추적 결과가 유효한지 여부를 검증하는 단계(S302);
    상기 추적 결과가 상기 이미지의 현재 프레임에서 유효한 경우, 다음 프레임에서 손의 위치를 추적하는 단계; 및
    상기 추적 결과가 상기 이미지의 현재 프레임에서 유효하지 않은 경우, 상기 현재 프레임에서 국부적 손 검출을 수행하는 단계로서,
    상기 위치결정 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의하는 단계(S501);
    상기 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정하는 단계(S502); 및
    상기 조정된 복수의 이웃 블록들을 상기 이미지 객체 분류기에 개별적으로 전송하여 상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단하는 단계(S503)에 의해, 상기 현재 프레임에서 국부적 손 검출을 수행하는 단계
    를 포함하고,
    상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 문턱값 이상인 경우, 손인 모든 이웃 블록들의 정점들의 좌표를 식별하고, 상기 정점들의 좌표를 이용하여 손인 모든 이웃 블록들이 결합되어 최종적인 추적 결과가 출력되고, 그런 후 다음 프레임에서 추적이 수행되는 것인 손 검출 및 추적을 위한 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 이미지 객체 분류기는 SVM 분류기, ANN 분류기, 또는 부스트 분류기를 포함한 것인 손 검출 및 추적을 위한 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 1개인 경우, 손인 이웃 블록이 상기 위치결정 블록과 결합되어 최종적인 추적 결과가 출력되고, 그런 후 다음 프레임에서 추적이 수행되는 것인 손 검출 및 추적을 위한 방법.
  9. 제1항에 있어서,
    상기 복수의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 이미지의 각 프레임에서 손 검출이 다시 수행되는 것인 손 검출 및 추적을 위한 방법.
  10. 손 검출 및 추적을 위한 디바이스에 있어서, 상기 손 검출 및 추적을 위한 디바이스는 제1항, 제4항, 제8항 및 제9항 중 어느 한 항의 방법을 수행하도록 구성된 복수의 모듈들을 포함한 것인 손 검출 및 추적을 위한 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020197001955A 2016-06-23 2017-06-09 손 검출 및 추적 방법과 디바이스 KR102227083B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610461515.0A CN106920251A (zh) 2016-06-23 2016-06-23 人手检测跟踪方法及装置
CN201610461515.0 2016-06-23
PCT/CN2017/087658 WO2017219875A1 (zh) 2016-06-23 2017-06-09 人手检测跟踪方法及装置

Publications (2)

Publication Number Publication Date
KR20190020783A KR20190020783A (ko) 2019-03-04
KR102227083B1 true KR102227083B1 (ko) 2021-03-16

Family

ID=59453270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001955A KR102227083B1 (ko) 2016-06-23 2017-06-09 손 검출 및 추적 방법과 디바이스

Country Status (9)

Country Link
US (2) US10885638B2 (ko)
EP (1) EP3477593B1 (ko)
JP (1) JP6767516B2 (ko)
KR (1) KR102227083B1 (ko)
CN (1) CN106920251A (ko)
ES (1) ES2865403T3 (ko)
PL (1) PL3477593T3 (ko)
TW (1) TWI703507B (ko)
WO (1) WO2017219875A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
EP3452955A4 (en) * 2017-06-06 2019-07-03 Midea Group Co., Ltd. HARD DETECTION METHOD WITH HAND DETECTION USING DEEP NEURAL NETWORK
CN108121971B (zh) * 2017-12-25 2018-10-26 哈尔滨拓讯科技有限公司 一种基于动作时序特征的人手检测方法及装置
CN108229360B (zh) * 2017-12-26 2021-03-19 美的集团股份有限公司 一种图像处理的方法、设备及存储介质
CN108717522A (zh) * 2018-04-18 2018-10-30 上海交通大学 一种基于深度学习和相关滤波的人体目标跟踪方法
TWI719591B (zh) * 2019-08-16 2021-02-21 緯創資通股份有限公司 物件追蹤方法及其電腦系統
CN111046844B (zh) * 2019-12-27 2020-11-27 中国地质大学（北京） 一种基于邻域选取约束的高光谱图像分类方法
CN111568197A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 智能检测方法、系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
JP2010039788A (ja) * 2008-08-05 2010-02-18 Toshiba Corp 画像処理装置及びその方法並びに画像処理プログラム
TWI397840B (zh) * 2009-07-23 2013-06-01 Ind Tech Res Inst 基於軌跡之控制方法及裝置
TW201201090A (en) * 2010-06-30 2012-01-01 Chunghwa Telecom Co Ltd Virtual keyboard input system
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2012203439A (ja) * 2011-03-23 2012-10-22 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US9141196B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101436050B1 (ko) * 2013-06-07 2014-09-02 한국과학기술연구원 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
JP6235414B2 (ja) * 2014-06-06 2017-11-22 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP6487642B2 (ja) * 2014-07-01 2019-03-20 国立大学法人 筑波大学 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
CN104731323B (zh) * 2015-02-13 2017-07-04 北京航空航天大学 一种基于hog特征的多旋转方向svm模型的手势跟踪方法
CN104821010A (zh) * 2015-05-04 2015-08-05 清华大学深圳研究生院 基于双目视觉的人手三维信息实时提取方法及系统
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiang Guo외 3인,"Real-time hand detection based on multi-stage HOG-SVM classifier", IEEE(2013.09.18.) 1부.*

Also Published As

Publication number Publication date
EP3477593B1 (en) 2021-02-17
WO2017219875A1 (zh) 2017-12-28
EP3477593A4 (en) 2019-06-12
CN106920251A (zh) 2017-07-04
TW201800975A (zh) 2018-01-01
US10885639B2 (en) 2021-01-05
JP6767516B2 (ja) 2020-10-14
US20190188865A1 (en) 2019-06-20
JP2019519049A (ja) 2019-07-04
PL3477593T3 (pl) 2021-07-12
TWI703507B (zh) 2020-09-01
EP3477593A1 (en) 2019-05-01
US10885638B2 (en) 2021-01-05
ES2865403T3 (es) 2021-10-15
KR20190020783A (ko) 2019-03-04
US20200134838A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
KR102227083B1 (ko) 손 검출 및 추적 방법과 디바이스
CN104715249B (zh) 物体跟踪方法和装置
US20190340783A1 (en) Autonomous Vehicle Based Position Detection Method and Apparatus, Device and Medium
JP6939111B2 (ja) 画像認識装置および画像認識方法
CN104284057B (zh) 一种视频处理方法及装置
JP5959951B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US11138419B2 (en) Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium
KR102476897B1 (ko) 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
KR20200056905A (ko) 3d 모델 정렬 방법 및 장치
EP3506204B1 (en) Image processing system, method and program therefor
WO2020133488A1 (zh) 车辆检测方法和设备
KR20160032432A (ko) 동일 객체 검출 방법 및 장치
CN110688873A (zh) 多目标追踪方法及人脸识别方法
JP2018092354A (ja) 物体検出装置および物体検出方法
US9727145B2 (en) Detecting device and detecting method
US8422765B2 (en) Three-dimensional image analysis system, process device, and method thereof
KR20200067465A (ko) 영상 처리 방법 및 장치
JP7406878B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112766239A (zh) 一种人脸识别方法、系统、电子设备及存储介质
US20150063631A1 (en) Dynamic image analyzing system and operating method thereof
Kim et al. Simulation of face pose tracking system using adaptive vision switching
KR101126415B1 (ko) 모바일 기기에서의 증강공간 제공 가속 장치
US20240078704A1 (en) Information processing system, information processing method, and recording medium
KR102161452B1 (ko) 스캐너 움직임에 따른 모션 유효성 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant