KR20190020783A

KR20190020783A - 손 검출 및 추적 방법과 디바이스

Info

Publication number: KR20190020783A
Application number: KR1020197001955A
Authority: KR
Inventors: 지준 두; 난 왕
Original assignee: 알리바바 그룹 홀딩 리미티드
Priority date: 2016-06-23
Filing date: 2017-06-09
Publication date: 2019-03-04
Also published as: EP3477593A4; EP3477593A1; ES2865403T3; TWI703507B; PL3477593T3; EP3477593B1; WO2017219875A1; US10885639B2; US20190188865A1; TW201800975A; JP2019519049A; KR102227083B1; US10885638B2; US20200134838A1; JP6767516B2; CN106920251A

Abstract

본 출원은 손 검출 및 추적 방법과 디바이스를 제공한다. 본 방법은, 이미지의 각 프레임에서 손 검출을 수행하는 단계; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계; 및 상기 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 상기 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계를 포함한다. 본 출원에서, 추적 동안 검증 단계가 추가되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다.

Description

손 검출 및 추적 방법과 디바이스

본 출원은 "손(hand) 검출 및 추적 방법과 디바이스"라는 발명의 명칭으로 2016년 6월 23일에 출원된 중국 특허 출원 제201610461515.0호의 우선권을 주장하며, 이 중국 특허 출원은 본 명세서에서 그 전체가 참고로 원용된다.

본 발명개시는 시각적 타겟 검출 및 추적 기술 및 사람과 컴퓨터의 상호작용 기술 분야에 관한 것이며, 구체적으로는, 손 검출 및 추적 방법과 디바이스에 관한 것이다.

손은 사람과 컴퓨터의 상호작용 도구로서 사용될 수 있다. 실제로 비디오의 각 프레임에서 손의 위치를 파악하기 위해서는 사람과 컴퓨터의 상호작용 프로세스를 통해 손을 실시간으로 검출하고 추적할 필요가 있다. 특히, 검출은 각 프레임에서 수행될 수 있지만, 검출은 시간 소모적이고 실시간으로 수행될 수 없다. 또한, 잘못된 검출이 때때로 발생하여, 손 위치의 지터링(jittering)을 일으켜서, 후속적인 사용자 상호작용에 영향을 미칠 수 있다.

상기 문제점을 해결하기 위해, 실시간 효과를 달성하기 위해 기존의 기술에 추적 메커니즘이 도입되었다. 그러나, 추적하는 동안 타겟이 손실될 수 있다. 추적 타겟의 손실을 완화하기 위해, 종래 기술에서 일반적으로 사용되는 방법은 피부색 정보를 도입하는 것이다. 피부색을 사용하여 일부 잘못된 추적을 피할 수 있지만, 배경색과 피부색이 비슷한 경우에는 추적 오류가 여전히 발생할 수 있다.

본 출원의 구현예는 손 검출 및 추적 방법을 제공하며, 이 방법은 다음을 포함한다: 이미지의 각 프레임에서 손 검출을 수행하는 단계; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계; 및 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계.

본 출원의 구현예는 손 검출 및 추적 디바이스를 더 제공하며, 이 디바이스는 다음을 포함한다: 이미지의 각 프레임에서 손 검출을 수행하도록 구성된 손 검출 유닛; 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하도록 구성된 위치 추적 유닛; 및 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하도록 구성된 추적 결과 처리 유닛.

본 출원의 구현예에서, 추적 동안 검증 단계가 추가되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다.

물론, 본 출원을 구현하는 임의의 제품 또는 방법은 상기 장점들 모두 대신에 그 중 일부를 성취할 수 있다.

본 발명개시의 구현예들에서 또는 종래 기술에서의 기술적 해결책을 보다 명확하게 설명하기 위해, 아래에서는 구현예들 또는 종래 기술을 설명하는데 필요한 첨부 도면들을 간략하게 설명한다.
명백한 바와 같이, 이하의 설명에서의 첨부 도면들은 본 발명개시의 일부 구현예들을 단지 보여줄 뿐이며, 당업자는 창의적인 노력 없이 이들 첨부 도면들로부터 다른 도면들을 계속해서 이끌어낼 수 있다.
도 1은 본 출원의 구현예에 따른, 손 검출 및 추적 방법의 구현예를 나타내는 방법 흐름도이다.
도 2는 본 출원의 구현예에 따른, 상이한 스케일의 손 검출을 나타내는 개략도이다.
도 3은 본 출원의 구현예에 따른, 추적 결과 검증 방법을 나타내는 흐름도이다.
도 4는 본 출원의 구현예에 따른, 추적 결과 검증 프로세스를 나타내는 개략도이다.
도 5는 본 출원의 구현예에 따른, 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하기 위한 방법을 나타내는 흐름도이다.
도 6은 본 출원의 구현예에 따른, 블록 조합을 나타내는 개략도이다.
도 7은 본 출원의 다른 구현예에 따른, 블록 조합을 나타내는 개략도이다.
도 8은 본 출원의 구현예에 따른, 손 검출 및 추적 디바이스를 나타내는 개략적인 구조도이다.
도 9는 본 출원의 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.
도 10은 본 출원의 다른 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.
도 11은 본 출원의 또다른 구현예에 따른, 추적 결과 처리 유닛을 나타내는 개략적인 구조도이다.

아래에서는 본 발명개시의 구현예들에서의 첨부된 도면을 참조하여 본 발명개시의 구현예들에서의 기술적 해결책을 명확하고 완전하게 설명한다. 명백한 바와 같이, 설명된 구현예들은 본 발명개시의 모든 구현예들이라기 보다는 그 중 일부일 뿐이다. 본 발명개시의 구현예들에 기초하여 당업자에 의해 창의적인 노력없이 획득되는 다른 모든 구현예들은 본 발명개시의 보호 범위 내에 속한다.

아래에서는 첨부된 도면을 참조하여 본 출원에서의 손 검출 및 추적 방법과 디바이스를 상세하게 설명한다. 도 1은 본 출원에 따른, 손 검출 및 추적 방법의 구현예를 나타내는 방법 흐름도이다. 본 출원은 통상적으로 또는 창조적인 노력없이 아래의 구현예들 또는 첨부 도면에서 도시된 방법 동작 단계 또는 디바이스 구조를 제공하지만, 본 방법은 더 많거나 더 적은 수의 동작 단계를 포함할 수 있거나, 또는 본 디바이스는 더 많거나 더 적은 수의 모듈 구조를 포함할 수 있다. 단계들 또는 구조들은 논리적 인과성에 반드시 결속될 필요는 없기 때문에, 이들 단계들의 실행 시퀀스 또는 디바이스의 모듈 구조는 본 출원의 구현예에서 제공된 실행 시퀀스 또는 모듈 구조로 제한되지 않는다. 실제 디바이스 또는 단말 제품에 적용될 때, 본 방법 또는 모듈 구조는 구현예 또는 첨부 도면에서 도시된 방법 또는 모듈 구조 연결에 기초하여 시퀀스로 실행될 수 있거나 또는 병렬로 실행될 수 있다(예를 들어, 병렬 프로세서 또는 멀티 스레드 프로세서의 환경).

추적 동안 검출된 손이 통상적으로 손실되는 종래 기술의 문제점에 기초하여, 본 출원에서는 추적 검증 메커니즘이 도입되어, 추적 결과가 실시간으로 정정될 수 있어서, 신속하고 정확한 손 검출을 보장한다. 구체적으로, 도 1에서 도시된 바와 같이, 본 출원에서의 손 검출 및 추적 방법은 다음의 단계들을 포함할 수 있다:

S101. 이미지의 각 프레임에서 손 검출을 수행한다.

S102. 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행한다.

S103. 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행한다.

도 1에서 도시된 프로시저로부터 살펴볼 수 있는 바와 같이, 본 출원에서는, 먼저 손 검출이 수행되고, 손이 검출된 경우 위치 추적이 수행되며, 추적 결과의 유효성이 검증되어서, 유효하지 않은 추적 결과를 정정하여 잘못된 판단을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있고, 계산량을 줄일 수 있다.

S101에서, 손 검출은 일반적으로 이미지의 제1 프레임으로부터 수행될 필요가 있다. 구체적인 검출 방법은 이미지의 각 프레임을 전체적으로 스캐닝하는 것과, HOG+SVM 방법을 사용하여 손 검출을 수행하는 것일 수 있다. HOG+SVM 방법은 종래 기술에서 통상적으로 사용되는 인체 검출 방법이며, 이에 대한 상세한 설명은 간략화를 위해 생략한다. 또한, 본 출원에서, 이미지의 프레임에서 손과의 양호한 매칭을 이뤄내고, 손을 정확하고 신속하게 검출하기 위해, 손 검출은 상이한 스케일로 수행될 필요가 있다. 상이한 스케일에 대해서는, 도 2를 참조할 수 있다.

손이 성공적으로 검출된 후(즉, 손이 이미지의 프레임에서 검출됨), 검출된 손에 대해 위치 추적이 수행될 수 있다. 구현예에서, 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 검출된 손에 대해 위치 추적이 수행될 수 있다.

추적 결과는 예비적 추적 결과이며, 추적이 유효한지 여부는 예비적 추적 결과에 기초하여 판단될 수 없다. 따라서, 추적 결과는 검증될 필요가 있다.

추적 결과는 통상적으로 이미지의 프레임 내의 위치결정 블록에 대응한다. 추적 결과가 유효한지 여부를 검증하는 것은 블록이 손인지 여부를 판단하는 것이다. 도 3에서 도시된 바와 같이, 추적 결과가 유효한지 여부를 검증하는 방법은 다음과 같은 단계들을 포함한다:

S301. 위치결정 블록을 손 트레이닝(hand training) 동안에 결정된 크기로 조정한다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.

S302. 조정된 위치결정 블록을 분류기에 전송하여, 위치결정 블록이 손인지 여부를 판단하며, 여기서 위치결정 블록이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다.

도 4는 본 출원의 구현예에 따른, 추적 결과 검증 프로세스를 나타내는 개략도이다. 도 4에서 도시된 바와 같이, 블록(S2)을 획득하기 위해 비디오 내의 손 블록(위치결정 블록(S1))이 먼저 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있고, 그런 후, 블록(S2)이 분류기에 전송된다. 분류기는 판단 결과를 출력할 수 있고, 판단 결과에 기초하여 블록(S2)이 손인지 여부가 판단될 수 있다. 블록(S2)이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다. 분류기는 SVM 분류기, ANN 분류기, 부스트 분류기 등일 수 있다. 본 출원은 이에 한정되지 않는다.

추적 결과가 유효한 경우, 다음 프레임에서 추적이 수행될 수 있으며, 구체적으로, S101에서의 손 검출을 수행하지 않고서 도 1의 S102와 S103이 반복적으로 수행된다. 따라서, 이미지의 각 프레임에서 손 검출이 수행되는 종래 기술에 비해 작업 부하가 감소된다.

그러나, 추적 결과가 유효한 경우, 이는 추적 결과가 이미지에서의 손의 위치 및 크기로부터 벗어난 것이 원인일 수 있다. S101에서 손 검출이 직접 수행되면, 오판단을 유발시킬 수 있다. 이 문제를 해결하기 위해, 도 5에서 도시된 바와 같이, 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행될 수 있다. 구체적으로, 아래의 단계들이 포함된다:

S501. 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의한다.

S502. 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정한다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.

S503. 조정된 복수의 이웃 블록들을 분류기에 개별적으로 전송하여, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단한다.

구체적으로, 현재 추적 결과에서 블록의 중심은 (x, y)로서 정의될 수 있고, 블록의 높이는 (w, h)이다. 이전 설명에 기초하면, 블록이 손이 아닌 것으로 판단된 경우, 이는 추적 결과가 실제 위치로부터 약간 벗어난 것 또는 촬영 거리로 인해 촬상 중에 손이 줌(zoom)된 것이 원인일 수 있다. 그러므로, 본 출원에서는, 본 문제를 해결하기 위해 다음의 방법이 사용된다. 명확한 설명을 위해, 다음의 방법에서, 규정된 스텝은 2로 설정되고, 이웃 블록들의 갯수는 8로 설정되며, 규정된 블록 크기는 세가지 크기, 즉 (0.8w, 0.8h), (w, h), (1.2w, 1.2h)를 포함한다. 이 설정은 제한 사항으로서 사용되지 않는다.

먼저, 손 검출은 (x, y)에서 2의 스텝을 갖는 8개의 이웃 블록들에서 수행되는데, 구체적으로, 결정될 8개의 이웃 블록들의 중심은 각각 (x-2, y-2), (x, y-2), (x+2, y-2), (x, y-2), (x, y+2), (x+2, y-2), (x+2, y), (x+2, y+2)이다. (0.8w, 0.8h), (w, h), 및 (1.2w, 1.2h)의 3개의 크기가 설정된 후, 이웃 블록들의 갯수는 3x8=24개와 같다. 상이한 블록 크기들은 줌잉(zooming)의 영향을 커버하도록 의도된 것이다.

이전 동작이 완료된 후, 손 판단이 24개의 이웃 블록들에 대해 개별적으로 수행될 수 있다. 각 이웃 블록이 먼저 손 트레이닝 동안에 결정된 크기로 조정된다. 그런 후, 조정된 이웃 블록들이 분류기에게 개별적으로 전송되어, 각 이웃 블록이 손인지 여부를 판단한다. 손인 이웃 블록들의 갯수가 최종적으로 계산된다. 본 방법에서는, 분류기의 조정 동작 및 결정 동작이 3×8회 수행될 필요가 있다. 따라서, 각 프레임에서 검출 동작이 수행되는 종래 기술에 비해 본 방법에서는 계산량이 매우 감소될 수 있다.

손인 이웃 블록들의 계산된 갯수에 기초하여 추가적인 동작들이 수행될 수 있다. 세부사항은 다음과 같다:

24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 손인 모든 이웃 블록들을 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행한다. 구체적으로, S101에서의 손 검출을 수행하지 않고서 도 1의 S102 및 S103가 반복적으로 수행된다.

24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개와 같다고 가정한다. 도 6에서 도시된 바와 같이, 2개의 점선 블록들(블록(601) 및 블록(602))은 검출된 블록들이다. 블록(601)에 대한 결과는 (left1, top1, right1, bottom1)이며, 여기서 (left1, top1)은 블록(601)의 좌측 상부 정점의 좌표를 식별하고, (right1, bottom1)은 블록(601)의 우측 하부 정점의 좌표를 식별한다. 블록(602)에 대한 결과는 (left2, top2, right2, bottom2)이며, 여기서 (left2, top2)은 블록(602)의 좌측 상부 정점의 좌표를 식별하고, (right2, bottom2)은 블록(602)의 우측 하부 정점의 좌표를 식별한다. 블록(601)과 블록(602)이 결합되어 블록(603)이 획득되고, 블록(603)의 결과는 ((left1+left2)/2, (top1+top2)/2, (right1+right2)/2, (bottom1+bottom2)/2)이며, 결합 이후에 획득된 결과(블록(603))가 최종적인 추적 결과로서 출력된다.

24개의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우는 제한된 영역에서 손 검출 동작을 수행하는 것 그리고 검출 결과를 출력하는 것과 동일하다.

24개의 이웃 블록들 중 하나만이 손인 경우, 손인 이웃 블록은 S102에서 획득된 위치결정 블록과 결합되고, 결합 이후에 획득된 결과가 최종적인 추적 결과로서 사용되며, 그런 후, 추적이 다음 프레임에서 수행되는데, 구체적으로, 도 1의 S102 및 S103이, S101에서의 손 검출을 수행하지 않고서 반복하여 수행된다.

분류기는 24개의 이웃 블록들 중 하나만이 손이라고 판단하는 것을 가정한다. 도 7에서 도시된 바와 같이, 블록(701)이 검출된 블록이고, 블록(701)에 대한 결과는 (left3, top3, right3, bottom3)이며, 여기서 (left3, top3)은 블록(701)의 좌측 상부 정점의 좌표를 식별하고, (right3, bottom3)은 블록(701)의 우측 하부 정점의 좌표를 식별한다. 블록(702)은 S102에서 획득된 블록이고, 블록(702)에 대한 결과는 (left4, top4, right4, bottom4)이며, 여기서 (left4, top4)은 블록(702)의 좌측 상부 정점의 좌표를 식별하고, (right4, bottom4)은 블록(702)의 우측 하부 정점의 좌표를 식별한다. 블록(701)과 블록(702)이 결합되어 블록(703)이 획득되고, 블록(703)의 결과는 ((left3+left4)/2, (top3+top4)/2, (right3+right4)/2, (bottom3+bottom4)/2)이며, 결합 이후에 획득된 결과(블록(703))가 최종적인 추적 결과로서 출력된다.

24개의 이웃 블록들 중 하나만이 손인 이전의 경우는 다음과 같이 이해될 수 있다: 추적과 검출 둘 다가 유효하지만, 추적 결과는 실제 위치에서 약간만 벗어나 있고, 이 문제는 결합을 통해 해결될 수 있다.

24개의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 이는 손이 더이상 존재하지 않는다는 것 또는 손 패턴이 트레이닝 동안 정의된 패턴과 크게 다르다는 것이 원인일 수 있다. 이 경우, 이미지의 각 프레임에서 손 검출이 다시 수행된다.

본 출원의 이 구현예에서의 손 검출 및 추적 방법에 따르면, 추적 결과의 유효성이 검증되고, 유효하지 않은 추적 결과가 정정될 수 있어서, 잘못된 판단을 행하는 것을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있다. 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행되므로, 계산량이 크게 감소될 수 있다.

손 검출 및 추적 방법과 동일한 발명 개념에 기초하여, 본 출원은 다음의 구현예에서 설명되는 손 검출 및 추적 디바이스를 제공한다. 손 검출 및 추적 디바이스가 문제를 해결하기 위해 사용하는 원리는 손 검출 및 추적 방법에서 사용되는 원리와 유사하기 때문에, 손 검출 및 추적 디바이스의 구현을 위해, 손 검출 및 추적 방법의 구현을 참조할 수 있으며, 반복되는 부분은 간략화를 위해 생략된다.

도 8은 본 출원의 구현예에 따른, 손 검출 및 추적 디바이스를 나타내는 개략적인 구조도이다. 도 8에서 도시된 바와 같이, 손 검출 및 추적 디바이스는 손 검출 유닛(801), 위치 추적 유닛(802), 및 추적 결과 처리 유닛(803)을 포함한다.

손 검출 유닛(801)은 이미지의 각 프레임에서 손 검출을 수행하도록 구성된다.

위치 추적 유닛(802)은 이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하도록 구성된다.

추적 결과 처리 유닛(803)은 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하도록 구성된다.

구현예에서, 손 검출 유닛(801)은 구체적으로, 이미지의 프레임을 전체적으로 스캐닝하고, 상이한 스케일에서 HOG+SVM 방법을 사용하여 손 검출을 수행하도록 구성된다. 또한, 본 출원에서, 이미지의 프레임에서 손과의 양호한 매칭을 이뤄내고, 손을 정확하고 신속하게 검출하기 위해, 손 검출은 상이한 스케일로 수행될 필요가 있다.

구현예에서, 위치 추적 유닛(802)은 구체적으로, 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 검출된 손에 대해 위치 추적을 수행하도록 구성된다.

구현예에서, 도 9에서 도시된 바와 같이, 추적 결과 처리 유닛은 조정 모듈(901) 및 손 판단 모듈(902)을 포함한다.

조정 모듈(901)은 위치결정 블록을 손 트레이닝 동안에 결정된 크기로 조정하도록 구성된다. 분류기가 분류 전에 트레이닝될 필요가 있다. 분류기는 트레이닝 동안 고정 크기를 갖기 때문에, 분류 전에, 비디오 내의 손 블록은 손 트레이닝 동안에 결정된 크기로 조정될 필요가 있다.

손 판단 모듈(902)은 조정된 위치결정 블록을 분류기에 전송하여, 위치결정 블록이 손인지 여부를 판단하도록 구성되며, 여기서 위치결정 블록이 손인 경우 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 추적 결과는 유효하지 않다.

구현예에서, 손 판단 모듈(902)이 추적 결과가 유효하다고 판단하면, 위치 추적 유닛(802)은 다음 프레임에서 손을 추적한다.

구현예에서, 추적 결과 처리 유닛(803)은, 도 10에서 도시된 바와 같이, 위치결정 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의하도록 구성된 정보 결정 모듈(1001)을 더 포함한다. 조정 모듈(901)은 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정한다. 손 판단 모듈(902)은 조정된 복수의 이웃 블록들을 분류기에 개별적으로 전송하여, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단한다.

구현예에서, 도 11에서 도시된 바와 같이, 추적 결과 처리 유닛(803)은 최종적인 추적 결과를 출력하기 위해 손인 모든 이웃 블록들을 결합하고, 그런 후, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 다음 프레임에서 추적을 수행하도록 구성된 결합 모듈(1101)을 더 포함한다.

구현예에서, 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 1개인 경우, 결합 모듈(1101)은 또한, 손인 이웃 블록을 위치결정 블록과 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행하도록 구성된다.

구현예에서, 복수의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 손 검출 유닛(801)은 이미지의 각 프레임에서 손 검출을 다시 수행할 필요가 있다.

본 출원의 이 구현예에서의 손 검출 및 추적 디바이스에 따르면, 추적 결과의 유효성이 검증되고, 유효하지 않은 추적 결과가 정정될 수 있어서, 잘못된 판단을 행하는 것을 피할 수 있다. 따라서, 손 검출을 신속하고 정확하게 수행할 수 있다. 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출이 수행되므로, 계산량이 크게 감소될 수 있다.

당업자는 본 발명개시의 구현예가 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 제공될 수 있음을 이해해야 한다. 따라서, 본 발명개시는 하드웨어 전용 구현예, 소프트웨어 전용 구현예, 또는 소프트웨어와 하드웨어의 조합을 갖는 구현예의 형태를 사용할 수 있다. 또한, 본 발명개시는 컴퓨터로 사용가능한 프로그램 코드가 포함된 하나 이상의 컴퓨터로 사용가능한 저장 매체(비제한적인 예시로서, 자기 디스크 저장디바이스, CD-ROM, 광학 메모리 등을 포함함) 상에 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.

본 발명개시는 본 발명개시의 구현예들에 따른 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명되었다. 흐름도 및/또는 블록도에서의 각각의 프로세스 및/또는 각각의 블록, 및 흐름도 및/또는 블록도에서의 프로세스 및/또는 블록의 조합을 구현하기 위해 컴퓨터 프로그램 명령어들이 사용될 수 있다는 것은 주목할 가치가 있다. 이들 컴퓨터 프로그램 명령어들은, 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스의 프로세서에 의해 실행된 명령어들이 흐름도들 내에서의 하나 이상의 프로세스들 및/또는 블록도들 내에서의 하나 이상의 블록들에서 규정된 기능을 구현하기 위한 디바이스를 생성하도록, 범용 컴퓨터, 전용 컴퓨터, 내장형 프로세서, 또는 머신을 생성하기 위한 다른 프로그램가능 데이터 처리 디바이스의 프로세서를 위해 제공될 수 있다.

이들 컴퓨터 프로그램 명령어들은, 컴퓨터로 판독가능한 메모리에 저장된 명령어들이 명령어 디바이스를 포함하는 아티펙트를 생성하도록, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 디바이스로 하여금 특정 방식으로 동작할 것을 명령내릴 수 있고 컴퓨터로 판독가능한 메모리에 저장될 수 있다. 명령어 디바이스는 흐름도들 내의 하나 이상의 프로세스들에서 및/또는 블록도들 내의 하나 이상의 블록들에서 규정된 기능을 구현한다.

이들 컴퓨터 프로그램 명령어들은, 일련의 동작들 및 단계들이 컴퓨터 또는 다른 프로그램가능한 디바이스 상에서 수행됨으로써 컴퓨터 구현 처리를 생성할 수 있도록, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 디바이스 상에 로딩될 수 있다. 따라서, 컴퓨터 또는 다른 프로그램가능한 디바이스 상에서 실행되는 명령어들은 흐름도들 내의 하나 이상의 프로세스들에서 및/또는 블록도들 내의 하나 이상의 블록들에서 특정 기능을 구현하기 위한 단계들을 제공한다.

본 발명개시의 원리 및 구현예를 설명하기 위해 특정 구현예가 본 발명개시에서 사용된다. 이전 구현예들은 본 발명개시의 방법 및 핵심 사상을 이해하는 것을 돕기 위한 것일 뿐이다. 또한, 당업자는 본 발명개시의 사상에 기초하여 특정 구현예 및 응용 범위를 변경할 수 있다. 결론적으로, 본 명세서의 내용은 본 발명개시에 대한 제한으로서 해석되어서는 안된다.

Claims

손(hand) 검출 및 추적 방법에 있어서,
이미지의 각 프레임에서 손 검출을 수행하는 단계;
이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계; 및
상기 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 상기 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계
를 포함하는 손 검출 및 추적 방법.
제1항에 있어서,
상기 이미지의 각 프레임에서 손 검출을 수행하는 단계는,
이미지의 프레임을 전체적으로 스캐닝하는 단계, 및
상이한 스케일에서 HOG+SVM 방법을 사용하여 손 검출을 수행하는 단계
를 포함한 것인 손 검출 및 추적 방법.
제1항에 있어서,
상기 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하는 단계는,
상기 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 상기 검출된 손에 대해 위치 추적을 수행하는 단계
를 포함한 것인 손 검출 및 추적 방법.
제1항에 있어서,
상기 추적 결과는 상기 이미지의 프레임에서 손 위치를 식별하기 위해 사용된 위치결정 블록의 좌표이며,
상기 추적 결과가 유효한지 여부를 검증하는 것은,
상기 위치결정 블록을 손 트레이닝(hand training) 동안에 결정된 크기로 조정하는 것; 및
상기 조정된 위치결정 블록을 분류기에 전송하여, 상기 위치결정 블록이 손인지 여부를 판단하는 것
을 포함하며,
상기 위치결정 블록이 손인 경우 상기 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 상기 추적 결과는 유효하지 않은 것인 손 검출 및 추적 방법.
제4항에 있어서,
상기 추적 결과가 유효한 경우 상기 손이 다음 프레임에서 추적되는 것인 손 검출 및 추적 방법.
제4항에 있어서,
상기 추적 결과가 유효하지 않은 경우, 상기 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하는 단계는,
상기 위치결정 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의하는 단계;
상기 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정하는 단계; 및
상기 조정된 복수의 이웃 블록들을 상기 분류기에 개별적으로 전송하여, 상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단하는 단계
를 포함한 것인 손 검출 및 추적 방법.
제6항에 있어서,
상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 손인 모든 이웃 블록들을 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행하는 것인 손 검출 및 추적 방법.
제6항에 있어서,
상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 1개인 경우, 손인 이웃 블록이 상기 위치결정 블록과 결합되어, 최종적인 추적 결과가 출력되고, 그런 후 다음 프레임에서 추적이 수행되는 것인 손 검출 및 추적 방법.
제6항에 있어서,
상기 복수의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 이미지의 각 프레임에서 손 검출이 다시 수행되는 것인 손 검출 및 추적 방법.
손 검출 및 추적 디바이스에 있어서,
이미지의 각 프레임에서 손 검출을 수행하도록 구성된 손 검출 유닛;
이미지의 프레임에서 손이 검출된 경우, 추적 결과를 획득하기 위해 검출된 손에 대해 위치 추적을 수행하도록 구성된 위치 추적 유닛; 및
상기 추적 결과가 유효한지 여부를 검증하여, 다음 프레임에서 손을 추적하거나, 또는 상기 추적 결과에 기초하여 현재 프레임에서 국부적 손 검출을 수행하도록 구성된 추적 결과 처리 유닛
을 포함하는 손 검출 및 추적 디바이스.
제10항에 있어서,
상기 손 검출 유닛은 구체적으로, 이미지의 프레임을 전체적으로 스캐닝하고, 상이한 스케일에서 HOG+SVM 방법을 사용하여 손 검출을 수행하도록 구성된 것인 손 검출 및 추적 디바이스.
제10항에 있어서,
상기 위치 추적 유닛은 구체적으로, 상기 추적 결과를 획득하기 위해 템플릿 매칭 방법을 사용함으로써 상기 검출된 손에 대해 위치 추적을 수행하도록 구성된 것인 손 검출 및 추적 디바이스.
제10항에 있어서,
상기 추적 결과는 상기 이미지의 프레임에서 손 위치를 식별하기 위해 사용된 위치결정 블록의 좌표이며,
상기 추적 결과 처리 유닛은,
상기 위치결정 블록을 손 트레이닝 동안에 결정된 크기로 조정하도록 구성된 조정 모듈; 및
상기 조정된 위치결정 블록을 분류기에 전송하여, 상기 위치결정 블록이 손인지 여부를 판단하도록 구성된 손 판단 모듈
을 포함하며,
상기 위치결정 블록이 손인 경우 상기 추적 결과는 유효한 것이고; 그렇지 않은 경우에는, 상기 추적 결과는 유효하지 않은 것인 손 검출 및 추적 디바이스.
제13항에 있어서,
상기 위치 추적 유닛은 상기 추적 결과가 유효한 경우 상기 손을 다음 프레임에서 추적하도록 구성된 것인 손 검출 및 추적 디바이스.
제13항에 있어서,
상기 추적 결과 처리 유닛은 또한, 상기 위치결정 블록의 중심을 결정하고, 규정된 스텝 및 규정된 블록 크기를 사용하여 복수의 이웃 블록들을 정의하도록 구성된 정보 결정 모듈을 더 포함하고;
상기 조정 모듈은 상기 복수의 이웃 블록들 각각을 손 트레이닝 동안에 결정된 크기로 조정하도록 구성되며;
상기 손 판단 모듈은 상기 조정된 복수의 이웃 블록들을 분류기에 개별적으로 전송하여, 상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수를 판단하도록 구성된 것인 손 검출 및 추적 디바이스.
제15항에 있어서,
상기 추적 결과 처리 유닛은, 최종적인 추적 결과를 출력하기 위해 손인 모든 이웃 블록들을 결합하고, 그런 후, 상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 2개 이상인 경우, 다음 프레임에서 추적을 수행하도록 구성된 결합 모듈을 더 포함한 것인 손 검출 및 추적 디바이스.
제16항에 있어서,
상기 복수의 이웃 블록들에서 손인 이웃 블록들의 갯수가 1개인 경우, 상기 결합 모듈은 또한, 손인 이웃 블록을 상기 위치결정 블록과 결합하여, 최종적인 추적 결과를 출력하고, 그런 후 다음 프레임에서 추적을 수행하도록 구성된 것인 손 검출 및 추적 디바이스.
제15항에 있어서,
상기 복수의 이웃 블록들에서 어떠한 이웃 블록도 손이 아닌 경우, 상기 손 검출 유닛은 이미지의 각 프레임에서 손 검출을 다시 수행하도록 구성된 것인 손 검출 및 추적 디바이스.