KR101364571B1 - 영상 기반의 손 검출 장치 및 그 방법 - Google Patents

영상 기반의 손 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101364571B1
KR101364571B1 KR1020100097227A KR20100097227A KR101364571B1 KR 101364571 B1 KR101364571 B1 KR 101364571B1 KR 1020100097227 A KR1020100097227 A KR 1020100097227A KR 20100097227 A KR20100097227 A KR 20100097227A KR 101364571 B1 KR101364571 B1 KR 101364571B1
Authority
KR
South Korea
Prior art keywords
hand
image
detected
images
hand image
Prior art date
Application number
KR1020100097227A
Other languages
English (en)
Other versions
KR20120035604A (ko
Inventor
최승민
정재찬
조재일
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100097227A priority Critical patent/KR101364571B1/ko
Priority to US13/241,119 priority patent/US8638987B2/en
Publication of KR20120035604A publication Critical patent/KR20120035604A/ko
Application granted granted Critical
Publication of KR101364571B1 publication Critical patent/KR101364571B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Abstract

본 발명은 영상 기반의 손 검출 장치 및 방법에 관한 것으로, 카메라를 통해 입력된 영상으로부터 주먹을 쥔 손 모양의 손 영상을 검출하는 손 영상 검출부, 손 영상 검출부에 의해 검출된 손 영상에서 기준값 보다 명도가 낮은 영역으로부터 특징점을 추출하는 특징점 추출부, 검출된 손 영상과 손 영상 저장부에 저장된 손 영상들의 특징점을 비교하여 검출된 손 영상 또는 저장된 손 영상들을 회전시키는 영상 회전부, 검출된 손 영상을 저장된 손 영상과 비교하여, 비교 결과를 생성하는 매칭부, 및 매칭부의 비교 결과를 고려하여, 저장된 손 영상들 중 검출된 손 영상과 일치하는 손 영상이 존재하면, 일치하는 손 영상을 매칭 손 영상으로 선택하는 손 모양 인식부를 포함한다.

Description

영상 기반의 손 검출 장치 및 그 방법{Apparatus for hand detecting based on image and method thereof}
본 발명은 영상 기반의 손 검출 장치 및 그 방법에 관한 것으로 특히 HCI(Human Computer Interaction)기술 중 영상을 기반으로 손 검출 장치 및 방법에 관한 것이다.
HCI(Human Computer Interaction)나 HRI(Human Robot Interaction)기술에서 영상을 기반으로 하여 비교적 높은 검출률을 보이는 사용자 검출 분야는 얼굴 검출이다. 이는 사람들의 얼굴에는 눈, 코, 입과 같은 특징점들이 존재하기 때문이다.
그러나, 사용자 인터페이스 방식에 있어 이슈가 되고 있는 오메가 검출, 몸체 검출, 손 검출 등은 얼굴 검출과 달리 피사체 뒤에 임의의 배경이 올 수 있고, 또한 피사체의 다양한 형태를 가정하고 있기 때문에 검출 성공률이 낮고, 오검출 될 확률이 높다.
현재까지는 손을 검출하기 위해서 살색 검출, 움직임 검출, 마커 부착 등의 방법을 주로 사용하고 있으나, 조명, 움직이는 배경, 마커 착용의 불편함, 그리고 낮은 검출률 등의 문제로 현재는 가속도 센서가 포함된 리모콘을 활용하는 제품이 주를 이루고 있다.
일반적으로 손은 수십 개의 관절로 이루어져 있어, 카메라와 수직인 방향을 축으로 회전되는 것을 제외하더라도 여러 가지 손 모양이 나올 수 있기 때문에, 특징점을 기반으로 하는 분류기에 적용하는 것이 쉽지 않다. 따라서, 색상정보나 거리 정보 등을 활용하여 배경을 제거한 후에 Adaboost를 적용하거나 Edge 정보 등을 활용하여 최종 판단하는 방식이 사용되고 있으나, 이마저도 조명 영향과 손가락 사이의 배경 제거가 쉽지 않기 때문에 안정적인 검출률을 보이기가 쉽지 않은 단점이 있다.
본 발명의 목적은, 영상으로부터 손을 검출하는데 있어서 높은 검출 성공률을 얻을 수 있는 영상 기반의 손 모양 검출 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 컴퓨터, 자동차, 게임, TV를 포함한 가전제품 등에서 손 동작을 인식하여 명령을 주는 응용에 활용될 수 있는 영상 기반의 손 모양 검출 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 영상 기반의 손 검출 장치는, 카메라를 통해 입력된 영상으로부터 주먹을 쥔 손 모양의 손 영상을 검출하는 손 영상 검출부, 상기 손 영상 검출부에 의해 검출된 손 영상에서 기준값 보다 명도가 낮은 영역으로부터 특징점을 추출하는 특징점 추출부, 상기 검출된 손 영상과 손 영상 저장부에 저장된 손 영상들의 특징점을 비교하여 상기 검출된 손 영상 또는 상기 저장된 손 영상들을 회전시키는 영상 회전부, 상기 검출된 손 영상을 상기 저장된 손 영상과 비교하여, 비교 결과를 생성하는 매칭부, 및 상기 매칭부의 비교 결과를 고려하여, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하면, 상기 일치하는 손 영상을 매칭 손 영상으로 선택하는 손 모양 인식부를 포함하는 것을 특징으로 한다.
상기 손 영상 검출부는 상기 입력된 영상의 프레임을 픽셀 단위로 M x N 크기의 윈도우를 설정하고, 상기 M x N 크기의 손 영상을 검출하는 것을 특징으로 한다.
상기 손 영상 검출부는 상기 입력된 영상에서 상기 M x N 크기의 윈도우 내에 손이 포함되어 있는지 판단하여, 상기 M x N 크기의 윈도우 내에 손이 포함되어 있지 않다면, 상기 M x N 크기의 윈도우 내에 손이 포함되는 범위 내에서 상기 입력된 영상을 축소시키는 것을 특징으로 한다.
상기 특징점 추출부는 상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역에 대한 에지(edge)의 개수, 위치, 각도를 상기 검출된 손 영상의 특징점으로 추출하는 것을 특징으로 한다.
상기 손 모양 인식부는 상기 주먹을 쥔 손 모양의 정면 부위를 인식하는 것을 특징으로 한다.
본 발명에 따른 영상 기반의 손 검출 장치는, 상기 매칭부의 비교 결과, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하지 않으면, 상기 검출된 손 영상을 등록하는 손 모양 분류기를 더 포함하는 것을 특징으로 한다.
한편, 상기 손 모양 분류기는 복수의 손 영상과 손을 포함하지 않는 영상을 비교하여 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값을 계산하고, 계산된 특징값에 근거하여 각각의 손 모양을 분류하는 것을 특징으로 하며, 상기 손 영상 각각에 포함된 손 모양 중 동일한 손 모양이 존재하는 경우, 해당 손 모양의 특징값에 가중치를 적용하여 특징값을 재계산하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 기반의 손 검출 장치는, 상기 손 모양 인식부에서 인식된 하나 이상의 손 모양으로부터 손 동작을 인식하고, 인식된 손 동작에 대응하는 명령을 인식하는 손 동작 인식부를 더 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 영상 기반의 손 검출 방법은, 카메라를 통해 입력된 영상으로부터 주먹을 쥔 손 모양의 손 영상을 검출하여 검출된 손 영상을 생성하는 단계, 상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역으로부터 특징점을 추출하는 단계, 상기 검출된 손 영상과 손 영상 저장부에 저장된 손 영상들의 특징점을 비교하여 상기 검출된 손 영상 또는 상기 저장된 손 영상들을 회전시키며 상기 검출된 손 영상을 상기 저장된 손 영상과 비교하여 비교 결과를 생성하는 단계, 및 상기 비교 결과를 고려하여, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하면, 상기 일치하는 손 영상을 매칭 손 영상으로 선택하는 단계를 포함하는 것을 특징으로 한다.
상기 손 영상을 검출하는 단계는, 상기 입력된 영상의 프레임을 픽셀 단위로 M x N 크기의 윈도우를 설정하는 단계를 포함하고, 이때 상기 M x N 크기의 손 영상을 검출하는 것을 특징으로 한다.
상기 손 영상을 검출하는 단계는, 상기 입력된 영상에서 상기 M x N 크기의 윈도우 내에 손이 포함되어 있는지 판단하는 단계, 및 상기 M x N 크기의 윈도우 내에 손이 포함되어 있지 않다면, 상기 M x N 크기의 윈도우 내에 손이 포함되는 범위 내에서 상기 입력된 영상을 축소시키는 단계를 더 포함하는 것을 특징으로 한다.
상기 특징점을 추출하는 단계는, 상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역에 대한 에지(edge)의 개수, 위치, 각도를 상기 검출된 손 영상의 특징점으로 추출하는 것을 특징으로 한다.
상기 손 모양을 인식하는 단계는, 상기 주먹을 쥔 손 모양의 정면 부위를 인식하는 것을 특징으로 한다.
한편, 본 발명에 따른 영상 기반의 손 검출 방법은, 상기 비교 결과, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하지 않으면, 상기 검출된 손 영상을 손 모양 분류기에 입력하여 손 영상을 등록하는 단계를 더 포함하는 것을 특징으로 한다.
이때, 상기 손 영상을 등록하는 단계는, 복수의 손 영상과 손을 포함하지 않는 영상을 비교하여 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값을 계산하는 단계, 상기 계산하는 단계에서 계산된 특징값을 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값으로 결정하는 단계, 및 상기 손 모양들의 특징값에 근거하여 각각의 손 모양을 분류하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 기반의 손 검출 방법은, 상기 손 영상 각각에 포함된 손 모양 중 동일한 손 모양이 존재하는 경우, 해당 손 모양의 특징값에 가중치를 적용하여 특징값을 재계산하는 단계, 및 재계산된 특징값을 해당 손 모양의 최종 특징값으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 기반의 손 검출 방법은, 상기 손 모양을 인식하는 단계에서 인식된 하나 이상의 손 모양으로부터 손 동작을 인식하는 단계, 및 상기 손 동작을 인식하는 단계에서 인식된 손 동작에 대응하는 명령을 인식하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 검출의 정확도가 떨어지는 살색 검출 등을 이용하는 것이 아니라, 주먹을 쉰 손 모양을 이용하여 손을 검출함으로써, 어두운 부분의 특징점만으로도 쉽고 정확하게 손을 검출할 수 있는 이점이 있다.
또한, 본 발명은, 손 분류기를 이용하여 강도 높은 손 모양을 분류함으로써, 입력되는 영상과의 비교를 통해 손 모양을 쉽게 검출할 수 있을 뿐만 아니라, 각도가 다른 손 모양을 회전시키면서 등록된 손 모양에 대칭되는 손 모양을 쉽게 검출해낼 수 있는 이점이 있다.
도 1 은 본 발명에 따른 영상 기반의 손 검출 장치에 대한 구성을 설명하는데 참조되는 블록도이다.
도 2a 내지 도 2d 는 본 발명에 적용되는 손 영상의 실시예를 나타낸 예시도이다.
도 3a 내지 도 3d 는 도 2a 내지 도 2d의 손 영상으로부터 특징점을 추출하는 동작을 나타낸 예시도이다.
도 4 및 도 5 는 손 동작을 인식하는 실시예를 나타낸 예시도이다.
도 6 은 본 발명에 따른 영상 기반의 손 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
도 7 은 손 검출 방법에 있어서 손 모양을 분류하는 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
본 발명은 영상 기반의 손 검출 장치 및 그 방법에 관한 것으로, 본 발명에서는 손 모양 중 변화가 적으며 배경의 영향을 받지 않고, 정해진 형태의 특정 손 모양을 검출하는 것을 제안하고자 한다. 특히, 본 발명은 주먹을 쥔 형태의 손 모양을 적용하도록 한다. 주먹을 쥔 손 모양은 게임이나 사용자 인터랙션(User Interaction)에서도 쉽게 취할 수 있는 손 모양으로서, 안정적인 검출률이 보장될 수 있다.
도 1은 본 발명에 따른 영상 기반의 손 검출 장치에 대한 구성을 설명하는데 참조되는 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 영상 기반의 손 검출 장치는, 영상 입력부(10), 제어부(20), 손 모양 분류기(30), 손 영상 저장부(40), 손 영상 검출부(50), 특징점 추출부(60), 영상 회전부(70), 매칭부(80), 손 모양 인식부(90), 및 동작 인식부(100)를 포함한다. 여기서, 제어부(20)는 각 부 동작을 제어한다.
영상 입력부(10)는 촬영된 영상을 입력 받는 수단으로, 카메라 등이 이에 해당 될 수 있다. 영상 입력부(10)를 통해 입력된 영상은 기본적으로 손 영상 저장부(40)에 저장된다.
손 모양 분류기(30)는 영상 입력부(10)를 통해 입력되는 복수의 영상으로부터 손 모양을 분류해 내는 수단이다. 이때, 손 모양 분류기(30)는 손 영상과 손을 포함하지 않는 영상을 비교하여 각 손 모양의 특징값을 추출하여, 추출된 특징값으로부터 손 모양을 분류한다.
이때, 손 모양 분류기(30)는 복수의 손 모양 중 동일 손 모양이 존재하는 경우, 해당 손 모양의 특징값에 가중치를 적용하여 동일 손 모양들의 특징값을 결정하게 된다.
손 모양 분류기(30)는 여러 차례의 분류 과정을 통해 최종 손 모양을 분류하고, 손 모양 분류기(30)에 의해 분류된 손 모양 정보는 손 영상 저장부(40)에 저장된다.
손 영상 검출부(50)는 영상 입력부(10)를 통해 영상이 입력되면, 입력된 영상으로부터 손 영상을 검출하는 수단이다. 이때, 손 영상 검출부(50)는 마커(Marker)가 없는 맨손에 대한 검출률을 보장하기 위해 주먹을 쥔 상태의 손 모양을 검출한다. 주먹을 쥔 손 모양을 이용하는 이유는, 주먹을 쥐게 되면 손가락 사이에 배경이 존재하지 않고, 어두운 부분이 생기게 되어 손가락 개수만큼 특징점을 가지게 되기 때문이다.
이때, 손 영상 검출부(50)는 현재 입력된 영상 프레임을 픽셀 단위로 M x N 윈도우를 설정한 후 손이 포함되어 있는지 여부를 판단하여, 손이 포함되는 일정 크기의 영상까지 축소시키며 손 영상을 검출한다.
이로써, 손 영상 검출부(50)는 촬영된 영상 내에서 손의 크기가 다양함에 따라, 큰 손은 축소된 영상에서 검출되고, 작은 손은 상대적으로 축소가 덜 된 영상에서 검출되게 된다.
손 영상 검출부(50)에 의해 검출된 손 영상의 실시예는 도 2a 내지 도 2d를 참조한다.
한편, 특징점 추출부(60)는 손 영상 검출부(50)에 의해 손 영상이 검출되면, 검출된 손 영상으로부터 특징점을 추출한다. 이때, 특징점 추출부(60)는 검출된 손 영상으로부터 주먹을 쥔 손 모양의 특징점을 추출한다. 일 예로서, 특징점 추출부(60)는 검출된 손 영상에서 기준값 보다 명도가 낮은 영역에 대한 에지(edge)의 개수, 위치, 각도를 검출된 손 영상의 특징점으로 추출할 수 있다.
특징점 추출부(60)에서 손 영상의 특징점을 추출하는 동작에 대한 실시예는 도 3a 내지 도 3d를 참조하도록 한다.
영상 회전부(70)는 특징점 추출부(60)로부터 손 영상의 특징점이 추출되면, 특징점이 포함된 영역을 중심으로 손 영상을 회전시킨다. 물론, 영상 회전부(70)는 손 영상 저장부(40)에 저장된 손 영상들의 특징점과 비교하며 손 영상을 회전시킨다.
이때, 영상 회전부(70)는 검출된 손 영상이 아니라, 손 영상들의 특징점을 비교하며 손 영상 저장부(40)에 저장된 손 영상들을 회전시킬 수도 있다.
매칭부(80)는 손 영상 회전부(70)에 의해 회전된 해당 손 영상을 손 영상 저장부(40)에 저장된 손 영상들과 매칭시킨다.
이때, 매칭부(80)는 검출된 손 영상과 손 영상 저장부(40)에 저장된 손 영상의 각도가 서로 일치하지 않는 경우, 영상 회전부(70)를 통해 해당 손 영상의 회전각을 조절할 수도 있다.
손 모양 인식부(90)는 매칭부(80)의 매칭 결과 저장된 손 영상 중 검출된 손 영상과 일치하는 손 영상이 존재하면, 해당 손 모양을 인식하고, 그렇지 않으면 손 모양 분류기(30)에 해당 손 모양을 등록한다.
한편, 동작 인식부(100)는 손 모양 인식부(90)에 의해 복수의 손 모양이 인식되면, 인식된 손 모양들로부터 손 동작을 인식한다. 동작 인식부(100)에서 손 동작을 인식하는 동작에 대한 실시예는 도 4 및 도 5를 참조한다.
도 2a 내지 도 2d는 본 발명에 적용되는 손 영상의 실시예를 나타낸 예시도이다.
도 2a 내지 도 2d와 같이, 주먹을 쥔 손 모양은 어느 하나의 형태를 갖는 것이 아니라, 방향 및 각도 등에 따라 다른 영상으로 검출될 수 있다.
다시 말해, 손 영상은 도 2a와 같이 주먹을 쥔 손 모양의 바닥 면을 검출한 영상일 수 있고, 도 2b와 같이 양손을 비스듬하게 주먹을 쥔 손 모양의 측면을 검출한 영상일 수 있고, 도 2c와 같이 주먹을 쥔 손 모양의 정명을 검출한 영상일 수 있고, 도 2d와 같이 주먹을 쥔 손 모양의 윗면을 검출한 영상일 수 있다.
도 3a 내지 도 3d는 도 2a 내지 도 2d의 손 영상에 대응하여 각 손 영상의 특징점을 추출하는 동작을 나타낸 것이다.
특히, 도 3a 내지 도 3d의 실시예는 도 2a 내지 도 2d의 손 영상에서 특징점이 포함된 영역을 사각형으로 표시한 것이다.
먼저, 도 3a는 도 2a의 손 영상 중 P1 영역에서 특징점을 추출하는 것이다. 또한, 도 3b는 도 2b의 손 영상 중 P2 영역에서 특징점을 추출하는 것이고, 도 3c는 도 2c의 손 영상 중 P3 영역에서 특징점을 추출하는 것이다. 마지막으로, 도 3d는 도 2d의 손 영상 중 P4 영역에서 특징점을 추출하는 것이다.
이때, 영상 회전부(70)는 사각형 영역을 중심으로 해당 영상을 회전시킬 수 있다.
도 4 및 도 5 는 손 동작을 인식하는 실시예를 나타낸 예시도이다.
도 4는 시간의 흐름에 따라 손 모양 인식부(90)에 의해 인식된 손 모양을 나타낸 것이고, 도 5는 도 4의 손 모양들로부터 동작 인식부(100)가 손 동작을 인식하는 예를 나타낸 것이다.
다시 말해, 도 4 및 도 5에서 첫 번째 손 모양을 기준으로 하면, 두 번째 손 모양은 첫 번째 손 모양을 오른쪽으로 45도 회전시킨 것이고, 세 번째 손 모양은 두 번째 손 모양을 다시 오른쪽으로 45도 회전시킨 것이다.
따라서, 동작 인식부(100)는 첫 번째, 두 번째, 세 번째 손 모양의 변화로부터 손 동작을 인식하고, 해당 손 동작에 대응하는 명령을 인식할 수 있다.
일 예로서, 동작 인식부(100)는 주먹이 평행하게 있다가 90도로 세우는 과정을 손 검출 결과 좌표로 계산하여, '선택' 명령을 인식할 수 있다.
이와 같은 방식으로 검출된 결과는 다양한 동작 인식에 활용될 수 있으며, 검출된 결과에서 손의 방향 정보를 이용하여 UI에서 메뉴 선택 등의 명령을 지시할 수도 있다.
상기와 같이 구성되는 본 발명의 동작을 살펴보면 다음과 같다.
도 6은 본 발명에 따른 영상 기반의 손 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
도 6에 도시된 바와 같이, 본 발명에 따른 영상 기반의 손 검출 장치의 영상 입력부(10)에서 영상이 입력되면(S100), 손 영상 검출부(50)는 'S100' 과정에서 입력된 영상으로부터 손 영상을 검출한다(S110).
이때, 손 영상 검출부(50)는 픽셀 단위로 M x N 윈도우를 설정한 후 손이 포함되어 있는지 여부를 판단한다. 이와 같은 과정은 현재 입력된 영상 프레임의 모든 픽셀에 대해 수행된다.
손 영상 검출부(50)는 입력 영상들의 크기를 축소시키며 똑같은 과정을 반복하여 정해진 최소의 크기까지 축소하면 현재 영상에 대한 검출을 완료한다. 이로써, 촬영된 영상 내에서 손의 크기가 다양함에 따라, 큰 손은 축소된 영상에서 검출되고, 작은 손은 상대적으로 축소가 덜 된 영상에서 검출되게 된다.
이후, 특징점 추출부(60)는 'S110' 과정에서 검출된 손 영상의 특징점을 추출한다(S120).
매칭부(80)는 'S110' 과정에서 검출된 손 영상과 손 영상 저장부(40)에 저장된 손 영상들의 특징점을 비교하며 해당 손 영상을 매칭시킨다(S130).
이때, 매칭부(80)는 검출된 손 영상과 손 영상 저장부(40)에 저장된 손 영상의 각도가 서로 일치하지 않는 경우, 영상 회전부(70)를 통해 해당 손 영상을 회전시킬 수 있다.
여기서, 영상 회전부(70)는 'S120' 과정에서 추출된 해당 손 영상을 회전시킬 수 있으며, 또한 손 영상 저장부(40)에 저장된 손 영상들을 회전시킬 수도 있다. 이때, 영상 회전부(70)는 각 손 영상들의 특징점의 위치를 비교하며 손 영상을 회전시킨다.
한편, 손 모양 인식부(90)는 'S130' 과정의 매칭 결과 저장된 손 영상 중 검출된 손 영상과 일치하는 손 영상이 존재하면(S140), 해당 손 모양을 인식한다(S160).
반면에, 손 모양 인식부(90)는 'S130' 과정의 매칭 결과 검출된 손 영상과 일치하는 손 영상이 존재하지 않으면(S140), 손 모양 분류기(30)에 해당 손 모양을 등록하도록 한다(S150).
이후, 다른 손 모양이 입력되면(S170), 'S100' 내지 'S160'을 반복하여 수행하고, 더 이상 다른 손 모양이 입력되지 않으면, 동작 인식부(100)가 'S100' 내지 'S160'을 거쳐 인식된 손 모양들로부터 손 동작을 인식함으로써 해당 동작을 종료한다(S180).
도 7은 손 검출 방법에 있어서 손 모양을 분류하는 동작 흐름을 도시한 순서도이다.
도 7에 도시된 바와 같이, 본 발명에 따른 영상 기반의 손 검출 장치의 손 모양 분류기(30)는 손 영상이 입력되면(S200), 손을 포함하지 않는 동일 크기의 영상과 비교한다(S210). 이때, 손 모양 분류기(30)는 최대한 많은 손 영상과 손을 포함하지 않는 영상을 확보하여, 각 영상들을 비교하도록 한다.
만일, 손 영상과 손을 포함하지 않는 영상의 크기가 서로 다르다면, M x N 크기의 영상으로 각 손 영상들의 크기를 맞춘다. 물론, 손 영상 저장부(40)에 저장된 복수의 영상들도 M x N 크기의 영상이다.
이때, 손 모양 분류기(30)는 'S210' 과정의 비교 결과에 근거하여 손 영상의 특징값을 계산하고(S220), 계산된 특징값을 해당 손 모양의 특징값으로 결정한다(S230).
이후, 입력된 손 영상의 손 모양과 동일한 손 모양이 존재하면(S240), 기존에 결정된 해당 손 모양의 특징값에 가중치를 적용하여(S250), 특징값을 다시 계산하고(S220), 다시 계산된 특징값을 해당 손 모양의 특징값으로 결정한다(S230).
손 모양 분류기(30)는 동일 손 모양에 대해 'S220' 내지 'S250' 과정을 반복하여 해당 손 모양의 최종 특징값을 결정하게 된다.
한편, 손 모양 분류기(30)는 다른 손 모양이 입력되면(S260), 'S210' 내지 'S250' 과정을 반복하여 다른 손 모양에 대한 특징값을 결정하게 된다.
이와 같이 각각의 손 모양에 대한 최종 특징값이 결정되면, 손 모양 분류기(30)는 각 손 모양의 특징값으로부터 손 모양을 분류하고(S270), 분류된 손 모양 정보를 손 영상 저장부(40)에 저장한다(S280).
물론, 이후에도 다른 손 영상이 입력되면, 동일 손 모양에 대해서는 기존의 특징값을 가중치를 적용한 특징값으로 업데이트 할 수 있음은 당연한 것이다.
이상과 같이 본 발명에 의한 영상 기반의 손 검출 장치 및 그 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 영상 입력부 20: 제어부
30: 손 모양 분류기 40: 손 영상 저장부
50: 손 영상 검출부 60: 특징점 추출부
70: 영상 회전부 80: 매칭부
90: 손 모양 인식부 100: 동작 인식부

Claims (18)

  1. 카메라를 통해 입력된 영상으로부터 주먹을 쥔 손 모양의 손 영상을 검출하는 손 영상 검출부;
    상기 손 영상 검출부에 의해 검출된 손 영상에서 기준값 보다 명도가 낮은 영역으로부터 특징점을 추출하는 특징점 추출부;
    상기 검출된 손 영상을 손 영상 저장부에 저장된 손 영상과 비교하여, 비교 결과를 생성하는 매칭부; 및
    상기 매칭부의 비교 결과를 고려하여, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하면, 상기 일치하는 손 영상을 매칭 손 영상으로 선택하는 손 모양 인식부;
    상기 매칭부의 비교 결과, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하지 않으면, 상기 검출된 손 영상을 등록하는 손 모양 분류기
    를 포함하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  2. 청구항 1에 있어서,
    상기 손 영상 검출부는,
    상기 입력된 영상의 프레임을 픽셀 단위로 M x N 크기의 윈도우를 설정하고, 상기 M x N 크기의 손 영상을 검출하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  3. 청구항 2에 있어서,
    상기 손 영상 검출부는,
    상기 입력된 영상에서 상기 M x N 크기의 윈도우 내에 손이 포함되어 있는지 판단하여, 상기 M x N 크기의 윈도우 내에 손이 포함되어 있지 않다면, 상기 M x N 크기의 윈도우 내에 손이 포함되는 범위 내에서 상기 입력된 영상을 축소시키는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  4. 청구항 1에 있어서,
    상기 특징점 추출부는,
    상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역에 대한 에지(edge)의 개수, 위치, 각도를 상기 검출된 손 영상의 특징점으로 추출하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  5. 청구항 1에 있어서,
    상기 손 모양 인식부는,
    상기 주먹을 쥔 손 모양의 정면 부위를 인식하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 손 모양 분류기는,
    복수의 손 영상과 손을 포함하지 않는 영상을 비교하여 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값을 계산하고, 계산된 특징값에 근거하여 각각의 손 모양을 분류하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  8. 청구항 7에 있어서,
    상기 손 모양 분류기는,
    상기 손 영상 각각에 포함된 손 모양 중 동일한 손 모양이 존재하는 경우, 해당 손 모양의 특징값에 가중치를 적용하여 특징값을 재계산하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  9. 청구항 1에 있어서,
    상기 손 모양 인식부에서 인식된 하나 이상의 손 모양으로부터 손 동작을 인식하고, 인식된 손 동작에 대응하는 명령을 인식하는 손 동작 인식부;를 더 포함하는 것을 특징으로 하는 영상 기반의 손 검출 장치.
  10. 카메라를 통해 입력된 영상으로부터 주먹을 쥔 손 모양의 손 영상을 검출하여 검출된 손 영상을 생성하는 단계;
    상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역으로부터 특징점을 추출하는 단계;
    상기 검출된 손 영상을 손 영상 저장부에 저장된 손 영상과 비교하여, 비교 결과를 생성하는 단계; 및
    상기 비교 결과를 고려하여, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하면, 상기 일치하는 손 영상을 매칭 손 영상으로 선택하는 단계;
    상기 비교 결과, 상기 저장된 손 영상들 중 상기 검출된 손 영상과 일치하는 손 영상이 존재하지 않으면, 상기 검출된 손 영상을 손 모양 분류기에 입력하여 손 영상을 등록하는 단계를 포함하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  11. 청구항 10에 있어서,
    상기 손 영상을 검출하는 단계는,
    상기 입력된 영상의 프레임을 픽셀 단위로 M x N 크기의 윈도우를 설정하는 단계;를 포함하고,
    상기 M x N 크기의 손 영상을 검출하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  12. 청구항 11에 있어서,
    상기 손 영상을 검출하는 단계는,
    상기 입력된 영상에서 상기 M x N 크기의 윈도우 내에 손이 포함되어 있는지 판단하는 단계; 및
    상기 M x N 크기의 윈도우 내에 손이 포함되어 있지 않다면, 상기 M x N 크기의 윈도우 내에 손이 포함되는 범위 내에서 상기 입력된 영상을 축소시키는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  13. 청구항 10에 있어서,
    상기 특징점을 추출하는 단계는,
    상기 검출된 손 영상에서 기준값 보다 명도가 낮은 영역에 대한 에지(edge)의 개수, 위치, 각도를 상기 검출된 손 영상의 특징점으로 추출하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  14. 청구항 10에 있어서,
    상기 매칭 손 영상으로 선택하는 단계는,
    상기 주먹을 쥔 손 모양의 정면 부위를 인식하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  15. 삭제
  16. 청구항 10에 있어서,
    상기 손 영상을 등록하는 단계는,
    복수의 손 영상과 손을 포함하지 않는 영상을 비교하여 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값을 계산하는 단계;
    상기 계산하는 단계에서 계산된 특징값을 상기 복수의 손 영상 각각에 포함된 손 모양의 특징값으로 결정하는 단계; 및
    상기 손 모양들의 특징값에 근거하여 각각의 손 모양을 분류하는 단계;를 포함하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  17. 청구항 16에 있어서,
    상기 손 영상 각각에 포함된 손 모양 중 동일한 손 모양이 존재하는 경우, 해당 손 모양의 특징값에 가중치를 적용하여 특징값을 재계산하는 단계; 및
    재계산된 특징값을 해당 손 모양의 최종 특징값으로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
  18. 청구항 10에 있어서,
    상기 매칭 손 영상으로 선택된 하나 이상의 손 영상들로부터 손 동작을 인식하는 단계; 및
    상기 손 동작에 대응하는 명령을 인식하는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반의 손 검출 방법.
KR1020100097227A 2010-10-06 2010-10-06 영상 기반의 손 검출 장치 및 그 방법 KR101364571B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100097227A KR101364571B1 (ko) 2010-10-06 2010-10-06 영상 기반의 손 검출 장치 및 그 방법
US13/241,119 US8638987B2 (en) 2010-10-06 2011-09-22 Image-based hand detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100097227A KR101364571B1 (ko) 2010-10-06 2010-10-06 영상 기반의 손 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120035604A KR20120035604A (ko) 2012-04-16
KR101364571B1 true KR101364571B1 (ko) 2014-02-26

Family

ID=45925166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100097227A KR101364571B1 (ko) 2010-10-06 2010-10-06 영상 기반의 손 검출 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8638987B2 (ko)
KR (1) KR101364571B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180101313A (ko) * 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법
KR101899590B1 (ko) * 2015-10-21 2018-09-17 에스케이 텔레콤주식회사 손 모양 및 동작 인식장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
WO2012108552A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and control method thereof
GB2491473B (en) * 2011-05-31 2013-08-14 Pointgrab Ltd Computer vision based control of a device using machine learning
JP5799817B2 (ja) * 2012-01-12 2015-10-28 富士通株式会社 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
KR20130109817A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10416834B1 (en) * 2013-11-15 2019-09-17 Leap Motion, Inc. Interaction strength using virtual objects for machine control
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
CN104504382B (zh) * 2015-01-13 2018-01-19 东华大学 一种基于图像处理技术的火焰识别算法
US9558389B2 (en) * 2015-03-24 2017-01-31 Intel Corporation Reliable fingertip and palm detection
CN108989553A (zh) * 2018-06-29 2018-12-11 北京微播视界科技有限公司 场景操控的方法、装置及电子设备
US11405547B2 (en) 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100282618B1 (ko) * 1997-12-01 2001-02-15 정선종 회전특성을이용한손모양인식장치및그방법
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7616784B2 (en) * 2002-07-29 2009-11-10 Robert William Kocher Method and apparatus for contactless hand recognition
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US7756322B2 (en) * 2003-08-18 2010-07-13 Honda Motor Co., Ltd. Picture taking mobile robot
JP2005202562A (ja) * 2004-01-14 2005-07-28 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
KR100617976B1 (ko) 2004-11-15 2006-08-31 한국과학기술원 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체
WO2006131967A1 (ja) * 2005-06-08 2006-12-14 Fujitsu Limited 画像処理装置
KR100643470B1 (ko) * 2005-09-29 2006-11-10 엘지전자 주식회사 휴대용 단말기의 그래픽 신호 표시장치 및 방법
KR100817298B1 (ko) 2005-12-08 2008-03-27 한국전자통신연구원 양손 검출 및 추적 방법
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
KR100826878B1 (ko) 2006-09-28 2008-05-06 한국전자통신연구원 손 모양을 인식하는 방법 및 이를 위한 장치
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US8566077B2 (en) * 2007-02-13 2013-10-22 Barbara Ander Sign language translator
JP2008250774A (ja) * 2007-03-30 2008-10-16 Denso Corp 情報機器操作装置
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8629936B2 (en) * 2008-02-14 2014-01-14 Nec Corporation Moving region detection device
US8099462B2 (en) * 2008-04-28 2012-01-17 Cyberlink Corp. Method of displaying interactive effects in web camera communication
JP5230525B2 (ja) * 2009-05-25 2013-07-10 キヤノン株式会社 画像検索装置およびその方法
KR101581954B1 (ko) * 2009-06-25 2015-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
US20110044554A1 (en) * 2009-08-21 2011-02-24 Konica Minolta Systems Laboratory, Inc. Adaptive deblurring for camera-based document image processing
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
US8897490B2 (en) * 2011-03-23 2014-11-25 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Vision-based user interface and related method
JP2012243180A (ja) * 2011-05-23 2012-12-10 Sony Corp 学習装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100282618B1 (ko) * 1997-12-01 2001-02-15 정선종 회전특성을이용한손모양인식장치및그방법
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899590B1 (ko) * 2015-10-21 2018-09-17 에스케이 텔레콤주식회사 손 모양 및 동작 인식장치 및 방법
KR20180101313A (ko) * 2018-09-06 2018-09-12 에스케이텔레콤 주식회사 손 모양 및 동작 인식장치 및 방법
KR101978265B1 (ko) * 2018-09-06 2019-05-14 에스케이 텔레콤주식회사 손 모양 및 동작 인식장치 및 방법

Also Published As

Publication number Publication date
KR20120035604A (ko) 2012-04-16
US20120087543A1 (en) 2012-04-12
US8638987B2 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
KR101364571B1 (ko) 영상 기반의 손 검출 장치 및 그 방법
KR102465532B1 (ko) 객체 인식 방법 및 장치
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US10156909B2 (en) Gesture recognition device, gesture recognition method, and information processing device
US20180211104A1 (en) Method and device for target tracking
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
KR101305694B1 (ko) 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
US20140071042A1 (en) Computer vision based control of a device using machine learning
US20130279756A1 (en) Computer vision based hand identification
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
WO2012036790A1 (en) Gesture recognition system for tv control
KR101745651B1 (ko) 손 제스처 인식 시스템 및 방법
JP2009265809A (ja) 情報端末装置
CN104914990B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
KR101476799B1 (ko) 깊이 정보를 이용한 객체 검출 시스템 및 방법
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US20120169860A1 (en) Method for detection of a body part gesture to initiate a web application
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
CN108227923A (zh) 一种基于体感技术的虚拟触控系统和方法
CN114402370A (zh) 基于面部-肩部特征坐标变换的自适应手部跟踪和手势识别
Kakkoth et al. Survey on real time hand gesture recognition
US10074188B2 (en) Method and apparatus for processing images for use with a three-dimensional hand model database

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee