KR101558031B1 - 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법 - Google Patents

깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법 Download PDF

Info

Publication number
KR101558031B1
KR101558031B1 KR1020120121589A KR20120121589A KR101558031B1 KR 101558031 B1 KR101558031 B1 KR 101558031B1 KR 1020120121589 A KR1020120121589 A KR 1020120121589A KR 20120121589 A KR20120121589 A KR 20120121589A KR 101558031 B1 KR101558031 B1 KR 101558031B1
Authority
KR
South Korea
Prior art keywords
hand
posture
image
value
region
Prior art date
Application number
KR1020120121589A
Other languages
English (en)
Other versions
KR20140055172A (ko
Inventor
이상학
권연희
심진욱
정경호
한탁돈
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020120121589A priority Critical patent/KR101558031B1/ko
Publication of KR20140055172A publication Critical patent/KR20140055172A/ko
Application granted granted Critical
Publication of KR101558031B1 publication Critical patent/KR101558031B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법이 개시된다. 본 발명은, 영상의 깊이 정보 및 칼라 정보를 이용하여 복수의 프레임으로 이루어진 영상에서 손의 포스처(posture)를 인식하고, 인식한 손을 추적하여 제스처(gesture)를 인식한다. 본 발명에 따르면, 컨벡스-헐 알고리즘과 K-곡률 알고리즘을 통해 손 인식 시 이용되는 파라미터 값을 깊이에 따라 적응적으로 변경함으로써, 손 영역이 카메라로부터 가까워지거나 멀어지더라도 일정한 성능을 유지할 수 있다.

Description

깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법{Apparatus and method for recognizing posture and gesture based depth data}
본 발명은 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 영상의 깊이 정보 및 칼라 정보를 이용하여 복수의 프레임으로 이루어진 영상에서 손의 포스처(posture)를 인식하고, 인식한 손을 추적하여 제스처(gesture)를 인식하는 장치 및 방법에 관한 것이다.
영상에서 손의 포스처를 인식하는 방법으로 종래에는 다음의 방법이 이용되고 있다. 첫 번째 방법으로 데이터베이스에서 손 포스처와 일치하는 것을 찾는 검색 기반의 방법이 있다. 이 방법은 스케일, 거리, 회전 등의 변화에 따른 손 포스처 데이터베이스를 구비하고 있어야 하며, 검색에 쓰이는 분류기(classfier)를 미리 학습하여야 한다. 그러나, 이 방법은 손 포스처가 변경되거나 새로운 손 포스처가 추가되면 지속적으로 데이터베이스를 변경, 수정 및 보완하여야 하는 불편함이 있다. 두 번째 방법으로 손 포스처의 외형적 특징을 검출하여 인식하는 방법이 있다. 이 방법은 거리에 따라서 정보(손가락 끝을 인식하기 위한 곡률 검출, 손의 길이 및 면적 측정 등)에 왜곡이 발생할 가능성이 높기 때문에 안정적인 인식률을 확보하는 것이 어렵다.
KR 10-0776801 (한국전자통신연구원) 2007. 11. 8. 특허문헌 1은 화상 처리 시스템에서의 제스처 인식 장치 및 방법으로서, 특허문헌 1에는 사용자의 제스처를 촬영한 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 일정 위치를 기준으로 일정 영역들을 구분하여 설정한 제스처 검색 영역에서 손 영역을 검출하며, 검출된 손 영역에서 제스처 발생 여부를 확인하여 발생된 제스처에 대한 감지 영역을 선택하여 영상기기를 제어하기 위한 제어 명령을 발생하고, 검출된 손 영역에서 제스처 발생을 확인하기 위한 피부색 정보 및 차 영역 정보를 계산하는 내용이 개시되어 있다. KR 10-0962569 (고려대학교 산학협력단) 2010. 6. 3. 특허문헌 2는 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및 그 구동 방법으로서, 특허문헌 2에는 가상 마우스의 기능 별로 제스처 정보를 정의하여 저장하고, 화상 카메라로부터 입력된 영상으로부터 손이 위치하는 손의 영역을 검출하며, 검출된 손의 영역으로부터 손의 손가락의 개수 및 모양의 변화를 검출하고, 검출된 손가락의 개수 및 모양의 변화와 기 저장된 제스처 정보와의 유사도를 계산하여 가장 유사한 제스처 정보를 검색하며, 검색된 제스처 정보에 기초하여 가상 마우스를 구동하는 내용이 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 깊이 정보 및 칼라 정보를 이용하여 복수의 프레임으로 이루어진 영상에서 손의 포스처(posture)를 인식하고, 인식한 손을 추적하여 제스처(gesture)를 인식하는 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 깊이 정보 및 칼라 정보를 이용하여 복수의 프레임으로 이루어진 영상에서 손의 포스처(posture)를 인식하고, 인식한 손을 추적하여 제스처(gesture)를 인식하는 깊이 정보 기반의 포스처와 제스처 인식 장치를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치는, 영상에 대한 깊이 정보를 통해 상기 영상에서 전경 영역 영상을 획득하고, 상기 영상에 대한 칼라 정보를 통해 상기 영상에서 피부 색상으로 이루어진 피부 영역 영상을 획득하며, 상기 전경 영역 영상과 상기 피부 영역 영상에서 중복 영역을 검출하고, 상기 중복 영역에 대한 깊이 정보를 통해 상기 중복 영역에서 손 영역을 검출하는 손 영역 검출부; 및 상기 영상에 대한 깊이 정보로부터 획득한 컨벡스-거리(convex-distance) 값을 통해 상기 손 영역에 포함된 객체의 포스처(posture)가 주먹인지 손바닥인지 판단하고, 상기 영상에 대한 깊이 정보로부터 획득한 K-밸류(K-value) 값을 통해 포스처가 손바닥인 객체의 손가락 개수를 판단하여, 상기 손 영역에 포함된 객체의 포스처를 인식하는 포스처 인식부;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 깊이 정보 기반의 포스처와 제스처 인식 방법은, 영상에 대한 깊이 정보를 통해 상기 영상에서 전경 영역 영상을 획득하고, 상기 영상에 대한 칼라 정보를 통해 상기 영상에서 피부 색상으로 이루어진 피부 영역 영상을 획득하며, 상기 전경 영역 영상과 상기 피부 영역 영상에서 중복 영역을 검출하고, 상기 중복 영역에 대한 깊이 정보를 통해 상기 중복 영역에서 손 영역을 검출하는 단계; 및 상기 영상에 대한 깊이 정보로부터 획득한 컨벡스-거리 값을 통해 상기 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단하고, 상기 영상에 대한 깊이 정보로부터 획득한 K-밸류 값을 통해 포스처가 손바닥인 객체의 손가락 개수를 판단하여, 상기 손 영역에 포함된 객체의 포스처를 인식하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법에 의하면, 컨벡스-헐 알고리즘과 K-곡률 알고리즘을 통해 손 인식 시 이용되는 파라미터 값을 깊이에 따라 적응적으로 변경함으로써, 손 영역이 카메라로부터 가까워지거나 멀어지더라도 일정한 성능을 유지할 수 있다.
또한, 컨벡스-헐 알고리즘을 이용하여 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한 후, K-곡률 알고리즘을 이용하여 포스처가 손바닥인 객체의 손가락 개수를 판단함으로써, 손의 포스처를 보다 정확하게 인식할 수 있다.
아울러, K-곡률 알고리즘을 이용하여 인식된 손가락 끝 부분이 튀더라도, 컨벡스-헐 알고리즘을 통해 1차적으로 포스처가 주먹인지 손바닥인지 판단하고 K-곡률 알고리즘을 통해 2차적으로 손가락 개수를 판단함으로써, 제스처 인식 동작 중 입력 받는 궤적 정보가 끊어지는 현상을 방지할 수 있어 손의 제스처를 보다 정확하게 인식할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치를 설명하기 위한 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 손 영역 검출 과정을 설명하기 위한 도면,
도 3은 본 발명의 바람직한 실시예에 따른 깊이에 따른 컨벡스-거리 값 및 K-밸류 값의 일례를 나타내는 표,
도 4는 본 발명의 바람직한 실시예에 따른 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단하는 과정을 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 포스처가 손바닥인 객체의 손가락 개수를 판단하는 과정을 설명하기 위한 도면,
도 6은 본 발명의 바람직한 실시예에 따른 깊이 정보 기반의 포스처와 제스처 인식 방법을 설명하기 위한 흐름도,
도 7은 도 6에 도시한 영상에서 손 영역을 검출하는 단계를 보다 자세히 설명하기 위한 흐름도,
도 8은 도 6에 도시한 포스처를 인식하는 단계를 보다 자세히 설명하기 위한 흐름도,
도 9는 도 8에 도시한 객체의 포스처가 주먹인지 손바닥인지 판단하는 단계를 보다 자세히 설명하기 위한 흐름도, 그리고,
도 10은 도 8에 도시한 포스처가 손바닥인 객체의 손가락 개수를 판단하는 단계를 보다 자세히 설명하기 위한 흐름도이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명에 따른 깊이 정보 기반의 포스처와 제스처 인식 장치(100)(이하, '포스처 인식 장치'라 함)는 영상의 깊이 정보 및 칼라 정보를 이용하여 복수의 프레임으로 이루어진 영상에서 손의 포스처(posture)를 인식하고, 인식한 손을 추적하여 제스처(gesture)를 인식한다.
여기서, 영상의 깊이 정보는 카메라 등에 의해 촬영된 영상을 구성하는 픽셀(pixel) 각각에 대한 카메라로부터의 거리 정보를 포함한다. 또한, 영상의 깊이 정보는 촬영된 영상 내에 포함된 객체 각각에 대한 거리 정보를 포함할 수 있다. 그리고, 영상의 칼라 정보는 카메라 등에 의해 촬영된 영상을 구성하는 픽셀 각각에 대한 RGB 색상 정보를 포함한다.
이를 위해, 포스처 인식 장치(100)는 손 영역 검출부(110), 포스처 인식부(130) 및 제스처 인식부(150)를 구비한다.
손 영역 검출부(110)는 영상의 깊이 정보 및 칼라 정보를 이용하여 영상에서 손 영역을 검출한다.
자세히 설명하면, 손 영역 검출부(110)는 영상에 대한 깊이 정보를 통해 영상에서 전경 영역 영상을 획득한다. 즉, 손 영역 검출부(110)는 영상의 깊이 정보를 이용하여 영상에서 앞에 있는 객체를 제외하고 그 뒤에 있는 객체를 제거하여 영상에서 전경 영역 영상을 획득할 수 있다.
그리고, 손 영역 검출부(110)는 영상에 대한 칼라 정보를 통해 영상에서 피부 색상으로 이루어진 피부 영역 영상을 획득한다. 즉, 손 영역 검출부(110)는 영상의 칼라 정보를 이용하여 피부 색상(skin color) 외의 다른 색상을 가지는 객체를 제거하여 영상에서 피부 영역 영상을 획득할 수 있다.
그리고, 손 영역 검출부(110)는 전경 영역 영상과 피부 영역 영상에서 중복 영역을 검출한다. 또한, 손 영역 검출부(110)는 중복 영역에 대한 깊이 정보를 통해 중복 영역에서 손 영역을 검출한다. 즉, 손 영역 검출부(110)는 중복 영역의 깊이 정보를 이용하여 중복 영역에서 제일 앞에 있는 영역을 손 영역으로 검출할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 손 영역 검출 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 손 영역 검출부(110)는 영상(IM)의 깊이 정보(DI)를 이용하여 영상(IM)에서 전경 영역 영상(FPI)을 획득하고, 영상(IM)의 칼라 정보(CI)를 이용하여 영상(IM)에서 피부 영역 영상(SPI)을 획득한다. 그리고, 손 영역 검출부(110)는 전경 영역 영상(FPI)과 피부 영역 영상(SPI)에서 중복 영역(DPI)을 획득하고, 중복 영역(DPI)에서 획득한 손 후보 영역(HCPI)에서 손 영역(ROI)을 검출한다.
포스처 인식부(130)는 영상에 대한 깊이 정보로부터 획득한 컨벡스-거리(convex-distance) 값 및 K-밸류(K-value) 값을 이용하여 손 영역에 포함된 객체의 포스처를 인식한다. 여기서, 컨벡스-거리 값은 객체의 포스처가 주먹인지 손바닥인지 판단할 때 이용되는 파라미터 값으로서, 컨벡스-헐(convex-hull) 알고리즘을 이용하여 손을 인식하는 경우에 이용된다. 그리고, K-밸류 값은 포스처가 손바닥인 객체의 손가락 개수를 판단할 때 이용되는 파라미터 값으로서, K-곡률(K-curvature) 알고리즘을 이용하여 손을 인식하는 경우에 이용된다.
자세히 설명하면, 포스처 인식부(130)는 미리 저장된 깊이에 따른 컨벡스-거리 값 및 K-밸류 값과 영상에 대한 깊이 정보로부터 획득한 손 영역의 깊이 값을 비교하여 손 영역에 대한 컨벡스-거리 값 및 K-밸류 값을 획득한다. 여기서, 미리 저장된 깊이에 따른 컨벡스-거리 값 및 K-밸류 값은 사전에 구축된 깊이에 따른 컨벡스-거리 값 및 K-밸류 값을 말한다. 깊이에 따른 컨벡스-거리 값 및 K-밸류 값은 인종, 성별, 연령 등에 따라 상이하므로 실험적으로 구하여 미리 구축한다.
도 3은 본 발명의 바람직한 실시예에 따른 깊이에 따른 컨벡스-거리 값 및 K-밸류 값의 일례를 나타내는 표이다.
도 3을 참조하면, 포스처 인식부(130)는 손 영역의 깊이 값이 '120'인 경우 손 영역에 대한 컨벡스-거리 값 및 K-밸류 값을 각각 'CDV2' 및 'KV2'로 결정하고, 손 영역의 깊이 값이 '470'인 경우 손 영역에 대한 컨벡스-거리 값 및 K-밸류 값을 각각 'CDV5' 및 'KV5'로 결정한다.
그리고, 포스처 인식부(130)는 영상에 대한 깊이 정보로부터 획득한 컨벡스-거리 값과 컨벡스-헐 알고리즘을 통해 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한다.
도 4는 본 발명의 바람직한 실시예에 따른 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단하는 과정을 설명하기 위한 도면이다.
즉, 포스처 인식부(130)는 손 영역의 중심점(center point)과 손 영역에 포함된 객체의 외곽선(contour)에 위치하는 컨벡스-헐 점(convex-hull point) 사이의 거리(distance) 값들 중에서 가장 큰 거리(max distance) 값과 손 영역의 컨벡스-거리 값을 비교하여 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한다. 여기서, 중심점과 컨벡스-헐 점 사이의 가장 큰 거리 값은 다음의 [수학식 1]을 통해 계산할 수 있다.
Figure 112012088996591-pat00001
여기서,
Figure 112012088996591-pat00002
는 컨벡스-헐 점을 나타내고,
Figure 112012088996591-pat00003
는 손 영역의 중심점을 나타내며,
Figure 112012088996591-pat00004
은 컨벡스-헐 점의 개수를 나타낸다.
도 4를 참조하면, 포스처 인식부(130)는 손 영역(ROI)의 중심점(C)과 컨벡스-헐 점(CP)들 사이의 거리 값(DV)들 중에서 가장 큰 거리 값과 손 영역(ROI)의 컨벡스-거리 값을 비교하여, 컨벡스-거리 값이 가장 큰 거리 값보다 크면 손 영역(ROI)에 포함된 객체의 포스처를 주먹으로 판단하고, 컨벡스-거리 값이 가장 큰 거리 값보다 작으면 손 영역(ROI)에 포함된 객체의 포스처를 손바닥으로 판단한다.
그리고, 포스처 인식부(130)는 영상에 대한 깊이 정보로부터 획득한 K-밸류 값 및 K-곡률 알고리즘을 통해 포스처가 손바닥인 객체의 손가락 개수를 판단한다.
도 5는 본 발명의 바람직한 실시예에 따른 포스처가 손바닥인 객체의 손가락 개수를 판단하는 과정을 설명하기 위한 도면이다.
즉, 포스처 인식부(130)는 객체의 외곽선에 위치하는 제1점과 제1점을 기준으로 외곽선 상에서 K-밸류 값만큼 앞으로 떨어진 제2점에서 구해진 제1벡터, 및 제1점과 제1점을 기준으로 외곽선 상에서 K-밸류 값만큼 뒤로 떨어진 제3점에서 구해진 제2벡터를 획득한다. 도 5를 참조하면, 포스처 인식부(130)는 제1점(
Figure 112012088996591-pat00005
)과 제2점(
Figure 112012088996591-pat00006
)에서 구해진 제1벡터(
Figure 112012088996591-pat00007
)를 획득하고, 제1점(
Figure 112012088996591-pat00008
)과 제3점(
Figure 112012088996591-pat00009
)에서 구해진 제2벡터(
Figure 112012088996591-pat00010
)를 획득한다.
그런 다음, 포스처 인식부(130)는 제1벡터(
Figure 112012088996591-pat00011
)와 제2벡터(
Figure 112012088996591-pat00012
)의 내적과 외적을 통해 포스처가 손바닥인 객체의 외곽선에 위치하는 피크(peak) 구간의 개수를 획득한다. 즉, 포스처 인식부(130)는 다음의 [수학식 2]를 통해 피크 구간(PP)의 개수를 획득하고, 다음의 [수학식 3]을 통해 밸리(valley) 구간(VP)의 개수를 획득할 수 있다.
Figure 112012088996591-pat00013
Figure 112012088996591-pat00014
여기서,
Figure 112012088996591-pat00015
는 실험적으로 구해지는 각도로서, 본 발명에서는
Figure 112012088996591-pat00016
는 45로 설정된다.
Figure 112012088996591-pat00017
는 제1벡터(
Figure 112012088996591-pat00018
)와 제2벡터(
Figure 112012088996591-pat00019
)의 내적으로서, 다음의 [수학식 4]를 통해 계산된다.
Figure 112012088996591-pat00020
는 제1벡터(
Figure 112012088996591-pat00021
)와 제2벡터(
Figure 112012088996591-pat00022
)의 외적으로서, 다음의 [수학식 5]를 통해 계산된다.
Figure 112012088996591-pat00023
Figure 112012088996591-pat00024
그리고, 포스처 인식부(130)는 피크 구간(PP)의 개수를 포스처가 손바닥인 객체의 손가락 개수로 판단한다.
이와 같이, 컨벡스-헐 알고리즘과 K-곡률 알고리즘을 통해 손 인식 시 이용되는 파라미터 값을 깊이에 따라 적응적으로 변경함으로써, 손 영역이 카메라로부터 가까워지거나 멀어지더라도 일정한 성능을 유지할 수 있다.
또한, 컨벡스-헐 알고리즘을 이용하여 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한 후, K-곡률 알고리즘을 이용하여 포스처가 손바닥인 객체의 손가락 개수를 판단함으로써, 손의 포스처를 보다 정확하게 인식할 수 있다. 예컨대, 카메라와 가까운 거리에서 주먹을 쥐고 있는 상태의 포스처를 K-곡률 알고리즘만을 이용하여 인식하는 경우, 주먹을 쥐고 있는 상태임에도 손가락으로 인식되는 경우가 발생된다.
아울러, K-곡률 알고리즘을 이용하여 인식된 손가락 끝(finger tip) 부분이 튀더라도, 컨벡스-헐 알고리즘을 통해 1차적으로 포스처가 주먹인지 손바닥인지 판단하고 K-곡률 알고리즘을 통해 2차적으로 손가락 개수를 판단함으로써, 제스처 인식 동작 중 입력 받는 궤적(trajectory) 정보가 끊어지는 현상을 방지할 수 있어 손의 제스처를 보다 정확하게 인식할 수 있다.
한편, 포스처 인식부(130)는 미리 설정된 프레임 수 단위로 포스처를 인식할 수 있다. 즉, 포스처 인식부(130)는 미리 설정된 개수의 프레임 각각에서 손 영역에 포함된 객체의 포스처를 인식한다. 그리고, 포스처 인식부(130)는 미리 설정된 개수의 프레임 각각의 포스처가 서로 일치하지 않으면, 미리 설정된 개수의 과반수 이상에서 인식된 포스처를 미리 설정된 개수의 프레임의 포스처로 판단한다.
이와 같이, 미리 설정된 개수의 프레임 단위로 포스처를 인식함으로써, 인식 속도를 보장하면서도 포스처 인식의 에러율을 낮출 수 있다. 예컨대, 기 구축된 포스처 인식 관련 데이터베이스를 사용하지 않는 인식 알고리즘의 경우, 영상 프레임의 노이즈로 인하여 인식 에러가 발생할 수 있다.
제스처 인식부(150)는 포스처가 인식된 객체의 궤적(trajectory)을 추적한다. 즉, 제스처 인식부(150)는 파티클 필터(particle filter)를 이용하여 포스처가 인식된 객체를 추적할 수 있다.
그리고, 제스처 인식부(150)는 추적한 객체의 시작 포스처가 미리 설정된 포스처이면 추적한 객체의 제스처(gesture)를 인식한다. 예컨대, 제스처를 인식하는 대상의 시작 포스처가 '주먹'으로 설정되어 있으면, 제스처 인식부(150)는 추적한 객체의 시작 포스처가 '주먹'인 객체의 추적 정보를 통해 객체의 제스처를 인식할 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 깊이 정보 기반의 포스처와 제스처 인식 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 포스처 인식 장치(100)는 영상에 대한 깊이 정보 및 칼라 정보를 통해 영상에서 손 영역을 검출한다(S610). 이후, 포스처 인식 장치(100)는 손 영역에 포함된 객체의 포스처를 인식한다(S630).
그런 다음, 포스처 인식 장치(100)는 포스처가 인식된 객체의 궤적을 추적한다(S650). 그리고, 추적한 객체의 시작 포스처가 미리 설정된 포스처이면, 포스처 인식 장치(100)는 추적한 객체의 제스처를 인식한다(S670).
한편, 포스처 인식 장치(100)는 미리 설정된 프레임 수 단위로 포스처를 인식할 수 있다. 즉, 포스처 인식 장치(100)는 미리 설정된 개수의 프레임 각각에서 손 영역에 포함된 객체의 포스처를 인식하고, 미리 설정된 개수의 프레임 각각의 포스처가 서로 일치하지 않으면, 미리 설정된 개수의 과반수 이상에서 인식된 포스처를 미리 설정된 개수의 프레임의 포스처로 판단한다. 이와 같이, 미리 설정된 개수의 프레임 단위로 포스처를 인식함으로써, 인식 속도를 보장하면서도 포스처 인식의 에러율을 낮출 수 있다.
도 7은 도 6에 도시한 영상에서 손 영역을 검출하는 단계를 보다 자세히 설명하기 위한 흐름도이다.
도 7을 참조하면, 포스처 인식 장치(100)는 영상에 대한 깊이 정보를 통해 영상에서 전경 영역 영상을 획득한다(S611). 그리고, 포스처 인식 장치(100)는 영상에 대한 칼라 정보를 통해 영상에서 피부 영역 영상을 획득한다(S613). 이후, 포스처 인식 장치(100)는 전경 영역 영상과 피부 영역 영상에서 중복 영역을 검출한다(S615). 그런 다음, 포스처 인식 장치(100)는 중복 영역에서 손 영역을 검출한다(S617). 즉, 포스처 인식 장치(100)는 중복 영역의 깊이 정보를 이용하여 중복 영역에서 제일 앞에 있는 영역을 손 영역으로 검출할 수 있다.
도 8은 도 6에 도시한 포스처를 인식하는 단계를 보다 자세히 설명하기 위한 흐름도이다.
도 8을 참조하면, 포스처 인식 장치(100)는 영상의 깊이 정보로부터 컨벡스-거리 값 및 K-밸류 값을 획득한다(S631). 즉, 포스처 인식 장치(100)는 미리 저장된 깊이에 따른 컨벡스-거리 값 및 K-밸류 값과 영상에 대한 깊이 정보로부터 획득한 손 영역의 깊이 값을 비교하여 손 영역에 대한 컨벡스-거리 값 및 K-밸류 값을 획득한다.
그런 다음, 포스처 인식 장치(100)는 컨벡스-거리 값을 통해 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한다(S633). 그리고, 포스처 인식 장치(100)는 K-밸류 값을 통해 포스처가 손바닥인 객체의 손가락 개수를 판단한다(S635).
도 9는 도 8에 도시한 객체의 포스처가 주먹인지 손바닥인지 판단하는 단계를 보다 자세히 설명하기 위한 흐름도이다.
도 9를 참조하면, 포스처 인식 장치(100)는 손 영역의 중심점과 손 영역에 포함된 객체의 외곽선에 위치하는 컨벡스-헐 점 사이의 거리 값들 중에서 가장 큰 거리 값을 획득한다(S633a). 그리고, 포스처 인식 장치(100)는 컨벡스-거리 값과 가장 큰 거리 값을 비교한다(S633b).
이후, 컨벡스-거리 값이 가장 큰 거리 값보다 크면(S633b-N), 포스처 인식 장치(100)는 손 영역에 포함된 객체의 포스처를 주먹으로 판단한다(S633c). 그리고, 컨벡스-거리 값이 가장 큰 거리 값보다 작으면(S633b-Y), 포스처 인식 장치(100)는 손 영역에 포함된 객체의 포스처를 손바닥으로 판단한다(S633d).
도 10은 도 8에 도시한 포스처가 손바닥인 객체의 손가락 개수를 판단하는 단계를 보다 자세히 설명하기 위한 흐름도이다.
도 10을 참조하면, 포스처 인식 장치(100)는 객체의 외곽선에 위치하는 제1점과 제1점을 기준으로 외곽선 상에서 K-밸류 값만큼 앞으로 떨어진 제2점에서 제1벡터를 획득한다(S635a). 그리고, 포스처 인식 장치(100)는 제1점과 제1점을 기준으로 외곽선 상에서 K-밸류 값만큼 뒤로 떨어진 제3점에서 제2벡터를 획득한다(S635b).
이후, 포스처 인식 장치(100)는 제1벡터와 제2벡터의 내적과 외적을 통해 객체의 외곽선에 위치하는 피크 구간의 개수를 획득한다(S635c). 그리고, 포스처 인식 장치(100)는 피크 구간의 개수를 손가락 개수로 판단한다(S635d).
이와 같이, 컨벡스-헐 알고리즘과 K-곡률 알고리즘을 통해 손 인식 시 이용되는 파라미터 값을 깊이에 따라 적응적으로 변경함으로써, 손 영역이 카메라로부터 가까워지거나 멀어지더라도 일정한 성능을 유지할 수 있다.
또한, 컨벡스-헐 알고리즘을 이용하여 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단한 후, K-곡률 알고리즘을 이용하여 포스처가 손바닥인 객체의 손가락 개수를 판단함으로써, 손의 포스처를 보다 정확하게 인식할 수 있다. 예컨대, 카메라와 가까운 거리에서 주먹을 쥐고 있는 상태의 포스처를 K-곡률 알고리즘만을 이용하여 인식하는 경우, 주먹을 쥐고 있는 상태임에도 손가락으로 인식되는 경우가 발생된다.
아울러, K-곡률 알고리즘을 이용하여 인식된 손가락 끝 부분이 튀더라도, 컨벡스-헐 알고리즘을 통해 1차적으로 포스처가 주먹인지 손바닥인지 판단하고 K-곡률 알고리즘을 통해 2차적으로 손가락 개수를 판단함으로써, 제스처 인식 동작 중 입력 받는 궤적 정보가 끊어지는 현상을 방지할 수 있어 손의 제스처를 보다 정확하게 인식할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 깊이 정보 기반의 포스처와 제스처 인식 장치,
110 : 손 영역 검출부,
130 : 포스처 인식부,
150 : 제스처 인식부

Claims (13)

  1. 영상에 대한 깊이 정보를 통해 상기 영상에서 전경 영역 영상을 획득하고, 상기 영상에 대한 칼라 정보를 통해 상기 영상에서 피부 색상으로 이루어진 피부 영역 영상을 획득하며, 상기 전경 영역 영상과 상기 피부 영역 영상에서 중복 영역을 검출하고, 상기 중복 영역에 대한 깊이 정보를 통해 상기 중복 영역에서 손 영역을 검출하는 손 영역 검출부; 및
    상기 영상에 대한 깊이 정보와 미리 저장된 깊이에 따른 컨벡스-거리(convex-distance) 값 및 K-밸류(K-value) 값을 비교하여 상기 깊이 정보에 대응되는 컨벡스-거리값 및 K-밸류 값을 획득하고, 상기 손 영역의 중심점(center point)과 상기 손 영역에 포함된 객체의 외곽선(contour)에 위치하는 컨벡스-헐 점(convex-hull point) 사이의 거리(distance) 값들 중에서 가장 큰 거리(max distance) 값과 상기 획득된 컨벡스-거리값을 비교하여 상기 손 영역에 포함된 객체의 포스처(posture)가 주먹인지 손바닥인지 판단하고, 상기 획득된 K-밸류(K-value) 값을 이용하여 손바닥으로 판단된 객체의 손가락 개수를 판단하여, 상기 손 영역에 포함된 객체의 포스처를 인식하는 포스처 인식부;를 포함하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 포스처 인식부는 상기 포스처가 손바닥인 객체의 외곽선에 위치하는 제1점과 상기 제1점을 기준으로 외곽선 상에서 상기 K-밸류 값만큼 앞으로 떨어진 제2점에서 구해진 제1벡터, 및 상기 제1점과 상기 제1점을 기준으로 외곽선 상에서 상기 K-밸류 값만큼 뒤로 떨어진 제3점에서 구해진 제2벡터를 획득하고, 상기 제1벡터와 상기 제2벡터의 내적과 외적을 통해 상기 포스처가 손바닥인 객체의 외곽선에 위치하는 피크(peak) 구간의 개수를 획득하며, 상기 피크 구간의 개수를 상기 포스처가 손바닥인 객체의 손가락 개수로 판단하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 장치.
  5. 제 1항에 있어서,
    상기 포스처가 인식된 객체의 궤적(trajectory)을 추적하고, 상기 추적한 객체의 시작 포스처가 미리 설정된 포스처이면 상기 추적한 객체의 제스처(gesture)를 인식하는 제스처 인식부를 더 포함하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 장치.
  6. 제 1항에 있어서,
    상기 영상은 복수의 프레임으로 이루어지며,
    상기 포스처 인식부는 미리 설정된 개수의 프레임 각각에서 상기 손 영역에 포함된 객체의 포스처를 인식하고, 상기 미리 설정된 개수의 프레임 각각의 포스처가 서로 일치하지 않으면, 상기 미리 설정된 개수의 과반수 이상에서 인식된 포스처를 상기 미리 설정된 개수의 프레임의 포스처로 판단하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 장치.
  7. 영상에 대한 깊이 정보를 통해 상기 영상에서 전경 영역 영상을 획득하고, 상기 영상에 대한 칼라 정보를 통해 상기 영상에서 피부 색상으로 이루어진 피부 영역 영상을 획득하며, 상기 전경 영역 영상과 상기 피부 영역 영상에서 중복 영역을 검출하고, 상기 중복 영역에 대한 깊이 정보를 통해 상기 중복 영역에서 손 영역을 검출하는 단계;
    상기 영상에 대한 깊이 정보와 미리 저장된 깊이에 따른 컨벡스-거리 값 및 K-밸류(K-value) 값을 비교하여 상기 깊이 정보에 대응되는 컨벡스-거리값 및 K-밸류 값을 획득하는 단계; 및
    상기 손 영역의 중심점(center point)과 상기 손 영역에 포함된 객체의 외곽선(contour)에 위치하는 컨벡스-헐 점(convex-hull point) 사이의 거리(distance) 값들 중에서 가장 큰 거리(max distance) 값과 상기 획득된 컨벡스-거리값을 비교하여 상기 손 영역에 포함된 객체의 포스처가 주먹인지 손바닥인지 판단하고, 상기 획득된 K-밸류 값을 이용하여 손바닥으로 판단된 객체의 손가락 개수를 판단하여, 상기 손 영역에 포함된 객체의 포스처를 인식하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 방법.
  8. 삭제
  9. 삭제
  10. 제 7항에 있어서,
    상기 포스처 인식 단계에서, 상기 포스처가 손바닥인 객체의 외곽선에 위치하는 제1점과 상기 제1점을 기준으로 외곽선 상에서 상기 K-밸류 값만큼 앞으로 떨어진 제2점에서 구해진 제1벡터, 및 상기 제1점과 상기 제1점을 기준으로 외곽선 상에서 상기 K-밸류 값만큼 뒤로 떨어진 제3점에서 구해진 제2벡터를 획득하고, 상기 제1벡터와 상기 제2벡터의 내적과 외적을 통해 상기 포스처가 손바닥인 객체의 외곽선에 위치하는 피크 구간의 개수를 획득하며, 상기 피크 구간의 개수를 상기 포스처가 손바닥인 객체의 손가락 개수로 판단하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 방법.
  11. 제 7항에 있어서,
    상기 포스처가 인식된 객체의 궤적을 추적하고, 상기 추적한 객체의 시작 포스처가 미리 설정된 포스처이면 상기 추적한 객체의 제스처를 인식하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 방법.
  12. 제 7항에 있어서,
    상기 영상은 복수의 프레임으로 이루어지며,
    상기 포스처 인식 단계에서, 미리 설정된 개수의 프레임 각각에서 상기 손 영역에 포함된 객체의 포스처를 인식하고, 상기 미리 설정된 개수의 프레임 각각의 포스처가 서로 일치하지 않으면, 상기 미리 설정된 개수의 과반수 이상에서 인식된 포스처를 상기 미리 설정된 개수의 프레임의 포스처로 판단하는 것을 특징으로 하는 깊이 정보 기반의 포스처와 제스처 인식 방법.
  13. 제 7항 및 제 10항 내지 제 12항 중 어느 한 항에 기재된 깊이 정보 기반의 포스처와 제스처 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120121589A 2012-10-30 2012-10-30 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법 KR101558031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120121589A KR101558031B1 (ko) 2012-10-30 2012-10-30 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121589A KR101558031B1 (ko) 2012-10-30 2012-10-30 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140055172A KR20140055172A (ko) 2014-05-09
KR101558031B1 true KR101558031B1 (ko) 2015-10-06

Family

ID=50886874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121589A KR101558031B1 (ko) 2012-10-30 2012-10-30 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101558031B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190093258A (ko) * 2018-02-01 2019-08-09 삼성전자주식회사 사용자의 제스처를 인식하는 전자 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111151A (ko) 2015-03-16 2016-09-26 (주)이더블유비엠 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
CN106650628B (zh) * 2016-11-21 2021-03-23 南京邮电大学 一种基于三维k曲率的指尖检测方法
KR101837482B1 (ko) 2017-03-28 2018-03-13 (주)이더블유비엠 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
KR102019301B1 (ko) * 2018-04-24 2019-09-06 군산대학교 산학협력단 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR102187525B1 (ko) * 2018-11-05 2020-12-07 주식회사 한글과컴퓨터 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치 및 그 동작 방법
US11106223B2 (en) * 2019-05-09 2021-08-31 GEOSAT Aerospace & Technology Apparatus and methods for landing unmanned aerial vehicle
KR102359136B1 (ko) * 2019-11-12 2022-02-09 주식회사 에스오에스랩 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Malik, Shahzad. "Real-time Hand Tracking and Finger Tracking for Interaction CSC2503F Project Report." Department of Computer Science, University of Toronto, Tech. Rep (2003).*
Ren, Zhou, Junsong Yuan, and Zhengyou Zhang. "Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera." Proc. 19th ACM, 2011.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190093258A (ko) * 2018-02-01 2019-08-09 삼성전자주식회사 사용자의 제스처를 인식하는 전자 장치
KR102429764B1 (ko) 2018-02-01 2022-08-08 삼성전자주식회사 사용자의 제스처를 인식하는 전자 장치

Also Published As

Publication number Publication date
KR20140055172A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
KR101558031B1 (ko) 깊이 정보 기반의 포스처와 제스처 인식 장치 및 방법
US9916012B2 (en) Image processing apparatus, image processing method, and program
US10755080B2 (en) Information processing apparatus, information processing method, and storage medium
US10891473B2 (en) Method and device for use in hand gesture recognition
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US9286694B2 (en) Apparatus and method for detecting multiple arms and hands by using three-dimensional image
TWI476632B (zh) 運動物體辨識方法及基於運動物體辨識之指令輸入方法
JP5035035B2 (ja) 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
KR101511146B1 (ko) 스마트 3차원 제스처 인식 장치 및 방법
US20110158476A1 (en) Robot and method for recognizing human faces and gestures thereof
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
WO2009055148A1 (en) Hand sign recognition using label assignment
JP6648639B2 (ja) 生体情報処理装置、生体情報処理方法および生体情報処理プログラム
US11315341B2 (en) Information processing apparatus, verification method, and computer-readable recording medium recording verification program
CN108596079B (zh) 手势识别方法、装置及电子设备
KR101796027B1 (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
CN109145752B (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
JP2012221162A (ja) 対象物検出装置及びプログラム
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
Popov et al. Long Hands gesture recognition system: 2 step gesture recognition with machine learning and geometric shape analysis
US20230305634A1 (en) Gesture recognition apparatus, head-mounted-type display apparatus, gesture recognition method, and non-transitory computer readable medium
JP2007334810A (ja) 画像領域追跡装置及びその方法
JP2008165496A (ja) 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 5