KR20150001242A - 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법 - Google Patents

손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법 Download PDF

Info

Publication number
KR20150001242A
KR20150001242A KR1020130074134A KR20130074134A KR20150001242A KR 20150001242 A KR20150001242 A KR 20150001242A KR 1020130074134 A KR1020130074134 A KR 1020130074134A KR 20130074134 A KR20130074134 A KR 20130074134A KR 20150001242 A KR20150001242 A KR 20150001242A
Authority
KR
South Korea
Prior art keywords
hand
area
region
initial
image
Prior art date
Application number
KR1020130074134A
Other languages
English (en)
Other versions
KR101517932B1 (ko
Inventor
박구만
남형택
김수아
Original Assignee
에이오스 주식회사
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이오스 주식회사, 서울과학기술대학교 산학협력단 filed Critical 에이오스 주식회사
Priority to KR1020130074134A priority Critical patent/KR101517932B1/ko
Publication of KR20150001242A publication Critical patent/KR20150001242A/ko
Application granted granted Critical
Publication of KR101517932B1 publication Critical patent/KR101517932B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 손 제스처 인식 장치는 스테레오 카메라에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악하는 초기 손 영역 검출 모듈, 상기 검출된 초기 손 영역에 대해 스테레오 카메라의 시차를 이용하여 손 영역을 확인하는 손 영역 확정 모듈, 상기 확정된 손 영역에 대해 손 모양을 검출하는 손 모양 검출 모듈, 검출된 손 모양의 변화에 따른 손의 동작을 인식하는 손 동작 인식 모듈을 포함한다.
본 발명의 실시 예에 의하면 손 제스처 인식 장치는 초광각 렌즈를 채용한 스테레오 카메라를 이용함으로써 근거리에 있는 손의 전체 영역이 입력될 수 있다. 그리고, 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림 영역과 흔들리지 않는 영역으로 구분하여 손의 초기 위치를 검출하며, 스테레오 카메라 및 적외선부를 포함하여 거리를 계산하고, 가장 근거리의 지점이 손 영역인 점을 활용하여 효율적으로 손 영역을 확인할 수 있다.

Description

손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법{THE APPARATUS AND METHOD OF STEREO CAMERA SYSTEM WITH WIDE ANGLE LENS APPLICABLE FOR HAND GESTURE RECOGNITION}
본 발명은 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법에 관한 것으로, 보다 상세하게는 움직이는 손 영역을 검출하여 손의 모양 및 동작을 파악하는 손 제스처 인식 장치 및 방법에 관한 것이다.
제스처는 인간의 대화 수단인 음성의 보조 역할로 사용되어 원활한 의사 소통을 가능하게 한다. 특히, 손동작은 제스처 중에서도 가장 많이 사용되는 동작이며, 수신호 및 수화 등은 독립적인 대화 수단으로 사용되고 있다. 이러한 손 제스처는 마우스나 키보드 같은 난해한 입력 인터페이스를 대신할 수 있는 사용자 인터페이스로써의 활용에 대한 노력이 진행되고 있다. 손 제스처에 의한 명령 입력은 다른 인터페이스에 더 편리한 응용 분야가 있으며 이러한 응용들을 위해 손 제스처 인식 기술 개발이 다양하게 진행되고 있다. 마우스나 키보드보다 손 제스처에 의해 컴퓨터 프로그램을 구동시키거나 휴대폰에서 손을 직접대지 않고 손 제스처를 통해 명령을 전달하기도 한다. 특히 컴퓨터에 무선으로 연결된 기기나 로봇에 직관적인 행동으로 의도하는 명령을 전달하는 것은 편리할 경우가 많다.
이러한 편리와 수요에 맞추어 손 제스처 인식에 사용할 효율적인 손 영상 입력 장치의 필요성이 증대되고 있다.
한편, 한국공개특허 10-2010-0112840과 같은 종래의 손 영상 입력 장치는 스테레오 카메라를 이용하여 얻어진 기준 영상 및 비교 영상 신호의 시차를 검출하고 이를 기반으로 손의 거리를 파악하고 손의 변화 및 이동을 인식한다. 일반적으로 바로 시차의 거리 정보를 이용하여 손 영역이 파악되고 있으나, 손 영상의 초기 위치를 파악하는데 어려움이 발생한다.
한국공개특허 10-2010-0112840
본 발명은 근거리의 손 영역을 검출할 수 있는 손 제스처 인식 장치 및 방법이다.
본 발명은 손의 움직이는 영역을 검출하고 거리 정보를 측정하여 손의 위치를 파악할 수 있는 손 제스처 인식 장치 및 방법이다.
본 발명에 따른 손 제스처 인식 장치는 스테레오 카메라에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악하는 초기 손 영역 검출 모듈, 상기 검출된 초기 손 영역에 대해 스테레오 카메라의 시차를 이용하여 손 영역을 확인하는 손 영역 확정 모듈, 상기 확정된 손 영역에 대해 손 모양을 검출하는 손 모양 검출 모듈, 상기 검출된 손 모양의 변화에 따른 손의 동작을 인식하는 손 동작 인식 모듈을 포함한다.
상기 초기 손 영역 검출 모듈은 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악하는 것을 특징으로 한다.
상기 초기 손 영역 검출 모듈은 상기 흔들림 영역을 구분하는데 있어 차영상 방법 내지 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리하는 것을 특징으로 한다.
상기 손 영역 확정 모듈은 상기 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 상기 가장 근접한 지점의 영역을 손 영역으로 확정하는 것을 특징으로 한다.
본 발명에 따른 손 제스처 인식 방법은 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악하는 초기 손 영역 검출 단계, 상기 초기 영상의 시차 정보를 이용하여 상기 영상의 각 지점의 거리를 계산하여 손 영역을 확인하는 손 영역 확정 단계, 상기 손 영역에서 손 모양 검출 기술을 적용하여 손 모양을 검출하는 손 모양 검출 단계, 손의 이동 및 변화에 따른 손의 동작을 파악하는 손 동작 인식 단계를 포함한다.
상기 초기 손 영역 검출 단계는 스테레오 카메라를 이용하여 근거리의 손 영역이 포함된 영상의 흔들림 영역을 구분하는데 있어 차영상 방법 내지 가우시안 혼합 모델을 이용하여 손 영역과 배경으로 분리하는 것을 특징으로 한다.
상기 손 영역 확정 단계는 상기 영상의 각 지점의 거리 정보로부터 가장 근접한 지점을 확인하고, 상기 지점을 손 영역으로 확정하는 것을 특징으로 한다.
상기 손 영역 확정 단계는 적외선 신호를 송수신하여 거리 정보를 파악하는 적외선부를 추가로 구비하는 것을 특징으로 한다.
본 발명의 실시 예에 의하면, 손 제스처 인식 장치는 초광각 렌즈를 채용한 스테레오 카메라를 이용함으로써 근거리에 있는 손의 전체 영역이 입력될 수 있다. 그리고, 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림 영역과 흔들리지 않는 영역으로 구분하여 손의 초기 위치를 검출하며, 스테레오 카메라 및 적외선부를 포함하여 거리를 계산하고, 가장 근거리의 지점이 손 영역인 점을 활용하여 효율적으로 손 영역을 확인할 수 있다.
또한, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.
도 1은 본 발명의 실시 예에 따른 손 제스처 인식 장치의 개략적인 구조를 나타낸 구조도
도 2는 도 1에 도시된 영상 처리 및 제어부를 구체적으로 설명하기 위한 구조도
도 3은 본 발명의 실시 예에 따른 손 제스처 인식 방법을 순차적으로 도시한 순서도
도 4는 도 3에 도시된 초기 손 영역 검출 단계를 구체적으로 설명하기 위한 순서도
도 5는 도 3에 도시된 손 영역 확정 단계를 구체적으로 설명하기 위한 순서도
도 6은 본 발명의 실시 예에 따른 영상을 화소로 분할하여 도시한 일면도
이하, 본 발명의 실시 예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면은 발명의 설명을 위해 과장되어 표시될 수 있으며, 동일 부호는 동일 부분을 나타낸다.
도 1은 본 발명의 실시 예에 따른 손 제스처 인식 장치의 개략적인 구조를 나타낸 구조도이다. 도 2는 도 1에 도시된 영상 처리 및 제어부(300)를 구체적으로 설명하기 위한 구조도이다.
본 발명의 실시 예에 따른 손 제스처를 인식하는 장치는 도 1과 같이 영상을 입력하는 스테레오 카메라(100), 영상을 처리하여 손 영역을 검출하는 영상 처리 및 제어부(300)를 포함한다. 또한, 적외선 신호를 송수신하는 적외선부(200)를 포함할 수 있다.
스테레오 카메라(100)는 두개의 카메라로부터 영상을 입력한다. 스테레오 카메라(100)는 초광각 렌즈를 구비하여 근거리의 손 영역을 입력할 수 있다.
영상 처리 및 제어부(300)는 도 2와 같이 초기 손 영역을 파악하는 초기 손 영역 검출 모듈(310), 손 영역을 확인하는 손 영역 확정 모듈(320), 손 모양을 검출하는 손 모양 검출 모듈(330), 손의 동작을 인식하는 손 동작 인식 모듈(340)을 포함한다.
초기 손 영역 검출 모듈(310)은 스테레오 카메라(100)에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악한다. 예를 들면 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악할 수 있다. 그리고, 흔들림 영역을 구분하는데 있어 차영상 방법 내지 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리할 수 있다. 또한, 초기 손 영역 검출 모듈(310)은 스테레오 카메라(100)로부터 입력된 영상의 왜곡 보정, 밝기 조정, 노이즈 제거, 색상 보정 중 하나를 수행할 수 있다.
손 영역 확정 모듈(320)은 검출된 초기 손 영역에 대해 스테레오 카메라(100)의 시차를 이용하여 손 영역을 확인한다. 예를 들면 상기 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 상기 지점을 손 영역으로 확정할 수 있다.
손 모양 검출 모듈(330)은 확정된 손 영역에 대해 손 모양을 검출한다. 보다 자세하게는 손 영역에서 손 모양을 검출하기 위해 손 모양 검출 기술을 적용한다. 예를 들면 손 영역의 경계선 정보를 이용하여 손 모양을 파악하는 등 다양한 기술이 적용될 수 있다.
손 모양 인식 모듈(340)은 검출된 손 모양의 변화에 따른 손의 동작을 인식한다. 예를 들면 손이 이동하거나 손 형상이 변함에 따라 움직이는 궤적을 추적하는 기술이 적용될 수 있다.
하기에서는 도 1 내지 도 6을 참조하여, 본 발명의 실시 예에 따른 손 제스처 인식 방법을 설명한다.
도 3은 본 발명의 실시 예에 따른 손 제스처 인식 방법을 순차적으로 도시한 순서도이다. 도 4는 도 3에 도시된 초기 손 영역 검출 단계(S100)를 구체적으로 설명하기 위한 순서도이다. 도 5는 도 3에 도시된 손 영역 확정 단계(S200)를 구체적으로 설명하기 위한 순서도이다. 도 6은 본 발명의 실시 예에 따른 영상을 화소로 분할하여 도시한 일면도이다.
본 발명의 실시 예에 따른 손 제스처를 인식하는 단계는 도 3과 같이 초기 손 영역 검출 단계(S100), 손 영역 확정 단계(S200), 손 모양 검출 단계(S300), 손 동작 인식 단계(S400)를 포함한다.
도 4에 도시된 바와 같이 초기 손 영역 검출 단계(S100)는 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악한다. 예를 들면 스테레오 카메라(100)와 가까운 거리에서 손을 흔든다. 이때, 스테레오 카메라(100)는 초광각 렌즈를 채용하여 예컨대, 10cm와 같은 가까운 거리에 있는 손의 전체 영역이 원할하게 입력될 수 있다.(S110) 한편, 초광각 렌즈 스테레오 카메라(100)에 의해 입력된 영상은 배럴 디스토션(Barrel Distortion)이 발생할 수 있으므로 영상을 왜곡 보정한다.(S120) 이때, 왜곡 보정에 한정되지 않고, 영상을 보정하는 다양한 과정이 진행 될 수 있다. 이후, 보정된 영상은 차영상 방법 내지 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 배경과 움직이는 손의 영역을 분리할 수 있다.(S130)
차영상 방법은 식 (1) 및 식 (2)와 같이 현재 영상과 이전 영상의 차분값을 구하고 차분값이 큰 영역은 손, 차분값이 작은 영역은 배경으로 간주한다. 예컨대, 흔들림이 있는 영역인 손은 1, 흔들림이 없는 영역인 배경은 0을 할당한다. 이에, 차분값이 작은 영역 즉, 배경을 제외한 손 영역만을 검출할 수 있다.
Figure pat00001
Figure pat00002
가우시안 혼합 모델은 움직이는 부분 즉, 손 내지 어깨와 같이 흔들리는 부분은 부분 함수 샘플(sample)이 자주 나타나지 않는 낮은 확률 분포 영역에 해당되고, 움직이지 않는 부분은 부분 함수 샘플이 자주 나타나는 높은 확률 분포 영역에 해당된다. 이에, 높은 확률 분포 영역에 해당하는 부분은 손 내지 어깨를 제외한 배경으로 처리될 수 있다. 또한, 어깨 부분의 색정보와 손 부분의 색정보 차이를 이용하거나, 손 부분과 어깨 부분의 위치 정보를 측정 및 구역 설정으로 어깨 부분을 제거하여 손 영역만을 검출할 수 있다.
보다 상세하게는 가우시안 혼합 모델은 가우시안 커널(kernel)을 다수 혼합하여 입력 영상 내 각 화소별로 커널을 적용해서 밀도가 높아지는 정도를 이용하여 배경과 객체를 분리, 검출하는 방법이다. 이러한 가우시안 혼합 모델은 확률 분포를 사용하는 영상 처리 분야에서 유용하게 사용되는 방법으로써 다양한 환경적인 변화를 갖는 입력 영상을 처리할 때 효과적이다. 가우시안 혼합 모델에서의 화소별 평균과 분산은 매 프레임별 학습이 이루어진다. 따라서, 시간에 따라 화소 값이 변화해 학습에 따라 환경적으로 적응하는 구조를 가진다. 임의의 시간 t에 대해 측정한 한 화소가
Figure pat00003
라고 하고, 이
Figure pat00004
가 M 개의 가우시안 확률 분포를 따른다고 하면, 가우시안 혼합 모델은 식 (3)과 같다.
Figure pat00005
여기서
Figure pat00006
는 가우시안 혼합 모델의 파라미터 벡터로
Figure pat00007
이며,
Figure pat00008
과 Cm은 m 번째 가우시안 분포의 평균과 공분산 행렬이다. 또한, πm은 m 번째 가우시안 분포의 혼합 가중치를 나타낸다. t의 다음 시간인 t+1에 대해 새로운 화소 값
Figure pat00009
이 주어지면 가우시안 파라미터 모델은 적응적으로 새롭게 학습된다. 새롭게 학습된 t+1에서의 모델링은 아래의 식 (4), (5), (6)와 같다.
Figure pat00010
Figure pat00011
Figure pat00012
이때, α는 학습률 변수로서 상수 1/T(T는 혼합 모델에 사용하는 화소 데이터 총 수)로 근사화 한다.
Figure pat00013
은 ownership 변수로써 화소 값이 m 번째 가우시안 분포에 근접한 값을 갖는지 판단한다. 판단할 때, 마할라노비스(Mahalanobis)의 거리를 이용하여 측정하고 가우시안 혼합 모델의 출력 값을 구분할 수 있다. 이때, 배경과 손을 분리해 낼 때에는 둘의 구분을 위하여 배경이 손에 비해 혼합 가중치가 높은 것과 적은 분산 값을 가지는 특징을 파악하여 처리해야 한다. 이러한 배경과 손의 분리를 위해 사용되는 배경 분포 모델은 식 (7)와 같다.
Figure pat00014
1-Tf는 배경 모델에게 주어지는 가중치의 값을 의미한다. 새로운 화소 값이 배경에 속하게 되려면 식 (8)에 의해 프레임이 경과하면 속하게 된다. 즉, 새로운 화소 값이 배경으로 포함될 때까지의 경과하는 프레임을 의미한다.
Figure pat00015
상술한 바와 같이 차영상 방법 내지 가우시안 혼합 모델을 이용하여 움직이는 손 영역을 초기에 자동 검출할 수 있다. 하지만, 이에 한정되지 않고, 움직이는 손 영역을 검출할 수 있는 다양한 방법이 이용될 수 있다.
손 영역 확정 단계(S200)는 초기 영상의 시차 정보를 이용하여 영상의 각 지점의 거리를 계산하여 손 영역을 확인한다. 스테레오 카메라 영상의 시차를 검출(S210)하여 영상의 각 지점의 거리 정보로부터 가장 근접한 지점을 확인하고, 상기 지점을 손 영역으로 확정한다. 시차를 이용한 거리 측정은 좌우 영상의 동일한 피사체는 근거리일 경우에는 시차가 크고, 원거리일 경우에는 시차가 작은 점을 이용하여 구할 수 있다.
또한, 손 영역 확정 단계(S200)는 적외선부(200)를 구비하여 적외선 신호를 송수신하여 거리 정보를 파악할 수 있다.(S220) 예를 들면 적외선부(200)는 적외선 발신부 및 적외선 수신부를 포함하여 발신부에서 나온 적외선 신호가 피사체에 반사되어 수신부로 입사하는 각도를 이용하여 거리를 측정할 수 있다.
도 6에 도시된 바와 같이 영상을 화소로 분할하고 적어도 스테레오 카메라(100)의 시차를 이용하거나 적외선부(200)의 적외선 신호를 이용하여 각각의 화소의 거리를 계산한다. 예를 들면 A22, A23, A32, A33 영역이 가장 가까운 지점으로 확인 되었다면 A22, A23, A32, A33 영역이 손 영역이 될 수 있다. 이와 같이, 손이 가지고 있는 거리 정보를 이용하여 손 영역을 정확히 파악 예컨대, 거리가 가장 가까운 영역을 손 영역으로 간주(S230)하고, 동일한 스킨 컬러 영역을 가지고 있는 대상을 손으로 간주할 수 있다. 이에, 특정 색 범위의 정보와 거리 정보를 통하여 연속적인 영상에서도 매 영상마다 손 영역을 정확히 파악할 수 있다.
본 발명의 특징 중의 하나는 영상의 모든 영역에 대해서 시차 정보를 이용하여 손 영역을 확인하는 대신에 상기 초기 손 영역 검출 단계(S100)에서 빠르게 초기 손 영역을 검출하고 손 영역 확인 단계(S200)를 적용하여 빠르고 정확하게 손 제스처 인식을 위한 손 영역을 확인할 수 있다는 데에 있다.
손 모양 검출 단계(S300)는 검출된 손 영역에서 정확한 손 모양을 검출한다. 검출된 손 영역에서 정확한 손 모양을 검출하기 위해 손 모양 검출 기술을 적용한다. 예를 들면, 입력된 손 영상에서 경계선 영상을 생성하고, 경계선의 각도 및 기울기를 계산하여 손 모양을 파악하는 기술이 적용될 수 있다. 또한, 손 영역에 대한 경계선 정보를 이용하여 손 중심점과 손가락 끝을 인식하여 손 모양을 파악하는 기술이 적용될 수도 있다. 하지만, 이에 한정되지 않고, 손 모양을 파악할 수 있는 다양한 기술이 적용될 수 있음은 물론이다.
손 동작 인식 단계(S400)는 손의 이동 및 변화에 따른 손의 동작을 파악한다. 예를 들면 손이 움직이면 움직이는 궤적을 추적하는 meanshift 또는 camshift 기술 등을 적용할 수 있다.
이와 같이, 본 발명의 실시 형태에 의하면, 손 제스처 인식 장치는 초광각 렌즈를 채용한 스테레오 카메라(100)를 이용함으로써 근거리에 있는 손의 전체 영역이 입력될 수 있다. 그리고, 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림 영역과 흔들리지 않는 영역으로 구분하여 손의 초기 위치를 검출하며, 스테레오 카메라(100) 및 적외선부(200)를 포함하여 거리를 계산하고, 가장 근거리의 지점이 손 영역인 점을 활용하여 효율적으로 손 영역을 확인할 수 있다.
또한, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.
100 : 스테레오 카메라 200 : 적외선부
300 : 영상 처리 및 제어부 310 : 초기 손 영역 검출 모듈
320 : 손 영역 확정 모듈 330 : 손 모양 검출 모듈
340 : 손 동작 인식 모듈

Claims (8)

  1. 손 제스처 인식 장치로써,
    스테레오 카메라에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악하는 초기 손 영역 검출 모듈;
    상기 검출된 초기 손 영역에 대해 스테레오 카메라의 시차를 이용하여 손 영역을 확인하는 손 영역 확정 모듈;
    상기 확정된 손 영역에 대해 손 모양을 검출하는 손 모양 검출 모듈;
    상기 검출된 손 모양의 변화에 따른 손의 동작을 인식하는 손 동작 인식 모듈;
    을 포함하는 손 제스처 인식 장치.
  2. 청구항 1에 있어서,
    상기 초기 손 영역 검출 모듈은 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악하는 것을 특징으로 하는 손 제스처 인식 장치.
  3. 청구항 2에 있어서,
    상기 초기 손 영역 검출 모듈은 상기 흔들림 영역을 구분하는데 있어 차영상 방법 내지 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리하는 것을 특징으로 하는 손 제스처 인식 장치.
  4. 청구항 1에 있어서,
    상기 손 영역 확정 모듈은 상기 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 상기 가장 근접한 지점의 영역을 손 영역으로 확정하는 것을 특징으로 하는 손 제스처 인식 장치.
  5. 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악하는 초기 손 영역 검출 단계;
    상기 초기 영상의 시차 정보를 이용하여 상기 영상의 각 지점의 거리를 계산하여 손 영역을 확인하는 손 영역 확정 단계;
    상기 손 영역에서 손 모양 검출 기술을 적용하여 손 모양을 검출하는 손 모양 검출 단계;
    손의 이동 및 변화에 따른 손의 동작을 파악하는 손 동작 인식 단계;
    를 포함하는 손 제스처 인식 방법.
  6. 청구항 5에 있어서,
    상기 초기 손 영역 검출 단계는 스테레오 카메라를 이용하여 근거리의 손 영역이 포함된 영상의 흔들림 영역을 구분하는데 있어 차영상 방법 내지 가우시안 혼합 모델을 이용하여 손 영역과 배경으로 분리하는 것을 특징으로 하는 손 제스처 인식 방법.
  7. 청구항 5에 있어서,
    상기 손 영역 확정 단계는 상기 영상의 각 지점의 거리 정보로부터 가장 근접한 지점을 확인하고, 상기 지점을 손 영역으로 확정하는 것을 특징으로 하는 손 제스처 인식 방법.
  8. 청구항 5 내지 7에 있어서,
    상기 손 영역 확정 단계는 적외선 신호를 송수신하여 거리 정보를 파악하는 적외선부를 추가로 구비하는 것을 특징으로 하는 손 제스처 인식 방법.
KR1020130074134A 2013-06-27 2013-06-27 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법 KR101517932B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130074134A KR101517932B1 (ko) 2013-06-27 2013-06-27 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130074134A KR101517932B1 (ko) 2013-06-27 2013-06-27 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150001242A true KR20150001242A (ko) 2015-01-06
KR101517932B1 KR101517932B1 (ko) 2015-05-06

Family

ID=52475038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130074134A KR101517932B1 (ko) 2013-06-27 2013-06-27 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101517932B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치

Also Published As

Publication number Publication date
KR101517932B1 (ko) 2015-05-06

Similar Documents

Publication Publication Date Title
US11720181B2 (en) Cursor mode switching
US8675916B2 (en) User interface apparatus and method using movement recognition
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
CN110959160A (zh) 一种手势识别方法、装置及设备
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
US9268409B2 (en) Method and system for gesture identification based on object tracing
KR20160063163A (ko) 터치 제스쳐 인식 방법 및 장치
US20170017303A1 (en) Operation recognition device and operation recognition method
KR101450586B1 (ko) 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2014238727A (ja) 情報処理装置およびその方法
KR20160079531A (ko) 제스처 입력 처리 방법 및 장치
CN105759955B (zh) 输入装置
KR101517932B1 (ko) 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
US9761009B2 (en) Motion tracking device control systems and methods
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
Maidi et al. Interactive media control using natural interaction-based Kinect
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
KR20140097907A (ko) 카메라 기반 명령 입력 장치 및 그 방법
JP2017044949A (ja) 撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 5