KR101868520B1 - 손 제스처 인식 방법 및 그 장치 - Google Patents

손 제스처 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101868520B1
KR101868520B1 KR1020120002119A KR20120002119A KR101868520B1 KR 101868520 B1 KR101868520 B1 KR 101868520B1 KR 1020120002119 A KR1020120002119 A KR 1020120002119A KR 20120002119 A KR20120002119 A KR 20120002119A KR 101868520 B1 KR101868520 B1 KR 101868520B1
Authority
KR
South Korea
Prior art keywords
information
histogram
gesture
directional
joint
Prior art date
Application number
KR1020120002119A
Other languages
English (en)
Other versions
KR20130081126A (ko
Inventor
이희경
차지훈
변혜란
조선영
Original Assignee
한국전자통신연구원
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 연세대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020120002119A priority Critical patent/KR101868520B1/ko
Publication of KR20130081126A publication Critical patent/KR20130081126A/ko
Application granted granted Critical
Publication of KR101868520B1 publication Critical patent/KR101868520B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 손 제스처 인식 방법은, 깊이 카메라를 이용하여 손 제스처에 관련된 관절 정보를 획득하는 단계, 관절 정보를 이용하여, 구면 좌표 기반의 방향 요소 정보를 도출하는 단계, 방향 요소 정보를 이용하여, 복수의 방향 히스토그램을 생성하는 단계, 복수의 방향 히스토그램을 결합하여, 결합 방향 히스토그램을 생성하는 단계 및 결합 방향 히스토그램에 랜덤 결정 포레스트(forest) 분류기를 적용하여, 손 제스처에 대한 최종 인식 결과를 도출하는 단계를 포함한다. 본 발명에 의하면, 높은 인식 성능이 제공될 수 있다.

Description

손 제스처 인식 방법 및 그 장치 {METHOD FOR HAND-GESTURE RECOGNITION AND APPARATUS THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 손 제스처 인식 방법 및 장치에 관한 것이다.
비전 기반의 손 제스처 인식은, 인간-컴퓨터 상호작용(human-computer interaction) 분야에서 요구되는 필수적인 기술의 하나로서, 활발한 연구가 진행되고 있는 분야이다. 손 제스처 인식을 위해 사용되는 방법에는, 운동학상(kinematic) 모델 기반 방법, 뷰(view) 기반 방법, 저수준 특징 기반 방법 등이 있다. 운동학상 모델 기반 방법에서는 손의 포즈 정보가 이용되고, 뷰 기반 방법에서는 복수의 뷰들의 시퀀스를 이용하여 손이 모델링되며, 저수준 특징 기반 방법에서는 손 영역의 저수준 이미지 특징이 이용될 수 있다. 상기 손 제스처 인식 방법 중에서 운동학상 모델 기반 방법은, 손의 포즈가 정확하게 추정되는 경우, 높은 인식 성능을 제공할 수 있다. 그러나, 상기 손 제스처 인식 방법들은, 복잡한 배경이 존재하는 환경에서는 손 포즈 추정이 어렵다는 문제점을 가진다.
한편, 최근 몇 년간의 깊이 센싱 기술의 발전으로, 실시간 깊이 카메라가 활발히 사용되고 있다. 예를 들어, 저가의 깊이 카메라에는 마이크로소프트(Microsoft)에서 출시된 키넥트(Kinect) 센서 등이 있으며, 상기 센서는 실시간으로 RGB 컬러 영상, 깊이 영상 및 관절 추적 정보를 제공할 수 있다. 이러한 센싱 기술의 발전은, 실시간으로 정확한 손 포즈 추정 결과를 획득할 수 있게 한다. 또한, 손의 포즈를 표현하기 위해 방향 히스토그램(histogram)이 사용될 수 있다. 방향 히스토그램은 영상의 그래디언트를 통해 획득된 방향 정보를 나타내는 히스토그램이다. 방향 히스토그램은 조명 변화에 강인하고, 단순하며, 방향 정보 및/또는 특징을 빠르게 추출할 수 있다는 장점을 가진다. 그러나, 방향 히스토그램은 방향 변화에 강인하지 않다는 단점을 가지므로, 방향 히스토그램이 사용되는 경우, 실생활 환경에서 발생하는, 다양한 방향 변화를 갖는 손 제스처가 제대로 인식되지 못 하는 문제점이 발생할 수 있다. 따라서 실생활 환경에 적용 가능한 손 제스처 인식 기술을 제공하기 위해서는, 단순하고 빠르면서도 높은 정확도의 인식 성능을 제공할 수 있는, 손의 포즈 특징 및 제스처 분류 프레임워크가 필요하다.
본 발명의 기술적 과제는 높은 인식 성능을 제공할 수 있는 손 제스처 인식 방법을 제공함에 있다.
본 발명의 다른 기술적 과제는 높은 인식 성능을 제공할 수 있는 손 제스처 인식 장치를 제공함에 있다.
본 발명의 일 실시 형태는 손 제스처 인식 방법이다. 상기 방법은 깊이 카메라를 이용하여 손 제스처에 관련된 관절 정보를 획득하는 단계, 상기 획득된 관절 정보를 이용하여, 구면 좌표 기반의 방향 요소 정보를 도출하는 단계, 상기 도출된 방향 요소 정보를 이용하여, 복수의 방향 히스토그램을 생성하는 단계, 상기 생성된 복수의 방향 히스토그램을 결합하여, 결합 방향 히스토그램을 생성하는 단계 및 상기 생성된 결합 방향 히스토그램에 랜덤 결정 포레스트(forest) 분류기를 적용하여, 상기 손 제스처에 대한 최종 인식 결과를 도출하는 단계를 포함하되, 상기 복수의 방향 히스토그램은 서로 다른 양자화 레벨을 가진다.
본 발명에 따른 손 제스처 인식 방법에 의하면, 높은 인식 성능이 제공될 수 있다.
본 발명에 따른 손 제스처 인식 장치에 의하면, 높은 인식 성능이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 손 제스처 인식 방법을 개략적으로 나타내는 흐름도이다.
도 2는 결합 방향 히스토그램 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 3은 결정 트리 개수에 따른, 랜덤 결정 포레스트 분류기의 인식 정확도를 개략적으로 나타내는 시뮬레이션 결과이다.
도 4는 본 발명의 실시예에 따른 손 제스처 인식 장치를 개략적으로 나타내는 블록도이다.
도 5는 방향 히스토그램 타입 및 결정 트리의 개수에 따른, 손 제스처 인식 정확도의 실시예를 나타내는 표이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명의 실시예에 따른 손 제스처 인식 방법을 개략적으로 나타내는 흐름도이다.
도 1을 참조하면, 손 제스처 인식 장치는 피실험자의 관절 정보를 획득할 수 있다(S110). 상기 관절 정보는 깊이 카메라에서 제공되는 관절 추적 정보를 이용하여 획득될 수 있다. 상기 깊이 카메라에는 예를 들어, 프라임센스(PrimeSense) 사의 깊이 카메라, 마이크로소프트(Microsoft)사의 키넥트(kinect) 등이 있을 수 있다. 손 제스처 인식 장치는 획득된 몸 전체의 관절 정보 중에서, 손 제스처와 관련된 어깨, 팔꿈치, 손의 관절에 대한 3차원 좌표 정보를 이용할 수 있다.
손 제스처 인식 장치는 획득된 관절 정보로부터, 각각의 방향 요소에 대한 방향 요소 정보를 도출할 수 있다(S120). 여기서, 상기 방향 요소는 구면 좌표에 기반한, 4개의 방향 요소일 수 있다.
일례로, 어깨, 팔꿈치 및 손의 3차원 데카르트(cartesian) 좌표는 각각
Figure 112012001780687-pat00001
,
Figure 112012001780687-pat00002
및
Figure 112012001780687-pat00003
이라 가정한다. 손 제스처 인식 장치는 손 포즈를 표현하기 위해, 어깨에 대한 팔꿈치의 방향과 팔꿈치에 대한 손의 방향을 계산할 수 있다. 이를 위해, 손 제스처 인식 장치는 3차원 데카르트 좌표를 구면 좌표로 변환하고, 팔꿈치 및 손의 방향을 계산할 수 있다. 이는 다음 수학식 1에 의해 나타내어질 수 있다.
[수학식 1]
Figure 112012001780687-pat00004

여기서,
Figure 112012001780687-pat00005
는 어깨에서 팔꿈치 간의 벡터를 나타내고,
Figure 112012001780687-pat00006
는 팔꿈치에서 손 간의 벡터를 나타낼 수 있다.
Figure 112012001780687-pat00007
과
Figure 112012001780687-pat00008
은 어깨에 대한 팔꿈치의 방향을 나타내는 구면 좌표의 각도를 의미하고,
Figure 112012001780687-pat00009
과
Figure 112012001780687-pat00010
는 팔꿈치에 대한 손의 방향을 나타내는 구면 좌표의 각도를 의미할 수 있다. 따라서, 손 포즈 및/또는 방향 요소 정보는 팔꿈치 및 손의 방향을 나타내는 4개의 방향 요소로 구성된, 벡터
Figure 112012001780687-pat00011
로 나타내어질 수 있다.
다시 도 1을 참조하면, 손 제스처 인식 장치는, 손 포즈를 표현하는 벡터의 각 요소에 대해, 방향 히스토그램(histogram)을 생성할 수 있다(S130). 방향 히스토그램은 영상의 그래디언트를 통해 획득된 방향 정보를 나타내는 히스토그램이다.
Figure 112012001780687-pat00012
과
Figure 112012001780687-pat00013
에 대한 방향 히스토그램의 빈(bin)은
Figure 112012001780687-pat00014
범위의 구간이 균등하게 분할되어 결정될 수 있고,
Figure 112012001780687-pat00015
과
Figure 112012001780687-pat00016
에 대한 방향 히스토그램의 빈은
Figure 112012001780687-pat00017
범위의 구간이 균등하게 분할되어 결정될 수 있다. 이 때, 손 제스처 인식 장치는, 서로 다른 양자화 레벨을 갖는 복수의 방향 히스토그램을 생성할 수 있다. 즉, 손 제스처 인식 장치는, 다양한 각도 간격에 기반하여, 방향 히스토그램의 빈(bin) 개수를 결정할 수 있다.
손 제스처 인식 장치는, 방향 변화에 대한 강인성을 높이기 위해, 서로 다른 양자화 레벨을 갖는 복수의 방향 히스토그램을 결합하여, 결합 방향 히스토그램을 생성할 수 있다(S140). 즉, 손 제스처 인식 장치는 서로 다른 빈 개수를 갖는 복수의 방향 히스토그램을 결합할 수 있다. 이 때, 손 포즈는 결합 방향 히스토그램에 의해 표현될 수 있으며, 결합 방향 히스토그램은 다음 수학식 2에 의해 나타내어질 수 있다.
[수학식 2]
Figure 112012001780687-pat00018

여기서,
Figure 112012001780687-pat00019
는 히스토그램 빈에 대한 각도 간격을 나타낼 수 있다. 또한,
Figure 112012001780687-pat00020
는 4개의 방향 요소에 대한 방향 히스토그램으로 구성된 벡터이고,
Figure 112012001780687-pat00021
를 구성하는 각각의 방향 히스토그램은,
Figure 112012001780687-pat00022
각도 간격의 히스토그램 빈을 가질 수 있다. n은 결합 방향 히스토그램 생성에 사용되는 방향 히스토그램의 개수를 나타낼 수 있다.
도 2는 결합 방향 히스토그램 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다. 도 2에서, 비디오 시퀀스의 관찰값은 x로 표현될 수 있으며, x는 m 크기의 윈도우 내의 프레임 관찰값들의 벡터를 나타낸다. 도 2의 실시예에서는, n개의 방향 히스토그램(h1~hn)이 결합되어 결합 방향 히스토그램(h)이 생성될 수 있다.
다시 도 1을 참조하면, 손 제스처 인식 장치는, 결합 방향 히스토그램을 이용하여 손 제스처를 인식할 수 있다(S150). 일례로, 손 제스처 인식 장치는, 결합 방향 히스토그램에 랜덤 결정 포레스트(forest) 분류기를 적용함으로써, 손 제스처에 대한 최종 인식 결과를 획득할 수 있다. 즉, 랜덤 결정 포레스트 분류기에는 테스트 영상으로부터 추출된 결합 방향 히스토그램이 입력될 수 있으며, 결합 방향 히스토그램으로 표현된 손 제스처는, 랜덤 결정 포레스트 분류기를 이용하여 인식될 수 있다.
랜덤 결정 포레스트 분류기는, 랜덤 부분공간(subspace) 방법을 이용한 앙상블(ensemble) 분류기로서, 복수 개의 결정 트리(tree)로 구성될 수 있다. 랜덤 결정 포레스트 분류기는 빠른 수행 속도와 비교적 높은 인식률을 효과적으로 제공할 수 있다.
손 제스처 인식 장치는, 테스트 영상으로부터 추출된 결합 방향 히스토그램 집합에서, 랜덤 교체 방식으로 부분 집합을 선택할 수 있다. 손 제스처 인식 장치는, 결합 방향 히스토그램 집합에서 선택된 부분 집합을 이용하여, T(T는 양의 정수)개의 결정 트리로 구성된, 랜덤 결정 포레스트 분류기에 대한 학습을 수행할 수 있다. 학습된 분류기는 모든 결정 트리에 대한 확률들의 평균을 계산함으로써, 손 제스처에 대한 최종 인식 결과를 획득할 수 있다. 이는 다음 수학식 3에 의해 나타내어질 수 있다.
[수학식 3]
Figure 112012001780687-pat00023

여기서, Pt(c|H)는 결정 트리 t에서의 제스처 클래스 c에 대한 확률을 나타낼 수 있으며,
Figure 112012001780687-pat00024
는 손 제스처에 대한 최종 인식 결과를 나타낼 수 있다.
도 3은 결정 트리 개수에 따른, 랜덤 결정 포레스트 분류기의 인식 정확도를 개략적으로 나타내는 시뮬레이션 결과이다. 도 3은 손 제스처 데이터 셋에 대한 인식 정확도를 도시하며, 손 제스처 데이터 셋은 30개 클래스로 구성된다.
도 3을 참조하면, 85개 이상의 결정 트리가 사용되는 랜덤 결정 포레스트 분류기는 100%의 정확도를 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 손 제스처 인식 장치를 개략적으로 나타내는 블록도이다. 손 제스처 인식 장치(400)는 관절 정보 획득부(410), 방향 요소 정보 도출부(420), 결합 방향 히스토그램 생성부(430) 및 인식부(440)를 포함할 수 있다.
도 4를 참조하면, 관절 정보 획득부(410)는 피실험자의 관절 정보를 획득할 수 있다. 손 제스처 인식 장치(400)는 획득된 몸 전체의 관절 정보 중에서, 손 제스처와 관련된 어깨, 팔꿈치, 손의 관절에 대한 3차원 정보를 이용할 수 있다.
방향 요소 정보 도출부(420)는 획득된 관절 정보로부터, 각각의 방향 요소에 대한 방향 요소 정보를 도출할 수 있다. 여기서, 상기 방향 요소는 구면 좌표에 기반한, 4개의 방향 요소일 수 있다. 방향 요소 정보 도출 방법의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.
결합 방향 히스토그램 생성부(430)는 각각의 방향 요소에 대해, 방향 히스토그램을 생성할 수 있다. 이 때, 결합 방향 히스토그램 생성부(430)는, 서로 다른 양자화 레벨을 갖는 복수의 방향 히스토그램을 생성할 수 있으며, 상기 복수의 방향 히스토그램을 결합하여 결합 방향 히스토그램을 생성할 수 있다.
인식부(440)는 결합 방향 히스토그램을 이용하여 손 제스처를 인식할 수 있다. 일례로, 인식부(440)는, 생성된 결합 방향 히스토그램에 랜덤 결정 포레스트 분류기를 적용함으로써, 손 제스처에 대한 최종 인식 결과를 획득할 수 있다. 최종 인식 결과 획득 방법의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.
도 5는 방향 히스토그램 타입 및 결정 트리의 개수에 따른, 손 제스처 인식 정확도의 실시예를 나타내는 표이다. 도 5에서,
Figure 112012001780687-pat00025
,
Figure 112012001780687-pat00026
,
Figure 112012001780687-pat00027
은 각각 10도, 20도, 30도 간격의 빈을 이용하여 생성된 하나의 방향 히스토그램을 나타낸다.
도 5를 참조하면, 랜덤 결정 포레스트 분류기의 결정 트리 개수가 1개인 경우, 10도 간격의 빈을 이용하여 생성된 하나의 방향 히스토그램에 대해, 가장 높은 손 제스처 인식 정확도가 제공될 수 있다. 그러나, 랜덤 결정 포레스트 분류기의 결정 트리 개수가 2개 이상인 경우, 결합 방향 히스토그램에 대해 가장 높은 손 제스처 인식 정확도가 제공될 수 있다. 이는, 결합 방향 히스토그램이 손 제스처 인식 정확도를 높일 수 있음을 의미한다.
상술한 방법, 장치, 특성 및/또는 인식 프레임워크는 손 제스처 인식에 한정되지 않고, 전체 몸체(full-body) 제스처 인식, 사람의 행동 분석 및/또는 사람의 행동 인식 등에도 적용될 수 있다.
본 발명에 따른 손 제스처 인식 방법 및 장치는, 방향 변화에 강인하여 손 제스처의 인식 성능을 향상시키고 손 제스처 인식의 실시간 처리를 가능하게 할 수 있다. 즉, 본 발명에 따른 손 제스처 인식 방법 및 장치는, 실생활에서 발생되는 다양한 방향 변화를 갖는 손 제스처를 효율적으로 인식할 수 있으며, 저차원 이미지 특성 및 빠른 속도의 분류기를 사용함으로써, 손 제스처 인식의 실시간 처리를 가능하게 할 수 있다.
또한, 본 발명은 인간-컴퓨터 상호작용 응용을 위한 필수적인 기술로서, 제스처 기반 TV, 비디오 게임 콘솔 등 사용자와 TV 사이의 컨트롤을 필요로 하는 다양한 응용 분야에서 유용하게 사용될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (10)

  1. 영상으로부터 적어도 하나의 관절 객체에 대한 관절 정보를 획득하는 단계;
    상기 관절 객체의 이동에 대응되는 방향 요소 정보를 확인하고, 상기 방향 요소 정보에 대한 방향 히스토그램 정보를 확인하는 단계;
    상기 방향 히스토그램 정보와 제스처 사이의 관계를 기반으로 제스처를 인식하는 단계를 포함하고,
    상기 방향 요소 정보에 대한 상기 방향 히스토그램 정보를 확인하는 단계는,
    동일한 상기 영상에 기초하여, 상기 방향 요소 정보에 대한 복수의 방향 히스토그램을 확인하되, 상기 복수의 방향 히스토그램은 각각 양자화 레벨이 서로 다르게 설정된 히스토그램을 포함하는 단계와,
    상기 서로 다른 양자화 레벨이 설정된 상기 복수의 방향 히스토그램을 결합하여 결합 방향 히스토그램 정보를 생성하는 단계를 포함하고,
    상기 제스처를 인식하는 단계는,
    상기 결합 방향 히스토그램 정보를 사용하여 제스처를 인식하는 단계를 포함하는 것을 특징으로 하는 제스처 인식 방법.
  2. 제1항에 있어서, 상기 제스처를 인식하는 단계는,
    상기 방향 히스토그램 정보를 랜덤 결정 포레스트(forest) 분류기에 적용하는 단계를 포함함을 특징으로 하는 제스처 인식 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 방향 요소 정보는,
    제1관절 객체를 기준으로 하여 제2관절 객체의 이동 방향을 나타내는 제1방향요소 정보와,
    상기 제2관절 객체를 기준으로 하여 제3관절 객체의 이동 방향을 나타내는 제2방향요소 정보를 포함함을 특징으로 하는 제스처 인식 방법.
  6. 제5항에 있어서,
    상기 제1방향 요소 정보는 상기 제1관절 객체를 기준으로 하여 상기 제2관절 객체의 이동 방향을 나타내는 벡터 값을 포함하고,
    상기 제2방향 요소 정보는 상기 제2관절 객체를 기준으로 하여 상기 제3관절 객체의 이동 방향을 나타내는 벡터 값을 포함함을 특징으로 하는 제스처 인식 방법.
  7. 영상으로부터 적어도 하나의 관절 객체에 대한 관절 정보를 획득하는 관절정보 획득부와,
    상기 관절 정보로부터 상기 관절 객체의 이동에 대응되는 방향 요소 정보를 확인하는 방향 요소 정보 도출부와,
    상기 방향 요소 정보에 대한 방향 히스토그램 정보를 확인하는 히스토그램 생성부와,
    상기 방향 히스토그램 정보와 제스처 사이의 관계를 기반으로 제스처를 인식하는 인식부를 포함하고,
    상기 히스토그램 생성부는,
    동일한 상기 영상에 기초하여, 상기 방향 요소 정보에 대한 복수의 방향 히스토그램을 확인하되, 상기 복수의 방향 히스토그램은 각각 양자화 레벨이 서로 다르게 설정된 히스토그램을 생성하는 동작과,
    상기 서로 다른 양자화 레벨이 설정된 상기 복수의 방향 히스토그램을 결합하여 결합 방향 히스토그램 정보를 생성하는 동작을 수행하고,
    상기 인식부는,
    상기 결합 방향 히스토그램 정보를 사용하여 제스처를 인식하는 것을 특징으로 하는 제스처 인식 장치.
  8. 제7항에 있어서, 상기 인식부는,
    상기 방향 히스토그램 정보와 제스처 사이의 관계를 정의하는 결정 트리를 저장하고, 상기 결정 트리에 기초하여, 상기 히스토그램 생성부에서 확인된 상기 방향 히스토그램 정보에 대응되는 제스처를 결정하는 랜덤 결정 포레스트(forest) 분류기를 포함함을 특징으로 하는 제스처 인식 장치.
  9. 삭제
  10. 제7항에 있어서, 상기 방향 요소 정보는,
    제1관절 객체를 기준으로 하여 제2관절 객체의 이동 방향을 나타내는 제1방향요소 정보와,
    상기 제2관절 객체를 기준으로 하여 제3관절 객체의 이동 방향을 나타내는 제2방향요소 정보를 포함함을 특징으로 하는 제스처 인식 장치.
KR1020120002119A 2012-01-06 2012-01-06 손 제스처 인식 방법 및 그 장치 KR101868520B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120002119A KR101868520B1 (ko) 2012-01-06 2012-01-06 손 제스처 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002119A KR101868520B1 (ko) 2012-01-06 2012-01-06 손 제스처 인식 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130081126A KR20130081126A (ko) 2013-07-16
KR101868520B1 true KR101868520B1 (ko) 2018-06-19

Family

ID=48992958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002119A KR101868520B1 (ko) 2012-01-06 2012-01-06 손 제스처 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101868520B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125640B1 (ko) 2019-01-29 2020-06-22 서울과학기술대학교 산학협력단 사용자 제스처를 이용한 개인방송 제어 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551576B1 (ko) 2014-06-16 2015-09-08 엘지전자 주식회사 로봇 청소기, 제스쳐 인식 장치 및 방법
KR101601660B1 (ko) * 2014-11-07 2016-03-10 재단법인대구경북과학기술원 깊이 영상을 이용한 손 영역 분류 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Raptis et al. Real-time classification of dance gestures from skeleton animation. In Proceedings of the 2011 ACM SIGGRAPH/Eurographics symposium on computer animation, 2011년 8월, pp. 147-156. *
Raptis et al. Real-time classification of dance gestures from skeleton animation. In Proceedings of the 2011 ACM SIGGRAPH/Eurographics symposium on computer animation, 2011년 8월, pp. 147-156. 1부. *
Raptis et al. Real-time classification of dance gestures from skeleton animation. In Proceedings of the 2011 ACM SIGGRAPH/Eurographics symposium on computer animation, 2011년 8월, pp. 147-156.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125640B1 (ko) 2019-01-29 2020-06-22 서울과학기술대학교 산학협력단 사용자 제스처를 이용한 개인방송 제어 시스템

Also Published As

Publication number Publication date
KR20130081126A (ko) 2013-07-16

Similar Documents

Publication Publication Date Title
Sharp et al. Accurate, robust, and flexible real-time hand tracking
CN107688391B (zh) 一种基于单目视觉的手势识别方法和装置
CN107251096B (zh) 图像捕获装置和方法
Xu et al. Efficient hand pose estimation from a single depth image
CN107466411B (zh) 二维红外深度感测
JP5160235B2 (ja) 画像中の物体の検出及び追跡
JP5812599B2 (ja) 情報処理方法及びその装置
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN108292362A (zh) 用于光标控制的手势识别
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
Maisto et al. An accurate algorithm for the identification of fingertips using an RGB-D camera
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
WO2021098147A1 (zh) Vr体感数据检测方法、装置、计算机设备及存储介质
US20150199592A1 (en) Contour-based classification of objects
Núnez et al. Real-time human body tracking based on data fusion from multiple RGB-D sensors
JP2016014954A (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2015184054A (ja) 同定装置、方法及びプログラム
KR101868520B1 (ko) 손 제스처 인식 방법 및 그 장치
JP2015011526A (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
Xu et al. A novel method for hand posture recognition based on depth information descriptor
Abdallah et al. An overview of gesture recognition
JP2017033556A (ja) 画像処理方法及び電子機器
Gallo et al. View-independent hand posture recognition from single depth images using PCA and Flusser moments
JP2019159470A (ja) 推定装置、推定方法、及び推定プログラム
Fritz et al. Evaluating RGB+ D hand posture detection methods for mobile 3D interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant