KR20120134488A - 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치 - Google Patents

제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20120134488A
KR20120134488A KR1020110053410A KR20110053410A KR20120134488A KR 20120134488 A KR20120134488 A KR 20120134488A KR 1020110053410 A KR1020110053410 A KR 1020110053410A KR 20110053410 A KR20110053410 A KR 20110053410A KR 20120134488 A KR20120134488 A KR 20120134488A
Authority
KR
South Korea
Prior art keywords
hand
unit
face
region
area
Prior art date
Application number
KR1020110053410A
Other languages
English (en)
Other versions
KR101747892B1 (ko
Inventor
김혜미
조동식
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110053410A priority Critical patent/KR101747892B1/ko
Publication of KR20120134488A publication Critical patent/KR20120134488A/ko
Application granted granted Critical
Publication of KR101747892B1 publication Critical patent/KR101747892B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치가 개시된다. 이를 위한 사용자 상호 작용 장치는. 얼굴 패턴 정보를 이용하여 영상촬영 기기에의해 촬영된 컬러 영상으로부터 적어도 하나의 사용자 얼굴 영역을 검출하는 얼굴 검출부, 상기 검출된 얼굴 영역의 3차원 위치 정보를 기초로 하여 얼굴과 손의 3차원 위치 정보를 이용하여 손 영역을 검출하는 손 검출부, 상기 손 영역의 양 끝에서 미리 결정된 크기의 손 후보 영역을 선정하고, 상기 손 후보 영역의 형태에 따라 손 영역을 선정하는 손 영역 지역화부, 상기 손 영역의 손 윤관석상에 존재하는 픽셀의 곡률을 계산하고, 상기 계산된 곡률에 따라 손가락 끝점을 검출하는 손가락 끝점 추출부 및 상기 검출된 손 영역의 개수, 양손 또는 한손의 움직임 및 손가락 개수 중 적어도 두 개를 조합하여 체스쳐를 인식하는 제스쳐 인식부를 포함하여 구성될 수 있다. 따라서, 특수 장비를 부착하지 않은 사용자의 맨손을 컬러 정보 및 깊이 정보에 기반하여 검출/추적할 수 있다.

Description

제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치{METHOD OF USER INTERACTION BASED GESTURE RECOGNITION AND APPARATUS FOR THE SAME}
본 발명은 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 시스템에 관한 것으로, 더욱 상세하게는 깊이 및 컬러 영상 정보를 혼합 제스쳐 인식 기반 사용자 상호 작용 시스템 및 그 방법에 관한 것이다.
일반적으로 컴퓨터나 TV 등 정보가전기기들은 사용자 인터페이스를 위해 키보드나 마우스, 조이스틱, 또는 remote control 등 부가적인 입력 장치를 필요로 한다. 이러한 인터페이스 장비들을 구비하지 않은 경우 입력 자체가 불가능하며, 그 조작법을 익혀야 한다는 측면에서 비직관적이다.
이를 해결하기 위해 최근 직관적 사용자 인터페이스의 방법으로 손동작에 기반한 제스쳐 인식 기술이 활발히 연구되고 있다. 이중 많은 연구가 특수 장비(Data glove, color glove, 광학식 마커 등)를 부착하여 손의 검출과 추적을 용이하게 한다. 이 방법은 고가의 장비를 필요로 하거나 부가적으로 장비를 착용해야 한다는 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치를 제공하는데 있다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 상호 작용 장치는, 얼굴 패턴 정보를 이용하여 영상촬영 기기에 의해 촬영된 컬러 영상으로부터 적어도 하나의 사용자 얼굴 영역을 검출하는 얼굴 검출부, 상기 검출된 얼굴 영역의 3차원 위치 정보를 기초로 하여 얼굴과 손의 3차원 위치 정보를 이용하여 손 영역을 검출하는 손 검출부, 상기 손 영역의 양 끝에서 미리 결정된 크기의 손 후보 영역을 선정하고, 상기 손 후보 영역의 형태에 따라 손 영역을 선정하는 손 영역 지역화부, 상기 손 영역의 손 윤관석상에 존재하는 픽셀의 곡률을 계산하고, 상기 계산된 곡률에 따라 손가락 끝점을 검출하는 손가락 끝점 추출부 및 상기 검출된 손 영역의 개수, 양손 또는 한손의 움직임 및 손가락 개수 중 적어도 두 개를 조합하여 체스쳐를 인식하는 제스쳐 인식부를 포함하여 구성될 수 있다.
상기와 같은 본 발명에 따른 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치를 이용할 경우에는 특수 장비를 부착하지 않은 사용자의 맨손을 컬러 정보 및 깊이 정보에 기반하여 검출/추적할 수 있다. 또한 손끝점 검출을 통해 손가락 개수를 인식할 수 있다. 이로부터 다양하고 의미 있는 손 동작 인식이 가능하게 되어 자연스러운 사용자 인터페이스를 구축할 수 있다.
또한 사용자의 손을 추적하기 위한 초기 사용자 특정 제스쳐나, 캘리브레이션의 과정을 필요로 하지 않으므로 짧고 빈번한 제어를 수행하고자 할 경우 초기화로 인한 사용자 불편을 해결하는 효과가 있다. 또한 사용자 얼굴이 검출된 이후 제스쳐 영역이 자동으로 정해지므로 의미 있는 손동작과 의미 없는 손동작의 구분이 저절로 이루어지게 되어 시스템을 간결하게 구성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 얼굴 검출부가 얼굴을 검출하는 과정을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손 검출부가 손을 검출하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손가락 끝점 검출부가 손가락 끝을 검출하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 제스쳐 인식부가 체스쳐를 인식하는 과정을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 내부 구조를 개략적으로 도시한 도면이다.
도 1을 참조하면, 사용자 상호 작용 장치는 얼굴 검출부(101), 손 검출부(103), 손영역 지역화부(105), 손가락 끝점 검출부(107), 제스쳐 인식부(109) 및 가시화부(111)를 포함하여 구성될 수 있다.
얼굴 검출부(101)는 컬러/깊이 정보 획득부(미도시)로부터 컬러 영상을 수신한다. 이때, 컬러/깊이 정보 획득부는 제스쳐 명령에 따라 상호작용할 가상 물체가 가시화되는 디스플레이 상부 또는 그외 사용자의 상반신이 충분히 획득될 수 있는 임의의 위치에 장착되어 사용자를 촬영하여 컬러 영상 및 깊이 영상을 획득한다.
본 발명의 일 실시예에 따르면, 컬러/깊이 정보 획득부는 PrimeSense 사의 센서(sensor)가 될 수 있고, 본 발명의 실시예에서 이 장비를 활용함으로써 깊이 정보뿐만 아니라 그에 해당하는 컬러 영상을 동시에 획득할 수 있다. 이때 깊이 정보는 CMOS 센서와 깊이 정보 획득 모듈의 고정된 상대적 위치관계를 통해 calibration된 정보를 실시간으로 제공해준다. 또한, 영상의 최대 해상도는 640 × 480이며 시야(field of view)는 58도(h)x40도(v)로 깊이 카메라 가운데 비교적 고해상도 및 광시야각을 제공한다.
얼굴 검출부(101)는 컬러/깊이 정보 획득부로부터 수신된 컬러 영상으로부터 얼굴 패턴 정보를 활용하여 다수 사용자의 얼굴을 실시간으로 검출한다.
손 검출부(103)는 얼굴 검출부(101)에의해 획득된 얼굴 영역의 3차원 위치 정보를 바탕으로 얼굴과 손과의 3차원 위치에 관한 사전지식을 활용하여 검출할 수 있다.
손영역 지역화부(105)는 손의 양 끝에서 특정 크기를 가지는 손 후보 영역을 선정한다. 이때, 손영역 지역화부(105)는 손 검출부(103)에서 획득된 손 영역이 손 이외의 손목이나 팔 등이 포함된 경우 손 영역이 길쭉한 형태를 갖고 손이 팔의 맨 끝에 위치한다는 점을 이용하여 손 후보 영역을 선정할 수 있다. 즉, 손영역 지역화부(105)가 손 후보 영역을 선정함으로써 손 검출부(103)에서 손 영역 이외에 손목이나 팔 등을 포함할 수 있어 손의 이동 경로를 파악하기 위한 손의 중심점을 정확히 계산할 수 없다는 문제점을 해결할 수 있다.
손 후보 영역을 선정한 손영역 지역화부(105)는 손 후보 영역 가운데 손 영역을 선정하기 위하여 두 가지 경우로 나눈다. 첫 번째는 검출된 손의 영역이 수직 방향으로 길쭉한 경우이고, 다른 하나는 수평 방향으로 길쭉한 경우이다. 수직 방향으로 길쭉한 경우 최종적인 손의 위치는 두 후보 영역 가운데 위쪽에 위치한 영역으로 선정하고, 수평 방향인 경우 영역의 평균 깊이값을 계산하여 앞쪽에 위치한 영역으로 선정한다.
손가락 끝점 검출부(107)는 손영역 지역화부(105)에서 선정된 손 영역에 손 윤곽선 상에 존재하는 픽셀의 곡률 계산값으로부터 손가락 끝점을 검출한다. 이때, 손가락 끝점 검출부(107)는 손가락 윤곽선의 형태학적 사전 지식을 활용하여 손가락 끝점을 검출할 수 있다.
제스쳐 인식부(109)는 검출된 손의 개수, 양손/한손의 움직임, 손가락 개수 등의 결과를 조합하여 약속된 제스쳐, 예를 들어 확대/축소, 회전, 이동, 선택, 취소, 모드 변환인지 여부를 판단한다.
가시화부(111)는 제스쳐 인식부의 인식 결과 및 손의 움직임 속도를 입력으로 하여, 가상 물체의 변형, 예를 들어 확대/축소, 회전, 이동, 선택, 취소, 모드 변환이나 사용자 메뉴 선택 등에 적용하고 그 결과를 디스플레이한다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 얼굴 검출부가 얼굴을 검출하는 과정을 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 얼굴 검출부가 얼굴을 검출하는 과정을 설명하기 위한 흐름도이다.
도 2를 참조하면, 얼굴 검출부(101)는 컬러 영상으로부터 확습된 얼굴 패턴을 검출한다(S201). 그 후, 얼굴 검출부(101)는 얼굴의 깊이값을 획득한다. 이때, 얼굴 검출부(101)는 얼굴의 평균 깊이 정보를 획득하기 위하여 얼굴 영역으로 검출된 영역에서 유효 영역을 설정하여 이에 해당되는 깊이값의 평균으로 얼굴의 깊이값을 획득한다(S202). 얼굴 검출부(101)는 이렇게 검출된 다수 사용자 가운데 가장 전방에 위치한 사용자를 주 사용자로 선정(S203)하여 동시 발생하거나 방해가 되는 제스쳐를 사전에 차단할 수 있다. 그러면 이하에서는, 도 3을 참조하여 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손 검출부가 손을 검출하는 과정을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손 검출부가 손을 검출하는 과정을 설명하기 위한 흐름도이다.
도 3을 참조하면, 손 검출부(103)는 얼굴에서 전방으로 제 1 임계값 이상 떨어지고 최대한 손을 뻗었을 때 손과 얼굴간의 z축 거리를 제 2 임계값으로 설정하여 이 영역 내에 위치하는 객체를 손 후보군으로 선정한다(S301). 그 후, 손 검출부(103)는 이 후보군을 기준으로 연결된 구성 요소(connected component)기법을 이용하여 데이터들을 연결시켜준다(S302). 손 검출부(103)는 최종적으로 영역 내 가장 큰 2개의 구성 요소를 손이라고 가정한다. 이때 검출된 영역에서 팔 영역을 최소화하기 위해 카메라로부터 가장 가까운 손의 깊이로부터 임계값 이하의 영역만을 손 영역으로 검출한다(S303). 그러면 이하에서는, 도 4를 참조하여 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손가락 끝점 검출부가 손가락 끝을 검출하는 과정을 보다 구체적으로 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 손가락 끝점 검출부가 손가락 끝을 검출하는 과정을 설명하기 위한 흐름도이다.
도 4를 참조하면, 손가락 끝점 검출부(107)는 손 영상에서 손이 검출된 영역과 그렇지 않은 영역을 이진화 영상으로 변환한 후 그 윤곽선을 검출하고(S401), 검출된 윤관선을 따라 존재하는 각 픽셀에서 양방향으로 떨어진 각각의 픽셀간의 방향벡터를 계산하여(S402) 두 방향벡터의 각도가 임계치 이상이 되면 손가락 끝점으로 인식한다(S403). <수학식 1>은 손가락 끝점 검출부(107)가 윤곽선을 이루는 두 방향벡터의 각도를 구하는 수식이다.
Figure pat00001
<수학식 1>을 참조하면, P는 손가락 윤곽선 상의 한점을 의마하고, Pi(i=1, 2)는 곡률을 계산하려는 손가락 윤곽선 상의 한 점에서 일정 거리만큼 서로 반대 방향으로 떨어져 있는 윤곽선 상의 두 점을 의미한다.
Figure pat00002
는
Figure pat00003
와
Figure pat00004
가 이루는 각도를 의미한다. 그러면 이하에서는, 도 5a 및 도 5b를 참조하여 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 제스쳐 인식부가 체스쳐를 인식하는 과정을 설명하기로 한다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 사용자 상호 작용 장치의 제스쳐 인식부가 체스쳐를 인식하는 과정을 설명하기 위한 흐름도이다.
도 5 a 를 참조하면, 제스쳐 인식부(109)는 검출된 손의 개수, 양손/한손의 움직임, 손가락 개수 등의 결과를 조합하여 약속된 제스쳐인지 여부를 판단한다. 제스쳐 인식부(109)는 가상의 물체 및 사용자 메뉴를 제어하기 위해 6가지의 손 동작을 정의했다.
첫째, 제스쳐 인식부(109)가 검출된 손의 개수가 한손 검출(S501)이고, 손이 정지되었다고 판단(S502)하는 경우, 손가락 하나를 폈다 구부리는 동작을 인식하기 위해 손의 개수가 하나인 경우 한 손이 정지상태에 있을 때 손가락이 1개였다가 0개가 되면(S503) 선택 명령으로 판단한다(S504).
둘째, 제스쳐 인식부(109)가 검출된 손의 개수가 한손 검출(S501)이고, 손이 정지되었다고 판단(S502)하는 경우, 손이 모두 펴졌다가 오무라든 모습을 인식하기 위하여 손가락 개수가 5개였다가 0개가 되면(S505) 이동 명령으로 판단한다(S506). 따라서, 이동 명령이 인식되었을 때 손의 무게중심이 움직이는 방향과 속도에 따라 물체를 이동시킨다.
도 5b 를 참조하면, 셋째, 제스쳐 인식부(109)가 검출된 손의 개수가 한손 검출(S501)이고, 손이 정지하지 않았다고 판단(S502)하는 경우, 한 손의 무게중심이 움직이는 방향과 속도에 따라 물체를 회전한다(S507).
넷째, 제스쳐 인식부(109)가 검출된 손의 개수가 두손 검출(S509)이고, 손이 움직이지 않았다고 판단(S510)하는 경우, 손의 개수가 두개인 경우 양손을 모두 폈다 오므리는 동작을 정지한 한 손의 손가락 개수가 5개에서 0개로 변환되었다고 판단(S511)하는 경우, 모드 변환 명령으로 판단한다(S512). 이때, 제스쳐 인식부(109)는 하나의 물체에 대해서만 적용하지 않고 동일한 동작을 다양한 물체에 적용하거나 새로운 UI 메뉴를 제어할 수 있기 위하여 모드변환이라는 동작을 정의한다.
다섯째, 제스쳐 인식부(109)가 검출된 손의 개수가 두손 검출(S509)이고, 손이 움직였다고 판단(S510)하는 경우, 양손의 무게중심간의 거리를 측정하여(S513) 무게중심간의 거리가 멀어지면(S514) 가시화되는 가상 물체의 확대 명령으로 판단한다(S515). 반면, 제스쳐 인식부(109)가 검출된 손의 개수가 두손 검출(S509)이고, 손이 움직였다고 판단(S510)하는 경우, 양손의 무게중심간의 거리를 측정하여(S513) 무게중심간의 거리가 가까워지면(S516) 가시화되는 가상 물체의 축소 명령으로 판단한다(S517).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
101: 얼굴 검출부 103: 손 검출부
105: 손영역 지역화부 107: 손가락 끝점 검출부
109: 제스쳐 인식부 111: 가시화부

Claims (1)

  1. 얼굴 패턴 정보를 이용하여 영상촬영 기기에의해 촬영된 컬러 영상으로부터 적어도 하나의 사용자 얼굴 영역을 검출하는 얼굴 검출부;
    상기 검출된 얼굴 영역의 3차원 위치 정보를 기초로 하여 얼굴과 손의 3차원 위치 정보를 이용하여 손 영역을 검출하는 손 검출부;
    상기 손 영역의 양 끝에서 미리 결정된 크기의 손 후보 영역을 선정하고, 상기 손 후보 영역의 형태에 따라 손 영역을 선정하는 손 영역 지역화부;
    상기 손 영역의 손 윤관석상에 존재하는 픽셀의 곡률을 계산하고, 상기 계산된 곡률에 따라 손가락 끝점을 검출하는 손가락 끝점 추출부; 및
    상기 검출된 손 영역의 개수, 양손 또는 한손의 움직임 및 손가락 개수 중 적어도 두 개를 조합하여 체스쳐를 인식하는 제스쳐 인식부를 포함하는 것을 특징으로 하는 사용자 상호 작용 장치.
KR1020110053410A 2011-06-02 2011-06-02 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치 KR101747892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110053410A KR101747892B1 (ko) 2011-06-02 2011-06-02 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110053410A KR101747892B1 (ko) 2011-06-02 2011-06-02 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20120134488A true KR20120134488A (ko) 2012-12-12
KR101747892B1 KR101747892B1 (ko) 2017-06-16

Family

ID=47902677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053410A KR101747892B1 (ko) 2011-06-02 2011-06-02 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR101747892B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399629A (zh) * 2013-06-29 2013-11-20 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
KR101404018B1 (ko) * 2013-02-01 2014-06-10 전자부품연구원 손동작 인식 장치 및 그 방법
KR20140079012A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR101434533B1 (ko) * 2013-06-25 2014-08-27 엔그램테크놀로지(주) 손가락 동작인식 기반의 카메라 촬영 시스템 및 그 방법
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
CN106200890A (zh) * 2015-04-17 2016-12-07 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
KR101706864B1 (ko) * 2015-10-14 2017-02-17 세종대학교산학협력단 모션 센싱 입력기기를 이용한 실시간 손가락 및 손동작 인식
KR20180051235A (ko) * 2016-11-08 2018-05-16 한국전자통신연구원 사용자의 지시 위치 추정 장치 및 방법
WO2019004531A1 (ko) * 2017-06-29 2019-01-03 링크플로우 주식회사 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140079012A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
KR101404018B1 (ko) * 2013-02-01 2014-06-10 전자부품연구원 손동작 인식 장치 및 그 방법
KR101434533B1 (ko) * 2013-06-25 2014-08-27 엔그램테크놀로지(주) 손가락 동작인식 기반의 카메라 촬영 시스템 및 그 방법
CN103399629A (zh) * 2013-06-29 2013-11-20 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR101534742B1 (ko) * 2013-12-10 2015-07-07 현대자동차 주식회사 차량용 제스처 인식 시스템 및 그 방법
US9383826B2 (en) 2013-12-10 2016-07-05 Hyundai Motor Company System and method for recognizing user's gesture for carrying out operation of vehicle
CN106200890A (zh) * 2015-04-17 2016-12-07 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
CN106200890B (zh) * 2015-04-17 2019-11-26 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
KR101706864B1 (ko) * 2015-10-14 2017-02-17 세종대학교산학협력단 모션 센싱 입력기기를 이용한 실시간 손가락 및 손동작 인식
KR20180051235A (ko) * 2016-11-08 2018-05-16 한국전자통신연구원 사용자의 지시 위치 추정 장치 및 방법
WO2019004531A1 (ko) * 2017-06-29 2019-01-03 링크플로우 주식회사 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치

Also Published As

Publication number Publication date
KR101747892B1 (ko) 2017-06-16

Similar Documents

Publication Publication Date Title
KR20120134488A (ko) 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9972136B2 (en) Method, system and device for navigating in a virtual reality environment
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
CN110045823B (zh) 一种基于动作捕捉的动作指导方法和装置
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US20140184494A1 (en) User Centric Interface for Interaction with Visual Display that Recognizes User Intentions
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
US9836130B2 (en) Operation input device, operation input method, and program
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
CN102868811B (zh) 一种基于实时视频处理的手机屏幕操控方法
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
US20150339859A1 (en) Apparatus and method for navigating through volume image
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
Takimoto et al. A robust gesture recognition using depth data
US20180165853A1 (en) Head-mounted display apparatus and virtual object display system
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
Fiorentino et al. Magic mirror interface for augmented reality maintenance: an automotive case study
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
CN104536568A (zh) 侦测用户头部动态的操控系统及其操控方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant