KR20150130808A - 사용자의 공간 제스처를 식별하는 방법 및 장치 - Google Patents

사용자의 공간 제스처를 식별하는 방법 및 장치 Download PDF

Info

Publication number
KR20150130808A
KR20150130808A KR1020140057884A KR20140057884A KR20150130808A KR 20150130808 A KR20150130808 A KR 20150130808A KR 1020140057884 A KR1020140057884 A KR 1020140057884A KR 20140057884 A KR20140057884 A KR 20140057884A KR 20150130808 A KR20150130808 A KR 20150130808A
Authority
KR
South Korea
Prior art keywords
gesture
user
face
spatial
identifying
Prior art date
Application number
KR1020140057884A
Other languages
English (en)
Inventor
우주연
류현석
신창우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140057884A priority Critical patent/KR20150130808A/ko
Priority to US14/669,906 priority patent/US20150331492A1/en
Publication of KR20150130808A publication Critical patent/KR20150130808A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

사용자의 공간 제스처를 식별하는 방법 및 장치가 개시된다.
사용자의 얼굴 또는 상체를 인식하고, 인식된 얼굴 또는 상체를 기준으로 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분하여 복수의 구획된 공간들에서의 사용자의 제스처를 식별하는 공간 제스처를 식별하는 방법을 제공할 수 있다.

Description

사용자의 공간 제스처를 식별하는 방법 및 장치{METHOD AND APPARATUS OF IDENTIFYING SPATIAL GESTURE OF USER}
아래의 실시예들은 사용자의 공간 제스처를 식별하는 방법 및 장치에 관한 것이다.
터치 인터페이스(Touch Interface) 기반의 2D 디스플레이(display)에서는 사용자가 2D 디스플레이에 표시된 메뉴 아이콘을 직접 터치(touch)하여 원하는 어플리케이션(application)을 실행할 수 있다. 이는 사용자가 화면에 손을 접촉함으로써 사용자의 의도를 기기에 전달하는 방식으로서 신뢰성이 높은 사용자 인터페이스(User Interface; UI)를 구현할 수 있다.
2D 뿐만 아니라 3D 공간에서 사용자가 취하는 제스처 또한 사용자의 의도를 기기에 전달하는 데에 이용될 수 있다. 3D 공간에서 사용자가 취하는 제스처는 화면 등에 대한 접촉이 없이 공간 상에서 이루어지므로 사용자의 자세 또는 주변 환경에 영향을 받지 않고 공간 상에서 제스처를 정확하게 식별하는 방법이 요구된다.
일실시예에 따르면, 공간 제스처를 식별하는 방법은 사용자의 얼굴 또는 상체를 인식하는 단계; 상기 인식된 얼굴 또는 상체를 기준으로 상기 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분하는 단계; 및 상기 복수의 구획된 공간들에서의 상기 사용자의 제스처를 식별하는 단계를 포함한다.
상기 구분하는 단계는, 상기 사용자의 얼굴을 상기 3차원 공간의 기준 위치에 배치하는 단계; 및 상기 사용자의 얼굴을 기준으로 상기 3차원 공간을 상기 복수의 구획된 공간들로 구분하는 단계를 포함할 수 있다.
상기 구분하는 단계는, 상기 사용자의 얼굴에서 이마가 위치하는 방향을 상기 3차원 공간의 위쪽으로 설정하고, 상기 사용자의 얼굴에서 턱이 위치하는 방향을 상기 3차원 공간의 아래쪽으로 설정하는 단계를 포함할 수 있다.
상기 식별하는 단계는, 상기 복수의 구획된 공간들에서의 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기(size), 상기 제스처의 위치(position), 제스처의 방향(direction) 및 상기 제스처의 깊이(depth)를 식별하는 단계를 포함할 수 있다.
상기 식별하는 단계는, 상기 복수의 구획된 공간들에서의 상기 사용자의 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이에 기초하여 상기 사용자의 제스처를 식별하는 단계를 포함할 수 있다.
상기 제스처를 식별하는 단계는, 상기 복수의 구획된 공간들에서의 상기 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이가 일치하는 제스처들을 서로 동일한 제스처로 식별하는 단계를 포함할 수 있다.
상기 제스처를 식별하는 단계는, 상기 복수의 구획된 공간들에서 상기 사용자의 제스처가 시작되는 공간과 상기 제스처가 종료하는 공간이 동일한 제스처들을 서로 동일한 제스처로 식별하는 단계를 포함할 수 있다.
상기 제스처를 식별하는 단계는, 상기 사용자의 얼굴의 크기와 방향을 기준으로 상기 제스처의 크기와 방향을 정규화(normalize)하여 상기 사용자의 제스처를 식별하는 단계를 포함할 수 있다.
상기 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성하는 단계를 더 포함하고, 상기 사용자의 제스처를 식별하는 단계는, 상기 복수의 구획된 공간들에 대한 공간 좌표계를 이용하여 상기 사용자의 제스처를 식별하는 단계를 포함할 수 있다.
상기 공간 좌표계의 축 방향은 상기 사용자의 얼굴 형태, 상기 사용자의 얼굴의 방향, 또는 상기 사용자의 상체의 방향을 기준으로 설정 또는 보정될 수 있다.
상기 복수의 구획된 공간들의 크기는, 상기 사용자의 얼굴의 크기에 기초하여 적응적으로 조절될 수 있다.
상기 복수의 구획된 공간들의 크기는, 상기 사용자의 제스처를 식별하는 장치와 상기 사용자 간의 거리에 따른 상기 사용자의 얼굴의 크기 변화에 기초하여 상대적으로 조절될 수 있다.
상기 복수의 구획된 공간들의 위치는, 상기 사용자의 얼굴의 방향 또는 상체의 방향에 따라 상대적으로 조절될 수 있다.
상기 식별된 사용자의 제스처에 대응하여 미리 설정된 기능을 실행하는 단계를 더 포함할 수 있다.
상기 미리 설정된 기능은, 상기 사용자의 제스처에 대응하여 미리 설정된 메뉴 또는 컨텐츠로의 이동, 상기 사용자의 제스처에 대응하여 미리 설정된 제스처 모드의 활성화, 상기 사용자의 제스처에 대응하여 미리 설정된 프로그램의 구동, 종료, 설정(lock) 및 설정 해제(unlock), 상기 사용자에 대한 인증 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 공간 제스처를 식별하는 장치는, 사용자의 얼굴 또는 상체를 포함하는 사용자의 제스처를 감지하는 감지부; 및 상기 사용자의 얼굴을 기준으로 상기 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분하고, 복수의 구획된 공간들에서의 상기 사용자의 제스처를 식별하는 프로세서를 포함한다.
상기 프로세서는, 상기 복수의 구획된 공간들에서의 상기 사용자의 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이에 기초하여 상기 사용자의 제스처를 식별할 수 있다.
상기 프로세서는, 상기 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성하고, 상기 복수의 구획된 공간들에 대한 공간 좌표계를 이용하여 상기 사용자의 제스처를 식별할 수 있다.
복수의 기능들에 대응하여 미리 설정된 상기 사용자의 제스처를 저장하는 메모리를 더 포함할 수 있다.
도 1은 일실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 2는 일실시예에 따른 식별 장치가 사용자의 얼굴 방향에 따른 상대적인 공간 위치를 식별하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 식별 장치가 인식하는 사용자의 얼굴 크기를 기준으로 하는 상대적인 공간 크기를 나타낸 도면이다.
도 4는 다른 실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 식별 장치가 사용자의 얼굴을 배치하는 3차원 공간의 기준 위치의 일 예를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 식별 장치에서 동일한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 식별 장치에서 서로 상이한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 식별 장치에서 동일한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 식별 장치에서 서로 상이한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 11은 일실시예에 따른 식별 장치가 구획된 서로 다른 공간들을 이동하는 제스처를 식별하는 방법을 설명하기 위한 도면이다.
도 12는 일실시예에 따른 식별 장치가 구획된 서로 다른 공간들에서 두 손을 이용한 제스처를 식별하는 방법을 설명하기 위한 도면이다.
도 13은 일실시예에 따른 공간 제스처를 식별하는 장치의 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 1을 참조하면, 일실시예에 따른 공간 제스처를 식별하는 장치(이하, '식별 장치')는 사용자의 얼굴 또는 상체를 인식할 수 있다(110). 단계(110)에서 식별 장치는 예를 들어, 동작 감지 센서, 이미지 센서 등과 같은 감지부(도 13의 1310 참조)에 의해 사용자의 얼굴 또는 상체를 인식할 수 있다. 여기서, 사용자의 상체는 사용자의 얼굴, 목 및 어깨를 포함하는 신체 영역으로 이해될 수 있다.
식별 장치는 감지부로부터 일정 거리 및 일정 각도 내에서의 사용자의 얼굴 또는 상체를 포함하는 사용자의 제스처를 인식할 수 있다.
일측에 따른 식별 장치는 감지부를 포함하는 기기들, 예를 들어, 텔레비전, 냉장고, 세탁기, 컴퓨터 등과 같은 가전 기기, 이동 단말 또는 이와 유사한 기능을 구비하는 통신 기기들에 의해 구현될 수 있다.
식별 장치는 단계(110)에서 인식된 사용자의 얼굴 또는 상체를 기준으로 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분할 수 있다(130).
단계(130)에서, 식별 장치가 사용자의 얼굴을 3차원 공간의 기준 위치에 배치하여 3차원 공간을 복수의 구획된 공간들로 구분하는 방법은 도 2 및 도 3을 참조하여 설명한다.
일실시예에서는 설명의 편의를 위해 사용자의 얼굴을 기준으로 복수의 구획된 공간들로 구분하는 방법에 대하여 설명하지만, 3차원 공간을 복수의 구획된 공간들로 나누는 기준이 되는 사용자의 신체 부분은 사용자의 얼굴에 한정되지 않는다. 다시 말해, 3차원 공간을 복수의 구획된 공간들로 나누는 기준이 되는 신체 부분은 사용자 얼굴의 일부분인 눈 혹은 몸통, 가슴 등 어떠한 신체 부분이라도 가능하다. 식별 장치는 예를 들어, 사용자의 얼굴에서 이마(또는 눈)이 위치하는 방향을 3차원 공간의 위쪽으로 설정하고, 사용자의 얼굴에서 턱(또는 입술)이 위치하는 방향을 3차원 공간의 아래쪽으로 설정하여 공간들을 구획할 수 있다.
일실시예에서는, 사용자가 3차원 공간 상에서 입력하는 제스처의 방향이 사용자의 얼굴, 또는 사용자의 상체 방향을 기준으로 상대적으로 적게 변화되는 것을 이용하여 사용자의 주변 공간을 복수의 구획된 공간들로 구분할 수 있다.
일실시예에서는, 사용자가 공간 상에 입력하는 제스처의 형태, 제스처 크기와 사용자의 신체 일부(예를 들어, 사용자의 얼굴)과의 크기 간의 비율 관계 등을 기준으로 사용자의 공간 제스처를 식별함으로써 신뢰성이 높은 사용자 인터페이스(UI)를 구현할 수 있다.
이때, 복수의 구획된 공간들의 크기는 사용자의 얼굴의 크기에 기초하여 적응적으로 조절될 수 있다. 다시 말해, 복수의 구획된 공간들의 크기는 식별 장치(예를 들어, TV)와 사용자 간의 거리에 따른 사용자의 얼굴의 크기 변화에 기초하여 상대적으로 조절될 수 있다. 복수의 구획된 공간들의 위치는 사용자의 얼굴의 방향 또는 상체의 방향에 따라 상대적으로 조절될 수 있다.
식별 장치는 단계(130)에서 구분된 복수의 구획된 공간들에서의 사용자의 제스처를 식별할 수 있다(150).
단계(150)에서, 식별 장치는 복수의 구획된 공간들에서의 사용자의 얼굴을 기준으로 한 제스처의 크기(size), 제스처의 위치(position), 제스처의 방향(direction) 및 제스처의 깊이(depth)를 식별할 수 있다.
식별 장치는 복수의 구획된 공간들에서의 사용자의 신체 일부의 움직임과 모양, 사용자의 얼굴을 기준으로 한 제스처의 크기, 제스처의 위치, 제스처의 방향 및 제스처의 깊이에 기초하여 사용자의 제스처를 식별할 수 있다.
도 2는 일실시예에 따른 식별 장치가 사용자의 얼굴 방향에 따른 상대적인 공간 위치를 식별하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 식별 장치가 구분한 복수의 구획된 공간들이 도시된다. 식별 장치는 사용자의 얼굴을 기준으로 3차원 공간을 복수의 구획된 공간들로 구분할 수 있다.
식별 장치는 예를 들어, 210과 같이 얼굴을 중심으로 9개의 공간들을 나누어서 왼쪽 위에서부터 오른쪽으로 번호를 매겼을 때, 5번 공간에 사용자의 얼굴이 들어가도록 설정할 수 있다. 식별 장치는 9개의 공간들 중 가운데에 위치한 사용자의 얼굴을 중심으로 앞, 뒤 공간으로 확대할 수 있다. 이때, 확대되는 공간의 위치는 사용자의 얼굴 방향에 따라 변할 수 있다.
식별 장치는 예를 들어, 5번 공간의 크기를 사용자의 얼굴 크기 정도로 잡고, 나머지 공간들의 크기는 사용자의 얼굴 크기의 1.5배 정도 바깥쪽으로 크게 설정할 수 있다. 이때, 복수의 구획된 공간들에 대한 공간 좌표(계)의 축 방향은 사용자의 얼굴 형태, 사용자의 얼굴의 방향, 또는 사용자의 상체의 방향을 기준으로 설정될 수 있다.
예를 들어, 식별 장치에 인식된 사용자의 얼굴이 수평 방향인 경우, 식별 장치는 사용자의 제스처가 수행되는 3차원 공간을 사용자의 얼굴을 기준으로 210과 같이 수평 방향의 구획된 공간들로 구분할 수 있다.
식별 장치에 인식된 사용자의 얼굴이 우측으로 45도 기울어져 있는 경우, 식별 장치는 사용자의 제스처가 수행되는 3차원 공간을 사용자의 얼굴을 기준으로 220과 같이 우측으로 45도 기울어진 방향의 구획된 공간들로 구분할 수 있다. 이 밖에도, 식별 장치에 인식된 사용자의 얼굴이 우측으로 90도 기울어져 있는 경우, 식별 장치는 사용자의 제스처가 수행되는 3차원 공간을 사용자의 얼굴을 기준으로 230과 같이 우측으로 90도 기울어진 방향의 구획된 공간들로 구분할 수 있다.
도 2의 210 내지 230에서는 이해의 편의를 위해 식별 장치가 얼굴 표면에 평행한 9개의 평면들을 구분하는 것으로 설명하였으나, 일실시예에서 식별 장치가 구분하는 복수의 구획된 공간들은 모두 240과 같이 가로 x 세로 x 깊이를 가지는 3차원의 공간들로 이해될 수 있다.
식별 장치는 사용자의 얼굴을 3차원 공간의 기준 위치에 배치할 수도 있다. 3차원 공간의 기준 위치는 예를 들어, 도 3의 330과 같이 정육면체의 중심부일 수도 있고, 340과 같이 정육면체의 중심부 바닥면일 수도 있다. 이 밖에도, 3차원 공간의 기준 위치는 사용자의 설정에 따라 다양하게 변경될 수 있다.
또한, 일실시예에서는 식별 장치가 사용자의 얼굴을 중심으로 3(가로) x 3(세로) x 3(깊이)의 복수의 공간들을 구획하였으나, 식별 장치에 의해 구분되는 구획된 공간들의 크기 및 형태는 이에 한정되지 않는다. 식별 장치는 사용자의 얼굴을 3차원 공간의 기준 위치에 배치하고, 3차원 공간을 예를 들어, 3 x 1 x 3, 1 x 1 x 2, 5 x 5 x 5, 5 x 5 x 3 또는 5 x 3 x 2 등과 같이 다양한 형태를 가지는 복수의 구획된 공간들로 구분할 수 있다.
도 3은 일실시예에 따른 식별 장치가 인식하는 사용자의 얼굴 크기를 기준으로 하는 상대적인 공간 크기를 나타낸 도면이다.
도 3을 참조하면, 일실시예에 따른 식별 장치와 사용자 간의 거리에 따른 사용자의 얼굴 크기 변화에 기초하여 상대적으로 조절되는 공간들의 크기가 도시된다.
일실시예에 따른 식별 장치는 사용자와의 거리에 따른 얼굴의 크기 변화에 의해 복수의 구획된 공간들의 크기 또한 상대적으로 조절할 수 있다.
식별 장치는 예를 들어, 310 및 320 각각의 경우에 해당하는 사용자의 얼굴의 크기를 기준으로 사용자의 제스처가 수행되는 공간들의 크기를 적응적으로 조절하여 구획할 수 있다.
예를 들어, 식별 장치에 인식된 사용자의 얼굴의 크기가 3(가로) cm x 3(세로) cm 라고 가정하자. 식별 장치는 사용자의 얼굴을 기준으로 사용자의 제스처가 수행되는 3차원 공간을 사용자의 얼굴의 크기를 기준으로 상, 하, 좌, 우, 깊이 각각 1.5 배에 해당하는 공간들을 구획하여 구분할 수 있다. 다시 말해, 식별 장치는 사용자의 얼굴을 기준으로 상, 하, 좌, 우 깊이로 각각 4.5 cm 에 해당하는 복수의 구획된 공간들을 구분할 수 있다.
사용자의 얼굴의 크기가 3.5(가로) cm x 4(세로) cm x 3.5(깊이) cm 라면, 식별 장치는, 상, 하로 4 cm x 1.5 = 6 cm, 좌, 우로 3.5 cm x 1.5 = 5.25 cm, 전, 후 깊이 3.5 cm x 1.5 = 5.25 cm 에 해당하는 복수의 구획된 공간들을 구분할 수 있다.
식별 장치는 사용자의 얼굴의 크기와 방향을 기준으로 제스처의 크기와 방향을 정규화(normalize)하여 사용자의 제스처를 식별할 수 있다.
식별 장치는 인식된 사용자의 얼굴의 크기가 2 cm x 3 cm 인 경우에 팔을 위로 든 형태의 제스처의 크기가 4 cm 라면, 인식된 사용자의 얼굴의 크기가 4 cm x 6 cm 인 경우에 인식된 팔을 위로 든 형태의 8 cm 크기의 제스처를 4 cm 의 크기의 제스처와 동일한 것으로 식별할 수 있다.
이 밖에도, 식별 장치는 제1 상태에서 사용자의 얼굴의 크기 및 방향, 사용자가 취한 제스처 등을 정규화(normalization)함으로써 제2 상태에서 사용자가 취한 제스처가 제1 상태에서 취한 제스처와 동일한 것인지를 식별할 수 있다.
예를 들어, 사용자가 머리를 왼쪽 팔에 기댄 채로 옆으로 누워 텔레비전을 시청하는 상태(제2 상태)에서 오른쪽 팔을 앞으로 뻗어 주먹을 쥐는 제스처를 취하는 경우를 가정하자. 이때, 사용자가 앉아 있는 상태(제1 상태)에서 취한 오른쪽 팔을 앞으로 뻗어 주먹을 쥐는 제스처에 대한 정보는 식별 장치의 메모리 등에 미리 저장되어 있다고 가정하자.
만약, 사용자가 제1 상태에서 취한 것과 동일한 제스처를 제2 상태에서 취했다면, 식별 장치는 사용자의 얼굴의 크기 및 방향 등을 기준으로 양 제스처가 서로 동일한 것인지를 식별 할 수 있다.
사용자의 제스처가 수행되는 3차원 공간에 대한 공간 좌표(계)의 축 방향은 사용자의 얼굴 형태, 사용자의 얼굴의 방향, 또는 사용자의 상체의 방향을 기준으로 설정 또는 보정될 수 있다. 식별 장치는 사용자가 앉아 있는지, 누워 있는지, 비스듬히 기대고 있는지를 구분하여 공간 좌표의 축 방향을 보정할 수 있다.
도 4는 다른 실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 식별 장치는 사용자의 얼굴 또는 상체를 인식할 수 있다(410).
식별 장치는 사용자의 얼굴을 3차원 공간의 기준 위치에 배치할 수 있다(420).
단계(420)에서, 식별 장치는 사용자의 얼굴을 예를 들어, 도 3의 330과 같이 정육면체의 중심부 또는 340과 같이 정육면체의 중심부 바닥면과 같은 3차원 공간의 기준 위치에 배치할 수도 있다. 식별 장치가 사용자의 얼굴을 배치하는 3차원 공간의 기준 위치에 대하여는 도 5를 참조하여 설명한다.
식별 장치는 단계(420)에서 3차원 공간의 기준 위치에 배치된 사용자의 얼굴을 기준으로 3차원 공간을 복수의 구획된 공간들로 구분할 수 있다(430).
식별 장치는 복수의 구획된 공간들에서의 신체 일부의 움직임과 모양, 사용자의 얼굴을 기준으로 한 제스처의 크기, 제스처의 위치, 제스처의 방향 및 제스처의 깊이와 미리 설정된 사용자의 제스처가 서로 동일한 지를 판단할 수 있다(440). 미리 설정된 사용자의 제스처는 예를 들어, 복수의 기능들에 대응되어 테이블, 데이터베이스 또는 기타의 자료 구조의 형태로 메모리(도 13의 1330 참조)에 저장될 수 있다.
단계(440)에서, 식별 장치는 신체 일부의 움직임과 모양, 제스처의 크기, 제스처의 위치, 제스처의 방향 및 제스처의 깊이와 미리 설정된 사용자의 제스처가 서로 완전하게 동일하거나, 일정 수준(예를 들어, 95%) 이상의 유사도를 가지는 경우에 서로 동일한 것으로 판단할 수 있다.
단계(440)의 판단 결과, 두 공간 제스처가 동일하지 않다고 판단되면, 식별 장치는 동작을 종료할 수 있다.
단계(440)의 판단 결과, 두 공간 제스처가 동일하다고 판단되면, 식별 장치는 사용자의 제스처에 대응하여 미리 설정된 기능을 실행할 수 있다(450).
사용자의 제스처에 대응하여 미리 설정된 기능은 예를 들어, 사용자의 제스처에 대응하여 미리 설정된 메뉴 또는 컨텐츠로의 이동, 사용자의 제스처에 대응하여 미리 설정된 제스처 모드의 활성화, 사용자의 제스처에 대응하여 미리 설정된 프로그램의 구동, 종료, 설정(lock) 및 설정 해제(unlock), 사용자에 대한 인증 등을 포함할 수 있다.
여기서, 제스처 모드의 활성화(activation)는 사용자의 제스처에 대응하여 미리 설정된 프로그램을 구동, 종료, 설정, 해제 시키기에 앞서, 식별 장치에게 사용자의 제스처에 의해 동작 제어가 이루어지는 제스처 모드가 시작됨을 알리는 동작으로 이해될 수 있다.
예를 들어, TV가 제스처 모드로 동작하도록 하기 위해, 사용자는 미리 설정된 특정 제스처를 취함으로써 제스처 모드로의 진입을 트리거(trigger) 시킬 수 있다. 다시 말해, 사용자는 미리 설정된 특정 제스처를 취함으로써 식별 장치에게 제스처 모드로 동작을 시작하도록 알릴 수 있다. 식별 장치는 제스처 모드가 활성화된 이후에 수행되는 제스처를 트래킹(tracking)하여 미리 설정된 다양한 기능들을 수행할 수 있다.
여기서, 특정 제스처는 예를 들어, 손바닥을 TV 또는 컴퓨터에 보여주거나, 손가락으로 원형을 그리는 제스처 등일 수 있다.
일실시예에 따른 사용자의 얼굴을 기준으로 구획된 공간들에서 사용자의 제스처를 식별하는 방법은 공동으로 사용하는 전자 기기에서 사용자를 인식(인증)함으로서 사용자의 개인 정보, 시간, 계절, 개인 이벤트(personal event) 및 소셜 이벤트(social event)와 관련된 개인화 서비스를 제공하는 데에 이용될 수 있다. 이 밖에도, 일실시예에 따른 사용자의 얼굴을 기준으로 구획된 공간들에서 사용자의 제스처를 식별하는 방법은 식별된 제스처를 다양한 응용 프로그램들에 대한 단축키(short key)로 사용되거나 사용자 인식을 필요로 하는 각종 보안 시스템에 이용될 수 있다.
도 5는 일실시예에 따른 식별 장치가 사용자의 얼굴을 배치하는 3차원 공간의 기준 위치의 일 예를 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따른 식별 장치가 미리 설정된 값에 따라 사용자의 얼굴을 3차원 공간의 기준 위치(또는 기준 공간)에 배치한 도면이 도시된다.
식별 장치는 미리 설정된 값에 따라 사용자의 얼굴을 3차원 공간의 기준 위치(또는 기준 공간)에 배치한 후, 사용자의 얼굴의 크기와 방향을 기준으로 복수의 공간들을 설정할 수 있다.
식별 장치는 예를 들어, 기준 위치가 중심부 상단(2번 공간의 위치)이라고 하면, 2번 공간의 위치에 사용자의 얼굴을 배치하고, 사용자의 얼굴을 기준으로 나머지 공간들을 구획하여 구분할 수 있다.
이때, 식별 장치는 510 또는 530과 같이 사용자의 얼굴을 기준으로 일정 비율로 유사한 크기를 가지는 공간들을 구획하여 구분할 수도 있고, 520과 같이 서로 다른 크기를 가지는 공간들을 구획하여 구분할 수도 있다.
이 밖에도, 식별 장치는 3차원 공간을 깊이 방향으로 2개로 구분하고, 가로 세로 방향의 중심부에 얼굴을 배치한 후, 일정 비율로 하나의 공간을 구분할 수 있다. 식별 장치는 540과 같이 깊이 방향으로 2번째 공간의 중심에 사용자의 얼굴을 배치하고, 깊이 방향으로 공간을 구분할 수도 있다.
이때, 각 공간의 크기는 얼굴 크기를 기준으로 설정된 공간 구분 비율 값(예를 들어, 3:2:1)에 따라 설정될 수 있다. 예를 들어, 사용자의 얼굴의 크기가 3 cm x 2 cm (가로x세로)일 때, 각 공간의 크기는 9 cm (가로) x 4 cm (세로) x 3 cm (깊이)일 수 있다.
각 공간의 크기에서 가로 길이(9 cm)는 사용자 얼굴의 가로 길이(3 cm)의 3배에 해당하고, 세로 길이는 사용자 얼굴의 세로 길이(2 cm)의 2배에 해당하며, 깊이(3 cm)는 사용자 얼굴의 가로 길이(3 cm)의 1배에 해당할 수 있다.
도 6 및 도 8은 일실시예에 따른 식별 장치에서 동일한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
도 6 및 도 8을 참조하면, 사용자의 얼굴을 기준으로 식별 장치가 동일한 위치와 방향을 가지는 것으로 식별하는 동일한 제스처들이 도시된다.
일실시예에 따른 식별 장치는 복수의 구획된 공간들에서의 사용자의 얼굴을 기준으로 한 제스처의 크기(size), 제스처의 위치(position), 제스처의 방향(direction) 및 제스처의 깊이(depth) 등을 식별할 수 있다.
예를 들어, 사용자가 610과 같이 사용자의 얼굴을 기준으로 좌측 하단의 611 공간에서, 아래로 가다가 위로 향하는 체크 형태의 제스처를 취하고, 식별 장치는 해당 제스처에 대한 정보를 저장했다고 가정하자.
식별 장치는 620과 사용자의 얼굴이 우측으로 45도 기울어져 있거나, 630과 같이 사용자의 얼굴이 우측으로 90도 기울어져 있더라도 사용자의 얼굴을 기준으로 각각 좌측 하단의 공간(621 또는 631)에서, 아래로 가다가 위로 향하는 동일한 형태의 제스처들이 취해졌다면, 이들 각각의 제스처를 서로 동일한 제스처로 식별할 수 있다. 이때, '동일한 형태의 제스처'는 구획된 공간들에서의 제스처의 크기, 제스처가 수행되는 위치, 제스처의 방향 및 제스처의 깊이가 모두 일치하는 것으로 이해할 수 있다.
이 밖에도, 식별 장치는 구획된 공간에서 사용자의 신체 일부(예를 들어, 손)의 움직임과 모양 또한 식별할 수 있다.
예를 들어, 사용자가 도 8의 810과 같이 얼굴 옆의 왼쪽 공간에서 검지 손가락을 위로 향하는 손모양으로 취한 제스처에 대한 정보를 식별 장치가 저장했다고 가정하자.
식별 장치는 이후, 820 또는 830과 같이 사용자의 얼굴의 각도가 810과 달라지더라도, 사용자의 제스처가 사용자의 얼굴을 기준으로 얼굴 옆의 왼쪽 공간에서 검지 손가락을 위로 향하는 손모양으로 취해진다면 820 및 830의 제스처를 810의 제스처와 동일한 것으로 식별할 수 있다.
도 7 및 도 9는 일실시예에 따른 식별 장치에서 서로 상이한 것으로 식별되는 제스처들을 설명하기 위한 도면이다.
일실시예에 따른 식별 장치는 서로 다른 공간에서 수행되거나, 위/아래 방향이 서로 다른 제스처들을 서로 다른 제스처로 식별할 수 있다.
예를 들어, 사용자가 710과 같이 얼굴 옆의 왼쪽 공간에서 45도 각도로 기울어진 상태에서 아래로 가다가 90도 각도로 바깥쪽 위로 향하는 체크 형태(
Figure pat00001
)의 제스처를 취했다고 하자.
식별 장치는 사용자가 710과 같은 형태의 제스처를 취하더라도 해당 제스처가 수행되는 공간이 사용자의 얼굴 옆 왼쪽 공간이 아니라 720과 같이 왼쪽 하단의 공간에서 취해지는 경우에 양 제스처를 서로 다른 제스처로 식별할 수 있다.
식별 장치는 사용자의 얼굴 옆의 왼쪽 공간에서 체크 형태의 제스처가 취해지더라도 해당 제스처가 730과 같이 사용자의 얼굴을 기준으로 90도 우측으로 틀어진 체크 형태(
Figure pat00002
)를 가지는 경우, 양 제스처를 서로 다른 제스처로 식별할 수 있다.
또한, 일실시예에 따른 식별 장치는 사용자의 신체 일부(예를 들어, 손)의 움직임과 모양이 다른 제스처들을 서로 다른 제스처로 식별할 수 있다.
사용자가 도 9의 910과 같이 검지 손가락이 위로 향하는 손모양의 제스처를 취했다고 가정하자.
식별 장치는 920의 손모양이 910의 경우와 유사하기는 하지만, 사용자의 얼굴을 기준으로 볼 때에 910에서 사용자의 손이 사용자의 얼굴의 왼쪽에 나란히 배치된 것과는 달리 920에서 사용자의 손은 사용자의 얼굴의 바로 아래 공간에 위치하므로 양 제스처를 서로 다른 것으로 식별할 수 있다.
식별 장치는 930과 같이 손가락을 모두 편 형태의 손모양과 940과 같이 검지 손가락을 위로 편 형태의 손모양을 서로 다른 제스처로 식별할 수 있다.
도 10은 다른 실시예에 따른 공간 제스처를 식별하는 방법을 나타낸 플로우 차트이다.
도 10을 참조하면, 일실시예에 따른 식별 장치는 사용자의 얼굴 또는 상체를 인식할 수 있다(1010).
식별 장치는 사용자의 얼굴을 3차원 공간의 기준 위치에 배치할 수 있다(1020).
식별 장치는 단계(1020)에서 기준 위치에 배치된 사용자의 얼굴을 기준으로 3차원 공간을 복수의 구획된 공간들로 구분할 수 있다(1030).
식별 장치는 단계(1030)에서 구분된 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성할 수 있다(1040).
식별 장치는 단계(1040)에서 구성된 공간 좌표계를 이용하여 복수의 구획된 공간들에서의 사용자의 제스처의 크기(size), 제스처의 위치(position), 제스처의 방향(direction) 및 제스처의 깊이(depth)를 식별할 수 있다(1050). 이때, 사용자의 제스처는 복수의 구획된 공간들에서의 사용자의 얼굴을 기준으로 한 것일 수 있다.
식별 장치는 복수의 구획된 공간들에서 사용자의 제스처가 시작되는 공간과 제스처가 종료하는 공간에 대한 공간 좌표값과 미리 설정된 사용자의 제스처의 공간 좌표값이 동일한지 여부를 판단할 수 있다(1060).
식별 장치는 복수의 구획된 공간들에서 사용자의 제스처가 시작되는 공간과 제스처가 종료하는 공간이 동일한 제스처들을 서로 동일한 제스처로 식별할 수 있다.
단계(1060)에서, 사용자의 제스처가 시작되는 공간과 제스처가 종료하는 공간에 대한 공간 좌표값과 미리 설정된 사용자의 제스처의 공간 좌표값이 동일하지 않다고 판단되면, 식별 장치는 동작을 종료할 수 있다.
단계(1060)에서, 사용자의 제스처가 시작되는 공간과 제스처가 종료하는 공간에 대한 공간 좌표값과 미리 설정된 사용자의 제스처의 공간 좌표값이 동일하다고 판단되면, 식별 장치는 사용자의 제스처에 대응하여 미리 설정된 기능을 실행할 수 있다(1070).
도 11은 일실시예에 따른 식별 장치가 구획된 서로 다른 공간들을 이동하는 제스처를 식별하는 방법을 설명하기 위한 도면이다.
일실시예에 따른 식별 장치에 의해 식별되는 제스처들은 특정 공간 안에서만 수행될 수도 있고, 서로 다른 공간들을 이동하여 수행될 수도 있다. 식별 장치는 복수의 구획된 공간들에서 제스처의 공간 영역별 이동 정보가 다르다면 서로 다른 제스처로 인식할 수 있다.
예를 들어, 사용자가 1110과 같이 얼굴의 왼쪽 4 공간 영역에서 시작하여 아래의 7공간 영역 및 8공간 영역을 거쳐 다시 4 공간 영역으로 가는 삼각형 형태의 제스처('제1 제스처')를 취했다고 하자. 이때, 제1 제스처에 대한 공간 영역별 이동 정보는 4->7->8->4와 같이 나타낼 수 있다.
일실시예에 따른 식별 장치는 이후, 사용자가 1110과 동일한 삼각형 형태의 제스처를 취했다고 하더라도 해당 제스처가 취해진 공간 영역별 이동 정보가 상이하다면 양 제스처를 서로 상이한 것으로 식별할 수 있다.
예를 들어, 사용자가 1120과 같이 얼굴이 위치하는 5 공간 영역에서 시작하여 아래의 8 공간 영역 및 9공간 영역을 거쳐 다시 5 공간 영역으로 가는 삼각형 형태의 제스처('제2 제스처')를 취했다고 하자. 이때, 제2 제스처에 대한 공간 영역별 이동 정보는 5->8->9->5와 같이 나타낼 수 있다.
제1 제스처와 제2 제스처는 동일한 삼각형 형태의 제스처라고 하더라도 제스처가 시작되는 공간과 끝나는 공간이 서로 상이하다. 다시 말해, 제1 제스처와 제2 제스처는 공간 영역별 이동 정보가 서로 상이하므로 식별 장치는 제1 제스처와 제2 제스처를 서로 상이한 제스처로 식별할 수 있다.
또한, 식별 장치는 1130 및 1140과 같이 3차원 형태로 취해진 공간 영역별 이동 정보 또한 고려하여 제스처를 식별할 수 있다.
1130에서 사용자가 취한 제스처('제3 제스처')의 공간 영역별 이동 정보는 4 -> 16 ->17 -> 4 와 같이 나타낼 수 있다. 또한, 1140에서 사용자가 취한 제스처('제4 제스처')의 공간 영역별 이동 정보는 5-> 17-> 18-> 5와 같이 나타낼 수 있다.
1130의 제3 제스처와 1140의 제4 제스처 또한 공간 영역별 이동 정보가 서로 상이하므로 식별 장치는 각 제스처를 서로 상이한 것으로 식별할 수 있다.
일실시예에서는 동일한 형태의 제스처라 하더라도 제스처가 수행되는 공간을 구분할 수 있어, 사용자 개인 인식률을 높일 수 있을 뿐 아니라 하나의 형태의 제스처에 여러 기능을 매핑할 수 있다.
도 12는 일실시예에 따른 식별 장치가 구획된 서로 다른 공간들에서 두 손을 이용한 제스처를 식별하는 방법을 설명하기 위한 도면이다.
일실시예에 따른 식별 장치는 한 손을 사용하는 제스처뿐만 아니라, 두 손을 동시에 사용하는 제스처 또한 식별할 수 있다. 식별 장치는 예를 들어, 1210과 같이 사용자의 양손이 특정 공간에서 위쪽을 향하는 제스처 및 1220과 같이 사용자의 양손이 위에서 아래 방향으로 서로 다른 공간을 지나 취해지는 제스처 또한 식별할 수 있다.
일실시예에 따른 식별 장치는 사용자의 얼굴 크기, 얼굴의 방향, 손모양, 제스처의 크기, 제스처 위치, 제스처의 형태, 손의 개수, 영역별 이동 정보 등을 조합하여 사용자 인식에 사용할 수 있다.
일실시예에 따른 식별 장치는 사용자의 얼굴을 기준으로 특정 공간에서 취해지는 다양한 제스처들을 식별하므로 사용자가 앉아 있거나 누워 있는 등의 여러 자세에서도 그 방향에 영향을 받지 않고, 사용자의 제스처를 정확하게 식별할 수 있다.
도 13은 일실시예에 따른 공간 제스처를 식별하는 장치의 블록도이다.
도 13을 참조하면, 일실시예에 따른 공간 제스처를 식별하는 장치(이하, '식별 장치')(1300)는 감지부(1310), 프로세서(1320), 및 메모리(1330)를 포함할 수 있다.
감지부(1310)는 사용자의 얼굴 또는 상체를 포함하는 사용자의 제스처를 감지할 수 있다. 여기서, 사용자의 상체는 사용자의 얼굴, 목 및 어깨를 포함하는 신체 영역으로 이해될 수 있다.
감지부(1310)는 식별 장치(1300)로부터 일정 거리 및 일정 각도 내에서의 사용자의 움직임, 다시 말해 사용자의 제스처를 감지할 수 있다. 감지부(1310)는 동작 감지 센서, 이미지 센서 등에 의해 구성될 수 있다.
프로세서(1320)는 감지부(1310)가 감지한 사용자의 얼굴 또는 상체를 기준으로 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분할 수 있다. 프로세서(1320)는 복수의 구획된 공간들에서의 사용자의 제스처를 식별할 수 있다.
프로세서(1320)는 복수의 구획된 공간들에서의 사용자의 얼굴을 기준으로 한 제스처의 크기(size), 제스처의 위치(position), 제스처의 방향(direction) 및 제스처의 깊이(depth) 등을 식별할 수 있다.
프로세서(1320)는 복수의 구획된 공간들에서의 사용자의 신체 일부의 움직임과 모양, 사용자의 얼굴을 기준으로 한 제스처의 크기, 제스처의 위치, 제스처의 방향 및 제스처의 깊이에 기초하여 사용자의 제스처를 식별할 수 있다.
프로세서(1320)는 복수의 구획된 공간들에서 사용자의 제스처가 시작되는 공간과 제스처가 종료하는 공간이 동일한 제스처들을 서로 동일한 제스처로 식별할 수 있다.
프로세서(1320)는 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성하고, 복수의 구획된 공간들에 대한 공간 좌표계를 이용하여 사용자의 제스처를 식별할 수 있다.
메모리(1330)는 복수의 기능들에 대응하여 미리 설정된 사용자의 제스처를 저장할 수 있다. 복수의 기능들은 미리 설정될 수 있다.
미리 설정된 복수의 기능들은 예를 들어, 사용자의 제스처에 대응하여 미리 설정된 메뉴 또는 컨텐츠로의 이동, 사용자의 제스처에 대응하여 미리 설정된 제스처 모드의 활성화, 사용자의 제스처에 대응하여 미리 설정된 프로그램의 구동, 종료, 설정(lock) 및 설정 해제(unlock), 사용자에 대한 인증 중 적어도 하나를 포함할 수 있다.
이때, 사용자의 제스처는 예를 들어, 복수의 기능들에 대응하는 사용자의 제스처들이 기록된 테이블, 데이터베이스 또는 기타의 자료 구조의 형태로 메모리(1330)에 저장될 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1300 공간 제스처를 식별하는 장치
1310: 감지부
1320: 프로세서
1330: 메모리

Claims (20)

  1. 사용자의 얼굴 또는 상체를 인식하는 단계;
    상기 인식된 얼굴 또는 상체를 기준으로 상기 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분하는 단계; 및
    상기 복수의 구획된 공간들에서의 상기 사용자의 제스처를 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  2. 제1항에 있어서,
    상기 구분하는 단계는,
    상기 사용자의 얼굴을 상기 3차원 공간의 기준 위치에 배치하는 단계; 및
    상기 사용자의 얼굴을 기준으로 상기 3차원 공간을 상기 복수의 구획된 공간들로 구분하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  3. 제1항에 있어서,
    상기 구분하는 단계는,
    상기 사용자의 얼굴에서 이마가 위치하는 방향을 상기 3차원 공간의 위쪽으로 설정하고, 상기 사용자의 얼굴에서 턱이 위치하는 방향을 상기 3차원 공간의 아래쪽으로 설정하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  4. 제1항에 있어서,
    상기 식별하는 단계는,
    상기 복수의 구획된 공간들에서의 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기(size), 상기 제스처의 위치(position), 제스처의 방향(direction) 및 상기 제스처의 깊이(depth)를 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  5. 제1항에 있어서,
    상기 식별하는 단계는,
    상기 복수의 구획된 공간들에서의 상기 사용자의 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이에 기초하여 상기 사용자의 제스처를 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  6. 제5항에 있어서,
    상기 제스처를 식별하는 단계는,
    상기 복수의 구획된 공간들에서의 상기 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이가 일치하는 제스처들을 서로 동일한 제스처로 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  7. 제1항에 있어서,
    상기 제스처를 식별하는 단계는,
    상기 복수의 구획된 공간들에서 상기 사용자의 제스처가 시작되는 공간과 상기 제스처가 종료하는 공간이 동일한 제스처들을 서로 동일한 제스처로 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  8. 제1항에 있어서,
    상기 제스처를 식별하는 단계는,
    상기 사용자의 얼굴의 크기와 방향을 기준으로 상기 제스처의 크기와 방향을 정규화(normalize)하여 상기 사용자의 제스처를 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  9. 제1항에 있어서,
    상기 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성하는 단계
    를 더 포함하고,
    상기 사용자의 제스처를 식별하는 단계는,
    상기 복수의 구획된 공간들에 대한 공간 좌표계를 이용하여 상기 사용자의 제스처를 식별하는 단계
    를 포함하는, 공간 제스처를 식별하는 방법.
  10. 제9항에 있어서,
    상기 공간 좌표계의 축 방향은
    상기 사용자의 얼굴 형태, 상기 사용자의 얼굴의 방향, 또는 상기 사용자의 상체의 방향을 기준으로 설정 또는 보정되는, 공간 제스처를 식별하는 방법.
  11. 제1항에 있어서,
    상기 복수의 구획된 공간들의 크기는,
    상기 사용자의 얼굴의 크기에 기초하여 적응적으로 조절되는, 공간 제스처를 식별하는 방법.
  12. 제11항에 있어서,
    상기 복수의 구획된 공간들의 크기는,
    상기 사용자의 제스처를 식별하는 장치와 상기 사용자 간의 거리에 따른 상기 사용자의 얼굴의 크기 변화에 기초하여 상대적으로 조절되는, 공간 제스처를 식별하는 방법.
  13. 제1항에 있어서,
    상기 복수의 구획된 공간들의 위치는,
    상기 사용자의 얼굴의 방향 또는 상체의 방향에 따라 상대적으로 조절되는, 공간 제스처를 식별하는 방법.
  14. 제1항에 있어서,
    상기 식별된 사용자의 제스처에 대응하여 미리 설정된 기능을 실행하는 단계
    를 더 포함하는, 공간 제스처를 식별하는 방법.
  15. 제14항에 있어서,
    상기 미리 설정된 기능은,
    상기 사용자의 제스처에 대응하여 미리 설정된 메뉴 또는 컨텐츠로의 이동, 상기 사용자의 제스처에 대응하여 미리 설정된 제스처 모드의 활성화, 상기 사용자의 제스처에 대응하여 미리 설정된 프로그램의 구동, 종료, 설정(lock) 및 설정 해제(unlock), 상기 사용자에 대한 인증 중 적어도 하나를 포함하는, 공간 제스처를 식별하는 방법.
  16. 제1항 내지 제15항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  17. 사용자의 얼굴 또는 상체를 포함하는 사용자의 제스처를 감지하는 감지부; 및
    상기 사용자의 얼굴을 기준으로 상기 사용자의 제스처가 수행되는 3차원 공간을 복수의 구획된 공간들로 구분하고, 복수의 구획된 공간들에서의 상기 사용자의 제스처를 식별하는 프로세서
    를 포함하는, 공간 제스처를 식별하는 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 복수의 구획된 공간들에서의 상기 사용자의 신체 일부의 움직임과 모양, 및 상기 복수의 구획된 공간들에서 상기 사용자의 얼굴을 기준으로 한 상기 제스처의 크기, 상기 제스처의 위치, 상기 제스처의 방향 및 상기 제스처의 깊이에 기초하여 상기 사용자의 제스처를 식별하는, 공간 제스처를 식별하는 장치.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 복수의 구획된 공간들에 대한 공간 좌표계(spatial coordinates)를 구성하고, 상기 복수의 구획된 공간들에 대한 공간 좌표계를 이용하여 상기 사용자의 제스처를 식별하는, 공간 제스처를 식별하는 장치.
  20. 제17항에 있어서,
    복수의 기능들에 대응하여 미리 설정된 상기 사용자의 제스처를 저장하는 메모리
    를 더 포함하는, 공간 제스처를 식별하는 장치.
KR1020140057884A 2014-05-14 2014-05-14 사용자의 공간 제스처를 식별하는 방법 및 장치 KR20150130808A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140057884A KR20150130808A (ko) 2014-05-14 2014-05-14 사용자의 공간 제스처를 식별하는 방법 및 장치
US14/669,906 US20150331492A1 (en) 2014-05-14 2015-03-26 Method and apparatus for identifying spatial gesture of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057884A KR20150130808A (ko) 2014-05-14 2014-05-14 사용자의 공간 제스처를 식별하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150130808A true KR20150130808A (ko) 2015-11-24

Family

ID=54538472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057884A KR20150130808A (ko) 2014-05-14 2014-05-14 사용자의 공간 제스처를 식별하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20150331492A1 (ko)
KR (1) KR20150130808A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170128668A (ko) * 2016-05-12 2017-11-23 한국전자통신연구원 핸드 제스처 인식 장치 및 방법
KR20190051174A (ko) * 2017-11-06 2019-05-15 전자부품연구원 네비게이션 제스처 인식 시스템 및 이의 제스처 인식 방법
WO2020050636A1 (ko) * 2018-09-07 2020-03-12 삼성전자 주식회사 사용자 의도 기반 제스처 인식 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US10496879B2 (en) 2017-08-25 2019-12-03 Qualcomm Incorporated Multiple-detection gesture recognition
CN107845112A (zh) * 2017-10-13 2018-03-27 上海斐讯数据通信技术有限公司 一种引导用户使用电子产品姿势的方法及系统
CN113741679B (zh) * 2020-05-27 2024-07-26 珠海优特智厨科技有限公司 一种下料方法、装置、存储介质以及计算设备
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519607B1 (en) * 1999-10-28 2003-02-11 Hewlett-Packard Company Image driven operating system
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
EP2620849B1 (en) * 2010-09-22 2019-08-28 Shimane Prefectural Government Operation input apparatus, operation input method, and program
JP5482740B2 (ja) * 2011-07-11 2014-05-07 コニカミノルタ株式会社 プレゼンテーションシステム、プレゼンテーション装置およびプログラム
KR20130047890A (ko) * 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム
JP6058978B2 (ja) * 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
US20150123901A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170128668A (ko) * 2016-05-12 2017-11-23 한국전자통신연구원 핸드 제스처 인식 장치 및 방법
KR20190051174A (ko) * 2017-11-06 2019-05-15 전자부품연구원 네비게이션 제스처 인식 시스템 및 이의 제스처 인식 방법
US10817069B2 (en) 2017-11-06 2020-10-27 Korea Electronics Technology Institute Navigation gesture recognition system and gesture recognition method thereof
WO2020050636A1 (ko) * 2018-09-07 2020-03-12 삼성전자 주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
US11416080B2 (en) 2018-09-07 2022-08-16 Samsung Electronics Co., Ltd. User intention-based gesture recognition method and apparatus

Also Published As

Publication number Publication date
US20150331492A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
KR20150130808A (ko) 사용자의 공간 제스처를 식별하는 방법 및 장치
CN107077197B (zh) 3d可视化图
CN107810465B (zh) 用于产生绘制表面的系统和方法
US9111076B2 (en) Mobile terminal and control method thereof
WO2018018857A1 (zh) 一种应用于vr设备的手势操控方法与装置
CA3051912C (en) Gesture recognition devices and methods
KR101981822B1 (ko) 전-공간적 제스쳐 입력
JP2023015274A (ja) 面限定制御用に自由空間入力を適用する方法および装置
US9798388B1 (en) Vibrotactile system to augment 3D input systems
JP2014501998A (ja) タッチスクリーン上に複数のフレームを提示するためのシステム及び方法
US10409446B2 (en) Information processing apparatus and method for manipulating display position of a three-dimensional image
US9589125B2 (en) 3D pass-go
JP6012068B2 (ja) 電子機器、その制御方法及びプログラム
US9971490B2 (en) Device control
US20150077331A1 (en) Display control device, display control method, and program
CN107688388B (zh) 密码输入的控制设备、方法及计算机可读存储介质
CN106909219B (zh) 基于三维空间的交互控制方法和装置、智能终端
US20170168584A1 (en) Operation screen display device, operation screen display method, and non-temporary recording medium
US10222866B2 (en) Information processing method and electronic device
EP3088991B1 (en) Wearable device and method for enabling user interaction
CN103777747A (zh) 一种移动终端、移动终端锁屏方法及解锁方法
JP6630164B2 (ja) 電子機器及びその制御方法、プログラム、並びに記憶媒体
JP5801604B2 (ja) 表示制御装置及び表示制御方法
KR101251337B1 (ko) 휴대전자기기에서의 파지모드 실행 방법 및 그 휴대전자기기
CN107908345B (zh) 一种响应方法及电子设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid