KR101424562B1 - 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템 - Google Patents

공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템 Download PDF

Info

Publication number
KR101424562B1
KR101424562B1 KR1020120062197A KR20120062197A KR101424562B1 KR 101424562 B1 KR101424562 B1 KR 101424562B1 KR 1020120062197 A KR1020120062197 A KR 1020120062197A KR 20120062197 A KR20120062197 A KR 20120062197A KR 101424562 B1 KR101424562 B1 KR 101424562B1
Authority
KR
South Korea
Prior art keywords
gesture
user
information
virtual plane
depth
Prior art date
Application number
KR1020120062197A
Other languages
English (en)
Other versions
KR20130138530A (ko
Inventor
김상식
정성관
이원겸
박준석
신용철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120062197A priority Critical patent/KR101424562B1/ko
Publication of KR20130138530A publication Critical patent/KR20130138530A/ko
Application granted granted Critical
Publication of KR101424562B1 publication Critical patent/KR101424562B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

공간 인식 장치는 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하고, 인식된 제스쳐에 대한 제스쳐 정보를 출력하는 사용자 제스쳐 인식 모듈, 상기 제스쳐 정보에 기초하여 상기 사용자가 가상 평면을 터치하였는지 여부를 판단하고, 판단 결과에 따라 상기 사용자가 상기 가상 평면을 터치한 때 상기 제스쳐의 좌표 값을 출력하는 터치 판단 모듈, 및 호스트의 화면에 디스플레이되고 있는 그래픽 유저 인터페이스(graphic user interface)의 좌표 정보와 상기 좌표 값을 비교하고, 비교 결과에 따라 상기 좌표 값에 대응되는 제어 신호를 상기 호스트로 출력하는 제어 신호 생성 모듈을 포함한다.

Description

공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템{SPACE SENSING DEVICE, METHOD OF OPERATING THE SAME, AND SYSTEM INCLUDING THE SAME}
본 발명의 개념에 따른 실시 예는 공간 인식 장치에 관한 것으로, 특히 사용자의 제스쳐(gesture)를 인식하고 인식된 제스쳐에 기초하여 원격 장치를 제어할 수 있는 공간 인식 장치에 관한 것이다.
최근 전자 기기는 중앙처리장치(central processing unit)와 운영체제(operating system)를 이용해 상기 전자 기기의 원래 기능에 추가적으로 다양한 활용이 가능하도록 발전하고 있다.
예를 들어, 사용자는 TV(television)를 통해 방송을 시청하는 것뿐만 아니라 다양한 응용 프로그램을 통해 추가적인 활용, 예컨대, 웹 서핑(web surfing)을 할 수 있다. 즉, 사용자는 TV를 쌍방향 콘텐츠 정보 단말기로 활용할 수 있다.
사용자는 일반적으로 TV와 같이 멀리 떨어져 있는 기기를 제어할 때 리모컨(remote control)을 사용한다. 사용자는 상기 리모컨을 이용해 TV를 통해 다양한 응용 프로그램을 실행할 때 불편함을 느낄 수 있다. 왜냐하면 상기 리모컨은 버튼의 개수가 제한적이므로 사용자가 상기 리모컨을 이용해 다양한 명령어를 입력하는 것이 어렵기 때문이다.
오늘날에는 리모컨과 같은 원격 조정 장치 없이 원격의 기기를 제어하기 위한 방법들이 연구되고 있다. 예컨대, 리모컨 없이 원격의 기기를 제어하기 위한 방법들에는 음성 인식 기술 또는 제스쳐(gesture) 인식 기술이 있다.
종래의 제스쳐 인식 기술에서는 사용자의 무의미한 동작도 의미가 있는 제스쳐로 인식될 수 있다. 즉, 원격 기기는 사용자의 무의미한 동작을 의미 있는 동작으로 인식함으로써 오작동할 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 사용자의 무의미한 제스쳐(gesture)를 무시하고 사용자의 의도된 제스쳐만 인식할 수 있는 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 공간 인식 장치는 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하고, 인식된 제스쳐에 대한 제스쳐 정보를 출력하는 사용자 제스쳐 인식 모듈, 상기 제스쳐 정보에 기초하여 상기 사용자가 가상 평면을 터치하였는지 여부를 판단하고, 판단 결과에 따라 상기 사용자가 상기 가상 평면을 터치한 때 상기 제스쳐의 좌표 값을 출력하는 터치 판단 모듈, 및 호스트의 화면에 디스플레이되고 있는 그래픽 유저 인터페이스(graphic user interface)의 좌표 정보와 상기 좌표 값을 비교하고, 비교 결과에 따라 상기 좌표 값에 대응되는 제어 신호를 상기 호스트로 출력하는 제어 신호 생성 모듈을 포함한다.
상기 제스쳐 정보는 상기 제스쳐의 깊이 정보, 각도 정보, 및 좌표 값 중에서 적어도 하나를 포함할 수 있다.
상기 터치 판단 모듈은 상기 제스쳐 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내일 때 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하고, 상기 좌표 값을 출력할 수 있다.
상기 터치 판단 모듈은 상기 제스쳐 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하고, 상기 좌표 값을 출력할 수 있다.
상기 터치 판단 모듈은 상기 제스쳐 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐를 제외하고는 상기 이미지의 변화가 없을 때 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하고, 상기 좌표 값을 출력할 수 있다.
본 발명의 실시 예에 따른 공간 인식 장치의 동작 방법은 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하는 단계, 상기 제스쳐의 깊이 정보에 기초하여 상기 사용자가 가상 평면을 터치하였는지 여부를 판단하는 단계, 및 판단 결과에 따라, 상기 사용자가 상기 가상 평면을 터치한 때, 상기 제스쳐의 좌표 값에 대응되는 제어 신호를 호스트로 출력하는 단계를 포함할 수 있다.
상기 판단하는 단계는 상기 제스쳐의 깊이가 기준 깊이 범위 이내일 때, 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하는 단계를 포함할 수 있다.
상기 판단하는 단계는 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때, 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하는 단계를 포함할 수 있다.
상기 판단하는 단계는 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐를 제외하고는 상기 이미지의 변화가 없을 때, 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 공간 인식 장치의 동작 방법은 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
본 발명의 실시 예에 따른 공간 인식 시스템은 공간 인식 장치와 호스트를 포함하며, 상기 공간 인식 장치는 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하고, 상기 제스쳐의 깊이 정보에 기초하여 상기 사용자가 가상 평면을 터치하였는지 여부를 판단하고, 판단 결과에 따라 상기 사용자가 상기 가상 평면을 터치한 때, 상기 제스쳐의 좌표 값에 대응되는 제어 신호를 호스트로 출력하며, 상기 호스트는 상기 제어 신호에 응답하여 동작한다.
본 발명의 실시 예에 따른 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템은 사용자의 무의미한 제스쳐(gesture)를 무시하고 사용자의 의도된 제스쳐만 인식함으로써 사용자의 편의성을 향상시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 공간 인식 시스템의 개략적인 개념도를 나타낸다.
도 2는 도 1에 도시된 공간 인식 장치의 개략적인 블럭도를 나타낸다.
도 3은 본 발명의 실시 예에 따른 공간 인식 장치의 동작 방법을 설명하기 위한 플로우 차트(flow chart)를 나타낸다.
도 4는 도 1에 도시된 공간 인식 장치의 동작 방법의 일 실시 예를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 공간 인식 장치의 동작 방법의 다른 실시 예를 설명하기 위한 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 공간 인식 시스템의 개략적인 개념도를 나타낸다.
도 1을 참조하면, 공간 인식 시스템(10)은 공간 인식 장치(100) 및 호스트(200)를 포함한다.
공간 인식 장치(100)는 호스트(200)와 사용자(400) 사이에 가상 평면(300)을 생성할 수 있다. 가상 평면(300)은 사용자(400)의 제스쳐(gesture)를 인식하기 위한 평면이다. 즉, 공간 인식 장치(100)는 가상 평면(300) 내의 사용자(400)의 제스쳐를 인식하고, 인식된 제스쳐에 대응되는 제어 신호(CS)를 호스트(200)로 출력한다. 실시 예에 따라, 가상 평면(300)은 사용자(400)의 설정에 따라 기울어질 수 있다.
구체적으로, 공간 인식 장치(100)는 센서, 예컨대, 카메라로부터 이미지(IMG)를 수신하고, 수신된 이미지(IMG)로부터 사용자의 제스쳐를 인식한다. 공간 인식 장치(100)는 인식된 제스쳐에 대한 제스쳐 정보(GI)에 기초하여 사용자(400)가 가상 평면(300)을 터치하였는지 여부를 판단한다. 실시 예에 따라, 제스쳐 정보(GI)는 상기 제스쳐의 깊이 정보, 각도 정보, 및 좌표 값 중에서 적어도 하나를 포함할 수 있다.
예를 들어, 공간 인식 장치(100)는 제스쳐 정보(GI)에 기초하여 인식된 제스쳐의 깊이가 기준 깊이 범위 이내일 때 상기 인식된 제스쳐를 가상 평면(300)에 대한 터치로 판단할 수 있다.
다른 예를 들어, 공간 인식 장치(100)는 제스쳐 정보(GI)에 기초하여 인식된 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 인식된 제스쳐의 각도가 기준 각도 범위 이내일 때 상기 인식된 제스쳐를 가상 평면(300)에 대한 터치로 판단할 수 있다.
또 다른 예를 들어, 공간 인식 장치(100)는 제스쳐 정보(GI)에 기초하여 인식된 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 인식된 제스쳐를 제외하고는 이미지(IMG)의 변화가 없을 때 상기 인식된 제스쳐를 가상 평면(300)에 대한 터치로 판단할 수 있다.
공간 인식 장치(100)가 인식된 제스쳐에 대한 제스쳐 정보(GI)에 기초하여 사용자(400)가 가상 평면(300)을 터치하였는지 여부를 판단하는 방법은 도 4 또는 도 5에서 보다 상세하게 설명될 것이다.
판단결과에 따라 사용자(400)가 가상 평면(300)을 터치한 때 공간 인식 장치(100)는 제스쳐의 좌표 값과 호스트(200)의 화면에 디스플레이되고 있는 그래픽 유저 인터페이스(graphic user interface)의 좌표 정보를 비교하고, 비교 결과에 따라 상기 좌표 값에 대응되는 제어 신호를 호스트(200)로 출력한다.
도 2는 도 1에 도시된 공간 인식 장치의 개략적인 블럭도를 나타낸다.
도 1과 도 2를 참조하면, 공간 인식 장치(100)는 센서(110), 사용자 제스쳐 인식 모듈(130), 터치 판단 모듈(150), 및 제어 신호 생성 모듈(170)을 포함할 수 있다.
본 명세서에서의 모듈(module)이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또는 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수 있고, 또는 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예컨대 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
센서(100), 예컨대 카메라는 주기적으로 이미지(IMG)를 촬영하고, 촬영된 이미지(IMG)를 사용자 제스쳐 인식 모듈(130)로 출력할 수 있다. 센서(100)는 이미지(IMG)와 함께 피사체의 깊이(depth) 정보를 사용자 제스쳐 인식 모듈(130)로 출력할 수 있다. 실시 예에 따라, 센서(100)는 적외선 카메라 또는 가시광 카메라일 수 있다.
사용자 제스쳐 인식 모듈(130)은 센서(100)로부터 이미지(IMG)를 수신하고, 수신된 이미지(IMG)로부터 사용자의 제스쳐를 인식하고, 인식된 제스쳐에 대한 제스쳐 정보(GI)를 터치 판단 모듈(150)로 출력할 수 있다. 실시 예에 따라, 제스쳐 정보(GI)는 제스쳐의 깊이 정보, 각도 정보, 및 좌표 값 중에서 적어도 하나를 포함할 수 있다.
터치 판단 모듈(150)은 사용자 제스쳐 인식 모듈(130)로부터 제스쳐 정보(GI)를 수신하고, 수신된 제스쳐 정보(GI)에 기초하여 사용자(400)가 가상 평면(300)을 터치하였는지 여부를 판단한다. 예컨대, 사용자(400)의 제스쳐가 가상 평면(300)의 기준 깊이 범위 내일 때, 터치 판단 모듈(150)은 사용자(400)가 가상 평면(300)을 터치한 것으로 판단할 수 있다.
판단 결과에 따라 사용자(400)가 가상 평면(300)을 터치한 때, 터치 판단 모듈(150)은 제스쳐 정보(GI)에 포함된 제스쳐의 좌표 값(CV)을 제어 신호 생성 모듈(170)로 출력할 수 있다.
제어 신호 생성 모듈(170)은 터치 판단 모듈(150)로부터 제스쳐의 좌표 값(CV)을 수신하고, 수신된 좌표 값(CV)과 호스트(200)의 화명에 디스플레이되고 있는 그래픽 유저 인터페이스의 좌표 정보를 비교하고, 비교 결과에 따라 좌표 값(CV)에 대응되는 제어 신호(CS)를 호스트(200)로 출력할 수 있다.
호스트(200)는 공간 인식 장치(100)로부터 출력된 제어 신호(CS)를 수신하고, 수신된 제어 신호(CS)에 따라 동작할 수 있다.
호스트(100)는 PC(personal computer), TV(television) 또는 휴대용 장치(portable device)로 구현될 수 있다.
상기 TV는 스마트 TV(smart TV) 또는 커넥티드 TV(connected TV)로 구현될 수 있다.
상기 휴대용 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰, 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PDN(personal navigation device 또는 portable navigation device), 손으로 들고다닐 수 있는 게임 콘솔(handheld game console), 또는 e-북(e-book)과 같이 손으로 들고다닐 수 있는 장치(handheld device)로 구현될 수 있다.
도 3은 본 발명의 실시 예에 따른 공간 인식 장치의 동작 방법을 설명하기 위한 플로우 차트(flow chart)를 나타낸다.
도 1 내지 도 3을 참조하면, 공간 인식 장치(100)는 센서(110)에 의해 주기적으로 촬영된 이미지(IMG)로부터 사용자(400)의 제스쳐를 인식하고(S100), 인식된 제스쳐의 깊이 정보에 기초하여 사용자(400)의 가상 평면(300)에 대한 터치 여부를 판단한다(S110).
인식된 제스쳐가 가상 평면(300)에 대한 터치인지 여부에 따라(S120), 인식된 제스쳐가 가상 평면(300)에 대한 터치일 때 공간 인식 장치(100)는 터치의 좌표 값(CV)에 대응되는 제어 신호(CS)를 호스트(200)로 출력하고(S130), 인식된 제스쳐가 가상 평면(300)에 대한 터치가 아닐 때 인식된 제스쳐를 무시한다(S140).
도 4는 도 1에 도시된 공간 인식 장치의 동작 방법의 일 실시 예를 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 공간 인식 장치(100)은 인식된 제스쳐의 제스쳐 정보(GI)에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내일 때 상기 제스쳐를 가상 평면(300-1)에 대한 터치로 판단할 수 있다.
구체적으로, 터치 판단 모듈(150)은 사용자 제스쳐 인식 모듈(130)로부터 수신된 제스쳐 정보(GI)에 포함된 제스쳐의 깊이 정보에 따라 사용자(400)가 가상 평면(300-1)을 터치하였는지 여부를 판단할 수 있다.
예컨대, 도 4에 도시된 사용자의 제스쳐(400-1 또는 400-3)는 가상 평면(300-1)의 기준 깊이 범위를 벗어나므로, 터치 판단 모듈(150)은 사용자의 제스쳐(400-1 또는 400-3)를 가상 평면(300-1)에 대한 터치로 인식하지 않고 무시할 수 있다.
도 4에 도시된 사용자의 제스쳐(400-2)는 가상 평면(300-1)의 기준 깊이 범위 이내이므로, 터치 판단 모듈(150)은 사용자의 제스쳐(400-2)를 가상 평면(300-1)에 대한 터치로 인식하고, 제스쳐(400-2)의 좌표 값(CV)을 제어 신호 생성 모듈(170)로 출력할 수 있다.
도 5는 도 1에 도시된 공간 인식 장치의 동작 방법의 다른 실시 예를 설명하기 위한 도면이다.
도 1 내지 도 3 및 도 5를 참조하면, 공간 인식 장치(100)은 인식된 제스쳐의 제스쳐 정보(GI)에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때 상기 제스쳐를 가상 평면(300-2)에 대한 터치로 판단할 수 있다.
구체적으로, 터치 판단 모듈(150)은 제스쳐의 깊이 정보와 높이 정보에 기초하여 상기 제스쳐의 각도 정보를 계산하고, 계산된 각도 정보가 기준 각도 범위 이내일 때 상기 제스쳐를 가상 평면(300-2)에 대한 터치로 판단할 수 있다.
예를 들어, 터치 판단 모듈(150)은 도 5에 도시된 사용자의 제스쳐(400-4)의 깊이 정보(d1)와 높이 정보(h1)에 기초하여 사용자의 제스쳐(400-4)의 각도(θ1)를 계산할 수 있다. 터치 판단 모듈(150)은 사용자의 제스쳐(400-4)의 각도(θ1)와 기준 각도 범위를 비교하고, 사용자의 제스쳐(400-4)의 각도(θ1)는 기준 각도 범위를 벗어나므로 사용자의 제스쳐(400-4)를 가상 평면(300-2)에 대한 터치로 인식하지 않고 무시할 수 있다.
다른 예를 들어, 터치 판단 모듈(150)은 도 5에 도시된 사용자의 제스쳐(400-5)의 깊이 정보(d2)와 높이 정보(h2)에 기초하여 사용자의 제스쳐(400-5)의 각도(θ2)를 계산할 수 있다. 터치 판단 모듈(150)은 사용자의 제스쳐(400-5)의 각도(θ2)와 기준 각도 범위를 비교하고, 사용자의 제스쳐(400-5)의 각도(θ2)는 기준 각도 범위 이내이므로 사용자의 제스쳐(400-4)를 가상 평면(300-2)에 대한 터치로 인식하고 사용자의 제스쳐(400-4)의 좌표 값을 제어 신호 생성 모듈(170)로 출력할 수 있다.
또 다른 예를 들어, 터치 판단 모듈(150)은 도 5에 도시된 사용자의 제스쳐(400-6)의 깊이 정보(d3)와 높이 정보(h3)에 기초하여 사용자의 제스쳐(400-6)의 각도(θ3)를 계산할 수 있다. 터치 판단 모듈(150)은 사용자의 제스쳐(400-6)의 각도(θ3)와 기준 각도 범위를 비교하고, 사용자의 제스쳐(400-6)의 각도(θ3)는 기준 각도 범위를 벗어나므로 사용자의 제스쳐(400-6)를 가상 평면(300-2)에 대한 터치로 인식하지 않고 무시할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 공간 인식 시스템
100; 공간 인식 장치
110; 센서
130; 사용자 제스쳐 인식 모듈
150; 터치 판단 모듈
170; 제어 신호 생성 모듈
200; 호스트
300; 가상 평면
400; 사용자

Claims (11)

  1. 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하고, 인식된 제스쳐에 대한 제스쳐 정보를 출력하는 사용자 제스쳐 인식 모듈;
    상기 제스쳐 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때 상기 제스쳐를 가상 평면에 대한 터치로 판단하고, 상기 제스쳐의 좌표 값을 출력하는 터치 판단 모듈; 및
    호스트의 화면에 디스플레이되고 있는 그래픽 유저 인터페이스(graphic user interface)의 좌표 정보와 상기 좌표 값을 비교하고, 비교 결과에 따라 상기 좌표 값에 대응되는 제어 신호를 상기 호스트로 출력하는 제어 신호 생성 모듈을 포함하는 공간 인식 장치.
  2. 제1항에 있어서,
    상기 제스쳐 정보는 상기 제스쳐의 깊이 정보, 각도 정보, 및 좌표 값 중에서 적어도 하나를 포함하는 공간 인식 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 터치 판단 모듈은 상기 제스쳐 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐를 제외하고는 상기 이미지의 변화가 없을 때 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하고, 상기 좌표 값을 출력하는 공간 인식 장치.
  6. 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하는 단계;
    상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때, 상기 제스쳐를 가상 평면에 대한 터치로 판단하는 단계; 및
    판단 결과에 따라, 상기 사용자가 상기 가상 평면을 터치한 때, 상기 제스쳐의 좌표 값에 대응되는 제어 신호를 호스트로 출력하는 단계를 포함하는 공간 인식 장치의 동작 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 판단하는 단계는,
    상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐를 제외하고는 상기 이미지의 변화가 없을 때, 상기 제스쳐를 상기 가상 평면에 대한 터치로 판단하는 단계를 포함하는 공간 인식 장치의 동작 방법.
  10. 제6항 또는 제9항에 기재된 공간 인식 장치의 동작 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 공간 인식 장치와 호스트를 포함하는 공간 인식 시스템에 있어서,
    상기 공간 인식 장치는 센서로부터 수신된 이미지로부터 사용자의 제스쳐(gesture)를 인식하고, 상기 제스쳐의 깊이 정보에 기초하여 상기 제스쳐의 깊이가 기준 깊이 범위 이내이고 상기 제스쳐의 각도가 기준 각도 범위 이내일 때, 상기 제스쳐를 가상 평면에 대한 터치로 판단하고, 판단 결과에 따라 상기 사용자가 상기 가상 평면을 터치한 때, 상기 제스쳐의 좌표 값에 대응되는 제어 신호를 호스트로 출력하며,
    상기 호스트는 상기 제어 신호에 응답하여 동작하는 공간 인식 시스템.
KR1020120062197A 2012-06-11 2012-06-11 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템 KR101424562B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120062197A KR101424562B1 (ko) 2012-06-11 2012-06-11 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062197A KR101424562B1 (ko) 2012-06-11 2012-06-11 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템

Publications (2)

Publication Number Publication Date
KR20130138530A KR20130138530A (ko) 2013-12-19
KR101424562B1 true KR101424562B1 (ko) 2014-07-31

Family

ID=49984224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062197A KR101424562B1 (ko) 2012-06-11 2012-06-11 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템

Country Status (1)

Country Link
KR (1) KR101424562B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090116543A (ko) * 2008-05-07 2009-11-11 전자부품연구원 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치
KR20120040211A (ko) * 2009-08-12 2012-04-26 시마네켄 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090116543A (ko) * 2008-05-07 2009-11-11 전자부품연구원 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치
KR20120040211A (ko) * 2009-08-12 2012-04-26 시마네켄 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체

Also Published As

Publication number Publication date
KR20130138530A (ko) 2013-12-19

Similar Documents

Publication Publication Date Title
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
JP5790238B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6549352B2 (ja) 機器の画面制御装置及び方法
EP2680110B1 (en) Method and apparatus for processing multiple inputs
US9519419B2 (en) Skinnable touch device grip patterns
CN109558061B (zh) 一种操作控制方法及终端
US20130106700A1 (en) Electronic apparatus and input method
CN110069178B (zh) 界面控制方法及终端设备
CN109857306B (zh) 截屏方法及终端设备
US9377901B2 (en) Display method, a display control method and electric device
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
US20110157015A1 (en) Method of generating multi-touch signal, dongle for generating multi-touch signal, and related control system
CN104333793A (zh) 一种手势遥控系统
CN108984099B (zh) 一种人机交互方法及终端
CN111190517B (zh) 分屏显示方法及电子设备
JP6235349B2 (ja) タッチ操作機能付表示装置
EP2804084A1 (en) Remote control method and remote control system of image display apparatus
CN110888569A (zh) 一种内容选择控制方法及电子设备
KR20210023434A (ko) 디스플레이장치 및 그 제어방법
CN106293064A (zh) 一种信息处理方法及设备
KR20160096645A (ko) 컴퓨팅 디바이스에 대한 장치의 결합
KR101424562B1 (ko) 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템
CN111327822B (zh) 一种控制摄像头移动的方法及电子设备
TWI547862B (zh) Multi - point handwriting input control system and method
KR101791222B1 (ko) 마우스 기능 제공 휴대 전자기기 및 그 운용 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee