KR20120096849A - 제스쳐를 이용한 입력 장치 및 방법 - Google Patents

제스쳐를 이용한 입력 장치 및 방법 Download PDF

Info

Publication number
KR20120096849A
KR20120096849A KR1020110016219A KR20110016219A KR20120096849A KR 20120096849 A KR20120096849 A KR 20120096849A KR 1020110016219 A KR1020110016219 A KR 1020110016219A KR 20110016219 A KR20110016219 A KR 20110016219A KR 20120096849 A KR20120096849 A KR 20120096849A
Authority
KR
South Korea
Prior art keywords
gesture
user
image
input
keyboard
Prior art date
Application number
KR1020110016219A
Other languages
English (en)
Other versions
KR101896947B1 (ko
Inventor
정우길
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110016219A priority Critical patent/KR101896947B1/ko
Priority to EP11859533.9A priority patent/EP2678756A4/en
Priority to PCT/KR2011/002943 priority patent/WO2012115307A1/en
Priority to US14/000,699 priority patent/US9836127B2/en
Publication of KR20120096849A publication Critical patent/KR20120096849A/ko
Application granted granted Critical
Publication of KR101896947B1 publication Critical patent/KR101896947B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

본 발명은 TV 등의 디스플레이 장치 또는 영상 처리 장치의 명령 입력 방법에 관한 것으로서, 종래의 마우스, 키보드 등의 입력 장치 대신에, 카메라를 사용하여 사용자의 손을 촬영하고, 손의 움직임을 인식하여 그에 따른 명령어를 입력하는 장치 및 방법에 관한 것이다.

Description

제스쳐를 이용한 입력 장치 및 방법{AN APPARATUS AND METHOD FOR INPUTTING COMMAND USING GESTURE}
본 발명은 제스쳐를 이용한 명령어 입력 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 TV 등의 디스플레이 장치 또는 영상 처리 장치의 명령 입력 방법에 관한 것으로서, 종래의 마우스, 키보드 등의 입력 장치 대신에, 카메라를 사용하여 사용자의 손을 촬영하고, 손의 움직임을 인식하여 그에 따른 명령어를 입력하는 장치 및 방법에 관한 것이다.
최근 스마트 TV 등의 복합 기능을 수행할 수 있는 디스플레이 장치 또는 영상 처리 장치에서는, 종래의 단순 리모컨으로는 사용자가 다양한 명령을 입력할 수 없으므로 새로운 입력 장치 또는 방법이 요구된다.
종래의 입력 장치인 키보드나 마우스는 TV가 주로 설치되는 거실에서 사용하기에 불편하고, USB 케이블 등의 유선 장치들은 거리 제한이 있거나 사용하기에 불편한 면이 있다.
본 발명은 스마트 TV 등의 복합 기능을 수행할 수 있는 디스플레이 장치 또는 영상 처리 장치를 위한 새로운 입력 방법을 제공하는 것을 목적으로 한다.
본 발명은 무선으로 사용자가 제스쳐를 사용하여 손쉽게 명령을 입력할 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따라, 제스쳐를 이용한 입력 장치가 제공된다. 상기 입력 장치는, 사용자의 제스쳐를 촬영하는 적어도 하나의 카메라; 제스쳐 인식 모드에서 제스쳐가 적용될 장치의 가상 이미지, 상기 촬영된 사용자의 제스쳐 이미지 및 상기 사용자의 제스쳐에 따른 피드백 이미지를 표시하고, 사용자의 제스쳐에 따른 명령을 실행하는 제어부; 및 상기 제어부의 동작을 실행시키기 위한 명령어 코드를 저장하는 저장부를 포함한다.
본 발명의 일 실시예에 따라, 사용자의 제스쳐를 이용한 입력 방법이 제공된다. 상기 입력 방법은, 사용자의 제스쳐를 촬영하는 단계; 제스쳐 인식 모드에서 제스쳐가 적용될 장치의 가상 이미지를 표시하는 단계; 상기 촬영된 사용자의 제스쳐 이미지를 표시하는 단계; 상기 사용자의 제스쳐에 따른 피드백 이미지를 표시하는 단계; 및 사용자의 제스쳐에 따른 명령을 실행하는 단계를 포함한다.
본 발명에 따르면, 복합 기능을 수행할 수 있는 디스플레이 장치 또는 영상 처리 장치에서, 사용자가 제스쳐를 이용하여 손쉽게 명령을 입력할 수 있다.
또한, 본 발명에 따르면 사용자가 자신의 손과 가상 키보드 또는 마우스에 대한 영상을 화면에 피드백으로 제공함으로써, 사용자가 보다 정확하게 의도된 명령을 입력할 수 있다.
또한, 본 발명에 따르면 복수의 카메라를 사용하여 제스쳐의 뎁스(depth)를 인식하여 인식률을 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따라, 사용자의 제스쳐를 이용하여 가상 키보드를 타이핑하는 방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 제스쳐를 사용한 입력 장치(10)의 구성을 나타내는 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라, 사용자의 제스쳐를 사용하여 가상 키보드에 타이핑하는 실시예를 나타낸다.
도 5 및 도 6은 본 발명의 일 실시예에 따라, 입력 장치(10)를 사용하여 마우스 입력을 수행하는 방법을 나타낸다.
도 7 및 도 8은 본 발명의 일 실시예에 따라 사용자의 제스쳐를 사용하여 전화 번호를 입력하는 방법을 나타낸다.
도 9는 본 발명의 일 실시예에 따라, 복수의 카메라(120)를 사용한 제스쳐 인식 방법을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 제스쳐를 이용한 입력 방법을 나타내는 순서도이다.
이하 도면을 참조하여 본 발명의 실시예들을 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따라, 사용자의 제스쳐를 이용하여 가상 키보드를 타이핑하는 방법을 나타낸다.
디스플레이(110)의 일측에는 적외선 카메라(110)가 장착되고, 적외선 카메라(110)은 디스플레이(110) 근처의 소정 검출 영역(115)에 진입한 물체의 이미지를 촬영할 수 있다.
디스플레이(110)를 제스쳐 인식 모드로 설정하면 화면에 가상 입력 장치, 예컨대 키보드 이미지(111)가 표시된다. 키보드 이미지(110)에는 키보드를 통해 입력된 값을 표시하는 입력창 이미지(112)가 표시될 수 있다. 키보드 이미지(110)와 입력창 이미지(112)는 반투명으로 표시될 수 있으며, 키보드 이미지(110)와 입력창 이미지(112)가 표시되어도, 디스플레이(110) 상에 표시되고 있는 컨텐츠, 예컨대 영화, 드라마, 인터넷 브라우징 화면은 사용자에게 보일 수 있다.
사용자가 손을 검출 영역(115)에 넣으면, 카메라(120)는 사용자의 손을 촬영하고, 사용자의 손 이미지(111)가 화면에 표시될 수 있다. 사용자의 손 이미지(111)도 반투명하게 표시될 수 있다. 이 상태에서 사용자는 허공에 키보드 타이핑하는 제스쳐를 취하면 그에 따라, 타이핑된 문자가 입력될 수 있다.
카메라(120)는 적외선 카메라일 수 있으며, 주위에 빛이 없어도 제스쳐 입력을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 제스쳐를 사용한 입력 장치(10)의 구성을 나타내는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 입력 장치(10)는 사용자의 제스쳐를 촬영하는 적어도 하나의 적외선 카메라(120), 제스쳐 인식 모드에서 제스쳐가 적용될 장치의 가상 이미지, 상기 촬영된 사용자의 제스쳐 이미지 및 상기 사용자의 제스쳐에 따른 피드백 이미지를 표시하고, 사용자의 제스쳐에 따른 명령을 실행하는 제어부(130), 상기 제어부(130)의 동작을 실행시키기 위한 명령어 코드를 저장하는 저장부(140), 사용자의 음성 입력을 수신하는 마이크(150) 및 상기 장치의 가상 이미지, 제스쳐 이미지, 피드백 이미지 등의 이미지를 표시하는 디스플레이(110)로 구성될 수 있다.
적외선 카메라(120)는 외장 카메라로서 입력 장치에 착탈식으로 연결될 수 있다. 적외선 카메라(120)는 내부에 적외선 조명부를 내장한다. 실시예에 따라서는, 가시광선 카메라를 사용할 수도 있다.
디스플레이(110)는 LCD, PDP 등 임의의 디스플레이 장치일 수 있으며, 입력 장치(10)와 일체화될 수도 있고, 외장형으로 입력 장치에 착탈식으로 연결될 수 있다.
제어부(130)는 저장부(140)에 저장된 소프트웨어에 따라 동작할 수 있으며, 입력 장치(10)의 전체 동작을 실행한다. 제어부(130)는 ASIC 또는 FPGA로 구현될 수 있다. 또한, 제어부(130)는 입력 장치(10)의 동작 만을 수행하는 임베디드 시스템으로 구현될 수도 있고, 저장부(140)에 저장된 소프트웨어에 따라 서로 다른 동작을 수행하는 범용 프로세서일 수도 있다.
저장부(140)는 제어부(130)를 동작시키기 위한 소프트웨어를 저장하며 이외에도, 사용자 데이터, 예컨대, 영화, 사진, 음악 등의 데이터가 저장될 수 있다.
마이크(150)는 사용자의 음성 입력을 수신한다. 후술하는 바와 같이, 사용자는 음성 입력을 통해 입력 장치(10)의 제스쳐 인식 모드를 활성화하거나, 제스쳐 인식 모드를 변경할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라, 사용자의 제스쳐를 사용하여 가상 키보드에 타이핑하는 실시예를 나타낸다. 도 3은 도 1에 도시된 디스플레이(110)의 화면을 보다 상세히 나타낸 것이다.
사용자는 음성 입력을 통해, 또는 리모컨 등을 통해 키보드 입력 모드를 실행시킬 수 있다. 예를 들어, 사용자가 "키보드 입력"이라고 말하면, 마이크(150)를 통해 음성이 입력되고, 제어부(130)는 음성 처리를 통해 명령을 인식하여 키보드 입력 모드를 실행할 수 있다. 키보드 입력 모드가 실행되면, 도 3과 같이 디스플레이(110)에 키보드의 가상 이미지(111)와 입력된 값을 표시하는 입력창(112)이 표시될 수 있다. 키보드의 가상 이미지(111)와 입력창(112)는 반투명으로 표시될 수 있다. 또한, 화면의 일측에 키보드 입력 모드임을 표시하는 인디케이터(119)가 표시될 수 있다.
도 1에서 사용자가 손을 검출 영역(115)에 넣으면, 도 4와 같이 손 이미지(113)가 화면에 표시될 수 있다. 손 이미지(113)도 반투명으로 표시될 수 있다. 사용자가 손가락을 움직이면, 손 이미지(113)의 손가락도 움직이므로, 사용자는 가상 키보드 이미지(111)와 손 이미지(113)를 통해 자신의 손가락이 키보드 중 어느 키에 위치하는지를 눈으로 확인할 수 있다.
사용자가 키보드 이미지(111) 상에서 자신의 손가락 위치를 잘 인식할 수 있도록 하기 위해, 손가락들이 놓인 위치에 해당하는 키보드는 포커스 온 이미지(115)로 표시할 수 있다. 예를 들어, 사용자의 손가락 중 하나가 키보드 상의 "r"에 해당하는 위치에 있다면, 도 4와 같이 "r"을 포커스온하여 표시할 수 있다.
도 4에서는 한 손가락이 위치하는 키에 대해서만 표시되어 있지만, 열 손가락 모두의 위치를 포커스온 이미지로 표시할 수 있다.
입력 장치(10)의 제어부(130)는 카메라(120)를 통해 촬영되는 사용자의 손 이미지(115)에서, 이미지 처리를 통해 손가락의 위치를 인식할 수 있고, 손가락 위치와 키보드 이미지(115)의 위치를 비교하여 키보드 이미지(115) 상에서의 손가락 위치를 인식할 수 있다.
입력 장치(10)의 제어부(130)는 손 이미지(115)에서 각 손가락 관절의 위치에 포인트를 설정하고, 각 포인트의 움직임에 따라 손가락의 움직임을 인식할 수 있다.
손가락의 위치를 인식하는 알고리즘은 위와 같은 방식 외에도 공지된 다양한 이미지 처리 알고리즘이 사용될 수 있다.
사용자가 키버튼을 누르는 제스쳐를 취하면 그에 따라 키입력이 실행될 수 있다. 예컨대, 사용자가 도 4에 도시된 상태에서, 손가락 중 하나를 구부리면, 제어부(130)는 카메라(130)에 촬영된 이미지로부터 사용자의 손이 구부러짐을 인식하고, 그에 따라, 손가락의 위치에 해당하는 키입력을 실행할 수 있다.
위와 같은 구성에 따라, 사용자는 키보드 이미지(110)와 손 이미지(115)를 보면서 키입력을 수행하므로, 별도의 리모컨이나 무선 키보드가 없이도 키보드 입력을 수행할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따라, 입력 장치(10)를 사용하여 마우스 입력을 수행하는 방법을 나타낸다.
사용자는 음성 입력 또는 리모컨을 통해 마우스 입력 모드를 실행시킬 수 있다. 마우스 입력 모드가 실행되면 도 5와 같이 마우스의 가상 이미지(123)가 화면에 표시될 수 있다. 또한, 화면의 일측에 마우스 입력 모드임을 나타내는 인디케이터(125)가 표시될 수 있다.
사용자가 검출 영역(115)에 손(121)을 집어넣으면, 도 6과 같이 화면 상에 손 이미지(122)가 표시될 수 있다. 사용자는 마우스의 가상 이미지(123)와 자신의 손 이미지(122)를 보면서 마우스 이미지(123) 상의 자신의 손의 위치를 교정할 수 있다. 마우스 이미지(123)와 손 이미지(122)는 반투명하게 표시될 수 있다.
*사용자가 마우스 이미지(123)를 잡은 제스쳐를 취하면 손 이미지(122)가 마우스 이미지(123)를 잡은 상태가 되고, 사용자가 손을 이동시키면, 포인터(124)가 이동한다.
사용자가 마우스를 우클릭 또는 좌클릭하는 제스쳐를 취하면, 손이 마우스를 우클릭 또는 좌클릭하는 이미지가 표시되고, 클릭에 따른 동작이 실행된다.
실시예에 따라서는, 사용자의 손가락이 마우스의 좌버튼 또는 우버튼 상에 놓이면, 마우스의 좌버튼 또는 우버튼을 포커스온하여 좌버튼 또는 우버튼을 확대하여 표시하거나, 하이라이트하여 표시할 수 있다. 포커스온 된 상태에서 사용자가 클릭하는 제스쳐를 취하면 클릭에 해당하는 명령을 실행할 수 있다.
키보드 입력 모드와 마찬가지로, 입력 장치(10)의 제어부(130)는 사용자 손의 이미지와 마우스 이미지의 위치를 비교하여 사용자의 손의 움직임을 인식할 수 있고, 또한, 사용자 손가락 관절에 포인트를 설정하고, 설정된 포인트의 움직임에 따라 손가락의 움직임을 인식할 수 있다.
전술한 실시예에서는, 키보드 입력 모드와 마우스 입력 모드를 따로 설명하였으나, 키보드와 마우스의 가상 이미지를 모두 표시하고, 사용자의 손의 위치 및 움직임에 따라, 키보드와 마우스를 동시에 입력할 수 있는 입력 모드도 제공될 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따라 사용자의 제스쳐를 사용하여 전화 번호를 입력하는 방법을 나타낸다. 최근의 스마트 TV 등 디스플레이 장치에서는 음성 전화 또는 영상 전화 기능을 지원하는 제품들이 많이 연구개발되고 있고, 이들 장치들에 본 실시예가 적용될 수 있을 것이다.
사용자는 음성 입력을 통해 전화 모드를 실행할 수 있고, 전화 모드가 실행되면, 도 7과 같이 키패드(131)와 입력된 번호를 표시하는 입력창(132)이 표시될 수 있다. 키패드(131)와 입력창(132)은 모두 반투명하게 표시될 수 있다.
이 상태에서, 사용자가 카메라(120)의 검출 영역에 손가락을 집어 넣으면 도 8과 같이 손가락 이미지(134)가 표시될 수 있다. 사용자가 손가락의 위치를 이동시키면 손가락 이미지(134)도 이동되고, 손가락 끝의 위치에 해당하는 키버튼은 포커스온되어 손가락 끝의 위치를 표시할 수 있다. 예를 들어, 손가락 끝의 위치가 키패드의 "8"에 해당하면, "8"이 포커스온되어 표시될 수 있다.
사용자가 키패드를 누르는 제스쳐를 취하면, 손가락 위치에 해당하는 버튼이 입력될 수 있다. 입력된 값은 입력창(132)에 표시될 수 있다. 이런 방식으로 사용자는 전화를 걸 수도 있고, 기타 전화 기능을 모두 사용할 수 있다.
본 발명의 일 실시예에 따라, 카메라(120)를 복수개 사용하여 사용자의 제스쳐 인식률을 개선할 수 있다.
도 9를 참조하면, 디스플레이(110)의 상부 또는 임의의 위치에 2개의 카메라(120a,120b)를 설치할 수 있다. 카메라(120a,120b)는 각각 사용자의 손(114)을 촬영할 수 있고, 촬영된 이미지들은 제어부(130)에 의해 처리되어 손(114)의 위치를 보다 정확하게 측정할 수 있다. 두개 이상의 카메라를 사용하면, 스테레오 카메라로 사용할 수 있으므로, 입체 영상을 추출할 수 있고, 손가락의 움직임을 보다 정확하게 인식할 수 있다. 또한, 디스플레이(110)의 수직방향에 대한 움직임, 즉 뎁스(depth)를 보다 정확하게 측정하여, 제스쳐를 인식할 수 있다.
도 10은 본 발명의 일 실시예에 따른 제스쳐를 이용한 입력 방법을 나타내는 순서도이다.
단계(S11)에서 사용자는 음성 입력 또는 리모컨 또는 기타 임의의 방식으로 제스쳐 인식 모드에 진입할 수 있다. 제스쳐 인식 모드는 전술한 키보드 입력 모드, 마우스 입력 모드 또는 전화 번호 입력 모드일 수 있다.
제스쳐 입력 모드가 실행되면 단계(S12)에서 제스쳐가 적용될 입력 장치의 이미지를 표시할 수 있다. 입력 장치의 이미지는 키보드, 마우스 또는 전화 번호 키패드 이미지일 수 있다.
단계(S13)에서 사용자가 검출 영역에 손을 집어넣으면, 손의 이미지가 표시될 수 있다. 단계(S14)에서 사용자가 손을 이동시키면, 손의 이동에 따라 손가락의 위치에 해당하는 키버튼을 포커스 온 등의 방식으로 표시하여, 손가락의 위치를 피드백으로 제공할 수 있다.
단계(S15)에서 사용자가 키버튼을 누르거나, 마우스를 클릭하는 등의 제스쳐를 취하면, 해당 키버튼 또는 마우스 클릭에 해당하는 명령을 실행할 수 있다.
이상 본 발명을 몇가지 실시예들을 통해 설명하였으나, 이들 실시예에는 다양한 변형이 가해질 수 있다. 또한, 본 발명의 범위는 설명된 실시예들로 한정되지 않고, 이들의 변형예에 모두를 포함한다.
10 : 입력 장치
110 : 디스플레이
120 : 적외선 카메라
140 : 저장부
150 : 마이크

Claims (10)

  1. 제스쳐를 이용한 입력 장치에 있어서,
    사용자의 제스쳐를 촬영하는 적어도 하나의 카메라;
    제스쳐 인식 모드에서 제스쳐가 적용될 장치의 가상 이미지, 상기 촬영된 사용자의 제스쳐 이미지 및 상기 사용자의 제스쳐에 따른 피드백 이미지를 표시하고, 사용자의 제스쳐에 따른 명령을 실행하는 제어부; 및
    상기 제어부의 동작을 실행시키기 위한 명령어 코드를 저장하는 저장부를 포함하는 입력 장치.
  2. 제1항에 있어서,
    상기 이미지들을 출력하는 디스플레이를 더 포함하는 입력 장치.
  3. 제1항에 있어서,
    상기 피드백 이미지는 사용자의 손이 놓인 위치에 해당하는 키보드를 포커스온(focus-on)하는 이미지인 입력 장치.
  4. 제1항에 있어서,
    사용자의 음성 입력을 수신하는 마이크를 더 포함하고,
    상기 제어부는 상기 마이크를 통한 음성 입력에 따라 상기 제스쳐 모드를 활성화 또는 변경하는 입력 장치.
  5. 제1항에 있어서,
    상기 카메라는 적외선 카메라인 입력 장치.
  6. 제1항에 있어서,
    상기 제스쳐가 적용될 장치는, 키보드, 마우스, 전화번호 키패드 중 적어도 하나를 포함하는 입력 장치.
  7. 사용자의 제스쳐를 이용한 입력 방법에 있어서,
    사용자의 제스쳐를 촬영하는 단계;
    제스쳐 인식 모드에서 제스쳐가 적용될 장치의 가상 이미지를 표시하는 단계;
    상기 촬영된 사용자의 제스쳐 이미지를 표시하는 단계;
    상기 사용자의 제스쳐에 따른 피드백 이미지를 표시하는 단계; 및
    사용자의 제스쳐에 따른 명령을 실행하는 단계를 포함하는 입력 방법.
  8. 제7항에 있어서,
    상기 피드백 이미지는 사용자의 손이 놓인 위치에 해당하는 키보드를 포커스온(focus-on)하는 이미지인 입력 방법.
  9. 제7항에 있어서,
    사용자의 음성 입력을 수신하는 단계; 및
    상기 수신된 음성 입력에 따라 상기 제스쳐 모드를 활성화 또는 변경하는 단계를 더 포함하는 입력 방법.
  10. 제9항에 있어서,
    상기 제스쳐 모드는 키보드 모드, 마우스 모드 및 전화번호 키패드 모드 중 적어도 하나를 포함하는 입력 방법.
KR1020110016219A 2011-02-23 2011-02-23 제스쳐를 이용한 입력 장치 및 방법 KR101896947B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110016219A KR101896947B1 (ko) 2011-02-23 2011-02-23 제스쳐를 이용한 입력 장치 및 방법
EP11859533.9A EP2678756A4 (en) 2011-02-23 2011-04-22 DEVICE AND METHOD FOR ENTERING COMMUNICATIONS VIA GESTURES
PCT/KR2011/002943 WO2012115307A1 (en) 2011-02-23 2011-04-22 An apparatus and method for inputting command using gesture
US14/000,699 US9836127B2 (en) 2011-02-23 2011-04-22 Apparatus and method for inputting command using gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110016219A KR101896947B1 (ko) 2011-02-23 2011-02-23 제스쳐를 이용한 입력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120096849A true KR20120096849A (ko) 2012-08-31
KR101896947B1 KR101896947B1 (ko) 2018-10-31

Family

ID=46721065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110016219A KR101896947B1 (ko) 2011-02-23 2011-02-23 제스쳐를 이용한 입력 장치 및 방법

Country Status (4)

Country Link
US (1) US9836127B2 (ko)
EP (1) EP2678756A4 (ko)
KR (1) KR101896947B1 (ko)
WO (1) WO2012115307A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414577B1 (ko) * 2012-11-12 2014-07-03 한남대학교 산학협력단 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법
KR20180030979A (ko) * 2018-03-20 2018-03-27 한국과학기술원 헤드 마운트 디스플레이 장치를 이용한 맞춤형 가구 디자인 방법 및 헤드 마운트 디스플레이 장치
US9965039B2 (en) 2013-12-23 2018-05-08 Samsung Electronics Co., Ltd. Device and method for displaying user interface of virtual input device based on motion recognition
US10191554B2 (en) 2014-03-14 2019-01-29 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
CN109947247A (zh) * 2019-03-14 2019-06-28 海南师范大学 一种体感交互展示系统及方法
KR102068361B1 (ko) * 2018-10-31 2020-01-21 지강진 차량 계기판 확대 디스플레이 시스템
KR20210011046A (ko) * 2013-12-23 2021-01-29 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
JP5929698B2 (ja) * 2012-10-17 2016-06-08 ソニー株式会社 通信システムおよびプログラム
SE536989C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad återkoppling i ett beröringsfritt användargränssnitt
WO2014126491A1 (ru) * 2013-02-13 2014-08-21 Sherbakov Andrei Yuryevich Способ ввода информации и управления устройством
KR102100184B1 (ko) * 2013-02-18 2020-04-13 삼성전자주식회사 디스플레이 장치
KR102040288B1 (ko) 2013-02-27 2019-11-04 삼성전자주식회사 디스플레이 장치
US20140380223A1 (en) * 2013-06-20 2014-12-25 Lsi Corporation User interface comprising radial layout soft keypad
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
WO2015052588A2 (en) * 2013-10-10 2015-04-16 Itay Katz Systems, devices, and methods for touch-free typing
KR20150087666A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 휴대 단말의 입력 인터페이스 제공 방법 및 그 장치
DE102014202834A1 (de) * 2014-02-17 2015-09-03 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum berührungslosen Bedienen eines in Hardware ausgestalteten Bedienelementes in einem 3D-Gestenmodus
KR20150101703A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 디스플레이 장치 및 제스처 입력 처리 방법
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN105630204A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 鼠标模拟系统及方法
GB2534386A (en) * 2015-01-21 2016-07-27 Kong Liang Smart wearable input apparatus
DE102015210657B4 (de) * 2015-06-11 2017-05-24 Volkswagen Aktiengesellschaft Verfahren zur Erkennung einer Stellbewegung eines auf einer Anzeigefläche befindlichen Stellelementes in einem Kraftfahrzeug und Vorrichtung zur Durchführung des Verfahrens
TWI570596B (zh) * 2015-06-22 2017-02-11 廣達電腦股份有限公司 光學輸入方法以及使用該方法之光學虛擬滑鼠
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
CN107562205B (zh) * 2017-09-15 2021-08-13 上海展扬通信技术有限公司 一种智能终端的投影键盘及该投影键盘的操作方法
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
US10732725B2 (en) * 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
EP4004695A4 (en) 2019-09-18 2022-09-28 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN111443831A (zh) * 2020-03-30 2020-07-24 北京嘉楠捷思信息技术有限公司 一种手势识别方法及装置
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4325345A1 (en) 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20090031240A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Item selection using enhanced control

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
KR20080073872A (ko) * 2007-02-07 2008-08-12 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 이를 이용한정보 입력 방법
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
WO2010042880A2 (en) 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
US8739055B2 (en) * 2009-05-07 2014-05-27 Microsoft Corporation Correction of typographical errors on touch displays
CN101963840B (zh) * 2009-07-22 2015-03-18 罗技欧洲公司 用于远程、虚拟屏幕输入的系统和方法
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20090031240A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Item selection using enhanced control

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414577B1 (ko) * 2012-11-12 2014-07-03 한남대학교 산학협력단 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법
US9965039B2 (en) 2013-12-23 2018-05-08 Samsung Electronics Co., Ltd. Device and method for displaying user interface of virtual input device based on motion recognition
KR20210011046A (ko) * 2013-12-23 2021-01-29 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US10191554B2 (en) 2014-03-14 2019-01-29 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
KR20180030979A (ko) * 2018-03-20 2018-03-27 한국과학기술원 헤드 마운트 디스플레이 장치를 이용한 맞춤형 가구 디자인 방법 및 헤드 마운트 디스플레이 장치
KR102068361B1 (ko) * 2018-10-31 2020-01-21 지강진 차량 계기판 확대 디스플레이 시스템
CN109947247A (zh) * 2019-03-14 2019-06-28 海南师范大学 一种体感交互展示系统及方法
CN109947247B (zh) * 2019-03-14 2022-07-05 海南师范大学 一种体感交互展示系统及方法

Also Published As

Publication number Publication date
US20130328769A1 (en) 2013-12-12
US9836127B2 (en) 2017-12-05
EP2678756A4 (en) 2015-12-16
KR101896947B1 (ko) 2018-10-31
EP2678756A1 (en) 2014-01-01
WO2012115307A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
KR101896947B1 (ko) 제스쳐를 이용한 입력 장치 및 방법
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
US9389779B2 (en) Depth-based user interface gesture control
KR101184460B1 (ko) 마우스 포인터 제어 장치 및 방법
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
CN109155821A (zh) 相机的可移动用户界面快门按钮
CN102033702A (zh) 影像显示装置及其显示控制方法
US8416189B2 (en) Manual human machine interface operation system and method thereof
JP2012252584A (ja) 仮想キーボード入力方法
JP2013114647A (ja) ジェスチャー入力システム
CN103543825B (zh) 摄像机光标系统
US10437415B2 (en) System, method, and device for controlling a display
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
JP6397508B2 (ja) 個人用入力パネルを生成する方法および装置
JP5928628B2 (ja) 仮想キーボード入力方法
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
KR101348763B1 (ko) 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP5676959B2 (ja) 情報処理装置及びその制御方法
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
JP2016122475A (ja) 仮想キーボードを有する情報装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant