KR101711619B1 - 컴퓨터 장치의 원격 제어 - Google Patents

컴퓨터 장치의 원격 제어 Download PDF

Info

Publication number
KR101711619B1
KR101711619B1 KR1020127009974A KR20127009974A KR101711619B1 KR 101711619 B1 KR101711619 B1 KR 101711619B1 KR 1020127009974 A KR1020127009974 A KR 1020127009974A KR 20127009974 A KR20127009974 A KR 20127009974A KR 101711619 B1 KR101711619 B1 KR 101711619B1
Authority
KR
South Korea
Prior art keywords
hand
image
computer
user
computer device
Prior art date
Application number
KR1020127009974A
Other languages
English (en)
Other versions
KR20120085774A (ko
Inventor
나다브 그로싱거
이스라엘 그로싱거
니타이 로마노
Original Assignee
페블스텍 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페블스텍 리미티드 filed Critical 페블스텍 리미티드
Publication of KR20120085774A publication Critical patent/KR20120085774A/ko
Application granted granted Critical
Publication of KR101711619B1 publication Critical patent/KR101711619B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

본 발명은 컴퓨터 장치의 원격 핸드 제어 장치에 있어서, 상기 장치는 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하기 위한 핸드 트래커와, 제 1 이미지를 트래킹된 움직임에 따라 이동시키고 상기 손을 나타내는 제 1 이미지와 상기 사용자의 제 2 이미지를 나타내도록 구성되어 상기 핸드 트래커에 결합된 이미지 표시기와, 상기 제 1 이미지와 상기 제 2 이미지 사이에서 상호 작용함에 따라 상기 컴퓨터 장치를 제어하도록 구성되고 상기 이미지 표시기에 결합된 컴퓨터 제어기를 구비하고, 이에 의해 상기 제 1 이미지와 상기 제 2 이미지가 상호 작용하도록 손을 움직여서 사용자가 컴퓨터 장치를 제어를 허용하게 된다.

Description

컴퓨터 장치의 원격 제어{REMOTE CONTROL OF COMPUTER DEVICES}
본 발명은 컴퓨터 장치의 제어, 특히 컴퓨터 장치의 원격 제어 시스템 및 방법에 관한 것이다.
근래에, 컴퓨터 장치를 원격 제어하는 여러 가지의 방법이 제안되어 있다. 현재 사용되는 몇 가지 방법은 컴퓨터 사용자가 사용자의 팔이나 다리와 같은 하나 이상의 신체 부분을 이용하여 미리 정해진 제스처로 컴퓨터 장치를 제어할 수 있다.
현재 사용되고 있는 방법으로서는, 확실한 제스처 설정이 규정되어 있다. 일단 사용자의 신체 부분이 미리 정해진 위치에 정렬되면, 제스처가 감지된다. 따라서, 컴퓨터 장치는 미리 정해진 기능이 수행된다.
현재의 방법으로서는 각 제스처가 일단 감지되면 특정 제스처에 대하여 미리 정해진 액션을 컴퓨터가 실행한다. 현재의 방법은 초기 셋업 단계를 통상적으로 포함한다. 셋업 단계에 있어서, 확실한 설정의 제스처가 규정되어 있고 컴퓨터는 상기 세트의 특정 제스처에 대한 기능을 수행한다.
제스처는 현재 사용되는 여러 가지의 방법을 통하여 감지될 수도 있다.
예를 들면, 몇몇 현재의 방법은 디지털 비디오 스트림으로부터의 정규적인 분석을 포함한다. 비디오 이미지는 지배적인 신체 부분의 위치와 현재 위치를 감지하도록 분석된다. 신체 부분이 특정 위치에 정렬되면, 미리 결정된 기능이 컴퓨터 장치에 의해 실행된다.
정상적인 이미지 분석법에 의해, 신체 부분의 감지는 비디오 이미지의 각 화소의 분석에 의해 행해진다. 화소는 그 화소의 색도와 상기 화소에 근접한 다른 화소의 색도의 비교에 의해 분석된다. 말하자면, 정규적인 미이지 분석법은 신체 부분과 배경 물체 사이의 색도의 주요한 차이에 따라 달라진다.
현재 사용되는 다른 방법은 3차원적 심도맵의 심도 높은 계산에 기초하여 이루어진다.
심도맵은 각 화소 내의 이미지와 심도 카메라의 전방에 위치하는 물체 부분까지의 거리로 유지한다. 3차원적 심도맵으로서, 사용자 손의 위치 추출은 손은 통상적으로 사용자 신체의 전방에 위치하기 때문에 비교적 용이하게 할 수 있다. 따라서, 3차원적 맵의 부분은 일정 거리를 초과하는 거리에 위치되고 이는 무시할 수 있다.
심도맵은 여러 가지 방법을 이용하여 계산할 수 있다. 예를 들면, 입체시 방법에 있어서, 두 개 이상의 카메라가 사용자의 신체의 이미지를 포착하기 위하여 사용될 수도 있다. 카메라로 포착한 물체의 이미지는 사용자의 신체의 표면의 각각의 점의 심도 깊이의 3차원적 데이터를 생성하기 위하여 비교되고 분석되어 심도맵이 생성된다.
음영 형상법에서, 사용자의 신체는 여러 방향으로 빛난다.
신체의 음영은 사용자의 신체의 표면의 각각의 점의 심도 깊이의 3차원적 데이터를 생성하기 위하여 비교되고 분석되어 심도맵이 생성된다.
본 발명은 컴퓨터 장치의 제어, 특히 컴퓨터 장치의 원격 제어 시스템 및 방법을 제공하는 데 있다.
본 발명의 제 1 양태에 따라서, 컴퓨터 장치의 원격 핸드 제어 장치가 제공되는 데, 상기 장치는: 컴퓨터 장치의 사용자의 손의 움직임을 추적하는 핸드 트래커와, 트래커 이동에 따라 처음 20 이미지를 이동시키기 위하여 손을 나타내는 제 1 이미지와 사용자에 대한 제 2 이미지를 나타내는 핸드 트래커에 결합된 이미지 표시기와, 제 1 이미지와 제 2 이미지가 상호 작용하여 손을 움직이게 하여 사용자가 컴퓨터 장치를 제어하도록 제 1 이미지와 제 2 이미지 사이에서의 상호 작용에 따라 컴퓨터 장치를 제어하도록 구성되어 이미지 표시기와 결합된 컴퓨터 제어기를 구비한다.
본 발명의 제 2 양태에 따라서, 프로그램된 컴퓨터 장치가 실행되는 단계를 구비한 컴퓨터 장치의 원격 핸드 제어 방법이 제공되는 데, 상기 방법은: 손을 나타내는 제 1 이미지와 사용자의 제 2 이미지를 나타내는 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하고, 트래킹된 움직임에 따라 제 1 이미지가 움직이고, 제 1 이미지와 제 2 이미지 사이에서의 상호 작용에 따라 컴퓨터 장치를 제어하는 단계를 포함하고, 이에 의해 컴퓨터 장치가 제 1 이미지와 제 2 이미지가 상호 작용하도록 손을 움직여 사용자가 컴퓨터 장치를 제어한다.
본 발명의 제 3 양태에 따라서, 컴퓨터 장치의 원격 핸드 제어 단계를 실행하는 컴퓨터가 판독가능한 매체 저장 컴퓨터를 제공하는 데, 상기 단계는: 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하고, 손을 나타내는 제 1 이미지와 사용자의 제 2 이미지를 나타내고, 트래킹된 움직임에 따라 제 1 이미지를 움직이고, 제 1 이미지와 제 2 이미지의 상호 작용에 따라 컴퓨터 장치를 제어하는 단계를 포함하고, 이에 의해 컴퓨터 장치가 제 1 이미지와 제 2 이미지가 상호 작용하도록 손을 이동시켜 사용자가 컴퓨터 장치를 제어한다.
본원에 특별히 정의되지 않은 한, 본원에 사용된 모든 기술 용어 및 과학 용어는 본원에 속하는 통상의 기술자에게 같은 공통적인 의미로 사용된다. 본원에 제공된 재료, 방법, 실시예는 본원을 한정하는 것이 아니라 예증만을 목적으로 한다는 것을 이해하여야 한다.
본 발명의 방법 및 시스템의 실행은 어떤 선택된 임무 또는 단계를 수동으로, 자동으로 또는 이들의 조합으로 실행 또는 완성되는 것을 포함한다. 더욱이, 본 발명의 방법 및 시스템의 양호한 실시예의 실제적인 장비 및 설비에 따라 몇 개의 선택된 단계는 펌웨어의 오퍼레이팅 시스템의 소프트웨어와 하드웨어 또는 이들의 조합으로 실행된다.
예를 들면, 본 발명에서 선택된 단계에서 하드웨어로서 칩 또는 회로로 실행될 수 있다. 본 발명에서 선택된 단계에서 소프트웨어로서 적절한 오퍼레이팅 시스템을 사용하여 컴퓨터에 의해 실행되는 복수의 소프트웨어로서 실행된다. 어떤 경우에든, 본 발명의 선택된 방법의 단계와 시스템은 복수의 명령을 실행하기 위한 컴퓨터 플랫폼과 같은 데이터 프로세서에 의해 실행될 수 있다.
본 발명은 첨부된 도면을 참조하여 예증의 방법으로 기술한다. 도면을 상세히 참조하여 특정 참조를 예증의 방법으로 설명하고 본 발명의 바람직한 실시예의 예증적인 목적을 기술하고 가장 유용하다고 믿고 본 발명의 주요 원리와 개념을 쉽게 이해시키기 위함이다. 상세한 설명을 도면과 함께 읽으면 본 발명의 실시형태를 쉽게 이해할 수 있으며 여러 실시예로 실시될 수 있다는 것을 이해할 수 있을 것이다.
도 1은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어 장치를 도식적으로 도시한 블럭 다이어그램이다.
도 2는 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어 방법을 도시한 흐름도이다.
도 3은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어 단계를 실행하기 위한 컴퓨터 판독가능 명령을 개략적으로 도시한 블럭 다이어그램이다.
도 4는 본 발명의 예증적인 실시예에 따른 광 패턴을 가지고 투사된 손을 개략적으로 도시한 도면이다.
도 5는 본 발명의 예증적인 실시예에 따른 강도 표기를 가진 광패턴을 가지고 투사된 손을 개략적으로 도시한 도면이다.
도 6은 본 발명의 예증적인 실시예에 따른 컴퓨터 키보드의 이미지를 사용하여 컴퓨터 장치의 원격 핸드 제어를 개략적으로 도시한 블럭 다이어그램이다.
도 7은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 제 1 제스처를 개략적으로 도시한 블럭 다이어그램이다.
도 8은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 제 2 제스처를 개략적으로 도시한 블럭 다이어그램이다.
도 9는 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 제 3 제스처를 개략적으로 도시한 블럭 다이어그램이다.
도 10은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 제 4 제스처를 개략적으로 도시한 블럭 다이어그램이다.
도 11은 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 시스템을 개략적으로 도시한 블럭 다이어그램이다.
본 실시예는 컴퓨터 장치의 원격 핸드 제어용 장치 및 방법을 포함한다.
본 발명의 에증적인 실시예에 따라서, 컴퓨터 장치의 사용자의 신체의 움직임이 계속적으로 트래킹된다.
사용자는 손을 나타내는 제 1 이미지와 제 2 이미지를 나타낸다.
제 1 이미지는 스크린에 사용자 손의 정확한 동영상의 모든 이미지가 나타난다. 다르게는, 제 1 이미지는 손의 손가락 끝의 위치를 나타내는 5개의 커서로 이루어져 있다. 하기에 더욱 상세히 설명된 바와 같이, 제 1 이미지는 제 2 이미지에 대하여 손가락(즉, 손가락, 엄지 손가락 또는 이들 둘)의 위치에 관하여 사용자의 정보를 나타내는 다른 시각적 표현을 가질 수도 있다.
사용자가 그의 손(또는 그의 손가락 또는 엄지 손가락만)을 움직임에 따라, 제 1 이미지는 트래킹된 움직임과 같이 움직인다. 즉, 제 1 이미지의 움직임은 사용자의 손의 움직임과 상관 관계를 가진다. 사용자가 그의 손을 왼쪽으로 움직이면, 제 1 이미지는 왼쪽으로 움직인다. 사용자가 그의 손가락 중 하나를 구부리면, 제 1 이미지도 손가락 등과 같이 구부러진다(또는 손가락의 끝의 위치를 나타내는 커서가 따라 움직인다).
선택적으로, 제 2 이미지는 버튼과 메뉴 옵션, 하이퍼링크를 가진 웹페이지, 버튼 등을 가지는 마이크로 소프트사의 엑셀 스프레드시트와 같은 컴퓨터의 그래픽 유저 인터페이스(GUI)이다.
컴퓨터 장치는 제 1 이미지가 사용자 자신의 손에 있고 제 2 이미지가 자신의 손가락으로 스크린을 터치함으로서 GUI메뉴, 버튼 등과 상호 작용하도록 하여 터치 스크린 상에 나타나는 GUI처럼 제 1 이미지와 제 2 이미지 사이의 상호작용에 의해 제어된다.
말하자면, 사용자는 제 1 이미지와 제 2 이미지가 상호 작용하게 하기 위하여 사용자의 손이나 손가락을 움직여 컴퓨터 장치를 제어할 수 있게 된다.
선택적으로, 제 2 이미지는 오히려 컴퓨터 입력 장치(말하자면, 종래 기술에서 공지된 컴퓨터 키보드, 컴퓨터 마우스, 조이스틱 등)의 이미지 표현이다. 사용자는 제 1 이미지와 제 2 이미지가 상호 작용하도록 하기 위하여 사용자의 손을 움직여서 컴퓨터 장치를 제어할 수 있다.
따라서, 사용자의 손을 움직여서 컴퓨터 장치를 원격 제어하는 것은 미리 정해진 일련의 특정 제스처(특정 제스처를 통하여 정해질 수도 있다)에 한정된 인터페이스보다는 연속적인 사용자 인터페이스에 기초한다.
하나의 예로서, 사용자가 그의 손을 움직이면, 제 1 이미지는 컴퓨터 키보드 의 이미지 위로 움직이고 사용자가 그의 손을 타이핑 운동으로 움직이면 컴퓨터 장치는 하기에 상세히 설명된 바와 같이, 진짜 키보드를 사용하여 타이핑하는 것처럼 반응한다.
본 발명의 예증적인 실시예에 따른 방법 및 장치의 원리 및 동작을 첨부된 도면과 설명을 참조하면 더욱 잘 이해할 것이다.
본 발명의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 하기 설명 또는 도면에 도시된 성분의 배열과 상세한 구성에 한정되지 않는다는 것을 이해하여야 한다.
본 발명은 다른 실시예로 실시할 수 있거나 실시될 수 있는 여러 가지 방법을 실시할 수 있다. 또한, 본원에 사용된 용어나 단어는 기술하기 위한 목적이지 한정하기 위한 것이 아니다.
도 1을 참조하면, 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어 장치를 개략적으로 도시한 블럭 다이어그램이다.
장치(1000)는 컴퓨터 장치에서 실시되는데, 컴퓨터 장치는 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대형 전화기 등 일수도 있다. 장치(1000)는 컴퓨터 장치에 연결할 수 있는 장치에서 실시되거나, 컴퓨터 장치와 통신할 수 있는 컴퓨터 프로세서를 가진 유니트 상에서 실시될 수 있다. 또한, 장치(1000)는 소프트웨어로서, 하드웨어로서, 또는 소프트웨어와 하드웨어의 결합으로서 실시될 수도 있다.
장치(1000)는 핸드 트래커(110)를 포함한다.
핸드 트래커(110)는 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하고, 하기에 더욱 상세히 설명된 바와 같이, 손의 이미지는 손가락과 엄지 손가락의 미세한 움직임을 트래킹하기에 유용한 패턴 내에서 구조화된 광이 조사된다.
선택적으로, 핸드 트래커(110)는 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 장치로부터 떨어져 있다.
장치(1000)는 핸드 트래커(110)와 통신하는 이미지 표시기(120)를 더 포함한다.
이미지 표시기(120)는 손을 나타내는 제 1 이미지와 제 2 이미지를 나타낸다.
선택적으로, 제 2 이미지는 버튼과 메뉴 옵션, 하이퍼링크를 가진 웹페이지, 버튼 등을 가지는 마이크로 소프트사의 엑셀 스프레드시트와 같은 컴퓨터의 그래픽 유저 인터페이스(GUI)이다.
선택적으로, 제 2 이미지는 오히려 컴퓨터 입력 장치, 말하자면, 종래 기술에서 공지된 컴퓨터 키보드, 컴퓨터 마우스, 조이스틱 등의 이미지 표현이다.
선택적으로, 제 2 이미지는 다른 그래픽 객체, 사진 등이다.
제 1 이미지는 사용자의 손의 동영상의 모두 정확하게 스크린 상에 나타낼 수 있다. 다르게는, 제 1 이미지는 손의 손가락 끝의 위치를 나타내는 5개의 커서로 이루어져 있다. 제 1 이미지는 제 2 이미지에 대하여 손가락(즉, 손가락, 엄지 손가락 또는 이들 둘)의 위치에 관하여 사용자의 정보를 나타내는 다른 시각적 표현을 가질 수도 있다.
이미지 표시기(120)는 하기에 상세히 설명된 바와 같이, 핸드 트래커(110)에 의해 트래킹된 사용자 손의 움직임에 따라 제 1 이미지를 더욱 움직이게 한다.
장치(1000)는 이미지 표시(120)와 통신하는 컴퓨터 제어기(130)를 더 포함한다.
선택적으로, 컴퓨터 제어기(130)는 하기에 상세히 설명된 바와 같이, 데스크탑 컴퓨터, 랩탑 컴퓨터 등의 일부이다.
선택적으로, 컴퓨터 제어기(130)는 하기에 상세히 설명된 바와 같이, 휴대용 전화기(즉, 스마트폰)의 일부이다.
컴퓨터 제어기(130)는 제 1 이미지와 제 2 이미지 사이에서의 상호 작용에 따라 컴퓨터 장치를 제어한다. 따라서, 컴퓨터 제어기(130)는 하기에 상세히 설명된 바와 같이, 제 1 이미지와 제 2 이미지가 상호작용하도록 손을 움직여서 사용자가 컴퓨터 장치를 제어할 수 있게 한다.
하나의 실시예에 있어서, 사용자가 그의 손을 움직이면, 이미지 표시기(120)는 컴퓨터 키보드의 이미지 위에 제 1 이미지를 이동시킨다. 사용자가 그의 손가락을 타이핑 운동하면, 컴퓨터 제어기(130)는 하기에 상세히 설명된 바와 같이, 사용자가 진짜 키보드를 타이핑하는 것처럼 컴퓨터가 반응하도록 컴퓨터 장치를 제어한다.
제 2 실시예에 있어서, 사용자가 그의 손을 움직이면, 이미지 표시기(120)는 컴퓨터 마우스의 이미지 위에 제 1 이미지를 이동시킨다. 사용자가 그의 손가락으로 클릭킹 운동하면, 제 1 이미지의 손가락은 손의 움직임의 움직임에 정확하게 상관된 클릭킹 운동으로 이동시킨다. 따라서, 컴퓨터 장치는 컴퓨터 마우스(즉, 손가락의 제 1 이미지가 컴퓨터 마우스의 버튼 위에 위치)의 이미지에 대한 제 1 이미지의 위치에 따라 진짜 컴퓨터 마우스의 버튼 중의 하나를 클릭하면 반응한다.
제 3 실시예에 있어서, 제 2 이미지는 버튼과 메뉴 옵션, 하이퍼링크를 가진 웹페이지, 버튼 등을 가지는 마이크로 소프트사의 엑셀 스프레드시트와 같은 컴퓨터의 그래픽 유저 인터페이스(GUI)이다.
컴퓨터 제어기(130)는 제 1 이미지와 제 2 이미지 사이에서의 상호 작용에 따라 컴퓨터 장치를 제어한다. 컴퓨터 장치는 제 1 이미지가 사용자 자신의 손이고 제 2 이미지가 손가락으로 터치 스크린을 터치하여 GUI 메뉴 버튼 등과 상호 작용하도록 터치 스크린 상에 나타나는 GUI이면 제어된다.
선택적으로, 핸드 트래커(110)는 손의 움직임을 트래킹하기 위해 2차원 비디오 데이터, 즉 하기에 더욱 상세히 설명한 바와 같이, 핸드 트래커(110)에 결합된 카메라로부터 나온 2차원적 비디오 이미지를 사용한다.
선택적으로, 핸드 트래커(110)는 손에 투사되는 광을 연속적으로 특징의 분절(즉, 디비젼)을 감지하여 움직임을 트래킹한다. 광패턴은 제 1 방향으로 연속적인 특징을 가지고, 하기에 상세히 설명한 바와 같이, 제 1 방향에 실제적으로 수직인 방향으로 비연속적인(즉. 주기적인) 특징을 가진다.
하나의 실시예에 있어서, 광패턴은 서로 평행하게 배열된 여러 개의 스트립을 포함한다.
핸드 트래커(110)는 광패턴과, 하기에 더욱 상세히 설명된 바와 같이, 손(즉, 손가락 또는 엄지 손가락)의 손가락에 의해 스트립의 분절로 생성된 하나 이상의 스트립 분절의 하나 이상의 클러스터를 인식한다.
핸드 트래커(110)는 손가락에 의해 스트립의 분절에 의해 생성되는 스트립 분절의 클러스터를 트래킹 또는 적어도 하나의 클러스터 분절을 트래킹하여 손가락의 움직임을 취한다.
선택적으로, 핸드 트래커(110)는 광패턴과, 손의 손바닥에 의해 스트립의 분절에 의해 생성된 하나 이상의 스트립 분절의 하나 이상의 크러스터를 더 인식한다. 핸드 트래커(110)는 손바닥에 의해 스트립 분절을 트래킹 또는 클러스터 분절의 적어도 하나를 트래킹하여 손의 움직임을 트래킹한다.
선택적으로, 핸드 트래커(110)는 손에 투사된 광패턴의 연속적인 특징을 따라 표식의 위치의 변위를 더 감지할 수 있다. 핸드 트래커(110)는 하기에 더욱 상세히 설명되어 있는 바와 같이, 손의 트래킹에서 변위를 감지하는데 사용된다.
선택적으로, 핸드 트래커(110)는 하기에 더욱 상세히 설명되어 있는 바와 같이, 손가락(클리킹 또는 터치 스크린과 같은 동작과 유사한)의 운동 깊이를 더 인식한다.
선택적으로, 손의 손가락과 손바닥에 의해 생성된 스트립 분절의 크러스터가 트래킹이 감지된 후, 손바닥 및 손가락 클러스터의 스트립 분절만이 트래킹되고, 이에 의해 손의 움직임이 트래킹된다. 배경 스트립 분절과 부가적인 이미지 정보와 같은 스트립 분절 클러스터를 포함하는 비디오 데이터 부분이 해제될 수도 있다.
따라서, 움직임을 트래킹하기 위한 컴퓨터 작업에 대한 노력과 처리 시간이 현저하게 감소될 수도 있다.
선택적으로, 장치(1000)는 하기에 더욱 상세히 설명된 바와 같이, 핸드 트래커(110)와 통신하는 광사출기와 카메라를 더 포함한다.
하나의 실시예에 있어서, 광투사기, 카메라 또는 이들 둘 모두는 하기에 더욱 상세히 설명된 바와 같이, 원격이다.
선택적으로, 광투사기는 종래의 기술에서 공지된 바와 같이, 광원과 마이크로 구조의 소자를 포함한다.
광원은 종래 기술에서 공지된 레이저 다이오드, 발광 다이오드(LED), 레이저빔을 발하는 다른 소자일 수도 있다.
광빔은 마이크로 구조의 소자를 통하여 사용자 손에 전파되는 광원에 의해 방사된다. 마이크로 구조의 소자는 하기에 더욱 상세히 설명된 바와 같이,사용자의 손에 투사되는 광패턴을 발생시키기 위하여 광빔을 수정한다.
선택적으로, 마이크로 구조의 소자는 광빔을 단면적 강도 윤곽이 가변적인 광빔으로 변환한다. 따라서, 단면 강도 윤곽은 광빔에 따라 변화하고, 그러므로, 하기에 더욱 상세히 설명된 바와 같이, 광원으로부터 물체(사용자의 손가락 중의 하나)의 거리를 나타내는 정보를 제공한다.
선택적으로, 광출사기는 하기에 더욱 상세히 설명된 바와 같이, 제 1 방향으로 연속적인 특징을 가진 광패턴과 제 1 방향에 실제적으로 수직인 방향으로 비연속적인 광패턴을 투사한다.
선택적으로, 마이크로 구조의 소자는 종래 기술에서 공지된 바와 같이, 회절 광학 소자이다.
회절 광학 소자는 종래 기술에서 공지된 바와 같이, 1차원 또는 2차원적 공간 배열을 가진 정수의 점으로 광빔을 분할하는 주기적 마이크로 구조에 의해 얻어진다.
선택적으로, 원통형 마이크로 렌즈 어레이와 같은 부가적인 요소 또는 부가적인 회전 소자는 각각의 점으로부터 스트립을 생성하기 위하여 사용된다.
선택적으로, 스트립은 하기에 더욱 상세히 설명된 바와 같이, 스트립을 따라 서로 고정된 고리에 위치하는 상(phase)의 표식으로 마크된다.
원통형 마이크로 렌즈와 같은 부가의 마이크로 소자 사용의 잇점은 종래 기술에서 공지된 바와 같이, 레이저빔과 같은 광빔의 제로 0차 반응의 정수일 수도 있다.
0차 반응은 회절 소자로부터 광 스폿의 풀력이고, 비교적 높은 에너지가 특징이다. 스트립과 같은 광구조체에 0차 반응의 분산은 눈을 차단하는 안전 한계없이 레이저 광빔의 강도의 증가를 허용한다.
선택적으로, 광사출기는 사출된 스트립을 반사하는 물체로부터 거리에 대한 광패턴에서의 각각의 스트립의 단면 강도 윤곽을 변화시키는 부가적인 회절 소자를 더 포함한다. 단면 강도 윤곽은 사출된 광의 전파 방향에 대하여 수직인 강도 윤곽이다.
선택적으로, 강도 윤곽의 변화는 가우스 강도 윤곽으로부터 탑햇 강도 윤곽으로 점차적으로 변화하고, 투사된 광이 물체로 전파될 때, 물체의 표면으로부터 후방으로 반사하고 사출된 광에 의해 직진된 거리를 따라 점차적으로 실행된다.
선택적으로, 강도 윤곽 변화는 종래 기술에서 공지된 바와 같이, 두 개 이상의 첨두 강도 윤곽에 대하여 단일 첨두를 가진 강도 윤곽으로부터 점차 변화한다.
광패턴을 가진 광에 의해 출사된 물체로부터 반사된 광에 의해 횡단되는 거리는 다른 범위로 다른 물체로부터 반사된 스트립들 사이에서 차동되는 데 도움이 되고 이에 의해, 하기에 더욱 상세히 설명된 바와 같이, 분절 통일 문제를 극복하는데 더욱 도움이 된다.
또한, 강도 윤곽의 변화는 물체(사용자의 손, 손가락, 엄지 손가락)까지의 거리를 직접 측정하는 데 더 이용될 수도 있다.
카메라는 광사출기 다음에 위치하는 웹캠 또는 휴대용 전화기의 카메라와 같은 비디오 카메라일 수도 있다.
카메라는 광패턴이 사출되는 하나 이상의 이미지를 캡쳐하고 캡쳐된 이미지를 핸드 트래커(110)에 전송한다. 핸드 트래커(110)는 하기에 더욱 상세히 설명된 바와 같이, 손의 움직임을 트래킹하기 위하여 캡쳐된 이미지를 사용한다.
선택적으로, 장치(1000)는 핸드 트래커(110)와 통신하는 제스처 인식기를 더 포함한다.
제스처 인식기는 트래킹되는 손의 움직임을 감지하고 제스처는 장치(1000) 관리자에 의해 미리 정해진다. 제스처가 감지됨에 따라, 컴퓨터 제어기(130)는 하기에 더욱 상세히 설명된 바와 같이, 감지된 제스처에 대하여 미리 결정되는 방식으로 컴퓨터 장치를 제어한다.
선택적으로, 특정한 미리 결정된 제스처가 감지됨에 따라, 이미지 표시기(120)는 제 1 이미지를 미리 결정된 위치에 정렬한다. 하나의 실시예에 있어서, 사용자가 그의 손을 휘두르면, 이미지 표시기(120)는 제 1 이미지를 제 2 이미지(즉, 컴퓨터 키보드 이미지)위의 중심 위치로 정렬한다.
선택적으로, 미리 정해진 제스처가 감지됨에 따라, 이미지 감지기(120)는 하기에 더욱 상세히 설명된 바와 같이, 제 1 이미지(즉, 손 이미지)의 치수를 조정한다.
도 2를 참조하면, 본 발명의 예증적인 실시예에 따라 컴퓨터 장치의 원격 핸드 제어 방법을 나타내는 흐름도가 도시되어 있다.
본 발명의 예증적인 실시예에 따른 예증적인 방법은 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대용 전화기와 같은 컴퓨터 장치에서 실행된다.
예증적인 방법은 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 장치와 통신하는 컴퓨터 프로세서를 가진 유니트로 컴퓨터 장치에 접속할 수 있는 장치에서 또한 실행된다.
예증적인 방법에 있어서, 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 장치 사용자의 손의 트래킹된 움직임(210)은 손가락과 엄지 손가락의 미세한 움직임을 트래킹하는데 유용한 패턴으로 구성된 광을 손에 투사하는 이미지를 사용한다. 선택적으로, 움직임은 하기에 더욱 상세히 설명된 바와 같이, 핸드 트래커(110)를 사용하여 트래킹된다.
동시에, 컴퓨터 장치의 스크린에 손을 나타내는 제 1 이미지를 나타내고(220) 사용자에게 제 2 이미지를 나타낸다. 선택적으로, 제 2 이미지와 제 1 이미지는 하기에 더욱 상세히 설명된 바와 같이, 이미지 표시기(120)에 의해 사용자에게 표시된다.
선택적으로, 제 2 이미지는 버튼과 메뉴 옵션, 하이퍼링크를 가진 웹페이지, 버튼 등을 가진 마이크로 소프트사의 엑셀 스프레드시트와 같은 컴퓨터 응용프로그램의 그래픽 유저 인터페이스(GUI)이다.
선택적으로, 제 2 이미지는 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 입력 장치, 즉 키보드 또는 컴퓨터 마우스를 나타낸다.
선택적으로, 제 2 이미지는 다른 그래픽 객체, 사진 등이다.
제 1 이미지는 스트린에 나타나는 사용자의 완전한 정밀한 동화상일 수도 있다. 다르게는, 제 1 이미지는 사용자 손가락끝의 위치를 나타내는 5개의 커서로 이루어져 있다. 제 1 이미지는 또한 제 2 이미지에 관하여 손가락(즉, 손가락과 엄지 손가락)의 위치에 대하여 사용자 정보를 부여하는 다른 시각적 표시를 가질 수도 있다.
제 1 이미지는 하기에 더욱 상세히 설명된 바와 같이, 핸드 트래커(110)에 의해 사용자의 트래킹된 움직임(210)과 함께 움직인다.
컴퓨터 장치는 제 1 이미지와 제 2 이미지 사이에서의 상호 작용에 따라 컴퓨터 제어기(130)에 의해 제어(230)된다.
따라서, 사용자는 하기에 더욱 상세히 설명된 바와 같이, 제 1 이미지와 제 2 이미지가 서로 상호 작용하게 하기 위하여 손을 움직여서 컴퓨터 장치를 제어한다.
하나의 실시예에 있어서, 사용자가 그의 손을 움직이면, 제 1 이미지는 컴퓨터 키보드의 이미지 위에서 움직이게 된다.
사용자가 타이핑 동작으로 그의 손가락을 움직이면, 컴퓨터 장치는 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 장치에 연결된 진짜 키보드를 사용하여 사용자가 타이핑을 하는 것처럼 컴퓨터 장치를 제어(230)한다.
제 2 실시예에 있어서, 사용자가 그의 손을 움직이면, 제 1 이미지는 컴퓨터 마우스의 이미지 위로 움직인다.
사용자가 그의 손가락을 클릭하는 운동을 하게 되면, 손가락의 제 1 이미지는 손의 움직임의 운동과 정확하게 대응하는 클릭킹 움직임으로 움직인다. 따라서, 컴퓨터 장치는 컴퓨터 마우스(즉, 제 2 이미지의 컴퓨터 마우스의 버튼 위에 위치하는 제 1 이미지의 손가락과 함께)의 이미지에 대하여 제 1 이미지의 위치에 따라 진짜 컴퓨터 마우스의 버튼을 사용자가 클릭하는 것처럼 반응한다.
예를 들면, 제 2 이미지는 버튼과 메뉴 옵션, 하이퍼링크를 가진 웹페이지, 버튼 등을 가진 마이크로 소프트사의 엑셀 스프레드시트와 같은 컴퓨터 응용프로그램의 그래픽 유저 인터페이스(GUI)이다.
컴퓨터 장치는 이미지들 사이에서의 상호 작용에 따라 제어(230)된다(즉, 컴퓨터 제어기(130)에 의해). 컴퓨터 장치는 제 1 이미지가 사용자의 자신의 손에 있고 제 2 이미지가 터치 스크린을 그의 손가락으로 터치하여 GUI 메뉴, 버튼 등과 상호 작용하도록 터치 스크린에 나타나는 GUI이다.
선택적으로, 손의 움직임의 트래킹(210)은 하기에 더욱 상세히 설명된 바와 같이, 2차원적 비디오 데이터(핸드 트래커(110)에 접속된 카메라로부터 나온 2차원적 비디오 이미지)를 사용하여 이루어진다.
선택적으로, 움직임은 손에 투사되는 광패턴의 연속적인 특징의 분절(즉, 디비젼)을 감지하여 트래킹(210)된다. 광패턴은 하기에 더욱 상세히 설명된 바와 같이, 제 1 방향으로 연속적인 특징을 가지고 제 1 방향에 대하여 실제적으로 수직인 방향으로 비연속적인 특징을 가진다.
하나의 실시예에 있어서, 광패턴은 서로 평행하게 배열된 여러 개의 스트립을 포함한다.
선택적으로, 광패턴에서 인식할 수 있는 바와 같이, 손(즉, 손가락 또는 엄지 손가락에 의한 스트립의 분절에 의해 하나 이상의 스트립의 하나 이상의 클러스터가 생성된다. 따라서, 손가락의 움직임은 손가락의 스트립의 분절 또는 적어도 하나의 클러스터 분절을 트래킹하여 생성된 스트립 분절을 트래킹하여 트래킹(210)된다.
선택적으로, 손가락(즉, 클리킹 또는 터치 스크린과 같은 동작과 유사한 운동)의 깊은 운동을 더 인식, 즉 트래킹된 클러스터의 분절의 갯수의 변화를 감지할 수 있다.
선택적으로, 광패턴을 더욱 인식하는데 있어서, 손의 손바닥에 의해 스트립의 분절에 의해 하나 이상의 스트립 분절의 하나 이상의 클러스터가 생성된다. 따라서, 손의 움직임은 손바닥의 스트립의 분절 또는 클러스터 분절의 적어도 하나를 트래킹하여 스트립의 분절에 의해 생성된 스트립 분절의 클러스터를 트래킹하여 투래킹(210)된다.
선택적으로, 손으로 투사되는 광패턴의 연속적인 특징에 따라 표식의 위치를 변위가 감지된다. 감지된 변위는 손의 트래킹(210)에 사용, 즉 하기에 더욱 상세히 설명된 바와 같이, 핸드 트래커(110)에 의해 손의 트래킹에 사용된다.
선택적으로, 예증적인 방법은 손의 움직임을 트래킹(120)하는 데 있어서 장치(1000)의 지시자에 의해 제스처가 규정된다. 제스처가 감지되면, 컴퓨터 장치는 하기에 더욱 상세히 설명된 바와 같이, 감지된 제스처(즉, 컴퓨터 제어지(130)에 의해)에 대한 미리 정해진 방법으로 제어(230)된다.
미리 정해진 제스처를 감지하면, 제 1 이미지는 미리 정해진 위치로 정렬된다. 하나의 실시예에 있어서, 사용자가 손을 흔들면, 이미지 표시기(120)의 제 1 이미지를 제 2 이미지(컴퓨터 키보드 이미지 또는 GUI) 위의 중심 위치로 정렬시킨다.
미리 정해진 제스처가 감지되면, 제 1 이미지는 하기에 더욱 상세히 설명된 바와 같이, 사이즈가 조정(즉, 미이지 표시기(120)에 의해)된다.
도 3을 참조하면, 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어 단계를 실행하기 위한 실행가능한 컴퓨터 명령을 저장하고 있는 컴퓨터 판독 매체를 개략적으로 도시한 블럭 다이어그램이다
본 발명의 예증적인 실시예에 따라서, CD-롬, USB 메모리 휴대형 하드 디스크, 디스켓과 같은 컴퓨터 판독가능한 매체(3000)가 제공된다.
컴퓨터 판독가능한 매체(3000)는 본 발명의 예증적인 실시예에 따라서, 컴퓨터 장치의 원격 핸드 제어 단계를 수행하기 위한 컴퓨터 실행가능힌 명령을 저장한다.
컴퓨터 실행가능한 명령은 컴퓨터 장치의 사용자의 손의 움직임, 즉 하기에 더욱 상세히 설명된 바와 같이, 손가락의 미세한 움직임을 트래킹하기에 유용한 패턴 구조를 가진 광을 투사하여 손의 이미지를 사용하는 트래킹(310)하는 단계를 포함한다.
컴퓨터 실행가능한 명령은 사용자에게 손을 나타내는 제 1 이미지와 제 2 이미지를 나타내는 단계(320), 즉 하기에 더욱 상세히 설명된 바와 같이, 컴퓨터 장치의 스크린에 나타내는 단계를 더 포함한다.
단계(320)에 있어서, 제 1 이미지는 하기에 더욱 상세히 설명된 바와 같이, 트래킹(31)된 사용자의 움직임과 일치하여 더욱 움직이게 된다
선택적으로, 제 2 이미지는 버튼과 메뉴 옵션과 하이퍼링크를 가진 웹페이지, 버튼 등을 가진 마이크로소프트사의 엑셀 스프레드시트와 같은 컴퓨터 응용프로그램의 그래픽 유저 인터페이스(GUI)이다.
제 2 이미지는 하기에 더욱 상세히 설명된 바와 같이, 키보드 또는 컴퓨터 마우스와 같은 컴퓨터 입력 장치를 나타낸다.
제 2 이미지는 다른 하나의 그래픽 객체, 사진 등이다.
제 1 이미지는 스크린에 표시되는 사용자 손의 정밀하고 완전한 동영상일 수도 있다. 다르게는, 제 1 이미지는 손의 손가락 끝의 위치를 나타내는 5개의 커서로 이루어져 있다. 제 1 이미지는 제 2 이미지에 대하여 손가락(즉, 손가락, 엄지 손가락, 또는 이들 둘)의 위치에 관한 사용자 정보를 나타내는 다른 시작 표현을 가질 수도 있다.
컴퓨터 실행가능한 명령은 컴퓨터 장치가 제 1 이미지와 제 2 이미지 사이에서 상호작용에 따라 제어(330)된다.
따라서, 사용자는 하기에 더욱 상세히 설명된 바와 같이, 제 1 이미지가 제 2 이미지와 상호 작용하도록 손을 움직여서 컴퓨터 장치를 제어하게 된다.
하나의 실시예에 있어서, 사용자가 그의 손을 움직이면, 제 1 이미지는 컴퓨터 키보드의 이미지 위에서 움직인다.
사용자가 그의 손가락으로 타이핑하는 운동을 하면, 컴퓨터 장치는 컴퓨터 장치가 하기에 더욱 상세히 설명된 바와 같이, 진짜 키보드를 사용하여 사용자가 타이핑하는 것처럼 반응하도록 제어(330)된다.
제 2 실시예에 있어서, 사용자가 그의 손을 움직이면, 제 1 이미지는 컴퓨터 마우스 위에서 움직인다.
사용자가 그의 손가락을 클릭킹 운동을 하면, 제 1 이미지의 손가락은 손의 움직임의 움직임에 정확히 따라 클릭킹 운동을 하게 된다. 따라서, 컴퓨터 장치는 컴퓨터 마우스(즉, 제 2 이미지 내에서 마우스 버튼 위에 위치한 제 1 이미지의 손가락과 함께)의 이미지와 관련하여 제 1 이미지의 위치에 따라 진짜 컴퓨터 마우스의 버튼 중의 하나를 클릭하는 것처럼 반응한다.
제 3 실시예에 있어서, 제 2 이미지는 버튼과 메뉴 옵션과 하이퍼링크를 가진 웹페이지, 버튼 등을 가진 마이크로소프트사의 엑셀 스프레드시트와 같은 컴퓨터 응용프로그램의 그래픽 유저 인터페이스(GUI)이다.
컴퓨터 장치는 이미지들 사이에서의 상호 작용에 따라 사용자 자신의 손에서 제 1 이미지와 같이 제어되고 제 2 이미지가 터치 스크린을 그의 손가락으로 터치하여 GUI 메뉴, 버튼 등과 상호 작용하도록 터치 스크린에 나타나는 GUI이다.
선택적으로, 손의 움직임의 트래킹(310)은 하기에 더욱 상세히 설명된 바와 같이, 2차원적 비디오 데이터(카메라로부터 나온 2차원적 비디오 이미지)를 사용하여 이루어진다.
선택적으로, 움직임은 손에 투사되는 광패턴의 연속적인 특징의 분절(즉, 디비젼)을 감지하여 트래킹(310)된다. 광패턴은 하기에 더욱 상세히 설명된 바와 같이, 제 1 방향으로 연속적인 특징을 가지고 제 1 방향에 대하여 실제적으로 수직인 방향으로 비연속적인 특징을 가진다.
하나의 실시예에 있어서, 광패턴은 서로 평행(또는 거의 평행하게)하게 배열된 여러 개의 스트립을 포함한다.
선택적으로, 광패턴에서 인식할 수 있는 바와 같이, 손(즉, 손가락 또는 엄지 손가락)의 손가락에 의한 스트립의 분절에 의해 하나 이상의 스트립의 하나 이상의 클러스터가 생성된다. 따라서, 손가락의 움직임은 손가락의 스트립의 분절 또는 적어도 하나의 클러스터 분절을 트래킹하여 생성된 스트립 분절을 트래킹하여 트래킹(310)된다.
선택적으로, 명령은 손가락의 운동 깊이를 더욱 인식 즉, 하기에 더욱 상세히 설명된 바와 같이, 트래킹된 클러스터의 분절의 갯수의 변화를 감지할 수 있다.
선택적으로, 명령은 광패턴에서의 인식을 더 포함, 하나 이상의 스트립 분절의 하나 이상의 클러스터는 손의 손바닥에 의한 스트립의 분절에 의해 생성된다. 따라서, 손의 움직임은 손바닥에 의한 스트립의 분절(즉, 디비젼) 또는 클러스터 분절의 적어도 하나를 트래킹하여 트래킹(310)된다.
명령은 손에 투사되는 광패턴에서의 연속적인 특징을 따라 표식의 단일 위치의 변위를 감지함을 포함한다.
감지된 변위는 하기에 더욱 상세히 설명된 바와 같이, 손의 트래킹(310)을 위하여 사용된다.
명령은 손의 움직임이 트래킹(310)되는 관리자에 의해 미리 정해진 제스처를 감지한다. 제스처가 검출되면, 컴퓨터 장치는 하기에 더욱 상세히 설명된 바와 같이, 감지된 제스처에 대하여 미리 정해진 방법으로 제어(330)된다.
명령은 미리 정해진 제스처가 감지되면, 미리 정해진 위치에 제 1 이미지를 정렬한다. 하나의 실시예에 있어서, 사용자가 자신의 손을 흔들면, 제 1 이미지는 제 2 이미지(즉, 컴퓨터 키보드 이미지 또는 GUI) 위의 중심 위치로 제 1 이미지가 정렬된다.
명령은 하기에 더욱 상세히 설명된 바와 같이, 미리 정해진 제스처가 감지되면, 제 1 이미지의 치수를 조정하는 단계를 더 포함한다.
도 4를 보면, 본 발명에 따른 예증적인 실시예에 따라서 손에 광패턴이 사출되는 것을 개략적으로 도시한다.
예증적인 실시예에 따라서, 손의 움직임의 트래킹이 손가락과 엄지 손가락의 미세한 움직임과 같은 손의 움직임을 감지할 수 있도록 구성된 광패턴을 사용하여 실시된다.
특별하게 구성된 광패턴은 2차원적 비디오 데이터일지라도 3차원적인 심도 맵과 같은 않고 하기에 더욱 상세히 설명된 바와 같이, 거리에 따라 몸체의 휴지 위치로부터 손을 용이하게 분리하기 위하여 제공되지 않는다.
광패턴은 2차원적인 비디오 데이터(즉, 정규 비디오 카메라로부터 나온 비디오 이미지)로 손의 손가락의 움직임을 트래킹하도록 특별하게 설계된다. 더욱 상세하게는, 광패턴은 하기에 더욱 상세히 설명된 바와 같이, 손가락에 의해 패턴의 찌그러짐에 따라 2차원적인 비디오 데이터로 손바닥에서와 같이 손가락(즉, 손가락과 엄지 손가락)을 감지하고 크래킹할 수 있도록 형성된다.
광패턴은 제 1 방향(즉, X-축)으로 연속적인 특징을 가지고, 상기 제 1 방향(즉 Y-축)에 실제적으로 수직인 방향으로 비연속적인 특징(즉, 주기적인)을 가진다.
이러한 패턴에 대한 하나의 실시예에 있어서, 광패턴은 도 4에 개략적으로 되시된 바와 같이, 서로 평행(또는 거의 평행)하게 배열된 여러 개의 스트립을 포함한다.
카메라는 손(410)과 배경(420)(즉, 손이 놓여 있는 테이블 면, 벽 등) 위에 스트립 패턴을 투사하는 광투사기 위의 X축 위에 위치한다.
카메라의 위치는 종래 기술에서 공지된 바와 같이, 카메라와, 사용자의 손(410)과 배경(420)으로부터 후방으로 반사된 광과 광투사기 사이에 삼각 효과를 생성하도록 선택된다.
삼각 효과는 광패턴이 객체로 투사된 경우에 심각한 심도 편위가 있는 경우에 스트립을 따라 점들에서 패턴의 불연속을 야기한다.
분절(즉, 분할)의 불연속은 스트립이 두 개 이상의 스트립으로 분절, 즉 손 위에 위치하는 분절(431)과 손의 왼쪽에 위치하는 분절(432)과 손의 오른쪽에 위치하는 분절(433)로 분절된다.
말하자면, 사용자의 손가락 또는 손바닥은 두 개 이상의 분절로 분할된다.
이러한 스트립 분절이 감지되면, 스트립 분절이 스트립 분절의 끝으로 쉽게 분할된다.
그러므로, 핸드 트래커(110)는 스트립 분절의 클러스터를 생성하기 위하여 2차원적 비디오 데이터(즉, 카메라로부터 핸드 트래커(110)로 전송되는 비디오 스트림)를 분석한다.
예를 들면, 핸드 트래커(110)는 손의 손가락에 의해 스트립의 분절에 의해 생성된 하나 이상의 스트립 분절의 클러스터, 광패턴을 인식할 수도 있다. 따라서, 핸드 트래커(110)는 손가락의 스트립 분절에 의해 생성된 스트립 분절의 클러스터를 트래킹 또는 클러스터의 분절을 적어도 하나를 트래킹하여 손가락의 움직임을 트래킹한다.
손가락에 의해 스트립의 분절(즉, 디비젼)에 의해 생성된 스트립 분절의 클러스터는 X축에 겹쳐 있는 스트립 분절을 포함한다. 선택적으로, 클러스터 내의 스트립 분절은 유사한 길이(손가락의 두께로부터 기인) 또는 Y축 직교 좌표에서 상대 유사한 길이를 가진다.
X축 상에서, 분절은 위치되는 손가락에 직선으로 모두 겹치거나 X-Y축에 대각선으로 위치한 손가락의 부분 겹치게 된다.
핸드 트래커(110)는 손가락의 깊은 움직임을 인식, 즉 트래킹된 클러스터의 분절의 갯수의 변화를 감지하여 인식한다.
예를 들면, 사용자가 사용자의 가운데 손가락을 펼치면, 손가락과 광투사기의 평면과 카메라(X-Y축 평면) 사이의 각도가 변화한다. 따라서, 클러스터(441) 내의 분절의 갯수는 4에서 3으로 감소한다.
핸드 트래커(110)는 광패턴과, 손의 손바닥에 의해 스트립의 분절에 의해 생성된 하나 이상의 스트립 분절의 하나 의상의 클러스터를 더 인식한다. 따라서, 손의 움직임은 손바닥의 스트립 분절에 의해 또는 클러스터 분절의 적어도 하나를 트래킹하여 생성된 스트립 분절의 클러스터를 트래킹하여 트래킹(210)된다.
손바닥에 의해 스트립 분절에 의해 생성된 스트립 분절의 클러스터는 X축에서 사용자 손의 손가락 스트립 분절 클러스터와 겹쳐져 있는 상부 스트립 분절(431)을 포함한다.
상부 스트립 분절(431)은 X축에서 4개의 손가락 클러스터와 겹치나 4개의 손가락 클러스터 하부 분절의 최소 및 최대 X값을 초과하지는 않는다.
손가락에 의해 스트립 분절에 의해 생성된 스트립 분절의 클러스터는 분절(431) 바로 아래에 스트립 분절(431)을 가진 심각하게 겹치는 몇 개의 스트립 분절을 포함한다.
손바닥에 의해 스트립의 분절에 의해 생성된 스트립 분절의 클러스터는 사용자의 엄지 손가락의 스트립 분절 클러스터(451)의 기초부로 연장된 길은 스트립 분절을 더 포함한다.
손가락 및 손바닥 클러스터의 방향은 특정한 손의 위치 및 회전과 다르다.
도 5를 참조하면, 본 발명의 예증적인 실시예에 따라 강도 표시를 가진 광패턴을 손에 투사하는 것을 도시한 도면이다.
상기에 도시된 광패턴의 하나의 문제점은 스트립 분절 통합 문제를 가진다.
어떤 경우에 있어서, 손의 배경으로부터 반사된 스트립 분절은 손으로부터 반사된 스트립 분절과 통합된다. 따라서, 손바닥과 손가락의 스트립 분절 클러스터는 찾을 수 없고 손을 트래킹할 수 없다.
스트립 분절의 통합 문제를 극복하는데 도움이 되는 한가지 방법은 도 5에 도시된 바와 같이, 각 스트립을 따라 주기적인 표식의 도입을 통하는 것이다.
선택적으로, 광강도(320) 형태의 표식은 스트립 또는 스트립을 따라 일정한 거리에 나타나는 짧은 수직선과 같은 특정 형상을 따라 변화한다.
주기적인 표식의 도입에 더하여, 카메라는 하기에 더욱 상세히 설명된 Y축의 갭과 함께 X축의 갭을 가지고 광투사기에 대하여 위치한다. X축의 갭은 객체의 거리에 대하여 스트립을 따라 표식의 위치의 위상 변위를 생성한다.
따라서, 스트립 분절이 배경으로부터 반사된 스트립 분절과 함께 손으로부터의 스트립 분절이 통합되는 경우에, 분절은 주기적인 표식의 다른 위상을 여전히 가질 것이다. 선택적으로, 카메라와 광투사기 사이의 수평 수직 거리의 비는 분절이 통합될 때, 분절 사이에서 표식의 위상 변위를 최대화하도록 주의 깊게 선택된다.
통합된 분절의 문제점을 극복하기 위해 유용하다고 증명된 제 2의 방법은 Z축 위치가 너무 다르도록 카메라와 광투사기의 설정을 변화시키는 것이다.
카메라와 광투사기 사이에 위치하는 Z축 내의 차이는 카메라와 광투사기의 물리적인 위치를 Z축 내에서 다르게 하거나 어떤 거리로 투사된 패턴의 전방으로 네가티브 렌즈 또는 포지티브 렌즈를 사용하여 다르게 한다.
따라서, 객체로부터 반사된 광패턴의 스트립 분절은 다른 객체의 거리에 다른 주기를 가진다. 그러므로, 손으로부터 반사된 스트립 분절 중의 하나가 다른 주기를 가지기 때문에 인접한 선이 통합되지 않고 배경으로부터 반사된 스트립 분절과 통합된다.
통합되는 문제점을 극복하는 데 유용하다고 판명된 세번째 방법은 하기에 더욱 상세히 설명된 바와 같이, 광빔이 변화하는 단면 강조 윤곽을 가진 광빔으로 변환하는 마이크로 구조의 소자를 사용하여 실행된다.
단면 강도 윤곽은 광투사기로부터 광패턴을 반사하는 객체의 거리에 따라 변화한다.
따라서, 손으로부터 반사된 스트립 분절의 단면 강도 윤곽과 배경으로부터 반사된 스트립 분절의 단면 강도 윤곽은 하기에 더욱 상세히 설명된 바와 같이, 다르다.
본 발명의 예증적인 실시예에 따른 방법은 손가락에 의한 스트립 분절, 스트립 분절의 표식의 수평운동 또는 이들 둘에 의해 생성된 스트립 분절의 클러스터의 수직 운동을 감지하여 손의 손가락의 운동 심도를 트래킹하는 것을 더 포함한다.
선택적으로, 손가락의 심도 운동의 트래킹은 손가락의 스트립 분절에 의해 스트립 분절의 클러스터에서의 가장 위의 분절의 수직 운동을 감지하여 실행된다. 가장 위의 분절은 Z-Y평면 내에서의 손가락의 가장 깊은 운동을 실행하는 손가락의 끝을 나타낸다.
선택적으로, 심도 운동의 트래킹은 트래킹된 클러스터의 분절의 갯수의 변화를 감지하여 실행된다. 즉, 손의 손가락(즉, Z축으로의 운동)의 심도 운동은 손가락의 트래킹된 스트립 분절 중의 하나가 상방으로 이동하여 사라지고 새로운 스트립 분절이 나타나도록 이동한다.
도 6을 참조하면, 본 발명의 예증적인 실시예에 따른 컴퓨터 키보드의 이미지를 이용하여 컴퓨터 장치의 원격 핸드 제어를 개략적으로 도시한 블럭 다이어그램이다.
본 발명의 예증적인 실시예에 따라서, 컴퓨터 장치(즉, 데스크톱 컴퓨터)의 사용자의 손(610)의 운동은 연속적으로 트래킹된다.
사용자는 스크린에, 종래 기술에서 공지된 바와 같이, 손을 나타내는 제 1 이미지와, 컴퓨터 키보드, 컴퓨터 마우스, 조이스틱 등과 같은 컴퓨터 입력 장치를 나타내는 제 2 이미지를 나타낸다.
제 1 이미지(620)는 스크린에 나타나는 사용자의 손의 정밀하고 완전한 동영상일 수도 있다. 다르게는, 제 1 이미지(620)는 손(610)의 손가락끝의 위치를 나타내는 5개의 커서로 이루어질 수도 있다. 제 1 이미지(620)는 스크린에 표시되는 컴퓨터 입력 장치에 대하여 손가락(즉, 손가락과 엄지 손가락)의 위치에 관하여 사용자의 정보를 보여주는 다른 시각적인 표시를 또한 가질 수 있다.
사용자가 그의 손(610)(또는 그의 손가락 또는 엄지 손가락만)이 이동하면, 제 1 이미지(620)는 트래킹된 운동과 같이 이동된다. 제 1 이미지(620)의 운동은 사용자의 자신의 손(610)과 상관된다. 사용자가 그의 손(610)을 왼쪽으로 이동시키면, 제 1 이미지(620)는 손가락 등은 구부러진다.
컴퓨터 장치는 마치 손의 이미지(620)가 사용자 자신의 손(610)과 입력 장치가 컴퓨터 장치에 접속된 진짜 입력 장치와 같이 제 1 이미지와 제 2 이미지 사이에서 상호 작용함에 따라 상호 작용한다. 컴퓨터 입력 장치는 키보드, 조이스틱, 컴퓨터 마우스 등과 같은 표준 컴퓨터 주변 장치를 포함하나 이에 한정되지 않는다.
사용자는 제 1 이미지와 제 2 이미지가 상호 작용하도록 하기 위하여 사용자의 손(610)을 움직여서 컴퓨터 장치를 원격으로 제어할 수 있다.
따라서, 사용자의 손(610)을 움직여서 컴퓨터 장치를 원격 제어하는 것은 미리 정해진 세트의 특정 제스처(특정 제스처를 미리 정해서)에 한정되는 인터페이스보다 연속적인 사용자 인터페이스에 기초한다.
하나의 실시예에 있어서, 사용자가 그의 손(610)을 움직이면, 제 1 이미지(620)는 컴퓨터 키보드 위에서 이동하고, 사용자가 그의 손가락으로 타이핑 운동하면, 컴퓨터 장치는 하기에 더욱 상세히 설명된 바와 같이, 사용자가 진짜 키보드를 가지고 타이핑하는 것처럼 반응한다.
하나의 예로서, 제 1 이미지(620)의 제 2 손가락 컴퓨터 키보드의 이미지위에 "C" 문자 바로 위이다. 사용자가 그의 손의 두번째 손가락으로 누를 때, 제 1 이미지(620)의 두번째 손가락은 평행하게 이동하고 스크린에 나타난 키보드 이미지에 나타나는 'C'자 문자를 누르게 된다. 따라서, 컴퓨터 장치는 사용자 자신의 손가락을 사용하여 사용자에 의해 컴퓨터 장치에 접속된 진짜 키보드의 'C' 문자를 누르는 것처럼 반응한다.
본 예에 있어서, 3차원적 공간에서 사용자 손의 절대적인 위치는 상관되지 않고 사용자의 손가락의 움직임만이 트래킹될 필요가 있다.
사용자 자신의 손(610)의 움직임에 정확하게 상관됨을 통하여 제 1 이미지의 움직임은 다른 스케일로 실행될 수도 있다. 말하자면, 제 1 이미지(620)의 사이즈는 사용자의 진짜 손의 크기와 다를 수도 있다.
선택적으로, 장치(1000)의 제스처 인식기는 하기에 더욱 상세히 설명된 바와 같이, 제 1 이미지(620)를 크기를 재조정을 허용한다.
도 7을 보면, 본 발명의 예증적인 실시예에 따른 컴퓨터 장치의 원격 핸드 제어를 위한 제 1 제스처를 개략적으로 도시한 블럭 다이어그램이다.
본 발명의 예증적인 실시예에 따른 장치는 하기에 더욱 상세히 설명된 바와 같이, 제스처 인식기를 포함할 수도 있다.
본 발명의 예증적인 실시예에 따른 예증적인 제 1 제스처는 카메라(즉, 손과 손가락이 측면으로 조금 진동하여)의 정면에 그의 손(710)을 흔들어 제스처를 리셋시킨다.
리셋 제스처를 감지함으로써, 스크린에 나타난 제 1 이미지는 제 2 이미지 위에 미리 정해진 위치로 이동, 즉 스크린에 나타나는 그래픽 유저 인터페이스와 스프레드시트 처럼 제 1 라인 위에 어떤 위치 또는 제 2 이미지로 나타나는 컴퓨터 입력 장치 위의 미리 정해진 위치로 이동한다.
하나의 실시예에 있어서, 예증적인 리셋 제스처를 감지함에 따라, 이미지 표시기(120)는 제 1 이미지를 하기에 더욱 상세히 설명된 바와 같이, 디스플레이되는 컴퓨터 키보드의 중심 위의 위치로 이동시킨다.
예증적인 리셋 제스처는 예증적인 리셋 제스처가 각각의 손가락의 분리된 움직임을 가지기 때문에 손가락의 위치의 감지는 더욱 쉬워진다.
도 8을 참조하면, 본 발명의 예증적인 실시예에 따라 컴퓨터 장치의 원격 핸드 제어용 제 2 제스처를 개략적으로 도시한 블럭 다이어그램이다.
제 2 예증적인 제스처는 제스추의 크기를 조정, 즉 제스처가 미리 정해진 방향으로 손(810)을 돌려 재조정한다.
선택적으로, 예증적인 크기 조정 제스처가 감지되면, 이미지 표시기(120)는 제 2 이미지의 크기 또는 줌레벨의 면에서의 변화없이 스크린에 표시되는 제 1 이미지의 크기를 변화시킨다.
예를 들면, 풀 스크린 모드로 표시되는 키보드의 이미지와 상호 작용하는 사용자는 그의 손(운동 스케일은 손 이미지의 크기에 따라 다르기 때문에)을 비교적 조금만 움직여서 키보드의 한 측으로부터 다른 측으로 잡기 위하여 큰 제 1 이미지(즉, 손 이미지)를 사용하기 원한다. 그러나, 사용자는 그의 웹브라우저에서 작은 폰트의 문자를 선택하기 위하여 작은 제 1 이미지(즉, 손 이미지)가 필요할 수도 있다.
다르게는, 제 1 이미지(즉, 손 이미지)의 크기가 일정하고, 이미지 표시기(120)는 제 2 이미지(즉, 키보드)의 크기를 조정하고, 이는 수축, 팽창, 줌인 또는 줌 아웃이고, 제 1 이미지와 제 2 이미지의 크기 비율이 변경된다.
도 9를 참조하면, 본 발명의 예증적인 실시예에 따라서, 컴퓨터 장치의 원격 핸드 제어를 위한 제 3 제스처를 개략적으로 도시한 블럭 다이어그램이다.
제 3의 예증적인 제스처는 클릭(또는 더블 클릭) 제스처, 즉 사용자의 손의 두 개 이상의 손가락을 사용하여 사용자가 클릭(910)하는 제스처이다.
예증적인 클릭(또는 더블 클릭) 제스처가 감지되면, 이미지 표시기(120)는 사용자의 손가락의 움직임에 정확히 일치하는 클릭킹 운동의 손가락의 제 1 이미지가 움직인다.
예를 들면, 사용자는 컴퓨터 마우스의 이미지를 나타내고 제 1 이미지를 이미지 위에서 컴퓨터 마우스 위에 어떤 위치로의 이동을 허용한다.
사용자가 자신의 손가락으로 클릭킹 동작하면, 제 1 이미지의 손가락은 컴퓨터 마우스의 이미지를 클릭하고 컴퓨터 제어기(130)는 컴퓨터가 사용자 자신의 손가락과 진짜 컴퓨터 마우스를 클릭하는 것과 마찬가지로 반응한다.
도 10을 참조하면, 본 발명의 예증적인 실시예에 따라서, 컴퓨터 장치의 원격 핸드 제어 장치의 제 4 제스처를 개략적으로 도시한 블럭 다이어그램이다.
제 4의 예증적인 제스처는 사용자가 컴퓨터 장치의 스크린에 줌인 또는 단순 확대, 즉 사용자의 손(1010)을 잡아당기는 움직임 또는 사용자의 두 개의 손가락을 서로(유사하게는, 스마트폰의 터치 스크린에서 서로 멀리 이동시켜) 멀리 이동시켜 줌인 또는 단순 확대한다.
하나의 실시예에 있어서, 손가락이 서로 멀리 움직이는 것이 감지되면, 이미지 표시기(120)는 사용자의 손가락의 움직임에 서로 평행하게 제 1 이미지의 두 손가락을 움직인다. 컴퓨터 제어기(130)는 컴퓨터 장치의 스크린에 표시되는 이미지를 줌인 또는 확대하기 위하여 컴퓨터 장치(즉, 스마트폰)를 제어하고, 그러므로 사용자는 사용자가 진짜 터치 스크린을 가지지 않고 기능적으로 같은 터치 스크린을 제공한다.
본 발명의 예증적인 실시예는 다른 사용자의 여러 가지의 제스처를 제공, 즉 사용자의 손가락을 펼치는 스크롤 다운 제스처 또는 손가락을 반대 방향으로 움직이는 스크롤 업 제스처를 제공한다. 제스처는 한 손 또는 두 손, 하나 이상의 손가락, 손과 손가락 등을 실행된다.
그러나, 본 발명의 예증적인 실시예로서, 사용자의 손의 움직임에 의한 컴퓨터 장치의 원격 제어는 미리 정해진 특정한 제스처 세트(특정 제스처를 통하여 정해질 수도 있다)에 한정되는 인터페이스라기보다는 연속적인 사용자 인터페이스에 기초한다.
예를 들면, 컴퓨터 장치의 원격 제어는 컴퓨터 장치의 스크린에 나타나는 컴퓨터 키보드의 이미지에 사용자의 연속적인 상호 작용에 기초할 수도 있다. 사용자는 공중에서 그의 손을 움직일 수 있어서 키보드 위에서 제 1 이미지가 움직이고 사용자의 손가락이 타이핑 운동을 하면 하기에 더욱 상세히 설명한 바와 같이, 손가락의 제 1 이미지가 키보드 상에서 타이핑한다.
다른 하나의 실시예에 있어서, 제 1 이미지가 상호작용을 통하여 움직여서 제 1 이미지는 스크린 상에 표시된 컴퓨터 마우스를 유지하고 마우스 등을 드래그한다. 컴퓨터 장치는 자신의 손을 사용하여 사용자에 의해 진짜 마우스로 드래그하는것처럼 스크린 상에서 커서를 이동시킨다.
선택적으로, 실시예에 있어서, 사용자는 단일의 작은 가운데 손가락을 움직여서 마우스를 자동적으로 더욱 움직이게 한다. 따라서, 마우스는 스크린의 한쪽으로부터 다른 쪽으로 또는 마우스가 미리 정해진 거리 또는 시간(즉, 3초 동안)을 통하여 이동하거나 하여 자동적으로 이동하게 한다.
다른 하나의 실시예에 있어서, 버튼과 메뉴 옵션과, 하이퍼링크를 가진 웹페이지, 버튼 등을 가진 마이크로소프트 엑셀 스프레드시트와 같은 컴퓨터 응용프로그램의 그래픽 유저 인터페이스(GUI)는 사용자의 컴퓨터 장치의 스크린에 표시된다.
컴퓨터 장치는 사용자 자신의 손과 손가락의 움직임과 GUI 메뉴 버튼과 일치하여 움직이는 손이미지 사이에서 연속적인 상호 작용에 따라 사용자가 마치 사용자 자신의 손가락으로 사용자의 GUI를 나타내는 터치 스크린을 터치하는 것처럼 제어된다.
도 11을 참조하면, 본 발명의 예증적인 실시예에 따라서, 컴퓨터 장치의 원격 핸드 제어를 위한 시스템을 개략적으로 도시한 블럭 다이어그램이다.
컴퓨터 장치의 원격 핸드 제어를 위한 예증적인 시스템은 하기에 더욱 상세히 설명한 바와 같이, 장치(1000)의 부분을 포함한다.
선택적으로, 장치(1000)는 하나 이상의 부분, 즉 카메라와 광투사기가 모빌 유니트(1110)에 설치된다. 모빌 유니트(1110)는 컴퓨터 장치(1120)(즉, 애플 아이맥 컴퓨터, 컴퓨터 프로세서를 가진 TV세트와 같은 스크린이 결합되어 있는 컴퓨터) 또는 이들 둘과 무선으로 통신한다.
사용자는 테이블 상에 모빌 유니트(1110)를 위치시킬 수도 있다.
그런 다음에, 사용자는 테이블 옆의 의자에 앉아 컴퓨터 장치(1120)를 제어 할 수 있다. 사용자는 하기에 더욱 상세히 설명한 바와 같이, 컴퓨터 장치(1120)의 스크린에 나타나는 컴퓨터 키보드의 이미지로 제 1 이미지(사용자의 손을 나타내는)의 상호 작용을 통하여 컴퓨터 장치를 제어한다.
본 발명의 예증적인 방법 및 장치는 부가적인 응용장치에 사용할 수도 있다.
예를 들면, 휴대 전화 장치에서 장치(1000)는 휴대용 전화기를 만지지 않고 스크롤, 문자 타이핑, 클릭을 할 수 있다. 따라서, 휴대용 전화기는 작을 수 있으나 휴대용 전화기가 풀 사이즈의 컴퓨터 키보드처럼 상호 작용을 허용할 수 있다.
선택적으로, 휴대용 전화기는 벽에 이미지를 투사하는 투사기를 가진다. 장치(1000)를 사용하여, 사용자는 휴대용 전화기 제어기의 이미지 다음으로 투사된 제 1 이미지를 이동시킬 수 있고 정규 전화기 버튼 또는 터치 스크린의 제어기가 된다.
따라서, 사용자는 제 1 이미지를 휴대용 전화기의 이미지와 상호 작용하게 되고 휴대용 전화기는 마치 사용자가 자신의 손으로 진짜 휴대용 전화기 제어기를 직접 동작하는 것과 같이 상호 작용한다.
다른 하나의 실시예에 있어서, 컴퓨터 장치는 자동차(즉, GPS 유닛 또는 전화기 유닛) 내에 설치된 컴퓨터 장치이다.
운전하면서 컴퓨터 장치를 조작하는 것은 자동차의 전방창을 통하여 도로를 주시하기 보다는 컴퓨터 장치를 조작하기 위하여 운전자가 옆쪽을 보아야 하기 때문에 이러한 장치(즉, 작은 버튼 또는 터치 스크린)에 전형적으로 구비된 인터페이스 때문에 위험하다.
본 실시예의 장치(1000)는 자동차의 컴퓨터 장치(또는 자동차 컴퓨터 장치와 통신하는)에 설치될 수도 있다.
핸드 트래커(110)가 운전자의 손과 손가락의 운동을 트래킹하기 때문에, 운전자는 도로로부터 운전자의 눈을 떼지 않고 그의 손가락으로 유닛의 작은 버튼을 조작하여 컴퓨터 장치(즉, GPS 유닛 또는 전화기 유닛)를 제어할 수 있다.
선택적으로, 손의 이미지와 GPS의 이미지 또는 전화기 유닛의 키는 차창을 통하여 들어오는 시야를 심각하게 차단하지 않고 자동차의 전방창에 설치된 작은 스크린을 통하여 운전자에게 표시된다.
운전자 자신의 손의 실제적인 위치 및 정확한 위치는 변경될 수도 있다.
말하자면, 운전자는 GPS 유닛의 안내 시스템에서 그의 목적지를 선택 또는 숫자를 실제적으로 다이얼하기 위하여 편리하게 찾도록 클릭할 수도 있다.
따라서, 운전자는 구동 휘일의 임의 영역에 대하여 그의 손을 이용하여 스크린이 설치된 전방창을 통하여 보며 그의 눈은 도로를 주시하면서 GPS 또는 전화기 유닛을 사용하여 GPS 또는 전화기 유닛을 제어한다.
또한, 운전자는 하기에 더욱 상세히 설명된 바와 같이, 리셋 운동이 되도록 그의 손을 흔들 수 있다. 따라서, 제 1 이미지는 자동차의 GPS 유닛의 터치 스크린 버튼, 스크린 표시 이미지의 중심에 위치한다.
장치(1000)는 악기, 즉 신서사이저, DJ 턴테이블, 또는 하기에 더욱 상세히 설명된바와 같이, 사용자의 손의 움직임에 의해 안내되는 다른 악기에 또한 설치될 수도 있다.
본 발명이 존속하는 동안에 많은 해당하는 장치와 시스템은 "컴퓨터", "CD-ROM", "USB-메모리", "하드 디스크", "카메라", "차동 광학 소자", "레이저 다이오드", 및 "LED"라는 용어로 개발될 것이고, 이러한 신규의 모든 선험적 기술을 포함하는 것을 의도한다.
명료성을 위하여 별개의 실시예로 기술된 본 발명의 특징들은 단일 실시예에 제공될 수도 있다는 것을 알아야 한다. 따라서, 단일 실시예에 설명된 바와 같은 본 발명의 여러 가지 특징은 별개로 또는 적절한 소결합을 제공할 수도 있다.
본 발명을 비록 그의 특정 실시예와 관련하여 설명하였을지라도 많은 다른 실시예, 수정예, 변형예가 본 기술에서 숙달된 자들에게는 자명할 것이다. 따라서, 모든 이러한 다른 실시예, 수정예, 변형예는 첨부된 청구항의 사상 및 영역 내에서 모두 포함한다.
본원에서 기술된 모든 공보, 특허, 특허출원은 본 명세서에 인용으로서 그 전체가 병합되어 있고 개별 공보, 특허 또는 특허 출원은 참조로서 본원에 병합되어 있다. 또한, 본 출원에 모든 참조의 인용 도는 인식은 본 발명 이전에 이러한 참조로서 이해된다.
다른 일반적인 토의
몇몇 방법은 디지틀 비디오 스트림으로부터의 정규적인 이미지 분석을 포함한다.
그러므로, 비디오 이미지는 통상적으로 손, 얼굴, 팔 등과 같은 신체부위와 같은 특정 영역을 감지하여 분석한다.
신체 부위와 위치를 감지한 후에 신체 제스처는 컴퓨터 스크린 또는 TV에 표시되는 미디어를 제어하기 위하여 감지되고 해석된다. 사용자의 손과 손가락과 같은 신체 부위의 감지는 색도에 의한 이미지의 각각이 화소를 분석하고 화면 내에서 다른 화소와 비교하기 위하여 필요하다. 이러한 방법은 많은 계산 시간과 에러 판독의 비교적 높은 퍼센티지가 나타날 수도 있다. 손의 뒤의 배경으로부터 나오는 주요 곤란 중의 하나가 감지될 것이다. 예를 들면, 본 방법은 운전자가 그의 피부색 또는 다른 복잡한 패턴과 유사한 색을 가진 셔츠를 입은 사용자의 손을 감지하기 곤란할 수도 있다. 룸의 조명도 감지 성능에 영향을 준다. 카메라를 향한 손의 각도도 또한 본 발명에서 곤란하다. 손의 형상은 회전에 의해 변하고 손가락은 카메라를 향한 손의 휴지 위치와 같은 축 상에 있을 수 있고 이에 따라 색도차를 감지할 수 없다.
손의 감지 및 제스처 인식을 위한 다른 방법은 3D 심도맵의 사용을 포함한다. 심도맵은 심도 카메라의 정면에 위치한 물체의 일부까지의 거리를 각각의 화소가 유지하며 이를 화소로 나타낸다. 심도는 정규적인 2D 비디오 분석에 존재하는 많은 문제를 해결한다. 손의 위치의 추출은 몸체의 정면에 통상적으로 위치하기 때문에 비교적 용이하고 이 때문에 일정 거리를 초과하는 이미지의 부분을 절단하여 분리할 수 있다. 이러한 방법으로, 카메라를 향한 손의 각도는 같은 방법에서 덜 심각하다. 손 또는 신체의 근접한 부분은 배경색을 고려함이 없이 거리만 감지한다. 그러나, 풀 3D맵은 비교적 복잡한 하드웨어와 계산적 노력이 요구된다.
인간 신체의 풀(full) 심도맵은 게임과 같은 제스처 인식의 어떤 적용에 대하여 중요할 수도 있다. 예를 들면, 테니스 게임에 있어서, 그물에서 볼을 차단하기 위하여 전장으로 펼쳐지거나 볼이 이미 부딪혀 튀어나가면, 사용자가 어떻게 정확하게 위치하느냐가 중요하다. 그러나, 제스처 구동 가상 키보도 또는 마우스와 같은 다른 적용은 응용장치를 제어하기 위하여 손과 손가락의 풀 3D 매핑을 위하여 필요하지 않다.
그러므로, 상기에 상세히 설명된 바와 같이, 중간 단계로서 풀 3D 심도맵을 필요로 하지 않고 광패턴 이미지로부터 직접 제스처를 추출하는 것이 바람직하다는 것이 증명되었다.
이미지 비교를 기초로 한 해결책은 제스처를 직접 감지하기 위하여 그리드 패턴과 같은 구조적 광패턴일 수도 있다. 비교를 기초로 한 해결책은 그리드 패턴 내의 찌그러짐을 감지하고, 찌그러짐은 특정 제스처를 나타내는 미리 정해진 그리드 패턴의 찌그러짐 세트와 비교된다. 일단 감지되면, 제스처는 각각의 제스처에 부여된 컴퓨터 행동을 활성화한다. 이미지 비교를 기초로 한 해결책은 캡쳐된 광패턴 이미지에 직접 제스처를 하게 되고 이들은 미리 정해진 별개의 제스처 세트로 제한되고, 사용자의 손과 손가락의 유연한 트래킹 및 표시를 제공하지 않으며, 이상에서 더욱 상세히 설명한 바와 같이, 연속적인 사용자 인터페이스를 통하여 컴퓨터 장치를 제어한다.
110 : 핸드 트래커 120 : 이미지 표시기
130 : 컴퓨터 제어기 1000 : 장치
3000 : 기록 매체

Claims (34)

  1. 컴퓨터 장치의 원격 핸드 제어 장치로서,
    상기 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하도록 구성된 핸드 트래커와,
    상기 손을 나타내는 제 1 이미지와 상기 사용자의 제 2 이미지를 나타내고 트래킹된 움직임과 일체로 상기 제 1 이미지가 움직이도록 구성되어 상기 핸드 트래커에 결합된 이미지 표시기와,
    상기 제 1 이미지와 상기 제 2 이미지 사이에서 상호작용에 따라 상기 컴퓨터 장치를 제어하도록 구성되고 상기 이미지 표시기에 결합된 컴퓨터 제어기를 구비하고,
    상기 제 1 이미지와 상기 제 2 이미지가 상호 작용하도록 손을 움직여서 사용자가 컴퓨터 장치를 제어하게 하고,
    상기 핸드 트래커는 상기 손에 투사된 광패턴의 연속적인 특징의 분절을 감지하는 것에 의해 상기 움직임을 트래킹하도록 추가로 구성되고,
    평평한 표면에 투사된 상기 광패턴은 제1 방향으로 연속적인 특징을 가지고, 상기 제1 방향에 실제적으로 수직인 방향으로 비연속적인 특징을 가지며, 그리고
    상기 핸드 트래커는 상기 연속적인 특징을 따라 투사된 광의 광 강도 윤곽의 변화에 기초하여 상기 연속적인 특징의 분절을 감지하는, 컴퓨터 장치의 원격 핸드 제어 장치.
  2. 청구항 1에 있어서,
    상기 핸드 트래커는 상기 손의 움직임을 트래킹하기 위하여 2차원적 비디오 데이터를 사용하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 광패턴은 서로 실제적으로 평행하게 배열된 복수의 스트립을 구비하고, 상기 핸드 트래커는 상기 손의 각각의 손가락에 의한 스트립의 분할에 의해 생성된 스트립 분절들의 적어도 하나의 클러스터를 상기 광패턴에서 식별하도록 추가로 구성되고,
    상기 손가락에 의한 스트립의 분절에 의해 생성된 스트립 분절의 클러스터만을 트래킹하여 상기 손가락의 움직임을 트래킹하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  5. 청구항 4에 있어서,
    상기 핸드 트래커는 트래킹되는 스트립 분절의 갯수의 변화를 감지하여 손가락의 깊은 움직임을 인식하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  6. 청구항 1에 있어서,
    상기 광패턴은 서로 실제적으로 평행하게 배열된 복수의 스트립을 구비하고, 상기 핸드 트래커는 상기 손의 손바닥에 의한 스트립 분절에 의해 생성된 스트립 분절의 적어도 하나의 클러스터에서 광패턴을 인식하고 상기 손바닥에 의한 스트립의 분절에 의해 생성된 스트립 분절의 클러스터를 트래킹하여 상기 손의 움직임을 트래킹하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  7. 청구항 1에 있어서,
    상기 핸드 트래커는 손에 투사된 광패턴에서 연속적인 특징을 따라 표식의 위치의 변위를 감지하여 움직임을 트래킹하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  8. 청구항 1에 있어서,
    상기 손 위에, 상기 제 1 방향으로 연속적인 특징을 가지고 상기 제 1 방향에 대하여 실제적으로 수직인 방향으로 비연속적인 특징을 가지는 광패턴을 투사하도록 구성된 광투사기; 및
    상기 핸드 트래커에 결합되어 있고, 상기 광패턴이 투사된 손의 이미지를 캡쳐함으로써, 상기 제 1 이미지를 캡쳐하도록 구성된 카메라를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 장치.
  9. 청구항 8에 있어서,
    상기 광투사기는 상기 컴퓨터 장치로부터 원격지에 있는, 컴퓨터 장치의 원격 핸드 제어 장치.
  10. 청구항 8에 있어서,
    상기 카메라는 상기 컴퓨터 장치로부터 원격지에 있는, 컴퓨터 장치의 원격 핸드 제어 장치.
  11. 청구항 8에 있어서,
    상기 광투사기는 광빔을 방출하도록 구성된 광원과, 상기 광패턴을 발생시키기 위하여 상기 광빔을 수정하도록 구성된 마이크로 구조의 요소를 가진, 컴퓨터 장치의 원격 핸드 제어 장치.
  12. 청구항 11에 있어서,
    상기 마이크로 구조의 요소는 상기 광빔을 상기 광빔을 따라 변화하는 단면 강도 윤곽을 가지는 광빔으로 변환하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  13. 청구항 1에 있어서,
    상기 트래킹된 손의 움직임에서 미리 정해진 제스처를 감지하도록 구성되고 상기 핸드 트래커와 결합된 제스처 인식기를 더 구비하고, 상기 컴퓨터 제어기는 상기 감지된 제스처에 대하여 미리 정해진 방법으로 상기 컴퓨터 장치를 제어하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  14. 청구항 13에 있어서,
    상기 이미지 표시기는 미리 정해진 제스처를 감지함에 따라 상기 제 1 이미지를 미리 정해진 위치로 정렬하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  15. 청구항 13에 있어서,
    상기 이미지 표시기는 미리 정해진 제스처를 감지함에 따라 상기 제 1 이미지의 크기를 조정하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  16. 청구항 13에 있어서,
    상기 이미지 표시기는 미리 정해진 제스처를 감지함에 따라 상기 제 2 이미지의 크기를 조정하도록 구성된, 컴퓨터 장치의 원격 핸드 제어 장치.
  17. 청구항 1에 있어서,
    상기 컴퓨터 제어기는 휴대용 전화기의 일부인, 컴퓨터 장치의 원격 핸드 제어 장치.
  18. 청구항 1에 있어서,
    상기 컴퓨터 제어기는 자동차에 설치된 장치의 일부인, 컴퓨터 장치의 원격 핸드 제어 장치.
  19. 청구항 1에 있어서,
    상기 컴퓨터 제어기는 악기의 일부인, 컴퓨터 장치의 원격 핸드 제어 장치.
  20. 청구항 1에 있어서,
    상기 핸드 트래커는 컴퓨터 장치로부터 원격지에 있는, 컴퓨터 장치의 원격 핸드 제어 장치.
  21. 청구항 1에 있어서,
    상기 제 2 이미지는 컴퓨터 입력 장치를 나타내는, 컴퓨터 장치의 원격 핸드 제어 장치.
  22. 컴퓨터에서 실행되는 컴퓨터 장치의 원격 핸드 제어 방법으로서,
    상기 방법은 상기 컴퓨터 장치가 프로그램을 실행하는 단계를 구비하고, 상기 단계는:
    상기 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하는 단계;
    손을 나타내는 제 1 이미지와 사용자에게 제 2 이미지를 나타내고, 상기 제 1 이미지를 트래킹된 움직임에 일치시켜 움직이는 단계;
    제 1 이미지와 제 2 이미지 사이에서 상호 작용에 따라 상기 컴퓨터 장치를 제어하고, 상기 제 1 이미지와 상기 제 2 이미지가 상호 작용하도록 손을 움직여서 사용자가 상기 컴퓨터 장치를 제어하는 단계를 포함하고,
    상기 손의 움직임을 트래킹하는 단계는 상기 손에 투사된 광패턴의 연속적인 특징의 분절을 감지하는 것을 더 포함하고,
    상기 광패턴은 평평한 표면에 투사되어 제1 방향으로 연속적인 특징을 가지고, 상기 제1 방향에 실제적으로 수직인 방향으로 비연속적인 특징을 가지며, 그리고
    상기 연속적인 특징의 분절을 감지하는 것은 상기 연속적인 특징을 따라 반영된 광의 광 강도 윤곽의 변화에 기초하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  23. 청구항 22에 있어서,
    상기 손의 움직임을 트래킹 하는 단계는 2차원적 비디오 데이터를 사용하여 실행되는, 컴퓨터 장치의 원격 핸드 제어 방법.

  24. 삭제
  25. 청구항 22에 있어서,
    상기 광패턴은 서로 실제적으로 평행하게 배열된 복수의 스트립을 포함하고, 상기 방법은 손의 각각의 손가락의 스트립 분절에 의해 생성된 적어도 하나의 스트립 분절의 클러스터에서 상기 광패턴을 인식하고, 상기 손가락의 스트립의 분절에 의해 생성된 스트립 분절의 클러스터를 트래킹하여 상기 손가락의 움직임을 트래킹하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  26. 청구항 25에 있어서,
    상기 트래킹된 클러스터에서의 스트립 분절의 갯수의 변화를 감지하여 손가락의 움직임의 심도를 인식하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  27. 청구항 22에 있어서,
    상기 광패턴은 서로 실제적으로 평행하게 배열된 복수의 스트립을 구비하고, 상기 방법은 상기 손의 손바닥의 스트립의 분절에 의해 생성된 적어도 하나의 스트립 분절의 클러스터의 광패턴을 인식하고, 상기 손바닥의 스트립의 분절에 의해 생성된 스트립 분절의 클러스터를 트래킹하여 손의 움직임을 트래킹하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  28. 청구항 22에 있어서,
    상기 손의 움직임을 트래킹하는 단계는 상기 손에 투사되는 광패턴의 연속적인 특징을 따라 표식의 변위를 감지하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  29. 청구항 22에 있어서,
    상기 손의 트래킹된 움직임으로 미리 정해진 제스처를 감지하고 상기 감지된 제스처에 대하여 미리 정해진 방법으로 상기 컴퓨터 장치를 제어하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  30. 청구항 29에 있어서,
    상기 제 1 이미지는 상기 미리 정해진 제스처가 감지됨에 따라 미리 정해진 위치로 정렬하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  31. 청구항 29에 있어서,
    상기 제 1 이미지는 상기 미리 정해진 제스처를 감지함에 따라 사이즈를 조정하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  32. 청구항 29에 있어서,
    상기 제 2 이미지는 상기 미리 정해진 제스처를 감지함에 따라 사이즈를 조정하는 단계를 더 포함하는, 컴퓨터 장치의 원격 핸드 제어 방법.
  33. 청구항 22에 있어서,
    상기 제 2 이미지는 컴퓨터 입력 장치를 나타내는, 컴퓨터 장치의 원격 핸드 제어 방법.
  34. 컴퓨터 장치의 원격 핸드 제어의 단계들을 수행하는 방법으로서,
    상기 컴퓨터 장치의 사용자의 손의 움직임을 트래킹하는 단계;
    제 1 이미지는 손을 나타내고 제 2 이미지를 사용자에게 나타내고, 상기 제1 이미지를 트랙킹된 움직임에 따라 움직이는 단계;
    상기 제 1 이미지와 상기 제 2 이미지가 상호 작용함에 따라 상기 컴퓨터 장치를 제어하고, 상기 제 1 이미지를 상기 제 2 이미지가 상호 작용하도록 상기 손의 움직임에 의해 상기 컴퓨터 장치를 제어하는 단계를 포함하고,
    상기 손의 움직임을 트래킹하는 단계는 광패턴을 투영하는 단계를 포함하고, 그리고
    상기 광패턴은 서로 실제적으로 평행하게 배치된 복수의 스트립을 포함하고,
    상기 방법은,
    손의 손바닥에 의해 스트립의 분절로 생성된 하나 이상의 스트립 분절을 광 패턴에서 식별하는 단계 - 상기 스트립들의 분절은 상기 스트립들을 따라 반영된 광 강도 윤곽의 변화에 기초함 -; 및
    상기 손바닥에 의해 스트립들의 분절에 의해 생성되는 스트립 분절의 클러스터를 트래킹하여 손의 움직임을 트래킹하는 단계를 더 포함하는, 방법.
KR1020127009974A 2009-09-22 2010-09-19 컴퓨터 장치의 원격 제어 KR101711619B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US24447309P 2009-09-22 2009-09-22
US61/244,473 2009-09-22
PCT/IB2010/054228 WO2011036618A2 (en) 2009-09-22 2010-09-19 Remote control of computer devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177005250A Division KR101809636B1 (ko) 2009-09-22 2010-09-19 컴퓨터 장치의 원격 제어

Publications (2)

Publication Number Publication Date
KR20120085774A KR20120085774A (ko) 2012-08-01
KR101711619B1 true KR101711619B1 (ko) 2017-03-02

Family

ID=43796308

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177005250A KR101809636B1 (ko) 2009-09-22 2010-09-19 컴퓨터 장치의 원격 제어
KR1020127009974A KR101711619B1 (ko) 2009-09-22 2010-09-19 컴퓨터 장치의 원격 제어

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177005250A KR101809636B1 (ko) 2009-09-22 2010-09-19 컴퓨터 장치의 원격 제어

Country Status (6)

Country Link
US (4) US9507411B2 (ko)
EP (1) EP2480955B1 (ko)
JP (3) JP5926184B2 (ko)
KR (2) KR101809636B1 (ko)
CN (1) CN102656543A (ko)
WO (1) WO2011036618A2 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
CN102317977A (zh) 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
WO2011036618A2 (en) 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9195345B2 (en) * 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8503494B2 (en) * 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US9478067B1 (en) 2011-04-08 2016-10-25 Amazon Technologies, Inc. Augmented reality environment with secondary sensory feedback
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
KR101446902B1 (ko) * 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
KR101260053B1 (ko) 2011-11-17 2013-05-06 재단법인대구경북과학기술원 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
US9478037B2 (en) 2011-12-08 2016-10-25 Intel Corporation Techniques for efficient stereo block matching for gesture recognition
US8782565B2 (en) * 2012-01-12 2014-07-15 Cisco Technology, Inc. System for selecting objects on display
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
JP5550670B2 (ja) * 2012-03-28 2014-07-16 株式会社デンソーアイティーラボラトリ 情報処理装置
US10448161B2 (en) 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101757080B1 (ko) 2012-07-13 2017-07-11 소프트키네틱 소프트웨어 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템
WO2014014461A1 (en) * 2012-07-19 2014-01-23 Intel Corporation System and method for controlling an external system using a remote device with a depth sensor
US8907914B2 (en) * 2012-08-31 2014-12-09 General Electric Company Methods and apparatus for documenting a procedure
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技(深圳)有限公司 一种人机交互方法、终端及系统
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
WO2014125427A1 (en) * 2013-02-14 2014-08-21 Primesense Ltd. Flexible room controls
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
EP3060941A1 (en) 2013-10-23 2016-08-31 Oculus VR, LLC Three dimensional depth mapping using dynamic structured light
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
JP2015095682A (ja) * 2013-11-08 2015-05-18 株式会社東芝 電子機器、方法、及びプログラム
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9842392B2 (en) * 2014-12-15 2017-12-12 Koninklijke Philips N.V. Device, system and method for skin detection
NL2014037B1 (en) 2014-12-22 2016-10-12 Meyn Food Proc Technology Bv Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass.
WO2016102296A2 (de) * 2014-12-22 2016-06-30 Volkswagen Ag Fingerleiste und anwendung der fingerleiste
EP3243188A4 (en) * 2015-01-06 2018-08-22 Facebook Inc. Method and system for providing depth mapping using patterned light
CA2977374C (en) 2015-02-25 2019-04-16 Facebook, Inc. Identifying an object in a volume based on characteristics of light reflected by the object
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
EP3104209B1 (en) 2015-05-20 2021-10-20 Facebook Technologies, LLC Method and system for generating light pattern using polygons
US9648698B2 (en) 2015-05-20 2017-05-09 Facebook, Inc. Method and system for generating light pattern using polygons
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017018428A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US10067569B2 (en) * 2015-08-14 2018-09-04 Fresenius Medical Care Holdings, Inc. Touchless interface for a medical treatment system
JP6631181B2 (ja) * 2015-11-13 2020-01-15 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
WO2019152013A1 (en) * 2018-01-31 2019-08-08 Hewlett-Packard Development Company, L.P. Operating user interfaces
CN108537163A (zh) * 2018-04-04 2018-09-14 天目爱视(北京)科技有限公司 一种基于可见光拍照的生物特征四维数据识别方法及系统
CN108550184A (zh) * 2018-04-04 2018-09-18 北京天目智联科技有限公司 一种基于光场相机的生物特征3d四维数据识别方法及系统
JP6705926B1 (ja) * 2019-03-13 2020-06-03 Necプラットフォームズ株式会社 ウェアラブルデバイスおよび制御方法
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
KR102266874B1 (ko) * 2020-01-03 2021-06-17 동의대학교 산학협력단 스마트 에어 피아노
US11119570B1 (en) * 2020-10-29 2021-09-14 XRSpace CO., LTD. Method and system of modifying position of cursor
KR102586144B1 (ko) * 2021-09-23 2023-10-10 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 3次元形状計測装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
KR20030072591A (ko) * 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) * 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
AU2003253626A1 (en) 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US8224064B1 (en) 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
JP2006285370A (ja) * 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
US8085243B2 (en) * 2006-02-03 2011-12-27 Panasonic Corporation Input device and its method
WO2007088939A1 (ja) * 2006-02-03 2007-08-09 Matsushita Electric Industrial Co., Ltd. 情報処理装置
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
ATE543132T1 (de) * 2006-07-16 2012-02-15 I Cherradi Freifinger-tipptechnologie
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) * 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8646689B2 (en) * 2007-12-28 2014-02-11 Cognex Corporation Deformable light pattern for machine vision system
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
TWI409502B (zh) * 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US9002354B2 (en) * 2009-06-12 2015-04-07 Google Technology Holdings, LLC Interference control, SINR optimization and signaling enhancements to improve the performance of OTDOA measurements
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
WO2011036618A2 (en) 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
EP2378394A3 (en) * 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
KR20120071551A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US8878858B2 (en) * 2011-02-03 2014-11-04 Videa, Llc Video projection apparatus and methods, with image content control
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
US8887043B1 (en) * 2012-01-17 2014-11-11 Rawles Llc Providing user feedback in projection environments
KR102133702B1 (ko) * 2012-02-24 2020-07-14 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US9141868B2 (en) * 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
US9690376B2 (en) * 2012-11-01 2017-06-27 Eyecam, Inc. Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US9201499B1 (en) * 2013-02-11 2015-12-01 Amazon Technologies, Inc. Object tracking in a 3-dimensional environment
GB2513200A (en) * 2013-04-21 2014-10-22 Biogaming Ltd Kinetic user interface
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
EP3060941A1 (en) * 2013-10-23 2016-08-31 Oculus VR, LLC Three dimensional depth mapping using dynamic structured light
CN104776797B (zh) * 2014-01-13 2018-01-02 脸谱公司 亚分辨率光学检测
US9749513B2 (en) * 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9552074B2 (en) * 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
AU2015302865A1 (en) * 2014-08-10 2017-03-16 Facebook Technologies, Llc Structured light for 3D sensing
US10126123B2 (en) * 2014-09-19 2018-11-13 Carnegie Mellon University System and method for tracking objects with projected m-sequences
US10013068B2 (en) * 2014-10-08 2018-07-03 Canon Kabushiki Kaisha Information processing apparatus including a mirror configured to reflect an image and a projector and an image capturing unit arranged below the mirror
US9858703B2 (en) * 2014-12-18 2018-01-02 Facebook, Inc. System, device and method for providing user interface for a virtual reality environment
EP3234741A4 (en) * 2014-12-18 2018-08-22 Facebook, Inc. Method, system and device for navigating in a virtual reality environment
EP3243188A4 (en) * 2015-01-06 2018-08-22 Facebook Inc. Method and system for providing depth mapping using patterned light
CA2977374C (en) * 2015-02-25 2019-04-16 Facebook, Inc. Identifying an object in a volume based on characteristics of light reflected by the object
US9934574B2 (en) * 2015-02-25 2018-04-03 Facebook, Inc. Using intensity variations in a light pattern for depth mapping of objects in a volume
CN107850782B (zh) * 2015-05-13 2019-10-25 脸谱科技有限责任公司 用反射率图表示增强深度图表示
US9648698B2 (en) * 2015-05-20 2017-05-09 Facebook, Inc. Method and system for generating light pattern using polygons

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern

Also Published As

Publication number Publication date
EP2480955B1 (en) 2018-05-16
US9606618B2 (en) 2017-03-28
US20160179188A1 (en) 2016-06-23
KR101809636B1 (ko) 2018-01-18
US9927881B2 (en) 2018-03-27
CN102656543A (zh) 2012-09-05
JP5926184B2 (ja) 2016-05-25
US20120194561A1 (en) 2012-08-02
WO2011036618A2 (en) 2011-03-31
JP2018010653A (ja) 2018-01-18
JP2013505508A (ja) 2013-02-14
US20170147082A1 (en) 2017-05-25
KR20170023220A (ko) 2017-03-02
EP2480955A4 (en) 2015-07-29
WO2011036618A3 (en) 2011-08-11
JP6348211B2 (ja) 2018-06-27
JP6207659B2 (ja) 2017-10-04
EP2480955A2 (en) 2012-08-01
KR20120085774A (ko) 2012-08-01
US9507411B2 (en) 2016-11-29
JP2016173831A (ja) 2016-09-29

Similar Documents

Publication Publication Date Title
KR101711619B1 (ko) 컴퓨터 장치의 원격 제어
US11048333B2 (en) System and method for close-range movement tracking
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
JP6116064B2 (ja) 車両インターフェース用ジェスチャ基準制御システム
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
US9910498B2 (en) System and method for close-range movement tracking
CA3051912C (en) Gesture recognition devices and methods
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений
US20100090946A1 (en) System and Method for Gesture Based Control System
Prätorius et al. DigiTap: an eyes-free VR/AR symbolic input device
CN116097209A (zh) 人工现实交互模式的整合
CN105488832B (zh) 光学数字尺
Chakraborty et al. Interactive touch screen using augmented reality
JP4438351B2 (ja) 指示入力装置、指示入力システム、指示入力方法、及びプログラム
Dave et al. Project MUDRA: Personalization of Computers using Natural Interface
Ren Designing for Effective Freehand Gestural Interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant