KR100960577B1 - 제스처 기반의 제어 시스템을 위한 시스템 및 방법 - Google Patents

제스처 기반의 제어 시스템을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR100960577B1
KR100960577B1 KR1020077018809A KR20077018809A KR100960577B1 KR 100960577 B1 KR100960577 B1 KR 100960577B1 KR 1020077018809 A KR1020077018809 A KR 1020077018809A KR 20077018809 A KR20077018809 A KR 20077018809A KR 100960577 B1 KR100960577 B1 KR 100960577B1
Authority
KR
South Korea
Prior art keywords
gesture
space
appendage
detecting
controlling
Prior art date
Application number
KR1020077018809A
Other languages
English (en)
Other versions
KR20070116794A (ko
Inventor
존 에스. 언더코플러
퀸들라 에이치. 크레이머
켈빈 티. 파렌트
Original Assignee
오블롱 인더스트리즈, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US65129005P priority Critical
Priority to US60/651,290 priority
Application filed by 오블롱 인더스트리즈, 인크 filed Critical 오블롱 인더스트리즈, 인크
Priority to US11/350,697 priority
Priority to US11/350,697 priority patent/US7598942B2/en
Publication of KR20070116794A publication Critical patent/KR20070116794A/ko
Application granted granted Critical
Publication of KR100960577B1 publication Critical patent/KR100960577B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00362Recognising human body or animal bodies, e.g. vehicle occupant, pedestrian; Recognising body parts, e.g. hand
    • G06K9/00375Recognition of hand or arm, e.g. static hand biometric or posture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3216Aligning or centering of the image pick-up or image-field by locating a pattern
    • G06K2009/3225Special marks for positioning

Abstract

시스템은 제스처 인터페이스를, 하나 이상의 디스플레이 스크린 상에서 제공되는 다양한 시각적으로 제공된 요소에게 제공한다. 제스처 어휘는 하나 이상의 손이 적정한 포즈를 형성하고, 이에 따라서 즉각적이고 1회적인 동작이 야기되는 "순간적인" 커맨드와, 조작자가 리터럴 '포인팅' 제스처를 이용하여 스크린 상의 요소를 직접 참조하거나, 상대적인 "오프셋" 제스처를 이용하여 탐색을 수행하는 "공간적" 커맨드를 포함한다. 상기 시스템은 특정 표시를 갖는 하나 이상의 글로브의 형태, 또는 인식가능한 표시를 사용자의 손이나 신체에 제공하기 위한 임의의 적합한 수단인, 사용자 손을 식별하는 기능을 고려한다. 카메라 시스템은 사용자의 손의 위치, 배향 및 움직임을 검출하고, 상기 정보를 실행가능한 커맨드로 해석할 수 있다.

Description

제스처 기반의 제어 시스템을 위한 시스템 및 방법{SYSTEM AND METHOD FOR GESTURE BASED CONTROL SYSTEM}
이 특허 출원은 2005년 2월 8일자 US 가특허출원 60/651,290 “Gesture Based Control System(제스처 기반의 제어 시스템)”로부터 우선권을 주장하고 있으며, 상기 가특허출원은 본원에서 참조로서 인용된다.
본 발명은 일반적으로 컴퓨터 시스템 분야에 관한 것이며, 더 세부적으로 제스처(gesture) 기반의 제어 시스템을 위한 시스템 및 방법에 관한 것이다.
사용자는 커맨드(command)를 입력하여, 디스플레이 상의 윈도우에서의 데이터, 또는 이미지를 조작함으로써, 또는 마우스, 키보드, 조이스틱, 크로스-키(cross-key) 등의 장치를 사용하여 윈도우나 프로그램과 연계되어 있는 메뉴로부터 작업을 선택함으로써, 컴퓨터 시스템과 상호작용할 수 있다. 또한 이러한 입력 장치들은 그래픽적인 온-스크린 포인터, 가령 커서(cursor)를 위치시키기 위해 사용될 수 있는 위치 해석 장치(position translating device)로서 동작할 수 있다. 예를 들어, 수정될 문자를 가리키도록, 또는 데이터가 입력되거나 작업이 수행될 위치를 가리키도록, 커서는 기능한다. 커서는 소정의 형태 또는 외관으로 컴퓨터 디스플레이 상에서 제공되는 것이 일반적이다. 사용자에 의한 입력 장치의 조작이 커서의 대응하는 이동을 야기할 것이다. 따라서 예를 들자면 마우스나 그 밖의 다른 장치의 이동에 의해, 동일한 방향으로의 커서의 이동이 야기된다.
커서는 그 기능 및 컴퓨터 시스템의 상태에 따라 좌우되는 여러 다른 외관을 가질 수 있다. 예를 들어, 컴퓨터 디스플레이 상의 텍스트 필드 중에 위치할 때, 상기 커서는 “I-빔(I-beam)”의 외관을 갖거나, 깜빡거리는 수직의 선을 가질 수 있다. 텍스트 필드 중에 커서가 위치함으로써, 사용자에 의해 통상적으로 키보드를 통해 입력될 다음 문자의 위치가 나타내어진다. 상기 커서는 그 기능에 따라 또 다른 외향을 가질 수 있다. 그리기 프로그램에서, 커서는 페인트 붓, 또는 연필, 또는 지우개, 또는 물통, 또는 그 밖의 다른 그래픽적 형태로서 표현될 수 있다.
또한 상기 커서는 사용자-선택형 작업 위에 위치할 때, 또는 그래픽적 요소, 가령 윈도우를 선택하기 위해 사용될 때, 화살표, 또는 포인터의 형태를 취할 수 있다. 커서를 이용하여 요망 작업을 선택 및 활성화시키기 위해, 상기 커서는 작업의 그래픽적, 또는 텍스트적 표현 위에 위치할 수 있다. 마우스 입력 장치 위에 위치하는 버튼이 눌리거나, 해제되어, 작업이 이뤄질 수 있다. 사용자는 일반적으로 컴퓨터 디스플레이 상의 이미지의 약간의 변화의 형태로 나타나는 시각적 피드백(visual feedback)에 의한 실행을 위해, 작업의 수용을 통지받는다. 통상적으로 사용되는 프로그램 중 하나 이상이 이러한 시각적 응답을 발생시킨다. 이러한 프로그램은 선택된 작업에 응답하여 디스플레이 이미지를 업데이트하기 위한 드로잉 커맨드를 생성한다.
종래의 시스템의 단점은 입력 장치가 단지 하나의 장치라는 것이다. 사용자 는 유선 마우스, 또는 무선 마우스, 또는 그 밖의 다른 입력 장치를 갖도록, 그리고 선택, 위치 해석, 활성화 및 그 밖의 다른 입력 기능을 관리하기 위해 상기 장치를 사용하도록 요구받는다. 종종 이러한 물리적 장치를 사용하는 것은 자연스럽거나 직관적이지 않을 수 있다. 또 다른 단점은 여러 다른 기능이 수행될 수 있도록 입력 장치의 컨텍스트(context)를 변경시키기 위해 특정 단계를 통과해야할 필요성이 있다는 것이다.
매우 큰 디스플레이가 대중화되면서, 종래의 입력 장치 및 시스템의 추가적인 단점이 명백해졌다. 예를 들어, 큰 디스플레이를 가로질러 커서의 위치를 해석하려는 시도를 하기 위해 마우스를 사용할 때, 사용자가 큰 디스플레이의 일부분을 가로지르는 커서를 드래깅할 수 있도록 사용자는 마우스를 들어올려, 마우스 받침 상에 재배치해야한다. 이는 낭비인 부자연스러운 행동이다.
이러한 문제점을 해결하려는 종래 기술에서의 시도가 존재해왔다. 종래 기술의 한 가지 해결책으로는 사용자의 손에서 글로브를 사용하는 것이 있다. 이러한 글로브는 사용자의 하나 이상의 손이 입력 상치로 들어가도록 설계된다. 하나의 실시예에서, 입력 글로브는 컴퓨터 시스템으로 하드 와이어링(hard wiring)되어 있다. 이 해결책은 컴퓨터 시스템에 가까이 위치할 것과 행동반경의 제약을 요구하는, 사용자를 한 지점으로 묶어두는 단점을 갖는다. 한편 이것의 무선 구현은 글로브를 위한 독립적인 전력 공급을 필요로 한다. 전력 공급이 재충전될 필요가 있을 때, 글로브는 사용될 수 없다.
본 시스템은 하나 이상의 디스플레이 스크린 상에서 제공되는 다양한 시각적으로 제공되는 요소로 제스처 인터페이스를 제공한다. 하나의 실시예에서, 상기 시스템의 조작자는 자신의 손을 이용하여 ‘제스처 커맨드’의 연속적인 스트림을 발행시킴으로써, 이러한 요소를 탐색하고 조작한다. 또 다른 실시예에서, 사용자의 손, 발, 팔, 다리, 또는 사용자 전체가 탐색 및 제어를 제공하기 위해 사용될 수 있다. 제스처 어휘(gestural vocabulary)는, 하나 이상의 손이 적정한 ‘포즈’를 형성하여, 즉각적이며 1회적인 동작을 일으키는 ‘순간적인(instantaneous)’커맨드와, 리터럴 ‘포인팅’ 제스처를 이용하여 조작자가 스크린 상의 구성요소를 직접적으로 참조하거나, 상대적, 또는 “오프셋” 제스처를 이용하여 탐색을 수행하는 ‘공간적인(spatial)’커맨드를 포함한다. 절대적, 또는 직접적인 공간 제스처를 위해 사용되는 포인팅 제스처에 덧붙여, 본 발명은 XYZ 공간에서 상대적인 공간 탐색 제스처의 또 다른 카테고리를 인식할 수 있다. 이러한 동작의 카테고리는 XYZ 기법이라고 일컬어진다. 높은 프레임 율(frame rate)을 유지함으로써, 그리고 조작자 제스처의 해석에 있어서 거의 감지할 수 없는 지연을 보장함으로써, 그리고 주의깊게 설계된 공간 메타포와 명백한 ‘직접 조작(direct manipulation)’ 메커니즘을 사용함으로써, 시스템은 조작자와 표현되는 정보&프로세스 간의 선명한 ‘인지 결합(cognitive coupling)’을 제공한다. 상기 시스템은 사용자의 손을 식별할 수 있는 기능을 고려한다. 이러한 식별 시스템은 특정 표시(indicia)를 갖는 장갑의 형태, 또는 사용자의 손 상에 인식가능한 표시를 제공할 수 있는 임의의 적합한 수단일 수 있다. 카메라 시스템은 사용자의 손의 위치, 배향 및 움직임을 검출하고, 상기 정보를 실행가능한 커맨드로 해석할 수 있다.
도 1은 본 발명의 시스템의 하나의 실시예의 다이어그램이다.
도 2는 본 발명의 마킹 태그의 하나의 실시예의 다이어그램이다.
도 3은 본 발명의 하나의 실시예의 제스처 어휘에서의 포즈의 다이어그램이다.
도 4는 본 발명의 하나의 실시예의 제스처 어휘에서의 배향의 다이어그램이다.
도 5는 본 발명의 제스처 어휘에서의 두 손 조합의 다이어그램이다.
도 6은 본 발명의 하나의 실시예에서 제스처 어휘의 배향 혼합의 다이어그램이다.
도 7은 본 발명의 시스템의 하나의 실시예의 조작을 도시한 흐름도이다.
도 8은 시스템의 하나의 실시예에서의 커맨드의 예제이다.
제스처 기반 제어 시스템(gesture based control system)을 위한 시스템 및 방법이 기재된다. 다음의 기재에서, 다수의 특징이 상세하게 설명되어 본 발명의 더욱 완전한 이해가 제공될 수 있다. 본 발명은 이러한 특정 세부사항 없이 구현될 수 있음이 자명하다. 또한, 종래에 알려진 특징은 상세히 설명되지 않았다.
시스템( system )
본 발명의 하나의 실시예의 블록 다이어그램이 도 1에서 도시된다. 사용자는 카메라(104A - 104D)의 어레이의 시계(viewing area)에서 자신의 손(101, 102)을 위치시킨다. 상기 카메라는 손(101, 102) 및 손가락의 위치, 배향 및 움직임을 검출하고, 출력 신호를 선행-프로세서(pre-processor, 105)로 발생시킨다. 선행-프로세서(105)는 카메라 출력을 제스처 신호로 해석하고, 상기 제스처 신호는 시스템의 컴퓨터 프로세싱 유닛(107)으로 제공된다. 상기 컴퓨터(107)는 입력 정보를 사용하여 스크린 커서의 하나 이상을 제어하기 위한 커맨드를 생성하고, 비디오 출력을 디스플레이(103)로 제공한다.
시스템이 한 명의 사용자 손을 입력으로서 갖는 것처럼 나타나지만, 본 발명은 다수의 사용자와 함께 구현될 수 있다. 덧붙여, 손을 대신하여, 또는 손에 추가로, 시스템이 사용자 신체의 일부 부분, 가령 머리, 발, 다리, 팔, 팔꿈치, 무릎 등을 추적할 수 있다.
나타난 실시예에서, 4대의 카메라가 사용되어 사용자의 손(101, 102)의 위치, 배향 및 움직임을 검출할 수 있다. 본 발명의 사상 및 범위를 벗어나지 않고, 본 발명은 더 많거나 더 적은 대수의 카메라를 이용하여 사용될 수 있음이 이해되어야 할 것이다. 덧붙이자면, 카메라가 예시적 실시예에서는 대칭으로 배치되었을지라도, 본 발명에서 이러한 대칭성은 필수 요건이 아니다. 본 발명에서, 사용자의 손의 위치, 배향 및 움직임을 허용하는 임의의 대수의, 그리고 임의의 위치의 카메 라가 사용될 수 있다.
본 발명의 하나의 실시예에서, 사용되는 카메라는 그레이-스케일 이미지(grey-scale image)를 캡처할 수 있는 모션 캡처 카메라(motion capture camera)이다. 하나의 실시예에서, 사용되는 카메라는 Vicon사에서 제조된 것, 가령 Vicon MX40 카메라이다. 이 카메라는 온-카메라 프로세싱(on-camera processing)을 포함하며, 초당 1000프레임으로 이미지 캡처할 수 있다. 모션 캡처 카메라는 마커(marker)를 검출하고, 마커를 위치시킬 수 있다.
설명되는 실시예에서, 상기 카메라가 광학 검출을 위해 사용된다. 그 밖의 다른 실시예에서, 카메라, 또는 그 밖의 다른 검출기가 전자기성(electromagnetic) 검출, 또는 정자기성(magnetostatic) 검출, 또는 RFID 검출, 또는 그 밖의 다른 적합한 타입의 검출을 위해 사용될 수 있다.
3차원 공간 포인트 재구성(3 dimensional space point reconstruction) 및 골격 포인트 라벨링(skeleton point labeling)을 생성하기 위하여, 선행-프로세서(pre-processor, 105)가 사용된다. 3D 공간 정보와 마커 모션 정보를 커맨드 언어로 변환하는 제스처 해석기(gesture translator, 106)가 사용되며, 디스플레이 상에서의 커서의 위치, 형태 및 움직임을 업데이트하기 위해, 상기 커맨드 언어가 컴퓨터 프로세서에 의해 번역될 수 있다. 본 발명의 대안적 실시예에서, 선행-프로세서(105)와 제스처 해석기(106)가 단일 장치로 조합될 수 있다.
컴퓨터(107)는 임의의 범용 컴퓨터, 예컨대, Apple, 또는 Dell, 또는 그 밖의 다른 적합한 제조업체에서 만들어진 컴퓨터일 수 있다. 상기 컴퓨터(107)는 애 플리케이션을 운용하고, 디스플레이 출력을 제공한다. 그 외 다른 경우라면 마우스, 또는 그 밖의 다른 종래의 입력 장치로부터 오는 커서 정보가 이제 제스처 시스템으로부터 온다.
마커 태그( Marker Tags )
시스템이 사용자의 손의 위치를 파악하고, 왼손인지 또는 오른손인지를 식별하고, 손가락이 보이는지를 식별할 수 있도록, 본 발명은 사용자의 하나 이상의 손가락 상에서 마커 태그 사용을 고려한다. 이러한 사용에 의해, 시스템은 사용자 손의 위치, 배향 및 움직임을 검출할 수 있다. 이 정보는 시스템에 의해 다수의 제스처가 인지될 수 있게 하고, 사용자에 의해 커맨드(command)로서 사용될 수 있게 한다.
하나의 실시예에서, 마커 태그는 기판(본 발명의 하나의 실시예에서는 인간의 손의 다양한 위치에 적정하게 부착됨)과, 상기 기판의 표면 상에 특유의 식별되는 패턴으로 배열되는 이산적인(discrete) 마커를 포함하는 물리적 태그이다.
상기 마커 및 이에 연계된 외부 감지 시스템은 정교하고, 정확하며, 신속하고 연속적인 3-공간 위치의 획득을 가능하게 해주는 임의의 도메인(가령 광학, 전자기성, 정자기성 등)에서 동작할 수 있다. 마커 그 자체는 능동적으로(가령, 구조된 전자기성 펄스-structured electromagnetic pulse를 방출함으로써), 또는 수동적(가령, 본 실시예와 같이, 광학적으로 역반사함으로써)으로 동작할 수 있다.
획득의 각각의 프레임에서, 상기 검출 시스템은 계측된 작업공간에 현재 존재하는 태그로부터의 모든 마커가 포함된 복구된 3-공간 로케이션의 군집 '구 름(cloud)'을 수신한다. 각각의 태그 상의 마커는 충분히 다양하며, 특유의 패턴으로 배열되어, 검출 시스템이, 하나의 단일 태그를 형성하는 포인트들의 하나의 서브-집합으로 각각의 복구된 마커 위치가 할당되는 분할(segmentation)(1), 포인트들의 각각의 세그먼트된 서브-집합이 특정 태그로서 식별되는 라벨링(labelling)(2), 식별된 태그의 3-공간 위치가 복구되는 위치 파악(location)(3), 식별된 태그의 3-공간 배향이 복구되는 배향 작업(4)을 수행할 수 있다. 작업(1) 및 작업(2)은 마커-패턴의 특정 속성을 통해 가능해지며, 이는 차후 설명되며 도 2의 하나의 실시예에서 도시된 바와 같다.
하나의 실시예에서 태그 상의 마커가 균일 격자 로케이션(regular grid location)의 서브-세트에서 부착된다. 이러한 기본 격자는 본 발명에서와 같이 종래의 데카르트 정렬(Cartesian sort)일 수 있고, 그 밖의 다른 균일 모자이크 평면(가령 삼각형/육각형 타일 배열)일 수 있다. 인접한 격자 로케이션들이 서로 혼동되지 않도록, 상기 격자의 크기(scale)와 공간 배치는 마커-감지 시스템의 알려진 공간 분해능(spatial resolution)에 관련하여 확립된다. 모든 태그에 대한 마커 패턴의 선택이 다음의 제약사항을 만족시킬 것이다. 회전, 또는 직선 운동, 또는 반전(mirroring)의 임의의 조합을 통해, 어떠한 태그의 패턴도 그 밖의 다른 임의의 태그의 패턴과 동시에 발생하지 않는다. 일부 특정된 개수의 구성요소 마커의 손실은 허용되도록 마커의 중복 및 배열이 추가적으로 선택될 수 있다. 임의의 변형 후에, 절충된 모듈이 다른 것과 혼동되지 않아야 한다.
이제 도 2를 참조하면, 다수의 태그(201A - 201E, 왼손) 및 태그(202A - 202E, 오른손)가 도시되어 있다. 각각의 태그는 사각형이며, 이 실시예에서, 5x7 격자 어레이로 구성되어 있다. 이 사각 형태는 태그의 배향을 결정하는 것을 보조하도록, 거울 복사본(mirror duplicate)의 가능성을 감소시키도록 선택된다. 나타난 실시예에서, 각각의 손의 각각의 손가락에 대한 태그가 존재한다. 일부 실시예에서, 하나의 손 당 1개, 또는 2개, 또는 3개, 또는 4개의 태그를 사용하는 것이 적정할 수 있다. 각각의 태그는 여러 다른 그레이-스케일, 또는 색조의 경계부를 갖는다. 이러한 경계부 내부에서 3x5 격자 어레이가 존재한다. 마커(도 2의 검은 점으로 표시된다)가 격자 어레이의 특정 포인트에서 배치되어 정보를 제공할 수 있다.
각각의 패턴을 “공통의(common)”서브-패턴과 “특유의(unique)”서브-패턴으로 분할함으로써, 검증 정보가 태그의 마커 패턴으로 인코딩될 수 있다. 예를 들어, 본 발명은 두 가지의 가능한 “경계부 패턴”, 즉, 사각 경계부에 대한 마커의 분포를 특정한다. 따라서 태그의 ‘무리(family)’가 확립된다, 즉, 태그(201A - 201E)에서 나타나는 바와 같이, 왼손에 대하여 의도된 태그들은 모두 동일한 경계부 패턴을 사용할 수 있는 반면에, 태그(202A - 202E)에서 나타나는 바와 같이, 오른손의 손가락에 부착된 태그는 서로 다른 패턴을 할당받을 수 있다. 태그의 모든 배향으로, 왼손 패턴이 오른손 패턴으로부터 구별될 수 있도록 이러한 서브-패턴이 선택된다. 도시된 예제에서, 왼손 패턴은 각각의 모서리에서 하나의 마커를 포함하며, 모서리 격자 로케이션으로부터 두 번째에 하나의 마커를 포함한다. 오른손 패턴은 단지 두 개의 모서리에서만 마커를 가지며, 두 개의 마커가 모서리가 아닌 격 자 로케이션에 위치한다. 패턴을 살펴보면, 4개의 마커 중 임의의 3개가 가시적인 한, 왼손 패턴은 오른손 패턴으로부터 명확히 구별될 수 있다. 일부 실시예에서, 경계의 색채나 음영이, 사용되는 손의 인디케이터로서 사용될 수 있다.
물론, 각각의 태그는 여전히 무리의 공통적인 경계부 내부에 위치하는, 마커가 분포되어 있는 특유의 안쪽 패턴을 사용한다. 도시된 실시예에서, 손가락의 회전이나 배향으로 인한 중복 없이, 10개의 손가락 중 각각의 손가락을 식별하기에, 안쪽 격자 어레이의 두 개의 마커면 충분하다. 마커들 중 하나가 겹쳐지는 경우라도, 패턴과, 태그의 왼손·오른손의 여부의 조합이 특유의 식별자(identifier)를 생성한다.
본 실시예에서, 견고한 기판 상에서 격자 로케이션이 시각적으로 제공되며, 이는 각각의 역반사성 마커를 의도한 로케이션에 부착하는 (수동) 작업을 보조할 수 있다. 이러한 격자 및 의도된 마커 로케이션이 컬러 잉크젯 프린터를 통해, 기판으로 인쇄되며, 상기 기판은 본원에서는 유연한 “수축성 막(shrink-film)”의 시트이다. 각각의 모듈이 시트로부터 잘라져서, 오븐에서 구워지며, 이 동안 열처리에 의해, 각각의 모듈이 정확하고 반복적인 수축을 수행한다. 이 절차 후의 짧은 간격 동안, 예를 들어 손가락의 세로 방향 커브를 따르도록 약간 냉각된 태그가 형성될 수 있고, 그 후, 기판이 적절하게 견고히 되어, 마커는 지정된 격자 지점으로 부착될 수 있다.
하나의 실시예에서, 마커 그 자체는 3차원이다. 가령 접착제나 그 밖의 다른 적정한 수단을 통해 기판에 부착되어 있는 반사성 구체(reflective sphere)일 수 있다. 3차원 마커는 2차원 마커보다 검출 및 위치파악에 도움이 될 수 있다. 그러나 본 발명의 사상 및 범위를 벗어나지 않고, 3차원 마커, 또는 2차원 마커가 사용될 수 있다.
현재, 태그는 Velcro, 또는 그 밖의 다른 적정한 수단을 통해, 조작자가 착용한 글로브(glove)로 부착되거나, 또는 대안적으로 부드러운 양면 테이프를 이용하여 조작자의 손가락에 직접 부착된다. 세 번째 실시예로, 견고한 기판과 함께 제공되며, 개별적인 마커를 조작자의 손가락 및 손으로 직접 첨가(또는 “페인팅”)될 수 있다.
제스처 어휘(Gesture vocabulary)
본 발명은 손의 포즈(pose), 배향(orientation), 손 조합(hand combination) 및 배향 혼합(orientation blends)으로 구성된 제스처 어휘를 고려한다. 본 발명의 제스처 어휘에서, 포즈 및 제스처를 설계 및 통신하기 위한 표기 언어가 또한 구현된다. 상기 제스처 어휘는 운동 결합(kinematic linkage)의 순간적인 “포즈 상태(pose state)”를 작은 텍스트 형식으로 나타내기 위한 시스템이다. 상기 결합은 생체학적인 것(예컨대, 인간의 손, 또는 인체 전체, 또는 메뚜기 다리, 또는 여우원숭이의 관절 척추)일 수 있고, 또는 비-생체학적인 것(가령, 로봇의 암-arm)일 수 있다. 임의의 경우에서, 상기 결합은 단순하거나(가령 척추), 나뭇가지의 형태일 수 있다(가령 손). 본 발명의 제스처 어휘 시스템은 특정 결합에 대하여 일정한 길이의 스트링을 확립하며, 스트링의 ‘문자 로케이션(character location)'을 차지하는 특정 ASCII 문자의 총집합은 상기 결합의 순간적인 상태, 또는 포즈의 특유한 기술어(description)가 된다.
손 포즈( hand pose )
도 3은 본 발명을 사용하는 제스처 어휘의 하나의 실시예에서의 손 포즈를 도시한다. 본 발명은 하나의 손의 다섯 개 손가락의 각각이 사용되도록 제안한다. 이 손가락들의 코드는 p-pinkie(새끼손가락), r-ring finger(약손가락), m-middle finger(가운데손가락), i-index finger(집게손가락), t-thumb(엄지손가락)이다. 손가락 및 엄지손가락에 대한 다수의 포즈가 도 3에서 정의되고 도시된다. 제스처 어휘 스트링(string)은 결합(이 경우에서는 손가락)에 대한 각각의 자유도(degree of freedom)에 대하여 단일 문자 위치(character position)를 확립한다. 덧붙이자면, 유한 개수의 표준 ASCII 문자 중 하나를 상기 스트링 위치에 할당시킴으로써 움직임의 전체 범위가 표현될 수 있도록, 이러한 각각의 자유도는 이산화(또는 양자화)된다. 이러한 자유도는 인체-특정 원점(body-specific origin)과 좌표 시스템(손등, 메뚜기의 몸통의 중심, 로봇 암의 기저 등)에 관련하여 표현된다. 적은 수의 추가적인 제스처 어휘 문자 위치가 사용되어, 결합의 위치와 배향을 더 전역적인(global) 좌표 시스템에서 '전체로서(as a whole)' 표현할 수 있다.
도 3을 계속 참조하면, ASCII 문자를 이용하여 다수의 포즈가 정의되고 식별된다. 포즈 중 일부는 엄지손가락과 엄지손가락이 아닌 손가락들로 나눠진다. 이 실시예의 발명은 코딩(coding)을 사용한다. ASCII 자체가 포즈를 함축하고 있다. 그러나 포즈를 나타내기 위해, 상기 포즈를 함축하는 것에 관계없는 임의의 문자가 사용될 수 있다. 덧붙이자면, 표기 스트링(notation string)에 대하여 ASCII 문자 를 사용하기 위한 본 발명의 요구사항은 없다. 본 발명의 사상 및 범위를 벗어나지 않는 임의의 적합한 기호, 또는 숫자, 또는 그 밖의 다른 표현이 사용될 수 있다. 예를 들어, 요구되는 경우, 표기는 손가락 당 2비트를 사용할 수 있고, 또는 요구에 따라 그 밖의 다른 비트 수를 사용할 수 있다.
구부러진 엄지손가락이 “>”로 나타내어지는 반면에, 구부러진 손가락은 문자 “^”로 나타내어진다. 곧 뻗은 손가락, 또는 위로 향하는 엄지손가락은 “I”로 나타내어지며, 이때 각도의 여부는 “\”, 또는 “/”로 나타내어진다. “-”은 옆으로 직선으로 뻗은 엄지손가락을 나타내며, “x”는 평면으로 향하는 엄지손가락을 나타낸다.
이러한 개별적 손가락 및 엄지손가락 기술어를 사용하여, 다수의 손 포즈가 정의되고, 기록될 수 있다. 각각의 포즈는 앞서 언급된 바와 같이 p-r-m-i-t의 손서를 갖는 다섯 개의 문자로 나타내어진다. 도 3은 다수의 포즈를 도시하며, 그 중 몇 개가 설명과 예시의 방법으로 본원에서 기재된다. 지면에 평행인 평평한 손은 “11111”로 표현된다. 주먹은 “^^^^>”로 표현된다. “OK”는 “111^>”로 표현된다.
문자 스트링이 함축적인 문자를 사용할 때, 수월한 ‘인간의 판독성(human readability)’이 제공된다. 각각의 자유도를 나타내는 가능한 문자의 세트가 빠른 인지와 명백한 유추성을 고려하여 선택될 수 있는 것이 일반적이다. 예를 들어, 수직 바('|')는 결합 요소가 ‘직선’상태임을 의미하고, 엘('L')은 90도 구부러진 상태를 의미하며, 꺽쇠('^')는 더 명백히 접힌 상태를 가리킬 수 있다. 앞서 언급 된 바와 같이, 요구되는 대로 임의의 문자, 또는 코딩이 사용될 수 있다.
앞서 언급된 바와 같은 제스처 어휘 스트링을 사용하는 임의의 시스템은 스트링 비교(임의의 특정된 포즈의 식별, 또는 임의의 특정된 포즈의 검색이 요망 포즈 스트링과 순간적인 실제 스트링 간의 ‘스트링 비교(string compare)’가 된다)에 있어서 높은 연산 효율(computational efficiency)이라는 장점을 갖는다. 덧붙이자면, ‘와일드카드 문자(wildcard character)’의 사용이 프로그래머, 또는 시스템 설계자에게 추가적으로 친숙성과 효율성을 제공하며, 일치하지 않는 순간적인 상태를 갖는 자유도는 의분부호('?')로서 특정될 수 있고, 추가적인 와일드카드 의미가 할당될 수 있다.
배향( orientation )
손가락 및 엄지손가락의 포즈에 추가로, 손의 배향이 정보를 나타낼 수 있다. 전역-공간 배향을 기술하는 문자는 투명하게(transparently) 선택될 수 있다: 배향 문자 위치에서 사용될 때, 문자 '<', '>', '^' 및 'v'가 좌, 우, 상 및 하의 개념을 나타내기 위해 사용될 수 있다. 도 4는 손 배향 기술어를 보여주고, 포즈와 배향을 조합하는 코딩의 예시를 보여준다. 본 발명의 하나의 실시예에서, 두 개의 문자 위치가 우선 손바닥의 방향을 특정하고, 그 후 (손가락의 실제 구부러짐에 관계 없이, 직선 상태인 경우) 손가락의 방향을 특정한다. 이러한 두 개의 위치에 대한 가능한 문자가 배향의 ‘신체-중심(body-centric)’표기를 표현한다, 즉, '-', '+', '*', '^' 및 ‘v’는 보통, 세로방향, 앞쪽(신체로부터 멀리 떨어져서 전방), 뒤쪽(신체로부터 멀리 떨어져서 후방), 위쪽(상향), 뒤쪽(하향)을 표현한다.
본 발명의 실시예의 표시 개념에서, 다섯 개의 손가락의 포즈를 나타내는 문자 뒤에 콜론이 뒤따르며, 완전한 커맨드 포즈를 정의하기 위해 두 개의 배향 문자가 뒤따른다. 하나의 실시예에서, 시작 위치는 " xyz " 포즈로서, 상기 포즈가 오른손을 갖고 이뤄질 때, 엄지손가락이 직선으로 위를 가리키고, 집게손가락이 전방을 가리키며, 가운데 손가락이 집게손가락에 수직이면서 왼쪽 방향을 가리킨다. 이는 스트링 " ^^x1-:-x "로 표현된다.
'XYZ-핸드'는 인간의 손의 기하학적 형태를 활용하기 위한 기법이며, 이에 따라서 시각적으로 제공된 3차원 구조의 완전한 자유도(degree of freedom) 6이 허용된다. (손가락이 원칙적으로 임의의 요망 포즈를 가질 수 있도록) 이 기법이 조작자의 손의 벌크 직선 운동 및 회전 운동에만 따라서 좌우될지라도, 본 발명은 집게손가락이 인체로부터 먼 곳을 가리키고, 엄지손가락이 천정을 향해 가리키며, 가운데손가락이 좌-우를 가리키는 정적인 구성을 선호한다. 따라서 상기 세 개의 손가락이 3-차원 좌표 시스템(따라서 'XYZ-손')의 3개의 서로 직교하는 축을 (대강, 그러나 명확한 의도를 갖고) 나타낸다.
그 후, XYZ-핸드 탐색(navigation)이 지정된 ‘중립 위치(neutral location)’에서의 조작자의 몸 앞쪽에서 행해지는 앞서 언급된 포즈로의 손과 손가락을 이용하여 진행된다. 3-공간 물체(즉 카메라)의 직선운동의 자유도 3 및 회전운동의 자유도 3에 접근하는 것은, 다음의 자연스러운 방식으로 효과를 나타낸다. (신체의 자연스러운 좌표 시스템에 대하여) 손을 좌-우 이동시킴으로써, 연산 컨텍스트의 x-축을 따라 이동되며, 손의 상-하향 움직임은 제어된 컨텍스트의 y-축을 따르는 움직임을 야기하고, 전방-후방 손 움직임(조작자의 신체 방향으로의 손 움직임, 또는 멀어지는 방향으로의 손 움직임)은 컨텍스트에서의 z-축 움직임을 야기한다. 이와 유사하게, 집게손가락에 대한 조작자의 손의 회전은 연산 컨텍스트의 배향의 ‘x-축 중심 회전(roll)’변화를 야기하며, 이와 유사하게, 가운데손가락 및 엄지손가락에 대한 조작자의 손의 회전을 통해, 'y-축 중심 회전(pitch)' 및 'z-축 중심 회전(yaw)' 변화가 야기된다.
'연산 컨텍스트(computational context)'가 XYZ-핸드 방법에 의해 제어되는 개체를 참조하기 위해 사용되지만, 다양한 자유도의 실세계 물체를 제어하기 위한 기법이 똑같이 유용함을 알아야 할 것이며, 그 예로는, 적정한 회전 액추에이터가 구비된 비디오, 또는 모션 픽처 카메라의 팬(pan)/틸트(tilt)/롤(roll) 제어가 있다. 덧붙이자면, XYZ-핸드 포즈에 의해 산출되는 물리적인 자유도가 가상 도메인에서 다소 덜 매핑될 수 있다. 본 발명에서, 또한 조작자의 손의 좌-우 움직임 및 상-하 움직임이 이미지에 대하여 기대되는 좌-우, 또는 상-하 ‘패닝(panning)’을 야기하나, 조작자의 전방-후방 움직임은 ‘줌(zooming)’제어와 매핑되도록, XYZ-핸드가 큰 파노라마 디스플레이 이미지로의 탐색 접근을 제공하기 위해 사용된다.
매 경우에서, 손의 움직임과 이에 따라 유도된 연산적 직선 운동/회전 운동 간의 연결은 직접적(즉, 조작자의 손의 위치나 회전의 오프셋이 선형/비-선형 함수를 통해 1대1로, 연산 컨텍스트에서의 물체나 카메라의 위치나 회전 오프셋에 매핑함)이거나, 또는 간접적(즉, 조작자의 손의 위치나 회전 오프셋이 선형/비-선형 함 수를 통해 1대1로, 상기 연산 컨텍스트에서의 위치/배향의 1차 이상의 도함수에 매핑되며, 그 후 계속되는 적분에 의해, 상기 연산 컨텍스트의 실제 0차 위치/배향으로의 정적이지 않은 변화를 일으킴)일 수 있다. 이러한 후자의 제어 수단은, 페달의 일정한 오프셋이 일정한 차량의 속도에 가속, 또는 감속을 일으키는 자동차의 ‘가속페달’의 사용과 유사하다.
실세계의 XYZ-핸드의 자유도 6 좌표의 영점(origin)으로서 기능하는 '중립 위치(neutral location)'는, (1)공간의 절대 위치 및 배향(방에 관한)으로서, 또는 (2)조작자의 전체 위치 및 '머리 방향(heading)'에 관계없는, 조작자에 대한 고정된 위치 및 배향(가령, 몸 앞의 8인치, 턱 아래 10인치, 어깨 평면과 수직인 라인으로)으로서, 또는 (3) 조작자의 의도된 두 번째 동작(예를 들어, 조작자의 ‘나머지’ 손에 의해 규정되는 제스처 커맨드를 이용하며 이뤄짐, 이때 상기 커맨드는 XYZ-핸드의 현재 위치 및 배향이 직선 운동 및 회전 운동의 영점으로서 사용되어야함을 나타냄)을 통해 상호작용 방식으로 확립될 수 있다.
XYZ-핸드의 중립 위치에 대하여 '멈춤(detent)' 구역을 제공하여, 이 구역 내의 움직임은 제어되는 컨텍스트의 움직임에 매핑하지 않도록 하는 것이 편리하다.
그 밖의 다른 포즈가 포함될 수 있다. 예를 들어,
[||||| : vx] 는 손바닥이 아래를 향하고 손가락이 전방을 향하는 평평한 손(엄지손가락이 다른 손가락에 평행한 상태),
[||||| : x^] 는 손바닥이 전방을 향하고, 손가락이 천정을 향하는 평평한 손,
[||||| : -x] 는 손바닥이 몸의 중심을 향하고(왼손의 경우 오른쪽, 오른손의 경우 왼쪽), 손가락들이 전방을 향하는 평평한 손,
[^^^^- : -x] 는 엄지손가락이 세워져 있는 하나의 손(엄지손가락이 천정을 가리킴),
[^^^|- : -x] 는 전방을 향하는 권총 흉내
가 있다.
두 손 조합( Two Hand Combination )
본 발명은 한 손 커맨드 및 포즈를 고려할 뿐 아니라, 두 손(hand)용 커맨드 및 포즈도 고려한다. 도 5는 본 발명의 하나의 실시예에서 두 손 조합 및 이에 연계된 표기를 도시한다. 첫 번째 예의 표기를 살펴보면, “완전 멈춤(full stop)”은 두 개의 다문 주먹을 포함함을 나타낸다. “스냅샷(snapshot)” 예시는 각각의 손의 엄지손가락과 집게손가락이 펴져 있고, 엄지손가락이 서로를 향하여, 골대 형태의 프레임을 형성하는 것을 나타낸다. “키 및 조절판 시작 위치(rudder and throttle start position)”는 손바닥이 스크린을 향하며, 손가락들 및 엄지손가락들이 위를 가리킨다.
배향 혼합( Orientation Blends )
도 6은 본 발명의 하나의 실시예에서 배향 혼합의 예를 도시한다. 도시된 예제에서, 혼합은 배향 표기의 한 쌍을 괄호로 둘러쌈으로써, 손가락 포즈 스트링 뒤에서 나타난다. 예를 들어, 첫 번째 커맨드는 모두 직선으로 가리키는 손가락 위치 를 나타낸다. 배향 커맨드의 첫 번째 쌍에 의해, 손바닥이 디스플레이쪽으로 평평하며, 두 번째 쌍이 스크린 쪽으로의 45도 피치에 대해 회전하는 손을 갖는다. 혼합의 쌍이 이러한 예시로 나타났을지라도, 본 발명에서는 임의의 개수의 혼합이 고려된다.
예시 커맨드( Example Command )
도 8은 본 발명과 함께 사용될 수 있는 여러 가지 가능한 커맨드를 도시한다. 본원에서 논의되는 점 중 일부가 디스플레이 상의 커서를 제어하는 것에 대한 것일지라도, 본 발명은 이러한 활동에 제한받지 않는다. 실제로, 본 발명은 스크린 상의 임의의 모든 데이터 및 데이터의 부분을 조작하는 것뿐 아니라 디스플레이의 상태를 조작함에 있어 큰 적용성을 갖는다. 예를 들어, 비디오 미디어의 뒤로-재생 동안 비디오 제어를 시작하기 위해 커맨드가 사용될 수 있다. 상기 커맨드는 일시정지, 빨리 감기, 되감기 등을 위해 사용될 수 있다. 덧붙이자면, 이미지를 줌-인(zoom-in), 또는 줌-아웃(zoom-out)하기 위한 커맨드가 구현되어, 이미지의 배향을 변경시키고, 임의의 방향으로 패닝(panning)하며, 그 밖의 다른 작업을 수행할 수 있다. 본 발명은 또한 열기, 닫기, 저장 등의 메뉴 커맨드를 대신하여 사용될 수 있다. 다시 말하자면, 생각되어질 수 있는 임의의 커맨드, 또는 활동이 손 제스처를 이용하여 구현될 수 있다.
조작( Operation )
도 7은 하나의 실시예에서의 본 발명의 동작을 도시하는 흐름도이다. 단계(701)에서, 검출 시스템이 마커 및 태그를 검출한다. 판정 블록(702)에서, 태그 및 마커가 검출되는 여부가 판단된다. 검출되지 않는 경우, 시스템은 단계(701)로 돌아간다. 단계(702)에서 태그 및 마커가 검출되는 경우, 시스템은 단계(703)로 진행한다. 단계(703)에서, 시스템은 검출된 태그 및 마커로부터 손, 손가락 및 포즈를 식별한다. 단계(704)에서, 시스템은 포즈의 배향을 식별한다. 단계(705)에서, 시스템은 검출된 손, 또는 손들의 3차원 공간 위치를 식별한다. (단계(703, 704, 705) 중 일부, 또는 전부가 단일 단계로서 조합될 수 있다.)
단계(706)에서, 정보는 앞서 언급된 제스처 표기로 해석된다. 판정 블록(707)에서, 포즈가 유효한지의 여부가 판단된다. 이는 생성된 표기 스트링을 이용하는 간단한 스트링 비교를 통해 이뤄질 수 있다. 포즈가 유효하지 않는 경우, 시스템은 단계(701)로 돌아간다. 포즈가 유효한 경우, 단계(708)에서 시스템이 표기 및 위치 정보를 컴퓨터로 전송한다. 단계(709)에서, 컴퓨터는 제스처에 응답하기 위한 적정한 동작을 취하고, 이에 따라 단계(710)에서 디스플레이를 업데이트한다.
본 발명의 하나의 실시예에서, 온-카메라 프로세서(on-camera processor)에 의해 단계(701 - 705)는 이뤄진다. 그 밖의 다른 실시예에서, 요청되는 경우, 시스템 컴퓨터에 의해 프로세싱이 이뤄질 수 있다.
파싱 및 해석( Parsing and Translation )
시스템은 하위 시스템에 의해 복구된 로우-레벨(low-level) 제스처의 스트림(stream)을 "파싱(parse)"하고 "해석(translate)"할 수 있으며, 파싱되고 해석된 제스처를, 컴퓨터 애플리케이션 및 시스템을 제어하기 위해 사용될 수 있는 커맨 드, 또는 이벤트 데이터의 스트림으로 변화시킨다. 이러한 기법 및 알고리즘은 이러한 기법을 구현하는 엔진과, 컴퓨터 애플리케이션을 빌드(build)하기 위한 플랫폼을 모두 제공하는 컴퓨터 코드로 구성된 시스템에서 구현될 수 있으며, 상기 컴퓨터 애플리케이션은 엔진의 성능을 사용할 수 있다.
하나의 실시예는, 컴퓨터 인터페이스에서 인간의 손의 풍부한 제스처 사용을 가능하게 하는 것에 초점을 맞춘다. 그러나 또한 그 밖의 다른 신체 부분(예를 들어, 팔, 몸통, 다리 및 머리)뿐 아니라, 정적인 것과 관절이 있는 것 모두의 다양한 종류의 물리적인 툴(예를 들어, 다양한 형태의 캘리퍼스, 컴퍼스, 유연성 커브 근사화기 및 위치지시장치)에 의해 만들어지는 제스처도 인식할 수 있다. 요청되는상기 마커 및 태그가 조작자에 의해 실행되고 사용될 수 있는 아이템 및 툴로 적용될 수 있다.
본원에서 기재된 시스템은 인식될 수 있고 반응될 수 있는 제스처의 범위가 풍부한 제스처 시스템을 구축할 수 있게 하면서, 동시에 애플리케이션으로 손쉽게 통합될 수 있게 하는 다수의 혁신기술을 차용한다.
하나의 실시예에서의 제스처 파싱 및 해석 시스템은
1) 제스처를 특정(컴퓨터 프로그램에서의 사용되기 위해 인코딩)하기 위한 간단하고 효율적인 방법으로 구성되며, 이때 상기 방법은
a. 3차원 공간에서의 한 손 포즈(서로에 대한 손의 배치의 구성 및 배향), 한 손 배향 및 위치
b. 포즈, 또는 위치, 또는 이 둘 모두를 고려한 두 손 조합
c. 여러 사람의 조합; 시스템이 셋 이상의 손을 추적할 수 있고, 둘 이상의 사람이 협력적으로(또는 게임 애플리케이션의 경우, 경쟁적으로) 표적 시스템을 제어할 수 있다.
d. 일련의 포즈가 조합되는 시퀀스 제스처이며, 이를 "애니메이팅(animating)" 제스처라고 일컫는다.
e. 조작자가 공간에서 형태를 추적하는 "서기소(grapheme)" 제스처
의 서로 다른 몇 가지 레벨의 집합에서 이뤄지며, 상기 제스처 파싱 및 해석 시스템은
2) 앞서 언급된 각각의 카테고리로부터의, 주어진 애플리케이션 컨텍스트에 관련되어 있는 특정 제스처를 등록하기 위한 프로그래밍 기법과,
3) 등록된 제스처가 식별될 수 있도록 제스처 스트림을 파싱하기 위한 알고리즘과, 관련 애플리케이션 컨텍스트로 전달될 수 있는, 이러한 제스처를 캡슐화하는 이벤트
로 구성된다.
구성 요소(1a 내지 1f)를 갖는 특정 시스템(1)이 본원에서 설명되는 시스템의 능력을 파싱하고 해석하는 제스처를 사용하기 위한 토대를 제공한다.
한-손 "포즈"는
ⅰ) 손가락과 손등 간의 상대적 배향
ⅱ) 양자화된 작은 수의 이산 상태
의 스트링으로서 나타난다.
상대적인 접합 배향을 이용함으로써, 본원의 시스템은 서로 다른 손 크기 및 기하학적 형태에 관련된 문제를 피할 수 있다. 이러한 시스템에서는 어떠한 "조작자 교정(operator calibration)"이 요구되지 않는다. 덧붙이자면, 상대적인 배향의 스트링, 또는 집합으로서 포즈를 특정함으로써, 포즈 표현을 추가적인 필터나 명세와 조합함으로써 더욱 복잡한 제스처 서술이 쉽게 생성될 수 있다.
포즈 명세(specification)에 대하여 적은 개수의 이산 상태를 이용함으로써, 포즈를 간소하게 특정하는 것뿐 아니라, 다양한 하위 추적 기법(예를 들어, 카메라를 이용하는 패시브 광학 추적, 빛을 받은 도트 및 카메라를 이용하는 활성 광학 추적, 전자기 추적 등)을 이용하는 정확한 포즈 인식을 보장하는 것이 가능해진다.
모든 카테고리(1a 내지 1f)에서, 핵심적이지 않은 데이터는 무시되도록 제스처는 부분적으로(또는 최소한으로) 특정될 수 있다. 예를 들어, 두 개의 손가락의 위치가 결정적이며, 나머지 손가락의 위치는 중요치 않은 제스처는, 상기 두 개의 관련 손가락의 기능적 위치가 주어지는 단일 명세에 의해 표현될 수 있으며, 동일한 스트링 내에서, "와일드카드(wildcard)", 또는 일반적인 "이것을 무시(ignore these)" 인디케이터가 그 밖의 다른 손가락에 대하여 쓰일 수 있다.
제스처 인식에 대하여 본원에서 기재된 혁신기술은, 다층 명세 기법(multi-layered specification technique)과, 상대적 배향의 사용, 데이터의 양자화, 부분이나 최소한의 명세가 모든 레벨에서 허용하기, 손 제스처의 명세를 넘어서 그 밖의 다른 신체 부분과 "제조된" 툴 및 물체를 이용하여 제스처의 명세까지로 일반화시키기가 있다(그러나 이에 제한받지 않음).
"제스처 등록하기"(2)에 대한 프로그래밍 기법은, 어느 제스처가 실행 중인 시스템이 나머지 부분에 유효한지를 프로그래머가 정의할 수 있게 해주는 API(Application Programming Interface) 호출의 정의된 세트로 구성된다.
이러한 API 루틴은 애플리케이션 설정 시점에서 사용될 수 있으며, 실행 중인 애플리케이션의 라이프타임 전체 동안 사용되는 정적인 인터페이스 정의를 생성한다. 또한 이들은 실행 동안 사용될 수 있으며, 이에 따라서, 인터페이스 특성이 온 더 플라이(on the fly)로 변화될 수 있다. 인터페이스의 이러한 실시간 변동에 의해,
ⅰ) 복잡한 컨텍스트 및 조건적 제어 상태가 구축되고,
ⅱ) 히스테리시스(hysterisis)를 제어 환경으로 동적으로 추가하며,
ⅲ) 사용자가 실행중인 시스템의 인터페이스 어휘를 변경하거나 확장시킬 수 있는 애플리케이션을 생성할 수 있다.
제스처 스트림(3)을 파싱하기 위한 알고리즘이 (1)에서 특정된 제스처와 (2)에서 등록된 제스처를 들어오는 로우-레벨 제스처 데이터에 대하여 비교한다. 등록된 제스처에 대한 일치가 인식되면, 일치되는 제스처를 나타내는 이벤트 데이터가 스택으로(up the stack) 실행중인 애플리케이션에게 전달된다.
이 시스템의 설계에서 효율적인 실시간 일치(matching)가 요구되고, 특정 제스처가 가능한 가장 빠르게 처리되는 가능성 트리(tree of possibility)로서 취급된다.
덧붙이자면, 또한 특정된 제스처를 인식하기 위해 사용되는 원시 비교 조작 자가 애플리케이션 프로그래머가 사용하기 위해 노출되어, 추가적인 비교(예를 들어, 복잡하거나 복합적인 제스처의 유연한 상태 조사)가 애플리케이션 컨텍스트 내에서 발생될 수 있다.
"잠금(locking)" 의미어(semantic)의 인식이 본원 발명의 혁신기술이다. 이러한 의미어는 등록 API(2)(명세 어휘(1) 내에서 보다 작은 범위까지)에 의해 의미가 부여된다. 등록 API 호출은
ⅰ) "입력" 상태 통지자 및 "연속" 상태 통지자
ⅱ) 제스처 우선순위 특정자
를 포함한다.
제스처가 인식된 경우, 그 "연속" 의 조건은, 동일하거나 더 낮은 우선순위의 제스처에 대한 모든 “입력” 조건보다 선행한다. 입력 상태와 연속 상태 간의 이러한 구별이 인지된 시스템 유용성을 더 추가시킨다.
본원의 시스템은 현실세계의 데이터 에러와 불확실성에 직면하는 견고한 작업에 대한 알고리즘을 포함한다. (예를 들어, 광학 추적, 또는 네트워크 드롭-아웃, 또는 프로세싱 지연 등에 따른 마커의 폐색 등의 다양한 이유로) 로우-레벨 추적 시스템으로부터의 데이터는 불완전할 수 있다.
잃어버린 데이터가 파싱 시스템에 의해 표시되고, 상기 잃어버린 데이터의ㅏ 크기와 컨텍스트에 따라, "마지막 알려진(last known)", 또는 "가장 유망한(most likely)" 상태로 삽입된다.
특정 제스처 성분에 대한 데이터(예를 들어, 특정 조합의 배향)가 손실된 경 우, 그러나 상기 특정 성분의 "마지막 알려진(last known)" 상태가 물리적으로 가능하다(시스템이 실시간 일치(matching)로 이 마지막 알려진 상태를 이용한다)고 분석될 수 있다.
거꾸로 말하자면, 마지막 알려진 상태가 물리적으로 불가능하다고 분석되는 경우, 상기 시스템은 부품의 "가장 바람직하다고 추정되는 범위"로 돌아가서, 실시간 일치에서 이러한 합성 데이터를 사용한다.
다-손(multi-hand) 제스처를 위해, 각각의 손이 포즈 요구조건을 만족시킬 수 있도록 "손잡이 불가지론(handedness agnosticism)"을 지원하도록 본원 발명의 명세 및 파싱 시스템이 설계되었다.
일치 발생하는 가상/디스플레이와 물리적 공간( Coincident Virtual / Display and Physical Space )
본 시스템은 하나 이상의 디스플레이 장치(“스크린”) 상에서 표현되는 가상 공간이 물리적 공간에서와 일치 발생하도록 처리되는 환경을 제공할 수 있다. 이러한 환경에 대한 실시예가 여기서 기술된다. 이러한 현재 실시예는 투영기에 의해 구동되는 3개의 스크린을 고정된 위치에서 포함하며, 상기 스크린은 단일 데스크탑 컴퓨터에 의해 구동되며, 본원에서 설명된 제스처 어휘와 인터페이스 시스템을 이용하여 제어된다. 그러나 임의의 개수의 스크린이 지원되며, 상기 스크린은 (고정형보다는) 이동형일 수 있고, 상기 스크린이 다수의 독립적인 컴퓨터에 의해 동시에 구동될 수 있으며, 전체 시스템이 입력 장치, 또는 기법에 의해 제어될 수 있다.
본원에서 설명되는 인터페이스 시스템은 물리 공간에서의 스크린의 크기, 배향 및 위치를 결정하는 수단을 가질 것이다. 이러한 정보가 주어지면, 상기 시스템은 이러한 스크린이 위치하는(그리고 시스템의 조작자가 위치하는) 물리적 공간을 투사로서 시스템에서 실행 중인 컴퓨터 애플리케이션의 가상공간으로 동적으로 매핑할 수 있다. 이러한 자동 매핑의 부분으로서, 시스템은 2개의 공간의 스케일, 각도 깊이, 크기 및 그 밖의 다른 특성을, 시스템에 의해 호스팅되는 애플리케이션의 필요성에 따라서 다양한 방식으로 해석한다.
물리적 공간과 가상공간 간의 이러한 연속적인 해석에 의해, 현존하는 애플리케이션 플랫폼 상에서 이뤄지기 어려운, 또는 현존하는 플랫폼 상에서 실행되는 각각의 애플리케이션에 대하여 점진적으로 구현되어야 할 다수의 인터페이스 기법의 호환되면서 보급력 있는 사용이 가능해진다. 이러한 기법은,
1) “리터럴 포인팅(literal pointing)”의 사용, 파급력이 있고 자연스러운 인터페이스 기법으로서, 즉, 제스처 인터페이스 환경에서 손을 사용하거나, 물리적 포인팅 툴, 또는 장치를 사용하는 것과,
2) 스크린의 이동, 또는 재-포지셔닝에 대한 자동 보상과,
3) 조작자의 위치에 따라 변화하는 그래픽 렌더링, 예를 들어, 깊이 지각을 보강하기 위하여 평행 이동을 시뮬레이트하는 것과,
4) 온-스크린 디스플레이에서 물리적 대상의 포함, 즉, 실세계 위치, 배향, 상태 등을 고려하기로서, 예를 들어, 크고 불투명한 스크린의 앞에 위치하는 조작자가 애플리케이션 그래픽과, 상기 스크린의 뒤에 위치하는 스케일 모델의 진정한 위치(그리고 이동하거나 변화하는 배향)의 표현을 모두 볼 수 있는 것
을 포함한다.
상기 리터럴 포인팅은 마우스 기반의 윈도우 인터페이스와 그 밖의 다른 시스템에서 사용되는 추상적인 포인팅과는 다르다는 것이 중요하다. 이러한 시스템에서, 조작자는 가상 포인터와 물리적 포인팅 장치 사이의 해석을 관리하는 것을 습득할 필요가 있고, 이 둘 사이에서 인식적으로 매핑해야할 것이다.
이와 대조적으로, 본원에서 기재된 시스템에서, (가상공간이 수리적 조작에 더욱 사용되기 쉽다는 것을 제외하고) 가상공간과 물리적 공간 사이의 차이점은 없으며, 따라서 애플리케이션, 또는 사용자의 관점에서, 어떠한 인지적인 해석도 조작자에게 요구되지 않는다.
본원에서 기술되는 실시예에 의해 제공되는 리터럴 포인팅에 대한 가장 가까운 유사성은 터치-감지형 스크린(예를 들어 ATM 기계에서 발견되는 것과 같은 터치-감지형 스크린)이다. 터치-감지형 스크린은 스크린 상의 2-차원 디스플레이 공간과 스크린 표면의 2-차원 입력 공간 사이에서 1대1 매핑을 제공한다. 유사한 방식으로, 본원에서 기술된 시스템은 하나 이상의 스크린 상에 디스플레이되는 가상 공간과 조작자에 의해 점거되는 물리적 공간 사이의 유연한 매핑(가능하면 1대1, 그러나 필수적인 것은 아님)을 제공한다. 유사성(analogy)의 유용함에도 불구하고, 3차원으로의 이러한 “매핑 접근(mapping approach)”의 확장과, 임의의 큰 구조적 환경과, 다수의 스크린은 사소한 것이 아니다.
본원에서 설명된 구성요소에 추가로, 시스템은, 환경의 물리적 공간과 각각 의 스크린 상의 디스플레이 공간 사이에서 이뤄지는 (회전운동, 직선운동, 스케일, 또는 그 밖의 다른 기하학적 변형에 의해 수정된) 지속적인 시스템-레벨의 매핑을 구현하는 알고리즘을 구현할 수 있다.
컴퓨터 상의 대상을 취하고, 매핑하며, 가상 공간의 그래픽적 표현을 출력하는 렌더링 스택(rendering stack)이 있다.
제어 시스템으로부터 이벤트 데이터(본 실시예에서, 시스템 및 마우스 입력으로부터의 제스처 데이터와 포인팅 데이터 모두)를 취하고, 입력 이벤트로부터 공간 데이터를 매핑하여 가상 공간으로 좌표를 형성하는 입력 이벤트 프로세싱 스택이 있다. 그 후, 해석된 이벤트가 실행 중인 애플리케이션으로 전달된다.
시스템이 로컬 영역 네트워크 상의 몇 개의 컴퓨터를 가로질러 실행 중인 애플리케이션을 호스팅할 수 있게 하는“부착 계층(glue layer)”이 있다.

Claims (107)

  1. 컴퓨터 디스플레이를 제어하기 위한 방법에 있어서, 상기 방법은
    광학 검출기를 통해 수신한 제스처 데이터로부터 사용자에 의해 만들어진 물리적 제어 제스처를 검출하는 단계로서, 이때, 상기 제스처 데이터는 시간 및 공간 상의 한 지점에서 사용자의 순간적 상태의 3차원 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 물리적 제어 제스처를 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,
    상기 제어 제스처를 실행 가능한 커맨드로 해석하는 단계,
    상기 실행 가능한 커맨드에 응답하여, 컴퓨터 디스플레이를 업데이트하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 디스플레이를 제어하기 위한 방법.
  2. 광학 검출기를 통해 수신한 제스처 데이터로부터 물체의 포즈(pose) 및 움직임(motion)을 검출하는 단계로서, 이때, 상기 제스처 데이터는 시간 및 공간 상의 한 지점에서 포즈 및 움직임의 순간적 상태의 3차원적 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 포즈 및 움직임을 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,
    제스처 표기(gesture notation)를 이용하여 상기 포즈 및 움직임을 제어 신호로 해석(translate)하는 단계, 그리고
    제어 신호를 이용하여 컴퓨터 애플리케이션을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  3. 광학 검출기를 통해 수신한 제스처 데이터로부터 신체(body)의 제스처를 자동으로 검출하는 단계로서, 이때, 제스처 데이터는 시간 및 공간 상의 한 지점에서 신체의 순간적 상태의 3차원적 위치 데이터에 해당하며, 상기 검출은 제스처 데이터를 수집하는 과정과, 제스처 데이터만을 이용하여 제스처를 식별하는 과정으로 이루어지는 것을 특징으로 하는 단계,
    상기 제스처를 제스처 신호로 해석하는 단계, 그리고
    상기 제스처 신호에 응답하여, 컴퓨터로 연결된 구성요소를 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법
  4. 제 3 항에 있어서, 상기 검출하는 단계는 신체의 위치(location)를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 3 항에 있어서, 상기 검출하는 단계는 신체의 배향(orientation)을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 3 항에 있어서, 상기 검출하는 단계는 신체의 움직임(motion)을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 3 항에 있어서, 상기 검출하는 단계는 제스처를 식별하는 단계를 포함하며, 이때 상기 식별하는 단계는 신체의 일부분의 포즈와 배향을 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 3 항에 있어서, 상기 검출하는 단계는 신체의 부속기관의 제 1 세트와 부속기관의 제 2 세트 중 하나 이상을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서, 상기 신체는 인체이며, 이때 부속기관의 제 1 세트는 하나 이상의 손을 포함하며, 부속기관의 제 2 세트는 상기 하나 이상의 손의 하나 이상의 손가락을 포함하는 것을 특징으로 하는 방법.
  10. 제 3 항에 있어서, 상기 검출하는 단계는 신체의 움직임을 광학적으로 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제 3 항에 있어서, 상기 검출하는 단계는 하나 이상의 태그의 위치를 동적으로 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서, 상기 검출하는 단계는 상기 신체의 일부분으로 연결되어 있는 태그의 세트의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 특징으로 하는 방법.
  13. 제 12 항에 있어서, 상기 태그의 세트 중 각각의 태그는 패턴을 포함하며, 이때 태그의 세트 중 각각의 태그의 각각의 패턴은 다수의 태그의 임의의 나머지 태그의 임의의 패턴과 구별되는 것을 특징으로 하는 방법.
  14. 제 13 항에 있어서, 상기 각각의 태그는 제 1 패턴과 제 2 패턴을 포함하며, 이때 상기 제 1 패턴은 태그의 세트 중 임의의 태그와 공통이며, 상기 제 2 패턴은 태그의 세트 중 둘 이상의 태그 간에서 차이가 있음을 특징으로 하는 방법.
  15. 제 12 항에 있어서, 상기 태그의 세트는 신체 상에 다수의 패턴을 형성하는 것을 특징으로 하는 방법.
  16. 제 11 항에 있어서, 상기 검출하는 단계는 다수의 신체의 부속기관의 각각과 연결된 태그의 세트를 이용하여, 상기 다수의 신체의 부속기관의 자세를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제 16 항에 있어서, 상기 태그의 제 1 세트는 제 1 부속기관으로 연결되며, 상기 태그의 제 1 세트는 다수의 태그를 포함하고, 이때 각각의 태그는 상기 제 1 다수의 태그의 태그들의 공통인 제 1 패턴과, 제 1 다수의 태그의 각각의 태그의 고유한 제 2 패턴을 포함하는 것을 특징으로 하는 방법.
  18. 제 17 항에 있어서, 상기 태그의 제 2 세트는 제 2 부속기관으로 연결되며, 상기 태그의 제 2 세트는 제 2 다수의 태그를 포함하며, 이때, 각각의 태그는 상기 제 2 다수의 태그의 태그들의 공통인 제 3 패턴과, 상기 제 2 다수의 태그의 각각의 태그의 고유한 제 4 패턴을 포함하는 것을 특징으로 하는 방법.
  19. 제 11 항에 있어서, 하나 이상의 태그가 태그의 하나의 세트를 포함하며, 이때 상기 태그의 세트는 능동 태그(active tag)와 수동 태그(passive tag) 중에서 선택된 하나 이상의 태그 타입을 포함하는 것을 특징으로 하는 방법.
  20. 제 11 항에 있어서, 상기 검출 단계는 하나의 단일 태그를 형성하는 포인트의 서브셋으로 각각의 태그의 위치를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서, 상기 검출 단계는 포인트의 서브셋을 특정 태그로서 식별하고, 상기 포인트의 서브셋을 특정 태그로서 라벨링(labeling)하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제 21 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 위치를 복구하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제 22 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 배향을 복구하는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제 3 항에 있어서, 상기 검출 단계는, 전자기성 검출(electromagnetic detection), 정자기성 검출(magnetostatic detection), 무선 주파수 식별 정보 검출(detection of radio frequency identification information) 중에서 선택된 검출 방법을 사용하여, 신체의 움직임을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  25. 제 3 항에 있어서, 상기 검출 단계는 상기 신체 상의 마커(marker)를 동적으로 검출하고, 상기 마커의 위치를 파악하는 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제 25 항에 있어서, 상기 검출 단계는 상기 신체의 일부분으로 연결된 마커의 세트의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 제 25 항에 있어서, 상기 마커의 세트는 상기 신체 상에서 다수의 패턴을 형성하는 것을 특징으로 하는 방법.
  28. 제 25 항에 있어서, 상기 검출 단계는 신체의 다수의 부속기관의 위치를, 상기 부속기관의 각각으로 연결된 마커의 세트를 이용하여 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  29. 제 28 항에 있어서, 상기 마커의 제 1 세트는 제 1 부속기관으로 연결되며, 상기 마커의 제 1 세트는 상기 제 1 부속기관의 다수의 구성요소의 공통인 제 1 패턴과, 상기 제 1 부속기관의 구성요소 각각의 특유의 제 2 패턴을 형성하는 것을 특징으로 하는 방법.
  30. 제 28 항에 있어서, 상기 마커의 제 2 세트는 제 2 부속기관으로 연결되며, 상기 마커의 제 2 세트는 상기 제 2 부속기관의 다수의 구성요소의 공통인 제 3 패턴과, 상기 제 2 부속기관의 구성요소 각각의 특유의 제 4 패턴을 형성하는 것을 특징으로 하는 방법.
  31. 제 25 항에 있어서, 상기 검출 단계는 태그를 형성하는 마커의 서브셋으로 각각의 마커의 위치를 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
  32. 제 31 항에 있어서, 상기 검출 단계는 상기 마커의 서브셋을 특정 태그로서 식별하고, 상기 마커의 서브셋을 특정 태그로서 라벨링하는 단계를 포함하는 것을 특징으로 하는 방법.
  33. 제 32 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 위치를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  34. 제 33 항에 있어서, 상기 검출 단계는 특정 태그의 3-공간 배향을 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  35. 제 3 항에 있어서, 상기 검출 단계는
    물리적 제스처(gesture)를 나타내는 3-차원 공간 포인트 데이터를 발생시키는 단계와,
    상기 공간 포인트 데이터를 라벨링하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  36. 제 35 항에 있어서, 상기 해석하는 단계는 상기 공간 포인트 데이터를 컴퓨터의 구성에 적정한 커맨드(command)로 해석하는 단계를 포함하는 것을 특징으로 하는 방법.
  37. 제 3 항에 있어서, 상기 해석하는 단계는 제스처의 정보를 제스처 표기(notation)로 해석하는 단계를 포함하는 것을 특징으로 하는 방법.
  38. 제 37 항에 있어서, 상기 제스처 표기는 제스처 어휘(gesture vocabulary)를 나타내며, 제스처 신호(gesture signal)는 상기 제스처 어휘의 통신을 포함하는 것을 특징으로 하는 방법.
  39. 제 38 항에 있어서, 상기 제스처 어휘는 신체의 운동 결합(kinematic linkage)의 순간적인 포즈(pose) 상태를 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
  40. 제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 배향을 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
  41. 제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 배향의 조합을 텍스트 형식으로 나타내는 것을 특징으로 하는 방법.
  42. 제 38 항에 있어서, 상기 제스처 어휘는 상기 신체의 운동 결합의 상태를 나타내는 문자의 스트링을 포함하는 것을 특징으로 하는 방법.
  43. 제 42 항에 있어서, 상기 운동 결합은 상기 신체의 하나 이상의 제 1 부속기관인 것을 특징으로 하는 방법.
  44. 제 43 항에 있어서, 스트링의 각각의 위치를 제 2 부속기관에게 할당하는 단계로서, 상기 제 2 부속기관은 상기 제 1 부속기관으로 연결되어 있는 상기 단계
    를 포함하는 것을 특징으로 하는 방법.
  45. 제 44 항에 있어서, 다수의 문자 중 문자를 상기 제 2 부속기관의 다수의 위치 중 각각에게 할당하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  46. 제 45 항에 있어서, 상기 다수의 위치는 좌표 원점에 대하여 확립되는 것을 특징으로 하는 방법.
  47. 제 46 항에 있어서, 절대 위치 및 공간에서의 배향과, 신체의 전체 위치와 방향에 관계없는 고정 위치 및 신체에 대한 배향과, 신체의 활동에 반응하는 상호작용 중에서 선택된 위치를 이용하여, 상기 좌표 원점이 확립되는 단계
    를 포함하는 것을 특징으로 하는 방법.
  48. 제 45 항에 있어서, 상기 다수의 문자 중의 문자를 상기 제 1 부속기관의 다수의 배향 중 각각에게 할당하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  49. 제 43 항에 있어서, 구성요소를 제어하는 단계는 상기 제 1 부속기관의 제스처를 3-공간 물체로 매핑(mapping)시킴으로써, 동시적으로, 자유도(degree of freedom) 6로 3-공간 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  50. 제 43 항에 있어서, 상기 구성요소를 제어하는 단계는, 직선운동 자유도 3과 회전운동 자유도 3을 통해, 3-공간 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  51. 제 50 항에 있어서, 상기 제어하는 단계는 제 1 부속기관과 3-공간 물체의 움직임이 직접 연결되는 단계를 포함하는 것을 특징으로 하는 방법.
  52. 제 50 항에 있어서, 상기 제어하는 단계는 상기 제 1 부속기관과 상기 3-공간 물체의 움직임이 간접 연결되는 단계를 포함하는 것을 특징으로 하는 방법.
  53. 제 50 항에 있어서, 상기 3-공간 물체는 컴퓨터에 연결된 디스플레이 장치 상에 제공되는 것을 특징으로 하는 방법.
  54. 제 50 항에 있어서, 상기 3-공간 물체는 상기 컴퓨터로 연결되는 것을 특징으로 하는 방법.
  55. 제 50 항에 있어서, 제 1 부속기관의 다수의 제스처를 상기 3-공간 물체의 다수의 물체 해석으로 매핑시킴으로써, 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  56. 제 55 항에 있어서, 상기 매핑시키는 단계는 상기 다수의 제스처와 상기 다수의 대상 해석 간의 직접 매핑 단계를 포함하는 것을 특징으로 하는 방법.
  57. 제 55 항에 있어서, 상기 매핑시키는 단계는 다수의 제스처와 다수의 물체 해석 간의 간접 매핑 단계를 포함하는 것을 특징으로 하는 방법.
  58. 제 55 항에 있어서, 상기 매핑시키는 단계는 상기 다수의 제스처의 위치적 오프셋(positional offset)을 상기 3-공간 물체의 물체 해석의 위치적 오프셋으로 상호연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
  59. 제 55 항에 있어서, 상기 매핑시키는 단계는 상기 제 1 부속기관의 위치적 오프셋을 상기 3-공간 물체의 물체 해석의 해석적 속도(translational velocity)로 상호연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
  60. 제 50 항에 있어서, 상기 제 1 부속기관의 선형 제스처를 상기 3-공간 물체의 선형 해석으로 매핑시킴으로써, 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  61. 제 50 항에 있어서, 상기 제 1 부속기관의 회전 제스처를 상기 3-공간 물체의 회전 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  62. 제 50 항에 있어서, 상기 제 1 부속기관의 선형 제스처를 상기 3-공간 물체의 회전 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  63. 제 50 항에 있어서, 상기 제 1 부속기관의 회전 제스처를 상기 3-공간 물체의 선형 해석으로 매핑시킴으로써, 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  64. 제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동을 이용하여 X-축을 따라 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  65. 제 50 항에 있어서, 상기 제 1 부속기관의 상-하 이동을 이용하여 Y-축을 따라 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  66. 제 50 항에 있어서, 상기 제 1 부속기관의 전-후 이동을 이용하여 Z-축을 따라 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  67. 제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동과 상-하 이동의 제 1 조합을 이용하여, X-축 및 Y-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  68. 제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동과 전-후 이동의 제 2 조합을 이용하여 X-축 및 Z-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  69. 제 50 항에 있어서, 상기 제 1 부속기관의 상-하 이동과 전-후 이동의 제 3 조합을 이용하여, Y-축 및 Z-축을 따라 동시에 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  70. 제 50 항에 있어서, 상기 제 1 부속기관의 좌-우 이동, 상-하 이동 및 전-후 이동의 제 4 조합을 이용하여, X-축, Y-축 및 Z-축을 따라 동시에 상기 3-공간 물체의 이동을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  71. 제 50 항에 있어서, 상기 제 1 부속기관의 회전 이동을 이용하여 제 1 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  72. 제 50 항에 있어서, 상기 제 2 부속기관의 제 1 부에 대하여, 상기 제 1 부속기관의 회전 이동을 이용하여, 제 2 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  73. 제 50 항에 있어서, 상기 제 2 부속기관의 제 2 부에 대하여, 상기 제 1 부속기관의 회전 이동을 이용하여, 제 3 축을 중심으로 상기 3-공간 물체의 회전을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  74. 제 50 항에 있어서, 상기 검출 단계는 물체의 추정된 위치가 가상 공간과 마나는 시점을 검출하는 단계를 포함하며, 이때, 상기 가상 공간은 컴퓨터에 연결된 디스플레이 장치 상에 도시된 공간을 포함하는 것을 특징으로 하는 방법.
  75. 제 74 항에 있어서, 구성요소를 제어하는 단계는, 상기 추정된 위치가 가상 물체와 만날 때 가상 공간에서 가상의 물체를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  76. 제 75 항에 있어서, 상기 구성요소를 제어하는 단계는 상기 가상 공간에서의 추정된 위치에 반응하여 상기 가상 공간에서의 가상 물체의 위치를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  77. 제 75 항에 있어서, 상기 구성요소를 제어하는 단계는 상기 제스처에 응답하여, 상기 가상 공간에서의 가상 물체의 자세(attitude)를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  78. 제 3 항에 있어서, 상기 제스처를 다수의 레벨로 특정하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  79. 제 78 항에 있어서, 상기 제스처의 정보의 일부분을 이용하여, 상기 제스처를 부분적으로 특정하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  80. 제 78 항에 있어서, 상기 다수의 레벨은 신체의 제 1 부속기관의 포즈(pose)를 포함하는 제 1 레벨을 포함하는 것을 특징으로 하는 방법.
  81. 제 80 항에 있어서, 신체의 하나 이상의 제 2 부속기관과 제 1 부속기관의 뒷 부분 간의 상대적 배향의 스트링(string)으로서 상기 포즈를 나타내는 단계로서, 이때 상기 제 2 부속기관은 상기 제 1 부속기관과 연결되어 있는 상기 단계
    를 포함하는 것을 특징으로 하는 방법.
  82. 제 81 항에 있어서, 상기 상대적 배향의 스트링을 하나 이상의 개별 상태로 양자화하는 단계(quantizing)
    를 포함하는 것을 특징으로 하는 방법.
  83. 제 78 항에 있어서, 상기 다수의 레벨은 포즈의 조합을 포함하는 제 2 레벨을 포함하며, 상기 포즈의 조합은 신체의 제 1 부속기관의 제 1 포즈와 상기 신체의 제 2 부속기관의 제 2 포즈를 포함하는 것을 특징으로 하는 방법.
  84. 제 83 항에 있어서, 제 1 레벨은 위치의 조합을 포함하며, 상기 위치의 조합은 상기 제 1 부속기관의 제 1 위치와 상기 제 2 부속기관의 제 2 위치를 포함하는 것을 특징으로 하는 방법.
  85. 제 78 항에 있어서, 상기 다수의 레벨은 포즈와 위치의 조합을 포함하는 제 3 레벨을 포함하며, 이때 포즈의 조합은 하나의 신체의 하나 이상의 부속기관의 제 3 포즈와, 두 번째 신체의 하나 이상의 부속기관의 제 4 포즈를 포함하는 것을 특징으로 하는 방법.
  86. 제 85 항에 있어서, 상기 제 3 레벨은 위치의 조합을 포함하며, 상기 위치의 조합은 하나의 신체의 하나 이상의 부속기관의 제 3 위치와 두 번째 신체의 하나 이상의 부속기관의 제 4 위치를 포함하는 것을 특징으로 하는 방법.
  87. 제 78 항에 있어서, 상기 다수의 레벨은 제스처의 하나 이상의 시퀀스(sequence)를 포함하는 제 4 레벨을 포함하는 것을 특징으로 하는 방법.
  88. 제 78 항에 있어서, 상기 다수의 레벨은 서기소 제스처(grapheme gesture)를 포함하는 제 5 레벨을 포함하며, 이때 상기 서기소 제스처는 자유 공간에서의 형태를 쫏는 신체를 포함하는 것을 특징으로 하는 방법.
  89. 제 78 항에 있어서, 하나 이상의 애플리케이션(application)에 관련하여 제스처를 등록함으로써, 등록된 제스처를 생성하는 단계를 포함하며, 이때 상기 애플리케이션은 컴퓨터에 연결되어 있는 것을 특징으로 하는 방법.
  90. 제 89 항에 있어서,
    등록된 제스처를 파싱(parsing)하는 단계,
    상기 등록된 제스처를 식별하는 단계, 그리고
    상기 등록된 제스처에 대응하는 이벤트를 하나 이상의 애플리케이션으로 이동(transfer)시키는 단계
    를 포함하는 것을 특징으로 하는 방법.
  91. 제 90 항에 있어서, 상기 등록된 제스처의 우선순위를 정하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  92. 제 91 항에 있어서, 하나의 상태를 상기 등록된 제스처에게 할당하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  93. 제 92 항에 있어서, 상기 상태는 시작 상태(entry state)와 진행 상태(continuation state) 중에서 선택되며, 상기 진행 상태의 우선순위는 상기 시작 상태의 우선순위보다 높은 것을 특징으로 하는 방법.
  94. 제 90 항에 있어서, 상기 파싱하는 단계는
    제스처의 손실 데이터 구성요소를 마킹하는 단계,
    상기 손실 데이터 구성요소를 마지막으로 알려진 상태 및 가장 유사한 상태에 내삽(interpolating)하는 단계로서, 이때 상기 내삽은 상기 손실 데이터의 양과 맥락에 따라 좌우되는 단계
    를 포함하는 것을 특징으로 하는 방법.
  95. 제 94 항에 있어서, 상기 식별하는 단계는, 마지막으로 알려진 상태가 분석을 위해 사용될 수 있을 때, 식별을 위해, 상기 손실 데이터 구성요소의 상기 마지막으로 알려진 상태를 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
  96. 제 94 항에 있어서, 상기 식별하는 단계는, 마지막으로 알려진 상태가 분석을 위해 사용될 수 없을 때, 식별을 위해, 상기 손실 데이터 구성요소의 가장 유사한 추측치를 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
  97. 제 3 항에 있어서, 가상 공간과 물리적 공간 사이의 일치를 만들기 위한, 검출 및 제어하는 단계의 눈금 조정(scaling)을 제어하는 단계로서, 상기 가상 공간은 컴퓨터에 연결된 디스플레이 장치 상에 도시된 공간을 포함하며, 이때 물리적 공간은 신체에 의해 점거되는 공간을 포함하는 것을 특징으로 하는 방법.
  98. 제 97 항에 있어서, 상기 디스플레이 장치의 물리적 공간에서 크기, 배향 및 위치를 판단하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  99. 제 98 항에 있어서, 디스플레이 장치가 투사체(projection)로서 위치하는 물리적 공간을, 컴퓨터에 연결된 하나 이상의 애플리케이션의 가상 공간으로 동적으로 매핑하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  100. 제 97 항에 있어서,
    가상 공간과 물리적 공간 사이의 눈금(scale), 각도, 깊이 및 크기를 컴퓨터에 연결된 하나 이상의 애플리케이션에서 이용할 수 있도록 해석하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  101. 제 97 항에 있어서,
    물리적 공간에서 하나 이상의 물리적 물체의 이동에 응답하여, 상기 가상 공간에서의 하나 이상의 가상 물체를 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  102. 제 97 항에 있어서,
    상기 디스플레이 장치의 이동에 대하여 자동으로 보상하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  103. 제 97 항에 있어서,
    디스플레이 장치의 위치에 대한 물리적 공간에서의 신체의 위치에 응답하여, 디스플레이 장치 상의 그래픽의 렌더링(rendering)을 제어하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  104. 제 97 항에 있어서, 디스플레이 장치 상에서, 물리적 공간에서 제공되는 물리적 물체의 가상 버전을 포함하는 디스플레이를 생성시키는 단계를 포함하며, 이때 상기 디스플레이를 생성시키는 단계는 물리적 물체의 가상 버전의 가상 위치와 물리적 공간에서의 물리적 물체의 위치 사이의 일치를 만드는 단계를 포함하는 것을 특징으로 하는 방법.
  105. 제 3 항에 있어서, 상기 제스처를 결정하는 단계는 유효(valid)한 것을 특징으로 하는 방법.
  106. 제 3 항에 있어서, 상기 제어하는 단계는 컴퓨터 상에 호스팅되는 애플리케이션의 함수를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  107. 제 3 항에 있어서, 상기 제어하는 단계는 컴퓨터 상에 디스플레이되는 구성요소를 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020077018809A 2005-02-08 2006-02-08 제스처 기반의 제어 시스템을 위한 시스템 및 방법 KR100960577B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US65129005P true 2005-02-08 2005-02-08
US60/651,290 2005-02-08
US11/350,697 2006-02-08
US11/350,697 US7598942B2 (en) 2005-02-08 2006-02-08 System and method for gesture based control system

Publications (2)

Publication Number Publication Date
KR20070116794A KR20070116794A (ko) 2007-12-11
KR100960577B1 true KR100960577B1 (ko) 2010-06-03

Family

ID=36912185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077018809A KR100960577B1 (ko) 2005-02-08 2006-02-08 제스처 기반의 제어 시스템을 위한 시스템 및 방법

Country Status (7)

Country Link
US (4) US7598942B2 (ko)
EP (1) EP1851750A4 (ko)
JP (1) JP5631535B2 (ko)
KR (1) KR100960577B1 (ko)
CN (1) CN101536494B (ko)
NO (1) NO339941B1 (ko)
WO (1) WO2006086508A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111998A3 (ko) * 2011-02-18 2012-12-20 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
KR101430042B1 (ko) * 2013-02-14 2014-08-14 주식회사 나우시스템 제스처를 이용한 방송장비 제어 시스템 및 방법
KR101483851B1 (ko) * 2013-04-03 2015-01-19 목원대학교 산학협력단 홈 컨트롤을 위한 유비쿼터스 가상 현실(uvr) 기반의 저작 장치 및 방법
US9317198B2 (en) 2012-10-10 2016-04-19 Samsung Electronics Co., Ltd. Multi display device and control method thereof
US9335887B2 (en) 2012-10-10 2016-05-10 Samsung Electronics Co., Ltd. Multi display device and method of providing tool therefor
US9348504B2 (en) 2012-10-10 2016-05-24 Samsung Electronics Co., Ltd. Multi-display apparatus and method of controlling the same
US9417784B2 (en) 2012-10-10 2016-08-16 Samsung Electronics Co., Ltd. Multi display apparatus and method of controlling display operation
US9571734B2 (en) 2012-10-10 2017-02-14 Samsung Electronics Co., Ltd. Multi display device and method of photographing thereof
US9696899B2 (en) 2012-10-10 2017-07-04 Samsung Electronics Co., Ltd. Multi display apparatus and multi display method
KR20170133455A (ko) * 2015-03-31 2017-12-05 이베이 인크. 제스처를 사용한 3차원 의복 수정 기법

Families Citing this family (498)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
CA2262214A1 (en) 1999-02-18 2000-08-18 Ray Arbesman Disc brake backing plate and method and apparatus of manufacturing same
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4794453B2 (ja) 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US8941590B2 (en) * 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8681098B2 (en) * 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US10642364B2 (en) * 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP5805537B2 (ja) * 2008-10-14 2015-11-04 オブロング・インダストリーズ・インコーポレーテッド マルチプロセス・インタラクティブ・システムおよび方法
US8941589B2 (en) * 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US20130076616A1 (en) * 2008-04-24 2013-03-28 Ambrus Csaszar Adaptive tracking system for spatial input devices
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9952673B2 (en) * 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
WO2006086508A2 (en) * 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
KR101821418B1 (ko) * 2009-05-04 2018-01-23 오블롱 인더스트리즈, 인크 데이터의 표현, 조작 및 교환을 포함하는 제스처-기반 시스템
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc signal output sensitive to orientation
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
KR20140129173A (ko) 2005-09-08 2014-11-06 파워2비, 인크. 디스플레이들 및 정보입력장치들
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
WO2010030822A1 (en) * 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
JP5806615B2 (ja) * 2008-09-03 2015-11-10 オブロング・インダストリーズ・インコーポレーテッド データ空間の主要次元をナビゲートするための制御システム
EP2435986A4 (en) * 2009-05-27 2015-04-22 Oblong Ind Inc Spatial, multi-modal control device for use with spatial operating system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
KR100790896B1 (ko) * 2006-11-17 2008-01-03 삼성전자주식회사 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US7777718B2 (en) * 2006-12-06 2010-08-17 The Boeing Company Flight portal
US8736420B2 (en) 2007-01-29 2014-05-27 At&T Intellectual Property I, L.P. Methods, systems, and products for controlling devices
US8610675B2 (en) 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
KR101358767B1 (ko) 2007-04-02 2014-02-07 삼성전자주식회사 사용자 입력장치의 공간상 이동에 기초한 사용자 명령수행방법 및 이를 적용한 영상기기
US8032472B2 (en) * 2007-04-04 2011-10-04 Tuen Solutions Limited Liability Company Intelligent agent for distributed services for mobile devices
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
JP5697590B2 (ja) * 2008-04-02 2015-04-08 オブロング・インダストリーズ・インコーポレーテッド 拡張した被写体深度から抽出した三次元情報を用いたジェスチャ・ベース制御
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2188737A4 (en) * 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
JP4636064B2 (ja) 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090125811A1 (en) * 2007-11-12 2009-05-14 Microsoft Corporation User interface providing auditory feedback
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
CN103930944B (zh) * 2011-06-23 2016-08-24 奥布隆工业有限公司 用于空间输入装置的自适应跟踪系统
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
WO2010011929A1 (en) 2008-07-25 2010-01-28 Gesturetek, Inc. Enhanced detection of waving engagement gesture
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
GB2477044B (en) * 2008-08-22 2012-04-04 Northrop Grumman Systems Corp Compound gesture recognition
JP5529146B2 (ja) * 2008-10-10 2014-06-25 クアルコム,インコーポレイテッド シングルカメラトラッキング装置
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8448094B2 (en) 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8272565B2 (en) * 2009-06-19 2012-09-25 Target Brands, Inc. Transaction card assembly with transaction card and auxiliary item
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US9000887B2 (en) * 2009-07-23 2015-04-07 Qualcomm Incorporated Method and apparatus for communicating control information by a wearable device to control mobile and consumer electronic devices
KR101596890B1 (ko) 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8988432B2 (en) 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8622742B2 (en) * 2009-11-16 2014-01-07 Microsoft Corporation Teaching gestures with offset contact silhouettes
US20110117526A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Teaching gesture initiation with registration posture guides
EP2502127A1 (en) * 2009-11-18 2012-09-26 Elmiro Business Development B.V. Control system and method for controlling a plurality of computer devices
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8325136B2 (en) 2009-12-01 2012-12-04 Raytheon Company Computer display pointer device for a display
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US20110179376A1 (en) * 2010-01-21 2011-07-21 Sony Corporation Three or higher dimensional graphical user interface for tv menu and document navigation
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8570286B2 (en) * 2010-02-12 2013-10-29 Honeywell International Inc. Gestures on a touch-sensitive display
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment
US20110199517A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Method of showing video on a touch-sensitive display
US8638371B2 (en) * 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
US20110199516A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Method of showing video on a touch-sensitive display
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
JP2011204019A (ja) 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US9789392B1 (en) * 2010-07-09 2017-10-17 Open Invention Network Llc Action or position triggers in a game play mode
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
JP2012043194A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5609416B2 (ja) 2010-08-19 2014-10-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
JP5617448B2 (ja) 2010-08-31 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8760432B2 (en) * 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US8610831B2 (en) * 2010-10-12 2013-12-17 Nokia Corporation Method and apparatus for determining motion
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
JP5081964B2 (ja) 2010-10-28 2012-11-28 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8490877B2 (en) 2010-11-09 2013-07-23 Metrologic Instruments, Inc. Digital-imaging based code symbol reading system having finger-pointing triggered mode of operation
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
CN102469293A (zh) * 2010-11-17 2012-05-23 中兴通讯股份有限公司 一种在视频业务中获取用户输入信息的实现方法及装置
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10043209B2 (en) * 2010-11-19 2018-08-07 Mastercard International Incorporated Method and system for consumer transactions using voice or human based gesture actions
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8823645B2 (en) 2010-12-28 2014-09-02 Panasonic Corporation Apparatus for remotely controlling another apparatus and having self-orientating capability
CN102595155B (zh) * 2011-01-10 2014-11-19 群创光电股份有限公司 三维显示器的驱动方法及其驱动装置
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US8836802B2 (en) 2011-03-21 2014-09-16 Honeywell International Inc. Method of defining camera scan movements using gestures
EP2689413A4 (en) * 2011-03-25 2015-07-22 Oblong Ind Inc QUICK FINGER FINGER DETECTION TO INITIALIZE A VISION BASED HAND TRACER
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US9417703B2 (en) 2011-04-20 2016-08-16 Koninklijke Philips N.V. Gesture based control of element or item
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
JP5670255B2 (ja) * 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2013176574A1 (en) * 2012-05-23 2013-11-28 3Divi Company Methods and systems for mapping pointing device on depth map
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US8752200B2 (en) 2011-07-12 2014-06-10 At&T Intellectual Property I, L.P. Devices, systems and methods for security using magnetic field based identification
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130144583A1 (en) * 2011-09-02 2013-06-06 Saudi Arabia Oil Company Hyper-dimensional simulation for reservoir engineering and geosciences
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US10960300B2 (en) 2011-11-23 2021-03-30 Sony Interactive Entertainment LLC Sharing user-initiated recorded gameplay with buffered gameplay
US10486064B2 (en) 2011-11-23 2019-11-26 Sony Interactive Entertainment America Llc Sharing buffered gameplay in response to an input request
US9116555B2 (en) 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US10423515B2 (en) 2011-11-29 2019-09-24 Microsoft Technology Licensing, Llc Recording touch information
US9858173B2 (en) 2011-12-01 2018-01-02 Microsoft Technology Licensing, Llc Recording user-driven events within a computing system including vicinity searching
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
JP5917125B2 (ja) 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US9189073B2 (en) 2011-12-23 2015-11-17 Intel Corporation Transition mechanism for computing system utilizing user sensing
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
CN103197805A (zh) * 2012-01-10 2013-07-10 深圳泰山在线科技有限公司 实现虚拟屏的系统和方法
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
JP6019601B2 (ja) * 2012-02-10 2016-11-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US10525347B2 (en) 2012-03-13 2020-01-07 Sony Interactive Entertainment America Llc System and method for capturing and sharing console gaming data
CN107665042A (zh) 2012-03-26 2018-02-06 苹果公司 增强的虚拟触摸板和触摸屏
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US9646200B2 (en) 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
US9213436B2 (en) * 2012-06-20 2015-12-15 Amazon Technologies, Inc. Fingertip location for gesture input
US9400575B1 (en) 2012-06-20 2016-07-26 Amazon Technologies, Inc. Finger detection for element selection
JP6018707B2 (ja) 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
CN103577792A (zh) * 2012-07-26 2014-02-12 北京三星通信技术研究有限公司 用于估计人体姿势的设备和方法
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
WO2014039685A1 (en) 2012-09-06 2014-03-13 Interphase Corporation Absolute and relative positioning sensor fusion in an interactive display system
TWI590099B (zh) * 2012-09-27 2017-07-01 緯創資通股份有限公司 互動系統及移動偵測方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
TW201423484A (zh) * 2012-12-14 2014-06-16 Pixart Imaging Inc 動態偵測系統
WO2014103308A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 制御方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014106862A2 (en) * 2013-01-03 2014-07-10 Suman Saurav A method and system enabling control of different digital devices using gesture or motion control
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
CN104968592A (zh) 2013-02-07 2015-10-07 通力股份公司 电梯服务的个性化
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9360888B2 (en) 2013-05-09 2016-06-07 Stephen Howard System and method for motion detection and interpretation
US10891003B2 (en) 2013-05-09 2021-01-12 Omni Consumer Products, Llc System, method, and apparatus for an interactive container
US9465488B2 (en) 2013-05-09 2016-10-11 Stephen Howard System and method for motion detection and interpretation
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
DE102013010932B4 (de) 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US20160147308A1 (en) * 2013-07-10 2016-05-26 Real View Imaging Ltd. Three dimensional user interface
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10152136B2 (en) 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US10126822B2 (en) 2013-12-16 2018-11-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual configuration
DE102013021927A1 (de) 2013-12-20 2015-06-25 Audi Ag Verfahren und System zum Betreiben einer Anzeigeeinrichtung sowie Vorrichtung mit einer Anzeigeeinrichtung
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR20150087544A (ko) 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
US10198696B2 (en) * 2014-02-04 2019-02-05 GM Global Technology Operations LLC Apparatus and methods for converting user input accurately to a particular system function
CN104850216A (zh) * 2014-02-18 2015-08-19 太瀚科技股份有限公司 具有压力触觉感测器的手套
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9498395B2 (en) 2014-04-16 2016-11-22 Stephen C. Golden, JR. Joint movement detection device and system for coordinating motor output with manual wheelchair propulsion
US20150301606A1 (en) * 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
US10146318B2 (en) 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US20160085518A1 (en) * 2014-09-21 2016-03-24 Jang Hee I Systems and methods for imaging and generation of executable processor instructions based on ordered objects
US9315197B1 (en) 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) * 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10691214B2 (en) 2015-10-12 2020-06-23 Honeywell International Inc. Gesture control of building automation system components during installation and/or maintenance
EP3384468A4 (en) 2015-12-04 2019-01-30 Magic Leap, Inc. RELOCALIZATION SYSTEMS AND METHODS
CN106843709B (zh) 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
US10310618B2 (en) * 2015-12-31 2019-06-04 Microsoft Technology Licensing, Llc Gestures visual builder tool
US10599324B2 (en) 2015-12-31 2020-03-24 Microsoft Technology Licensing, Llc Hand gesture API using finite state machine and gesture language discrete values
JPWO2017130504A1 (ja) * 2016-01-25 2018-11-22 裕行 池田 画像投影装置
US10459597B2 (en) * 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
JP5988286B1 (ja) * 2016-04-01 2016-09-07 株式会社Cygames プログラム及び画像処理装置
CN105929956A (zh) * 2016-04-26 2016-09-07 苏州冰格智能科技有限公司 一种基于虚拟现实的输入方法
CN105955464A (zh) * 2016-04-26 2016-09-21 苏州冰格智能科技有限公司 一种基于虚拟现实的输入装置
US10249090B2 (en) 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN109661687A (zh) 2016-08-02 2019-04-19 奇跃公司 固定距离虚拟和增强现实系统及方法
CN106454490B (zh) * 2016-09-21 2019-07-26 天脉聚源(北京)传媒科技有限公司 一种智能播放视频的方法及装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
AU2018236457A1 (en) 2017-03-17 2019-09-12 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2018170409A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
WO2018170482A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
JP2018206073A (ja) * 2017-06-05 2018-12-27 株式会社東海理化電機製作所 遠隔操作システム
EP3435202A1 (de) * 2017-07-25 2019-01-30 Siemens Healthcare GmbH Zuordnen eines werkzeuges zu einer greifgeste
WO2019156992A2 (en) * 2018-02-06 2019-08-15 Magic Leap, Inc. Systems and methods for augmented reality
KR20190125855A (ko) * 2018-04-30 2019-11-07 삼성전자주식회사 전자 장치 및 그 동작방법
US20200074225A1 (en) * 2018-08-29 2020-03-05 Tata Consultancy Services Limited Method and system for creating aesthetic design at scale
CN109573902A (zh) * 2018-12-11 2019-04-05 龙岩学院 一种基于模式识别的升降机控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5664177A (en) 1988-04-13 1997-09-02 Digital Equipment Corporation Data processing system having a data structure with a single, simple primitive
JPH0816877B2 (ja) 1991-06-10 1996-02-21 インターナショナル・ビジネス・マシーンズ・コーポレイション データ処理システム用資源データの実時間捕獲及び減縮方法及びシステム
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
DE69315969T2 (de) 1992-12-15 1998-07-30 Sun Microsystems Inc Darstellung von Informationen in einem Anzeigesystem mit transparenten Fenstern
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6340957B1 (en) * 1997-08-29 2002-01-22 Xerox Corporation Dynamically relocatable tileable displays
US6807583B2 (en) 1997-09-24 2004-10-19 Carleton University Method of determining causal connections between events recorded during process execution
EP0905644A3 (en) * 1997-09-26 2004-02-25 Communications Research Laboratory, Ministry of Posts and Telecommunications Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
JP3660492B2 (ja) 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
US6043805A (en) 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US7145551B1 (en) 1999-02-17 2006-12-05 Microsoft Corporation Two-handed computer input device with orientation sensor
US6351744B1 (en) 1999-05-28 2002-02-26 Unisys Corporation Multi-processor system for database management
JP4332649B2 (ja) 1999-06-08 2009-09-16 パナソニック株式会社 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US7229017B2 (en) 1999-11-23 2007-06-12 Xerox Corporation Laser locating and tracking system for externally activated tags
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US7109970B1 (en) * 2000-07-01 2006-09-19 Miller Stephen S Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20020065950A1 (en) 2000-09-26 2002-05-30 Katz James S. Device event handler
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
AU4333502A (en) 2000-10-20 2002-06-18 Polexis Inc Extensible information system (xis)
US6703999B1 (en) 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US20020186200A1 (en) * 2001-06-08 2002-12-12 David Green Method and apparatus for human interface with a computer
US20040125076A1 (en) * 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US7151246B2 (en) 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
US20030048280A1 (en) 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
JP4304337B2 (ja) * 2001-09-17 2009-07-29 独立行政法人産業技術総合研究所 インタフェース装置
US7159194B2 (en) 2001-11-30 2007-01-02 Palm, Inc. Orientation dependent functionality of an electronic device
WO2003065175A2 (en) 2002-02-01 2003-08-07 John Fairweather A system and method for real time interface translation
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
AT378619T (de) 2002-02-27 2007-11-15 Cdm Optics Inc Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7991920B2 (en) * 2002-12-18 2011-08-02 Xerox Corporation System and method for controlling information output devices
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
GB0308943D0 (en) 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US7436535B2 (en) 2003-10-24 2008-10-14 Microsoft Corporation Real-time inking
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
WO2005104010A2 (en) * 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7555613B2 (en) 2004-05-11 2009-06-30 Broadcom Corporation Storage access prioritization using a data storage device
WO2005116802A1 (ja) 2004-05-25 2005-12-08 Sony Computer Entertainment Inc. 入力装置及び方法、文字入力方法
US7366368B2 (en) 2004-06-15 2008-04-29 Intel Corporation Optical add/drop interconnect bus for multiprocessor architecture
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7466308B2 (en) 2004-06-28 2008-12-16 Microsoft Corporation Disposing identifying codes on a user's hand to provide input to an interactive display application
US7559053B2 (en) 2004-08-24 2009-07-07 Microsoft Corporation Program and system performance data correlation
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
CN101137996A (zh) * 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
ES2791718T3 (es) * 2005-01-07 2020-11-05 Qualcomm Inc Detection and tracking of objects in images
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7966353B2 (en) 2005-01-31 2011-06-21 Broadcom Corporation Method and system for flexibly providing shared access to non-data pool file systems
US8370383B2 (en) * 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9063801B2 (en) 2008-04-24 2015-06-23 Oblong Industries, Inc. Multi-process interactive systems and methods
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
WO2006086508A2 (en) * 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537112B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8669939B2 (en) 2006-02-08 2014-03-11 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8681098B2 (en) 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
BRPI0613165A2 (pt) * 2005-05-17 2010-12-21 Gesturetek Inc signal output sensitive to orientation
US7428542B1 (en) * 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
WO2010030822A1 (en) 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8769127B2 (en) 2006-02-10 2014-07-01 Northrop Grumman Systems Corporation Cross-domain solution (CDS) collaborate-access-browse (CAB) and assured file transfer (AFT)
JP4781897B2 (ja) 2006-04-26 2011-09-28 富士通株式会社 センサイベント制御装置
US20070288467A1 (en) 2006-06-07 2007-12-13 Motorola, Inc. Method and apparatus for harmonizing the gathering of data and issuing of commands in an autonomic computing system using model-based translation
JP4148281B2 (ja) 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7979850B2 (en) 2006-09-29 2011-07-12 Sap Ag Method and system for generating a common trace data format
US7984452B2 (en) 2006-11-10 2011-07-19 Cptn Holdings Llc Event source management using a metadata-driven framework
EP2613281B1 (en) * 2006-12-29 2014-08-13 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system
JP5015270B2 (ja) * 2007-02-15 2012-08-29 クアルコム,インコーポレイテッド 点滅する電磁放射線を用いた入力
WO2008103919A2 (en) * 2007-02-23 2008-08-28 Gesturetek, Inc. Enhanced single-sensor position detection
EP2163987A3 (en) 2007-04-24 2013-01-23 Oblong Industries, Inc. Processing of events in data processing environments
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
CN107102723B (zh) * 2007-08-20 2019-12-06 高通股份有限公司 用于基于手势的移动交互的方法、装置、设备和非暂时性计算机可读介质
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
US8341635B2 (en) 2008-02-01 2012-12-25 International Business Machines Corporation Hardware wake-and-go mechanism with look-ahead polling
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
US8269817B2 (en) 2008-07-16 2012-09-18 Cisco Technology, Inc. Floor control in multi-point conference systems
US20100060568A1 (en) 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US8363098B2 (en) 2008-09-16 2013-01-29 Plantronics, Inc. Infrared derived user presence and associated remote control
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
JP5358834B2 (ja) 2009-02-17 2013-12-04 株式会社ワコム 位置指示器及び入力装置
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US20100315439A1 (en) 2009-06-15 2010-12-16 International Business Machines Corporation Using motion detection to process pan and zoom functions on mobile computing devices
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US20120229383A1 (en) 2010-01-14 2012-09-13 Christoffer Hamilton Gesture support for controlling and/or operating a medical device
US9465457B2 (en) 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
US20120239396A1 (en) 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111998A3 (ko) * 2011-02-18 2012-12-20 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
US9571734B2 (en) 2012-10-10 2017-02-14 Samsung Electronics Co., Ltd. Multi display device and method of photographing thereof
US9696899B2 (en) 2012-10-10 2017-07-04 Samsung Electronics Co., Ltd. Multi display apparatus and multi display method
US9317198B2 (en) 2012-10-10 2016-04-19 Samsung Electronics Co., Ltd. Multi display device and control method thereof
US9335887B2 (en) 2012-10-10 2016-05-10 Samsung Electronics Co., Ltd. Multi display device and method of providing tool therefor
US9348504B2 (en) 2012-10-10 2016-05-24 Samsung Electronics Co., Ltd. Multi-display apparatus and method of controlling the same
US9417784B2 (en) 2012-10-10 2016-08-16 Samsung Electronics Co., Ltd. Multi display apparatus and method of controlling display operation
KR101430042B1 (ko) * 2013-02-14 2014-08-14 주식회사 나우시스템 제스처를 이용한 방송장비 제어 시스템 및 방법
KR101483851B1 (ko) * 2013-04-03 2015-01-19 목원대학교 산학협력단 홈 컨트롤을 위한 유비쿼터스 가상 현실(uvr) 기반의 저작 장치 및 방법
KR20170133455A (ko) * 2015-03-31 2017-12-05 이베이 인크. 제스처를 사용한 3차원 의복 수정 기법
KR102073462B1 (ko) * 2015-03-31 2020-02-04 이베이 인크. 제스처를 사용한 3차원 의복 수정 기법

Also Published As

Publication number Publication date
KR20070116794A (ko) 2007-12-11
US20150205364A1 (en) 2015-07-23
US8830168B2 (en) 2014-09-09
US20060187196A1 (en) 2006-08-24
US7598942B2 (en) 2009-10-06
US8866740B2 (en) 2014-10-21
WO2006086508A2 (en) 2006-08-17
CN101536494A (zh) 2009-09-16
US20100090947A1 (en) 2010-04-15
US9606630B2 (en) 2017-03-28
EP1851750A4 (en) 2010-08-25
EP1851750A2 (en) 2007-11-07
WO2006086508A9 (en) 2006-12-14
NO20074200L (no) 2007-11-07
WO2006086508A3 (en) 2009-04-23
CN101536494B (zh) 2017-04-26
US20100090946A1 (en) 2010-04-15
JP5631535B2 (ja) 2014-11-26
NO339941B1 (no) 2017-02-20
JP2008530661A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
US10235412B2 (en) Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9767613B1 (en) Systems and method of interacting with a virtual object
US20180059925A1 (en) Enhanced 3D interfacing for remote devices
US9606618B2 (en) Hand tracker for device with display
CN105593787B (zh) 用于与数字设备交互的直接指向检测的系统和方法
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
US20190179419A1 (en) Interactive input system and method
US10831281B2 (en) Systems and methods of free-space gestural interaction
Jankowski et al. A survey of interaction techniques for interactive 3D environments
KR101953165B1 (ko) 제스처 인식 디바이스들 및 방법들
US9383895B1 (en) Methods and systems for interactively producing shapes in three-dimensional space
US9471149B2 (en) Control system for navigating a principal dimension of a data space
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
JP2018077882A (ja) 複数クライアント装置およびディスプレイを有する動作環境のための方法、およびシステム
US10656724B2 (en) Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9122311B2 (en) Visual feedback for tactile and non-tactile user interfaces
US20170068324A1 (en) Control system for navigating a principal dimension of a data space
Zhang et al. Visual panel: virtual mouse, keyboard and 3D controller with an ordinary piece of paper
US9495013B2 (en) Multi-modal gestural interface
US9972136B2 (en) Method, system and device for navigating in a virtual reality environment
US6597347B1 (en) Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US6842175B1 (en) Tools for interacting with virtual environments
US8180114B2 (en) Gesture recognition interface system with vertical display
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170515

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee