KR101141087B1 - 제스처-기반 사용자 상호작용의 프로세싱 - Google Patents

제스처-기반 사용자 상호작용의 프로세싱 Download PDF

Info

Publication number
KR101141087B1
KR101141087B1 KR1020107007945A KR20107007945A KR101141087B1 KR 101141087 B1 KR101141087 B1 KR 101141087B1 KR 1020107007945 A KR1020107007945 A KR 1020107007945A KR 20107007945 A KR20107007945 A KR 20107007945A KR 101141087 B1 KR101141087 B1 KR 101141087B1
Authority
KR
South Korea
Prior art keywords
user
hand
distance
representation
image
Prior art date
Application number
KR1020107007945A
Other languages
English (en)
Other versions
KR20100074180A (ko
Inventor
매튜 벨
타이파탯 첸나바신
찰스 에이치 글랜턴
마이클 헐미
이얄 오퍼
매튜 비에타
Original Assignee
인텔렉츄얼 벤처스 홀딩 67 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 filed Critical 인텔렉츄얼 벤처스 홀딩 67 엘엘씨
Publication of KR20100074180A publication Critical patent/KR20100074180A/ko
Application granted granted Critical
Publication of KR101141087B1 publication Critical patent/KR101141087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Abstract

대화형 디스플레이와의 제스처-기반 사용자 상호작용을 프로세싱하는 시스템 및 방법이 개시되어 있다.

Description

제스처-기반 사용자 상호작용의 프로세싱{PROCESSING OF GESTURE-BASED USER INTERACTIONS}
관련 출원의 상호-참조
본 출원은, 그 개시물이 참조로 여기에 통합되는 2007년 9월 14일 출원된 미국 가특허출원 제 60/993,907 호의 우선권 이익을 주장한다.
본 발명은 일반적으로 대화형 디스플레이 시스템에 관한 것이다. 더욱 구체적으로는, 본 발명은 3-차원 환경에서 대화형 디스플레이와의 제스처-기반 사용자 상호작용을 프로세싱하는 사용자 인터페이스에 관한 것이다.
다수의 기존의 대화형 기술은 2-차원 카메라 같은 것에 의존한다. 이들 카메라에 의해 생성된 2-차원 데이터는 배경으로부터 전경을 분리하기 위해 신뢰가능하게 분석하는 것이 어렵다. 그 결과, 사용자의 손 또는 다른 부속물을 분리하고 이들의 대응하는 이동을 트랙킹하는 것이 어렵다.
데이터의 불량한 분리 및 트랙킹으로 인해, 대화형 디스플레이 시스템에 데이터를 제공하는 것과 관련하여 어려움이 발생한다. 대화형 디스플레이 시스템이 이를 통해 렌더링된 정보를 제어하거나 조작하기 위해 데이터를 수집할 수 없는 경우에, 사용자는 키보드, 조이스틱, 및 액추에이터와 같은 물리적 오브젝트의 조작 또는 버튼 누름에 의존하도록 강요될 수도 있다. 사용자가 입력을 제공하는 물리적 기구에 의존하도록 강요되면, 대화형 디스플레이 시스템에 의해 제공된 다수의 이점이 손실된다.
대화형 디스플레이 시스템에 관하여 제스처-기반 사용자 상호작용의 프로세싱에 대한 필요성이 존재한다.
제 1 실시형태에서, 대화형 디스플레이와의 제스처-기반 사용자 상호작용을 프로세싱하는 방법이 개시된다. 이 방법을 통해, 정의된 3-차원 공간에서의 오브젝트에 관한 3-차원 정보가 수집된다. 정의된 3-차원 공간에서의 사용자의 손에 대응하는 것으로서 3-차원 정보의 부분이 식별된다. 디지털 오브젝트의 온-스크린 이미지가 디스플레이되지만, 그것은 사용자의 물리적 형상과 관련되며 사용자의 물리적 형상을 근사하는 온-스크린 이미지이다. 디스플레이된 온-스크린 이미지는 사용자의 물리적 형상을 근사하며 디스플레이된 디지털 오브젝트와 상호작용하지 않는다. 정의된 3-차원 공간에서의 사용자의 손에 대응하는 아이콘이 디스플레이된다. 이 아이콘은 디스플레이된 디지털 오브젝트와 상호작용할 수 있다.
대화형 디스플레이와의 제스처-기반 사용자 상호작용을 프로세싱하는 제 2 방법이 다른 실시형태에 개시된다. 이러한 다른 실시형태에서, 정의된 3-차원 공간에서의 사용자에 관한 3-차원 정보가 수집된다. 정의된 3-차원 공간은 볼륨 존 (volumetric zone) 을 포함한다. 3-차원 정보에 의해 정의되는 바와 같은 사용자 각각의 부분은 볼륨 존 중 하나 이상에 위치된다. 3-차원 정보의 부분은 정의된 3-차원 공간에서의 사용자 중 하나의 손에 대응한다. 온 스크린 디지털 오브젝트가 디스플레이되지만, 이것은 사용자 중 하나가 디스플레이된 디지털과 현재 상호작용할 수 있는지의 표시이다. 이러한 표시는 볼륨 존 중 하나 이상에서의 사용자의 위치에 대응한다.
제 3 실시형태는 대화형 디스플레이와의 제스처-기반 사용자 상호작용을 위한 또 다른 방법이다. 정의된 3-차원 공간에서의 오브젝트에 관한 3-차원 정보가 수집되며 3-차원 정보의 부분은 정의된 3-차원 공간에서의 사용자의 손에 대응하는 것으로서 식별된다. 사용자가 디지털 오브젝트에 대한 활동 레벨 임계값을 초과하였는지에 대응하는 시각적으로 인지가능한 활동 상태를 갖는 디지털 오브젝트의 온-스크린 이미지가 디스플레이된다. 디지털 오브젝트의 온-스크린 이미지와 상호작용하는 아이콘이 디스플레이되며, 이 아이콘은 정의된 3-차원 공간에서의 사용자의 손에 대응한다. 활동 레벨은 시간을 통한 사용자의 손의 위치에 대응한다.
또 다른 실시형태에서, 대화형 디스플레이와의 제스처-기반 사용자 상호작용을 프로세싱하는 다른 방법이 개시된다. 정의된 3-차원 공간에서의 오브젝트에 관한 3-차원 정보가 수집되며, 3-차원 정보의 부분은 정의된 3-차원 공간에서의 사용자의 손에 대응하는 것으로서 식별된다. 활동 레벨 임계값을 갖는 디지털 오브젝트의 온-스크린 이미지가 디스플레이된다. 디지털 오브젝트의 온-스크린 이미지와 상호작용하는 아이콘이 디스플레이되고, 이 아이콘은 정의된 3-차원 공간에서의 사용자의 손에 대응한다. 이 아이콘은, 디스플레이된 디지털 오브젝트의 활동 레벨 임계값이 초과되는 경우에만 디지털 오브젝트와 관련된 동작을 제어할 수도 있다. 디지털 오브젝트의 활동 레벨은, 시간을 통해 디지털 오브젝트와 관련된 영역에 근접한 아이콘의 결과로서 초과된다.
도 1 은 예시적인 플랫 패널 인터페이스 시스템을 예시한다.
도 2 는 볼륨 존을 포함하는 대화형 디스플레이 공간을 예시한다.
도 3 은 볼륨 존을 포함하는 대화형 디스플레이 공간의 대안의 실시형태를 예시한다.
도 4 는 제스처-기반 상호작용의 프로세싱에 대한 예시적인 방법을 예시한다.
도 5 는 손/사용자 표현 대 선택 레벨을 예시한다.
도 6 은 사용자의 물리적 위치가 디지털 오브젝트의 디스플레이 가상 세계로 어떻게 맵핑될 수 있는지를 예시한다.
도 7 은 사용자의 물리적 위치가 디지털 오브젝트의 디스플레이 가상 세계로 어떻게 맵핑될 수 있는지의 대안의 실시형태를 예시한다.
도 1 은 예시적인 플랫 패널 인터페이스 시스템 (100) 을 예시한다. 시스템 (100) 은 디스플레이 (160), 3-차원 시각 시스템 (110), 연산 시스템 (130), 및 옵션의 조명기 (120) 를 포함한다. 시스템 (100) 은 임의의 다양한 폼 팩터에 따라 구성될 수도 있다.
디스플레이 (160) 는 비디오 이미지를 나타낼 수 있는 디스플레이를 포함하는 임의의 다양한 구성을 가정할 수도 있다. 일 실시형태에서, 디스플레이 (160) 는 액정 디스플레이 (LCD), 플라즈마 스크린, 또는 유기 발광 다이오드 디스플레이 (OLED) 스크린과 같은 플랫 패널 디스플레이이다. 또 다른 방법으로는, 디스플레이는, 제한하지 않고, 음극선 튜브 (CRT), 전자 잉크 스크린, 후면 투영 디스플레이, 전면 투영 디스플레이, NEC 에 의해 판매된 WT600 프로젝터와 같은 비축 (off-axis) 전면 (또는 후면) 프로젝터, 렌티큘러 3-차원 비디오 스크린과 같은 3-차원 이미지를 생성하는 스크린, 또는 IO2 Technology USA 로부터의 Heliodisplay™ 스크린과 같은 포그 (fog) 스크린을 포함할 수도 있다. 다중 스크린은 단일의 대형 디스플레이를 형성하도록 타일링될 수도 있다. 시스템 (100) 은 2개 이상의 대화형 디스플레이 (160) 를 포함할 수도 있어서, 2명 이상의 사용자가 시스템 (100) 과 동시에 상호작용할 수도 있다.
(도 1 의 구성과 같은) 일 구성에서, 시스템 (100) 의 다양한 엘리먼트가 벽에 탑재될 수도 있다. 다른 방법으로는, 시스템 (100) 의 엘리먼트는 천장에 탑재될 수도 있고, 독립해 서 있을 수도 있고, 테이블상에 탑재될 수도 있거나, 양면 구성에 탑재될 수도 있다. 독립해 서 있는 시스템은 큰 베이스를 포함할 수도 있거나 안정성을 위해 그라운드에 볼트로 죄어질 수도 있다.
3-차원 오브젝트를 통합하는 시스템 (100) 의 실시형태들은 3-차원 하드웨어 및 소프트웨어 시스템을 활용할 수도 있어서, 예를 들어, 디스플레이 (160) 는 원통형 또는 구형일 수도 있다. 플로어, 테이블탑, 또는 벽 투영 시스템을 수반하는 것과 같은 이들 및 다른 폼 팩터 구성은 3-차원 시각 시스템을 유사하게 활용할 수도 있다. 이러한 실시형태들에서, 3-차원 시각 시스템 (110) 은 디스플레이 주위의 영역을 커버할 수도 있다. 천장에 탑재된 프로젝터가 그라운드상의 이미지를 캐스트하여, 사용자 (140) 가 스크린 영역상을 걷게 할 수 있는 플로어 투영과 같은 프로젝터들이 디스플레이를 생성하기 위해 사용될 수도 있다. 투영은 테이블, 벽 또는 임의의 다른 표면상에 또한 캐스트될 수도 있다. 플로어, 벽, 또는 다른 표면상의 상호작용성의 연장된 영역을 생성하기 위해 다중 프로젝터 및 다중 3-차원 시각 시스템이 사용될 수도 있다.
시스템 (100) 의 실시형태들은 사이즈가 변화할 수도 있다. 예를 들어, 3-차원 시각 시스템 (110) 은 랩탑 컴퓨터 모니터의 상부에 부착될 수도 있어서, 시스템 (100) 을 휴대할 수 있게 한다. 랩탑 자체는 연산 시스템 (130) 으로서 동작할 수도 있고, 시각 효과의 생성 및 3-차원 시각 소프트웨어를 처리할 수도 있다.
상술한 바와 같이, 시스템 (100) 은 조명기 (120) 를 포함할 수도 있다. 도 1 에는 3-차원 시각 시스템 (110) 및 조명기 (120) 의 위치가 예시되어 있다. 3-차원 시각 시스템 (110) 및 조명기 (120) 는 디스플레이 (160) 및/또는 서로에 대하여 다양한 위치에 배열될 수도 있다. 또한, 3-차원 시각 시스템 (110) 및 조명기 (120) 의 다중 인스턴스가 존재할 수도 있다. 3-차원 시각 시스템 (110) 및/또는 조명기 (120) 는 대화형 영역 (170) 의 위치를 변화시키기 위해 하나 이상의 미러 또는 다른 반사면 (미도시) 을 사용할 수도 있다.
시스템 (100) 은 오디오 입력을 캡처하기 위해 마이크로폰 또는 마이크로폰 어레이를 사용할 수도 있고 오디오 출력을 생성하기 위해 스피커를 사용할 수도 있다. 마이크로폰(들)은 배경 잡음없이 특정한 사용자로부터의 오디오를 더 양호하게 캡처하도록 지향성일 수도 있다. 스피커(들)는 또한, 특정한 사용자 및 특정한 영역상에 오디오를 포커싱하도록 지향성일 수도 있다. 관련 스피커의 예들은, Dakota Audio, Holosonics, 및 American Technology Corporation of San Diego (ATCSD) 에 의해 제조된 시스템들에 부가하여, Brown Innovations 로부터의 Maestro™ 및 SoloSphere™ 을 포함한다.
3-차원 시각 시스템은 스테레오 시각을 사용하여 구현될 수도 있다. 스테레오 시각 시스템은 3-차원 이미지를 구성하기 위해 2개 이상의 카메라로부터의 정보를 사용한다. Marr-Poggio 알고리즘에 기초하는 것과 같은 알고리즘을 사용하는 3-차원 컴퓨터 시각 기술은 약간 상이한 각도로부터 취해진 동일한 장면의 2개 이상의 이미지를 입력으로서 취할 수도 있다.
Marr-Poggio 기반 알고리즘은 단지, 이들이 동일한 물리적 오브젝트의 동일한 부분에 대응하는 상이한 카메라의 이미지로부터 텍스처 패치를 찾는다는 점에서 스테레오 알고리즘의 일 예이다. 이미지에서의 패치의 위치 사이의 차이는, 카메라로부터 그 패치까지의 거리가 결정될 수 있게 하여서, 그 패치에 대한 3-차원 위치 데이터를 제공한다.
그러나, 이러한 알고리즘의 성능은, 균일한 컬러가 상이한 이미지에서 대응하는 패치를 매칭하는 것을 어렵게 하기 때문에 균일한 컬러의 오브젝트를 처리할 때 열화하는 경향이 있다. 따라서, 조명기 (120) 가 텍스처된 광을 생성하는 경우에, 다른 균일한 컬러의 텍스처링은 일부 3-차원 컴퓨터 시각 알고리즘의 거리 추정을 개선할 수도 있다.
3-차원 시각 시스템 (110) 에서 사용될 수도 있는 예시적인 스테레오 카메라는 Tyzx DeepSea™ 및 Point Grey Bumblebee™ 을 포함한다. 이들 카메라는 단색 또는 컬러일 수도 있으며, 가시광, 근적외선, 원적외선, 및 자외선을 포함하는 전자기 스펙트럼의 하나 이상의 특정 대역에 민감할 수도 있다.
3-차원 시각 시스템 (110) 은 또한, 비행 시간 카메라 (time-of-flight camera) 를 사용하여 구현될 수도 있다. 비행 시간 카메라는 이미지의 각 픽셀에 대한 거리 정보를 검출한다. 각 픽셀에 대한 거리 정보는 카메라로부터 그 픽셀에서 보이는 오브젝트까지의 거리를 포함할 수도 있다. 비행 시간 카메라는 비가시광 펄스가 카메라 다음에 위치될 수도 있는 광원으로부터 이미징된 오브젝트까지 이동한 후 카메라로 돌아오는데 얼마나 긴 시간이 걸리는지를 계시함으로써 이러한 거리 데이터를 획득한다. 광 펄스는 급속하게 반복될 수도 있어서, 비행 시간 카메라가 비디오 카메라의 프레임 레이트와 유사한 레이트를 가질 수 있게 한다. 통상적으로, 비행 시간 카메라가 초당 30 프레임에서 1-2 미터의 범위를 갖지만, 이 범위는 노출 시간을 길게 함으로써 증가될 수 있으며, 이것은 차례로 프레임 레이트를 낮춘다. 비행 시간 카메라의 제조자는 캘리포니아주 서니베일의 Canesta Inc. 및 이스라엘의 3DV Systems 를 포함한다.
3-차원 시각 시스템 (110) 의 실시형태들은 또한, 레이저 레인지파인더, 구조화된 광 프로젝터와 쌍을 이룬 카메라, 레이저 스캐너, 레이저 라인 스캐너, 초음파 이미저, 여러 카메라로부터의 전경 이미지의 교차를 통해 3-차원 데이터를 유도하는 시스템, 및/또는 이들의 임의의 조합을 사용하여 구현될 수도 있다. 다중의 3-차원 시각 시스템 (110) 은 동시에 사용될 수도 있어서, 이들의 3-차원 데이터는 대화형 영역에서 오브젝트를 설명하는 단일화된 데이터 세트를 생성하기 위해 함께 병합된다.
배경 조명이 시스템 (100) 의 일부 실시형태에서는 충분할 수도 있지만, (예를 들어, 3-차원 시각 시스템 (110) 에서 또는 연산 디바이스 (130) 에서) 프로세싱 디바이스에 의해 스테레오 알고리즘의 실행을 통해 프로세싱될 텍스처 데이터를 개선시키기 위해 조명기 (120) 의 사용이 필요할 수도 있다. 광의 패턴으로 대화형 영역에서의 오브젝트를 조명함으로써, 조명기 (120) 는 패치를 매칭하기 위해 스테레오 알고리즘에 의해 사용될 수도 있는 텍스처 데이터의 양을 개선시킨다. 조명기 (120) 는 스테레오 알고리즘을 사용하여 오브젝트의 검출을 개선하기 위해 패터닝되고/되거나 불균일한 광 패턴을 생성할 수도 있다. 일부 경우에서, 조명기 (120) 는 디스플레이 (160) 와 상호작용하는 사용자 (140) 의 추가 조명을 단순히 제공할 수도 있다.
조명기 (120) 는 고전력 발광 다이오드 (LED), 백열 벌브, 할로겐 벌브, 금속 할로겐화물 벌브, 및 아크 램프와 같은 집중 광원을 포함할 수도 있다. 제 1 광원 또는 다른 광원과 동일한 산란 시스템을 사용하여, 2개 이상의 집중 광원이 동시에 사용될 수도 있다. 파라볼라 반사기 또는 하나 이상의 좁은 각도 LED 를 갖는 램프와 같은 실질적으로 시준된 광원이 유사한 결과를 달성하기 위해 집중 광원 대신에 사용될 수도 있다.
랜덤 도트 패턴, 변화하는 길이 스케일에 대한 잡음을 제공하는 프랙탈 잡음 패턴, 및 병렬 라인의 세트를 포함하는 패턴과 같은 다양한 패턴이 조명기 (120) 에 의해 사용될 수도 있다. 병렬 라인은 랜덤할 수도 있으며, 유용한 텍스처링을 제공하기 위해 그들의 거리화에 대하여 변화될 수도 있다. 이러한 패턴을 생성하기 위해 다양한 방법이 활용될 수도 있다. 예를 들어, 조명기 (120) 는 비디오 입력 케이블을 통해 제공되는 임의의 이미지를 투영하도록 설계된 비디오 프로젝터를 포함할 수도 있다. 이미지는 3-차원 시각 시스템 (110) 의 성능을 최적화하기 위해 시간을 통해 변화할 수도 있다. 예를 들어, 패턴은 3-차원 시각 시스템 (110) 의 카메라 이미지가 광으로 포화되거나, 오브젝트가 카메라에 근접한 영역에서 더 높은 해상도가 되는 영역에서 흐릿해질 수도 있다. 2개 이상의 비디오 프로젝터가 전체 대화형 영역을 커버하기 위해 사용될 수도 있다.
조명기 (120) 는 또한, 정지 또는 시변 패턴을 캐스트 아웃하기 위해 구조화된 광 프로젝터를 사용할 수도 있다. 구조화된 광 프로젝터의 예들은, ABW 로부터의 MiniRot-H1™ 및 LCD-640™ 을 포함한다. 다른 실시형태에서, 패턴은 광원, 이미지를 갖는 투명 슬라이드, 및 슬라이드의 이미지를 투영하기 위한 렌즈 시스템 또는 커브된 미러 시스템을 포함하는 슬라이드 프로젝터에 의해 생성될 수도 있다. 2개 이상의 슬라이드 프로젝터가 전체 대화형 영역을 커버하기 위해 사용될 수도 있다. 다른 실시형태에서, 패턴은 매우 집중된 광원 (작은 영역으로부터 발하는 광) 에 의해 생성된다. 다른 방법으로는, 반사형 또는 반사형 시스템이 사용될 수도 있다.
조명기 (120) 는 사용자에 의해 주목될 수도 있는 그라운드상의 가시 패턴의 생성을 회피하기 위해, 비가시 또는 최소의 가시 광원, 예를 들어, 근적외 광원을 사용할 수도 있다. 다른 방법으로는, 조명기 (120) 는 가시광 및 비가시광 모두를 발광하는 광원을 가질 수도 있으며, 비가시광은 남기고 가시광을 감소시키기 위한 필터를 포함할 수도 있다. 조명기 (120) 및 카메라는 동기화된 카메라 노출 동안 조명기 (120) 의 펄싱을 통해 스트로브될 수도 있어서, 주위의 광의 영향이 감소되거나 제거된다. 3-차원 시각 시스템 (110) 은 조명기 (120) 에 의해 발광되지 않은 파장으로부터의 광을 억제하는 광학 필터를 포함할 수도 있어서, 조명기 (120) 로부터의 광은 시각 시스템 (110) 에 의해 캡처된 이미지에서 더욱 두드러지게 특징화될 수 있다.
다양한 소프트웨어가 3-차원 시각 시스템 (110) 에서 또는 시각 시스템 (110) 에 커플링된 연산 디바이스 (130) 에서 실행될 수도 있다. 시각 소프트웨어의 실행은 캡처된 이미지 데이터의 유용성을 개선시킬 수도 있다. 예를 들어, 다중의 3-차원 카메라가 사용되는 경우에, 시각 소프트웨어는 카메라로부터의 데이터가 동일한 좌표 공간으로 병합될 수 있도록 카메라의 교정을 도울 수도 있다 (즉, 2개의 카메라가 2개의 상이한 각도로부터의 유사한 영역을 커버하여 다중 각도로부터의 영역의 커버리지를 제공할 수 있다). 이러한 카메라는 상이한 영역을 커버할 수도 있고, 여기서, 하나의 카메라는 근접 상호작용에 포커싱할 수도 있고, 다른 카메라는 원거리 상호작용에 포커싱한다. 또한, 스테레오 프로세싱의 품질 및 해상도는 시각 소프트웨어의 실행을 통해 변화되고 실시될 수도 있다. 예를 들어, 디스플레이 (160) 에 가장 근접한 영역은, 더 많은 정확도로 디스플레이 (160) 근처의 사용자 (140) 의 개별 손가락 (150) 을 해상하기 위해 더 높은 해상도로 프로세싱될 수도 있다.
3-차원 데이터에서의 부정확성 및 잡음을 제거하기 위해 여러 방법이 사용될 수도 있다. 예를 들어, 특정한 시간 주기 동안 이동되지 않은 것으로 알려진 카메라의 시야의 영역으로부터 3-차원 데이터를 마스크 아웃하기 위해 배경 방법이 사용될 수도 있다. 이들 배경 방법 (배경 감산 방법으로서 또는 공지됨) 은 적응형일 수도 있어서, 배경 방법이 시간을 통해 배경에서의 변화를 조정할 수 있게 한다. 이들 배경 방법은 배경을 형성하고 전경을 결정하기 위해 카메라로부터의 루미넌스, 크로미넌스, 및/또는 거리 데이터를 사용할 수도 있다. 전경이 결정되면, 전경 영역 외부로부터 수집된 3-차원 데이터가 제거될 수도 있다.
다른 실시형태에서, 컬러 카메라가 디스플레이 (160) 전면의 다른 오브젝트 및 사용자 (140) 의 3-차원 데이터에 대한 크로미넌스 데이터를 획득하기 위해 사용될 수도 있다. 이러한 크로미넌스 데이터는 유사성이 인식되고 트랙킹될 수 있게 하는 사용자 (140) 의 컬러 3-차원 표현을 획득하기 위해 사용될 수도 있다. 그 후에, 인식되고 트랙킹된 사용자 (140) 의 유사성이 디스플레이될 수도 있다.
카메라로부터 카메라의 시점으로부터의 카메라의 이미지의 각 픽셀까지의 거리인 깊이 이미지에, 또는 시각 시스템 (110) 에 의해 수집된 3-차원 데이터에 직접적으로 잡음 필터링이 적용될 수도 있다. 미디언 필터링과 같은 평활화 및 평균화 기술이 깊이 부정확성을 감소시키기 위해 카메라의 깊이 이미지에 적용될 수도 있다. 분리된 포인트들 또는 포인트들의 작은 클러스터들은, 이들이 더 큰 형상에 대응하지 않는 경우에 3-차원 데이터 세트로부터 제거될 수 있어서, 사용자를 그대로 두면서 잡음을 제거한다.
3-차원 데이터는 높은 레벨의 정보를 생성하기 위해 다양한 방식으로 분석될 수도 있다. 예를 들어, (도 1 에서 엘리먼트 (150) 로서 일괄적으로 표현된) 사용자의 손가락 끝, 손가락, 및 손이 검출될 수도 있다. 이것을 행하는 방법은 다양한 형상 인식 및 오브젝트 인식 알고리즘을 포함한다. 오브젝트는 2-차원 및/또는 3-차원 공간, 시간, 크로미넌스, 또는 루미넌스 데이터의 임의의 조합을 사용하여 세그먼트될 수도 있다. 또한, 오브젝트는 상술한 도메인의 다양한 선형 또는 비선형 변환하에서 세그먼트될 수도 있다. 오브젝트 검출 알고리즘의 예들은 변형가능한 템플릿 매칭, 허프 변환, 및 적절하게 변환된 공간에서의 공간적으로 인접한 픽셀 및/또는 복셀의 집합을 포함하지만 이에 제한되지 않는다.
다른 예로서, 사용자 (140) 에 속하는 3-차원 포인트는, 사용자에 속하는 포인트의 클러스터가 식별되도록 클러스터되고 라벨될 수도 있다. 사용자 (140) 의 머리 및 팔 (190) 과 같은 신체 부위가 마커로서 세그먼트될 수도 있다. 포인트는 또한 k-평균 또는 계층적 클러스터링과 같은 미지도 (unsupervised) 방법을 사용하여 3-차원 공간에서 클러스터될 수도 있다. 그 후, 식별된 클러스터는 피처 추출 및 분류 엔진에 입력할 수도 있다. 피처 추출 및 분류 루틴은 3-차원 공간 데이터에 제한되지 않고 2-차원 공간, 루미넌스, 크로미넌스, 또는 이들의 변환과 같은 다른 데이터 도메인에서 이전의 피처 추출 또는 분류에 또한 적용될 수도 있다.
골격 모델이, 기대치 최대화, 기울기 하강, 파티클 필터링, 및 피처 트랙킹을 포함하지만 이에 제한되지 않는 다양한 방법을 통해 소정의 사용자 (140) 에 속하는 3-차원 포인트에 맵핑될 수도 있다. 또한, 아이겐페이스 (eigenface) 또는 피셔페이스 (fisherface) 와 같은 얼굴 인식 알고리즘이 사용자 및 그들의 안면 표현을 식별하기 위해 2-차원 및/또는 3-차원 공간, 시간, 크로미넌스, 및 루미넌스 데이터와 같은 시각 시스템으로부터의 데이터를 사용할 수도 있다. 사용된 안면 인식 알고리즘은 이미지 기반 또는 비디오 기반일 수도 있다. 이러한 정보는 특히, 사용자가 대화형 영역을 벗어나고 그 영역으로 복귀할 뿐만 아니라 얼굴, 성, 아이덴티티, 인종, 안면 표현, 또는 다른 특징에 기초하여 디스플레이된 컨텐츠와의 상호작용을 변화시키는 상황에서 사용자를 식별하기 위해 사용될 수도 있다.
손가락 끝 또는 다른 신체 부위는, 손가락, 핀칭 (pinching), 및 다른 이러한 이동을 사용하여 형상의 푸싱 (pushing), 그래빙 (grabbing), 드래깅 (dragging), 드로핑 (dropping), 포킹 (poking), 및/또는 드로잉 (drawing) 과 같은 특정한 제스처를 인식하기 위해 시간을 통해 트랙킹될 수도 있다.
3-차원 시각 시스템 (110) 은 사용자 (140) 이외의 특정한 오브젝트를 검출하기 위해 특별하게 구성될 수도 있다. 이러한 검출은 오브젝트의 외관 또는 형상의 특정한 양태, 식별 정보를 제공하기 위해 무선 주파수 식별 (RFID) 판독기 (미도시) 에 의해 판독된 오브젝트에서의 RFID 태그, 및/또는 식별 정보를 제공하기 위해 오브젝트상에서 특정한 패턴으로 스트로브된 광원을 인식하도록 실행가능한 오브젝트 인식 알고리즘을 활용할 수도 있다.
3-차원 시각 시스템 (110) 에 의해 검출된 사용자(들) (140) 또는 다른 오브젝트는 디스플레이 (160) 상에 표현될 수도 있다. 디스플레이 (160) 상의 사용자 (140) 의 이러한 표현 (162) 은, 디스플레이 (160) 상에 나타낸 (가상 또는 디지털 오브젝트로서 상호교환가능하게 칭할 수도 있는) 가상, 디지털 오브젝트 (164) 와 사용자가 상호작용할 수 있게 하는데 유용할 수도 있다. 상호작용은 디지털 오브젝트 (164) 에 대하여 사용자 위치 (162) 의 시각적 표시를 제공함으로써 촉진될 수도 있다.
이러한 표현은 사용자(들) 또는 다른 오브젝트의 디지털 음영을 포함할 수도 있다. 예를 들어, 3-차원 데이터의 투영을 나타내는 2-차원 형상은 평면상의 사용자의 신체에 대응한다. 2-차원 형상은 사용자의 형상 뿐만 아니라 사이즈에 관하여 근사할 수도 있다. 본 발명의 특정한 실시형태에 의존하여, 사용자 (또는 그 일부) 의 표현은 디스플레이 (160) 상의 디지털 오브젝트 (164) 와 상호작용할 수도 있거나 상호작용하지 않을 수도 있다.
사용자(들) 또는 다른 오브젝트의 디지털 윤곽은 또한, 디지털 오브젝트 (164) 와의 상호작용에 관하여 디스플레이 (160) 상에 사용자 (162) 를 표현하기 위해 사용될 수도 있다. 윤곽은 디지털 음영의 에지로서 여겨질 수도 있다. 디지털 음영과 유사하게, 이러한 윤곽은 사용자의 형상 및 사이즈를 근사할 수도 있다. 이러한 형상은 컬러화되고, 하이라이트되고, 렌더링되거나, 그렇지 않으면 디스플레이 이전에 임의적으로 프로세싱될 수도 있다.
사용자의 손 (150) 또는 다른 신체 부위 (190) 또는 다른 오브젝트를 나타내는 다양한 다른 이미지, 아이콘, 또는 2-차원 또는 3-차원 렌더링은, 디지털 오브젝트 (164) 와의 상호작용을 위해 디스플레이 (160) 상에 렌더링될 수도 있다. 예를 들어, 사용자의 손 (150) 은 사용자의 실제 손의 근사로서 또는 그에 대응하는 '손형 (hand-like)' 아이콘으로서 디스플레이 (160) 상에 표현될 수도 있다.
다른 상호작용 및 표현 방법은 다음을 포함한다.
가상 공간에서 렌더링된 사용자(들)의 형상은, 손이 온-스크린 오브젝트와 상호작용하기 위한 위치에 있을 때 디스플레이되는 사용자의 손 (150) 에 대한 마커와 결합될 수도 있다. 예를 들어, 손에 대한 마커는 손이 스크린을 가리킬 때만 나타날 수도 있다.
시각 시스템 (110) 으로부터의 3-차원 데이터의 포인트 클라우드로부터의 사용자(들) 또는 다른 오브젝트를 나타내는 포인트는 소형 및/또는 반투명일 수도 있는 오브젝트로서 디스플레이될 수도 있다.
사용자의 손가락 (150) 의 위치를 나타내는 커서가 사용될 수도 있다. 이들 커서는 디스플레이될 수도 있거나, 사용자 (140) 의 손가락 (150) 이 가상 공간에서 상호작용의 특정한 타입일 수 있을 때 외관을 변화시킬 수도 있다.
사용자의 신체의 다양한 부위 (190) 에 부착되고/되거나 그에 따라 이동하는 오브젝트가 활용될 수도 있다. 예를 들어, 사용자 (140) 는 사용자의 머리 (190) 의 이동 및 회전에 따라 이동하고 회전하는 헬멧을 가질 수도 있다.
디지털 아바타 (avatar) 는 이들이 이동할 때 사용자(들) (140) 또는 다른 오브젝트의 신체 위치에 매칭한다. 일 실시형태에서, 디지털 아바타는 사용자의 위치의 골격 모델에 맵핑된다.
상술한 표현의 임의의 조합
일부 실시형태에서, 표현은 온-스크린 오브젝트와의 상호작용의 사용자의 허용된 형태에 기초하여 외관을 변화시킬 수도 있다. 예를 들어, 사용자 (140) 는 그레이 음영으로서 나타날 수도 있고, 사용자가 디스플레이 (160) 의 특정한 거리내에 들어오기 전까지 오브젝트와 상호작용할 수 없을 수도 있으며, 이 포인트에서, 사용자의 음영은 컬러를 변화시키며, 사용자는 온-스크린 오브젝트와의 상호작용을 시작할 수 있다.
3-차원 시각 시스템 (110) 에 의해 추출되고 수집될 수 있는 다수의 잠재적 피처 및 스크린상에 디스플레이될 수 있는 다양한 가상 오브젝트 (164) 가 제공되면, 사용자 (140) 와 가상 오브젝트 (164) 사이에는 다수의 잠재적 상호작용이 존재한다. 잠재적 상호작용의 일부 예들은, 3차원으로 연장될 수 있는 2-차원 힘-기반 상호작용 및 영향 이미지 기반 상호작용을 포함한다. 따라서, 사용자의 위치에 관한 3-차원 데이터는 3-차원 영향 이미지를 생성하여 3-차원 오브젝트의 움직임에 영향을 미치도록 사용될 수 있다. 2-차원 및 3-차원 양자에서, 이들 상호작용은, 사용자가 가상 오브젝트 (164) 에 주는 힘의 강도 및 방향이 계산될 수 있게 하여, 상호작용이 디스플레이 (160) 상의 오브젝트의 움직임에 어떻게 영향을 주는지에 관한 사용자 제어를 제공한다.
사용자 (140) (또는 이들의 디스플레이된 표현 (162)) 는 가상 공간에서 디지털 오브젝트 (164) 와 교차함으로써 디지털 오브젝트 (164) 와 상호작용할 수도 있다. 이러한 교차는 3-차원에서 계산될 수도 있거나 사용자로부터의 3-차원 데이터는 2-차원으로 투영 다운될 수도 있고 2-차원 교차로서 계산될 수도 있다.
시각 효과가 사용자로부터의 3-차원 데이터에 기초하여 생성될 수도 있다. 예를 들어, 글로 (glow), 워핑 (warping), 입자의 방출, 플레임 트레일, 또는 다른 시각 효과가 3-차원 위치 데이터 또는 이들의 일부 부분을 사용하여 생성될 수도 있다. 시각 효과는 특정한 신체 부위에 기초할 수도 있다. 예를 들어, 사용자는 그들의 손을 합침으로써 가상 파이어볼 (virtual fireball) 을 생성할 수도 있다. 사용자 (140) 는 온 스크린상에 디스플레이된 가상, 디지털 오브젝트 (164) 를 픽업하고, 드롭하고, 이동하고, 회전하거나 그렇지 않으면 변형하기 위해 특정한 제스처를 사용할 수도 있다.
디스플레이 (160) 상에 표현된 가상 공간은 2-차원 또는 3-차원으로 나타날 수도 있다. 어느 경우에서나, 시스템 (100) 은 디스플레이 (160) 의 가상 공간에 디스플레이된 디지털 오브젝트 (164) 및 다른 이미지 (예를 들어, 사용자 표현 (162)) 에 관한 정보와 사용자 (140) 에 관한 정보를 병합한다. 사용자 (140) 가 가상 공간에서 2-차원으로 표현되면, 사용자의 위치에 관한 3-차원 데이터가 2-차원 평면상에 투영될 수도 있다.
디스플레이 (160) 전면의 물리적 공간 (180) 과 디스플레이 (160) 상에 나타낸 가상 공간 사이의 맵핑은 임의적으로 정의될 수 있으며, 시간을 통해 균일하게 변화할 수 있다. 디스플레이 (160) 상에서 사용자 (140) 에 의해 보여지는 실제 장면은 물리적 공간 (180) 의 정의에 기초하여 변화할 수도 있다. 유사하게, 가상 공간 (또는 사용자의 표현 (162)) 은 2-차원일 수도 있다. 이러한 경우에서, 사용자의 가상 표현 (162) 의 깊이 성분은 무시될 수도 있다.
맵핑은, 사용자 (140) 에 의해 보여질 때 가상 공간에서의 사용자의 표현 (162) 의 움직임이 사용자 (140) 의 실제 움직임의 미러 이미지와 유사하도록 미러와 유사한 방식으로 동작할 수도 있다. 맵핑은, 사용자 (140) 가 그들의 신체의 부위 (150) 를 터치하거나 스크린 디스플레이 (160) 에 가까이 그들의 신체의 부위 (150) 를 가져올 때, 가상 표현 (162) 은 신체의 동일한 부위를 터치하거나 스크린 (160) 의 동일한 부분에 가까이 신체의 동일한 부위를 가져온다. 맵핑은 또한, 사용자 (140) 가 스크린 (160) 에 접근할 때 스크린 (160) 의 표면으로부터 멀어지는 것으로 나타나는 사용자의 표현 (162) 을 나타낼 수도 있다.
다중 대화형 영역은 시각 시스템 전면의 공간을 다중 볼륨 공간으로 파티셔닝하고 수집된 데이터를 이들 공간으로 분류함으로써 생성될 수도 있다. 도 2 는, 볼륨 존을 포함하는 대화형 디스플레이 공간을 예시한다. 디스플레이 공간은 시각 시스템 (220) 및 디스플레이 (210) 를 포함한다.
도 2 에서, "터치" 공간 (250) 은 손가락 포인팅 상호작용을 주로 캡처하고, "프라이머리 사용자" 공간 (240) 은 스크린에 가장 가까운 사람의 신체를 캡처하며, "원거리 사용자" 공간 (230) 은 더 멀리 있는 사람의 신체를 캡처한다. 스크린상의 사용자 표현은 이들이 제공되는 영역이 무엇이냐에 따라 상이할 수도 있다. 예를 들어, "터치" 공간 (250) 에서의 손가락은 커서에 의해 표현될 수도 있고, "프라이머리 사용자" 공간 (240) 에서의 신체 (260) 는 컬러화된 윤곽에 의해 표현될 수도 있으며, "원거리 사용자" 공간 (230) 에서의 신체 (270) 는 그레이 윤곽에 의해 표현될 수도 있다. 공간들의 경계는 변화할 수도 있다. 예를 들어, "프라이머리 사용자" 공간 (250) 에 아무도 없다면, 그 공간의 경계는 "원거리 사용자" 공간 (230) 을 커버하도록 확장할 수도 있다.
스크린으로부터 특정한 거리를 초과하거나 "원거리 사용자" 공간 (230) 에 있는 사용자는 감소되거나 제거된 온-스크린 오브젝트와 상호작용하기 위한 능력을 가질 수도 있다. 이것은, 스크린에 근접한 사용자가 더 멀리 있는 사용자로부터의 간섭없이 가상 오브젝트와 상호작용할 수 있게 한다. 일부 경우에서, 사용자는 디스플레이 (210) 에 너무 근접할 수도 있으며, 이러한 근접성으로 인해, 스크린상의 오브젝트와 또한 상호작용할 수 없을 수도 있다. 사용자의 현재의 로케일 (locale) 및/또는 디스플레이 (210) 상의 오브젝트와 상호작용하기 위한 능력을 표시하는 다양한 표시가 디스플레이 (210) 상에 표현될 수도 있다.
현재의 상호작용에 대한 능력에 관한 표시를 제공하는 것은, 하나 이상의 이유와 관련될 수도 있다. 예를 들어, 디스플레이가 범위 밖에 있을 수도 있거나 특정한 상황은 동시에 상호작용하는 다수의 사용자를 콜할 수도 있고 임의의 하나의 사용자가 근접하게 접근하고 상호작용을 지배하는 것을 중시킬 수도 있다. 다른 상황은, 디스플레이가 윈도우 이면에 있고 근접 상호작용이 불가능한 상황을 포함할 수도 있다. 이러한 경우에서, "너무 근접한" 상호작용 공간이 생성될 수도 있다.
일부 실시형태에서, 다양한 효과가 디스플레이될 수도 있거나 상기 언급한 볼륨 영역의 외부의 사용자를 그 볼륨 영역으로 들어가게 끌기 위해 오디오 송출이 이루어질 수도 있다. 일 실시형태에서, 디스플레이는 현재 대화형 공간에 아무도 없고 제 1 사용자가 대화형 공간으로 이동할 때 매우 큰 고도의 가시 플래시 또는 다른 리액션을 나타낸다. 이러한 특징은, 현재 상호작용하는 사람이 없고 대화형 공간으로 통과하는 사용자가 그들의 주변 시야에서 디스플레이를 볼 수만 있을 때 사용자의 관심을 디스플레이에 끌도록 설계된다.
이전에 어드레싱한 바와 같이, 본 발명의 시각 시스템은 사용자의 손 및 신체를 검출할 수도 있다. 손 및 신체 검출은 범위, 루미넌스, 컬러, 및/또는 다른 데이터를 사용할 수도 있다. 손 및 신체 검출 방법은 미가공 컬러/루미넌스 이미지, 범위 이미지, 3-차원 포인트 클라우드, 및/또는 다른 데이터에 적용될 수도 있다. 손 및 신체 검출 방법은 또한, 상기 언급한 데이터 세트에 기초하여 임의의 변환되거나 투영된 데이터에 적용될 수도 있다.
신체는 3-차원 클라우드에서 포인트들의 공간적으로 분리된 클러스터로서 검출될 수도 있다. 신체는 또한, 포인트 클라우드를 플로어면상에 투영하며, 높은 밀도의 영역을 식별함으로써 검출될 수도 있다. 신체는 또한, 깊이의 빠르게 변화하는 영역의 제거 이후에 투영된 깊이 이미지에서 큰 접속 컴포넌트를 찾음으로써 식별될 수도 있다. 신체는 또한, 미가공 3-차원 데이터 또는 적절한 투영에 대한 템플릿 매칭 또는 골격 매칭을 수행함으로써 식별될 수도 있다. 예비 식별이 하나의 투영에서 발생할 수도 있으며, 그 후, 별개의 투영에서 더 개선될 수도 있다. 예를 들어, 시각 시스템은 사용자 신체에 대한 거친 경계 박스를 구별하기 위해 플로어 면 시야를 사용할 수도 있다. 그 후, 경계 박스내의 포인트들의 전면 투영이 매우 근접한 사용자를 분리하기 위해 사용될 수도 있다.
손은 분리된 오브젝트 또는 사용자의 일부로서 검출될 수도 있다. 전자의 경우에서, 손은 사용자와 관련될 수도 있다. 검출된 손의 위치 및 움직임은 상호작용 도중에 사전정의되거나 동적으로 생성된 공간에서 사용자, 디스플레이, 또는 일부 영역에 관하여 정의될 수도 있다. 다수의 가능한 좌표계가 소망하는 효과에 의존하여 이러한 관계를 특정하기 위해 사용될 수도 있다. 예를 들어, 손이 나오는 사용자의 어깨에 중심을 가지는 극 좌표계가 사용될 수도 있다. 손 검출 방법은 신체의 골격 피팅을 통한 식별, 템플릿 매칭을 통한 식별, 컬러 기반 스킨 세그멘테이션을 통한 식별, 오브젝트에 대한 신체로서의 식별, 및 접속된 컴포넌트 특성에 기초한 식별을 포함할 수도 있다.
사용자의 신체가 식별되면, 박스, 구 또는 원기둥과 같은 경계 영역은 사용자에 중심이 있을 수도 있다. 신체에 접속되지만, 이러한 영역 외부의 오브젝트는 손에 대한 후보가 될 수도 있다. 이들 접속된 오브젝트는 '끝 (tip)' 또는 손을 식별하기 위해 더 세그먼트될 수도 있다. 손은 정의될 수 있는 바와 같은 신체에 대한 일부 포인트 또는 경계 박스로부터 가장 원거리 포인트와 같은 오브젝트의 가장 먼 영역을 취함으로써 식별될 수도 있으며, 최대 거리 아래의 어떤 임계값내에 있는 임의의 포인트가 손의 부분으로서 고려될 수 있다. 손은 또한, 템플릿 매칭을 통해 이들 영역으로부터 추출될 수도 있다. 손은 또한, 곡률, 경계 박스 또는 신체로부터의 거리, 및 컬러 특성을 포함하지만 이에 제한되지 않는 다양한 특징에 기초하여 이러한 영역으로부터 세그먼트될 수도 있다. 팔의 골격 모델이 또한, 기대치 최대화를 사용하여 영역에 피팅될 수도 있다.
도 3 은, 볼륨 존을 포함하는 대화형 디스플레이 공간의 대안의 실시형태를 예시한다. 도 3 에서, 대화형 디스플레이 (310) 및 카메라/조명기 시스템 (320) 은 "너무 근접한" 공간 (350), "손" 공간 (340), 및 "원거리 사용자" 공간 (330) 으로 구성된 대화형 공간을 생성한다. "원거리 사용자" 공간 (330) 에서의 사용자는 그들의 전체 신체와만 상호작용할 수 있으며, 디스플레이상에서 자신의 풀-신체 사용자 표현을 볼 수도 있다. "손" 공간 (340) 에서의 사용자는 그들의 신체 뿐만 아니라 그들의 손과 상호작용할 수 있으며, 디스플레이상에서 풀-신체 표현 뿐만 아니라 손 표현을 볼 수도 있다.
손을 "너무 근접한" 공간 (350) 에 두는 사용자는, 그들의 손 또는 신체와 상호작용할 수 없을 수도 있으며, 그들의 신체의 페이딩 이미지 또는 그들의 손의 위치에서 소멸하는 한번 분 연기 (puff of smoke) 와 같은 시각 온-스크린 표현은 사용자에게 사용자가 상호작용하기에 너무 근접하고 있다는 사실을 알려줄 수도 있다. 예를 들어, 사용자 (360) 는 한번 분 연기로 변한 그들의 손의 시각 표현을 볼 수도 있으며, 그들의 손을 사용하여 온-스크린 오브젝트와 상호작용하는 능력을 손실할 수도 있다. 반대로, "손" 공간 (340) 에 있는 사용자 (370) 는 그들의 손을 사용하여 온-스크린 오브젝트와 상호작용하는 풀 능력을 가지며, 사용자 (360) 와는 다른 그들의 손의 표현을 본다. "너무 근접한" 공간의 내부 에지는 카메라의 시야 또는 조명기의 시야 조명의 경계와 일치할 수도 있다.
디스플레이는, 디스플레이상에 표시된 가상 공간내의 위치에 관하여 사용자에게 시각 피드백을 제공하고, 디스플레이상에 표시된 오브젝트와의 정확한 상호작용을 용이하게 하기 위해 사용자의 신체 또는 특정한 신체 부위의 표현을 디스플레이할 수도 있다. 디스플레이는 또한 사용자의 손의 표현을 디스플레이할 수도 있다. 사용자와 디스플레이 사이의 다수의 상호작용이 사용자의 손을 통할 수도 있기 때문에, 사용자의 손을 구체적으로 하이라이트하는 것이 바람직할 수도 있다. 손 표현은, 손이 어떤 종류의 제스처 사용을 전달하기 위해 신체로부터 충분하게 떨어져 있을 때만 표시될 수도 있다. 손에 대해 사용된 표현은 손의 위치 또는 손이 어떻게 이동하는지에 의존할 수도 있다. 이것은 손이 오브젝트를 선택하거나 오브젝트와 상호작용할 수 있는지를 반영할 수도 있다. 이것은 인간형 손 (anthropomorphic hand), 상이한 타입의 오브젝트, 또는 이 둘의 조합일 수도 있다.
일 실시형태에서, 손 표현은, 사용자 또는 그들의 손이 디스플레이 전면의 특정한 공간내에 있을 때만 나타날 수도 있다. 다른 방법으로는, 사용자의 풀-신체 표현은, 사용자의 손 표현이 디스플레이되기 시작할 때 사라지거나 변형되며, 사용자의 손 표현이 제거될 때 복귀한다.
도 4 는 제스처-기반 상호작용의 프로세싱을 위한 예시적인 방법을 예시한다. 단계 410 에서, 스테레오 또는 비행 시간 카메라와 같은, 환경에 관한 실시간 3-차원 데이터를 수집할 수 있는 카메라가 하나 이상의 인간 사용자 또는 다른 오브젝트의 움직임을 캡처한다. 단계 420 에서, 3-차원 포인트 클라우드의 형태를 취할 수도 있는 3-차원 카메라로부터의 데이터는 컴퓨터 시각 시스템에 의해 분석되며, 디스플레이상에 표시된 가상 오브젝트 및 디스플레이에 대한 데이터의 위치를 결정하기 위해 잠재적으로 좌표-변환된다. 단계 430 에서, 컴퓨터 시각 시스템은 사용자의 신체 및 손, 및 잠재적으로는 다른 신체 부위의 위치를 결정하기 위해 이러한 데이터를 분석한다. 이들 신체 부위는 사람에 의해 그룹화될 수도 있으며, 그들의 위치는 속도, 가속도, 및 다른 특징을 결정하기 위해 시간을 통해 트랙킹될 수도 있다.
단계 440 에서, 각 손이 가상 오브젝트의 선택과 관련된 동작을 행하는 정도, 또는 가상 오브젝트와의 어떤 다른 상호작용이 결정된다. 단계 450 에서, 선택 레벨 또는 다른 동작에 따라 상이할 수도 있는 각 손의 시각 표현이 결정된다. 그 후, 이들 시각 표현은 단계 470 에서 생성되는 사용자의 신체의 표현, 및 시뮬레이션 (490) 에 의해 제어되는 사용자가 상호작용하는 가상 오브젝트에 따라, 단계 480 에서 디스플레이상에 렌더링된다. 디스플레이상에 표현을 렌더링함으로써, 사용자는 스크린상의 가상 오브젝트에 대한 신체 및 손의 위치에 관한 시각 피드백을 수신할 수 있다.
개별적으로, 단계 450 에 의해 결정되는 각 손의 선택 레벨은, 손이 시뮬레이션 (490) 으로부터의 임의의 가상 오브젝트와 상호작용하는지를 결정하기 위해 단계 460 에서 프로세싱된다. 도 4 에 도시된 사용자 상호작용 프로세스는, 실시간 상호작용의 효과를 생성하도록 신속하게 반복적으로 발생할 수 있다.
도 4 에 도시된 프로세스는 단지 하나의 가능한 실시형태를 예시한다. 대안의 실시형태들의 구현될 수도 있으며, 예를 들어, 시뮬레이션 (490) 에서의 오브젝트는 발생하는 손 또는 선택 행위가 존재하는지를 결정함으로써 단계 440 및 430 에 대한 필요성을 바이패싱하기 위해 오브젝트 주위의 시각 신호를 분석할 수도 있다.
도 5 는 선택 레벨에 대한 손/사용자 표현을 예시한다. 단계 510 에서, 손이 오브젝트를 선택하는 정도가 결정된다. 예시된 실시형태에서, 몸통으로부터 손까지 Z 축을 따른 단순한 거리가 결정된다. 사용자가 그들의 팔을 앞으로 펼칠 때, 이러한 값이 증가한다. 단계 520 에서, 디스플레이상의 손에 대한 시각 표현이 단계 510 에서 계산된 거리 값에 기초하여 결정된다. 손 표현은 거리가 증가할 때 펼친 손으로부터 하나를 가리키는 손가락으로 점진적으로 쥐어진다. 이것은 부분 선택의 레벨 - 사용자가 오브젝트를 선택할 능력을 얻는 임계값에 도달하는 것으로부터 그들의 손이 얼마나 떨어져 있는지에 관한 피드백을 사용자에게 제공한다. 손이 선택 모드로 임계값을 크로스하였을 때, 오브젝트를 선택할 능력을 가지면, 십자선 (crosshairs) 이 나타난다. 손이 상승되지 않으면, 표현되는 손 표현은 없다. 개별적으로, 단계 510 에서 계산된 거리는 단계 530 에서 "활동 레벨" 로서 기능하고, 여기서, 손은 활동 레벨이 예를 들어, 0.5 를 초과하는 경우에 오브젝트를 선택할 수 있게 된다. 도 5 에 나타낸 예는 하나의 가능한 실시형태로서 단지 예시적이다. 다수의 다른 선택 방법이 활동 레벨을 계산하기 위해 사용될 수 있다.
일 실시형태에서, 사용자의 손 또는 신체는 물리적 충돌의 2-차원 또는 3-차원 시뮬레이션을 통해 가상 오브젝트와 상호작용할 수 있다. 일 실시형태에서, 디스플레이상에 나타낸 가상 공간에서의 각 손의 위치는 가상 오브젝트의 동작을 조정하는 물리적 시뮬레이션에 대한 입력으로서 사용된다. 손은 특정한 반경의 구와 같은 사전 정의될 수 있거나, 사용자의 손 자체의 2-차원 또는 3-차원 형상으로부터 유도될 수 있는 특정한 형상으로 모델링될 수도 있다. 일 실시형태에서, 손의 시각 표현은 물리적 시뮬레이션에 의한 모델로서 기능할 수도 있다.
물리적 시뮬레이션에서의 손의 모델은 디스플레이상에 나타난 가상 오브젝트와의 오버랩 및 충돌을 검출하기 위해 사용될 수 있다. 시간을 통한 손의 위치는 속도 및 가속도를 유도하기 위해 사용될 수 있으며, 이것은 실제 충돌이 디스플레이상의 가상 오브젝트로 계산될 수 있게 한다. 충돌은 비탄성, 부분 탄성, 또는 전체 탄성일 수도 있으며, 당업자에게 공지되어 있는 표준 충돌 공식을 사용하여 계산될 수도 있다. 손이 가상 오브젝트에 의해 물리적으로 이동될 수 없기 때문에, 손은 사후-충돌 속도를 계산하기 위해 무한 질량 (infinite mass) 을 갖는 것 처럼 취급될 수도 있다.
팔, 머리, 또는 전체 신체와 같은 다른 신체 부위가 유사한 방식으로 물리적 시뮬레이션에 입력될 수도 있다. 손 또는 다른 신체 부위에 관한 움직임 정보는 속도 또는 가속도에 의존하는 입자 방출, 또는 유체 또는 잔물결 시뮬레이션과 같은, 충돌 이외의 상호작용을 계산하기 위해 사용될 수도 있다.
손 또는 다른 신체 부위에 부착된 가상 오브젝트는 또한 가상 오브젝트와 상호작용하기 위해 사용될 수도 있다. 예를 들어, 가상 검 (sword) 이 사용자의 손에 부착될 수도 있다. 오브젝트의 배향은 사용자의 손, 팔뚝, 또는 팔의 배향을 분석함으로써 계산될 수도 있고, 이것은 사용자가 오브젝트의 배향을 용이하게 제어할 수 있게 한다. 이러한 오브젝트는 다른 오브젝트와의 상호작용을 결정하기 위해 물리적 엔진에 의해 분석될 수도 있다.
도 6 은, 사용자의 물리적 위치가 디지털 오브젝트의 디스플레이 가상 세계에 어떻게 맵핑될 수 있는지를 예시한다. 도 6 에서, 사용자 (620) 는 디스플레이 (630) 전면에서 상호작용한다. 사용자 (620) 는, 그들의 상호작용이 디스플레이에 영향을 미칠 수 있는 공간인 대화형 공간 (610) 내에 있다. 축 (660) 은 좌표계를 정의한다. X 및 Y 축은 디스플레이 (630) 상의 수평 및 수직 위치를 정의하고, Z 축은 디스플레이 (630) 로부터의 수직 거리를 정의한다. 이러한 대화형 공간 (610) 에서, 사용자는 스크린 (630) 상에 디스플레이된 가상 오브젝트 (640) 와 상호작용하기 위해 그들의 손 (670) 을 들어올린다.
일 실시형태에서, 손 (670) 과 가상 오브젝트 (640) 사이의 오버랩 또는 근접은 Z 축상의 손의 위치를 디스플레이 표면의 (X,Y) 평면에 투영하고, 그 후 손 (670) 과 가상 오브젝트 (640) 의 상대적 (X,Y) 위치를 분석함으로써 계산된다. 또한, 손 (640) 의 표현 (650) 은 Z 축을 따라 손의 위치를 투영함으로써 계산된 위치에서 디스플레이 (630) 상에 디스플레이된다. 이러한 표현은 디스플레이 (630) 의 가상 세계에 대한 그들의 손 (670) 의 위치에 관한 시각 피드백을 사용자 (620) 에게 제공한다.
도 7 은, 사용자의 물리적 위치가 디지털 오브젝트의 디스플레이 가상 세계에 어떻게 맵핑될 수 있는지의 대안의 실시형태를 예시한다. 일 실시형태에서, 디스플레이 (730) 는 2-차원 표면상에 이미지를 디스플레이하며, 음영 또는 미스트와 같은 깊이 큐 (cue) 가 깊이를 표현하기 위해 사용된다. 다른 실시형태에서, 디스플레이 (730) 는 사용자 (720) 에게 3-차원으로 나타나는 이미지를 생성할 수 있는 디스플레이이고, 이것은 디스플레이된 이미지가 스크린의 전면 또는 이면에서 특정한 거리에 있는 환상을 제공한다. 입체 투영 및 렌티큘러 비디오 스크린을 포함하지만 이에 제한되지 않는 다수의 3-차원 디스플레이 메카니즘이 존재하며 상업적으로 이용가능하다.
사용자 (720) 는 대화형 공간 (710) 에서 상호작용한다. 사용자 (720) 가 그들의 손 (770) 을 뻗칠 때, 손의 가상 표현 (750) 은 디스플레이 (730) 에 의해 디스플레이될 수도 있다. 사용자의 손 (770) 이 디스플레이 (730) 에 의해 디스플레이된 가상 오브젝트 (740) 주위의 터치 공간 (780) 내에 들어갈 때, 상호작용이 발생한다. 좌표 축 (760) 은 참조를 위해 예시된다.
시스템이 온-스크린 오브젝트를 선택하는데 사용할 수 있는 다수의 잠재적 방법이 존재한다. 거짓 음성 및 거짓 양성 (false negative and false positive) 모두를 최소화하여, 사용자가 선택하기를 원치않는 오브젝트를 사용자가 우발적으로 선택하는 것을 방지하고 사용자가 선택하기를 원하는 오브젝트를 사용자가 선택할 수 없는 것을 방지하는 것이 중요하다. 이들 사용자 동작을 계산하는데 사용된 정보는, 현재 및 과거 손 위치 및 속도, 팔 각도, 현재 및 과거 머리 위치, 및 현재 및 과거 몸통 위치를 포함하지만 이에 제한되지 않는 시각 시스템으로부터의 다양한 입력을 사용할 수도 있다.
선택은 선택될 오브젝트 또는 영역상에서 손을 여전히 홀딩함으로써 발생할 수 있다. 손을 여전히 홀딩하는 동작은 여러 방식으로 검출될 수 있다. 예를 들어, 활동 레벨이 시간을 통해 트랙킹될 수도 있으며, 오브젝트 또는 영역은, 활동 레벨이 임계값을 넘는 경우에 선택된다. 부분 선택이 활동 레벨에 기초하여 표시될 수도 있다. 시간을 통한 손 위치는 활동 레벨에 기여할 수도 있다. 예를 들어, 활동 레벨은, 손이 오브젝트 또는 영역상에서 신속히 이동하거나 오브젝트 또는 영역의 외부에 있는 경우에 공식에 의해 결정된 양 만큼 감소될 수도 있으며, 활동 레벨은 손이 오브젝트 또는 영역상에 있고 느리게 이동하거나 중지하는 경우에 공식에 의해 결정된 양 만큼 증가될 수도 있다. 공식은 손의 움직임의 속도를 고려할 수도 있어서, 손이 느리게 이동하면, 활동 레벨은 빠르게 상승할 것이다.
특정한 값 아래의 특정한 범위의 시간에 걸친 손의 평균 스피드는 또한 선택 메카니즘으로서 동작할 수도 있다. 스피드는 디스플레이상의 대화형 존을 정의하는 2-차원 평면, 디스플레이의 전면의 3-차원 공간, 또는 어떤 다른 방법, 예를 들어, 도 6 과 도 7 에 도시된 X 및 Y 축을 통하여 정의될 수도 있다.
다른 선택 메카니즘은, 시간의 특정한 범위에 걸친 손의 최대 속도가 특정한 값 아래이고; 일부 2-차원 (예를 들어, 도 6과 도 7 에 도시된 X 및 Y 축) 또는 3-차원 좌표계에서의 손의 위치가 특정한 시간 주기 동안 특정한 영역내에 머무르고; 일부 2-차원 (예를 들어, 도 6과 도 7 에 도시된 X 및 Y 축) 또는 3-차원 좌표계에서의 손의 위치의 편차가 특정한 시간 주기 동안 특정한 값 아래에 머무르고; 손의 위치 데이터가 시간 간격에 걸쳐 평균된 후, 평균된 위치 데이터가 여기에 설명된 기술 또는 다른 기술 중 어느 하나를 사용하여 제 2 시간 간격에 걸쳐 검사되는 것을 포함한다.
선택은 또한, 포킹 움직임으로 스크린 또는 가상 오브젝트를 향해 손을 찌름으로써 발생할 수 있다. 이러한 포킹 동작은 다양한 방식으로 검출될 수 있다. 예를 들어, 스크린으로부터의 손의 거리는 특정한 시간 주기내의 임계량 보다 많이 감소하고; Z 축을 따른 스크린에 대한 손의 스피드는 특정한 값을 초과하고, 손은 스크린을 향해 이동하고; Z 축을 따른 스크린에 대한 손의 시간 평균된 스피드는 특정한 시간 주기 동안 특정한 값을 초과하고, 손은 스크린을 향해 이동하며; 상기 예들 중 어느 하나는, 손의 X 및 Y 스피드 (또는 시간 평균된 X 및 Y 스피드) 가 특정한 시간 주기 동안 임계값 아래로 유지된다는 추가 기준을 갖는다. 이것은, 사용자가 그들의 손을 스윙하고, 사용자의 속도가 특정한 범위의 방향들내의 일 방향에 있으며, 속도가 소정량을 초과할 때, 우연한 선택을 방지한다. 이러한 일 실시형태에서, 이러한 범위의 방향들은 스크린을 향해 Z 축을 따라 직접 포인팅하는 벡터의 특정한 각도내의 방향들로 이루어진다.
선택은 또한, 임의의 3-차원 영역 또는 스크린으로부터의 사용자의 손의 거리에 기초하여 발생할 수도 있다. 따라서, 사용자가 그들의 손을 "선택 존" 으로 내밀 때, 오브젝트가 선택될 수 있다. 선택은 또한 사용자의 신체에 대한 사용자의 손의 위치에 기초하여 발생할 수 있다. 이러한 동작은, 사용자의 손이 사용자의 머리, 몸통, 어깨, 또는 무게 중심으로부터의 임계 거리 보다 크고, 사용자의 손으로부터 사용자의 머리, 몸통, 어깨, 무게 중심까지의 거리에 대한 사용자의 키의 비율이 특정량 아래로 내려가는 것과 같은 다양한 방식으로 검출될 수 있고, 이것은, 단신의 사람과 장신의 사람이 오브젝트를 선택하기 위해 유사한 이동을 행할 수 있다는 것을 보장하며, 거리는 여러 방식으로 정의될 수 있고, 예를 들어, (스크린을 향해) Z 축을 따르거나, 3-차원 공간 (X,Y,Z) 에서, 또는 가중 좌표계에서의 거리로 이루어질 수도 있다.
선택은 특정한 위치에 걸쳐 손을 고속으로 흔드는 사용자에 기초하여 발생할 수 있다. 고속 흔듬은, 위치가 특정 영역내에 유지되지만 특정한 시간 간격에 걸쳐 임계량을 초과하는 사용자의 손의 평균 스피드에 의해 검출될 수 있다. 선택은 또한, 위치의 편차가 특정량 아래로 유지되지만 특정한 시간 간격에 걸쳐 임계량을 초과하는 사용자의 손의 평균 스피드에 기초하여 발생할 수 있다.
선택은 또한 특정한 제스처의 실행에 기초하여 발생할 수도 있다.
상이한 사람이 오브젝트를 선택하기 위해 상이한 방법을 직관적으로 사용할 수도 있기 때문에, 다중의 선택 방법을 허용하는 것이 바람직할 수도 있다. 따라서, 예를 들어, 사용자는 특정한 시간 주기 보다 많이 동안 오브젝트에 대해 손을 여전히 홀딩하거나, 오브젝트에서 고속 포킹 움직임을 행하는 경우에 오브젝트를 선택할 수도 있다.
우연한 선택을 방지하기 위해, 선택을 트리거하기 위해 동시에 인보크되도록 다중의 선택 방법이 요청될 수도 있다. 예를 들어, 사용자는 특정한 시간 주기 동안 그들의 손을 여전히 홀딩하고, 그들의 손을 그들의 신체로부터 적어도 최소 거리를 유지할 필요가 있을 수도 있다.
선택이 발생한다는 사실을 표시하기 위해 선택 프로세스에서 피드백이 사용될 수도 있다. 일 실시형태에서, 사용자의 손에 대한 온-스크린 표현은, 손이 오브젝트를 선택할 때 변화한다. 다른 실시형태에서, 사용자의 손에 대한 온-스크린 표현은, 영역내에 오브젝트가 존재하지 않아도, 손의 위치 및 이동에 기초하여 손이 오브젝트를 선택할 때 변화한다. 또 다른 실시형태에서, 온-스크린 오브젝트는, 사용자가 오브젝트를 선택하거나, 부분적으로 선택하였을 때 변화한다.
또 다른 방법으로는, 손의 온-스크린 표현은 손이 오브젝트의 선택을 시작할 때 변화하기 시작할 수도 있다. 이것은 선택 프로세스의 본질에 관하여 사용자에게 시각 피드백을 제공하며, 사용자가 우연한 선택을 방지하는 것을 돕는다. 일 실시형태에서, 사용자 표현에서의 변화는 선택 검출 알고리즘의 특정한 값에 기초하여 이미지의 시퀀스로부터 선택된다. 예를 들어, 선택 검출 알고리즘이 사용자의 신체로부터의 손의 거리에 기초하는 경우에, 손은 애니메이션 시퀀스를 따라 외관을 점진적으로 변화시킬 수 있으며, 여기서, 애니메이션 시퀀스로부터의 프레임은 거리 값을 사용하여 선택된다.
다중의 사용자가 디스플레이와 동시에 상호작용할 수 있다. 카메라 시스템은 다중의 신체를 감지할 수 있으며, 시각 시스템은 다중의 사용자 신체로부터의 데이터를 명확히 할 수 있을 수도 있다. 이러한 명확화는, 시각 시스템이 각 손을 특정한 사용자의 신체에 할당하는 것을 가능하게 한다. 그 결과, 상이한 신체 및 손은 디스플레이상에 디스플레이된 가상 오브젝트와의 상이한 상호작용 뿐만 아니라 상이한 사용자 표현을 가질 수 있다. 또한, 디스플레이는 특정한 사용자를 무시할 수 있거나, 하나의 사용자 또는 사용자들의 그룹이 상호작용의 특정한 세트를 제어할 수 있게 할 수 있다.
상술한 컴포넌트 및 함수는, 컴퓨터-판독가능 저장 매체상에 저장되는 명령들로 구성될 수 있다. 이 명령들은 프로세서에 의해 검색되거나 실행될 수 있다. 명령들의 일부 예들이 소프트웨어, 프로그램 코드, 및 펌웨어이다. 저장 매체의 일부 예들이 메모리 디바이스, 테이프, 디스크, 집적 회로, 및 서버이다. 이 명령들은, 본 발명에 따라 동작하도록 프로세서에 지시하기 위해 프로세서에 의해 실행될 때 동작가능하다. 당업자는 명령들, 프로세서(들), 및 저장 매체에 정통하다.
다양한 실시형태들을 상술하였지만, 이들이 제한이 아닌 오직 예로서 제공되었다는 것을 이해해야 한다. 예를 들어, 사용자 인터페이스와 관련된 임의의 엘리먼트는 상기 설명한 임의의 소망하는 기능 세트를 이용할 수도 있다. 따라서, 바람직한 실시형태의 범위는 임의의 상술한 예시적인 실시형태에 의해 제한되어서는 안된다.
예를 들어, 하나 이상의 디스플레이 시스템으로부터의 정보는 다양한 애플리케이션을 허용하는 고속 데이터 접속을 통해 공유될 수도 있다. 예를 들어, 디스플레이의 사용자는 제스처 기반 인터페이스를 사용하여 Second Life, There, 또는 World of Warcraft 와 같은 온라인 가상 세계, 및 그 세계내의 오브젝트 및 아바타를 네비게이션하고 그와 상호작용할 수 있을 수도 있다. 또한, 사용자의 위치 및 이동의 3-차원 데이터는 온라인 가상 세계에서 송신되고 디스플레이될 수 있어서, 온라인 가상 세계의 다른 사용자가 디스플레이의 사용자를 보고 그와 상호작용할 수 있게 한다. 이들 다른 사용자는 가상 세계에서 상호작용하기 위해 다양한 인터페이스 (예를 들어, 종래의 키보드 및 마우스 인터페이스) 또는 다른 디스플레이를 사용할 수도 있다. 사용자는 서로에 근접할 수도 있거나 서로부터 이격되어 있을 수도 있다.
지금 설명한 실시형태의 인터페이스는 다양한 잠재적 사용자를 제공할 수도 있다. 예를 들어, 스포츠에 관하여, 사용자는 권투를 할 수도 있고, (가상 라켓으로) 테니스를 플레이할 수도 있고, 가상 볼을 던질 수도 있거나, 스크린상에 나타난 컴퓨터 또는 인간 상대와 다른 스포츠 활동에 참여할 수도 있다. 가상 세계 네비게이션의 컨텍스트에서, 사용자는 가상 세계 주위를 이동하는 경향과 같은 자연스런 신체 움직임을 사용할 수도 있으며, 가상 세계에서 오브젝트와 상호작용하기 위해 손을 사용할 수도 있다. 가상 캐릭터는 상기 언급한 인터페이스 시스템을 통해 제어될 수도 있으며, 여기서, 스크린상의 디지털 캐릭터는 사람이 캐릭터를 지나갈 때 디스플레이의 전면의 사람과 대화하고, 플레이하며, 그렇지 않으면 상호작용할 수도 있다. 이러한 디지털 캐릭터는 컴퓨터 제어될 수도 있거나 원격 위치에 있는 인간에 의해 제어될 수도 있다.
본 발명의 실시형태들은, 사용자의 그룹이 협력적인 방식으로 스크린상에 표현된 데이터를 이동할 수 있고 조작할 수 있는 멀티사용자 워크스페이스 뿐만 아니라 대화형 제품 데모 및 대화형 브랜드 경험을 포함하는 광고의 신규한 구현을 허용한다. 비디오 게임이 또한, 사용자가 제스처 및 자연스런 신체 이동을 통해 그들의 온스크린 캐릭터를 제어하고 게임을 플레이할 수 있도록 상기 언급한 인터페이스 시스템을 구현할 수도 있다. 의복의 모델링 및 '착용' 이 또한 이러한 시스템을 통해 활용될 수도 있으며, 여기서, 의복은 디스플레이상의 사용자의 이미지상에 위치되어서, 사용자가 의복을 가상으로 착용하는 것을 허용한다.

Claims (19)

  1. 연산 시스템에 의해, 하나 이상의 카메라로부터 물리적 공간에 대응하는 정보를 수신하는 단계로서, 상기 물리적 공간은 복수의 존을 포함하는, 상기 정보를 수신하는 단계;
    상기 연산 시스템에 의해, 상기 수신된 정보에 적어도 부분적으로 기초하여 상기 복수의 존 중 하나 이상에서 사용자의 적어도 제 1 부분을 검출하는 단계;
    상기 연산 시스템에 의해, 상기 사용자의 상기 적어도 제 1 부분이 검출된 상기 복수의 존 중 상기 하나 이상에서 상기 사용자의 어느 부분이 하나 이상의 가상 오브젝트와 상호작용할 수 있는지에 기초하여, 상기 사용자의 복수의 표현 중 하나를 선택하는 단계; 및
    상기 연산 시스템에 의해, 상기 하나 이상의 가상 오브젝트 및 상기 선택된 사용자의 표현을 포함하는 이미지를 생성하는 단계로서, 상기 사용자가 상기 복수의 존들 사이에 이동할 때마다 상기 선택된 사용자의 표현이 업데이트 되는, 상기 이미지를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 복수의 존은, 상기 생성된 이미지가 디스플레이되는 디스플레이 디바이스로부터의 제 1 거리보다 가까이 위치한 제 1 존, 상기 디스플레이 디바이스로부터의 상기 제 1 거리보다는 크고 상기 디스플레이 디바이스로부터의 제 2 거리보다는 작은 거리에 위치한 제 2 존, 및 상기 디스플레이 디바이스로부터의 상기 제 2 거리보다는 크고 상기 디스플레이 디바이스로부터의 제 3 거리보다는 작은 거리에 위치한 제 3 존을 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 선택하는 단계는, 상기 제 1 존 내의 상기 사용자의 상기 적어도 제 1 부분의 검출에 응답하여 상기 사용자의 제 1 표현을 선택하는 단계를 포함하는, 방법.
  4. 제 2 항에 있어서,
    상기 선택하는 단계는, 상기 제 2 존 내의 상기 사용자의 손 및 신체의 검출에 응답하여 상기 사용자의 제 2 표현을 선택하는 단계를 포함하고,
    상기 사용자의 상기 제 2 표현은 상기 사용자는 상기 사용자의 손 및 신체와 상기 제 2 존의 상기 하나 이상의 가상 오브젝트와 상호작용할 수 있다는 것을 표시하는, 방법.
  5. 제 2 항에 있어서,
    상기 선택하는 단계는, 상기 제 3 존 내의 상기 사용자의 전체 신체의 검출에 응답하여 상기 사용자의 제 3 표현을 선택하는 단계를 포함하고,
    상기 사용자의 상기 제 3 표현은 상기 사용자는 상기 사용자의 신체와 상기 제 2 존의 상기 하나 이상의 가상 오브젝트와 상호작용할 수 있다는 것을 표시하는, 방법.
  6. 제 1 항에 있어서,
    상기 복수의 존 중 하나 이상에서 상기 사용자의 상기 적어도 제 1 부분을 검출하는 단계는, 디스플레이 디바이스로부터의 상기 사용자의 상기 적어도 제 1 부분의 거리 또는 상기 하나 이상의 카메라 중 하나 이상으로부터의 상기 사용자의 상기 적어도 제 1 부분의 거리 중 적어도 하나에 기초하는, 방법.
  7. 제 3 항에 있어서,
    상기 사용자의 상기 제 1 표현은,
    소멸하는 한번 분 연기 (disappearing puff of smoke); 또는
    상기 사용자의 적어도 일부의 페이딩 이미지 중 적어도 하나를 포함하는, 방법.
  8. 복수의 존을 갖는 3-차원 공간을 표시하는 정보를 수신하도록 구성된 수단;
    상기 수신된 정보에 적어도 부분적으로 기초하여 상기 복수의 존 중 하나에서 사용자의 부분의 위치를 결정하도록 구성된 수단; 및
    이미지를 생성하도록 구성된 수단을 포함하고,
    상기 이미지는,
    가상 오브젝트, 및
    상기 복수의 존 내의 상기 사용자의 하나 이상의 부분의 위치의 결정에 기초하여 선택된 상기 사용자의 표현을 포함하고,
    상기 표현은 상기 가상 오브젝트와 상호작용할 수 있는 상기 사용자의 각각의 부분을 나타내는, 시스템.
  9. 제 8 항에 있어서,
    상기 사용자는 상기 복수의 존의 각각에서 상기 가상 오브젝트와 상이한 상호작용을 할 수 있는, 시스템.
  10. 소프트웨어 명령어가 저장된 비일시적 컴퓨터-판독가능 저장 매체로서,
    상기 컴퓨터-판독가능 저장 매체가, 연산 디바이스에 의한 실행에 응답하여, 상기 연산 디바이스로 하여금:
    하나 이상의 카메라로부터 3-차원 공간에 대응하는 정보를 수신하는 단계;
    상기 수신된 정보에 적어도 부분적으로 기초하여 상기 3-차원 공간 내의 사용자의 손인 제 1 위치를 결정하는 단계;
    상기 수신된 정보에 적어도 부분적으로 기초하여 상기 3-차원 공간 내의 상기 사용자의 손이 아닌 상기 사용자의 일부인 제 2 위치를 결정하는 단계;
    상기 제 1 위치 및 상기 제 2 위치 사이의 거리에 기초하여 상기 사용자의 손의 활동 레벨을 결정하는 단계; 및
    가상 공간의 이미지를 생성하는 단계를 포함하는 동작들을 수행하게끔 하고,
    상기 이미지는,
    가상 오브젝트; 및
    상기 활동 레벨과 활동 임계값 사이의 차이에 기초하여 변화하는 시각 표시를 포함하는, 컴퓨터-판독가능 저장 매체.
  11. 제 10 항에 있어서,
    상기 생성된 이미지는 상기 활동 임계값을 초과하는 상기 활동 레벨에 응답하여 상기 사용자의 손과 상기 가상 오브젝트 사이의 상호작용의 묘사를 더 포함하고, 상기 활동 임계값은, 소정의 시간 주기 동안 상기 제 2 위치로부터 적어도 소정의 거리만큼 유지되는 상기 제 1 위치에 응답하여 초과되는, 컴퓨터-판독가능 저장 매체.
  12. 제 10 항에 있어서,
    상기 생성된 이미지는 상기 활동 임계값을 초과하는 상기 활동 레벨에 응답하여 상기 사용자의 손과 상기 가상 오브젝트 사이의 상호작용의 묘사를 더 포함하고, 상기 활동 임계값은, 상기 제 2 위치로부터 소정의 거리를 유지하는 상기 제 1 위치 및 소정의 임계 스피드를 초과하는 상기 사용자의 손의 이동 스피드에 응답하여 초과되는, 컴퓨터-판독가능 저장 매체.
  13. 하나 이상의 카메라로부터 물리적 공간에 대응하는 정보를 수신하는 단계;
    상기 수신된 정보에 적어도 부분적으로 기초하여 상기 물리적 공간 내의 사용자의 위치를 가상 공간 내의 위치로 맵핑하는 단계;
    상기 사용자의 다른 부분의 위치에 대해 상기 사용자의 손의 위치에 기초하여 상기 사용자의 활동 레벨을 결정하는 단계; 및
    이미지를 생성하는 단계를 포함하고,
    상기 이미지는,
    가상 오브젝트; 및
    상기 활동 레벨과 활동 임계값 사이의 차이의 크기에 대응하여 외관이 변화하는 시각적으로 인지가능한 표시를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 활동 레벨은,
    소정의 시간 기간 동안 상기 물리적 공간 내의 위치로의 상기 사용자 손의 상기 위치의 근접도; 또는
    상기 소정의 시간 기간 동안 하나 이상의 축을 따른 상기 사용자의 소정의 부분의 이동 스피드 중 하나 이상에 또한 기초하는, 방법.
  15. 제 13 항에 있어서,
    상기 이미지를 생성하는 단계는, 상기 활동 레벨이 상기 임계값을 초과하였음을 결정한 것에 응답하여 상기 시각적으로 인지가능한 표시의 외관을 변화시키는 단계를 더 포함하는, 방법.
  16. 제 13 항에 있어서,
    상기 이미지는, 상기 물리적 공간에서의 상기 사용자의 상기 부분의 위치에 대응하는 아이콘을 더 포함하며,
    상기 활동 레벨에 대응하는 상기 시각적으로 인지가능한 표시는 상기 이미지에서의 상기 아이콘의 시각적 외관에 의해 표시되는, 방법.
  17. 카메라; 및
    하나 이상의 하드웨어 프로세서를 포함하는 시스템으로서,
    상기 하나 이상의 하드웨어 프로세서는, 상기 시스템으로 하여금:
    상기 카메라로부터, 복수의 존을 포함하는 물리적 공간에 대응하는 정보를 수신하고;
    상기 수신된 정보에 적어도 부분적으로 기초하여 상기 복수의 존 중 하나 이상에서 사용자의 적어도 제 1 부분을 검출하고;
    상기 사용자의 상기 적어도 제 1 부분이 검출된 상기 복수의 존 중 상기 하나 이상에서 상기 사용자의 어느 부분이 하나 이상의 가상 오브젝트와 상호작용할 수 있는지에 기초하여, 상기 사용자의 복수의 표현 중 하나를 선택하고; 그리고
    상기 하나 이상의 가상 오브젝트 및 상기 선택된 사용자의 표현을 포함하는 이미지를 생성하는 것으로서, 상기 사용자가 상기 복수의 존들 사이에 이동할 때마다 상기 선택된 사용자의 표현이 업데이트되는, 상기 이미지를 생성하도록 하기 위하여, 명령어를 실행하도록 구성되는, 시스템.
  18. 제 17 항에 있어서,
    상기 복수의 존은, 상기 생성된 이미지가 디스플레이되는 디스플레이 디바이스로부터의 제 1 거리보다 가까이 위치한 제 1 존, 상기 디스플레이 디바이스로부터의 상기 제 1 거리보다는 크고 상기 디스플레이 디바이스로부터의 제 2 거리보다는 작은 거리에 위치한 제 2 존, 및 상기 디스플레이 디바이스로부터의 상기 제 2 거리보다는 크고 상기 디스플레이 디바이스로부터의 제 3 거리보다는 작은 거리에 위치한 제 3 존을 포함하는, 시스템.
  19. 제 17 항에 있어서,
    상기 선택하는 것은, 상기 제 1 존 내의 상기 사용자의 상기 적어도 제 1 부분의 검출에 응답하여 상기 사용자의 제 1 표현을 선택하는 것을 포함하는, 시스템.
KR1020107007945A 2007-09-14 2008-09-15 제스처-기반 사용자 상호작용의 프로세싱 KR101141087B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99390707P 2007-09-14 2007-09-14
US60/993,907 2007-09-14
PCT/US2008/010750 WO2009035705A1 (en) 2007-09-14 2008-09-15 Processing of gesture-based user interactions

Publications (2)

Publication Number Publication Date
KR20100074180A KR20100074180A (ko) 2010-07-01
KR101141087B1 true KR101141087B1 (ko) 2012-07-12

Family

ID=40452370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107007945A KR101141087B1 (ko) 2007-09-14 2008-09-15 제스처-기반 사용자 상호작용의 프로세싱

Country Status (8)

Country Link
US (5) US8230367B2 (ko)
EP (1) EP2188737A4 (ko)
JP (1) JP5430572B2 (ko)
KR (1) KR101141087B1 (ko)
CN (1) CN101952818B (ko)
AU (1) AU2008299883B2 (ko)
CA (1) CA2699628A1 (ko)
WO (1) WO2009035705A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307732B1 (ko) * 2012-05-23 2013-09-11 동신대학교산학협력단 ３ｄ입체 리듬 액션 게임 방법
CN103999025A (zh) * 2011-10-07 2014-08-20 高通股份有限公司 基于视觉的交互式投影系统
US10990189B2 (en) 2007-09-14 2021-04-27 Facebook, Inc. Processing of gesture-based user interaction using volumetric zones
US11061533B2 (en) 2015-08-18 2021-07-13 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof

Families Citing this family (442)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
US8943434B2 (en) 2010-10-01 2015-01-27 Z124 Method and apparatus for showing stored window display
US20050088407A1 (en) 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8625845B2 (en) * 2005-08-06 2014-01-07 Quantum Signal, Llc Overlaying virtual content onto video stream of people within venue based on analysis of the people within the video stream
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
WO2009029764A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
EP2333652B1 (en) * 2008-09-29 2016-11-02 Panasonic Intellectual Property Corporation of America Method and apparatus for improving privacy of users of a display device for several users wherein each user has a private space allocated to him
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP4848001B2 (ja) * 2008-12-18 2011-12-28 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
KR101022202B1 (ko) * 2009-02-13 2011-03-16 (주)유비스페이스 디스플레이영상다중제어시스템, 제어방법 및 그 제어 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
WO2010144050A1 (en) * 2009-06-08 2010-12-16 Agency For Science, Technology And Research Method and system for gesture based manipulation of a 3-dimensional image of object
US20100309197A1 (en) * 2009-06-08 2010-12-09 Nvidia Corporation Interaction of stereoscopic objects with physical objects in viewing area
US20100315413A1 (en) 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
WO2011011009A1 (en) * 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
GB0920754D0 (en) * 2009-11-27 2010-01-13 Compurants Ltd Inamo big book 1
US8400398B2 (en) * 2009-08-27 2013-03-19 Schlumberger Technology Corporation Visualization controls
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
DE102009055623B4 (de) * 2009-11-25 2016-01-28 Technische Universität Braunschweig Verfahren und Einrichtung zur optischen Aktivitätenerkennung
EP2507692A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Imaging methods and systems for position detection
KR101634388B1 (ko) * 2009-12-07 2016-06-28 엘지전자 주식회사 이동 통신 단말기에서 방송 데이터를 표시하는 방법 및 이를 적용한 이동 통신 단말기
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
US10356465B2 (en) * 2010-01-06 2019-07-16 Sony Corporation Video system demonstration
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
WO2011096976A1 (en) * 2010-02-05 2011-08-11 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US20110202327A1 (en) * 2010-02-18 2011-08-18 Jiun-Der Yu Finite Difference Particulate Fluid Flow Algorithm Based on the Level Set Projection Framework
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
NL2004273C2 (en) * 2010-02-22 2010-12-28 Valeri Mischenko Embedding humans and objects in virtual reality environments.
TW201130285A (en) * 2010-02-26 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling 3D images
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US9535493B2 (en) * 2010-04-13 2017-01-03 Nokia Technologies Oy Apparatus, method, computer program and user interface
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
GB2481366B (en) * 2010-06-03 2014-05-28 Sony Comp Entertainment Europe Entertainment device and entertainment methods
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
AT510176B1 (de) * 2010-07-07 2012-02-15 Roman Eugenio Mag Anderl Verfahren zur steuerung einer interaktiven anzeige
CN101893935B (zh) * 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN101923468A (zh) * 2010-08-13 2010-12-22 中兴通讯股份有限公司 一种重绘微件的方法及装置
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US9141189B2 (en) * 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101298024B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101298023B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
JP5597087B2 (ja) * 2010-10-04 2014-10-01 パナソニック株式会社 仮想物体操作装置
JP4917664B1 (ja) * 2010-10-27 2012-04-18 株式会社コナミデジタルエンタテインメント 画像表示装置、ゲームプログラム、ゲーム制御方法
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9283429B2 (en) 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US9852271B2 (en) * 2010-12-13 2017-12-26 Nike, Inc. Processing data of a user performing an athletic activity to estimate energy expenditure
US9977874B2 (en) 2011-11-07 2018-05-22 Nike, Inc. User interface for remote joint workout session
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US20220262486A1 (en) * 2010-11-05 2022-08-18 Nike, Inc. User interface for remote joint workout session
KR101549761B1 (ko) 2010-11-05 2015-09-02 나이키 이노베이트 씨.브이. 자동화된 개인 훈련 방법 및 시스템
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US9135503B2 (en) 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
KR20120054741A (ko) * 2010-11-22 2012-05-31 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN102478957A (zh) * 2010-11-26 2012-05-30 财团法人资讯工业策进会 三维动态操控方法及装置
US20120139827A1 (en) * 2010-12-02 2012-06-07 Li Kevin A Method and apparatus for interacting with projected displays using shadows
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US10420982B2 (en) 2010-12-13 2019-09-24 Nike, Inc. Fitness training system with energy expenditure calculation that uses a form factor
US8920241B2 (en) * 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
RU2584459C2 (ru) * 2010-12-17 2016-05-20 Конинклейке Филипс Электроникс Н.В. Жестовое управление для отслеживания показателей жизнедеятельности
US9123316B2 (en) * 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9582144B2 (en) * 2011-01-20 2017-02-28 Blackberry Limited Three-dimensional, multi-depth presentation of icons associated with a user interface
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US20140085185A1 (en) * 2011-03-24 2014-03-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
US8654219B2 (en) * 2011-04-26 2014-02-18 Lg Electronics Inc. Method and apparatus for restoring dead pixel using light intensity map in a time-of-flight camera
WO2012147959A1 (ja) * 2011-04-27 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法及び記録媒体
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8811719B2 (en) 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8718334B2 (en) * 2011-05-05 2014-05-06 Honeywell International Inc. System for biometric hand analysis
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
DE102011075877A1 (de) * 2011-05-16 2012-11-22 Siemens Aktiengesellschaft Auswertungsverfahren für eine Folge von zeitlich aufeinander folgenden Tiefenbildern
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US20120304067A1 (en) * 2011-05-25 2012-11-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling user interface using sound recognition
CN102799344B (zh) * 2011-05-27 2014-11-19 株式会社理光 虚拟触摸屏系统以及方法
JP5670255B2 (ja) * 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US9266019B2 (en) 2011-07-01 2016-02-23 Empire Technology Development Llc Safety scheme for gesture-based game
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
CN109271029B (zh) 2011-08-04 2022-08-26 视力移动技术有限公司 无触摸手势识别系统、无触摸手势识别方法和介质
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
JP5823042B2 (ja) 2011-08-31 2015-11-25 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャ方式のゲームシステムの位置設定
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
US20130107022A1 (en) * 2011-10-26 2013-05-02 Sony Corporation 3d user interface for audio video display device such as tv
US9811639B2 (en) 2011-11-07 2017-11-07 Nike, Inc. User interface and fitness meters for remote joint workout session
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9395820B2 (en) * 2011-12-02 2016-07-19 Intel Corporation Techniques for notebook hinge sensors
WO2013081223A1 (en) 2011-12-02 2013-06-06 Empire Technology Development Llc Safety scheme for gesture-based game system
AU2011265428B2 (en) * 2011-12-21 2014-08-14 Canon Kabushiki Kaisha Method, apparatus and system for selecting a user interface object
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9349131B2 (en) * 2012-02-02 2016-05-24 Kodak Alaris Inc. Interactive digital advertising system
US8723796B2 (en) * 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US8790179B2 (en) 2012-02-24 2014-07-29 Empire Technology Development Llc Safety scheme for gesture-based game system
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US20130257692A1 (en) * 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US8509986B1 (en) * 2012-04-27 2013-08-13 Innova Electronics, Inc. Automotive diagnostic tool with projection display and virtual input
US8994650B2 (en) 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
WO2013175847A1 (ja) * 2012-05-22 2013-11-28 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN102722243A (zh) * 2012-05-23 2012-10-10 苏州佳世达电通有限公司 三维空间操作与显示的方法
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム
CN104508669B (zh) 2012-06-04 2019-10-01 耐克创新有限合伙公司 一种综合健身-竞技分数的系统和方法
WO2013183938A1 (ko) * 2012-06-08 2013-12-12 주식회사 케이엠티글로벌 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
US20150169156A1 (en) * 2012-06-15 2015-06-18 Realitygate (Pty) Ltd. Method and Mechanism for Human Computer Interaction
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
JP6360050B2 (ja) 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9208580B2 (en) 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
DE102013109862A1 (de) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Vorrichtung und Verfahren für Benutzeranbindung sowie Endgerät, das dieselben benutzt
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
FR2995704B1 (fr) * 2012-09-19 2015-12-25 Inst Nat De Sciences Appliquees Methode de selection de mode d'interactivite
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9678713B2 (en) 2012-10-09 2017-06-13 At&T Intellectual Property I, L.P. Method and apparatus for processing commands directed to a media center
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
JP5856045B2 (ja) * 2012-12-26 2016-02-09 三井ホーム株式会社 住宅設備制御装置
CN103902192A (zh) * 2012-12-28 2014-07-02 腾讯科技（北京）有限公司 人机交互操作的触发控制方法和装置
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9182812B2 (en) 2013-01-08 2015-11-10 Ayotle Virtual sensor systems and methods
WO2014108728A2 (en) * 2013-01-08 2014-07-17 Ayotle Sas Methods and systems for controlling a virtual interactive surface and interactive display systems
CN103970646B (zh) 2013-01-29 2016-12-28 国际商业机器公司 一种用于操作序列的自动分析方法及其系统
CN104981757B (zh) * 2013-02-14 2017-08-22 苹果公司 灵活的房间控制器
US20140250413A1 (en) * 2013-03-03 2014-09-04 Microsoft Corporation Enhanced presentation environments
CN103152626A (zh) * 2013-03-08 2013-06-12 苏州百纳思光学科技有限公司 一种智能电视的远红外三维手势探测装置
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
WO2014160290A1 (en) * 2013-03-14 2014-10-02 MindsightMedia, Inc. Method, apparatus and article for providing supplemental media content into a narrative presentation
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CN103218042A (zh) * 2013-03-27 2013-07-24 苏州百纳思光学科技有限公司 一种用于便携电子设备的远红外手势识别装置
TWI524213B (zh) * 2013-04-02 2016-03-01 宏達國際電子股份有限公司 控制方法及電子裝置
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
JP2014238812A (ja) * 2013-05-10 2014-12-18 株式会社リコー 情報処理装置、動作特定方法及び動作特定プログラム
CN109584868B (zh) * 2013-05-20 2022-12-13 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
CN103399318B (zh) * 2013-07-25 2015-09-30 瑞声科技（南京）有限公司 指尖定位系统和方法
EP2829949B1 (en) * 2013-07-26 2019-11-06 BlackBerry Limited System and method for manipulating an object in a three-dimensional desktop environment
US9280259B2 (en) 2013-07-26 2016-03-08 Blackberry Limited System and method for manipulating an object in a three-dimensional desktop environment
JP2015035151A (ja) * 2013-08-09 2015-02-19 船井電機株式会社 表示装置
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
JP6524589B2 (ja) * 2013-08-30 2019-06-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9766855B2 (en) * 2013-09-10 2017-09-19 Avigilon Corporation Method and apparatus for controlling surveillance system with gesture and/or audio commands
US9390598B2 (en) 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
KR20150031629A (ko) 2013-09-16 2015-03-25 삼성전자주식회사 터치 입력이 가능한 디스플레이 장치 및 그 터치 입력 방법
CN103472923B (zh) * 2013-09-23 2016-04-06 济南大学 一种三维虚拟手势选择场景物体的方法
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9280283B2 (en) 2013-10-28 2016-03-08 Blackberry Limited Contactless gesture recognition with sensor having asymmetric field of view
US20150123901A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
JP6127958B2 (ja) * 2013-12-19 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9622322B2 (en) * 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
US9875019B2 (en) * 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
CN103713779A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 一种非接触式触控装置及其实现方法
DE102014200024A1 (de) * 2014-01-06 2015-07-09 Volkswagen Aktiengesellschaft Anzeigebedieneinheit und Verfahren zum Anzeigen zusätzlicher Hinweise auf eine Anzeigeeinheit
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9383894B2 (en) 2014-01-08 2016-07-05 Microsoft Technology Licensing, Llc Visual feedback for level of gesture completion
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
GB2524473A (en) * 2014-02-28 2015-09-30 Microsoft Technology Licensing Llc Controlling a computing-based device using gestures
WO2015142023A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
WO2015142019A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
PL2921936T3 (pl) * 2014-03-22 2019-09-30 Monster & Devices Home sp. z o.o. Metoda i aparatura do sterowania urządzeniem za pomocą gestów
DE102014107211A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät
CN105094306A (zh) * 2014-05-23 2015-11-25 陈正涛 基于激光扫描测距仪的互动橱窗及其实现方法
CN105659191B (zh) * 2014-06-17 2019-01-15 杭州凌感科技有限公司 用于提供图形用户界面的系统和方法
CN104408395A (zh) * 2014-06-26 2015-03-11 青岛海信电器股份有限公司 一种手势识别方法和系统
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
CA2993876C (en) 2014-08-15 2023-03-07 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
CN104199547B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟触屏操作装置、系统及方法
JP2016053769A (ja) * 2014-09-02 2016-04-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107407959B (zh) * 2014-09-30 2021-04-30 惠普发展公司，有限责任合伙企业 基于姿势的三维图像的操纵
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
BE1022580A9 (fr) * 2014-10-22 2016-10-06 Parallaxter Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive
CN106999788A (zh) 2014-11-30 2017-08-01 杜比实验室特许公司 社交媒体链接的大幅面剧院设计
US9551161B2 (en) * 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
EP3040842B1 (de) * 2015-01-02 2019-08-07 Volkswagen AG Anwenderschnittstelle und Verfahren zur hybriden Nutzung einer Anzeigeeinheit eines Fortbewegungsmittels
PL411336A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z urządzeniami stacjonarnymi za pomocą gestów oraz system do interakcji z urządzeniami stacjonarnymi za pomocą gestów
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
US20160266648A1 (en) * 2015-03-09 2016-09-15 Fuji Xerox Co., Ltd. Systems and methods for interacting with large displays using shadows
CN104777907B (zh) * 2015-04-17 2018-05-25 中国科学院计算技术研究所 一种用于群体人机交互的系统
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9720446B2 (en) * 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
WO2016185634A1 (ja) * 2015-05-21 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10896447B1 (en) * 2015-06-19 2021-01-19 Google Llc Methods and systems for reducing inadvertent interactions with advertisements displayed on a computing device
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10484824B1 (en) * 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
WO2017024142A1 (en) 2015-08-04 2017-02-09 Google Inc. Input via context sensitive collisions of hands with objects in virtual reality
US10057078B2 (en) * 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
KR20170034727A (ko) * 2015-09-21 2017-03-29 삼성전자주식회사 그림자 정보 저장 방법 및 장치, 3d 렌더링 방법 및 장치
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
US9691153B1 (en) * 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
JP6536350B2 (ja) * 2015-10-26 2019-07-03 船井電機株式会社 入力装置
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
WO2017120271A1 (en) * 2016-01-04 2017-07-13 Meta Company Apparatuses, methods and systems for application of forces within a 3d virtual environment
US10043305B2 (en) 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
WO2017142977A1 (en) * 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
CN105787971B (zh) * 2016-03-23 2019-12-24 联想(北京)有限公司 一种信息处理方法和电子设备
US10298907B2 (en) 2016-04-20 2019-05-21 Fuji Xerox Co., Ltd. Method and system for rendering documents with depth camera for telepresence
CN114971930A (zh) 2016-05-10 2022-08-30 T·德兰 流时间线社交网络
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互
US9847079B2 (en) 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
DE102016209671B4 (de) 2016-06-02 2022-01-05 Adidas Ag Vorrichtung zum Designen eines Musters für einen tragbaren Gegenstand
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
JP6377674B2 (ja) * 2016-06-08 2018-08-22 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10238976B2 (en) * 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
CN107633630B (zh) * 2016-07-19 2019-12-27 合盈光电科技股份有限公司 互动与安全警示系统
AU2017101277A4 (en) * 2016-09-16 2017-10-26 Christopher Ghaleb A floorplan visualisation system
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN107979748A (zh) * 2016-10-21 2018-05-01 中强光电股份有限公司 投影机、投影系统以及影像投影方法
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US20180158244A1 (en) * 2016-12-02 2018-06-07 Ayotle Virtual sensor configuration
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10554881B2 (en) 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10152636B2 (en) 2017-01-12 2018-12-11 International Business Machines Corporation Setting a personal status using augmented reality
JP6819333B2 (ja) * 2017-02-07 2021-01-27 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10628675B2 (en) * 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
KR102471422B1 (ko) 2017-02-17 2022-11-30 엔제트 테크놀러지스 인크. 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
US10254846B1 (en) 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
CN106951080A (zh) * 2017-03-16 2017-07-14 联想(北京)有限公司 用于控制虚拟物体的交互方法和装置
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
WO2019006760A1 (zh) * 2017-07-07 2019-01-10 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
AT520234B1 (de) * 2017-07-27 2019-05-15 Ulrich Emanuel Andel Mag Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
WO2019032967A1 (en) 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
JP7005224B2 (ja) * 2017-08-22 2022-01-21 キヤノン株式会社 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
EP3447610B1 (en) * 2017-08-22 2021-03-31 ameria AG User readiness for touchless gesture-controlled display systems
WO2019036895A1 (en) * 2017-08-22 2019-02-28 Tencent Technology (Shenzhen) Company Limited GENERATING USER EXPERIENCE IN THREE DIMENSIONS BASED ON TWO-DIMENSIONAL MEDIA CONTENT
US10515484B1 (en) 2017-10-20 2019-12-24 Meta View, Inc. Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
US10996763B2 (en) * 2017-11-08 2021-05-04 Jpmorgan Chase Bank, N.A. System for and method of managing gestures in virtual reality
CN109816723A (zh) * 2017-11-21 2019-05-28 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互系统及存储介质
US11188944B2 (en) * 2017-12-04 2021-11-30 At&T Intellectual Property I, L.P. Apparatus and methods for adaptive signage
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
WO2020006478A1 (en) 2018-06-29 2020-01-02 Alfa Enzo Inc. Multi-blockchain proof-of-activity platform
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US10402081B1 (en) * 2018-08-28 2019-09-03 Fmr Llc Thumb scroll user interface element for augmented reality or virtual reality environments
US11157169B2 (en) 2018-10-08 2021-10-26 Google Llc Operating modes that designate an interface modality for interacting with an automated assistant
WO2020076288A1 (en) 2018-10-08 2020-04-16 Google Llc Operating modes that designate an interface modality for interacting with an automated assistant
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11861944B1 (en) * 2019-09-25 2024-01-02 Amazon Technologies, Inc. System for synchronizing video output based on detected behavior
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
US20230099167A1 (en) * 2020-03-13 2023-03-30 Interdigital Ce Patent Holdings Display user interface method and system
KR20210125631A (ko) * 2020-04-08 2021-10-19 현대자동차주식회사 단말기, 단말기와 통신하는 퍼스널 모빌리티 및 그의 제어 방법
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
US20220072381A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for training users to perform activities
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing
CN113068051B (zh) * 2021-03-08 2023-02-17 北京达佳互联信息技术有限公司 直播互动方法及装置
US11792243B2 (en) 2022-01-19 2023-10-17 Bank Of America Corporation System and method for conducting multi-session user interactions
US11951357B1 (en) * 2022-11-30 2024-04-09 Roku, Inc. Platform for visual tracking of user fitness

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system

Family Cites Families (330)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2917980A (en) 1955-12-30 1959-12-22 Mergenthaler Linotype Gmbh Lenslet assembly for photocomposing machines
US3068754A (en) 1958-07-30 1962-12-18 Corning Giass Works Prismatic light transmitting panel
US3763468A (en) 1971-10-01 1973-10-02 Energy Conversion Devices Inc Light emitting display array with non-volatile memory
JPS5430572B2 (ko) 1974-08-30 1979-10-02
JPS5189419A (ko) 1975-02-03 1976-08-05
US4275395A (en) * 1977-10-31 1981-06-23 International Business Machines Corporation Interactive projection display system
JPS5794672A (en) 1980-12-05 1982-06-12 Hitachi Ltd Method for inspecting whether parts are present or not
DE3176016D1 (en) 1980-12-30 1987-04-23 Ibm System for remotely displaying and sensing information using shadow parallax
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
GB8421783D0 (en) * 1984-08-29 1984-10-03 Atomic Energy Authority Uk Stereo camera
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4791572A (en) 1985-11-20 1988-12-13 Mets, Inc. Method for accurately displaying positional information on a map
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4769697A (en) 1986-12-17 1988-09-06 R. D. Percy & Company Passive television audience measuring systems
US5900982A (en) 1987-12-31 1999-05-04 Projectavision, Inc. High efficiency light valve projection system
US4887898A (en) 1988-04-13 1989-12-19 Rowe Furniture Corporation Fabric projection system
US4948371A (en) 1989-04-25 1990-08-14 The United States Of America As Represented By The United States Department Of Energy System for training and evaluation of security personnel in use of firearms
CA2030139C (en) * 1989-11-20 2002-04-23 David M. Durlach 3-d amusement and display device
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
US5138304A (en) 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
US6732929B2 (en) * 1990-09-10 2004-05-11 Metrologic Instruments, Inc. Led-based planar light illumination beam generation module employing a focal lens for reducing the image size of the light emmiting surface of the led prior to beam collimation and planarization
US5239373A (en) 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
US5151718A (en) 1990-12-31 1992-09-29 Texas Instruments Incorporated System and method for solid state illumination for dmd devices
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5325473A (en) * 1991-10-11 1994-06-28 The Walt Disney Company Apparatus and method for projection upon a three-dimensional object
US5861881A (en) * 1991-11-25 1999-01-19 Actv, Inc. Interactive computer system for providing an interactive presentation with personalized video, audio and graphics responses for multiple viewers
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
EP0553700B1 (de) * 1992-01-29 1997-06-04 Deutsche Thomson-Brandt GmbH Videokamera, wahlweise als Projektor betreibbar
JP2973750B2 (ja) 1992-03-31 1999-11-08 松下電器産業株式会社 照明光学装置とそれを用いた投写型表示装置
US5497269A (en) * 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5442252A (en) 1992-11-16 1995-08-15 General Electric Company Lenticulated lens with improved light distribution
US5319496A (en) * 1992-11-18 1994-06-07 Photonics Research Incorporated Optical beam delivery system
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5526182A (en) * 1993-02-17 1996-06-11 Vixel Corporation Multiple beam optical memory system
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5473396A (en) 1993-09-08 1995-12-05 Matsushita Electric Industrial Co., Ltd. Display apparatus and method of making the same
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US5510828A (en) * 1994-03-01 1996-04-23 Lutterbach; R. Steven Interactive video display system
US5426474A (en) * 1994-03-22 1995-06-20 Innersense, Inc. Light projection system using randomized fiber optic bundle
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5808784A (en) 1994-09-06 1998-09-15 Dai Nippon Printing Co., Ltd. Lens array sheet surface light source, and transmission type display device
US5682468A (en) * 1995-01-23 1997-10-28 Intergraph Corporation OLE for design and modeling
US5548694A (en) 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5633691A (en) * 1995-06-07 1997-05-27 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
US5882204A (en) * 1995-07-13 1999-03-16 Dennis J. Lannazzo Football interactive simulation trainer
US5591972A (en) * 1995-08-03 1997-01-07 Illumination Technologies, Inc. Apparatus for reading optical information
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US5574511A (en) 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5662401A (en) 1995-12-13 1997-09-02 Philips Electronics North America Corporation Integrating lens array and image forming method for improved optical efficiency
US6278418B1 (en) 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US5828485A (en) 1996-02-07 1998-10-27 Light & Sound Design Ltd. Programmable light beam shape altering device using programmable micromirrors
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6337699B1 (en) * 1996-06-27 2002-01-08 Sun Microsystems, Inc. Visualizing degrees of information object attributes
EP0860186B1 (en) 1996-09-11 2004-12-08 Sega Corporation Ski simulator
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5923475A (en) 1996-11-27 1999-07-13 Eastman Kodak Company Laser printer using a fly's eye integrator
US5969754A (en) 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator
JP3298437B2 (ja) 1996-12-18 2002-07-02 セイコーエプソン株式会社 光学素子、偏光照明装置および投写型表示装置
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
JP3819096B2 (ja) * 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
DE19708240C2 (de) 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US6097390A (en) * 1997-04-04 2000-08-01 International Business Machines Corporation Progress-indicating mouse pointer
US6058397A (en) * 1997-04-08 2000-05-02 Mitsubishi Electric Information Technology Center America, Inc. 3D virtual environment creation management and delivery system
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
JP3145059B2 (ja) 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
DE19727281C1 (de) 1997-06-27 1998-10-22 Deutsch Zentr Luft & Raumfahrt Verfahren und Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JPH1157216A (ja) * 1997-08-15 1999-03-02 Sony Corp ゲーム装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6611241B1 (en) 1997-12-02 2003-08-26 Sarnoff Corporation Modular display system
JPH11175750A (ja) 1997-12-05 1999-07-02 Namco Ltd 画像生成装置及び情報記憶媒体
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6388657B1 (en) * 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
DE69915721D1 (de) * 1998-01-28 2004-04-29 Konishiroku Photo Ind Bildverarbeitungsvorrichtung
US6349301B1 (en) * 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6464375B2 (en) 1998-03-12 2002-10-15 Matsushita Electric Industrial Co., Ltd. Lens element and illumination optical apparatus and projection display apparatus
US6266053B1 (en) * 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US5966696A (en) 1998-04-14 1999-10-12 Infovation System for tracking consumer exposure and for exposing consumers to different advertisements
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6227669B1 (en) 1998-05-26 2001-05-08 Industrial Technology Research Institute Illumination device and image projection apparatus comprising the device
JP4032404B2 (ja) * 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2000105583A (ja) 1998-07-27 2000-04-11 Ricoh Co Ltd インタラクティブ表示装置
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6263339B1 (en) 1998-08-25 2001-07-17 Informix Software, Inc. Dynamic object visualization and code generation
US6228538B1 (en) * 1998-08-28 2001-05-08 Micron Technology, Inc. Mask forming methods and field emission display emitter mask forming methods
US6122014A (en) 1998-09-17 2000-09-19 Motorola, Inc. Modified chroma keyed technique for simple shape coding for digital video
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6106119A (en) 1998-10-16 2000-08-22 The Board Of Trustees Of The Leland Stanford Junior University Method for presenting high level interpretations of eye tracking data correlated to saved display images
US6351222B1 (en) 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
GB9902235D0 (en) * 1999-02-01 1999-03-24 Emuse Corp Interactive system
KR100608119B1 (ko) * 1999-02-18 2006-08-02 후지쯔 가부시끼가이샤 광 이용 효율이 개선된 조명장치
JP3622556B2 (ja) 1999-02-23 2005-02-23 セイコーエプソン株式会社 照明光学系および投写型表示装置
US6333735B1 (en) 1999-03-16 2001-12-25 International Business Machines Corporation Method and apparatus for mouse positioning device based on infrared light sources and detectors
JP3644295B2 (ja) * 1999-03-17 2005-04-27 セイコーエプソン株式会社 投写型表示装置
US6292171B1 (en) 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
WO2001015086A1 (fr) 1999-08-19 2001-03-01 Sony Corporation Processeur d'images, procede de traitement d'images et support enregistre
JP4691754B2 (ja) * 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
JP3905670B2 (ja) 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
US6346933B1 (en) 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US6407870B1 (en) * 1999-10-28 2002-06-18 Ihar Hurevich Optical beam shaper and method for spatial redistribution of inhomogeneous beam
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
GB2356509B (en) * 1999-11-16 2004-02-11 Sony Uk Ltd Video data formatting and storage
US6826727B1 (en) 1999-11-24 2004-11-30 Bitstream Inc. Apparatus, methods, programming for automatically laying out documents
US20030065563A1 (en) 1999-12-01 2003-04-03 Efunds Corporation Method and apparatus for atm-based cross-selling of products and services
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
GB2356996A (en) 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
EP1247223A4 (en) 1999-12-17 2006-01-18 Promo Vu INTERACTIVE INFORMATION COMMUNICATION SYSTEM WITH PROMOTIONAL CHARACTER
US6666567B1 (en) 1999-12-28 2003-12-23 Honeywell International Inc. Methods and apparatus for a light source with a raised LED structure
US20050195598A1 (en) 2003-02-07 2005-09-08 Dancs Imre J. Projecting light and images from a device
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
JP4549468B2 (ja) 1999-12-28 2010-09-22 株式会社トプコン レンズメータ
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP3312018B2 (ja) 2000-01-14 2002-08-05 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
WO2001056010A1 (en) * 2000-01-26 2001-08-02 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
US20020140633A1 (en) 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
US6491396B2 (en) 2000-02-15 2002-12-10 Seiko Epson Corporation Projector modulating a plurality of partial luminous fluxes according to imaging information by means of an electro-optical device
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US20020062481A1 (en) 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
JP3842515B2 (ja) 2000-03-24 2006-11-08 セイコーエプソン株式会社 多重解像度画像解析による指示位置検出
US20020046100A1 (en) 2000-04-18 2002-04-18 Naoto Kinjo Image display method
JP2002014997A (ja) 2000-04-27 2002-01-18 Ntt Comware Corp 広告情報配信方法及び広告情報配信システム
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US20020032906A1 (en) 2000-06-02 2002-03-14 Grossman Avram S. Interactive marketing and advertising system and method
JP4402262B2 (ja) 2000-06-07 2010-01-20 オリンパス株式会社 プリンタ装置及び電子カメラ
US6752720B1 (en) * 2000-06-15 2004-06-22 Intel Corporation Mobile remote control video gaming system
US6873710B1 (en) 2000-06-27 2005-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4666808B2 (ja) 2000-07-27 2011-04-06 キヤノン株式会社 画像表示システム、画像表示方法、及び記憶媒体、プログラム
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6707444B1 (en) * 2000-08-18 2004-03-16 International Business Machines Corporation Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems
US7103838B1 (en) 2000-08-18 2006-09-05 Firstrain, Inc. Method and apparatus for extracting relevant data
US6654734B1 (en) 2000-08-30 2003-11-25 International Business Machines Corporation System and method for query processing and optimization for XML repositories
WO2002019717A2 (en) 2000-08-31 2002-03-07 Myrio Corporation Real-time audience monitoring, content rating, and content enhancing
JP2002092023A (ja) 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7000200B1 (en) * 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6583781B1 (en) * 2000-10-17 2003-06-24 International Business Machines Corporation Methods, systems and computer program products for controlling events associated with user interface elements by capturing user intent based on pointer movements
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
JP2002171507A (ja) 2000-11-30 2002-06-14 Yokogawa Electric Corp コンテンツ配信方法およびコンテンツ配信システム
JP3467017B2 (ja) 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US6825861B2 (en) * 2001-01-08 2004-11-30 Apple Computer, Inc. Three state icons for operation
JP2002222424A (ja) * 2001-01-29 2002-08-09 Nec Corp 指紋照合システム
US8085293B2 (en) 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US6621483B2 (en) 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US20020178440A1 (en) 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020140682A1 (en) 2001-03-29 2002-10-03 Brown Frank T. Optical drawing tablet
US6912313B2 (en) 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
EP1689172B1 (en) 2001-06-05 2016-03-09 Microsoft Technology Licensing, LLC Interactive video display system
US20020186200A1 (en) * 2001-06-08 2002-12-12 David Green Method and apparatus for human interface with a computer
JP2003004905A (ja) 2001-06-18 2003-01-08 Toppan Printing Co Ltd 両面レンズシートとそれを用いたリア型プロジェクションスクリーンおよび表示装置
JP2003016804A (ja) * 2001-06-27 2003-01-17 Nichia Chem Ind Ltd Ｌｅｄ表示灯
WO2003009579A2 (en) * 2001-07-17 2003-01-30 Amnis Corporation Computational methods for the segmentation of images of objects from background in a flow imaging instrument
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7068274B2 (en) 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6708176B2 (en) 2001-10-19 2004-03-16 Bank Of America Corporation System and method for interactive advertising
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
KR100909715B1 (ko) * 2001-12-03 2009-07-29 도판 인사츠 가부시키가이샤 렌즈 어레이 시트 및 투과형 스크린 및 배면투사형 디스플레이
TWI222029B (en) * 2001-12-04 2004-10-11 Desun Technology Co Ltd Two-in-one image display/image capture apparatus and the method thereof and identification system using the same
US7307636B2 (en) 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20030126013A1 (en) 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
KR20030058894A (ko) 2002-01-02 2003-07-07 조영탁 가상 골프 시뮬레이터
KR100450815B1 (ko) 2002-02-01 2004-10-01 삼성전자주식회사 조명계 및 이를 채용한 프로젝션 디스플레이 장치
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
EP1573770B1 (en) * 2002-02-20 2013-06-26 University of Washington Analytical instruments using a pseudorandom array of sources, such as a micro-machined mass spectrometer
JP4027118B2 (ja) 2002-02-25 2007-12-26 富士通株式会社 本人認証方法、プログラム及び装置
JP4165095B2 (ja) 2002-03-15 2008-10-15 オムロン株式会社 情報提供装置および情報提供方法
US6607275B1 (en) 2002-03-20 2003-08-19 The Neiman Marcus Group, Inc. Merchandise display case and system
US6707054B2 (en) * 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6831664B2 (en) 2002-03-22 2004-12-14 Koninklijke Philips Electronics N.V. Low cost interactive program control system and method
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
AU2003245506A1 (en) * 2002-06-13 2003-12-31 Mark Logic Corporation Parent-child query indexing for xml databases
US7574652B2 (en) * 2002-06-20 2009-08-11 Canon Kabushiki Kaisha Methods for interactively defining transforms and for generating queries by manipulating existing query data
IES20030534A2 (en) 2002-07-19 2004-02-11 Intellisign Ltd Method and apparatus for an interactive media display
JP3758622B2 (ja) 2002-08-08 2006-03-22 セイコーエプソン株式会社 光学装置、光学ユニット、および、プロジェクタ
US6996460B1 (en) * 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
US20040091110A1 (en) * 2002-11-08 2004-05-13 Anthony Christian Barkans Copy protected display screen
US6947459B2 (en) 2002-11-25 2005-09-20 Eastman Kodak Company Organic vertical cavity laser and imaging system
AU2003301043A1 (en) * 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
KR20070062612A (ko) 2002-12-26 2007-06-15 산요덴키가부시키가이샤 조명 장치
JP4397394B2 (ja) * 2003-01-24 2010-01-13 ディジタル・オプティクス・インターナショナル・コーポレイション 高密度照明システム
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US6877882B1 (en) * 2003-03-12 2005-04-12 Delta Electronics, Inc. Illumination system for a projection system
US7738725B2 (en) 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) * 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004093013A1 (ja) 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム
WO2004097741A1 (ja) 2003-04-25 2004-11-11 Fujitsu Limited 指紋照合装置、指紋照合方法および指紋照合プログラム
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
FR2856963B1 (fr) 2003-07-03 2006-09-01 Antolin Grupo Ing Sa Siege de vehicule automobile
JP4723799B2 (ja) * 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP2005049795A (ja) 2003-07-31 2005-02-24 Dainippon Printing Co Ltd スクリーン用レンズシート
US20050027587A1 (en) 2003-08-01 2005-02-03 Latona Richard Edward System and method for determining object effectiveness
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US20050039206A1 (en) 2003-08-06 2005-02-17 Opdycke Thomas C. System and method for delivering and optimizing media programming in public spaces
CA2438939C (en) 2003-08-28 2008-11-18 Jack Gin Dual surveillance camera system
US20050086695A1 (en) 2003-10-17 2005-04-21 Robert Keele Digital media presentation system
US20050088407A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7619824B2 (en) 2003-11-18 2009-11-17 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US7268950B2 (en) 2003-11-18 2007-09-11 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US20050104506A1 (en) * 2003-11-18 2005-05-19 Youh Meng-Jey Triode Field Emission Cold Cathode Devices with Random Distribution and Method
US7681114B2 (en) 2003-11-21 2010-03-16 Bridgeborn, Llc Method of authoring, deploying and using interactive, data-driven two or more dimensional content
KR100970253B1 (ko) * 2003-12-19 2010-07-16 삼성전자주식회사 발광소자의 제조 방법
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
WO2005091651A2 (en) 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US20050265587A1 (en) 2004-06-01 2005-12-01 Schneider John K Fingerprint image database and method of matching fingerprint sample to fingerprint images
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
GB2415499A (en) 2004-06-23 2005-12-28 Canon Res Ct Europ Ltd Apparatus and method for object shape detection
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CA2575704C (en) 2004-07-30 2014-03-04 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US7619811B2 (en) 2004-10-07 2009-11-17 The United States of America as represented by the Secretary of the Army Pentagon Zonal lenslet array
US7330584B2 (en) * 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
JP4583893B2 (ja) * 2004-11-19 2010-11-17 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
US7671321B2 (en) 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7818666B2 (en) 2005-01-27 2010-10-19 Symyx Solutions, Inc. Parsing, evaluating leaf, and branch nodes, and navigating the nodes based on the evaluation
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US20060184993A1 (en) * 2005-02-15 2006-08-17 Goldthwaite Flora P Method and system for collecting and using data
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7570249B2 (en) 2005-03-30 2009-08-04 Microsoft Corporation Responding to change of state of control on device disposed on an interactive display surface
US20060258397A1 (en) 2005-05-10 2006-11-16 Kaplan Mark M Integrated mobile application server and communication gateway
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7431253B2 (en) 2005-06-03 2008-10-07 Kye Systems Corp. Support device for computer peripheral equipment
WO2006134793A1 (ja) 2005-06-14 2006-12-21 Brother Kogyo Kabushiki Kaisha 投影装置
JP2007004488A (ja) 2005-06-23 2007-01-11 Sony Corp 電子広告システム及びその表示制御方法
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US8069267B2 (en) 2005-06-28 2011-11-29 Microsoft Corporation Advertisement refresh rules for network applications
US7680301B2 (en) 2005-06-30 2010-03-16 Sportvision, Inc. Measurements using a single image
US7576766B2 (en) 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
KR100648927B1 (ko) * 2005-07-19 2006-11-27 삼성전자주식회사 마우스 커서 모양을 변경하는 방법 및 인쇄제어장치
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7627890B2 (en) 2006-02-21 2009-12-01 At&T Intellectual Property, I,L.P. Methods, systems, and computer program products for providing content synchronization or control among one or more devices
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
US20070209009A1 (en) 2006-03-02 2007-09-06 Inventec Corporation Display with settings changed according to user's ID and method thereof
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
AU2007264413B2 (en) * 2006-06-29 2012-07-12 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8144271B2 (en) 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US7737636B2 (en) 2006-11-09 2010-06-15 Intematix Corporation LED assembly with an LED and adjacent lens and method of making same
US8904312B2 (en) * 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
EP1933276B1 (de) 2006-12-11 2010-06-30 BrainLAB AG Mehrbandtracking- und Kalibrier-System
US8384753B1 (en) 2006-12-15 2013-02-26 At&T Intellectual Property I, L. P. Managing multiple data sources
JP4662071B2 (ja) 2006-12-27 2011-03-30 富士フイルム株式会社 画像再生方法
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7708419B2 (en) 2007-03-02 2010-05-04 Himax Technologies Limited Ambient light system and method thereof
US7745771B2 (en) 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US7873906B2 (en) * 2007-06-22 2011-01-18 International Business Machines Corporation Method and system for presenting a visual notification and delaying an action responsive to an onscreen selection
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009035705A1 (en) 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
CN101874404B (zh) 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US8621506B2 (en) 2007-10-19 2013-12-31 Abroadcasting Company System and method for approximating characteristics of households for targeted advertisement
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8902506B2 (en) 2010-09-30 2014-12-02 Panasonic Corporation Laser speckle reduction element
EP2772676B1 (de) 2011-05-18 2015-07-08 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990189B2 (en) 2007-09-14 2021-04-27 Facebook, Inc. Processing of gesture-based user interaction using volumetric zones
CN103999025A (zh) * 2011-10-07 2014-08-20 高通股份有限公司 基于视觉的交互式投影系统
CN103999025B (zh) * 2011-10-07 2017-03-01 高通股份有限公司 基于视觉的交互式投影系统
US9626042B2 (en) 2011-10-07 2017-04-18 Qualcomm Incorporated Vision-based interactive projection system
KR101307732B1 (ko) * 2012-05-23 2013-09-11 동신대학교산학협력단 ３ｄ입체 리듬 액션 게임 방법
US11061533B2 (en) 2015-08-18 2021-07-13 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof

Also Published As

Publication number Publication date
JP5430572B2 (ja) 2014-03-05
US20200133399A1 (en) 2020-04-30
US9811166B2 (en) 2017-11-07
EP2188737A4 (en) 2011-05-18
KR20100074180A (ko) 2010-07-01
CN101952818B (zh) 2016-05-25
CN101952818A (zh) 2011-01-19
WO2009035705A1 (en) 2009-03-19
US10990189B2 (en) 2021-04-27
US20120287044A1 (en) 2012-11-15
AU2008299883A1 (en) 2009-03-19
EP2188737A1 (en) 2010-05-26
AU2008299883B2 (en) 2012-03-15
JP2010539590A (ja) 2010-12-16
US10564731B2 (en) 2020-02-18
US20180157334A1 (en) 2018-06-07
US9058058B2 (en) 2015-06-16
US20090077504A1 (en) 2009-03-19
US20150346835A1 (en) 2015-12-03
US8230367B2 (en) 2012-07-24
CA2699628A1 (en) 2009-03-19

Similar Documents

Publication Publication Date Title
US10990189B2 (en) Processing of gesture-based user interaction using volumetric zones
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
US20080252596A1 (en) Display Using a Three-Dimensional vision System
US20100039500A1 (en) Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US9272202B2 (en) Method and apparatus for tracking of a plurality of subjects in a video game
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US9317134B2 (en) Proximity object tracker
Haubner et al. Integrating a Depth Camera in a Tabletop Setup for Gestural Input on and above the Surface
Haubner et al. Gestural input on and above an interactive surface: Integrating a depth camera in a tabletop setup

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 8