KR20000075608A - 카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3차원 내비게이션을 허용하는 시스템 및 방법 - Google Patents

카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3차원 내비게이션을 허용하는 시스템 및 방법 Download PDF

Info

Publication number
KR20000075608A
KR20000075608A KR1019997007669A KR19997007669A KR20000075608A KR 20000075608 A KR20000075608 A KR 20000075608A KR 1019997007669 A KR1019997007669 A KR 1019997007669A KR 19997007669 A KR19997007669 A KR 19997007669A KR 20000075608 A KR20000075608 A KR 20000075608A
Authority
KR
South Korea
Prior art keywords
system user
dimensional
user
virtual reality
reality environment
Prior art date
Application number
KR1019997007669A
Other languages
English (en)
Inventor
라이온스다미안엠.
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20000075608A publication Critical patent/KR20000075608A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

시스템 사용자의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션을 허용하는 시스템 및 방법이 공개된다. 상기 시스템은 컴퓨터 판독 가능 메모리, 시스템 사용자의 제스쳐 및 상기 시스템 사용자를 둘러싸는 대화 영역을 나타내는 비디오 신호를 발생하는 비디오 카메라, 및 비디오 이미지 디스플레이를 구비하고 있다. 상기 비디오 이미지 디스플레이는 상기 시스템 사용자의 앞에 위치되어 있다. 상기 시스템은 또한 시스템 사용자의 몸의 3 차원 위치 및 주요 몸 부분을 결정하기 위해, 상기 컴퓨터 판독 가능 메모리에 저장된 프로그램에 따라 비디오 신호를 처리하는 마이크로프로세서를 구비하고 있다. 상기 마이크로프로세서는 상기 시스템 사용자의 3 차원 이미지 및 상기 시스템 사용자의 몸 및 주요 몸 부분의 3 차원 위치를 기초로 비디오 이미지 디스플레이 상에 시스템 사용자 및 대화 영역의 3 차원 이미지를 구성한다. 상기 비디오 이미지 디스플레이는 가상 현실 환경 냉에 3 차원 그래픽 피사체를 디스플레이하며, 상기 시스템 사용자에 의한 이동은, 상기 시스템 사용자가 가상 현실 환경 전반에 걸쳐 이동하는 것으로 나타날 수 있도록 상기 비디오 이미지 디스플레이 상에 디스플레이된 3 차원 피사체의 외견상의 이동을 허용한다.

Description

카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3 차원 내비게이션을 허용하는 시스템 및 방법{System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs}
멀티미디어 및 가상 현실 응용으로 사용자와 컴퓨터 간의 흥미로운 대화가 가능하다. 불행히도, 현재의 컴퓨터/사용자 인터페이스는 매우 단순한 사용자 대화에 장벽, 따라서 멀티미디어 및 가상 현실 응용의 소비자 수용성을 제공한다. 이상적으로, 컴퓨터/사용자 인터페이스는 직관적인 대화 표맷을 광범위한 대화 능력과 조합하게 된다. 하지만, 실제적으로 이들 두 특징은 충돌한다. 예컨대, 컴퓨터 키보드는 폭넓은 대화 기능을 제공하지만, 직관적이지 않은 반면에, 텔레비젼 원격 제어는 보다 직관적이지만, 제한된 대화 기능을 제공한다. 한쌍의 기계 본체와 같은 훨씬 더 융통성 있는 인터페이스 불편하고 고가이다.
가상 현실 응용에서는, 가상 현실 환경을 디스플레이하고 가상 현실 환경과 대화하는 2 개의 메인 컴퓨터/사용자 인터페이스 접근법은 이머시브(immersive) 접근법과 비이머시브 접근법을 포함하고 있다. 이머시브 접근법에서는, 사용자가 헤드에 부탁된 트래킹 장치와 하나 이상의 림 뿐만 아니라 헤드 장착 디스플레이를 착용한다. 컴퓨터는 사용자의 운에 합성 비쥬얼 이미지를 디스플레이함으로써 헤드 장착 디스플레이상에 가상 현실 환경을 디스플레이하고, 헤드 트래킹 장치로부터 수신된 정보를 기초로 상기 이미지를 변화시킨다. 림 트래킹 장치로 가상 현실 환경과의 사용자 대화가 가능하다. 상기 이머시브 접근법은 가상 현실 환경 내에 있는 인상을 사용자에게 주는 이점을 제공한다. 불행히도, 이머시브 접근법은 실제 환경으로부터 사용자를 격리시켜서 현실 환경에서 신체 상태를 알지 못하게 되고 안전이 위협되게 되는 단점을 제공한다.
비이머시브 접근법에서는, 상기 컴퓨터는 컴퓨터 모니터나 텔레비젼 스크린과 같은 정지 디스플레이 상에 가상 환경의 가상 이미지를 디스플레이한다. 사용자는 컴퓨터 키보드, 마우스, 조이스틱 또는 기타 다른 유사한 장치를 사용자와의 인터페이스로 사용하는 가상 이미지의 원경을 변화시킨다. 상기 비이머시브 접근법은 현실 환경으로부터 사용자를 격리시키지 않고 사용자가 가상 현실 환경과 대화할 수 있도록 해 주는 이점이 있다. 하지만, 상기 비이머시브 접근법은 상기 가상 현실에 있다는 인상을 사용자에게 주질 못한다.
컴퓨터/사용자 인터페이스 설계에의 다수의 접근법이 이머시브 접근법과 비이머시브 접근법 사이에 절충을 하기 위해 제시되어 있다. 한가지 접근법은 시스템 사용자에게 디스플레이되는 이미지를 제어하기 위해 시스템 사용자의 제스텨를 측정하기 위해 비디오 카메라를 비-칩입 방식으로 사용한다. 도 1에 도시된 바와 같이, 이와 같은 인터페이스 시스템(10)은 사용자(14)가 서있는 블루 벽(12)을 구비하고 있으며, 이에 따라 사용자(14)의 2 차원 실루엣 추출이 허용되고 상기 실루엣의 크로마키잉이 된다. 시스템(10)은 또한 2 차원 사용자 실루엣을 식별하여 비디오 신호를 생성하는 비디오 카메라(16)를 포함하고 있다. 컴퓨터의 마이크로프로세서(18)는 비디오 카메라(16)에 의해 보여지는 2 차원 사용자 실루엣을 단지 2 차원 형상으로 식별한다. 따라서, 사용자(14)의 움직임은 상기 실루엣의 이미지 좌표를 변화시킴으로써 마이크로프로세서(18)에 의해서만 이해된다. 마이크로프로세서(18)는 텔레비젼 디스플레이(20) 상에 사용자(14)의 이미지를 디스플레이한다. 텔레비젼(20)상에 디스플레이된 이미지는 사용자의 이미지가 크로마키잉된 2 차원 장면으로 구성되어 있다. 사용자(14)는 특정 포즈, 예컨대 핸드 오버 헤드를 채용함으로써, 또는 사용자의 실루엣의 일부분이 사용자(14)가 디스플레이된 객체를 터치한 것처럼 나타나게 하는 소정의 세트의 이미지 좌표를 터치하도록 이동함으로써 디스플레이된 장면과 대화할 수 있다.
도 1에 도시된 인터페이스 시스템은 멀티미디어와 가상 현실 응용과의 사용이 쉽고 저렴한 인터페이스를 제공한다. 하지만, 인터페이스 시스템은 컴퓨터 디스플레이 객체와의 2 차원 대화만을 허용하며, 이에 따라 2 차원에 대한 인터페이의 기능이 제한된다. 예컨대, 도 1의 2 차원 시스템에서, 모든 컴퓨터 디스플레이 객체는 사용자의 실루엣을 둘러싼 윈도우에 동일한 깊이를 가지고 있다.
도 2에 도시된 바와 같이, 도 1에 도시된 시스템에 의해 이용된 종래의 2 차원 실루엣 추출 프로세스는 하드웨어 프로세스(점선 위에 있음)와 소프트웨어 프로세스(점선 아래에 있음)를 포함하고 있고, 컴퓨터 마이크로프로세서(18)는 소프트웨어 프로세스 스텝을 수행한다. 상기 하드웨어 프로세스는 아날로그 비디오 카메라 신호를 입력하는 스텝(22) 및 그레이 스케일 2 진 데이타 신호를 생성하기 위해 아날로그 카메라 신호를 디지탈화하는 스텝(24)을 포함하고 있다. 상기 하드웨어 프로세스는 또한 비디오 카메라의 해상도를 (고 또는 저로) 조절하는 스텝(26)과 관심있는 이지미, 즉 사용자의 이미지의 윈도우에 카메라 뷰를 제한하는 스텝(28)을 포함하고 있다. 상기 하드웨어 프로세스는 그레이 스케일 2 진 데이타 신호를 디지탈 2 진 데이타, 예컨대 "1" 또는 "0"으로 변환하는 동적 임계 스텝(30)을 다음에 포함하고 있다. 스텝(32)에서, 상기 하드웨어 프로세스는 사용자의 이미지의 에지(실루엣)을 결정하고, 에지 데이타를 기초로, 스텝(26)에서 해상도를 조절하기 위해 화상 크기를 조절한다(스텝(34)).
상기 소프트웨어 프로세스는 스텝(34)의 에지 데이타로부터 배경을 공제하여 사용자의 이미지의 이미지 윤곽만을 남겨 두는 제 1 스텝(36)을 포함하고 있다. 상기 배경은 상기 카메라에 의해 보여지는 빈 장면의 화상이며 스텝(38)에서 제공된다. 상기 소프트웨어는 또한 사용자의 이미지의 모든 에지 데이타를 함께 결합하여, 사용자의 이미지의 주위에 단일의 윤곽을 제공하는 스텝을 포함하고 있다. 상기 소프트웨어 프로세스는 또한 사용자 이미지 윤곽이 사람, 동물 동을 나타내는지를 결정하는 식별 스텝(42), 및 사용자의 실루엣 특성(x,y 좌표로)을 식별하는 실루엣 특성 스텝(44)을 포함하고 있다. 스텝(46)에서, 상기 소프트웨어 프로세스는 사용자의 주위의 바운딩 박스를 계산하기 위해 윤곽 식별 데이타를 이용한다. 상기 바운딩 박스 데이타는 사용자 주위의 카메라 윈도우의 크기를 제한하는 윈도우 제한 스텝(28)에 제공되며, 따라서 추출 프로세스의 속도가 증가한다.
미국 MIT의 미디어 연구소에 의해 제안된 다른 접근법은 시스템 사용자의 카메라 기초 몸체 움직임 및 제스쳐를 이용함으로써 컴퓨터 발생 그래픽 세상과 사용자가 대화할 수 있다. 이와 같은 시스템은 현재 이용 가능한 종류중에서 특히 융통성이 있지만, (1) 표준 그래픽 인터페이스("SGI") 플랫폼을 기초로 하고 있고, (2) 시스템 사용자 주위의 조명 상태에 민감하며, (3) 3 차원으로 사용자의 발 위치를 추적하지만, 사용자의 몸의 나머지 부분을 2 차원 객체로 취급하고, (4) 단일 사용자에 한정되며, (5) 손가락과 같은 사용자 손의 세부적인 것을 관찰하기 위해 해상도의 지나친 코오스를 제공하고, (6) 후술되는 "매직 미러" 대화형 비디오 환경("IVE") 패러다임에만 결합되는 문제점이 있다.
또 다른 접근법은 일본 특허 공보 제 07-038873 호("JP 07-038873")에 공개된 바와 같이 사람의 이미지를 실시간으로 인식하는 방법을 포함하고 있다. JP 07-038873 호에는 표현, 머리의 회전, 손가락의 움직임 및 사람 몸의 회전을 검출하는 사람의 3 차원 그래픽 발생에 대해 설명되어 있다. 또한, JP 07-38873 호에는 주로 원격 회의를 위해 사람의 3 차원 그래픽 애니메이션을 사용하는 것에 중점을 두고 있고, 사용자는 컴퓨터에 의해 발생된 장면 내의 객체를 제어할 수 없다. 최종적으로, 상기 문헌에는 로컬 사용자의 3차원 애니메이션과는 대조적으로, 원격 회의에 원격 사용자의 3 차원 애니메이션을 사용하는 것이 공개되어 있다.
국제 특허 출원(PCT) WO 96/21321("PCT 96/21321)에 기재된 마지막 접근법은 이벤트(예컨대, 축구 게임)의 3 차원 시뮬레이션을 실시간으로 생성하는 것과 카메라 및 마이크로폰을 사용하여 CD ROM 상에 저장하는 것으로 구성되어 있다. 하지만, PCT 96/21321에 공개된 시스템은 카메라에 의해 관측되는 바와 같이 이벤트의 3 차원 장면을 재생만을 한다. 또한, PCT 96/21321 시스템의 사용자는 상기 3 차원 장면의 원경을 변경시킬 수만 있고, 상기 장면의 객체를 제어할 수는 없다.
불행히도, 위에서 설명한 상기 제안된 접근법들은 직관적인 대화형 포맷을 광범위한 대화 기능과 조합할 수 있는 컴퓨터/사용자 인터페이스를 제공한다.
본 발명은 멀티미디어 및 가상 현실 응용에 관한 것으로, 특히, 카메라 기초 제스쳐 입력을 이용한 가상 현실 환경을 통한 3 차원 네비게이션을 수행하는 시스템 및 방법에 관한 것이다.
도 1은 사용자의 카메라 기초 실루엣을 이용하여 2 차원 이미지를 구성하는 종래 시스템의 블록도.
도 2는 사용자의 실루엣의 2 차원 이미지를 추출하는 종래의 소프트웨어 프로세스에 포함된 스텝을 나타낸 흐름도.
도 3은 본 발명의 바람직한 실시예에 따른 사용자의 카메라 기초 제스쳐 입력을 이용하여 3 차원 이미지를 구성하는 시스템의 블록도.
도 4는 본 발명의 다른 바람직한 실시예에 따른 사용자의 카메라 기초 제스텨 입력을 이용하여 3 차원 이미지를 구성하는 시스템의 블록도.
도 5는 도 3 및 도 4에 도시된 본 발명의 바람직한 실시예에 따른 대화 영역 내의 3 차원 위치에 사용자의 2 차원 이미지 특성 및 대화 영역을 맵핑하는 소프트웨어 프로세스에 포함된 스텝을 나타낸 흐름도.
도 6은 도 3에 도시된 3 차원 이미지를 구성하는 시스템을 사용하여 본 발명의 카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3 차원 네비게이션을 수행하는 시스템을 나타낸 블록도.
도 7은 도 6에 도시된 본 발명의 카메라 기초 제스쳐 입력을 사용하여 가상 현실 환경을 통한 3 차원 네비게이션을 수행하는 시스템용의 소프트웨어 프로세스에 포함된 스텝을 나타낸 흐름도.
도 8은 몸 부분의 길이를 몸 높이(H)의 비로 나타낸 생물 측정 데이타 표를 나타내고, 상기 몸 높이(H)는 표준형의 사람의 높이인 도면.
본 발명의 목적은 상기 2 차원 인터페이스 시스템과 MIT의 연구소에서 제안한 다른 접근법 및 위에서 설명한 다른 관련 기술이 가지고 있는 문제점을 해결하는데 있다. 다른 목적은 상기 이머시브 접근법 및 비이머시브 접근법의 이점을 가산 현실 환경의 디스플레이 및 대화에 통합하는 컴퓨터 사용자용의 3 차원 인터페이를 제공하는데 있다.
다른 목적은 피사체가 컴퓨터 사용자의 주위의 가상 현실 환경의 3 차원 공간을 점유하고, 컴퓨터 사용자가 통상의 몸 운동을 통해 상기 가상 현실 환경을 내비게이션하고 상기 가상 현실 환경의 피사체를 제어할 수 있도록 컴퓨터 발생 피사체의 3 차원 디스플레이를 제공하는데 있다.
본 발명의 이점은 일부는 후술되고 일부는 그 설명으로부터 명백해지거나, 본 발명의 실시예에 의해 학습될 수도 있다. 본 발명의 목적 및 이점은 첨부된 청구의 범위에 특별히 기재된 요소 및 조합에 의해 실현될 수 있다.
본 발명에 따라 상기 목적을 달성하기 위해, 여기에서 구체화된 바와 같이, 본 발명은 시스템 사용자의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션을 허용하는 시스템을 구비하고 있으며, 이 시스템은, 컴퓨터 판독 가능 메모리 수단과; 상기 시스템 사용자의 제스쳐 및 상기 시스템 사용자를 둘러싼 대화 영역을 나타내는 비디오 신호를 발생하는 수단과; 상기 시스템 사용자의 앞에 위치된, 비디오 이미지를 디스플레이하는 수단과; 상기 시스템 사용자의 몸의 3차원 위치 및 주요 몸 부분을 결정하기 위해, 컴퓨터 판독 가능 메모리 수단에 저장된 프로그램에 따라 상기 비디오 신호를 처리하는 수단을 구비하고 있고, 상기 비디오 신호 처리 수단은 상기 시스템 사용자의 몸의 3차원 위치 및 주요 몸 부분을 기초로, 상기 시스템 사용자의 3차원 이미지 및 상기 비디오 이미지 디스플레이 수단 상의 대화 영역을 구성하며, 상기 비디오 디스플레이 수단은 가상 현실 환경 내에 3 차원 그래픽 물체를 디스플레이하고, 상기 시스템 사용자에 의한 이동은 상기 시스템 사용자가 가상 현실 환경 전반에서 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에 디스플레이된 2차원 물체의 외견상의 이동을 허용한다.
또한, 상기 목적을 달성하기 위해, 본 발명은 컴퓨터 판독가능 메모리와 이 컴퓨터 판독가능 메모리에 저장된 프로그램을 이용하여 마이크로프로세서에 접속된 비디오 이미지 디스플레이를 가지고 있는 컴퓨터 시스템의 사용자의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션 허용 방법을 포함하고 있고, 이 방법은, 상기 시스템 사용자의 제스쳐 및 상기 시스템 사용자를 둘러싼 대화 영역을 지시하는 비디오 신호를 발생하는 단계와; 상기 시스템 사용자의 몸의 3 차원 위치 및 주요 몸 부분을 결정하기 위해 상기 마이크로프로세서에서 신호를 처리하는 단계와; 상기 시스템 사용자의 몸 및 주요 몸 부분의 3 차원 위치를 기초로 상기 비디오 이미지 디스플레이 상에 상기 시스템 사용자와 대화 영역의 3 차원 이미지를 구성하기 위해 상기 마이크로프로세서를 이용하는 단계와; 상기 가상 현실 환경 내의 3 차원 그래픽 피사체를 상기 비디오 이미지 디스플레이 상에 디스플레이하기 위해 상기 마이크로프로세서를 이용하는 단계로서, 상기 시스템 사용자가 상기 가상 현실 환경 전체를 통해 이동하는 것으로 나타나도록 상기 시스템 사용자에 의한 이동이 상기 비디오 이미지 디스플레이 상에 디스플레이된 3 차원 피사체에 의해 외관상의 이동을 허용하는 단계를 포함하고 있다.
상기 비디오 이미지 디스플레이 상에 디스플레이된 피사체는 비디오 이미지 디스플레이 화면으로부터 피사체가 떨어지도록 되어 있는 거리에 따른 양만큼 서로 상이한 위치에 있고 상기 비디오 이미지 디스플레이 상의 상이한 위치에 있게 된다. 상기 이동은 사용자의 손으로부터 가상 현실 환경의 모델링된 위치에 있는 피사체까지 시야 라인을 따라 상기 스크린의 교차점에서의 시프트에 대응된다. 이 시프트는 머리의 위치의 검출된 변화로부터 각각의 피사체에 대해 계산된다.
상기 목적을 달성하기 위해, 본 발명은 컴퓨터 판독가능 메모리와 이 컴퓨터 판독가능 메모리에 저장된 프로그램을 이용하여 마이크로프로세서에 접속된 비디오 이미지 디스플레이를 가지고 있는 컴퓨터 시스템의 사용자의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션 허용 프로그램을 포함하고 있고, 상기 컴퓨터 판독 가능 메모리 장치는, 상기 시스템 사용자의 몸의 3 차원 위치 및 주요 몸 부분을 결정하기 위해 상기 마이크로프로세서에서 신호를 처리하는 명령과; 상기 시스템 사용자의 몸 및 주요 몸 부분의 3 차원 위치를 기초로 상기 비디오 이미지 디스플레이 상에 상기 시스템 사용자와 대화 영역의 3 차원 이미지를 구성하기 위해 상기 마이크로프로세서를 이용하는 명령과; 상기 가상 현실 환경 내의 3 차원 그래픽 피사체를 상기 비디오 이미지 디스플레이 상에 디스플레이하기 위해 상기 마이크로프로세서를 이용하는 명령으로서, 상기 시스템 사용자가 상기 가상 현실 환경 전체를 통해 이동하는 것으로 나타나도록 상기 시스템 사용자에 의한 이동이 상기 비디오 이미지 디스플레이 상에 디스플레이된 3 차원 피사체에 의해 외관상의 이동을 허용하는 명령을 포함하고 있다.
상기 목적을 달성하기 위해, 본 발명은 컴퓨터 판독가능 메모리와 이 컴퓨터 판독가능 메모리에 저장된 프로그램을 이용하여 마이크로프로세서에 접속된 비디오 이미지 디스플레이를 가지고 있는 컴퓨터 시스템의 사용자의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션 허용 컴퓨터 프로그램을 포함하고 있고, 상기 컴퓨터 프로그램 장치는, 상기 시스템 사용자의 몸의 3 차원 위치 및 주요 몸 부분을 결정하기 위해 상기 마이크로프로세서에서 신호를 처리하는 수단과; 상기 시스템 사용자의 몸 및 주요 몸 부분의 3 차원 위치를 기초로 상기 비디오 이미지 디스플레이 상에 상기 시스템 사용자와 대화 영역의 3 차원 이미지를 구성하기 위해 상기 마이크로프로세서를 이용하는 수단과; 상기 가상 현실 환경 내의 3 차원 그래픽 피사체를 상기 비디오 이미지 디스플레이 상에 디스플레이하기 위해 상기 마이크로프로세서를 이용하는 명령으로서, 상기 시스템 사용자가 상기 가상 현실 환경 전체를 통해 이동하는 것으로 나타나도록 상기 시스템 사용자에 의한 이동이 상기 비디오 이미지 디스플레이 상에 디스플레이된 3 차원 피사체에 의해 외관상의 이동을 허용하는 수단을 포함하고 있다.
이상의 일반적인 설명 및 다음의 상세한 설명은 청구의 범위에 청구된 바와 같이 본 발명을 예시하는 것이고 한정하는 것이 아님을 알 수 있다.
이제, 본 발명의 바람직한 실시예에 대해 상세히 설명하며, 예들은 첨부 도면에서 기재되어 있다. 가능한 경우에는, 동일한 부분을 참조하는데 도면 전반에 걸쳐 동일한 참조 번호가 사용되게 된다.
바람직한 실시예에 따라, 본 발명은 시스템 사용자의 카메라 기초 제스쳐 입력을 사용하는 가상 현실 환경을 통한 3 차원 네비게이션을 수행하는 시스템 및 방법을 포함하고 있다. 상기 시스템은 컴퓨터 판독 가능 메모리 수단, 시스템 사용자의 제스쳐 및 상기 시스템 사용자를 둘러싸는 대화 영역을 나타내는 비디오 신호를 발생하는 수단, 및 비디오 이미지를 디스플레이하는 수단을 구비하고 있다. 상기 비디오 이미지 디스플레이 수단은 상기 시스템 사용자의 앞에 위치되어 있다. 상기 시스템은 또한 시스템 사용자의 몸의 3 차원 위치 및 주요 몸 부분의 3 차원 위치를 결정하기 위해, 상기 컴퓨터 판독 가능 메모리 수단에 저장된 프로그램에 따라 상기 비디오 신호를 처리하는 수단을 더 구비하고 있고, 여기서, 사기 비디오 신호 처리 수단은 상기 시스템 사용자의 몸 및 주요 몸부분의 3 차원 위치를 LRCH로 상기 비디오 이미지 디스플레이 수단 상에 시스템 사용자 및 대화 영역의 3 차원 이미지를 구성하고, 상기 비디오 이미지 디스플레이 수단은 상기 가상 현실 환경 내에 3 차원 그래픽 피사체를 디스플레이하며, 상기 시스템 사용자에 의한 이동은 상기 시스템 사용자가 가상 현실 환경 전반을 통해 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에 디스플레이된 3 차원 피사체의 외관 상의 이동을 일으킨다.
바꾸어 말하면, 본 발명은 시스템 사용자에 의한 컴퓨터 비젼 대화를 기초로 자연스럽고 직관적인 컴퓨터/사용자 인터페이스를 제공한다. 여기서 사용된 바와 같이, "컴퓨터 비젼(computer vision)"은 이미징 장치가 보여주는 피사체에 의해 비디오 이미징 장치로부터 수신된 정보를 해석하기 위해 컴퓨터를 사용하는 것이다. 컴퓨터 비젼에 의해, 사용자 제스쳐, 몸 움직임, 머리 움직임, 눈 움직임 등을 인식할 수 있다. 특히, 본 발명은 2 차원 이미지 좌표에 시스템 사용자의 실루엣을 가지고 있고, 상기 실루엣을 시스템 사용자가 대화 영역에 점유한 3 차원 이미지 좌표에 투사한다.
이와 같은 접근법은 시스템 사용자에 대해 요구하는 것이 없고 제조가 저렴하다. 상기 시스템 사용자가 대형 스크린 화면을 통해 대화하면, 컴퓨터는 시스템 사용자가 지시하고 있는 곳 등을 알게 되고, 상기 디스플레이 상에서 정보를 조작하게 된다. 또한, 상기 디스플레이 화면의 앞에 있는 상기 시스템 사용자의 위치 및 자세는 3 차원 그래픽 모델, 즉 가상 현실 환경과 대화하는데 사용된다. 본 발명의 컴퓨터 비젼 시스템에 대한 제스쳐의 해석의 부가는 상기 컴퓨터와의 대화에 현실성을 부가한다. 예컨대, 직관적인 손 제스쳐는 상기 가상 현실 환경을 통한 내비게이션을 허용하기 위해 상기 컴퓨터 시스템과의 인터페이스에 사용될 수 이TEk.
종래의 SGI 기초 소프트웨어에 의존하지 않고, 본 발명은 도 3에 가장 잘 도시된 바와 같이 카메라 기초 사용자 인터페이스 시스템(5)을 이용한다. 시스템(50)은 비디오 카메라(56), 비디오 디스플레이 스크린(54), 및 Philips(TM) 단일 보드 이미지 프로세서(SBIP)(60)를 컴퓨터(58)를 구비하고 있다. SBIP(60)는 MIT의 미디어 연구서에서 제안한 접근법, 따라서 2 차원 시스템이 가지고 있는 문제점(1)-(3)을 해결해 준다. 컴퓨터(58)는 또한 3 차원 이미징 소프트웨어로 엔코딩된 컴퓨터 판독 가능 메모리(66)를 구비하고 있다. SBIP(60)은 상기 시스템(50)이 상기 시스템 사용자의 3 차원 몸 움직임을 처리할 수 있도록 상기 소프트웨어를 이용한다. 본 발명의 3 차원 이미징 소프트웨어는 MIT의 미디어 연구에 의해 접근법이 가지고 있는 문제점(4)(5)을 정정해준다.
상기 미디어 연구소 접근법의 문제점(6)을 처리하기 위해, 본 발명은 MIT에 의해 제안된 "매직 미러" 패러다임 이외의 여러 IVE 패러다임을 추정할 수 있는 대화형 비디오 환경("IVE")을 제공한다. 본 발명은 다음의 4 개의 IVE 패러다임, 즉 (1) 디스플레이가 원격 위치의 카메라 입력의 라이브 비디오를 보여 주고, 상기 시스템 사용자의 비디오 카메라 입력이 상기 디스플레이 상의 라이브 비디오와 합성되며(MIT 접근법에서와 같이 "미러" 효과로 알려져 있음); (2) 상기 디스플레이가 원격 위치의 라이브 비디오를 보여 주고, 사용자의 카메라 입력이 디스플레이 상의 라이브 비디오와 합성되지 않으며("윈도우" 효과로 알려져 있음); (3) 상기 디스플레이가 가상 현실에서와 같이 그래픽 이미지를 보여 주고, 상기 시스템 사용자의 카메라 입력이 상기 디스플레이 상의 그래픽 이미지와 합성되며; (4) 상기 디스플레이가 그래픽 이미지를 보여 주고, 상기 시스템 사용자의 카메라 입력이 상기 디스플레이 상의 그래픽 이미지와 합성되지 않음을 추정할 수 있다.
A. 바람직한 실시예의 시스템 하드웨어의 상세한 설명
여기서 구체화된 바와 같이, 본 발명의 바람직한 실시예의 카메라 이용 제스쳐 입력을 이용하여 가상 현실 환경을 통한 3 차원 내비게이션을 허용하는 시스템 및 장치가 도 3에 도시되어 있다. 특히, 시스템(50)은 비디오 카메라(56)와 같은 비디오 신호를 발생하는 수단에 전기 접속된 컴퓨터(58)와 같은 비디오 신호를 처리하는 수단을 구비하고 있다. 컴퓨터(58)는 비디오 디스플레이 스크린(54)과 같은 비디오 이미지를 디스플레이하는 수단에 전기 접속되어 있다. 비디오 디스플레이 스크린(56)은 시스템 사용자(62)가 서있는 대화 영역(52)의 앞에 위치되어 있다. 비디오 카메라(56)는 사용자(62)와 대화 영역(52)을 전기적으로 판독하고, 이들 이미지에 대응하는 비디오 신호를 생성하고, 상기 비디오 신호를 컴퓨터(58)에 제공한다.
바람직하게는, 컴퓨터(58)는 IBM-호환 개인용 컴퓨터와 같은 전형적인 마이크로 프로세서에 기초한 계산장치를 구성한다. 더욱이 컴퓨터(58)는 비디오 카메라(56)로부터 비디오 신호를 수신하기 위하여 마이크로 프로세서(60)에 연결된 시리얼 포트(64)와, 소프트웨어 프로그램으로 부호화되는 것이 가능한 종래의 컴퓨터 판독가능 메모리(66)를 구성한다. 바람직하게도, 마이크로 프로세서(60)는 Phillips(TM) 단일 보드 영상 프로세서(SBIP)이다. SBIP(60)는 대화식 영역(52) 및 사용자(62)의 2차원 영상 특성을 맵핑(mapping)하고 대화식 영역(52)내의 시스템 사용자(62)의 3차원 상태를 계산하기 위하여 컴퓨터 메모리(66)에서 부호화되는 소프트웨어(하기에 설명됨)를 사용한다. 또한, SBIP(60)는 컴퓨터 판독가능 메모리(66)내에서 영구적으로 부호화되거나 예컨대 플로피 디스켓 또는 CD ROM과 같은 외부 컴퓨터 판독가능 메모리를 통하여 내부에서 일시적으로 부호화되는 응용 프로그램을 사용한다. 더욱이, 컴퓨터(58)는 원격 제어기(remote control)와 같은 다른 대화식 제어로부터 데이터를 수신하기 위한 SBIP(60)에 연결되는 모드 제어 포트(68)와, 비디오 신호를 비디오 디스플레이 스크린(54)으로 전송하기 위한 비디오 프로세서 포트(70)를 구성한다. SBIP(60)에 의해 사용되며 컴퓨터 판독가능 메모리(66)에서 부호화된 소프트웨어는 시스템 사용자의 윤곽을 분리시키며, 3차원 영상 공간에서 그들의 몸체 및 림(limb)의 위치를 결정하며, 몸체 및 림 위치에 대응하는 비디오 신호를 비디오 디스플레이 스크린(54)에서 생성한다.
바람직하게는 디스플레이 스크린(54)이 3차원 그래픽 정보를 디스플레이 가능한 종래의 시청 모니터 시스템으로 구성된다. 본 발명에 사용되는 디스플레이 스크린(54) 및 비디오 카메라(56)의 형태는 유동적이며 본 발명의 시스템의 계획된 응용에만 기초하여 선택된다.
바람직한 실시예의 동작 입력을 기초로한 카메라를 사용하여 3차원 영상을 구성하기 위한 시스템의 더욱 바람직한 실시예에서, 비디오 디스플레이 스크린(34)은 후방 주사 RS125SW(TM) 스크린(y 방향으로 높이가 6 피트(feet)이고 x 방향으로 폭이 8 피트)을 갖는 후위 투사 이케가미 TTP 1000/1500(TM) 영사기(projector)이며; 대화식 영역(52)은 비디오 디스플레이 스크린(54) 전방의 12 피트(x 방향으로) 영역으로 11 피트(z 방향으로)이고; 비디오 카메라(56)는 Sony(TM) NTSC 비디오 카메라이다.
바람직한 실시예의 동작 입력을 기초로한 카메라를 사용하여 가상 현실 환경을 통하여 3차원 항법을 실현하기 위한 시스템의 다른 실시예가 도 4에 도시된다. 도시된 바와 같이, 다른 실시예(80)는 비디오 카메라(56)와 SBIP(60)를 갖는 컴퓨터(58) 및 도 3을 참조하여 설명된 바와 같은 컴퓨터 판독가능 메모리(66)를 구성한다. 그러나, 또 다른 실시예에서는 CD ROM 상에서 엔코딩된 응용 프로그램을 판독하고 SBIP(60)에 이와 같은 응용 프로그램을 제공할 수 있는 컴팩트 디스크 판독기(84)를 구비하고 있다. 이 대안적인 실시예는 애플리케이션 프로그램의 상(features)을 제어하는 리모트 제어기(86)를 또한 구비하고 있다. 더욱이, 이 대안적인 실시예는, 도 3에 도시된 실시예의 디스플레이 스크린과는 대조적으로, SBIP(60)로부터의 비디오 신호의 수신과 SBIP(60)로의 정보의 전송이 가능한 통상의 텔레비전 디스플레이 장치(82)를 포함하고 있다.
B. 시스템 소프트웨어의 양호한 실시예의 설명
이하에서는, 시스템 유저의 2차원 이미지 상(feature)과 대화식 영역을 그 대화식 영역 내의 3차원 공간으로 매핑하기 위한, 본 발명의 소트프웨어의 양호한 실시예와, 이 양호한 실시예에 사용하기 위한 애플리케이션 프로그램을 설명한다. 설명의 편의상, 상기 소프트웨어와 애플리케이션 프로그램을 단일 시스템 유저에 관하여 설명하기로 한다. 그러나, 본 발명의 카메라에 기초한 제스쳐(gesture) 인식 테크놀러지는, 각 유저를 개별적으로 식별하고 각 유저와 대응하게 대화를 행함으로써, 복수의 유저에 대해서도 사용될 수 있음을 이해하길 바란다.
도 5는 시스템 유저(62)의 2차원 이미지의 상을 3차원 공간에 매핑하기 위한 소프트웨어 프로세스에 포함된 스텝을 나타내는 플로우챠트로서, 여기서 시스템 유저(62)는 도 3 및 도 4에 도시된 본 발명의 양호한 실시예에 따라 위치하고 있다. 3차원 이미징 소프트웨어는, 엔코드 처리후, 컴퓨터 판독가능의 메모리(66) 내에 계속 저장하거나, 디스켓, CD ROM, 또는 유사한 메모리 저장 수단을 사용하여 메모리(66)에 일시적으로 저장하여도 좋다. 도시한 바와같이, 3차원 이미징 소프트웨어 프로세스는, 이미지 공간 좌표(u,v)에서, 유저의 2차원 두상과, 수상, 및 족상을 도 2에 도시한 2차원 추출 프로세스를 사용하여 추출하는 제 1 스텝(100)을 포함한다. 2차원 좌표(u,v)는 비디오 카메라(56)의 전면의 유저의 2차원 x-y 면에 대응하고 있다. 상기 3차원 이미징 프로세스는, 3차원 좌표(x,y,z)에서 비디오 카메라(36)의 실내에 대한 방위(orientation)와 위치를 읽어 내는 스텝(102)을 또한 포함하고 있다. 유저의 발이 실내 바닥 위에 있다면, 상기 3차원 이미징 소프트웨어는, 스텝(104)에서, 추출된 유저의 2차원 족상을, 카메라(56)의 실내 방위(x,y,z)를 사용하여 3차원 좌표(x,y,z)로 투영시킨다. 상기 3차원 이미징 소프트웨어는, 스텝(106)에서, 손과 머리가 z 방향에서 발의 위치와 약간 어긋나 있는, 추출된 유저의 2차원 두상과 수상을, 카메라(56)의 실내 방위(x,y,z)를 사용하여, 3차원 좌표(x,y,z)로 투영시킨다.
3차원 영상 처리는 컴퓨터 판독가능 메모리(66)내에 저장되고 사용자의 키에 의해 인덱스된 생물 측정 데이터(단계 110에 도시함)를 액세스하기 위하여 사용자의 측정된 키(h)를 이용하는 단계(108)를 더 포함한다. 본 발명에 이용할 수 있는 생물 측정 데이터 테이블의 예가 도 8에 도시되어 있다. 본 발명은 도 8에 도시된 생물 측정 데이터에 국한되지 않는다. 왜냐하면, 다른 생물 측정 데이터들은 전술된 바와 같이 D. Chaffin ＆ G. Andersson의 Occupational Biomechanics, 제2판(1991), L. Farkas의 Anthropometry of the Head and Face, 제2판(1994), N. A. S. A.의 Anthropometric Source Book, 제 1 내지 3 권(1978)에서 이용될 수도 있기 때문이다. 3차원 영상 처리는, y 방향으로 0.182h의 거리만큼 사용자의 어깨가 사용자의 머리의 상부로부터 사용자 목의 하부까지 오프셋되고, 사용자의 등의 중앙으로부터 어깨뼈 끝부분까지의 어깨 너비가 x 방향으로 0.129h이고, h가 사용자의 키라고 가정한다. 영상 처리는 또한 사용자의 팔길이가 0.44h이고 0.44h보다 더 큰 측정된 팔길이가 비디어 카메라(56)에 의해 추출될 때까지 가정한 팔 길이(0.44)를 이용한다고 가정한다. 소프트웨어 처리는, 단계(108)에서 계산된 가정 팔길이(0.44h)를 이용하여 대응하는 발로부터 z 방향으로 각각의 팔 오프셋을 계산하는 단계(112)를 포함한다. 단계(112)에서, z 방향에서 각 팔의 실제 길이는 상술한 원리를 이용하여 가정한 팔길이로부터 계산된다. 소프트웨어 처리는 사용자의 머리, 손, 발의 3차원 위치를 응용 프로그램에 제공하는 최종 단계(114)를 포함한다.
도 6은 도 3에 도시한 3차원 영상을 형성하는 시스템 및 카메라 방식의 제스쳐 입력을 이용하는 가상 현실 환경을 통해 네비게이션을 가능하게 하는 시스템(90)을 도시한 블록도이다. 도 6에 도시된 바와 같이, 네비게이션 시스템의 사용자(62)는 가상 현실 환경(94)의 그래픽 영상(92)을 디스플레이하는 영상 디스플레이 스크린(54)의 앞쪽에 서있다. 비디오 카메라(56)는 사용자(62)를 가시화하고 SBIP(60)는 전술한 바와 같이 사용자의 머리, 손, 다리, 발 등과 같이 사용자 신체의 움직임을 식별함으로써 그리고 사용자(62)의 3차원 영상을 추출함으로써 카메라(56)로부터 수신된 데이터를 처리한다.
따라서, 도 6에 도시된 시스템은 가상 현실 환경과 상호 작용하고 디스플레잉하는 것에 대한 이머시브 및 논이머시브 방법의 이점을 포함한다. 본 발명의 네비게이션 시스템은 신체 움직임을 판독하기 위해 사용자 신체상에 특수 장비를 장착하지 않고, 스테이셔너리 디스플레이상의 가상 현실 환경을 디스플레이하는 논이머시브 개념들을 이용한다. 본 발명의 네비게이션 시스템은 또한 가상 현실 환경과의 상호 작용 및 움직임을 제어하기 위해 사용자의 신체 동작을 이용하는 이머시브 개념을 활용한다. 대형 스크린 디스플레이는 사용자가 가상 환경의 라이프 사이즈 렌더링(life-size rendering)을 보고 디스플레이가 사용자 가시 범위의 많은 부분을 커버하도록 사용되는 것이 바람직하다.
본 발명은 다음과 같이 가상 실현 환경(94)을 통한 네이게이션을 허용하다. 사용자(62)가 디스플레이 스크린(54)의 정면에서 걸을 때, SBIP(60)는 사용자(62)가 서있는 위치를 계산한다. 전방 스텝을 취함으로써, 사용자(62)는 SBIP(60)가 디스플레이 스크린(54)상에서 그래픽 이미지를 이동하게 하여 사용자(62)는 가상 현실 환경(94)을 통해 전방으로 이동하는 것처럼 보인다. 마찬가지로, 좌 또는 우로 걸음으로써, 사용자(62)는 SBIP(60)가 그래픽 이미지(92)를 이동하도록 하여 사용자(62)는 가상 현실 환경(94)을 통해 좌 또는 우로 이동하는 것처럼 보이다. SBIP(60)는 사용자(62)가 후방으로의 스텝을 취할 경우 그래픽 이미지(92)의 이동을 정지시킨다. 사용자(62)가 후방으로 제 2 스텝을 취하면, SBIP(60)는 그래픽 이미지(92)를 역방햐응로 이동시키므로 사용자(62)는 가상 현실 환경(94)을 통해 후방으로 이동하는 것처럼 보인다.
적응성을 증가시키기 위해 추가의 몸짓이 본 발명의 네비게이션 시스템(90)에 의해 사용되어도 된다. 예를 들면, 사용자(62)가 자신의 우측 손을 들어올리면, SBIP(60)는 그래픽 이미지(92)를 일정 비율로 시계방향으로 회전시키므로 사용자는 가상 현실 환경(4)에서 시계 방향으로 회전하는 것처럼 보이다. 사용자가 자신의 내림으로써, 사용자(62)는 SBIP(60)에게 명령을 보내서 회전을 정지시키고, 여기서 SBIP(60)는 그래픽 이미지(92)의 회전을 정지시킨다. 사용자(62)가상 현실 환경(94)에서 외견상의 반시계 방향 회전을 개시 또는 정지시키기 위해 유사한 방시긍로 사용자 자신의 좌측 손을 사용해도 된다. 또, 사용자(62)가 허리를 구부리면, 사용자(62) 정면에서 지면의 가상 이미지가 보여질 수 있도록 하기 위해 SBIP(60)는 그래픽 이미지(92)를 회전시킨다. 또한 본 발명의 네비게이션 시스템(90)에는 다음과 같은 추가의 몸짓이 제공되어도 된다. 즉 (1) 그래픽 물체는 사용자(62)가 그래픽 객체의 방향에서 자신의 손에 도달할 경우 픽업되고, (2) "픽업" 그래픽 객체는 사용자 몸짓, 예를 들면 미는 동작, 움직임 등에 의해 조정되고, (3) 좌 및 우 다리 움직임은 사용자(62)가 가상 현실 환경을 통해 "도보"할 수 있도록 식별된다.
끝으로, 본 발명의 네비게이션 시스템은 팀(team)이루고 있는 사용자를 다룰 수 있도록 확대 적용되어도 되고, 여기서 대부분의 규칙은 시스템이 대다수의 사용자에 이해 지시된 방향으로 가도록 움직임을 지배하기 위해 사용되어도 된다. 다른 방법으로는, 멀티 유저 인터액션은 상이한 사용자가 동시에 가상 현실 환경에서 그래픽 객체를 선택하고 이들과 함께 인터액티브할 수 있도록 각자의 베이시스상에서 다루어질 수 있다. 예를 들면 비데오 게임에 응용할 경우, 이와 같은 장치는 상이한 사용자로 하여금 가상의 상대 팀과 일 대 일로 격전을 벌일 수 있게 한다.
도 7은 도 6에 도시된 본 발명의 카메라에 기초한 몸짓 입력을 사용하는 가상 현실 환경을 통해 3차원 네비게이션을 허용하는 시스템에 사용하기 위한 소프트웨어 프로세스에 포함되는 단계를 도시한 플로챠트이다. 이 프로세스는 사용자 머리와 손 위치의 1/2 샘플을 취하기 위해 시스템 사용자의 추출된 3차원 데이터(도 5의 프로세스로부터 제동됨)의 단계(200)를 포함한다. 또한 이 프로세스는 양 손의 평균 높이(평균 손의 높이는 1/2 샘플로부터 결정됨)가 사용자 머리의 평균 높이(평균 높이는 1/2 샘플로부터 결정됨)보다 큰지의 여부를 판정하는 단계(202)를 포함한다. 양 손의 평균 높이가 머리의 평균 높이보다 크지 않으면, 프로세스는 단계(200)으로 복귀한다. 그러나, 양 손의 평균 높이가 머리의 평균 높이보다 크면, 프로세스는 단계(204)로 이행하고 여기서 사용자 발의 위치(bx, bz)와 현재의 머리의 위치(bh)가 측정된다.
또한, 프로세스는 사용자가 여전히 볼 수 있는가의 여부를 판정하는 단계(206)를 포함한다. 사용자가 볼 수 있는 것이 아니면, 프로세스는 단계(200)로 복귀한다. 사용자가 볼 수 있는 것이면, 프로세스는 단계(208)로 이행하고, 여기서 현재의 발의 위치(px, pz), 현재 손의 위치 및 현재 높이(ph)가 측정되고, 이동 속도에 대한 변수(vx, vz), 사용자가 구부릴 경우 측정될 수 있는 높이 변수(ph) 및 회전 이동(dry, drx)은 0으로 설정된다. 이 프로세스는 다음과 같은 식, 즉 (1) vx=k*(bx-px) 및 (2) vz=k*(by-pz)에 따라 이동 속도를 설정하는 후속 단계(210)을 포함하며, 여기서 (k)는 사용자가 가상 현실 환경 주위를 이동하는 속도를 결정하는 시스템의 입력이며, 예를 들면 (k)가 증가하기 때문에 시스템 이동은 더욱 빠르게 된다. 바람직하게는 (k)는 0.3 내지 1.0의 값이다. 그 프로세스의 다음 단계(212)에서, 높이 변수(dy)는 양손 높이가 머리 높이(bh)보다 높으면 더미 변수(deltay)로 설정된다. 한편, 단계(21)에서, 단지 좌측 손 높이가 머리 높이(bh)보다 크면, 이 때 회전 운동(dry)은 알파로 설정되고, 여기서 알파는 가상 현실 환경의 반시계 방향이 요망되는 것을 나타낸다. 바람직하게는 알파는 +1.0도로 설정된다. 단지 우측 손 높이가 머리 높이(bh)보다 크면, 이 때 회전 운동(dry)은 (-알파)로 설정되고, 여기서 (-알파)는 가상 현실 환경의 시계방향 회전이 요망되는 것을 나타내고, 바람직하게는 -1.0도이다. 이 환경은 반복의 루프 시간에 기초하여 모든 반복이 회전되므로, 알파와 베타는 가상 현실 환경의 회전 속도를 결정한다. 바람직하게는, 시스템은 초당 10회 반복이 일어나는 것을 의미하는 10Hz에서 동작하고 있다.
또한, 프로세스는 현재의 높이(ph)가 현재의 머리 높이(bh)의 80% 이하이면 "참" 1에 대해 회전 운동(DRY)을 더미 변수(-beta)와 변수(벤딩)로 설정하는 단계(214)를 포함한다. 여기서 (-베타)는 사용자의 앞의 그라운드를 보기 위해 가상 현실 환경의 회전을 지시하고 (벤딩)은 사용자가 구부린 것을 지시한다. (-베타)는 -2.0 도로 설정되는 것이 바람직하다. (베타)는 +2.0 도로 설정되는 것이 바람직하다. 하지만, (벤딩)이 "참"이고, 현재 높이(ph)가 머리 높이(bh)의 80% 이상이면, 상기 회전 이둥(drx)은 (베타)로 설정되고 (벤딩)은 "거짓"으로 설정되며, 여기서 (베타)는 (-베타)와 반대의 회전을 지시한다. 상기 프로세스는 (vx), (vz) 및 (dy)에 의해 가상 현실 환경의 변위를 구현하고, 상기 비디오 디스플레이 스크린 상에서 (drx)와 (dry)에 의해 가상 현실 환경의 회전을 구현하는 최종 ??텝(216)을 구비하고 있다. 스텝(216) 후에, 상기 프로세스는 사용자를 아직 볼 수 있는지를 결정하기 위해 스텝(206)으로 복귀한다.
C. 바람직한 실시예에 이용되는 응용 프로그램의 예
본 발명은 본 발명의 카메라 기초 입력을 이용하여 3차원 이미지를 구성하는 시스템 및 방법에 이용할 수 있는 응용 프로그램의 다음과 같은 예에 의해 명확해지게 된다. 상기 응용 프로그램은 본 발명의 바람직한 실시예의 사용의 단순한 예가 되도록 의도되었고, 본 발명의 넓은 구성의 범위를 한정하도록 의도되지 않았다. 본 발명의 바람직한 실시예는 사용자가 그래픽 컴퓨터 발생 피사체를 3 차원으로 조작할 수 있도록 사용자의 3 차원 위치의 계산을 필요로 하는 응용에 사용될 수 있다. 응용 프로그램의 예로는 다중 사용자 대화를 위한 정보벽, 원격 통신 응용, 제스쳐 기초 원격 제어, 홈 연습 및 오락 응용을 들 수 있다.
1. 다중 사용자 대화를 위한 정보 벽
정보벽 응용 프로그램은 본 발명의 가상 현실을 통한 내비게이션 시스템 및 방법을 이용할 수도 있다. 상기 정보벽은 대형 노티스 보드형 디스플레이 화면을 구비하고 있고, 이 디스플레이 화면을 이용하여 사용자는 대화를 할 수 있으며, 이에 따라 매우 직관적이고 대화형의 정보 시스템이 제공된다. 이와 같은 응용은 쇼핑몰, 박물관, 도서관, 미술관, 및 기타 다른 유사 환경에 배치되는 것이 바람직하다. 예컨대, 쇼핑몰에서는, 정보 벽에 의해 쇼핑객은 특정 거리의 벽 내에 간단히 서있기 위해 상기 쇼핑몰 내로 들어갈 수 있다. 이때, 상기 정보벽은 서 있는 사람의 위치 및 높이로 상기 쇼핑몰의 전체 맵을 디스플레이한다. 쇼핑객이 지시함으로써 선택하는데 사용되는 다수의 정보 아이콘이 상기 맵의 주위에 디스플레이된다. 상기 아이콘으로 지시함으로써, 상기 정보는 특정 가게 및 화장실의 위치와 같은 각종 정보를 디스플레이한다. 상기 정보벽은 또한 광고 형태 등을 지원할 수도 있다. 예컨대, 상기 맵 상에서 가게를 지시함으로써, 쇼핑객은 상기 가게에 의해 제공된 상품 및 서비스를 설명하는 짧은 비디오 시퀀스를 디스플레이할 수 있다. 상기 정보 벽은 또한 디스플레이가 사용자가 디스플레이 길이를 따라 걸음에 따라 사용자를 추종할 수 있으며, 이에 따라 쇼핑객이 가기를 원하는 곳에 도달할 수 있도록 정확한 방향을 지시하게 된다.
2. 원격 통신 응용
본 발명의 바람직한 실시예는 원격 통신 응용에 사용될 수도 있다. 현재, 대역폭 문제는 비디오를 통한 소비자 원격 통신을 방지한다. 본 발명에 따라, 사용자는 실제 환경을 통해서가 아닌 공유된 가상 현실 세계를 통해서 통신을 할 수 있다. 사용자 실루엣으로부터의 비디오만이 가상 환경에서 전송되고 디스플레이되어야 하며, 여기서, 본 발명의 바람직한 실시예는 상기 사용자 실루엣을 추출하게 된다. 이 접근법은 컴퓨터에 의해 발생된 몸으로 사용자를 (정확한 위치에) 디스플레이함으로써 훨씬 간단해질 수 있고, 머리 영역의 비디오만이 전송되게 된다.
다중 사용자 비디오 회의가 본 발명의 보조를 받을 수도 있다. 현재, 사용자는 원격 회의의 사용자마다 카메라의 팬 및 줌 동작을 수행해야 한다. 본 발명은 카메라가 원격 회의의 참가자의 제스쳐에 의해 제어될 수 있는 상업용 원격 회의 시스템의 일부로서 사용될 수 있다. 예컨대, 참가자의 지적하면 카메라가 상기 참가자를 포커싱하게 되며, 이에 따라 사용자의 손으로 카메라를 사용자에 포커싱할 수 있다.
3. 제스쳐 기초 원격 제어
본 발명의 바람직한 실시예는 일체화된 홈 오락 및 통신 시스템의 기본 구조의 일부분으로서 사용될 수 있고, 원격 제어 유닛에 의해 현재 제공된 기능을 대체하고 있다. 예컨대, 사용자 몸 자세 및 제스쳐 뿐만 아니라 룸 내의 사용자의 위치가 모두 본 발명에 의해 액세스될 수 있다. CD 플레이어에서의 포인팅은 텔레비젼 상에 상기 CD 플레이어의 제어를 디스플레이할 수 있고, 텔레비젼 상의 메뉴 아이템에서의 포인팅은 이들 아이템을 선택할 수 있다.
하나 이상의 텔레비젼(또는 디스플레이)가 룸 내에 있으면, 사용자의 위치는 텔레비젼이 사용되는지를 결정하는데 사용될 수 있다. 한 명 이상의 사용자가 존재하면, 본 발명은 상이한 사용자들에 의해 발생된 별개의 명령을 인에이블할 수 있거나, 상이한 명령들에 대한 권한의 체계를 구성할 수 있음을 알 수 있다.
또한, 종래의 원격 제어가 본 발명에 사용될 수 있으며, 여기서, 본 발명은 원격 제어의 기능을 간단하게 하며, 이에 따라 예컨대 4 개의 버튼만을 가지게 된다. 본 발명에 따라, 사용자는 CD 플레이어(인접 스탠드)에 원격 제어를 지시할 수 있고, 상기 원격 제어는 CD 플레이어 원격 제어의 기능을 하게 된다. 또한, 사용자가 텔레비젼의 앞에 앉아 있을 수 있고, 원격 제어는 채널 전환기의 기능을 하게 된다. 마지막으로, 상기 원격 제어 장치는 권한의 체계를 형성하는데 사용될 수 있으며, 여기서 본 발명의 바람직한 실시예는 원격 제어 장치를 가지고 있는 사용자에만 응답하게 된다.
4. 홈 연습 및 오락 응용
본 발명의 바람직한 실시예는 또한 홈 연습 CD ROM 프로그램을 지원하는데도 사용되며, 여기서는 사용자가 자신의 트레이너를 구입해야 한다. 본 발명은 상기 트레이너가 상기 사용자의 방향에서 항상 보이게 되도록 홈 연습 프로그램에 방안의 사용자의 위치를 제공하게 된다. 본 발명은 또한 연습 중에 사용자가 연습을 멈추는 시간을 결정하게 되며, 이에 따라 트레이너는 다른 연습법을 추천할 수 있다. 또한, 상기 트레이너는 사용자가 연습하고 도움이 되는 정보를 제공하는 방식을 평가할 수도 있다.
상기 홈 연습 응용의 다른 특징은 상기 트레이너의 그래픽적으로 발생된 이미지와 사용자의 비디오 입력을 조합하고 이를 텔레비젼 상에 디스플레이할 수 있다. 이와 같은 특징은 동작 중에 볼 수 있다는 이점을 사용자에게 제공하고, 충고를 하기 위해, 예컨대 다리를 보다 높은 곳에 올려놓도록 하기 위해 상기 트레이너가 상기 사용자의 비디오 이미지의 여러 부분을 지적하거나 터치할 수 있게 한다. "가상" 조깅과 같은 다른 연습 응용, 가상 현실에서 댄스를 학습하는 것과 같은 교육 응용, 및 대화형 게임과 같은 오락 응용이 본 발명의 바람직한 실시예에 사용될 수도 있다.
본 발명의 카메라 기초 제스쳐 입력을 이용하여 본 발명의 범위나 원리로부터 이탈하지 않고 상기 시스템의 구성으로 3 차원 이미지를 구성하는 시스템 및 방향에서 여러 수정 및 변화가 행해질 수 있음은 당업자에게 명백하다. 일예로, 상기 시스템 및 방법은 이미지 및 사용자의 3 차원 구성을 필요로 하고 사용자와 3 차원 이미지 간의 대화를 필요로 하는 다른 응용 프로그램에 사용될 수 있다. 또한, 도 4에 도시된 CD 리더(84)와 리모트(86)는 도 3에 도시된 시스템에 사용될 수도 있다. 마지막으로, 시스템 사용자로부터 음성 인식 명령 및 사운드 효과를 디스플레이 화면에 제공하기 위해 오디오 구성이 바람직한 실시예에 포함될 수도 있다.
본 발명의 다른 실시예는 여기서 공개된 본 발명의 명세서를 고려하면 당업자에게 명백해진다. 상기 명세서는 단지 예시한 것이며, 본 발명의 범위 및 원리는 첨부된 청구의 범위에 기재되어 있다.

Claims (10)

  1. 시스템 사용자(62)의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경(94)을 통한 3 차원 내비게이션을 허용하는 시스템에 있어서,
    컴퓨터 판독 가능 메모리 수단(65)과;
    상기 시스템 사용자(62), 및 상기 시스템 사용자(62)를 둘러싼 대화 영역(52)의 제스쳐를 나타내는 비디오 신호(56,58)를 발생하는 수단과;
    상기 시스템 사용자(62)의 앞에 위치된, 비디오 이미지(54,82)를 디스플레이하는 수단과;
    상기 시스템 사용자(62)의 몸 및 주요 몸 부분의 3차원 위치를 결정하기 위해, 상기 컴퓨터 판독 가능 메모리 수단(66)에 저장된 프로그램에 따라 상기 비디오 신호(58)를 처리하는 수단을 구비하고 있고,
    상기 비디오 신호 처리 수단(58)은 상기 시스템 사용자(62)의 몸 및 주요 몸 부분의 3차원 위치를 기초로, 상기 시스템 사용자(62) 및 상기 비디오 이미지 디스플레이 수단(54,82) 상의 대화 영역(52)의 3차원 이미지를 구성하며,
    상기 비디오 디스플레이 수단(54,82)은 가상 현실 환경(94) 내에 3 차원 그래픽 피사체를 디스플레이하고, 상기 시스템 사용자(62)에 의한 이동은 상기 시스템 사용자(62)가 가상 현실 환경(94) 전체를 통해 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단(54,82) 상에 디스플레이된 2차원 물체의 외견상의 이동을 허용하는 시스템.
  2. 제 1 항에 있어서,
    상기 시스템이 상기 시스템 사용자가 앞쪽으로 걷는 것을 검출하면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 가상 현실 환경을 통해 앞쪽으로 이동하는 것으로 나타나도록, 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 이동시키고,
    상기 시스템 사용자가 좌우로 걸으면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 가상 현실 환경을 통해 좌우로 이동하는 것으로 나타나도록, 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 이동시키는 시스템.
  3. 제 2 항에 있어서,
    상기 시스템 사용자가 처음으로 뒤쪽으로 걸으면, 상기 비디오 신호 처리 수단은 상기 비디오 이미지 디스플레이 수단 상에서의 3 차원 그래픽 피사체의 이동을 정지시키고,
    상기 시스템 사용자가 다음으로 뒤쪽으로 걸으면, 상기 비디오 신호 처리 수단은 상기 비디오 이미지 디스플레이 수단 상에 상기 3 차원 그래픽 피사체를 이동시켜서 상기 시스템 사용자가 상기 가상 현실 환경을 통해 뒤쪽으로 이동하는 것으로 나타나도록 하는 시스템.
  4. 제 1 항에 있어서,
    상기 시스템 사용자가 처음으로 손을 들면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 가상 현실 환경을 통해 제 1 방향으로 회전하는 것으로 나타나도록, 상기 비디오 이미지 디스플레이 수단 상에서 3 차원 그래픽 피사체를 제 1 방향으로 회전시키고, 상기 시스템 사용자가 처음으로 손을 내리면, 상기 회전이 정지하는 시스템.
  5. 제 1 항에 있어서, 상기 시스템 사용자가 허리를 구부리면, 상기 비디오 신호 처리 수단은 상기 비디오 이미지 디스플레이 수단 상에서 3 차원 그래픽 피사체를 회전시켜서 상기 시스템 사용자의 앞에 있는 3 차원 그래픽 피사체가 상기 시스템 사용자에 의해 보여질 수 있도록 하는 시스템.
  6. 컴퓨터 판독가능 메모리(66)와 이 컴퓨터 판독가능 메모리(66)에 저장된 프로그램을 이용하는 마이크로프로세서(58)에 접속된 비디오 이미지 디스플레이(54,82)를 가지고 있는 컴퓨터 시스템의 사용자(62)의 카메라 기초 제스쳐 입력을 이용하여 가상 현실 환경(94)을 통한 3 차원 내비게이션을 허용하는 방법에 있어서,
    상기 시스템 사용자(62), 및 상기 시스템 사용자(62)를 둘러싼 대화 영역(52)의 제스쳐를 지시하는 비디오 신호를 발생하는 단계와;
    상기 시스템 사용자(62)의 몸 및 주요 몸 부분의 3 차원 위치를 결정하기 위해 상기 마이크로프로세서(58)에서 상기 비디오 신호를 처리하는 단계와;
    상기 시스템 사용자(52)의 몸 및 주요 몸 부분의 3 차원 위치를 기초로, 상기 비디오 이미지 디스플레이(54,82) 상에 상기 시스템 사용자(52)와 대화 영역(52)의 3 차원 이미지를 구성하기 위해 상기 마이크로프로세서(58)를 이용하는 단계와;
    상기 가상 현실 환경 내의 3 차원 그래픽 피사체를 상기 비디오 이미지 디스플레이(54,82) 상에 디스플레이하기 위해 상기 마이크로프로세서(58)를 이용하는 단계로서, 상기 시스템 사용자가 상기 가상 현실 환경(94) 전체를 통해 이동하는 것으로 나타나도록, 상기 시스템 사용자(52)에 의한 이동이 상기 비디오 이미지 디스플레이(54,82) 상에 디스플레이된 3 차원 피사체에 의해 외관상의 이동을 허용하는 단계를 포함하고 있는 방법.
  7. 제 6 항에 있어서,
    상기 시스템 사용자가 뒤쪽으로 걸으면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 가상 현실 환경을 통해 앞쪽으로 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 이동시키고,
    상기 시스템 사용자가 좌우로 걸으면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 상기 가상 현실 환경을 통해 좌우로 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 이동시키는 방법
  8. 제 7 항에 있어서,
    상기 시스템 사용자가 뒤쪽으로 걸으면, 상기 비디오 시호 처리 수단은 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체의 이동을 정지시키고,
    상기 시스템 사용자가 다음으로 뒤쪽으로 걸으면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 상기 가상 현실 환경을 통해 뒤쪽으로 이동하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 반대 방향으로 이동시키는 방법
  9. 제 6 항에 있어서,
    상기 시스템 사용자가 처음으로 손을 들면, 상기 비디오 신호 처리 수단은 상기 시스템 사용자가 가상 현실 환경을 통해 제 1 방향으로 회전하는 것으로 나타나도록 상기 비디오 이미지 디스플레이 수단 상에서 상기 3 차원 그래픽 피사체를 제 1 방향으로 회전시키는 방법
  10. 컴퓨터 시스템 상에 제 6 항 내지 제 9 항 중 어느 한 항의 방법을 실행하는 프로그램을 포함하고 있는 컴퓨터 판독 가능 메모리.
KR1019997007669A 1997-12-23 1998-12-07 카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3차원 내비게이션을 허용하는 시스템 및 방법 KR20000075608A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8/996,678 1997-12-23
US08/996,678 US6181343B1 (en) 1997-12-23 1997-12-23 System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs

Publications (1)

Publication Number Publication Date
KR20000075608A true KR20000075608A (ko) 2000-12-26

Family

ID=25543182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997007669A KR20000075608A (ko) 1997-12-23 1998-12-07 카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3차원 내비게이션을 허용하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US6181343B1 (ko)
EP (1) EP0976106A2 (ko)
JP (1) JP2001517344A (ko)
KR (1) KR20000075608A (ko)
WO (1) WO1999034327A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251701B1 (ko) * 2005-11-14 2013-04-05 마이크로소프트 코포레이션 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects

Families Citing this family (430)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6765566B1 (en) * 1998-12-22 2004-07-20 Che-Chih Tsao Method and apparatus for displaying volumetric 3D images
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6677938B1 (en) * 1999-08-04 2004-01-13 Trimble Navigation, Ltd. Generating positional reality using RTK integrated with scanning lasers
US20010030668A1 (en) * 2000-01-10 2001-10-18 Gamze Erten Method and system for interacting with a display
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
FI20001429A (fi) * 2000-06-15 2001-12-16 Nokia Corp Vaihtoehdon valitseminen
AU2001286450A1 (en) * 2000-08-12 2002-02-25 Georgia Tech Research Corporation A system and method for capturing an image
WO2002016875A1 (de) * 2000-08-24 2002-02-28 Siemens Aktiengesellschaft Verfahren zum abfragen von zielinformation und zum navigieren in einer kartenansicht, computerprogrammprodukt und navigationsgerät
JP3760755B2 (ja) * 2000-10-11 2006-03-29 日産自動車株式会社 音声入力装置
US6728582B1 (en) * 2000-12-15 2004-04-27 Cognex Corporation System and method for determining the position of an object in three dimensions using a machine vision system with two cameras
US7925703B2 (en) * 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
FR2819920B1 (fr) * 2001-01-22 2003-04-04 France Telecom Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif
US6704447B2 (en) * 2001-02-21 2004-03-09 Justsystem Corporation Method and apparatus for using illumination from a display for computer vision based user interfaces and biometric authentication
US7197459B1 (en) 2001-03-19 2007-03-27 Amazon Technologies, Inc. Hybrid machine/human computing arrangement
US6498970B2 (en) 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030227453A1 (en) * 2002-04-09 2003-12-11 Klaus-Peter Beier Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US20040113887A1 (en) * 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
US7511710B2 (en) 2002-11-25 2009-03-31 Microsoft Corporation Three-dimensional program guide
US20040100484A1 (en) * 2002-11-25 2004-05-27 Barrett Peter T. Three-dimensional television viewing environment
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
ES2231035B1 (es) * 2003-10-30 2006-07-01 Frontera Azul Systems, S.L. Sistema y procedimiento de comunicacion basada en realidad virtual.
US7554545B2 (en) * 2003-11-04 2009-06-30 Ssd Company Limited Drawing apparatus operable to display a motion path of an operation article
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
WO2005084209A2 (en) * 2004-02-27 2005-09-15 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) * 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
CA2578653A1 (en) 2004-07-29 2006-02-09 Kevin Ferguson A human movement measurement system
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7945469B2 (en) * 2004-11-16 2011-05-17 Amazon Technologies, Inc. Providing an electronic marketplace to facilitate human performance of programmatically submitted tasks
US7885844B1 (en) 2004-11-16 2011-02-08 Amazon Technologies, Inc. Automatically generating task recommendations for human task performers
US8170897B1 (en) 2004-11-16 2012-05-01 Amazon Technologies, Inc. Automated validation of results of human performance of tasks
US8046250B1 (en) 2004-11-16 2011-10-25 Amazon Technologies, Inc. Facilitating performance by task performers of language-specific tasks
US7881957B1 (en) 2004-11-16 2011-02-01 Amazon Technologies, Inc. Identifying tasks for task performers based on task subscriptions
US8005697B1 (en) 2004-11-16 2011-08-23 Amazon Technologies, Inc. Performing automated price determination for tasks to be performed
US20060106774A1 (en) * 2004-11-16 2006-05-18 Cohen Peter D Using qualifications of users to facilitate user performance of tasks
US7773074B2 (en) * 2005-06-28 2010-08-10 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging three dimensional navigation device and methods
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US7612786B2 (en) * 2006-02-10 2009-11-03 Microsoft Corporation Variable orientation input mode
US8930834B2 (en) * 2006-03-20 2015-01-06 Microsoft Corporation Variable orientation user interface
US8139059B2 (en) * 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US8024211B1 (en) 2006-03-31 2011-09-20 Amazon Technologies, Inc. Automatically generating assessments of qualification relevance and qualification issuer credibility
US20070284429A1 (en) * 2006-06-13 2007-12-13 Microsoft Corporation Computer component recognition and setup
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US8001613B2 (en) * 2006-06-23 2011-08-16 Microsoft Corporation Security using physical objects
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7899694B1 (en) 2006-06-30 2011-03-01 Amazon Technologies, Inc. Generating solutions to problems via interactions with human responders
US8411149B2 (en) 2006-08-03 2013-04-02 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US20100278453A1 (en) * 2006-09-15 2010-11-04 King Martin T Capture and display of annotations in paper and electronic documents
US7945470B1 (en) 2006-09-29 2011-05-17 Amazon Technologies, Inc. Facilitating performance of submitted tasks by mobile task performers
US9697486B2 (en) * 2006-09-29 2017-07-04 Amazon Technologies, Inc. Facilitating performance of tasks via distribution using third-party sites
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US8793756B2 (en) * 2006-12-20 2014-07-29 Dst Technologies, Inc. Secure processing of secure information in a non-secure environment
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US7877706B2 (en) * 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US8295542B2 (en) * 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US20090119604A1 (en) * 2007-11-06 2009-05-07 Microsoft Corporation Virtual office devices
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US9026483B1 (en) 2007-11-19 2015-05-05 Amazon Technologies, Inc. Automatic prediction of aspects of human task performance
US8121888B1 (en) 2007-12-14 2012-02-21 Amazon Technologies, Inc. Facilitating improvement of results of human performance of tasks
US20090166684A1 (en) * 2007-12-26 2009-07-02 3Dv Systems Ltd. Photogate cmos pixel for 3d cameras having reduced intra-pixel cross talk
US10438152B1 (en) 2008-01-25 2019-10-08 Amazon Technologies, Inc. Managing performance of human review of media data
US8113991B2 (en) * 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US8219432B1 (en) 2008-06-10 2012-07-10 Amazon Technologies, Inc. Automatically controlling availability of tasks for performance by human users
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
KR101738569B1 (ko) * 2009-02-17 2017-05-22 인텔 코포레이션 제스쳐 인식 방법 및 시스템
WO2010096191A2 (en) * 2009-02-18 2010-08-26 Exbiblio B.V. Automatically capturing information, such as capturing information using a document-aware device
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
EP2430614B1 (de) * 2009-05-11 2013-09-18 Universität zu Lübeck Verfahren zur echtzeitfähigen, rechnergestützten analyse einer eine veränderliche pose enthaltenden bildsequenz
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8509479B2 (en) * 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8264536B2 (en) * 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8428340B2 (en) * 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8458010B1 (en) 2009-10-13 2013-06-04 Amazon Technologies, Inc. Monitoring and enforcing price parity
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8422769B2 (en) * 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US8780115B1 (en) * 2010-04-06 2014-07-15 The Pnc Financial Services Group, Inc. Investment management marketing tool
US8791949B1 (en) * 2010-04-06 2014-07-29 The Pnc Financial Services Group, Inc. Investment management marketing tool
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US8966400B2 (en) * 2010-06-07 2015-02-24 Empire Technology Development Llc User movement interpretation in computer generated reality
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US9262015B2 (en) 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
DE102010040699A1 (de) * 2010-09-14 2012-03-15 Otto-Von-Guericke-Universität Magdeburg Medizinische Fakultät Einrichtung zur Bestimmung der Antizipationsfähigkeit von Athleten im Sport
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US8923686B2 (en) 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8657683B2 (en) 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US8740702B2 (en) 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US8961315B1 (en) 2011-06-28 2015-02-24 Amazon Technologies, Inc. Providing tasks to users during electronic game play
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9939888B2 (en) * 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US8958631B2 (en) 2011-12-02 2015-02-17 Intel Corporation System and method for automatically defining and identifying a gesture
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
CN104412557B (zh) 2012-05-08 2017-06-20 诺基亚技术有限公司 用于经由日常设备提供沉浸式交互的方法和装置
KR101911133B1 (ko) 2012-06-21 2018-10-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 카메라를 이용한 아바타 구성
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US10175750B1 (en) * 2012-09-21 2019-01-08 Amazon Technologies, Inc. Projected workspace
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US20140250413A1 (en) * 2013-03-03 2014-09-04 Microsoft Corporation Enhanced presentation environments
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US10438225B1 (en) 2013-12-18 2019-10-08 Amazon Technologies, Inc. Game-based automated agent detection
US9985943B1 (en) 2013-12-18 2018-05-29 Amazon Technologies, Inc. Automated agent detection using multiple factors
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9542011B2 (en) 2014-04-08 2017-01-10 Eon Reality, Inc. Interactive virtual reality systems and methods
US9684369B2 (en) 2014-04-08 2017-06-20 Eon Reality, Inc. Interactive virtual reality systems and methods
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
KR102284821B1 (ko) * 2014-12-18 2021-08-03 페이스북, 인크. 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20190121515A1 (en) * 2015-10-15 2019-04-25 Sony Corporation Information processing device and information processing method
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10277836B2 (en) * 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
KR20170116437A (ko) * 2016-04-11 2017-10-19 전자부품연구원 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법
US10249084B2 (en) 2016-06-10 2019-04-02 Microsoft Technology Licensing, Llc Tap event location with a selection apparatus
US10115237B2 (en) * 2016-09-28 2018-10-30 Redzone Robotics, Inc. Virtual reality display of pipe inspection data
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
CA3028220C (en) * 2018-12-20 2020-08-18 Cae Inc. Dynamically adjusting image characteristics in real-time
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN115840507B (zh) * 2022-12-20 2024-05-24 北京帮威客科技有限公司 一种基于3d图像控制的大屏设备交互方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP2534617B2 (ja) 1993-07-23 1996-09-18 株式会社エイ・ティ・アール通信システム研究所 人物像の実時間認識合成方法
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5872575A (en) * 1996-02-14 1999-02-16 Digital Media Interactive Method and system for the creation of and navigation through a multidimensional space using encoded digital video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251701B1 (ko) * 2005-11-14 2013-04-05 마이크로소프트 코포레이션 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects

Also Published As

Publication number Publication date
JP2001517344A (ja) 2001-10-02
WO1999034327A3 (en) 1999-09-10
WO1999034327A2 (en) 1999-07-08
US6181343B1 (en) 2001-01-30
EP0976106A2 (en) 2000-02-02

Similar Documents

Publication Publication Date Title
KR20000075608A (ko) 카메라 기초 제스쳐 입력을 이용하는 가상 현실 환경을 통한 3차원 내비게이션을 허용하는 시스템 및 방법
KR100650296B1 (ko) 카메라-기반 제스쳐 입력들을 이용하여 3차원 이미지들을 구축하는 시스템 및 방법
US8223147B1 (en) Method and system for vision-based interaction in a virtual environment
US20170352188A1 (en) Support Based 3D Navigation
EP2521097B1 (en) System and Method of Input Processing for Augmented Reality
US7292240B2 (en) Virtual reality presentation device and information processing method
Starner et al. The perceptive workbench: Computer-vision-based gesture tracking, object tracking, and 3D reconstruction for augmented desks
US20080215971A1 (en) System and method for communicating with an avatar
Leibe et al. Toward spontaneous interaction with the perceptive workbench
KR20130052769A (ko) 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
KR20140043522A (ko) 투명 양면형 디스플레이 제어 장치 및 그 제어 방법
CN116310152A (zh) 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景
CN113946223A (zh) 一种采用显示屏的旅游互动方法
CN112973110A (zh) 云游戏控制方法、装置、网络电视及计算机可读存储介质
Cheok et al. Combined wireless hardware and real-time computer vision interface for tangible mixed reality
CN113342176A (zh) 一种沉浸式旅游互动系统
JP5213913B2 (ja) プログラム及び画像生成システム
JP7544071B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
WO2016057997A1 (en) Support based 3d navigation
US20240078767A1 (en) Information processing apparatus and information processing method
YAN Tangible user interfaces for augmented reality
CN117101138A (zh) 虚拟角色的控制方法、装置、电子设备以及存储介质
Peer et al. Art–A Perfect Testbed for Computer Vision Related Research
von Tenspolde et al. Painting with the Watching Window: Design and Implementation of

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application