KR100965348B1 - 실시간 모션 캡처를 위한 방법 및 장치 - Google Patents

실시간 모션 캡처를 위한 방법 및 장치 Download PDF

Info

Publication number
KR100965348B1
KR100965348B1 KR1020057014813A KR20057014813A KR100965348B1 KR 100965348 B1 KR100965348 B1 KR 100965348B1 KR 1020057014813 A KR1020057014813 A KR 1020057014813A KR 20057014813 A KR20057014813 A KR 20057014813A KR 100965348 B1 KR100965348 B1 KR 100965348B1
Authority
KR
South Korea
Prior art keywords
image
control
video
marker
model
Prior art date
Application number
KR1020057014813A
Other languages
English (en)
Other versions
KR20050099547A (ko
Inventor
리차드 엘. 막스
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20050099547A publication Critical patent/KR20050099547A/ko
Application granted granted Critical
Publication of KR100965348B1 publication Critical patent/KR100965348B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

비디오게임 캐릭터의 제어를 위한 실시간 모션캡처를 위한 방법이 제공된다. 일 실시 예에서, 상기 방법은 제어대상모델을 정의함으로써 시작된다. 그리고나서, 모델 위의 마커의 위치가 확인된다. 그 다음으로, 제어대상과 관련된 동작이 캡처된다. 그리고나서, 상기 제어대상과 관련된 동작이 전환되어 모델의 위치를 변화시킨다. 그 다음으로, 디스플레이 화면 상에 나타난 캐릭터의 동작이 모델위치의 변화에 따라 제어된다. 또한, 실시간 모션캡처를 통하여 비데오 캐릭터의 제어를 가능하게 하는 컴퓨터로 판독가능한 매체 및 프로세싱 시스템이 제공된다.
사람, 볼(ball), 카메라, 비디오 데이터, 데이터 베이스, 모션 캡처 입력, 제어 대상 동작, 블록, 모션 캡처 데이터베이스, 데이터베이스, 마커(marker), 헤드폰, 골격 이미지, 비디오 캡처 장치, 빛, 마이크로 프로세서, 컴퓨팅 장치, 디스플레이 장치, 바디수트(body suit), 영역(region), 제어 대상(control object), 프레임(frame), 비디오 캡처 장치, 입력 이미지 프로세서, 출력 이미지 프로세서, 비디오 디스플레이 장치, 콘솔, 시야, 비디오 캡처 장치, 비디오 디스플레이 장치, 메인 메모리, 중앙처리장치(CPU), 그래픽 프로세싱 유닛(GPU), 디스플레이 장치, 입/출력 프로세서(IOP) 버스, 입/출력 프로세서 메모리, 콘트롤러, 메모리카드, USB포트(Universal Serial Bus port), IEEE1394 포트, 운영체제(OS) ROM, 플래쉬 메모리, 사운드 프로세싱 유닛(SPU), 광디스크 제어유닛, 하드디스크 드라이브(HDD), 버스

Description

실시간 모션 캡처를 위한 방법 및 장치{METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE}
본 발명은 일반적으로 비디오 프로세싱에 관한 것으로, 더욱 상세하게는 비디오 게임 애플리케이션용 실시간 모션 캡처를 제공하기 위해 이미지 및/또는 이미지와 관련된 마커(marker)의 깊이(depth)를 추적(tracking)하는 것에 관한 것이다.
영화, 비디오 게임 및 다른 관련 비디오 생산품들은 거리 및 부피 정보를 캡처한다. 영화와 관련하여, 배우 또는 스포츠 주인공들의 동작들은 개별적으로 캡처될 것이다. 예를 들면, 스포츠 주인공은 활동하는 동안 복수의 카메라에 의해 촬영될 것이다. 즉 볼(ball)과 같이 스포츠 주인공에 부착된 사물들은 동작의 추적(tracking)을 가능하게 한다. 동작들은 데이터베이스에 저장된 동작들의 프레임을 실행함으로써 재생될 것이다.
도 1은 사람의 동작을 저장하기 위해 그들의 몸체상에 분산된 복수의 볼들을 가지는 사람의 개략도이다. 사람(100)은 그들의 몸체상에 분포된 복수의 볼(102)을 가진다. 사람(100)은 그 후 복수의 카메라(104)에 의해 캡처되는 임의의 활동을 행할 것이다. 캡처된 비디오 데이터는 비디오 데이터(106)를 나타내도록 편집될 것이다. 그 후 비디오 데이터(106)는 영화 삽입을 위해서 나중에 정정하기 위해 데 이터베이스(108)에 저장될 것이다.
도 1과 관련하여 설명되는 도면은 영화 편집과 같이 제어된 환경에서 잘 작동하고, 여기서 실시간 모션 캡처는 필요하지 않다. 또한, 사람의 동작들이 캡처되고 저장되기 때문에, 사람은 볼들을 한 번만 착용해야 한다.
그러나, 도 1과 관련하여 설명될 모션 캡처는 즉 영화를 편집하는 동안 저장된 동작을 영화로 삽입할 편집도구들과 같은 수동적 의미에서 사용된다. 따라서, 캡처된 동작은 영화의 어떤 애스펙트(aspect)를 제어하기 위해 사용되지 않고, 나중에 영화에 삽입된다. 이는 비디오 게임에도 동일하게 적용되어, 캡처된 동작은 비디오 게임의 어느 애스펙트들을 제어하는 데 사용되지 않는다. 부분적으로, 복잡한 계산 능력들 및 점-대-점 스캐닝을 위한 필요가 캡처된 동작의 사용이 실시간 제어로서 활용하는 것을 방해하였다.
결과적으로, 종래 기술의 문제점을 해결하기 위해, 대상(object)과 캐릭터의 동작과 같은 비디오 게임의 애스펙트들을 제어할 수 있도록 실시간 모션 캡처를 제공하기 위한 방법 및 장치를 제공할 필요가 있다.
일반적으로, 본 발명은 비디오 게임을 실행하는 사람의 실시간 모션 캡처를 통해 비디오 게임 캐릭터 및 사물의 제어를 가능하게 하는 방법 및 장치를 제공함으로써 상기 요구들을 만족시킨다. 본 발명은 방법, 시스템, 컴퓨터로 판독가능한 매체 또는 장치를 포함하는 다양한 방법으로 실행될 수 있음을 주지해야 한다. 본 발명의 몇 가지의 창의적인 실시 예들이 이하에서 설명된다.
제1 실시 예에서, 비디오 게임 캐릭터의 제어를 위한 실시간 모션 캡처 방법이 제공된다. 상기 방법은 제어 대상의 모델을 정의함으로써 시작된다. 이후, 모델 위의 마커의 위치가 식별된다. 그 다음, 제어 대상과 관련된 동작이 캡처되고, 그 후 제어 대상과 관련된 동작은 모델의 위치를 바꾸기 위해 전환된다. 그 후 디스플레이 화면상에 나타낸 캐릭터의 동작은 모델의 위치 변화에 따라 제어된다.
다른 실시 예는 실시간 모션 캡처를 통해 컴퓨팅 장치와 통신하여 디스플레이 화면상에 나타낸 대상을 제어하는 방법을 제공한다. 상기 방법은 추적된 사물과 관련된 깊이 이미지를 식별함으로써 시작된다. 그 후, 디스플레이 화면상에 나타낸 대상과 추적된 대상 모두와 관련된 모델이 식별된다. 이후, 모델은 추적된 대상과 관련된 동작을 캡처하기 위해 깊이 이미지로 피팅(fitting)한다. 그 후, 디스플레이 화면상에 나타낸 사물은 모델을 깊이 이미지로 피팅함에 따라 실시간으로 제어된다.
또 다른 실시 예는 실시간 모션 캡처를 통해 디스플레이 화면상에 나타낸 이미지의 동작을 제어하는 방법을 제공한다. 상기 방법은 사람의 모델을 정의하는 것으로 시작된다. 이후, 사람 모델상에 마커의 위치가 식별되고, 그 다음 사람 모델의 일부에 대응하는 깊이 이미지가 제공된다. 모델의 일부는 마커를 포함한다. 이후, 마커의 위치는 깊이 이미지상의 한 점과 결합한다. 그 후, 모델의 일부는 깊이 이미지의 형상에 기초하여 위치한다. 이후 디스플레이 화면상에 디스플레이된 비디오 캐릭터는 모델 일부의 위치에 따라 제어된다.
또 다른 실시 예는 실시간 모션 캡처를 통해 컴퓨팅 장치와 통신하여 디스플레이 화면상에 나타낸 사물을 제어하기 위한 프로그램 지시들을 가지는 컴퓨터로 판독가능한 매체를 제공한다. 컴퓨터로 판독가능한 매체는 추적되는 사물의 깊이 이미지를 식별하기 위한 지시들과, 디스플레이 화면상에 나타낸 사물 및 추적되는 사물 모두와 관련된 모델을 식별하기 위한 프로그램 지시들을 포함한다. 추적되는 사물과 관련된 동작을 캡처하기 위해 깊이 이미지에 모델을 피팅하기 위한 프로그램 지시들이 포함된다. 깊이 이미지에 모델을 피팅함에 따라 실시간으로 디스플레이 화면상에 나타낸 사물을 제어하기 위한 프로그램 지시들이 제공된다.
다른 실시 예는 실시간 모션 캡처를 통해 제어 이미지와 관련된 사물의 제어를 가능하게 하는 시스템을 제공한다. 상기 시스템은 컴퓨팅 장치를 포함한다.
컴퓨팅 장치와 통신하는 디스플레이 화면이 제공된다. 디스플레이 화면은 사물의 이미지를 디스플레이하도록 구성되고, 사물의 이미지에 대응하는 데이터는 컴퓨팅 장치에 의해 디스플레이 화면에 제공된다. 컴퓨팅 장치와 통신하는 비디오 캡처 장치가 포함된다. 비디오 캡처 장치는 제어 대상을 추적할 수 있다. 비디오 캡처 장치는 제어 대상이 움직임에 따라 디스플레이 화면상에 디스플레이된 사물의 동작을 제어하기 위해 제어 대상과 관련된 동작을 전환하도록 구성된다.
또 다른 실시 예는 실시간 모션 캡처를 통해 제어 이미지와 관련된 비디오 캐릭터의 제어를 가능하게 하는 시스템을 제공한다. 컴퓨팅 장치로부터 수신한 데이터로부터 비디오 캐릭터의 이미지를 디스플레이하기 위한 수단 및 제어 대상과 관련된 깊이 이미지를 캡처하기 위한 수단들이 제공된다. 제어 대상의 동작을 정의하기 위해 모델을 깊이 이미지로 피팅하는 수단이 포함된다. 제어 대상이 움직임에 따라 디스플레이 화면 상에 비디오 캐릭터와 관련된 동작을 제어하기 위해 제어 대상의 동작을 전환하기 위한 수단이 또한 포함된다.
본 발명의 다른 측면들 및 이점들은 본 발명의 원리를 도시하여 설명하는 첨부한 도면과 함께, 이후 상세한 설명으로부터 보다 명백해질 것이다.
본 발명은 첨부된 도면 및 구성요소를 지시하는 숫자들을 참고하여 이후의 상세한 설명에 의해 쉽게 이해될 것이다.
도 1은 사람들의 동작을 저장하기 위해 그들의 몸체상에 분포된 복수의 볼들을 가지는 사람의 개략도이다.
도 2는 본 발명의 일 실시 예에 의한 비디오 게임 캐릭터를 제어하기 위해 사용되는 실시간 모션 캡처를 도시한 단순화된 개략도이다.
도 3은 본 발명의 일 실시 예에 의한 관절들을 묘사하는 마커를 포함하는 사람 모델의 개략도이다.
도 4A 내지 도 4C는 본 발명의 일 실시 예에 의한 제어 대상에 의해 마커로서 입혀질 수 있는 예시적인 패턴들을 도시한다.
도 5는 본 발명의 일 실시 예에 의한, 디스플레이 화면상에 나타낸 캐릭터와 관련된 동작을 제어하기 위해 사용되는 제어 대상의 실시간 모션 캡처의 개략도이다.
도 6A는 본 발명의 일 실시 예에 의한 바디수트(body suit)에 포함된 마커를 포함하는 바디수트의 개략도이다.
도 6B는 도 6A의 바디수트에 대한 다른 실시 예이다.
도 7은 본 발명의 실시 예에 의한 마커용 이미지 프레임을 모니터링하기 위한 최적화 기술을 도시하는 개략도이다.
도 8은 본 발명의 일 실시 예에 의한 깊이 이미지로 채워진 영역을 그린 모델의 개략도이다.
도 9는 본 발명의 실시 예들을 실시하는데 사용될 수 있는, 그래픽 디스플레이로 사물과의 상호작용을 위한 예시적인 사용자 입력 시스템의 블록도이다.
도 10은 본 발명의 실시 예에 의한, 사용자가 그래픽 디스플레이상에서 사물과 상호작용하는 입력 시스템을 도시한다.
도 11은 이하에서 설명되는 본 발명의 실시 예들을 실행하도록 구성된 컴퓨터 프로세싱 시스템의 단순화된 블록도이다.
도 12는 본 발명의 일 실시 예에 의한 디스플레이 화면상에 나타낸 캐릭터를 제어하기 위한 실시간 모션 캡처 방법 공정의 플로우챠트이다.
<도면의 주요부분에 대한 부호의 설명>
100 ; 사람 102 ; 볼(ball) 104 ; 카메라
106 ; 비디오 데이터 108 ; 데이터 베이스
120 ; 모션 캡처 입력 122 ; 제어 대상 동작 122a, 126a ; 블록
124 ; 모션 캡처 데이터베이스 126 ; 데이터베이스
140a 내지 140i, 162a 내지 162i ; 마커(marker)
141 ; 헤드폰 142 ; 골격 이미지(skeleton image)
148 ; 비디오 캡처 장치 150 ; 빛 152 ; 마이크로 프로세서
154 ; 컴퓨팅 장치 156 ; 디스플레이 장치
160 ; 바디수트(body suit)
170, 180a 내지 180f ; 영역(region)
172 ; 대상(object)
174-1 내지 174-n ; 프레임(frame)
200 ; 비디오 캡처 장치 202 ; 입력 이미지 프로세서
204 ; 출력 이미지 프로세서 206 ; 비디오 디스플레이 장치
208 ; 콘솔 210 ; 시야 212 ; 제어 대상
214 ; 비디오 캡처 장치 216 ; 비디오 디스플레이 장치
220 ; 메인 메모리 224 ; 중앙처리장치(CPU)
226 ; 그래픽 프로세싱 유닛(GPU) 227 ; 디스플레이 장치
228 ; 입/출력 프로세서(IOP) 버스
230 ; 입/출력 프로세서 메모리 232 ; 콘트롤러
234 ; 메모리카드 236 ; USB포트(Universal Serial Bus port)
238 ; IEEE1394 포트(또는 파이어 와이어 인터페이스(Firewire interface)
240 ; 운영체제(OS) ROM 242 ; 플래쉬 메모리
244 ; 사운드 프로세싱 유닛(SPU) 246 ; 광디스크 제어유닛
248 ; 하드디스크 드라이브(HDD) 250 ; 버스
260 ; 제어대상의 모델이 정의되는 공정
262 ; 모델 위의 마커 위치가 확인되는 공정
264 ; 제어대상과 관련된 움직임이 캡처되는 공정
266 ; 골격 이미지 또는 모델의 위치가 변경되는 공정
268 ; 디스플레이 화면에 나타나는 캐릭터의 움직임이 골격 위치의 변화에 따라 제어되는 공정
본 발명은 비디오 게임의 캐릭터나 사물을 제어하는 데 사용될 수 있는 실시간 모션 캡처를 가능하게 하는 시스템, 장치 및 방법을 설명한다. 그러나, 이 기술분야의 숙련자에게는 이 특별한 상세부분의 일부 또는 전부가 없더라도 실시할 수 있음은 자명할 것이다. 다른 실시 예에서, 잘 알려진 프로세싱 동작들은 불필요하게 본 발명을 애매하게 하지 않도록 하기 위해 상세히 설명하지 않는다. 도 1은 "본 발명의 배경" 부분에서 설명된다.
본 발명의 실시 예들은 비디오 게임 캐릭터 또는 사물을 제어하기 위해 실시간 모션 캡처를 허용하는 시스템 및 방법을 제공한다. 비디오 게임을 실행하는 사람의 동작은 비디오 게임과 관련된 디스플레이 화면상에서 캐릭터를 제어하기 위해 사용된다. 따라서, 비디오 게임을 실행하는 사람의 실시간 모션 캡처는 디스플레 이 화면상에서 캐릭터를 제어하기 위해 사용된다. 여기서, 비디오 게임을 실행하는 사람의 가공되지 않은 동작 데이터는 오프라인으로 편집되고, 이후 나중에 영화에 삽입되는 것과 반대로, 실시간으로 캡처되고, 용도를 제어하기 위해 사용된다.
일 실시 예에서, 디스플레이 화면상의 사람 캐릭터의 동작은 제어 대상으로서 사용자의 동작 또는 사람의 행동에 의해 제어된다. 사용자의 동작은 웹 캠 또는 다른 적절한 형태의 카메라와 같은 이미지 캡처 장치로 불리는 비디오 캡처 장치를 통해 캡처될 수 있다. 일 실시 예에서, 비디오 캡처 장치는 제어 대상의 깊이 이미지를 캡처하도록 구성된다. 제어 대상의 깊이 이미지는 거리 또는 비디오 캡처 장치와 관련하여 각 픽셀과 관련된 깊이 관련 데이터를 제공한다. 그러므로 제어 대상과 관련되고 접합 각들의 위치를 정의하는 골격(skeleton)이 사람 캐릭터 또는 비-사람 캐릭터로 맵핑될 수 있다. 다른 실시 예에서, 제어 대상에 의해 입혀진 마커는 관절들의 위치를 나타내는 데 사용될 수 있다. 깊이 이미지들은 제어 대상을 형성하기 위해 마커들로 정의된 위치들을 사용하여 골격과 결합된다. 차례로, 제어 대상의 동작은 이후 디스플레이 화면상에서 캐릭터 이미지를 제어하는데 사용된다. 예를 들면, 캐릭터 이미지는 비디오 게임으로부터의 이미지일 수 있다. 따라서, 비디오 게임을 실행하는 사람은 디스플레이 화면 상에 나타난 캐릭터 이미지를 제어할 수 있다. 이하에서 보다 상세하게 설명되는 바와 같이, 여기서 설명되는 본 발명의 실시 예들은 마커를 통해 비디오 캐릭터를 제어하기 위한 실시간 모션 캡처를 포함한다. 다른 실시 예에서, 깊이 정보를 제공하도록 구성된 비디오 캡처 장치는 비디오 캐릭터를 제어하기 위해 사용되는 실시간 모션 캡처를 위한 마 커를 가지거나 가지지 않고 사용될 수 있다. 이하에서 설명되는 바와 같이, 마커는 색상, 패턴, 역광 투사(retro-reflective) 물질, 빛 등을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 의한 비디오 게임의 캐릭터를 제어하는 데 사용되는 실시간 모션 캡처를 도시한 단순화된 개략도이다. 모션 캡처 입력(120)은 모션 캡처 데이터베이스(124)에 저장된다. 제어 대상 동작(122)은 웹 캠과 같은 캡처 장치를 통해 캡처되고, 데이터베이스(124)에 저장된 대응하는 모션 캡처 입력(120)과 결합된다. 결합된 모션 캡처 입력은 이후 데이터베이스(126)로부터 출력 동작으로 나타내지도록 디스플레이 화면상에 표시된다. 예를 들면, 제어 대상 동작(122)은 비디오 게임을 실행하는 사람의 어떤 동작이나 행동을 캡처할 수 있다. 일 실시 예에서, 모션 캡처 데이터베이스(124)는 전문적인 운동선수의 동작을 캡처한 복수의 모션 캡처 입력 파일들(120)을 저장한다. 따라서, 제어 대상 동작(122)은 제어 대상 동작에 대응하는 유사한 모션 캡처 입력(120)과 결합하고, 유사한 모션 캡처 입력은 디스플레이 화면상에 실시간으로 나타내진다. 그러므로, 예를 들면 비디오 게임을 실행하는 사람과 같은 제어 대상은 실시간으로 전문적인 운동선수의 동작 또는 행동을 제어하는 효과가 제공된다. 또한, 모션 캡처 입력은 예를 들면, 비-사람 게임 캐릭터들, 움직이는(animated) 캐릭터 이미지들 등과 같이 미술적으로 움직이는 데이터가 될 수 있다. 다른 실시 예에서, 제어 대상 동작(122)은 제한 정보로 사용된다. 여기서, 제한 정보는 캐릭터 이미지의 동작을 실행하므로, 제어 대상 동작(122)는 직접 게임 캐릭터의 동작을 제어한다. 물리적인 시뮬레이션 시스템이 이 특징을 실행할 수 있음을 인식해야 한다. 일 실시 예에 서, 게임 캐릭터 제어 대상의 동작을 반영한다. 또 다른 실시 예에서, 제어 대상의 어떤 동작은 맵핑되어 게임 캐릭터의 다른 동작을 야기시킨다. 예를 들면, 제어 대상이 팔다리, 팔 또는 다리를 움직이면, 팔다리 움직임은 비디오 게임 캐릭터의 눈썹을 일으키도록 맵핑될 수 있다. 제어 대상 동작의 어떤 형태는 비디오 게임 캐릭터와 같은 캐릭터 이미지의 동작의 다른 형태로 맵핑될 수 있다.
또한, 도 2를 참조하면, 보다 상세한 예로서, 제어 대상 동작(122)은 블록(122a)에 도시된 것과 같이 사람이 슈팅 동작을 실행하는 농구 비디오 게임을 실행하는 사람을 그릴 수 있다. 블록(122a)의 슈팅 동작은 데이터베이스(124)에 저장된 전문적인 농구 선수의 슈팅 동작과 결합된다. 전문적인 농구 선수의 슈팅 동작은 블록(126a)에 도시된 것처럼 볼 수 있는 화면 상에 표시된다. 그러므로, 비디오 게임을 실행하는 사람의 모션 캡처는 실시간으로 유사한 동작을 수행하는 전문적인 캐릭터를 제어하는 데 사용된다. 농구 예는 설명 목적을 위해 나타낸 것이며, 이에 정의되지 않음을 주지해야 한다. 즉, 비디오 게임을 실행하는 사람의 동작은 어느 스포츠 동작에 대응될 수 있다. 또한, 비디오 게임을 실행하는 사람의 동작은 비-스포츠 행동들과 결합될 수 있다. 예를 들면, 비디오 게임을 실행하는 사람의 캡처된 동작은 비디오 게임에 의해 디스플레이된 동물 또는 사람이 아닌 살아있는 대상 또는 움직이지 않는 문체의 동작을 제어하는 데 사용할 수 있다.
도 3은 본 발명의 일 실시 예에 의한 사람 모델의 개략도로서, 모델은 접합 각들을 나타내는 마커를 포함한다. 일 실시 예에서, 모델은 골격 이미지이다. 여기서 사용되는 바와 같이, 골격 이미지는 추적된 구조의 어떤 모델을 나타내는 것 이며, 단단하지만 접합점들을 가지는 관절이 형성된 모델에 국한되지 않는다. 또한, 골격 이미지는 예를 들면 다양한 접합 제약들과 같이 정밀도를 변화시켜 정의될 수 있다. 물론, 골격 이미지 또는 모델과 결합된 보다 많은 접합점들 및 팔다리들은 추적하는 데 필요한 보다 많은 양의 데이터와 관련된다.
여기서, 마커들(140a-140i)은 골격 이미지(142)상에 분배된다. 마커들(140a 와 140d)은 손목 위치에 대응하고, 마커들(140b와 140c)는 팔꿈치 위치에 대응하며, 마커(140e)는 몸통에 대응된다. 마커들(140g와 140f)는 무릎에 대응하고, 마커들(140h와 140i)는 발목에 대응한다. 물론, 여기서 설명되는 실시 예들은 도 3에 도시된 마커들의 위치나 마커들의 수로 제한되지 않으며, 보다 많거나 적은 마커가 이용될 수 있다. 예를 들면, 헤드폰(141)이 제어 대상의 머리 위치를 나타내는 마커로서 사용될 수 있다. 본 기술분야의 숙련자는 머리 밴드가 마커로서 사용될 수 있음을 알 것이다. 여기서, 귀에 삽입가능한 장치들이 제공되어 마커로서 작동하고 제어 대상에 음향을 제공할 수 있다. 따라서, 예를 들면 카메라와 같은 비디오 캡처 장치는 마커를 착용하고 있는 비디오 게임을 실행하는 사람의 이미지를 제공한다. 예를 들면s, 마커는 사람이 착용할 수 있는 띠로 구성될 수 있거나, 제어 대상인 사람의 옷감에 결합될 수 있다. 소프트웨어는 그 후 마커들(140a-140i)에 의해 제공된 관절들의 알려진 위치를 가지고 골격 이미지(142)를 생성하기 위해 마커로 사람의 캡처된 이미지를 분석한다.
일 실시 예에서, 비디오 캡처 장치는 골격 이미지의 일부를 채우는 데 사용되는 깊이 이미지를 제공하고, 3차원 공간에 골격 이미지를 위치시킨다. 따라서, 마커들(140a-140i)은 부속지(appendage) 또는 팔다리의 시작 위치에 관한 데이터를 제공하고, 비디오 캡처 장치로부터의 깊이 이미지는 부속지 또는 팔다리를 3차원 공간에 채울 수 있다. 여기서 사용되는 부속지 및 팔다리란 용어들은 사람 즉 제어 대상으로 정의되는 것을 의미하지 않으며, 또한 깊이 이미지로 캡처되는 사물이 제어될 수 있다.
따라서, 부속지 또는 팔다리는 제어 대상으로 움직이는 사람에 의해 제어될 수 있는 사물들을 포함할 수 있다. 다른 실시 예에서, 비디오 캡처 장치는 깊이 캡처링 능력을 가지지 않고, 마커는 부속지 또는 팔다리의 시작점에 대해 공간상에서 알려진 위치를 나타낼 수 있다. 여기서, 팔, 손, 다리, 발 또는 다른 부속지는 관련된 부속지의 전형적인 형상을 저장하는 데이터베이스로부터 채워질 수 있다. 예를 들면, 제어 대상의 깊이 이미지는 게임을 시작하기에 앞서 얻을 수 있으며, 깊이 이미지는 실시간으로 비디오 게임 캐릭터의 제어를 위해 필요로 사용되는 모델로서 데이터베이스에 저장될 수 있다. 또 다른 실시 예에서, 비디오 캡처 장치는 마커 없이 비디오 게임을 실행하는 사람의 동작을 캡처하기 위해 사용된다. 여기서, 예를 들면 손, 발 등이 오른쪽 또는 왼쪽에 있는 것과 같은 대상의 위치에 관한 어떤 가정들은 비디오 게임 캐릭터의 제어를 위해 캡처된 동작을 전환하기 위해 만들어질 수 있다. 따라서, 상기에서 설명되는 각 실시 예에서, 캡처된 동작은 실시간으로 비디오 게임의 캐릭터와 관련된 동작을 제어하는 데 사용된다.
마커는 다양한 형태를 가질 수 있음을 주지하라. 예를 들면, 비디오 캡처 장치가 마커로 공간상의 한 점을 식별할 수 있도록 어떤 형상, 색상, 패턴, 투사 능력 또는 다른 두드러진 특징들을 가지는 물질이 사용될 수 있다. 본 기술분야의 숙련자는 역광 투사 물질이 현저한 투사 능력을 제공하기 위해 사용될 수 있음을 알 것이다. 또한, 비디오 캡처 장치와 결합된 빛은 제어 대상의 특정 부속지에 대한 시작점에 대한 공간상의 위치를 제공하기 위해 역광 투사 테이프와 결합하여 사용될 수 있다. 일 실시 예에서, 마커는 깜박거리는 빛의 형태일 수 있다. 여기서, 빛은 적외선과 같은 비-가시광선일 수 있다. 빛들은 설정 주파수에서 깜박거릴 수 있고, 여기서 설정 주파수는 특정한 사람 또는 팀에 대응한다.
도 4A 내지 도 4C는 본 발명의 일 실시 예에 따른 마커로서, 제어 대상에 의해 착용 될 수 있는 예시적인 패턴들을 도시한다. 예시적인 패턴들은 도 4A의 줄무늬 패턴, 도 4B의 블록 패턴 및 도 4C의 교차한 평행선(crosshatching)을 포함한다. 도 4A-4C에 도시된 패턴들이 비디오 캡처 장치에 의해 인식되는데 사용될 수 있는 어떤 패턴 유형들을 정의하는 의미가 아님은 본 기술분야의 숙련자에게 명백하다. 다른 패턴들이 일 실시 예에서 왼쪽과 오른쪽 팔다리 사이를 구분하기 위해 사용될 수 있음을 인식하라. 예를 들면, 도 3의 마커들(140d)은 도 4a의 패턴을 포함하는 반면, 도 3의 마커(140a)는 도 4B의 패턴을 포함할 수 있다. 따라서, 왼쪽과 오른쪽 손목이 구별될 수 있다. 또한, 형상, 색상 등이 마커를 정의하기 위해 패턴과 함께 사용될 수 있다. 따라서, 패턴은 동작 동안 변형되므로, 백업(back up) 식별자가 여전히 마커로 이용가능하다.
도 5는 본 발명의 일실시 예에 의한 디스플레이 화면상에 나타낸 캐릭터와 관련하여 동작을 제어하는 데 사용되는 제어 대상의 실시간 모션 캡처의 개략도이 다. 비디오 게임을 실행하는 사람에 대응하는 골격 이미지(142)는 비디오 캡처 장치(148)로 추적된다. 일 실시 예에서, 비디오 캡처 장치(148)는 각 픽셀에 애한 깊이 데이터를 캡처하도록 구성된다. 예를 들면, 3DV SYSTEM 또는 CANESTA에 의해 제공된 깊이 카메라들은 여기서 설명되는 실시 예들에 대해 깊이 데이터를 캡처하는 비디오 캡처 장치(148)로 이용될 수 있다. 비디오 게임을 실행하는 사람이 역광-투사 테이프를 마커로 착용하면, 카메라(148)는 빛(160)을 포함한다. 일 실시 예에서, 빛(150)은 적외선일 수 있다. 다른 실시 예에서, 빛(150)은 깜박거려서, 장면에서 불변하는 빛과 추적되는 마커들, 즉 역광-투사 테이프로부터의 깜빡거리는 빛의 역광을 식별하는 것을 가능하게 한다. 역광 투사 테이프는 빛(150)으로부터의 모든 빛을 반사하므로 역광 투사 태이프는 비디오 캡처 장치(148)에 의해 제공되는 이미지 데이터에서 밝은 점(spot)이 될 것이다. 밝은 점 또는 공간은 마커와 결합하여 부속지에 대한 시작점을 나타낼 것이다. 예를 들면, 마커(140d)는 오르쪽 손목과 결합하여 손 또는 팔뚝을 포함할 수 있는 오른쪽 손목을 포함하여 깊이 이미지에 대한 시작점을 나타내고, 이는 할 수 있다. 물론, 손은 상기에서 설명한 바와 같이 대상을 제어할 수 있다. 카메라(148)는 다른 색상의 몇 가지 깜박거리는 빛들을 포함할 수 있다. 여기서, 역광-투사 테이프 또는 어느 적절한 투사 마커가 다른 색상을 반사하도록 설계될 수 있으며, 이를 통해 많은 투사 마커들의 식별을 가능하게 한다.
도 5의 마커(140c)는 몸통의 위치를 나타낸다. 위에 언급된 것처럼, 임의의 갯수의 마커가 정해진 위치에서 제어 대상에 의해 착용될 수 있다. 캡처 장치가 예를 들어 도5와 관련하여 손목이나 몸통 같은 특정 부속물과 관련된 특정 마커를 식별할 수 있다는 것은 당업자에게 명백할 것이다. 비디오 캡처 장치(148)가 구성되어 깊이 영상을 제공하는 경우에, 비디오 캡처 장치는 도 8에 관련하여 언급된 바와 같이 깊이 정보를 구비한 골격 이미지(140)를 위해 신체의 나머지 부분을 채우기 위한 데이터를 제공한다. 카메라(148)는 예를 들어 비디오 게임을 하는 사람 같은 제어대상의 이미지를 생성하고 추적하기 위해, 마커 위치와 깊이 정보를 조합하기 위하여 구성된 마이크로프로세서(152)를 포함한다. 마이크로프로세서(152)는 도 9에 관련하여 언급된 바와 같이, 프로세싱 기능을 수행할 수 있다. 카메라(148)는 컴퓨팅 장치(154)와 디스플레이 장치(156)를 번갈아 통신한다. 일 실시 예에서, 컴퓨팅 장치(154)는 소니 컴퓨터 엔터테인먼트 사에 의해 생산된 "PLAYSTATION 2" 와 같은 비디오 게임 콘솔(console)이다. 또다른 실시 예에서, 빛(150)은 제어대상으로 향하는 가시 광선을 최소화 하도록 적외선 영역에서 빛을 발산하도록 구성될 수 있다.
도 6A는 본 발명의 일 실시 예에 따른 바디수트(body suit)에 포함된 마커(marker)를 구비한 바디수트의 개략도이다. 162a 내지 162i까지의 마커는 도 3과 관련하여 논의된 위치들에 대응하는 접속 위치에서 바디수트(body suit)(160)로 통합될 수 있다. 일 실시 예에서, 몸통 마커 162e는 특정 스포츠 형상, 명성, 팀 인증 등을 갖춘 바디수트를 입고 있는 사람을 인증하는 데이터를 이용해 암호화될 수 있다. 더욱이, 마커는 암호화되어 그 사람에게 비디오 게임 중 확장된 특징을 갖춘 바디수트를 제공하기 위해 인코드 될 수 있다. 예를 들어, 바디수트는 비디오 게임과 함께 사용할 바디수트를 구입하도록 고객을 유혹하는 더 많은 신체무장 또는 다른 증강을 통해 사용자에게 별도의 보호를 제공할 수 있다.
도 6B는 도 6A의 바디수트의 또다른 실시 예이다. 여기서, 역반사 재질의 마이크로 섬유들이 바디수트로 짜여진다. 즉, 바디수트(160)의 제조를 통하여 합체된다. 따라서, 역반사 재질은 바디수트 전체에 분포되어 있다. 여기서, 바디수트는 깊이 카메라까지 최대로 보이게 되지만, 실시 예에서는 카메라가 깊이 데이터를 캡처할 수 없는 것이 바람직하다. 즉, 비디오 캡처 장치가 2차원 이미지 데이터를 제공하도록 구성되어서, 실시간으로 비디오 게임 캐릭터의 제어를 위해 제어대상을 더 쉽게 추적할 수 있도록, 제어대상이 가능한 많이 반사하도록 하는 것이 바람직하다. 물론, 제어대상이 반사되는 재질로 덮여야 하는 것은 아니며, 위에 언급된 바와 같이 전략적으로 위치된 띠들로서 충분할 것이다.
도 7은 본 발명의 일 실시 예에 따른 마커를 위한 이미지 프레임을 모니터링하기 위한 최적화 기술을 설명하는 개략도이다. 여기서, 영역(170)은 골격 이미지 142 주위의 범위를 정의한다. 그리하여, 마커를 위해 전체 데이터 프레임을 검색하기 보다는, 골격 이미지(142) 주위로 정의된 일련의 프레임 부분만 검색하게 된다.여기에, 174-2 내지 174-n 까지의 프레임 부분은 성능을 향상시키기 위해 검색된 다. 칼(sword)인 대상(172)을 제어하고 있는 골격 이미지(142)가 도시되어 있다. 제어대상이 주로 사람으로 간주되는 동안에, 사람은 칼(sword), 볼(ball), 배트(bat) 등과 같은 대상을 제어할 수 있다는 것이 구별되어야 한다. 그리하여, 제어되고 있는 대상과 관련있는 동작(motion)은 또한, 비디오 캐릭터가 칼을 제어하고 있는 때와 같은 실시간으로 디스플레이 화면에 유사한 대상을 제어할 수 있도록 캡처될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 깊이 이미지에 의해 채워진 영역을 묘사하는 모델의 개략도이다. 도 3과 관련하여 언급된 바와 같이, 카메라와 같은 비디오 캡처 장치는 비디오 게임을 하는 사람의 이미지를 제공하는데, 비디오 게임을 하는 사람은 마커를 입고 있다. 그 사람의 캡처된 이미지는 마커를 이용하여 분석되어 골격이미지 142를 만들어 내고, 또한 마커 140a 내지140i에 의해 제공된 바와 같은 공지의 관절과 함께, 모델로서 참조된다. 일 실시 예에서, 마커를 입고 있는 사람은 위에 언급된 것처럼 저장되는 제어대상의 모델 혹은 몸체 그물을 정의하기 위해 비디오 캡처 장치 앞에 서있다. 즉, 교정 단계는 초기에 실행되어 제어대상을 위한 모델 깊이 이미지를 정의한다. 그리고 나서, 깊이 이미지 혹은 깊이 이미지의 부분들은 3차원 이미지를 생성하기 위해 골격(142)을 채우는데 사용된다. 각 마커는 배치될 깊이 이미지 부분에 해당하는 위치를 정의한다. 예를 들어, 좌우 팔뚝은 180c와 180e 영역에 각각 정의된다. 윗 몸통과 아래 몸통은 180d와 180b 영역에 각각 정의되고, 좌우 정강이는 180a와 180f 영역에 각각 정의된다. 더욱이, 손과 발 은 아래 별도의 마커들 140a, 140d, 140i, 그리고 140h에 의해 정의된다. 그리하여, 마커는 출발 위치를 정의하고, 깊이 이미지는, 3차원 제어대상을 제공하여 실시간으로 비디오 게임 캐릭터의 동작(motion)을 제어하기 위해 나머지 부분을 채우는데 사용된다.
도 9는 본 발명의 실시 예들을 실행하는데 사용될 수 있는 그래픽 표현 상의 대상과의 교감을 위한 전형적인 사용자 입력 시스템의 블록도이다. 도 9에 도시된 바와 같이, 사용자 입력 시스템은 비디오 캡처 장치(200), 입력 이미지 프로세서 (202), 출력 이미지 프로세서(204), 그리고 비디오 디스플레이 장치(206)를 포함한다. 비디오 캡처장치(200)는 일련의 비디오 이미지를 캡처할 수 있는 임의의 장치일 수 있고, 일 실시 예에서, "웹-캠(web-cam)" 과 같은 디지털 비디오 카메라이거나 유사한 이미지 캡처 장치이다. 위에 언급한 바와 같이, 비디오 캡처 장치는 깊이 이미지를 제공하도록 구성될 수 있다. 입력 이미지 프로세서(202)는 제어대상의 캡처된 비디오 이미지를 출력 이미지 프로세서로 전달되는 신호로 전환한다. 일 실시 예에서, 입력 이미지 프로세서(202)는 캡처된 비디오 이미지의 배경으로부터 깊이 정보를 통하여 제어대상을 분리하고 제어대상의 위치 및/또는 움직임에 대응하는 출력신호를 생성하도록 프로그램된다. 출력 이미지 프로세서(106)는 입력 이미지 프로세서(104)로부터 받은 신호에 대응하여 비디오 디스플레이 장치(108) 상의 대상이 평형이동 및/또는 회전이동하도록 프로그램 된다.
본 발명의 이러한 면들과 부가적인 면들은 소프트웨어 명령들을 수행하는 하나 혹은 그 이상의 프로세서들에 의해 실행될 수 있다. 본 발명의 일 실시 예에 따라, 하나의 프로세서가 도 5에 도시된 대로 입력 이미지 프로세싱과 출력 이미지 프로세싱 모두를 수행한다. 그러나, 도면에 도시된 것처럼, 그리고 설명의 간편성을 위해, 프로세싱 동작은 입력 이미지 프로세서(202)와 출력 이미지 프로세서(204) 사이에서 나뉘어진 것처럼 보여진다. 본 발명은 하나 이상의 프로세서처럼, 임의의 특별 프로세서 구성으로 제한되는 것으로 전환되어서는 결코 안된다는 점에 주의해야 한다. 도 9에 도시된 다중 프로세싱 블록들은 단지 설명의 편리성을 위하여 도시되어 있다.
도 10은 본 발명의 실시 예에 따라, 그래픽으로 화면에 표시되는 대상과 이용자와의 상호작용을 위한 입력 시스템을 묘사한다. 입력 시스템 환경은 제어대상(212), 비디오 캡처 장치(214), 비디오 디스플레이 장치(216), 그리고 비디오 게임 기계 같은 프로세서 기능을 가진 콘솔(208)을 포함한다. 입력 시스템 환경에서 제어 대상(212)은 비디오 캡처 장치(214)의 시야(210) 내에 위치해야 한다. 프로세싱 시스템(208)은 소니 플레이스테이션 2나 소니 플레이스테이션 1 형식의 프로세싱 및 컴퓨터 엔터테인먼트 시스템 같은 엔터테인먼트 시스템이나 게임 콘솔에 의해 실행될 수 있다. 그러나 프로세싱 시스템(208)은 그래픽 이미지 데이터를 수신받고 프로세싱 할 수 있는 퍼스널 컴퓨터(PC), 워크스테이션, 랩탑컴퓨터(laptop computer), 무선 컴퓨팅 장치, 또는 임의의 다른 형식의 컴퓨팅 장치와 같은 다른 형식의 컴퓨터 시스템에서 실행될 수 있음에 주목해야 한다. 물론, 제어 대상(212)은 위에 기술된 바와 같이 마커와 일체가 되고 및/또는 비디오 캡처 장치(214)는 깊이 캡처링 능력을 포함할 수 있다.
도 11은 여기에 기술된 본 발명의 실시 예들을 실행하도록 구성된 컴퓨터 프로세싱 시스템의 단순화된 블록도이다. 상기 프로세싱 시스템은 메인 메모리(220) 및 그래픽 프로세싱 유닛(GPU)(226)과 결합된 중앙처리장치(CPU)(224)를 포함하는 컴퓨터 기반 엔터테인먼트 시스템 실시 예를 대표할 수 있다. CPU(224)는 또한 입/출력 프로세서(IOP) 버스(228)와 연결된다. 일 실시 예에서, GPU(226)는 픽셀 기반 그래픽 데이터의 빠른 프로세싱을 위하여 내부 버퍼를 포함한다. 부가적으로, GPU(226)는 프로세싱된 이미지 데이터를, 엔터테인먼트 시스템이나 그 구성요소에 외부적으로 연결된 디스플레이 장치(227)에 전송하기 위한, 예를 들어 NTSC나 PAL 같은, 표준 TV 신호로 전환하기 위하여 출력 프로세싱 부분 또는 기능을 포함할 수 있다.
택일적으로, 데이터 출력 신호들은 컴퓨터 모니터, LCD(Liquid Crystal Display)장치, 또는 다른 형식의 디스플레이 장치 등과 같은 TV 모니터 이외의 화면 표시장치에 제공될 수 있다.
IOP 버스(228)는 다양한 입/출력 장치와 다른 버스들 혹은 장치에 CPU(224)를 결합시킨다. IOP 버스 (228)는 입/출력 프로세서 메모리(230), 콘트롤러(232), 메모리 카드(234), USB포트(Universal Serial Bus port)(236), IEEE1394 포트(또는 파이어 와이어 인터페이스(Firewire interface)라고 알려진)(238), 및 버스(250)에 연결되어 있다. 버스(250)는 운영체제(OS) ROM(240), 플래쉬 메모리(242), 사운드 프로세싱 유닛(SPU)(244), 광디스크 제어유닛(246), 및 하드디스크 드라이브(HDD)(248)를 포함하여, 다수의 다른 시스템 구성요소를 CPU(224)에 결합시킨다. 이 실시 예의 일면으로, 비디오 캡처 장치는 CPU(224)에 그것을 통해 전송되도록 IOP 버스(228)에 직접 연결될 수 있다; 그래서 비디오 캡처 장치로부터의 데이터는 GPU(226)에서 그래픽 이미지들을 생성하도록 사용된 값을 바꾸거나 업데이트하도록 사용될 수 있다. 더우기, 본 발명의 실시 예들은 이 기술분야에서 공지된 임의의 적절한 이미지 프로세싱 구성이나 기술을 사용할 수 있다.
본 발명의 실시 예를 구현하는 프로그램들이나 컴퓨터 명령들은 여러 다른 방법으로 제공될 수 있다. 예를 들면, 그래픽 이미지와의 상호 작용을 위한 사용자 입력 방법은 HDD(248), 플래시 메모리(242), OS ROM(240), 또는 메모리카드(232)에 저장된 프로그램의 형태로 제공될 수 있다. 택일적으로, 상기 프로그램은 CPU(224)에 결합된 하나 이상의 입력 포트를 통하여 프로세싱 유닛으로 다운로드 될 수 있다. 입력 방법을 정의하는 프로그램 모듈들은, CPU(224)에 의해 실행되고 디스플레이 장치(227) 상에 디스플레이되는 게임이나 응용 프로그램들과 함께 제공되거나, 로컬 메인 메모리(220)로부터 실행하는 것과 같이, 응용프로그램과 별도로 제공될 수 있다.
본 발명의 실시 예들은 또한 분산 이미지 프로세싱을 구성하는 것을 의도하고 있다. 예를 들면, 본 발명은 CPU 내부 또는 CPU 내부 및 또다른 요소 내부와 같은 하나 또는 심지어 두 곳에서 발생하는 캡처된 이미지 및 디스플레이 이미지 프로세싱에 제한되지 않는다. 예를 들면, 입력 이미지 프로세싱은 관련된 CPU, 프로세서 또는 프로세싱을 수행할 수 있는 장치에서 즉시 발생할 수 있다; 본질적으로 모든 이미지 프로세싱은 서로 연결된 시스템 전체에 걸쳐 분산될 수 있다. 그리하여, 본 발명은 임의의 특정 이미지 프로세싱 하드웨어 회로망 및/또는 소프트웨어에 국한되지 않는다. 여기서 기술된 실시 예들은 또한 범용 하드웨어 회로망 및/또는 소프트웨어의 임의의 특정 결합이나, 프로세싱 구성요소에 의해 실행되는 명령들을 위한 임의의 특정 소스에 국한되지 않는다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 화면상에 나타낸 캐릭터를 제어하기 위한 실시간 모션 캡처 방법의 공정 플로우챠트이다. 상기 방법은 골격 이미지 또는 제어 대상의 모델이 정의되는 공정(260)로 초기화한다. 상기 제어 대상은 디스플레이 화면에 나타나는 캐릭터와 관련된 비디오 게임을 하고 있는 사람일 수 있다. 위에 언급된 대로, 그 사람은 그 사람의 모델을 정의하기 위해 비디오 캡처 장치의 시야 범위내에서 비디오 캡처 장치 앞에 서 있을 수 있다는 것이 고려되어야 한다. 그리하여, 상기 골격 이미지 또는 모델은 그 사람이 비디오 캡처 장치 앞에 서 있는 곳에서 자체 교정 과정을 통하여 정의될 수 있다. 그리고 나서 상 기 방법은 골격 이미지 또는 모델 위의 마커 위치가 확인되는 공정(262)를 진전시킨다. 예를 들어, 마커는 골격 이미지 또는 도 3, 5 및 8과 관련하여 기술된 것과 같은 모델 위에 관절의 위치를 표시할 수 있다. 마커는 여기에 기술된 바와 같이 다양한 형태들을 취하고 있음을 고려해야 한다.
그리고 나서 도 12의 방법은 제어대상과 관련된 움직임이 캡처되는 공정(264)을 진행한다. 일 실시 예에서, 상기 움직임은 깊이 이미지 즉, 예를 들어 z축과 x축, 그리고 y축과 관련된 이미지 데이터를 제공하도록 구성된 카메라를 통해 캡처된다. 다른 실시 예에서, 상기 움직임은 웹 캠같은 디지털 비디오 카메라에 의해 2차원으로 캡처된다. 그리고나서 상기 방법은 제어대상의 움직임에 응답하여 골격 이미지 또는 모델의 위치가 변경되는 공정(266)으로 이동한다. 즉, 골격 이미지는 제어대상의 움직임에 대응하여 이동된다. 깊이 카메라가 비디오 캡처 장치로 사용되는 곳에서, 골격 이미지에 대응하는 깊이 이미지가 제공될 수 있다는 것이 평가되어야 한다. 골격 이미지는 깊이 이미지의 위치에 대응하여 위치된다.
전형적이고 실증적인 목적으로, 골격 이미지는 깊이 이미지의 위치에 대응하는 위치에 있는 봉제인형으로써 생각될 수 있다. 제어대상이 움직임에 따라, 깊이 이미지는 제어대상의 움직임을 탐지하고, 이어서 골격 이미지는 또한 깊이 이미지를 따라 유사하게 이동된다. 그리하여, 제어대상의 움직임은 골격 이미지에 의해 반복된다. 위에 언급된 바와 같이, 마커는 깊이 카메라 없이 사용될 수 있다. 유사 하게, 깊이 카메라는 마커없이 사용될 수 있다. 깊이 카메라는 3차원 데이터를 캡처하지만, 깊이 카메라는 골격에 3차원 데이터를 매핑하는 지식은 갖고 있지 않음이 인정되어야 한다. 마커는 공간에 공지의 데이터 위치를 제공하며, 따라서, 마커는 깊이 데이터가 골격에 매핑될 수 있도록 한다. 물론, 마커의 사용이 없다면, 특정 가정이 만들어 질 수 있어서 깊이 데이터는 골격에 매핑될 수 있다. 즉, 마커는, 관절과 같은 실제 위치가 마커에 의해 표시되고 그에 대응하는 깊이 데이터가 마커에 의해 정의된 위치로부터 채워질 수 있다는 가정의 필요성을 제거한다. 그리고 나서 상기 방법은 디스플레이 화면에 나타나는 캐릭터의 움직임이 골격 위치의 변화에 따라 제어되는 공정(268)으로 진행한다. 여기서, 캐릭터의 움직임은 실시간으로 제어되고 있다. 즉, 제어대상이 움직이는 대로, 골격이 깊이 정보 및/또는 마커를 가지고 있는 이미지 데이터를 사용함으로써 그 움직임에 따라 위치된다.
일 실시 예에서, 시스템은 각 구성요소의 기능과 관련하여 정의된 다양한 구성요소로 이루어진 제어 이미지와 관련된 실시간 모션 캡처를 통하여 대상(object)을 제어할 수 있다. 상기 시스템은 예를 들어 게임 콘솔 같은 컴퓨팅 장치를 포함한다. 상기 시스템은 컴퓨팅 장치에 의해 수신된 데이터로부터 디스플레이 대상의 이미지를 디스플레이 하기 위한 수단을 포함할 수 있다. 여기서, 상기 이미지 표시 수단은 텔레비전 모니터를 포함한 임의의 적절한 디스플레이 화면일 수 있다. 제어 대상과 관련된 깊이 이미지를 캡처하기 위한 수단이 포함된다. 일 실시 예에서, 깊이 이미지를 캡처하기 위한 수단은, 위에서 언급된 3DV 시스템이나 CANESTA로부터 이용할 수 있는 카메라와 같은, 깊이 데이터를 제공할 수 있는 카메라에 의해 제공될 수 있다. 골격 이미지나 모델을 깊이 이미지에 피팅(fitting)하여 제어 대상의 움직임을 정의하기 위한 수단이 제공된다. 예를 들면, 마이크로프로세서는 골격 이미지나 모델을 깊이 이미지에 피팅(fitting)하여 제어 대상의 움직임을 정의하기 위한 수단을 제공할 수 있다. 위에 언급된 바와 같이, 상기 프로세싱은 하나 또는 그 이상의 마이크로프로세서를 통하여 제공될 수 있다. 제어 대상의 움직임을 전환하기 위한 수단은, 제어대상이 움직이는 대로, 디스플레이 화면 상의 디스플레이 대상과 관련된 동작을 제어한다. 여기서 다시, 그래픽 프로세싱 유닛과 같은, 마이크로프로세서는 디스플레이 대상과 관련된 동작을 제어하기 위하여 제어 대상의 움직임을 전환하는 수단일 수 있다. 물론, 위에 기술된 기능을 수행하기 위한 마이크로 프로세서는 하나의 칩셋(chipset) 안에 포함될 수 있다.
요약하면, 위에 기술된 발명은 비디오 게임의 캐릭터를 제어하기 위하여 실시간 모션 캡처를 제공하기 위한 방법과 시스템을 설명한다. 위에 기술된 실시 예들은 비디오 게임의 캐릭터나 대상(object)을 제어하기 위하여 실시간 모션 캡처를 사용할 수 있다. 마커와 결합된 깊이(depth)를 추적하는 기능은 추적되는 사람(제어 대상)의 사지(limbs)/몸통(body)을 확인하기 위한 출발점을 제공할 수 있다. 그리고 나서 상기 사람은 실제 캐릭터나 사람을 닮도록 채워진다. 그리하여, 일단 깊이 이미지가 확인되면, 깊이 이미지와 관련된 골격 이미지는, 깊이 이미지를 가지고 있는 데이터베이스로부터 또는 비디오 캡처 장치를 통하여 캡처된 깊이 이미지 로부터 채워질 수 있다. 다양한 형태의 마커는 깊이 이미지를 캡처할 수도, 캡처하지 않을 수도 있는 비디오 캡처 장치와 결합하여 사용될 수 있다. 실시 예들은, 착용할 수 있는 역반사 테이프가 손목, 무릎, 머리 등 위에 분산배치되는 것을 포함할 수 있다. 택일적으로, 다른 형태의 마커(천조각, 확인가능한 실, 기타)를 포함하는 바디수트(body suits) 또는 의상(clothes)이 제공될 수 있다. 일 실시 예에서, 일단 움직임이 확인되면 (또는 감지되면), 동작 데이터베이스에 조회하여 데이터 베이스 내에서 그에 대응하는 동작을 알아낸다. 예를 들어, 게임 사용자가 유명한 볼 플레이어(ball player)와 같은 특정 캐릭터를 선택하면, 상기 움직임은 실제 유명한 볼 플레이어에 의한 플레이와 같을 수 있다. 이러한 동작은 데이터베이스에 저장되어 있을 것이다. 따라서 획득된 데이터베이스 동작은 게임의 일부분인 캐릭터(사람/골격)를 제어하기 위해 사용될 것이다. 일 실시 예에서, 깊이(depth)를 추적하기 위해 구성된 카메라나 하드웨어는 프로세서, 특정 회로망 또는 내부를 채우고 데이터베이스를 조사하고 사용자의 움직임을 화면상의 동작으로 전환하도록 구성된 DSP(digital signal processor)를 포함할 수 있다. 위에 논의된 대로, 골격 이미지라는 용어는, 추적되는 대상이 사람 또는 생물 또는 무생물을 불문하여, 임의의 대상의 임의의 모델을 폭넓게 포함하도록 정의될 수 있다. 위 실시 예들과 함께, 본 발명은 컴퓨터 시스템 내부에 저장된 데이터를 수반하여, 컴퓨터로 실행하는 다양한 기능을 사용할 수 있다는 것이 이해되어야 한다. 이러한 기능들은 물리적 다수량(physical quantities)에 대한 물리적 조작(physical manipulation)을 필요로 하는 기능을 포함한다. 대개, 필수적이지는 않더라도, 이러한 물리적 다수량 는 저장되고, 변환되고, 결합되고, 비교되고, 기타 조작될 수 있는 전기적 또는 자기적 신호의 형태를 취한다. 더욱이, 실행되는 조작은 종종 생산, 확인, 결정, 또는 비교와 같은 용어로 언급된다.
위에 기술된 발명은 핸드 헬드 장치, 마이크로프로세서 시스템, 마이크로프로세서 기반 혹은 프로그램 조작 가능한 소비자 전자제품, 미니 컴퓨터, 메인 프레임 컴퓨터 등을 포함하는 다른 컴퓨터 시스템 구성과 함께 실행될 수 있다. 본 발명은 또한 임무가 통신망을 통해 연결된 원격 처리 장치에 의해 수행되는 분산 컴퓨팅 환경에서도 실행될 수 있다.
본 발명은 또한 컴퓨터로 판독이 가능한 매체의 컴퓨터 판독 가능 코드로써 구현될 수도 있다. 컴퓨터로 판독이 가능한 매체(computer readable medium)는 그것으로부터 컴퓨터 시스템에 의해 판독가능한 데이터를 저장할 수 있는 임의의 데이터 저장장치이다. 컴퓨터로 판독이 가능한 매체(computer readable medium)의 예로서, 하드 드라이브, 네트워크 부속 저장소(NAS), 읽기 전용 메모리, 랜덤 액세스 메모리, CD-ROM, CD-R, CD-RW, 자기 테이프, 및 다른 광학적/비(非)광 학적 데이터 저장 장치가 포함된다. 컴퓨터로 판독이 가능한 매체는 또한 컴퓨터 시스템에 결합된 네트워크 상에 분산되어 컴퓨터로 판독 가능한 코드가 분산방식으로 저장되고 수행될 수 있다.
비록 전술한 발명이 명확한 이해를 목적으로 상세히 기술되었지만, 임의의 변경과 수정이 첨부된 청구항의 범위 내에서 실행될 수 있음은 명백하다. 따라서, 본 발명의 실시 예들은 예시적일 뿐 제한적이지 않은 것으로 고려되어야 하고, 본 발명은 여기에서 제공된 상세한 설명에 제한되지 않지만, 첨부된 청구항의 범위 및 동등 영역 내에서 수정될 수 있다. 상기 청구항에서, 상기 청구항에 명확히 기술되지 않았다면, 구성요소 및/또는 단계는 어떠한 특정 기능에 대한 지시도 의미하지 않는다.
본 발명에 따르면, 대상(object)과 캐릭터의 동작과 같은 비디오 게임의 애스펙트(aspect)를 제어할 수 있는 실시간 모션 캡처를 제공하기 위한 방법 및 장치가 제공된다.

Claims (20)

  1. 실시간 모션 캡처를 통하여 컴퓨팅 장치와 통신 중에 디스플레이 화면 상에 표시되는 대상(object)을 제어하는 방법으로서,
    추적되는 대상과 관련된 깊이 이미지(depth image)를 확인하는 단계;
    디스플레이 화면에 표시되는 대상과 추적되는 대상 모두와 관련되는 모델을 확인하는 단계;
    상기 모델을 상기 추적되는 대상과 관련된 동작을 캡처하는 상기 깊이 이미지에 피팅하는 단계; 및
    상기 모델을 상기 깊이 이미지에 피팅함에 따라 실시간으로 상기 디스플레이 화면 상에 도시되는 대상을 제어하는 단계;를 포함하는 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  2. 제 1항에 있어서,
    상기 추적되는 대상은 컴퓨팅 장치와 상호작용하는 사람이고,
    상기 모델은 그 사람의 골격 이미지인 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  3. 제 1항에 있어서,
    상기 컴퓨팅 장치는 비디오 게임 콘솔(video game console)인 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  4. 제 1항에 있어서,
    디스플레이 화면에 표시되는 대상(object)은 비디오 게임 캐릭터(video game character)인 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  5. 제 1항에 있어서,
    추적되는 대상과 관련된 깊이 이미지를 확인하는 방법은, 상기 깊이 데이터를 제공할 수 있는 비디오 캡처 장치를 통하여 깊이 이미지를 캡처링 하는 것을 포함하는 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  6. 제 1항에 있어서,
    추적되는 대상과 관련된 깊이 이미지를 확인하는 방법은, 컴퓨팅 장치와 관련된 데이터베이스로부터 깊이 이미지 검색을 포함하는 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  7. 제 1항에 있어서,
    추적되는 대상과 관련된 깊이 이미지를 확인하는 방법은, 그 대상과 관련된 마커를 통하여 그 대상의 동작을 추적하는 것을 포함하는 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  8. 제 7항에 있어서,
    대상과 관련된 마커를 통하여 대상의 동작을 추적하는 방법은, 마커에 의해 야기된 빈(void) 영역을 확인하는 것을 포함하는 것을 특징으로 하는 실시간 모션 캡처를 위한 방법.
  9. 실시간 모션 캡처를 통하여 컴퓨팅 장치와 통신하여 디스플레이 화면 상에 표시되는 대상(object)을 제어하도록 하는 프로그램 명령을 구비한 컴퓨터로 판독가능한 매체로서;
    추적되는 대상의 깊이 이미지를 확인하기 위한 프로그램 명령;
    상기 디스플레이 화면 상에 표시되는 대상과 상기 추적되는 대상 모두와 관련되는 모델을 확인하기 위한 프로그램 명령;
    상기 모델을 상기 추적되는 대상과 관련된 동작을 캡처하는 상기 깊이 이미지에 피팅하기 위한 프로그램 명령; 및
    상기 모델을 상기 깊이 이미지에 피팅함에 따라 실시간으로 상기 디스플레이 화면에 표시되는 대상을 제어하기 위한 프로그램 명령을 포함하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  10. 제 9항에 있어서,
    추적되는 대상은 사람인 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  11. 제 9항에 있어서,
    디스플레이 화면에 표시되는 대상은 비디오 게임 캐릭터인 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  12. 제 9항에 있어서,
    깊이 이미지(depth image)는 깊이 데이터(depth data)를 제공할 수 있는 비디오 캡처 장치에 의해 캡처되는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  13. 제 9항에 있어서,
    추적되는 대상과 관련된 깊이 이미지를 확인하기 위한 프로그램 명령은 그 대상과 관련된 마커를 통하여 그 대상의 동작을 추적하는 프로그램 명령을 포함하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  14. 제 13항에 있어서,
    대상과 관련된 마커를 통하여 그 대상의 동작을 추적하는 프로그램 명령은 그 마커로 인하여 야기되는 빈 영역을 확인하기 위한 프로그램 명령을 포함하는 것을 특징으로 하는 컴퓨터로 판독가능한 매체.
  15. 제어 이미지와 관련된 실시간 모션캡처를 통하여 대상(object)의 제어를 가능하게 하는 시스템으로서,
    컴퓨팅 장치;
    상기 컴퓨팅 장치와 통신하며, 대상의 이미지, 및 상기 컴퓨팅 장치에 의해 제공되며 상기 대상의 이미지에 해당하는 데이터를 디스플레이하기 위해 구성되는 디스플레이 화면;
    상기 컴퓨팅 장치와 통신하며, 제어대상을 추적할 수 있고, 추적되는 상기 제어대상과 상기 디스플레이 화면에 디스플레이 되는 상기 대상에 모두 관련되는 모델을 확인하고, 상기 제어 대상과 관련된 동작을 전환하여 상기 디스플레이 화면 상에서 디스플레이 되는 상기 대상의 동작을 상기 제어 대상이 움직이는 대로 제어하도록 구성된 비디오 캡처 장치;를 포함하는 것을 특징으로 하는 시스템.
  16. 제15항에 있어서,
    상기 컴퓨팅 장치는 비디오 게임 콘솔인 것을 특징으로 하는 시스템.
  17. 제15항에 있어서,
    상기 제어대상에 의하여 착용되도록 구성된 마커와,
    상기 마커는 디스플레이 화면 상에 표시되는 대상과 관련된 모델 위에 깊이 이미지를 위한 위치를 나타내고,
    상기 깊이 이미지는 비디오 캡처 장치에 의해 제공되는 것을 더 포함하는 것을 특징으로 하는 시스템.
  18. 제15항에 있어서,
    상기 제어대상은 사람인 것을 특징으로 하는 시스템.
  19. 제15항에 있어서,
    상기 비디오 캡처장치는 제어대상의 이미지와 관련된 깊이 데이터를 제공할 수 있는 것을 특징으로 하는 시스템.
  20. 제17항에 있어서,
    상기 마커(marker)는 색, 패턴, 역반사 재질, 그리고 빛 방출 장치로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는 시스템.
KR1020057014813A 2003-02-11 2003-10-06 실시간 모션 캡처를 위한 방법 및 장치 KR100965348B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/365,120 2003-02-11
US10/365,120 US9177387B2 (en) 2003-02-11 2003-02-11 Method and apparatus for real time motion capture

Publications (2)

Publication Number Publication Date
KR20050099547A KR20050099547A (ko) 2005-10-13
KR100965348B1 true KR100965348B1 (ko) 2010-06-22

Family

ID=32824565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057014813A KR100965348B1 (ko) 2003-02-11 2003-10-06 실시간 모션 캡처를 위한 방법 및 장치

Country Status (10)

Country Link
US (3) US9177387B2 (ko)
EP (1) EP1593096B1 (ko)
JP (1) JP4723863B2 (ko)
KR (1) KR100965348B1 (ko)
CN (1) CN100409261C (ko)
AT (1) ATE443903T1 (ko)
AU (1) AU2003279810B2 (ko)
DE (1) DE60329424D1 (ko)
TW (1) TWI274295B (ko)
WO (1) WO2004072909A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system

Families Citing this family (249)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360685B2 (en) 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US8617008B2 (en) 2001-09-12 2013-12-31 Pillar Vision, Inc. Training devices for trajectory-based sports
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US8542763B2 (en) 2004-04-02 2013-09-24 Rearden, Llc Systems and methods to coordinate transmissions in distributed wireless systems via user clustering
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
KR101183000B1 (ko) 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US20060192852A1 (en) * 2005-02-09 2006-08-31 Sally Rosenthal System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
WO2006099589A2 (en) * 2005-03-16 2006-09-21 Lucasfilm Entertainment Company Ltd. Three- dimensional motion capture
WO2006108279A1 (en) * 2005-04-11 2006-10-19 Martin Lizee Method and apparatus for virtual presence
US8698899B2 (en) * 2005-04-15 2014-04-15 The University Of Tokyo Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system
US20110256914A1 (en) * 2005-07-25 2011-10-20 Ahdoot Ned M Interactive games with prediction and plan with assisted learning method
US20070030343A1 (en) * 2005-08-06 2007-02-08 Rohde Mitchell M Interactive, video-based content for theaters
US8780119B2 (en) * 2005-08-26 2014-07-15 Sony Corporation Reconstruction render farm used in motion capture
US8054312B2 (en) * 2005-08-26 2011-11-08 Sony Corporation Material for motion capture costumes and props
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8224025B2 (en) * 2005-12-23 2012-07-17 Sony Corporation Group tracking in motion capture
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
WO2007146098A2 (en) * 2006-06-07 2007-12-21 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters
US7548272B2 (en) * 2006-06-07 2009-06-16 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
WO2008008847A2 (en) * 2006-07-11 2008-01-17 Sony Corporation Using quantum nanodots in motion pictures or video games
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
WO2008052331A1 (en) * 2006-10-30 2008-05-08 Jerry Moscovitch System and method for producing and displaying images
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US8130225B2 (en) 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
JP2010520565A (ja) * 2007-03-02 2010-06-10 オーガニック・モーション 三次元の物体を追跡記録するシステム及び方法
CA2684020C (en) * 2007-04-15 2016-08-09 Extreme Reality Ltd. An apparatus system and method for human-machine-interface
US8408982B2 (en) * 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
TWI377055B (en) * 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US20090062693A1 (en) * 2007-08-29 2009-03-05 Lancastria Limited System for determining individual user anthropometric characteristics related to mattress preference
US8230367B2 (en) 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
DE102007062843A1 (de) * 2007-12-21 2009-06-25 Amedo Smart Tracking Solutions Gmbh Verfahren zur Bewegungserfassung
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8024316B2 (en) * 2008-01-30 2011-09-20 Google Inc. Providing content using stored query information
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN101618277A (zh) * 2008-07-04 2010-01-06 英属维京群岛速位互动股份有限公司 可感测使用者身体影像的电子游戏操控装置及方法
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
WO2010026587A1 (en) * 2008-09-04 2010-03-11 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
EP2350925A4 (en) 2008-10-24 2012-03-21 Extreme Reality Ltd METHOD, SYSTEM AND ASSOCIATED MODULES AND SOFTWARE COMPONENTS FOR PRODUCING A MAN-MACHINE INTERFACE BASED ON IMAGE SENSOR
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
CN101533528B (zh) * 2009-04-18 2014-11-26 大连大学 基于模块分段线性模型的光学运动捕捉数据处理方法
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8334872B2 (en) * 2009-05-29 2012-12-18 Two Pic Mc Llc Inverse kinematics for motion-capture characters
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8803889B2 (en) * 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
CA2774867A1 (en) 2009-09-21 2011-03-24 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
JP5491217B2 (ja) * 2010-01-27 2014-05-14 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US9124651B2 (en) 2010-03-30 2015-09-01 Microsoft Technology Licensing, Llc Controlling media consumption privacy settings
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
KR20170129297A (ko) 2010-09-13 2017-11-24 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 게임 서버
CN103403694B (zh) 2010-09-13 2019-05-21 索尼电脑娱乐美国公司 附加组件管理
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
WO2012100080A2 (en) * 2011-01-21 2012-07-26 The Regents Of The University Of California Systems for and methods of detecting and reproducing motions for video games
EP2628303A1 (en) 2011-01-23 2013-08-21 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
CN107050852A (zh) * 2011-02-11 2017-08-18 漳州市爵晟电子科技有限公司 一种游戏系统及其穿套式定点控制设备
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9533228B2 (en) * 2011-03-28 2017-01-03 Brian M. Dugan Systems and methods for fitness and video games
US9610506B2 (en) 2011-03-28 2017-04-04 Brian M. Dugan Systems and methods for fitness and video games
KR101804848B1 (ko) 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8740702B2 (en) 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8948447B2 (en) * 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
KR20130030117A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
EP2768607B1 (en) 2011-09-26 2021-08-18 Thermo Fisher Scientific GENEART GmbH Multiwell plate for high efficiency, small volume nucleic acid synthesis
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
WO2014010004A1 (ja) * 2012-07-13 2014-01-16 株式会社ソニー・コンピュータエンタテインメント 入力装置、情報処理システム、情報処理装置、および情報処理方法
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
JP5620449B2 (ja) * 2012-09-28 2014-11-05 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10547358B2 (en) 2013-03-15 2020-01-28 Rearden, Llc Systems and methods for radio frequency calibration exploiting channel reciprocity in distributed input distributed output wireless communications
US8948457B2 (en) 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
WO2014198629A1 (en) 2013-06-13 2014-12-18 Basf Se Detector for optically detecting at least one object
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
CN105980812A (zh) * 2013-12-18 2016-09-28 巴斯夫欧洲公司 用于光学检测对象的目标装置
US9536138B2 (en) 2014-06-27 2017-01-03 Microsoft Technology Licensing, Llc Dynamic remapping of components of a virtual skeleton
US11041718B2 (en) 2014-07-08 2021-06-22 Basf Se Detector for determining a position of at least one object
EP3230841B1 (en) 2014-12-09 2019-07-03 Basf Se Optical detector
CN107438775B (zh) 2015-01-30 2022-01-21 特里纳米克斯股份有限公司 用于至少一个对象的光学检测的检测器
US9690984B2 (en) * 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
EP3325917B1 (en) 2015-07-17 2020-02-26 trinamiX GmbH Detector for optically detecting at least one object
EP3350988B1 (en) 2015-09-14 2019-08-07 trinamiX GmbH 3d camera
GB201520367D0 (en) * 2015-11-19 2016-01-06 Bespoke Vr Ltd Editing interactive motion capture data for creating the interaction characteristics of non player characters
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
US10717001B2 (en) * 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
CN105872477B (zh) * 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
FR3054358B1 (fr) * 2016-07-25 2018-08-31 Commissariat Energie Atomique Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection
KR102492134B1 (ko) 2016-07-29 2023-01-27 트리나미엑스 게엠베하 광학 센서 및 광학적 검출용 검출기
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
EP3532796A1 (en) 2016-10-25 2019-09-04 trinamiX GmbH Nfrared optical detector with integrated filter
EP3532864B1 (en) 2016-10-25 2024-08-28 trinamiX GmbH Detector for an optical detection of at least one object
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
KR102502094B1 (ko) 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
CN106710351A (zh) * 2016-12-28 2017-05-24 新支点数字科技（宜昌）有限公司 虚拟实境警务培训装置及方法
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
WO2018193045A1 (en) 2017-04-20 2018-10-25 Trinamix Gmbh Optical detector
WO2019002199A1 (en) 2017-06-26 2019-01-03 Trinamix Gmbh DETECTOR FOR DETERMINING A POSITION OF AT LEAST ONE OBJECT
EP3740293A4 (en) 2018-01-21 2022-07-06 Stats Llc METHOD AND SYSTEM FOR INTERACTIVE INTERPRETABLE AND IMPROVED GAME AND PLAYER PERFORMANCE PREDICTIONS IN TEAM SPORTS
EP3740841A4 (en) 2018-01-21 2021-10-20 Stats Llc SYSTEM AND METHOD FOR MOVEMENT PREDICTION OF MULTIPLE FINE GRANULARITY ADVERSARY AGENTS
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
GB201813450D0 (en) * 2018-08-17 2018-10-03 Hiltermann Sean Augmented reality doll
CN110942479B (zh) 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN110941977A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109407840A (zh) * 2018-10-18 2019-03-01 看见故事（苏州）影视文化发展有限公司 一种动作捕捉技术的视角转换方法
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
KR20200089826A (ko) 2019-01-18 2020-07-28 (주)모션테크놀로지 모션 캡쳐 데이터 정밀도 향상을 위한 시스템 및 방법
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
JP2022501732A (ja) * 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体
EP3912090A4 (en) 2019-03-01 2022-11-09 Stats Llc CUSTOMIZING PERFORMANCE PREDICTION USING DATA AND BODY POSTURE FOR SPORTS PERFORMANCE ANALYSIS
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
US11287505B2 (en) 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
US11599257B2 (en) * 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
US20230012053A1 (en) * 2019-12-24 2023-01-12 Sony Group Corporation Information processing device and information processing method
CN111260967A (zh) * 2020-02-25 2020-06-09 湖南科技学院 一种基于图像处理的武术教学用姿势纠正系统
US11011071B1 (en) 2020-03-30 2021-05-18 Mobilizar Technologies Pvt Ltd Interactive learning system and a method
WO2021247371A1 (en) 2020-06-05 2021-12-09 Stats Llc System and method for predicting formation in sports
US11232595B1 (en) 2020-09-08 2022-01-25 Weta Digital Limited Three-dimensional assembly for motion capture calibration
US11282233B1 (en) * 2020-09-08 2022-03-22 Weta Digital Limited Motion capture calibration
CN111968207B (zh) * 2020-09-25 2021-10-29 魔珐(上海)信息科技有限公司 动画生成方法、装置、系统及存储介质
EP4222575A4 (en) * 2020-10-01 2024-11-13 Stats Llc PREDICTING NBA TALENT AND QUALITY FROM NON-PROFESSIONAL TRACKING DATA
US11620783B2 (en) * 2021-05-27 2023-04-04 Ai Thinktank Llc 3D avatar generation and robotic limbs using biomechanical analysis
US11640725B2 (en) 2021-05-28 2023-05-02 Sportsbox.ai Inc. Quantitative, biomechanical-based analysis with outcomes and context
US12008839B2 (en) 2021-05-28 2024-06-11 Sportsbox.ai Inc. Golf club and other object fitting using quantitative biomechanical-based analysis
USD1036464S1 (en) 2022-04-20 2024-07-23 Sportsbox.ai Inc. Display screen with transitional graphical user interface
USD1035720S1 (en) 2022-04-20 2024-07-16 Sportsbox.ai Inc. Display screen with transitional graphical user interface
USD1035721S1 (en) 2022-04-20 2024-07-16 Sportsbox.ai Inc. Display screen with transitional graphical user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US195104A (en) * 1877-09-11 Improvement in fire-place stoves
US6441825B1 (en) * 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US20030020718A1 (en) 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model

Family Cites Families (322)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US5195179A (en) 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
JPH02502680A (ja) 1987-02-04 1990-08-23 メイヨ・ファウンデイション・フォー・メディカル・エデュケイション・アンド・リサーチ ６自由度を有するジョイステック装置
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
US5260556A (en) 1988-12-20 1993-11-09 Australian Meat & Live-Stock Research & Development Corp. Optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
DE69016463T2 (de) 1990-05-01 1995-09-07 Wang Laboratories Handfreie hardwaretastatur.
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US6191773B1 (en) 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
CN1253636A (zh) 1995-06-22 2000-05-17 3Dv系统有限公司 远心光阑3维照相机及方法
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
PT842463E (pt) 1995-07-26 2000-08-31 Tegic Communications Inc Sistema de eliminacao de ambiguidades em teclados reduzidos
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
AU1328597A (en) 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JP3014313B2 (ja) 1995-12-25 2000-02-28 富士通テン株式会社 エアバッグの衝突判別装置
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
TW387816B (en) 1996-03-05 2000-04-21 Sega Enterprises Kk Controller and expansion unit for controller
DE69631342T2 (de) 1996-04-02 2004-11-11 Cognex Corp., Natick Bilderzeugende vorrichtung zur visualisation von zeichen auf einem ebenen spiegelnden substrat
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) * 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6088042A (en) * 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
DE69731120T2 (de) 1997-04-23 2005-02-24 Thomson Consumer Electronics, Inc., Indianapolis Bereichs- und informationsanzeigeabhängige videopegelsteuerung
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
JP2001501348A (ja) 1997-07-29 2001-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元シーンの再構成方法と、対応する再構成装置および復号化システム
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JP3812092B2 (ja) * 1997-10-27 2006-08-23 ソニー株式会社 姿勢検出装置及び方法
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6690268B2 (en) 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
ES2194302T3 (es) 1998-02-08 2003-11-16 3Dv Systems Ltd Obturador optico de imagen de gran apertura.
US6115052A (en) * 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6712703B2 (en) * 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
JP2000200088A (ja) * 1998-12-29 2000-07-18 Nagase & Co Ltd カラオケ装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
JP2000315259A (ja) * 1999-05-06 2000-11-14 Sharp Corp データベース作成装置及びデータベース作成プログラムを記録した記録媒体
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
DE69922706T2 (de) 1999-09-08 2005-12-08 3Dv Systems Ltd. 3d- bilderzeugungssystem
AU7313000A (en) 1999-09-17 2001-04-24 Nature Technology Co., Ltd. Image pickup system, image processor, and camera
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) * 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
AU2001241500A1 (en) * 2000-02-15 2001-08-27 Sorceron, Inc. Method and system for distributing captured motion data over a network
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
JP3652961B2 (ja) * 2000-06-27 2005-05-25 シャープ株式会社 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US6873747B2 (en) 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
JP4278288B2 (ja) * 2000-07-31 2009-06-10 株式会社タイトー 踊り映像強調合成装置
AUPQ952400A0 (en) 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
WO2002027456A1 (en) 2000-09-29 2002-04-04 Senseboard Technologies Ab Wearable data input interface
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
WO2002069272A2 (en) 2001-01-26 2002-09-06 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
WO2003017045A2 (en) 2001-08-16 2003-02-27 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US6595642B2 (en) 2001-08-31 2003-07-22 Adaptive Optics Associates, Inc. Ophthalmic instrument having Hartmann wavefront sensor with extended source
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
GB2392286B (en) 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
EP2163286A3 (en) 2002-10-30 2011-06-29 Nike International Ltd. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
ATE339757T1 (de) 2003-06-17 2006-10-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur sprachaktivitätsdetektion
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
ATE427693T1 (de) 2003-10-28 2009-04-15 Welch Allyn Inc Digitales dokumentier-ophthalmoskop
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
ES2664472T3 (es) 2004-04-30 2018-04-19 Idhl Holdings, Inc. Dispositivos de señalización de espacio libre con compensación de inclinación y facilidad de uso mejorada
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US195104A (en) * 1877-09-11 Improvement in fire-place stoves
US6441825B1 (en) * 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US20030020718A1 (en) 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The Proceedings of the Seven IEEE International Conference on Kerkyra, Greece 20-27 Sept. 1999, Jojic N. et al., "Tracking Self-Occluding Articulated Objects in Dense Disparity Maps", pp.123-130*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system

Also Published As

Publication number Publication date
WO2004072909A1 (en) 2004-08-26
CN1764931A (zh) 2006-04-26
AU2003279810B2 (en) 2008-06-19
ATE443903T1 (de) 2009-10-15
DE60329424D1 (de) 2009-11-05
US9881382B2 (en) 2018-01-30
US20040155962A1 (en) 2004-08-12
CN100409261C (zh) 2008-08-06
US20180158196A1 (en) 2018-06-07
TWI274295B (en) 2007-02-21
EP1593096B1 (en) 2009-09-23
JP4723863B2 (ja) 2011-07-13
AU2003279810A1 (en) 2004-09-06
EP1593096A1 (en) 2005-11-09
US10410359B2 (en) 2019-09-10
US20160027188A1 (en) 2016-01-28
JP2006514366A (ja) 2006-04-27
US9177387B2 (en) 2015-11-03
TW200415527A (en) 2004-08-16
KR20050099547A (ko) 2005-10-13

Similar Documents

Publication Publication Date Title
KR100965348B1 (ko) 실시간 모션 캡처를 위한 방법 및 장치
EP1636762B1 (en) System and method for providing a real-time three-dimensional interactive environment
CN105955456B (zh) 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US7084887B1 (en) Marker layout method, mixed reality apparatus, and mixed reality space image generation method
KR101751078B1 (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법
JP5943913B2 (ja) ユーザー追跡フィードバック
US9098873B2 (en) Motion-based interactive shopping environment
US20170032577A1 (en) Real-time virtual reflection
CA3039362A1 (en) Method and system for using sensors of a control device for control of a game
KR20120051659A (ko) 비주얼 형상의 자동 생성 방법
JP2000350860A (ja) 複合現実感装置及び複合現実空間画像の生成方法
JP2000350859A (ja) マーカ配置方法及び複合現実感装置
US12148102B2 (en) Dynamic augmentation of stimuli based on profile of user
CN118170246A (zh) 虚拟场景图像的显示方法、装置、存储介质及设备
CN118512759A (zh) 虚拟空间对象的控制方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 9