KR101036403B1 - 경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출 - Google Patents

경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출 Download PDF

Info

Publication number
KR101036403B1
KR101036403B1 KR1020097006674A KR20097006674A KR101036403B1 KR 101036403 B1 KR101036403 B1 KR 101036403B1 KR 1020097006674 A KR1020097006674 A KR 1020097006674A KR 20097006674 A KR20097006674 A KR 20097006674A KR 101036403 B1 KR101036403 B1 KR 101036403B1
Authority
KR
South Korea
Prior art keywords
controller
image
image capture
picture
rotated reference
Prior art date
Application number
KR1020097006674A
Other languages
English (en)
Other versions
KR20090053845A (ko
Inventor
리처드 막스
게리 엠 잘레스키
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20090053845A publication Critical patent/KR20090053845A/ko
Application granted granted Critical
Publication of KR101036403B1 publication Critical patent/KR101036403B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Abstract

객체로부터 입력 데이터를 획득하는데 사용하는 방법은, 화상 캡쳐 장치에 의해 객체의 라이브 화상을 캡쳐하는 단계(1402), 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 객체의 경사각에 관한 정보를 수신하는 단계(1404), 객체의 경사각에 관한 정보를 이용하여 객체의 적어도 하나의 회전된 참조 화상을 획득하는 단계(1406), 객체의 회전된 참조 화상과 객체의 라이브 화상을 비교하는 단계(1408), 및 회전된 참조 화상과 일치하는 라이브 화상에 대응하는 표시를 생성하는 단계(1410)를 포함한다. 프로세서 기반 시스템에 의해 실행가능한 컴퓨터 프로그램을 저장한 기억 매체 및 장치도 개시된다.
객체, 센서, 화상 캡쳐

Description

경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출 { OBJECT DETECTION USING VIDEO INPUT COMBINED WITH TILT ANGLE INFORMATION }
본 출원은 2007년 8월 16일자 미국 특허 출원 제11/840,170호(발명의 명칭 “OBJECT DETECTION USING VIDEO INPUT COMBINED WITH TILT ANGLE INFORMATION”의 계속 출원이며, 상기 미국 특허 출원 제11/840,170호는 2006년 9월 28일자 미국 특허 출원 제11/536,559호(발명의 명칭 “MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO THE TWO-DIMENSIONAL IMAGE PLANE OF A DISPLAY SCREEN”의 CIP 출원이다. 위 두 출원에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
본 발명은 컴퓨터 엔터테인먼트 시스템에 관한 것으로, 특히 컴퓨터 엔터테인먼트 시스템에서 사용자의 제어기 조작에 관한 것이다.
컴퓨터 엔터테인먼트 시스템은 일반적으로 핸드 헬드 제어기, 게임 제어기 또는 다른 제어기를 포함한다. 사용자 또는 플레이어는 비디오 게임 또는 다른 플레이되는 다른 시뮬레이션을 조작하기 위하여 명령어 또는 다른 지시를 상기 엔터테인먼트 시스템에 전송한다. 예를 들어, 제어기는 사용자에 의하여 제어되는 조이스틱과 같은 조작 장치로 제공된다. 조이스틱의 조작되는 변수는 아날로그 값에서 디지털 값으로 변환되고, 이는 게임 기계의 주 장치로 전송된다. 제어기는 또한 사용자에 의하여 제어되는 버튼을 제공할 수 있다.
본 발명은 이러한 종래 기술과 이와 유사한 다른 종래 기술을 포함한다.
본 발명의 일 실시예에 따른 객체로부터 입력 데이터를 획득하는데 사용하는 방법은, 화상 캡쳐 장치에 의해 상기 객체의 라이브 화상을 캡쳐하는 단계; 상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하는 단계; 상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하는 단계; 상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하는 단계; 및 상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 객체로부터 입력 데이터를 획득하는데 사용하는 장치는 상기 객체의 라이브 화상을 캡쳐하도록 구성된 화상 캡쳐 장치; 및 상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하고, 상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하고, 상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하고, 상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하도록 구성된 프로세서 기반 시스템을 포함한다.
본 발명의 또 다른 실시예에 따른 프로세서 기반 시스템에 의해 실행가능한 컴퓨터 프로그램을 저장한 기억 매체에 있어서, 상기 컴퓨터 프로그램은 상기 프로세서 기반 시스템이, 화상 캡쳐 장치로부터 객체의 캡쳐된 라이브 화상을 수신하는 단계; 상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하는 단계; 상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하는 단계; 상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하는 단계; 및 상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하는 단계를 실행하도록 한다.
본 발명의 다양한 실시예의 특징 및 이점은 발명의 실시예들의 원리를 이용하는 예시적인 구성을 설명하는 이하의 상세한 설명 및 도면들을 참조하여 더욱 잘 이해될 것이다.
본 발명의 실시예에 있어 상기 및 다른 형태, 특징 및 장점은 다음 도면들과 연계하여 이하에서 기술되는 발명의 상세한 설명에서 더 명백하게 설명될 것이다.
도 1A는 본 발명의 일 실시예에 따라 동작하는 시스템을 도시하는 도면;
도 1B는 본 발명의 일 실시예에 따른 제어기의 사시도;
도 1C는 본 발명의 일 실시예에 따른 제어기의 사시도;
도 1D는 본 발명의 일 실시예에 따른 제어기의 사시도;
도 1E는 본 발명의 일부 실시예에 따른 제어기의 사시도;
도 2A는 본 발명의 일 실시예에 따른 제어기의 위치 정보를 결정하는 방식을 도시하는 도면;
도 2B는 본 발명의 일 실시예에 따른 제어기의 위치 정보를 결정하는 방식을 도시하는 화상면의 평면도;
도 3A는 본 발명의 일 실시예에 따라 정보를 획득하는 방법을 도시하는 흐름도;
도 3B는 본 발명의 일 실시예에 따라 시스템에 입력을 제공하는 방법을 도시하는 흐름도;
도 4는 본 발명의 실시예들에 따른 상술한 방법의 동작, 구성 및/또는 실행을 하는 시스템의 블록도;
도 5는 본 발명의 실시예들에 따른 상술한 방법의 동작, 구성 및/또는 실행을 하는 프로세서의 블록도;
도 6A, 6B 및 6C는 본 발명의 다른 실시예에 따라 동작하는 시스템을 도시하는 도면;
도 7은 본 발명의 일 실시예에서 시스템을 제어하는 방법을 도시하는 흐름도;
도 8은 본 발명의 다른 실시예에 따라 동작하는 시스템을 도시하는 도면;
도 9는 본 발명의 다른 실시예에 따라 동작하는 시스템을 도시하는 블록도;
도 10은 본 발명의 또 다른 실시예에 따라 동작하는 시스템을 도시하는 도면;
도 11A 및 도 11B는 본 발명의 실시예들에 따른 시스템에서 부수적으로 사용 되는 제어기를 도시하는 도면;
도 12는 본 발명의 일 실시예에서 다양한 제어 입력을 믹싱하는 시스템을 도시하는 블록도;
도 13A는 본 발명의 일 실시예에 따른 시스템을 도시하는 블록도;
도 13B는 본 발명의 일 실시예에 따른 방법을 도시하는 흐름도;
도 13C는 본 발명의 일 실시예에 따른 방법을 도시하는 흐름도;
도 14는 본 발명의 일 실시예에 따라 객체로부터 입력 데이터를 획득하는 방법을 도시하는 흐름도;
도 15는 본 발명의 일 실시예에 따라 도 14에 도시된 단계들 중 특정 단계를 도시하는 블록도; 및
도 16은 본 발명의 일 실시예에 따른 회전된 참조 화상 세트를 도시하는 블록도이다.
비디오 게임의 사용자 또는 플레이어는 일반적으로 버튼, 조이스틱 등을 조작하기 위하여 한 손 또는 양손으로 게임 제어기를 들어야한다. 게임을 플레이하는 동안 때때로, 사용자는 버튼, 조이스틱 등을 조작하면서 동시에 제어기 전체를 공중에서 움직일 수 있다. 어떠한 사용자는 제어기 전체를 공중에서 움직이는 것에 의하여 게임을 플레이하는 동안 즐거음을 얻고 게임의 동작이나 다른 측면을 제어하기 위해 시도한다.
이하에서 설명하는 방법, 장치, 구조 및 시스템의 다양한 실시예는 사용자에 의한 제어기 전체의 이동, 움직임 및/또는 조작의 검출, 캡쳐 및 트래킹에 대하여 제공된다. 검출된 사용자에 의한 제어기 전체의 이동, 움직임 및/또는 조작은 게임 또는 플레이되는 다른 시뮬레이션의 다양한 측면을 제어하는 부가적인 명령어로 사용될 수 있다.
게임 제어기 몸체의 사용자 조작의 검출과 트래킹은 다른 방향에서 구현할 수 있다. 예를 들어, 몇몇 실시예에서는 카메라 장치는 핸드 헬드 제어기의 동작을 검출하고 이를 게임상의 동작으로 전송하기 위하여 컴퓨터 엔터테인먼트 시스템에서 이용될 수 있다. 카메라는 제어기의 동작을 다수의 다른 타입으로 검출하는데 사용될 수 있으며, 예를 들어 상향 하향 이동, 비트는 움직임, 측면상의 이동, 잡아당기는 움직임, 마법봉 모션, 던지는 동작 등을 말한다. 이러한 동작은 게임 상 동작으로 전송되는 동작을 의미하는 다양한 명령어에 대응한다.
게임 제어기 몸체의 사용자 조작의 검출과 트래킹은 많은 다른 유형의 게임, 시뮬레이션 등을 구현하는데 사용될 수 있으며, 예를 들어, 사용자로 하여금 칼이나 광선검 전투에 임하도록 허용하며, 아이템 형태를 그려서 마법봉을 사용하거나, 많은 다른 유형의 스포츠 이벤트에 임하도록 하며, 화면상의 전투나 다른 충돌 등에 임하도록 한다.
도 1A를 참조하면, 본 발명의 실시예에 따라 동작하는 시스템(100)을 도시한다. 도시된 바에 따르면, 컴퓨터 엔터테인먼트 시스템 또는 콘솔(102)은 비디오 게임 또는 다른 시뮬레이션의 화상을 표시하기 위하여 텔레비전 또는 다른 비디오 디스플레이 장치(104)를 사용한다. 게임 또는 다른 시뮬레이션은 콘솔(102)에 삽입되 는 DVD, CD, 플래시 메모리, USB 메모리, 또는 다른 메모리 미디어에 저장된다. 사용자 또는 플레이어(108)는 비디오 게임 또는 다른 시뮬레이션을 제어하기 위하여 게임 제어기(110)를 조작한다.
카메라 또는 다른 비디오 화상 캡쳐 장치(112)는 제어기(110)가 카메라의 시야 범위(114)에 있도록 장치된다, 도시된 바와 같이, 카메라(110)는 비디오 디스플레이(104) 위에 위치할 수 있으나, 카메라가 다른 곳에 위치할 수 있음은 당업자에게 자명한 사항이다. 카메라(112)는, 예를 들어, 시중에서 판매되는 EyeToyTM 상품과 같은 카메라 장치로 구성될 수 있다. 그러나 다른 어떠한 형태, 브랜드의 카메라가 사용될 수 있음은 자명하며, 예를 들어 웹캠 카메라, 애드온 USB 카메라, 적외선 저장 카메라, 고속 프레임 캡쳐 비율 카메라 등이 이용될 수 있다.
다른 실시예에서, 카메라 또는 다른 화상 캡쳐 장치(112)는, 이하에서 서술되는 화상 캡쳐 유닛과 더불어, Z-카메라 또는 깊이 카메라로 구성될 수 있다. 예를 들어 이러한 Z-카메라 또는 깊이 카메라는 각 픽셀의 깊이를 제공 또는 측정하고, 및/또는 카메라로부터 픽셀의 거리를 결정할 수 있다. 여기서 서술되는 어떠한 카메라 또는 다른 화상 캡쳐 장치는 몇몇 실시예에서는 3차원 카메라의 어떠한 형태로도 구성될 수 있다.
동작하는 동안, 사용자(108)는 물리적으로 직접 제어기(110)를 이동시킨다. 즉, 사용자(108)는 물리적으로 공기 중에 전체 제어기(110)를 이동시킨다. 예를 들어, 제어기(110)는 사용자(108)에 의하여 임의의 방향으로도 이동될 수 있으며, 이 는 상, 하, 일 측면, 및 타 측면으로의 이동과, 비틀기, 굴림, 흔들림, 잡아당김, 및 던지는 움직임 등을 지칭한다. 제어기(110) 자체의 이러한 움직임은 카메라(112)가 이하에서 서술할 측면에서 화상 분석을 통한 트래킹에 의하여 검출 또는 캡쳐할 수 있다.
일반적으로, 검출되고 캡쳐된 제어기(110)의 움직임은 제어기(110)에 대한 위치 또는 방위 데이터를 생성하는데 이용된다. 이러한 데이터는 화상 프레임 단위를 기반으로 수집되기 때문에, 데이터는 제어기(110)의 움직임의 많은 물리적 측면에서 계산되어 질 수 있다. 예를 들어, 제어기(110)의 임의의 원격측정 지점(telemetry points)뿐만 아니라, 임의의 축에 대한 가속도 또는 속도, 제어기의 기울임(tilt), 던짐, 흔들림(yaw), 굴림(roll)을 의미한다.
제어기(100)의 움직임을 검출하고 트래킹하는 능력은 제어기(110)의 임의의 미리 결정된 움직임이 행해질지 여부를 결정하는 것을 가능하게 한다. 즉, 제어기(110)의 임의의 움직임 패턴 또는 제스처는 미리 정의되어 있을 수 있고, 게임 또는 다른 시뮬레이션을 위한 입력 명령으로서 사용될 수 있다. 예를 들어, 제어기(110)의 아래로 던지는 동작은 하나의 명령으로 정의되고, 제어기(110)의 비트는 제스처는 다른 명령으로 정의되며, 흔드는 제스처는 또 다른 명령으로 정의되는 것 등이다. 이러한 방법에서, 사용자(108)가 물리적으로 제어기(110) 자체를 움직이는 방식은 게임을 제어하는 다른 입력으로 이용되며, 이는 사용자에게 더 자극적이고 즐거운 경험을 제공한다. 제어기(110)를 어떻게 움직일지에 관한 예는 이하에서 서술하는 게임을 위한 명령의 입력으로 나타내어질 수 있다.
도 1B를 참조하면, 본 발명의 실시예에 따른 제어기(110)의 더욱 상세한 도면이 도시되어 있다. 제어기(110)는 몸체(111)를 포함한다. 몸체(111)는 손으로 쥐는(게임 제어기가 착용가능한 것이라면 착용하는) 게임 제어기(110)의 부분이다. 사용자에 의하여 조작되는 입력 장치는 예를 들어 제어기(110)의 버튼이나 다방향성 제어 스틱과 같은 것이다. 하나 또는 복수의 버튼은 몸체(111)에 배치된다. 몸체(111)는 손으로 쥘 수 있는 하우징을 포함한다. 하우징은 손으로 쥘 수 있는 손잡이를 포함한다. 따라서 사용자(108)가 물리적으로 제어기(110) 자체를 움직이는 과정동안, 사용자(108)는 물리적으로 제어기(110)의 몸체(111)를 움직인다. 사용자는 공기 중에서 또는 허공에서 몸체(111)를 움직인다.
게임 제어기(110)에 의해 제어되는 게임의 진행이 스크린 상에 디스플레이될 때, 몸체(111)는 스크린 쪽을 향하여 방향이 맞추어지는 전방부를 갖는다. 적어도 하나의 입력 장치는 사용자로부터 입력을 등록하기 위해 사용자에 의하여 조작되는 입력 장치와 결합된 몸체(111)로 구성된다.
하나 이상의 발광 다이오드(Light Emitted Diodes, LEDs)는 기하학적인 형태로 몸체에 배치된다. 또는 다른 형태의 광학 검출(Photonically detectable, PD) 소자가 몸체(111)에 배치될 수 있다. 전방부가 적어도 일반적으로 스크린을 향하여 방향이 맞추어질 때, 광학 검출 소자의 위치는 화상 캡쳐 장치에 의하여 기록되는 화상 내에 위치한다. 이때 다른 지점에서 PD 소자의 위치들은 공간상에서 몸체(111)의 움직임을 한정할 수 있을 정도로 정량화될 수 있다.
본 실시예에서, 제어기(110)는 4개의 발광 다이오드(LEDs, 122, 124, 126, 128)를 포함한다. 도시된 바와 같이, 4개의 LED(122, 124, 126, 128)는 대체로 원형 또는 사각형 패턴으로 배열되며, R1 버튼과 L1 버튼 사이의 제어기(110)의 연결부에 위치한다. 즉, 본 실시예에서 기하학적 형태는 대체로 원형 또는 사각형 패턴으로 구성된다. 4개의 LED(122, 124, 126, 128)에 의하여 형성된 원형 또는 사각형 패턴은 이하에서는 LED에 의하여 형성된 “바운딩 박스”로 지칭한다.
기하학적 형태가 많은 다른 형태를 포함할 수 있다는 것은 자명하다. 예를 들어, 기하학적 형태는 다른 선형 또는 2차원 패턴을 형성할 수 있다. LED들의 선형 배열이 선호됨에도 불구하고, 화상 캡쳐 장치에 의하여 얻어지는 LED 패턴의 화상을 분석할 때 LED 배열의 화상면의 결정을 촉진하기 위하여, LED들은 선택적으로 사각형 패턴 또는 아치형 패턴으로 배열될 수 있다.
도시된 제어기의 실시예가 4개의 LED들을 활용하는 반면, 다른 실시예에서는 4개보다 많거나 또는 4개보다 적은 LED가 활용될 수 있음은 자명하다. 예를 들어, 3개의 LED가 동작하고, 2개의 LED가 또한 트래킹 정보를 위하여 제공될 수 있다. 심지어 하나의 LED가 위치 정보를 위하여 제공될 수 있다. 더욱이, LED들은 제어기(110)의 다른 부분에 위치할 수 있다.
LED들은 다양한 방법으로 제어기(110)에 위치하거나 배치될 수 있으며, 이는 클러스터, 선, 삼각형, 및/또는 다른 어떠한 구성을 포함한다. 하나의 LED가 사용되거나 다수의 LED들이 사용될 수 있다. 하나의 구성으로, 다수의 LED들인 경우에, LED들을 연결하는 형태의 평면은 제어기의 방향에 따라서 기울어질 수 있다. 제어기의 실제 방향은 제어기 방향을 결정하기 위하여 화상면에서 수신된 데이터의 변 환을 수행함으로써 결정될 수 있다. 부가적 또는 선택적으로, LED들은 제거, 부착, 및/또는 분리 가능하다. 예를 들어, LED들은 몸체(111)로부터 분리 가능한 판 또는 별도의 케이스에 포함될 수 있다.
도 1C를 참조하면, 본 발명의 실시예에 따라 제작된 제어기(110)의 형태를 도시하는 사시도이다. 제어기(110)는 몸체(111), LED들의 클러스터 또는 배열(122, 124, 126 및 128)을 포함한다. 도시된 바와 같이, 4개의 LED(122, 124, 126, 128)들은 대체로 선형 패턴으로 배열되고, R1 버튼과 L1 버튼 사이의 제어기(110)의 연결부에 위치한다. 즉, 본 실시예에서 기하학적 형태는 대체로 선형 형태를 포함한다. 본 실시예에서는 이에 덧붙여, 하나 이상의 적외선 LED들을 이용하여 구성될 수 있다. 예를 들어, 적외선 LED들은 가시광선 LED와 쌍으로 연결될 수 있다. 예를 들어, 가시광선 LED는 플레이어 ID를 표시할 수 있다. 일부 구현예에서, LED들은 적외선 LED들과 가시광선 LED 모두를 통과시키는 작은 윈도우를 통해 세어나오는 적외선 LED들과 함께 표면 실장될 수 있다.
도 1D를 참조하면, 본 발명의 실시예에 따른 제어기(110)의 형태를 도시한다. 제어기(110)는 몸체(111)와 통신 인터페이스 및/또는 포트(132)를 포함한다. 본 실시예에서 인터페이스는 제어기가 트래킹 장치 및/또는 콘솔(102)과 연결되도록 구성된다. 적어도 부분적으로 트래킹 장치는 광학, 오디오, 및/또는 관성에 의하여 제어기(110)의 움직임을 검출할 수 있도록 한다. 인터페이스(132)는 대체로 다른 관련된 통신 인터페이스일 수 있으며, USB(Universal Serial Bus), UART(Universal Asynchronous Receiver Transmitter), 및/또는 다른 어떠한 관련된 인터페이스도 가능하다. 인터페이스(132)는 대체로 제어기(110)의 어떠한 부분에도 위치할 수 있다. 도시된 바와 같이, 인터페이스(132)는 R1 버튼과 L1 버튼 사이의 제어기(110)의 연결부에 위치한다.
도 1E를 참조하면, 본 발명의 실시예에 따른 제어기(110)의 사시도를 도시한다. 제어기(110)는 몸체(111), R1 버튼, L1 버튼, 하나 이상의 LED들(122, 124, 126 및 128), 인터페이스(132, 예를 들어 USB 인터페이스), 다른 관련된 버튼, 표시기 등을 포함할 수 있다. LED들(122, 124, 126 및 128)은 선형 패턴으로 도시되어 있으나, 상술하거나 이하에서 서술하는 바와 같이 다른 어떠한 패턴으로 구현될 수 있다. 또한, 일부 구현예에서, LED 및/또는 인터페이스(132)는 제거, 부착, 분리 가능하다.
4개의 LED들(122, 124, 126 및 128)은 카메라(도 1A 참조)에 의하여 인식되는 4개의 지점 또는 점을 형성한다. 카메라(112)는 손에 제어기(110)를 가진 플레이어(108)를 주시하기 때문에, 카메라(112)는 4개의 LED들(122, 124, 126 및 128)이 형성하는 점의 움직임과 그것들이 형성하는 바운딩 박스를 트래킹함에 의하여, 제어기(110)의 움직임을 트래킹할 수 있다.
다시 말해, 사용자(108)가 제어기 몸체(110)를 비틀거나 회전함에 따라, 4개의 점의 투영이 카메라(112) 출력의 화상면에 투영된다. 화상 분석은 제어기의 사용자 조작을 트래킹하고 제어기의 위치와 방향을 결정하기 위해 이용된다. 즉, 4개의 LED들(122, 124, 126 및 128)은 몸체의 이동에 따라서 정보를 생성한다. 1개 또는 2개의 제어기의 위치가 결정될 수 있으며, 2개의 제어기의 관련된 움직임이 트 래킹될 수 있다.
도 2A는 제어기의 움직임을 트래킹하기 위하여 바운딩 박스를 이용하는 방법을 예시하는 도면이다. 특히 제어기와 4개의 LED들(122, 124, 126 및 128)은 카메라(112)의 시야(114)에 위치한다. 4개의 LED들(122, 124, 126 및 128)은 제어기가 제 1 위치에 있을 때, 하나의 바운딩 박스(202)를 형성한다. 제어기가 제 2 위치로 이동한 경우, 4개의 LED들(122, 124, 126 및 128)은 두 번째 바운딩 박스(204)를 형성한다. 또한, 제어기(110)가 제 1 위치에서 제 2 위치로 이동할 때, 바운딩 박스의 매개 위치 또한 캡쳐되며, 이는 움직임의 속도와 카메라(112)의 프레임 비율에 의존한다.
4개의 LED들(122, 124, 126 및 128)에 의하여 형성된 바운딩 박스(202, 204)는 카메라의 화상면에 캡쳐된다. 도 2B는 바운딩 박스(202, 204)를 표시하고 있는 카메라(112)의 화상면(220)을 예시하는 도면이다. 물리적 분석은 바운딩 박스의 움직임과 바운딩 박스의 직사각형이 제어기의 기울임 흔들림 등에 의하여 어떻게 다른 형태로 변형되는지를 유도하거나 결정하기 위해 실행된다. 화상면에 바운딩 박스를 투영함에 의하여, 제어기의 위치, 방향, 가속도, 속도 등이 결정될 수 있으며, 이는 차례로 게임 제어기의 사용자의 조작을 트래킹하는데 이용된다.
도 3A를 참조하면, 본 발명의 실시예에 따라 제어기로부터 정보를 수집하는 방법을 도시한다. 방법(300)은 많은 다른 유형의 시스템이나 장치에 의하여 실행되고 수행되며, 예를 들어, 엔터테인먼트 시스템, 콘솔, 컴퓨터, 사용자 전자 장치 등을 지칭한다. 방법(300)이 수행되는 시스템의 예는 이하에서 설명한다,
방법(300)은 단계 302에서 제어기에 의하여 형성된 기하학적 형태의 투영을 카메라의 화상면에서 수신하면서 개시된다. 이 단계는 이미 상술한 바에 따라 수행될 것이다.
단계 304에서 기하학적 형태의 투영의 움직임과 변형이 분석된다. 즉, 바운딩 박스의 4개의 점이 트래킹되고 분석된다. 제어기의 위치 방향, 기울임, 흔들림, 굴림 등을 결정하기 위한 4개의 기준점의 조작을 분석하기 위해, 카메라 출력의 화상면에서 필드와 프레임 분석이 수행된다. 또한, 제어기의 가속이 특정 방향으로 트래킹된다. 화상 프레임의 분석은 특정 축을 따라서 가속이 주어질 수 있다. 제어기의 원격측정 지점이 또한 계산된다. 또한, 제어기가 휴지 위치나 휴지 상태에 위치하는지 여부를 결정하며, 이는 예를 들어 제어기가 중립 위치에 있는지, 또는 사용자 허리 근처의 정적인 위치에 있는지 등이다.
제어기가 회전할 때, 화상은 평면상에서 번역된다. 바운딩 박스의 직사각형 폭에서의 변화는 제어기가 회전하고 있다는 것을 나타낸다. 제어기의 흔들림이 조정된 경우, 직사각형의 폭이 변한다. 흔들림은 직사각형의 폭에 매핑된다. 제어기의 기울임은 직사각형의 높이에 영향을 미친다.
예를 들어, 바운딩 박스(202, 도 2B)는 제어기가 처음에 카메라를 향해서 정면으로 위치하고 있다는 것을 나타낸다. 바운딩 박스(204)는 제어기가 다음으로 아래로 움직이고, 회전했으며, 사용자가 왼쪽으로 돌았음을 의미한다.
화상면은 단지 변형된 직사각형을 보여주기 때문에, 제어기가 어떤 “그라운드 평면”의 측면에 위치하는지를 알기가 어렵다. 예를 들어, 이는 사용자가 제어 기를 조작하고 수평축으로 반대방향으로 같은 거리를 이동시킬 때, 그때 한 사람이 앞으로 걸어가 카메라를 방해하는 경우 발생할 수 있는 문제이다. 이는 바운딩 박스가 화상면상에서 같은 모양으로 보이게 한다. 이는 또한 제어기가 화상 캡쳐 장치의 시야 바깥으로 이동하는 경우 발생한다.
즉, 변형이 양 또는 음의 기울임이나 회전(양 또는 음은 정적인 원 상태로부터 상/하, 좌/우 움직임과 연관된다.)에 의하여 발생하는지 여부에 관하여 결정될 필요가 있다. 이는 트래킹 목적으로 바운딩 박스 직사각형의 각각의 모서리를 결정하기 위하여 제어기로부터 다른 원격 측정법을 적용하여 해결하거나, 비디오 분석 시스템을 동작하기 위하여 LED를 측정하거나 조절함에 의하여 해결할 수 있다. LED는 바운딩 박스의 다른 모서리를 분별하기 위하여 측정되거나 조절된다. 또는 각각의 LED는 바운딩 박스의 다른 모서리를 분별하기 위한 고유의 주파수를 가지고 있다. 바운딩 박스의 각 특정 모서리 즉 LED를 분별함에 의하여, 제어기가 이 경우 어떤 위치에서 존재하는 수평선 상의 위치를 결정할 수 있다. 이러한 방법으로 카메라 평면을 통해 지나가는 제어기에 의하여 발생하는 문제점은 제어될 수 있다.
스크린 상에서 바운딩 박스의 움직임과 회전의 트래킹은 프레임 단위의 분석에 기반하고 있다. 카메라의 출력은 화상 데이터의 프레임을 만든다. 바운딩 박스의 투영은 소프트웨어적으로 캡처된다. 프레임간의 제어기의 움직임은 박스의 번역에 기반한다.
높은 프레임 비율의 사용은 제어기가 가속 운동 중 일 때 가속과 변화를 정확히 트래킹하는 능력을 제공한다. 즉, 높은 비율에서 평면상의 화상을 투영함에 의하여, 제어기의 델타 움직임이 측정될 수 있다. 이는 가속도를 그래프화하여, 가속도가 최대가 되는 지점, 중력이 0이 되는 지점, 굴곡이 발생하는 지점을 검출할 수 있는 능력을 제공한다. 굴곡이 발생하는 지점은 제어기가 멈추었다가 방향을 바꾼 변화 지점이다. 이 모든 분석은 화상 프레임을 분석하고 바운딩 박스의 위치와 변화를 결정함에 의하여 수행된다. 예를 들어, 초당 120 프레임 또는 이 이상의 프레임 비율이 사용될 수 있으며, 다른 어떠한 프레임 비율이 사용될 수 있음은 자명하다.
이하에 기술되는 바와 같이, 이전 프레임들의 내역이 매핑될 수 있다. 이는 제어기의 이전의 원격측정이 트래킹 가속도, 속도, 및 중지 지점 등의 특정 파라미터를 결정하는데 이용될 수 있게 한다.
단계 306(도 3A)에서, 제어기에 대한 위치 정보는 기하학적 형태의 투영에서 움직임과 변형의 분석에 기초하여 결정된다. 예를 들어, 화상 분석기는 단계 304와 단계 306 중 하나 또는 두 단계 모두를 수행할 것이다. 즉, 화상 분석기는 카메라 화상면에서 바운딩 박스의 움직임과 변형의 분석을 수행하기 위해 이용된다. 비디오 카메라의 출력은 화상 분석기의 입력과 연결된다. 하나 이상의 방법, 구조, 기능을 구현하기 위하여 화상 분석기를 혼합한 시스템의 예는 이하에서 보다 상세히 설명된다.
화상 분석기는 카메라의 화상면에서 기준 LED를 캡쳐함으로써 형성된 바운딩 박스를 모니터링한다. 화상 분석기는 제어기의 물리적인 사용자 조작, 위치, 회전, 기울임, 흔들림 동작을 결정하기 위하여, 바운딩 박스의 위치, 회전, 수평 및 수직 변형을 분석한다. 화상 분석기의 종료시, 데이터가 출력 ID 등의 형태로 출력된다. 화상 분석기로부터의 이러한 출력 ID는 x, y, z 좌표축, 임의의 축과 관련된 가속도와 속도 등의 데이터 즉, 제어기가 휴지 위치나 상태에 있는지를 나타내는 데이터를 포함할 수 있다. 즉, 화상 분석기의 종료시, 화상 분석기는 제어기가 어디에 있는지, 명령어가 입력되었는지 여부를 나타낼 수 있다. 화상 분석기가 특정 시간에서 작동하고, 위치, 방향, 마지막 명령어 등을 제공한다.
예를 들어, 화상 분석기는 아래와 같은 출력을 제공할 수 있지만, 반드시 아래와 같이 제한되는 것은 아니다.
CONTROLLER POSITION (X, Y, X coordinates);
CONTROLLER OPERATION alpha, beta, gamma (radians);
CONTROLLER X-AXIS VELOCITY;
CONTROLLER Y-AXIS VELOCITY;
CONTROLLER Z-AXIS VELOCITY;
CONTROLLER X-AXIS ACCELERATION;
CONTROLLER Y-AXIS ACCELERATION;
CONTROLLER Z-AXIS ACCELERATION;
RESTING POSITION OF STEADY STATE Y/N (at waist as described, but may be defined as any position);
TIME SINCE LAST STEADY STATE;
LAST GESTURE RECOGNIZED; and
INTERRUPT ZERO-ACCELERATION POINT REACHED.
이러한 출력 각각은 상술한 바운딩 박스의 움직임과 변형을 분석함에 의하여 생성된다. 이러한 출력은 또한 제어기의 움직임을 트래킹하기 위하여 처리된다. 이러한 트래킹은 인지된 제어기의 특정 움직임을 허용하며, 이는 아래 서술되는 바에 의하여 특정 명령어를 유발한다. 위에 나열된 출력을 대체하거나 부가하여 다른 어떠한 출력이 사용될 수 있음은 자명하다.
부가적으로 화상 분석기의 입력은 부차적으로 제공된다. 이러한 부차적인 입력은 아래와 같으며 이에 한정되지 않는다.
SET NOISE LEVEL (X, Y or Z AXIS) (this is a reference tolerance when analyzing jitter of hands in th game);
SET SAMPLING RATE (how often frmes of the camera are being taken in and analyzed);
SET GEARING; and
SET MAPPING CHAIN.
상술한 바와 같이, 제어기(110)의 움직임을 검출하고 트래킹하는 기능은 제어기의 소정의 움직임을 수행하는지 여부를 결정하는 것을 가능하게 한다. 즉, 제어기(110)의 특정 움직임 패턴 또는 제스처는 게임 또는 다른 시뮬레이션을 위한 입력 명령으로 매핑된다.
도 3B를 참조하면, 본 발명의 실시예에 따른 시스템에 입력을 제공하는 방법(320)을 도시한다. 방법(320)은 시스템에서 제어기의 위치 정보가 결정되는 단계 322에서 시작된다. 이 단계는 상술한 방법과 기술을 이용하여 수행된다.
단계 324에서, 제어기의 결정된 위치 정보는 명령과 관련된 미리 결정된 위치 정보와 비교된다. 즉, 제어기의 많은 다른 움직임, 제스처, 또는 조작은 다양한 명령으로 매핑된다. 이는 제어기의 다른 움직임, 제스처 또는 조작이 게임 모델로 매핑되도록 한다. 예를 들어, 제어기를 위로 움직이는 것은 하나의 명령이며, 제어기를 아래로 움직이는 것도 다른 명령이고, 제어기를 다른 어떠한 방향으로 움직이는 것은 또 다른 명령으로 매핑된다.
이와 유사하게, 제어기를 한 번 흔드는 것은 하나의 명령으로 매핑되고, 제어기를 두 번 흔드는 것은 다른 명령으로 매핑되며, 3번, 4번, 5번 흔드는 것 등 역시 또 다른 명령으로 매핑된다. 즉, 다양한 제스처는 특정 횟수만큼 제어기를 흔드는 것에 기초하여 결정될 수 있다. 다른 제스처는 특정 횟수만큼 제어기를 상하로 움직임에 기초하여 결정될 수 있다. 제어기의 다른 움직임, 즉 비틀기, 굴리기 등은 역시 다른 명령으로 매핑될 수 있다.
즉, 다양한 게임 제어기의 궤적은 제스처로 매핑되고, 이는 게임상에서 명령으로 유발된다. 각 명령은 제어기의 미리 결정된 움직임으로 매핑된다. 이러한 제어기의 미리 결정된 움직임은 미리 결정된 위치 정보와 관련된다. 본 실시예에서 제어기의 결정된 위치 정보는 명령이 유발된다면 나타나는 미리 결정된 위치 정보와 비교된다.
예를 들어, 이러한 제스처의 게임 명령으로의 매핑은 아래와 같이 구현될 수 있다. 화상 분석기의 출력은 제어기의 위치와 방향 정보를 결정하는데 사용된다. 화상 분석기는 제어기의 위치와 방향을 지시하는 다양한 ID들을 출력한다. 예를 들어, 하나의 ID는 정적 상태 결정을 위한 출력이고, 다른 ID는 제어기의 흔들림을 지시하기 위한 출력이며, 다른 다양한 ID는 다른 방향을 지시하기 위한 출력이다. 즉 이러한 ID들의 사용은 제어기가 정적인 상태에 있는지 또는 움직이고 있는지를 출력하기 위하여 사용된다. 제어기가 정적인 상태에 있다면, 하나의 ID는 제어기가 얼마나 오래 정적인 상태에 있는지 지시한다.
제어기에 대하여 결정된 위치와 방향 정보는 게임을 위한 입력 명령과 관련된 미리 결정된 위치 정보와 비교된다. 결정된 위치 정보가 명령에 대하여 미리 결정된 위치 정보와 일치한다면, 엔터테인먼트 시스템으로 명령이 제공된다. 다시 말해, 제어기를 위 또는 아래로 누르거나, 원형, 좌, 우로 비틀거나, 위 아래로 밀면서 비틀거나, 오른쪽 또는 왼쪽으로 굴리는 등과 같은 다양한 제스처는 모두 다양한 명령으로 매핑될 수 있다.
새로운 명령이나 제스처가 인식될 때, 화상 분석기는 인터럽트를 유발한다. 이러한 인터럽트의 유발은 엔터테인먼트 시스템으로의 명령을 제공하는 과정의 하나의 부분으로 사용된다. 축 상에서 가속도가 0인 지점, 중지 지점, 및/또는 다른 어떠한 이벤트가 인터럽트를 유발하도록 시스템은 부차적으로 설정될 수 있다.
일치하는지를 알기 위해 입력 명령과 관련된 미리 결정된 위치 정보와 결정된 위치 및 방향을 비교할 때, 때때로 정확하게 일치하지 않는 경우가 있다. 이는 자유 공간에서 제어기의 움직임을 가지고 미리 결정된 움직임을 정확하게 재생성하는 것이 어렵기 때문이다. 그러므로 입력 명령들과 관련된 미리 결정된 위치 정보는 거리, 오차 허용도, 및/또는 명령을 활성화하기 위하여 미리 결정된 위치 정보에 근접하다고 판단될 정도의 임계치의 단위로 정의된다. 즉, 입력은 임계치 또는 거리의 개념으로 정의될 수 있다. 따라서 임의의 명령 또는 제스처가 인식되었는지 여부를 결정함에 있어, 시스템은 결정된 위치와 방향 정보가 제스처의 범위 내에 위치하는지 여부를 체크한다. 따라서 정의된 명령은 명령을 발생시킬지 여부를 결정하기 위하여 임계치를 갖는다.
나아가, 일치하는지를 알기 위해 입력 명령과 관련된 미리 결정된 위치 정보와 결정된 위치 및 방향을 비교할 때, 이전 프레임의 내역들이 저장되거나 매핑된다. 예를 들어, 프레임 버퍼가 모니터링 되거나, 아니면 시스템이 이전 프레임의 내역의 기록을 실행할 수 있다. 이전 프레임들은 어떠한 명령이 대응되는지 결정하기 위하여 이용될 수 있다. 프레임 내역의 매핑은 명령이 대응되는지 결정함에 있어 위치 방향을 제공하기 위하여 결정되는 특정한 시간에서 제어기의 원격 측정을 허용한다.
마지막으로 단계 326에서 제어기에 대한 결정된 위치 정보와 명령에 대한 미리 결정된 위치 정보가 일치한다면, 명령은 시스템으로 제공된다. 이러한 명령은 비디오 게임 또는 다른 시뮬레이션에서 이벤트가 발생하거나 또는 발생하지 않도록 하기 위해 사용된다.
다른 실시예에서, 게임 제어기의 움직임은 게임 명령으로 매핑되며, 이는 비 디오 게임을 예로 들 수 있다. 비디오 게임 또는 다른 시뮬레이션에서 이용되는 이러한 방법을 이용하여, 사용자에 의하여 조작되는 제어기의 위치 정보는 수신되고, 이러한 위치 정보는 명령과 관련된 제어기의 미리 결정된 움직임이 수행되는지 여부를 결정하기 위하여 분석된다. 명령과 관련된 제어기의 미리 결정된 움직임이 수행된다면, 게임상에서 명령이 실행된다. 명령의 실행은 게임이 표시되고 있는 비디오 디스플레이 상에서 발생하는 시각적 효과 또는 이와 유사한 것을 유발한다.
이하에서 설명하는 바는 게임 또는 다른 엔터테인먼트 시스템에서 제어기의 LED의 사용과 연관되며, 이하에서 개시된 바는 시스템, 장치, 사용자 전자기기 등 다른 어떠한 종류에서 제어기의 움직임을 검출하고 트래킹하기 위하여 제공된다. 즉, 상술한 게임 제어기의 LED는 사용자 전자기기 또는 다른 장치에서 원격 제어 기능을 수행하기 위하여 이용된다. LED들은 시스템과 장치를 위한 명령에 매핑되는 제어기의 움직임을 검출하고 트래킹하기 위하여, 많은 다른 시스템과 장치의 제어기에 사용된다. 그러한 시스템과 장치의 예는 텔레비전, 스테레오, 전화기, 컴퓨터, 가정용/사무용 네트워크, 핸드-헬드 컴퓨팅 또는 통신 시스템 등을 지칭하며, 이에 한정되지 않는다.
더욱이, 이하에서 개시된 내용은 다양한 다른 장치를 제어하기 위한 기능이 있는 범용 원격 제어기를 제공한다. 즉, 이러한 범용 원격 제어기는 LED들을 포함하며, 이하에서 범용 원격 제어기의 움직임은 많은 다른 장치와 시스템을 위한 입력 명령으로 사용된다.
또한, 게임 제어기는 범용 원격 기능을 갖는다. 예를 들어, 게임 제어기는 게임 제어기에 의하여 제어되는 게임의 진행이 스크린 상에 디스플레이될 때, 스크린 쪽을 향하여 방향이 맞추어지는 전방부를 갖는 몸체로 구성된다. 적어도 하나의 입력 장치는 사용자로부터의 입력을 등록하기 위하여 사용자에 의하여 조작되는 입력 장치를 갖는 몸체로 구성된다. 신호 인코더도 포함된다. 신호 인코더에 의하여 생성된 신호를 이용하여 공기 중으로 적외선 신호를 송신하도록 동작하는 적외선 신호 송신기도 포함될 수 있다. 신호 인코더는 신호를 적외선 신호 수신기를 갖는 전자 장치에 의해 수신되는 복수의 신호 코드 중 선택된 하나의 신호 코드로 인코딩하도록 프로그래밍이 될 수 있고, 상기 전자 장치는 상기 선택된 하나의 신호 코드를 가지고 동작하는 신호 디코더를 포함한다.
또한, 장난감(상표가 붙혀진 게임의 형태나 스타일로 만들어진 장난감들을 포함한다)을 동작하게 하는 배터리는 LED들을 가지고 형성될 수 있고, 감지된 환경에서 트래킹된 사용자가 몸체를 조작하도록 형성될 수 있다.
다른 실시예에서, 화상 분석기는 사용자를 인식하거나, 오디오 인식 제스처 등을 처리할 수 있다. 사용자는 제스처를 통한 시스템에서 분석기에 의하여 인식될 수 있으며, 제스처는 사용자에 의하여 특정될 수 있다. 제스처는 사용자에 의하여 기록되며, 모델들에 저장된다. 재기록 과정은 부차적으로 제스처의 재기록 과정 동안 생성되는 오디오를 저장한다. 감지된 환경은 다채널 분석기로 샘플링되어 처리된다. 프로세서는 제스처 모델들을 참조하여 고도의 정확도와 성능으로 목소리나 음향 패턴에 기초한 사용자 신원 또는 객체를 결정한다.
본 발명의 실시예에 따르면, 이하에 개시되는 방법과 기술이 도 4에 도시된 신호 처리 장치(400)로서 구현된다. 장치(400)는 프로세서(401)와 메모리(402)(예를 들어, RAM, DRAM, ROM 등)를 포함한다. 또한, 신호 처리 장치(400)는 병렬 처리를 위하여 구현되는 프로세서(401)가 다수개 구현될 수 있다. 메모리(402)는 상술한 바와 같이 설정된 데이터와 코드가 포함될 수 있다. 신호 처리 장치(400)는 시스템에 기초한 프로세서의 예로서 구성된다.
특히 메모리(402)는 신호 데이터(406)를 포함한다. 메모리는 또한 보정 데이터(408)를 포함하며, 보정 데이터는 마이크로폰 어레이(422)의 보정을 통해 얻어진 하나 이상의 대응되는 사전 보정 청취 영역에 대하여 하나 이상의 역 고유 행렬 C-1을 나타낸다. 예를 들어 메모리(402)는 마이크로폰 어레이(422)를 포함하는 18개의 20차 섹터를 위한 고유 행렬을 포함한다.
장치(400)는 또한 일반적인 지원 기능들(410)을 포함할 수 있으며, 이는 입/출력(I/O) 부품(411), 전원 공급 장치(P/S, 412), 클록(CLK) 장치(413), 캐쉬(414)를 지칭한다. 장치(400)는 부차적으로 디스크 드라이브, CD-ROM 드라이브, 테이프 드라이브, 또는 유사한 프로그램이나 데이터를 저장하는 장치와 같은 대용량 저장 장치(415)를 포함할 수 있다. 예를 들어, 이러한 저장 장치 또는 저장 매체는, 시스템에서 이하에서 설명되는 방법 및/또는 기술의 하나 이상의 단계를 실행하도록 하기 위하여, 장치 또는 시스템에 기초한 다른 프로세서에 의하여 실행되는 하나 이상의 컴퓨터 프로그램을 저장한다. 제어기는 부차적으로 디스플레이 유닛(416), 제어기(400)와 사용자 사이의 상호 작용을 촉진하는 사용자 인터페이스 유닛(418) 을 포함한다. 디스플레이 유닛(416)은 텍스트, 숫자, 시각적인 심벌과 화상을 표현하는 음극선관(Cathode ray tube, CRT) 또는 평면 패널 스크린의 형태일 수 있다. 사용자 인터페이스(418)는 키보드, 마우스, 조이스틱, 광전펜(LIGHT PEN), 또는 다른 장치일 수 있다. 또한, 사용자 인터페이스(418)는 마이크로폰, 비디오 카메라, 또는 분석하기 위하여 신호를 직접 캡쳐하는 다른 신호 변환 장치를 포함할 수 있다. 프로세서(401), 메모리(402) 그리고 시스템(400)의 다른 부품은 도 4에 개시된 바와 같이 각각에 대응되는 시스템 버스(420)를 통해 신호를 교환한다.
마이크로폰 어레이(422)는 I/O 장치들(411)을 통해 장치(400)와 연결된다. 마이크로폰 어레이는 약 2개에서 8개의 마이크로폰을 포함하며, 바람직하게는 4센티미터보다 짧은 간격으로 인접하는 4개의 마이크로폰으로 구성되며, 더 바람직하게는 1센티미터에서 2센티미터 사이의 간격으로 인접한다. 바람직하게는, 어레이(422)에 포함된 마이크로폰은 전 방향성 마이크로폰이다. 디지털 카메라 같은 부차적인 화상 캡쳐 유닛(423)은 I/O 장치들(411)을 통해 장치(400)와 연결된다. 카메라와 기계적으로 연결된 하나 이상의 포인팅 작동기(425)는 I/O 장치들(411)을 통해 프로세서(401)와 신호를 교환한다.
상술한 바와 같이, 본 실시예에서, 부차적인 화상 캡쳐 유닛(423)은 상술한 카메라와 같은 장치뿐만 아니라 어떠한 형태의 카메라 또는 발광을 검출할 수 있는 능력을 가진 센서를 포함할 수 있다. 예를 들어, 본 실시예에서, 부차적인 화상 캡쳐 유닛(423)은 Z-카메라, 깊이 카메라, 다른 어떠한 형태의 3차원 카메라로 구성될 수 있다. 예를 들어 이러한 Z-카메라 및 깊이 카메라는 픽셀 간 깊이를 측정하 거나 제공하고, 및/또는 카메라로부터 픽셀의 거리를 결정한다.
이하에서 I/O는 일반적으로 데이터를 시스템(400)으로부터 또는 시스템(400)으로 전송하거나, 데이터를 다른 부가 장치로부터 또는 다른 부가 장치로 전송하는 어떠한 프로그램, 과정, 또는 장치로 지칭한다. 모든 데이터는 하나의 장치의 출력이면서 동시에 다른 장치의 입력으로 간주된다. 부가 장치는 키보드와 마우스 같은 입력만 되는 장치와, 프린터와 같은 출력만 되는 장치뿐만 아니라, 입력과 출력이 모두 가능한 리라이터블 CD-ROM과 같은 장치를 포함한다. “부가 장치”라는 개념은 마우스, 키보드, 프린터, 모니터, 마이크로폰, 게임 제어기, 카메라, 외부 ZIP 드라이브, 스캐너와 같은 외부 장치뿐만 아니라, CD-ROM 드라이브, CD-R 드라이브, 내장 모뎀, 또는 플래시 메모리 리더기/라이터기, 하드 드라이브 같은 내부 장치를 포함한다.
본 발명의 특정 실시예에 있어서, 장치(400)는 비디오 게임 유닛이며, 이는 USB케이블과 같은 유선을 통하거나 무선으로 I/O 장치(411)를 경유하여 프로세서와 연결된 조이스틱 제어기(430)를 포함한다. 조이스틱 제어기(430)는 아날로그 조이스틱 제어기(431)와 비디오 게임의 실행 중 보편적으로 사용되는 제어 신호를 제공하는 일반적인 버튼(433)을 포함한다. 이러한 비디오 게임은 대용량 저장 장치(415)와 관련된 하나의 메모리(402) 또는 다른 프로세서가 읽을 수 있는 매체에 저장된 데이터 및/또는 명령어로서 구현된다.
조이스틱 제어기(431)는 일반적으로 좌우로 제어 스틱을 움직여서 X축에 따른 움직임을 신호화하고, 앞뒤로 제어 스틱을 움직여서 Y축에 따른 움직임을 신호 화한다. 3차원적 움직임을 위하여 설정된 조이스틱에서, 스틱을 좌측(반시계 방향)으로 비틀거나, 우측(시계 방향)으로 비틀어서 Z축 상의 움직임을 신호화한다. 이러한 3개의 축(X, Y, Z)은 경우에 따라 각각 롤(roll), 피치(pitch) 그리고 요(yaw)로 표현되며, 특히 이는 비행기에 관련된 경우이다.
종래의 특징에 더해, 조이스틱 제어기(430)는 하나 또는 그 이상의 센서들(432)을 포함할 수 있으며, 이는 내부 신호를 통해 프로세서(401)로 위치 및/또는 방향 정보를 제공한다. 방향 정보는 조이스틱 제어기(430)의 틸트(tilt), 롤(roll), 요(yaw)와 같은 각도와 관련된 정보를 포함한다. 예를 들어, 관성 센서(432)는 다수의 및/또는 조합된 형태의 가속도계, 자이로스코프, 또는 기울기 센서를 포함할 수 있다. 바람직하게는, 관성 센서들(432)은 틸트와 롤축에 관한 조이스틱 제어기의 방향을 감지하는데 사용되는 기울기 센서를 포함하며, 요축을 따라 가속도를 측정하는 제 1 가속도계와 요축을 따라 각가속도를 측정하는 제 2 가속도계를 포함한다. 가속도계는, 하나 이상의 방향과 관련된 덩어리(mass)의 변위를 감지하기 위하여, 센서와 함께 하나 이상의 스프링들에 의하여 실장되는 덩어리(mass)를 포함하는 MEMS 장치로서 구현된다. 덩어리의 변위에 의존하는 센서로부터의 신호는 조이스틱 제어기(430)의 가속도를 결정하는데 이용된다. 이러한 기술은 메모리(402)에 저장되고 프로세서(401)에 의하여 실행되는 프로그램 코드 명령어(404)에 의하여 구현된다.
예를 들어 관성 센서(432)로 적절한 가속도계는 프레임에서 3개 또는 4개의 지점과 스프링 등에 의하여 탄력적으로 연결된 하나의 덩어리일 수 있다. 피 치(pitch) 및 롤(roll) 축은 조이스틱 제어기(430)에 실장된 프레임을 연결하는 평면에 위치한다. 프레임(및 조이스틱 제어기(430))이 피치(pitch) 및 롤(roll) 축을 따라 회전함에 의하여, 덩어리는 중력의 영향 아래 옮겨지며, 스프링은 피치(pitch) 및/또는 롤(roll)의 각도에 의존하여 길어지거나 압축된다. 덩어리의 변위는 감지되고, 피치(pitch) 및/또는 롤(roll)의 양에 의존하여 신호로 변환된다. 요(yaw)축에 따른 각 가속도 또는 요(yaw)축에 따른 선형 가속도는 또한, 스프링의 압축 및/또는 신장의 패턴을 생성하거나, 각 가속도 또는 선형 가속도에 의존하는 감지되고 신호로 변환될 수 있는 덩어리의 움직임을 생성할 수 있다. 이러한 가속도계는 요(yaw) 축을 따라 틸트, 롤 각 가속도를 측정할 수 있으며, 덩어리의 움직임 또는 스프링의 압축과 신장의 움직임을 트래킹하여 요(yaw) 축을 따라 선형 가속도를 측정할 수 있다. 덩어리의 위치 및/또는 그것에 가해진 힘을 트래킹하는 많은 다른 방법이 존재하며, 이는 내변형 측정기(resist strain gauge material), 광전자 센서, 자기 센서, 홀 효과 장치, 압전(piezoelectric) 장치, 저장형 센서 등을 포함한다.
또한, 조이스틱 제어기(430)는 하나 이상의 발광 다이오드(LED)와 같은 광원(434)을 포함한다. 광원(434)은 하나의 제어기를 다른 제어기와 구분하기 위해 사용된다. 예를 들어, 이는 하나 이상의 LED들이 LED 패턴 코드를 발산하거나 유지함으로써 이루어진다. 예를 들어 설명하면, 선형 또는 2차원 패턴에서는 5개의 LED들이 조이스틱 제어기(430)에 제공된다. LED들의 선형 어레이가 선호됨에도 불구하고, LED들은 이를 대신하여 화상 캡쳐 유닛(423)에 의하여 얻어지는 LED패턴들의 화상을 분석할 때 LED 어레이의 화상면의 결정을 촉진하기 위하여 직사각형 패턴이나 원형 형태로 배열될 수 있다. 더욱이, LED 패턴 코드들은 또한 게임 실행 중 조이스틱 제어기(430)의 위치를 결정하는데 사용된다. 예를 들어, LED들은 제어기의 틸트, 요, 롤을 판명하는데 도움이 된다. 이러한 검출 패턴은 비행기 조종과 같은 게임 상에서 보다 좋은 사용자/느낌을 제공하는데 도움이 된다. 화상 캡쳐 유닛(423)은 조이스틱 제어기(430)와 광원(434)을 포함하는 화상을 캡쳐한다. 이러한 화상의 분석은 조이스틱 제어기의 위치 및/또는 방향을 결정할 수 있다. 이러한 분석은 메모리(402)에 저장되고 프로세서(401)에 의하여 실행되는 프로그램 코드 명령어(404)에 의하여 구현될 수 있다. 화상 캡쳐 유닛(423)에 의한 광원(434)의 화상 캡쳐를 촉진하기 위하여, 광원(434)은 조이스틱 제어기(430)의 둘 이상의 다른 면, 예를 들어 앞면과 뒷면(점선으로 표시)에 부착될 수 있다. 이러한 배열은 화상 캡쳐 유닛(423)이 조이스틱 제어기(430)의 다른 방향에 대한 광원(434)의 화상을 조이스틱 제어기(430)가 사용자에 의하여 어떻게 유지되는지에 따라 획득할 수 있도록 한다.
또한, 광원(434)은 프로세서(401)에 원격측정(telemetry) 신호를 펄스 부호 변조나, 진폭 변조, 또는 주파수 변조 방식으로 제공한다. 이러한 원격측정 신호는 어떤 조이스틱의 버튼들이 눌려지고 있는지 및/또는 이러한 버튼들이 어느 정도의 세기로 눌려지고 있는지를 지시한다. 원격측정 신호는, 예를 들어 펄스 부호 변조나 펄스 폭 변조, 주파수 변조, 또는 광의 세기(진폭) 변조(light intensity(amplitude) modulation) 방식에 의해 광신호로 인코딩된다. 프로세 서(401)는 광 신호를 원격측정 신호로 디코딩하고 디코딩된 원격측정 신호에 대응하는 게임 명령을 수행한다. 원격측정 신호는 화상 캡쳐 유닛(423)에 의해 얻어지는 조이스틱 제어기(430)의 화상 분석을 통해 디코딩될 수 있다. 한편, 본 발명에 따른 장치(401)는 광원(434)으로부터의 원격측정 신호의 수신전용으로 사용되는 개별 광센서를 포함할 수 있다. 컴퓨터 프로그램과 인터페이싱을 하는 세기의 정도를 결정하는 것과 연관되는 LED의 사용방법은, 리처드 엘 막스 외 다수와 공유하는 미국 특허 출원 제11/429,414호(발명의 명칭 “USE OF COMPUTER IMAGE AND AUDIO PROCESSING IN DETERMINING AN INTENSITY AMOUNT WHEN INTERFACING WITH A COMPUTER PROGRAM”)에 기술되어 있는데, 여기에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다. 또한, 광원(434)을 포함하는 화상들의 분석은 원격측정용 및 조이스틱 제어기(430)의 위치 및/또는 방향 결정용에 모두 사용될 수 있다. 이러한 기술들은 메모리(402)에 저장되어 있고 프로세서(401)에 의해 실행되는 프로그램 코드 명령(404)에 의해 구현된다.
프로세서(401)는 관성 센서(432)로부터의 관성 신호를, 화상 캡쳐 유닛(423)에 의해 감지되는 광원(434)으로부터의 광신호 및/또는 마이크 어레이(422)에 의해 감지되는 소리 신호로부터 얻어지는 음원의 위치와 특성 정보와 함께 사용함으로써 조이스틱 제어기(430) 및/또는 이를 사용하는 사용자의 위치 및/또는 방향에 대한 정보량을 줄일 수 있다. 예를 들어, “음향 레이더(acoustic radar)” 음원의 위치 및 특성은, 조이스틱 제어기의 이동이 독립적으로 트래킹되는(관성 센서(432) 및/또는 광원(434)을 통해) 동안, 음성의 이동을 트래킹하는데 마이크 어레이(422)와 함께 사용된다. 제어 신호를 프로세서(401)에 제공하는 다양한 모드들의 다양한 조합들이 본 발명의 실시예들과 관련되어 사용될 수 있다. 이러한 기술들은 메모리(402)에 저장되어 있고 프로세서(401)에 의해 실행되는 프로그램 코드 명령(404)에 의해 구현된다.
관성 센서(432)로부터의 신호들은 트래킹 정보 입력의 일부분을 제공하며, 하나 이상의 광원(434)들을 트래킹함으로써 화상 캡쳐 유닛(434)으로부터 생성되는 신호들은 트래킹 정보 입력의 다른 일부분을 제공한다. 예(본 발명이 이에 한정되는 것은 아님)를 들어, 이러한 “혼합 모드(mixed mode)” 신호는 풋볼 비디오 게임에서 쿼터백이 왼쪽으로 머리 훼이크 동작을 한 후 오른쪽으로 볼을 던지는 상황에 사용될 수 있다. 특히, 제어기(430)를 가지고 있는 게임 사용자는 자신의 머리를 왼쪽으로 돌리고, 제어기를 마치 그것이 풋볼 공인 것처럼 오른쪽으로 휘두르는 던지기 동작을 하면서 소리를 낼 수 있다. “음향 레이더” 프로그램 코드와 함께 사용되는 마이크 어레이(420)는 사용자의 음성을 트래킹할 수 있다. 화상 캡쳐 유닛(423)은 사용자의 머리의 이동을 트래킹하거나, 소리나 제어기의 사용이 요구되지 않는 다른 명령들을 트래킹할 수 있다. 센서(432)는 조이스틱 제어기 (풋볼 공을 나타내는)의 동작을 트래킹한다. 화상 캡쳐 유닛(423)은 제어기(430) 상의 광원(434)들을 트래킹할 수도 있다. 사용자는 조이스틱 제어기(430)의 가속량 및/또는 가속 방향이 특정한 정도에 도달할 때 또는 조이스틱 제어기(430) 상의 버튼을 누름으로써 트리거되는 키 명령에 의해 “볼”을 릴리스할 수 있다.
본 발명의 특정한 실시예에서, 관성 신호, 예를 들어, 가속도계 또는 자이로 스코프로부터의 관성 신호는 조이스틱 제어기(430)의 위치를 결정하는데 사용될 수 있다. 특히, 가속도계로부터의 가속도 신호는 시간에 대해 한차례 적분되어 속도의 변화를 결정하는데 사용되며, 속도는 시간에 대해 적분되어 위치의 변화를 결정하는데 사용된다. 특정한 시간에서의 최초 위치 및 속도 값이 알려져 있으면, 절대 위치는 이들 위치 및 속도 값과 위치 및 속도의 변화 값들을 사용하여 결정될 수 있다. 관성 센서를 사용하는 경우가 광원(434) 및 화상 캡쳐 유닛(423)을 사용하는 경우보다 더 빨리 위치 결정을 할 수 있게 하기는 하나, 관성 센서(432)는, 시간에 따라 누적되어 관성 신호로부터 연산되는 조이스틱(430)의 위치(점선으로 표시됨)와 조이스틱 제어기(430)의 실제 위치 사이에 차이(D)를 발생시키는 소위 “드리프트(drift)”라고 하는 유형의 에러에 영향을 받기 쉽다. 본 발명에 따른 여러 실시예들은 이러한 유형의 에러들을 처리하는 다양한 방법들을 제시한다.
예를 들어, 드리프트는 조이스틱 제어기(430)의 최초 위치를 현재 연산된 위치와 동일하게 되도록 수동적으로 재설정함으로써 제거될 수 있다. 사용자는 조이스틱 제어기(430)상의 하나 이상의 버튼들을 이용하여 최초 위치를 재설정하는 명령을 트리거할 수 있다. 다른 방법으로, 화상-기반 드리프트(image-based drift)는 현재 위치를 화상 캡쳐 유닛(423)으로부터 얻어지는 화상을 참조로 결정되는 위치로 재설정함으로써 해결될 수 있다. 사용자가 조이스틱 제어기(430)의 하나 이상의 버튼들을 트리거하는 경우, 이러한 화상-기반 드리프트의 보상은 수동으로 구현될 수도 있다. 또 다른 방법으로, 화상-기반 드리프트의 보상은 일정한 시간 간격으로 또는 소정의 게임 플레이에 대응하여 자동으로 구현될 수도 있다. 이러한 기술들은 메모리(402)에 저장되어 있고 프로세서(401)에 의해 실행되는 프로그램 코드 명령(404)에 의해 구현된다.
특정 실시예에서, 관성 센서 신호에 포함되는 스퓨리어스 데이터를 보상하는 것이 요구될 수 있다. 예를 들어, 관성 센서(432)로부터의 신호는 오버샘플링되고, 슬라이딩 평균(sliding average)은 관성 센서 신호에서 스퓨리어스 데이터를 제거하기 위해 오버샘플링된 신호로부터 연산될 수 있다. 몇몇 경우에서는 신호를 오버샘플링하고, 데이터 포인트들의 서브셋(subset) 일부로부터 높은 값 및/또는 낮은 값을 제거한 후, 남은 데이터 포인트들로부터 슬라이딩 평균을 연산하는 것이 필요할 수 있다. 나아가, 그 외 여러 가지 데이터 샘플링 및 조정 기술들이 관성 센서로부터의 신호를 조절하여 스퓨리어스 데이터의 영향을 제거하거나 줄이는데 사용될 수 있다. 기술들의 선택은 신호의 특성, 신호에 대해 수행될 연산, 게임 플레이의 특성 또는 이들 중 2개 이상의 조합들에 의해 좌우될 수 있다. 이러한 기술들은 메모리(402)에 저장되어 있고 프로세서(401)에 의해 실행되는 프로그램 코드 명령(404)에 의해 구현된다.
프로세서(401)는 데이터(406), 및 메모리(402)에 저장되며 메모리에서 얻어지며 프로세서 모듈(401)에 의해 실행되는 프로그램(404)의 프로그램 코드 명령에 대응하여 신호 데이터(406)에 대한 디지털 신호 처리를 수행한다. 프로그램(404)의 코드 부분은 어셈블리, C++, 자바와 같은 다수의 다양한 프로그래밍 언어들 중의 어느 하나에 따르게 된다. 프로세서 모듈(401)은 범용 컴퓨터(general-purpose computer)를 구성하다가 프로그램 코드(404)와 같은 프로그램을 실행하는 경우 특 별한 목적의 컴퓨터(specific purpose computer)를 구성하게 된다. 본 명세서에서 프로그램 코드(404)는 범용 컴퓨터에서 실행되며 소프트웨어에 의해 구현되는 것으로 기술되어 있으나, 당해 기술의 통상의 지식을 가진 자라면 태스크 관리 방법이 주문형 반도체(ASIC)나 다른 하드웨어 회로와 같은 하드웨어를 사용해서 구현될 수도 있다는 것을 쉽게 알 수 있을 것이다. 이처럼 본 발명의 실시예들은 소프트웨어, 하드웨어 또는 이들의 결합에 의해 전체적으로 또는 부분적으로 구현될 수 있다.
본 발명의 일 실시예에서, 프로그램 코드(404)는 본 명세서에 기재된 기술 및 방법들 중 하나 이상의 기술 및 방법 또는 이러한 방법들 및 기술들 2 이상으로 이루어지는 조합들 중 일부를 구현하며 프로세서에서 판독 가능한 일군(群)의 명령들을 포함한다. 예를 들어, 프로그램 코드(404)는 본 명세서에 기재된 화상 분석기 기능을 구현하도록 구성될 수 있다. 한편, 다른 방식으로, 본 명세서에 기재된 화상 분석기 기능은 하드웨어에 의해 구현될 수도 있다.
도시된 실시예에서, 상술한 화상 분석기 기능은 화상 분석기(450)로 도시된다. 화상 분석기(450)는 화상 캡쳐 유닛(423) 또는 도 1A의 카메라(112)와 같은 카메라로부터의 입력을 수신한다. 이에 따라, 비디오 카메라(112) 또는 화상 캡쳐 유닛(423)의 출력은 화상 분석기(450)의 입력과 연결된다. 화상 분석기(450)의 출력은 장치(400)의 시스템에 제공된다. 이러한 방식으로, 명령들 그 자체 또는 명령이나 제스처가 인식되었는지를 인지하는데 필요한 정보 중 어느 하나가 장치(400)에 제공된다. 화상 분석기(450)는 여러 다양한 방식으로 장치(400)의 다른 부분과 연 결될 수 있다. 즉, 도면에 도시된 연결들은 하나의 예에 불과하다. 다른 예로, 화상 분석기(450)는 시스템 버스(420)에 연결되는데, 화상 분석기(450)는 시스템 버스(420)를 통해 화상 캡쳐 유닛(423)으로부터의 입력 데이터를 수신하고, 자신의 출력 값을 장치(400)에 제공한다.
화상 분석기(450)는 장치(400) 또는 엔터테인먼트 시스템 또는 콘솔(102)에 선택적으로 포함될 수도 있고, 이들 장치 및 시스템들로부터 구분되어 별도 위치에 위치할 수도 있다. 또한, 화상 분석기(450)는 그 전체 또는 일부분이 소프트웨어, 하드웨어, 또는 이들의 결합에 의해 구현될 수 있다. 화상 분석기(450)가 소프트웨어에 의해 구현되는 경우에는, 블록 450은 소프트웨어에 의해 구현된 화상 분석기 기능을 도시하는 것이 된다.
프로그램 코드(404)는 일반적으로 하나 이상의 프로세서가 미리 연산된 실행중의 청취 구역을 선택하고 이러한 미리 연산된 청취 구역 밖에 있는 음원으로부터 생성되는 소리를 여과시키도록 지시하는 하나 이상의 명령들을 포함한다. 미리 연산된 청취 구역은 다양한 화상 캡쳐 유닛(423)의 초점 또는 시야에 대응되는 청취 구역을 포함한다.
프로그램 코드는, 실행된 경우 장치(400)가 음원을 구비하는 미리 연산된 청취 섹터를 선택할 수 있도록 하는 하나 이상의 명령을 포함한다. 이러한 명령들은 장치가, 음원이 최초 섹터 내에 있는지 최초 섹터의 특정한 측면 상에 있는지 여부를 결정하도록 한다. 음원이 디폴트 섹터 내부에 있지 않은 경우, 명령은, 실행 시에 디폴트 섹터의 특정 측면 상의 다른 섹터를 선택한다. 이러한 다른 섹터는 최적 값에 가장 근접한 입력 신호의 감쇠에 의해 특정된다. 이들 명령들은, 실행 시에, 마이크 어레이(422)로부터의 입력 신호의 감쇠와 최적 값으로 감쇠를 연산한다. 이들 명령들은, 실행 시에, 장치(400)가 하나 이상의 섹터에 대한 입력 신호의 감쇠 값을 결정하고 감쇠가 최적 값에 가장 근접하게 되는 섹터를 선택하도록 한다.
프로그램 코드(404)는 하나 이상의 프로세서가 마이크 M0....MM으로부터의 불연속적인 시간 영역 입력 신호 xm(t)를 생성하고, 청취 섹터를 결정하고, 세미 블라인드 소스(semi-blind source) 구분 내의 청취 섹터를 이용하여 유한 임펄스 응답 필터 계수를 선택하여 입력 신호 xm(t)로부터 서로 다른 음원을 분리하도록 지시하는 하나 이상의 명령들을 선택적으로 포함한다. 또한, 프로그램(404)은 하나 이상의 분수 지연(fractional delay)을 적용시켜 참조 마이크 M0로부터의 입력 신호 x0(t)와는 다른 입력 신호 xm(t)를 선택하도록 하는 명령들을 포함할 수 있다. 각 분수 지연은, 마이크 어레이로부터의 불연속적 시간 영역 출력 신호 y(t)의 신호 대 잡음비를 최적화하도록 선택된다. 분수 지연은 참조 마이크 M0로부터의 신호가 마이크 어레이의 다른 마이크(들)로부터의 신호와 비교해 시간적으로 가장 앞서는 것이 되도록 선택될 수도 있다. 또한, 프로그램(404)은 분수 시간 지연 △를 마이크 어레이의 출력 신호 y(t)에 도입하여, y(t+△) = x(t+△)*b0 + x(t-1+△)*b1 + x(t-2+△)*b2 + .... +x(t-N+△)bN (여기서 △는 0과 ± 1 사이의 값)의 식을 만족하도록 하는 명령들을 포함할 수 있다.
프로그램 코드(404)는, 실행 시에 화상 캡쳐 유닛(423)이, 화상 캡쳐 유닛(423)의 정면에 있는 시야를 모니터하고, 상기 시야 내에 있는 하나 이상의 광원(434)을 인식하고, 광원(434)으로부터 발산되는 광의 변화를 검출하고, 이러한 변화의 검출에 대응하여 프로세서(401)로의 입력 명령을 트리거하도록 하는 하나 이상의 명령들을 포함하는 프로세서에서 실행 가능한 명령들을 선택적으로 포함한다. 게임 제어기의 조작을 트리거하는 화상 캡쳐 장치와 연계하여 LED들을 사용하는 것은 예를 들어, 본 출원인과 리처드 엘 막스가 공동 출원한 2004년 1월 16일자 미국 특허출원 제10/759,782호(발명의 명칭 "METHOD AND APPARATUS FOR LIGHT INPUT DEVICE")에 기재되어 있으며, 이 출원에 기재된 내용은 본 출원 명세서에 모두 기재되어 있는 것으로 한다.
프로그램 코드(404)는, 실행 시에, 관성 센서로부터의 신호와 하나 이상의 광원을 트래킹하여 화상 캡쳐 유닛으로부터 생성된 신호를, 예를 들어 상술한 바와 같은 게임 시스템으로의 입력 신호로 사용하는 하나 이상의 명령들을 포함하는 프로세서에서 실행 가능한 명령들을 선택적으로 포함할 수 있다. 프로그램 코드(404)는, 실행 시에, 관성 센서(432)에서의 드리프트를 보상하는 하나 이상의 명령들을 포함하는 프로세서에서 실행 가능한 명령들을 선택적으로 포함할 수 있다.
또한, 프로그램 코드(404)는, 실행 시에, 제어기 조작의 기어링(gearing)과 매핑(mapping)을 게임 환경에 맞도록 조절하는 하나 이상의 명령들을 포함하는 프로세서에서 실행 가능한 명령들을 선택적으로 포함할 수 있다. 이러한 특징들은 사용자가 자신의 조이스틱 제어기 조작의 “기어링”을 게임 상태에 맞춰 변경할 수 있도록 한다. 예를 들어, 조이스틱 제어기(430)의 45도 회전이 게임 객체의 45도 회전이 되도록 기어링될 수 있다. 한편, 이러한 1:1 기어링비는 제어기의 X도 회전(또는 틸트, 요(yaw), 또는 “조작(manipulation)”)이 게임 객체의 Y도 회전(또는 틸트, 요, 또는 조작)이 되도록 수정될 수도 있다. 기어링비는 1:1, 1:2, 1:X, 또는 X:Y(X와 Y는 임의의 값을 가질 수 있다)가 될 수 있다. 또한, 게임 제어에 대한 입력 채널의 매핑도 시간의 진행에 따라 또는 즉시적으로 수정될 수 있다. 이러한 수정에는 제스처 궤적 모델(trajectory model), 제스처의 위치, 척도, 및 임계값의 수정 등도 포함된다. 이러한 매핑은 프로그램된 것이거나, 임의적인 것이거나, 층구조를 이루는 것이거나, 엇갈리는 구조를 이루는 것 등등이 되어 사용자에게 다이내믹한 조작 범위를 제공한다. 매핑, 기어링 또는 그 비율들을 수정하는 것은 게임 플레이, 게임 상태 등에 따라, 조이스틱 제어기(430)에 배치된 사용자용 변경자(modifier) 버튼(키패드 등)을 통해 또는 넓게는 입력 채널에 대응하여 프로그램 코드(404)에 의해 조정될 수 있다. 입력 채널은 사용자 오디오 요소, 제어기에 의해 발생하는 오디오, 제어기에 의해 발생하는 트래킹 오디오, 제어기 버튼 상태, 비디오 카메라 출력, 제어기 원격측정 데이터, 가속도계 데이터, 틸트, 요, 롤, 위치, 가속도 및 사용자 또는 사용자의 객체 조작을 트래킹할 수 있는 센서로부터의 다른 데이터들을 포함할 수 있으나, 이러한 데이터 유형만으로 한정되는 것은 아니다.
본 발명의 특정한 실시예에서, 프로그램 코드(404)는 시간의 진행에 따라 매핑 또는 기어링을 하나의 스킴(scheme) 또는 비율에서 다른 스킴으로 미리 정해진 시간 의존적 방식으로 각각 변경한다. 기어링 및 매핑 변경은 다양한 방식으로 게임 환경에 적용될 수 있다. 하나의 예로, 비디오 게임 캐릭터는 캐릭터가 건강한 상태일 경우 어느 하나의 기어링 스킴 하에서 제어되고, 캐릭터의 건강이 악화될 경우 시스템은 제어기 명령을 기어링하여 사용자가 캐릭터로의 제스처 명령을 하기 위해 제어기의 움직임을 강하게 하도록 만든다. 방향을 잃은 비디오 게임 캐릭터는, 예를 들어 사용자가 새로운 매핑 하에서 캐릭터를 제어하는 것을 되찾기 위한 입력을 조절하는 것이 필요하게 될 경우 입력 채널의 매핑 변화를 요구하게 된다. 입력 채널의 게임 명령으로의 변경을 수정하는 매핑 스킴은 게임 플레이 중에 바뀔 수도 있다. 이러한 변경은 게임 상태에 대응하여 또는 하나 이상의 입력 채널 요소 하에서 발행된 변경자 명령들에 대응하여 다양한 방식으로 발생한다. 기어링과 매핑은 하나 이상의 입력 채널 요소들의 구성 및/또는 처리에 영향을 주도록 구성될 수도 있다.
한편, 스피커(436)는 조이스틱 제어기(430)에 설치될 수 있다. 프로그램 코드(404)가 마이크 어레이(422)에 감지된 소리를 위치시키고 특정 짓는 “음향 레이더” 실시예에서, 스피커(436)는 마이크 어레이(422)에 의해 감지되고 프로그램 코드(404)에 의해 조이스틱 제어기(430)의 위치를 트래킹하는데 사용되는 오디오 신호를 제공한다. 스피커(436)는 조이스틱 제어기(430)에서부터 프로세서(401)로 추가적인 “입력 채널”을 공급하는데 사용될 수도 있다. 스피커(436)로부터의 오디오 신호는 주기적으로 펄스되어 음향 레이더가 위치를 트래킹하도록 하는 비콘(beacon)을 제공할 수 있다. 오디오 신호(펄스 또는 그렇지 않은 신호)는 가청 신호일 수도 있고 초음파 신호일 수도 있다. 음향 레이더는 사용자의 조이스틱 제어기(430)의 조작을 트래킹하는데, 이러한 사용자의 조작 트래킹은 조이스틱 제어기(430)의 위치 및 방향(예를 들어, 피치, 롤, 또는 요 각도)에 대한 정보를 포함할 수 있다. 펄스들은 당업자가 적용할 수 있는 적절한 듀티 사이클을 두고 트리거된다. 펄스들은 시스템으로부터 중재되는 제어 신호를 기반으로 개시될 수도 있다. 장치(400)는 프로그램 코드(404)를 통해 프로세서(401)에 연결된 2 이상의 조이스틱 제어기(430)들의 제어 신호의 디스패치를 코디네이트하여 다중 제어기의 트래킹이 가능할 수 있도록 한다.
일례로, 본 발명의 실시예들은 병렬 처리 시스템 상에서 구현될 수 있다. 이러한 병렬 처리 시스템은 통상적으로 별개의 프로세서를 사용하여 병렬적으로 프로그램의 부분들을 실행하도록 구성되는 2 이상의 프로세서 요소들을 포함한다. 예를 들어(이에 한정되는 것은 아님), 도 5는 본 발명의 일 실시예에 따른 셀 프로세서(500)의 한 유형을 도시한다. 셀 프로세서(500)는 도 4의 프로세서(404)로 사용될 수 있다. 도 5에 도시된 실시예에서, 셀 프로세서(500)는 메인 메모리(502), 전력 프로세서 요소(PPE, 504), 및 다수의 시너지스틱 프로세서 요소(synergistic processor element, SPEs, 506)를 포함한다. 도 5에 도시된 실시예에서, 셀 프로세서(500)는 단일 PPE(504)와 8개의 SPE(506)를 가지고 있다. 이러한 구성에서는, SPE(506)들 중 7개가 병렬 처리를 위해 사용되고 하나는 7개 중 어느 하나가 실패할 경우의 백업용으로 보존된다. 다른 구성으로, 셀 프로세서는 멀티 그룹의 PPE(PPE 그룹)와 멀티 그룹의 SPE(SPE 그룹)을 포함할 수 있다. 이러한 경우, 하드 웨어 리소스는 하나의 그룹 내의 여러 유닛들 사이에서 공유될 수 있다. 다만, SPE 및 PPE는 독립적 요소로 소프트웨어 형태로 나타나야 한다. 이처럼, 본 발명에 따른 실시예들은 도 5에 도시된 구성에 한정되는 것은 아니다.
메인 메모리(502)는 통상적으로 범용이며 비휘발성인 저장장치를 포함하는 것일 뿐 아니라, 특수 목적 하드웨어 레지스터(special-purpose hardware register) 또는 시스템 구성, 데이터-전송 동기화(data-transfer synchronization), 메모리-매핑(memory-mapped)된 I/O, 및 I/O 서브시스템과 같은 기능들을 위한 어레이를 포함할 수도 있다. 본 발명의 실시예에서, 신호 처리 프로그램(503)은 메인 메모리(502)에 상주할 수 있다. 신호 처리 프로그램(503)은 PPE 상에서 실행된다. 프로그램(503)은 SPE 및/또는 PPE 상에서 실행될 수 있는 다중 신호 처리 태스크로 분리될 수도 있다.
일례로, PPE(504)는 L1 및 L2 캐쉬와 연결되는 64 비트 파워 PC 프로세서 유닛(PPU)일 수 있다. PPE(504)는 범용 프로세스 유닛으로, 시스템 관리 리소스(예를 들어 메모리 보호 테이블(memory-protection table)과 같은)에 접근할 수 있다. 하드웨어 리소스는 PPE에 의해 보여 지는 실제 주소 공간(real address space)에 명시적으로 매핑될 수 있다. 이처럼, PPE는 적절한 유효 주소 값을 사용함으로써 이들 리소스들 중 어느 것에도 직접 접근할 수 있다. PPE(504)의 주 기능은 셀 프로세서(500) 내의 SPE(506)들의 태스크를 관리하고 할당하는 것이다.
도 5에는 하나의 PPE만이 개시되어 있지만, 몇몇 셀 프로세서의 구현예들, 예를 들어 셀 광대역 엔진 구조(cell broadband engine architecture, CBEA)에서 는, 셀 프로세서(500)는 PPE 그룹으로 편성되는 복수의 PPE들을 구비하는데, 이러한 PPE 그룹에는 하나 이상의 PPE가 존재한다. 이러한 PPE 그룹들은 메인 메모리(502)로의 액세스를 공유한다. 나아가, 셀 프로세서(500)는 2개 이상의 SPE 그룹을 포함한다. SPE 그룹들 역시 메인 메모리(502)로의 액세스를 공유한다. 이러한 구성은 본 발명의 범위 내이다.
각 SPE(506)는 하나의 시너지스틱 프로세서 유닛(SPU) 및 그의 로컬 스토리지 영역(LS)을 구비한다. 로컬 스토리지 영역(LS)은 하나 이상의 분리된 메모리 저장 영역을 가지는데, 각각의 메모리 저장 영역은 특정한 SPU와 관련된다. 각 SPU는 그 자신과 관련된 로컬 스토리지 영역 내부에서부터의 명령들(데이터 로드 및 데이터 저장 동작을 포함하는)만을 실행하도록 구성될 수 있다. 이러한 구성에서, 로컬 스토리지 영역(LS)과 시스템(500) 내의 다른 곳 사이에서의 데이터 전송은 데이터를 로컬 스토리지 영역(개별 SPE의)으로 또는 로컬 스토리지 영역으로부터 데이터를 전송하기 위한 메모리 플로우 제어기(MFC)로부터의 직접 메모리 액세스(DMA) 명령을 발행함으로써 수행될 수 있다. SPU들은 시스템 관리 기능을 수행하지 않는다는 점에서 SPU들은 PPE(504)보다 덜 복잡한 연산 유닛들이다. SPU는 통상 단일 명령, 다중 데이터(single instruction, multiple data, SIMD) 성능을 가지며, 통상적으로 데이터를 처리하며, 자신들에게 할당된 태스크를 수행하기 위해 필요한 데이터 전송(PPE에 의해 설정되는 액세스 특성에 영향을 받는)을 개시한다. SPU의 목적은 보다 높은 연산 유닛 밀도를 요구하며 제공된 명령 세트들을 효율적으로 사용할 수 있는 애플리케이션들을 실행가능하게 하기 위한 것이다. PPE(504)에 의해 관 리되는 시스템 내의 다수의 SPE들은 광범위한 종류의 애플리케이션들에 있어서 비용-효율적인 프로세싱이 가능하도록 한다.
각 SPE(506)는 메모리 보호 및 액세스 허용 정보를 유지하고 처리할 수 있는 관련 메모리 관리 유닛을 포함하는 전용 메모리 플로우 제어기(MFC)를 구비한다. MFC는 셀 프로세서의 메인 스토리지와 SPE의 로컬 스토리지 사이에서의 데이터 전송, 보호, 및 동기화를 위한 주된 방법을 제공한다. MFC 명령은 이러한 전송이 수행될 것을 지시한다. 데이터를 전송시키라는 명령은 때때로 MFC 직접 메모리 액세스 명령(또는 MFC DMA 명령)으로 참조된다.
각 MFC는 다중 DMA의 동시 전송을 지원하고 다중 MFC 명령들을 유지 및 처리한다. 각 MFC 데이터 전송 명령 요청은 로컬 스토리지 주소(LSA)와 유효 주소(EA) 쌍방을 모두 포함한다. 로컬 스토리지 주소로는 자신과 연계되는 SPE의 로컬 스토리지 영역에만 직접 접근할 수 있다. 유효 주소는 더 많은 일반적인 애플리케이션을 가지는데, 예를 들어, 모든 SPE 로컬 스토리지 영역을 포함하는 메인 스토리지가 실제 주소 공간에 앨리어스되어 있는 경우, 이러한 유효 주소는 모든 SPE 로컬 스토리지 영역을 포함하는 메인 스토리지를 참조할 수 있다.
SPE(506)들 사이 및/또는 SPE(506)들과 PPE(504) 사이에서의 통신을 구현하기 위해, SPE(506) 및 PPE(504)는 시그널링 이벤트에 결합되는 신호 통지 레지스터(signal notification register)를 포함할 수 있다. PPE(504) 및 SPE(506)는 PPE(504)가 SPE(506)들로 메시지를 전송하는 라우터로 기능하는 성상 토폴로지(star topology)에 의해 연결될 수 있다. 또는, 다른 방식으로, 각 SPE(506) 및 PPE(504)가 메일박스로 참조되는 일방 신호 통지 레지스터(one-way signal notification register)를 가질 수 있다. 메일박스는 SPE(506)에 의해 사용되어 운영 시스템 동기화를 호스팅하는데 사용될 수 있다.
셀 프로세서(500)는 입/출력(I/O) 기능(508)을 포함하는데, I/O 기능을 통해 셀 프로세서(500)는 마이크 어레이(512) 및 선택적인 화상 캡쳐 유닛(513)과 같은 주변 장치들과 인터페이싱하게 된다. 한편, 요소 상호연결 버스(Element Interconnect Bus, 510)는 상술한 다양한 컴포넌트들을 연결한다. 각 SPE와 PPE는 버스 인터페이스 유닛(BIU)을 통해 버스(510)에 액세스할 수 있다. 셀 프로세서(500)는 일반적으로 프로세서에 구비되는 2개의 제어기를 구비한다: 버스(510)와 메인 메모리(502) 사이의 데이터 플로우를 제어하는 메모리 인터페이스 제어기(MIC)와, I/O(508)와 버스(510) 사이의 데이터 플로우를 제어하는 버스 인터페이스 제어기(BIC). MIC, BIC, BIU들, 및 버스(510)에 대한 요건들은 다양한 구현예들에서 다양하게 변경될 수 있지만, 본 발명 기술분야의 당업자들은 이러한 기능들 및 이들을 구현하는 회로에 대해 충분히 인식하고 있을 것이다.
또한, 셀 프로세서(500)는 내부 인터럽트 제어기(IIC)도 포함한다. IIC 컴포넌트는 PPE에 제공된 인터럽트의 우선순위를 관리한다. IIC는 메인 시스템 인터럽트 제어기를 사용하지 않고 다른 컴포넌트들로부터의 인터럽트들을 처리될 셀 프로세서(500)에 허용한다. IIC는 세컨드 레벨 제어기로 간주된다. 메인 시스템 인터럽트 제어기는 외부로부터 셀 프로세서로 발생하는 인터럽트들을 처리한다.
본 발명의 실시예들에서, 분수 지연(fractional delay)과 같은 특정 연산들 은 PPE(504) 및/또는 하나 이상의 SPE를 사용하여 병렬적으로 수행된다. 각 분수 지연 연산은, 사용가능하게 되면 서로 다른 SPE(506)가 가지는 하나 이상의 분리된 태스크들로 실행된다.
일부 실시예들은 사용자가 플레이하는 인터액티브 게임 실행을 위한 프로세서에 의해 게임 프로그램이 실행되는 것을 제어하기 위한 정보를 획득하는데 사용되는 트래킹 장치를 제공한다. 트래킹 장치는 하나의 몸체와 적어도 하나의 PD 요소를 구비한다. 몸체는, 게임 장치의 실행을 통해 제공되는 게임의 진행이 스크린 상에 표시될 때, 스크린을 향하게 되는 섹션을 더 포함한다. 적어도 하나의 PD 요소는 몸체에 추가적으로 조립될 수 있다. 하나의 화상 내에서의 PD 요소의 위치는, 석션이 적어도 부분적으로 스크린을 향하고 있을 때, 화상 캡쳐 장치에 의해 기록될 수 있다. 동작 시에, 시간상 다른 지점에서의 PD 요소의 위치는 몸체의 공간상의 이동을 정량화하는 정량화 가능한 값이다.
또한, 몸체는 게임 제어기에 설치될 수 있다. 게임 제어기는 게임 제어기 몸체와 이에 결합되는 적어도 하나의 입력 장치를 포함한다. 입력 장치는 사용자에 의해 조작 가능한 것으로 사용자로부터의 입력이 등록될 수 있다. 특정한 경우, 장치는 트래킹 장치 및 게임 제어기 모두를 포함할 수 있다.
몇몇 실시예에서, PD 요소는 재귀 반사기(retro-reflector)를 포함할 수 있다. 추가적으로 또는 대안적으로, PD 요소는 PD 요소 근처의 몸체 부분의 색과 비교하여 높은 콘트라스트를 가지는 색을 가진다. 또한, 적어도 하나의 PD 요소 각각은 적어도 2개의 서로 다른 텍스쳐를 포함하는 패턴을 구비할 수 있다. 예를 들어, 텍스쳐는 밝기, 색, 거칠기, 및/또는 다른 관련 텍스쳐들 중 적어도 어느 하나의 측면에서 서로 다르다. 일부 실시예에서, PD 요소는 광원을 포함하며, 일부 구현예에서는 광원은 적어도 하나의 LED를 포함할 수 있다.
또한, 일부 실시예는 2개, 3개, 또는 4개 이상의 PD 요소들을 포함한다. 이들 다중 PD 요소들은 하나 이상의 조합으로 방향성을 가지게 형성된다. 예를 들어, 2개의 PD 요소들을 가지는 구현예에서는, PD 요소는 직선이 되도록 형성되며, 3개의 PD 요소들을 가지는 일부 구현예들에서는 PD 요소들은 삼각형이 되도록 형성된다. 4개의 PD 요소들을 가지는 다른 구현예들에서는, PD 요소들은 4개의 직선을 정의하도록 배열되거나 위치하게 된다. 4개의 직선들은, 예를 들어, 직사각형 또는 다른 유사한 도형을 정의한다.
PD 요소들은 광원을 포함할 수 있으며, 적어도 하나의 광원들은 광 출력과 관련된 특성에 의해 다른 광원들과 구분될 수 있다. 예를 들어, 적어도 하나의 광원은 스트로브 주파수(strobe frequency), 온-오프 듀티 사이클, 온-오프 사이클 내에서의 온-구간의 타이밍, 광원 출력의 스펙트럴 컨텐트(spectral content), 및/또는 기타 관련 차이점들 및/또는 이러한 차이점들의 조합 중 적어도 하나에 의해 다른 광원과 구별될 수 있다. 일부 실시예에서, 트래킹 장치의 몸체는 사용자 몸체에 설치될 수도 있다.
일부 실시예에 따른 트래킹 장치는 프로세서, 게임 제어기 및/또는 프로세서와 게임 제어기 모두 중 적어도 하나와 디지털 통신을 수행할 수 있는 통신 인터페이스를 더 포함할 수 있다. 통신 인터페이스는 실질적으로 관련 인터페이스 어떤 것이라도 무방한데, 예를 들면, 범용 비동기화 송수신기(universal asynchronous receiver transmitter, UART), 범용 직렬 버스(USB) 제어기, 및/또는 기타 다른 관련 인터페이스 및/또는 이들의 조합들이 될 수 있다. 통상, 인터페이스는 트래킹 장치의 동작을 제어하는 제어 신호를 수신하는 동작, 다른 장치와 통신을 위해 트래킹 장치로부터의 신호를 송신하는 동작, 및/또는 기타 다른 통신 기능성 중 적어도 하나를 수행하는 동작을 할 수 있다.
일부 실시예는 게임이 사용자에 의해 인터액티브하게 실행되도록 하기 위해 게임의 진행을 스크린 상에 표시하는 게임 프로그램을 실행할 수 있는 프로세서를 포함할 수 있다. 하나 이상의 PD 요소들의 위치는, 예를 들어, 스크린 근처에 있는 화상 캡쳐 장치에 의해 기록될 수 있고, 프로세서는 화상 캡쳐 장치에서 출력되는 정보를 이용하여 화상 내의 PD 요소들의 위치를 감지하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 프로세서는 화상 캡쳐 장치에서 출력되는 정보로부터 게임 프로그램의 실행을 제어하는 입력 정보를 감지하는 동작, 화상 캡쳐 장치에서 출력되는 정보로부터 시간상의 다른 시점에서 공간상의 몸체의 가속도를 표시하는 일련의 샘플을 얻는 동작, 및/또는 일련의 샘플들을 사용, 예를 들어 소정의 시간 구간의 일련의 샘플들로부터 얻어지는 가속도 값들을 적분함으로써 몸체의 속도를 결정하는 동작을 수행하는 것이 가능하도록 동작될 수 있다.
일부 실시예에서, 프로세서는 소정 시간 구간에서의 일련의 샘플들로부터 얻어지는 가속도 값을 제1 적분하고 이어 제1 적분 결과를 다시 적분함으로써 공간상의 몸체의 위치를 결정할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 미리 결정된 위치에 대한 변위를 결정함으로써 공간상의 몸체의 위치를 결정할 수 있다.
트래킹 장치가 적어도 2개의 PD 요소들을 포함하는 경우인 일부 실시예에서, 프로세서는 화상 캡쳐 장치에서 출력되는 정보를 이용하여 적어도 2 이상의 공간상 자유도에서 몸체의 가속도를 표시하는 일련의 샘플들을 얻을 수 있다. 트래킹 장치가 적어도 3개의 PD 요소들을 포함하고 있는 경우, 프로세서는 화상 캡쳐 장치로부터 출력되는 정보를 이용하여 적어도 3 이상의 공간상 자유도에서 몸체의 가속도를 표시하는 일련의 샘플들을 얻을 수 있다. 예를 들어 자유도 3은 3개의 수직축 x, y, 및 z축을 따른 이동 및/또는 피치, 요, 및 롤을 포함할 수 있다. 일부 실시예에서, 프로세서는 자유도 6에서의 이동을 정량화할 수 있는데, 자유도 6은, 예를 들어 자유도 3 및 피치, 요, 및 롤을 포함할 수 있다.
또한, 일부 실시예는 제어기를 제공한다. 제어기는 몸체, 몸체상의 하나 이상의 버튼, 및 어레이로 배열되며 몸체상에 위치하는 하나 이상의 검출 요소를 포함한다. 일부 구현예에서, 이러한 어레이는 선형 어레이가 된다.
상술한 바와 같이, 컴퓨터 엔터테인먼트 시스템은 통상 핸드 헬드 제어기, 게임 제어기 또는 기타 제어기를 포함한다. 사용자 또는 게임 플레이어는 제어기를 사용하여 명령 또는 다른 지시들을 엔터테인먼트 시스템에 전송하여 비디오 게임 또는 다른 시뮬레이션이 플레이되는 것을 제어한다. 텔레비전, 스테레오, 기타 다른 엔터테인먼트 시스템, 및 설비들 역시 핸드 헬드 제어기를 포함한다.
본 명세서에는 핸드 헬드 제어기의 3차원 움직임을 디스플레이 스크린의 2차원 화면에 매핑하기 위해 제공되는 방법, 장치, 스킴 및 시스템들의 다양한 실시예 가 기술된다. 이것들은 사용자에 의한 전체 제어기 몸체 자체의 3차원적 움직임이, 디스플레이 스크린의 2차원 화면상에서 조작들이 수행되는 시스템의 특성들을 제어하는데 사용되도록 한다.
예를 들어, 도 6A, 6B, 6C는 본 발명의 일 실시예에 따라 동작하는 시스템의 모습을 도시한다. 이 실시예에서, 핸드 헬드 제어기의 3차원적 움직임은 스크린상의 포인터를 조작함에 있어 마우스와 같은 기능을 하도록 사용될 수 있다. 예를 들어, 도 6A는 사용자가 손(604)으로 제어기(602)를 쥐고 있는 모습을 도시하고 있다. 제어기(602)의 상향 이동(606)은 디스플레이 스크린(608)상의 커서를 특정한 위치(610)에서 그 위쪽에 있는 다른 위치(612)로 움직이게 한다. 도 6B에서, 제어기(602)의 하향 이동(620)은 디스플레이 스크린(608) 상의 커서를 특정 위치(622)에서 그 아래쪽에 있는 다른 위치(624)로 이동하게 한다. 도 6C에서, 제어기(602)의 측방향 이동(630)은 디스플레이 스크린(608) 상의 커서를 특정 위치(632)에서 옆쪽에 있는 다른 위치(634)로 이동하게 한다. 이하에 기술되는 바와 같이, 다른 실시예에서는, 핸드 헬드 제어기의 3차원적 움직임이 다른 기능, 즉 스크린 상에서 십자선(crosshair) 조작과 같은 게임상의 다른 기능에 사용될 수도 있다.
도 7을 참조하면, 본 발명에 따라 동작하는 방법(700)의 일 실시예가 도시된다. 방법(700)은 시스템의 핸드 헬드 제어기의 3차원 이동이 트래킹되는 단계 702에서부터 시작된다. 이러한 트래킹은 다수의 다양한 방법으로 수행될 수 있다. 예를 들어, 이러한 트래킹은 관성, 비디오, 음향, 또는 적외선 분석 등과 같이 상술한 바와 같은 여러 방식 또는 이와 다른 여러 방식으로 수행될 수 있다.
비디오 트래킹을 예로 들면, 카메라는 핸드 헬드 제어기 몸체의 움직임을 검출하기 위해 컴퓨터 엔터테인먼트 시스템에서 주변장치로 사용가능하며 검출된 동작을 게임에서의 동작으로 전송한다. 카메라는 제어기의 다양한 유형의 움직임을 검출할 수 있는데, 예를 들어 상향 하향 이동, 비트는 움직임, 측면상의 이동, 잡아당기는 움직임, 마법봉 모션, 던지는 동작 등의 움직임을 검출할 수 있다. 다만, 다시 한 번 언급하지만, 이러한 트래킹은 대안적으로 관성, 음향 또는 적외선 분석에 의해서도 수행될 수도 있다. 예를 들어, 적외선 분석을 사용하는 경우, 적외선 분석기 및 선형 적외선 어레이가 센서의 출력에 기초하여 사용자의 위치와 제어기의 방향을 결정하는데 사용된다.
단계 704에서, 핸드 헬드 제어기의 트래킹된 3차원 이동은 시스템의 디스플레이 스크린의 2차원 화상면(image plane)에 매핑된다. 즉, 3차원에서의 제어기 몸체 자체의 이동이 스크린상의 2차원 화상면에 사상된다. 따라서, 제어기의 3차원 이동은 스크린의 2차원 화상면의 X-Y 좌표로 변환된다.
단계 706에서, 하나 이상의 화상이 핸드 헬드 제어기의 트래킹된 3차원 이동의 매핑에 기초하여 스크린의 2차원 화상면에 디스플레이된다. 화상은 많은 다른 유형의 화상을 포함할 수 있다. 예를 들어, 도 6A, 도 6B 및 도 6C에 도시된 바와 같이, 화상은 스크린상에 디스플레이된 항목을 선택하는데 사용되는 포인터를 포함할 수 있다. 상기 예에서, 전체 제어기(602) 자체가 마우스와 같은 장치가 되고, 메뉴, 링크 등과 같은 스크린상의 항목을 제어하고 선택하기 위하여 마우스처럼 사용될 수 있다.
다양한 다른 유형의 제어기 움직임이 스크린에 디스플레이되는 화상의 다양한 다른 움직임을 일으키도록 설정될 수 있다. 예를 들면, 사용자는 제어기를 들어올리거나 그의 손목을 비틀어서 화상의 어떤 움직임을 일으킬 수 있다. 다른 예에서, 사용자는 제어기 위치를 밀어내리고 커서가 더 아래로 가도록 기수(nose)를 아래로 향하게 할 수 있다. 또 다른 예에서, 사용자는 제어기의 위치를 왼쪽으로 이동시키지만, 사용자가 왼쪽으로 방향을 비틀어 커서가 왼쪽으로 가도록 할 수 있다. 또 다른 예에서, 사용자는 제어기를 오른쪽으로 이동시키고 방향을 오른쪽으로 비틀어 커서가 오른쪽으로 가도록 할 수 있다. 다시 말하지만, 이들은 단지 실시 예이고, 많은 다른 유형의 움직임이 설정될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따라 실행되는 또 다른 시스템이 도시된다. 이 실시예에서, 하나 이상의 화상은 사격 게임용과 같은 십자선(crosshair) 세트를 포함할 수 있다. 예를 들면, 도 8에서 사용자 또는 플레이어는 게임 속에서 패닝하고 움직이는 카메라와 함께 스크린(802)에 디스플레이된 3차원 공간을 걷고 있을 수 있다. 사용자의 총이나 이와 유사한 물건의 십자선(804) 세트가 3차원 공간에 대하여 스크린(802)의 2차원 화상면의 X-Y 좌표로 매핑된다.
사용자가 제어기 몸체(806)를 3차원 공간에서 이동시킴에 따라, 그 이동은 2차원 십자선(804)이 이동하는 원인이 된다. 도시된 바와 같이, 제어기 몸체(806)의 옆으로 그리고 위쪽으로의 이동(810)은 특정한 위치(812)로부터 다른 위치(814)로의 2차원 십자선(804)의 옆으로 그리고 위쪽으로의 이동을 일으킨다. 따라서, 게임은 3차원 게임을 포함할 수 있지만, 스크린상의 십자선은 3차원 공간에 대하여 스 크린의 이차원 면의 X 및 Y 좌표로 매핑된다.
상술한 실시예는 본 발명의 실시예가 제어기가 메뉴, 링크, 항목 등을 선택하기 위한 마우스 등의 장치로서 사용될 수 있도록 하는 것을 설명하지만, 제어기는 기능을 변경할 수 있고 다른 기능, 예를 들면 사격 게임의 십자선을 제어하는 기능을 위해 사용될 수 있다. 따라서, 검출된 사용자에 의한 전체 제어기의 이동, 동작 및/또는 조종은 다양한 게임의 방향 또는 수행되는 다른 시뮬레이션을 제어하기 위한 추가적 명령으로서 사용될 수 있다.
일부 실시예에서, 추가적 요소로서, 사용자가 선택된 조절(throttle) 레벨에 기초하여 커서를 더 빠르게 또는 더 느리게 움직일 수 있도록 2차원 매핑으로의 조종 기어링(gearing)이 조정(adjust)되거나 조절(throttle)될 수 있다. 이는 사용자에게 커서(cursor), 십자선 등이 제어기의 이동이나 동작에 대응하여 움직이는 속도를 선택하는데 유연성을 제공한다. 이러한 기어링(gearing)은 제어기의 임의의 버튼이나 컨트롤을 사용하여 조정될 수 있다. 예를 들면, 일부 실시예에서 기어링은 다양한 버튼 L2 및 R2(도 1B, 1C, 1D 그리고 1E) 또는 임의의 다른 버튼 또는 컨트롤을 이용하여 조절될 수 있다.
상기에서 언급된 바와 같이, 핸드 헬드 제어기의 삼차원 움직임은 예를 들면 상술한 바와 같거나 또는 다른 방식의 관성, 비디오, 음향, 적외선 분석과 같은 많은 다른 방식에 의해 트래킹될 수 있다. 도 9를 참조하면, 본 발명의 일 실시예에 따라 동작하는 시스템(900)이 도시된다. 상술한 바와 같이, "혼합 모드" 신호는 한 유형의 센서로부터의 신호가 트래킹 정보 입력의 일부를 제공할 수 있고 다른 유형 의 센서신호가 트래킹 정보 입력의 다른 일부를 제공하는 방식으로 사용될 수 있다. 즉, 일 실시예에서 피드백 루프는 관성, 비디오, 음향, 적외선 센서와 같은 임의의 숫자의 다른 유형의 센서(904)로부터의 신호를 믹싱하는 데 사용될 수 있는 믹서(902)를 포함할 수 있다. 믹서(902)로부터의 출력은 매퍼(905) 또는 그와 같은 것에 의하여 스크린의 2차원 화상면에 매핑된다.
이러한 방식으로 제어기의 3차원 이동, 동작 및 조종이 감지, 트래킹되고 믹서를 통해 스크린상의 2차원 플랫폼으로 매핑될 수 있다. 예를 들어, 비디오 트래킹이 사용된다면, 제어기의 3차원 이동이 카메라의 2차원 면에 사상되고, 제어기의 이동과 카메라의 2차원 화상면의 관점에서의 변형이 스크린의 2차원 플랫폼에 사상될 수 있다.
본 발명의 다른 실시예에 따르면 스크린의 2차원 화상면의 X 또는 Y 좌표 중 어느 하나가 선택적으로 고정될 수 있다. 이러한 방법으로, 플레이어가 제어기를 다양한 방향으로 움직이면 X 및 Y 좌표가 고정되어 있을 수 있기 때문에 스크린 상에 디스플레이된 화상은 오직 한 방향으로만 움직인다. 예를 들면, 도 10은 본 발명의 다른 실시 예에 따라 동작하는 시스템을 도시한다. 이 실시예에서, 사용자 또는 플레이어는 게임 속에서 패닝(panning)하고 움직이는 카메라와 함께 스크린(1002)상에 디스플레이된 3차원 공간을 걷고 있을 수 있다. 사용자의 총 등의 십자선(1004) 세트는 3차원 공간에 대하여 스크린(1002)의 2차원 화상면의 X-Y 좌표로 매핑된다.
이 예에서 Y좌표는 고정된다. 즉, 제어기 몸체(1006)의 측방향 및 상향으로 의 이동(1010)은 이차원 십자선(1004)이 오직 X축만을 따라서 특정한 위치(1012)에서 다른 위치(1014)로 옆으로 움직이도록 한다. Y축은 고정되었기 때문에 십자선(1004)은 오직 X축만을 따라서 움직인다.
일부 실시예에서 사용자는 버튼을 누른 상태를 유지할 수 있고, 그것은 축 중 어느 하나를 고정한다. 예를 들면, 버튼은 사용자가 제어기를 어디로 움직이든지 스크린상의 화상은 오직 X축만을 따라 움직이도록 Y 좌표를 고정할 수 있다. 즉, Y 좌표는 고정된다. 따라서, 사용자는 제어기를 오른쪽으로 비틀어서 X축 상의 오른쪽으로 움직일 수 있고, 제어기를 왼쪽으로 비틀어서 X축 상의 왼쪽으로 움직일 수 있다. 일부 실시예에서, 사용자가 버튼을 다시 누르면, 이전에 고정된 축의 고정을 해제하도록 설정될 수 있다. 이는 사용자에게 모든 방향으로의 이동을 제공한다. 일부 실시예에서, 사용자는 X축을 고정하기 위해 다른 버튼을 누를 수 있다. 이는 사용자가 십자선을 오직 위아래로만 움직일 수 있도록 한다.
핸드 헬드 제어기는 본 발명의 다양한 실시예에 따르는 임의의 유형의 제어기를 포함할 수 있다. 예를 들어, 비디오 게임 제어기가 도시되었으나 제어기는 텔레비전, 스테레오, DVD 플레이어 등의 전통적 제어기와 같은 임의의 유형의 제어기를 대신 포함할 수 있다. 예를 들면, 도 11A는 본 발명의 다양한 실시예에 따라 사용될 수 있는 전통적 텔레비전 제어기(1102)를 도시한다. 또는, 제어기는 여기서 설명된 방식으로 트래킹될 수 있는 임의의 다른 유형의 물건을 대신 포함할 수 있다. 예를 들면, 도 11B는 본 발명의 다양한 실시 예에 따라 사용될 수 있는 물건(1104)을 도시한다.
일부 실시예에서 제어기의 위치(position)와 요(yaw)가 부가될 수 있다. 이것은 제어기 이동이 커서 또는 십자선을 같은 방향으로 계속하여 움직여서 이동이 이전의 이동에 "부가" 되도록 할 수 있다. 상술한 바와 같이, 게임 제어기 몸체의 사용자의 조종을 감지 및 트래킹하는 것은 다른 방식으로 구현될 수 있다. 예를 들면, 가속도계 또는 자이로스코프와 같은 관성 센서, 디지털 카메라와 같은 화상 캡쳐 유닛이 컴퓨터 엔터테인먼트 시스템이 핸드 헬드 제어기 몸체의 동작을 검출하고 게임에서의 동작(action)으로 전송(transfer)하도록 사용될 수 있다. 관성 센서에 의한 제어기의 트래킹의 예는 미국 특허 출원 제11/382,033호(발명의 명칭 "SYSTEM, METHOD, AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL", 대리인 사건 번호 SCEA06INRT1)에 기술되어 있는데, 여기에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다. 화상 캡쳐에 의한 제어기 트래킹의 예는, 미국 특허 출원 제11/382,034호(발명의 명칭 "SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY", 대리인 사건 번호 SCEA05082US00) 에 기술되어 있는데, 여기에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다. 또한, 제어기 및/또는 사용자는 마이크로폰 어레이(microphone array) 및 적절한 신호 처리를 사용하여 음향에 의해 트래킹될 수 있다. 이러한 음향 트래킹의 예는 미국 특허 출원 제11/381,721호에 기술되어 있는데, 여기에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
음향 감지, 관성 감지 및 화상 캡쳐는 개별적으로 또는 임의의 조합에 의해 예를 들면 상향 하향 이동, 비트는 움직임, 측면상의 움직임, 잡아당기는 움직임, 마법봉 모션, 던지는 동작 등과 같은 많은 다른 유형의 제어기의 동작을 검출하는데 사용될 수 있다. 이러한 동작은 다양한 명령에 대응되어 이러한 동작이 게임에서의 동작(action)으로 전송될 수 있다. 게임 제어기 몸체의 사용자의 조종의 검출 및 트래킹은 사용자가, 예를 들면, 아이템의 모양을 트래킹하기 위해 지팡이를 사용하여 칼 또는 광선검 전투에 참여하거나, 많은 다른 유형의 스포츠 이벤트에 참여하거나, 스크린상의 전투(on-screen fights)나 다른 경기 등에 참여할 수 있도록 하는 많은 다른 유형의 게임, 시뮬레이션 등을 구현하기 위하여 사용될 수 있다. 게임 프로그램은 제어기의 동작을 트래킹하고 트래킹된 동작으로부터 어떠한 미리 저장된 제스처를 인식하도록 설정될 수 있다. 하나 이상의 제스처의 인식은 게임 상태의 변경을 일으킬 수 있다.
상술한 바와 같이, 본 발명의 일부 실시예에서 이러한 다른 소스(source)로부터 얻어진 제어기 경로 정보는 제스처 인식을 위한 분석 이전에 믹스될 수 있다. 다른 소스(예를 들면, 음향, 관성 및 화상 캡쳐)로부터의 트래킹 데이터는 제스처의 인식률을 향상시키는 방법으로 믹스될 수 있다.
위에서 논한 바와 같이, 관성, 화상 캡쳐 및 음원으로부터의 데이터는 제어기의 위치 및/또는 방향을 트래킹한 경로를 생성하기 위해 분석될 수 있다. 도 12의 블록도에 도시된 바와 같이, 본 발명의 일 실시예에 따른 시스템(1200)은 관성 분석기(1202), 화상 분석기(1204) 및 음향 분석기(1206)를 포함할 수 있다. 이러한 각 분석기는 감지된 환경으로부터 신호를 수신한다. 분석기들(1202, 1206, 1208)은 하드웨어, 소프트웨어(또는 펌웨어) 또는 이들의 둘 이상의 조합으로 구현될 수 있다. 각 분석기는 관심 있는 물건의 위치 및/또는 방향에 관한 트래킹 정보를 생산한다. 예를 들면, 관심 있는 물건은 위에서 참조한 제어기(110)가 될 수 있다. 화상 분석기(1204)는 미국 특허 출원 제11/382,034호(대리인 사건 번호 86321 SCEA05082US00)에 기술된 방법으로 아래와 같이 동작할 수 있다. 관성 분석기(1202)는 미국 특허 출원 제11/382,033호(발명의 명칭 "SYSTEM, METHOD, AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL", 대리인 사건 번호 SCEAO 6INRT1)에 기술된 방법으로 아래와 같이 동작할 수 있다. 음향 분석기(1206)는 미국 특허 출원 제11/381,724호에 기술된 방법으로 아래와 같이 동작할 수 있다.
분석기들(1202, 1204 및 1206)은 위치 및/또는 방향 정보의 입력의 다른 채널과 연관된 것으로 여겨질 수 있다. 믹서(1208)는 복수의 입력 채널을 받아들일 수 있고 그러한 채널은 통상적으로 그 채널의 관점에서 감지된 환경의 특성을 기술하는 샘플 데이터를 포함할 수 있다. 관성 분석기(1202), 화상 분석기(1204) 및 음향 분석기(1206)에 의하여 생성된 위치 및/또는 방향 정보는 믹서(1208)의 입력으로 연결될 수 있다. 믹서(1208) 및 분석기(1202, 1204, 1206)는 게임 소프트웨어(1210)에 의하여 쿼리(query)될 수 있고, 이벤트들에 대응하여 게임 소프트웨어를 인터럽트(interrupt)하도록 설정될 수 있다. 이벤트들은 제스처 인식 이벤트들, 기어링(gearing) 변경, 설정 변경, 노이즈 레벨(noise level) 설정, 샘플링 비율(sampling rate) 설정, 매핑 체인들(mapping chains) 변경 등을 포함할 수 있다. 이벤트들의 예는 아래에서 설명된다. 믹서(1208)는 본 발명의 명세서에 기술된 방 법들에 의하여 아래와 같이 동작할 수 있다.
상술한 바와 같이, 다른 입력 채널, 예를 들면, 관성 센서들, 비디오 화상 및/또는 음향 센서로부터의 신호는 독창적인 방법에 따른 비디오 게임의 플레이 동안 제어기(110)의 동작 및/또는 방향을 결정하기 위하여 각각 관성 분석기(1202), 화상 분석기(1204) 및 음향 분석기(1206)에 의하여 분석될 수 있다. 그러한 방법은 프로세서가 판독 가능한 매체에 저장된 프로세서가 실행 가능한 일련의 프로그램 코드 명령어로서 구현되고 디지털 프로세서에서 실행될 수 있다.
예를 들면, 도 13A에서 도시된 바와 같이, 비디오 게임 시스템(100)은 콘솔(102)에 하드웨어 또는 소프트웨어로 구현된 관성 분석기(1202), 화상 분석기(1204) 및 음향 분석기(1206)를 포함할 수 있다. 예를 들면, 분석기들(1202, 1204, 1206)은 적합한 프로세서 유닛(1302)에서 실행되는 소프트웨어 명령어로서 구현될 수 있다. 예를 들면, 프로세서 유닛(1302)은 디지털 프로세서, 예를 들면 비디오 게임 콘솔들에서 보통 사용되는 유형의 마이크로프로세서일 수 있다. 명령어의 일부는 메모리(1306)에 저장될 수 있다. 대안으로, 관성 분석기(1202), 화상 분석기(1204) 및 음향 분석기(1206)가 하드웨어, 예를 들면 주문형 집적회로(ASIC: application specific integrated circuit)로서 구현될 수 있다. 그러한 분석기 하드웨어는 제어기(110) 또는 콘솔(102)에 위치하거나 다른 원격지에 위치할 수 있다. 하드웨어 구현에서 분석기들(1202, 1204, 1206)은 외부 신호, 예를 들면 USB 케이블, 무선 연결, 또는 네트워크로 연결된 프로세서(1302) 또는 다른 원격 소스(source)로부터의 신호에 대응하여 프로그램될 수 있다.
관성 분석기(1202)는 관성 센서(112)에 의하여 생성되는 신호를 분석하고 제어기(110)의 위치 및/또는 방향에 관한 정보를 활용하는 명령어를 포함하거나 구현할 수 있다. 유사하게, 화상 분석기(1204)는 화상 캡쳐 유닛(112)에 의하여 캡쳐된 화상을 분석하는 명령어를 구현할 수 있다. 또한, 음향 분석기는 마이크 어레이(118)에 의하여 캡쳐된 이미지를 분석하는 명령어를 구현할 수 있다. 도 13B의 흐름도(1310)에서 보이는 바와 같이, 이러한 신호 및/또는 화상은 블록(1312)에서 나타난 바와 같이 분석기(1202, 1204, 1206)에 의하여 수신될 수 있다. 블록(1314)에서 나타난 바와 같이 신호 및/또는 화상은 제어기(110)의 위치 및/또는 방향에 관한 관성 트래킹 정보(1203), 화상 트래킹 정보(1205) 및 음향 트래킹 정보(1207)를 결정하기 위하여 분석기(1202, 1204, 1206)에 의하여 분석될 수 있다. 트래킹 정보(1203, 1205, 1207)는 하나 이상의 자유도(degrees of freedom)에 관련될 수 있다. 제어기(110) 또는 다른 트래킹된 물건의 조종의 특성을 기술하기 위하여 자유도 6이 트래킹되는 것이 바람직하다. 이 자유도는 틸트(tilt), 요(yaw), 롤(roll) 및 x, y 및 z축에 따르는 위치, 속도 또는 가속도에 관련된 것이 될 수 있다.
일부 실시예에서, 예를 들면 본 발명에 참조로서 포함되는 미국 특허 출원 제11/381,724호에 기술된 바와 같이, 제어기(110)는 마이크 어레이(118)와 적절한 음향 신호 처리와 함께 제어기(110)의 음향 트래킹을 용이하게 하기 위한 음원을 제공하기 위해 음향 신호 생성기(115)(예를 들면, 스피커)도 포함할 수 있다. 블록(1316)에서 나타난 바와 같이 믹서(1208)는 정제된 위치 및/또는 방향 정 보(1209)를 생성하기 위해 관성 정보(1203), 화상 정보(1205) 및 음향 정보(1207)를 믹스한다. 예를 들면, 믹서(1208)는 게임 또는 환경 조건에 기초하여 관성, 화상 및 음향 트래킹 정보(1203, 1205, 1207)에 다른 가중치를 적용하고 가중치가 적용된 평균을 취할 수 있다. 추가로, 믹서(1208)는 조합된 위치/방향 정보를 분석하고 다른 분석기에 의하여 생성된 정보의 조합과 관련된 자체의 결과 "믹서" 정보를 생성하는 자체의 믹서 분석기(1304)를 포함할 수 있다.
본 발명의 일 실시예에서, 믹서(1208)는 분석기들(1202, 1204, 1206)로부터 트래킹 정보(1203, 1205, 1207)에 대한 분배 값을 할당할 수 있다. 상술한 바와 같이, 임의의 입력 제어 데이터 세트가 분배될 수 있다. 그러나 본 실시예에서, 분배에 앞서 입력 제어 데이터에 값을 할당하여 몇몇 분석기로부터의 입력 제어 데이터는 다른 분석기로부터 보다 분석적으로 더 중요하다.
믹서(1208)는 본 시스템의 구성에서 관찰, 수정, 안정화, 유도, 조합, 라우팅, 믹싱, 보고, 버퍼링, 다른 프로세스의 인터럽트, 및 분석을 포함하는 많은 기능들을 담당할 수 있다. 이는 하나 이상의 분석기들(1202, 1204, 1206)로부터 수신한 트래킹 정보(1203, 1205, 1207)와 관련하여 실행될 수 있다. 각각의 분석기(1202, 1204, 1206)가 특정 트래킹 정보를 수신 및/또는 유도하는 동안, 믹서(1208)는 수신된 트래킹 정보(1203, 1205, 1207)의 사용을 최적화하고 정제된 트래킹 정보(1209)를 생성할 수 있다.
분석기들(1202, 1204, 1206) 및 믹서(1208)는 출력 포맷과 유사한 트래킹 정보를 제공하도록 구성되는 것이 바람직하다. 임의의 분석기 요소(1202, 1204, 1206)로부터의 트래킹 정보 파라미터들이 하나의 분석기에 하나의 파라미터로 배치될 수 있다. 한편, 믹서(1208)는 하나 이상의 분석기(1202, 1204, 1206)로부터의 하나 이상의 트래킹 정보 파라미터를 처리하여 임의의 분석기(1202, 1204, 1206)에 대한 트래킹 정보를 생성할 수 있다. 믹서는 분석기들(1202, 1204, 1206)로부터 수신된 동일한 파라미터 유형의 트래킹 정보의 2 이상의 요소들을 조합 및/또는 분석기들에 의하여 생성된 트래킹 정보의 다수 파라미터에 걸쳐 다수의 입력 채널로부터 생성되는 이점을 갖는 종합적인 출력 세트를 생성하는 기능들을 수행할 수 있다.
블록(1318)에 나타난 바와 같이, 정제된 트래킹 정보(1209)가 시스템(100)을 구비한 비디오 게임의 실행동안 이용된다. 특정 실시예에서, 위치 및/또는 방향 정보가 게임 실행동안 사용자(108)에 의해 취해진 제스처와 관련하여 사용될 수 있다. 몇몇 실시예에서, 믹서(1208)는 게임 환경에서 적어도 하나의 동작을 사용자로부터의 하나 이상의 사용자 동작(예를 들면, 공간에서 제어기의 조작)과 관련시키도록 제스처 인식기(1305)와 협력하여 작동할 수 있다.
도 13C의 흐름도(1320)에 도시된 바와 같이, 제어기(110)의 경로는, 블록(1322)에 표시된 바와 같이 위치 및/또는 방향 정보를 이용하여 트래킹된다. 예(본 발명이 이에 한정되는 것은 아님)를 들어, 경로는 몇몇 시스템의 좌표들과 관련하여 제어기의 질량 중심 위치를 나타내는 한 세트의 점들을 포함할 수 있다. 각각의 위치 점은 하나 이상의 좌표, 예로서 직교 좌표 시스템의 X, Y 및 Z 좌표로 나타내질 수 있다. 경로의 형상 및 경로를 따르는 제어기의 움직임을 모니터할 수 있도록 시간이 경로 상의 각 점과 연관되어질 수 있다. 또한, 상기 세트에서 각각의 점은 제어기의 방향을 나타내는 데이터, 예로서 질량 중심에 대한 제어기의 하나 이상의 회전각들을 그것과 연관시킬 수 있다. 더욱이, 경로 상의 각 점은 제어기의 질량 중심의 속도 및 가속도 값들과, 그 질량 중심에 대한 제어기의 각도 회전율 및 각가속도를 그것과 연관시킬 수 있다.
블록(1324)에 나타난 바와 같이, 트래킹된 경로는 실행되는 비디오 게임의 상황과 관련된 공지 및/또는 사전 기록 제스처(1308)에 대응하는 하나 이상의 저장된 경로와 비교될 수 있다. 인식기(1305)는 사용자를 인식하거나 오디오 감정 제스처를 처리하도록 구성될 수 있다. 예를 들면, 사용자는 사용자 특유의 제스처를 통해 인식기(1305)에 의해 식별될 수 있다. 이러한 특유의 제스처는 기록되어 메모리(1306)에 저장된 사전 기록 제스처들(1308)에 포함될 수 있다. 기록 절차는 제스처의 기록 동안 생성된 오디오를 저장할 수 있다. 판독된 환경은 다중 채널 분석기로 샘플링되고 처리된다. 프로세서는 음성 또는 음향 패턴에 기초하여 사용자 또는 객체들을 고도의 정확성 및 성능으로 결정 및 확인하기 위해 동작 모델을 참조할 수 있다.
도 13A에 도시된 바와 같이, 제스처들을 나타내는 데이터(1308)는 메모리(1306)에 저장될 수 있다. 제스처의 예는 공 등의 객체를 던짐, 배트나 골프 클럽 등의 객체를 스윙함, 문 또는 창문을 열거나 닫음, 핸들을 돌리거나 하는 등의 기타 차량 제어, 펀치 등의 무술 동작들, 샌딩(sanding) 동작들, 왁스를 바르거나 벗김, 집을 페인트 칠함, 흔들기, 소동, 구르기, 축구공 던지기, 손잡이 돌리는 동 작들, 3D 마우스 동작들, 스크롤 동작들, 공지의 윤곽을 갖는 동작들, 임의의 기록할만한 동작, 타이어에 펌프로 공기를 넣는 것처럼 일정 벡터를 따라 왔다갔다 하지만 공간에서는 임의의 방향인 동작들, 경로를 따라가는 동작들, 정확한 멈춤 및 시작 시간을 갖는 동작들, 노이즈 플로어(noise floor), 스플라인 등에서 기록되고, 트래킹되고, 반복될 수 있는 일정 시간 기반의 사용자 조작을 포함하나, 이에 제한되지는 않는다. 이러한 제스처 각각은 경로 데이터로부터 미리 기록되고 시간 기반 모델로서 저장될 수 있다. 경로 및 저장된 동작들의 비교는 정상 상태의 가정과 함께 시작될 수 있고 경로가 정상 상태에서 벗어나면 경로는 제거 절차에 의해 저장된 제스처들과 비교될 수 있다. 블록(1326)에서 일치가 없다면, 블록(1322)에서 분석기(1304)는 제어기(110)의 경로를 계속 트래킹할 수 있다. 경로(또는 경로의 일부)와 저장된 제스처 사이에 충분한 일치가 있다면, 블록(1328)에 표시된 바와 같이, 게임 상태는 변경될 수 있다. 게임 상태의 변경은 인터럽트, 제어 신호의 전송, 변수의 변경 등을 포함할 수 있지만, 이에 제한되지는 않는다.
이것이 발생하는 일례가 이하에 기재된다. 제어기(110)가 정상 상태로 남아있다는 것을 결정하는 대로 분석기(1202, 1204, 1206, 또는 1304)는 제어기(110)의 움직임을 트래킹한다. 제어기(110)의 경로가 저장된 제스처 모델들(1308)에서 정의된 경로를 따르는 한, 그런 제스처들은 가능한 "히트"이다. 제어기(110)의 경로가 임의의 제스처 모델(1308)로부터 벗어나면(단, 설정된 노이즈 허용 범위 내임), 그 제스처 모델은 히트 리스트에서 제거된다. 각각의 제스처 참조 모델은 제스처가 기록되는 시간 기반 모델을 포함한다. 분석기(1202, 1204, 1206 또는 1304)는 제어기 경로 데이터를 적당한 시간 인덱스에서 저장된 제스처들(1308)과 비교한다. 정상 상태 조건의 발생은 클록을 리셋한다. 정상 상태로부터 벗어날 때(즉, 동작들이 노이즈 임계값 밖에서 트래킹될 때), 히트 리스트는 모든 가능한 제스처 모델들로 채워진다. 클록은 시작되고 제어기의 움직임은 히트 리스트와 비교된다. 또한, 비교는 시간의 워크 스루(walk through time)이다. 히트 리스트 내의 임의의 제스처가 제스처의 마지막에 도달하면 그것이 히트이다.
본 발명의 일부 실시예에서, 믹서(1208)는 분석기들(1202, 1204, 1206)로부터의 트래킹 정보(1203, 1205, 1207)에 대한 분배 값을 할당할 수 있다. 상술한 바와 같이, 특정한 입력 제어 데이터 세트가 분배될 수 있다. 그러나 본 실시예에서, 분배에 앞서 입력 제어 데이터에 값을 할당하여 몇몇 분석기로부터의 입력 제어 데이터는 다른 분석기로부터 보다 분석적으로 더 중요하다.
예를 들면, 믹서(1208)는 가속도 및 정상 상태에 관련된 트래킹 정보를 필요로 할 수 있다. 이때, 믹서(1208)는 상기된 바와 같이 트래킹 정보(1203, 1205, 1207)를 수신한다. 트래킹 정보는 상기된 바와 같이, 가속도 및 정상 상태에 관한 파라미터들을 포함할 수 있다. 이 정보를 나타내는 데이터를 분배하기에 앞서, 믹서(1208)는 트래킹 정보 데이터 세트(1203, 1205, 1207)에 분배 값을 할당할 수 있다. 예를 들면, 관성 분석기(1202)로부터의 x 및 y 가속도 파라미터들이 90%의 값으로 매겨질 수 있다. 그러나 화상 분석기(1204)로부터의 x 및 y 가속도 파라미터들은 10%만 매겨질 수 있다. 음향 분석기의 트래킹 정보(1207)는 가속도 파라미터에 속해 있을 때, 0%로 매겨질 수 있다. 즉, 데이터가 아무런 값을 갖지 않는다.
마찬가지로, 관성 분석기(1202)로부터의 Z축 트래킹 정보 파라미터들은 10%로 매겨질 수 있는 반면, 화상 분석기의 Z축 트래킹 정보는 90%로 매겨질 수 있다. 또한, 음향 분석기 트래킹 정보(1207)는 0%로 매겨질 수 있지만, 음향 분석기(1206)로부터의 정상 상태 트래킹 정보는 나머지 분석기의 트래킹 정보가 0%로 매겨진다면 100%로 매겨질 수 있다.
적당한 분배 값이 할당된 후에, 입력 제어 데이터가 매겨진 평균 입력 제어 데이터에 도달하도록 그 값과 함께 분배될 수 있고, 이어서 매겨진 평균 입력 제어 데이터는 제스처 인식기(1305)에 의해 분석되고 게임 환경에서 특정 동작과 연관된다. 연관된 값들은 믹서(1208) 또는 특정 게임 제목에 의해 미리 정의될 수 있다. 또한, 값들은 다수의 분석기로부터 나오는 개별 특성의 데이터를 식별하고, 따라서 하기에서 논의되는 바와 같이 동적 조정을 하는 믹서(1208)의 결과일 수 있다. 또한, 조정은 특정 데이터가 특정 환경에서 및/또는 주어진 게임 제목의 특성에 대응하여 특정 값일 때 내역적 지식 기반 구축의 결과일 수 있다.
믹서(1208)는 게임 실행동안 동적으로 작동하게 구성될 수 있다. 예를 들면, 믹서(1208)가 다양한 입력 제어 데이터를 수신할 때, 믹서는 어떤 데이터가 계속 데이터의 허용 범위 또는 특성 밖인지, 또는 관련 입력 장치에서 처리 에러를 나타내는 부정한 데이터를 초래하는지를 식별할 수 있다.
또한, 현실에서 어떤 상황들이 바뀌어도 좋다. 예를 들면, 사용자의 가정에서의 게임 환경에서 자연광이 오전에서 오후로 바뀌면서 늘어나 화상 데이터 캡쳐에 문제를 일으킬 수 있다. 게다가, 이웃이나 가족이 낮 동안 소란스러워져서 오디 오 데이터 캡쳐에 문제를 일으킬 수 있다. 마찬가지로, 사용자가 몇 시간 동안 게임을 한다면, 이들의 반응이 민첩해지지 않게 되어 관성 데이터의 해석에 문제를 일으킬 수 있다.
이들 예, 또는 특정 형식의 입력 제어 데이터의 특질에 문제가 있는 다른 예에서, 믹서(1208)는 특정 장치에서 오는 특정 데이터 세트에 분배 값을 동적으로 재할당하여, 상기한 바와 같이 어느 정도의 중요성이 특정 입력 제어 데이터에 주어진다. 마찬가지로, 게임 환경이 게임의 코스를 변경할 수 있고, 여기서 특정 게임에 대한 요구가 변하여 특정 입력 제어 데이터에 대한 요구나 값의 재할당을 필요로 한다.
유사하게, 믹서(1208)는 제스처 인식기(1305)에 통과되는 어떤 데이터가 부정확하게, 천천히, 또는 제스처인식기(1305)에 의해 생성되는 처리 에러나 피드백 데이터에 전혀 기반하지 않고 처리되는지를 확인할 수 있다. 이 피드백에 반응하거나 이러한 처리 장애(예로서, 화상 분석 데이터가 허용 범위 내인 동안, 제스처 인식기(1305)에 의해 연관이 이루어질 때 에러가 생긴다)를 인식하여, 믹서(1208)는 가능하면 어떤 분석기 및 언제부터 어떤 입력 제어 데이터를 탐색할지를 조정할 수 있다. 또한, 믹서(1208)는 특정 분석 및 믹서(1208)에 통과되기 전에 적당한 분석기에 의해 입력 제어 데이터의 처리를 필요로 하고, 데이터를 다시 처리(예로서, 데이터 분배)할 수 있고, 그 결과 추가의 보장층이 생성되어 제스처 인식기(1305)에 통과된 데이터가 효과적이고 적당하게 처리될 것이다.
일부 실시예에서, 믹서(1208)는 특정 데이터가 유해하고, 쓸모가 없고, 또는 특정 변수 밖인지를 식별할 수 있고, 특정 입력 제어 데이터 또는 그 데이터에 관련된 변수를 요청하여 부정확한 데이터를 교체하거나 적절히 분석하고 필요한 변수들과 관련하여 특정 데이터를 계산할 수 있다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 방법(1400)을 예시하고 있다. 방법(1400)은 다양한 센서들로부터의 정보가 어떻게 사용되고, 조합 및/또는 혼합되어 제어기와 같은 객체의 트래킹을 실행하는지의 다른 예를 제공한다.
하나의 구현예에서, 방법(1400)은 자이로 센서나 가속도계 등의 제어기의 센서에 의해 제공되는 경사 정보가 제어기 화상 검출을 최적화하도록 사용되는 비디오 카메라를 사용하여 제어기의 위치를 트래킹하는데 사용될 수 있다. 제어기 화상 검출은 제어기의 참조 검출 윤곽 화상이 센서에 의해 제공되는 제어기의 경사각을 따라 회전되는 변형된 비교를 사용하여 최적화된다.
더욱이, 제어기 등의 객체로부터 입력 데이터를 획득하는데 사용되는 방법(1400)은 객체의 라이브 화상을 화상 캡쳐 장치로 캡쳐하는 단계 1402에서 시작한다. 화상 캡쳐 장치는 여기에 서술된 임의의 유형의 카메라와 같은 임의의 유형의 카메라를 포함할 수 있다. 예를 들면, 몇몇 실시예에서 화상 캡쳐 장치는 Z 카메라나 깊이 카메라 또는 다른 유형의 3차원 카메라를 포함할 수 있다. 이러한 Z 카메라나 깊이 카메라는 상기된 바와 같이, 각 픽셀의 깊이를 제공 또는 측정하거나 및/또는 카메라로부터 픽셀의 거리를 결정할 수 있다.
도 15는 이 단계의 예를 도시한다. 즉, 객체(1504)의 라이브 화상(1502)이 캡쳐된다. 몇몇 실시예에서 객체(1504)는 제어기를 포함할 수 있다. 도시된 바와 같이, 객체(1504)는 카메라 시야의 상부 좌측 코너에 위치해 있다.
단계 1404(도 14)에서, 객체의 경사각에 관한 정보는 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 수신된다. 예로서, 하나 이상의 센서는 임의의 하나 이상의 자이로 센서, 가속도계, 또는 유사 센서를 포함할 수 있다. 이러한 센서들은 객체에 위치될 수 있다.
일부 실시예에서 객체의 회전이 자이로 축에 대하여 이루어진다면 자이로 센서가 사용될 수 있다. 가속도계 판독 및 중력 방향이 모든 상황에서 사용될 수 있다. 가속도계 판독의 사용은 벗어나지 않는 절대각 응답을 얻을 수 있는 이점이 있다. 일부 실시예에서 두 센서는 회전이 자이로 축에 대하여 이루어진다면 사용될 수 있다. 일부 실시예에서 객체의 경사각에 관한 정보가 객체의 경사각을 결정하거나 측정하는데 사용될 수 있다.
객체의 경사각의 측정은 아래에서 기술되는 바와 같이, 경사각을 알아내는 것이 카메라 트래킹에 도움이 되기 때문에 이롭다. 또한, 경사각의 이용은 자유도 6에서 트래킹될 가능성을 갖는 상기된 유형의 제어기들이 경사를 매우 용이하게 측정할 수 있기 때문에 유용하다. 더욱이, 회전은 카메라를 이용하여 측정하기에 불편하다.
단계 1406에서, 객체의 경사각에 관한 정보가 객체의 적어도 하나의 회전된 참조 화상을 획득하는데 사용된다. 예로서, 객체의 기본 참조 화상은 객체의 측면도, 객체의 평면도, 사용자의 손 또는 객체를 잡고 있는 손의 도면, 또는 다른 도면들을 포함할 수 있다. 따라서 객체가 제어기를 포함하는 실시예에서, 객체의 기 본 참조 화상은 제어기의 측면도, 제어기의 평면도, 사용자 손 또는 제어기를 잡고 있는 손의 도면, 또는 다른 도면들을 포함할 수 있다.
도 15는 1504'로 표시된 객체(1504)의 기본 참조 화상(1506)의 예를 도시한다. 도시된 바와 같이, 객체(1504')는 회전되어 있지 않다.
일부 실시예에서, 객체의 회전된 참조 화상은 객체의 경사각에 관한 정보 또는 객체의 정해진 경사각을 사용하여 참조 화상을 즉석에서 회전시켜 획득될 수 있다. 또는 일부 실시예에서, 회전된 버전의 참조 화상 세트는 메모리에 저장될 수 있다. 객체의 경사각에 관한 정보 또는 객체의 정해진 경사각은 상기 저장된 세트로부터 대응하는 회전된 참조 화상을 선택하는데 사용될 수 있다. 그리고 나서 객체의 회전된 참조 화상은 저장 장치로부터 검색함으로써 획득될 수 있다.
도 15는 1504"로 표시된 객체(1504)의 회전된 참조 화상(1508)의 예를 도시한다. 도시된 바와 같이, 객체(1504")는 라이브 화상(1502)에서 객체(1504)의 회전과 동일하거나 유사한 방법으로 회전된다.
이미 언급한 바와 같이, 단계 1406에서 객체의 적어도 하나의 회전된 참조 화상이 획득된다. 일부 실시예에서, 객체의 경사각에 관한 정보가 객체의 회전된 참조 화상을 하나뿐 아니라 다수 획득하는데 사용되기 때문에 용어 "적어도 하나"가 사용된다. 각각의 회전된 참조 화상은 객체의 경사각 근처의 약간 다른 각으로 될 수 있다. 일부 실시예에서, 객체의 경사각에 관한 정보는 정확히 경사각에서의 하나의 참조 화상뿐이라기 보다 경사각 근처의 회전된 참조 화상들의 세트를 생성하는데 사용된다. 이렇게, 상기 세트가 경사각 근처의 다양한 각을 갖는 회전된 참 조 화상들을 제공할 것이기 때문에 경사각 측정은 소란스럽고 불완전할 수 있다. 상기 세트에서 회전된 참조 화상의 수는 특정 애플리케이션, 구현예 및 요구되는 정확성의 수준에 따라 다양해질 수 있다.
도 16은 경사각 근처의 객체(1504")의 회전된 참조 화상들(1602, 1604, 1606, 1608)의 세트의 예를 도시한다. 각 화상에서 객체(1504")의 경사각은 약간 다르다.
단계 1408(도 14)에서 객체의 라이브 화상은 객체의 하나 이상의 회전된 참조 화상과 비교된다. 일반적으로, 화상 캡쳐 유닛은 x 및 y 평면에서의 화상을 찾고, 찾고 있는 화상은 경사 센서 또는 가속도계에 의해 제공된 객체의 각을 반영하는 번역된 화상이다. 따라서 경사 측정의 이점은 참조 화상의 모든 가능한 회전들을 비교하는 대신에, 화상 캡쳐 유닛이 측정된 경사각에 가까운 회전들을 체크할 필요만 있다는 것이다. 회전들은 경사 센서의 노이즈에 기초하여 정해진 에러 허용 범위 내에서 측정된 경사각에 가깝다. 라이브 화상이 적절하게 회전된 참조 화상과 비교되기 때문에, 회전 자유도는 비교 절차 동안 검색될 필요가 없고, 그 결과 비교 계산 비용의 절감과 비교 질의 향상을 꾀할 수 있다.
일부 실시예에서 사용된 선택적인 접근은 미리 비교된 경사각 근처의 경사각들을 비교하기 위한 최초의 시도이다. 이렇게, 경사각 센서가 "무효" 데이터를 산발적으로 생성하더라도, 카메라 트래킹은 별로 영향을 주지 못할 수 있다.
도 15는 이러한 비교의 예를 도시한다. 즉, 객체(1504)의 라이브 화상(1502)이 객체(1504")의 회전된 참조 화상(1508)과 비교된다. 상기된 바와 같이 다수의 회전된 참조 화상이 사용되는 실시예에서, 객체(1504)의 라이브 화상(1502)은 회전된 참조 화상들 중 몇몇 또는 모두와 비교된다. 따라서, 일부 실시예에서, 객체의 경사각에 관한 정보가 객체의 다수의 회전된 참조 화상을 획득하는데 사용되고, 따라서 객체의 라이브 화상은 객체의 다수의 회전된 참조 화상 각각과 비교된다.
마지막으로, 단계 1410(도 14)에서, 회전된 참조 화상들 중 하나와 일치하는 라이브 화상에 대응하는 표시가 생성된다. 표시는 라이브 화상과 회전된 참조 화상들 중 하나의 사이에서 일치가 발생한 소프트웨어 및/또는 하드웨어에 표시하기 위한 임의의 유형의 플래그 또는 신호를 포함할 수 있다.
일부 실시예에서, 객체의 트래킹은 일치가 발생하는 라이브 화상에서 위치를 결정함으로써 실행될 수 있다. 예를 들면, 도 15에서 객체(1504)가 카메라 시야의 상부 좌측 코너에 위치해 있을 때 일치가 발생한다. 이 정보는 객체(1504)의 위치를 결정하는데 사용될 수 있다. 또 다른 일치는 객체(1504)의 이동을 트래킹하는데 사용될 수 있다.
일부 실시예에서, 하나 이상의 참조 화상들 및 라이브 화상이 하나 이상의 노멀라이징 필터(normalizing filter)를 통과할 수 있다. 이는 조명 변화가 없는 밤에 비교가 더욱 신뢰성이 높아지는데 도움이 될 수 있다. 예로서, 이러한 노멀라이징 필터는 라플라시안(Laplacian), LoG(Laplacian of Gaussian), 시그넘 LoG(signum of Laplacian of Gaussian), 또는 유사한 효과를 갖는 다른 유형의 필터를 포함할 수 있다.
따라서 센서로부터 제공된 객체의 경사각에 따라 객체의 참조 검출 윤곽 화 상을 회전시키거나 변경함으로써, 객체 화상 검출이 최적화될 수 있다. 이러한 객체 화상 검출은 객체의 위치를 트래킹하는데 사용될 수 있다. 예를 들면, 상기 방법이 비디오 입력을 사용하는 제어기에 대하여 사용될 수 있다. 객체의 경사각의 이용이 유익한 반면, 몇몇 실시예에서 제어기의 이동은 스케일 변경 또는 수평/수직 이동에 대한 카메라 트래킹에 유익한 역할을 선택적 또는 부가적으로 할 수 있다.
객체는 임의의 유형의 제어기와 같은 임의의 유형의 객체를 포함할 수 있다는 것을 알 수 있다. 예를 들면, 객체는 텔레비전, 스테레오, DVD 플레이어 등에 사용되는 유형의 원격 제어기를 포함할 수 있다. 일부 실시예에서, 상기된 방법들 및 기술들이 둘 이상의 제어기에 동시에 사용될 수 있다. 예를 들면, 상기 방법들 및 기술들은 사용자의 손 각각에 있는 제어기, 다수의 사용자에 의해 조작되는 제어기들, 또는 유사한 사례에 대하여 사용될 수 있다. 상기 방법들 및 기술들은 이런 모든 제어기들을 검출 및/또는 트래킹하는데 동시에 사용될 수 있다.
계류중인 2007년 1월 18일자 미국 특허 출원 제11/624,637호(발명의 명칭 "METHOD AND SYSTEM FOR ADDING A NEW PLAYER TO A GAME IN RESPONSE TO CONTROLLER ACTIVITY")에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 10월 20일자 미국 특허 출원 제11/551,682호(발명의 명칭 "GAME CONTROL USING THREE-DIMENSIONAL MOTIONS OF CONTROLLER")에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 10월 19일자 미국 특허 출원 제11/551,197호(발명의 명칭 "CONTROLLER CONFIGURED TO TRACK USER'S LEVEL OF ANXIETY AND OTHER MENTAL AND PHYSICAL ATTRIBUTES")에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 9월 28일자 미국 특허 출원 제11/536,559호(발명의 명칭 "MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO THE TWO-DIMENSIONAL IMAGE PLANE OF A DISPLAY SCREEN", 대리인 사건 번호 제86335호 [SCEA06058US00])에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 10일자 미국 특허 출원 제11/382,699호(발명의 명칭 "ATTACHABLE STRUCTURE FOR USE WITH HAND-HELD CONTROLLER HAVING TRACKING ABILITY", 대리인 사건 번호 제87906호 [SCEA06028US00])에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
2005년 9월 15일자 미국 특허 가출원 제60/718,145호(발명의 명칭 "AUDIO, VIDEO, SIMULATION, AND USER INTERFACE PARADIGMS")에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
다음 출원들에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다:
2002년 7월 27일자 미국 특허 출원 제10/207,677호(발명의 명칭 "MAN- MACHINE INTERFACE USING A DEFORMABLE DEVICE"); 2003년 8월 27일자 미국 특허 출원 제10/650,409호(발명의 명칭 "AUDIO INPUT SYSTEM"); 2003년 9월 15일자 미국 특허 출원 제10/663,236호(발명의 명칭 "METHOD AND APPARATUS FOR ADJUSTING A VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION"); 2004년 1월 16일자 미국 특허 출원 제10/759,782호(발명의 명칭 "METHOD AND APPARATUS FOR LIGHT INPUT DEVICE"); 2004년 4월 7일자 미국 특허 출원 제10/820,469호(발명의 명칭 "METHOD AND APPARATUS TO DETECT AND REMOVE AUDIO DISTURBANCES"); 2005년 12월 12일자 미국 특허 출원 제11/301,673호(발명의 명칭 "METHOD FOR USING RELATIVE HEAD AND HAND POSITIONS TO ENABLE A POINTING INTERFACE VIA CAMERA TRACKING").
다음 출원들에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다:
2006년 5월 4일자 미국 특허 출원 제11/381,279호(발명자: 샤동 마오, 발명의 명칭 "ULTRA SMALL MICROPHONE ARRAY", 대리인 사건 번호: SCEA05062US00); 2006년 5월 4일자 미국 특허 출원 제11/381,728호(발명자: 샤동 마오, 발명의 명칭 "ECHO AND NOISE CANCELLATION", 대리인 사건 번호: SCEA05064US00); 2006년 5월 4일자 미국 특허 출원 제11/381,725호(발명자: 샤동 마오, 발명의 명칭 "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION", 대리인 사건 번호: SCEA05072US00); 2006년 5월 4일자 미국 특허 출원 제11/381,727호(발명자: 샤동 마오, 발명의 명칭 "NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE", 대리인 사건 번호: SCEA05073US00); 2006년 5월 4일자 미국 특허 출원 제11/381,724호(발명자: 샤동 마오, 발명의 명칭 "METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION", 대리인 사건 번호: SCEA05079US00); 2006년 5월 4일자 미국 특허 출원 제11/381,721호(발명자: 샤동 마오, 발명의 명칭 "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 대리인 사건 번호: SCEA04005JUMBOUS).
다음 출원들에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다:
계류중인 2006년 5월 4일자 미국 특허 출원 제11/418,988호(발명자: 샤동 마오, 발명의 명칭 "METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS", 대리인 사건 번호: SCEA-00300); 계류중인 2006년 5월 4일자 미국 특허 출원 제11/418,989호(발명자: 샤동 마오, 발명의 명칭 "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE", 대리인 사건 번호: SCEA-00400); 계류중인 2006년 5월 4일자 미국 특허 출원 제11/429,047호(발명자: 샤동 마오, 발명의 명칭 "METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL", 대리인 사건 번호: SCEA-00500); 계류중인 2006년 5월 4일자 미국 특허 출원 제11/429,133호(발명자: 리처드 막스 외, 발명의 명칭 "SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING", 대리인 사건 번호: SCEA04005US01-SONYP045); 및 계류중인 2006년 5월 4일자 미국 특허 출원 제11/429,414호(발명자: 리처드 막스 외, 발명의 명칭 "COMPUTER IMAGE AND AUDIO PROCESSING OF INTENSITY AND INPUT DEVICES FOR INTERFACING WITH A COMPUTER PROGRAM", 대리인 사건 번호: SONYP052).
다음 출원들에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다:
2006년 5월 6일자 미국 특허 출원 제11/382,031호(발명의 명칭 "MULTI- INPUT GAME CONTROL MIXER", 대리인 사건 번호: SCEAO6MXR1); 2006년 5월 6일자 미국 특허 출원 제11/382,032호(발명의 명칭 "SYSTEM FOR TRACKING USER MANIPULATIONS WITHIN AN ENVIRONMENT", 대리인 사건 번호: SCEAO6MXR2); 2006년 5월 6일자 미국 특허 출원 제11/382,033호(발명의 명칭 "SYSTEM, METHOD, AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL", 대리인 사건 번호: SCEAO6INRT1); 2006년 5월 6일자 미국 특허 출원 제11/382,035호(발명의 명칭 "INERTIALLY TRACKABLE HAND-HELD CONTROLLER", 대리인 사건 번호: SCEAO6INRT2); 2006년 5월 6일자 미국 특허 출원 제11/382,036호(발명의 명칭 "METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO VISUAL TRACKING", 대리인 사건 번호: SONYP058A); 2006년 5월 7일자 미국 특허 출원 제11/382,041호(발명의 명칭 "METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO INERTIAL TRACKING", 대리인 사건 번호: SONYP058B); 2006년 5월 6일자 미국 특허 출원 제11/382,038호(발명의 명칭 "METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO ACOUSTICAL TRACKING", 대리인 사건 번호: SONYP058C); 2006년 5월 7일자 미국 특허 출원 제11/382,040호(발명의 명칭 "METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO MULTI-CHANNEL MIXED INPUT", 대리인 사건 번호: SONYP058D); 2006년 5월 6일자 미국 특허 출원 제11/382,034호(발명의 명칭 "SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY", 대리인 사건 번호: 86321 SCEA05082US00); 2006년 5월 6일자 미국 특허 출원 제11/382,037호(발명의 명칭 "SCHEME FOR TRANSLATING MOVEMENTS OF A HAND-HELD CONTROLLER INTO INPUTS FOR A SYSTEM", 대리인 사건 번호: 86324); 2006년 5월 7일자 미국 특허 출원 제11/382,043호(발명의 명칭 "DETECTABLE AND TRACKABLE HAND-HELD CONTROLLER", 대리인 사건 번호: 86325); 2006년 5월 7일자 미국 특허 출원 제11/382,039호(발명의 명칭 "METHOD FOR MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO GAME COMMANDS", 대리인 사건 번호: 86326); 2006년 5월 6일자 미국 디자인 출원 제29/259,349호(디자인의 대상 물품명 "CONTROLLER WITH INFRARED PORT", 대리인 사건 번호: SCEA06007US00); 2006년 5월 6일자 미국 디자인 출원 제29/259,350호(디자인의 대상 물품명 "CONTROLLER WITH TRACKING SENSORS", 대리인 사건 번호: SCEA06008US00); 2006년 5월 6일자 미국 특허 출원 제60/798,031호(디자인의 대상 물품명 "DYNAMIC TARGET INTERFACE", 대리인 사건 번호: SCEA06009US00); 및 2006년 5월 6일자 미국 디자인 출원 제29/259,348호(디자인의 대상 물품명 "TRACKED CONTROLLER DEVICE", 대리인 사건 번호: SCEA06010US00).
계류중인 2006년 5월 8일자 미국 특허 출원 제11/430,594호(발명자: 게리 잘레스키 및 릴리 알 러셀, 발명의 명칭 "Profile Detection", 대리인 사건 번호: SCEA05059US00)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/430,593호(발명자: 게리 잘 레스키 및 릴리 알 러셀, 발명의 명칭 "Using Audio/Visual Environment To Select Ads On Game Platform", 대리인 사건 번호: SCEAJP 3.0-003 CIP V)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 4월 10일자 미국 특허 출원 제11/400,997호(발명자: 라센 및 첸, 발명의 명칭 "System And Method For Obtaining User Information From Voices", 대리인 사건 번호: SCEA05040US00)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,259호(발명자: 게리 잘레스키 외, 발명의 명칭 "Method and apparatus for use in determining lack of user activity in relation to a system", 대리인 사건 번호: 86327)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,258호(발명자: 게리 잘레스키 외, 발명의 명칭 "Method and apparatus for use in determining an activity level of a user in relation to a system", 대리인 사건 번호: 86328)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,251호(발명자: 게리 잘레스키 외, 발명의 명칭 "Hand-held controller having detectable elements for tracking purposes", 대리인 사건 번호: 86329)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,252호(발명의 명칭 "TRACKING DEVICE FOR USE IN OBTAINING INFORMATION FOR CONTROLLING GAME PROGRAM EXECUTION", 대리인 사건 번호: SCEA06INRT3)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,256호(발명의 명칭 "TRACKING DEVICE WITH SOUND EMITTER FOR USE IN OBTAINING INFORMATION FOR CONTROLLING GAME PROGRAM EXECUTION", 대리인 사건 번호: SCEA06ACRA2)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 특허 출원 제11/382,250호(발명의 명칭 "OBTAINING INPUT FOR CONTROLLING EXECUTION OF A GAME PROGRAM", 대리인 사건 번호: SCEA06COMB)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,744호(디자인의 대상 물품명 "VIDEO GAME CONTROLLER FRONT FACE", 대리인 사건 번호: SCEACTR-D3)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,743호(디자인의 대상 물품명 "VIDEO GAME CONTROLLER", 대리인 사건 번호: SCEACTRL-D2)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,767호(디자인의 대상 물품명 "VIDEO GAME CONTROLLER", 대리인 사건 번호: SONYP059A)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,768호(디자인의 대상 물품명 "VIDEO GAME CONTROLLER", 대리인 사건 번호: SONYP059B)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,763호(디자인의 대상 물품명 "ERGONOMIC GAME CONTROLLER DEVICE WITH LEDS AND OPTICAL PORTS", 대리인 사건 번호: PA3760US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,759호(디자인의 대상 물품명 "GAME CONTROLLER DEVICE WITH LEDS AND OPTICAL PORTS", 대리인 사건 번호: PA3761US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,765호(디자인의 대상 물품명 "DESIGN FOR OPTICAL GAME CONTROLLER INTERFACE", 대리인 사건 번호: PA3762US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,766호(디자인의 대상 물품명 "DUAL GRIP GAME CONTROL DEVICE WITH LEDS AND OPTICAL PORTS", 대리인 사건 번호: PA3763US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,764호(디자인의 대상 물품명 "GAME INTERFACE DEVICE WITH LEDS AND OPTICAL PORTS", 대리인 사건 번호: PA3764US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
계류중인 2006년 5월 8일자 미국 디자인 출원 제29/246,762호(디자인의 대상 물품명 "ERGONOMIC GAME INTERFACE DEVICE WITH LEDS AND OPTICAL PORTS", 대리인 사건 번호: PA3765US)에 기술되어 있는 내용들 모두는 본 출원 명세서에 기재되어 있는 것으로 한다.
이상으로, 구체적인 실시예들 및 응용예들을 통하여 본 발명에 대하여 기술하였지만, 다양한 수정 및 변형이 청구항에 기재된 발명의 범위를 벗어나지 않으면서 당업자에 의해 이루어질 수 있다.

Claims (29)

  1. 객체를 검출하는 방법으로서,
    화상 캡쳐 장치에 의해 상기 객체의 라이브 화상을 캡쳐하는 단계;
    상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하는 단계;
    상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하는 단계;
    상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하는 단계; 및
    상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 자이로 센서를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 가속도계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 객체의 상기 회전된 참조 화상은 저장 장치로부터 검 색하여 획득되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 객체의 상기 회전된 참조 화상은 상기 객체의 참조 화상을 회전하여 획득되는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 객체의 상기 회전된 참조 화상 및 상기 객체의 상기 라이브 화상을 노멀라이징 필터에 통과시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 화상 캡쳐 장치는 카메라를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 화상 캡쳐 장치는 Z-카메라를 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 객체는 핸드 헬드 제어기를 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 객체의 상기 경사각에 관한 상기 정보는 상기 객체의 복수의 회전된 참조 화상을 획득하는데 사용되고, 상기 객체의 상기 라이브 화상은 상기 객체의 상기 복수의 회전된 참조 화상 각각과 비교되는 것을 특징으로 하는 방법.
  11. 객체를 검출하는 장치로서,
    상기 객체의 라이브 화상을 캡쳐하도록 구성된 화상 캡쳐 장치; 및
    상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하고, 상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하고, 상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하고, 상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하도록 구성된 컴퓨터 시스템을 포함하는 것을 특징으로 하는 장치.
  12. 제11항에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 자이로 센서를 포함하는 것을 특징으로 하는 장치.
  13. 제11항에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 가속도계를 포함하는 것을 특징으로 하는 장치.
  14. 제11항에 있어서, 상기 객체의 상기 회전된 참조 화상은 저장 장치로부터 검색하여 획득되는 것을 특징으로 하는 장치.
  15. 제11항에 있어서, 상기 객체의 상기 회전된 참조 화상은 상기 객체의 참조 화상을 회전하여 획득되는 것을 특징으로 하는 장치.
  16. 제11항에 있어서, 상기 컴퓨터 시스템은 상기 객체의 상기 회전된 참조 화상 및 상기 객체의 상기 라이브 화상를 노멀라이징 필터에 통과시키는 것을 특징으로 하는 장치.
  17. 제11항에 있어서, 상기 화상 캡쳐 장치는 카메라를 포함하는 것을 특징으로 하는 장치.
  18. 제11항에 있어서, 상기 객체는 핸드 헬드 제어기를 포함하는 것을 특징으로 하는 장치.
  19. 제11항에 있어서, 상기 객체의 상기 경사각에 관한 상기 정보는 상기 객체의 복수의 회전된 참조 화상을 획득하는데 사용되고, 상기 객체의 상기 라이브 화상은 상기 객체의 상기 복수의 회전된 참조 화상 각각과 비교되는 것을 특징으로 하는 장치.
  20. 컴퓨터 시스템에 의해 실행가능하고 객체를 검출하기 위한 컴퓨터 프로그램을 저장한 기억 매체로서, 상기 컴퓨터 프로그램은 상기 컴퓨터 시스템이,
    화상 캡쳐 장치로부터 상기 객체의 캡쳐된 라이브 화상을 수신하는 단계;
    상기 화상 캡쳐 장치 이외의 하나 이상의 센서로부터 상기 객체의 경사각에 관한 정보를 수신하는 단계;
    상기 객체의 경사각에 관한 상기 정보를 이용하여 상기 객체의 적어도 하나의 회전된 참조 화상을 획득하는 단계;
    상기 객체의 상기 회전된 참조 화상과 상기 객체의 상기 라이브 화상을 비교하는 단계; 및
    상기 회전된 참조 화상과 일치하는 상기 라이브 화상에 대응하는 표시를 생성하는 단계를 실행하도록 하는 것을 특징으로 하는 기억 매체.
  21. 제20항에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 자이로 센서를 포함하는 것을 특징으로 하는 기억 매체.
  22. 제20에 있어서, 상기 화상 캡쳐 장치 이외의 상기 하나 이상의 센서는 상기 객체의 가속도계를 포함하는 것을 특징으로 하는 기억 매체.
  23. 제20항에 있어서, 상기 객체의 상기 회전된 참조 화상은 저장 장치로부터 검색하여 획득되는 것을 특징으로 하는 기억 매체.
  24. 제20항에 있어서, 상기 객체의 상기 회전된 참조 화상은 상기 객체의 참조 화상을 회전하여 획득되는 것을 특징으로 하는 기억 매체.
  25. 제20항에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터 시스템이, 상기 객체의 상기 회전된 참조 화상 및 상기 객체의 상기 라이브 화상을 노멀라이징 필터에 통과시키는 단계를 추가로 실행하도록 하는 것을 특징으로 하는 기억 매체.
  26. 제20항에 있어서, 상기 화상 캡쳐 장치는 카메라를 포함하는 것을 특징으로 하는 기억 매체.
  27. 제20항에 있어서, 상기 화상 캡쳐 장치는 Z-카메라를 포함하는 것을 특징으로 하는 기억 매체.
  28. 제20항에 있어서, 상기 객체는 핸드 헬드 제어기를 포함하는 것을 특징으로 하는 기억 매체.
  29. 제20항에 있어서, 상기 객체의 상기 경사각에 관한 상기 정보는 상기 객체의 복수의 회전된 참조 화상을 획득하는데 사용되고, 상기 객체의 상기 라이브 화상은 상기 객체의 상기 복수의 회전된 참조 화상 각각과 비교되는 것을 특징으로 하는 기억 매체.
KR1020097006674A 2007-08-16 2008-08-14 경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출 KR101036403B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/840,170 2007-08-16
US11/840,170 US8781151B2 (en) 2006-09-28 2007-08-16 Object detection using video input combined with tilt angle information

Publications (2)

Publication Number Publication Date
KR20090053845A KR20090053845A (ko) 2009-05-27
KR101036403B1 true KR101036403B1 (ko) 2011-05-23

Family

ID=40351794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097006674A KR101036403B1 (ko) 2007-08-16 2008-08-14 경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출

Country Status (6)

Country Link
US (1) US8781151B2 (ko)
EP (1) EP2177029B1 (ko)
JP (1) JP5204224B2 (ko)
KR (1) KR101036403B1 (ko)
CN (1) CN101548547B (ko)
WO (1) WO2009023786A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806797B1 (ko) * 2016-08-03 2017-12-08 주식회사 골프존 자세측정센서를 이용한 자세 측정 방법 및 장치

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
EP2165159B1 (en) * 2007-07-03 2013-07-17 Nxp B.V. Calibration of an amr sensor
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP5537044B2 (ja) * 2008-05-30 2014-07-02 キヤノン株式会社 画像表示装置及びその制御方法、コンピュータプログラム
US8187097B1 (en) * 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
US20090305785A1 (en) * 2008-06-06 2009-12-10 Microsoft Corporation Gesture controlled game screen navigation
US8159455B2 (en) * 2008-07-18 2012-04-17 Apple Inc. Methods and apparatus for processing combinations of kinematical inputs
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US9251407B2 (en) * 2008-09-04 2016-02-02 Northrop Grumman Systems Corporation Security system utilizing gesture recognition
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics
JP5582629B2 (ja) * 2008-10-16 2014-09-03 任天堂株式会社 情報処理装置および情報処理プログラム
US8576169B2 (en) * 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
JP5430123B2 (ja) * 2008-10-30 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8515707B2 (en) * 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8587519B2 (en) * 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
GB2467951A (en) * 2009-02-20 2010-08-25 Sony Comp Entertainment Europe Detecting orientation of a controller from an image of the controller captured with a camera
US8854379B2 (en) * 2009-02-25 2014-10-07 Empire Technology Development Llc Routing across multicore networks using real world or modeled data
US9367216B2 (en) 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
KR100954882B1 (ko) * 2009-06-17 2010-04-28 주식회사 바이오리더스 조류 인플루엔자 바이러스 감염억제 효과를 가지는 신규 유산균 및 이를 포함하는 조성물
DE102009037316A1 (de) * 2009-08-14 2011-02-17 Karl Storz Gmbh & Co. Kg Steuerung und Verfahren zum Betreiben einer Operationsleuchte
JP5463790B2 (ja) * 2009-08-18 2014-04-09 ソニー株式会社 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
CN102667651B (zh) * 2009-10-06 2017-05-03 伦纳德·鲁迪·迪克曼 用于通过使用基于移动的信号和输入控制机器的方法和设备
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
JP5448073B2 (ja) * 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
WO2011085548A1 (zh) * 2010-01-13 2011-07-21 北京视博数字电视科技有限公司 一种光标控制方法和系统
US8872889B2 (en) 2010-01-14 2014-10-28 Innovmetric Logiciels Inc. Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device
KR101005620B1 (ko) * 2010-03-19 2011-01-05 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
US9213410B2 (en) 2010-03-26 2015-12-15 Hewlett-Packard Development Company L.P. Associated file
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US9118832B2 (en) 2010-08-17 2015-08-25 Nokia Technologies Oy Input method
JP2012040209A (ja) * 2010-08-19 2012-03-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5256265B2 (ja) * 2010-09-17 2013-08-07 株式会社ソニー・コンピュータエンタテインメント コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体
US8957909B2 (en) * 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8419541B2 (en) * 2010-11-17 2013-04-16 Sony Computer Entertainment Inc. Smart shell to a game controller
DE102012208748B4 (de) * 2011-06-21 2023-07-13 International Business Machines Corporation Verfahren und System zur Fernsteuerung von Funktionen eines Mauszeigers einer Rechnereinheit
KR101920473B1 (ko) * 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US20130113704A1 (en) * 2011-11-04 2013-05-09 The Regents Of The University Of California Data fusion and mutual calibration for a sensor network and a vision system
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US10488948B2 (en) * 2012-03-14 2019-11-26 Texas Instruments Incorporated Enabling physical controls on an illuminated surface
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
TWI546702B (zh) * 2012-03-27 2016-08-21 富智康（香港）有限公司 輸入模擬方法及系統
TWI511547B (zh) * 2012-04-10 2015-12-01 Acer Inc 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
CN104620203A (zh) 2012-09-06 2015-05-13 英特飞斯公司 交互式显示系统中的绝对与相对定位传感器融合
US9171015B2 (en) 2012-09-14 2015-10-27 At&T Intellectual Property I, L.P. Sharing asserted media
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
KR20210054025A (ko) * 2012-10-15 2021-05-12 주식회사 소니 인터랙티브 엔터테인먼트 조작 디바이스
TR201910307T4 (tr) * 2012-10-15 2019-08-21 Sony Interactive Entertainment Inc Kontrol cihazı.
CN104781762A (zh) * 2012-11-06 2015-07-15 索尼电脑娱乐公司 信息处理装置
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
ES2492165B1 (es) * 2013-02-08 2015-04-07 Universidad De Zaragoza Sistema y método para la identificación y control de objetos en un espacio delimitado y uso en la creación de videojuegos híbridos
CN105452895B (zh) 2013-06-13 2018-12-18 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
EP3008757A1 (en) * 2013-06-13 2016-04-20 Basf Se Optical detector and method for manufacturing the same
EP3008421A1 (en) 2013-06-13 2016-04-20 Basf Se Detector for optically detecting an orientation of at least one object
CN105637320B (zh) 2013-08-19 2018-12-14 巴斯夫欧洲公司 光学检测器
CN105637382B (zh) 2013-08-19 2017-08-25 巴斯夫欧洲公司 用于确定至少一种物体的位置的检测器
CN103677446A (zh) * 2013-11-14 2014-03-26 乐视致新电子科技（天津）有限公司 显示设备、摄像式触控方法及装置
JP6660931B2 (ja) 2014-07-08 2020-03-11 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体の位置を決定するための検出器
KR102452393B1 (ko) 2014-09-29 2022-10-11 바스프 에스이 적어도 하나의 물체의 포지션을 광학적으로 결정하기 위한 방법 및 검출기 및 이를 이용한 휴먼 머신 인터페이스, 엔터테인먼트 장치, 추적 시스템, 스캐닝 시스템, 입체 시스템 및 카메라
EP3230841B1 (en) 2014-12-09 2019-07-03 Basf Se Optical detector
US9855497B2 (en) * 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
EP3251152B1 (en) 2015-01-30 2023-08-16 Trinamix GmbH Detector for an optical detection of at least one object
US10456685B2 (en) * 2015-04-14 2019-10-29 Nintendo Co., Ltd. Identifying and tracking objects via lighting patterns
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6877418B2 (ja) 2015-07-17 2021-05-26 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の対象物を光学的に検出するための検出器
KR102539263B1 (ko) 2015-09-14 2023-06-05 트리나미엑스 게엠베하 적어도 하나의 물체의 적어도 하나의 이미지를 기록하는 카메라
US20170199586A1 (en) * 2016-01-08 2017-07-13 16Lab Inc. Gesture control method for interacting with a mobile or wearable device utilizing novel approach to formatting and interpreting orientation data
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US11211513B2 (en) 2016-07-29 2021-12-28 Trinamix Gmbh Optical sensor and detector for an optical detection
CN107844191A (zh) * 2016-09-21 2018-03-27 北京诺亦腾科技有限公司 用于虚拟现实的动作捕捉装置
KR102431355B1 (ko) 2016-10-25 2022-08-10 트리나미엑스 게엠베하 적어도 하나의 대상체의 광학적 검출을 위한 검출기
CN109923372B (zh) 2016-10-25 2021-12-21 特里纳米克斯股份有限公司 采用集成滤波器的红外光学检测器
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
EP3571522B1 (en) 2016-11-17 2023-05-10 trinamiX GmbH Detector for optically detecting at least one object
US10768721B2 (en) 2017-01-17 2020-09-08 Hewlett-Packard Development Company, L.P. Model controller
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
CN110770555A (zh) 2017-04-20 2020-02-07 特里纳米克斯股份有限公司 光学检测器
US11099658B2 (en) 2017-04-21 2021-08-24 Hewlett-Packard Development Company, L.P. Determining orientation of a trackball
KR102568462B1 (ko) 2017-06-26 2023-08-21 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
CN109298778B (zh) * 2017-07-24 2021-02-23 宏达国际电子股份有限公司 追踪系统及其方法
EP3474120B1 (de) * 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
TWI636381B (zh) * 2017-10-19 2018-09-21 財團法人工業技術研究院 互動顯示系統及互動顯示控制方法
CN109696658B (zh) * 2017-10-23 2021-08-24 京东方科技集团股份有限公司 采集设备、声音采集方法、声源跟踪系统及其方法
JP6736606B2 (ja) * 2017-11-01 2020-08-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作信号提供方法
JP6682079B2 (ja) 2017-11-01 2020-04-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および信号変換方法
EP3724597A4 (en) * 2017-12-17 2021-10-06 AP Robotics, LLC MULTI-DIMENSIONAL MEASURING SYSTEM FOR THE EXACT CALCULATION OF THE POSITION AND ALIGNMENT OF A DYNAMIC OBJECT
US10521030B2 (en) * 2018-01-10 2019-12-31 Microsoft Technology Licensing, Llc Transforming a control stick movement space
US10878245B2 (en) * 2018-05-30 2020-12-29 Logitech Europe S.A. Video content activity regions
US20200089335A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
US10912995B2 (en) * 2018-10-09 2021-02-09 Ivan Mauricio Buritica Suarez System and method for emulating an electronic game to play in a physical gaming environment
JP2022505384A (ja) * 2018-10-19 2022-01-14 ヒット ボックス リミテッド ライアビリティ カンパニー 人間工学に基づくゲームコントローラ及びシステム
CN110597350B (zh) * 2019-10-22 2021-07-30 深圳市道通智能航空技术股份有限公司 一种摇杆校准方法、装置及遥控装置
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
JP7132314B2 (ja) * 2020-12-08 2022-09-06 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、及びビデオゲーム処理システム
US11941184B2 (en) * 2021-05-18 2024-03-26 Snap Inc. Dynamic initialization of 3DOF AR tracking system
CN114949845A (zh) * 2022-05-31 2022-08-30 广州市品众电子科技有限公司 一种游戏手柄的方向调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498628B2 (en) 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
US20060227211A1 (en) 2005-04-06 2006-10-12 Canon Kabushiki Kaisha Method and apparatus for measuring position and orientation
US20060264259A1 (en) 2002-07-27 2006-11-23 Zalewski Gary M System for tracking user manipulations within an environment

Family Cites Families (509)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3270564A (en) * 1964-05-18 1966-09-06 James W Evans Athletic swing measurement system
US3561272A (en) * 1968-12-20 1971-02-09 Grady B Davis Speed indicator for clubs, bats and the like
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
JPS54134564U (ko) * 1978-03-08 1979-09-18
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US4363484A (en) * 1980-11-19 1982-12-14 Marvin Glass & Associates Electronic table tennis game apparatus
US4469330A (en) 1982-01-07 1984-09-04 Atari, Inc. Controller unit for video game
US4683891A (en) * 1982-04-26 1987-08-04 Vincent Cornellier Biomonitoring stress management method and device
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) * 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
GB2169812B (en) * 1985-01-23 1988-10-12 Keith Edgar Shepherd Improvements relating to exercising apparatus
US5195179A (en) * 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) * 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
US4739128A (en) 1986-11-10 1988-04-19 American Telephone And Telegraph Company, At&T Bell Laboratories Thumb-controlled, hand-held joystick
US4796019A (en) * 1987-02-19 1989-01-03 Rca Licensing Corporation Input device for a display system
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) * 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
JP2978496B2 (ja) * 1988-10-17 1999-11-15 株式会社日立製作所 画像処理装置
DE3840643A1 (de) 1988-12-02 1990-06-07 Nokia Unterhaltungselektronik Fernbedienungsgeber zur abstrahlung von steuerbefehlen
JPH05501020A (ja) 1988-12-20 1993-02-25 ミート　リサーチ　コーポレーション 光学的に読取り可能なコード化された物標
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH03126477A (ja) * 1989-10-11 1991-05-29 Maruman Golf Corp スイング分析装置
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5214615A (en) * 1990-02-26 1993-05-25 Will Bauer Three-dimensional displacement of a body with computer interface
US5440326A (en) * 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5128671A (en) * 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
WO1991017522A1 (en) 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5046739A (en) 1990-10-31 1991-09-10 Dynasound Organizer, Inc. Ergonomic handle for game controller
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6692359B1 (en) 1991-02-15 2004-02-17 America Online, Inc. Method of interfacing on a computer network by visual representations of users, method of interacting and computer network
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US6069594A (en) * 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
GB9117015D0 (en) * 1991-08-07 1991-09-18 Software Solutions Ltd Operation of computer systems
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
JP3089104B2 (ja) * 1992-06-19 2000-09-18 株式会社日立製作所 移動平均フィルタ、及びこれを用いたａ／ｄ変換器
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
USD345994S (en) 1992-08-31 1994-04-12 Shen-Yueh Shian Joystick console for video game
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
DE69414153T2 (de) 1993-02-24 1999-06-10 Matsushita Electric Ind Co Ltd Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung
US5435554A (en) * 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US5404305A (en) * 1993-11-17 1995-04-04 United Technologies Corporation Control of pilot control station authority for a dual piloted flight control system
US5454980A (en) * 1993-12-13 1995-10-03 Xerox Corporation Method of making bubble and foreign particle free electrically conductive polyurethanes
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US5412619A (en) 1994-04-14 1995-05-02 Bauer; Will Three-dimensional displacement of a body with computer interface
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP3628358B2 (ja) 1994-05-09 2005-03-09 株式会社ソニー・コンピュータエンタテインメント ゲーム機用コントローラ
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US6004134A (en) 1994-05-19 1999-12-21 Exos, Inc. Interactive simulation including force feedback
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) * 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
US5796387A (en) 1994-08-16 1998-08-18 Smith Engineering Positioning system using infrared radiation
SE504846C2 (sv) * 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
US5659335A (en) 1994-11-14 1997-08-19 Lucent Technologies Inc. Computing interface system
CN2211084Y (zh) * 1994-11-15 1995-10-25 郑秋豪 可分离的电视游戏机键盘
GB2301514B (en) 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) * 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
TW353171B (en) 1995-05-10 1999-02-21 Nintendo Co Ltd Manipulator provided with an analog joy stick
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
AU6135996A (en) 1995-06-22 1997-01-22 3Dv Systems Ltd. Improved optical ranging camera
US5724106A (en) 1995-07-17 1998-03-03 Gateway 2000, Inc. Hand held remote control device with trigger button
US6668244B1 (en) 1995-07-21 2003-12-23 Quartet Technology, Inc. Method and means of voice control of a computer, including its mouse and keyboard
CA2227904C (en) 1995-07-26 2000-11-14 Tegic Communications, Inc. Reduced keyboard disambiguating system
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
JPH09167050A (ja) * 1995-10-09 1997-06-24 Nintendo Co Ltd 操作装置およびそれを用いる画像処理システム
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US5626140A (en) 1995-11-01 1997-05-06 Spacelabs Medical, Inc. System and method of multi-sensor fusion of physiological measurements
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US6639581B1 (en) 1995-11-17 2003-10-28 Immersion Corporation Flexure mechanism for interface device
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
JP3014313B2 (ja) 1995-12-25 2000-02-28 富士通テン株式会社 エアバッグの衝突判別装置
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
US5991693A (en) * 1996-02-23 1999-11-23 Mindcraft Technologies, Inc. Wireless I/O apparatus and method of computer-assisted instruction
US5963145A (en) * 1996-02-26 1999-10-05 Universal Electronics Inc. System for providing wireless pointer control
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
TW387816B (en) 1996-03-05 2000-04-21 Sega Enterprises Kk Controller and expansion unit for controller
JP3920348B2 (ja) 1996-04-02 2007-05-30 コグネックス コーポレイション 平坦な鏡面基板の指標を観察する画像形成装置
US5889505A (en) * 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
USD380238S (en) 1996-04-16 1997-06-24 Tyler Kelly D Control pad
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
EP0855677A4 (en) * 1996-07-04 2006-02-08 Sega Enterprises Kk IMAGE PROCESSOR, PLAYER, IMAGE PROCESS, AND RECORDING MEDIUM
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US6146278A (en) * 1997-01-10 2000-11-14 Konami Co., Ltd. Shooting video game machine
JP4120017B2 (ja) * 1997-01-30 2008-07-16 株式会社セガ 入力装置およびゲーム処理装置、その方法
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6747632B2 (en) 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6162123A (en) * 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6324296B1 (en) 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
KR100595912B1 (ko) 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6697043B1 (en) 1999-12-21 2004-02-24 Immersion Corporation Haptic interface device and actuator assembly providing linear haptic sensations
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
IL127569A0 (en) 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
JP2000123186A (ja) 1998-10-14 2000-04-28 Canon Inc 被写体認識装置
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
JP2000132305A (ja) 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
JP2000140420A (ja) 1998-11-13 2000-05-23 Aruze Corp ゲーム機用コントローラ
US7260221B1 (en) 1998-11-16 2007-08-21 Beepcard Ltd. Personal communicator authentication
US6712703B2 (en) 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6173610B1 (en) * 1998-12-23 2001-01-16 Robert L. Pace Sports swing impact speed indicator
JP4612194B2 (ja) 1998-12-23 2011-01-12 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
JP3688489B2 (ja) 1998-12-25 2005-08-31 株式会社東芝 画像認識方法および画像認識装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
JP2000259340A (ja) 1999-03-12 2000-09-22 Sony Corp 入力装置および方法、入力システム、並びに提供媒体
US6441745B1 (en) * 1999-03-22 2002-08-27 Cassen L. Gates Golf club swing path, speed and grip pressure monitor
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6203432B1 (en) * 1999-05-11 2001-03-20 Madcatz, Inc. System for adjusting the response characteristic of an electronic game input device
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6545661B1 (en) 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6766036B1 (en) 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
AU5911900A (en) 1999-07-09 2001-01-30 Eastern Virginia Medical School Method and apparatus for encouraging physiological self-regulation through modulation of an operators control input to a video game or training simulator
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
ATE285079T1 (de) 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
CA2385173A1 (en) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6811491B1 (en) * 1999-10-08 2004-11-02 Gary Levenberg Interactive video game controller adapter
US6699123B2 (en) 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
WO2001042930A1 (en) 1999-12-09 2001-06-14 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US20010024973A1 (en) * 1999-12-10 2001-09-27 Christopher Meredith Laser light sword
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
JP2000333942A (ja) * 2000-01-01 2000-12-05 Toshiba Corp Ｘ線診断装置
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
WO2001061519A1 (en) 2000-02-15 2001-08-23 Sorceron, Inc. Method and system for distributing captured motion data over a network
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US7240093B1 (en) 2000-02-29 2007-07-03 Microsoft Corporation Use of online messaging to facilitate selection of participants in game play
EP1263626A2 (en) 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6352516B1 (en) 2000-03-27 2002-03-05 San Diego State University Foundation Fatigue monitoring device and method
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6338485B1 (en) 2000-04-09 2002-01-15 John D. Huettlinger Strap device for use with a video game controller
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US6489948B1 (en) 2000-04-20 2002-12-03 Benny Chi Wah Lau Computer mouse having multiple cursor positioning inputs and method of operation
JP2001320582A (ja) * 2000-05-12 2001-11-16 Minolta Co Ltd 画像処理装置および方法
WO2001091016A1 (en) 2000-05-25 2001-11-29 Realitybuy, Inc. A real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
US8287374B2 (en) 2000-07-07 2012-10-16 Pryor Timothy R Reconfigurable control displays for games, toys, and other applications
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6873747B2 (en) 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP2002058874A (ja) * 2000-08-15 2002-02-26 Mitsumi Electric Co Ltd コントロールアダプタ装置
AUPQ952400A0 (en) 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
WO2002061707A2 (en) 2000-09-08 2002-08-08 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
US7182691B1 (en) 2000-09-28 2007-02-27 Immersion Corporation Directional inertial tactile feedback using rotating masses
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP4689812B2 (ja) 2000-11-17 2011-05-25 富士通コンポーネント株式会社 ワイヤレスマウス
WO2002043404A2 (en) 2000-11-22 2002-05-30 Leap Wireless International, Inc. Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6933979B2 (en) 2000-12-13 2005-08-23 International Business Machines Corporation Method and system for range sensing of objects in proximity to a display
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
AU2002217582A1 (en) 2000-12-20 2002-07-01 Ar Vision Inc. Method for making simulator program and simulator system using the method
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
DE10100617A1 (de) 2001-01-09 2002-07-18 Siemens Ag Steuerbare Anordnung mit Benutzerauthentisierung
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US6749510B2 (en) 2001-02-07 2004-06-15 Wms Gaming Inc. Centralized gaming system with modifiable remote display terminals
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
JP2002306846A (ja) 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2002320773A (ja) 2001-04-25 2002-11-05 Pacific Century Cyberworks Japan Co Ltd ゲーム装置及びその制御方法及び記録媒体及びプログラム及び携帯電話器
US20020171625A1 (en) 2001-05-15 2002-11-21 Jona Group, Ltd. Pistol-grip trackball mouse
US20020171622A1 (en) 2001-05-16 2002-11-21 Yao-Sheng Shen Method for increasing resolution of mouse movement on screen
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
US7909696B2 (en) 2001-08-09 2011-03-22 Igt Game interaction in 3-D gaming environments
JP3470119B2 (ja) 2002-02-14 2003-11-25 コナミ株式会社 コントローラ、コントローラの姿勢遠隔測定装置及びビデオゲーム装置
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6847351B2 (en) 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
CA2457198A1 (en) 2001-08-16 2003-02-27 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US20030034961A1 (en) 2001-08-17 2003-02-20 Chi-Lei Kao Input system and method for coordinate and pattern
US6544124B2 (en) 2001-08-29 2003-04-08 Radica China Ltd. Handheld steering wheel game controller
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
US6501258B1 (en) * 2001-09-28 2002-12-31 The United States Of America As Represented By The Secretary Of The Navy Optical spatial frequency measurement
US20030064712A1 (en) 2001-09-28 2003-04-03 Jason Gaston Interactive real world event system via computer networks
US6846238B2 (en) 2001-09-28 2005-01-25 Igt Wireless game player
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
JP2003135851A (ja) 2001-10-31 2003-05-13 Konami Computer Entertainment Yokyo Inc ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
JP3824260B2 (ja) 2001-11-13 2006-09-20 任天堂株式会社 ゲームシステム
JP4010533B2 (ja) 2001-11-20 2007-11-21 任天堂株式会社 ゲーム機、電子機器、および省電力モード管理プログラム
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US6724368B2 (en) 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US7023475B2 (en) 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US7198568B2 (en) 2002-05-01 2007-04-03 Nintendo Co., Ltd. Game machine and game program for changing the movement of one character based on the movement of another character
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US20040023736A1 (en) 2002-07-18 2004-02-05 Cardinale Ronald S. Training device and method of training a batter
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7970147B2 (en) * 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US20070261077A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20070260517A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US9393487B2 (en) * 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US20060264260A1 (en) * 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US8160269B2 (en) * 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7815507B2 (en) 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
GB2392286B (en) 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063502A1 (en) 2002-09-24 2004-04-01 Intec, Inc. Power module
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
JP3887819B2 (ja) 2002-10-11 2007-02-28 株式会社セガ コンピュータプログラム
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
EP1556148B1 (en) 2002-10-30 2010-01-06 Nike International Ltd Clothes with motion capture markers for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US20040104891A1 (en) 2002-11-25 2004-06-03 Frank Sacca Intertial pointer for electronic displays
JP2006509548A (ja) 2002-12-10 2006-03-23 ノキア コーポレイション 電子マルチプレイヤ用ゲームのプレイヤが不在の場合に前記ゲームを続行する方法および装置
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7352428B2 (en) 2003-02-21 2008-04-01 Xtellus Inc. Liquid crystal cell platform
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4906239B2 (ja) 2003-04-16 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 通信装置、ゲーム機および通信方法
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7233316B2 (en) 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US8493326B2 (en) 2003-05-09 2013-07-23 Microsoft Corporation Controller with removably attachable text input device
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
ATE339757T1 (de) 2003-06-17 2006-10-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur sprachaktivitätsdetektion
US20040266528A1 (en) * 2003-06-27 2004-12-30 Xiaoling Wang Apparatus and a method for more realistic video games on computers or similar devices using visible or invisible light and a light sensing device
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US20050009605A1 (en) 2003-07-11 2005-01-13 Rosenberg Steven T. Image-based control of video games
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US20060166738A1 (en) * 2003-09-08 2006-07-27 Smartswing, Inc. Method and system for golf swing analysis and training for putters
US20050054457A1 (en) 2003-09-08 2005-03-10 Smartswing, Inc. Method and system for golf swing analysis and training
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8064730B2 (en) * 2003-09-22 2011-11-22 Asml Netherlands B.V. Device manufacturing method, orientation determination method and lithographic apparatus
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US7364297B2 (en) 2003-10-28 2008-04-29 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US20060025229A1 (en) * 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US7463774B2 (en) 2004-01-07 2008-12-09 Microsoft Corporation Global localization by fast image matching
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US20050162384A1 (en) 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US20050215320A1 (en) 2004-03-25 2005-09-29 Koay Ban K Optical game controller
DE602004014901D1 (de) 2004-04-29 2008-08-21 Mitsubishi Electric Corp Adaptive Quantisierung einer Tiefenkarte
PL1741088T3 (pl) 2004-04-30 2012-08-31 Hillcrest Lab Inc Urządzenia wskazujące w przestrzeni swobodnej, z kompensacją nachylenia i usprawnioną użytecznością
KR100937572B1 (ko) 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅 장치 및 방법
US7686692B2 (en) 2004-05-10 2010-03-30 Sony Computer Entertainment Inc. Pattern codes used for interactive control of computer applications and video game applications
WO2005107911A1 (ja) 2004-05-11 2005-11-17 Ssd Company Limited エンターテインメント装置及びその動作方法
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US8179366B2 (en) 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US20060143571A1 (en) 2004-12-29 2006-06-29 Wilson Chan Multiple mouse cursors for use within a viewable area for a computer
WO2006073936A2 (en) * 2005-01-04 2006-07-13 Qmotions, Inc. Baseball simulation device
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
WO2006121896A2 (en) 2005-05-05 2006-11-16 Sony Computer Entertainment Inc. Microphone array based selective sound source listening and video game control
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
EP1967942A1 (en) 2005-10-26 2008-09-10 Sony Computer Entertainment America, Inc. System and method for interfacing and computer program
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
DK1993687T3 (da) 2006-02-10 2012-08-27 Ippasa Llc Konfigurerbart manuelt styreapparat
US9327191B2 (en) 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
US8814641B2 (en) * 2006-05-08 2014-08-26 Nintendo Co., Ltd. System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
US20070287084A1 (en) * 2006-06-07 2007-12-13 Mark Thomas Bellino Light Sensitive Organic Photoconductor
JP5030482B2 (ja) 2006-06-20 2012-09-19 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8096880B2 (en) 2006-08-15 2012-01-17 Nintendo Co., Ltd. Systems and methods for reducing jitter associated with a control device
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498628B2 (en) 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
US20060264259A1 (en) 2002-07-27 2006-11-23 Zalewski Gary M System for tracking user manipulations within an environment
US20060227211A1 (en) 2005-04-06 2006-10-12 Canon Kabushiki Kaisha Method and apparatus for measuring position and orientation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806797B1 (ko) * 2016-08-03 2017-12-08 주식회사 골프존 자세측정센서를 이용한 자세 측정 방법 및 장치

Also Published As

Publication number Publication date
CN101548547A (zh) 2009-09-30
US8781151B2 (en) 2014-07-15
EP2177029B1 (en) 2018-03-28
EP2177029A1 (en) 2010-04-21
CN101548547B (zh) 2011-10-26
WO2009023786A1 (en) 2009-02-19
JP5204224B2 (ja) 2013-06-05
KR20090053845A (ko) 2009-05-27
US20080080789A1 (en) 2008-04-03
JP2010531520A (ja) 2010-09-24
EP2177029A4 (en) 2012-07-25

Similar Documents

Publication Publication Date Title
KR101036403B1 (ko) 경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출
US8570378B2 (en) Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8310656B2 (en) Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8675915B2 (en) System for tracking user manipulations within an environment
US9682320B2 (en) Inertially trackable hand-held controller
US8303405B2 (en) Controller for providing inputs to control execution of a program when inputs are combined
US8313380B2 (en) Scheme for translating movements of a hand-held controller into inputs for a system
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US7918733B2 (en) Multi-input game control mixer
US7737944B2 (en) Method and system for adding a new player to a game in response to controller activity
US9393487B2 (en) Method for mapping movements of a hand-held controller to game commands
US20070265075A1 (en) Attachable structure for use with hand-held controller having tracking ability
US20080098448A1 (en) Controller configured to track user&#39;s level of anxiety and other mental and physical attributes
US20060282873A1 (en) Hand-held controller having detectable elements for tracking purposes
US9174119B2 (en) Controller for providing inputs to control execution of a program when inputs are combined
US20060264260A1 (en) Detectable and trackable hand-held controller
US20060256081A1 (en) Scheme for detecting and tracking user manipulation of a game controller body
WO2007130999A2 (en) Detectable and trackable hand-held controller
USRE48417E1 (en) Object direction using video input combined with tilt angle information
KR101020509B1 (ko) 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150508

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160509

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 9