KR20110084430A - 볼 부착 제어기의 위치 및 동작 결정 - Google Patents

볼 부착 제어기의 위치 및 동작 결정 Download PDF

Info

Publication number
KR20110084430A
KR20110084430A KR1020117011994A KR20117011994A KR20110084430A KR 20110084430 A KR20110084430 A KR 20110084430A KR 1020117011994 A KR1020117011994 A KR 1020117011994A KR 20117011994 A KR20117011994 A KR 20117011994A KR 20110084430 A KR20110084430 A KR 20110084430A
Authority
KR
South Korea
Prior art keywords
controller
image
ball
ball member
play field
Prior art date
Application number
KR1020117011994A
Other languages
English (en)
Other versions
KR101381628B1 (ko
Inventor
안톤 미크하이로브
리차드 마크스
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20110084430A publication Critical patent/KR20110084430A/ko
Application granted granted Critical
Publication of KR101381628B1 publication Critical patent/KR101381628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법, 시스템, 및 컴퓨터 프로그램이 제공된다. 볼 부재가 시각 정보를 이용하여 제어기의 위치를 결정하기 위해 게임 제어기에 부착된다. 이 방법은 게임 제어기가 존재하는 플레이 필드의 이미지를 획득하고 그 다음에 볼 부재와 관련된 이미지 내의 픽셀들을 발견한다. 이 방법은 또한 발견된 픽셀들을 둘러싸고 있는 영역을 정하고 볼과 관련된 영역을 기반으로 기하학적 형상을 결정한다. 제어기의 위치는 기하학적 위치를 기반으로 산출되며, 기하학적 형상의 중심은 제어기의 수평 및 수직적 위치를 나타내며 기하학적 형상의 크기는 플레이 필드 내에서 제어기의 깊이를 결정한다. 위치는 메모리에 저장되어 컴퓨터에 의한 동작을 실행하기 위해 사용된다.

Description

볼 부착 제어기의 위치 및 동작 결정{DETERMINING LOCATION AND MOVEMENT OF BALL-ATTACHED CONTROLLER}
본 발명은 일반적으로 플레이 필드에서 게임 제어기의 위치의 추적에 관한 것으로, 더욱 상세하게는, 시각 정보를 이용하여 볼 부착을 포함하는 게임 제어기의 위치와 동작의 추적에 관한 것이다.
수년 사이에 비디오 게임 산업에 많은 변화가 있었다. 연산력의 확장과 더불어, 비디오 게임 개발자들도 역시 이러한 연산력 향상의 장점을 활용하는 게임 소프트웨어를 만들어 내고 있다. 이 때문에, 게임 개발자들은 매우 현실적인 게임 체험을 가능하게 하기 위해 정교한 동작과 수학적 처리를 통합하는 게임을 코딩해 오고 있다.
게이밍 플랫폼의 예들로서는 소니 플레이스테이션®(Sony Playstation®), 소니 플레이스테이션2®(PS2), 소니 플레이스테이션3®(PS3) 등이 있으며, 이들 각각은 게임 콘솔 형상으로 판매된다. 잘 알려진 바와 같이, 게임 콘솔은 모니터(일반적으로 텔레비전)에 연결하여 사용자가 휴대용 제어기를 통해 상호 작용할 수 있도록 설계된다. 이러한 게임 콘솔은 CPU, 집중적 그래픽 동작을 처리하기 위한 그래픽 합성 장치, 지오메트리 변환을 수행하기 위한 벡터 유닛, 기타 접합(glue) 하드웨어, 펌웨어, 및 소프트웨어를 포함하는 특화된 처리 하드웨어와 함께 설계된다. 또한, 게임 콘솔은 게임 콘솔을 통한 영역 플레이(local play)를 위해 게임 컴팩트 디스크를 수납하기 위한 광학 디스크 트레이를 갖도록 설계 된다. 온라인 게임도 가능하며, 이 경우 사용자는 인터넷 상에서 다른 사용자들과 적으로서 또는 동지로서 상호 작용하여 게임을 진행할 수 있다.
게임의 복잡성이 플레이어들의 호기심 돋우기 때문에, 게임 및 하드웨어 제조사들은 상호 작용 및 컴퓨터 프로그램을 추가할 수 있도록 혁신을 계속해왔다. 컴퓨터 게임 산업에서는 사용자와 게임 시스템 간의 상호 작용을 확대하는 게임의 개발이 증가 추세에 있다. 풍부한 상호 작용 체험을 이루기 위한 한가지 방법으로 플레이어의 동작을 추적하고 이런 동작을 게임을 위한 입력으로 이용하기 위해 게임 시스템에 의해 그의 동작이 추적되는 무선 게임 제어기들이 사용된다. 일반적으로, 제스처 입력은 컴퓨팅 시스템, 비디오 게임 콘솔, 지능형 전자기기 등의 전자 장치가 물체를 추적하는 비디오 카메라에 의해 포착된 어떤 제스처에 반응하도록 하는 것을 말한다.
그러나, 현재의 물체 추적 방식은 포착(capture) 정확도에 문제가 있다. 제어기에서 인지한 형상에서의 작은 변화가 제어기의 수평 및 수직 위치의 결정의 신뢰성을 떨어뜨리고 잡음에 매우 취약하게 하므로 종래의 이미지 분석은 2차원의 사용자의 위치에 대해서 약간의 신뢰성 있는 측정만을 제공할 수 있기 때문에 이러한 문제는 발생한다. 더욱이, 카메라를 향하거나 이로부터 멀어지는 이동으로 인한 형상의 작은 변화도 카메라와 제어기 사이의 거리를 신뢰성 있게 계산하기 위한 충분한 정보를 제공하지 못하기 때문에 카메라와 추적되는 물체 사이의 거리를 결정하는 것이 어려워진다.
이러한 정황에서, 본 발명의 실시예들이 대두되었다.
본 발명의 실시예들은 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법, 시스템, 컴퓨터 프로그램을 제공한다. 게임 제어기에 부착된 볼 부재는 시각 정보를 이용하여 제어기의 위치를 결정하도록 지원한다.
본 발명은 컴퓨터 해독 가능 매체 상의 프로세스, 장비, 시스템, 장치, 또는 방법과 같은 다양한 방식으로 구현될 수 있음을 이해하여야 한다. 이하, 본 발명의 다양한 진보적 실시예들을 설명한다.
일 실시예에서, 컴퓨터는 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법을 구현한다. 이 방법은 게임 제어기가 존재하는 플레이 필드의 이미지를 획득하고 그 다음에 볼 부재와 관련되어 있는 이미지에서 픽셀을 찾는다. 이 방법은 발견된 픽셀을 둘러싸고 있는 영역을 정하고 볼과 관련된 영역을 기반으로 기하학적 형상을 결정한다. 제어기의 위치는 제어기의 수평 및 수직적 위치 지시하는 기하학적 형상의 중심과 플레이 필드 내의 제어기의 깊이를 결정하는 기하학적 형상의 크기를 이용하여 상기 기하학적 형상을 기반으로 계산된다. 이 위치는 메모리에 저장되어 컴퓨터에 의해 동작을 구동하기 위해 사용된다.
다른 일 실시예에서, 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법이 제공된다. 이 방법은 플레이 필드의 이미지를 획득하고 게임 제어기에 연결된 볼 부재 내에서 링과 관련된 이미지 내의 픽셀을 찾는다. 또한, 이 방법은 링과 관련하여 발견된 픽셀을 둘러싼 영역을 정한다. 이전에 정해진 영역을 기반으로 타원형이 결정되고 제어기의 위치는, 타원의 중심이 제어기의 수평 및 수직 좌표를 나타내는, 타원을 기반으로 계산되며, 타원의 크기는 플레이 필드 내의 제어기의 깊이를 결정한다. 위치는 메모리에 저장되어 컴퓨터에 의한 동작 구동을 위해 이용된다.
다른 일 실시예에서, 제어기의 위치와 동작과 관련된 정보 소스 (information source)들의 조합을 통해 플레이 필드에서 게임기의 위치를 결정하는 방법이 제시된다. 이 방법은 제어기의 이미지를 획득하고 게임 제어기로부터 상태 정보를 수신한다. 상태 정보는 가속도계, 자이로스코프, 또는 자기계에 의해 제공될 수 있다. 이 방법은 게임 제어기와 연결된 볼 부재와 관련된 기하학적 형상을 결정하고, 상태 정보를 기하학적 형상에 대한 정보와 결합하여 제어기의 위치를 산출한다.
본 발명의 다른 양상들은 첨부된 도면을 참조하여 본 발명의 원리를 예로서 설명하는 이하의 상세한 설명으로 더욱 명확해 질 것이다.
본 발명에 따르면, 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법, 시스템, 컴퓨터 프로그램을 제공한다.
본 발명은 첨부된 도면과 함께 이하의 설명을 참조함으로써 더욱 잘 이해될 것이다.
도 1a-b는 부착된 볼 부재를 가지는 게임 제어기의 실시예들을 보인 도면이다.
도 1c-e는 도 1a-b의 게임 제어기를 위한 상이한 동작모드들을 보인 도면이다.
도 2a-2b는 부착된 볼을 가지는 게임 제어기의 다른 예들을 보인 도면이다.
도 3a-3b는 볼 부착 게임 제어기의 다른 예들을 보인 도면이다.
도 4a-d는 교환 가능한 표면판(face-plate)을 가지는 볼 부착 게임 제어기의 일 예를 보인 도면이다.
도 5는 일 실시예에 따른 멀티플레이어 환경과 플레이어들에 의해 파지되는 상이한 제어기들의 위치를 결정하기 위한 시각 정보의 사용을 도시한 개략도이다.
도 6a-d는 포착 이미지로부터 인지된 형상에 대해 기하학적 형상을 할당하기 위한 상이한 실시예들을 보인 도면이다.
도 7은 일 실시예에 따라 볼 부재에 대응하는 픽셀들을 찾기 위한 서브픽셀 분석을 이용하는 방법을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라 형상 검출을 향상시키기 위해 이미지를 흐리게 하는 효과를 도시한 도면이다.
도 9는 일 실시예에 따라 볼 위치의 결정을 위해 몇 개의 연속 포착된 이미지의 이용을 도시한 도면이다.
도 10은 정확도를 향상시키기 위해 플레이 필드의 감소된 영역으로부터 이미지를 취하기 위한 일 실시예를 도시한 도면이다.
도 11은 일 실시예에 따라 적은 수의 픽셀을 가진 볼의 이미지 인식을 도시한 도면이다.
도 12는 고해상도 카메라를 이용한 이미지 인식을 위한 일 실시예를 도시한 도면이다.
도 13a-c는 일 실시예에 따라 카메라와 대면하기 위해 이동 가능한 조명된 링을 이용한 볼 검출을 도시한 도면이다.
도 14a-h는 일 실시예에 따라 볼 부재에서 구분 가능한 링의 검출을 도시한 도면이다.
도 15a-b는 부분 원호 부분으로부터 완전한 링 영역을 추정하기 위한 방법을 도시한 도면이다.
도 16은 인지된 볼 표면을 증가시키기 위해 볼이 진동하는 실시예를 보인 도면이다.
도 17a-b는 검출 향상을 위해 크기 또는 외관을 변경할 수 있는 볼의 실시예들을 보인 도면이다.
도 18은 외피(shell) 내에 포함된 볼 부재를 가지는 게임 제어기의 일 실시예를 보인 도면이다.
도 19a-b는 일 실시예에 따라 동작 추적 향상을 위한 센서를 가지는 제어기를 도시한 도면이다.
도 20은 일 실시예에 따라 제어기 위치 평가를 위해 상이한 정보 소스들을 이용하는 것을 도시한 도면이다.
도 21a-c는 일 실시예에 따라 컴퓨터의 동작을 시작하기 위해 제어기 내에 휠의 사용을 도시한 도면이다.
도 22는 본 발명의 일 실시예에 따라 제어기 위치를 결정하기 위해 사용될 수 있는 하드웨어와 사용자 인터페이스를 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따라 명령을 처리하기 위해 사용될 수 있는 추가 하드웨어를 도시한 도면이다.
도 24는 플레이 필드에서 볼 부착 게임 제어기의 위치를 결정하기 위한 방법의 일 실시예를 도시한 순서도이다.
도 25는 일 실시예에 따라 플레이 필드에서 구별할 수 있는 링을 가지는 볼의 위치를 결정하기 위한 방법의 순서도이다.
다음의 실시예들은 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법, 시스템, 및 컴퓨터 프로그램을 설명한다. 게임 제어기에는 시각 정보를 이용하여 제어기의 위치를 결정하기 위한 볼 부재가 부착된다. 이 방법은 게임 제어기가 존재하는 플레이 필드의 이미지를 획득하고 그 다음에 볼 부재와 관련된 이미지 내에서 픽셀을 찾는다. 이 방법은 발견된 픽셀들을 둘러싸는 영역을 정하고 볼과 관련된 영역을 기반으로 기하학적 형상을 판단한다. 제어기의 위치는 제어기의 수평 및 수직적 위치를 나타내는 기하학적 형상의 중심과 플레이 필드 내의 제어기의 깊이를 결정하는 기하학적 형상의 크기를 가진 기하학적 형상을 기반으로 계산된다. 위치는 메모리에 저장되어 컴퓨터에 의해 동작을 구동하기 위해 이용된다.
그러나, 본 발명은 이러한 특정 세부사항의 일부 또는 전부가 없이도 실시 가능하다는 것은 당업자에게 명백할 것이다. 다른 예에서, 본 발명의 요지가 불필요하게 흐려지지 않도록 잘 알려진 처리 동작들에 대한 상세한 설명은 생략한다.
도 1a-b는 부착된 볼 부재를 가지는 게임 제어기의 실시예들을 보이고 있다. 제어기에 부착된 볼은 다른 색상을 가질 수 있으며, 일 실시예에서, 볼은 불이 켜질 수 있다. 볼의 색상은 볼 내부의 RGB (적, 녹, 청) 발광 소자 (LED) 에 의해 결정된다. 또한, 조명된 볼의 밝기는 상이한 카메라 노출 설정 하에 볼을 추적하기 위해 제어될 수 있다. 일 실시예에서, 볼의 색상은 상이한 사용자의 제어기들을 구별하고 동일 사용자의 다른 손에 파지되어 있는 제어기들을 구별하기 위해 사용된다.
도 1a와 1b의 제어기들에는 구형 볼이 도시되어 있지만, 볼은 부분적 구, 불완전 구, (미식축구나 럭비에서 사용되는 것과 같은) 가늘고 긴 볼, 정육면체 형상 등과 같은, 시각적 추적 목적을 위한 다른 형상들을 가질 수 있다.
도 1a 및 1b의 제어기들은 한 손의 사용을 위해 설계되었지만 볼 부착 양손 제어기도 역시 아래에 설명된 실시예들을 이용하여 추적이 가능하다. 일 실시예에서, 사용자의 양손에 파지된 두 개의 제어기들은 동일하며 다른 일 실시예에서 이 제어기들은 서로 다르다. 일반적으로, 제어기들은 매우 유사하며 각 제어기의 버튼들만이 다르다. 일 실시예에서, 제어기는 제어기 충전을 위한 유니버설 시리얼 버스(USB) 연결, 콘솔과의 무선 통신을 위한 블루투스, 및 시작, 선택, 및 PS 같은 버튼들을 포함한다.
일 실시예에서, 볼 또는 구는 4 cm의 직경을 가지며, 다른 크기도 또한 가능하다. 사이즈가 클수록 시각적 인식에 도움이 된다. 5cm 직경의 볼은 4cm 볼보다 이미지 인식을 위해 약 55 퍼센트의 더 많은 픽셀을 제공한다.
도 1c-e는 도 1a-b의 게임 제어기를 위한 상이한 동작 모드들을 도시한다. 도 1c는 "리버스 원드 (reverse wand)" 동작을 보이고 있으며 여기서 볼 부재는 제어기의 하단에 위치하고 상단에는 입력 버튼이 포함된다. 이러한 구성에서, 제어기는 구를 축으로 하여 선회함으로써 아케이드 비행 스틱 (flight stick)으로서 사용될 수 있다. 일 실시예에서, 관성 유닛은 스틱(제어기)의 각과 비틀림을 제공하고 상부 표면에는 방향 패드가 포함된다. 다른 일 실시예에서, 상부 표면에는 버튼 구성을 변경하기 위해 아래에서 도 4a-4d와 관련하여 설명되는 바와 같이 착탈 가능한 판들이 부착된다. 이 동작 모드는 사격, 운전, 비행 게임 등에서 사용될 수 있다.
일 실시예에서, 제어기는 리버스 원드 구성에서 검지와 중지를 위한 버튼들을 포함한다. 결과적으로, 두 리버스 원드 제어기는 소니 컴퓨터 엔터테인먼트 아메리카 사의 소니 듀얼쇼크®2 (DualShock®2) 제어기와 동일한 기능을 제공한다.
도 1d은 "펜슬(pencil)" 구성으로 뒤에서 파지된 제어기를 보이고 있다. 볼은 시각적 식별을 위해 카메라를 마주보며 제어기 몸체의 버튼들은 사용자 입력을 가능케 한다. 이 모드는 제어기가 페인트 브러시, 플래시라이트, 포인터, 사격 무기 등인 게임들에서 사용될 수 있다. 도 1e는 원드 (wand) 모드에서 제어기의 사용을 도시한다. 일 실시예에서, 원드는 손잡이 상부에 두 개의 엄지 버튼과 검지를 위한 방아쇠를 가지만, 다른 구성도 또한 가능하다. 원드 모드는 마법 지팡이, 음악 지휘봉, 테니스 라켓, 손도끼 또는 이와 유사한 무기와, 픽 (pick), 우산, 로프 등과 같은 도구로서 사용될 수 있다.
도 2a-2b는 부착된 볼을 가지는 게임 제어기의 다른 실시예들을 보이고 있다. 도 2a 및 2b의 제어기들의 몸체는 부착된 볼과 마찬가지로 구형이다. 제어기들은 상이한 버튼 구성을 가지며 서로 다른 손을 위한 용도를 갖는다. 일 실시예에서, 제어기들은 동일하고 왼 손 또는 오른손으로 사용이 가능하다. 도 2a 및 2B의 제어기들은 야구공 구성으로 파지되며, 즉 제어기는 대략 야구공 또는 테니스 공의 크기를 가지며 손 바닥 안에서 야구공처럼 파지된다. 도 1c 내지 1E의 구상과 유사하게, 도 2a 및 2b의 제어기들은 카메라, 마루, 또는 천장을 향하는 것처럼 다른 방향들로의 볼 부착 지향으로 파지될 수 있다.
도 3a-3b는 볼이 부착된 게임 제어기의 상이한 실시예들을 도시하고 있다. 제어기들은 가늘며 가벼운 무게의 적용들을 위해 설계되었다.
도 4a-d는 교환 가능한 표면판들(face-plates)을 가지는 볼 부착 게임 제어기의 일 실시예를 보이고 있다. 도 4a는 도 1a-b의 제어기들과 유사하지만 교환 가능한 표면판을 가지는 제어기를 도시하고 있다. 도 4b-4d의 표면판들은 제어기의 상부 또는 측면에 부착될 수 있다. 다른 일 실시예에서, 표면판의 크기는 상부 및 측면의 슬롯에 따라 다르고, 상부용 표면판들은 측면용 표면판들과 교환될 수 없다. 도 4b-4d는 각각 디-패드(D-pad) 부착물, 동작-버튼 패드, 및 터치 패드를 보이고 있다. 부착물들은 전기적 연결 및 부착물들을 제어기에 위치시겼을 때 안전하게 부착되도록 하는 기계적 그립(grip)을 포함한다.
도 5는 일 실시예에 따라 멀티플레이어 환경과 플레이어들이 파지하고 있는 상이한 제어기들의 위치를 결정하기 위한 시각적 정보의 이용을 보인 개략도이다. 이미지 포착 장치(508)는 플레이 필드(518)의 이미지를 획득하고, 이미지는 볼 부착 제어기들(C1, C2, C4 및 C5 )의 위치를 획득하기 위해 분석된다. 거리들(dz1, dz2, dz4, 및 dz5 )은 포착된 이미지 내의 각각의 볼의 형상을 분석하여 추정된다. 컴퓨팅 시스템(502)은 스크린(504) 내의 플레이어들, 아바타(512a 및 512b)의 표시를 각각 생성하기 위해 획득한 좌표와 거리를 이용한다. 이미지를 용이하게 인식하기 위한 일반적인 거리는 대략 10ft (3mtr)이다. 시각적 인식 이용의 장점은 이미지 포착과 이미지 인식에 있어서의 개선이 제어기를 변경할 필요 없이 시스템 내에서 이루어질 수 있다는데 있다.
도 6a-6d는 어떤 기하학적 형상을 포착된 이미지로부터 인지된 형상에 할당하기 위한 상이한 실시예들을 도시하고 있다. 도 4a는 포착된 이미지가 주어지면 "진짜" 기하학적 형상 (즉 볼)의 위치를 결정하는데 있어서의 몇몇의 문제점을 도시하고 있다. 볼이 구형이기 때문에, 카메라에 의해 포착된 이미지에서의 볼에 대응하는 원을 결정하는 것이 목적이다. 방법에 따라 도 6a의 경우와 같이, 인지된 형상에 원을 할당하는 상이한 방법들이 있다. 예를 들어, 원 내의 모든 픽셀이 볼에 대응하는 픽셀임을 보장하기 위해 수신된 형상 내의 원이 선택될 수 있으며, 모든 형상 픽셀들 및 무-형상 픽셀들의 최소량을 포함하는 원이 선택될 수도 있다. 그 대신에, 알고리즘은 포착된 형상을 제한하는 곡선 외부를 검출하는데 초점을 맞추고 그 다음에 이 곡선들에 근접하는 원을 피팅할 수 있다.
많은 경우에, 볼과 관련하여 포착된 픽셀의 수는 적다. 일 실시예에서, 10 ft (3 mt.)에 위치한 볼은 원의 반지름이 4 픽셀인 이미지를 생성한다. 다시 말해, 각 픽셀은 2.5 ft의 깊이에 대응한다. 잡음(noise) 또는 부정확한 알고리즘 때문에 픽셀이 상실된다면, 플레이어의 위치는 2.5 ft 점프하게 된다. 그 결과로, 픽셀 계산은 그 자체로서 정확한 깊이의 척도를 제공하지 못한다. 더욱이, 제어기의 움직임 때문에 볼이 보이지 않게 되면, 부분적 이미지만이 카메라에 의해 포착된다. 곡선 피팅은 인지된 형상을 분석하고 볼에 대한 최선의 위치와 형상을 결정하기 위해 중요하게 된다.
도 6b는 원의 중심과 반지름(r)의 추정을 도시하고 있다. 여기서 z로 알려져 있는 깊이는 볼의 영역과 관계가 있으며 1/r 에 비례한다. 일 실시예에서, 이 방법은 볼의 시각적 식별에 대응하는 픽셀들을 찾는다. 볼과 관련 있는 픽셀들이 영역을 결정하기 위해 카운팅되고, 그 다음에 중심과 r이 그 크기를 기반으로 계산된다.
다른 일 실시예에서, 형상을 둘러싸는 곡선을 결정하기 위해 도 6b 에서의 형상의 주변이 분석된다. 이 곡선은 곡선에 가장 잘 피팅되는 원을 결정하기 위해 분석된다. 일 실시예에서, 선택된 원은 원과 인지된 형상을 둘러싸는 곡선에 의해 결정되는 고유 영역의 최소 합을 가지는 원이다.
도 6c는 불완전 형상이 주어지면 관련된 원을 찾는데 있어서의 어려움을 도시하고 있다. 형상을 시각적으로 검사함으로써, 볼의 부분 영역만이 포착되는 것을 추론할 수 있다. 직접적인 픽셀 수 계산으로 영역을 결정하는 것은 정확한 결과를 산출하지 못한다. 일 실시예에서, 방법은 색조, 빛의 변화 등에 의해 야기될 수 있는, 테두리들 주변의 "퍼지(fuzzy)" 경계를 확인하고 외부 곡선의 형상을 결정한다. 형상의 주변 곡선은 여기서 "질량 중심(centroid)"으로도 불리는 중심을 결정하고 영역과 외부 곡선을 가장 잘 피팅하는 반지름을 결정하기 위해 분석된다.
도 6d는 "최장 스틱 피팅(fit the longest stick)" 방법을 도시하고 있다. 상기한 바와 같이, 이미지가 분석되고 포착된 볼의 형상이 결정된다. 방법은 형상 내에 피팅되는 가장 긴 직선 부분, 또는 "스틱"을 결정한다. 최장 직선 부분이 그 다음에 볼과 관련된 원의 직경으로 고려된다.
도 7은 일 실시예에 따라 볼 부재에 대응하는 픽셀들을 찾기 위해 서브픽셀 분석을 이용하는 방법을 도시하고 있다. 많은 표시 및 이미지 획득 시스템에서 픽셀 격자는 임의의 거리에서 보여질 땐 표시 또는 감지되는 색상에 기여하는 단일 색상 영역들로 분할된다. LCD, LED, 및 플라즈마 표시장치 등의 몇몇 표시장치에서는, 이들 단일 색상 영역들은 서브픽셀로 알려진 별도로 지정 가능한 요소들이다. 예를 들어, LCD는 일반적으로 각 픽셀(702)을 세 개의 서브픽셀(704, 706, 및 708)로 분할한다.
일 실시예에서, 픽셀 분석은 청색과 같이 단 하나의 색상에 집중한다. 다른 실시예에서, 분석은 정확도는 개선되지만 더 많은 연산을 요하는 두 개의 서브픽셀의 조합에 초점을 맞추어 이루어진다. 게다가, 하나의 픽셀의 분석은 픽셀의 분석, 또는 픽셀 내의 서브픽셀의 분석을 하는데 한정되지 않으며, 정확도를 개선하고 잡음 또는 일정치 않은 조명과 같은 다른 조건들의 영향을 줄이기 위해 인접 픽셀들이 분석된다.
도 8은 본 발명의 일 실시예에 따라 형상의 검출을 개선하기 위해 이미지를 흐리게 하는 효과(blur)를 보이고 있다. 이미지는 볼에 대한 흐림 효과를 야기하기 위해 다소 초점이 맞지 않은 카메라로 취득되고 이는 볼의 인지된 영역이 흐림 없이 취득된 이미지보다 더 커지게 한다. 더 큰 영역은 분석을 위한 더 많은 픽셀과 개선된 정확도를 의미한다.
도 9는 여기서 평활화(smoothing)라 불리는, 일 실시예에 따라 볼의 위치를 결정하기 위해 몇 개의 연속적으로 포착된 이미지의 사용 방법을 도시하고 있다. 일 실시예에서, 포착된 이미지들은 따로 분석되지 않는다. 하나의 이미지로부터의 정보는 이전에 취득된 이미지들과 비교된다. 이미지 취득 빈도가 충분히 높은 경우, 연속된 이미지들은 제어기의 움직임의 분해 후에도 유사할 것이다. 결과적으로, 이전 이미지들로부터의 정보가 잡음, 나쁜 조명, 및 볼의 가려짐에 의해 발생될 수 있는 갑작스런 이례적 픽셀 변화를 검출하는데 이용될 수 있다.
일 실시예에서, 이전 이미지로부터의 정보는 오래된 정도에 반비례하여 가중치가 부여되며, 즉 오래된 이미지일수록 그들이 전달하는 정보는 연관성이 적어지므로 낮은 가중치가 부여된다.
도 10은 정확도 향상을 위해 플레이 필드(152)의 축소 영역(156)으로부터 이미지를 취득하기 위한 일 실시예를 도시하고 있다. 컴퓨터 시스템은 볼에 부착된 제어기와 함께 볼의 움직임을 계속 추적하고, 비디오 포착 주기가 이미지들 사이의 제어기의 작은 움직임을 허용하기에 적당하다고 가정하여 이미지가 취득된 마지막 시간과 거의 동일한 장소에 볼이 위치하기를 기대한다. 일 실시예에서, 줌 성능을 갖춘 비디오 포착 카메라가 볼이 마지막 이미지에 있었던 축소 영역(156)의 이미지(154)와 제어기의 움직임을 허용하기 위한 볼 주위의 버퍼 영역을 포착한다. 축소 영역의 이미지는 더 높은 해상도를 가지며 더 나은 위치 결정을 위해 볼과 관련된 더 많은 픽셀을 제공한다.
결과적으로, 축소 영역의 이미지 포착 시에 볼이 존재하는 플레이 필드가 축소되지만, 이는 볼의 마지막 알려진 위치 주변에 집중된 줌인 된 이미지를 포착하기 위해 볼의 움직임을 추적함으로써 쉽게 보정될 수 있다.
다른 일 실시예에서, 카메라는 플레이 필드의 중앙에서만 줌인 할 수 있다. 이 경우, 줌인 기능은 볼이 플레이 필드의 중심을 향해 위치할 때만 사용된다. 이는 플레이어가 플레이 필드의 중앙 부근에 위치할 때 더 좋은 해상도를 야기하고 볼이 플레이 필드의 주변에 위치할 때 더 나쁜 해상도를 야기한다.
도 11은 일 실시예 따라 적은 수의 픽셀로 볼의 이미지를 인식하는 것을 도시하고 있다. 도 6a와 관련하여 앞서 설명한 바와 같이, 적은 수의 픽셀이 사용 가능할 때 볼의 인식은 하나의 픽셀만이 누락 또는 잘못 계산 되더라고 인지된 형상에 큰 변화를 야기할 수 있다. 적은 픽셀의 사용 가능성에 의한 문제는 픽셀 경계를 가로지르는 볼의 이동 시 더욱 악화될 수 있다. 볼의 첫 번째 위치(160)에서, 이 방법은 볼이 네 개의 픽셀을 가지는 것으로 인지한다. 일 실시예에서, 이 방법은 픽셀의 적어도 50 퍼센트가 볼에 대응할 때 픽셀이 볼의 색상과 관련되어 있다고 결정하지만, 다른 실시예에서는 다른 퍼센트가 한계값으로 사용될 수도 있다. 볼이 두 번째 위치(162)로 이동하면, 이 방법은 볼과 관련된 7개의 픽셀을 인지한다. 볼이 몇 개의 픽셀에 대응하기 때문에 픽셀 격자에서 볼의 위치는 도 11의 시나리오 하에 있는 요소이다. 게다가, 잡음과 래스터화 (rasterization)와 같은 다른 요소들과 함께 문제가 복잡해질 수 있다.
일 실시예는 더 높은 해상도 카메라를 이용함으로써 적은 수의 픽셀의 문제를 해결한다. 도 12는 고 해상도 카메라를 이용하여 이미지 인식을 하기 위한 일 실시예를 도시하고 있다. 볼이 더 많은 수의 픽셀을 포함하기 때문에, 픽셀 격자를 가로지르는 볼의 작은 이동이 더 낮은 해상도의 카메라를 이용할 때보다 형상 인식에 더 작은 영향을 미치게 된다.
도 13a-c는 일 실시예에 따라 카메라를 마주보기 위해 이동할 수 있는 조명된 고리를 이용하여 볼을 검출하는 방법을 도시하고 있다. 제어기(170)는 이미지 포착 장치(180)로 취득된 이미지들을 기반으로 한 시각적 인지를 위해 부착된 볼 부재(172)를 갖는다. 볼 부재(172)는 내측 구 또는 볼(174)을 포함한다. 볼(174)은 이미지 포착 장치(180)를 마주보는 시각적 고리를 형성하는 광원들(178a-n)을 가진다. 일 실시예에서, 이 광원들은 대응하는 광 와이어로부터 수신한 빛을 밝히는 광 와이어의 단부들에 대응한다. 다른 실시예에서, 광원은 LED에 대응한다.
내측 볼(174)은 이미지 포착 장치(180)와 대체로 마주보게 하기 위해 볼(172) 내에서 움직이도록 구성된다. 일 실시예에서, 볼(174)은 이동이 용이하도록 액체 속에 부유된다. 도 13B는 제어기가 약 45도로 배향을 변경한 후의 도 13A의 동일한 제어기(170)를 보여준다. 제어기(170)가 이동하였지만, 내측 볼(174)은 제어기(170)에 대하여 회전하여 조명 고리는 여전히 이미지 포착 장치(180)를 마주보게 된다. 결과적으로, 포착된 이미지는, 도 15a-b를 참조하여 아래에서 설명되는 바와 같이, 볼의 위치의 결정에 도움을 주는 고리가 될것이다.
다른 일 실시예에서, 고리는 이미지 인식을 향상시키고 플레이 필드에서 상이한 제어기들을 구별하기 위해 위해 서로 다른 색상의 빛으로 조명될 수 있다. 또 다른 실시예에서는, 하나 이상의 고리가 조명될 수 있으며, 한번에 단 하나의 고리가 조명되거나 이미지 인식을 위해 동시에 복수의 고리가 조명될 수 있다. 도 13c는 이미지 포착 장치(180)에 의해 보여지는 것처럼, 볼 부재의 정면도를 도시하고 있다.
도 14a-h는 일 실시예 따라 볼 부재에서 구별 가능한 고리의 검출을 도시하고 있다. 도 14a는 부착된 볼(192)을 가지는 제어기(190)를 포함하고 볼은 조명된 고리(196)를 가지는 내측 볼(194)을 포함한다. 도 13a-c의 제어기와 달리, 도 14a-c의 제어기는 제어기와 관련하여 움직이는 볼을 가지지 않는다. 따라서, 제어기가 도 14a의 대체로 수직 위치로부터, 도 14b에서 처럼, 상이한 배향으로 이동하면, 고리(196)는 이미지 포착 장치(180)를 정면으로 향하는 위치로부터 이미지 포착 장치(180)와 볼을 연결하는 선과 이루는 일정한 각도로 이미지 포착 장치를 마주보는 위치로 이동한다. 도 14a에서, 이미지는 조명된 원을 포착하고, 도 14b에서, 이미지는 타원 고리를 포착한다. 고리가 카메라를 정면으로 마주보지 않는 대부분의 제어기 위치에서, 고리의 다른 절반이 볼의 뒤쪽의 보이지 않는 면에서 가려지기 때문에 이미지는 고리의 약 절반만을 포착한다.
도 14c는 제어기가 도 14b에 도시된 위치에 있을 때 카메라에 의해 포착된 이미지를 보이고 있다. 도 14d는 서로 다른 x, y, 및 z 축에 따라 카메라와 관련하여 제어기의 배향을 변경하는 효과를 도시하고 있다. 위치(250)에 있는 제어기는 카메라를 마주보고 있고 따라서 카메라는 볼만을 바라본다. 나머지 위치들은 상이한 축에서 제어기의 배향을 변경하는 것에 대응한다. 이는 위치(250)에서 직접 카메라를 겨냥하는 제어기를 파지하고 있는 플레이어에 의해 가시화될 수 있다. 그 다음에 플레이어는 단지 x, y, 및 z 방향으로 팔꿈치를 회전시킴으로써 제어기의 위치를 변경한다.
제어기가 x 방향으로 (수평방향으로) 회전하면, 제어기의 더 큰 부분이 보여질 수 있게 되고(플레이어의 실제 손은 무시됨) 고리는 제어기가 수평방향으로(256) 배향될 될 때까지 회전할 것이며, 고리는 선으로서 측방에서 인지될 것이다. 유사한 효과가 제어기가 y 방향으로 (수직 방향으로) 회전할 때에 목격될 수 있다. z(깊이)방향으로의 이동은 인식된 고리의 변화를 야기할 것이다. 볼이 카메라로부터 멀어져 갈 때 볼의 크기가 점점 작아지는 효과는 도 14d에서 무시된다.
도 14e는 도 14d에서 논의된 제어기의 이동에 따라 카메라에 의해 인지된 고리의 형상을 보이고 있다. 볼이 카메라를 마주볼 때 보여진 완벽한 원(250)이 볼이 움직임에 따라 찌그러져서 타원이 되며, 고리가 카메라를 마주보는 위치로부터 더 멀어져 감에 따라 작은 축이 점점 더 작아진다
타원은 두 고정 점들에 대한 거리들의 합이 일정하도록 하는 평면에서의 점들의 집합이라는 것을 주목해야 한다. 두 개의 고정 점은 초점이라 불린다. 두 개의 초점이 일치하면, 타원은 원이다. 다시 말해서, 원은 타원의 특별한 경우이다. 타원을 참조하여 여기서 설명되는 실시예들은, 도 14e의 원(250)과 같이 원은 단지 타원의 한 형상이기 때문에, 타원이 원을 포함하는 경우를 포함하도록 설계된다.
도 14f는 z 방향에서 카메라를 마주보며 멀어져 가는 제어기를 도시하고 있다. 기대한 바대로, 볼이 카메라로부터 멀어져 갈수록 고리는 더 작아진다.
다른 실시예에서, 볼은 도 14g의 3개의 고리와 같이 상이한 조명 패턴을 포함한다. 도 14h는 서로에 대해 수직인 두 개의 고리를 가진 볼을 보이고 있다. 또 다른 일 실시예에서, 볼은 도 14e에서의 하나와 같이 조명된 고리를 가지지만 고리는 제어기가 카메라를 정면으로 향할 때 상이한 배향을 가진다. 조명된 고리에 의해 형성된 원은 카메라에 대해 수직이고 여기서 카메라는, 도 14h에 도시된 고리들 중 어느 하나처럼, 제어기가 카메라를 향하여 정면으로 배향될 때 직선을 인지한다. 또 다른 실시예에서, 제어기를 마주보는 고리의 일부가 거의 카메라에 의해 포착되지 않기 때문에 고리는 완벽하게 조명되지 않으며, 결과적으로 배터리 소비는 물론 링 제조 비용을 줄인다. 다른 실시예에서, 고리는 고리의 270 도 원호를 따라서만 조명되지만 다른 값도 또한 가능하다.
도 15a-b는 부분 호로부터 완벽한 고리 영역을 추정하기 위한 방법을 도시하고 있다. 도 15a는 포착된 고리(350)를 보이고 있으며 여기서 볼이 가려졌을 때처럼 고리(352)의 대략 절반만이 검출된다. 일반적으로, 부분 정보로 호의 중심을 찾는 것은 부분 정보로 원의 중심을 찾는 것보다 더 쉽다. 도 6a-6d를 참조하여 상기한 바와 같이, 원의 중심을 결정하는 것은 완전한 정보보다 적은 정보로는 수월한 작업은 아니다. 반면에, 도 15a에서와 같이 반 원호의 정보로 호의 중심을 찾는 것은 비교적 쉽다.
고리에 대응하는 곡선을 분석함으로써, 반지름(354)이 호의 중심과 함께 추정될 수 있다. 도 15b는 고리의 적은 영역(356)이 포착되는 시나리오를 보이고 있다. 그러나, 도 15a에서 사용된 것과 동일한 방법이 높은 수준의 정확도로 원을 결정하기 위해 사용될 수 있다. 적은 양의 정보가 사용 가능하지만, 검출된 곡선의 분석은 적은 수의 원만이 이 곡선을 피팅하고 원들 간의 변화도 작기 때문에 정확한 결과를 생성하며, 즉, 원들이 r과 서로 멀리 떨어지지 않은 중심들의 유사한 값들을 생성한다.
도 14a-d에 대응하는 것들처럼 카메라와 관련하여 고리의 각이 변할 수 있는 경우에, 분석은 타원을 포함하도록 확장된다. 예를 들어, 도 14e의 반 타원(252)과 같은 인지된 고리가 주어질 때, 이 방법은 타원을 분석하여 타원의 중심은 물론 타원의 장축과 단축을 추정한다.
도 16은 볼이 진동하여 인지된 볼 표면을 증가시키는 실시예를 보이고 있다. 볼이 진동함에 따라, 더 긴 인지 영역이 카메라에 의해 포착된다. 이 방법은 위치 결정력을 개선하기 위해 도 9에 도시된 알고리즘과 같은 평활화와 조합될 수 있다. 볼이 각각의 중심으로부터 진동하기 때문에, 연속된 이미지의 비교와 평균화는 더 높은 정확도로 실제 중심을 결정하는 것을 도울 것이다.
도 17a-b는 검출을 개선하기 위해 크기와 외관에 변화를 줄 수 있는 볼의 실시예들을 도시하고 있다. 도 17a는 크기의 변경이 가능한 볼을 도시하고 있다. 플레이어(450a)가 표시장치(458) 위에 안착되어 있는 카메라(456)로 접근할 때, 제어기(452)에 부착된 볼(454a)은 미리 정해진 크기를 가진다. 플레이어가 위치(450b)에 있을 때, 제어기(452)와 부착된 볼이 스크린과 더 멀리 떨어져 있다. 카메라에 의해 포착된 이미지에서 볼이 상대적으로 작아질수록, 볼의 위치를 결정하기가 더 어려워 진다. 검출 능력 개선을 위해, 볼(454b)은 정확도를 향상시키기 위해 확대된다. 더 큰 볼은 포착된 이미지 내의 더 많은 픽셀로 해석되어 제어기 위치를 더 정확하게 결정할 수 있도록 한다. 팽창, 모터 등의 볼을 부풀리기 위한 다양한 방법이 가능하다.
일 실시예에서, 제어기(452)는 볼의 크기를 전달하기 위해 연산 장치(460)와 통신하고 있다. 다른 실시예에서, 연산 장치(460)는 볼 내에서 검출된 픽셀 수가 미리 정해진 한계값보다 적을 때 볼을 더 크게 만들기 위해 제어기로 명령을 전송한다.
도 17b는 플레이 필드에서 조명 조건에 따라 검출 능력을 향상시키기 위해 외관을 바꾸거나 변경 또는 향상시킬 수 있는 볼(460)을 가지는 제어기를 보이고 있다. 플레이 필드가 태양(462)으로부터 빛을 받을 수 있는 창문과 같이 (자연 또는 인조) 광원에 가까이 있는 경우에, 시각적 검출은 낮 또는 밤의 시간 및 플레이 필드 내의 빛의 양에 따라 영향을 받을 수도 있다. 볼의 외관도 또한 태양 광선으로부터 충격 각에 의해서 영향을 받는다. 예를 들어, 볼의 외관은 만약 태양광이 볼의 정면, 후면, 또는 측면에 도달할 경우에 달라지게 된다. 마찬가지로, 램프(464)(또는 유사한 것)는 램트가 켜져 있는지 꺼져 있는지에 따라 시각적 검출에 영향을 미칠 수 있다.
일 실시예에서, 볼(460)은 볼(460)의 가시성 개선을 위해 켜거나 끌 수 있는 내부 광원을 포함한다. 광원은 플레이어 또는 볼(460)을 포함하는 제어기와 통신하는 컴퓨터 시스템에 의해 켜질 수 있다. 다른 실시예에서, 볼(460)은 투명한 외피를 가질 수 있다. 다른 일 실시예에서, 외피는 서리효과를 부여할 수 있다(frosted). 더욱이, (투명하거나 서리효과가 부여된) 외피는 어떤 색조(shade), 색상, 또는 질감을 취할 수 있다. 예를 들어, 외피가 서리효과가 부여되거나 색조를 가지는 경우 조명이 없을 때 볼(460)이 어둡게 나타나도록 할 수 있다. 색조의 예는, 특정 환경에 배치되었을 때 색상 또는 색조가 구별 가능한 대조를 제공하는 한, 회색, 검은색, 은색 또는 색상들의 조합이 될 수 있다. 외피는 플라스틱, 고무, 유리, 폼, 성형 재료들 등의 다양한 재료로 만들어질 수 있다. 그리고, 이러한 재료들은 바르거나, 염색하거나, 성형을 하든 간에 어떤 색상을 가질 수 있다.
더욱이, 볼(460) 내부의 광원은 볼(460)이 흰색 또는 노란색과 같이 상이한 색상으로 조명되게 할 수 있으나, 다른 색상도 역시 가능하다. 조명된 볼은 낮은 주변 광 조건에서 검출을 향상시킬 수 있지만 어두운 색상의 볼은 빛이 밝은 상황에서 검출을 향상시킬 수 있다.
도 18은 외피(478) 내에 포함된 볼 부재(472)를 가지는 게임 제어기(470)의 일 실시예를 보이고 있다. 외피(478)는 빛이 통과하여 볼이 시각적으로 검출될 수 있도록 한다. 일 실시예에서, 외피(478)는 빛(474)이 볼로부터 카메라 방향으로 진행하도록 하지만 외피(478)는 빛이 외부로부터 통과해 들어오지 못하게 한다. 이러한 방식으로, 내부에 있는 조명된 볼과의 간섭이 줄어든다.
다른 실시예에서, 외피(478)는 예를 들어 청색 볼을 식별하기 위해 청색 빛만을 통과시키는 것과 같이 빛을 선택적으로 필터링할 수 있다.
도 19a-b는 일 실시예에 따라 움직임 추적을 향상시키기 위한 센서들을 포함하는 제어기를 도시하고 있다. 다른 실시예들은 자기계, 가속도계, 자이로스코프 등과 같은 서로 다른 센서들의 조합을 포함한다.
가속도계는 가속도와 중력 유도 반응력들을 측정하는 장치이다. 상이한 방향으로의 가속도의 크기와 방향을 검출하기 위해 단일 및 다중 축 모델들이 사용될 수 있다. 가속도계는 기울기, 진동, 및 충격을 감지하기 위해 사용된다. 일 실시예에서, 세 개의 가속도계가 중력의 방향을 제공하기 위해 사용되며 이는 두 개의 각도에 대한 절대 기준을 제공한다(세계 공간 피치와 세게 공간 롤(world-space pitch and world-space roll)). 제어기들은 5g를 초과하는 가속도를 겪을 수 있으며 이에 따라서 5g을 초과하는 힘으로 동작할 수 있는 가속도계가 제어기(550) 내에 사용된다.
자기계는 제어기 주변의 자기장의 세기와 방향을 측정한다. 일 실시예에서, 세계 공간의 요각(world-space yaw angle)의 절대 기준을 보장하기 위해 제어기 내에서 세 개의 자기계(552)가 사용된다. 자기계는 ±80 마이크로테슬라(microtesla)인 지구 자기장을 파악하기 위해 설계된다. 자기계는 금속의 영향을 받으며 실제 요(yaw)와 모노톤인 요(yaw) 측정을 제공한다. 자기장은 환경 내의 금속 때문에 휘어질 수 있으며 이는 요 측정 시 휨을 야기한다. 필요 시에, 이러한 휨은 자이로(gyros) (아래 참조) 또는 카메라로부터의 정보를 이용하여 보정될 수 있다. 일 실시예에서, 가속도계(554)가 제어기의 기울기와 방위각을 획득하기 위해 자기계(552)와 함께 사용된다.
자이로스코프는 각 운동량의 원리를 기반으로 배향을 측정하고 유지하기 위한 장치이다. 일 실시예에서, 세 개의 자이로스코프가 관성 검출을 기반으로 각 축(x, y 및 z)을 가로지르는 움직임에 대한 정보를 제공한다. 자이로스코프는 빠른 회전의 검출에 유용하다. 그러나 자이로스코프는 절대 기준이 없이 시간을 초과하여 표류할 수 있다. 이는 자이로스코프의 주기적 재설정을 필요로 하며 이는 볼(558)의 시각적 추적, 가속도계, 자기계 등과 같은 다른 가용 정보들을 이용하여 이루어질 수 있다. 휴대용 장치는 초당 500도보다 빠르게 회전할 수 있으며 이에 따라서 초당 1000 도보다 큰 스펙(spec)을 가지는 자이로스코프가 추천되나, 작은 값도 역시 가능하다.
상이한 소스로부터의 정보는 향상된 위치 및 배향의 검출을 위해 조합될 수 있다. 예를 들어, 볼이 시야로부터 사라지면 가속도계의 배향 검출은 제어기가 카메라로부터 멀어져 가는 것을 검출하기 위해 사용된다. 일 실시예에서, 제어기(550)는 플레이어에게 오디오 피드백을 제공하기 위해 스피커를 포함한다. 예를 들어, 제어기는 볼이 카메라에 의해 보이지 않을 때 경고음을 발생하고 플레이어가 제어기를 올바른 방향으로 향하도록 하거나 플레이 필드로 돌아오게 한다.
도 19b에 도시된 실시예에서, 몇몇의 프레임으로부터의 시각적 및 센서 발생 정보가 제어기의 배향은 물론 제어기의 위치를 결정하기 위해 분석된다. 몇몇의 프레임으로부터의 정보를 분석함으로써, 제어기의 움직임과 배향과 관련된 센서 정보는 몇몇의 프레임에 거쳐 평활화된다. 일단 볼의 궤적이 몇몇의 프레임에 걸쳐 결정되면, 이들 프레임에 대해 상응하는 센서 정보가 주어지면 주어진 궤적을 생성하는 제어기의 상응하는 방향을 찾기 위해 센서 정보가 분석된다.
도 20은 일 실시예에 따라 제어기의 위치를 평가하기 위해 다른 정보 소스들을 이용하는 것을 도시하고 있다. 제어기(570)는 도 19와 관련하여 이전에 설명한 바와 같이 가속도계뿐만 아니라 부착된 볼 부재를 포함한다. 컴퓨팅 시스템은 제어기(570) 내의 볼의 시각적 추적을 이용한다. 볼이 플레이어의 머리 뒤에 있을 때 가려짐을 야기하는 궤적(582)을 제어기가 따를 때처럼 볼이 가려졌을 때, 시스템은 추측항법(dead reckoning)을 이용한다. 추측항법(DR)은 이전에 정해진 위치 또는 픽스(fix)를 기반으로 현재의 위치를 추정하거나, 알려진 속도와 경과 시간, 및 코스를 기반으로 그 위치를 나아가게 하는 프로세스이다.
제어기의 볼이 경로(582)를 따름에 따라, 컴퓨팅 시스템은 곡선(580) 아래에서 제어기를 추적한다. 일단 볼이 가려지면, 가속도계는 재설정되고 시스템은 추측항법을 이용하기 시작한다. 추측항법이 시간이 지남에 따라 정확도를 잃게 되며 이에 따라서 정확한 추적을 위해 다른 위치 정보로 추측항법을 보완하는 것이 필요함을 주목해야 한다. 가속도계로부터의 데이터는 항상 수집되고 있지만 시스템에 의해 항상 사용되지는 않는다.
추측항법은 볼이 가려지는 동안(영역(574)) 사용된다. 일단 볼이 다시 보이게 되면, 시각적 추적이 영역(578)에서 다시 적용된다. 일 실시예에서, 추측항법은 볼이 보여지게 되고 부분적 가려짐때문에 또는 볼의 움직임을 추적하기 위한 시각적 이력의 부족때문에 시각적 정보가 아직 그리 정확하지 않을 때의 영역과 같이 때때로 시각적 추적과 결합될 수 있다.
도 21a-c는 일 실시예에 따라 컴퓨터 동작을 시작하기 위해 제어기 내의 입력 휠의 사용을 도시하고 있다. 제어기의 배향이 컴퓨팅 시스템 내의 동작을 발생하기 위해 휠 움직임과 결합된다. 예를 들어, 플레이어가 x, y, 또는 z 방향으로 제어기를 위치시켜 아이콘이 스크린 내에서 해당 방향으로 움직이도록 휠을 회전시킬 수도 있다. 사실, 제어기가 축을 따라 배향되어야 할 필요는 없고 어떤 배향도 스크린 상에 상응하는 움직임을 야기할 수 있다. 예를 들어, x 와 y 축 사이의 45도에 위치한 제어기는 표시장치(654) 상에서 아이콘이 그 방향으로 움직이도록 할 것이다. 게다가, 휠은 메뉴들을 찾기 위해 사용될 수 있다. 예를 들어, 제어기의 배향에 따라 메뉴들에 걸쳐서 수직 방향으로나 수평 방향으로 움직일 수 있다. 도 21a는 수직 또는 세로 배향의 휠(658A)을 포함하는 제어기(650)를 보이고 있다. 도 21b는 수평 또는 가로 배향의 휠(672)을 포함하는 제어기(670)을 보이고 있다. 휠(672)의 상부는 명령 입력을 위해 플레이어에 의해 사용된다. 도 21c도 역시 수평 또는 가로 배향의 휠(676)을 포함하는 제어기(674)를 도시하고 있다. 휠(676)은 제어기를 감싸며 제어기의 몸체의 파지부(678)에 대하여 수직으로 움직인다(680). 휠(676)의 전체 원주는 상부, 측면들, 하부 또는 다른 각도로부터 휠을 동작시킬 수 있고 다른 손가락을 이용해 휠을 동작시킬 가능성을 가지고 있는 사용자가 사용 가능하다.
도 22는 본 발명의 일 실시예에 따라, 제어기 위치를 결정하기 위해 사용될 수 있는 하드웨어와 사용자 인터페이스를 도시하고 있다. 도 22는 소니 플레이스테이션 3 엔터테인먼트 장치(Sony Playstation 3® entertainment device), 본 발명의 일 실시예에 따른 3차원 제어기 위치 결정 시스템을 구현하기 위해 호환 가능한 콘솔을 포함하는 전체 시스템 구조를 개략적으로 도시하고 있다. 시스템 유닛(1400)이 시스템 유닛(1400)에 연결 가능한 다양한 주변 기기와 함께 제공된다. 시스템 유닛(1400)은 셀 프로세서(1428), 램버스® D램(XDRAM) 유닛(1426), 전용 비디오 램(VRAM) 유닛(1432)을 가지는 리얼리티 신시사이저(Reality Synthesizer) 그래픽 유닛(1430), 그리고 I/O 브릿지(1434)를 포함한다. 시스템 유닛(1400)는 또한 I/O 브릿지(1434)를 통해 접근 가능한, 디스크(1440a)으로부터 블루레이® 디스크 BD-ROM® 광학 디스크 리더(1440)와 탈착식 슬롯-인 하드 디스크 드라이브(HDD)(1436)를 포함한다. 시스템 유닛(1400)은 또한 마찬가지로 I/O 브릿지(1434)를 통해 접근가능한, 컴팩트 플래시 메모리 카드, 메모리 스틱® 메모리 카드 등을 읽기 위한 메모리 카드 리더(1438)를 선택적으로 포함할 수 있다.
I/O 브릿지(1434)는 또한 여섯 개의 유니버설 시리얼 버스(USB) 2.0 포트(1424), 기가비트 이더넷 포트(1422), IEEE 802.11b/g 무선 망(Wi-Fi) 포트(1420), 및 일곱 개까지의 블루투스 연결을 지원할 수 있는 블루투스® 무선 링크 포트(1418)에 연결된다.
동작 중에, I/O 브릿지(1434)는 하나 이상의 게임 제어기(1402-1403)로부터의 데이터를 포함하는 모든 무선, USB, 및 이더넷 데이터를 처리한다. 예를 들어, 사용자가 게임을 할 때, I/O브릿지(1434)는 블루투스 링크를 통해 게임 제어기(1402-1403)로부터 데이터를 수신하고 셀 프로세서(1428)로 이를 전달하여 이로 인해 게임의 현재 상태를 갱신한다.
무선, USB 및 이더넷 포트들은 또한 게임 제어기(1402-1403)뿐만 아니라, 원격 제어기(1404), 키보드(1406), 마우스(1408), 소니 플레이스테이션 포터블(Sony Playstation Portable®) 엔터테인먼트 장치와 같은 휴대용 엔터테인먼트 장치(1401), 아이토이(EyeToy®) 비디오 카메라와 같은 비디오 카메라(1412), 마이크로폰 헤드 셋(1414), 및 마이크로폰(1415)과 같은 다른 주변장치들에 대한 연결을 제공한다. 그러므로 이러한 주변 장치들은 대체로 무선으로 시스템 유닛(1400)에 연결될 수 있는데, 예를 들어, 휴대용 엔터테인먼트 장치(1410)는 Wi-Fi 애드-혹 연결을 통해 통신할 수 있는 반면에 마이크로폰 헤드 셋(1414)는 블루투스 링크를 통해 통신할 수 있다.
이들 인터페이스가 제공된다는 것은 플레이스테이션 3 장치가 또한 디지털 비디오 레코더(DVR), 셋탑 박스, 디지털 카메라, 휴대용 미디어 플레이어, VoIP 전화기, 이동 전화기, 프린터, 및 스캐너와 같은 기타 주변 장치들과 잠재적으로 호환 가능함을 의미한다.
게다가, 종래의 메모리 카드 리더(1416)는 USB 포트(1424)를 통해 시스템 유닛에 연결되어 플레이스테이션 또는 플레이스테이션 2 장치에 의해 사용되는 종류의 메모리 카드(1448)를 읽을 수 있다.
게임 제어기(1402-1403)는 블루투스 링크를 통해 시스템 유닛(1400)과 무선으로 통신하도록 또는 USB 포트에 연결되도록 동작할 수 있으며 이로 인해 게임 제어기(1402-1403)의 배터리를 충전하기 위한 전원을 제공한다. 게임 제어기(1402-1403)는 또한 메모리, 프로세서, 메모리 카드 리더, 플래시 메모리와 같은 영구 메모리, LED 또는 적외선 조명과 같은 발광체, 초음파 통신을 위한 마이크로폰과 스피커, 음향실, 디지털 카메라, 내부 시계, 게임 콘솔을 대면하는 구형 영역과 같은 인지 가능한 형상, 블루투스, 와이파이 등의 프로토콜을 이용한 무선 통신 장치를 포함할 수 있다.
게임 제어기(1402)는 양 손을 이용하여 사용되도록 설계된 제어기이며, 게임 제어기(1403)는 도 1a-4a에 도시된 바와 같이 볼 부착된 한 손 제어기이다. 하나 이상의 아나로그 조이스틱과 종래의 제어 버튼에 더하여, 게임 제어기는 3차원 위치 결정이 가능하다. 결국, 게임 제어기의 사용자에 의한 제스처와 움직임은 종래의 버튼 또는 조이스틱 명령과 더불어 또는 그 대신에 게임에 대한 입력으로 해석될 수 있다. 선택적으로, 플레이스테이션 포터블 장치와 같이 다른 무선 기능을 갖춘 주변 장치들이 제어기로서 사용될 수도 있다. 플레이스테이션 포터블 장치의 경우, 추가적인 게임 또는 제어 정보(예를 들어, 제어 명령 또는 생존자의 수)가 장치의 스크린 상에 제공될 수도 있다. 댄스 매트(미도시), 광선 총(미도시), 운전대와 패달(미도시) 또는 신속 응답 퀴즈 게임을 위한 단일 또는 다수의 대형 버튼과 같은 맞춤형 제어기와 같은 다른 대안 또는 보조 제어 장치들도 사용될 수 있다.
원격 제어기(1404)도 블루투스 링크를 통해 시스템 유닛(1400)과 무선으로 통신하도록 동작할 수 있다. 원격 제어기(1404)는 블루레이 디스크(Blu RayTM Disk) BD-ROM 리더(1440)의 동작에 적합한 그리고 디스크 내용을 찾기에 적합한 제어를 포함한다.
블루레이 디스크 BD-ROM 리더(1440)는 종래의 미리 녹음된 그리고 녹음 가능한 CD와 이른바 슈퍼 오디오 CD에 추가하여 플레이스테이션과 플레이스테이션 2 장치들과 호환되는 CD-ROM을 읽도록 동작할 수 있다. 리더(1440)는 또한 미리 녹화된 그리고 녹화 가능한 DVD에 추가하여 플레이스테이션 2와 플레이스테이션3 장치들과 호환되는 DVD-ROM을 읽도록 동작할 수 있다. 리더(1440)는 추가로 종래의 미리 녹화된 그리고 녹화 가능한 블루레이 디스크는 물론 플레이스테이션 3 장치와 호환되는 BD-ROM을 읽도록 동작할 수 있다.
시스템 유닛(1400)은 리얼리티 신시사이저 그래픽 유닛(1430)을 통해 그리고 디스플레이(1444)와 하나 이상의 확성 스피커(1446)을 가지는 모니터 또는 텔레비전 세트와 같은 표시 또는 소리 출력 장치(1442)에 대한 오디오 및 비디오 커넥터들을 통해 플레이스테이션 3 장치에 의해 생성 또는 복호된 오디오 및 비디오를 제공하도록 동작할 수 있다. 오디오 커넥터(1450)는 종래의 아날로그 및 디지털 출력을 포함할 수 있는 반면에 비디오 커넥터(1452)는 컴포넌트 비디오, S-비디오, 컴포지트 비디오 및 하나 이상의 고해상도 멀티미디어 인터페이스(HDMI) 출력들을 다양하게 포함할 수 있다. 결과적으로, 비디오 출력은 PAL 또는 NTSC와 같은 포맷, 720p, 1080i 또는 1080p의 고해상도일 수 있다.
오디오 처리(생성, 복호 등)는 셀 프로세서(1428)에 의해 수행된다. 플레이스테이션 3 장치의 구동 시스템은 돌비 5.1 서라운드(Dolby® 5.1 surround) 사운드, 돌비 씨어터 서라운드(Dolby® Theatre Surround(DTS)), 그리고 블루레이 디스크로부터의 7.1 서라운드 사운드의 복호를 지원한다.
본 실시예에서, 비디오 카메라(1412)는 단일 전하 결합 소자(CCD), LED 인디케이터, 하드웨어 기반의 실시간 데이터 압축 및 부호화 장치를 포함하므로, 압축 비디오 데이터가 시스템 유닛(1400)에 의한 복호를 위해 인트라-이미지 기반의 MPEG(motion picture expert group) 표준과 같은 적당한 포맷으로 전송될 수 있다. 카메라 LED 인디케이터는 시스템 유닛(1400)으로부터의 제어 데이터에 대한 응답으로, 예를 들어 나쁜 조명 상태를 나타내기 위해, 조명을 수행하도록 배치된다. 비디오 카메라(1412)의 실시예들은 USB, 블루투스, 또는 와이파이 통신 포트를 통해 시스템 유닛(1400)에 다양하게 연결될 수 있다. 비디오 카메라의 실시예들은 하나 이상의 연결된 마이크로폰을 포함할 수 있으며 오디오 데이터를 전송할 수도 있다. 비디오 카메라의 실시예들에서, CCD는 고해상도 비디오 포착에 적합한 해상도를 가질 수 있다. 사용 중에, 비디오 카메라에 의해 포착된 이미지들은, 예를 들어, 게임에 포함되거나 게임 제어 입력으로 해석될 수 있다. 다른 일 실시예에서, 카메라는 적외선 빛을 검출하기에 적합한 적외선 카메라이다.
일반적으로, 시스템 유닛(1400)의 통신 포트들 중 하나를 통해 비디오 카메라나 원격 제어기 같은 주변기기와의 성공적인 통신을 위해, 장치 드라이버 같은 적당한 소프트웨어가 제공되어야만 한다. 장치 드라이버 기술은 공지의 사항이므로 상세한 설명을 생략하며, 당업자라면 본 실시예에서 장치 드라이버 또는 유사한 소프트웨어 인터페이스가 필요할 수도 있음을 알 수 있다.
도 23은 본 발명의 일 실시예에 따라 명령을 처리하기 위해 사용될 수 있는 추가적 하드웨어를 도시하고 있다. 셀 프로세서(1428)는 네 개의 기본 요소(메모리 제어기(1560)와 듀얼 버스 인터페이스 제어기(1570A, B)를 포함하는 외부 입력 및 출력 구조들; 전력 처리 요소(Power Processing Element)(1550)로 불리는 주 프로세서; 시너지스틱 처리 요소(Synergistic Processing Elements(SPEs))(1510A-H) 로 불리는 여덟 개의 코프로세서; 및 요소 상호 연결 버스(1580)로 불리는 상기 구성 요소들을 연결하는 원형 데이터 버스)를 포함하는 구조를 가진다. 셀 프로세서의 전체 부동 소수점 성능은 플레이스테이션 2 장치의 감정 엔진의 6.2 GFLOPs와 비교하여 218 GFLOPS이다.
전력 처리 요소(PPE) (1550)는 3.2GHz의 내부 클록으로 동작하는 양방향 동시 멀티스레딩 파워(1470) 호환의 파워PC 코어(PowerPC core(PPU))(1555)를 기반으로 한다. 이는 512 kB 레벨 2(L2) 캐시와 32 kB 레벨 1(L1) 캐시를 포함한다. PPE (1550)는 클록 사이클 당 여덟 번의 싱글 포지션 동작dl 가능하며 3.2 Ghz 에서 25.6 GFLOPs 로 해석한다. PPE(1550)의 주된 역할은 대부분의 연산 부하를 처리하는 시너지스틱 처리 요소(1510A-H)를 위한 제어기로서 동작하는 것이다. 동작 중에, PPE(1550)는 잡 큐(job queue)를 유지하며, 시너지스틱 처리 요소(1510A-H)를 위한 잡을 스케줄링하고 그의 진행 상황을 모니터링한다. 결과적으로, 각각의 시너지스틱 처리 요소(1510A-H)는 잡을 가져와서 이를 실행하고 PPE(1550)와 동기화하는 역할을 하는 커널을 구동한다.
각각의 시너지스틱 처리 요소(SPE)(1510A-H)은 각각의 시너지스틱 처리 유닛(SPU)(1520A-H), 각각의 능동 메모리 접근 제어기(DMAC)(1542A-H)와 각각의 메모리 관리 유닛(MMU)(1544A-H)를 포함하는 각각의 메모리 흐름 제어기(MFC)(1540A-H), 및 버스 인터페이스(미도시)를 포함한다. 각각의 SPU(1520A-H)는 3.2GHz 클록으로 동작하는 RISC 프로세서이고 원칙적으로 4GB까지 확장 가능한 256 kB 로컬 램(1530A-H)을 포함한다. 각 SPE는 이론상 25.6kB GFLOPS의 단일 정밀도 성능을 제공한다. 하나의 SPU는 단일 클록 사이클 내에서 4 개의 단일 정밀도 부동 소수점 번호, 4 개의 32 비트 번호, 8 개의 16 비트 정수, 또는 16 개의 8비트 정수 상에서 동작할 수 있다. 동일한 클록 사이클에서, 이는 또한 메모리 동작을 수행할 수도 있다. SPU(1520A-H)는 시스템 메모리 XDRAM(1426)에 직접 접근하지 않으며, SPU(1520A-H)에 의해 형성된 64 비트 주소들이 요소 상호 연결 버스(1580)와 메모리 제어기(1560)를 통해 그의 DMA 제어기(1542A-H)에게 메모리에 접근할 것을 지시하는 MFC(1540A-H)로 전달된다.
요소 상호 연결 버스(EIB)(1580)는 상기 프로세서 요소들, 즉, PPE(1550), 메모리 제어기(1560), 듀얼 버스 인터페이스(1570A, B), 및 8 SPE들(1510A-H)의 전체 12 참여 요소들을 연결하는 셀 프로세서(1428)의 내부의 논리적으로 원형 통신 버스이다. 참여 요소들은 클록 사이클 당 8 바이트의 속도로 동시에 버스에 읽고 쓸 수 있다. 상기한 바와 같이, 각 SPE(1510A-H)는 더 긴 읽고 쓰기 시퀀스를 스케줄링하기 위해 DMAC(1542A-H)를 포함한다. EIB는, 각각 두 개씩 시계 방향과 반시계 방향을 갖는, 네 개의 채널을 포함한다. 결과적으로, 열 두 개의 참여 요소들에 대해, 어느 두 개의 참여 요소들 간의 가장 긴 단계적 데이터 흐름은 적절한 방향으로 6 단계이다. 그러므로 12 슬롯을 위한 이론적 피크 순간 EIB 대역은, 참여 요소들 간의 중재를 통한 완전 활용의 이벤트에서, 클록당 96B이다. 이는 3.2GHz의 클록 속도에서 307.2GB/s(분당 기가바이트)의 이론적 피크 대역폭과 대등하다.
메모리 제어기(1560)는 램버스 사(Rambus Incorporated)에 의해 개발된 XDRAM 인터페이스(1562)를 포함한다. 메모리 제어기는 25.6 GB/s의 이론적 피크 대역을 가지는 램버스 XDRAM(1426)와 인터페이스로 연결된다.
듀얼 버스 인터페이스(1570A, B)는 Rambus FlexIO® 시스템 인터페이스(1572A, B)를 포함한다. 이 인터페이스는 각각 8 비트 너비를 가지며 5개의 내향(inbound) 및 7 개의 외향(outbound) 경로를 가지는 12의 채널로 구성된다. 이는 제어기(170A)를 통한 셀 프로세서와 I/O브릿지(700)와 제어기(170B)를 통한 리얼리티 시뮬레이터 그래픽 유닛(200) 간에 62.4 GB/s(36.4GB/s 외향, 26 GB/s 내향)의 이론적 피크 대역폭을 제공한다.
셀 프로세서(1428)에 의해 리얼리티 시뮬레이터 그래픽 유닛(1430)으로 전송된 데이터는 일반적으로 꼭지점을 그리고 다각형에 질감을 적용하고 조명 조건을 명시하기 위한 일련의 명령인 표시 리스트들을 포함한다.
도 24는 플레이 필드에서 볼 부착 게임 제어기의 위치를 결정하는 방법을 위한 실시예를 도시한 순서도(2400)를 보이고 있다. 동작(2402)에서, 이 방법은 게임 제어기가 존재하는 플레이 필드의 이미지를 획득하고 그 다음에 게임 제어기에 연결된 볼과 관련된 이미지에서 픽셀을 찾는다. 일 실시예에서, 이 이미지는 볼의 색상에 상응하는 픽셀을 찾기 위해 스캐닝되며, 다른 일 실시예에서 도 7을 참조하여 상술한 바와 같이 볼과 관련된 픽셀을 찾기 위해 서브픽셀 분석이 이용된다.
동작(2406)에서, 이 방법은 발견된 픽셀을 둘러싸는 영역을 정한다. 기하학적 형상은 볼과 관련된 영역을 기반으로 동작(2408)에서 결정된다. 영역 인식을 수행하기 위한 방법의 다른 실시예들을 위해 도 6a-6D, 9, 및 12를 참조하라. 일단 기하학적 형상이 결정되면, 이 방법은 동작(2410)에서 기하학적 형상의 중심이 제어기의 수평적 및 수직적 위치를 나타내며 그의 크기가 플레이 필드 내의 제어기의 깊이를 결정하는 기하학적 형상을 기반으로 제어기의 위치를 산출한다. 산출된 위치는 동작(2412)에서 컴퓨터와 연결된 메모리에 저장되고 컴퓨터는 동작(1414)에서 저장 위치를 기반으로 동작을 실행한다.
도 25는 일 실시예에 따라 플레이 필드에서 구별 가능한 고리(distinguishable ring)를 가지는 볼의 위치를 결정하는 방법을 위한 순서도를 포함한다. 이 방법은 도 24를 참조하여 상술한 방법과 유사하지만, 도 25의 방법은 제어기가 3차원 공간 내에서 움직일 때 고리 모양의 변화와 관련한 새로운 고려를 추가한다.
동작(2502)에서, 이 방법은 도 5에서 보는 바와 같이 게임 제어기가 존재하는 플레이 필드의 이미지를 획득한다. 게임 제어기에 연결된 볼 부재에서 고리와 관련된 픽셀을 찾기 위해 동작(2504)에서 이미지가 스캐닝된다. 제어기에 부착된 볼 내의 고리를 기반으로 한 위치 결정과 관련된 다른 실시예들을 위해 도 13A-15B를 참조하라.
동작(2506)에서, 이 방법은 동작(2504)에서 발견된 픽셀을 둘러싸는 영역을 정하고, 동작(2508)에서 이 방법은 고리와 관련된 영역을 기반으로 타원을 결정한다. 제어기의 위치가 동작(2510)에서 타원을 기반으로 산출된다. 타원의 중심은 제어기의 수평 및 수직적 위치를 나타내고, 타원의 크기는 플레이 필드 내에서 제어기의 깊이를 결정한다. 이 위치는 동작(2212) 중에서 컴퓨터와 연결된 메모리에 저장된다. 컴퓨터는 동작(2514)에서 저장된 위치에 응답하여 동작을 실행한다.
볼 발명의 실시예들이 휴대용 장치, 마이크로프로세서 시스템, 마이크로프로세서 기반의 또는 프로그램 가능한 소비자 전자 제품, 마이크로컴퓨터, 메인프레임 컴퓨터 등을 포함하는 다양한 컴퓨터 시스템 구성으로 실시될 수도 있다. 본 발명은 또한 작업이 유선 또는 무선망으로 연결된 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다.
상기와 같은 실시예들을 고려할 때, 본 발명은 컴퓨터 시스템에 저장된 데이터와 관련된 다양한 컴퓨터구현 동작을 사용할 수 있다고 이해되어야 한다. 이러한 동작들은 물리량의 물리적 조작을 요하는 동작들이다. 본 발명의 일부를 구성하는 여기에 기술된 동작들 중 일부는 유용한 기계 동작들이다. 본 발명은 또한 이들 동작들을 수행하기 위한 기구나 장치에 관한 것이다. 장치는 요구되는 목적을 위해 특별히 구성될 수 있거나, 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 설정되는 범용 목적의 컴퓨터일 수 있다. 특히, 다양한 범용 기계들이 여기에 기술된 내용에 따라 쓰여진 컴퓨터 프로그램과 함께 사용될 수 있거나, 필요한 동작을 수행하기 위해 더 전문화된 장치를 구성하는 것이 더 편리할 수도 있다.
본 발명은 컴퓨터 읽기가 가능한 매체 상에 컴퓨터 읽기가 가능한 코드로서 구현될 수도 있다. 컴퓨터 읽기가 가능한 매체는 후에 컴퓨터 시스템에 의한 읽기가 가능한 데이터를 저장할 수 있는 어떤 데이터 저장 장치이다. 컴퓨터 읽기가 가능 매체의 예는 하드 드라이브, 망 연결 저장소(NAS), 읽기 전용 메모리(read-only memory), 랜덤 액세스 메모리, CD-ROM, CD-R, CD-RW, 자기 테이프, 및 기타 광학 및 비광학 데이터 저장 장치를 포함한다.
방법의 동작들이 특정 순서로 기재되어 있지만, 동작들 사이에 다른 정리 작업(housekeeping) 동작들이 수행될 수 있거나, 오버레이 동작의 처리가 요구되는 방식으로 수행되는 한, 동작들이 약간의 시간 차를 가지고 발생하도록 조정될 수 있거나 처리와 관련된 다양한 시간 간격으로 처리 동작이 발생되도록 허용하는 시스템 내에서 분산될 수도 있음을 이해해야 한다.
상기한 발명이 명확한 이해를 돕기 위한 목적으로 상세하게 기재되었지만, 어떤 변경 또는 수정이 첨부된 청구항들의 범위 내에서 실시될 수 있음이 명백하다. 따라서, 본 실시예들은 설명을 위한 것이며 한정적이지 않다고 생각되며, 본 발명은 여기에 기재된 상세한 설명에 한정되지 않으며 첨부된 청구항들의 범위와 그의 균등물 내에서 변경될 수도 있다.

Claims (33)

  1. 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법을 구현하는 컴퓨터에 있어서, 상기 방법은:
    상기 게임 제어기가 존재하는 플레이 필드의 이미지를 획득하는 단계;
    상기 게임 제어기에 연결된 볼 부재와 관련된 이미지 내의 픽셀들을 발견하는 단계;
    상기 발견된 픽셀들을 둘러싼 영역을 정하는 단계;
    상기 볼과 관련된 영역을 기반으로 기하학적 형상을 결정하는 단계;
    상기 기하학적 형상을 기반으로 상기 제어기의 위치를 산출하는 단계로서, 상기 기하학적 형상의 중심이 상기 제어기의 수직 및 수평 위치를 나타내고 그의 크기가 플레이 필드 내에서 상기 제어기의 깊이를 결정하는 상기 제어기의 위치를 산출하는 단계;
    상기 컴퓨터와 연결된 메모리에 상기 위치를 저장하는 단계; 및
    상기 저장된 위치를 기반으로 컴퓨터에 의한 동작을 실행시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터.
  2. 제 1항에 있어서,
    상기 기하학적 형상을 결정하는 단계는 상기 영역에 피팅되는 가능한 한 가장 긴 직선을 계산하는 단계를 더 포함하고,
    상기 기하학적 형상은 원의 직경으로서 상기 가능한 한 가장 긴 직선을 가지는 상기 원인 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 기하학적 형상을 결정하는 단계는 상기 영역을 최대로 포함하는 원을 발견하는 단계를 더 포함하고,
    상기 기하학적 형상은 상기 영역을 최대로 포함하는 상기 원인 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 기하학적 형상을 결정하는 단계는:
    상기 영역과 동등한 상기 기하학적 형상을 생성하는 단계; 및
    상기 영역 내 픽셀들의 좌표들의 산술 평균으로서 상기 기하학적 형상의 센터로이드를 계산하는 단계를 더 포함하고,
    상기 센터로이드는 상기 기하학적 형상의 중심인 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 플레이 필드의 이미지를 획득하는 단계는 이미지 포착 장치에 의해 상기 이미지를 흐리게 하는 단계를 더 포함하며, 상기 이미지를 흐리게 할 때 더 많은 픽셀이 상기 볼 부재와 관련된 이미지 내에서 발견되는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 플레이 필드의 추가 이미지들을 획득하는 단계,
    각각의 추가 이미지에 대한 상기 제어기의 추가적 위치를 산출하는 단계; 및
    상기 추가적 위치들을 기반으로 상기 제어기의 움직임을 추적하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 추가적 위치를 산출하는 단계는:
    이전에 획득한 이미지들과 각각의 추가 이미지를 비교하는 단계; 및
    상기 각각의 추가 이미지에 상응하는 상기 추가 위치를 산출하기 위해 상기 각각의 추가 이미지와 상기 이전에 취해진 이미지들로부터의 정보를 평균하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 이전에 획득된 이미지들과 상기 각각의 추가 이미지의 오래된 정도와 관련된 가중치가 상기 정보를 평균하기 위해 사용되는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    산출된 상기 위치 주위의 축소된 영역의 더 높은 해상도를 가지는 제2 이미지를 획득하는 단계; 및
    상기 제2 이미지를 기반으로 상기 제어기의 세부 위치를 산출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 이미지를 획득하기 전에 카메라 해상도를 증가시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제 1항에 있어서,
    상기 픽셀을 발견하는 단계는 상기 각 픽셀이 상기 볼 부재와 관련되어 있는지를 결정하기 위해 각 픽셀과 관련된 서브픽셀들을 분석하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제 1항에 있어서,
    상기 볼 부재는 제1 조명 조건 하에 조명되고 제2 조명 조건 하에 조명되지 않는 것을 특징으로 하는 방법.
  13. 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법을 구현하는 컴퓨터에 있어서, 상기 방법은:
    상기 게임 제어기가 존재하는 상기 플레이 필드의 이미지를 획득하는 단계;
    상기 게임 제어기에 연결된 볼 부재 내의 고리와 관련 있는 상기 이미지 내의 픽셀들을 발견하는 단계;
    발견된 상기 픽셀들을 둘러싼 영역을 정하는 단계;
    상기 고리와 관련된 상기 영역을 기반으로 타원을 결정하는 단계;
    상기 타원을 기반으로 상기 제어기의 위치를 산출하는 단계로서, 상기 타원의 중심이 상기 제어기의 수직 및 수평 위치를 나타내고 그의 크기가 상기 플레이 필드 내에서 상기 제어기의 깊이를 결정하는 상기 제어기의 위치를 산출하는 단계;
    상기 컴퓨터와 연결된 메모리에 상기 위치를 저장하는 단계; 및
    상기 저장된 위치를 기반으로 상기 컴퓨터에 의해 동작을 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터.
  14. 제 13항에 있어서,
    상기 타원을 결정하는 단계는:
    상기 이미지 내에서 상기 고리의 일부가 가려지는지를 판단하는 단계;
    상기 고리가 가려질 때 전체 고리에 상응하는 제2 영역을 추정하는 단계; 및
    상기 고리가 가려질 때 상기 제2 영역을 기반으로 상기 타원을 결정하는 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제 13항에 있어서,
    상기 고리는 상기 볼 부재 내에 고정되고, 상기 타원의 축들의 길이는 상기 플레이 필드 내의 상기 제어기의 깊이를 결정하기 위해 사용되는 것을 특징으로 하는 방법.
  16. 제 15항에 있어서,
    상기 축들의 배향은 상기 게임 제어기의 배향을 결정하기 위해 사용되는 것을 특징으로 하는 방법.
  17. 제 13항에 있어서,
    상기 고리는 조명을 받고, 상기 픽셀을 발견하는 단계는 픽셀들이 상기 조명된 고리에 상응하는지를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  18. 제 17항의 방법에 있어서,
    상기 볼 부재는 상기 고리가 이미지 포착 장치를 마주보게 위치하도록 게임 제어기의 움직임에 응답하여 움직이는 것을 특징으로 하는 방법.
  19. 제 18항에 있어서,
    상기 볼 부재의 움직임은 상기 제어기의 배향을 결정하기 위해 사용되는 것을 특징으로 하는 방법.
  20. 플레이 필드에서 게임 제어기의 위치를 결정하기 위한 방법을 구현하는 컴퓨터에 있어서, 상기 방법은:
    상기 게임 제어기가 존재하는 상기 플레이 필드의 이미지를 획득하는 단계;
    상기 게임 제어기로부터 상태 정보를 수신하는 단계;
    상기 게임 제어기에 연결된 볼 부재와 관련된 기하학적 형상을 결정하는 단계;
    상기 상태 정보와 상기 기하학적 형상의 속성들의 조합을 기반으로 상기 제어기의 위치를 산출하는 단계;
    상기 컴퓨터와 연결된 메모리에 상기 위치를 저장하는 단계; 및
    상기 저장된 위치를 기반으로 상기 컴퓨터에 의해 동작을 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터.
  21. 제 20항에 있어서,
    상기 게임 제어기는 상이한 방식으로 파지될 수 있으며, 상기 상태 정보는 상기 제어기의 배향을 결정하기 위해 상기 제어기 내부에서 눌려지는 버튼들을 포함하는 것을 특징으로 하는 방법.
  22. 제 20항에 있어서,
    상기 볼 부재는 이미지 포착 장치가 상기 볼 부재의 이미지를 포착할 수 있도록 하는 반투명한 외피 속에 봉해지는 것을 특징으로 하는 방법.
  23. 제 22항에 있어서,
    상기 반투명 외피는 빛이 구 영역에서 상기 이미지 포착 장치로 향하는 방향으로만 진행하도록 하며 그 반대 방향으로는 진행하지 않는 것을 특징으로 하는 방법.
  24. 제 20항에 있어서,
    상기 볼 부재는 진동하여 상기 볼 부재와 관련 있는 픽셀들의 수를 증가시키며, 상기 상태 정보는 볼이 진동하고 있음을 나타내는 것을 특징으로 하는 방법.
  25. 제 20항에 있어서,
    상기 볼 부재는 확장되어 상기 볼 부재와 관련있는 픽셀들의 수를 증가시키며, 상기 상태 정보는 상기 볼 부재의 크기를 포함하는 것을 특징으로 하는 방법.
  26. 제 20항에 있어서,
    상기 상태 정보는 가속도계, 자이로스코프, 및 자기계 중 적어도 하나로부터의 정보를 포함하는 것을 특징으로 하는 방법.
  27. 제 26항에 있어서,
    상기 제어기의 방향을 결정하기 위해서 센서 정보와 몇몇 프레임에 걸친 상기 제어기의 상기 산출된 위치를 분석하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  28. 제 26항에 있어서,
    상기 위치를 산출하는 단계는:
    상기 볼 부재를 볼 수 있는 때를 검출하는 단계;
    상기 볼 부재를 볼 수 있을 때에 상기 위치를 결정하기 위해 이미지 정보를 사용하는 단계; 및
    상기 볼 부재를 볼 수 없을 때에 상기 위치를 결정하기 위해 추측항법으로 전환하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  29. 제 20항에 있어서,
    상기 제어기는 상기 제어기의 몸체의 원주의 일부에 위치하며 상기 몸체의 파지부에 대해 수평으로 배향되는 휠을 포함하며, 상기 휠은 제어된 방향 운동을 제공하는 것을 특징으로 하는 방법.
  30. 제 20항에 있어서,
    상기 제어기는 상기 제어기 안에 휠 입력을 더 포함하며,
    상기 동작을 실행하는 단계는:
    상기 게임 제어기의 x, y, 또는 z방향을 검출하는 단계; 및
    상기 휠이 활성화되었을 때에 상기 게임 제어기의 배향의 방향으로 상기 제어기와 관련된 항목을 이동시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  31. 제 30항에 있어서,
    상기 게임 제어기는 y방향으로 배향이 될 때에 수직 메뉴의 횡단을 야기하며, 상기 게임 제어기는 x 방향으로 배향될 때에 수평 메뉴의 횡단을 야기 하는 것을 특징으로 하는 방법.
  32. 플레이 필드 내에서 게임 제어기의 위치를 결정하기 위한 시스템에 있어서,
    상기 시스템은:
    상기 플레이 필드 내에 존재하는 게임 제어기;
    상기 제어기에 연결된 볼 부재;
    상기 플레이 필드의 이미지를 획득하기 위한 이미지 포착 장치; 및
    상기 이미지 포착 장치에 연결된 컴퓨터 장치를 포함하며, 상기 컴퓨터 장치는 프로세서와 메모리를 포함하며, 상기 메모리는:
    상기 이미지 포착 장치에 의해 포착된 이미지,
    상기 포착된 이미지에 상응하는 위치, 및
    상기 위치를 산출하기 위한 이미지 분석 프로그램을 포함하며,
    상기 이미지 분석 프로그램으로부터의 프로그램 명령들은:
    상기 볼 부재와 관련된 상기 이미지 내의 픽셀들을 발견하기 위한 프로그램 명령들;
    발견된 상기 픽셀들을 둘러싼 영역을 정하기 위한 프로그램 명령들;
    상기 볼과 관련된 상기 영역을 기반으로 기하학적 형상을 결정하기 위한 프로그램 명령들;
    상기 기하학적 형상을 기반으로 상기 제어기의 위치를 산출하기 위한 프로그램 명령들; 및
    상기 위치를 기반으로 상기 컴퓨터 장치에 의한 동작을 실행하기 위한 프로그램 명령들을 포함하는 것을 특징으로 하는 시스템.
  33. 하나 이상의 프로세서에 의해 실행될 때 플레이 필드에서 게임 제어기의 위치를 결정하기 위한, 컴퓨터 읽기가 가능한 저장 매체에 구현된 컴퓨터 프로그램에 있어서,
    상기 게임 제어기가 존재하는 상기 플레이 필드의 이미지를 획득하기 위한 프로그램 명령들;
    상기 게임 제어기에 연결된 볼 부재 내의 고리와 관련된 상기 이미지 내의 픽셀들을 발견하기 위한 프로그램 명령들;
    상기 발견된 픽셀들을 둘러싸는 영역을 정하기 위한 프로그램 명령들;
    상기 고리와 관련된 영역을 기반으로 타원을 결정하기 위한 프로그램 명령들;
    상기 타원을 기반으로 상기 제어기의 위치를 산출하기 위한 프로그램 명령들로서, 상기 타원의 중심이 상기 제어기의 수직 및 수평 위치를 나타내고 그의 크기가 상기 플레이 필드 내에서 상기 제어기의 깊이를 결정하는 상기 제어기의 위치를 산출하기 위한 프로그램 명령들;
    상기 컴퓨터와 연결된 메모리에 상기 위치를 저장하기 위한 프로그램 명령들; 및
    상기 저장된 위치를 기반으로 상기 컴퓨터에 의한 동작을 실행하기 위한 프로그램 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020117011994A 2008-10-27 2009-08-24 볼 부착 제어기의 위치 및 동작 결정 KR101381628B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/259,181 US10279254B2 (en) 2005-10-26 2008-10-27 Controller having visually trackable object for interfacing with a gaming system
US12/259,181 2008-10-27
PCT/US2009/054805 WO2010051092A1 (en) 2008-10-27 2009-08-24 Determining location and movement of ball-attached controller

Publications (2)

Publication Number Publication Date
KR20110084430A true KR20110084430A (ko) 2011-07-22
KR101381628B1 KR101381628B1 (ko) 2014-04-09

Family

ID=41139137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011994A KR101381628B1 (ko) 2008-10-27 2009-08-24 볼 부착 제어기의 위치 및 동작 결정

Country Status (7)

Country Link
US (1) US10279254B2 (ko)
EP (1) EP2356546B1 (ko)
JP (1) JP5325992B2 (ko)
KR (1) KR101381628B1 (ko)
CN (1) CN102265240B (ko)
TW (2) TWI414335B (ko)
WO (1) WO2010051092A1 (ko)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8888593B2 (en) * 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8795077B1 (en) * 2008-01-25 2014-08-05 Ailive Inc. Game controllers with full controlling mechanisms
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
JP5368118B2 (ja) * 2009-01-16 2013-12-18 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および通信方法
JP5486213B2 (ja) * 2009-05-12 2014-05-07 任天堂株式会社 ゲーム装置及びゲームプログラム
JP5263833B2 (ja) * 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR101659954B1 (ko) * 2009-06-03 2016-09-26 코닌클리케 필립스 엔.브이. 라우드스피커 위치들의 추정
WO2011010414A1 (ja) * 2009-07-21 2011-01-27 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
EP2679013A2 (en) * 2010-02-23 2014-01-01 MUV Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
JP5550433B2 (ja) * 2010-04-22 2014-07-16 任天堂株式会社 操作装置および情報処理システム
JP2011224239A (ja) * 2010-04-22 2011-11-10 Nintendo Co Ltd 情報処理システムおよび付属装置
JP5313994B2 (ja) * 2010-11-16 2013-10-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
WO2012088285A2 (en) 2010-12-22 2012-06-28 Infinite Z, Inc. Three-dimensional tracking of a user control device in a volume
CA2750975C (en) 2011-02-11 2016-02-16 Research In Motion Limited System and method for calibrating a magnetometer with visual affordance
JP5864043B2 (ja) * 2011-04-12 2016-02-17 シャープ株式会社 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US8951120B2 (en) * 2011-09-19 2015-02-10 Sony Computer Entertainment America Llc Systems and methods for calibration and biasing for game controller
US9170657B2 (en) 2011-11-17 2015-10-27 Analog Devices, Inc. Angle measurement by use of multiple oriented light sources
CN103135756B (zh) * 2011-12-02 2016-05-11 深圳泰山体育科技股份有限公司 生成控制指令的方法和系统
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
TWI467539B (zh) 2012-07-20 2015-01-01 Au Optronics Corp 影像顯示的控制方法以及顯示系統
US8512140B1 (en) 2012-07-26 2013-08-20 Zynga Inc. Gaming system for updating a presentation of a virtual game environment
US20140051517A1 (en) * 2012-08-17 2014-02-20 Microsoft Corporation Dynamic magnetometer calibration
US8851996B2 (en) * 2012-08-17 2014-10-07 Microsoft Corporation Dynamic magnetometer calibration
JP6098083B2 (ja) * 2012-09-20 2017-03-22 カシオ計算機株式会社 演奏装置、演奏方法及びプログラム
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN103853363B (zh) * 2012-11-29 2017-09-29 联想(北京)有限公司 一种触觉反馈的方法及电子设备
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
GB2511780B (en) * 2013-03-12 2017-04-19 Tcs John Huxley Europe Ltd Gaming table
FR3006465B1 (fr) * 2013-05-30 2017-05-26 Light And Shadows Bloc electronique pour peripherique d'interactions de systeme de realite virtuelle
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9678583B2 (en) * 2013-07-23 2017-06-13 University Of Kentucky Research Foundation 2D and 3D pointing device based on a passive lights detection operation method using one camera
GB201404084D0 (en) * 2014-03-07 2014-04-23 Pilkington Group Ltd Glazing
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2015186401A1 (ja) * 2014-06-06 2015-12-10 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10010788B2 (en) * 2015-12-21 2018-07-03 Sony Interactive Entertainment Inc. Game controller with lights visible inside and outside the game controller
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10471353B2 (en) 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
JP6822906B2 (ja) * 2017-06-23 2021-01-27 株式会社東芝 変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
EP3474120B1 (de) * 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
CN107982913B (zh) * 2017-12-11 2023-10-24 歌尔科技有限公司 一种游戏手柄和获取游戏手柄控制方向的方法
GB2571287B (en) * 2018-02-22 2020-05-13 Sony Interactive Entertainment Inc Data processing
TWD197307S (zh) * 2018-05-15 2019-05-01 宏碁股份有限公司 運動控制器
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
TWI724354B (zh) * 2018-12-20 2021-04-11 財團法人工業技術研究院 指標裝置、混合實境裝置及其操作方法
US10866658B2 (en) * 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
US11287505B2 (en) * 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
CN110812839A (zh) * 2019-10-31 2020-02-21 深圳市七熊科技有限公司 左右双游戏手柄的实现装置与实现方法
US11599257B2 (en) 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
WO2021105984A1 (en) * 2019-11-25 2021-06-03 Alon Melchner System and method for dynamic synchronization between real and virtual environments
GB2591224B (en) * 2019-11-29 2022-08-17 Sony Interactive Entertainment Inc Glasses case and system
JPWO2023042398A1 (ko) * 2021-09-17 2023-03-23
US12005345B2 (en) * 2021-10-18 2024-06-11 Riley Simons Stratton Video game controller
GB2614330A (en) * 2021-12-31 2023-07-05 Sony Interactive Entertainment Europe Ltd Peripheral tracking system and method
WO2023157338A1 (ja) * 2022-02-18 2023-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス位置推定方法

Family Cites Families (380)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) * 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) * 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) * 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) * 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4565666A (en) * 1983-08-03 1986-01-21 Medtronic, Inc. Method of producing combination ion selective sensing electrode
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) * 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
JPH02502680A (ja) 1987-02-04 1990-08-23 メイヨ・ファウンデイション・フォー・メディカル・エデュケイション・アンド・リサーチ ６自由度を有するジョイステック装置
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
US5414426A (en) * 1987-10-14 1995-05-09 Universal Electronics Inc. Favorite key macro command and chained macro command in a remote control
US4959810A (en) * 1987-10-14 1990-09-25 Universal Electronics, Inc. Universal remote control device
JP2720455B2 (ja) 1988-05-12 1998-03-04 ヤマハ株式会社 フィンガスイッチ
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
EP0449889A4 (en) 1988-12-20 1992-12-02 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
AU654118B2 (en) 1990-05-01 1994-10-27 Wang Laboratories, Inc. Keyboard access with alternate input device
US5111401A (en) * 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) * 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
JPH06102980A (ja) 1992-09-24 1994-04-15 Olympus Optical Co Ltd 触覚呈示装置
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5394168A (en) * 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) * 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US6545653B1 (en) * 1994-07-14 2003-04-08 Matsushita Electric Industrial Co., Ltd. Method and device for displaying image signals and viewfinder
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
WO1996017324A1 (fr) 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
CN1101056C (zh) * 1995-06-22 2003-02-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
BR9609807A (pt) 1995-07-26 1999-12-21 Martin T King Sistema para anulação de ambiguidade com teclado reduzido
US6311214B1 (en) * 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5611731A (en) * 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
JPH09128141A (ja) 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
AU1328597A (en) 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) * 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
KR100501144B1 (ko) 1996-03-05 2005-07-18 가부시키가이샤 세가 조작 입력 장치 및 이를 사용하는 전자 장치
JP3257585B2 (ja) 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
EP0895696B1 (en) * 1996-04-02 2004-01-14 Cognex Corporation Image formation apparatus for viewing indicia on a planar specular substrate
US5889505A (en) * 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) * 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) * 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6327073B1 (en) 1997-03-07 2001-12-04 3Dv Systems, Ltd. Opto-electronic shutter
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
WO1998048571A1 (en) 1997-04-23 1998-10-29 Thomson Consumer Electronics, Inc. Control of video level by region and content of information displayed
US6428411B1 (en) * 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) * 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3997566B2 (ja) 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
EP0928460B1 (en) 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
AU5876798A (en) 1998-02-08 1999-08-23 3Dv Systems Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) * 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) * 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) * 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) * 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6504535B1 (en) * 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
IL125221A0 (en) * 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US7066628B2 (en) * 2001-03-29 2006-06-27 Fiber Optic Designs, Inc. Jacketed LED assemblies and light strings containing same
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) * 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP4691754B2 (ja) * 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
DE69922706T2 (de) 1999-09-08 2005-12-08 3Dv Systems Ltd. 3d- bilderzeugungssystem
CA2385173A1 (en) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6375572B1 (en) * 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6358145B1 (en) * 1999-11-29 2002-03-19 Strottman International Broadcast sweepstakes game system and game piece device
US20050037844A1 (en) * 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
AU2001241500A1 (en) 2000-02-15 2001-08-27 Sorceron, Inc. Method and system for distributing captured motion data over a network
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) * 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6565441B1 (en) 2000-04-07 2003-05-20 Arista Enterprises Inc. Dedicated wireless digital video disc (DVD) controller for video game consoles
US6676522B2 (en) * 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US20020010655A1 (en) * 2000-05-25 2002-01-24 Realitybuy, Inc. Real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) * 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) * 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
AU2002248131A1 (en) 2000-09-08 2002-08-12 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) * 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
WO2002027456A1 (en) 2000-09-29 2002-04-04 Senseboard Technologies Ab Wearable data input interface
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
KR100897950B1 (ko) * 2000-10-27 2009-05-18 소니 컴퓨터 엔터테인먼트 인코포레이티드 복수의 조작 터미널 장치와 정보 처리 장치를 포함하는정보 처리 시스템
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US20020083461A1 (en) 2000-11-22 2002-06-27 Hutcheson Stewart Douglas Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) * 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
WO2002050753A1 (en) * 2000-12-20 2002-06-27 Ar Vision Inc. Method for making simulator program and simulator system using the method
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US6641480B2 (en) 2001-01-29 2003-11-04 Microsoft Corporation Force feedback mechanism for gamepad device
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US6749510B2 (en) 2001-02-07 2004-06-15 Wms Gaming Inc. Centralized gaming system with modifiable remote display terminals
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20030009919A (ko) * 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US20040256630A1 (en) * 2001-08-24 2004-12-23 Densen Cao Illuminating light
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
US6846238B2 (en) * 2001-09-28 2005-01-25 Igt Wireless game player
JP2003114640A (ja) * 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) * 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) * 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) * 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) * 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US7023475B2 (en) * 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7697700B2 (en) * 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
WO2007130793A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8570378B2 (en) * 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
CN2549527Y (zh) 2002-08-22 2003-05-07 刘晖 一种枪式游戏输入设备
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US20040095327A1 (en) * 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) * 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) * 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
JP4053903B2 (ja) * 2003-03-07 2008-02-27 日本電信電話株式会社 ポインティング方法、装置、およびプログラム
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) * 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
EP1489596B1 (en) * 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US20050009605A1 (en) * 2003-07-11 2005-01-13 Rosenberg Steven T. Image-based control of video games
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
CA2544183A1 (en) 2003-10-28 2005-05-19 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
ES2384572T3 (es) 2004-04-30 2012-07-09 Hillcrest Laboratories, Inc. Dispositivos apuntadores en el espacio libre con compensación de inclinación y usabilidad mejorada
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
CA2505234A1 (en) * 2004-04-30 2005-10-30 Esel International Co., Ltd. Wireless communication systems
TW200609024A (en) 2004-05-11 2006-03-16 Ssd Co Ltd Entertainment apparatus and operating method thereof
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
EP2296079A3 (en) 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US20070111796A1 (en) 2005-11-16 2007-05-17 Microsoft Corporation Association of peripherals communicatively attached to a console device
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
JP2007264919A (ja) * 2006-03-28 2007-10-11 Hitachi Ltd 入力装置及びそれを用いた表示装置
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US20080111789A1 (en) 2006-11-09 2008-05-15 Intelligence Frontier Media Laboratory Ltd Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
JP2010000257A (ja) 2008-06-20 2010-01-07 Namco Bandai Games Inc ゲームコントローラケース、ゲームコントローラケースセット、プログラム、及び情報記憶媒体
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
JP6102980B2 (ja) 2015-05-18 2017-03-29 株式会社島津製作所 分析システム

Also Published As

Publication number Publication date
TWI517881B (zh) 2016-01-21
TW201023952A (en) 2010-07-01
US20100105475A1 (en) 2010-04-29
JP5325992B2 (ja) 2013-10-23
US10279254B2 (en) 2019-05-07
KR101381628B1 (ko) 2014-04-09
TW201350178A (zh) 2013-12-16
JP2012507101A (ja) 2012-03-22
EP2356546B1 (en) 2013-10-23
WO2010051092A1 (en) 2010-05-06
US20120289334A9 (en) 2012-11-15
TWI414335B (zh) 2013-11-11
EP2356546A1 (en) 2011-08-17
CN102265240B (zh) 2015-08-19
CN102265240A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
KR101381628B1 (ko) 볼 부착 제어기의 위치 및 동작 결정
US10445884B2 (en) Control device for communicating visual information
US11413525B2 (en) Device for interfacing with a computing program using a projected pattern
KR101308642B1 (ko) 영상 분석 및 초음파 통신을 사용하여 컨트롤러의 3 차원 위치 판단
US8221229B2 (en) Spherical ended controller with configurable modes
JP5681633B2 (ja) 視覚情報を通信するためのコントロールデバイス
EP2356545B1 (en) Spherical ended controller with configurable modes
US10228543B2 (en) Zoom apparatus and associated methods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 5