KR101020510B1 - 다중 입력 게임 제어 믹서 - Google Patents

다중 입력 게임 제어 믹서 Download PDF

Info

Publication number
KR101020510B1
KR101020510B1 KR1020087029704A KR20087029704A KR101020510B1 KR 101020510 B1 KR101020510 B1 KR 101020510B1 KR 1020087029704 A KR1020087029704 A KR 1020087029704A KR 20087029704 A KR20087029704 A KR 20087029704A KR 101020510 B1 KR101020510 B1 KR 101020510B1
Authority
KR
South Korea
Prior art keywords
information
input channel
analyzer
user
channel information
Prior art date
Application number
KR1020087029704A
Other languages
English (en)
Other versions
KR20090007789A (ko
Inventor
게리 엠. 제일러스키
리차드 엘. 막스
샤오동 마오
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/381,727 external-priority patent/US7697700B2/en
Priority claimed from US11/381,725 external-priority patent/US7783061B2/en
Priority claimed from US11/381,724 external-priority patent/US8073157B2/en
Priority claimed from US11/418,989 external-priority patent/US8139793B2/en
Priority claimed from US11/381,729 external-priority patent/US7809145B2/en
Priority claimed from US11/429,047 external-priority patent/US8233642B2/en
Priority claimed from US11/381,721 external-priority patent/US8947347B2/en
Priority claimed from US11/429,133 external-priority patent/US7760248B2/en
Priority claimed from US11/381,728 external-priority patent/US7545926B2/en
Priority claimed from US11/429,414 external-priority patent/US7627139B2/en
Priority claimed from US11/418,988 external-priority patent/US8160269B2/en
Priority claimed from US11/382,035 external-priority patent/US8797260B2/en
Priority claimed from US11/382,034 external-priority patent/US20060256081A1/en
Priority claimed from US11/382,031 external-priority patent/US7918733B2/en
Priority claimed from US11/382,033 external-priority patent/US8686939B2/en
Priority claimed from US11/382,037 external-priority patent/US8313380B2/en
Priority claimed from US11/382,032 external-priority patent/US7850526B2/en
Priority claimed from US11/382,036 external-priority patent/US9474968B2/en
Priority claimed from US11/382,038 external-priority patent/US7352358B2/en
Priority claimed from US11/382,040 external-priority patent/US7391409B2/en
Priority claimed from US11/382,043 external-priority patent/US20060264260A1/en
Priority claimed from US11/382,041 external-priority patent/US7352359B2/en
Priority claimed from US11/382,039 external-priority patent/US9393487B2/en
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20090007789A publication Critical patent/KR20090007789A/ko
Application granted granted Critical
Publication of KR101020510B1 publication Critical patent/KR101020510B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition

Abstract

본 발명에 따르면, 게임 제어 입력 데이터를 분석하기 위한 시스템들 및 방법들이 제공된다. 또한, 본 발명에 따르면, 게임 제어 입력 데이터를 분석하기 위한 명령들을 기록한 기계-판독가능 매체가 제공된다.
영상 분석기, 관성 분석기, 음향 분석기, 믹서

Description

다중 입력 게임 제어 믹서{Multi-input game control mixer}
본 출원은, 2006년 5월4일에 출원된 미국 특허출원 제11/381,729호, 샤오 동 마오(Xiao Dong Mao)의 초소형 마이크로폰 배열(Ultra small microphone array)(대리인 참조번호 SCEA05062US00), 2006년 5월4일에 출원된 미국 특허출원 제11/381,728호, 샤오 동 마오의 에코 및 노이즈 제거(Echo and noise cancellation)(대리인 참조번호 SCEA05064US00), 2006년 5월4일에 출원된 미국 특허출원 제11/381,725호, 샤오 동 마오의 표적이 된 음향 탐지를 위한 방법들 및 장치들(대리인 참조번호 SCEA05072US00), 2006년 5월4일에 출원된 미국 특허출원 제11/382,727호, 샤오 동 마오의 콘솔(console) 상의 장거리 마이크로폰을 가진 전자장치를 위한 소음 제거(대리인 참조번호 SCEA05073US00), 2006년 5월4일에 출원된 미국 특허출원 제11/381,724호, 샤오 동 마오의 표적이 된 음향 탐지 및 특성화를 위한 방법들 및 장치(대리인 참조번호 SCEA05079US00), 2006년 5월4일에 출원된 미국 특허출원 제11/381,721호, 샤오 동 마오의 컴퓨터 상호작용 프로세싱과 결합된 선택적인 음원 청취(대리인 참조번호 SCEA04005JUMBOUS)의 우선권을 청구한다.
본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,031호, 게리 제일러스키 등의 "다중 입력 게임 제어 믹서"(대리인 참조번호 SCEA06MXR1), 및 2006년 5월6일에 출원된 미국 특허출원 제11/382,032호, 게리 제일러스키 등의 "환 경 내의 사용자 조작들을 추적하기 위한 시스템"(대리인 참조번호 SCEA06MXR2)의 우선권을 청구한다.
본 출원은, 또한 2006년 5월4일에 출원된 미국 특허출원 제11/418,988호, 샤오 동 마오의 "음향을 캡쳐(capture)하기 위한 청취 영역을 조정하기 위한 방법들 및 장치들"(대리인 참조번호 SCEA-00300)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월4일에 출원된 미국 특허출원 제11/418,989호, 샤오 동 마오의 "시각 영상에 근거한 음향 신호를 캡쳐하기 위한 방법들 및 장치들"(대리인 참조번호 SCEA-00400)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월4일에 출원된 미국 특허출원 제11/429,047호, 샤오 동 마오의 "신호의 위치에 근거한 음향 신호를 캡쳐하기 위한 방법들 및 장치들"(대리인 참조번호 SCEA-00500)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월4일에 출원된 미국 특허출원 제11/429,133호, 리차드 막스 등의 "컴퓨터 상호작용 프로세싱과 결합된 선택적인 음원 청취"(대리인 참조번호 SCEA04005US01-SONYP045)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월4일에 출원된 미국 특허출원 제11/429,414호, 리차드 막스 등의 "컴퓨터 영상, 강도의 음향 처리 및 컴퓨터 프로그램과 인터페이스(interface)하기 위한 입력 장치들"(대리인 참조번호 SONYP052)의 우선권을 청구한다.
본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,033호, "3차원 입력 제어를 위한 시스템, 방법 및 장치"(대리인 참조번호 SCEA06INRT1)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,035호, "관성적으로 추적할 수 있는 핸드-헬드(hand-held) 제어기"(대리인 참조번호 SCEA06INRT2)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,036호, "연동 효과를 시각 추적에 적용하기 위한 방법 및 시스템"(대리인 참조번호 SONYP058A)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,041호, "연동 효과를 관성 추적에 적용하기 위한 방법 및 시스템"의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,038호, "연동 효과를 음향 추적에 적용하기 위한 방법 및 시스템"(대리인 참조번호 SONYP058C)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,040호, "연동 효과를 다중 채널 혼합 입력에 적용하기 위한 방법 및 시스템"(대리인 참조번호 SONYP058D)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,034호, "게임 제어기 몸체의 사용자 조작을 탐지하고 추적하기 위한 구조"(대리인 참조번호 SCEA05082US00)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,037호, "핸드-헬드 제어기의 이동을 시스템을 위한 입력으로 변형시키기 위한 구조"(대리인 참조번호 86324)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,043호, "탐지가능하고 추적가능한 핸드-헬드 제어기"(대리인 참조번호 86325)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제11/382,039호, "핸드-헬드 제어기의 이동을 게임 명령으로 매핑(mapping)하기 위한 방법"(대리인 참조번호 86326)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국디자인특허출원 제29/259,349호, "적외선 포트를 가진 제어기"(대리인 참조번호 SCEA06007US00)를 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제29/259,350호, "추적 센서를 가진 제어기"(대리인 참조번호 SCEA06008US00)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제60/798,031호, "동적 타겟 인터페이스"(대리인 참조번호 SCEA06009US00)의 우선권을 청구한다. 본 출원은, 또한 2006년 5월6일에 출원된 미국 특허출원 제29/259,348호, "추적 제어기 장치"(대리인 참조번호 SCEA06010US00)의 우선권을 청구한다.
본 출원은, 2002년 7월27일에 출원된 미국 특허출원 제10/207,677호, "변형가능 장치를 이용한 인간-기계 인터페이스"; 2003년 8월27일에 출원된 미국 특허출원 제10/650,409호, "음향 입력 시스템"; 2003년 9월15일에 출원된 미국 특허출원 제10/663,236호, "추적되는 헤드(head) 움직임에 따라서 디스플레이되는 장면의 시야를 조정하기 위한 방법 및 장치"; 2004년 1월16일에 출원된 미국 특허출원 제10/759,782호, "광 입력 디바이스를 위한 방법 및 장치"; 2004년 4월7일에 출원된 미국 특허출원 제10/820,469호, "음향 장애를 탐지하고 제거하기 위한 방법 및 장치"; 2005년 12월12에 출원된 미국 특허출원 제11/301,673호, "카메라 추적을 경유하여 포인팅 인터페이스(pointing interface)를 작동시키기 위해 관련 헤드 및 핸드(hand) 위치들을 이용하기 위한 방법"; 및 2005년 12월15일에 출원된 미국 가특허출원 제60/718,145호, "오디오, 비디오, 시뮬레이션 및 사용자 인터페이스 패러다임들(paradigms)"과 관련되어 있다.
본 발명은, 일반적으로 인간-컴퓨터 인터페이싱(interfacing)과 관련되어 있 으며, 구체적으로, 하나 이상의 제어기들의 사용자 조작을 추적하기 위한 다중 채널 입력을 처리하는 것과 관련되어 있다.
컴퓨터 엔터테인먼트 시스템들은 전형적으로 핸드-헬드 제어기, 게임 제어기, 또는 다른 제어기를 포함한다. 사용자 또는 플레이어는, 플레이되는 비디오 게임 또는 다른 시뮬레이션을 제어하기 위해 명령들을 엔터테인먼트 시스템으로 보내도록 제어기를 사용한다. 예를 들어, 제어기에는, 조이스틱(joy stick)과 같은, 사용자에 의해 동작되는 조작기가 제공될 수 있다. 조이스틱의 조작되는 변수는 아날로그 값으로부터 디지털 값으로 변환되며, 게임 기계 주 프레임(game machine main frame)으로 보내진다. 제어기에는, 또한 사용자에 의해 동작될 수 있는 버튼들이 제공될 수 있다.
본 발명은 이러한 배경 정보 요소(background informaiton factors) 및 다른 배경 정보 요소들을 발전시킨다.
다음의 상세한 설명이 설명을 위하여 많은 구체적인 실시예들을 포함할지라도, 당업자라면 다음의 실시예들에 대한 많은 변형례들이 본 발명의 범위 내에 있다는 것을 알 것이다. 따라서, 이하에서 기술되는 본 발명의 예시적 실시형태들은, 일반성의 결여 없이, 청구된 발명에 대한 제한을 두지 않는 것이다.
본 명세서에 기술된 방법들, 장치들, 구조들 및 시스템들의 다양한 실시형태들은, 사용자에 의한 제어기 몸체 전체의 이동, 움직임(motion)들 및/또는 조작들의 탐지, 캡쳐(capture) 및 추적을 대비한다. 사용자에 의한 제어기 몸체 전체의 탐지된 이동들, 움직임들 및/또는 조작들은, 플레이되는 게임 또는 다른 시뮬레이션의 다양한 모습들을 제어하도록 추가적인 명령들로서 사용될 수 있다.
게임 제어기 몸체의 사용자의 조작들을 탐지하고 추적하는 것은, 다른 방식들로 실시될 수 있다. 예를 들어, 가속도계 또는 자이로스코프와 같은 관성 센서, 디지털 카메라와 같은 영상 캡쳐 유닛은, 핸드-헬드 제어기 몸체의 움직임들을 탐지하고 이들을 게임 내의 활동들로 변환하는 컴퓨터 엔터테인먼트 시스템을 이용하여 이용될 수 있다. 제어기를 관성 센서를 이용하여 추적하는 실시예들은, 예를 들어, 미국 특허출원 제11/382,033호, "3차원 입력 제어를 위한 시스템, 방법 및 장치"(대리인 참조번호 SCEA06INRT1)에 기술되어 있다. 영상 캡쳐를 이용하여 제어기를 추적하는 실시예들은, 미국 특허출원 제11/382,034호, "게임 제어기 몸체의 사용자 조작을 탐지하고 추적하기 위한 구조"(대리인 참조번호 SCEA05082US00)에 기술되어 있다. 게다가, 제어기 및/또는 사용자는 또한 마이크로폰 배열 및 적절한 신호 처리를 이용하여 음향적으로 추적될 수 있다. 이러한 음향 추적의 실시예들은 미국 특허출원 제11/382,721호 내에 기술되어 있다.
음향 감지, 관성 감지 및 영상 캡쳐는, 예를 들어 상하 이동, 비틀림 이동, 측부 이동, 잡아당김 이동, 지팡이와 같은 움직임, 찌르기 움직임 등과 같은, 제어기의 많은 다른 유형들의 움직임들을 탐지하기 위해 개별적으로 또는 임의의 조합으로 사용될 수 있다. 이러한 움직임들은, 움직임들이 게임 내의 활동들로 변환되도록 다양한 명령들에 대응할 수 있다. 게임 제어기 몸체의 사용자의 조작들을 탐지하고 추적하는 것은, 사용자가, 예를 들어, 검 또는 광선검 격투에 참여하거나, 아이템(item)들의 모양을 그리기 위해 지팡이를 사용하거나, 많은 다른 유형들의 스포츠 이벤트에 참여하거나, 온-스크린(on-screen) 격투 또는 다른 교전들에 참여할 수 있게 하는, 많은 다른 유형들의 게임들, 시뮬레이션들 등을 실시하도록 사용될 수 있다. 게임 프로그램은, 제어기의 움직임을 추적하고 추적된 움직임으로부터 특정한 미리 기록된 동작들을 인식하도록 구성될 수 있다. 이러한 동작들 중 하나 이상을 인식하는 것은 게임 상태에서의 변화를 유발할 수 있다.
본 발명의 실시형태들에서, 이러한 다른 소스(source)들로부터 얻어지는 제어기 경로 정보는 동작 인식을 위한 분석에 앞서서 혼합될 수 있다. 다른 소스들(예를 들어, 음향, 관성 및 영상 캡쳐)로부터의 추적 데이터는 동작의 인식의 가능성을 향상시키는 방식으로 혼합될 수 있다.
본 발명의 내용은 첨부된 도면과 함께 다음의 실시예를 고려함으로써 이해될 수 있다:
도 1은 본 발명의 실시형태에 따라 동작하는 비디오 게임 시스템을 도시하는 도이고;
도 2는 본 발명의 실시형태에 따라 만들어진 제어기의 사시도이며;
도 3은 본 발명의 실시형태에 따라 제어기 내에서 사용될 수 있는 가속도계를 도시하는 3차원 개략도이고;
도 4는 본 발명의 실시형태에 따라 다양한 제어 입력들을 혼합하기 위한 시 스템의 블록도이며;
도 5a는 도 1의 비디오 게임 시스템의 일부분의 블록도이고;
도 5b는 본 발명의 실시형태에 따른 비디오 게임 시스템의 제어기를 추적하기 위한 방법의 순서도이며;
도 5c는 본 발명의 실시형태에 따른, 비디오 게임 시스템에서의 게임 플레이 동안 위치 및/또는 방향 정보를 이용하기 위한 방법을 도시하는 순서도이고;
도 6은 본 발명의 실시형태에 따른 비디오 게임 시스템을 도시하는 블록도이며;
도 7은 본 발명의 실시형태에 따른 비디오 게임 시스템의 셀 프로세서(cell processor) 실시형태의 블록도이다.
도 1을 참조하면, 본 발명의 실시형태에 따라 동작하는 시스템(100)이 도시되어 있다. 도시된 것처럼, 컴퓨터 엔터테인먼트 콘솔(102)은, 비디오 게임 또는 다른 시뮬레이션의 영상들을 디스플레이하기 위해 텔레비젼 또는 다른 비디오 디스플레이(104)에 결합될 수 있다. 게임 또는 다른 시뮬레이션은, 콘솔(102)에 삽입되는 DVD, CD, 플래시 메모리(flash memory), USB 메모리, 또는 다른 메모리 미디어(106)에 저장될 수 있다. 사용자 또는 플레이어(108)는 비디오 게임 또는 다른 시뮬레이션을 제어하기 위해 게임 제어기(110)를 조작한다. 도 2에 도시된 것처럼, 게임 제어기(110)는 게임 제어기(110)의 방향의 위치, 움직임, 방향 또는 변화에 반응하여 신호들을 생성하는 관성 센서(112)를 포함한다. 관성 센서에 추가하여, 게임 제어기(110)는 조이스틱들(111), 버튼들(113, R1, L1) 등과 같은 통상의 제어 입력 장치들을 포함할 수 있다.
동작 동안, 사용자(108)는 물리적으로 제어기(110)를 이동시킨다. 예를 들어, 제어기(110)는 위, 아래, 한 쪽, 다른 쪽, 비틀리거나, 굴려지거나, 흔들리거나, 잡아당겨지거나, 찌르는 방식으로 사용자(108)에 의해 임의의 방향으로 이동될 수 있다. 제어기(110) 자체의 이러한 이동들은 이하에서 기술되는 방식으로 관성 센서(112)로부터의 신호들을 분석함으로써 추적하여 카메라(114)에 의해 탐지되고 캡쳐될 수 있다.
도 1을 참조하면, 시스템(100)은, 제어기(110)가 카메라의 시야(116) 내에 있도록 위치될 수 있는 카메라 또는 다른 비디오 영상 캡쳐 장치(114)를 선택적으로 포함할 수 있다. 영상 캡쳐 장치(114)로부터의 영상들의 분석은 관성 센서(112)로부터의 데이터의 분석과 결합되어 사용될 수 있다. 도 2에 도시된 것처럼, 제어기(110)는, 비디오 분석에 의한 추적을 돕기 위해 발광 다이오드들(light emitting diodes; LEDs; 202, 204, 206, 208)과 같은 광원들이 선택적으로 구비될 수 있다. 이러한 광원들은 제어기(110)의 몸체에 실장될 수 있다. 본 명세서에서 사용된 것처럼, 용어 "몸체"는, (착용할 수 있는 게임 제어기라면 착용하며) 사용자가 손에 의해 지지하는 게임 제어기(110)의 일부분을 의미한다.
제어기(110)를 추적하기 위한 이러한 비디오 영상들의 분석은, 미국 특허출원 제11/382,034호, "게임 제어기 몸체의 사용자 조작을 탐지하고 추적하기 위한 구조"(대리인 참조번호 SCEA05082US00)에 기술되어 있다. 콘솔(102)은 마이크로폰 배열(118)과 같은 음향 변환기를 포함할 수 있다. 제어기(110)는, 마이크로폰 배열(118) 및 미국 특허출원 제11/382,724호에 기술된 적절한 음향 신호 처리와 함께 제어기(110)의 음향 추적을 돕기 위해 음원을 제공하는 음향 신호 생성기(210; 예를 들어, 스피커)를 포함할 수 있다.
일반적으로, 관성 센서(112)로부터의 신호들은 제어기(110)를 위한 위치 및 방향 데이터를 생성하는 데에 이용된다. 이러한 데이터는, 제어기(110)의 임의의 원격측정 지점들 뿐만 아니라, 임의의 축, 틸트(tilt), 피치(pitch), 요(yaw), 롤(roll)을 따르는 가속도 및 속도와 같은, 제어기(110)의 이동의 많은 물리적 양상들을 계산하는 데에 이용될 수 있다. 본 명세서에서 사용된 것처럼, 원격측정법은 일반적으로 시스템 또는 시스템의 디자이너 또는 작동자에 대한 관심 정보의 원격 측정 및 보고와 관련된다.
제어기(110)의 이동들을 탐지하고 추적하는 능력은, 제어기(110)의 임의의 바람직한 이동들이 수행되는 지 여부를 결정하는 것을 가능하게 한다. 즉, 제어기(110)의 특정 이동 패턴들 또는 동작들은 게임 또는 다른 시뮬레이션에 대한 입력 명령들로서 미리 정해지고 사용될 수 있다. 예를 들어, 제어기(110)의 하향 찌르기 동작은 하나의 명령으로서 정의될 수 있고, 제어기(110)의 비틀림 동작은 또 다른 명령으로서 정의될 수 있으며, 제어기(110)의 흔들림 동작은 또 다른 명령으로서 정의될 수 있다. 이러한 식으로, 사용자(108)가 제어기(110)를 물리적으로 이동시키는 방식은, 게임을 제어하기 위한 또 다른 입력으로서 사용되며, 사용자에게 더욱 자극적이고 즐거운 경험을 제공한다.
예를 들어, 관성 센서(112)는 가속도계일 수 있다. 도 3은, 예를 들어 스프링들(306, 308, 310, 312)에 의해, 프레임(304)의 네 지점들에 탄성적으로 결합된 단순 질량(302)의 형태인 가속도계(300)의 실시예를 도시한다. (X 및 Y로 표시된) 피치 및 롤 축들은 프레임과 교차하는 평면 내에 놓여 있다. 요 축(Z)은 피치 축(X) 및 롤 축(Y)을 포함하는 평면에 수직인 방향이다. 프레임(304)은 임의의 적절한 방식으로 제어기(110)에 실장될 수 있다. 프레임(304)( 및 조이스틱 제어기(110))이 가속되고 그리고/또는 회전함에 따라, 질량(302)이 프레임(304)에 대하여 옮겨지고 스프링들(306, 308, 310, 312)은, 병진 및/또는 회전 가속도 및/또는 피치 및/또는 롤 및/또는 요의 각도에 의존하는 방식으로 늘어나거나 압축될 수 있다. 질량(302)의 변위 및/또는 스프링들(306, 308, 310, 312)의 압축 또는 연장은, 예를 들어 적절한 센서들(314, 316, 318, 320)로 감지될 수 있고, 공지되거나 확정가능한 방식으로 피치 및/또는 롤의 분량 가속에 의존하는 신호들로 변환될 수 있다.
내변형성 게이지 물질(resistive strain gauge material), 광센서들, 자기 센서들, 홀-효과 장치들, 압전 장치들, 정전 센서들 등을 포함하여, 질량의 위치 및/또는 질량 상에서 발휘되는 힘을 추적하는 다수의 다른 방식들이 있다. 본 발명의 실시형태들은, 임의의 개수 및 유형 또는 조합의 유형들의 센서들을 포함할 수 있다. 예를 들어, 센서들(314, 316, 318, 320)은 질량(302) 위에 위치된 간극 덮개 전극들일 수 있다. 질량과 각각의 전극 사이의 정전용량은, 질량의 위치가 각각의 전극에 대하여 변화함에 따라 변화한다. 각각의 전극은, 전극에 대하여 질량(302) 의 정전용량과 관련된 신호를 생성하는 회로에 연결될 수 있다. 게다가, 스프링들(306, 308, 310, 312)은, 스프링들의 압축 또는 연장과 관련된 신호들을 생성하는 내변형성 게이지 센서들을 포함할 수 있다.
일부 실시형태들에서, 프레임(304)은, 가속도계(300)가 피치 및/또는 롤 및/또는 요 축들과 관련하여 고정된 방향을 유지하도록 하는 제어기(110)에 실장된 짐벌(gimbal)일 수 있다. 이러한 방식으로, 제어기 축들(X, Y, Z)은, 현실 공간 좌표축들과 관련하여 제어기 축들의 틸팅(tilting)을 고려할 필요 없이 현실 공간의 대응하는 축들에 직접 매핑(mapping)될 수 있다.
이상에서 논의된 것처럼, 관성, 영상 캡쳐 및 음원들로부터의 데이터는 제어기(110)의 위치 및/또는 방향을 추적하는 경로를 생성하도록 분석될 수 있다. 도 4의 블록도에 도시된 것처럼, 본 발명의 실시형태에 따른 시스템(400)은, 관성 분석기(402), 영상 분석기(404) 및 음향 분석기(406)를 포함할 수 있다. 이러한 분석기들 각각은 감지된 환경(401)으로부터 신호들을 수신한다. 분석기들(402, 404, 406)은, 하드웨어, 소프트웨어( 또는 펌웨어(firmware)) 또는 이들의 조합으로 실시될 수 있다. 분석기들 각각은, 관심 물체의 위치 및/또는 방향과 관련된 추적 정보를 생성한다. 예를 들어, 관심 물체는 이상에서 인용된 제어기(110)일 수 있다. 영상 분석기(404)는, 이하의 필드(field)들과 관련되어 동작할 수 있고, 미국 특허출원 제11/382,034호(대리인 참조번호 SCEA05082US00)에 기술된 방법들과 관련되어 동작할 수 있다. 관성 분석기(402)는 이하의 필드들과 관련되어 동작할 수 있고, 미국 특허출원 제11/382,033호, "3차원 입력 제어를 위한 시스템, 방법 및 장치"(대리인 참조번호 SCEA06INRT1)에 기술된 방법들과 관련하여 동작할 수 있다. 음향 분석기(406)는 이하의 필드들과 관련하여 동작할 수 있고, 미국 특허출원 제11/381,724호에 기술된 방법들과 관련하여 동작할 수 있다.
분석기들(402, 404 및 406)은 위치 및/또는 방향 정보의 입력들의 다른 채널들과 관련된 것으로 간주될 수 있다. 믹서(408)는 복수의 입력 채널들을 수신할 수 있고, 이러한 채널들은 채널의 관점으로부터 감지된 환경(401)을 특징으로 하는 샘플 데이터를 포함할 수 있다. 관성 분석기(402), 영상 분석기(404), 및 음향 분석기(406)에 의해 생성된 위치 및/또는 방향 정보는 믹서(408)의 입력부에 연결될 수 있다. 믹서(408) 및 분석기들(402, 404, 406)은 게임 소프트웨어 프로그램(410)에 의해 질문을 받을 수 있고, 이벤트들에 반응하여 게임 소프트웨어를 인터럽트(interrupt)하도록 구성될 수 있다. 이벤트들은 동작 인식 이벤트들, 연동 변화들, 구성 변화들, 잡음 수준 설정(setting noise levels), 샘플링 속도 설정(setting sampling velocity), 변화 매핑 체인들(changing mapping chains) 등을 포함하고, 이러한 예들은 이하에서 논의된다. 믹서(408)는 이하의 필드들 및 본 명세서에서 기술된 방법들과 관련하여 동작할 수 있다.
이상에서 논의된 것처럼, 예를 들어, 관성 센서들, 비디오 영상들 및/또는 음향 센서들과 같은 다른 입력 채널들로부터의 신호들은, 진보적인 방법(inventive method)에 따라 비디오 게임의 플레이 동안 제어기(110)의 움직임 및/또는 방향을 결정하기 위해 관성 분석기(402), 영상 분석기(404) 및 음향 분석기(406)에 의해 분석될 수 있다. 이러한 방법은, 프로세서 판독가능 매체 내에 저장되고 디지털 프 로세서 상에서 실행되는 일련의 프로세서 실행가능 프로그램 코드 명령들로서 실시될 수 있다. 예를 들어, 도 5a에 도시된 것처럼, 비디오 게임 시스템(100)은, 하드웨어 또는 소프트웨어에서 실시되는 관성 분석기(402), 영상 분석기(404) 및 음향 분석기(406)를 가진 콘솔(102)을 포함할 수 있다. 예를 들어, 분석기들(402, 404, 406)은 적합한 프로세서 유닛(502)에서 실행되는 소프트웨어 명령들로서 실시될 수 있다. 예를 들어, 프로세서 유닛(502)은 비디오 게임 콘솔들에서 사용되는 흔한 유형의 마이크로프로세서와 같은 디지털 프로세서일 수 있다. 명령들의 일부분은 메모리(506) 내에 저장될 수 있다. 선택적으로, 관성 분석기(402), 영상 분석기(404) 및 음향 분석기(406)는 예를 들어, ASIC(application specific integrated circuit)와 같은 하드웨어 내에서 실시될 수 있다. 이러한 분석기 하드웨어는 제어기(110) 또는 콘솔(102) 상에 위치될 수 있거나 또는 원거리의 다른 곳에 위치될 수 있다. 하드웨어 실시형태들에서, 분석기들(402, 404, 406)은, 예를 들어 프로세서(502)로부터의, 또는 USB 케이블, 무선 접속 또는 네트워크에 의해 연결된 원격적으로 위치된 소스로부터의 외부 신호들에 반응하여 프로그래밍될 수 있다.
관성 분석기(402)는, 관성 센서(112)에 의해 생성된 신호들을 분석하고 제어기(110)의 위치 및/또는 방향에 관한 정보를 이용하는 명령들을 포함하거나 실시할 수 있다. 유사하게, 영상 분석기(404)는 영상 캡쳐 유닛(114)에 의해 캡쳐된 영상들을 분석하는 명령들을 실시할 수 있다. 게다가, 음향 분석기는 마이크로폰 배열(118)에 의해 캡쳐된 영상들을 분석하는 명령들을 실시할 수 있다. 도 5b의 순서도(510)에 도시된 것처럼, 이러한 신호들 및/또는 영상들은 블록 512에 표시된 것 처럼 분석기들(402, 404, 406)에 의해 수신될 수 있다. 신호들 및/또는 영상들은, 블록 514에서 표시된 것처럼 제어기(110)의 위치 및/또는 방향에 관하여 관성 추적 정보(403), 영상 추적 정보(405) 및 음향 추적 정보(407)를 결정하기 위해 분석기들(402, 404, 406)에 의해 분석될 수 있다. 추적 정보(403, 405, 407)는 하나 이상의 자유도들과 관련될 수 있다. 6개의 자유도들은, 제어기(110) 또는 다른 추적된 물체의 조작을 특징짓도록 추적되는 것이 바람직하다. 이러한 자유도들은, x, y 및 z축을 따르는 제어기 틸트, 요, 롤 및 위치, 속도 또는 가속도와 관련될 수 있다.
블록 516에 표시된 것처럼, 믹서(408)는, 정교한 위치 및/또는 방향 정보(409)를 생성하기 위해 관성 정보(403), 영상 정보(405) 및 음향 정보(407)를 혼합한다. 예를 들어, 믹서(408)는, 게임 또는 환경 조건들 및 가중 평균에 근거하여 다른 가중치들을 관성, 영상 및 음향 추적 정보(403, 405, 407)에 적용할 수 있다. 게다가, 믹서(408)는, 결합된 위치/방향 정보를 분석하고, 다른 분석기들에 의해 생성된 정보의 결합들을 포함하는 결과 "믹서" 정보를 생성하는 자신의 믹서 분석기(412)를 포함할 수 있다.
본 발명의 실시형태에 있어서, 믹서(408)는, 분배 값을 분석기들(402, 404, 406)로부터 추적 정보(403, 405, 407)로 할당할 수 있다. 이상에서 언급된 것처럼, 특정 세트들의 입력 제어 데이터가 평균화될 수 있다. 그러나, 본 실시형태에 있어서, 입력 제어 데이터가 평균화되기 전에 값을 할당받음으로써, 일부 분석기들로부터의 입력 제어 데이터는 다른 것들보다 더욱 분석적으로 중요하다.
믹서(408)는, 관측, 정정, 안정화, 도출, 결합, 라우팅(routing), 혼합, 보 고, 버퍼링, 다른 처리들에 대한 인터럽트 및 분석을 포함하여, 본 시스템에서의 다수의 기능성들을 취할 수 있다. 이러한 것은, 분석기들(402, 404, 406) 중 하나 이상으로부터 수신된 추적 정보(403, 405, 407)에 대하여 수행될 수 있다. 분석기들(402, 404, 406) 각각은 특정 추적 정보를 수신하고 그리고/또는 도출할 수 있지만, 믹서(408)는, 수신된 추적 정보(403, 405, 407)의 사용을 최적화하고 정교한 추적 정보(409)를 생성하도록 실시될 수 있다.
분석기들(402, 404, 406) 및 믹서(408)는, 출력 포맷(format)들과 유사한 추적 정보를 제공하도록 구성되는 것이 바람직하다. 임의의 분석기(402, 404, 406)로부터의 추적 정보 파라미터(parameter)들은, 분석기 내의 단일 파라미터로 매핑될 수 있다. 선택적으로, 믹서(408)는, 분석기들(402, 404, 406) 중 하나 이상으로부터의 하나 이상의 추적 정보 파라미터들을 처리함으로써 분석기들(402, 404, 406) 중 임의의 것에 대한 추적 정보를 형성할 수 있다. 믹서는, 분석기들(402, 404, 406)로부터 취해진 동일 파라미터 유형의 추적 정보의 2개 이상의 요소들을 결합하고 그리고/또는 분석기들에 의해 생성된 추적 정보의 복수의 파라미터들에 걸친 기능들을 수행하여, 복수의 채널들의 입력으로부터 생성된 이익을 가진 합성 세트의 출력을 생성한다.
정교한 추적 정보(409)는 블록 518에 표시된 것처럼 시스템(100)과 함께 비디오 게임의 플레이 동안 이용될 수 있다. 특정 실시형태들에서, 위치 및/또는 방향 정보는 게임 플레이 동안 사용자(108)에 의해 만들어진 동작들과 관련하여 사용될 수 있다. 일부 실시형태들에서, 믹서(408)는 동작 인식기(505)와 결합하여 동작 할 수 있어 게임 환경 내의 적어도 하나의 활동을 사용자로부터의 하나 이상의 사용자 활동들(예를 들어, 조작기의 공간적인 조작)과 관련시킨다. 도 5c의 순서도(520)에 표시된 것처럼, 제어기(110)의 경로는 블록 522에 표시된 것처럼 위치 및/또는 방향 정보를 이용하여 추적될 수 있다. 예를 들어, 경로는 일부 시스템의 좌표들과 관련하여 제어기의 질량 중심의 위치를 표현하는 한 세트의 점들을 포함할 수 있다. 각각의 위치 점은, 직교 좌표 시스템(Cartesian coordinate system)의 X, Y 및 Z 좌표들과 같은 하나 이상의 좌표들에 의해 표현될 수 있다. 시간은 경로 상의 각각의 점과 관련될 수 있어, 경로의 모양 및 경로를 따르는 제어기의 진행이 감시될 수 있다. 게다가, 상기 세트의 각각의 점은, 예를 들어 질량 중심에 대한 제어기의 하나 이상의 회전 각도들과 같은 제어기의 방향을 표현하는 데이터와 상기 점을 관련지을 수 있다. 또한, 경로 상의 각각의 점은 제어기의 질량 중심의 속도 및 가속도의 값들 및 질량 중심에 대한 제어기의 각속도 및 각가속도와 관련될 수 있다.
블록 524에 표시된 것처럼, 추적된 경로는, 플레이되는 비디오 게임과 관련된, 공지되고 그리고/또는 미리-기록된 동작들(508)에 대응하는 하나 이상의 저장된 경로들과 비교될 수 있다. 인식기(505)는 사용자를 인식하거나 또는 오디오 인증 동작들을 처리하도록 구성될 수 있다. 예를 들어, 사용자는 동작을 통하여 인식기(505)에 의해 식별될 수 있고 동작은 사용자에게 특정될 수 있다. 이러한 특정 동작들은 기록될 수 있고, 메모리(506) 내에 저장된 미리 기록된 동작들(508) 속에 포함될 수 있다. 기록 처리는 동작의 기록 동안 생성되는 저장 오디오일 수 있다. 감지된 환경은 멀티-채널 분석기로 샘플링되고 처리된다. 프로세서는, 음성 또는 음향 패턴들에 근거하며 높은 정확도 및 성능에 근거한 사용자 또는 물체들을 결정하고 인증하고 그리고/또는 식별하기 위한 참조 동작 모델들일 수 있다.
도 5a에 표시된 것처럼, 동작들을 표현하는 데이터(508)는 메모리(506) 내에 저장될 수 있다. 동작들의 실시예들은, 공과 같은 물체를 던지는 것, 배트(bat) 또는 골프 클럽(golf club)과 같은 물체를 스윙(swing)하는 것, 핸드 펌프를 펌핑(pumping)하는 것, 문 또는 창문을 열거나 닫는 것, 핸들을 돌리는 것 또는 다른 차량 제어, 펀치(punch)들과 같은 무도 격투기 움직임, 모래를 뿌리는 움직임들, 왁스(wax)를 칠하거나 왁스를 벗겨내는 것, 집에 페인트칠을 하는 것, 흔드는 것, 덜걱덜걱 움직이는 것, 굴러가는 것, 풋볼 던지기(football pitches), 손잡이 돌리는 움직임, 3차원 마우스 움직임, 스크롤 움직임(scrolling movements), 공지된 윤곽과 같은 움직임, 임의의 기록가능 움직임, 타이어를 펌핑하는 것과 같은 앞뒤로 임의의 벡터를 따르는 움직임, 임의의 방향의 경로를 따르는 움직임, 잡음 플로어(noise floor), 스플라인들(splines) 등 내에서 기록되고, 추적되며, 반복될 수 있는 사용자 조작에 근거한 정확한 정지 및 시작 시간을 가지는 움직임들을 포함한다. 이러한 동작들 각각은, 경로 데이터로부터 미리 기록되고 시간-기반 모델로서 저장될 수 있다. 경로와 저장된 동작들의 비교는, 경로가 정상 상태로부터 벗어난다면 경로가 제거 처리에 의해 저장된 동작들과 비교될 수 있는 정상 상태의 가정과 함께 시작될 수 있다. 블록 526에서 매칭(matching)이 없다면, 블록 522에서 분석기는 제어기(110)의 경로를 추적하는 것을 계속할 수 있다. 경로( 또는 그의 일 부분)와 저장된 동작 사이의 충분한 매칭이 있다면, 게임의 상태는 528에 표시된 것처럼 변화될 수 있다. 게임의 상태 변화들은, 인터럽트들, 제어 신호들을 보내는 것, 변수들을 변화시키는 것 등을 포함할 수 있으며 이에 제한되지는 않는다.
여기서 이와 같은 일 실시예가 발생할 수 있다. 제어기(110)가 정상 상태에 경로를 남겨뒀다는 것을 결정할 때, 분석기(402, 404, 406, 또는 412)는 제어기(110)의 이동을 추적한다. 제어기(110)의 경로가 저장된 동작 모델들(508) 내에 정의된 경로를 따르는 한, 이러한 동작들은 "히트들(hits)"이 가능하다. 제어기(110)의 경로가 임의의 동작 모델(508)로부터 (잡음 허용오차 세팅 내에서) 벗어난다면, 이러한 동작 모델은 히트 리스트로부터 제거된다. 각각의 동작 참조 모델은 동작이 기록되는 시간-베이스(time-base)를 포함한다. 분석기(402, 404, 406 또는 412)는 적절한 시간 인덱스(time index)에서 제어기 경로 데이터를 저장된 동작(508)과 비교한다. 정상 상태 조건의 발생은 클록을 재설정한다. 정상 상태로부터 벗어날 때(이동들이 잡음 임계값의 외부에서 추적될 때), 히트 리스트는 모든 잠재적 동작 모델들과 함께 있게 된다. 클록이 시작되고, 제어기의 이동들은 히트 리스트와 비교된다. 다시, 비교는 시간이 걸린다. 히트 리스트 내의 임의의 동작은 동작의 말단에 도달하는 경우에 히트가 된다.
특정 실시형태들에 있어서, 믹서(408) 및/또는 개별적인 분석기들(402, 404, 406, 412)은, 특정 이벤트들이 발생할 때 게임 프로그램에 통지할 수 있다. 이러한 이벤트들의 실시예들은 다음과 같다:
제로-가속도 점 도달 인터럽트(INTERRUPT ZERO-ACCELERATION POINT REACHED) (X 및/또는 Y 및/또는 Z 축)
특정 게임 상황들에서, 제어기의 가속도가 굴곡점들에서 변화할 때, 분석기는 게임 프로그램 내의 루틴을 통지하거나 인터럽트할 수 있다. 예를 들어, 사용자(108)는 풋볼 시뮬레이션 게임 내의 쿼터백을 표현하는 게임 아바타를 제어하기 위해 제어기(110)를 사용할 수 있다. 분석기는, 관성 센서(112)로부터의 신호들로부터 생성되는 경로를 경유하여 (풋볼을 표현하는) 제어기를 추적할 수 있다. 제어기(110)의 가속도의 특정 변화는 풋볼의 날아감(release)을 신호로 보낼 수 있다. 이 때, 분석기는, 날아갈 때 제어기의 위치 및/또는 속도 및/또는 방향에 근거한 풋볼의 탄도를 시뮬레이트하기 위해 프로그램(예를 들어, 물리 시뮬레이션 패키지) 내의 또 다른 루틴을 유발할 수 있다.
새로운 동작 인식 인터럽트(INTERRUPT NEW GESTURE RECOGNIZED)
게다가, 분석기는 하나 이상의 입력들에 의해 구성될 수 있다. 이러한 입력들의 실시예들은 다음을 포함하지만, 이에 제한되지 않는다:
잡음 레벨 설정(X, Y 또는 Z 축). 잡음 레벨은 게임 내의 사용자의 손들의 지터(jitter)를 분석할 때 사용되는 기준 허용오차일 수 있다.
샘플링 속도 설정. 본 명세서에서 이용되는 것처럼, 샘플링 속도는, 분석기가 관성 센서로부터의 신호들을 얼마나 자주 샘플링하는 지와 관련될 수 있다. 샘플링 속도는 신호를 오버샘플링(oversampling)하거나 평균화하도록 설정될 수 있다.
기어링 설정. 본 명세서에서 이용되는 것처럼, 연동은 일반적으로 게임 내에 서 발생하는 이동들에 대한 제어기 이동들의 비율과 관련된다. 비디오 게임의 제어에서의 이러한 "연동"의 실시예들은, 2006년 5월7일에 출원된 미국 특허출원 제11/382,040호(대리인 참조번호 SONYP058D)에서 발견될 수 있다.
매핑 체인 설정. 본 명세서에서 이용되는 것처럼, 매핑 체인은 동작 모델들의 맵(map)과 관련된다. 동작 모델 맵들은, 믹서 유닛 내에 형성된 특정 입력 채널(예를 들어, 관성 센서 신호들로부터 생성된 경로 데이터) 또는 혼성 채널을 위하여 만들어질 수 있다. 3개의 입력 채널들은 관성 분석기(402)와 유사한 2개 이상의 다른 분석기들에 의해 도움을 받을 수 있다. 구체적으로, 이러한 분석기들은: 본 명세서에 기술된 관성 분석기(402), 미국 특허출원 제11/382,034호, 게임 제어기 몸체의 사용자 조작을 탐지하고 추적하기 위한 구조(대리인 참조번호 SCEA05082US00)에 기술된 비디오 분석기, 및 미국 특허출원 제11/381,721호에 기술된 음향 분석기를 포함할 수 있다. 분석기들은 매핑 체인과 함께 구성될 수 있다. 매핑 체인들은, 분석기 및 믹서로 세팅될 수 있는 것처럼, 게임플레이 동안 게임에 의해 교환될 수 있다.
도 5b, 블록 512를 참조하면, 당업자라면, 관성 센서(112)로부터의 신호들을 생성하는 많은 방식들이 있다는 것을 인식할 것이다. 다른 것들 사이의 수개의 실시예들이 본 명세서에서 기술되었다. 블록 514를 참조하면, 제어기(110)의 위치 및/또는 방향과 관련된 추적 정보를 얻기 위한, 블록 512에서 생성된 센서 신호들을 분석하는 수많은 방식들이 있다. 예를 들면, 추적 정보는 다음의 파라미터들 각각 또는 임의의 조합과 관련된 정보를 포함하지만, 이에 제한되지 않는다:
제어기 방향. 제어기(110)의 방향은 일부 기준 방향과 관련된 피치, 롤 또는 요 각도의 용어로 (예를 들어, 라디안(radian)으로) 표현될 수 있다. 제어기 방향의 변화 속도들(예를 들어, 각 속도들 또는 각 가속도들)은 또한 위치 및/또는 방향 정보 내에 포함될 수 있다. 예를 들어, 관성 센서(112)가 어디서 자이로스코프 센서 제어기 방향 정보를 포함하는지는, 피치, 롤 또는 요의 각도들에 비례하는 하나 이상의 출력 값들의 형태로 직접 얻어질 수 있다.
제어기 위치(예를 들어, 일부 기준 프레임 내의 제어기(110)의 직교 좌표들 X, Y, Z)
제어기 X-축 속도
제어기 Y-축 속도
제어기 Z-축 속도
제어기 X-축 가속도
제어기 Y-축 가속도
제어기 Z-축 가속도
위치, 속도 및 가속도에 대하여, 위치 및/또는 방향 정보는 카테시안이 아닌 좌표 시스템들로 표현될 수 있다. 예를 들어, 실린더형 또는 구형 좌표들은 위치, 속도 및 가속도에 대하여 이용될 수 있다. X, Y 및 Z축들에 대한 가속도 정보는 본 명세서에서 기술된 가속도계형 센서로부터 직접 얻어질 수 있다. X, Y 및 Z 가속도들은 X, Y 및 Z 속도들에서의 변화들을 결정하기 위해 일부 초기 순간으로부터 시간에 대하여 적분될 수 있다. 이러한 속도들은, 속도 변화들을, 초기 순간에서의 X-속도, Y-속도 및 Z-속도의 공지된 값들로 추가함으로써 계산될 수 있다. X 속도, Y 속도 및 Z 속도는 제어기의 X-변위, Y-변위 및 Z-변위를 결정하기 위해 시간에 대하여 적분될 수 있다. X-위치, Y-위치 및 Z-위치는, 초기 순간에서의 공지된 X-위치, Y-위치 및 Z-위치로 변위들을 추가함으로써 결정될 수 있다.
정상 상태 Y/N- 이러한 특정 정보는, 제어기가 임의의 위치로 정의될 수 있고 변화될 수 있는 정상 상태 내에 있는 지 여부를 가리킨다. 바람직한 실시형태에서, 정상 상태 위치는, 제어기가 사용자의 허리와 비슷한 높이에서 다소의 레벨 방향에서 지지되는 위치일 수 있다.
최후 정상 상태 이후의 시간은, 일반적으로 정상 상태가 탐지된 이후에 얼마나 긴 주기가 지났는 지와 관련된 데이터에 관한 것이다. 시간의 결정은, 이전에 언급된 것처럼, 실시간, 프로세서 주기들 또는 샘플링 주기들로 계산될 수 있다. 최후의 정상 상태 데이터 시간 이후의 시간은, 게임 환경 내의 캐릭터 또는 물체 매핑의 정확성을 보증하기 위해 초기 점과 관련하여 제어기의 추적을 재설정하는 것에 대하여 중요할 수 있다. 이러한 데이터는 게임 환경 내에서 순차적으로 실행되는 이용가능한 활동들/동작들을 결정하는 것과 관련하여 중요할 수 있다.
인식된 최후의 동작은 일반적으로 (하드웨어로 실시될 수 있는) 동작 인식기(505) 또는 소프트웨어에 의해 인식되는 최후의 동작을 칭한다. 인식되 최후 동작의 식별은, 이전의 동작이 순차적으로 인식될 수 있는 가능한 동작들 또는 게임 환경 내에서 발생하는 일부 다른 활동과 관련될 수 있다는 사실에 대하여 중요할 수 있다.
최후 동작이 인식된 시간
이상의 출력들은 게임 프로그램 또는 소프트웨어에 의해 임의의 시간에서 샘플링될 수 있다.
본 발명의 실시형태에 있어서, 믹서(408)는 분배 값을 분석기들(402, 404, 406)로부터 추적 정보(403, 405, 407)로 할당할 수 있다. 이상에서 언급된 것처럼, 입력 제어 데이터의 특정 세트들이 평균화될 수 있다. 본 실시형태에 있어서, 입력 제어 데이터가 평균화되기 전의 값을 할당받음으로써, 일부 분석기들로부터의 입력 제어 데이터는 다른 것들보다 더욱 분석적으로 중요하다.
예를 들어, 믹서(408)는 가속도 및 정상 상태와 관련된 추적 정보를 필요로 할 수 있다. 그 다음에, 믹서(408)는 이상에서 언급된 것처럼 추적 정보(403, 405, 407)를 수신할 것이다. 추적 정보는 이상에서 언급된 것처럼 가속도 및 정상 상태와 관련된 파라미터들을 포함할 수 있다. 이러한 정보를 표현하는 데이터를 평균화하기 전에, 믹서(408)는 분배 값들을 추적 정보 데이터 세트(403, 405, 407)로 할당할 수 있다. 예를 들어, 관성 분석기(402)로부터의 x-가속도 파라미터 및 y-가속도 파라미터는 90%의 값으로 가중될 수 있다. 영상 분석기(406)로부터의 x- 및 y- 가속도 데이터는 10%만 가중될 수 있다. 음향 분석기 추적 정보(407)는, 가속도 파라미터들과 곤련되기 때문에 0%의 가중치를 받으며, 데이터는 값을 갖지 않는다.
유사하게, 관성 분석기(402)로부터의 Z-축 추적 정보 파라미터들은 10%의 가중치를 받을 수 있는 반면에, 영상 분석기 Z-축 추적 정보는 90%의 가중치를 받을 수 있다. 음향 분석기 추적 정보(407)는 0%의 가중치를 받을 수 있지만, 음향 분석 기(406)로부터의 정상 상태 추적 정보는 100%의 가중치를 받을 수 있으며, 남아있는 분석기 추적 정보는 0%의 가중치를 받는다.
적절한 분배 가중치가 할당된 이후에, 입력 제어 데이터는, 동작 인식기(505)에 의해 순차적으로 분석되며 게임 환경 내의 특정 활동과 관련된 가중 평균 입력 제어 데이터 세트에 도달하는 무게를 가지면서 평균화될 수 있다. 관련된 값들은 믹서(408) 또는 특정 게임 타이틀에 의해 미리 정의될 수 있다. 값들은, 다양한 분석기들로부터 오는 데이터의 특정 특성을 식별하고 이하에서 논의되는 동적 조정을 행하는 믹서(408)의 결과일 수 있다. 조정은, 특정 데이터가 특정 환경 내 및/또는 주어진 게임 타이틀의 특수성에 따른 특정 값일 때의 역사적 지식 기반을 만드는 결과일 수 있다.
믹서(408)는 게임 플레이 동안 동적으로 동작하도록 구성될 수 있다. 예를 들어, 믹서(408)가 다양한 입력 제어 데이터를 수신함에 따라, 특정 데이터가 데이터의 수신가능 범위 또는 특성의 외부에 있거나 또는 관련 입력 장치의 처리 오차를 가리킬 수 있는 오염된 데이터를 반영함을 인식할 수 있다.
추가적으로, 현실-세계 환경의 특정 조건들이 변화할 수 있다. 예를 들어, 사용자의 가정 게임 환경 내의 자연광은 아침에서 오후로 변화함에 따라 증가하여 영상 데이터 캡쳐에 대한 문제점들을 일으킨다. 게다가, 이웃 또는 가족은, 시간이 지남에 따라 더 시끄러워져서 오디오 데이터 캡쳐에 관한 문제점들을 일으킨다. 이와 유사하게, 사용자가 여러 시간 동안 플레이한 이후에, 그들의 리플렉스들(reflexes)은 덜 날카로워지고 관성 데이터의 해석에 관한 문제점들을 일으킨다.
입력 제어 데이터의 특정 형태의 특성이 문제로 되어 있는 경우에, 다소의 중요함이 이상에서 기술되는 특정 입력 제어 데이터에 주어지도록, 믹서(408)는 분배 가중치를 특정 장치로부터 오는 특정 세트의 데이터에 동적으로 재할당할 수 있다. 유사하게, 게임 환경은 게임의 과정을 따라 변화하여, 특정 게임의 필요사항들이 변화하여 값의 재할당 또는 특정 입력 제어 데이터에 대한 필요를 요구한다.
유사하게, 믹서(408)는, 동작 인식기(505)로 전해지는 특정 데이터가, 동작 인식기(505)에 의해 생성될 수 있는 처리 오차들 또는 피드백 데이터에 근거하여 부정확하게 처리되거나, 느리게 처리되거나 또는 전혀 처리되지 않음을 인식할 수 있다. 이러한 피드백에 반응하거나 이러한 처리 곤란을 인식하는 경우(예를 들어, 동작 인식기(505)에 의한 연락이 행해질 때 영상 분석 데이터가 수용가능한 범위, 오차 결과 내에 있는 동안), 믹서(408)는, 어느 분석기로부터 언제 어느 입력 제어 데이터를 찾는지를 조정할 수 있다. 믹서(408)는, 입력 제어 데이터가 믹서(408)로 전해지기 전에 적절한 분석기에 의해 입력 제어 데이터의 특정 분석 및 처리를 필요로 할 수 있고 데이터를 재처리 하여, 동작 인식기(505)에 전달된 데이터가 효과적이고 적절하게 처리될 것을 보증한다.
본 발명의 실시형태들에 따르면, 이상에서 기술된 유형의 비디오 게임 시스템 및 방법은 도 6에 도시된 것처럼 실시될 수 있다. 비디오 게임 시스템(600)은 프로세서(601) 및 메모리(602)(예를 들어, RAM, DRAM, ROM 등)를 포함할 수 있다. 게다가, 비디오 게임 시스템(600)은 병렬 처리가 실시되는 경우 복수의 프로세서들(601)을 가질 수 있다. 메모리(602)는, 이상에서 기술되는 것처럼 구성되는 부분 들을 포함할 수 있는 데이터 및 게임 프로그램 코드(604)를 포함한다. 구체적으로, 메모리(602)는, 이상에서 기술된 것처럼 저장된 제어기 경로 정보를 포함할 수 있는 관성 신호 데이터(606)를 포함할 수 있다. 메모리(602)는, 또한 예를 들어, 게임 프로그램(604)과 관련된 하나 이상의 동작들을 표현하는 데이터와 같은 저장된 동작 데이터(608)를 포함할 수 있다. 프로세서(602)에서 실행되는 코딩된 명령들은, 이상에서 기술된 것처럼 구성되고 기능할 수 있는 다중-입력 믹서(605)를 실시할 수 있다.
시스템(600)은, 입력/출력 요소들(input/output(I/O) elements; 611), 전원 공급장치들(power supplies(P/S); 612), 클록(clock; CLK; 613) 및 캐시(cache; 614)와 같은 공지된 지원 기능들(610)을 또한 포함할 수 있다. 장치(600)는, 선택적으로 디스크 드라이브, CD-ROM 드라이브, 테이프 드라이브, 또는 프로그램들 및/또는 데이터를 저장하기 위한 다른 것들과 같은 대용량 기억 장치(615)를 포함할 수 있다. 제어기는 또한 제어기(600)와 사용자 사이의 상호작용을 촉진하기 위한 디스플레이 유닛(616) 및 사용자 인터페이스 유닛(618)을 선택적으로 포함할 수 있다. 디스플레이 유닛(616)은, 텍스트, 숫자들, 그래픽 심볼들(graphic symbols) 또는 영상들을 디스플레이하는 음극선관 또는 평면판 스크린의 형태일 수 있다. 사용자 인터페이스(618)는 키보드, 마우스, 조이스틱, 라이트 펜(light pen) 또는 다른 장치를 포함할 수 있다. 게다가, 사용자 인터페이스(618)는 마이크로폰, 비디오 카메라, 또는 분석될 신호의 직접적인 캡쳐를 위한 다른 신호 변환 장치를 포함할 수 있다. 시스템(600)의 프로세서(601), 메모리(602) 및 다른 요소들은 도 6에 도시된 것처럼 시스템 버스(620)를 경유하여 신호들(예를 들어, 코드 명령 및 데이터)을 서로 교환할 수 있다.
마이크로폰 배열(622)은 I/O 기능들(611)을 통하여 시스템(600)에 연결될 수 있다. 마이크로폰 배열은, 약 2 내지 8개의 마이크로폰들, 바람직하게는, 이웃하는 마이크로폰들과, 4 센티미터보다 작은, 바람직하게는, 약 1 내지 2 센티미터의 거리만큼 분리된 약 4개의 마이크로폰들을 포함할 수 있다. 바람직하게는, 배열(622) 내의 마이크로폰들은 전방향(omni-directional) 마이크로폰들이다. 선택적인 영상 캡쳐 유닛(623; 예를 들어, 디지털 카메라)은 I/O 기능들(611)을 통하여 장치(600)에 연결될 수 있다. 카메라에 기계적으로 연결되는 하나 이상의 포인팅 작동기들(pointing actuators(P/A); 625)은 I/O 기능들(611)을 경유하여 프로세서(601)와 신호들을 교환할 수 있다.
본 명세서에서 이용되는 것처럼, 용어 I/O는 일반적으로 데이터를 시스템(600)으로 또는 시스템(600)으로부터 전송하고 주변 장치로 또는 주변 장치로부터 전송하는 임의의 프로그램, 동작 또는 장치를 칭한다. 모든 데이터 전송은 하나의 장치로부터의 출력 및 또 다른 장치로의 입력으로 간주될 수 있다. 주변 장치들은, 입력 및 출력 장치로서 동작할 수 있는 기록가능 CD-ROM과 같은 장치들 뿐만 아니라, 키보드들 및 마우스들과 같은 입력-전용 장치들, 프린터들과 같은 출력-전용 장치들을 포함한다. 용어 "주변 장치"는, CD-ROM 드라이브, CD-R 드라이브 또는 내부 모뎀 또는 플래시 메모리 판독기/기록기, 하드 드라이브와 같은 다른 주변 장치와 같은 내부 장치들 뿐만 아니라, 마우스, 키보드, 프린터, 모니터, 마이크로 폰, 게임 제어기, 카메라, 외부 집(Zip) 드라이브 또는 스캐너와 같은 외부 장치들을 포함한다.
본 발명의 특정 실시형태들에 있어서, 장치(600)는, 유선(예를 들어, USB 케이블) 또는 무선으로 I/O 기능들(611)을 경유하여 프로세서에 연결된 제어기(630)를 포함할 수 있는 비디오 게임 유닛일 수 있다. 제어기(630)는, 비디오 게임들의 플레이 동안 통상적으로 사용되는 제어 신호들을 제공하는 아날로그 조이스틱 컨트롤들(631) 및 재래식 버튼들(633)을 가질 수 있다. 이러한 비디오 게임들은, 대용량 기억 장치(615)와 관련된 것과 같은 메모리(602) 또는 다른 프로세서 판독가능 매체 내에 저장될 수 있는 프로그램(604)으로부터 프로세서 판독가능 데이터 및/또는 명령들로서 실시될 수 있다.
조이스틱 컨트롤들(631)은, 일반적으로, 제어 스틱을 좌측 또는 우측으로 이동시키는 것은 X 축을 따르는 이동을 신호로 보내고, 제어 스틱을 전방(상향) 또는 후방(하향)으로 이동시키는 것은 Y 축을 따르는 이동을 신호로 보내도록 구성될 수 있다. 3차원 이동이 가능하도록 구성된 조이스틱에서는, 스틱을 좌측(시계반대방향) 또는 우측(시계방향)으로 비틀어 돌리는 것은 Z 축을 따르는 이동을 신호로 보낼 수 있다. 이러한 3개 축 - X, Y 및 Z -은 특히 항공기와 관련하여 각각 롤, 피치 및 요로 칭해질 수 있다.
통상의 특징들에 추가하여, 제어기(630)는, 위치 및/또는 방향 정보를 관성 신호를 통해 프로세서(601)로 제공할 수 있는 하나 이상의 관성 센서들(632)을 포함할 수 있다. 방향 정보는, 제어기(630)의 틸트, 롤 또는 요와 같은 각도 정보를 포함할 수 있다. 예를 들어, 관성 센서들(632)은 임의의 개수의 가속도계들, 자이로스코프들 또는 틸트 센서들을 포함할 수 있다. 바람직한 실시형태에서, 관성 센서들(632)은, 틸트 및 롤 축들과 관련하여 조이스틱 제어기의 방향을 감지하는 데에 적합한 틸트 센서들, 요 축을 따르는 가속도를 감지하는 데에 적합한 제 1 가속도계 및 요 축과 관련하여 각 가속도를 감지하는 데에 적합한 제 2 가속도계를 포함한다. 가속도계는, 예를 들어, 하나 이상의 방향들과 관련된 질량의 변위를 감지하기 위한 센서들을 가진 하나 이상의 스프링들에 의해 실장된 질량을 포함하는 MEMS 장치로서 실시될 수 있다. 질량의 변위에 의존하는 센서들로부터의 신호들은 조이스틱 제어기(630)의 가속도를 결정하는 데에 사용될 수 있다. 이러한 기술들은 메모리(602) 내에 저장되고 프로세서(601)에 의해 실행될 수 있는 게임 프로그램(604)으로부터의 명령들에 의해 실시될 수 있다.
예를 들어, 관성 센서(632)로서 적합한 가속도계는, 예를 들어 스프링들에 의해 프레임으로 3개 또는 4개의 점들에서 탄성적으로 결합된 단순 질량일 수 있다. 피치 및 롤 축들은, 조이스틱 제어기(630)에 실장되는 프레임과 교차하는 평면 내에 있다. 프레임( 및 조이스틱 제어기(630))이 피치 및 롤 축들을 중심으로 회전함에 따라, 질량은 중력의 영향 하에 옮겨질 것이며, 스프링들은, 피치 및/또는 롤의 각도에 의존하는 방식으로 연장되거나 압축될 것이다. 질량의 변위는, 피치 및/또는 롤의 분량에 의존하는 신호로 감지되고 변환될 수 있다. 요 축을 중심으로 한 각 가속도 또는 요 축을 중심으로 한 선형 가속도는, 스프링들의 압축 및/또는 연장, 또는 각 또는 선형 가속도의 분량에 의존하는 신호들로 감지되고 변화될 수 있 는 질량의 움직임의 특성 패턴들을 또한 생성할 수 있다. 이러한 가속도계 장치는, 질량의 이동 또는 스프링들의 압축력 및 팽창력을 추적함으로써 요 축을 중심으로 한 틸트, 롤 각 가속도 및 요 축을 따르는 선형 가속도를 측정할 수 있다. 내변형성 게이지 물질, 광 센서들, 자기 센서들, 홀-효과 장치들, 압전 장치들, 정전용량 센서들 등을 포함하여, 질량 및/또는 힘들의 위치를 추적하는 많은 다른 방식들이 있다. 게다가, 조이스틱 제어기(630)는 발광 다이오드들(light emitting diodes; LEDs)과 같은 하나 이상의 광원들(634)을 포함할 수 있다. 광원들(634)은 하나의 제어기를 다른 제어기와 구별하는 데에 사용될 수 있다. 예를 들어, 하나 이상의 LED들은 LED 패턴 코드를 순식간에 전하거나 유지함으로써 이것을 성취시킬 수 있다. 예를 들어, 5개의 LED들은 선형 또는 2차원 패턴에서 조이스틱 제어기(630)에 제공될 수 있다. LED들의 선형 배열이 바람직할지라도, LED들은, 영상 캡쳐 유닛(623)에 의해 획득된 LED 패턴의 영상을 분석할 때 LED 배열의 영상 평면의 결정을 촉진하도록 직사각형 패턴 또는 아치형 패턴으로 배열될 수 있다. 게다가, LED 패턴 코드들은, 게임 플레이 동안 조이스틱 제어기(630)의 위치 설정을 결정하는 데에 이용될 수 있다. 예를 들어, LED들은 제어기들의 틸트, 요 및 롤을 식별하는 것을 도울 수 있다. 이러한 탐지 패턴은, 항공기 비행 게임들 등과 같은 게임들에서 사용자에게 더 좋은 느낌을 제공하는 것을 도울 수 있다. 영상 캡쳐 유닛(623)은 조이스틱 제어기(630) 및 광원들(634)을 포함하는 영상들을 캡쳐할 수 있다. 이러한 영상들의 분석은 조이스틱 제어기의 위치 및/또는 방향을 결정할 수 있다. 이러한 분석은, 메모리(602) 내에 저장되고 프로세서(601)에 의해 실행되는 프로그램 코드 명령들(604)에 의해 실시될 수 있다. 영상 캡쳐 유닛(623)에 의한 광원들(634)의 영상들의 캡쳐를 돕기 위해, 광원들(634)은, 조이스틱 제어기(630)의 2개 이상의 다른 면들, 예를 들어, (환영(phantom)처럼 보여지도록) 전면 및 후면에 위치될 수 있다. 이러한 배치는, 조이스틱 제어기(630)가 사용자에 의해 어떻게 지지되는지에 따라서, 영상 캡쳐 유닛(623)이 조이스틱 제어기(630)의 다른 방향들에 대해 광원들(634)의 영상들을 획득하는 것을 가능하게 한다.
게다가, 광원들(634)은, 예를 들어, 펄스 코드, 진폭 변조 또는 주파수 변조 형식으로, 원격측정 신호들을 프로세서(601)로 제공할 수 있다. 이러한 원격측정 신호들은, 어느 조이스틱 버튼들이 눌려지는지 및/또는 이러한 버튼들이 얼마나 세게 눌려지는지를 가리킬 수 있다. 원격측정 신호들은, 펄스 코딩, 펄스 폭 변조, 주파수 변조 또는 광 세기(진폭) 변조에 의해 광학 신호로 엔코딩(encoding)될 수 있다. 프로세서(601)는 광학 신호로부터 원격측정 신호를 디코딩할 수 있고, 디코딩된 원격측정 신호에 반응하여 게임 명령을 실행할 수 있다. 원격측정 신호들은 영상 캡쳐 유닛(623)에 의해 획득된 조이스틱 제어기(630)의 영상들의 분석으로부터 디코딩될 수 있다. 선택적으로, 장치(600)는 광원들(634)로부터의 원격측정 신호 수신 전용인 개별적인 광학 센서를 포함할 수 있다. 컴퓨터 프로그램과 인터페이스로 접속하는 경우 세기 분량을 결정함에 있어서의 LED들의 사용은, 2006년 5월4일에 출원된 미국특허출원 제11/429,414호, 리차드 엘. 막스 등의 "컴퓨터 영상, 강도의 음향 처리 및 컴퓨터 프로그램과 인터페이스하기 위한 입력 장치들"(대리인 참조번호 SONYP052)에 기술되어 있다. 게다가, 광원들(634)을 포함하는 영상들의 분석은 조이스틱 제어기(630)의 위치 및/또는 방향에 대한 원격측정 및 결정에 대해 사용될 수 있다. 이러한 기술들은, 메모리(602) 내에 저장되고 프로세서(601)에 의해 실행될 수 있는 프로그램(604)의 명령들에 의해 실시될 수 있다.
프로세서(601)는, 영상 캡쳐 유닛(623)에 의해 탐지된 광원들(634)로부터의 광학 신호들 및/또는 마이크로폰 배열(622)에 의해 탐지된 음향 신호들로부터의 음원 위치 및 특성 정보와 관련하여, 관성 센서(632)로부터의 관성 신호들을 사용하여, 제어기(630)의 위치 및/또는 방향에 대한 정보를 추론한다. 예를 들어, "음향 레이더" 음원 위치 및 특성은, 조이스틱 제어기의 움직임이 (관성 센서(632) 및/또는 광원들(634)을 통하여) 독립적으로 추적되는 동안, 움직이는 음성을 추적하는 마이크로폰 배열(622)과 관련하여 사용될 수 있다. 음향 레이더 선택에서, 미리 조정된 청취 영역이 실행시간에 선택되고, 미리 조정된 청취 영역의 외부의 음원들에서 발생하는 음향들은 필터링하여 제거된다. 미리 조정된 청취 영역들은 영상 캡쳐 유닛(623)의 초점 체적 또는 시야에 대응하는 청취 영역을 포함할 수 있다. 음향 레이더의 실시예들은, 2006년 5월4일에 출원된 미국 특허출원 제11/381,724호, 샤오동 마오의 "표적이 된 음향 탐지 및 특성화를 위한 방법들 및 장치"에 상세히 기술되어 있다. 제어 신호들을 프로세서(601)에 제공하는 다른 모드들의 임의의 개수의 다른 조합들은 본 발명의 실시형태들과 관련하여 사용될 수 있다. 이러한 기술들은, 메모리(602) 내에 저장되며 프로세서(601)에 의해 실행될 수 있는 프로그램 코드 명령들(604)에 의해 실시되고, 실행시간에 미리 조정된 청취 영역을 선택하도록 하나 이상의 프로세서들을 안내하고, 미리 조정된 청취 영역의 외부의 음원들로 부터 발생하는 음향들을 필터링하여 제거하는 하나 이상의 명령들을 선택적으로 포함할 수 있다. 미리 조정된 청취 영역들은, 영상 캡쳐 유닛(623)의 초점 체적 또는 시야에 대응하는 청취 영역을 포함할 수 있다.
프로그램(604)은, 마이크로폰 배열(622)의, 마이크로폰들(M0...MM)로부터의 불연속적인 시간 영역 입력 신호 xm(t)를 생성하도록 하나 이상의 프로세서들을 안내하는 하나 이상의 명령들을 포함하고, 청취 섹터(listening sector)를 결정하며, 입력 신호 xm(t)로부터 다른 음원들을 분리시키기 위해 유한 임펄스 반응 필터 계수들을 선택하도록 세미-블라인드 소스 분리(semi-blind source separation)에서의 청취 섹터를 선택적으로 사용할 수 있다. 프로그램(604)은, 참조 마이크로폰 Mo로부터 입력 신호 xo(t)와 다른 선택적인 입력 신호들 xm(t)로 하나 이상의 소수 지연들을 적용하는 명령들을 또한 포함할 수 있다. 각각의 소수 지연은, 마이크로폰 배열로부터 분리된 시간 영역 출력 신호 y(t)의 잡음 비율로 신호를 최적화하도록 선택될 수 있다. 소수 지연들은, 참조 마이크로폰 Mo로부터의 신호가 배열의 다른 마이크로폰(들)으로부터의 신호들에 대한 시간에 있어서 처음이도록 선택될 수 있다. 프로그램(604)은, 다음과 같이 소수 시간 지연 Δ를 마이크로폰 배열의 출력 신호 y(t)에 삽입하는 명령들을 또한 포함할 수 있다: y(t+Δ) = x(t+Δ)×bo + x(t-1+Δ)×b1 + x(t-2+Δ)×b2 +...+ x(t-N+Δ)×bN이며, Δ는 0과 ±1 사이의 값이다. 이러한 기술들의 실시예들은, 2006년 5월4일에 출원된 미국 특허출원 제11/381,729 호, 샤오 동 마오의 초소형 마이크로폰 배열에 상세히 기술되어 있다.
프로그램(604)은, 실행될 때, 시스템(600)이 음원을 포함하는 미리 조정된 청취 섹터를 선택하게 하는 하나 이상의 명령들을 포함할 수 있다. 이러한 명령들은, 장치가, 음원이 초기 섹터 내에 놓여 있는 지 또는 초기 섹터의 특정 부분에 놓여 있는지 여부를 결정하게 할 수 있다. 음원이 디폴트 섹터(default sector) 내에 있지 않다면, 명령들은, 실행될 때, 디폴트 섹터의 특정 부분에 있는 다른 섹터를 선택할 수 있다. 다른 섹터는, 최적 값에 가장 가까운 입력 신호들의 감쇠에 의해 특징지어질 수 있다. 이러한 명령들은, 실행될 때, 마이크로폰 배열(622)로부터의 입력 신호들의 감쇠 및 최적 값으로의 감쇠를 계산할 수 있다. 명령들은, 실행될 때, 장치(600)가, 하나 이상의 섹터들에 대한 입력 신호들의 감쇠 값을 결정하고 감쇠가 최적 값에 가장 가까운 섹터를 선택하게 할 수 있다. 이러한 기술의 실시예들은, 2006년 5월4일에 출원된 미국 특허출원 제11/381,725호, 샤오 동 마오의 "표적이 된 음향 탐지를 위한 방법들 및 장치들"에 기술되어 있다.
관성 센서(632)로부터의 신호들은 추적 정보 입력의 일부분을 제공할 수 있고, 하나 이상의 광원들(634)을 추적하는 영상 캡쳐 유닛(623)으로부터 생성된 신호들은 추적 정보 입력의 또 다른 부분을 제공할 수 있다. 예를 들어, 이러한 "혼합 모드" 신호들은, 쿼터백이, 머리를 좌측으로 움직이면서 위장을 한 후에 우측으로 공을 던지는 풋볼 형태 비디오 게임에서 사용될 수 있다. 구체적으로, 제어기(630)를 잡은 게임 플레이어는, 풋볼과 같이 제어기를 우측으로 휘두르는 던짐 운동을 행하는 동안 좌측으로 머리를 돌리고 소리를 낼 수 있다. "음향 레이더" 프 로그램 코드와 연결된 마이크로폰 배열(622)은 사용자의 음성을 추적할 수 있다. 영상 캡쳐 유닛(623)은 사용자의 머리의 움직임을 추적할 수 있거나 또는 제어기의 음향 또는 사용을 요구하지 않는 다른 명령들을 추적할 수 있다. 센서(632)는 (풋볼을 표현하는) 조이스틱 제어기의 움직임을 추적할 수 있다. 영상 캡쳐 유닛(623)은 제어기(630)의 광원들(634)을 또한 추적할 수 있다. 사용자는, 조이스틱 제어기(630)의 가속도의 특정 분량 및/또는 방향에 도달할 때 또는 제어기(630) 상의 버튼을 누름으로써 유발되는 키 명령이 있을 때, "공"을 던질 수 있다.
본 발명의 특정 실시형태들에 있어서, 가속도계 또는 자이로스코프로부터의 관성 신호는 제어기(630)의 위치를 결정하는 데에 이용될 수 있다. 구체적으로, 가속도계로부터의 가속도 신호는 속도의 변화를 결정하기 위해 시간에 대하여 1번 적분될 수 있으며, 속도는 위치의 변화를 결정하기 위해 시간에 대하여 적분될 수 있다. 일부 시점에서의 초기 위치 및 속도의 값들이 공지되어 있는 경우, 절대 위치는 이러한 값들 및 속도 및 위치에서의 변화들을 사용하여 결정될 수 있다. 관성 센서를 이용한 위치 결정이 영상 캡쳐 유닛(623) 및 광원들(634)을 이용하는 것보다 더 빠르게 행해질 수 있을지라도, 관성 센서(632)는, 시간에 걸쳐 축적된 오차들이 관성 신호로부터 계산된 조이스틱(631)의 위치와 조이스틱 제어기(630)의 실제 위치 사이의 차이 D로 나타날 수 있는 "편차(drift)"로 알려진 유형의 오차가 생기기 쉽다. 본 발명의 실시형태들은 다수의 방식들이 이러한 오차들을 다루는 것을 가능하게 한다.
예를 들어, 편차는, 현재 계산된 위치와 같은 제어기(630)의 초기 위치를 재 설정함으로써 수동식으로 취소될 수 있다. 사용자는, 초기 위치를 재설정하기 위한 명령을 유발하도록 제어기(630) 상의 버튼들 중 하나 이상을 사용할 수 있다. 선택적으로, 영상-기반 편차는, 참고적으로 영상 캡쳐 유닛(623)으로부터 획득된 영상으로부터 결정된 위치로 현재 위치를 재설정함으로써 실시될 수 있다. 이러한 영상-기반 편차 보상은, 예를 들어, 사용자가 조이스틱 제어기(630) 상의 버튼들 중 하나 이상을 당길 때, 수동식으로 실시될 수 있다. 선택적으로, 영상-기반 편차 보상은, 예를 들어, 규칙적인 시간 구간들 또는 게임 플레이에 반응하여 자동적으로 실시될 수 있다. 이러한 기술들은, 메모리(602) 내에 저장되고 프로세서(601)에 의해 실행될 수 있는 프로그램 코드 명령들(604)에 의해 실시될 수 있다.
특정 실시형태들에 있어서, 관성 센서 신호에서의 스퓨리어스 데이터를 보상하는 것이 바람직할 수 있다. 예를 들어, 관성 센서(632)로부터의 신호는 오버샘플링(oversampling)될 수 있고, 가변 평균값은 관성 센서 신호로부터 스퓨리어스 데이터를 제거하기 위해 오버샘플링되는 신호로부터 계산될 수 있다. 일부 상황들에서, 신호를 오버샘플링하고, 데이터 포인트들의 일부 서브세트로부터 높은 값 및/또는 낮은 값을 거부하며, 잔여 데이터 포인트들로부터 가변 평균값을 계산하는 것이 바람직하다. 게다가, 다른 데이터 샘플링 및 조작 기술들은, 스퓨리어스 데이터를 제거하거나 감소시키기 위해 관성 센서로부터의 신호를 조정하는 데에 이용될 수 있다. 기술의 선택은, 신호의 특성, 신호와 관련하여 수행되는 계산들, 게임 플레이의 특성 또는 이들 중 둘 이상의 결합에 의존한다. 이러한 기술들은, 메모리(602) 내에 저장되고 프로세서(601)에 의해 실행될 수 있는 프로그램(604)의 명 령들에 의해 실시될 수 있다.
프로세서(601)는, 메모리(602)에 의해 저장되고 검색되며 프로세서 모듈(601)에 의해 실행되는 데이터(606) 및 프로그램(604)의 프로그램 코드 명령들에 반응하여 이상에서 기술되는 것처럼, 관성 신호 데이터(606)의 분석을 수행할 수 있다. 프로그램(604)의 코드 부분들은, 어셈블리, C++, 자바 또는 다수의 다른 언어들과 같은 다수의 다른 프로그래밍 언어들 중 하나를 따를 수 있다. 프로세서 모듈(601)은, 프로그램 코드(604)와 같은 프로그램들을 실행할 때 전용 컴퓨터가 되는 범용 컴퓨터를 형성한다. 프로그램 코드(604)가 소프트웨어에서 실시되고 범용 컴퓨터에서 실행되는 것처럼 본 명세서에서 기술되더라도, 당업자는, 태스크 관리(task management)의 방법이 ASIC(application specific integrated circuit) 또는 다른 하드웨어 회로와 같은 하드웨어를 이용하여 실시될 수 있다는 것을 인식할 것이다. 본 발명의 실시형태들은, 전체적 또는 부분적으로, 소프트웨어, 하드웨어 또는 이들의 조합으로 실시될 수 있다는 것이 이해되어야 한다.
일 실시형태에 있어서, 프로그램 코드(604)는, 도 5b의 방법(510) 및 도 5c의 방법(520) 또는 이들 중 둘 이상의 결합과 공통되는 특징들을 가지는 방법을 실시하는 한 세트의 프로세서 판독가능 명령들을 포함할 수 있다. 프로그램 코드(604)는, 위치 및/또는 방향 정보를 생성하고 비디오 게임의 플레이 동안 정보를 이용하도록 관성 센서(632)로부터의 신호들을 분석하기 위해 하나 이상의 프로세서들을 안내하는 하나 이상의 명령들을 일반적으로 포함할 수 있다.
프로그램 코드(604)는, 실행될 때, 영상 캡쳐 유닛(623)이 영상 캡쳐 유 닛(623)의 전방의 시야를 감시하고, 시야 내의 광원들(634) 중 하나 이상을 식별하며, 광원들(634)로부터 발생하는 빛의 변화를 탐지하고, 변화 탐지에 반응하여 프로세서(601)로의 입력 명령을 유발하게 하는 하나 이상의 명령들을 포함하는 프로세서 실행가능 명령들을 포함할 수 있다. 게임 제어기의 활동들을 유발하기 위해 영상 캡쳐 장치와 연결된 LED들의 사용은, 2004년 1월16일에 출원된 리차드 엘. 막스의 미국특허출원 제10/759,782호, 광 입력 디바이스를 위한 방법 및 장치에 기술되어 있다.
프로그램 코드(604)는, 예를 들어 이상에서 기술된 것처럼, 실행될 때, 게임 시스템으로의 입력들로서 관성 센서로부터의 신호들, 및 하나 이상의 광원들을 추적하는 영상 캡쳐 유닛으로부터 생성된 신호들을 사용하는 하나 이상의 명령들을 포함하는 프로세서 실행가능 명령들을 포함할 수 있다. 프로그램 코드(604)는, 선택적으로, 실행될 때 관성 센서(632)의 편차를 보상하는 하나 이상의 명령들을 포함하는 프로세서 실행가능 명령들을 선택적으로 포함할 수 있다.
본 발명의 실시형태들이 비디오 게임 제어기(630)와 관련된 실시예들을 이용하여 기술될지라도, 시스템(600)을 포함하는 본 발명의 실시형태들은, 관성 감지 능력, 관성 센서 신호 전송 능력, 무선 또는 다른 것들을 이용하여 임의의 사용자 조작 몸체, 몰딩(molding)된 물체, 손잡이, 구조 등에서 사용될 수 있다.
예를 들어, 본 발명의 실시형태들은 병렬 처리 시스템들에서 실시될 수 있다. 이러한 병렬 처리 시스템들은, 전형적으로 분리된 프로세서들을 이용하여 병렬로 프로그램의 부분들을 실행하도록 구성된 2개 이상의 프로세서 요소들을 포함한 다. 예를 들어, 도 7은, 본 발명의 실시형태에 따른 셀 프로세서(cell processor; 700)의 유형을 도시한다. 셀 프로세서(700)는, 도 6의 프로세서(601) 또는 도 5a의 프로세서(502)로서 사용될 수 있다. 도 7에 도시된 실시예에 있어서, 셀 프로세서(700)는 메인 메모리(702), 파워 프로세서 요소(PPE; power processor element; 704), 및 다수의 시너지스틱 프로세서 요소들(SPEs; synergistic processor elements; 706)을 포함한다. 도 7에 도시된 실시예에서, 셀 프로세서(700)는 단일 PPE(704) 및 8개의 SPE(706)를 포함한다. 셀 프로세서는 복수의 그룹들의 PPE들(PPE 그룹들) 및 복수의 그룹들의 SPE들(SPE 그룹들)을 선택적으로 포함할 수 있다. 이러한 경우에, 하드웨어 자원들은 그룹 내의 유닛들 사이에서 공유될 수 있다. 그러나, SPE들 및 PPE들은 독립된 요소들로서의 소프트웨어로 나타나야 한다. 이와 같이, 본 발명의 실시형태들은 도 7에 도시된 구성의 사용에 제한되지 않는다.
주 메모리(702)는, 전형적으로 시스템 구성, 데이터-전송 동기화, 메모리-맵형 I/O(memory-mapped I/O), 및 I/O 서브시스템들과 같은 기능들에 사용되는 전용 하드웨어 레지스터들 또는 배열들과 같은, 범용 및 비휘발성 스토리지 모두를 포함한다. 본 발명의 실시형태들에 있어서, 비디오 게임 프로그램(703)은 주 메모리(702) 내에 내재할 수 있다. 메모리(702)는 또한 신호 데이터(709)를 포함할 수 있다. 비디오 프로그램(703)은, 도 4, 5a, 5b 또는 5c와 관련하여 기술된 것처럼 구성된 관성, 영상 및 음향 분석기들 및 믹서를 포함할 수 있다. 프로그램(703)은 PPE 상에서 실행될 수 있다. 프로그램(703)은, SPE들 및/또는 PPE 상에서 실행될 수 있는 복수의 신호 처리 태스크들로 분할될 수 있다.
예를 들어, PPE(704)는 관련 캐시들(L1 및 L2)을 가진 64-비트 파워PC 프로세서 유닛(PPU; PowerPC Processor Unit)일 수 있다. PPE(704)는 (예를 들어, 메모리-보호 테이블들과 같은) 시스템 관리 자원들에 접근할 수 있는 범용 처리 유닛이다. 하드웨어 자원들은 PPE에 의해 보여지는 것처럼 실주소 공간으로 명시적으로 매핑될 수 있다. 그러므로, PPE는, 적절한 효과적인 주소 값을 사용함으로써 이러한 자원들을 직접 어드레스 지정할 수 있다. PPE(704)의 주요 기능은 셀 프로세서(700) 내의 SPE들(706)에 대한 태스크들의 관리 및 할당이다.
도 7에 도시된 단일 PPE는 셀 광대역 엔진 아키텍쳐와 같은 일부 셀 프로세서 실시형태들일지라도, 셀 프로세서(700)는 2개 이상이 있을 수 있는 PPE 그룹들로 조직된 복수의 PPE들을 가질 수 있다. 이러한 PPE 그룹들은 주 메모리(702)로의 접근을 공유할 수 있다. 게다가, 셀 프로세서(700)는 2개 이상의 그룹들 SPE들을 포함할 수 있다. SPE 그룹들은 주 메모리(702)로의 접근을 또한 공유할 수 있다. 이러한 구성들은 본 발명의 범위 내에 있다.
각각의 SPE(706)는 시너지스틱 프로세서 유닛(SPU) 및 자신의 로컬 스토리지 영역(LS)을 포함한다. 로컬 스토리지(LS)는 메모리 스토리지 중 하나 이상의 개별적인 영역들을 포함할 수 있고, 각각은 특정 SPU와 관련된다. 각각의 SPU는, 자신의 관련된 로컬 스토리지 영역 내로부터의 (데이터 부하 및 데이터 저장 동작들을 포함하는) 명령들을 실행하도록 구성될 수 있다. 이러한 구성에서, 로컬 스토리지(LS)와 시스템(700) 내의 다른 곳 사이의 데이터 전송들은, (개별적인 SPE의) 로 컬 스토리지 영역으로 또는 그로부터 데이터를 전송하기 위해 메모리 흐름 제어기(MFC; memory flow controller)로부터의 직접 메모리 접근(DMA; direct memory access) 명령들을 배포함으로써 수행될 수 있다. SPU들은, 임의의 시스템 관리 기능들을 수행하지 않는다는 점에서 PPE(704)보다 덜 복잡한 연산 유닛들이다. SPU는 일반적으로 단일 명령 복수 데이터(SIMD; single instruction multiple data) 능력을 가지고, 전형적으로 데이터를 처리하며, 할당된 태스크들을 수행하기 위해 (PPE에 의해 설정된 특성들에 접근하는) 임의의 필요한 데이터 전송들을 초기화한다. SPU의 목적은, 더 높은 연산 유닛 밀도를 필요로 하고 제공된 명령 세트를 효과적으로 사용할 수 있는 어플리케이션들을 기능하게 하는 것이다. PPE(704)에 의해 관리되는 시스템에서의 다수의 SPE들은, 넓은 범위의 어플리케이션들에 대하여 비용면에서 효과적인 처리를 가능하게 한다.
각각의 SPE(706)는, 메모리-보호 및 접근-허가 정보를 유지하고 처리할 수 있는 관련 메모리 관리 유닛을 포함하는 전용 메모리 흐름 제어기(MFC; memory flow controller)를 포함할 수 있다. MFC는, 셀 프로세서의 주 스토리지와 SPE의 로컬 스토리지 사이의 데이터 전송, 보호 및 동기화를 위한 주요 방법을 제공한다. MFC 명령은 수행될 전송을 기술한다. 데이터를 전송하기 위한 명령들은 MFC 직접 메모리 접근 명령들(MFC DMA commands)로서 칭해진다.
각각의 MFC는 동시에 복수의 DMA 전송들을 지지할 수 있고, 복수의 MFC 명령들을 유지하고 처리할 수 있다. 각각의 MFC DMA 데이터 전송 명령 요청은 로컬 스토리지 주소(LSA; local storage address) 및 유효 주소(EA; effective address)를 모두 포함할 수 있다. 로컬 스토리지 주소는 관련 SPE의 로컬 스토리지 영역만을 직접 어드레스 지정할 수 있다. 유효 주소는 더욱 일반적인 어플리케이션을 가질 수 있고, 예를 들어 SPE 로컬 스토리지 영역들 모두가 실주소 공간으로 보이는 경우에는, 상기 SPE 로컬 스토리지 영역들 모두를 포함하여, 주 스토리지를 참조할 수 있다.
SPE들(706) 사이 및/또는 SPE들(706) 및 PPE(704) 사이의 통신을 도모하기 위해, SPE들(706) 및 PPE(704)는 이벤트들을 신호로 보내는 것에 귀착되는 신호 통지 레지스터들을 포함할 수 있다. PPE(704) 및 SPE들(706)은, PPE(704)가 SPE들(706)로 메시지를 송신하기 위한 라우터로서 동작하는 스타 토폴로지(star topology)에 의해 결합될 수 있다. 선택적으로, 각각의 SPE(706) 및 PPE(704)는 우편함으로서 칭해지는 일방향 신호 통지 레지스터를 가질 수 있다. 우편함은 운영 체제(OS; operating system) 동기화를 호스팅(hosting)하기 위해 SPE(706)에 의해 사용될 수 있다.
셀 프로세서(700)는, 셀 프로세서(700)가 마이크로폰 배열(712) 및 선택적인 영상 캡쳐 유닛(713)과 같은 주변 장치들, 및 게임 제어기(730)와 인터페이스할 수 있는 입력/출력(I/O) 기능(708)을 포함할 수 있다. 게임 제어기 유닛은 관성 센서(732) 및 광원들(734)을 포함할 수 있다. 게다가, 요소 상호접속 버스(element interconnect bus; 710)는 이상에서 열거된 다양한 구성요소들을 연결할 수 있다. 각각의 SPE 및 PPE는 버스 인터페이스 유닛들(BIU)을 통하여 버스(710)에 접근할 수 있다. 셀 프로세서(700)는 프로세서 내에서 전형적으로 발견되는 다음과 같은 2 개의 제어기들을 또한 포함한다: 버스(710)와 주 메모리(702) 사이의 데이터의 흐름을 제어하는 메모리 인터페이스 제어기(MIC), 및 I/O(708)와 버스(710) 사이의 데이터의 흐름을 제어하는 버스 인터페이스 제어기(BIC). MIC, BIC, BIU들 및 버스(710)에 대한 요건들이 다른 실시형태들에 대하여 넓게 변화할지라도, 당업자라면 그것들을 실시하기 위한 기능들 및 회로들에 대하여 잘 알것이다.
셀 프로세서(700)는 내부 인터럽트 제어기(IIC; internal interrupt controller)를 또한 포함할 수 있다. IIC 구성요소는 PPE에 제공된 인터럽트들의 우선순위를 관리한다. IIC는, 셀 프로세서(700)와 다른 구성요소들로부터의 인터럽트들이 주 시스템 인터럽트 제어기를 이용하지 않으면서 취급되는 것을 가능하게 한다. IIC는 제 2 레벨 제어기로서 간주될 수 있다. 주 시스템 인터럽트 제어기는 셀 프로세서의 외부에서 발생하는 인터럽트들을 취급할 수 있다.
본 발명의 실시형태들에 있어서, 이상에서 기술된 소수 지연들과 같은 특정 연산들이 PPE(704) 및/또는 SPE(706) 중 하나 이상을 이용하여 병렬로 수행될 수 있다. 각각의 소수 지연 계산은, 다른 SPE(706)가 이용가능한 하나 이상의 개별적인 태스크들로서 실행될 수 있다.
본 발명의 바람직한 실시형태의 상세한 설명이 이상에 기술되어 있지만, 다양한 변형물들 및 균등물들을 사용하는 것이 가능하다. 그러므로, 본 발명의 범위는 이상의 상세한 설명과 관련없이 결정되어야 하지만, 균등물의 범위에 따라서 첨부된 청구범위와 관련하여 결정되어야 한다. 본 명세서에 기술된 임의의 특징은, 바람직한지 여부에 상관없이, 본 명세서에 기술된 다른 특징과 결합될 수 있다. 이하의 청구범위에서, 부정 관사 "A" 또는 "An"은, 표현적으로 다르게 기재되어 있지 않다면, 관사를 따르는 아이템(item)의 하나 이상의 분량을 칭한다. 수단-플러스-기능(means-plus-function) 한정이 용어 "~을 위한 수단"을 이용하는 주어진 청구항에서 명확히 인용되지 않는다면, 첨부된 청구범위는 수단-플러스-기능 한정을 포함하는 것으로 해석되지 않는다.

Claims (54)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제 1 입력 채널(channel)을 경유하여 제 1 입력 채널 정보를 수신하도록 동작가능한 제 1 분석기를 포함하는, 게임 환경 내의 사용자 조작들을 추적하기 위한 시스템으로서,
    상기 제 1 입력 채널 정보는 상기 환경 내의 상기 사용자 조작들을 나타내며, 상기 제 1 분석기는, 게임 프로그램의 실행 동안 상기 게임 프로그램에 의해 상기 사용자 조작들을 등록하기 위한 제 1 출력 정보를 생성하기 위해 상기 제 1 입력 채널 정보를 분석하도록 더 동작가능한 것을 특징으로 하는 시스템.
  18. 제 17 항에 있어서,
    상기 환경 내의 상기 사용자 조작들을 나타내는 제 2 입력 채널 정보를 제 2 입력 채널로부터 수신하도록 동작가능한 제 2 분석기; 및
    상기 제 1 출력 정보로부터 상기 사용자 조작들의 제 1 종류와 관련된 정보를 선택하고, 제 2 출력 정보로부터 상기 사용자 조작들의 제 2 종류와 관련된 정보를 선택하며, 상기 선택된 제 1 출력 정보 및 상기 선택된 제 2 출력 정보에 근거하여 상기 게임 프로그램으로 공급하기 위한 혼합된 출력 정보를 생성하도록 동작가능한 프로그래밍가능 믹서를 더 포함하며,
    상기 제 2 분석기는, 게임 프로그램의 실행 동안 상기 게임 프로그램에 의해 상기 사용자 조작들을 등록하기 위한 상기 제 2 출력 정보를 생성하기 위해 상기 제 2 채널 정보를 분석하도록 더 동작가능한 것을 특징으로 하는 시스템.
  19. 제 18 항에 있어서,
    상기 환경 내의 상기 사용자 조작들을 나타내는 제 3 입력 채널 정보를 제 3 입력 채널로부터 수신하도록 동작가능한 제 3 분석기를 더 포함하고,
    상기 제 3 분석기는 게임 프로그램의 실행 동안 상기 게임 프로그램에 의해 상기 사용자 조작들을 등록시키기 위한 제 3 출력 정보를 생성하기 위해 상기 제 3 출력 정보를 분석하도록 동작가능하며,
    상기 프로그래밍가능 믹서는, 상기 제 3 출력 정보로부터 상기 사용자 조작들의 제 3 종류와 관련된 정보를 선택하고, 상기 선택된 제 1 출력 정보, 선택된 제 2 출력 정보 및 선택된 제 3 출력 정보 중 각각에 근거하여 상기 게임 프로그램으로의 공급을 위한 혼합된 출력 정보를 생성하도록 더 동작가능한 것을 특징으로 하는 시스템.
  20. 제 18 항에 있어서,
    상기 제 1 입력 채널 정보는 상기 환경 내의 사용자 조작들을 감지하기 위한 제 1 유형의 센서를 이용하여 얻어질 수 있는 정보를 포함하고, 상기 제 2 입력 채널 정보는 상기 제 1 유형의 센서와 다른, 상기 환경 내의 사용자 조작들을 감지하기 위한 제 2 유형의 센서를 이용하여 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  21. 제 20 항에 있어서, 상기 제 1 입력 채널 정보는 핸드-헬드 제어기(hand-held controller)의 조작을 통하여 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  22. 제 20 항에 있어서, 상기 제 1 입력 채널 정보는 사용자의 몸체의 적어도 일부분의 이동을 추적함으로써 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  23. 제 20 항에 있어서, 상기 제 1 분석기는 관성 분석기를 포함하고, 상기 제 1 입력 채널 정보는 관성 센서에 의해 얻어질 수 있는 관성 정보를 포함하는 것을 특징으로 하는 시스템.
  24. 제 23 항에 있어서, 상기 관성 센서는 가속도계 또는 자이로스코프 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
  25. 제 20 항에 있어서, 상기 제 2 분석기는 비디오 분석기를 포함하고, 상기 제 2 입력 채널 정보는 영상 캡쳐 장치로부터 얻어질 수 있는 영상 내의 사용자-이동가능 물체의 위치를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  26. 제 25 항에 있어서, 상기 영상 캡쳐 장치는 카메라를 포함하는 것을 특징으로 하는 시스템.
  27. 제 24 항에 있어서, 상기 제 2 분석기는 음향 분석기를 포함하고, 상기 제 2 입력 채널 정보는 음향 픽업 장치(acoustic pick-up device)를 이용하여 사용자-조작가능 음원을 변환함으로써 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  28. 제 27 항에 있어서, 상기 음향 픽업 장치는 마이크로폰을 포함하는 것을 특징으로 하는 시스템.
  29. 제 27 항에 있어서, 상기 제 2 입력 채널 정보는 상기 환경 내의 음성을 변환함으로써 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  30. 제 27 항에 있어서, 상기 제 2 입력 채널 정보는 상기 환경 내의 음성의 위치를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  31. 제 27 항에 있어서, 상기 제 2 입력 채널 정보는 상기 환경 내의 표지의 위치를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  32. 제 27 항에 있어서, 상기 제 2 입력 채널 정보는 상기 환경 내의 사용자-이동가능 표지의 위치를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  33. 제19항에 있어서,
    상기 제 1 분석기는 관성 분석기를 포함하고 상기 제 1 입력 채널 정보는 관성 센서에 의해 얻어질 수 있는 관성 정보를 포함하며, 상기 제 2 분석기는 비디오 분석기를 포함하고 상기 제 2 입력 채널 정보는 영상 캡쳐 장치로부터 얻어질 수 있는 영상 내의 사용자-이동가능 물체의 위치를 가리키는 정보를 포함하며, 상기 제 3 분석기는 음향 분석기를 포함하고 상기 제 3 입력 채널 정보는 음향 픽업 장치를 이용하여 사용자-조작가능 음원을 변환함으로써 얻어질 수 있는 정보를 포함하는 것을 특징으로 하는 시스템.
  34. 제 33 항에 있어서, 상기 제 2 입력 채널 정보는 상기 환경 내의 상기 사용자-조작가능 음원의 위치를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  35. 제 19 항에 있어서,
    상기 제 1 입력 채널 정보, 제 2 입력 채널 정보 또는 제 3 입력 채널 정보 중 적어도 일부는 상기 환경 내의 사용자-조작가능 물체의 가속도를 나타내는 것을 특징으로 하는 시스템.
  36. 제 19 항에 있어서, 상기 제 1 입력 채널 정보, 제 2 입력 채널 정보 또는 제 3 입력 채널 정보 중 적어도 일부는 상기 환경 내의 사용자-조작가능 물체의 속도를 나타내는 것을 특징으로 하는 시스템.
  37. 제 19 항에 있어서, 상기 제 1 입력 채널 정보, 제 2 입력 채널 정보 또는 제 3 입력 채널 정보 중 적어도 일부는 상기 환경 내의 사용자-조작가능 물체의 방향을 나타내는 것을 특징으로 하는 시스템.
  38. 제 37 항에 있어서, 상기 사용자-조작가능 물체의 방향은 피치, 요 및 롤 중 적어도 하나를 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  39. 제 37 항에 있어서, 상기 사용자-조작가능 물체의 방향은 피치, 요 및 롤을 가리키는 정보를 포함하는 것을 특징으로 하는 시스템.
  40. 제 18 항에 있어서,
    상기 제 1 입력 채널 정보 및 제 2 입력 채널 정보 중 적어도 어느 하나는 적어도 2개의 직교 축들에 의해 정의된 좌표 공간 내의 상기 사용자-조작가능 물체의 위치를 나타내는 것을 특징으로 하는 시스템.
  41. 제 40 항에 있어서, 상기 적어도 일부의 정보는 적어도 3개이 직교 축들에 의해 정의된 좌표 공간 내의 상기 사용자-조작가능 물체의 위치를 나타내는 것을 특징으로 하는 시스템.
  42. 제 18 항에 있어서, 상기 프로그래밍가능 믹서는, 상기 제 1 출력 정보로부터 상기 사용자 조작들의 제 1 종류와 관련된 정보를 선택하고, 상기 제 2 출력 정보로부터 상기 사용자 조작들의 제 2 종류와 관련된 정보를 선택하도록 동작가능한 것을 특징으로 하는 시스템.
  43. 제 42 항에 있어서, 상기 프로그래밍가능 믹서는, 부분적으로는 상기 제 1 출력 정보로부터 그리고 부분적으로는 상기 제 2 출력 정보로부터 상기 사용자 조작들의 제 1 종류와 관련된 정보를 선택하도록 동작가능한 것을 특징으로 하는 시스템.
  44. 제 18 항에 있어서,
    상기 프로그래밍가능 믹서는, 상기 사용자 조작들의 제 1 종류와 관련된 제 1 출력 정보를 상기 제 1 종류와 관련된 제 2 출력 정보와 평균함으로써 상기 제 1 종류와 관련된 출력 정보를 생성하도록 동작가능한 것을 특징으로 하는 시스템.
  45. 제 44 항에 있어서, 상기 제 1 출력 정보 및 상기 제 2 출력 정보는 다른 가중치들을 할당받고, 상기 프로그래밍가능 믹서는 상기 다른 가중치들에 따라서 가중 평균으로서 평균화를 수행하도록 동작가능한 것을 특징으로 하는 시스템.
  46. 제 17 항 또는 제 18 항에 있어서, 상기 제 1 분석기는 동작의 모델을 저장하도록 동작가능하고, 사용자 조작들이 상기 모델과 부합할 때 동작을 탐지하도록 시간 구간에 걸쳐 상기 제 1 입력 채널 정보를 분석하도록 동작가능하고, 그리고 상기 동작을 탐지할 때 신호를 생성하도록 동작가능한 것을 특징으로 하는 시스템.
  47. 제 18 항에 있어서,
    상기 제 1 분석기, 상기 제 2 분석기 및 상기 프로그래밍가능 믹서 중 적어도 하나는 대응하는 입력 채널 정보의 분석에 근거하여 사용자를 식별하도록 동작가능한 것을 특징으로 하는 시스템.
  48. 제 18 항에 있어서, 상기 제 1 분석기, 상기 제 2 분석기 및 상기 프로그래밍가능 믹서 중 적어도 하나는 대응하는 입력 채널 정보의 분석에 근거하여 사용자를 인증하도록 동작가능한 것을 특징으로 하는 시스템.
  49. 제 18 항에 있어서, 상기 제 1 분석기, 상기 제 2 분석기 및 상기 프로그래밍가능 믹서 중 적어도 하나는 사용자를 식별하는 것에 반응하여 상기 사용자를 인증하도록 동작가능한 것을 특징으로 하는 시스템.
  50. 제 18 항에 있어서, 상기 제 1 분석기, 상기 제 2 분석기 및 상기 프로그래밍가능 믹서 중 적어도 하나는 제 1 사용자의 사용자 조작과 제 2 사용자의 사용자 조작을 구별하기 위해 대응하는 입력 채널 정보를 분석하도록 동작가능한 것을 특징으로 하는 시스템.
  51. 제 18 항에 있어서, 상기 제 1 분석기, 상기 제 2 분석기 및 상기 프로그래밍가능 믹서 중 적어도 하나는, 상기 게임 프로그램으로 제 1 사용자의 사용자 조작들을 등록하기 위한 제 1 서브채널(subchannel) 출력 정보 및 상기 게임 프로그램으로 제 2 사용자의 사용자 조작들을 등록하기 위한 제 2 서브채널 출력 정보를 포함하도록 대응하는 출력 정보를 생성하기 위해 대응하는 입력 채널 정보를 분석하도록 동작가능한 것을 특징으로 하는 시스템.
  52. 제 18 항에 있어서, 상기 제 1 입력 채널 정보 및 상기 제 2 입력 채널 정보 중 적어도 하나는 영상 캡쳐 장치로부터 얻을 수 있는 영상 입력 채널 정보를 포함하는 것을 특징으로 하는 시스템.
  53. 제 18 항에 있어서, 상기 제 1 입력 채널 정보 및 상기 제 2 입력 채널 정보 중 적어도 하나는, 가속도계 또는 자이로스코프 중 적어도 하나로부터 선택된 관성 센서로부터 얻어질 수 있는 관성 감지 정보를 포함하는 것을 특징으로 하는 시스템.
  54. 제 18 항에 있어서, 상기 제 1 입력 채널 정보 및 상기 제 2 입력 채널 정보 중 하나는, 음향 변환기로부터 얻어질 수 있는 음향 입력 채널 정보를 포함하는 것을 특징으로 하는 시스템.
KR1020087029704A 2006-05-04 2007-04-19 다중 입력 게임 제어 믹서 KR101020510B1 (ko)

Applications Claiming Priority (54)

Application Number Priority Date Filing Date Title
US11/381,729 2006-05-04
US11/429,414 2006-05-04
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/429,047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/381,728 2006-05-04
US11/381,727 2006-05-04
US11/381,721 2006-05-04
US11/429,133 US7760248B2 (en) 2002-07-27 2006-05-04 Selective sound source listening in conjunction with computer interactive processing
US11/429,047 2006-05-04
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11/429,414 US7627139B2 (en) 2002-07-27 2006-05-04 Computer image and audio processing of intensity and input devices for interfacing with a computer program
US11/418,988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/429,133 2006-05-04
US11/381,724 2006-05-04
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11/418,988 2006-05-04
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/381,725 2006-05-04
US11/418,989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11/418,989 2006-05-04
US25935006A 2006-05-06 2006-05-06
US79803106P 2006-05-06 2006-05-06
US25934806A 2006-05-06 2006-05-06
US25934906A 2006-05-06 2006-05-06
US11/382,037 US8313380B2 (en) 2002-07-27 2006-05-06 Scheme for translating movements of a hand-held controller into inputs for a system
US11/382,031 2006-05-06
US11/382,032 US7850526B2 (en) 2002-07-27 2006-05-06 System for tracking user manipulations within an environment
US11/382,037 2006-05-06
US60/798,031 2006-05-06
US11/382,036 2006-05-06
US29/259,349 2006-05-06
US11/382,036 US9474968B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to visual tracking
US11/382,035 2006-05-06
US11/382,034 US20060256081A1 (en) 2002-07-27 2006-05-06 Scheme for detecting and tracking user manipulation of a game controller body
US11/382,035 US8797260B2 (en) 2002-07-27 2006-05-06 Inertially trackable hand-held controller
US29/259,348 2006-05-06
US11/382,038 US7352358B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to acoustical tracking
US11/382,033 2006-05-06
US11/382,033 US8686939B2 (en) 2002-07-27 2006-05-06 System, method, and apparatus for three-dimensional input control
US11/382,032 2006-05-06
US11/382,034 2006-05-06
US11/382,038 2006-05-06
US11/382,031 US7918733B2 (en) 2002-07-27 2006-05-06 Multi-input game control mixer
US29/259,350 2006-05-06
US11/382,043 US20060264260A1 (en) 2002-07-27 2006-05-07 Detectable and trackable hand-held controller
US11/382,041 US7352359B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to inertial tracking
US11/382,040 2006-05-07
US11/382,043 2006-05-07
US11/382,039 US9393487B2 (en) 2002-07-27 2006-05-07 Method for mapping movements of a hand-held controller to game commands
US11/382,040 US7391409B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to multi-channel mixed input
US11/382,041 2006-05-07
US11/382,039 2006-05-07

Publications (2)

Publication Number Publication Date
KR20090007789A KR20090007789A (ko) 2009-01-20
KR101020510B1 true KR101020510B1 (ko) 2011-03-11

Family

ID=56290948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087029704A KR101020510B1 (ko) 2006-05-04 2007-04-19 다중 입력 게임 제어 믹서

Country Status (2)

Country Link
EP (1) EP2011109A4 (ko)
KR (1) KR101020510B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070128A (ko) * 2012-10-15 2015-06-24 소니 컴퓨터 엔터테인먼트 인코포레이티드 조작 디바이스
US10603576B2 (en) 2012-10-15 2020-03-31 Sony Interactive Entertainment Inc. Operating device including a touch sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5554980A (en) * 1993-03-12 1996-09-10 Mitsubishi Denki Kabushiki Kaisha Remote control system
US6699123B2 (en) 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4027031B2 (ja) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
JP4028708B2 (ja) * 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20040212589A1 (en) * 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5554980A (en) * 1993-03-12 1996-09-10 Mitsubishi Denki Kabushiki Kaisha Remote control system
US6699123B2 (en) 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070128A (ko) * 2012-10-15 2015-06-24 소니 컴퓨터 엔터테인먼트 인코포레이티드 조작 디바이스
US10507386B2 (en) 2012-10-15 2019-12-17 Sony Interactive Entertainment Inc. Operating device
US10603576B2 (en) 2012-10-15 2020-03-31 Sony Interactive Entertainment Inc. Operating device including a touch sensor
KR102131719B1 (ko) * 2012-10-15 2020-07-09 주식회사 소니 인터랙티브 엔터테인먼트 조작 디바이스

Also Published As

Publication number Publication date
EP2011109A4 (en) 2010-11-24
KR20090007789A (ko) 2009-01-20
EP2011109A2 (en) 2009-01-07

Similar Documents

Publication Publication Date Title
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US7918733B2 (en) Multi-input game control mixer
US7850526B2 (en) System for tracking user manipulations within an environment
US7737944B2 (en) Method and system for adding a new player to a game in response to controller activity
US7854655B2 (en) Obtaining input for controlling execution of a game program
US9682320B2 (en) Inertially trackable hand-held controller
US9009747B2 (en) Gesture cataloging and recognition
US8686939B2 (en) System, method, and apparatus for three-dimensional input control
US20070015559A1 (en) Method and apparatus for use in determining lack of user activity in relation to a system
WO2007130793A2 (en) Obtaining input for controlling execution of a game program
US20130084981A1 (en) Controller for providing inputs to control execution of a program when inputs are combined
WO2007130872A2 (en) Method and apparatus for use in determining lack of user activity, determining an activity level of a user, and/or adding a new player in relation to a system
EP2012891B1 (en) Method and apparatus for use in determining lack of user activity, determining an activity level of a user, and/or adding a new player in relation to a system
WO2007130791A2 (en) Multi-input game control mixer
KR101020510B1 (ko) 다중 입력 게임 제어 믹서
KR101020509B1 (ko) 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법
EP1852164A2 (en) Obtaining input for controlling execution of a game program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160223

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190222

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 10