KR20110103434A - 게임 시스템, 조작 장치 및 게임 처리 방법 - Google Patents

게임 시스템, 조작 장치 및 게임 처리 방법 Download PDF

Info

Publication number
KR20110103434A
KR20110103434A KR1020117016995A KR20117016995A KR20110103434A KR 20110103434 A KR20110103434 A KR 20110103434A KR 1020117016995 A KR1020117016995 A KR 1020117016995A KR 20117016995 A KR20117016995 A KR 20117016995A KR 20110103434 A KR20110103434 A KR 20110103434A
Authority
KR
South Korea
Prior art keywords
game
data
image
controller
terminal device
Prior art date
Application number
KR1020117016995A
Other languages
English (en)
Other versions
KR101287696B1 (ko
Inventor
겐요 다께다
에이지 가와이
Original Assignee
닌텐도가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010022023A external-priority patent/JP2011156260A/ja
Priority claimed from JP2010022022A external-priority patent/JP5727705B2/ja
Priority claimed from JP2010245299A external-priority patent/JP4798809B1/ja
Application filed by 닌텐도가부시키가이샤 filed Critical 닌텐도가부시키가이샤
Publication of KR20110103434A publication Critical patent/KR20110103434A/ko
Application granted granted Critical
Publication of KR101287696B1 publication Critical patent/KR101287696B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/403—Connection between platform and handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering

Abstract

게임 시스템은, 거치형의 게임 장치와 단말 장치를 포함한다. 단말 장치는, 터치 패널과 관성 센서를 구비하고, 터치 패널 및 관성 센서의 출력 데이터를 포함하는 조작 데이터를 게임 장치로 무선으로 송신한다. 게임 장치는, 단말 장치로부터 조작 데이터를 수신하고, 조작 데이터에 기초하여 게임 처리를 실행한다. 또한, 게임 처리에 기초하여 제1 게임 화상 및 제2 게임 화상을 순서대로 생성한다. 제1 게임 화상은 순서대로 압축되어, 압축 화상 데이터가 단말 장치로 무선으로 순서대로 송신된다. 제2 게임 화상은, 단말 장치와는 별개 부재의 외부 표시 장치에 순서대로 출력되어 표시된다. 또한, 단말 장치는, 게임 장치로부터 압축 화상 데이터를 순서대로 수신하고, 수신한 압축 화상 데이터를 신장하여, 제1 게임 화상을 표시부에 순서대로 표시한다.

Description

게임 시스템, 조작 장치 및 게임 처리 방법{GAME SYSTEM, CONTROLLER DEVICE, AND GAME PROCESS METHOD}
본 발명은, 플레이어가 움직여 조작하는 것이 가능한 조작 장치를 포함하는 게임 시스템, 및 당해 게임 시스템에 있어서의 조작 장치 및 게임 처리 방법에 관한 것이다.
종래, 플레이어가 조작 장치 자체를 움직여 게임 조작을 행할 수 있는 게임 시스템이 있다(예를 들어, 특허문헌 1 참조). 예를 들어 특허문헌 1에 기재된 게임 시스템에 있어서는, 조작 장치는 가속도 센서나 촬상 소자와 같은 부재를 구비하고 있고, 이들 부재에 의해 게임 장치는 조작 장치의 움직임을 산출(추측)할 수 있다. 이에 따르면, 플레이어는, 조작 장치 자체를 움직임으로써 게임 조작을 행할 수 있으므로, 버튼이나 스틱을 조작만 하는 경우에 비하여, 보다 직감적인 조작이나, 보다 사실적인 조작이나, 혹은 보다 복잡한 조작 등이 가능해진다.
일본 특허 제4265814호 명세서
특허문헌 1에 기재된 게임 시스템에 있어서는, 게임 화상은 조작 장치와는 별개 부재의 표시 장치에 표시되고, 플레이어는 표시 장치의 화면을 보면서, 손에 든 조작 장치에 의해 게임 조작을 행하게 된다. 따라서, 상기 게임 시스템에 있어서는, 플레이어는 화면에 표시되는 게임 화상에 대하여 직접 조작을 행할 수는 없었다. 즉, 플레이어는, 예를 들어 조작 장치를 화면 쪽을 향함으로써 화면 상의 원하는 위치를 지시하는 조작을 행할 수는 있지만, 예를 들어 화면에 직접 터치하는 조작이나, 화면 자체를 움직이는 조작을 행할 수는 없었다.
그러므로, 본 발명의 목적은, 신규 게임 조작을 행하는 것이 가능한 게임 시스템, 조작 장치 및 게임 처리 방법을 제공하는 것이다.
본 발명은, 상기한 과제를 해결하기 위하여, 이하의 <1> 내지 <10>의 구성을 채용하였다.
<1>
본 발명의 일례는, 거치형의 게임 장치와, 제1 조작 장치를 포함하는 게임 시스템이다.
게임 장치는, 제1 조작 데이터 수신부와, 게임 처리부와, 화상 생성부와, 게임 화상 압축부와, 게임 화상 송신부와, 화상 출력부를 구비한다. 제1 조작 데이터 수신부는, 제1 조작 장치로부터 제1 조작 데이터를 수신한다. 게임 처리부는, 제1 조작 데이터에 기초하여 게임 처리를 실행한다. 화상 생성부는, 게임 처리에 기초하여 제1 게임 화상 및 제2 게임 화상을 순서대로 생성한다. 게임 화상 압축부는, 제1 게임 화상을 순서대로 압축하여 압축 화상 데이터를 생성한다. 게임 화상 송신부는, 압축 화상 데이터를 제1 조작 장치로 무선으로 순서대로 송신한다. 화상 출력부는, 제1 조작 장치와는 별개 부재의 외부 표시 장치에 제2 게임 화상을 순서대로 출력한다.
또한, 제1 조작 장치는, 표시부와, 터치 패널과, 관성 센서와, 제1 조작 데이터 송신부와, 게임 화상 수신부와, 게임 화상 신장부를 구비한다. 터치 패널은, 표시부의 화면에 설치된다. 제1 조작 데이터 송신부는, 터치 패널 및 관성 센서의 출력 데이터를 포함하는 제1 조작 데이터를 게임 장치로 무선으로 송신한다. 게임 화상 수신부는, 게임 장치로부터 압축 화상 데이터를 순서대로 수신한다. 게임 화상 신장부는, 압축 화상 데이터를 순서대로 신장하여 제1 게임 화상을 얻는다. 표시부는, 신장에 의해 얻어진 제1 게임 화상을 순서대로 표시한다.
상기 「게임 장치」는, 게임 처리를 실행하고, 게임 처리에 기초하여 화상을 생성하는 정보 처리 장치이면 어떠한 것이어도 된다. 상기 게임 장치는, 게임 전용의 정보 처리 장치이어도 되고, 일반적인 퍼스널 컴퓨터와 같은 다용도의 정보 처리 장치이어도 된다.
상기 「제1 조작 장치」는, 상기의 표시부, 터치 패널, 관성 센서, 제1 조작 데이터 송신부, 게임 화상 수신부 및 게임 화상 신장부를 적어도 구비하고 있으면 되고, 후술하는 실시 형태에 있어서의 단말 장치와 같이 다른 구성을 구비하고 있어도 되고, 구비하고 있지 않아도 된다.
상기 「게임 시스템」은, 게임 장치 및 제1 조작 장치를 포함하고 있으면 되고, 제2 게임 화상을 표시하는 상기 외부 표시 장치를 포함하고 있지 않아도 되고, 포함하고 있어도 된다. 즉, 게임 시스템은, 당해 외부 표시 장치를 포함하지 않는 형태로 제공되어도 되고, 포함하는 형태로 제공되어도 된다.
상기 「외부 표시 장치」란, 제1 조작 장치와 별개 부재이면 되고, 후술하는 실시 형태에 있어서의 텔레비전(2) 외에, 게임 장치에 의해 생성된 제2 게임 화상을 표시하는 것이 가능한 것이면 어떤 것이어도 된다. 예를 들어, 외부 표시 장치는, 게임 장치와 일체로서(1개의 하우징 내에) 형성되는 것이어도 된다.
상기 <1>의 구성에 따르면, 제1 조작 장치는, 터치 패널 및 관성 센서를 구비하고, 게임 장치는, 터치 패널 및 관성 센서의 출력 데이터를 포함하는 제1 조작 데이터에 기초하여 게임 처리를 실행한다. 이에 따르면, 플레이어는, 제1 조작 장치의 화면을 직접 터치하거나, 화면 자체(제1 조작 장치 자체)를 움직이거나 함으로써 게임 조작을 행할 수 있다. 즉, 상기 <1>의 구성에 따르면, 화면에 표시되는 게임 화상에 대하여 직접 조작을 행하는 신규 게임 조작을 플레이어에게 제공할 수 있다.
또한, 상기 <1>의 구성에서는, 제1 조작 장치의 화면에 표시되는 제1 게임 화상은, 터치 패널에서 조작을 행하기 위한 게임 화상이 되는 경우가 많아진다. 게임 내용에 따라서는 터치 패널에서의 조작을 위해서가 아닌 화상을 표시시키고 싶은 경우도 있지만, 터치 패널에서의 조작을 행하면서, 그와 같은 화상도 표시한다는 것은 어렵다. 이에 관하여, 상기 <1>의 구성에서는, 외부 표시 장치에 제2 게임 화상을 표시할 수 있으므로, 다른 2종류의 게임 화상을 플레이어에게 제시할 수 있다. 따라서, 예를 들어 터치 패널의 조작에 적합한 제1 게임 화상을 제1 조작 장치의 화면에 표시하고, 게임 공간을 파악하는 데 적합한 제2 게임 화상을 외부 표시 장치에 표시하는 등, 2종류의 게임 화상에 의해 게임 공간을 다양한 방법으로 나타낼 수 있다. 따라서, 상기 <1>의 구성에 따르면, 더욱 보기 쉽고, 게임 조작이 행하기 쉬운 게임 화상을 플레이어에게 제시할 수 있다.
또한, 상기 <1>의 구성에 따르면, 제1 조작 장치는 화상 데이터의 신장 처리를 적어도 실행하면 되고, 게임 처리에 대해서는 게임 장치측에서 실행하면 된다. 게임 처리가 복잡해져도, 게임 장치측의 처리가 증가하는 것만으로, 제1 조작 장치에서의 화상의 신장 처리의 처리량에는 거의 영향을 미치지 않으므로, 가령 복잡한 게임 처리를 필요로 하는 경우라도, 제1 조작 장치측의 처리 부하를 소정의 범위로 억제할 수 있어, 제1 조작 장치에는 높은 정보 처리 능력이 요구되지 않는다. 그로 인해, 유저가 손에 들고 사용하는 제1 조작 장치의 소형화ㆍ경량화가 용이해지고, 제조도 용이해진다.
또한, 상기 <1>의 구성에 따르면, 제1 게임 화상은, 압축되어 게임 장치로부터 제1 조작 장치로 송신되므로, 게임 화상을 고속으로 무선 송신할 수 있고, 게임 처리가 행해진 후 게임 화상이 표시될 때까지의 지연을 적게 할 수 있다.
<2>
게임 시스템은, 제2 조작 장치를 더 포함하고 있어도 된다. 제2 조작 장치는, 당해 제2 조작 장치에 대한 조작을 나타내는 제2 조작 데이터를 게임 장치로 무선으로 송신하는 제2 조작 데이터 송신부를 구비하고 있다. 또한, 게임 장치는, 제2 조작 데이터를 수신하는 제2 조작 데이터 수신부를 더 구비하고 있다. 게임 처리부는, 제2 조작 데이터에 기초하여 게임 처리를 실행한다.
상기 「제2 조작 장치」는, 후술하는 실시 형태에 있어서의 컨트롤러 외에, 조작 데이터(제2 조작 데이터)를 게임 장치에 무선 송신 가능한 장치이면 된다.
상기 <2>의 구성에 따르면, 플레이어는, 제1 조작 장치뿐만 아니라, 제2 조작 장치를 사용하여 게임 조작을 행할 수도 있다. 제2 조작 장치를 사용하는 플레이어는, 외부 표시 장치에 표시되는 게임 화상을 보면서 게임을 행할 수 있으므로, 상기 <2>의 구성에 따르면, 2명의 플레이어가 외부 표시 장치 및 제1 조작 장치의 화면의 각각을 보면서 게임을 행할 수 있다.
<3>
게임 장치는, 게임 음성 생성부와, 게임 음성 출력부와, 게임 음성 송신부를 더 구비하고 있어도 된다. 게임 음성 생성부는, 게임 처리에 기초하여 제1 게임 음성 및 제2 게임 음성을 생성한다. 게임 음성 출력부는, 제1 조작 장치와는 별개 부재의 외부 음향 장치에 제2 게임 음성을 출력한다. 게임 음성 송신부는, 제1 게임 음성을 제1 조작 장치로 무선으로 송신한다. 또한, 제1 조작 장치는, 게임 음성 수신부와, 스피커를 더 구비한다. 게임 음성 수신부는, 제1 게임 음성을 게임 장치로부터 수신한다. 스피커는, 게임 음성 수신부에 의해 수신된 제1 게임 음성을 출력한다.
상기 <3>에 있어서, 게임 장치로부터 제1 조작 장치에 무선 송신되는 제1 게임 음성은, 후술하는 실시 형태와 같이 압축되어 송신되어도 되고, 압축되지 않고 송신되어도 된다.
상기 <3>의 구성에 따르면, 게임 화상과 마찬가지로, 게임 음성에 대해서도 2종류의 게임 음성을 출력할 수 있다. 따라서, 제1 조작 장치에 있어서는, 제1 게임 화상에 맞춘 게임 음성을 출력할 수 있음과 함께, 제2 게임 화상에 맞춘 제2 게임 음성을 외부 음향 장치로부터 출력할 수 있다.
<4>
제1 조작 장치는 마이크를 더 구비하고 있어도 된다. 이때, 제1 조작 데이터 송신부는, 마이크가 검지한 소리의 데이터를 게임 장치에 무선으로 또한 송신한다.
상기 <4>에 있어서, 제1 조작 장치로부터 게임 장치에 무선 송신되는 소리의 데이터는, 후술하는 실시 형태와 같이 압축되어 송신되어도 되고, 압축되지 않고 송신되어도 된다.
상기 <4>의 구성에 따르면, 제1 조작 장치의 마이크에서 검지된 소리(마이크 음성)는 게임 장치로 송신된다. 따라서, 게임 장치는 마이크 음성을 게임 음성으로 사용하거나, 마이크 음성에 음성 인식 처리를 행한 결과를 게임 입력으로서 사용할 수 있다.
<5>
제1 조작 장치는, 카메라와, 카메라 화상 압축부를 더 구비하고 있어도 된다. 카메라 화상 압축부는, 카메라가 촬상한 카메라 화상을 압축하여 압축 촬상 데이터를 생성한다. 이때, 제1 조작 데이터 송신부는, 압축 촬상 데이터를 게임 장치에 무선으로 또한 송신한다. 또한, 게임 장치는, 압축 촬상 데이터를 신장하여 카메라 화상을 얻는 카메라 화상 신장부를 더 구비한다.
상기 <5>의 구성에 따르면, 제1 조작 장치의 카메라로 촬상된 카메라 화상이 게임 장치로 송신된다. 따라서, 게임 장치는, 카메라 화상을 게임 화상에 사용하거나, 카메라 화상에 화상 인식 처리를 행한 결과를 게임 입력으로서 사용하거나 할 수 있다. 또한, 상기 <5>의 구성에 따르면, 카메라 화상은 압축하여 송신되므로, 카메라 화상을 고속으로 무선 송신할 수 있다.
<6>
제1 조작 장치는, 복수의 표면 조작 버튼과, 방향을 지시 가능한 방향 입력부를 구비하고 있어도 된다. 복수의 표면 조작 버튼은, 표시부의 화면 및 터치 패널이 설치되는 표면측 평면에 있어서 당해 화면의 양측에 설치된다. 방향 입력부는, 표면측 평면에 있어서 화면의 양측에 설치된다. 이때, 제1 조작 데이터는, 복수의 표면 조작 버튼 및 방향 입력부에 대한 조작을 나타내는 데이터를 더 포함한다.
상기 <6>의 구성에 따르면, 제1 조작 장치의 화면의 양측에는 조작 버튼 및 방향 입력부가 설치된다. 따라서, 플레이어는, 제1 조작 장치를 파지한 상태에 있어서(전형적으로는 양손의 엄지 손가락으로) 조작 버튼 및 방향 입력부를 조작할 수 있으므로, 제1 조작 장치를 움직이는 조작을 행하면서도, 조작 버튼 및 방향 입력부를 용이하게 조작할 수 있다.
<7>
제1 조작 장치는, 복수의 이면 조작 버튼과, 복수의 측면 조작 버튼을 더 구비하고 있어도 된다. 복수의 이면 조작 버튼은 이면측 평면에 설치된다. 이면측 평면은, 표시부의 화면 및 터치 패널이 설치되는 표면측 평면의 반대측 면이다. 복수의 측면 조작 버튼은, 표면측 평면과 이면측 평면 사이의 측면에 설치된다. 이때, 제1 조작 데이터는, 복수의 이면 조작 버튼 및 측면 조작 버튼에 대한 조작을 나타내는 데이터를 더 포함한다.
상기 <7>의 구성에 따르면, 제1 조작 장치의 이면측 평면 및 측면에는 조작 버튼이 설치된다. 따라서, 플레이어는, 제1 조작 장치를 파지한 상태에 있어서(전형적으로는 집게 손가락 또는 가운데 손가락으로) 이들 조작 버튼을 조작할 수 있으므로, 제1 조작 장치를 움직이는 조작을 행하면서도, 조작 버튼을 용이하게 조작할 수 있다.
<8>
제1 조작 장치는 자기 센서를 더 구비하고 있어도 된다. 이때, 제1 조작 데이터는 자기 센서의 검출 결과의 데이터를 더 포함한다.
상기 <8>의 구성에 따르면, 제1 조작 장치는 자기 센서를 구비하고, 게임 장치에 있어서는 자기 센서의 출력 결과가 게임 처리에 사용된다. 따라서, 플레이어는, 제1 조작 장치를 움직임으로써 게임 조작을 행할 수 있다. 또한, 게임 장치는, 실공간에 있어서의 절대적인 제1 조작 장치의 자세를 자기 센서의 출력 결과로부터 판단할 수 있으므로, 예를 들어 관성 센서의 출력 결과와 자기 센서의 출력 결과를 이용함으로써 제1 조작 장치의 자세를 정확하게 산출할 수 있다.
<9>
관성 센서는 어떠한 관성 센서이어도 되지만, 예를 들어 3축의 가속도 센서 및 3축의 자이로 센서이어도 된다.
상기 <9>의 구성에 따르면, 관성 센서로서 가속도 센서 및 자이로 센서의 2종류의 센서를 사용함으로써, 제1 조작 장치의 움직임이나 자세를 정확하게 산출할 수 있다.
<10>
게임 장치는, 판독부와, 네트워크 통신부와, 전력 공급부를 구비하고 있어도 된다. 판독부는, 게임 장치에 착탈 가능하고, 게임 프로그램을 기록한 외부 기록 매체로부터 정보를 판독한다. 네트워크 통신부는, 네트워크에 접속 가능하고, 당해 네트워크를 통하여 통신 가능한 정보 처리 장치와의 사이에서 통신을 행한다. 전력 공급부는, 게임 장치의 외부의 전원으로부터 당해 게임 장치 내의 각 부에 전력을 공급한다. 게임 처리부는, 판독부로부터 판독된 게임 프로그램에 기초하여 게임 처리를 행한다.
상기 <10>의 구성에 따르면, 게임 프로그램을 기록한 외부 기록 매체를 바꿈으로써, 게임 장치에 있어서 실행되는 게임 프로그램을 용이하게 변경할 수 있다. 또한, 게임 장치는 네트워크를 통한 통신을 행할 수 있으므로, 예를 들어 네트워크를 통하여 새로운 어플리케이션이나 데이터를 다운로드함으로써, 게임 장치의 기능이나 게임 장치에 있어서 실행되는 게임의 내용을 보다 충실하게 할 수 있다. 또한, 후술하는 [7. 게임 시스템의 다른 동작예]에서 설명하는 바와 같이, 네트워크를 통하여 다른 정보 처리 장치와 통신을 행하는 경우의 인터페이스로서 단말 장치(7)를 사용할 수 있다.
또한, 본 발명의 다른 일례는, 상기 <1> 내지 <10>에 있어서의 제1 조작 장치의 형태로 실시되어도 된다. 또한, 본 발명의 다른 일례는, 상기 <1> 내지 <10>의 게임 시스템에 있어서 행해지는 게임 처리 방법의 형태로 실시되어도 된다.
본 발명에 따르면, 터치 패널 및 관성 센서를 구비하는 조작 장치에 대한 조작에 기초하여 게임 처리를 실행함으로써, 신규 게임 조작을 행하는 것이 가능해진다.
도 1은 게임 시스템(1)의 외관도이다.
도 2는 게임 장치(3)의 내부 구성을 도시하는 블록도이다.
도 3은 컨트롤러(5)의 외관 구성을 도시하는 사시도이다.
도 4는 컨트롤러(5)의 외관 구성을 도시하는 사시도이다.
도 5는 컨트롤러(5)의 내부 구조를 도시하는 도면이다.
도 6은 컨트롤러(5)의 내부 구조를 도시하는 도면이다.
도 7은 컨트롤러(5)의 구성을 도시하는 블록도이다.
도 8은 단말 장치(7)의 외관 구성을 도시하는 도면이다.
도 9는 유저가 단말 장치(7)를 파지한 모습을 도시하는 도면이다.
도 10은 단말 장치(7)의 내부 구성을 도시하는 블록도이다.
도 11은 게임 처리에 있어서 사용되는 각종 데이터를 나타내는 도면이다.
도 12는 게임 장치(3)에 있어서 실행되는 게임 처리의 흐름을 나타내는 메인 흐름도이다.
도 13은 게임 제어 처리의 상세한 흐름을 나타내는 흐름도이다.
도 14는 제1 게임예에 있어서의 텔레비전(2)의 화면과 단말 장치(7)를 도시하는 도면이다.
도 15는 제2 게임예에 있어서의 텔레비전(2)의 화면과 단말 장치(7)를 도시하는 도면이다.
도 16은 제3 게임예에 있어서 텔레비전(2)에 표시되는 텔레비전용 게임 화상의 일례를 도시하는 도면이다.
도 17은 제3 게임예에 있어서 단말 장치(7)에 표시되는 단말기용 게임 화상의 일례를 도시하는 도면이다.
도 18은 4 게임예에 있어서 텔레비전(2)에 표시되는 텔레비전용 게임 화상의 일례를 도시하는 도면이다.
도 19는 제4 게임예에 있어서 단말 장치(7)에 표시되는 단말기용 게임 화상의 일례를 도시하는 도면이다.
도 20은 제5 게임예에 있어서의 게임 시스템(1)의 사용의 모습을 도시하는 도면이다.
도 21은 네트워크를 통하여 외부 장치와 접속되는 경우에 있어서의 게임 시스템(1)에 포함되는 각 장치의 접속 관계를 나타내는 도면이다.
[1. 게임 시스템의 전체 구성]
이하, 도면을 참조하여, 본 발명의 일 실시 형태에 관한 게임 시스템(1)에 대하여 설명한다. 도 1은, 게임 시스템(1)의 외관도이다. 도 1에 있어서, 게임 시스템(1)은, 텔레비전 수상기 등에 대표되는 거치형의 디스플레이 장치(이하, 「텔레비전」이라고 기재함)(2), 거치형의 게임 장치(3), 광 디스크(4), 컨트롤러(5), 마커 장치(6), 및 단말 장치(7)를 포함한다. 게임 시스템(1)은 컨트롤러(5)를 사용한 게임 조작에 기초하여 게임 장치(3)에 있어서 게임 처리를 실행하고, 게임 처리에 의해 얻어지는 게임 화상을 텔레비전(2) 및/또는 단말 장치(7)에 표시하는 것이다.
게임 장치(3)에는, 당해 게임 장치(3)에 대하여 교환 가능하게 사용되는 정보 기억 매체의 일례인 광 디스크(4)가 탈착 가능하게 삽입된다. 광 디스크(4)에는, 게임 장치(3)에 있어서 실행되기 위한 정보 처리 프로그램(전형적으로는 게임 프로그램)이 기억되어 있다. 게임 장치(3)의 전방면에는 광 디스크(4)의 삽입구가 형성되어 있다. 게임 장치(3)는 삽입구에 삽입된 광 디스크(4)에 기억되어 있는 정보 처리 프로그램을 판독하여 실행함으로써 게임 처리를 실행한다.
게임 장치(3)에는 텔레비전(2)이 접속 코드를 통하여 접속된다. 텔레비전(2)은 게임 장치(3)에 있어서 실행되는 게임 처리에 의해 얻어지는 게임 화상을 표시한다. 텔레비전(2)은 스피커(2a)(도 2)를 갖고 있고, 스피커(2a)는 상기 게임 처리의 결과 얻어지는 게임 음성을 출력한다. 또한, 다른 실시 형태에 있어서는, 게임 장치(3)와 거치형의 표시 장치는 일체로 되어 있어도 된다. 또한, 게임 장치(3)와 텔레비전(2)의 통신은 무선 통신이어도 된다.
텔레비전(2)의 화면의 주변(도 1에서는 화면의 상측)에는 마커 장치(6)가 설치된다. 상세한 것은 후술하지만, 유저(플레이어)는 컨트롤러(5)를 움직이는 게임 조작을 행할 수 있고, 마커 장치(6)는 컨트롤러(5)의 움직임이나 위치나 자세 등을 게임 장치(3)가 산출하기 위하여 사용된다. 마커 장치(6)는 그 양단부에 2개의 마커(6R 및 6L)를 구비하고 있다. 마커(6R)(마커(6L)도 마찬가지)는, 구체적으로는 1 이상의 적외 LED(Light Emitting Diode)이며, 텔레비전(2)의 전방을 향하여 적외광을 출력한다. 마커 장치(6)는 게임 장치(3)에 접속되어 있고, 게임 장치(3)는 마커 장치(6)가 구비하는 각 적외 LED의 점등을 제어하는 것이 가능하다. 또한, 마커 장치(6)는 가반형(portable type)이며, 유저는 마커 장치(6)를 자유로운 위치에 설치할 수 있다. 도 1에서는 마커 장치(6)가 텔레비전(2) 상에 설치된 형태를 나타내고 있지만, 마커 장치(6)를 설치하는 위치 및 방향은 임의이다.
컨트롤러(5)는 자기(自機)에 대하여 행해진 조작의 내용을 나타내는 조작 데이터를 게임 장치(3)에 부여하는 것이다. 컨트롤러(5)와 게임 장치(3)는 무선 통신에 의해 통신 가능하다. 본 실시 형태에서는, 컨트롤러(5)와 게임 장치(3) 사이의 무선 통신에는 예를 들어 Bluetooth(블루투스)(등록 상표)의 기술이 이용된다. 또한, 다른 실시 형태에 있어서는 컨트롤러(5)와 게임 장치(3)는 유선으로 접속되어도 된다. 또한, 본 실시 형태에서는, 게임 시스템(1)에 포함되는 컨트롤러(5)는 1개로 하지만, 게임 장치(3)는 복수의 컨트롤러와 통신 가능하고, 소정 대수의 컨트롤러를 동시에 사용함으로써 복수명에 의해 게임을 플레이하는 것이 가능하다. 컨트롤러(5)의 상세한 구성에 대해서는 후술한다.
단말 장치(7)는 유저가 파지 가능한 정도의 크기이며, 유저는 단말 장치(7)를 손에 들고 움직이거나, 혹은 단말 장치(7)를 자유로운 위치에 배치하거나 하여 사용하는 것이 가능하다. 상세한 구성은 후술하지만, 단말 장치(7)는, 표시 수단인 LCD(Liquid Crystal Display: 액정 표시 장치)(51), 및 입력 수단(후술하는 터치 패널(52)이나 자이로 센서(64) 등)을 구비한다. 단말 장치(7)와 게임 장치(3)는 무선(유선이어도 됨)에 의해 통신 가능하다. 단말 장치(7)는 게임 장치(3)에서 생성된 화상(예를 들어 게임 화상)의 데이터를 게임 장치(3)로부터 수신하고, 화상을 LCD(51)에 표시한다. 또한, 본 실시 형태에서는 표시 장치로서 LCD를 사용하고 있지만, 단말 장치(7)는, 예를 들어 EL(Electro Luminescence: 전계 발광)을 이용한 표시 장치 등, 다른 임의의 표시 장치를 갖고 있어도 된다. 또한, 단말 장치(7)는, 자기에 대하여 행해진 조작의 내용을 나타내는 조작 데이터를 게임 장치(3)에 송신한다.
[2. 게임 장치(3)의 내부 구성]
다음에, 도 2를 참조하여, 게임 장치(3)의 내부 구성에 대하여 설명한다. 도 2는, 게임 장치(3)의 내부 구성을 도시하는 블록도이다. 게임 장치(3)는, CPU(Central Processing Unit)(10), 시스템 LSI(11), 외부 메인 메모리(12), ROM/RTC(13), 디스크 드라이브(14) 및 AV-IC(15) 등을 갖는다.
CPU(10)는 광 디스크(4)에 기억된 게임 프로그램을 실행함으로써 게임 처리를 실행하는 것이며, 게임 프로세서로서 기능한다. CPU(10)는 시스템 LSI(11)에 접속된다. 시스템 LSI(11)에는, CPU(10) 외에, 외부 메인 메모리(12), ROM/RTC(13), 디스크 드라이브(14) 및 AV-IC(15)가 접속된다. 시스템 LSI(11)는, 그것에 접속되는 각 구성 요소간에 있어서의 데이터 전송의 제어, 표시해야 할 화상의 생성, 외부 장치로부터의 데이터의 취득 등의 처리를 행한다. 또한, 시스템 LSI(11)의 내부 구성에 대해서는 후술한다. 휘발성의 외부 메인 메모리(12)는 광 디스크(4)로부터 판독된 게임 프로그램이나, 플래시 메모리(17)로부터 판독된 게임 프로그램 등의 프로그램을 기억하거나, 각종 데이터를 기억하거나 하는 것이며, CPU(10)의 워크 영역이나 버퍼 영역으로서 사용된다. ROM/RTC(13)는, 게임 장치(3)의 기동용 프로그램이 내장되는 ROM(소위 부트 ROM)과, 시간을 카운트하는 클록 회로(RTC: Real Time Clock)를 갖는다. 디스크 드라이브(14)는 광 디스크(4)로부터 프로그램 데이터나 텍스처 데이터 등을 판독하고, 후술하는 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)에 판독한 데이터를 기입한다.
시스템 LSI(11)에는, 입출력 프로세서(I/O 프로세서)(11a), GPU(Graphics Processor Unit)(11b), DSP(Digital Signal Processor)(11c), VRAM(Video RAM)(11d) 및 내부 메인 메모리(11e)가 설치된다. 도시는 생략하지만, 이들 구성 요소(11a 내지 11e)는 내부 버스에 의해 서로 접속된다.
GPU(11b)는 묘화 수단의 일부를 형성하고, CPU(10)로부터의 그래픽스 커맨드(작화 명령)에 따라서 화상을 생성한다. VRAM(11d)은 GPU(11b)가 그래픽스 커맨드를 실행하기 위하여 필요한 데이터(폴리곤 데이터나 텍스처 데이터 등의 데이터)를 기억한다. 화상이 생성될 때에는, GPU(11b)는 VRAM(11d)에 기억된 데이터를 사용하여 화상 데이터를 작성한다. 또한, 본 실시 형태에 있어서는, 게임 장치(3)는, 텔레비전(2)에 표시하는 게임 화상과, 단말 장치(7)에 표시하는 게임 화상의 양쪽을 생성한다. 이하에서는, 텔레비전(2)에 표시되는 게임 화상을 「텔레비전용 게임 화상」이라고 부르고, 단말 장치(7)에 표시되는 게임 화상을 「단말기용 게임 화상」이라고 부르는 경우가 있다.
DSP(11c)는 오디오 프로세서로서 기능하고, 내부 메인 메모리(11e)나 외부 메인 메모리(12)에 기억되는 사운드 데이터나 음파형(음색) 데이터를 사용하여 음성 데이터를 생성한다. 또한, 본 실시 형태에 있어서는, 게임 음성에 대해서도 게임 화상과 마찬가지로, 텔레비전(2)의 스피커로부터 출력하는 게임 음성과, 단말 장치(7)의 스피커로부터 출력하는 게임 음성의 양쪽이 생성된다. 이하에서는, 텔레비전(2)으로부터 출력되는 게임 음성을 「텔레비전용 게임 음성」이라고 부르고, 단말 장치(7)로부터 출력되는 게임 음성을 「단말기용 게임 음성」이라고 부르는 경우가 있다.
상기한 바와 같이 게임 장치(3)에 있어서 생성되는 화상 및 음성 중에서, 텔레비전(2)에 있어서 출력되는 화상 및 음성의 데이터는, AV-IC(15)에 의해 판독된다. AV-IC(15)는 판독한 화상 데이터를 AV 커넥터(16)를 통하여 텔레비전(2)에 출력함과 함께, 판독한 음성 데이터를 텔레비전(2)에 내장되는 스피커(2a)에 출력한다. 이에 의해, 텔레비전(2)에 화상이 표시됨과 함께 스피커(2a)로부터 소리가 출력된다.
또한, 게임 장치(3)에 있어서 생성되는 화상 및 음성 중에서, 단말 장치(7)에 있어서 출력되는 화상 및 음성의 데이터는, 입출력 프로세서(11a) 등에 의해 단말 장치(7)로 송신된다. 입출력 프로세서(11a) 등에 의한 단말 장치(7)로의 데이터의 송신에 대해서는 후술한다.
입출력 프로세서(11a)는, 그것에 접속되는 구성 요소와의 사이에서 데이터의 송수신을 실행하거나, 외부 장치로부터의 데이터의 다운로드를 실행하거나 한다. 입출력 프로세서(11a)는, 플래시 메모리(17), 네트워크 통신 모듈(18), 컨트롤러 통신 모듈(19), 확장 커넥터(20), 메모리 카드용 커넥터(21), 코덱 LSI(27)에 접속된다. 또한, 네트워크 통신 모듈(18)에는 안테나(22)가 접속된다. 컨트롤러 통신 모듈(19)에는 안테나(23)가 접속된다. 코덱 LSI(27)는 단말기 통신 모듈(28)에 접속되고, 단말기 통신 모듈(28)에는 안테나(29)가 접속된다.
게임 장치(3)는 인터넷 등의 네트워크에 접속하여 외부 정보 처리 장치(예를 들어 다른 게임 장치나, 각종 서버 등)와 통신을 행하는 것이 가능하다. 즉, 입출력 프로세서(11a)는 네트워크 통신 모듈(18) 및 안테나(22)를 통하여 인터넷 등의 네트워크에 접속하여, 네트워크에 접속되는 외부 정보 처리 장치와 통신할 수 있다. 입출력 프로세서(11a)는 정기적으로 플래시 메모리(17)에 액세스하고, 네트워크로 송신할 필요가 있는 데이터의 유무를 검출하고, 당해 데이터가 있는 경우에는, 네트워크 통신 모듈(18) 및 안테나(22)를 통하여 네트워크에 송신한다. 또한, 입출력 프로세서(11a)는 외부 정보 처리 장치로부터 송신되어 오는 데이터나 다운로드 서버로부터 다운로드한 데이터를, 네트워크, 안테나(22) 및 네트워크 통신 모듈(18)을 통하여 수신하고, 수신한 데이터를 플래시 메모리(17)에 기억한다. CPU(10)는 게임 프로그램을 실행함으로써, 플래시 메모리(17)에 기억된 데이터를 판독하여 게임 프로그램에서 이용한다. 플래시 메모리(17)에는, 게임 장치(3)와 외부 정보 처리 장치 사이에서 송수신되는 데이터 외에, 게임 장치(3)를 이용하여 플레이한 게임의 세이브 데이터(게임의 결과 데이터 또는 도중 데이터)가 기억되어도 된다. 또한, 플래시 메모리(17)에는 게임 프로그램이 기억되어도 된다.
또한, 게임 장치(3)는, 컨트롤러(5)로부터의 조작 데이터를 수신하는 것이 가능하다. 즉, 입출력 프로세서(11a)는 컨트롤러(5)로부터 송신되는 조작 데이터를 안테나(23) 및 컨트롤러 통신 모듈(19)을 통하여 수신하고, 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)의 버퍼 영역에 기억(일시 기억)한다.
또한, 게임 장치(3)는 단말 장치(7)와의 사이에서 화상이나 음성 등의 데이터를 송수신하는 것이 가능하다. 입출력 프로세서(11a)는 단말 장치(7)로 게임 화상(단말기용 게임 화상)을 송신하는 경우, GPU(11b)가 생성한 게임 화상의 데이터를 코덱 LSI(27)에 출력한다. 코덱 LSI(27)는 입출력 프로세서(11a)로부터의 화상 데이터에 대하여 소정의 압축 처리를 행한다. 단말기 통신 모듈(28)은 단말 장치(7)와의 사이에서 무선 통신을 행한다. 따라서, 코덱 LSI(27)에 의해 압축된 화상 데이터는, 단말기 통신 모듈(28)에 의해 안테나(29)를 통하여 단말 장치(7)로 송신된다. 또한, 본 실시 형태에서는, 게임 장치(3)로부터 단말 장치(7)로 송신되는 화상 데이터는 게임에 사용하는 것이며, 게임에 있어서는 표시되는 화상에 지연이 발생하면 게임의 조작성에 악영향을 준다. 그로 인해, 게임 장치(3)로부터 단말 장치(7)로의 화상 데이터의 송신에 관해서는, 가능한 한 지연이 발생하지 않도록 하는 것이 바람직하다. 따라서, 본 실시 형태에서는, 코덱 LSI(27)는, 예를 들어 H.264 규격과 같은 고효율의 압축 기술을 이용하여 화상 데이터를 압축한다. 또한, 그 이외의 압축 기술을 이용해도 되고, 통신 속도가 충분한 경우에는 무압축으로 화상 데이터를 송신하는 구성이어도 된다. 또한, 단말기 통신 모듈(28)은, 예를 들어 Wi-Fi의 인증을 받은 통신 모듈이며, 예를 들어 IEEE802.11n 규격으로 채용되는 MIMO(Multiple Input Multiple Output)의 기술을 이용하여 단말 장치(7)와의 사이의 무선 통신을 고속으로 행하도록 해도 되고, 다른 통신 방식을 이용해도 된다.
또한, 게임 장치(3)는, 화상 데이터 외에, 음성 데이터를 단말 장치(7)로 송신한다. 즉, 입출력 프로세서(11a)는, DSP(11c)가 생성한 음성 데이터를, 코덱 LSI(27)를 통하여 단말기 통신 모듈(28)로 출력한다. 코덱 LSI(27)는, 음성 데이터에 대해서도 화상 데이터와 마찬가지로 압축 처리를 행한다. 음성 데이터에 대한 압축의 방식은, 어떠한 방식이어도 되지만, 압축률이 높고, 음성의 열화가 적은 방식이 바람직하다. 또한, 다른 실시 형태에 있어서는, 음성 데이터는 압축되지 않고 송신되어도 된다. 단말기 통신 모듈(28)은 압축된 화상 데이터 및 음성 데이터를, 안테나(29)를 통하여 단말 장치(7)로 송신한다.
또한, 게임 장치(3)는, 상기 화상 데이터 및 음성 데이터 외에, 필요에 따라서 각종 제어 데이터를 단말 장치(7)로 송신한다. 제어 데이터는, 단말 장치(7)가 구비하는 구성 요소에 대한 제어 지시를 나타내는 데이터이며, 예를 들어 마커부(도 10에 도시하는 마커부(55))의 점등을 제어하는 지시나, 카메라(도 10에 도시하는 카메라(56))의 촬상을 제어하는 지시 등을 나타낸다. 입출력 프로세서(11a)는 CPU(10)의 지시에 따라서 제어 데이터를 단말 장치(7)로 송신한다. 또한, 이 제어 데이터에 관하여, 본 실시 형태에서는 코덱 LSI(27)는 데이터의 압축 처리를 행하지 않지만, 다른 실시 형태에 있어서는 압축 처리를 행하도록 해도 된다. 또한, 게임 장치(3)로부터 단말 장치(7)로 송신되는 상술한 데이터는, 필요에 따라서 암호화가 되어 있어도 되고, 되어 있지 않아도 된다.
또한, 게임 장치(3)는 단말 장치(7)로부터 각종 데이터를 수신 가능하다. 상세한 것은 후술하지만, 본 실시 형태에서는, 단말 장치(7)는 조작 데이터, 화상 데이터 및 음성 데이터를 송신한다. 단말 장치(7)로부터 송신되는 각 데이터는 안테나(29)를 통하여 단말기 통신 모듈(28)에 의해 수신된다. 여기서, 단말 장치(7)로부터의 화상 데이터 및 음성 데이터는 게임 장치(3)로부터 단말 장치(7)로의 화상 데이터 및 음성 데이터와 같은 압축 처리가 실시되어 있다. 따라서, 이들 화상 데이터 및 음성 데이터에 대해서는, 단말기 통신 모듈(28)로부터 코덱 LSI(27)에 보내져, 코덱 LSI(27)에 의해 신장 처리가 실시되어 입출력 프로세서(11a)에 출력된다. 한편, 단말 장치(7)로부터의 조작 데이터에 관해서는, 화상이나 음성에 비하여 데이터량이 적으므로, 압축 처리가 실시되어 있지 않아도 된다. 또한, 필요에 따라서 암호화가 되어 있어도 되고, 되어 있지 않아도 된다. 따라서, 조작 데이터는 단말기 통신 모듈(28)에서 수신된 후, 코덱 LSI(27)를 통하여 입출력 프로세서(11a)에 출력된다. 입출력 프로세서(11a)는 단말 장치(7)로부터 수신한 데이터를, 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)의 버퍼 영역에 기억(일시 기억)한다.
또한, 게임 장치(3)는 다른 기기나 외부 기억 매체에 접속하는 것이 가능하다. 즉, 입출력 프로세서(11a)에는 확장 커넥터(20) 및 메모리 카드용 커넥터(21)가 접속된다. 확장 커넥터(20)는 USB나 SCSI와 같은 인터페이스를 위한 커넥터이다. 확장 커넥터(20)에 대해서는, 외부 기억 매체와 같은 미디어를 접속하거나, 다른 컨트롤러 등의 주변 기기를 접속하거나, 유선 통신용 커넥터를 접속함으로써 네트워크 통신 모듈(18)로 바꾸어 네트워크와의 통신을 행하거나 할 수 있다. 메모리 카드용 커넥터(21)는 메모리 카드와 같은 외부 기억 매체를 접속하기 위한 커넥터이다. 예를 들어, 입출력 프로세서(11a)는 확장 커넥터(20)나 메모리 카드용 커넥터(21)를 통하여 외부 기억 매체에 액세스하고, 외부 기억 매체에 데이터를 보존하거나, 외부 기억 매체로부터 데이터를 판독하거나 할 수 있다.
게임 장치(3)에는, 전원 버튼(24), 리셋 버튼(25) 및 이젝트 버튼(26)이 설치된다. 전원 버튼(24) 및 리셋 버튼(25)은 시스템 LSI(11)에 접속된다. 전원 버튼(24)이 온되면, 도시하지 않은 AC 어댑터에 의해 외부의 전원으로부터 게임 장치(3)의 각 구성 요소에 대하여 전력이 공급된다. 리셋 버튼(25)이 눌리면, 시스템 LSI(11)는 게임 장치(3)의 기동 프로그램을 재기동한다. 이젝트 버튼(26)은 디스크 드라이브(14)에 접속된다. 이젝트 버튼(26)이 눌리면, 디스크 드라이브(14)로부터 광 디스크(4)가 배출된다.
또한, 다른 실시 형태에 있어서는, 게임 장치(3)가 구비하는 각 구성 요소 중에서 몇 개의 구성 요소는, 게임 장치(3)와는 별개 부재의 확장 기기로서 구성되어도 된다. 이때, 확장 기기는, 예를 들어 상기 확장 커넥터(20)를 통하여 게임 장치(3)와 접속되도록 해도 된다. 구체적으로는, 확장 기기는, 예를 들어 상기 코덱 LSI(27), 단말기 통신 모듈(28) 및 안테나(29)의 각 구성 요소를 구비하고 있고, 확장 커넥터(20)에 대하여 착탈 가능해도 된다. 이에 따르면, 상기 각 구성 요소를 구비하고 있지 않은 게임 장치에 대하여 상기 확장 기기를 접속함으로써, 당해 게임 장치를 단말 장치(7)와 통신 가능한 구성으로 할 수 있다.
[3. 컨트롤러(5)의 구성]
다음에, 도 3 내지 도 7을 참조하여, 컨트롤러(5)에 대하여 설명한다. 도 3은, 컨트롤러(5)의 외관 구성을 도시하는 사시도이다. 도 4는, 컨트롤러(5)의 외관 구성을 도시하는 사시도이다. 도 3은, 컨트롤러(5)의 상측 후방에서 본 사시도이며, 도 4는, 컨트롤러(5)를 하측 전방에서 본 사시도이다.
도 3 및 도 4에 있어서, 컨트롤러(5)는, 예를 들어 플라스틱 성형에 의해 형성된 하우징(31)을 갖고 있다. 하우징(31)은, 그 전후 방향(도 3에 나타내는 Z축 방향)을 길이 방향으로 한 대략 직육면체 형상을 갖고 있고, 전체적으로 어른이나 아이의 한 손으로 파지 가능한 크기이다. 유저는 컨트롤러(5)에 설치된 버튼을 누르는 것, 및 컨트롤러(5) 자체를 움직여 그 위치나 자세(기울기)를 바꿈으로써 게임 조작을 행할 수 있다.
하우징(31)에는 복수의 조작 버튼이 설치된다. 도 3에 도시한 바와 같이, 하우징(31)의 상면에는 십자 버튼(32a), 1번 버튼(32b), 2번 버튼(32c), A 버튼(32d), 마이너스 버튼(32e), 홈 버튼(32f), 플러스 버튼(32g) 및 전원 버튼(32h)이 설치된다. 본 명세서에서는, 이들 버튼(32a 내지 32h)이 설치되는 하우징(31)의 상면을 「버튼면」이라고 부르는 경우가 있다. 한편, 도 4에 도시한 바와 같이, 하우징(31)의 하면에는 오목부가 형성되어 있고, 당해 오목부의 후방면측 경사면에는 B 버튼(32i)이 설치된다. 이들 각 조작 버튼(32a 내지 32i)에는, 게임 장치(3)가 실행하는 정보 처리 프로그램에 따른 기능이 적절히 할당된다. 또한, 전원 버튼(32h)은 원격으로부터 게임 장치(3) 본체의 전원을 온/오프하기 위한 것이다. 홈 버튼(32f) 및 전원 버튼(32h)은, 그 상면이 하우징(31)의 상면에 매몰되어 있다. 이에 의해, 유저가 홈 버튼(32f) 또는 전원 버튼(32h)을 잘못해서 누르는 것을 방지할 수 있다.
하우징(31)의 후방면에는 커넥터(33)가 설치되어 있다. 커넥터(33)는 컨트롤러(5)에 다른 기기(예를 들어, 다른 센서 유닛이나 컨트롤러)를 접속하기 위하여 이용된다. 또한, 하우징(31)의 후방면에 있어서의 커넥터(33)의 양측에는, 상기 다른 기기가 용이하게 이탈하는 것을 방지하기 위하여 걸림 구멍(33a)이 형성되어 있다.
하우징(31) 상면의 후방에는 복수(도 3에서는 4개)의 LED(34a 내지 34d)가 설치된다. 여기서, 컨트롤러(5)에는 다른 컨트롤러와 구별하기 위하여 컨트롤러 종별(번호)이 부여된다. 각 LED(34a 내지 34d)는 컨트롤러(5)에 현재 설정되어 있는 상기 컨트롤러 종별을 유저에게 통지하거나, 컨트롤러(5)의 전지 잔량을 유저에게 통지하는 등의 목적으로 사용된다. 구체적으로는, 컨트롤러(5)를 사용하여 게임 조작이 행해질 때, 상기 컨트롤러 종별에 따라서 복수의 LED(34a 내지 34d) 중 어느 하나가 점등한다.
또한, 컨트롤러(5)는 촬상 정보 연산부(35)(도 6)를 갖고 있고, 도 4에 도시한 바와 같이, 하우징(31) 전방면에는 촬상 정보 연산부(35)의 광 입사면(35a)이 형성된다. 광 입사면(35a)은 마커(6R 및 6L)로부터의 적외광을 적어도 투과하는 재질로 구성된다.
하우징(31) 상면에 있어서의 1번 버튼(32b)과 홈 버튼(32f) 사이에는, 컨트롤러(5)에 내장되는 스피커(47)(도 5)로부터의 소리를 외부로 방출하기 위한 소리 방출 구멍(31a)이 형성되어 있다.
다음에, 도 5 및 도 6을 참조하여, 컨트롤러(5)의 내부 구조에 대하여 설명한다. 도 5 및 도 6은, 컨트롤러(5)의 내부 구조를 도시하는 도면이다. 또한, 도 5는, 컨트롤러(5) 상부 하우징(하우징(31)의 일부)을 제거한 상태를 도시하는 사시도이다. 도 6은, 컨트롤러(5)의 하부 하우징(하우징(31)의 일부)을 제거한 상태를 도시하는 사시도이다. 도 6에 도시하는 사시도는, 도 5에 도시하는 기판(30)을 이면으로부터 본 사시도로 되어 있다.
도 5에 있어서, 하우징(31)의 내부에는 기판(30)이 고정 설치되어 있고, 당해 기판(30)의 상부 주면 상에 각 조작 버튼(32a 내지 32h), 각 LED(34a 내지 34d), 가속도 센서(37), 안테나(45) 및 스피커(47) 등이 설치된다. 이들은, 기판(30) 등에 형성된 배선(도시하지 않음)에 의해 마이크로 컴퓨터(Micro Computer: 마이컴)(42)(도 6 참조)에 접속된다. 본 실시 형태에서는, 가속도 센서(37)는 X축 방향에 관하여 컨트롤러(5)의 중심으로부터 어긋난 위치에 배치되어 있다. 이에 의해, 컨트롤러(5)를 Z축 둘레로 회전시켰을 때의 컨트롤러(5)의 움직임이 산출하기 쉬워진다. 또한, 가속도 센서(37)는 길이 방향(Z축 방향)에 관하여 컨트롤러(5)의 중심보다도 전방에 배치되어 있다. 또한, 무선 모듈(44)(도 6) 및 안테나(45)에 의해, 컨트롤러(5)가 와이어리스 컨트롤러로서 기능한다.
한편, 도 6에 있어서, 기판(30)의 하부 주면 상의 전단부 테두리에 촬상 정보 연산부(35)가 설치된다. 촬상 정보 연산부(35)는, 컨트롤러(5)의 전방부터 순서대로 적외선 필터(38), 렌즈(39), 촬상 소자(40) 및 화상 처리 회로(41)를 구비하고 있다. 이들 부재(38 내지 41)는 각각 기판(30)의 하부 주면에 설치된다.
또한, 기판(30)의 하부 주면 상에는, 상기 마이크로 컴퓨터(42) 및 바이브레이터(46)가 설치되어 있다. 바이브레이터(46)는, 예를 들어 진동 모터나 솔레노이드이며, 기판(30) 등에 형성된 배선에 의해 마이크로 컴퓨터(42)와 접속된다. 마이크로 컴퓨터(42)의 지시에 의해 바이브레이터(46)가 작동함으로써 컨트롤러(5)에 진동이 발생한다. 이에 의해, 컨트롤러(5)를 파지하고 있는 유저의 손에 그 진동이 전달되는, 소위 진동 대응 게임을 실현할 수 있다. 본 실시 형태에서는, 바이브레이터(46)는 하우징(31)의 약간 전방측에 배치된다. 즉, 바이브레이터(46)가 컨트롤러(5)의 중심보다도 단부측에 배치함으로써, 바이브레이터(46)의 진동에 의해 컨트롤러(5) 전체를 크게 진동시킬 수 있다. 또한, 커넥터(33)는 기판(30) 하부 주면 상의 후단부 테두리에 설치된다. 또한, 도 5 및 도 6에 나타내는 것 외에, 컨트롤러(5)는, 마이크로 컴퓨터(42)의 기본 클록을 생성하는 수정 진동자, 스피커(47)에 음성 신호를 출력하는 증폭기 등을 구비하고 있다.
또한, 도 3 내지 도 6에 도시한 컨트롤러(5)의 형상이나, 각 조작 버튼의 형상, 가속도 센서나 바이브레이터의 수 및 설치 위치 등은 단순한 일례에 지나지 않고, 다른 형상, 수 및 설치 위치이어도 된다. 또한, 본 실시 형태에서는, 촬상 수단에 의한 촬상 방향은 Z축 정방향이지만, 촬상 방향은 어떠한 방향이어도 된다. 즉, 컨트롤러(5)에 있어서의 촬상 정보 연산부(35)의 위치(촬상 정보 연산부(35)의 광 입사면(35a))는, 하우징(31)의 전방면이 아니어도 되고, 하우징(31)의 외부로부터 광을 받아들일 수 있으면 다른 면에 설치되어도 상관없다.
도 7은, 컨트롤러(5)의 구성을 도시하는 블록도이다. 컨트롤러(5)는, 조작부(32)(각 조작 버튼(32a 내지 32i)), 촬상 정보 연산부(35), 통신부(36), 가속도 센서(37) 및 자이로 센서(48)를 구비하고 있다. 컨트롤러(5)는 자기에 대하여 행해진 조작 내용을 나타내는 데이터를 조작 데이터로서 게임 장치(3)로 송신하는 것이다. 또한, 이하에서는, 컨트롤러(5)가 송신하는 조작 데이터를 「컨트롤러 조작 데이터」라고 부르고, 단말 장치(7)가 송신하는 조작 데이터를 「단말기 조작 데이터」라고 부르는 경우가 있다.
조작부(32)는, 상술한 각 조작 버튼(32a 내지 32i)을 포함하고, 각 조작 버튼(32a 내지 32i)에 대한 입력 상태(각 조작 버튼(32a 내지 32i)이 눌렸는지 여부)를 나타내는 조작 버튼 데이터를 통신부(36)의 마이크로 컴퓨터(42)에 출력한다.
촬상 정보 연산부(35)는, 촬상 수단이 촬상한 화상 데이터를 해석하여 그 중에서 휘도가 높은 영역을 판별하여 그 영역의 무게 중심 위치나 크기 등을 산출하기 위한 시스템이다. 촬상 정보 연산부(35)는, 예를 들어 최대 200프레임/초 정도의 샘플링 주기를 가지므로, 비교적 고속의 컨트롤러(5)의 움직임이라도 추적하여 해석할 수 있다.
촬상 정보 연산부(35)는, 적외선 필터(38), 렌즈(39), 촬상 소자(40) 및 화상 처리 회로(41)를 포함하고 있다. 적외선 필터(38)는 컨트롤러(5)의 전방으로부터 입사하는 광으로부터 적외선만을 통과시킨다. 렌즈(39)는 적외선 필터(38)를 투과한 적외선을 집광하여 촬상 소자(40)에 입사시킨다. 촬상 소자(40)는, 예를 들어 CMOS 센서나 혹은 CCD 센서와 같은 고체 촬상 소자이며, 렌즈(39)가 집광한 적외선을 수광하여 화상 신호를 출력한다. 여기서, 촬상 대상이 되는 단말 장치(7)의 마커부(55) 및 마커 장치(6)는 적외광을 출력하는 마커로 구성된다. 따라서, 적외선 필터(38)를 설치함으로써, 촬상 소자(40)는 적외선 필터(38)를 통과한 적외선만을 수광하여 화상 데이터를 생성하므로, 촬상 대상(마커부(55) 및/또는 마커 장치(6))의 화상을 보다 정확하게 촬상할 수 있다. 이하에서는, 촬상 소자(40)에 의해 촬상된 화상을 촬상 화상이라고 부른다. 촬상 소자(40)에 의해 생성된 화상 데이터는 화상 처리 회로(41)에서 처리된다. 화상 처리 회로(41)는 촬상 화상 내에 있어서의 촬상 대상의 위치를 산출한다. 화상 처리 회로(41)는 산출된 위치를 나타내는 좌표를 통신부(36)의 마이크로 컴퓨터(42)에 출력한다. 이 좌표의 데이터는 마이크로 컴퓨터(42)에 의해 조작 데이터로서 게임 장치(3)에 송신된다. 이하에서는, 상기 좌표를 「마커 좌표」라고 부른다. 마커 좌표는 컨트롤러(5) 자체의 방향(경사 각도)이나 위치에 대응하여 변화하므로, 게임 장치(3)는 이 마커 좌표를 이용하여 컨트롤러(5)의 방향이나 위치를 산출할 수 있다.
또한, 다른 실시 형태에 있어서는, 컨트롤러(5)는 화상 처리 회로(41)를 구비하고 있지 않은 구성이어도 되고, 촬상 화상 자체가 컨트롤러(5)로부터 게임 장치(3)로 송신되어도 된다. 이때, 게임 장치(3)는 화상 처리 회로(41)와 마찬가지의 기능을 갖는 회로 혹은 프로그램을 갖고 있고, 상기 마커 좌표를 산출하도록 해도 된다.
가속도 센서(37)는 컨트롤러(5)의 가속도(중력 가속도를 포함함)를 검출하는, 즉, 컨트롤러(5)에 가해지는 힘(중력을 포함함)을 검출한다. 가속도 센서(37)는 당해 가속도 센서(37)의 검출부에 가해지고 있는 가속도 중, 센싱 축방향에 따른 직선 방향의 가속도(직선 가속도)의 값을 검출한다. 예를 들어, 2축 이상의 다축 가속도 센서의 경우에는, 가속도 센서의 검출부에 가해지고 있는 가속도로서, 각 축에 따른 성분의 가속도를 각각 검출한다. 또한, 가속도 센서(37)는, 예를 들어 정전 용량식 MEMS(Micro Electro Mechanical System)형 가속도 센서로 하지만, 다른 방식의 가속도 센서를 사용하도록 해도 된다.
본 실시 형태에서는, 가속도 센서(37)는 컨트롤러(5)를 기준으로 한 상하 방향(도 3에 나타내는 Y축 방향), 좌우 방향(도 3에 나타내는 X축 방향) 및 전후 방향(도 3에 나타내는 Z축 방향)의 3축 방향에 관하여 각각 직선 가속도를 검출한다. 가속도 센서(37)는, 각 축에 따른 직선 방향에 관한 가속도를 검출하는 것이므로, 가속도 센서(37)로부터의 출력은 3축 각각의 직선 가속도의 값을 나타내는 것으로 된다. 즉, 검출된 가속도는 컨트롤러(5)를 기준으로 설정되는 XYZ 좌표계(컨트롤러 좌표계)에 있어서의 3차원의 벡터로서 나타내어진다.
가속도 센서(37)가 검출한 가속도를 나타내는 데이터(가속도 데이터)는 통신부(36)에 출력된다. 또한, 가속도 센서(37)가 검출한 가속도는 컨트롤러(5) 자체의 방향(경사 각도)이나 움직임에 대응하여 변화하므로, 게임 장치(3)는 취득된 가속도 데이터를 사용하여 컨트롤러(5)의 방향이나 움직임을 산출할 수 있다. 본 실시 형태에서는, 게임 장치(3)는 취득된 가속도 데이터에 기초하여 컨트롤러(5)의 자세나 경사 각도 등을 산출한다.
또한, 가속도 센서(37)(후술하는 가속도 센서(63)에 대해서도 마찬가지)로부터 출력되는 가속도의 신호에 기초하여, 게임 장치(3)의 프로세서(예를 들어 CPU(10)) 또는 컨트롤러(5)의 프로세서(예를 들어 마이크로 컴퓨터(42)) 등의 컴퓨터가 처리를 행함으로써, 컨트롤러(5)에 관한 새로운 정보를 추측 또는 산출(판정)할 수 있는 것은, 당업자라면 본 명세서의 설명으로부터 용이하게 이해할 수 있을 것이다. 예를 들어, 가속도 센서(37)를 탑재하는 컨트롤러(5)가 정지 상태인 것을 전제로 하여 컴퓨터측의 처리가 실행되는 경우(즉, 가속도 센서에 의해 검출되는 가속도가 중력 가속도뿐이라고 하여 처리가 실행되는 경우), 컨트롤러(5)가 현실에 정지 상태이면, 검출된 가속도에 기초하여 컨트롤러(5)의 자세가 중력 방향에 대하여 기울어져 있는지 여부 또는 어느 정도 기울어져 있는지를 알 수 있다. 구체적으로는, 가속도 센서(37)의 검출축이 연직 하측 방향을 향하고 있는 상태를 기준으로 하였을 때, 1G(중력 가속도)가 가해지고 있는지 여부에 의해, 컨트롤러(5)가 기준에 대하여 기울어져 있는지 여부를 알 수 있고, 그 크기에 의해 기준에 대하여 어느 정도 기울어져 있는지도 알 수 있다. 또한, 다축의 가속도 센서(37)의 경우에는, 또한 각 축의 가속도의 신호에 대하여 처리를 실시함으로써, 중력 방향에 대하여 컨트롤러(5)가 어느 정도 기울어져 있는지를 더욱 상세하게 알 수 있다. 이 경우에 있어서, 프로세서는 가속도 센서(37)로부터의 출력에 기초하여 컨트롤러(5)의 경사 각도를 산출해도 되고, 당해 경사 각도를 산출하지 않고, 컨트롤러(5)의 경사 방향을 산출하도록 해도 된다. 이와 같이, 가속도 센서(37)를 프로세서와 조합하여 사용함으로써, 컨트롤러(5)의 경사 각도 또는 자세를 판정할 수 있다.
한편, 컨트롤러(5)가 동적인 상태(컨트롤러(5)가 움직여지고 있는 상태)인 것을 전제로 하는 경우에는, 가속도 센서(37)는 중력 가속도에 더하여 컨트롤러(5)의 움직임에 따른 가속도를 검출하므로, 검출된 가속도로부터 중력 가속도의 성분을 소정의 처리에 의해 제거함으로써 컨트롤러(5)의 움직임 방향을 알 수 있다. 또한, 컨트롤러(5)가 동적인 상태인 것을 전제로 하는 경우라도, 검출된 가속도로부터, 가속도 센서의 움직임에 따른 가속도의 성분을 소정의 처리에 의해 제거함으로써, 중력 방향에 대한 컨트롤러(5)의 기울기를 아는 것이 가능하다. 또한, 다른 실시예에서는, 가속도 센서(37)는, 내장된 가속도 검출 수단에 의해 검출된 가속도 신호를 마이크로 컴퓨터(42)에 출력하기 전에 당해 가속도 신호에 대하여 소정의 처리를 행하기 위한, 내장식 처리 장치 또는 다른 종류의 전용의 처리 장치를 구비하고 있어도 된다. 내장식 또는 전용의 처리 장치는, 예를 들어 가속도 센서(37)가 정적인 가속도(예를 들어 중력 가속도)를 검출하기 위하여 사용되는 경우, 가속도 신호를 경사각(혹은, 다른 바람직한 파라미터)으로 변환하는 것이어도 된다.
자이로 센서(48)는 3축(본 실시 형태에서는, XYZ축) 둘레의 각속도를 검출한다. 본 명세서에서는, 컨트롤러(5)의 촬상 방향(Z축 정방향)을 기준으로 하여, X축 둘레의 회전 방향을 피치 방향, Y축 둘레의 회전 방향을 요 방향, Z축 둘레의 회전 방향을 롤 방향이라고 부른다. 자이로 센서(48)는 3축 둘레의 각속도를 검출할 수 있으면 되고, 사용하는 자이로 센서의 수 및 조합은 어떠한 것이어도 된다. 예를 들어, 자이로 센서(48)는 3축 자이로 센서이어도 되고, 2축 자이로 센서와 1축 자이로 센서를 조합하여 3축 둘레의 각속도를 검출하는 것이어도 된다. 자이로 센서(48)에서 검출된 각속도를 나타내는 데이터는 통신부(36)에 출력된다. 또한, 자이로 센서(48)는 1축 또는 2축 둘레의 각속도를 검출하는 것이어도 된다.
통신부(36)는, 마이크로 컴퓨터(42), 메모리(43), 무선 모듈(44) 및 안테나(45)를 포함하고 있다. 마이크로 컴퓨터(42)는 처리를 행할 때에 메모리(43)를 기억 영역으로서 이용하면서, 마이크로 컴퓨터(42)가 취득한 데이터를 게임 장치(3)로 무선 송신하는 무선 모듈(44)을 제어한다.
조작부(32), 촬상 정보 연산부(35), 가속도 센서(37) 및 자이로 센서(48)로부터 마이크로 컴퓨터(42)에 출력된 데이터는 일시적으로 메모리(43)에 저장된다. 이들 데이터는 조작 데이터(컨트롤러 조작 데이터)로서 게임 장치(3)로 송신된다. 즉, 마이크로 컴퓨터(42)는 게임 장치(3)의 컨트롤러 통신 모듈(19)로의 송신 타이밍이 도래하면, 메모리(43)에 저장되어 있는 조작 데이터를 무선 모듈(44)에 출력한다. 무선 모듈(44)은, 예를 들어 Bluetooth(블루투스)(등록 상표)의 기술을 이용하여, 소정 주파수의 반송파를 조작 데이터로 변조하고, 그 미약 전파 신호를 안테나(45)로부터 방사한다. 즉, 조작 데이터는 무선 모듈(44)에서 미약 전파 신호로 변조되어 컨트롤러(5)로부터 송신된다. 미약 전파 신호는 게임 장치(3)측의 컨트롤러 통신 모듈(19)에서 수신된다. 수신된 미약 전파 신호에 대하여 복조나 복호를 행함으로써, 게임 장치(3)는 조작 데이터를 취득할 수 있다. 그리고, 게임 장치(3)의 CPU(10)는 컨트롤러(5)로부터 취득한 조작 데이터를 이용하여 게임 처리를 행한다. 또한, 통신부(36)로부터 컨트롤러 통신 모듈(19)로의 무선 송신은 소정 주기마다 순서대로 행해지지만, 게임의 처리는 1/60초를 단위로 하여(1프레임 시간으로 하여) 행해지는 것이 일반적이므로, 이 시간 이하의 주기로 송신을 행하는 것이 바람직하다. 컨트롤러(5)의 통신부(36)는, 예를 들어 1/200초에 1회의 비율로 조작 데이터를 게임 장치(3)의 컨트롤러 통신 모듈(19)에 출력한다.
이상과 같이, 컨트롤러(5)는 자기에 대한 조작을 나타내는 조작 데이터로서, 마커 좌표 데이터, 가속도 데이터, 각속도 데이터 및 조작 버튼 데이터를 송신 가능하다. 또한, 게임 장치(3)는 상기 조작 데이터를 게임 입력으로서 사용하여 게임 처리를 실행한다. 따라서, 상기 컨트롤러(5)를 사용함으로써, 유저는 각 조작 버튼을 누르는 종래의 일반적인 게임 조작에 더하여, 컨트롤러(5) 자체를 움직이는 게임 조작을 행할 수 있다. 예를 들어, 컨트롤러(5)를 임의의 자세로 기울이는 조작, 컨트롤러(5)에 의해 화면 상의 임의의 위치를 지시하는 조작, 및 컨트롤러(5) 자체를 움직이는 조작 등을 행하는 것이 가능해진다.
또한, 본 실시 형태에 있어서, 컨트롤러(5)는 게임 화상을 표시하는 표시 수단을 갖지 않지만, 예를 들어 전지 잔량을 나타내는 화상 등을 표시하기 위한 표시 수단을 갖고 있어도 된다.
[4. 단말 장치(7)의 구성]
다음에, 도 8 내지 도 10을 참조하여, 단말 장치(7)의 구성에 대하여 설명한다. 도 8은, 단말 장치(7)의 외관 구성을 도시하는 도면이다. 도 8에 있어서의 (a)는 단말 장치(7)의 정면도이며, (b)는 상면도이며, (c)는 우측면도이며, (d)는 하면도이다. 또한, 도 9는, 유저가 단말 장치(7)를 파지한 모습을 도시하는 도면이다.
도 8에 도시된 바와 같이, 단말 장치(7)는, 대략적으로는 가로로 긴 직사각형의 판형 형상인 하우징(50)을 구비한다. 하우징(50)은 유저가 파지할 수 있을 정도의 크기이다. 따라서, 유저는 단말 장치(7)를 들고 움직이거나, 단말 장치(7)의 배치 위치를 변경하거나 할 수 있다.
단말 장치(7)는 하우징(50)의 표면에 LCD(51)를 갖는다. LCD(51)는 하우징(50)의 표면의 중앙 부근에 설치된다. 따라서, 유저는, 도 9에 도시한 바와 같이 LCD(51)의 양측 부분의 하우징(50)을 듦으로써, LCD(51)의 화면을 보면서 단말 장치를 들고 움직일 수 있다. 또한, 도 9에서는 유저가 LCD(51)의 좌우 양측 부분의 하우징(50)을 듦으로써 단말 장치(7)를 가로 들기로(가로로 긴 방향으로 하여)드는 예를 나타내고 있지만, 단말 장치(7)를 세로 들기로(세로로 긴 방향으로 하여) 드는 것도 가능하다.
도 8의 (a)에 도시한 바와 같이, 단말 장치(7)는, 조작 수단으로서, LCD(51)의 화면 상에 터치 패널(52)을 갖는다. 본 실시 형태에서는, 터치 패널(52)은 저항막 방식의 터치 패널이다. 단, 터치 패널은 저항막 방식에 한하지 않고, 예를 들어 정전 용량 방식 등, 임의의 방식의 터치 패널을 사용할 수 있다. 또한, 터치 패널(52)은 싱글 터치 방식이어도 되고, 멀티 터치 방식이어도 된다. 본 실시 형태에서는, 터치 패널(52)로서, LCD(51)의 해상도와 동일 해상도(검출 정밀도)의 것을 이용한다. 단, 반드시 터치 패널(52)의 해상도와 LCD(51)의 해상도가 일치할 필요는 없다. 터치 패널(52)에 대한 입력은 통상 터치 펜을 사용하여 행해지지만, 터치 펜에 한하지 않고 유저의 손가락으로 터치 패널(52)에 대한 입력을 하는 것도 가능하다. 또한, 하우징(50)에는, 터치 패널(52)에 대한 조작을 행하기 위하여 사용되는 터치 펜을 수납하기 위한 수납 구멍이 형성되어 있어도 된다. 이와 같이, 단말 장치(7)는 터치 패널(52)을 구비하므로, 유저는 단말 장치(7)를 움직이면서 터치 패널(52)을 조작할 수 있다. 즉 유저는 LCD(51)의 화면을 움직이면서, 그 화면에 대하여 직접(터치 패널(52)에 의해) 입력을 행할 수 있다.
도 8에 도시한 바와 같이, 단말 장치(7)는, 조작 수단으로서, 2개의 아날로그 스틱(53A 및 53B)과, 복수의 버튼(54A 내지 54L)을 구비하고 있다. 각 아날로그 스틱(53A 및 53B)은 방향을 지시하는 디바이스이다. 각 아날로그 스틱(53A 및 53B)은, 유저의 손가락으로 조작되는 스틱부가 하우징(50)의 표면에 대하여 임의의 방향(상하 좌우 및 경사 방향의 임의의 각도)으로 슬라이드 또는 경도(傾倒)할 수 있도록 구성되어 있다. 또한, 좌측 아날로그 스틱(53A)은 LCD(51)의 화면의 좌측에, 우측 아날로그 스틱(53B)은 LCD(51)의 화면의 우측에 각각 설치된다. 따라서, 유저는 좌우 어느 쪽 손으로도 아날로그 스틱을 이용하여 방향을 지시하는 입력을 행할 수 있다. 또한, 도 9에 도시한 바와 같이, 각 아날로그 스틱(53A 및 53B)은, 유저가 단말 장치(7)의 좌우 부분을 파지한 상태에서 조작 가능한 위치에 설치되므로, 유저는 단말 장치(7)를 들고 움직이는 경우에 있어서도 각 아날로그 스틱(53A 및 53B)을 용이하게 조작할 수 있다.
각 버튼(54A 내지 54L)은 소정의 입력을 행하기 위한 조작 수단이다. 이하에 도시한 바와 같이, 각 버튼(54A 내지 54L)은, 유저가 단말 장치(7)의 좌우 부분을 파지한 상태에서 조작 가능한 위치에 설치된다(도 9 참조). 따라서, 유저는 단말 장치(7)를 들고 움직이는 경우에 있어서도 이들 조작 수단을 용이하게 조작할 수 있다.
도 8의 (a)에 도시한 바와 같이, 하우징(50)의 표면에는, 각 조작 버튼(54A 내지 54L) 중, 십자 버튼(방향 입력 버튼)(54A)과, 버튼(54B 내지 54H)이 설치된다. 즉, 이들 버튼(54A 내지 54H)은 유저의 엄지 손가락으로 조작 가능한 위치에 배치되어 있다(도 9 참조).
십자 버튼(54A)은 LCD(51)의 좌측이며, 좌측 아날로그 스틱(53A)의 하측에 설치된다. 즉, 십자 버튼(54A)은 유저의 왼손으로 조작 가능한 위치에 배치되어 있다. 십자 버튼(54A)은 십자 형상을 갖고 있고, 상하 좌우의 방향을 지시하는 것이 가능한 버튼이다. 또한, 버튼(54B 내지 54D)은 LCD(51)의 하측에 설치된다. 이들 3개의 버튼(54B 내지 54D)은 좌우 양쪽 손으로 조작 가능한 위치에 배치되어 있다. 또한, 4개의 버튼(54E 내지 54H)은 LCD(51)의 우측이며, 우측 아날로그 스틱(53B)의 하측에 설치된다. 즉, 4개의 버튼(54E 내지 54H)은 유저의 오른손으로 조작 가능한 위치에 배치되어 있다. 또한, 4개의 버튼(54E 내지 54H)은, (4개의 버튼(54E 내지 54H)의 중심 위치에 대하여)상하 좌우의 위치 관계로 되도록 배치되어 있다. 따라서, 단말 장치(7)는 유저에게 상하 좌우의 방향을 지시시키기 위한 버튼으로서 4개의 버튼(54E 내지 54H)을 기능시키는 것도 가능하다.
또한, 도 8의 (a), (b) 및 (c)에 도시한 바와 같이, 제1 L 버튼(54I) 및 제1 R 버튼(54J)은, 하우징(50)의 경사 상부 부분(좌측 상단 부분 및 우측 상단 부분)에 설치된다. 구체적으로는, 제1 L 버튼(54I)은 판형의 하우징(50)에 있어서의 상측 측면의 좌측 단부에 설치되고, 상측 및 좌측의 측면으로부터 노출되어 있다. 또한, 제1 R 버튼(54J)은 하우징(50)에 있어서의 상측 측면의 우측 단부에 설치되고, 상측 및 우측 측면으로부터 노출되어 있다. 이와 같이, 제1 L 버튼(54I)은 유저의 왼손 집게 손가락으로 조작 가능한 위치에 배치되고, 제1 R 버튼(54J)은 유저의 오른손 집게 손가락으로 조작 가능한 위치에 배치된다(도 9 참조).
또한, 도 8의 (b) 및 (c)에 도시한 바와 같이, 제2 L 버튼(54K) 및 제2 R 버튼(54L)은, 판형의 하우징(50)의 이면(즉 LCD(51)가 설치되는 표면의 반대측 면)에 돌기되어 설치되는 발부(足部)(59A 및 59B)에 배치된다. 구체적으로는, 제2 L 버튼(54K)은 하우징(50)의 이면의 좌측(표면측에서 보았을 때의 좌측)의 약간 상방에 설치되고, 제2 R 버튼(54L)은 하우징(50)의 이면의 우측(표면측에서 보았을 때의 우측)의 약간 상방에 설치된다. 바꾸어 말하면, 제2 L 버튼(54K)은 표면에 설치되는 좌측 아날로그 스틱(53A)의 대략 반대측 위치에 설치되고, 제2 R 버튼(54L)은 표면에 설치되는 우측 아날로그 스틱(53B)의 대략 반대측 위치에 설치된다. 이와 같이, 제2 L 버튼(54K)은 유저의 왼손 가운데 손가락으로 조작 가능한 위치에 배치되고, 제2 R 버튼(54L)은 유저의 오른손 가운데 손가락으로 조작 가능한 위치에 배치된다(도 9 참조). 또한, 제2 L 버튼(54K) 및 제2 R 버튼(54L)은, 도 8의 (c)에 도시한 바와 같이, 상기 발부(59A 및 59B)의 경사 상방을 향하는 면에 설치되고, 경사 상방을 향하는 버튼면을 갖는다. 유저가 단말 장치(7)를 파지한 경우에는 가운데 손가락은 상하 방향으로 움직인다고 생각되므로, 버튼면을 상방으로 향하게 함으로써, 유저는 제2 L 버튼(54K) 및 제2 R 버튼(54L)을 누르기 쉬워진다. 또한, 하우징(50)의 이면에 발부가 설치됨으로써, 유저는 하우징(50)을 파지하기 쉬워지고, 또한 발부에 버튼이 설치됨으로써, 하우징(50)을 파지한 채로 조작하기 쉬워진다.
또한, 도 8에 도시하는 단말 장치(7)에 관해서는, 제2 L 버튼(54K) 및 제2 R 버튼(54L)이 이면에 설치되므로, LCD(51)의 화면(하우징(50)의 표면)이 위를 향한 상태에서 단말 장치(7)를 적재시키는 경우, 화면이 완전히 수평하게 되지 않는 경우가 있다. 그로 인해, 다른 실시 형태에 있어서는, 하우징(50)의 이면에 3개 이상의 발부가 형성되어도 된다. 이에 따르면, LCD(51)의 화면이 위를 향한 상태에서는 발부가 바닥면에 접함으로써 바닥면에 적재할 수 있으므로, 화면이 수평해지도록 단말 장치(7)를 적재할 수 있다. 또한, 착탈 가능한 발부를 추가함으로써 단말 장치(7)를 수평하게 적재하도록 해도 된다.
각 버튼(54A 내지 54L)에는, 게임 프로그램에 따른 기능이 적절히 할당된다. 예를 들어, 십자 버튼(54A) 및 버튼(54E 내지 54H)은 방향 지시 조작이나 선택 조작 등에 사용되어도 되고, 각 버튼(54B 내지 54E)은 결정 조작이나 캔슬 조작 등에 사용되어도 된다.
또한, 도시하지 않지만, 단말 장치(7)는, 단말 장치(7)의 전원을 온/오프하기 위한 전원 버튼을 갖고 있다. 또한, 단말 장치(7)는, LCD(51)의 화면 표시를 온/오프하기 위한 버튼이나, 게임 장치(3)와의 접속 설정(페어링)을 행하기 위한 버튼이나, 스피커(도 10에 도시하는 스피커(67))의 음량을 조절하기 위한 버튼을 갖고 있어도 된다.
도 8의 (a)에 도시한 바와 같이, 단말 장치(7)는, 마커(55A) 및 마커(55B) 로 이루어지는 마커부(도 10에 도시하는 마커부(55))를 하우징(50)의 표면에 구비하고 있다. 마커부(55)는 LCD(51)의 상측에 설치된다. 각 마커(55A) 및 마커(55B)는, 마커 장치(6)의 각 마커(6R 및 6L)와 마찬가지로, 1 이상의 적외 LED로 구성된다. 마커부(55)는, 상술한 마커 장치(6)와 마찬가지로, 컨트롤러(5)의 움직임 등을 게임 장치(3)가 산출하기 위하여 사용된다. 또한, 게임 장치(3)는 마커부(55)가 구비하는 각 적외 LED의 점등을 제어하는 것이 가능하다.
단말 장치(7)는 촬상 수단인 카메라(56)를 구비하고 있다. 카메라(56)는 소정의 해상도를 갖는 촬상 소자(예를 들어, CCD 이미지 센서나 CMOS 이미지 센서 등)와, 렌즈를 포함한다. 도 8에 도시한 바와 같이, 본 실시 형태에서는, 카메라(56)는 하우징(50)의 표면에 설치된다. 따라서, 카메라(56)는 단말 장치(7)를 들고 있는 유저의 얼굴을 촬상할 수 있고, 예를 들어 LCD(51)를 보면서 게임을 행하고 있을 때의 유저를 촬상할 수 있다.
또한, 단말 장치(7)는 음성 입력 수단인 마이크(도 10에 도시하는 마이크(69))를 구비하고 있다. 하우징(50)의 표면에는, 마이크로폰용 구멍(60)이 형성된다. 마이크(69)는 이 마이크로폰용 구멍(60)의 안쪽의 하우징(50) 내부에 설치된다. 마이크는 유저의 음성 등, 단말 장치(7)의 주위의 소리를 검출한다.
단말 장치(7)는 음성 출력 수단인 스피커(도 10에 도시하는 스피커(67))를 구비하고 있다. 도 8의 (d)에 도시한 바와 같이, 하우징(50)의 하측 측면에는 스피커 구멍(57)이 형성된다. 스피커(67)의 출력음은 이 스피커 구멍(57)으로부터 출력된다. 본 실시 형태에서는, 단말 장치(7)는 2개의 스피커를 구비하고 있고, 좌측 스피커 및 우측 스피커의 각각의 위치에 스피커 구멍(57)이 형성된다.
또한, 단말 장치(7)는 다른 장치를 단말 장치(7)에 접속하기 위한 확장 커넥터(58)를 구비하고 있다. 본 실시 형태에 있어서는, 도 8의 (d)에 도시한 바와 같이, 확장 커넥터(58)는 하우징(50)의 하측 측면에 설치된다. 또한, 확장 커넥터(58)에 접속되는 다른 장치는 어떠한 것이어도 되고, 예를 들어 특정 게임에 사용하는 컨트롤러(총형의 컨트롤러 등)나 키보드 등의 입력 장치이어도 된다. 다른 장치를 접속할 필요가 없으면, 확장 커넥터(58)는 설치되어 있지 않아도 된다.
또한, 도 8에 도시한 단말 장치(7)에 관하여, 각 조작 버튼이나 하우징(50)의 형상이나, 각 구성 요소의 수 및 설치 위치 등은 단순한 일례에 지나지 않고, 다른 형상, 수 및 설치 위치이어도 된다.
다음에, 도 10을 참조하여, 단말 장치(7)의 내부 구성에 대하여 설명한다. 도 10은, 단말 장치(7)의 내부 구성을 도시하는 블록도이다. 도 10에 도시한 바와 같이, 단말 장치(7)는, 도 8에 도시한 구성 외에, 터치 패널 컨트롤러(61), 자기 센서(62), 가속도 센서(63), 자이로 센서(64), 유저 인터페이스 컨트롤러(UI 컨트롤러)(65), 코덱 LSI(66), 스피커(67), 사운드 IC(68), 마이크(69), 무선 모듈(70), 안테나(71), 적외선 통신 모듈(72), 플래시 메모리(73), 전원 IC(74) 및 전지(75)를 구비한다. 이들 전자 부품은 전자 회로 기판 상에 실장되어 하우징(50) 내에 수납된다.
UI 컨트롤러(65)는 각종 입출력부에 대한 데이터의 입출력을 제어하기 위한 회로이다. UI 컨트롤러(65)는 터치 패널 컨트롤러(61), 아날로그 스틱(53)(아날로그 스틱(53A 및 53B)), 조작 버튼(54)(각 조작 버튼(54A 내지 54L)), 마커부(55), 자기 센서(62), 가속도 센서(63) 및 자이로 센서(64)에 접속된다. 또한, UI 컨트롤러(65)는 코덱 LSI(66)와 확장 커넥터(58)에 접속된다. 또한, UI 컨트롤러(65)에는 전원 IC(74)가 접속되고, UI 컨트롤러(65)를 통하여 각 부에 전력이 공급된다. 전원 IC(74)에는 내장된 전지(75)가 접속되어 전력이 공급된다. 또한, 전원 IC(74)에는, 커넥터 등을 통하여 외부 전원으로부터 전력을 취득 가능한 충전기(76) 또는 케이블을 접속하는 것이 가능하고, 단말 장치(7)는 당해 충전기(76) 또는 케이블을 사용하여 외부 전원으로부터의 전력 공급과 충전을 행할 수 있다. 또한, 단말 장치(7)는, 도시하지 않은 충전 기능을 갖는 크레이들에 단말 장치(7)를 장착함으로써 충전을 행하도록 해도 된다.
터치 패널 컨트롤러(61)는 터치 패널(52)에 접속되고, 터치 패널(52)의 제어를 행하는 회로이다. 터치 패널 컨트롤러(61)는, 터치 패널(52)로부터의 신호에 기초하여 소정 형식의 터치 위치 데이터를 생성하여 UI 컨트롤러(65)에 출력한다. 터치 위치 데이터는, 터치 패널(52)의 입력면에 있어서 입력이 행해진 위치의 좌표를 나타낸다. 또한, 터치 패널 컨트롤러(61)는 터치 패널(52)로부터의 신호의 읽어들이기, 및 터치 위치 데이터의 생성을 소정 시간에 1회의 비율로 행한다. 또한, UI 컨트롤러(65)로부터 터치 패널 컨트롤러(61)로는, 터치 패널(52)에 대한 각종 제어 지시가 출력된다.
아날로그 스틱(53)은 유저의 손가락으로 조작되는 스틱부가 슬라이드한(또는 경도한) 방향 및 양을 나타내는 스틱 데이터를 UI 컨트롤러(65)에 출력한다. 또한, 조작 버튼(54)은 각 조작 버튼(54A 내지 54L)에 대한 입력 상황(눌렸는지 여부)을 나타내는 조작 버튼 데이터를 UI 컨트롤러(65)에 출력한다.
자기 센서(62)는 자계의 크기 및 방향을 검지함으로써 방위를 검출한다. 검출된 방위를 나타내는 방위 데이터는 UI 컨트롤러(65)에 출력된다. 또한, UI 컨트롤러(65)로부터 자기 센서(62)로는, 자기 센서(62)에 대한 제어 지시가 출력된다. 자기 센서(62)에 관해서는, MI(자기 임피던스) 소자, 플럭스 게이트 센서, 홀 소자, GMR(거대 자기 저항) 소자, TMR(터널 자기 저항) 소자, 혹은 AMR(이방성 자기 저항) 소자 등을 사용한 센서가 있지만, 방위를 검출할 수 있으면 어떠한 것이 사용되어도 된다. 또한, 엄밀하게는 지자기 이외에 자계가 발생하고 있는 장소에 있어서는, 얻어진 방위 데이터는 방위를 나타내지 않게 되지만, 그와 같은 경우라도, 단말 장치(7)가 움직인 경우에는 방위 데이터가 변화하므로, 단말 장치(7)의 자세의 변화를 산출할 수 있다.
가속도 센서(63)는 하우징(50)의 내부에 설치되고, 3축(도 8의 (a)에 나타내는 xyz축) 방향에 따른 직선 가속도의 크기를 검출한다. 구체적으로는, 가속도 센서(63)는 하우징(50)의 긴 변 방향을 x축, 하우징(50)의 짧은 변 방향을 y축, 하우징(50)의 표면에 대하여 수직인 방향을 z축으로 하여, 각 축의 직선 가속도의 크기를 검출한다. 검출된 가속도를 나타내는 가속도 데이터는 UI 컨트롤러(65)에 출력된다. 또한, UI 컨트롤러(65)로부터 가속도 센서(63)로는, 가속도 센서(63)에 대한 제어 지시가 출력된다. 가속도 센서(63)는, 본 실시 형태에서는 예를 들어 정전 용량식 MEMS형 가속도 센서로 하지만, 다른 실시 형태에 있어서는 다른 방식의 가속도 센서를 사용하도록 해도 된다. 또한, 가속도 센서(63)는 1축 또는 2축 방향을 검출하는 가속도 센서이어도 된다.
자이로 센서(64)는 하우징(50)의 내부에 설치되고, 상기 x축, y축 및 z축의 3축 둘레의 각속도를 검출한다. 검출된 각속도를 나타내는 각속도 데이터는 UI 컨트롤러(65)에 출력된다. 또한, UI 컨트롤러(65)로부터 자이로 센서(64)로는, 자이로 센서(64)에 대한 제어 지시가 출력된다. 또한, 3축의 각속도를 검출하기 위하여 사용되는 자이로 센서의 수 및 조합은 어떠한 것이어도 되고, 자이로 센서(64)는 자이로 센서(48)와 마찬가지로, 2축 자이로 센서와 1축 자이로 센서로 구성되어도 된다. 또한, 자이로 센서(64)는 1축 또는 2축 방향을 검출하는 자이로 센서이어도 된다.
UI 컨트롤러(65)는, 상기한 각 구성 요소로부터 수취한 터치 위치 데이터, 스틱 데이터, 조작 버튼 데이터, 방위 데이터, 가속도 데이터 및 각속도 데이터를 포함하는 조작 데이터를 코덱 LSI(66)에 출력한다. 또한, 확장 커넥터(58)를 통하여 단말 장치(7)에 다른 장치가 접속되는 경우에는, 당해 다른 장치에 대한 조작을 나타내는 데이터가 상기 조작 데이터에 더 포함되어 있어도 된다.
코덱 LSI(66)는, 게임 장치(3)로 송신하는 데이터에 대한 압축 처리, 및 게임 장치(3)로부터 송신된 데이터에 대한 신장 처리를 행하는 회로이다. 코덱 LSI(66)에는, LCD(51), 카메라(56), 사운드 IC(68), 무선 모듈(70), 플래시 메모리(73) 및 적외선 통신 모듈(72)이 접속된다. 또한, 코덱 LSI(66)는 CPU(77)와 내부 메모리(78)를 포함한다. 단말 장치(7)는 게임 처리 자체를 행하지 않는 구성이지만, 단말 장치(7)의 관리나 통신을 위한 최소한의 프로그램을 실행할 필요가 있다. 전원 투입시에 플래시 메모리(73)에 저장된 프로그램을 내부 메모리(78)에 판독하여 CPU(77)가 실행함으로써, 단말 장치(7)가 기동한다. 또한, 내부 메모리(78)의 일부 영역은 LCD(51)를 위한 VRAM으로서 사용된다.
카메라(56)는 게임 장치(3)로부터의 지시에 따라서 화상을 촬상하고, 촬상한 화상 데이터를 코덱 LSI(66)에 출력한다. 또한, 코덱 LSI(66)로부터 카메라(56)로는, 화상의 촬상 지시 등, 카메라(56)에 대한 제어 지시가 출력된다. 또한, 카메라(56)는 동화상의 촬영도 가능하다. 즉, 카메라(56)는 반복 촬상을 행하여 화상 데이터를 코덱 LSI(66)에 반복하여 출력하는 것도 가능하다.
사운드 IC(68)는 스피커(67) 및 마이크(69)에 접속되고, 스피커(67) 및 마이크(69)에의 음성 데이터의 입출력을 제어하는 회로이다. 즉, 코덱 LSI(66)로부터 음성 데이터를 수취한 경우, 사운드 IC(68)는 당해 음성 데이터에 대하여 D/A 변환을 행하여 얻어지는 음성 신호를 스피커(67)에 출력하고, 스피커(67)로부터 소리를 출력시킨다. 또한, 마이크(69)는, 단말 장치(7)에 전해지는 소리(유저의 음성 등)를 검지하여, 당해 소리를 나타내는 음성 신호를 사운드 IC(68)에 출력한다. 사운드 IC(68)는, 마이크(69)로부터의 음성 신호에 대하여 A/D 변환을 행하고, 소정 형식의 음성 데이터를 코덱 LSI(66)에 출력한다.
코덱 LSI(66)는, 카메라(56)로부터의 화상 데이터, 마이크(69)로부터의 음성 데이터, 및 UI 컨트롤러(65)로부터의 조작 데이터를, 단말기 조작 데이터로서 무선 모듈(70)을 통하여 게임 장치(3)로 송신한다. 본 실시 형태에서는, 코덱 LSI(66)는, 화상 데이터 및 음성 데이터에 대하여, 코덱 LSI(27)와 같은 압축 처리를 행한다. 상기 단말기 조작 데이터, 및 압축된 화상 데이터 및 음성 데이터는, 송신 데이터로서 무선 모듈(70)에 출력된다. 무선 모듈(70)에는 안테나(71)가 접속되어 있고, 무선 모듈(70)은 안테나(71)를 통하여 게임 장치(3)로 상기 송신 데이터를 송신한다. 무선 모듈(70)은 게임 장치(3)의 단말기 통신 모듈(28)과 마찬가지의 기능을 갖고 있다. 즉, 무선 모듈(70)은, 예를 들어 IEEE802.11n의 규격에 준거한 방식에 의해, 무선 LAN에 접속하는 기능을 갖는다. 송신되는 데이터는 필요에 따라서 암호화되어 있어도 되고, 되어 있지 않아도 된다.
이상과 같이, 단말 장치(7)로부터 게임 장치(3)로 송신되는 송신 데이터에는, 조작 데이터(단말기 조작 데이터), 화상 데이터 및 음성 데이터가 포함된다. 또한, 확장 커넥터(58)를 통하여 단말 장치(7)에 다른 장치가 접속되는 경우에는, 당해 다른 장치로부터 수취한 데이터가 상기 송신 데이터에 더 포함되어 있어도 된다. 또한, 적외선 통신 모듈(72)은, 다른 장치와의 사이에서 예를 들어 IRDA의 규격에 따른 적외선 통신을 행한다. 코덱 LSI(66)는, 적외선 통신에 의해 수신한 데이터를, 필요에 따라서 상기 송신 데이터에 포함하여 게임 장치(3)로 송신해도 된다.
또한, 상술한 바와 같이, 게임 장치(3)로부터 단말 장치(7)로는, 압축된 화상 데이터 및 음성 데이터가 송신된다. 이들 데이터는 안테나(71) 및 무선 모듈(70)을 통하여 코덱 LSI(66)에 수신된다. 코덱 LSI(66)는 수신한 화상 데이터 및 음성 데이터를 신장한다. 신장된 화상 데이터는 LCD(51)에 출력되고, 화상이 LCD(51)에 표시된다. 또한, 신장된 음성 데이터는 사운드 IC(68)에 출력되고, 사운드 IC(68)는 스피커(67)로부터 소리를 출력시킨다.
또한, 게임 장치(3)로부터 수신되는 데이터에 제어 데이터가 포함되는 경우, 코덱 LSI(66) 및 UI 컨트롤러(65)는 제어 데이터에 따른 제어 지시를 각 부에 행한다. 상술한 바와 같이, 제어 데이터는, 단말 장치(7)가 구비하는 각 구성 요소(본 실시 형태에서는, 카메라(56), 터치 패널 컨트롤러(61), 마커부(55), 각 센서(62 내지 64) 및 적외선 통신 모듈(72))에 대한 제어 지시를 나타내는 데이터이다. 본 실시 형태에서는, 제어 데이터가 나타내는 제어 지시로서는, 상기 각 구성 요소를 동작시키거나, 동작을 휴지(정지)시키거나 하는 지시를 생각할 수 있다. 즉, 게임에서 사용하지 않는 구성 요소에 대해서는 전력 소비를 억제하기 위하여 휴지시켜도 되고, 그 경우, 단말 장치(7)로부터 게임 장치(3)로 송신되는 송신 데이터에는, 휴지한 구성 요소로부터의 데이터가 포함되지 않도록 한다. 또한, 마커부(55)는 적외 LED이므로, 제어는 단순히 전력 공급의 ON/OFF로 된다.
이상과 같이, 단말 장치(7)는, 터치 패널(52), 아날로그 스틱(53) 및 조작 버튼(54)과 같은 조작 수단을 구비하지만, 다른 실시 형태에 있어서는, 이들 조작 수단 대신에, 또는 이들 조작 수단과 함께, 다른 조작 수단을 구비하는 구성이어도 된다.
또한, 단말 장치(7)는, 단말 장치(7)의 움직임(위치나 자세, 혹은 위치나 자세의 변화를 포함함)을 산출하기 위한 센서로서, 자기 센서(62), 가속도 센서(63) 및 자이로 센서(64)를 구비하지만, 다른 실시 형태에 있어서는, 이들 센서 중 1개 또는 2개만을 구비하는 구성이어도 된다. 또한, 다른 실시 형태에 있어서는, 이들 센서 대신에, 또는 이들 센서와 함께, 다른 센서를 구비하는 구성이어도 된다.
또한, 단말 장치(7)는, 카메라(56) 및 마이크(69)를 구비하는 구성이지만, 다른 실시 형태에 있어서는, 카메라(56) 및 마이크(69)를 구비하고 있지 않아도 되고, 또한 어느 한쪽만을 구비하고 있어도 된다.
또한, 단말 장치(7)는, 단말 장치(7)와 컨트롤러(5)의 위치 관계(컨트롤러(5)에서 본 단말 장치(7)의 위치 및/또는 자세 등)를 산출하기 위한 구성으로서 마커부(55)를 구비하는 구성이지만, 다른 실시 형태에서는 마커부(55)를 구비하고 있지 않은 구성으로 해도 된다. 또한, 다른 실시 형태에서는, 단말 장치(7)는 상기 위치 관계를 산출하기 위한 구성으로서 다른 수단을 구비하고 있어도 된다. 예를 들어, 다른 실시 형태에 있어서는, 컨트롤러(5)가 마커부를 구비하고, 단말 장치(7)가 촬상 소자를 구비하는 구성으로 해도 된다. 또한 이 경우, 마커 장치(6)는 적외 LED 대신에, 촬상 소자를 구비하는 구성으로 해도 된다.
[5. 게임 처리]
다음에, 본 게임 시스템에 있어서 실행되는 게임 처리의 상세를 설명한다. 우선, 게임 처리에 있어서 사용되는 각종 데이터에 대하여 설명한다. 도 11은, 게임 처리에 있어서 사용되는 각종 데이터를 도시하는 도면이다. 도 11에 있어서, 게임 장치(3)의 메인 메모리(외부 메인 메모리(12) 또는 내부 메인 메모리(11e))에 기억되는 주된 데이터를 도시하는 도면이다. 도 11에 도시한 바와 같이, 게임 장치(3)의 메인 메모리에는, 게임 프로그램(90), 수신 데이터(91) 및 처리용 데이터(106)가 기억된다. 또한, 메인 메모리에는, 도 11에 도시하는 데이터 외에, 게임에 등장하는 각종 오브젝트의 화상 데이터나 게임에 사용되는 음성 데이터 등, 게임에 필요한 데이터가 기억된다.
게임 프로그램(90)은, 게임 장치(3)에 전원이 투입된 후의 적절한 타이밍에서 광 디스크(4)로부터 그 일부 또는 전부가 읽어들여져 메인 메모리에 기억된다. 또한, 게임 프로그램(90)은, 광 디스크(4) 대신에, 플래시 메모리(17)나 게임 장치(3)의 외부 장치로부터(예를 들어 인터넷을 통해) 취득되어도 된다. 또한, 게임 프로그램(90)에 포함되는 일부(예를 들어, 컨트롤러(5) 및/또는 단말 장치(7)의 자세를 산출하기 위한 프로그램)에 대해서는, 게임 장치(3) 내에 미리 기억되어 있어도 된다.
수신 데이터(91)는 컨트롤러(5) 및 단말 장치(7)로부터 수신되는 각종 데이터이다. 수신 데이터(91)는, 컨트롤러 조작 데이터(92), 단말기 조작 데이터(97), 카메라 화상 데이터(104), 및 마이크음 데이터(105)를 포함한다. 컨트롤러(5)가 복수 접속되는 경우에는, 컨트롤러 조작 데이터(92)도 복수가 된다. 단말 장치(7)가 복수 접속되는 경우에는, 단말기 조작 데이터(97), 카메라 화상 데이터(104), 및 마이크음 데이터(105)도 복수가 된다.
컨트롤러 조작 데이터(92)는 컨트롤러(5)에 대한 유저(플레이어)의 조작을 나타내는 데이터이다. 컨트롤러 조작 데이터(92)는 컨트롤러(5)로부터 송신되어 게임 장치(3)에 있어서 취득되고, 메인 메모리에 기억된다. 컨트롤러 조작 데이터(92)는, 제1 조작 버튼 데이터(93), 제1 가속도 데이터(94), 제1 각속도 데이터(95) 및 마커 좌표 데이터(96)를 포함한다. 또한, 메인 메모리에는, 최신의(마지막으로 취득된) 것부터 순서대로 소정 개수의 컨트롤러 조작 데이터가 기억되어도 된다.
제1 조작 버튼 데이터(93)는 컨트롤러(5)에 설치되는 각 조작 버튼(32a 내지 32i)에 대한 입력 상태를 나타내는 데이터이다. 구체적으로는, 제1 조작 버튼 데이터(93)는 각 조작 버튼(32a 내지 32i)이 눌려 있는지 여부를 나타낸다.
제1 가속도 데이터(94)는, 컨트롤러(5)의 가속도 센서(37)에 의해 검출된 가속도(가속도 벡터)를 나타내는 데이터이다. 여기서는, 제1 가속도 데이터(94)는, 도 3에 나타내는 XYZ의 3축의 방향에 관한 가속도를 각 성분으로 하는 3차원의 가속도를 나타내는 것이지만, 다른 실시 형태에 있어서는, 임의의 1 이상의 방향에 관한 가속도를 나타내는 것이면 된다.
제1 각속도 데이터(95)는, 컨트롤러(5)에 있어서의 자이로 센서(48)에 의해 검출된 각속도를 나타내는 데이터이다. 여기서는, 제1 각속도 데이터(95)는, 도 3에 나타내는 XYZ의 3축 둘레의 각각의 각속도를 나타내는 것이지만, 다른 실시 형태에 있어서는, 임의의 1축 이상의 축 둘레 각속도를 나타내는 것이면 된다.
마커 좌표 데이터(96), 촬상 정보 연산부(35)의 화상 처리 회로(41)에 의해 산출되는 좌표, 즉 상기 마커 좌표를 나타내는 데이터이다. 마커 좌표는, 촬상 화상에 대응하는 평면 상의 위치를 나타내기 위한 2차원 좌표계로 표현되고, 마커 좌표 데이터(96)는, 당해 2차원 좌표계에 있어서의 좌표값을 나타낸다.
또한, 컨트롤러 조작 데이터(92)는, 컨트롤러(5)를 조작하는 유저의 조작을 나타내는 것이면 되고, 상기 각 데이터(93 내지 96)의 일부만을 포함하는 것이어도 된다. 또한, 컨트롤러(5)가 다른 입력 수단(예를 들어, 터치 패널이나 아날로그 스틱 등)을 갖는 경우에는, 컨트롤러 조작 데이터(92)는, 당해 다른 입력 수단에 대한 조작을 나타내는 데이터를 포함하고 있어도 된다. 또한, 본 실시 형태와 같이 컨트롤러(5) 자체의 움직임을 게임 조작으로서 사용하는 경우에는, 컨트롤러 조작 데이터(92)는, 제1 가속도 데이터(94), 제1 각속도 데이터(95), 또는 마커 좌표 데이터(96)와 같이, 컨트롤러(5) 자체의 움직임에 따라서 값이 변화하는 데이터를 포함하도록 한다.
단말기 조작 데이터(97)는, 단말 장치(7)에 대한 유저의 조작을 나타내는 데이터이다. 단말기 조작 데이터(97)는 단말 장치(7)로부터 송신되어 게임 장치(3)에 있어서 취득되어, 메인 메모리에 기억된다. 단말기 조작 데이터(97)는, 제2 조작 버튼 데이터(98), 스틱 데이터(99), 터치 위치 데이터(100), 제2 가속도 데이터(101), 제2 각속도 데이터(102) 및 방위 데이터를 포함한다. 또한, 메인 메모리에는, 최신의(마지막으로 취득된) 것부터 순서대로 소정 개수의 단말기 조작 데이터가 기억되어도 된다.
제2 조작 버튼 데이터(98)는, 단말 장치(7)에 설치되는 각 조작 버튼(54A 내지 54L)에 대한 입력 상태를 나타내는 데이터이다. 구체적으로는, 제2 조작 버튼 데이터(98)는 각 조작 버튼(54A 내지 54L)이 눌려 있는지 여부를 나타낸다.
스틱 데이터(99)는, 아날로그 스틱(53)(아날로그 스틱(53A 및 53B))의 스틱부가 슬라이드한(또는 경도한) 방향 및 양을 나타내는 데이터이다. 상기 방향 및 양은, 예를 들어 2차원 좌표나 2차원 벡터로서 나타내어져도 된다.
터치 위치 데이터(100)는, 터치 패널(52)의 입력면에 있어서 입력이 행해진 위치(터치 위치)를 나타내는 데이터이다. 본 실시 형태에서는, 터치 위치 데이터(100)는, 상기 입력면 상의 위치를 나타내기 위한 2차원 좌표계의 좌표값을 나타낸다. 또한, 터치 패널(52)이 멀티 터치 방식인 경우에는, 터치 위치 데이터(100)는 복수의 터치 위치를 나타내는 경우도 있다.
제2 가속도 데이터(101)는, 가속도 센서(63)에 의해 검출된 가속도(가속도 벡터)를 나타내는 데이터이다. 본 실시 형태에서는, 제2 가속도 데이터(101)는, 도 8에 나타내는 xyz의 3축 방향에 관한 가속도를 각 성분으로 하는 3차원의 가속도를 나타내는 것이지만, 다른 실시 형태에 있어서는, 임의의 1 이상의 방향에 관한 가속도를 나타내는 것이면 된다.
제2 각속도 데이터(102)는, 자이로 센서(64)에 의해 검출된 각속도를 나타내는 데이터이다. 본 실시 형태에서는, 제2 각속도 데이터(102)는, 도 8에 나타내는xyz의 3축 둘레의 각각의 각속도를 나타내는 것이지만, 다른 실시 형태에 있어서는, 임의의 1축 이상의 축 둘레 각속도를 나타내는 것이면 된다.
방위 데이터(103)는, 자기 센서(62)에 의해 검출된 방위를 나타내는 데이터이다. 본 실시 형태에서는, 방위 데이터(103)는, 단말 장치(7)를 기준으로 하여 소정 방위(예를 들어 북)의 방향을 나타낸다. 단, 지자기 이외의 자계가 발생하고 있는 장소에 있어서는, 방위 데이터(103)는 엄밀하게는 절대적인 방위(북 등)를 나타내지 않게 되지만, 그 장소에 있어서의 자계의 방향에 대한 단말 장치(7)의 상대적인 방향이 나타내어지므로, 그와 같은 경우라도 단말 장치(7)의 자세 변화를 산출하는 것이 가능하다.
또한, 단말기 조작 데이터(97)는, 단말 장치(7)를 조작하는 유저의 조작을 나타내는 것이면 되고, 상기 각 데이터(98 내지 103) 중 어느 하나만을 포함하는 것이어도 된다. 또한, 단말 장치(7)가 다른 입력 수단(예를 들어, 터치 패드나, 컨트롤러(5)의 촬상 수단 등)을 갖는 경우에는, 단말기 조작 데이터(97)는 당해 다른 입력 수단에 대한 조작을 나타내는 데이터를 포함하고 있어도 된다. 또한, 본 실시 형태와 같이 단말 장치(7) 자체의 움직임을 게임 조작으로서 사용하는 경우에는, 단말기 조작 데이터(97)는, 제2 가속도 데이터(101), 제2 각속도 데이터(102), 또는 방위 데이터(103)와 같이, 단말 장치(7) 자체의 움직임에 따라서 값이 변화하는 데이터를 포함하도록 한다.
카메라 화상 데이터(104)는, 단말 장치(7)의 카메라(56)에 의해 촬상된 화상(카메라 화상)을 나타내는 데이터이다. 카메라 화상 데이터(104)는, 단말 장치(7)로부터의 압축된 화상 데이터가 코덱 LSI(27)에 의해 신장된 화상 데이터이며, 입출력 프로세서(11a)에 의해 메인 메모리에 기억된다. 또한, 메인 메모리에는, 최신의(마지막으로 취득된) 것부터 순서대로 소정 개수의 카메라 화상 데이터가 기억되어도 된다.
마이크음 데이터(105)는, 단말 장치(7)의 마이크(69)에 의해 검출된 음성(마이크음)을 나타내는 데이터이다. 마이크음 데이터(105)는, 단말 장치(7)로부터 송신되어 오는 압축된 음성 데이터가 코덱 LSI(27)에 의해 신장된 음성 데이터이며, 입출력 프로세서(11a)에 의해 메인 메모리에 기억된다.
처리용 데이터(106)는, 후술하는 게임 처리(도 12)에 있어서 사용되는 데이터이다. 처리용 데이터(106)는, 제어 데이터(107), 컨트롤러 자세 데이터(108), 단말기 자세 데이터(109), 화상 인식 데이터(110) 및 음성 인식 데이터(111)를 포함한다. 또한, 도 11에 나타내는 데이터 외에, 처리용 데이터(106)는, 게임에 등장하는 각종 오브젝트에 설정되는 각종 파라미터를 나타내는 데이터 등, 게임 처리에 있어서 사용되는 각종 데이터를 포함한다.
제어 데이터(107)는, 단말 장치(7)가 구비하는 구성 요소에 대한 제어 지시를 나타내는 데이터이다. 제어 데이터(107)는, 예를 들어 마커부(55)의 점등을 제어하는 지시나, 카메라(56)의 촬상을 제어하는 지시 등을 나타낸다. 제어 데이터(107)는 적절한 타이밍에서 단말 장치(7)로 송신된다.
컨트롤러 자세 데이터(108)는, 컨트롤러(5)의 자세를 나타내는 데이터이다. 본 실시 형태에서는, 컨트롤러 자세 데이터(108)는 상기 컨트롤러 조작 데이터(92)에 포함되는 제1 가속도 데이터(94), 제1 각속도 데이터(95) 및 마커 좌표 데이터(96)에 기초하여 산출된다. 컨트롤러 자세 데이터(108)의 산출 방법에 대해서는 스텝 S23에서 후술한다.
단말기 자세 데이터(109)는, 단말 장치(7)의 자세를 나타내는 데이터이다. 본 실시 형태에서는, 단말기 자세 데이터(109)는 상기 단말기 조작 데이터(97)에 포함되는 제2 가속도 데이터(101), 제2 각속도 데이터(102) 및 방위 데이터(103)에 기초하여 산출된다. 단말기 자세 데이터(109)의 산출 방법에 대해서는 스텝 S24에서 후술한다.
화상 인식 데이터(110)는, 상기 카메라 화상에 대한 소정의 화상 인식 처리의 결과를 나타내는 데이터이다. 이 화상 인식 처리는, 카메라 화상으로부터 어떠한 특징을 검지하여 그 결과를 출력하는 것이면 어떠한 처리이어도 되고, 예를 들어 카메라 화상으로부터 소정의 대상(예를 들어, 유저의 얼굴이나 마커 등)을 추출하고, 추출한 대상에 관한 정보를 산출하는 처리이어도 된다.
음성 인식 데이터(111)는, 상기 마이크 음성에 대한 소정의 음성 인식 처리의 결과를 나타내는 데이터이다. 이 음성 인식 처리는, 마이크 음성으로부터 어떠한 특징을 검지하여 그 결과를 출력하는 것이면 어떠한 처리이어도 되고, 예를 들어 유저의 말을 검지하는 처리이어도 되고, 단순히 음량을 출력하는 처리이어도 된다.
다음에, 도 12를 참조하여, 게임 장치(3)에 있어서 행해지는 게임 처리의 상세를 설명한다. 도 12는, 게임 장치(3)에 있어서 실행되는 게임 처리의 흐름을 나타내는 메인 흐름도이다. 게임 장치(3)의 전원이 투입되면, 게임 장치(3)의 CPU(10)는, 도시하지 않은 부트 ROM에 기억되어 있는 기동 프로그램을 실행하고, 이에 의해 메인 메모리 등의 각 유닛이 초기화된다. 그리고, 광 디스크(4)에 기억된 게임 프로그램이 메인 메모리에 읽어들여져, CPU(10)에 의해 당해 게임 프로그램의 실행이 개시된다. 또한, 게임 장치(3)에 있어서는, 전원 투입 후에 광 디스크(4)에 기억된 게임 프로그램이 바로 실행되는 구성이어도 되고, 전원 투입 후에 우선 소정의 메뉴 화면을 표시하는 내장 프로그램이 실행되고, 그 후 유저에 의해 게임의 개시가 지시되었을 때에 광 디스크(4)에 기억된 게임 프로그램이 실행되는 구성이어도 된다. 도 12에 나타내는 흐름도는, 이상의 처리가 완료된 후에 행해지는 처리를 나타내는 흐름도이다.
또한, 도 12에 나타내는 흐름도의 각 스텝의 처리는, 단순한 일례에 지나지 않고, 마찬가지의 결과가 얻어지는 것이라면, 각 스텝의 처리 순서를 교체해도 된다. 또한, 변수의 값이나, 판단 스텝에서 이용되는 임계값도, 단순한 일례에 지나지 않으며, 필요에 따라서 다른 값을 채용해도 된다. 또한, 본 실시 형태에서는, 상기 흐름도의 각 스텝의 처리를 CPU(10)가 실행하는 것으로서 설명하지만, CPU(10) 이외의 프로세서나 전용 회로가 상기 각 스텝의 일부의 스텝의 처리를 실행하도록 해도 된다.
우선 스텝 S1에 있어서, CPU(10)는 초기 처리를 실행한다. 초기 처리는, 예를 들어 가상의 게임 공간을 구축하고, 게임 공간에 등장하는 각 오브젝트를 초기 위치에 배치하거나, 게임 처리에서 사용하는 각종 파라미터의 초기값을 설정하거나 하는 처리이다.
또한, 본 실시 형태에 있어서는, 초기 처리에 있어서, CPU(10)는 게임 프로그램의 종류에 기초하여 마커 장치(6) 및 마커부(55)의 점등을 제어한다. 여기서, 게임 시스템(1)은 컨트롤러(5)의 촬상 수단(촬상 정보 연산부(35))의 촬상 대상으로서, 마커 장치(6)와 단말 장치(7)의 마커부(55)의 2개를 갖고 있다. 게임의 내용(게임 프로그램의 종류)에 따라서는, 마커 장치(6)와 마커부(55) 중 어느 한쪽이 사용되거나, 혹은 양쪽이 사용되거나 한다. 또한, 게임 프로그램(90)에는, 마커 장치(6) 및 마커부(55)의 각각에 대하여 점등시킬지 여부를 나타내는 데이터가 포함되어 있다. CPU(10)는, 당해 데이터를 판독하여 점등시킬지 여부를 판단한다. 그리고, 마커 장치(6) 및/또는 마커부(55)를 점등시키는 경우에는 이하의 처리를 실행한다.
즉, 마커 장치(6)를 점등하는 경우, CPU(10)는 마커 장치(6)가 구비하는 각 적외 LED를 점등시키는 취지의 제어 신호를 마커 장치(6)로 송신한다. 이 제어 신호의 송신은 단순히 전력을 공급하기만 하는 것이어도 된다. 이에 따라서 마커 장치(6)의 각 적외 LED가 점등된다. 한편, 마커부(55)를 점등하는 경우, CPU(10)는 마커부(55)를 점등하는 지시를 나타내는 제어 데이터를 생성하여 메인 메모리에 기억한다. 생성된 제어 데이터는, 후술하는 스텝 S10에 있어서 단말 장치(7)로 송신된다. 단말 장치(7)의 무선 모듈(70)에 있어서 수신된 제어 데이터는, 코덱 LSI(66)를 통하여 UI 컨트롤러(65)로 보내지고, UI 컨트롤러(65)는 마커부(55)에 점등하는 지시를 행한다. 이에 의해 마커부(55)의 적외 LED가 점등한다. 또한, 상기에 있어서는 마커 장치(6) 및 마커부(55)를 점등시키는 경우를 설명하였지만, 마커 장치(6) 및 마커부(55)의 소등은, 점등하는 경우와 마찬가지의 처리에 의해 행할 수 있다.
이상의 스텝 S1 다음에 스텝 S2의 처리가 실행된다. 이후, 스텝 S2 내지 S11의 일련의 처리로 이루어지는 처리 루프가 소정 시간(1프레임 시간)에 1회의 비율로 반복 실행된다.
스텝 S2에 있어서, CPU(10)는 컨트롤러(5)로부터 송신되어 오는 컨트롤러 조작 데이터를 취득한다. 컨트롤러(5)는 컨트롤러 조작 데이터를 게임 장치(3)로 반복하여 송신하므로, 게임 장치(3)에 있어서는, 컨트롤러 통신 모듈(19)이 당해 컨트롤러 조작 데이터를 순서대로 수신하고, 수신된 컨트롤러 조작 데이터가 입출력 프로세서(11a)에 의해 메인 메모리에 순서대로 기억된다. 송수신의 간격은 게임의 처리 시간보다도 짧은 쪽이 바람직하고, 예를 들어 200분의 1초이다. 스텝 S2에 있어서는, CPU(10)는 최신 컨트롤러 조작 데이터(92)를 메인 메모리로부터 판독한다. 스텝 S2 다음에 스텝 S3의 처리가 실행된다.
스텝 S3에 있어서, CPU(10)는 단말 장치(7)로부터 송신되어 오는 각종 데이터를 취득한다. 단말 장치(7)는, 단말기 조작 데이터와 카메라 화상 데이터와 마이크음 데이터를 게임 장치(3)로 반복하여 송신하므로, 게임 장치(3)는 이들 데이터를 순서대로 수신한다. 게임 장치(3)에 있어서는, 단말기 통신 모듈(28)이 이들 데이터를 순서대로 수신하고, 카메라 화상 데이터 및 마이크음 데이터에 대해서는 코덱 LSI(27)에 의해 신장 처리가 순서대로 실시된다. 그리고, 입출력 프로세서(11a)가 단말기 조작 데이터와 카메라 화상 데이터와 마이크음 데이터를 메인 메모리에 순서대로 기억한다. 스텝 S3에 있어서는, CPU(10)는 최신 단말기 조작 데이터(97)를 메인 메모리로부터 판독한다. 스텝 S3 다음에 스텝 S4의 처리가 실행된다.
스텝 S4에 있어서, CPU(10)는 게임 제어 처리를 실행한다. 게임 제어 처리는, 유저에 의한 게임 조작에 따라서 게임 공간 내의 오브젝트를 동작시키는 처리 등을 실행하여, 게임을 진행시키는 처리이다. 본 실시 형태에 있어서는, 유저는 컨트롤러(5) 및/또는 단말 장치(7)를 사용하여 다양한 게임을 행하는 것이 가능하다. 이하, 도 13을 참조하여, 게임 제어 처리에 대하여 설명한다.
도 13은, 게임 제어 처리의 상세한 흐름을 나타내는 흐름도이다. 또한, 도 13에 나타내는 일련의 처리는, 컨트롤러(5) 및 단말 장치(7)를 조작 장치로서 사용하는 경우에 있어서 실행될 수 있는 다양한 처리이지만, 각 처리가 반드시 모두 실행될 필요는 없고, 게임의 종류나 내용에 따라서는 일부의 처리만이 실행되어도 된다.
게임 제어 처리에 있어서는, 우선 스텝 S21에 있어서, CPU(10)는 사용하는 마커를 변경할지 여부를 판정한다. 상술한 바와 같이, 본 실시 형태에 있어서는, 게임 처리의 개시시(스텝 S1)에 있어서, 마커 장치(6) 및 마커부(55)의 점등을 제어하는 처리가 실행된다. 여기서, 게임에 따라서는, 게임의 도중에 마커 장치(6) 및 마커부(55) 중에서 사용하는(점등하는) 대상을 변경하는 경우도 생각할 수 있다. 또한, 게임에 따라서는 마커 장치(6) 및 마커부(55)의 양쪽을 사용하는 것도 생각할 수 있지만, 양쪽을 점등시키면, 한쪽의 마커를 다른 쪽의 마커로 오검출해 버릴 우려가 있다. 그로 인해, 게임 중에 있어서, 어느 한쪽만을 점등시키도록 점등을 전환하여 사용하는 것이 바람직한 경우도 있다. 스텝 S21의 처리는, 이러한 경우를 고려하여, 점등하는 대상을 게임 도중에 변경할지 여부를 판정하는 처리이다.
상기 스텝 S21의 판정은, 예를 들어 이하의 방법으로 행할 수 있다. 즉, CPU(10)는 게임 상황(게임의 스테이지나 조작 대상 등)이 변화하였는지 여부에 따라 상기 판정을 행할 수 있다. 게임 상황이 변화하는 경우, 마커 장치(6) 쪽을 향하여 컨트롤러(5)를 조작하는 조작 방법과, 마커부(55) 쪽을 향하여 컨트롤러(5)를 조작하는 조작 방법 사이에서, 조작 방법이 변경되는 것을 생각할 수 있기 때문이다. 또한, CPU(10)는 컨트롤러(5)의 자세에 기초하여 상기 판정을 행할 수 있다. 즉, 컨트롤러(5)가 마커 장치(6) 쪽을 향하고 있는지, 마커부(55) 쪽을 향하고 있는지에 따라 상기 판정을 행할 수 있다. 또한, 컨트롤러(5)의 자세는, 예를 들어 가속도 센서(37)나 자이로 센서(48)의 검출 결과에 기초하여 산출할 수 있다(후술하는 스텝 S23 참조). 또한, CPU(10)는 유저에 의한 변경 지시가 있었는지 여부에 의해 상기 판정을 행할 수도 있다.
상기 스텝 S21의 판정 결과가 긍정인 경우, 스텝 S22의 처리가 실행된다. 한편, 상기 스텝 S21의 판정 결과가 부정인 경우, 스텝 S22의 처리가 스킵되어 스텝 S23의 처리가 실행된다.
스텝 S22에 있어서, CPU(10)는 마커 장치(6) 및 마커부(55)의 점등을 제어한다. 즉, 마커 장치(6) 및/또는 마커부(55)의 점등 상태를 변경한다. 또한, 마커 장치(6) 및/또는 마커부(55)를 점등 또는 소등하는 구체적인 처리는, 상기 스텝 S1의 경우와 마찬가지로 행할 수 있다. 스텝 S22 다음에 스텝 S23의 처리가 실행된다.
이상과 같이 본 실시 형태에 따르면, 상기 스텝 S1의 처리에 의해, 게임 프로그램의 종류에 따라서 마커 장치(6) 및 마커부(55)의 발광(점등)을 제어할 수 있음과 함께, 상기 스텝 S21 및 S22의 처리에 의해, 게임 상황에 따라서 마커 장치(6) 및 마커부(55)의 발광(점등)을 제어할 수 있다.
스텝 S23에 있어서, CPU(10)는 컨트롤러(5)의 자세를 산출한다. 본 실시 형태에서는, 컨트롤러(5)의 자세는, 제1 가속도 데이터(94), 제1 각속도 데이터(95) 및 마커 좌표 데이터(96)에 기초하여 산출된다. 이하, 컨트롤러(5)의 자세의 산출 방법에 대하여 설명한다.
우선, CPU(10)는 메인 메모리에 기억되어 있는 제1 각속도 데이터(95)에 기초하여 컨트롤러(5)의 자세를 산출한다. 컨트롤러(5)의 자세를 각속도로부터 산출하는 방법은 어떠한 방법이어도 되지만, 당해 자세는, 전회의 자세(전회에 산출된 자세)와, 금회의 각속도(금회의 처리 루프에 있어서의 스텝 S2에서 취득된 각속도)를 이용하여 산출된다. 구체적으로는, CPU(10)는 전회의 자세를 금회의 각속도에서 단위 시간분만큼 회전시킴으로써 자세를 산출한다. 또한, 전회의 자세는, 메인 메모리에 기억되어 있는 컨트롤러 자세 데이터(108)에 의해 나타내어지고, 금회의 각속도는, 메인 메모리에 기억되어 있는 제1 각속도 데이터(95)에 의해 나타내어진다. 따라서, CPU(10)는 메인 메모리로부터 컨트롤러 자세 데이터(108) 및 제1 각속도 데이터(95)를 판독하여, 컨트롤러(5)의 자세를 산출한다. 이상과 같이 하여 산출된 「각속도에 기초하는 자세」를 나타내는 데이터는 메인 메모리에 기억된다.
또한, 각속도로부터 자세를 산출하는 경우, 초기 자세를 정해 두는 것이 좋다. 즉, 컨트롤러(5)의 자세를 각속도로부터 산출하는 경우에는, CPU(10)는 최초에 컨트롤러(5)의 초기 자세를 산출해 둔다. 컨트롤러(5)의 초기 자세는 가속도 데이터에 기초하여 산출되어도 되고, 컨트롤러(5)를 특정 자세로 한 상태에서 플레이어에게 소정의 조작을 행하게 함으로써, 소정의 조작이 행해진 시점에 있어서의 특정 자세를 초기 자세로서 사용하도록 해도 된다. 또한, 공간에 있어서의 소정 방향을 기준으로 한 절대적인 자세로서 컨트롤러(5)의 자세를 산출하는 경우에는 상기 초기 자세를 산출하는 것이 좋지만, 예를 들어 게임 개시 시점에 있어서의 컨트롤러(5)의 자세를 기준으로 한 상대적인 자세로서 컨트롤러(5)의 자세를 산출하는 경우에는, 상기 초기 자세는 산출되지 않아도 된다.
다음에, CPU(10)는, 각속도에 기초하여 산출한 컨트롤러(5)의 자세를, 제1 가속도 데이터(94)를 이용하여 보정한다. 구체적으로는, CPU(10)는 우선, 메인 메모리로부터 제1 가속도 데이터(94)를 판독하여, 제1 가속도 데이터(94)에 기초하여 컨트롤러(5)의 자세를 산출한다. 여기서, 컨트롤러(5)가 대략 정지하고 있는 상태에서는, 컨트롤러(5)에 대하여 가해지는 가속도는 중력 가속도를 의미한다. 따라서, 이 상태에 있어서는, 가속도 센서(37)가 출력하는 제1 가속도 데이터(94)를 사용하여 중력 가속도의 방향(중력 방향)을 산출할 수 있으므로, 중력 방향에 대한 컨트롤러(5)의 방향(자세)을 당해 제1 가속도 데이터(94)에 기초하여 산출할 수 있다. 이상과 같이 하여 산출된 「가속도에 기초하는 자세」를 나타내는 데이터는 메인 메모리에 기억된다.
가속도에 기초하는 자세를 산출하면, CPU(10)는 다음에, 가속도에 기초하는 자세를 사용하여, 각속도에 기초하는 자세를 보정한다. 구체적으로는, CPU(10)는 각속도에 기초하는 자세를 나타내는 데이터와 가속도에 기초하는 자세를 나타내는 데이터를 메인 메모리로부터 판독하고, 각속도 데이터에 기초하는 자세를, 가속도 데이터에 기초하는 자세로 소정의 비율로 근접시키는 보정을 행한다. 이 소정의 비율은, 미리 정해진 고정값이어도 되고, 제1 가속도 데이터(94)가 나타내는 가속도 등에 따라서 설정되어도 된다. 또한, 가속도에 기초하는 자세에 관해서는, 중력 방향을 축으로 하는 회전 방향에 대해서는 자세를 산출할 수 없으므로, CPU(10)는 당해 회전 방향에 관해서는 보정을 행하지 않도록 해도 된다. 본 실시 형태에 있어서는, 이상과 같이 하여 얻어진 보정 후의 자세를 나타내는 데이터는 메인 메모리에 기억된다.
상기한 바와 같이 하여 각속도에 기초하는 자세를 보정한 후, CPU(10)는 보정 후의 자세를 마커 좌표 데이터(96)를 이용하여 다시 보정한다. 우선, CPU(10)는 마커 좌표 데이터(96)에 기초하여 컨트롤러(5)의 자세(마커 좌표에 기초하는 자세)를 산출한다. 마커 좌표 데이터(96)는 촬상 화상 내에 있어서의 마커(6R 및 6L)의 위치를 나타내므로, 이들 위치로부터, 롤 방향(Z축 둘레의 회전 방향)에 관한 컨트롤러(5)의 자세를 산출할 수 있다. 즉, 촬상 화상 내에 있어서 마커(6R)의 위치와 마커(6L)의 위치를 연결하는 직선의 기울기로부터, 롤 방향에 관한 컨트롤러(5)의 자세를 산출할 수 있다. 또한, 마커 장치(6)에 대한 컨트롤러(5)의 위치를 특정할 수 있는 경우(예를 들어, 마커 장치(6)의 정면에 컨트롤러(5)가 위치한다고 상정할 수 있는 경우)에는, 촬상 화상 내에 있어서의 마커 장치(6)의 위치로부터, 피치 방향 및 요 방향에 관한 컨트롤러(5)의 자세를 산출할 수 있다. 예를 들어, 촬상 화상 내에 있어서 마커(6R 및 6L)의 위치가 좌측으로 이동한 경우, 컨트롤러(5)는 우측으로 방향(자세)을 바꾸었다고 판단할 수 있다. 이와 같이, 마커(6R) 및 마커(6L)의 위치로부터, 피치 방향 및 요 방향에 관한 컨트롤러(5)의 자세를 산출할 수 있다. 이상과 같이 하여, 마커 좌표 데이터(96)에 기초하여 컨트롤러(5)의 자세를 산출할 수 있다.
마커 좌표에 기초하는 자세를 산출하면, CPU(10)는 다음에, 상기 보정 후의 자세(가속도에 기초하는 자세에 의해 보정된 자세)를, 마커 좌표에 기초하는 자세로 보정한다. 즉, CPU(10)는 보정 후의 자세를, 마커 좌표에 기초하는 자세로 소정의 비율로 근접시키는 보정을 행한다. 이 소정의 비율은, 미리 정해진 고정값이어도 된다. 또한, 마커 좌표에 기초하는 자세에 의한 보정은, 롤 방향, 피치 방향 및 요 방향 중 어느 1개 또는 2개의 방향에 대해서만 행해져도 된다. 예를 들어, 마커 좌표 데이터(96)를 이용하는 경우, 롤 방향에 대해서는 고정밀도로 자세를 산출할 수 있으므로, CPU(10)는 롤 방향에 대해서만, 마커 좌표 데이터(96)에 기초하는 자세를 이용하여 보정을 행해도 된다. 또한, 컨트롤러(5)의 촬상 소자(40)에 의해 마커 장치(6) 또는 마커부(55)가 촬상되어 있지 않은 경우는, 마커 좌표 데이터(96)에 기초하는 자세를 산출할 수 없으므로, 이 경우에는 마커 좌표 데이터(96)를 이용하는 보정 처리는 실행되지 않아도 된다.
상기에 따르면, CPU(10)는 제1 각속도 데이터(95)에 기초하여 산출된 컨트롤러(5)의 제1 자세를, 제1 가속도 데이터(94) 및 마커 좌표 데이터(96)를 이용하여 보정하였다. 여기서, 컨트롤러(5)의 자세를 산출하는 방법 중, 각속도를 이용하는 방법에서는, 컨트롤러(5)가 어떻게 움직이고 있을 때라도 자세를 산출할 수 있다. 한편, 각속도를 이용하는 방법에서는, 순서대로 검출되는 각속도를 누적 가산해 감으로써 자세를 산출하므로, 오차가 누적되는 것 등에 의해 정밀도가 나빠지거나, 소위 온도 드리프트의 문제로 자이로 센서의 정밀도가 나빠지거나 할 우려가 있다. 또한, 가속도를 이용하는 방법은, 오차가 축적되지 않는 한편, 컨트롤러(5)가 격렬하게 움직이고 있는 상태에서는, (중력 방향을 정확하게 검출할 수 없으므로)자세를 고정밀도로 산출할 수 없다. 또한, 마커 좌표를 이용하는 방법은, (특히 롤 방향에 관하여)자세를 고정밀도로 산출할 수 있는 한편, 마커부(55)를 촬상할 수 없는 상태에서는 자세를 산출할 수 없다. 이에 대하여, 본 실시 형태에 따르면, 상기한 바와 같이 특징이 다른 3종류의 방법을 이용하므로, 컨트롤러(5)의 자세를 보다 정확하게 산출할 수 있다. 또한, 다른 실시 형태에 있어서는, 상기 3개의 방법 중 어느 1개 또는 2개를 이용하여 자세를 산출하도록 해도 된다. 또한, 상기 스텝 S1 또는 S22의 처리에 있어서 마커의 점등 제어를 행하는 경우에는, CPU(10)는 적어도 마커 좌표를 이용하여 컨트롤러(5)의 자세를 산출하는 것이 바람직하다.
상기 스텝 S23 다음에, 스텝 S24의 처리가 실행된다. 스텝 S24에 있어서는, CPU(10)는 단말 장치(7)의 자세를 산출한다. 즉, 단말 장치(7)로부터 취득되는 단말기 조작 데이터(97)에는, 제2 가속도 데이터(101), 제2 각속도 데이터(102) 및 방위 데이터(103)가 포함되므로, CPU(10)는 이들 데이터에 기초하여 단말 장치(7)의 자세를 산출한다. 여기서, CPU(10)는 제2 각속도 데이터(102)에 의해 단말 장치(7)의 단위 시간당에 있어서의 회전량(자세의 변화량)을 알 수 있다. 또한, 단말 장치(7)가 대략 정지하고 있는 상태에서는, 단말 장치(7)에 대하여 가해지는 가속도는 중력 가속도를 의미하므로, 제2 가속도 데이터(101)에 의해 단말 장치(7)에 가해지는 중력 방향(즉, 중력 방향을 기준으로 한 단말 장치(7)의 자세)을 알 수 있다. 또한, 방위 데이터(103)에 의해, 단말 장치(7)를 기준으로 한 소정의 방위(즉, 소정의 방위를 기준으로 한 단말 장치(7)의 자세)를 알 수 있다. 또한, 지자기 이외의 자계가 발생하고 있는 경우라도, 단말 장치(7)의 회전량을 알 수 있다. 따라서, CPU(10)는 이들 제2 가속도 데이터(101), 제2 각속도 데이터(102) 및 방위 데이터(103)에 기초하여 단말 장치(7)의 자세를 산출할 수 있다. 또한, 본 실시 형태에 있어서는, 상기 3개의 데이터에 기초하여 단말 장치(7)의 자세를 산출하지만, 다른 실시 형태에 있어서는, 상기 3개의 데이터 중 1개 또는 2개에 기초하여 자세를 산출하도록 해도 된다.
또한, 단말 장치(7)의 자세의 구체적인 산출 방법은 어떠한 방법이어도 되지만, 예를 들어 제2 각속도 데이터(102)가 나타내는 각속도에 기초하여 산출되는 자세를, 제2 가속도 데이터(101) 및 방위 데이터(103)를 이용하여 보정하는 방법을 생각할 수 있다. 구체적으로는, CPU(10)는, 우선, 제2 각속도 데이터(102)에 기초하여 단말 장치(7)의 자세를 산출한다. 또한, 각속도에 기초하여 자세를 산출하는 방법은, 상기 스텝 S23에 있어서의 방법과 마찬가지이어도 된다. 다음에, CPU(10)는 적절한 타이밍(예를 들어, 단말 장치(7)가 정지 상태에 가까운 경우에)에서, 각속도에 기초하여 산출되는 자세를, 제2 가속도 데이터(101)에 기초하여 산출되는 자세, 및/또는 방위 데이터(103)에 기초하여 산출되는 자세에 의해 보정한다. 또한, 각속도에 기초하는 자세를 가속도에 기초하는 자세로 보정하는 방법은, 상술한 컨트롤러(5)의 자세를 산출하는 경우와 마찬가지의 방법이어도 된다. 또한, 각속도에 기초하는 자세를 방위 데이터에 기초하는 자세로 보정하는 경우에는, CPU(10)는, 각속도에 기초하는 자세를, 방위 데이터에 기초하는 자세로 소정의 비율로 접근시키도록 해도 된다. 이상에 따르면, CPU(10)는 단말 장치(7)의 자세를 정확하게 산출할 수 있다.
또한, 컨트롤러(5)는 적외선 검지 수단인 촬상 정보 연산부(35)를 구비하고 있으므로, 게임 장치(3)는 마커 좌표 데이터(96)를 취득할 수 있다. 그로 인해, 컨트롤러(5)에 관해서는, 게임 장치(3)는, 실공간에 있어서의 절대적인 자세(실공간에 설정된 좌표계에 있어서 컨트롤러(5)가 어떤 자세인지)를 마커 좌표 데이터(96)로부터 알 수 있다. 한편, 단말 장치(7)는 촬상 정보 연산부(35)와 같은 적외선 검지 수단을 구비하고 있지 않다. 그로 인해, 게임 장치(3)는, 제2 가속도 데이터(101) 및 제2 각속도 데이터(102)만으로부터는, 중력 방향을 축으로 한 회전 방향에 관하여 실공간에 있어서의 절대적인 자세를 알 수 없다. 따라서, 본 실시 형태에서는 단말 장치(7)가 자기 센서(62)를 구비하는 구성으로 하고, 게임 장치(3)는 방위 데이터(103)를 취득하도록 하고 있다. 이에 따르면, 게임 장치(3)는 중력 방향을 축으로 한 회전 방향에 관하여 실공간에 있어서의 절대적인 자세를 방위 데이터(103)로부터 산출할 수 있고, 단말 장치(7)의 자세를 보다 정확하게 산출할 수 있다.
상기 스텝 S24의 구체적인 처리로서는, CPU(10)는 제2 가속도 데이터(101), 제2 각속도 데이터(102) 및 방위 데이터(103)를 메인 메모리로부터 판독하고, 이들 데이터에 기초하여 단말 장치(7)의 자세를 산출한다. 그리고, 산출된 단말 장치(7)의 자세를 나타내는 데이터를 단말기 자세 데이터(109)로서 메인 메모리에 기억한다. 스텝 S24 다음에 스텝 S25의 처리가 실행된다.
스텝 S25에 있어서, CPU(10)는 카메라 화상의 인식 처리를 실행한다. 즉, CPU(10)는 카메라 화상 데이터(104)에 대하여 소정의 인식 처리를 행한다. 이 인식 처리는, 카메라 화상으로부터 어떠한 특징을 검지하여 그 결과를 출력하는 것이라면 어떠한 것이어도 된다. 예를 들어, 카메라 화상에 플레이어의 얼굴이 포함되어 있는 경우에는, 얼굴을 인식하는 처리이어도 된다. 구체적으로는, 얼굴의 일부(눈이나 코나 입 등)를 검출하는 처리이어도 되고, 얼굴의 표정을 검출하는 처리이어도 된다. 또한, 인식 처리의 결과를 나타내는 데이터는 화상 인식 데이터(110)로서 메인 메모리에 기억된다. 스텝 S25 다음에 스텝 S26의 처리가 실행된다.
스텝 S26에 있어서, CPU(10)는 마이크 음성의 인식 처리를 실행한다. 즉, CPU(10)는 마이크음 데이터(105)에 대하여 소정의 인식 처리를 행한다. 이 인식 처리는, 마이크 음성으로부터 어떠한 특징을 검지하여 그 결과를 출력하는 것이면 어떠한 것이어도 된다. 예를 들어, 마이크 음성으로부터 플레이어의 지시를 검출하는 처리이어도 되고, 단순히 마이크 음성의 음량을 검출하는 처리이어도 된다. 또한, 인식 처리의 결과를 나타내는 데이터는 음성 인식 데이터(111)로서 메인 메모리에 기억된다. 스텝 S26 다음에 스텝 S27의 처리가 실행된다.
스텝 S27에 있어서, CPU(10)는 게임 입력에 따른 게임 처리를 실행한다. 여기서, 게임 입력이란, 컨트롤러(5) 또는 단말 장치(7)로부터 송신되어 오는 데이터, 혹은 당해 데이터로부터 얻어지는 데이터이면 어떠한 것이어도 된다. 구체적으로는, 게임 입력은, 컨트롤러 조작 데이터(92) 및 단말기 조작 데이터(97)에 포함되는 각 데이터 외에, 당해 각 데이터로부터 얻어지는 데이터(컨트롤러 자세 데이터(108), 단말기 자세 데이터(109), 화상 인식 데이터(110) 및 음성 인식 데이터(111))이어도 된다. 또한, 스텝 S27에 있어서의 게임 처리의 내용은 어떠한 것이어도 되고, 예를 들어 게임에 등장하는 오브젝트(캐릭터)를 동작시키는 처리, 가상 카메라를 제어하는 처리, 또는 화면에 표시되는 커서를 이동하는 처리이어도 된다. 또한, 카메라 화상(또는 그 일부)을 게임 화상으로서 이용하는 처리, 또는 마이크 음성을 게임 음성으로서 이용하는 처리 등이어도 된다. 또한 상기 게임 처리의 예에 대해서는 후술한다. 스텝 S27에 있어서는, 예를 들어 게임에 등장하는 캐릭터(오브젝트)에 설정되는 각종 파라미터의 데이터나, 게임 공간에 배치되는 가상 카메라에 관한 파라미터의 데이터나, 득점의 데이터 등, 게임 제어 처리의 결과를 나타내는 데이터가 메인 메모리에 기억된다. 스텝 S27 후, CPU(10)는 스텝 S4의 게임 제어 처리를 종료한다.
도 12의 설명으로 되돌아가, 스텝 S5에 있어서, 텔레비전(2)에 표시하기 위한 텔레비전용 게임 화상이 CPU(10) 및 GPU(11b)에 의해 생성된다. 즉, CPU(10) 및 GPU(11b)는, 스텝 S4의 게임 제어 처리의 결과를 나타내는 데이터를 메인 메모리로부터 판독하고, 또한 게임 화상을 생성하기 위하여 필요한 데이터를 VRAM(11d)로부터 판독하여, 게임 화상을 생성한다. 게임 화상은 스텝 S4의 게임 제어 처리의 결과를 나타내는 것이면 되고, 어떠한 방법으로 생성되어도 된다. 예를 들어, 게임 화상의 생성 방법은, 가상의 게임 공간 내에 가상 카메라를 배치하여, 가상 카메라로부터 본 게임 공간을 계산함으로써 3차원의 CG 화상을 생성하는 방법이어도 되고, (가상 카메라를 사용하지 않고) 2차원의 화상을 생성하는 방법이어도 된다. 생성된 텔레비전용 게임 화상은 VRAM(11d)에 기억된다. 상기 스텝 S5 다음에 스텝 S6의 처리가 실행된다.
스텝 S6에 있어서, 단말 장치(7)에 표시하기 위한 단말기용 게임 화상이 CPU(10) 및 GPU(11b)에 의해 생성된다. 단말기용 게임 화상도 상기 텔레비전용 게임 화상과 마찬가지로, 스텝 S4의 게임 제어 처리의 결과를 나타내는 것이면 되고, 어떠한 방법으로 생성되어도 된다. 또한, 단말기용 게임 화상은, 상기 텔레비전용 게임 화상과 마찬가지의 방법으로 생성되어도 되고, 다른 방법으로 생성되어도 된다. 생성된 단말기용 게임 화상은 VRAM(11d)에 기억된다. 또한, 게임의 내용에 따라서는 텔레비전용 게임 화상과 단말기용 게임 화상은 동일해도 되고, 이 경우, 스텝 S6에 있어서 게임 화상의 생성 처리는 실행되지 않아도 된다. 상기 스텝 S6 다음에 스텝 S7의 처리가 실행된다.
스텝 S7에 있어서는, 텔레비전(2)의 스피커(2a)에 출력하기 위한 텔레비전용 게임 음성이 생성된다. 즉, CPU(10)는, 스텝 S4의 게임 제어 처리의 결과에 따른 게임 음성을 DSP(11c)에 생성시킨다. 또한, 생성되는 게임 음성은, 예를 들어 게임의 효과음이나, 게임에 등장하는 캐릭터의 목소리나, BGM 등이어도 된다. 상기 스텝 S7 다음에 스텝 S8의 처리가 실행된다.
스텝 S8에 있어서는, 단말 장치(7)의 스피커(67)에 출력하기 위한 단말기용 게임 음성이 생성된다. 즉, CPU(10)는, 스텝 S4의 게임 제어 처리의 결과에 따른 게임 음성을 DSP(11c)에 생성시킨다. 또한, 단말기용 게임 음성은, 상기 텔레비전용 게임 음성과 동일해도 되고, 상이해도 된다. 또한, 예를 들어 효과음은 상이하지만, BGM은 동일한 것처럼, 일부만이 상이해도 된다. 또한, 텔레비전용 게임 음성과 단말기용 게임 음성이 동일한 경우, 스텝 S8에 있어서 게임 음성의 생성 처리는 실행되지 않아도 된다. 상기 스텝 S8 다음에 스텝 S9의 처리가 실행된다.
스텝 S9에 있어서, CPU(10)는 텔레비전(2)에 게임 화상 및 게임 음성을 출력한다. 구체적으로는, CPU(10)는 VRAM(11d)에 기억된 텔레비전용 게임 화상의 데이터와, 스텝 S7에서 DSP(11c)에 의해 생성된 텔레비전용 게임 음성의 데이터를 AV-IC(15)로 보낸다. 이에 따라서, AV-IC(15)는 화상 및 음성의 데이터를 AV 커넥터(16)를 통하여 텔레비전(2)에 출력한다. 이에 의해, 텔레비전용 게임 화상이 텔레비전(2)에 표시됨과 함께, 텔레비전용 게임 음성이 스피커(2a)로부터 출력된다. 스텝 S9 다음에 스텝 S10의 처리가 실행된다.
스텝 S10에 있어서, CPU(10)는 단말 장치(7)로 게임 화상 및 게임 음성을 송신한다. 구체적으로는, VRAM(11d)에 기억된 단말기용 게임 화상의 화상 데이터 및 스텝 S8에서 DSP(11c)에 의해 생성된 음성 데이터는, CPU(10)에 의해 코덱 LSI(27)에 보내지고, 코덱 LSI(27)에 의해 소정의 압축 처리가 행해진다. 또한, 압축 처리가 실시된 화상 및 음성의 데이터는 단말기 통신 모듈(28)에 의해 안테나(29)를 통하여 단말 장치(7)로 송신된다. 단말 장치(7)는 게임 장치(3)로부터 송신되어 오는 화상 및 음성의 데이터를 무선 모듈(70)에 의해 수신하고, 코덱 LSI(66)에 의해 소정의 신장 처리가 행해진다. 신장 처리가 행해진 화상 데이터는 LCD(51)에 출력되고, 신장 처리가 행해진 음성 데이터는 사운드 IC(68)에 출력된다. 이에 의해, 단말기용 게임 화상이 LCD(51)에 표시됨과 함께, 단말기용 게임 음성이 스피커(67)로부터 출력된다. 스텝 S10 다음에 스텝 S11의 처리가 실행된다.
스텝 S11에 있어서, CPU(10)는 게임을 종료할 것인지 여부를 판정한다. 스텝 S11의 판정은, 예를 들어 게임 오버가 되었는지 여부, 혹은 유저가 게임을 중지하는 지시를 행하였는지 여부 등에 의해 행해진다. 스텝 S11의 판정 결과가 부정인 경우, 스텝 S2의 처리가 다시 실행된다. 한편, 스텝 S11의 판정 결과가 긍정인 경우, CPU(10)는 도 12에 나타내는 게임 처리를 종료한다. 이후, 스텝 S2 내지 S11의 일련의 처리는, 스텝 S11에서 게임을 종료한다고 판정될 때까지 반복해서 실행된다.
이상과 같이, 본 실시 형태에서는, 단말 장치(7)는, 터치 패널(52)과, 가속도 센서(63) 또는 자이로 센서(64)와 같은 관성 센서를 구비하고 있고, 터치 패널(52) 및 관성 센서의 출력이 조작 데이터로서 게임 장치(3)로 송신되어 게임의 입력으로서 사용된다(스텝 S3, S4). 또한, 단말 장치(7)는 표시 장치(LCD(51))를 구비하고 있고, 게임 처리에 의해 얻어지는 게임 화상이 LCD(51)에 표시된다(스텝 S6, S10). 따라서, 유저는 터치 패널(52)을 사용하여 게임 화상에 대하여 직접 터치하는 조작을 행할 수 있고, 또한 (단말 장치(7)의 움직임이 관성 센서에 의해 검출되므로) 게임 화상이 표시되는 LCD(51) 자체를 움직이는 조작을 행할 수 있다. 유저는 이들 조작에 의해 게임 화상에 대하여 직접 조작을 행하는 조작 감각으로 게임을 행할 수 있으므로, 예를 들어 후술하는 제1 및 제2 게임예와 같은 신규 조작 감각의 게임을 제공할 수 있다.
또한, 본 실시 형태에서는, 단말 장치(7)는 단말 장치(7)를 파지한 상태에서 조작 가능한 아날로그 스틱(53) 및 조작 버튼(54)을 구비하고 있고, 게임 장치(3)는 아날로그 스틱(53) 및 조작 버튼(54)에 대한 조작을 게임의 입력으로서 사용할 수 있다(스텝 S3, S4). 따라서, 상기한 바와 같이 게임 화상에 대하여 직접 조작을 행하는 경우에 있어서도, 유저는 버튼 조작이나 스틱 조작에 의해 보다 상세한 게임 조작을 행할 수 있다.
또한, 본 실시 형태에서는, 단말 장치(7)는 카메라(56) 및 마이크(69)를 구비하고 있고, 카메라(56)가 촬상하는 카메라 화상의 데이터, 및 마이크(69)가 검출하는 마이크음의 데이터는 게임 장치(3)로 송신된다(스텝 S3). 따라서, 게임 장치(3)는, 상기 카메라 화상 및/또는 마이크음을 게임 입력으로서 사용하는 것이 가능하므로, 유저는 카메라(56)로 화상을 촬상하는 조작이나, 마이크(69)에 음성을 입력하는 조작에 의해 게임 조작을 행하는 것도 가능하다. 또한, 이들 조작은 단말 장치(7)를 파지한 상태에서 행하는 것이 가능하므로, 상기한 바와 같이 게임 화상에 대하여 직접 조작을 행하는 경우에 있어서 이들 조작을 행함으로써, 유저는 보다 다채로운 게임 조작을 행할 수 있다.
또한, 본 실시 형태에서는, 가반형인 단말 장치(7)의 LCD(51)에 게임 화상이 표시되므로(스텝 S6, S10), 유저는 단말 장치(7)를 자유롭게 배치할 수 있다. 따라서, 컨트롤러(5)를 마커 쪽을 향하여 조작을 행하는 경우에 있어서, 유저는 단말 장치(7)를 자유로운 위치에 배치함으로써 컨트롤러(5)를 자유로운 방향을 향하여 게임을 행할 수 있고, 컨트롤러(5)에 대한 조작의 자유도를 향상시킬 수 있다. 또한, 단말 장치(7)를 임의의 위치에 배치할 수 있으므로, 예를 들어 후술하는 제5 게임예와 같이, 게임 내용에 적합한 위치에 단말 장치(7)를 배치함으로써, 보다 현실감이 있는 게임을 제공할 수 있다.
또한, 본 실시 형태에 따르면, 게임 장치(3)는 컨트롤러(5) 및 단말 장치(7)로부터 조작 데이터 등을 취득하므로(스텝 S2, S3), 유저는 컨트롤러(5) 및 단말 장치(7)라는 2개의 장치를 조작 수단으로서 사용할 수 있다. 따라서, 게임 시스템(1)에 있어서는, 각 장치를 복수명의 유저가 사용함으로써 복수명에 의해 게임을 행할 수도 있고, 또한 1명의 유저가 2개의 장치를 사용하여 게임을 행할 수도 있다.
또한, 본 실시 형태에 따르면, 게임 장치(3)는 2종류의 게임 화상을 생성하여(스텝 S5, S6), 텔레비전(2)과 단말 장치(7)에 게임 화상을 표시(스텝 S9, S10)시킬 수 있다. 이와 같이, 2종류의 게임 화상을 다른 장치에 표시시킴으로써, 유저에게 있어서 보다 보기 쉬운 게임 화상을 제공할 수 있어, 게임의 조작성을 향상시킬 수 있다. 예를 들어, 2명이 게임을 행하는 경우에는, 후술하는 제3 또는 제4 게임예와 같이, 한쪽 유저에게 있어서 보기 쉬운 시점의 게임 화상을 텔레비전(2)에 표시하고, 다른 쪽 유저에게 있어서 보기 쉬운 시점의 게임 화상을 단말 장치(7)에 표시함으로써, 각각의 플레이어가 보기 쉬운 시점에서 게임을 행할 수 있다. 또한, 예를 들어 혼자서 게임을 행하는 경우에 있어서도, 후술하는 제1, 제2 및 제5 게임예와 같이, 다른 2군데의 시점에서 2종류의 게임 화상을 표시함으로써, 플레이어는 게임 공간의 모습을 보다 용이하게 파악할 수 있어, 게임의 조작성을 향상시킬 수 있다.
[6. 게임예]
다음에, 게임 시스템(1)에 있어서 행해지는 게임의 구체예에 대하여 설명한다. 또한, 이하에 설명하는 게임예에 있어서는, 게임 시스템(1)에 있어서의 각 장치의 구성 중 일부를 이용하지 않는 경우도 있고, 또한, 도 12 및 도 13에 나타내는 일련의 처리 중 일부의 처리를 실행하지 않는 경우도 있다. 즉, 게임 시스템(1)은, 상술한 모든 구성을 구비하지 않아도 되고, 또한 게임 장치(3)는 도 12 및 도 13에 나타내는 일련의 처리의 일부를 실행하지 않아도 된다.
(제1 게임예)
제1 게임예는, 단말 장치(7)를 조작함으로써 게임 공간 내에 있어서 오브젝트(수리검)를 날리는 게임이다. 플레이어는, 단말 장치(7)의 자세를 변화시키는 조작과, 터치 패널(52) 상에 선을 그리는 조작에 의해, 수리검을 발사하는 방향을 지시할 수 있다.
도 14는, 제1 게임예에 있어서의 텔레비전(2)의 화면과 단말 장치(7)를 도시하는 도면이다. 도 14에 있어서는, 텔레비전(2) 및 단말 장치(7)의 LCD(51)에는, 게임 공간을 나타내는 게임 화상이 표시되어 있다. 텔레비전(2)에는, 수리검(121), 제어면(122) 및 표적(123)이 표시되어 있다. LCD(51)에는, 제어면(122)(및 수리검(121))이 표시되어 있다. 제1 게임예에 있어서는, 플레이어는 단말 장치(7)를 사용한 조작에 의해 수리검(121)을 날려서 표적(123)에 맞추며 논다.
수리검(121)을 날리는 경우, 플레이어는, 우선, 단말 장치(7)의 자세를 조작함으로써, 가상의 게임 공간 내에 배치되는 제어면(122)의 자세를 변화시켜 원하는 자세로 한다. 즉, CPU(10)는 관성 센서(가속도 센서(63) 및 자이로 센서(64)) 및 자기 센서(62)의 출력에 기초하여 단말 장치(7)의 자세를 산출하고(스텝 S24), 산출된 자세에 기초하여 제어면(122)의 자세를 변화시킨다(스텝 S27). 제1 게임예에서는, 제어면(122)의 자세는 현실 공간에 있어서의 단말 장치(7)의 자세에 따른 자세로 되도록 제어된다. 즉, 플레이어는 단말 장치(7)(단말 장치(7)에 표시되어 있는 제어면(122))의 자세를 변화시킴으로써, 게임 공간 내에 있어서 제어면(122)의 자세를 변화시킬 수 있다. 또한, 제1 게임예에 있어서는, 제어면(122)의 위치는 게임 공간에 있어서의 소정 위치에 고정된다.
다음에, 플레이어는, 터치 펜(124) 등을 사용하여 터치 패널(52) 상에 선을 그리는 조작을 행한다(도 14에 나타내는 화살표 참조). 여기서, 제1 게임예에 있어서는, 단말 장치(7)의 LCD(51)에는, 터치 패널(52)의 입력면과 제어면(122)이 대응하도록 제어면(122)이 표시된다. 따라서, 터치 패널(52) 상에 그려진 선에 의해, 제어면(122) 상에서의 방향(당해 선이 나타내는 방향)을 산출할 수 있다. 수리검(121)은, 이와 같이 하여 결정된 방향으로 발사된다. 이상에서, CPU(10)는 터치 패널(52)의 터치 위치 데이터(100)로부터 제어면(122) 상에서의 방향을 산출하고, 산출된 방향으로 수리검(121)을 이동시키는 처리를 행한다(스텝 S27). 또한, CPU(10)는, 예를 들어 선의 길이나 선을 그리는 속도에 따라서 수리검(121)의 속도를 제어하도록 해도 된다.
이상과 같이, 제1 게임예에 따르면, 게임 장치(3)는 관성 센서의 출력을 게임 입력으로서 사용함으로써, 단말 장치(7)의 움직임(자세)에 따라서 제어면(122)을 움직임과 함께, 터치 패널(52)의 출력을 게임 입력으로서 사용함으로써, 제어면(122) 상에 있어서의 방향을 특정할 수 있다. 이에 따르면, 플레이어는 단말 장치(7)에 표시된 게임 화상(제어면(122)의 화상)을 움직이거나, 당해 게임 화상에 대하여 터치 조작을 행하거나 할 수 있으므로, 게임 화상에 대하여 직접 조작을 행하고 있는 듯한 신규의 조작 감각으로 게임을 행할 수 있다.
또한, 제1 게임예에 있어서는, 관성 센서 및 터치 패널(52)의 센서 출력을 게임 입력으로서 사용함으로써, 3차원 공간에 있어서의 방향을 용이하게 지시할 수 있다. 즉, 플레이어는, 한쪽 손으로 단말 장치(7)의 자세를 실제로 조정하고, 다른 한쪽 손으로 터치 패널(52)에 선으로 방향을 입력함으로써, 공간 내에서 실제로 방향을 입력하고 있는 듯한 직감적인 조작으로 용이하게 방향을 지시할 수 있다. 또한, 플레이어는 단말 장치(7)의 자세의 조작과 터치 패널(52)에 대한 입력 조작을 동시에 병행하여 행할 수 있으므로, 3차원 공간에 있어서의 방향을 지시하는 조작을 신속하게 행할 수 있다.
또한, 제1 게임예에 따르면, 제어면(122)에 대한 터치 입력의 조작을 행하기 쉽게 하기 위하여, 단말 장치(7)에는 화면 전체에 제어면(122)이 표시된다. 한편, 텔레비전(2)에는, 제어면(122)의 자세를 파악하기 쉽도록, 또한 표적(123)을 겨냥하기 쉽도록, 제어면(122)의 전체 및 표적(123)을 포함하는 게임 공간의 화상이 표시된다(도 14 참조). 즉, 상기 스텝 S27에 있어서는, 텔레비전용 게임 화상을 생성하기 위한 제1 가상 카메라는, 제어면(122)의 전체 및 표적(123)이 시야 범위에 포함되도록 설정됨과 함께, 단말기용 게임 화상을 생성하기 위한 제2 가상 카메라는, LCD(51)의 화면(터치 패널(52)의 입력면)과 제어면(122)이 화면 상에 있어서 일치하도록 설정된다. 따라서, 제1 게임예에 있어서는, 텔레비전(2)과 단말 장치(7)에 다른 시점에서 본 게임 공간의 화상을 표시함으로써, 게임 조작을 보다 행하기 쉽게 하고 있다.
(제2 게임예)
또한, 관성 센서 및 터치 패널(52)의 센서 출력을 게임 입력으로서 사용하는 게임은, 상기 제1 게임예에 한하지 않고, 다양한 게임예를 생각할 수 있다. 제2 게임예는, 제1 게임예와 마찬가지로, 단말 장치(7)를 조작함으로써 게임 공간 내에 있어서 오브젝트(대포의 탄알)를 날리는 게임이다. 플레이어는 단말 장치(7)의 자세를 변화시키는 조작과, 터치 패널(52) 상의 위치를 지정하는 조작에 의해, 탄알을 발사하는 방향을 지시할 수 있다.
도 15는, 제2 게임예에 있어서의 텔레비전(2)의 화면과 단말 장치(7)를 도시하는 도면이다. 도 15에 있어서는, 텔레비전(2)에는, 대포(131), 탄알(132) 및 표적(133)이 표시되어 있다. 단말 장치(7)에는, 탄알(132) 및 표적(133)이 표시되어 있다. 단말 장치(7)에 표시되는 단말기용 게임 화상은 대포(131)의 위치로부터 게임 공간을 본 화상이다.
제2 게임예에 있어서는, 플레이어는 단말 장치(7)의 자세를 조작함으로써, 단말기용 게임 화상으로서 단말 장치(7)에 표시되는 표시 범위를 변화시킬 수 있다. 즉, CPU(10)는 관성 센서(가속도 센서(63) 및 자이로 센서(64)) 및 자기 센서(62)의 출력에 기초하여 단말 장치(7)의 자세를 산출하고(스텝 S24), 산출된 자세에 기초하여, 단말기용 게임 화상을 생성하기 위한 제2 가상 카메라의 위치 및 자세를 제어한다(스텝 S27). 구체적으로는, 제2 가상 카메라는 대포(131)의 위치에 설치되고, 단말 장치(7)의 자세에 따라서 방향(자세)이 제어된다. 이와 같이, 플레이어는 단말 장치(7)의 자세를 변화시킴으로써 단말 장치(7)에 표시되는 게임 공간의 범위를 변화시킬 수 있다.
또한, 제2 게임예에 있어서는, 플레이어는 터치 패널(52) 상에 있어서 점을 입력하는 조작(터치하는 조작)에 의해 탄알(132)의 발사 방향을 지정한다. 구체적으로는, 상기 스텝 S27의 처리로서, CPU(10)는 터치 위치에 대응하는 게임 공간 내의 위치(제어 위치)를 산출하고, 게임 공간 내에 있어서의 소정 위치(예를 들어 대포(131)의 위치)로부터 제어 위치로의 방향을 발사 방향으로서 산출한다. 그리고, 발사 방향으로 탄알(132)을 이동시키는 처리를 행한다. 이와 같이, 상기 제1 게임예에서는 플레이어는 터치 패널(52) 상에 선을 그리는 조작을 행하였지만, 제2 게임예에서는, 터치 패널(52) 상의 점을 지정하는 조작을 행한다. 또한, 상기 제어 위치는, 상기 제1 게임예와 같은 제어면을 설정함(단, 제2 게임예에서는 제어면은 표시되지 않음)으로써 산출할 수 있다. 즉, 단말 장치(7)에 있어서의 표시 범위에 대응하도록, 제2 가상 카메라의 자세에 따라서 제어면을 배치함(구체적으로는, 제어면은 대포(131)의 위치를 중심으로 하여, 단말 장치(7)의 자세의 변화에 따라서 회전 이동함)으로써, 터치 위치에 대응하는 제어면 상의 위치를 제어 위치로서 산출할 수 있다.
상기 제2 게임예에 따르면, 게임 장치(3)는 관성 센서의 출력을 게임 입력으로서 사용함으로써, 단말 장치(7)의 움직임(자세)에 따라서 단말기용 게임 화상의 표시 범위를 변화시킴과 함께, 당해 표시 범위 내의 위치를 지정하는 터치 입력을 게임 입력으로서 사용함으로써, 게임 공간 내에 있어서의 방향(탄알(132)의 발사 방향)을 특정할 수 있다. 따라서, 제2 게임예에 있어서도 제1 게임예와 마찬가지로, 플레이어는 단말 장치(7)에 표시된 게임 화상을 움직이거나, 당해 게임 화상에 대하여 터치 조작을 행하거나 할 수 있으므로, 게임 화상에 대하여 직접 조작을 행하고 있는 듯한 신규 조작 감각으로 게임을 행할 수 있다.
또한, 제2 게임예에 있어서도 제1 게임예와 마찬가지로, 플레이어는 한쪽 손으로 단말 장치(7)의 자세를 실제로 조정하고, 다른 한쪽 손으로 터치 패널(52)에 대하여 터치 입력을 행함으로써, 공간 내에서 실제로 방향을 입력하고 있는 듯한 직감적인 조작으로 용이하게 방향을 지시할 수 있다. 또한, 플레이어는 단말 장치(7)의 자세의 조작과 터치 패널(52)에 대한 입력 조작을 동시에 병행하여 행할 수 있으므로, 3차원 공간에 있어서의 방향을 지시하는 조작을 신속히 행할 수 있다.
또한, 제2 게임예에 있어서, 텔레비전(2)에 표시되는 화상은 단말 장치(7)와 같은 시점에서의 화상이어도 되지만, 도 15에서는, 게임 장치(3)는 다른 시점에서의 화상을 표시시키도록 하고 있다. 즉, 단말기용 게임 화상을 생성하기 위한 제2 가상 카메라는 대포(131)의 위치에 설정되는 것에 반해, 텔레비전용 게임 화상을 생성하기 위한 제1 가상 카메라는 대포(131)의 후방의 위치에 설정된다. 여기서, 예를 들어 단말 장치(7)의 화면에는 보이지 않는 범위를 텔레비전(2)에 표시시키도록 함으로써, 단말 장치(7)의 화면에서는 보이지 않는 표적(133)을 플레이어가 텔레비전(2)의 화면을 보고 겨냥하는 놀이 방법을 실현할 수 있다. 이와 같이, 텔레비전(2)과 단말 장치(7)의 표시 범위를 상이하게 함으로써, 게임 공간 내의 모습을 더욱 파악하기 쉽게 할 뿐만 아니라, 게임의 흥취성을 더욱 향상시키는 것도 가능하다.
이상과 같이, 본 실시 형태에 따르면, 터치 패널(52)과 관성 센서를 구비하는 단말 장치(7)를 조작 장치로서 사용할 수 있으므로, 상기 제1 및 제2 게임예와 같은, 게임 화상에 대하여 직접 조작을 행하는 조작 감각의 게임을 실현할 수 있다.
(제3 게임예)
이하, 도 16 및 도 17을 참조하여, 제3 게임예에 대하여 설명한다. 제3 게임예는, 2명의 플레이어가 대전하는 형식의 야구 게임이다. 즉, 제1 플레이어는 컨트롤러(5)를 사용하여 타자를 조작하고, 제2 플레이어는 단말 장치(7)를 사용하여 투수를 조작한다. 또한, 텔레비전(2) 및 단말 장치(7)에는 각 플레이어에게 있어서 게임 조작이 행하기 쉬운 게임 화상이 표시된다.
도 16은, 제3 게임예에 있어서 텔레비전(2)에 표시되는 텔레비전용 게임 화상의 일례를 도시하는 도면이다. 도 16에 나타내는 텔레비전용 게임 화상은 주로 제1 플레이어를 위한 화상이다. 즉, 텔레비전용 게임 화상은, 제1 플레이어의 조작 대상인 타자(타자 오브젝트)(141) 측으로부터, 제2 플레이어의 조작 대상인 투수(투수 오브젝트)(142) 쪽을 본 게임 공간을 나타낸다. 텔레비전용 게임 화상을 생성하기 위한 제1 가상 카메라는, 타자(141)의 후방의 위치에, 타자(141)로부터 투수(142) 쪽으로 향하도록 배치된다.
한편, 도 17은, 제3 게임예에 있어서 단말 장치(7)에 표시되는 단말기용 게임 화상의 일례를 도시하는 도면이다. 도 17에 나타내는 단말기용 게임 화상은 주로 제2 플레이어를 위한 화상이다. 즉, 단말기용 게임 화상은 제2 플레이어의 조작 대상인 투수(142) 측으로부터, 제1 플레이어의 조작 대상인 타자(141) 쪽을 본 게임 공간을 나타낸다. 구체적으로는, 상기 스텝 S27에 있어서, CPU(10)는 단말기용 게임 화상을 생성하기 위하여 사용하는 제2 가상 카메라를 단말 장치(7)의 자세에 기초하여 제어한다. 제2 가상 카메라의 자세는, 상술한 제2 게임예와 마찬가지로, 단말 장치(7)의 자세와 대응하도록 산출된다. 또한, 제2 가상 카메라의 위치는, 미리 정해진 소정 위치에 고정된다. 또한, 단말기용 게임 화상에는, 투수(142)가 볼을 던지는 방향을 나타내기 위한 커서(143)가 포함된다.
또한, 제1 플레이어에 의한 타자(141)의 조작 방법, 및 제2 플레이어에 의한 투수(142)의 조작 방법은, 어떠한 방법이어도 된다. 예를 들어, CPU(10)는 컨트롤러(5)의 관성 센서의 출력 데이터에 기초하여 컨트롤러(5)에 대한 휘두름 조작을 검출하고, 휘두름 조작에 따라서 타자(141)에게 배트를 휘두르는 동작을 행하게 하도록 해도 된다. 또한 예를 들어, CPU(10)는 아날로그 스틱(53)에 대한 조작에 따라서 커서(143)를 이동시키고, 조작 버튼(54) 중 소정의 버튼이 눌린 경우, 커서(143)가 지시하는 위치를 향하여 볼을 던지는 동작을 투수(142)에게 행하게 해도 된다. 또한, 커서(143)는 아날로그 스틱(53)에 대한 조작 대신에, 단말 장치(7)의 자세에 따라서 이동되어도 된다.
이상과 같이, 제3 게임예에 있어서는, 텔레비전(2) 및 단말 장치(7)에 서로 다른 시점에서 게임 화상을 생성함으로써, 각 플레이어에게 있어서 보기 쉽고 조작하기 쉬운 게임 화상이 제공된다.
또한, 제3 게임예에 있어서는, 단일 게임 공간에 2개의 가상 카메라가 설정되어, 게임 공간을 각 가상 카메라로부터 본 2종류의 게임 화상이 각각 표시된다(도 16 및 도 17). 따라서, 제3 게임예에 있어서 생성되는 2종류의 게임 화상에 관해서는, 게임 공간에 대한 게임 처리(게임 공간 내의 오브젝트의 제어 등)는 대부분이 공통이며, 공통의 게임 공간에 관하여 묘화 처리를 2회 행하는 것만으로 각각의 게임 화상을 생성할 수 있으므로, 당해 게임 처리를 각각 행하는 경우에 비하면 처리 효율이 높다는 이점이 있다.
또한, 제3 게임예에 있어서는, 투구 방향을 나타내는 커서(143)는 단말 장치(7)측에만 표시되므로, 제1 플레이어는 커서(143)가 지시하는 위치를 볼 수 없다. 그로 인해, 제1 플레이어에게 투구 방향이 알려져 제2 플레이어가 불리해지는 게임상의 문제가 발생하지 않는다. 이와 같이, 본 실시 형태에 있어서는, 한쪽 플레이어가 그 게임 화상을 보게 되면 다른 쪽 플레이어에게 있어서 게임상의 문제가 발생하는 경우에는, 당해 게임 화상을 단말 장치(7)에 표시하면 된다. 이에 의해, 게임의 전략성이 저하되는 등의 문제를 방지할 수 있다. 또한, 다른 실시 형태에 있어서, 게임의 내용에 따라서는(예를 들어, 단말기용 게임 화상이 제1 플레이어에게 보여도 상기한 바와 같은 문제가 발생하지 않는 경우에는), 게임 장치(3)는 단말기용 게임 화상을 텔레비전용 게임 화상과 함께 텔레비전(2)에 표시하도록 해도 된다.
(제4 게임예)
이하, 도 18 및 도 19를 참조하여, 제4 게임예에 대하여 설명한다. 제4 게임예는, 2명의 플레이어가 협력하는 형식의 슈팅 게임이다. 즉, 제1 플레이어는 컨트롤러(5)를 사용하여 비행기를 이동시키는 조작을 행하고, 제2 플레이어는 단말 장치(7)를 사용하여 비행기의 대포의 발사 방향을 제어하는 조작을 행한다. 제4 게임예에 있어서도 제3 게임예와 마찬가지로, 텔레비전(2) 및 단말 장치(7)에는 각 플레이어에게 있어서 게임 조작이 행하기 쉬운 게임 화상이 표시된다.
도 18은, 제4 게임예에 있어서 텔레비전(2)에 표시되는 텔레비전용 게임 화상의 일례를 나타내는 도면이다. 또한, 도 19는, 제4 게임예에 있어서 단말 장치(7)에 표시되는 단말기용 게임 화상의 일례를 나타내는 도면이다. 도 18에 도시한 바와 같이, 제4 게임예에서는, 가상의 게임 공간에 비행기(비행기 오브젝트)(151)와 표적(풍선 오브젝트)(153)이 등장한다. 또한, 비행기(151)는 대포(대포 오브젝트)(152)를 갖고 있다.
도 18에 도시한 바와 같이, 텔레비전용 게임 화상으로서는, 비행기(151)를 포함하는 게임 공간의 화상이 표시된다. 텔레비전용 게임 화상을 생성하기 위한 제1 가상 카메라는, 비행기(151)를 후방에서 본 게임 공간의 화상을 생성하도록 설정된다. 즉, 제1 가상 카메라는, 비행기(151)의 후방의 위치에, 비행기(151)가 촬영 범위(시야 범위)에 포함되는 자세로 배치된다. 또한, 제1 가상 카메라는, 비행기(151)의 이동을 수반하여 이동하도록 제어된다. 즉, CPU(10)는, 상기 스텝 S27의 처리에 있어서, 컨트롤러 조작 데이터에 기초하여 비행기(151)의 이동을 제어함과 함께, 제1 가상 카메라의 위치 및 자세를 제어한다. 이와 같이, 제1 가상 카메라의 위치 및 자세는, 제1 플레이어의 조작에 따라서 제어된다.
한편, 도 19에 도시한 바와 같이, 단말기용 게임 화상으로서는, 비행기(151)(보다 구체적으로는 대포(152))에서 본 게임 공간의 화상이 표시된다. 따라서, 단말기용 게임 화상을 생성하기 위한 제2 가상 카메라는 비행기(151)의 위치(보다 구체적으로는 대포(152)의 위치)에 배치된다. CPU(10)는, 상기 스텝 S27의 처리에 있어서, 컨트롤러 조작 데이터에 기초하여 비행기(151)의 이동을 제어함과 함께, 제2 가상 카메라의 위치를 제어한다. 또한, 제2 가상 카메라는 비행기(151) 혹은 대포(152) 주변의 위치(예를 들어, 대포(152)의 약간 후방의 위치)에 배치되어도 된다. 이상과 같이, 제2 가상 카메라의 위치는, (비행기(151)의 이동을 조작하는) 제1 플레이어의 조작에 의해 제어되게 된다. 따라서, 제4 게임예에 있어서는, 제1 가상 카메라와 제2 가상 카메라는 연동하여 이동한다.
또한, 단말기용 게임 화상으로서는, 대포(152)의 발사 방향을 향해 바라본 게임 공간의 화상이 표시된다. 여기서, 대포(152)의 발사 방향은 단말 장치(7)의 자세에 대응하도록 제어된다. 즉, 본 실시 형태에 있어서는, 제2 가상 카메라의 자세는, 제2 가상 카메라의 시선 방향이 대포(152)의 발사 방향과 일치하도록 제어된다. CPU(10)는, 상기 스텝 S27의 처리에 있어서, 상기 스텝 S24에서 산출되는 단말 장치(7)의 자세에 따라서, 대포(152)의 방향 및 제2 가상 카메라의 자세를 제어한다. 이와 같이, 제2 가상 카메라의 자세는, 제2 플레이어의 조작에 의해 제어된다. 또한, 제2 플레이어는, 단말 장치(7)의 자세를 변화시킴으로써 대포(152)의 발사 방향을 변화시킬 수 있다.
또한, 대포(152)로부터 탄알을 발사하는 경우, 제2 플레이어는 단말 장치(7)의 소정의 버튼을 누른다. 소정의 버튼이 눌리면, 대포(152)의 방향으로 탄알이 발사된다. 단말기용 게임 화상에 있어서는, LCD(51)의 화면 중앙에 조준(154)이 표시되어, 조준(154)이 지시하는 방향으로 탄알이 발사된다.
이상과 같이, 제4 게임예에 있어서는, 제1 플레이어는, 비행기(151)의 진행 방향 쪽을 본 게임 공간을 나타내는 텔레비전용 게임 화상(도 18)을 주로 보면서, (예를 들어 원하는 표적(153)의 방향으로 이동하도록) 비행기(151)를 조작한다. 한편, 제2 플레이어는, 대포(152)의 발사 방향 쪽을 본 게임 공간을 나타내는 단말기용 게임 화상(도 19)을 주로 보면서, 대포(152)를 조작한다. 이와 같이, 제4 게임예에 있어서는, 2명의 플레이가 협력하는 형식의 게임에 있어서, 각각의 플레이어에게 있어서 보기 쉽게 조작하기 쉬운 게임 화상을, 텔레비전(2)과 단말 장치(7)에 각각 표시할 수 있다.
또한, 제4 게임예에 있어서는, 제1 플레이어의 조작에 의해 제1 가상 카메라 및 제2 가상 카메라의 위치가 제어되고, 제2 플레이어의 조작에 의해 제2 가상 카메라의 자세가 제어된다. 즉, 본 실시 형태에 있어서는, 각 플레이어의 각각의 게임 조작에 따라서 가상 카메라의 위치 또는 자세가 변화하는 결과, 각 표시 장치에 표시되는 게임 공간의 표시 범위가 변화한다. 표시 장치에 표시되는 게임 공간의 표시 범위가 각 플레이어의 조작에 따라서 변화하므로, 각 플레이어는 자기의 게임 조작이 게임 진행에 충분히 반영되고 있는 것을 실감할 수 있어, 게임을 충분히 즐길 수 있다.
또한, 제4 게임예에 있어서는, 비행기(151)의 후방에서 본 게임 화상이 텔레비전(2)에 표시되고, 비행기(151)의 대포의 위치에서 본 게임 화상이 단말 장치(7)에 표시되었다. 여기서, 다른 게임예에 있어서는, 게임 장치(3)는 비행기(151)의 후방에서 본 게임 화상을 단말 장치(7)에 표시시키고, 비행기(151)의 대포(152)의 위치에서 본 게임 화상을 텔레비전(2)에 표시시키도록 해도 된다. 이때, 각 플레이어의 역할은 상기 제4 게임예와 교체하여, 제1 플레이어가 컨트롤러(5)를 사용하여 대포(152)의 조작을 행하고, 제2 플레이어가 단말 장치(7)를 사용하여 비행기(151)의 조작을 행하도록 하면 된다.
(제5 게임예)
이하, 도 20을 참조하여, 제5 게임예에 대하여 설명한다. 제5 게임예는, 플레이어가 컨트롤러(5)를 사용하여 조작을 행하는 게임이며, 단말 장치(7)는 조작 장치가 아닌 표시 장치로서 사용된다. 구체적으로는, 제5 게임예는 골프 게임이며, 플레이어가 컨트롤러(5)를 골프 클럽과 같이 휘두르는 조작(스윙 조작)에 따라서, 게임 장치(3)는 가상의 게임 공간에 있어서의 플레이어 캐릭터에 골프의 스윙 동작을 행하게 한다.
도 20은, 제5 게임예에 있어서의 게임 시스템(1)의 사용의 모습을 도시하는 도면이다. 도 20에 있어서, 텔레비전(2)의 화면에는, 플레이어 캐릭터(의 오브젝트)(161) 및 골프 클럽(의 오브젝트)(162)을 포함하는 게임 공간의 화상이 표시된다. 또한, 도 20에서는, 골프 클럽(162)에 가려져 있기 때문에 표시되어 있지 않지만, 게임 공간에 배치된 볼(의 오브젝트)(163)도 텔레비전(2)에 표시된다. 한편, 도 20에 도시한 바와 같이, 단말 장치(7)는 LCD(51)의 화면이 연직 상향으로 되도록, 텔레비전(2)의 전방 정면의 바닥면에 배치된다. 단말 장치(7)에는, 볼(163)을 나타내는 화상과, 골프 클럽(162)의 일부(구체적으로는, 골프 클럽의 헤드(162a))를 나타내는 화상과, 게임 공간의 지면을 나타내는 화상이 표시된다. 단말기용 게임 화상은 볼 주위를 위에서 본 화상이다.
게임을 행할 때, 플레이어(160)는, 단말 장치(7)의 근방에 서서, 컨트롤러(5)를 골프 클럽과 같이 휘두르는 스윙 조작을 행한다. 이때, CPU(10)는, 상기 스텝 S27에 있어서, 상기 스텝 S23의 처리에서 산출되는 컨트롤러(5)의 자세에 따라서 게임 공간에 있어서의 골프 클럽(162)의 위치 및 자세를 제어한다. 구체적으로는, 골프 클럽(162)은, 컨트롤러(5)의 선단 방향(도 3에 나타내는 Z축 정방향)이 LCD(51)에 표시되는 볼(163)의 화상을 향하는 경우에, 게임 공간 내의 골프 클럽(162)이 볼(163)에 닿도록, 제어된다.
또한, 컨트롤러(5)의 선단 방향이 LCD(51) 쪽을 향하는 경우에는, 골프 클럽(162)의 일부를 나타내는 화상(헤드 화상)(164)이 LCD(51)에 표시된다(도 20 참조). 또한, 단말기용 게임 화상에 관해서는, 현실감을 증가시키기 위하여, 볼(163)의 화상이 실물 크기로 표시되어도 되고, 컨트롤러(5)의 Z축 둘레의 회전에 따라서 헤드 화상(164)의 방향이 회전하도록 표시되어도 된다. 또한, 단말기용 게임 화상은, 게임 공간에 설치되는 가상 카메라를 사용하여 생성되어도 되고, 미리 준비된 화상 데이터를 사용하여 생성되어도 된다. 미리 준비된 화상 데이터를 사용하여 생성하는 경우에는, 골프 코스의 지형 모델을 상세하게 구축하지 않고, 상세하고 사실적인 화상을 작은 처리 부하에 의해 생성할 수 있다.
플레이어(160)가 상기 스윙 조작을 행함으로써 골프 클럽(162)이 휘둘러진 결과, 골프 클럽(162)이 볼(163)에 닿으면, 볼(163)이 이동한다(날아간다). 즉, CPU(10)는, 상기 스텝 S27에 있어서 골프 클럽(162)과 볼(163)이 접촉하였는지 여부를 판정하고, 접촉한 경우에는 볼(163)을 이동시킨다. 여기서, 텔레비전용 게임 화상은, 이동 후의 볼(163)이 포함되도록 생성된다. 즉, CPU(10)는 텔레비전용 게임 화상을 생성하기 위한 제1 가상 카메라는, 이동하는 볼이 그 촬영 범위에 포함되도록 위치 및 자세가 제어된다. 한편, 단말 장치(7)에 있어서는, 골프 클럽(162)이 볼(163)에 닿으면, 볼(163)의 화상이 이동되어 바로 화면 밖으로 없어진다. 따라서, 제5 게임예에 있어서는, 볼이 이동하는 모습은 주로 텔레비전(2)에 표시되고, 플레이어(160)는, 스윙 조작에 의해 날아간 볼의 행방을 텔레비전용 게임 화상에서 확인할 수 있다.
이상과 같이, 제5 게임예에 있어서는, 플레이어(160)는 컨트롤러(5)를 휘두름으로써 골프 클럽(162)을 휘두를(플레이어 캐릭터(161)에게 골프 클럽(162)을 휘두르게 할) 수 있다. 여기서, 제5 게임예에 있어서는, 컨트롤러(5)의 선단 방향이 LCD(51)에 표시되는 볼(163)의 화상을 향하는 경우에, 게임 공간 내의 골프 클럽(162)이 볼(163)에 닿도록 제어된다. 따라서, 플레이어는 스윙 조작에 의해 실제의 골프 클럽을 치고 있는 듯한 감각을 얻을 수 있어, 스윙 조작을 보다 현실감 있는 것으로 할 수 있다.
제5 게임예에 있어서는 또한, 컨트롤러(5)의 선단 방향이 단말 장치(7) 쪽을 향하는 경우에는 헤드 화상(164)이 LCD(51)에 표시된다. 따라서, 플레이어는 컨트롤러(5)의 선단 방향을 단말 장치(7) 쪽을 향하게 함으로써, 가상 공간에 있어서의 골프 클럽(162)의 자세가 현실 공간에 있어서의 컨트롤러(5)의 자세와 대응하고 있는 감각을 얻을 수 있어, 스윙 조작을 보다 현실감이 있는 것으로 할 수 있다.
이상과 같이, 제5 게임예는, 단말 장치(7)를 표시 장치로서 이용하는 경우에는, 단말 장치(7)를 적절한 위치에 배치함으로써, 컨트롤러(5)를 사용한 조작을 보다 현실감이 있는 것으로 할 수 있다.
또한, 상기 제5 게임예에 있어서는, 단말 장치(7)는 바닥면에 배치되고, 단말 장치(7)에는 볼(163) 주변의 게임 공간만을 나타내는 화상이 표시된다. 그로 인해, 게임 공간에 있어서의 골프 클럽(162) 전체의 위치ㆍ자세를 단말 장치(7)에서는 표시할 수 없고, 또한 스윙 조작 후에 있어서 볼(163)이 이동하는 모습을 단말 장치(7)에서는 표시할 수 없다. 따라서, 제5 게임예에서는, 볼(163)의 이동 전에 있어서는 골프 클럽(162)의 전체가 텔레비전(2)에 표시되고, 볼(163)의 이동 후에 있어서는 볼(163)이 이동하는 모습이 텔레비전(2)에 표시된다. 이와 같이, 제5 게임예에 따르면, 현실감이 있는 조작을 플레이어에게 제공할 수 있음과 함께, 텔레비전(2) 및 단말 장치(7)의 2개의 화면을 사용함으로써 보기 쉬운 게임 화상을 플레이어에 대하여 제시할 수 있다.
또한, 상기 제5 게임예에 있어서는, 컨트롤러(5)의 자세를 산출하기 위하여, 단말 장치(7)의 마커부(55)가 사용된다. 즉, CPU(10)는, 상기 스텝 S1의 초기 처리에 있어서 마커부(55)를 점등시키고(마커 장치(6)는 점등시키지 않음), CPU(10)는, 상기 스텝 S23에 있어서 마커 좌표 데이터(96)에 기초하여 컨트롤러(5)의 자세를 산출한다. 이에 따르면, 컨트롤러(5)의 선단 방향이 마커부(55) 쪽을 향하는 자세인지 여부를 정확하게 판정할 수 있다. 또한, 상기 제5 게임예에서는, 상기 스텝 S21 및 S22는 실행되지 않아도 되지만, 다른 게임예에 있어서는, 상기 스텝 S21 및 S22의 처리를 실행함으로써, 점등해야 할 마커를 게임 도중에 변경하도록 해도 된다. 예를 들어, CPU(10)는, 스텝 S21에 있어서, 제1 가속도 데이터(94)에 기초하여 컨트롤러(5)의 선단 방향이 중력 방향을 향하는지 여부를 판정하고, 스텝 S22에 있어서, 중력 방향을 향하는 경우에는 마커부(55)를 점등시키고, 중력 방향을 향하지 않는 경우에는 마커 장치(6)를 점등시키도록 제어해도 된다. 이에 따르면, 컨트롤러(5)의 선단 방향이 중력 방향을 향하는 경우에는, 마커부(55)의 마커 좌표 데이터를 취득함으로써, 컨트롤러(5)의 자세를 고정밀도로 산출할 수 있음과 함께, 컨트롤러(5)의 선단 방향이 텔레비전(2) 쪽을 향하는 경우에는, 마커 장치(6)의 마커 좌표 데이터를 취득함으로써, 컨트롤러(5)의 자세를 고정밀도로 산출할 수 있다.
상기 제5 게임예에서 설명한 바와 같이, 게임 시스템(1)은 단말 장치(7)를 자유로운 위치에 설치하여 표시 장치로서 이용할 수 있다. 이에 따르면, 마커 좌표 데이터를 게임 입력으로서 사용하는 경우에 있어서, 컨트롤러(5)를 텔레비전(2) 쪽을 향하여 사용하는 것 외에, 단말 장치(7)를 원하는 위치에 설정함으로써 컨트롤러(5)를 자유로운 방향을 향하여 사용할 수 있다. 즉, 본 실시 형태에 따르면, 컨트롤러(5)를 사용할 수 있는 방향이 제한되는 일이 없으므로, 컨트롤러(5)의 조작의 자유도를 향상시킬 수 있다.
[7. 게임 시스템의 다른 동작예]
상기 게임 시스템(1)은, 상기에서 설명한 바와 같이 다양한 게임을 행하기 위한 동작을 행하는 것이 가능하다. 단말 장치(7)는 가반형의 디스플레이나 제2 디스플레이로서도 사용할 수 있는 한편, 터치 입력이나 움직임에 의한 입력을 행하는 컨트롤러로서도 사용할 수 있고, 상기 게임 시스템(1)에 따르면, 폭넓은 게임을 실시하는 것이 가능해진다. 또한, 게임 이외의 용도도 포함하여, 이하와 같은 동작을 행하는 것도 가능하다.
(플레이어가 단말 장치(7)만을 사용하여 게임을 플레이하는 동작예)
본 실시 형태에 있어서, 단말 장치(7)는 표시 장치로서 기능함과 함께, 조작 장치로서도 기능하는 것이다. 그로 인해, 텔레비전(2) 및 컨트롤러(5)를 사용하지 않고 단말 장치(7)를 표시 수단 및 조작 수단으로서 사용함으로써, 단말 장치(7)를 휴대형의 게임 장치와 같이 사용하는 것도 가능하다.
도 12에 나타낸 게임 처리에 입각하여 구체적으로 설명하면, CPU(10)는, 스텝 S3에 있어서 단말 장치(7)로부터 단말기 조작 데이터(97)를 취득하고, 스텝 S4에 있어서 단말기 조작 데이터(97)만을 게임 입력으로서 사용하여(컨트롤러 조작 데이터를 사용하지 않고) 게임 처리를 실행한다. 그리고, 스텝 S6에 있어서 게임 화상을 생성하고, 스텝 S10에 있어서 게임 화상을 단말 장치(7)로 송신한다. 또한, 이때, 스텝 S2, S5 및 S9는 실행되지 않아도 된다. 이상에 따르면, 단말 장치(7)에 대한 조작에 따라서 게임 처리가 행해지고, 게임 처리 결과를 나타내는 게임 화상이 단말 장치(7)에 표시되게 된다. 이와 같이 하면, (실제로는 게임 처리는 게임 장치에서 실행되지만,) 단말 장치(7)를 휴대형의 게임 장치로 하여 이용하는 것도 가능하다. 따라서, 본 실시 형태에 따르면, 텔레비전(2)이 사용 중인(예를 들어, 다른 사람이 텔레비전 방송을 시청 중인) 등의 이유로 텔레비전(2)에 게임 화상을 표시할 수 없는 경우에도, 유저는 단말 장치(7)를 사용하여 게임을 행할 수 있다.
또한, CPU(10)는, 게임 화상에 한하지 않고, 전원 투입 후에 표시되는 상술한 메뉴 화면에 대해서도 화상을 단말 장치(7)로 송신하여 표시시키도록 해도 된다. 이에 따르면, 플레이어는 처음부터 텔레비전(2)을 사용하지 않고 게임을 행할 수 있으므로, 편리하다.
또한, 상기에 있어서, 게임 화상을 표시하는 표시 장치를 단말 장치(7)로부터 텔레비전(2)으로 게임 중에 변경하는 것도 가능하다. 구체적으로는, CPU(10)는, 상기 스텝 S9를 다시 실행하고, 게임 화상을 텔레비전(2)에 출력하도록 하면 된다. 또한, 스텝 S9에서 텔레비전(2)에 출력되는 화상은, 스텝 S10에서 단말 장치(7)로 송신되는 게임 화상과 동일하다. 이에 따르면, 게임 장치(3)로부터의 입력을 표시시키도록 텔레비전(2)의 입력을 전환함으로써, 단말 장치(7)와 동일한 게임 화상이 텔레비전(2)에 표시되게 되므로, 게임 화상을 표시하는 표시 장치를 텔레비전(2)으로 변경할 수 있다. 또한, 텔레비전(2)에 게임 화상이 표시된 후는 단말 장치(7)의 화면 표시가 오프로 되어도 된다.
또한, 게임 시스템(1)에 있어서는, 텔레비전(2)에 대한 적외선 리모콘 신호를 적외선 출력 수단(마커 장치(6), 마커부(55), 혹은 적외선 통신 모듈(72))으로부터 출력 가능하도록 해도 된다. 이에 따르면, 게임 장치(3)는 단말 장치(7)에 대한 조작에 따라서 상기 적외선 리모콘 신호를 적외선 출력 수단으로부터 출력시킴으로써 텔레비전(2)에 대한 조작을 행할 수 있다. 이 경우, 유저는 텔레비전(2)의 리모콘을 조작하지 않고, 단말 장치(7)를 사용하여 텔레비전(2)을 조작할 수 있으므로, 상기한 바와 같이 텔레비전(2)의 입력을 전환하는 경우 등에 있어서 편리하다.
(네트워크를 통하여 다른 장치와 통신을 행하는 동작예)
상술한 바와 같이, 게임 장치(3)는 네트워크에 접속하는 기능을 갖고 있으므로, 게임 시스템(1)은 네트워크를 통하여 외부 장치와 통신을 행하는 경우에도 이용할 수 있다. 도 21은, 네트워크를 통하여 외부 장치와 접속되는 경우에 있어서의 게임 시스템(1)에 포함되는 각 장치의 접속 관계를 나타내는 도면이다. 도 21에 도시한 바와 같이, 게임 장치(3)는 외부 장치(201)와 네트워크(200)를 통하여 통신 가능하다.
상기한 바와 같이 외부 장치(201)와 게임 장치(3)가 통신 가능한 경우, 게임 시스템(1)에 있어서는 단말 장치(7)를 인터페이스로서 외부 장치(201)와의 사이에서 통신을 행할 수 있다. 예를 들어, 외부 장치(201)와 단말 장치(7) 사이에서 화상 및 음성을 송수신함으로써, 게임 시스템(1)을 텔레비전 전화로서 사용할 수 있다. 구체적으로는, 게임 장치(3)는 외부 장치(201)로부터의 화상 및 음성(전화 상대의 화상 및 음성)을 네트워크(200)를 통하여 수신하고, 수신한 화상 및 음성을 단말 장치(7)에 송신한다. 이에 의해, 단말 장치(7)는 외부 장치(201)로부터의 화상을 LCD(51)에 표시함과 함께, 외부 장치(201)로부터의 음성을 스피커(67)로부터 출력한다. 또한, 게임 장치(3)는, 카메라(56)로 촬상된 카메라 화상과, 마이크(69)에서 검지된 마이크 음성을 단말 장치(7)로부터 수신하고, 카메라 화상 및 마이크 음성을 네트워크(200)를 통하여 외부 장치(201)로 송신한다. 게임 장치(3)는, 상기한 화상 및 음성의 송수신을 외부 장치(201)와의 사이에서 반복함으로써, 게임 시스템(1)을 텔레비전 전화로서 사용할 수 있다.
또한, 본 실시 형태에 있어서는 단말 장치(7)는 가반형이므로, 유저는 단말 장치(7)를 자유로운 위치에서 사용하거나, 카메라(56)를 자유로운 방향을 향하게 하거나 할 수 있다. 또한, 본 실시 형태에 있어서는 단말 장치(7)는 터치 패널(52)을 구비하고 있으므로, 게임 장치(3)는 터치 패널(52)에 대한 입력 정보(터치 위치 데이터(100))를 외부 장치(201)로 송신하는 것도 가능하다. 예를 들어, 외부 장치(201)로부터의 화상 및 음성을 단말 장치(7)에서 출력함과 함께, 유저가 터치 패널(52) 상에 쓴 문자 등을 외부 장치(201)로 송신하는 경우에는, 소위 e러닝 시스템으로서 게임 시스템(1)을 사용하는 것도 가능하다.
(텔레비전 방송과 연동한 동작예)
또한, 게임 시스템(1)은, 텔레비전(2)에서 텔레비전 방송이 시청되고 있는 경우에, 텔레비전 방송과 연동하여 동작하는 것도 가능하다. 즉, 게임 시스템(1)은, 텔레비전(2)에서 텔레비전 프로그램이 시청되고 있는 경우에, 그 텔레비전 프로그램에 관한 정보 등을 단말 장치(7)에 출력시킨다. 이하, 게임 시스템(1)이 텔레비전 방송과 연동하여 동작하는 경우의 동작예를 설명한다.
상기 동작예에 있어서는, 게임 장치(3)는, 네트워크를 통하여 서버와 통신 가능하다(환언하면, 도 21에 도시하는 외부 장치(201)가 서버임). 서버는, 텔레비전 방송에 관련된 다양한 정보(텔레비전 정보)를 텔레비전 방송의 채널마다 기억하고 있다. 이 텔레비전 정보는, 자막이나 출연자 정보 등의 프로그램에 관한 정보이어도 되고, EPG(전자 프로그램표)의 정보나, 데이터 방송으로서 방송되는 정보이어도 된다. 또한, 텔레비전 정보는, 화상이나, 음성이나, 문자나, 이들 조합 정보이어도 된다. 또한, 서버는 1개일 필요는 없고, 텔레비전 방송의 채널마다, 혹은 프로그램마다 서버가 설치되어, 게임 장치(3)는 각 서버와 통신 가능해도 된다.
텔레비전(2)에 있어서 텔레비전 방송의 영상ㆍ음성이 출력되어 있는 경우에 있어서, 게임 장치(3)는, 시청 중인 텔레비전 방송의 채널을 단말 장치(7)를 사용하여 유저에게 입력시킨다. 그리고, 입력된 채널에 대응하는 텔레비전 정보를 송신하도록, 네트워크를 통하여 서버에 요구한다. 이에 따라서, 서버는 상기 채널에 대응하는 텔레비전 정보의 데이터를 송신한다. 서버로부터 송신되어 오는 데이터를 수신하면, 게임 장치(3)는 수신한 데이터를 단말 장치(7)에 출력한다. 단말 장치(7)는, 상기 데이터 중 화상 및 문자의 데이터를 LCD(51)에 표시하고, 음성 데이터를 스피커로부터 출력한다. 이상에 의해, 유저는 현재 시청 중인 텔레비전 프로그램에 관한 정보 등을 단말 장치(7)를 사용하여 향수할 수 있다.
상기한 바와 같이 게임 시스템(1)은, 네트워크를 통하여 외부 장치(서버)와 통신을 행함으로써, 텔레비전 방송과 연동한 정보를 단말 장치(7)에 의해 유저에게 제공하는 것도 가능하다. 특히, 본 실시 형태에서는 단말 장치(7)는 가반형이므로, 유저는 자유로운 위치에서 단말 장치(7)를 사용할 수 있어, 편리성이 높다.
이상과 같이, 본 실시 형태에 있어서는, 유저는, 게임에 사용하는 것 외에도, 다양한 용도ㆍ형태로 단말 장치(7)를 사용할 수 있다.
[8. 변형예]
상기 실시 형태는 본 발명을 실시하는 일례이며, 다른 실시 형태에 있어서는 예를 들어 이하에 설명하는 구성으로 본 발명을 실시하는 것도 가능하다.
(복수의 단말 장치를 갖는 변형예)
상기 실시 형태에 있어서는, 게임 시스템(1)은 단말 장치를 1개만 갖는 구성이었지만, 게임 시스템(1)은 복수의 단말 장치를 갖는 구성이어도 된다. 즉, 게임 장치(3)는, 복수의 단말 장치와 각각 무선 통신 가능하여, 게임 화상의 데이터와 게임 음성의 데이터와 제어 데이터를 각 단말 장치로 송신하고, 조작 데이터와 카메라 화상 데이터와 마이크음 데이터를 각 단말 장치로부터 수신하는 것이어도 된다. 또한, 게임 장치(3)는, 복수의 단말 장치의 각각과 무선 통신을 행하지만, 이때, 게임 장치(3)는, 각 단말 장치와의 무선 통신을 시분할로 행해도 되고, 주파수 대역을 분할하여 행해도 된다.
상기한 바와 같이 복수의 단말 장치를 갖는 경우에는, 게임 시스템을 사용하여 보다 많은 종류의 게임을 행할 수 있다. 예를 들어, 게임 시스템(1)이 2개의 단말 장치를 갖는 경우에는, 게임 시스템(1)은 3개의 표시 장치를 갖게 되므로, 3명의 플레이어의 각각을 위한 게임 화상을 생성하여, 각 표시 장치에 표시시킬 수 있다. 또한, 게임 시스템(1)이 2개의 단말 장치를 갖는 경우에는, 컨트롤러와 단말 장치를 1세트로 하여 사용하는 게임(예를 들어 상기 제5 게임예)에 있어서, 2명의 플레이어가 동시에 게임을 행할 수 있다. 또한, 2개의 컨트롤러로부터 출력되는 마커 좌표 데이터에 기초하여 상기 스텝 S27의 게임 처리가 행해지는 경우에는, 컨트롤러를 마커(마커 장치(6) 또는 마커부(55))를 향하여 행하는 게임 조작을 2명의 플레이어가 각각 행할 수 있다. 즉, 한쪽 플레이어는, 마커 장치(6) 쪽으로 컨트롤러를 향하게 하여 게임 조작을 행하고, 다른 쪽 플레이어는, 마커부(55) 쪽으로 컨트롤러를 향하게 하여 게임 조작을 행할 수 있다.
(단말 장치의 기능에 관한 변형예)
상기 실시 형태에 있어서는, 단말 장치(7)는, 게임 처리를 실행하지 않는, 소위 신 클라이언트 단말기로서 기능하는 것이었다. 여기서, 다른 실시 형태에 있어서는, 상기 실시 형태에 있어서 게임 장치(3)에 의해 실행되는 일련의 게임 처리 중, 일부의 처리는 단말 장치(7) 등의 다른 장치에 의해 실행되어도 된다. 예를 들어, 일부의 처리(예를 들어, 단말기용 게임 화상의 생성 처리)를 단말 장치(7)가 실행하도록 해도 된다. 또한 예를 들어, 서로 통신 가능한 복수의 정보 처리 장치(게임 장치)를 갖는 게임 시스템에 있어서, 당해 복수의 정보 처리 장치가 게임 처리를 분담하여 실행하도록 해도 된다.
<산업상 이용가능성>
이상과 같이, 본 발명은, 신규 게임 조작을 플레이어에게 행하게 하는 것 등을 목적으로 하여, 예를 들어 게임 시스템이나 게임 시스템에 사용되는 단말 장치 등으로서 이용하는 것이 가능하다.
1: 게임 시스템
2: 텔레비전
3: 게임 장치
4: 광 디스크
5: 컨트롤러
6: 마커 장치
7: 단말 장치
10: CPU
11e: 내부 메인 메모리
12: 외부 메인 메모리
19: 컨트롤러 통신 모듈
28: 단말기 통신 모듈
35: 촬상 정보 연산부
37: 가속도 센서
44: 무선 모듈
48: 자이로 센서
51: LCD
52: 터치 패널
53: 아날로그 스틱
54: 조작 버튼
55: 마커부
56: 카메라
62: 자기 센서
63: 가속도 센서
64: 자이로 센서
66: 코덱 LSI
67: 스피커
69: 마이크
70: 무선 모듈
90: 컨트롤러 조작 데이터
97: 단말기 조작 데이터
98: 카메라 화상 데이터
99: 마이크음 데이터

Claims (13)

  1. 거치형의 게임 장치와, 제1 조작 장치를 포함하는 게임 시스템이며,
    상기 게임 장치는,
    상기 제1 조작 장치로부터 제1 조작 데이터를 수신하는 제1 조작 데이터 수신부와,
    상기 제1 조작 데이터에 기초하여 게임 처리를 실행하는 게임 처리부와,
    상기 게임 처리에 기초하여 제1 게임 화상 및 제2 게임 화상을 순서대로 생성하는 화상 생성부와,
    상기 제1 게임 화상을 순서대로 압축하여 압축 화상 데이터를 생성하는 게임 화상 압축부와,
    상기 압축 화상 데이터를 상기 제1 조작 장치로 무선으로 순서대로 송신하는 게임 화상 송신부와,
    상기 제1 조작 장치와는 별개 부재의 외부 표시 장치에 상기 제2 게임 화상을 순서대로 출력하는 화상 출력부를 구비하고,
    상기 제1 조작 장치는,
    표시부와,
    상기 표시부의 화면에 설치되는 터치 패널과,
    관성 센서와,
    상기 터치 패널 및 관성 센서의 출력 데이터를 포함하는 제1 조작 데이터를 상기 게임 장치로 무선으로 송신하는 제1 조작 데이터 송신부와,
    상기 게임 장치로부터 상기 압축 화상 데이터를 순서대로 수신하는 게임 화상 수신부와,
    상기 압축 화상 데이터를 순서대로 신장하여 상기 제1 게임 화상을 얻는 게임 화상 신장부를 구비하고,
    상기 표시부는, 신장에 의해 얻어진 상기 제1 게임 화상을 순서대로 표시하는, 게임 시스템.
  2. 제1항에 있어서, 상기 게임 시스템은, 제2 조작 장치를 더 포함하고,
    상기 제2 조작 장치는, 당해 제2 조작 장치에 대한 조작을 나타내는 제2 조작 데이터를 상기 게임 장치로 무선으로 송신하는 제2 조작 데이터 송신부를 구비하고,
    상기 게임 장치는, 상기 제2 조작 데이터를 수신하는 제2 조작 데이터 수신부를 더 구비하고,
    상기 게임 처리부는, 상기 제2 조작 데이터에 기초하여 게임 처리를 실행하는, 게임 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 게임 장치는,
    상기 게임 처리에 기초하여 제1 게임 음성 및 제2 게임 음성을 생성하는 게임 음성 생성부와,
    상기 제1 조작 장치와는 별개 부재의 외부 음향 장치로 상기 제2 게임 음성을 출력하는 게임 음성 출력부와,
    상기 제1 게임 음성을 상기 제1 조작 장치로 무선으로 송신하는 게임 음성 송신부를 더 구비하고,
    상기 제1 조작 장치는,
    상기 제1 게임 음성을 상기 게임 장치로부터 수신하는 게임 음성 수신부와,
    상기 게임 음성 수신부에 의해 수신된 상기 제1 게임 음성을 출력하는 스피커를 더 구비하는, 게임 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 조작 장치는 마이크를 더 구비하고,
    상기 제1 조작 데이터 송신부는, 상기 마이크가 검지한 소리의 데이터를 상기 게임 장치에 무선으로 또한 송신하는, 게임 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 조작 장치는,
    카메라와,
    상기 카메라가 촬상한 카메라 화상을 압축하여 압축 촬상 데이터를 생성하는 카메라 화상 압축부를 더 구비하고,
    상기 제1 조작 데이터 송신부는, 상기 압축 촬상 데이터를 상기 게임 장치에 무선으로 또한 송신하고,
    상기 게임 장치는, 상기 압축 촬상 데이터를 신장하여 카메라 화상을 얻는 카메라 화상 신장부를 더 구비하는, 게임 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 조작 장치는,
    상기 표시부의 화면 및 상기 터치 패널이 설치되는 표면측 평면에 있어서 당해 화면의 양측에 설치되는 복수의 표면 조작 버튼과,
    상기 표면측 평면에 있어서 상기 화면의 양측에 설치되고, 방향을 지시 가능한 방향 입력부를 구비하고,
    상기 제1 조작 데이터는, 상기 복수의 표면 조작 버튼 및 상기 방향 입력부에 대한 조작을 나타내는 데이터를 더 포함하는, 게임 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 조작 장치는,
    상기 표시부의 화면 및 상기 터치 패널이 설치되는 표면측 평면의 반대측의 이면측 평면에 설치되는 복수의 이면 조작 버튼과,
    상기 표면측 평면과 상기 이면측 평면 사이의 측면에 설치되는 복수의 측면 조작 버튼을 더 구비하고,
    상기 제1 조작 데이터는, 상기 복수의 이면 조작 버튼 및 측면 조작 버튼에 대한 조작을 나타내는 데이터를 더 포함하는, 게임 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 제1 조작 장치는 자기 센서를 더 구비하고,
    상기 제1 조작 데이터는 상기 자기 센서의 검출 결과의 데이터를 더 포함하는, 게임 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 관성 센서는, 3축의 가속도 센서 및 3축의 자이로 센서인, 게임 시스템.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 게임 장치는,
    상기 게임 장치에 착탈 가능하고, 게임 프로그램을 기록한 외부 기록 매체로부터 정보를 판독하는 판독부와,
    네트워크에 접속 가능하고, 당해 네트워크를 통하여 통신 가능한 정보 처리 장치 사이에서 통신을 행하는 네트워크 통신부와,
    상기 게임 장치의 외부의 전원으로부터 당해 게임 장치 내의 각 부에 전력을 공급하는 전력 공급부를 구비하고,
    상기 게임 처리부는, 상기 판독부로부터 판독된 게임 프로그램에 기초하여 게임 처리를 행하는, 게임 시스템.
  11. 거치형의 게임 장치와 무선 통신 가능한 조작 장치이며,
    표시부와,
    상기 표시부의 화면에 설치되는 터치 패널과,
    관성 센서와,
    상기 터치 패널 및 관성 센서의 출력 데이터를 포함하는 조작 데이터를 상기 게임 장치로 무선으로 송신하는 조작 데이터 송신부와,
    상기 게임 장치에 있어서, 상기 조작 데이터에 기초하여 실행되는 게임 처리에 기초하여 생성되는 게임 화상에 압축 처리가 실시된 압축 화상 데이터를, 상기 게임 장치로부터 순서대로 수신하는 게임 화상 수신부와,
    상기 압축 화상 데이터를 순서대로 신장하여 상기 게임 화상을 얻는 게임 화상 신장부를 구비하고,
    상기 표시부는, 신장에 의해 얻어진 상기 게임 화상을 순서대로 표시하는, 조작 장치.
  12. 거치형의 게임 장치와, 제1 조작 장치를 포함하는 게임 시스템에 있어서 실행되는 게임 처리 방법이며,
    상기 제1 조작 장치는, 제1 조작 장치가 구비하는 표시부의 화면에 설치되는 터치 패널의 출력 데이터와, 관성 센서의 출력 데이터를 포함하는 제1 조작 데이터를 상기 게임 장치로 무선으로 송신하는 제1 조작 데이터 송신 스텝을 실행하고,
    상기 게임 장치는,
    상기 제1 조작 장치로부터 제1 조작 데이터를 수신하는 제1 조작 데이터 수신 스텝과,
    상기 제1 조작 데이터에 기초하여 게임 처리를 실행하는 게임 처리 스텝과,
    상기 게임 처리에 기초하여 제1 게임 화상 및 제2 게임 화상을 순서대로 생성하는 화상 생성 스텝과,
    상기 제1 게임 화상을 순서대로 압축하여 압축 화상 데이터를 생성하는 게임 화상 압축 스텝과,
    상기 압축 화상 데이터를 상기 제1 조작 장치로 무선으로 순서대로 송신하는 게임 화상 송신 스텝과,
    상기 제1 조작 장치와는 별개 부재의 외부 표시 장치에 상기 제2 게임 화상을 순서대로 출력하는 화상 출력 스텝을 실행하고,
    상기 제1 조작 장치는 또한,
    상기 게임 장치로부터 상기 압축 화상 데이터를 순서대로 수신하는 게임 화상 수신 스텝과,
    상기 압축 화상 데이터를 순서대로 신장하여 상기 제1 게임 화상을 얻는 게임 화상 신장 스텝과,
    신장에 의해 얻어진 상기 제1 게임 화상을 상기 표시부에 순서대로 표시하는 표시 스텝을 실행하는, 게임 처리 방법.
  13. 제12항에 있어서, 상기 게임 시스템은, 제2 조작 장치를 더 포함하고,
    상기 제2 조작 장치는, 당해 제2 조작 장치에 대한 조작을 나타내는 제2 조작 데이터를 상기 게임 장치로 무선으로 송신하는 제2 조작 데이터 송신 스텝을 실행하고,
    상기 게임 장치는, 상기 제2 조작 데이터를 수신하는 제2 조작 데이터 수신 스텝을 또한 실행하고,
    상기 게임 처리 스텝에 있어서는, 상기 제2 조작 데이터에 기초하여 게임 처리가 실행되는, 게임 처리 방법.
KR1020117016995A 2010-02-03 2011-02-02 게임 시스템, 조작 장치 및 게임 처리 방법 KR101287696B1 (ko)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
JPJP-P-2010-022022 2010-02-03
JP2010022023A JP2011156260A (ja) 2010-02-03 2010-02-03 ゲームシステム
JPJP-P-2010-022023 2010-02-03
JP2010022022A JP5727705B2 (ja) 2010-02-03 2010-02-03 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム画像出力方法
JPJP-P-2010-177893 2010-08-06
JP2010177893 2010-08-06
JP2010185315 2010-08-20
JPJP-P-2010-185315 2010-08-20
JPJP-P-2010-192221 2010-08-30
JP2010192221 2010-08-30
JPJP-P-2010-192220 2010-08-30
JP2010192220 2010-08-30
JP2010245298 2010-11-01
JPJP-P-2010-245298 2010-11-01
JP2010245299A JP4798809B1 (ja) 2010-11-01 2010-11-01 表示装置、ゲームシステム、およびゲーム処理方法
JPJP-P-2010-245299 2010-11-01
PCT/JP2011/000565 WO2011096203A1 (ja) 2010-02-03 2011-02-02 ゲームシステム、操作装置、およびゲーム処理方法

Publications (2)

Publication Number Publication Date
KR20110103434A true KR20110103434A (ko) 2011-09-20
KR101287696B1 KR101287696B1 (ko) 2013-07-24

Family

ID=44342131

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020117016997A KR101154636B1 (ko) 2010-02-03 2011-02-02 표시 장치, 게임 시스템 및 게임 처리 방법
KR1020117021386A KR20120100702A (ko) 2010-02-03 2011-02-02 표시 장치, 게임 시스템 및 게임 처리 방법
KR1020117016995A KR101287696B1 (ko) 2010-02-03 2011-02-02 게임 시스템, 조작 장치 및 게임 처리 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020117016997A KR101154636B1 (ko) 2010-02-03 2011-02-02 표시 장치, 게임 시스템 및 게임 처리 방법
KR1020117021386A KR20120100702A (ko) 2010-02-03 2011-02-02 표시 장치, 게임 시스템 및 게임 처리 방법

Country Status (7)

Country Link
US (4) US8961305B2 (ko)
EP (2) EP2392389A4 (ko)
KR (3) KR101154636B1 (ko)
AU (2) AU2011204815B2 (ko)
BR (1) BRPI1106085A2 (ko)
CA (3) CA2746481C (ko)
WO (2) WO2011096204A1 (ko)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8504936B2 (en) * 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8740701B2 (en) 2009-06-15 2014-06-03 Wms Gaming, Inc. Controlling wagering game system audio
US8968088B2 (en) 2009-07-07 2015-03-03 Wms Gaming, Inc. Controlling priority of wagering game lighting content
WO2011005797A1 (en) 2009-07-07 2011-01-13 Wms Gaming, Inc. Controlling gaming effects for gaming network nodes
WO2011014760A1 (en) 2009-07-31 2011-02-03 Wms Gaming, Inc. Controlling casino lighting content and audio content
US10269207B2 (en) 2009-07-31 2019-04-23 Bally Gaming, Inc. Controlling casino lighting content and audio content
US8613667B2 (en) 2009-12-21 2013-12-24 Wms Gaming, Inc. Position-based lighting coordination in wagering game systems
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
EP2392389A4 (en) 2010-02-03 2014-10-15 Nintendo Co Ltd GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US9367987B1 (en) 2010-04-26 2016-06-14 Bally Gaming, Inc. Selecting color in wagering game systems
US8840464B1 (en) 2010-04-26 2014-09-23 Wms Gaming, Inc. Coordinating media in a wagering game environment
US8814673B1 (en) 2010-04-26 2014-08-26 Wms Gaming, Inc. Presenting lighting content in wagering game systems
US8912727B1 (en) 2010-05-17 2014-12-16 Wms Gaming, Inc. Wagering game lighting device chains
JP6243586B2 (ja) * 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US8827805B1 (en) * 2010-08-06 2014-09-09 Wms Gaming, Inc. Balancing community gaming effects
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840386B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840385B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
WO2012044713A1 (en) 2010-10-01 2012-04-05 Imerj LLC Drag/flick gestures in user interface
KR101492310B1 (ko) 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치
WO2012065885A1 (en) * 2010-11-15 2012-05-24 Movea Smart air mouse
JP5829020B2 (ja) * 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5774314B2 (ja) * 2011-01-05 2015-09-09 任天堂株式会社 遅延測定システムおよび遅延測定方法
AU2012212356B2 (en) 2011-02-01 2016-10-06 Timeplay Inc. Systems and methods for interactive experiences and controllers therefor
US9597590B2 (en) * 2011-04-01 2017-03-21 Massachusetts Institute Of Technology Methods and apparatus for accessing peripheral content
US9089768B2 (en) * 2011-04-01 2015-07-28 Electronic Arts Inc. Method and system for remote game display
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
JP5829040B2 (ja) 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5901891B2 (ja) * 2011-05-23 2016-04-13 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
JP5745340B2 (ja) * 2011-06-02 2015-07-08 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5890969B2 (ja) 2011-06-03 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US8576140B2 (en) * 2011-06-29 2013-11-05 Xerox Corporation Methods and systems for simultaneous local and contextual display
JP5911221B2 (ja) * 2011-07-01 2016-04-27 株式会社スクウェア・エニックス コンテンツ関連情報表示システム
JP5388392B2 (ja) 2011-07-01 2014-01-15 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャベースのゲームのための安全スキーム
US20130019179A1 (en) * 2011-07-14 2013-01-17 Digilink Software, Inc. Mobile application enhancements
JP5638484B2 (ja) * 2011-08-04 2014-12-10 株式会社ソニー・コンピュータエンタテインメント 電子機器
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
WO2013032045A1 (en) 2011-08-31 2013-03-07 Empire Technology Development Llc Position-setup for gesture-based game system
US20130076613A1 (en) * 2011-09-28 2013-03-28 Nintendo Of America Powered marking apparatus for pointing control
US9804864B1 (en) * 2011-10-07 2017-10-31 BlueStack Systems, Inc. Method of mapping inputs and system thereof
JP6117464B2 (ja) * 2011-10-11 2017-04-19 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置
IN2014CN03389A (ko) * 2011-10-11 2015-07-03 Timeplay Entertainment Corp
KR101303939B1 (ko) * 2011-10-17 2013-09-05 한국과학기술연구원 디스플레이 장치 및 컨텐츠 디스플레이 방법
US8740706B2 (en) * 2011-10-25 2014-06-03 Spielo International Canada Ulc Gaming console having movable screen
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
EP2810274B1 (en) * 2011-10-25 2019-05-15 Aquimo, Llc Method to provide dynamic customized sports instruction responsive to motion of a mobile device
CA2854639C (en) 2011-10-25 2020-10-20 Aquimo, Llc Method to provide dynamic customized sports instruction responsive to motion of a mobile device
JP5951957B2 (ja) * 2011-10-27 2016-07-13 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
EP2587438A1 (en) * 2011-10-28 2013-05-01 Nintendo Co., Ltd. Video display system; server, information processing device and information processing program which are usable in the video display system; and video display method
JP2013110736A (ja) 2011-10-28 2013-06-06 Nintendo Co Ltd 情報処理システム、サーバシステム、端末システム、情報処理プログラム、および、情報提示方法
CN103918252B (zh) 2011-11-04 2017-06-06 英派尔科技开发有限公司 用于图像的ir信号捕获
JP5841409B2 (ja) * 2011-11-09 2016-01-13 任天堂株式会社 制御プログラム、入力端末装置、制御システムおよび制御方法
KR101567591B1 (ko) 2011-12-02 2015-11-20 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임 시스템을 위한 안전 체계
WO2013095703A1 (en) * 2011-12-20 2013-06-27 Wikipad, Inc. Game controller
US20130154958A1 (en) * 2011-12-20 2013-06-20 Microsoft Corporation Content system with secondary touch controller
US9005025B2 (en) * 2011-12-20 2015-04-14 Wikipad, Inc. Game controller
JP5177781B1 (ja) * 2011-12-26 2013-04-10 株式会社コナミデジタルエンタテインメント ゲームシステム、選択方法、および、プログラム
US9339707B2 (en) 2011-12-27 2016-05-17 Aquimo, Llc Using a mobile device with integrated motion sensing for customized golf club fitting
US9474969B2 (en) * 2011-12-29 2016-10-25 Steelseries Aps Method and apparatus for determining performance of a gamer
JP5503672B2 (ja) * 2012-01-31 2014-05-28 株式会社スクウェア・エニックス ゲームシステム
FR2986715B1 (fr) * 2012-02-15 2014-10-17 Archos Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif
US20130210507A1 (en) * 2012-02-15 2013-08-15 Damon Kyle Wayans Method and apparatus for implementing video game and includes social darts
US8485899B1 (en) * 2012-03-06 2013-07-16 Steelseries Aps Method and apparatus for presenting performances of gamers
JP5967995B2 (ja) * 2012-03-22 2016-08-10 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および判別方法
JP5875069B2 (ja) 2012-03-22 2016-03-02 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
CN102663885B (zh) * 2012-03-23 2017-11-07 中兴通讯股份有限公司 一种对显示设备进行操作的方法、系统及相关设备
JP5959047B2 (ja) * 2012-04-04 2016-08-02 任天堂株式会社 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP5200196B1 (ja) 2012-04-20 2013-05-15 任天堂株式会社 ゲームシステムおよびゲームコントローラ
EP2698185A4 (en) * 2012-04-20 2015-10-07 Nintendo Co Ltd GAME CONTROL UNIT
US8715080B2 (en) 2012-04-20 2014-05-06 Nintendo Co., Ltd. Game system, game controller
US9713765B2 (en) 2012-04-20 2017-07-25 Empire Technology Development Llc Online game experience using multiple devices
US9022870B2 (en) 2012-05-02 2015-05-05 Aquimo, Llc Web-based game platform with mobile device motion sensor input
US9272204B2 (en) 2012-05-07 2016-03-01 Bankerslab, Inc. Education through employment of gaming
EP2706432B1 (en) 2012-05-25 2017-12-06 Nintendo Co., Ltd. Operation device, information processing system, and information processing method
EP2706433B1 (en) * 2012-05-25 2018-04-18 Nintendo Co., Ltd. Operation device, information processing system, and communication method
JP5122035B1 (ja) * 2012-05-25 2013-01-16 任天堂株式会社 操作装置、情報処理システム、および通信方法
JP6534198B2 (ja) * 2012-05-31 2019-06-26 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置およびゲームプログラム
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
JP6105222B2 (ja) * 2012-07-20 2017-03-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、姿勢算出方法
JP6105221B2 (ja) 2012-07-20 2017-03-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、姿勢算出方法
EP2687955B1 (en) * 2012-07-20 2018-08-22 Nintendo Co., Ltd. Information processing program, information processing system and attitude calculation method for calculating an attitude of an input unit
CN102883205A (zh) * 2012-08-29 2013-01-16 深圳市茁壮网络股份有限公司 一种利用智能终端控制数字电视系统的方法及数字电视系统
TWI470497B (zh) * 2012-09-06 2015-01-21 Mstar Semiconductor Inc 觸控系統及其控制方法
JP6133567B2 (ja) 2012-10-18 2017-05-24 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2014147511A (ja) 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
KR101298030B1 (ko) * 2013-03-12 2013-08-26 주식회사 네시삼십삼분 슈팅 게임이 기록된 컴퓨터 판독 가능한 기록매체
US20140274384A1 (en) * 2013-03-15 2014-09-18 Electronic Arts Inc. Delivering and consuming interactive video gaming content
JP6162991B2 (ja) * 2013-03-26 2017-07-12 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム処理方法、およびゲーム装置
WO2014165862A1 (en) * 2013-04-05 2014-10-09 Ladd Mark J Systems and methods for sensor-based mobile gaming
CN105210144B (zh) * 2013-05-21 2017-12-08 索尼公司 显示控制装置、显示控制方法和记录介质
KR102064934B1 (ko) * 2013-07-17 2020-02-11 삼성전자 주식회사 무선 단말과 전자펜간 데이터 송/수신 방법 및 장치
US20150241984A1 (en) * 2014-02-24 2015-08-27 Yair ITZHAIK Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
US9852522B2 (en) * 2014-03-17 2017-12-26 Sony Interactive Entertainment Inc. Image decoder, graphics processing system, image decoding method, and graphics processing method
KR102137189B1 (ko) * 2014-04-15 2020-07-24 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
JP2015207061A (ja) * 2014-04-17 2015-11-19 株式会社東芝 電子機器
JP6633825B2 (ja) * 2014-06-05 2020-01-22 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20160282949A1 (en) * 2015-03-27 2016-09-29 Sony Corporation Method and system for detecting linear swipe gesture using accelerometer
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
US9757647B2 (en) 2015-06-12 2017-09-12 Nintendo Co., Ltd. Game controller
JP6635597B2 (ja) 2015-06-12 2020-01-29 任天堂株式会社 情報処理システム、および、操作装置
US20180124458A1 (en) * 2015-06-23 2018-05-03 Gregory Knox Methods and systems for generating media viewing experiential data
US20180115802A1 (en) * 2015-06-23 2018-04-26 Gregory Knox Methods and systems for generating media viewing behavioral data
JP6463251B2 (ja) 2015-10-27 2019-01-30 任天堂株式会社 充電器および充電システム
JP2016073663A (ja) * 2015-11-25 2016-05-12 グリー株式会社 プログラム、及び表示システム
JP2017124071A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 電子機器、システム、提示方法、提示プログラム、及び記録媒体
JP2017124099A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 運動解析方法、運動解析プログラム及びその記憶媒体並びに運動解析装置及び運動解析システム
TWI631507B (zh) 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US10691233B2 (en) 2016-10-11 2020-06-23 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US11185763B2 (en) 2016-10-11 2021-11-30 Valve Corporation Holding and releasing virtual objects
US10549183B2 (en) 2016-10-11 2020-02-04 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
US10649583B1 (en) 2016-10-11 2020-05-12 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10898797B2 (en) 2016-10-11 2021-01-26 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US10391400B1 (en) 2016-10-11 2019-08-27 Valve Corporation Electronic controller with hand retainer and finger motion sensing
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
JP6955339B2 (ja) 2017-01-10 2021-10-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6854132B2 (ja) 2017-01-10 2021-04-07 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
CN206821083U (zh) * 2017-04-24 2017-12-29 深圳市大疆创新科技有限公司 一种遥控器及其壳体组件
JP7143336B2 (ja) * 2017-06-16 2022-09-28 バルブ コーポレーション 指動作のセンシングを備えた電子コントローラ
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
JP2019016316A (ja) 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
CN107362533A (zh) * 2017-07-12 2017-11-21 深圳市山弯科技有限公司 利用悬浮窗实现移动光标功能的游戏手柄系统
US10672015B2 (en) * 2017-09-13 2020-06-02 Bby Solutions, Inc. Streaming events modeling for information ranking to address new information scenarios
US10264315B2 (en) * 2017-09-13 2019-04-16 Bby Solutions, Inc. Streaming events modeling for information ranking
US10171877B1 (en) * 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US11194464B1 (en) 2017-11-30 2021-12-07 Amazon Technologies, Inc. Display control using objects
US10848792B2 (en) * 2018-03-05 2020-11-24 Maestro Interactive, Inc. System and method for providing audience-targeted content triggered by events during program
JP6759267B2 (ja) * 2018-03-30 2020-09-23 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
JP6916150B2 (ja) * 2018-06-05 2021-08-11 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法
US11100713B2 (en) * 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
EP3686609A1 (en) * 2019-01-25 2020-07-29 Rohde & Schwarz GmbH & Co. KG Measurement system and method for recording context information of a measurement
US11026000B2 (en) * 2019-04-19 2021-06-01 Microsoft Technology Licensing, Llc Previewing video content referenced by typed hyperlinks in comments
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
US11785194B2 (en) 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text
KR102271490B1 (ko) * 2019-06-03 2021-07-01 주식회사 게임빌 스포츠 게임에서 공의 이동을 제어하는 방법 및 시스템
JP6670030B1 (ja) 2019-08-30 2020-03-18 任天堂株式会社 周辺装置、ゲームコントローラ、情報処理システム、および、情報処理方法
US11497997B2 (en) * 2019-12-27 2022-11-15 Bandai Namco Entertainment Inc. Server system, game system, and game execution method
CN111258489B (zh) * 2020-01-15 2021-05-25 腾讯科技（深圳）有限公司 虚拟道具的操作方法和装置及存储介质
CN111766950B (zh) * 2020-08-12 2022-05-24 腾讯科技（深圳）有限公司 虚拟角色交互方法、装置、计算机设备和存储介质
CN112121420A (zh) * 2020-09-22 2020-12-25 北京冰封互娱科技有限公司 图像的显示方法和装置、存储介质、电子装置
CN112423060B (zh) * 2020-10-26 2023-09-19 深圳Tcl新技术有限公司 视频图像截取方法、系统、装置、终端设备及存储介质

Family Cites Families (276)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2653113C2 (de) 1976-11-23 1983-01-13 Loewe Opta Gmbh, 8640 Kronach Fernsehspielschaltung
JPH0768052B2 (ja) 1985-10-29 1995-07-26 セントラル硝子株式会社 フロ−トガラスの化学強化方法
AU8237987A (en) * 1986-11-27 1988-06-16 Starpeak Computers Limited Locating system
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5068168A (en) 1990-12-20 1991-11-26 Monsanto Company Styrene/maleates terpolymers
ATE159396T1 (de) 1991-06-04 1997-11-15 Qualcomm Inc System zur adaptiven kompression der blockgrössen eines bildes
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JPH06285259A (ja) 1993-03-31 1994-10-11 Sega Enterp Ltd 液晶コントローラ
JPH0764754A (ja) 1993-08-24 1995-03-10 Hitachi Ltd 小型情報処理装置
JPH0788251A (ja) 1993-09-22 1995-04-04 Muumin:Kk ゲーム機用コントロールパッド
US5820462A (en) 1994-08-02 1998-10-13 Nintendo Company Ltd. Manipulator for game machine
JP4036246B2 (ja) 1994-08-02 2008-01-23 任天堂株式会社 ゲーム機用操作装置
JPH0895669A (ja) 1994-09-29 1996-04-12 Toshiba Corp 電子機器システム
GB9421840D0 (en) 1994-10-28 1994-12-14 Plessey Semiconductors Ltd Improvements in or relating to television receivers
US5608449A (en) 1994-10-31 1997-03-04 Rtc Industries, Inc. Wireless interactive consumer video system
US6396480B1 (en) * 1995-07-17 2002-05-28 Gateway, Inc. Context sensitive remote control groups
JP2770802B2 (ja) 1995-10-05 1998-07-02 日本電気株式会社 ゲーム機用コントロールパッド
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US6164808A (en) 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
TW387816B (en) 1996-03-05 2000-04-21 Sega Enterprises Kk Controller and expansion unit for controller
JP2002248267A (ja) 1996-03-05 2002-09-03 Sega Corp コントローラ及び電子装置
US5825350A (en) 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
JPH09294260A (ja) * 1996-04-26 1997-11-11 Sega Enterp Ltd 通信処理装置、端末装置、通信システム及びこの通信システムを用いた多人数参加型ゲームシステム並びに通信方法
JPH09325081A (ja) 1996-06-05 1997-12-16 Casio Comput Co Ltd 運動測定装置及び運動測定装置を備えた電子式ゲーム装置
JPH1049290A (ja) 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6208329B1 (en) 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
JPH1094676A (ja) 1996-09-20 1998-04-14 Konami Co Ltd 対戦型ゲームシステムにおける画像表示方法及びゲームシステム
US6084584A (en) 1996-10-01 2000-07-04 Diamond Multimedia Systems, Inc. Computer system supporting portable interactive graphics display tablet and communications systems
US6657627B1 (en) 1997-02-18 2003-12-02 Konami Co., Ltd. Video simulation system for calculating distance between characters and applying polygon to polygon plane
JPH1186038A (ja) 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
US6104380A (en) 1997-04-14 2000-08-15 Ricoh Company, Ltd. Direct pointing apparatus for digital displays
JPH10341388A (ja) 1997-06-06 1998-12-22 Nikon Corp 通信機能を有する電子カメラ
US20040051785A1 (en) 1997-06-06 2004-03-18 Nikon Corporation Electronic camera having a communication function
JP4251673B2 (ja) 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6340957B1 (en) 1997-08-29 2002-01-22 Xerox Corporation Dynamically relocatable tileable displays
JP3269797B2 (ja) 1997-12-12 2002-04-02 株式会社ナムコ 画像生成装置及び情報記憶媒体
SE511516C2 (sv) 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
US6097441A (en) 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
KR100595912B1 (ko) 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US6069790A (en) 1998-01-27 2000-05-30 Dell Usa, L.P. Portable computer ejection mechanism for docking devices
US6499027B1 (en) 1998-05-26 2002-12-24 Rockwell Collins, Inc. System software architecture for a passenger entertainment system, method and article of manufacture
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
USD411530S (en) 1998-06-10 1999-06-29 Pelco Video keyboard
US6347290B1 (en) * 1998-06-24 2002-02-12 Compaq Information Technologies Group, L.P. Apparatus and method for detecting and executing positional and gesture commands corresponding to movement of handheld computing device
JP3788694B2 (ja) 1998-09-16 2006-06-21 株式会社ソニー・コンピュータエンタテインメント データ処理システム及び方法、並びにエンタテインメント装置
JP2000176176A (ja) 1998-09-18 2000-06-27 Sega Enterp Ltd ゲ―ム装置
JP2000116940A (ja) 1998-10-15 2000-04-25 Seta Corp 双方向通信型ゲームシステム
US6557001B1 (en) 1998-11-23 2003-04-29 Moonlight Cordless Ltd. Method for enhancing video compression through automatic data analysis and profile selection
JP3017986B1 (ja) 1998-11-26 2000-03-13 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
JP3662435B2 (ja) 1998-12-17 2005-06-22 コナミ株式会社 射的ビデオゲーム装置
US6400376B1 (en) 1998-12-21 2002-06-04 Ericsson Inc. Display control for hand-held data processing device
US6201554B1 (en) * 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
JP4366746B2 (ja) 1999-01-28 2009-11-18 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6500070B1 (en) 1999-05-28 2002-12-31 Nintendo Co., Ltd. Combined game system of portable and video game machines
US6538636B1 (en) 1999-07-06 2003-03-25 Intel Corporation Apparatus and method for configuring a hand-held interactive device
JP2001034247A (ja) 1999-07-19 2001-02-09 Minolta Co Ltd 映像表示装置
JP3317686B2 (ja) 1999-09-03 2002-08-26 コナミ株式会社 歌唱伴奏システム
US6254481B1 (en) 1999-09-10 2001-07-03 Wms Gaming Inc. Gaming machine with unified image on multiple video displays
US6897833B1 (en) * 1999-09-10 2005-05-24 Hewlett-Packard Development Company, L.P. Portable user interface
US6716103B1 (en) 1999-10-07 2004-04-06 Nintendo Co., Ltd. Portable game machine
JP3674413B2 (ja) * 1999-10-07 2005-07-20 日本ビクター株式会社 画像撮影装置
US6567101B1 (en) 1999-10-13 2003-05-20 Gateway, Inc. System and method utilizing motion input for manipulating a display of data
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
EP1471483B1 (en) 2000-02-29 2009-10-28 Panasonic Corporation Image pickup system and vehicle-mounted-type sensor system
JP4547071B2 (ja) 2000-03-30 2010-09-22 任天堂株式会社 ゲーム情報記憶媒体およびそれを用いたゲームシステム
US7285051B2 (en) 2000-05-25 2007-10-23 Nintendo Co., Ltd. Game information storage medium and game system using the same
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7289102B2 (en) 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
JP4543513B2 (ja) 2000-07-17 2010-09-15 ソニー株式会社 双方向通信システム、表示装置、ベース装置および双方向通信方法
AU2002230578A1 (en) 2000-10-30 2002-05-15 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
US6690358B2 (en) 2000-11-30 2004-02-10 Alan Edward Kaplan Display control for hand-held devices
FI20002841A (fi) 2000-12-22 2002-06-23 Nokia Corp Menetelmä päätelaitteen näytön ohjaamiseksi
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4291467B2 (ja) 2001-03-01 2009-07-08 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、メニュー表示方法および情報記録媒体
US6798429B2 (en) 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6834249B2 (en) 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
US7068294B2 (en) 2001-03-30 2006-06-27 Koninklijke Philips Electronics N.V. One-to-one direct communication
JP4691268B2 (ja) 2001-05-02 2011-06-01 任天堂株式会社 ゲームシステムおよびゲームプログラム
US6966837B1 (en) 2001-05-10 2005-11-22 Best Robert M Linked portable and video game systems
FI117488B (fi) 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
JP2002352138A (ja) * 2001-05-23 2002-12-06 Ibm Japan Ltd サーバ、検索システム、情報提供システム、情報提供端末、情報検索方法、情報提供方法、情報表示方法
US7540011B2 (en) 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
US6954491B1 (en) 2001-06-14 2005-10-11 Silicon Image, Inc. Methods and systems for sending side-channel data during data inactive period
AU2002354677A1 (en) 2001-07-12 2003-01-29 Gary L. Friedman Portable, hand-held electronic input device and combination with a personal digital device
JP3762295B2 (ja) 2001-12-21 2006-04-05 京セラ株式会社 携帯端末用充電装置及び携帯端末
US9544523B2 (en) * 2001-08-06 2017-01-10 Ati Technologies Ulc Wireless display apparatus and method
US6847351B2 (en) 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
JP2003062164A (ja) 2001-08-30 2003-03-04 Kpe Inc 遊技機、遊技機の制御方法および制御プログラム
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US7142191B2 (en) 2001-10-24 2006-11-28 Sony Corporation Image information displaying device
JP2002177644A (ja) 2001-11-02 2002-06-25 Bandai Co Ltd 液晶ゲーム装置
US6888532B2 (en) 2001-11-30 2005-05-03 Palmone, Inc. Automatic orientation-based user interface for an ambiguous handheld device
WO2003083822A1 (en) 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7007242B2 (en) 2002-02-20 2006-02-28 Nokia Corporation Graphical user interface for a mobile device
JP3797608B2 (ja) 2002-05-01 2006-07-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7198568B2 (en) 2002-05-01 2007-04-03 Nintendo Co., Ltd. Game machine and game program for changing the movement of one character based on the movement of another character
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP2003325972A (ja) 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
US7461356B2 (en) 2002-06-03 2008-12-02 Fuji Xerox Co., Ltd. Function control unit and method thereof
JP2004032548A (ja) * 2002-06-27 2004-01-29 Alps Electric Co Ltd 携帯端末
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
JP3602519B2 (ja) 2002-07-12 2004-12-15 コナミ株式会社 ビデオゲーム装置、画像処理方法及びプログラム
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7352358B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US6773349B2 (en) * 2002-07-31 2004-08-10 Intec, Inc. Video game controller with integrated video display
JP3980966B2 (ja) 2002-08-21 2007-09-26 シャープ株式会社 プレゼンテーション用表示装置
JP4482269B2 (ja) 2002-08-28 2010-06-16 ソニー株式会社 電子機器装置、信号補償装置及び信号補償方法
US7030856B2 (en) 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US7184020B2 (en) 2002-10-30 2007-02-27 Matsushita Electric Industrial Co., Ltd. Operation instructing device, operation instructing method, and operation instructing program
JP4115809B2 (ja) 2002-11-11 2008-07-09 任天堂株式会社 ゲームシステム及びゲームプログラム
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
JP2004198450A (ja) * 2002-12-16 2004-07-15 Sharp Corp 画像表示システム
US7158123B2 (en) 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
US7098868B2 (en) 2003-04-08 2006-08-29 Microsoft Corporation Display source divider
US20040201595A1 (en) 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US7719830B2 (en) 2005-05-09 2010-05-18 Apple Inc. Universal docking station for hand held electronic devices
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US8038533B2 (en) 2003-05-09 2011-10-18 Nintendo Co., Ltd. Game system using parent game machine and child game machine
JP4048150B2 (ja) 2003-05-12 2008-02-13 任天堂株式会社 ゲーム装置およびゲームプログラム並びにゲームシステム
USD519118S1 (en) 2003-05-12 2006-04-18 Radica Games Ltd Game controller
KR100968457B1 (ko) 2003-05-14 2010-07-07 삼성전자주식회사 컴퓨터 시스템 및 이를 이용한 디스플레이방법
KR100543701B1 (ko) 2003-06-17 2006-01-20 삼성전자주식회사 공간형 입력 장치 및 방법
US20040266529A1 (en) 2003-06-30 2004-12-30 Sony Computer Entertainment America Inc. Methods and systems for remote execution of game content and presentation on a wireless portable device
JP4601925B2 (ja) 2003-07-17 2010-12-22 任天堂株式会社 情報処理システム
US8105169B2 (en) 2003-09-26 2012-01-31 Sony Computer Entertainment Inc. Portable electronic device
JP2007260409A (ja) 2003-09-26 2007-10-11 Sony Computer Entertainment Inc 携帯型電子装置
JP4154311B2 (ja) 2003-11-04 2008-09-24 任天堂株式会社 ゲームシステムおよびゲームプログラム
NZ529518A (en) 2003-11-13 2005-03-24 Andy Zheng Song Input method, system and device
JP2005152508A (ja) * 2003-11-28 2005-06-16 Nintendo Co Ltd 複数人でプレイするゲームシステム、ゲーム装置およびゲームプログラム
WO2007143632A2 (en) 2006-06-03 2007-12-13 Eric Argentar Video game controller
US7510477B2 (en) 2003-12-11 2009-03-31 Argentar Eric J Control apparatus for use with a computer or video game system
US7942743B2 (en) 2004-01-20 2011-05-17 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
KR100537518B1 (ko) * 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US6856259B1 (en) * 2004-02-06 2005-02-15 Elo Touchsystems, Inc. Touch sensor system to detect multiple touch events
JP3703473B2 (ja) 2004-02-09 2005-10-05 任天堂株式会社 ゲーム装置およびゲームプログラム
US20050181756A1 (en) 2004-02-17 2005-08-18 Chung-Hung Lin Wireless digital music player
JP2005269399A (ja) 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd カメラ付き携帯電話
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7301527B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Feedback based user interface for motion controlled handheld devices
US7176887B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Environmental modeling for motion controlled handheld devices
US7365735B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7180501B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Gesture based navigation of a handheld user interface
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7180502B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US7176886B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US7365736B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
KR100937572B1 (ko) 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅 장치 및 방법
US7707614B2 (en) 2004-06-07 2010-04-27 Sling Media, Inc. Personal media broadcasting system with output buffer
US20060015826A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US20060012564A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US20060015808A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US7719523B2 (en) * 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
MX2007002011A (es) 2004-08-23 2007-08-07 Gamecaster Inc Aparato, metodos, y sistemas para observacion y manipulacion de un ambiente virtual.
US20060077165A1 (en) * 2004-10-12 2006-04-13 Samsung Electronics Co., Ltd. Wireless LCD device for displaying images received from a mobile communication terminal and an operation method thereof
JP3108313U (ja) 2004-10-20 2005-04-14 ストームエレクトロニクス株式会社 ゲーム機用コントローラ
JP3770499B1 (ja) 2004-11-02 2006-04-26 任天堂株式会社 ゲーム装置及びゲームプログラム
WO2006074110A2 (en) 2005-01-05 2006-07-13 Divx, Inc. System and method for a remote user interface
US7519468B2 (en) 2005-02-28 2009-04-14 Research In Motion Limited System and method for navigating a mobile device user interface with a directional sensing device
US20060252537A1 (en) 2005-04-21 2006-11-09 Wen-An Wu Portable wireless control apparatus
US7667707B1 (en) * 2005-05-05 2010-02-23 Digital Display Innovations, Llc Computer system for supporting multiple remote displays
JP4778267B2 (ja) 2005-05-16 2011-09-21 任天堂株式会社 ゲーム機用操作装置および携帯ゲーム機
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
TWM278452U (en) 2005-06-03 2005-10-21 Weistech Technology Co Ltd Game controlling handle having a display device
JP2006350986A (ja) 2005-06-17 2006-12-28 Tokyo Institute Of Technology 顔写真付きメールを送受信できる携帯電話機
US20070021216A1 (en) * 2005-07-19 2007-01-25 Sony Ericsson Mobile Communications Ab Seamless gaming method and apparatus
JP2007021065A (ja) 2005-07-21 2007-02-01 Aruze Corp 携帯ゲーム機用コントローラ
JP4627072B2 (ja) 2005-08-22 2011-02-09 任天堂株式会社 ゲーム用操作装置およびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4907128B2 (ja) 2005-08-30 2012-03-28 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4853611B2 (ja) 2005-09-15 2012-01-11 ソニー株式会社 触覚提供機構及び触覚提供機構を備えた電子機器
US7431216B2 (en) 2005-11-16 2008-10-07 Sony Ericsson Mobile Communications Ab Methods for presenting parameter status information and related portable electronic devices and parameters
US7518503B2 (en) 2005-12-14 2009-04-14 Sony Ericsson Mobile Communications Ab Portable A/V relay device
EP1804154A3 (en) 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
JP2007274836A (ja) 2006-03-31 2007-10-18 Hosiden Corp 電子機器の充電装置
JP5196515B2 (ja) 2006-04-25 2013-05-15 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US7988558B2 (en) 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP5188682B2 (ja) 2006-04-28 2013-04-24 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
USD568882S1 (en) 2006-05-02 2008-05-13 Nintendo Co., Ltd. Controller for electronic game machine
GB0608939D0 (en) 2006-05-05 2006-06-14 Sony Comp Entertainment Europe Display apparatus and method
JP5041730B2 (ja) 2006-05-08 2012-10-03 任天堂株式会社 オブジェクト処理装置及びオブジェクト処理プログラム
JP4989105B2 (ja) 2006-05-09 2012-08-01 任天堂株式会社 ゲームコントローラ
JP2007310840A (ja) 2006-05-22 2007-11-29 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及びプログラム
US7696980B1 (en) * 2006-06-16 2010-04-13 Logitech Europe S.A. Pointing device for use in air with improved cursor control and battery life
WO2008005389A2 (en) * 2006-06-30 2008-01-10 Wms Gaming Inc. Method and apparatus for use of movement and position sensors with portable handheld wagering devices
JP4884867B2 (ja) * 2006-07-25 2012-02-29 任天堂株式会社 情報処理装置および情報処理プログラム
JP5051822B2 (ja) 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
US20080030458A1 (en) 2006-08-07 2008-02-07 Rene Helbing Inertial input apparatus and method with optical motion state detection
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP5134224B2 (ja) 2006-09-13 2013-01-30 株式会社バンダイナムコゲームス ゲームコントローラ及びゲーム装置
JP5037077B2 (ja) 2006-09-13 2012-09-26 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US7480139B2 (en) 2006-10-25 2009-01-20 Hewlett-Packard Development Company, L.P. Electronic device docking system
WO2008136064A1 (ja) 2007-04-19 2008-11-13 Sony Computer Entertainment Inc. 座標入力デバイス、情報処理システム、表示装置及び情報処理方法
JP5285234B2 (ja) 2007-04-24 2013-09-11 任天堂株式会社 ゲームシステム、情報処理システム
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
USD599352S1 (en) 2007-06-21 2009-09-01 Nintendo Co., Ltd. Controller adaptor
JP4387429B2 (ja) 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
JP2010539849A (ja) 2007-09-18 2010-12-16 トムソン ライセンシング セットトップボックスのためのユーザインタフェース
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
JP5436773B2 (ja) 2007-12-14 2014-03-05 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8004501B2 (en) 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
JP2009178363A (ja) * 2008-01-31 2009-08-13 Namco Bandai Games Inc プログラム、情報記憶媒体及びコンテンツ提供装置
US8255090B2 (en) * 2008-02-01 2012-08-28 Energyhub System and method for home energy monitor and control
JP5060990B2 (ja) 2008-02-21 2012-10-31 株式会社ソニー・コンピュータエンタテインメント スタンド及び電子機器
JP5224595B2 (ja) 2008-02-28 2013-07-03 パナソニック株式会社 電子装置
JP5270930B2 (ja) 2008-02-28 2013-08-21 パナソニック株式会社 ストラップ装置を備えた電子装置
GB2494723B (en) 2008-03-07 2013-05-08 Milwaukee Electric Tool Corp Visual inspection device
JP5429444B2 (ja) 2008-03-17 2014-02-26 株式会社セガ ゲーム制御プログラムおよびゲーム装置
JP5522902B2 (ja) 2008-03-24 2014-06-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
US20090254953A1 (en) 2008-04-02 2009-10-08 Chung-Hung Lin Wireless video and audio broadcasting device
JP2009247763A (ja) 2008-04-10 2009-10-29 Namco Bandai Games Inc ゲームシステム、プログラムおよび情報記憶媒体
US20090256809A1 (en) 2008-04-14 2009-10-15 Sony Ericsson Mobile Communications Ab Three-dimensional touch interface
TWM347787U (en) 2008-05-02 2008-12-21 Wistron Corp A fixture structure of a handheld electronic device
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
FR2932998B1 (fr) 2008-06-25 2014-08-08 Bigben Interactive Sa Accessoire immersif pour jeux video
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
JP5730463B2 (ja) 2008-07-11 2015-06-10 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP2010017395A (ja) 2008-07-11 2010-01-28 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
JP5329140B2 (ja) 2008-07-11 2013-10-30 任天堂株式会社 操作システム
JP4198190B1 (ja) 2008-07-11 2008-12-17 任天堂株式会社 画像通信システム、画像通信装置、および画像通信プログラム
US8858330B2 (en) 2008-07-14 2014-10-14 Activision Publishing, Inc. Music video game with virtual drums
EP2313883A4 (en) 2008-08-11 2014-12-17 Imu Solutions Inc INSTRUCTION DEVICE AND COMMUNICATION PROCESS
JP2012501016A (ja) 2008-08-22 2012-01-12 グーグル インコーポレイテッド モバイルデバイス上の３次元環境内でのナビゲーション
JP2010066899A (ja) 2008-09-09 2010-03-25 Sony Computer Entertainment Inc 入力装置
US20100083341A1 (en) 2008-09-30 2010-04-01 Hector Gonzalez Multiple Signal Output System and Technology (MSOST)
US8221229B2 (en) 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
JP5289031B2 (ja) 2008-12-22 2013-09-11 任天堂株式会社 ゲーム装置およびゲームプログラム
US8384680B2 (en) 2008-12-23 2013-02-26 Research In Motion Limited Portable electronic device and method of control
CN104407667B (zh) 2009-01-29 2018-01-09 意美森公司 用于解释与图形用户界面的物理交互的系统和方法
CA131848S (en) 2009-02-23 2010-03-29 Nintendo Co Ltd Controller for electronic game machine
JP5366588B2 (ja) 2009-02-23 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 携帯用電子機器の支持装置
US20100311501A1 (en) 2009-06-04 2010-12-09 Hsu Kent T J Game controller
WO2011005201A1 (en) * 2009-07-10 2011-01-13 Milux Holding S.A. Hip joint device, system and method
US8531571B1 (en) 2009-08-05 2013-09-10 Bentley Systmes, Incorporated System and method for browsing a large document on a portable electronic device
CN201572520U (zh) 2009-12-23 2010-09-08 周建正 游戏机三合一支架
CN103155527A (zh) 2010-01-26 2013-06-12 莫杜尔有限公司 多功能电子设备外壳
EP2353677A3 (en) 2010-02-03 2014-01-22 Nintendo Co., Ltd. Game system, image output device, and image display method
US8339364B2 (en) * 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
EP2392389A4 (en) * 2010-02-03 2014-10-15 Nintendo Co Ltd GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
USD641022S1 (en) 2010-03-05 2011-07-05 Jason Dodo Game controller cradle for portable devices
KR101105841B1 (ko) 2010-03-22 2012-01-16 엘지전자 주식회사 휴대 전자기기
USD636773S1 (en) 2010-04-30 2011-04-26 Jow Tong Technology Co., Ltd. Multi-functional remote controller
JP5700758B2 (ja) 2010-05-19 2015-04-15 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP6184658B2 (ja) 2010-08-20 2017-08-23 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840385B2 (ja) * 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840386B2 (ja) * 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
CN102444766A (zh) 2010-10-11 2012-05-09 富准精密工业(深圳)有限公司 消费型电子产品的视频转播器
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
TWI541051B (zh) 2010-11-01 2016-07-11 任天堂股份有限公司 遊戲系統、操作裝置及遊戲處理方法
TWI440496B (zh) 2010-11-01 2014-06-11 Nintendo Co Ltd 操作裝置及操作系統
KR101492310B1 (ko) 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치
JP5692904B2 (ja) 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
USD666250S1 (en) 2011-11-03 2012-08-28 Performance Designed Products, Llc Gaming device attachment

Also Published As

Publication number Publication date
EP2392389A4 (en) 2014-10-15
AU2011204816B2 (en) 2013-03-14
US8317615B2 (en) 2012-11-27
AU2011204816A1 (en) 2011-08-18
US20120088580A1 (en) 2012-04-12
AU2011204816B8 (en) 2013-08-08
KR101287696B1 (ko) 2013-07-24
EP2392391A1 (en) 2011-12-07
KR20120100702A (ko) 2012-09-12
EP2392391A4 (en) 2012-06-13
AU2011204815B2 (en) 2013-05-30
CA2746481A1 (en) 2011-08-03
EP2392391B1 (en) 2017-06-28
US20120015732A1 (en) 2012-01-19
US20110190061A1 (en) 2011-08-04
WO2011096204A1 (ja) 2011-08-11
BRPI1106085A2 (pt) 2016-05-10
AU2011204815A1 (en) 2011-08-18
CA2746486C (en) 2012-03-06
EP2392389A1 (en) 2011-12-07
CA2746486A1 (en) 2011-08-03
KR20110112369A (ko) 2011-10-12
WO2011096203A1 (ja) 2011-08-11
CA2746481C (en) 2017-06-13
US8961305B2 (en) 2015-02-24
CA2753118A1 (en) 2011-08-03
US9358457B2 (en) 2016-06-07
US8684842B2 (en) 2014-04-01
KR101154636B1 (ko) 2012-06-08
US20110190052A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
KR101287696B1 (ko) 게임 시스템, 조작 장치 및 게임 처리 방법
TWI442963B (zh) 操作裝置及資訊處理裝置
KR101492310B1 (ko) 조작 장치 및 정보 처리 장치
TWI434717B (zh) 顯示裝置、遊戲系統及遊戲處理方法
JP6188766B2 (ja) 操作装置および操作システム
JP5829020B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US9022862B2 (en) Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
JP4798809B1 (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP5756299B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP5829040B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP6103677B2 (ja) ゲームシステム、操作装置、およびゲーム処理方法
JP2012096005A (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP2012249868A (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5936315B2 (ja) 情報処理システムおよび情報処理装置
KR20130020715A (ko) 조작 장치 및 조작 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180619

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 7