JP6555831B2 - Information processing program, information processing system, information processing apparatus, and information processing method - Google Patents

Information processing program, information processing system, information processing apparatus, and information processing method Download PDF

Info

Publication number
JP6555831B2
JP6555831B2 JP2017251046A JP2017251046A JP6555831B2 JP 6555831 B2 JP6555831 B2 JP 6555831B2 JP 2017251046 A JP2017251046 A JP 2017251046A JP 2017251046 A JP2017251046 A JP 2017251046A JP 6555831 B2 JP6555831 B2 JP 6555831B2
Authority
JP
Japan
Prior art keywords
game
sub
main
detected
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017251046A
Other languages
Japanese (ja)
Other versions
JP2019115481A (en
Inventor
新一 糟野
新一 糟野
祐貴 小野沢
祐貴 小野沢
雄己 井尻
雄己 井尻
井上 康宏
康宏 井上
新治 廣瀬
新治 廣瀬
Original Assignee
任天堂株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 任天堂株式会社 filed Critical 任天堂株式会社
Priority to JP2017251046A priority Critical patent/JP6555831B2/en
Publication of JP2019115481A publication Critical patent/JP2019115481A/en
Application granted granted Critical
Publication of JP6555831B2 publication Critical patent/JP6555831B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/22Setup operations, e.g. calibration, key configuration or button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers

Description

本発明は、装置を他の装置に装着して使用する情報処理システムに関する。   The present invention relates to an information processing system in which a device is mounted on another device and used.
従来、ゲームアプリケーションにおいて、装置(例えば、コントローラ)を他の装置に装着して使用する情報処理システムがある(例えば、特許文献1参照)。例えば、ゲームシステムにおいては、コントローラであるコアユニットを銃型のサブユニットに装着した操作装置を用いて、ユーザがゲームをプレイすることがある。   Conventionally, there is an information processing system in which a device (for example, a controller) is mounted on another device and used in a game application (for example, see Patent Document 1). For example, in a game system, a user may play a game using an operation device in which a core unit as a controller is attached to a gun-type subunit.
特開2007−300980号公報JP 2007-301000 A
従来、1つのゲームアプリケーションにおいては、当該ゲームアプリケーションに対応する1種類の付加装置にコントローラが装着されて用いられる。すなわち、1つのアプリケーションに対して使用される付加装置が1つに定められていたため、付加装置を用いた操作のバリエーションに乏しく、興趣性の面で改善の余地があった。   Conventionally, in one game application, a controller is mounted on one type of additional device corresponding to the game application. That is, since one additional device is used for one application, there is little variation in operation using the additional device, and there is room for improvement in terms of interest.
それ故、本発明の目的は、付加装置が使用されるゲームアプリケーションにおける興趣性を向上することである。   Therefore, an object of the present invention is to improve interest in a game application in which an additional device is used.
上記の課題を解決すべく、本発明は、以下の(1)〜(20)の構成を採用した。   In order to solve the above problems, the present invention employs the following configurations (1) to (20).
(1)
本発明の一例は、所定のゲームアプリケーションを実行するゲームシステムのコンピュータによって実行される情報処理プログラムである。ゲームシステムは、複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含む。ゲームプログラムは、判別手段と、ゲーム処理実行手段として、前記コンピュータを機能させる。判別手段は、前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する。ゲーム処理実行手段は、前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行する。前記ゲーム処理実行手段は、前記判別手段によって判別された前記サブ装置の種類に応じたゲーム処理を実行する。
(1)
An example of the present invention is an information processing program executed by a computer of a game system that executes a predetermined game application. The game system includes a plurality of types of sub devices and a main device that can be attached to and detached from any of the plurality of types of sub devices. The game program causes the computer to function as a determination unit and a game process execution unit. The discriminating unit discriminates the type of the sub device to which the main device is attached among the plurality of types of sub devices during execution of the predetermined game application. The game process execution means executes a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application. The game process execution means executes a game process corresponding to the type of the sub device determined by the determination means.
上記(1)の構成によれば、メイン装置が装着されるサブ装置の種類がゲームアプリケーションの実行中において判別され、判別されたサブ装置の種類に応じたゲーム処理が実行される。これによれば、ユーザは、ゲームアプリケーションの実行中において、メイン装置を装着するサブ装置を切り替えてゲームをプレイすることができる。これによって、ゲームシステムは、新規なゲーム体験をユーザに提供することができ、サブ装置が使用されるゲームアプリケーションにおける興趣性を向上することができる。   According to the configuration of (1) above, the type of the sub device to which the main device is attached is determined during the execution of the game application, and the game process corresponding to the determined type of the sub device is executed. According to this, the user can play a game by switching the sub device to which the main device is mounted while the game application is being executed. Thereby, the game system can provide a new game experience to the user, and can improve the interest in the game application in which the sub device is used.
(2)
前記メイン装置は、撮像装置を備えてもよい。前記判別手段は、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別してもよい。
(2)
The main device may include an imaging device. The discriminating unit may discriminate the type of the sub device to which the main device is attached based on the captured image captured by the imaging device.
上記(2)の構成によれば、サブ装置の構成を簡易化することができる。   According to the configuration of (2) above, the configuration of the sub device can be simplified.
(3)
前記複数のサブ装置は、それぞれ、当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部を備えてもよい。前記判別手段は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す第1被検出部画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別する。
(3)
Each of the plurality of sub-devices may include a detected portion that can be imaged by the imaging device of the main device mounted on the sub-device. The discriminating means is mounted on the main device based on at least one of the position, shape, and orientation of the first detected portion image showing at least a part of the detected portion included in the captured image. Determine the type of sub-device.
上記(3)の構成によれば、サブ装置の構成を簡易化することができる。   According to the configuration of (3) above, the configuration of the sub device can be simplified.
(4)
前記複数のサブ装置のうちの少なくともいずれか1つのサブ装置は、ユーザによる操作に応じて動く可動部をさらに備えてもよい。前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化してもよい。前記ゲーム処理実行手段は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示し、前記第1被検出部画像および/または第2被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行してもよい。
(4)
At least any one of the plurality of sub-devices may further include a movable part that moves in response to an operation by a user. When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. It may change. The game process execution means indicates at least a part of the detected part included in the captured image, and at least of the position, shape, and orientation of the first detected part image and / or the second detected part image Based on one, the user's operation may be detected, and a game process based on the detected user's operation may be executed.
上記(4)の構成によれば、ゲームシステムは、サブ装置の種類を判別することに加えて、サブ装置に対して行われるユーザの操作を検出することができる。   According to the configuration of (4) above, the game system can detect a user operation performed on the sub device in addition to determining the type of the sub device.
(5)
前記被検出部は、前記可動部における位置であって、当該可動部を備えるサブ装置に装着された前記メイン装置が備える前記撮像装置によって撮像可能な位置に設けられてもよい。前記ユーザの操作に応じて前記可動部が動かされることに応じて前記被検出部が動くことによって、前記メイン装置と当該被検出部との相対位置および/または相対姿勢が変化してもよい。
(5)
The detected part may be provided at a position in the movable part that can be imaged by the imaging device provided in the main device mounted on a sub-device provided with the movable part. The relative position and / or the relative posture between the main device and the detected part may change by moving the detected part in response to the movable part being moved in response to the user's operation.
上記(5)の構成によれば、可動部に被検出部を設けることによって、ゲームシステムは、メイン装置と当該被検出部との相対位置および/または相対姿勢を撮像画像から容易に検出することができる。   According to the configuration of (5) above, the game system can easily detect the relative position and / or relative orientation between the main device and the detected part from the captured image by providing the detected part in the movable part. Can do.
(6)
前記メイン装置は、前記可動部に装着可能であってもよい。前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化してもよい。
(6)
The main device may be attachable to the movable part. When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. It may change.
上記(6)の構成によれば、メイン装置を可動部に装着可能な構成とすることによって、ゲームシステムは、メイン装置と当該被検出部との相対位置および/または相対姿勢を撮像画像から容易に検出することができる。   According to the configuration of (6) above, the game system can easily determine the relative position and / or relative orientation between the main device and the detected portion from the captured image by adopting a configuration in which the main device can be attached to the movable portion. Can be detected.
(7)
ゲーム処理実行手段は、判別されたサブ装置の種類に応じて異なるゲーム画像を生成してもよい。
(7)
The game process execution means may generate a different game image according to the determined type of the sub device.
上記(7)の構成によれば、メイン装置が装着されたサブ装置の種類に応じてゲーム画像が変化するので、ゲームシステムは、メイン装置の装着状態をユーザに対して容易に認識させることができる。   According to the configuration of (7) above, since the game image changes according to the type of the sub device to which the main device is attached, the game system can make the user easily recognize the attachment state of the main device. it can.
(8)
ゲーム処理実行手段は、メイン装置、および/または、当該メイン装置が装着されたサブ装置を用いたゲーム操作に基づいて、仮想空間内に配置されるオブジェクトを制御してもよい。ゲーム処理実行手段は、判別されたサブ装置の種類に応じてオブジェクトを変化させてもよい。
(8)
The game process execution means may control an object arranged in the virtual space based on a game operation using the main device and / or a sub device to which the main device is attached. The game process execution means may change the object according to the determined type of the sub device.
上記(8)の構成によれば、ユーザは、メイン装置を装着するサブ装置を変更することによって、操作対象となるオブジェクトを変更することができる。これによって、ゲームシステムは、新規なゲーム操作をユーザに提供することができる。   With configuration (8) above, the user can change the object to be operated by changing the sub device on which the main device is mounted. Thereby, the game system can provide the user with a new game operation.
(9)
オブジェクトは、ゲームキャラクタが搭乗可能な乗物を表すオブジェクトであってもよい。
(9)
The object may be an object representing a vehicle on which the game character can board.
上記(9)の構成によれば、ユーザは、メイン装置を装着するサブ装置を変更することによって、操作する乗物オブジェクトを変化させることができ、ゲームシステムは、興趣性の高いゲームを提供することができる。   According to the configuration of (9) above, the user can change the vehicle object to be operated by changing the sub device on which the main device is mounted, and the game system provides a highly entertaining game. Can do.
(10)
メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を複数種類備えてもよい。ゲーム処理手段は、メイン装置が所定の種類のサブ装置に装着されていると判別された場合、複数種類の操作検出部のうちで、判別されたサブ装置の種類に応じた操作検出部による検出結果に基づいてゲーム処理を実行してもよい。
(10)
The main device may include a plurality of types of operation detection units for detecting user operations on the main device. When it is determined that the main device is attached to a predetermined type of sub-device, the game processing means is detected by the operation detection unit according to the determined type of the sub-device among a plurality of types of operation detection units. A game process may be executed based on the result.
上記(10)の構成によれば、ゲームシステムは、メイン装置が装着されたサブ装置の種類に応じた適切な操作検出部による検出結果に基づいてゲーム処理を実行することができる。また、ユーザは、メイン装置を装着するサブ装置を切り替える際に、ゲームの設定(例えば、操作検出部に関する設定)を変更する手間が少なくて済むので、ユーザの利便性を向上することができる。   According to the configuration of (10) above, the game system can execute the game process based on a detection result by an appropriate operation detection unit according to the type of the sub device to which the main device is attached. In addition, when the user switches the sub device on which the main device is mounted, the user's convenience is improved because it is possible to reduce the trouble of changing the game setting (for example, the setting relating to the operation detection unit).
(11)
メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を備えてもよい。ゲーム処理手段は、操作検出部による検出結果に応じて実行されるゲーム処理の内容を、判別されたサブ装置の種類に基づいて決定してもよい。
(11)
The main device may include an operation detection unit for detecting a user operation on the main device. The game processing means may determine the content of the game processing executed according to the detection result by the operation detection unit based on the determined type of the sub device.
上記(11)の構成によれば、ゲームシステムは、操作検出部による検出結果に応じて実行されるゲーム処理の内容を、メイン装置が装着されたサブ装置の種類に応じて適切に設定することができる。また、ユーザは、メイン装置を装着するサブ装置を切り替える際に、ゲームの設定を変更する手間が少なくて済むので、ユーザの利便性を向上することができる。   According to the configuration of (11) above, the game system appropriately sets the content of the game process executed according to the detection result by the operation detection unit according to the type of the sub device to which the main device is attached. Can do. In addition, when the user switches the sub device on which the main device is mounted, the user's convenience is improved because the time and effort for changing the game settings is reduced.
(12)
ゲーム処理手段は、判別されたサブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御してもよい。
(12)
The game processing means may control the position and / or posture of the virtual camera arranged in the virtual space based on the determined type of the sub device.
上記(12)の構成によれば、ゲームシステムは、ゲーム状況に応じた適切な視点から見たゲーム画像をユーザに提供することができる。また、ユーザは、メイン装置を装着するサブ装置を切り替える際に、仮想カメラの設定を変更する手間が少なくて済むので、ユーザの利便性を向上することができる。   According to the configuration of (12) above, the game system can provide the user with a game image viewed from an appropriate viewpoint according to the game situation. In addition, when the user switches the sub apparatus to which the main apparatus is mounted, the user's convenience is improved because the effort for changing the settings of the virtual camera can be reduced.
(13)
判別手段は、複数のサブ装置のいずれに対してもメイン装置が装着されていないことをさらに判別してもよい。
(13)
The determination unit may further determine that the main device is not attached to any of the plurality of sub-devices.
上記(13)の構成によれば、ゲームシステムは、メイン装置がサブ装置に装着されていない状態を検出することができる。   According to the configuration of (13) above, the game system can detect a state in which the main device is not attached to the sub device.
(14)
ゲーム処理実行手段は、複数のサブ装置のいずれに対してもメイン装置が装着されていないと判別された場合、当該メイン装置が当該複数のサブ装置のいずれかに装着されている場合とは異なるゲーム処理を実行してもよい。
(14)
When it is determined that the main device is not attached to any of the plurality of sub devices, the game process execution means is different from the case where the main device is attached to any of the plurality of sub devices. Game processing may be executed.
上記(14)の構成によれば、ユーザは、ゲーム画像を見ることによって、メイン装置が装着されるサブ装置の種類に加えて、メイン装置がサブ装置に装着されているか否かを認識することができる。これによれば、ゲームシステムは、メイン装置のより詳細な装着状態をユーザに対して認識させることができる。   According to the configuration of (14) above, the user recognizes whether or not the main device is attached to the sub device in addition to the type of the sub device to which the main device is attached by looking at the game image. Can do. According to this, the game system can make a user recognize the more detailed mounting state of the main device.
(15)
ゲームシステムは、記憶部をさらに備えてもよい。情報処理プログラムは、記憶制御手段としてコンピュータをさらに機能させてもよい。記憶制御手段は、メイン装置が所定の種類のサブ装置に装着されていると判別された場合、当該所定の種類のサブ装置に対する当該メイン装置の向きに関する装置向き情報を記憶部に記憶する。ゲーム処理実行手段は、メイン装置に対するユーザによる方向操作に基づいてゲーム処理を実行してもよい。ゲーム処理実行手段は、メイン装置が所定の種類のサブ装置に装着されていると判別された装着状態から、複数のサブ装置のいずれに対しても当該メイン装置が装着されていないと判別された非装着状態へと変化した場合、方向操作によって指定される方向と、当該方向への操作が行われたことに応じて実行されるゲーム処理の内容との関係を、当該装着状態において記憶部に記憶された装置向き情報に基づいて決定してもよい。
(15)
The game system may further include a storage unit. The information processing program may further cause the computer to function as storage control means. When it is determined that the main device is attached to a predetermined type of sub device, the storage control means stores device orientation information related to the orientation of the main device with respect to the predetermined type of sub device in the storage unit. The game process execution means may execute the game process based on a direction operation by the user with respect to the main device. The game processing execution means determines that the main device is not attached to any of the plurality of sub devices from the attached state where the main device is determined to be attached to the predetermined type of sub device. When the state changes to the non-wearing state, the relationship between the direction specified by the direction operation and the content of the game process executed in response to the operation in the direction is stored in the storage unit in the wearing state. You may determine based on the apparatus orientation information memorize | stored.
上記(15)の構成によれば、ゲームシステムは、非装着状態へと変化する前の装着状態におけるメイン装置の向きを考慮して、ゲーム処理を行うことができる。   According to the configuration of (15) above, the game system can perform game processing in consideration of the orientation of the main device in the mounted state before changing to the non-mounted state.
(16)
複数のサブ装置のうちの少なくともいずれか1つのサブ装置が備える被検出部は、第1部分と第2部分とを含んでもよい。情報処理プログラムは、認識手段としてコンピュータをさらに機能させてもよい。認識手段は、撮像画像に基づいて、第1部分を認識し、第2部分を認識する。判別手段は、第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、メイン装置が装着されたサブ装置の種類を判別してもよい。判別手段は、サブ装置に装着されたメイン装置の状態として、第1部分が認識され、第2部分が認識されない第1状態と、第1部分および第2部分が認識される第2状態とを判別してもよい。
(16)
The detected part included in at least one of the plurality of sub-devices may include a first portion and a second portion. The information processing program may further cause the computer to function as recognition means. The recognition means recognizes the first part and recognizes the second part based on the captured image. The determination unit may determine the type of the sub apparatus on which the main apparatus is mounted based on at least one of the position, shape, and orientation of the first partial image that indicates the first part. The discriminating means includes a first state in which the first part is recognized and the second part is not recognized, and a second state in which the first part and the second part are recognized as states of the main device mounted on the sub device. It may be determined.
上記(16)の構成によれば、ゲームシステムは、メイン装置のサブ装置への装着度合いを推測することができる。   According to the configuration of (16) above, the game system can estimate the degree of attachment of the main device to the sub device.
(17)
ゲーム処理実行手段は、メイン装置が第1状態であると判別される場合、第1のゲーム処理を実行し、メイン装置が第2状態であると判別される場合、当該第1のゲーム処理とは異なる第2のゲーム処理を実行してもよい。
(17)
The game process execution means executes the first game process when it is determined that the main device is in the first state, and the first game process when the main device is determined as the second state. May execute a different second game process.
上記(17)の構成によれば、第1状態と第2状態とで異なるゲーム処理が実行され、異なるゲーム結果が生じる(例えば、異なるゲーム画像が表示される)ので、ゲームシステムは、メイン装置のサブ装置への装着度合いをユーザに対して認識させることができる。   According to the configuration of (17) above, different game processes are executed in the first state and the second state, and different game results are produced (for example, different game images are displayed). It is possible to make the user recognize the degree of attachment to the sub-device.
(18)
複数のサブ装置のうちの少なくともいずれか1つのサブ装置が備える被検出部は、第1部分と第2部分とを含んでもよい。情報処理プログラムは、認識手段としてコンピュータをさらに機能させてもよい。認識手段は、撮像画像に基づいて、第1部分を認識し、第2部分を認識する。判別手段は、第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、メイン装置が装着されたサブ装置の種類を判別してもよい。判別手段は、第1部分の認識結果と第2部分の認識結果とに基づいて、サブ装置に対してメイン装置が装着される度合いを判別してもよい。
(18)
The detected part included in at least one of the plurality of sub-devices may include a first portion and a second portion. The information processing program may further cause the computer to function as recognition means. The recognition means recognizes the first part and recognizes the second part based on the captured image. The determination unit may determine the type of the sub apparatus on which the main apparatus is mounted based on at least one of the position, shape, and orientation of the first partial image that indicates the first part. The determining means may determine the degree to which the main device is attached to the sub device based on the recognition result of the first part and the recognition result of the second part.
上記(18)の構成によれば、ゲームシステムは、メイン装置のサブ装置への装着度合いを推測することができる。   According to the configuration of (18) above, the game system can estimate the degree of attachment of the main device to the sub device.
(19)
ゲーム処理実行手段は、サブ装置に対してメイン装置が装着される度合いに応じたゲーム処理を実行してもよい。
(19)
The game process execution means may execute a game process according to the degree to which the main device is attached to the sub device.
上記(19)の構成によれば、サブ装置に対してメイン装置が装着される度合いに応じたゲーム処理が実行され、当該度合いに応じたゲーム結果が生じる(例えば、装着度合いに応じた画像が表示される)ので、ゲームシステムは、メイン装置のサブ装置への装着度合いをユーザに対して認識させることができる。   According to the configuration of (19) above, game processing is executed according to the degree to which the main device is attached to the sub device, and a game result according to the degree is produced (for example, an image according to the attachment degree is displayed). Therefore, the game system can make the user recognize the degree of attachment of the main device to the sub device.
(20)
複数のサブ装置のうちの少なくともいずれか1つのサブ装置は、ユーザによる操作に応じて動く可動部をさらに備えてもよい。ユーザの操作に応じて可動部が動かされることによって、当該可動部を備えるサブ装置に装着されたメイン装置と、当該サブ装置の被検出部との相対位置が変化してもよい。ゲーム処理実行手段は、第1部分を示す第1部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、ユーザの第1の種類の操作を検出し、検出された第1の種類の操作に基づくゲーム処理を実行してもよい。ゲーム処理実行手段は、第2部分を示す第2部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、ユーザの第2の種類の操作を検出し、検出された第2の種類の操作に基づくゲーム処理を実行してもよい。
(20)
At least one of the plurality of sub-devices may further include a movable unit that moves in response to an operation by the user. The relative position between the main device attached to the sub apparatus including the movable part and the detected part of the sub apparatus may be changed by moving the movable part in accordance with a user operation. The game process execution means detects the first type of user operation based on at least one of the position, shape, and orientation of the first partial image indicating the first part, and the detected first type A game process based on the above operation may be executed. The game process execution means detects the user's second type operation based on at least one of the position, shape, and orientation of the second partial image indicating the second part, and the detected second type A game process based on the above operation may be executed.
上記(20)の構成によれば、ユーザは、第1状態と判別される場合(例えば、メイン装置がサブ装置に対して装着途中である場合)であっても、一部のゲーム操作を行うことができる。これによって、ゲームシステムは、サブ装置を用いた操作の操作性を向上することができる。   With configuration (20) above, the user performs some game operations even when the user is determined to be in the first state (for example, when the main device is being attached to the sub device). be able to. Thereby, the game system can improve the operability of the operation using the sub device.
なお、本発明の別の一例は、上記(1)〜(20)における各手段を備える情報処理装置または情報処理システムであってもよい。また、本発明の別の一例は、上記(1)〜(20)における情報処理装置(または情報処理システム)において実行される情報処理方法であってもよい。   In addition, another example of the present invention may be an information processing apparatus or an information processing system including each means in the above (1) to (20). Another example of the present invention may be an information processing method executed in the information processing apparatus (or information processing system) in the above (1) to (20).
本発明によれば、付加装置(すなわち、サブ装置)が使用されるゲームアプリケーションにおける興趣性を向上することができる。   ADVANTAGE OF THE INVENTION According to this invention, the interest property in the game application in which an additional apparatus (namely, sub apparatus) is used can be improved.
本体装置に左コントローラおよび右コントローラを装着した状態の一例を示す図The figure which shows an example of the state which mounted | wore the main body apparatus with the left controller and the right controller 本体装置から左コントローラおよび右コントローラをそれぞれ外した状態の一例を示す図The figure which shows an example of the state which each removed the left controller and the right controller from the main body apparatus 本体装置の一例を示す六面図Six views showing an example of the main unit 左コントローラの一例を示す六面図Six views showing an example of the left controller 右コントローラの一例を示す六面図Six-sided view showing an example of the right controller 本体装置の内部構成の一例を示すブロック図Block diagram showing an example of the internal configuration of the main unit 本体装置と左コントローラおよび右コントローラとの内部構成の一例を示すブロック図Block diagram showing an example of the internal configuration of the main unit, the left controller and the right controller コントローラと付加操作装置との組み合わせと、操作対象となるオブジェクトとの関係を示す図The figure which shows the relationship between the combination of a controller and an additional operation apparatus, and the object used as operation object 第1付加操作装置および右コントローラの一例を示す図The figure which shows an example of a 1st addition operation apparatus and a right controller 図9に示す第1付加操作装置を前側から見た図The figure which looked at the 1st addition operation device shown in Drawing 9 from the front side 筐体の内部構成の一例を示す図The figure which shows an example of the internal structure of a housing | casing 第1付加操作装置のハンドルが基準状態となる場合において赤外撮像部によって撮像された撮像画像の一例を示す図The figure which shows an example of the captured image imaged by the infrared imaging part, when the handle | steering_wheel of a 1st additional operation apparatus will be in a reference state. 第1付加操作装置のハンドルが基準状態から回転した状態となる場合において赤外撮像部によって撮像された撮像画像の一例を示す図The figure which shows an example of the captured image imaged by the infrared imaging part, when the handle | steering_wheel of a 1st additional operation apparatus will be in the state rotated from the reference | standard state. 左レバーに対する下げ操作が行われた状態における第1付加操作装置の一例を示す図The figure which shows an example of the 1st additional operation apparatus in the state in which the lowering operation with respect to the left lever was performed 左レバーに対する下げ操作が行われた状態において赤外撮像部によって撮像された撮像画像の一例を示す図The figure which shows an example of the captured image imaged with the infrared imaging part in the state in which the lowering operation with respect to the left lever was performed 右コントローラが第1付加操作装置に装着される場合に表示されるゲーム画像の一例を示す図The figure which shows an example of the game image displayed when a right controller is mounted | worn with a 1st additional operation apparatus. 第2付加操作装置および右コントローラの一例を示す図The figure which shows an example of a 2nd additional operation apparatus and a right controller 図17に示す第2付加操作装置を上側から見た図The figure which looked at the 2nd additional operation device shown in Drawing 17 from the upper part 把持部のボタンが押下された状態における把持部の内部の一例を示す図The figure which shows an example of the inside of a holding part in the state in which the button of the holding part was pressed 右コントローラが第2付加操作装置に装着される場合に表示されるゲーム画像の一例を示す図The figure which shows an example of the game image displayed when a right controller is mounted | worn with a 2nd additional operation apparatus. 第2装着状態から非装着状態へと変化した場合に表示されるゲーム画像の一例を示す図The figure which shows an example of the game image displayed when it changes from a 2nd mounting state to a non-wearing state. 第2装着状態から非装着状態へと移行する場合における右コントローラの前方向の設定方法の一例を示す図The figure which shows an example of the setting method of the front direction of a right controller in the case of shifting to a non-wearing state from a 2nd wearing state. 第3付加操作装置および右コントローラの一例を示す図The figure which shows an example of a 3rd additional operation apparatus and a right controller 第3付加操作装置の内部構成の一例を示す図The figure which shows an example of an internal structure of a 3rd additional operation apparatus. 右コントローラが第3付加操作装置に装着される場合に表示されるゲーム画像の一例を示す図The figure which shows an example of the game image displayed when a right controller is mounted | worn with a 3rd additional operation apparatus. 一部認識状態となる場合と、全認識状態となる場合との一例を示す図The figure which shows an example in the case of becoming a partial recognition state and the case of becoming a full recognition state ゲームシステムにおける情報処理に用いられる各種データの一例を示す図The figure which shows an example of the various data used for the information processing in a game system 情報処理装置によって実行される情報処理の流れの一例を示すフローチャートThe flowchart which shows an example of the flow of the information processing performed by information processing apparatus 図28に示すステップS2の装着状態判別処理の詳細な流れの一例を示すサブフローチャートFIG. 28 is a sub-flowchart showing an example of a detailed flow of the wearing state determination process in step S2 shown in FIG.
[1.本体装置および各コントローラのハードウェア構成]
以下、本実施形態の一例に係るゲームシステムについて説明する。本実施形態におけるゲームシステム1の一例は、本体装置(情報処理装置;本実施形態ではゲーム装置本体として機能する)2と左コントローラ3および右コントローラ4とを含む。本体装置2は、左コントローラ3および右コントローラ4がそれぞれ着脱可能である。つまり、ゲームシステム1は、左コントローラ3および右コントローラ4をそれぞれ本体装置2に装着して一体化された装置として利用できる。また、ゲームシステム1は、本体装置2と左コントローラ3および右コントローラ4とを別体として利用することもできる(図2参照)。なお、詳細は後述するが、ゲームシステム1は、各コントローラ3または4を装着可能なアタッチメントを含む。以下では、まず、本体装置2ならびに各コントローラ3および4のハードウェア構成について説明し、その後に、アタッチメントの構成と、当該アタッチメントを用いる場合におけるゲームシステム1の処理とについて説明する。
[1. Hardware configuration of main unit and each controller]
Hereinafter, a game system according to an example of the present embodiment will be described. An example of the game system 1 in the present embodiment includes a main device (information processing device; functions as a game device main body in the present embodiment) 2, a left controller 3, and a right controller 4. The main body device 2 is detachably attachable to the left controller 3 and the right controller 4. That is, the game system 1 can be used as an apparatus in which the left controller 3 and the right controller 4 are respectively attached to the main body apparatus 2 and integrated. The game system 1 can also use the main body device 2, the left controller 3, and the right controller 4 as separate bodies (see FIG. 2). Although details will be described later, the game system 1 includes an attachment to which each controller 3 or 4 can be attached. Below, the hardware configuration of the main body device 2 and the controllers 3 and 4 will be described first, and then the configuration of the attachment and the processing of the game system 1 when using the attachment will be described.
図1は、本体装置2に左コントローラ3および右コントローラ4を装着した状態の一例を示す図である。図1に示すように、左コントローラ3および右コントローラ4は、それぞれ本体装置2に装着されて一体化されている。本体装置2は、ゲームシステム1における各種の処理(例えば、ゲーム処理)を実行する装置である。本体装置2は、ディスプレイ12を備える。左コントローラ3および右コントローラ4は、ユーザが入力を行うための操作部を備える装置である。   FIG. 1 is a diagram illustrating an example of a state in which the left controller 3 and the right controller 4 are mounted on the main body device 2. As shown in FIG. 1, the left controller 3 and the right controller 4 are each attached to and integrated with the main body device 2. The main device 2 is a device that executes various processes (for example, game processes) in the game system 1. The main device 2 includes a display 12. The left controller 3 and the right controller 4 are devices including an operation unit for a user to input.
図2は、本体装置2から左コントローラ3および右コントローラ4をそれぞれ外した状態の一例を示す図である。図1および図2に示すように、左コントローラ3および右コントローラ4は、本体装置2に着脱可能である。なお、以下において、左コントローラ3および右コントローラ4の総称として「コントローラ」と記載することがある。   FIG. 2 is a diagram illustrating an example of a state in which the left controller 3 and the right controller 4 are removed from the main body device 2. As shown in FIGS. 1 and 2, the left controller 3 and the right controller 4 are detachable from the main body device 2. Hereinafter, the left controller 3 and the right controller 4 may be collectively referred to as “controller”.
図3は、本体装置2の一例を示す六面図である。図3に示すように、本体装置2は、略板状のハウジング11を備える。本実施形態において、ハウジング11の主面(換言すれば、表側の面、すなわち、ディスプレイ12が設けられる面)は、大略的には矩形形状である。   FIG. 3 is a six-sided view illustrating an example of the main device 2. As shown in FIG. 3, the main device 2 includes a substantially plate-shaped housing 11. In the present embodiment, the main surface of the housing 11 (in other words, the surface on the front side, that is, the surface on which the display 12 is provided) is generally rectangular.
なお、ハウジング11の形状および大きさは、任意である。一例として、ハウジング11は、携帯可能な大きさであってよい。また、本体装置2単体または本体装置2に左コントローラ3および右コントローラ4が装着された一体型装置は、携帯型装置となってもよい。また、本体装置2または一体型装置が手持ち型の装置となってもよい。また、本体装置2または一体型装置が可搬型装置となってもよい。   The shape and size of the housing 11 are arbitrary. As an example, the housing 11 may be a portable size. Further, the main body device 2 alone or the integrated device in which the left controller 3 and the right controller 4 are attached to the main body device 2 may be a portable device. Further, the main body device 2 or the integrated device may be a handheld device. Further, the main body device 2 or the integrated device may be a portable device.
図3に示すように、本体装置2は、ハウジング11の主面に設けられるディスプレイ12を備える。ディスプレイ12は、本体装置2が生成した画像を表示する。本実施形態においては、ディスプレイ12は、液晶表示装置(LCD)とする。ただし、ディスプレイ12は任意の種類の表示装置であってよい。   As shown in FIG. 3, the main device 2 includes a display 12 provided on the main surface of the housing 11. The display 12 displays an image generated by the main device 2. In the present embodiment, the display 12 is a liquid crystal display (LCD). However, the display 12 may be any type of display device.
また、本体装置2は、ディスプレイ12の画面上にタッチパネル13を備える。本実施形態においては、タッチパネル13は、マルチタッチ入力が可能な方式(例えば、静電容量方式)のものである。ただし、タッチパネル13は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式(例えば、抵抗膜方式)のものであってもよい。   The main device 2 also includes a touch panel 13 on the screen of the display 12. In the present embodiment, the touch panel 13 is a type capable of multi-touch input (for example, a capacitance type). However, the touch panel 13 may be of any type, and may be of a type capable of single touch input (for example, a resistance film type).
本体装置2は、ハウジング11の内部においてスピーカ(すなわち、図6に示すスピーカ88)を備えている。図3に示すように、ハウジング11の主面には、スピーカ孔11aおよび11bが形成される。そして、スピーカ88の出力音は、これらのスピーカ孔11aおよび11bからそれぞれ出力される。   The main device 2 includes a speaker (that is, the speaker 88 shown in FIG. 6) inside the housing 11. As shown in FIG. 3, speaker holes 11 a and 11 b are formed in the main surface of the housing 11. And the output sound of the speaker 88 is output from these speaker holes 11a and 11b, respectively.
また、本体装置2は、本体装置2が左コントローラ3と有線通信を行うための端子である左側端子17と、本体装置2が右コントローラ4と有線通信を行うための右側端子21を備える。   The main device 2 includes a left terminal 17 that is a terminal for the main device 2 to perform wired communication with the left controller 3, and a right terminal 21 for the main device 2 to perform wired communication with the right controller 4.
図3に示すように、本体装置2は、スロット23を備える。スロット23は、ハウジング11の上側面に設けられる。スロット23は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム1およびそれと同種の情報処理装置に専用の記憶媒体(例えば、専用メモリカード)である。所定の種類の記憶媒体は、例えば、本体装置2で利用されるデータ(例えば、アプリケーションのセーブデータ等)、および/または、本体装置2で実行されるプログラム(例えば、アプリケーションのプログラム等)を記憶するために用いられる。また、本体装置2は、電源ボタン28を備える。   As shown in FIG. 3, the main body device 2 includes a slot 23. The slot 23 is provided on the upper side surface of the housing 11. The slot 23 has a shape in which a predetermined type of storage medium can be mounted. The predetermined type of storage medium is, for example, a storage medium (for example, a dedicated memory card) dedicated to the game system 1 and the same type of information processing apparatus. The predetermined type of storage medium stores, for example, data (eg, application save data) used by the main device 2 and / or a program (eg, application program) executed by the main device 2. Used to do. The main device 2 also includes a power button 28.
本体装置2は、下側端子27を備える。下側端子27は、本体装置2がクレードルと通信を行うための端子である。本実施形態において、下側端子27は、USBコネクタ(より具体的には、メス側コネクタ)である。上記一体型装置または本体装置2単体をクレードルに載置した場合、ゲームシステム1は、本体装置2が生成して出力する画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置2単体を充電する機能を有する。また、クレードルは、ハブ装置(具体的には、USBハブ)の機能を有する。   The main device 2 includes a lower terminal 27. The lower terminal 27 is a terminal for the main device 2 to communicate with the cradle. In the present embodiment, the lower terminal 27 is a USB connector (more specifically, a female connector). When the integrated device or the main device 2 alone is placed on the cradle, the game system 1 can display an image generated and output by the main device 2 on the stationary monitor. Further, in the present embodiment, the cradle has a function of charging the mounted integrated device or the main body device 2 alone. The cradle has a function of a hub device (specifically, a USB hub).
図4は、左コントローラ3の一例を示す六面図である。図4に示すように、左コントローラ3は、ハウジング31を備える。本実施形態においては、ハウジング31は、縦長の形状、すなわち、上下方向(すなわち、図1および図4に示すy軸方向)に長い形状である。左コントローラ3は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング31は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ3は、横長となる向きで把持されることも可能である。左コントローラ3が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。   FIG. 4 is a six-sided view illustrating an example of the left controller 3. As shown in FIG. 4, the left controller 3 includes a housing 31. In the present embodiment, the housing 31 has a vertically long shape, that is, a shape that is long in the vertical direction (that is, the y-axis direction shown in FIGS. 1 and 4). The left controller 3 can also be held in a vertically long orientation when removed from the main unit 2. The housing 31 has a shape and size that can be gripped with one hand, particularly the left hand, when gripped in a vertically long orientation. Further, the left controller 3 can be held in a landscape orientation. When the left controller 3 is gripped in a landscape orientation, it may be gripped with both hands.
左コントローラ3は、アナログスティック32を備える。図4に示すように、アナログスティック32は、ハウジング31の主面に設けられる。アナログスティック32は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック32を傾倒することによって傾倒方向に応じた方向の入力(および、傾倒した角度に応じた大きさの入力)が可能である。なお、左コントローラ3は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、本実施形態においては、アナログスティック32を押下する入力が可能である。   The left controller 3 includes an analog stick 32. As shown in FIG. 4, the analog stick 32 is provided on the main surface of the housing 31. The analog stick 32 can be used as a direction input unit capable of inputting a direction. By tilting the analog stick 32, the user can input a direction corresponding to the tilting direction (and an input corresponding to the tilted angle). Note that the left controller 3 may include a cross key or a slide stick capable of slide input, as a direction input unit, instead of the analog stick. In the present embodiment, an input for pressing the analog stick 32 is possible.
左コントローラ3は、各種操作ボタンを備える。左コントローラ3は、ハウジング31の主面上に4つの操作ボタン33〜36(具体的には、右方向ボタン33、下方向ボタン34、上方向ボタン35、および左方向ボタン36)を備える。さらに、左コントローラ3は、録画ボタン37および−(マイナス)ボタン47を備える。左コントローラ3は、ハウジング31の側面の左上に第1Lボタン38およびZLボタン39を備える。また、左コントローラ3は、ハウジング31の側面のうち、本体装置2に装着される際に装着される側の面に第2Lボタン43および第2Rボタン44を備える。これらの操作ボタンは、本体装置2で実行される各種プログラム(例えば、OSプログラムやアプリケーションプログラム)に応じた指示を行うために用いられる。   The left controller 3 includes various operation buttons. The left controller 3 includes four operation buttons 33 to 36 (specifically, a right direction button 33, a down direction button 34, an up direction button 35, and a left direction button 36) on the main surface of the housing 31. Further, the left controller 3 includes a recording button 37 and a − (minus) button 47. The left controller 3 includes a first L button 38 and a ZL button 39 on the upper left of the side surface of the housing 31. In addition, the left controller 3 includes a second L button 43 and a second R button 44 on a side surface of the housing 31 that is attached when the housing 31 is attached to the main body device 2. These operation buttons are used to give instructions according to various programs (for example, OS programs and application programs) executed by the main body device 2.
また、左コントローラ3は、左コントローラ3が本体装置2と有線通信を行うための端子42を備える。   The left controller 3 also includes a terminal 42 for the left controller 3 to perform wired communication with the main body device 2.
図5は、右コントローラ4の一例を示す六面図である。図5に示すように、右コントローラ4は、ハウジング51を備える。本実施形態においては、ハウジング51は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ4は、本体装置2から外された状態において、縦長となる向きで把持されることも可能である。ハウジング51は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ4は、横長となる向きで把持されることも可能である。右コントローラ4が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。   FIG. 5 is a six-sided view illustrating an example of the right controller 4. As shown in FIG. 5, the right controller 4 includes a housing 51. In the present embodiment, the housing 51 has a vertically long shape, that is, a shape that is long in the vertical direction. The right controller 4 can also be gripped in a portrait orientation when removed from the main device 2. The housing 51 has a shape and size that can be gripped with one hand, particularly the right hand, when gripped in a portrait orientation. The right controller 4 can also be held in a landscape orientation. When the right controller 4 is gripped in a landscape orientation, it may be gripped by both hands.
右コントローラ4は、左コントローラ3と同様、方向入力部としてアナログスティック52を備える。本実施形態においては、アナログスティック52は、左コントローラ3のアナログスティック32と同じ構成である。また、右コントローラ4は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ4は、左コントローラ3と同様、ハウジング51の主面上に4つの操作ボタン53〜56(具体的には、Aボタン53、Bボタン54、Xボタン55、およびYボタン56)を備える。さらに、右コントローラ4は、+(プラス)ボタン57およびホームボタン58を備える。また、右コントローラ4は、ハウジング51の側面の右上に第1Rボタン60およびZRボタン61を備える。また、右コントローラ4は、左コントローラ3と同様、第2Lボタン65および第2Rボタン66を備える。   Similar to the left controller 3, the right controller 4 includes an analog stick 52 as a direction input unit. In the present embodiment, the analog stick 52 has the same configuration as the analog stick 32 of the left controller 3. Further, the right controller 4 may include a cross key or a slide stick capable of slide input, instead of the analog stick. Similarly to the left controller 3, the right controller 4 has four operation buttons 53 to 56 (specifically, an A button 53, a B button 54, an X button 55, and a Y button 56) on the main surface of the housing 51. Is provided. Further, the right controller 4 includes a + (plus) button 57 and a home button 58. The right controller 4 includes a first R button 60 and a ZR button 61 on the upper right side of the side surface of the housing 51. The right controller 4 includes a second L button 65 and a second R button 66 as in the left controller 3.
また、ハウジング51の下側面には、窓部68が設けられる。詳細は後述するが、右コントローラ4は、ハウジング51の内部に配置される赤外撮像部123および赤外発光部124を備えている。赤外撮像部123は、右コントローラ4の下方向(図5に示すy軸負方向)を撮像方向として、窓部68を介して右コントローラ4の周囲を撮像する。赤外発光部124は、右コントローラ4の下方向(図5に示すy軸負方向)を中心とする所定範囲を照射範囲として、赤外撮像部123が撮像する撮像対象に窓部68を介して赤外光を照射する。窓部68は、赤外撮像部123のカメラのレンズや赤外発光部124の発光体等を保護するためのものであり、当該カメラが検知する波長の光や当該発光体が照射する光を透過する材質(例えば、透明な材質)で構成される。なお、窓部68は、ハウジング51に形成された孔であってもよい。なお、本実施形態においては、カメラが検知する光(本実施形態においては、赤外光)以外の波長の光の透過を抑制するフィルタ部材を赤外撮像部123自身が有する。ただし、他の実施形態においては、窓部68がフィルタの機能を有していてもよい。   A window portion 68 is provided on the lower side surface of the housing 51. As will be described in detail later, the right controller 4 includes an infrared imaging unit 123 and an infrared light emitting unit 124 disposed inside the housing 51. The infrared imaging unit 123 images the periphery of the right controller 4 through the window unit 68 with the downward direction of the right controller 4 (the negative y-axis direction shown in FIG. 5) as the imaging direction. The infrared light emitting unit 124 has a predetermined range centered on the downward direction of the right controller 4 (the negative y-axis direction shown in FIG. 5) as an irradiation range, and the imaging target captured by the infrared imaging unit 123 via the window unit 68. Irradiate with infrared light. The window unit 68 is for protecting the lens of the camera of the infrared imaging unit 123, the light emitter of the infrared light emitting unit 124, and the like, and emits light of a wavelength detected by the camera or light emitted by the light emitter. A transparent material (for example, a transparent material) is used. Note that the window 68 may be a hole formed in the housing 51. In the present embodiment, the infrared imaging unit 123 itself has a filter member that suppresses transmission of light having a wavelength other than light detected by the camera (in this embodiment, infrared light). However, in other embodiments, the window 68 may have a filter function.
また、詳細は後述するが、右コントローラ4は、NFC通信部122を備える。NFC通信部122は、NFC(Near Field Communication)の規格に基づく近距離無線通信を行う。NFC通信部122は、近距離無線通信に用いられるアンテナ122aと、アンテナ122aから送出すべき信号(電波)を生成する回路(例えばNFCチップ)とを有する。なお、NFC通信部122は、NFCの規格に基づく近距離無線通信を行う代わりに、任意の近接通信(非接触通信とも言う)で近距離無線通信を行うようにしてもよい。ここで、NFCの規格は、近接通信(非接触通信)に用いることができるものであり、「任意の近接通信で近距離無線通信を行うようにしてもよい」とは、NFCの規格による近接通信を除いた他の近接通信で近距離無線通信を行ってもよいことを意図している。   Although details will be described later, the right controller 4 includes an NFC communication unit 122. The NFC communication unit 122 performs near field communication based on NFC (Near Field Communication) standards. The NFC communication unit 122 includes an antenna 122a used for short-range wireless communication and a circuit (for example, an NFC chip) that generates a signal (radio wave) to be transmitted from the antenna 122a. Note that the NFC communication unit 122 may perform short-range wireless communication by arbitrary short-range communication (also referred to as non-contact communication) instead of short-range wireless communication based on the NFC standard. Here, the NFC standard can be used for proximity communication (non-contact communication), and “an arbitrary proximity communication may be used to perform short-range wireless communication” means that the proximity according to the NFC standard is used. It is intended that short-range wireless communication may be performed by other proximity communication excluding communication.
また、右コントローラ4は、右コントローラ4が本体装置2と有線通信を行うための端子64を備える。   The right controller 4 includes a terminal 64 for the right controller 4 to perform wired communication with the main body device 2.
図6は、本体装置2の内部構成の一例を示すブロック図である。本体装置2は、図3に示す構成の他、図6に示す各構成要素81〜91、97、および98を備える。これらの構成要素81〜91、97、および98のいくつかは、電子部品として電子回路基板上に実装されてハウジング11内に収納されてもよい。   FIG. 6 is a block diagram illustrating an example of the internal configuration of the main device 2. The main unit 2 includes the components 81 to 91, 97, and 98 shown in FIG. 6 in addition to the configuration shown in FIG. Some of these components 81 to 91, 97, and 98 may be mounted on the electronic circuit board as electronic components and housed in the housing 11.
本体装置2は、プロセッサ81を備える。プロセッサ81は、本体装置2において実行される各種の情報処理を実行する情報処理部であって、例えば、CPU(Central Processing Unit)のみから構成されてもよいし、CPU機能、GPU(Graphics Processing Unit)機能等の複数の機能を含むSoC(System−on−a−chip)から構成されてもよい。プロセッサ81は、記憶部(具体的には、フラッシュメモリ84等の内部記憶媒体、あるいは、スロット23に装着される外部記憶媒体等)に記憶される情報処理プログラム(例えば、ゲームプログラム)を実行することによって、各種の情報処理を実行する。   The main device 2 includes a processor 81. The processor 81 is an information processing unit that executes various types of information processing executed in the main device 2, and may be composed of, for example, only a CPU (Central Processing Unit), a CPU function, or a GPU (Graphics Processing Unit). ) May be composed of SoC (System-on-a-chip) including a plurality of functions such as functions. The processor 81 executes an information processing program (for example, a game program) stored in a storage unit (specifically, an internal storage medium such as the flash memory 84 or an external storage medium attached to the slot 23). As a result, various types of information processing are executed.
本体装置2は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ84およびDRAM(Dynamic Random Access Memory)85を備える。フラッシュメモリ84およびDRAM85は、プロセッサ81に接続される。フラッシュメモリ84は、主に、本体装置2に保存される各種のデータ(プログラムであってもよい)を記憶するために用いられるメモリである。DRAM85は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。   The main device 2 includes a flash memory 84 and a DRAM (Dynamic Random Access Memory) 85 as an example of an internal storage medium built therein. The flash memory 84 and the DRAM 85 are connected to the processor 81. The flash memory 84 is a memory mainly used for storing various data (may be programs) stored in the main device 2. The DRAM 85 is a memory used for temporarily storing various data used in information processing.
本体装置2は、スロットインターフェース(以下、「I/F」と略記する。)91を備える。スロットI/F91は、プロセッサ81に接続される。スロットI/F91は、スロット23に接続され、スロット23に装着された所定の種類の記憶媒体(例えば、専用メモリカード)に対するデータの読み出しおよび書き込みを、プロセッサ81の指示に応じて行う。   The main device 2 includes a slot interface (hereinafter abbreviated as “I / F”) 91. The slot I / F 91 is connected to the processor 81. The slot I / F 91 is connected to the slot 23 and reads and writes data from and to a predetermined type of storage medium (for example, a dedicated memory card) attached to the slot 23 in accordance with an instruction from the processor 81.
プロセッサ81は、フラッシュメモリ84およびDRAM85、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。   The processor 81 appropriately reads and writes data between the flash memory 84, the DRAM 85, and each storage medium, and executes the above information processing.
本体装置2は、ネットワーク通信部82を備える。ネットワーク通信部82は、プロセッサ81に接続される。ネットワーク通信部82は、ネットワークを介して外部の装置と通信(具体的には、無線通信)を行う。本実施形態においては、ネットワーク通信部82は、第1の通信態様としてWi−Fiの規格に準拠した方式により、無線LANに接続して外部装置と通信を行う。また、ネットワーク通信部82は、第2の通信態様として所定の通信方式(例えば、独自プロトコルによる通信や、赤外線通信)により、同種の他の本体装置2との間で無線通信を行う。なお、上記第2の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置2との間で無線通信可能であり、複数の本体装置2の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。   The main device 2 includes a network communication unit 82. The network communication unit 82 is connected to the processor 81. The network communication unit 82 performs communication (specifically, wireless communication) with an external device via a network. In the present embodiment, the network communication unit 82 communicates with an external device by connecting to a wireless LAN by a method based on the Wi-Fi standard as a first communication mode. Moreover, the network communication part 82 performs radio | wireless communication between the other main body apparatuses 2 of the same kind with a predetermined | prescribed communication system (For example, communication by an original protocol, infrared communication) as a 2nd communication mode. The wireless communication according to the second communication mode can be wirelessly communicated with other main body devices 2 arranged in the closed local network area, and directly communicates between the plurality of main body devices 2. This realizes a function that enables so-called “local communication” in which data is transmitted and received.
本体装置2は、コントローラ通信部83を備える。コントローラ通信部83は、プロセッサ81に接続される。コントローラ通信部83は、左コントローラ3および/または右コントローラ4と無線通信を行う。本体装置2と左コントローラ3および右コントローラ4との通信方式は任意であるが、本実施形態においては、コントローラ通信部83は、左コントローラ3との間および右コントローラ4との間で、Bluetooth(登録商標)の規格に従った通信を行う。   The main device 2 includes a controller communication unit 83. The controller communication unit 83 is connected to the processor 81. The controller communication unit 83 performs wireless communication with the left controller 3 and / or the right controller 4. The communication method between the main device 2 and the left controller 3 and the right controller 4 is arbitrary, but in this embodiment, the controller communication unit 83 communicates with the left controller 3 and between the right controller 4 and the Bluetooth ( Performs communication according to the registered trademark standard.
プロセッサ81は、上述の左側端子17、右側端子21、および下側端子27に接続される。プロセッサ81は、左コントローラ3と有線通信を行う場合、左側端子17を介して左コントローラ3へデータを送信するとともに、左側端子17を介して左コントローラ3から操作データを受信する。また、プロセッサ81は、右コントローラ4と有線通信を行う場合、右側端子21を介して右コントローラ4へデータを送信するとともに、右側端子21を介して右コントローラ4から操作データを受信する。また、プロセッサ81は、クレードルと通信を行う場合、下側端子27を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置2は、左コントローラ3および右コントローラ4との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ3および右コントローラ4が本体装置2に装着された一体型装置または本体装置2単体がクレードルに装着された場合、本体装置2は、クレードルを介してデータ(例えば、画像データや音声データ)を据置型モニタ等に出力することができる。   The processor 81 is connected to the left terminal 17, the right terminal 21, and the lower terminal 27 described above. When performing wired communication with the left controller 3, the processor 81 transmits data to the left controller 3 through the left terminal 17 and receives operation data from the left controller 3 through the left terminal 17. Further, when performing wired communication with the right controller 4, the processor 81 transmits data to the right controller 4 via the right terminal 21 and receives operation data from the right controller 4 via the right terminal 21. Further, the processor 81 transmits data to the cradle via the lower terminal 27 when communicating with the cradle. Thus, in the present embodiment, the main device 2 can perform both wired communication and wireless communication with the left controller 3 and the right controller 4, respectively. When the left controller 3 and the right controller 4 are mounted on the main body device 2 or the single body device 2 is mounted on the cradle, the main body device 2 receives data (for example, image data or sound) via the cradle. Data) can be output to a stationary monitor or the like.
ここで、本体装置2は、複数の左コントローラ3と同時に(換言すれば、並行して)通信を行うことができる。また、本体装置2は、複数の右コントローラ4と同時に(換言すれば、並行して)通信を行うことができる。したがって、複数のユーザは、左コントローラ3および右コントローラ4のセットをそれぞれ用いて、本体装置2に対する入力を同時に行うことができる。一例として、第1ユーザが左コントローラ3および右コントローラ4の第1セットを用いて本体装置2に対して入力を行うと同時に、第2ユーザが左コントローラ3および右コントローラ4の第2セットを用いて本体装置2に対して入力を行うことが可能となる。   Here, the main device 2 can perform communication simultaneously with the plurality of left controllers 3 (in other words, in parallel). Further, the main body device 2 can perform communication simultaneously with the plurality of right controllers 4 (in other words, in parallel). Accordingly, a plurality of users can simultaneously input to the main device 2 using the set of the left controller 3 and the right controller 4 respectively. As an example, the first user performs input to the main body device 2 using the first set of the left controller 3 and the right controller 4, and at the same time, the second user uses the second set of the left controller 3 and the right controller 4. Thus, it becomes possible to input to the main device 2.
本体装置2は、タッチパネル13の制御を行う回路であるタッチパネルコントローラ86を備える。タッチパネルコントローラ86は、タッチパネル13とプロセッサ81との間に接続される。タッチパネルコントローラ86は、タッチパネル13からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ81へ出力する。   The main device 2 includes a touch panel controller 86 that is a circuit that controls the touch panel 13. The touch panel controller 86 is connected between the touch panel 13 and the processor 81. The touch panel controller 86 generates data indicating, for example, a position where touch input is performed based on a signal from the touch panel 13 and outputs the data to the processor 81.
また、ディスプレイ12は、プロセッサ81に接続される。プロセッサ81は、(例えば、上記の情報処理の実行によって)生成した画像および/または外部から取得した画像をディスプレイ12に表示する。   The display 12 is connected to the processor 81. The processor 81 displays the generated image and / or the image acquired from the outside (for example, by executing the above information processing) on the display 12.
本体装置2は、コーデック回路87およびスピーカ(具体的には、左スピーカおよび右スピーカ)88を備える。コーデック回路87は、スピーカ88および音声入出力端子25に接続されるとともに、プロセッサ81に接続される。コーデック回路87は、スピーカ88および音声入出力端子25に対する音声データの入出力を制御する回路である。   The main device 2 includes a codec circuit 87 and a speaker (specifically, a left speaker and a right speaker) 88. The codec circuit 87 is connected to the speaker 88 and the audio input / output terminal 25 and to the processor 81. The codec circuit 87 is a circuit that controls input / output of audio data to / from the speaker 88 and the audio input / output terminal 25.
また、本体装置2は、加速度センサ89を備える。本実施形態においては、加速度センサ89は、所定の3軸(例えば、図1に示すxyz軸)方向に沿った加速度の大きさを検出する。なお、加速度センサ89は、1軸方向あるいは2軸方向の加速度を検出するものであってもよい。   The main body device 2 includes an acceleration sensor 89. In the present embodiment, the acceleration sensor 89 detects the magnitude of acceleration along predetermined three axis directions (for example, the xyz axis shown in FIG. 1). Note that the acceleration sensor 89 may detect an acceleration in a uniaxial direction or a biaxial direction.
また、本体装置2は、角速度センサ90を備える。本実施形態においては、角速度センサ90は、所定の3軸(例えば、図1に示すxyz軸)回りの角速度を検出する。なお、角速度センサ90は、1軸回りあるいは2軸回りの角速度を検出するものであってもよい。   The main body device 2 includes an angular velocity sensor 90. In the present embodiment, the angular velocity sensor 90 detects angular velocities about predetermined three axes (for example, the xyz axis shown in FIG. 1). Note that the angular velocity sensor 90 may detect an angular velocity around one axis or around two axes.
加速度センサ89および角速度センサ90は、プロセッサ81に接続され、加速度センサ89および角速度センサ90の検出結果は、プロセッサ81へ出力される。プロセッサ81は、上記の加速度センサ89および角速度センサ90の検出結果に基づいて、本体装置2の動きおよび/または姿勢に関する情報を算出することが可能である。   The acceleration sensor 89 and the angular velocity sensor 90 are connected to the processor 81, and the detection results of the acceleration sensor 89 and the angular velocity sensor 90 are output to the processor 81. The processor 81 can calculate information related to the movement and / or posture of the main device 2 based on the detection results of the acceleration sensor 89 and the angular velocity sensor 90.
本体装置2は、電力制御部97およびバッテリ98を備える。電力制御部97は、バッテリ98およびプロセッサ81に接続される。また、図示しないが、電力制御部97は、本体装置2の各部(具体的には、バッテリ98の電力の給電を受ける各部、左側端子17、および右側端子21)に接続される。電力制御部97は、プロセッサ81からの指令に基づいて、バッテリ98から上記各部への電力供給を制御する。   The main device 2 includes a power control unit 97 and a battery 98. The power control unit 97 is connected to the battery 98 and the processor 81. Although not shown, the power control unit 97 is connected to each part of the main body device 2 (specifically, each part that receives power supply from the battery 98, the left terminal 17, and the right terminal 21). The power control unit 97 controls power supply from the battery 98 to each of the above parts based on a command from the processor 81.
また、バッテリ98は、下側端子27に接続される。外部の充電装置(例えば、クレードル)が下側端子27に接続され、下側端子27を介して本体装置2に電力が供給される場合、供給された電力がバッテリ98に充電される。   The battery 98 is connected to the lower terminal 27. When an external charging device (for example, a cradle) is connected to the lower terminal 27 and electric power is supplied to the main body device 2 via the lower terminal 27, the supplied electric power is charged to the battery 98.
図7は、本体装置2と左コントローラ3および右コントローラ4との内部構成の一例を示すブロック図である。なお、本体装置2に関する内部構成の詳細については、図6で示しているため図7では省略している。   FIG. 7 is a block diagram illustrating an example of an internal configuration of the main body device 2, the left controller 3, and the right controller 4. The details of the internal configuration related to the main unit 2 are shown in FIG. 6 and are not shown in FIG.
左コントローラ3は、本体装置2との間で通信を行う通信制御部101を備える。図7に示すように、通信制御部101は、端子42を含む各構成要素に接続される。本実施形態においては、通信制御部101は、端子42を介した有線通信と、端子42を介さない無線通信との両方で本体装置2と通信を行うことが可能である。通信制御部101は、左コントローラ3が本体装置2に対して行う通信方法を制御する。すなわち、左コントローラ3が本体装置2に装着されている場合、通信制御部101は、端子42を介して本体装置2と通信を行う。また、左コントローラ3が本体装置2から外されている場合、通信制御部101は、本体装置2(具体的には、コントローラ通信部83)との間で無線通信を行う。コントローラ通信部83と通信制御部101との間の無線通信は、例えばBluetooth(登録商標)の規格に従って行われる。   The left controller 3 includes a communication control unit 101 that performs communication with the main device 2. As shown in FIG. 7, the communication control unit 101 is connected to each component including the terminal 42. In the present embodiment, the communication control unit 101 can communicate with the main device 2 by both wired communication via the terminal 42 and wireless communication not via the terminal 42. The communication control unit 101 controls a communication method performed by the left controller 3 for the main body device 2. That is, when the left controller 3 is attached to the main body device 2, the communication control unit 101 communicates with the main body device 2 via the terminal 42. Further, when the left controller 3 is disconnected from the main body device 2, the communication control unit 101 performs wireless communication with the main body device 2 (specifically, the controller communication unit 83). Wireless communication between the controller communication unit 83 and the communication control unit 101 is performed, for example, according to the Bluetooth (registered trademark) standard.
また、左コントローラ3は、例えばフラッシュメモリ等のメモリ102を備える。通信制御部101は、例えばマイコン(マイクロプロセッサとも言う)で構成され、メモリ102に記憶されるファームウェアを実行することによって各種の処理を実行する。   The left controller 3 includes a memory 102 such as a flash memory. The communication control unit 101 is configured by, for example, a microcomputer (also referred to as a microprocessor), and executes various processes by executing firmware stored in the memory 102.
左コントローラ3は、各ボタン103(具体的には、ボタン33〜39、43、44、および47)を備える。また、左コントローラ3は、アナログスティック(図7では「スティック」と記載する)32を備える。各ボタン103およびアナログスティック32は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部101へ出力する。   The left controller 3 includes buttons 103 (specifically, buttons 33 to 39, 43, 44, and 47). The left controller 3 includes an analog stick 32 (described as “stick” in FIG. 7). Each button 103 and the analog stick 32 repeatedly outputs information related to operations performed on itself to the communication control unit 101 at an appropriate timing.
左コントローラ3は、慣性センサを備える。具体的には、左コントローラ3は、加速度センサ104を備える。また、左コントローラ3は、角速度センサ105を備える。本実施形態においては、加速度センサ104は、所定の3軸(例えば、図4に示すxyz軸)方向に沿った加速度の大きさを検出する。なお、加速度センサ104は、1軸方向あるいは2軸方向の加速度を検出するものであってもよい。本実施形態においては、角速度センサ105は、所定の3軸(例えば、図4に示すxyz軸)回りの角速度を検出する。なお、角速度センサ105は、1軸回りあるいは2軸回りの角速度を検出するものであってもよい。加速度センサ104および角速度センサ105は、それぞれ通信制御部101に接続される。そして、加速度センサ104および角速度センサ105の検出結果は、適宜のタイミングで繰り返し通信制御部101へ出力される。   The left controller 3 includes an inertial sensor. Specifically, the left controller 3 includes an acceleration sensor 104. The left controller 3 includes an angular velocity sensor 105. In the present embodiment, the acceleration sensor 104 detects the magnitude of acceleration along predetermined three axes (for example, the xyz axis shown in FIG. 4). Note that the acceleration sensor 104 may detect an acceleration in a uniaxial direction or a biaxial direction. In the present embodiment, the angular velocity sensor 105 detects angular velocities about predetermined three axes (for example, the xyz axis shown in FIG. 4). The angular velocity sensor 105 may detect an angular velocity around one axis or around two axes. The acceleration sensor 104 and the angular velocity sensor 105 are each connected to the communication control unit 101. The detection results of the acceleration sensor 104 and the angular velocity sensor 105 are repeatedly output to the communication control unit 101 at appropriate timing.
通信制御部101は、各入力部(具体的には、各ボタン103、アナログスティック32、各センサ104および105)から、入力に関する情報(具体的には、操作に関する情報、またはセンサによる検出結果)を取得する。通信制御部101は、取得した情報(または取得した情報に所定の加工を行った情報)を含む操作データを本体装置2へ送信する。なお、操作データは、所定時間に1回の割合で繰り返し送信される。なお、入力に関する情報が本体装置2へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。   The communication control unit 101 receives information related to input (specifically, information related to an operation or a detection result by a sensor) from each input unit (specifically, each button 103, analog stick 32, and each sensor 104 and 105). To get. The communication control unit 101 transmits operation data including the acquired information (or information obtained by performing predetermined processing on the acquired information) to the main body device 2. The operation data is repeatedly transmitted at a rate of once every predetermined time. Note that the interval at which the information related to the input is transmitted to the main device 2 may or may not be the same for each input unit.
上記操作データが本体装置2へ送信されることによって、本体装置2は、左コントローラ3に対して行われた入力を得ることができる。すなわち、本体装置2は、各ボタン103およびアナログスティック32に対する操作を、操作データに基づいて判別することができる。また、本体装置2は、左コントローラ3の動きおよび/または姿勢に関する情報を、操作データ(具体的には、加速度センサ104および角速度センサ105の検出結果)に基づいて算出することができる。   By transmitting the operation data to the main device 2, the main device 2 can obtain an input made to the left controller 3. That is, the main body device 2 can determine the operation on each button 103 and the analog stick 32 based on the operation data. Further, the main device 2 can calculate information related to the movement and / or posture of the left controller 3 based on operation data (specifically, detection results of the acceleration sensor 104 and the angular velocity sensor 105).
左コントローラ3は、振動によってユーザに通知を行うための振動子107を備える。本実施形態においては、振動子107は、本体装置2からの指令によって制御される。すなわち、通信制御部101は、本体装置2からの上記指令を受け取ると、当該指令に従って振動子107を駆動させる。ここで、左コントローラ3は、コーデック部106を備える。通信制御部101は、上記指令を受け取ると、指令に応じた制御信号をコーデック部106へ出力する。コーデック部106は、通信制御部101からの制御信号から振動子107を駆動させるための駆動信号を生成して振動子107へ与える。これによって振動子107が動作する。   The left controller 3 includes a vibrator 107 for notifying the user by vibration. In the present embodiment, the vibrator 107 is controlled by a command from the main device 2. That is, when the communication control unit 101 receives the command from the main device 2, the communication control unit 101 drives the vibrator 107 according to the command. Here, the left controller 3 includes a codec unit 106. Upon receiving the command, the communication control unit 101 outputs a control signal corresponding to the command to the codec unit 106. The codec unit 106 generates a drive signal for driving the vibrator 107 from the control signal from the communication control unit 101 and supplies the drive signal to the vibrator 107. As a result, the vibrator 107 operates.
振動子107は、より具体的にはリニア振動モータである。リニア振動モータは、回転運動をする通常のモータと異なり、入力される電圧に応じて所定方向に駆動されるため、入力される電圧の波形に応じた振幅および周波数で振動をさせることができる。本実施形態において、本体装置2から左コントローラ3に送信される振動制御信号は、単位時間ごとに周波数と振幅とを表すデジタル信号であってよい。別の実施形態においては、本体装置2から波形そのものを示す情報を送信するようにしてもよいが、振幅および周波数だけを送信することで通信データ量を削減することができる。また、さらにデータ量を削減するため、そのときの振幅および周波数の数値に替えて、前回の値からの差分だけを送信するようにしてもよい。この場合、コーデック部106は、通信制御部101から取得される振幅および周波数の値を示すデジタル信号をアナログの電圧の波形に変換し、当該波形に合わせて電圧を入力することで振動子107を駆動させる。したがって、本体装置2は、単位時間ごとに送信する振幅および周波数を変えることによって、そのときに振動子107を振動させる振幅および周波数を制御することができる。なお、本体装置2から左コントローラ3に送信される振幅および周波数は、1つに限らず、2つ以上送信するようにしてもよい。その場合、コーデック部106は、受信された複数の振幅および周波数それぞれが示す波形を合成することで、振動子107を制御する電圧の波形を生成することができる。   More specifically, the vibrator 107 is a linear vibration motor. Since a linear vibration motor is driven in a predetermined direction in accordance with an input voltage, unlike a normal motor that rotates, the linear vibration motor can be vibrated with an amplitude and a frequency in accordance with the waveform of the input voltage. In the present embodiment, the vibration control signal transmitted from the main device 2 to the left controller 3 may be a digital signal that represents a frequency and an amplitude for each unit time. In another embodiment, information indicating the waveform itself may be transmitted from the main device 2, but the amount of communication data can be reduced by transmitting only the amplitude and frequency. In order to further reduce the data amount, only the difference from the previous value may be transmitted instead of the numerical values of the amplitude and frequency at that time. In this case, the codec unit 106 converts the digital signal indicating the amplitude and frequency values acquired from the communication control unit 101 into an analog voltage waveform, and inputs the voltage in accordance with the waveform, thereby causing the vibrator 107 to operate. Drive. Therefore, the main body device 2 can control the amplitude and frequency at which the vibrator 107 is vibrated at that time by changing the amplitude and frequency to be transmitted every unit time. The amplitude and frequency transmitted from the main device 2 to the left controller 3 are not limited to one, and two or more may be transmitted. In that case, the codec unit 106 can generate a waveform of a voltage for controlling the vibrator 107 by synthesizing the waveforms indicated by the received plurality of amplitudes and frequencies.
左コントローラ3は、電力供給部108を備える。本実施形態において、電力供給部108は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ3の各部(具体的には、バッテリの電力の給電を受ける各部)に接続される。   The left controller 3 includes a power supply unit 108. In the present embodiment, the power supply unit 108 includes a battery and a power control circuit. Although not shown, the power control circuit is connected to the battery and is connected to each part of the left controller 3 (specifically, each part that receives power from the battery).
図7に示すように、右コントローラ4は、本体装置2との間で通信を行う通信制御部111を備える。また、右コントローラ4は、通信制御部111に接続されるメモリ112を備える。通信制御部111は、端子64を含む各構成要素に接続される。通信制御部111およびメモリ112は、左コントローラ3の通信制御部101およびメモリ102と同様の機能を有する。したがって、通信制御部111は、端子64を介した有線通信と、端子64を介さない無線通信(具体的には、Bluetooth(登録商標)の規格に従った通信)との両方で本体装置2と通信を行うことが可能であり、右コントローラ4が本体装置2に対して行う通信方法を制御する。   As illustrated in FIG. 7, the right controller 4 includes a communication control unit 111 that performs communication with the main body device 2. The right controller 4 includes a memory 112 connected to the communication control unit 111. The communication control unit 111 is connected to each component including the terminal 64. The communication control unit 111 and the memory 112 have the same functions as the communication control unit 101 and the memory 102 of the left controller 3. Therefore, the communication control unit 111 communicates with the main body device 2 both in wired communication via the terminal 64 and wireless communication not through the terminal 64 (specifically, communication in accordance with the Bluetooth (registered trademark) standard). Communication is possible, and the right controller 4 controls a communication method performed with respect to the main body device 2.
右コントローラ4は、左コントローラ3の各入力部と同様の各入力部を備える。具体的には、各ボタン113、アナログスティック52、慣性センサ(加速度センサ114および角速度センサ115)を備える。これらの各入力部については、左コントローラ3の各入力部と同様の機能を有し、同様に動作する。   The right controller 4 includes input units similar to the input units of the left controller 3. Specifically, each button 113, the analog stick 52, and an inertial sensor (acceleration sensor 114 and angular velocity sensor 115) are provided. Each of these input units has the same function as each input unit of the left controller 3 and operates in the same manner.
また、右コントローラ4は、振動子117およびコーデック部116を備える。振動子117およびコーデック部116は、左コントローラ3の振動子107およびコーデック部106と同様に動作する。すなわち、通信制御部111は、本体装置2からの指令に従って、コーデック部116を用いて振動子117を動作させる。   The right controller 4 includes a vibrator 117 and a codec unit 116. The vibrator 117 and the codec unit 116 operate in the same manner as the vibrator 107 and the codec unit 106 of the left controller 3. That is, the communication control unit 111 operates the vibrator 117 using the codec unit 116 in accordance with a command from the main body device 2.
右コントローラ4は、NFCの規格に基づく近距離無線通信を行うNFC通信部122を備える。NFC通信部122は、いわゆるNFCリーダ・ライタの機能を有する。ここで、本明細書において近距離無線通信とは、一方の装置(ここでは、右コントローラ4)からの電波によって(例えば電磁誘導によって)他方の装置(ここでは、アンテナ122aと近接する装置)に起電力を発生させる通信方式が含まれる。他方の装置は、発生した起電力によって動作することが可能であり、電源を有していてもよいし有していなくてもよい。NFC通信部122は、右コントローラ4(アンテナ122a)と通信対象とが接近した場合(典型的には、両者の距離が十数センチメートル以下となった場合)に当該通信対象との間で通信可能となる。通信対象は、NFC通信部122との間で近距離無線通信が可能な任意の装置であり、例えばNFCタグやNFCタグの機能を有する記憶媒体である。ただし、通信対象は、NFCのカードエミュレーション機能を有する他の装置であってもよい。   The right controller 4 includes an NFC communication unit 122 that performs short-range wireless communication based on the NFC standard. The NFC communication unit 122 has a so-called NFC reader / writer function. Here, short-range wireless communication in this specification refers to the other device (here, the device close to the antenna 122a) by radio waves from one device (here, the right controller 4) (for example, by electromagnetic induction). A communication method for generating electromotive force is included. The other device can operate by the generated electromotive force, and may or may not have a power source. The NFC communication unit 122 communicates with the communication target when the right controller 4 (antenna 122a) and the communication target are close to each other (typically, when the distance between the two is less than ten centimeters). It becomes possible. The communication target is an arbitrary device capable of short-range wireless communication with the NFC communication unit 122, for example, an NFC tag or a storage medium having an NFC tag function. However, the communication target may be another device having an NFC card emulation function.
また、右コントローラ4は、赤外撮像部123を備える。赤外撮像部123は、右コントローラ4の周囲を撮像する赤外線カメラを有する。一例として、本体装置2および/または右コントローラ4は、撮像された情報(例えば、撮像された撮像画像における少なくとも一部の領域全体を分割した複数のブロックの輝度に関連する情報等)を算出し、当該情報に基づいて、右コントローラ4の周囲変化を判別する。また、赤外撮像部123は、環境光によって撮像を行ってもよいが、本実施形態においては、赤外線を照射する赤外発光部124を有する。赤外発光部124は、例えば、赤外線カメラが画像を撮像するタイミングと同期して、赤外線を照射する。そして、赤外発光部124によって照射された赤外線が撮像対象によって反射され、当該反射された赤外線が赤外線カメラによって受光されることで、赤外線の画像が取得される。これによって、赤外撮像部123は、より鮮明な赤外線画像を得ることができる。なお、赤外撮像部123と赤外発光部124とは、それぞれ別のデバイスとして右コントローラ4内に設けられてもよいし、同じパッケージ内に設けられた単一のデバイスとして右コントローラ4内に設けられてもよい。また、本実施形態においては、赤外線カメラを有する赤外撮像部123が用いられるが、他の実施形態においては、撮像手段として、赤外線カメラに代えて可視光カメラ(可視光イメージセンサを用いたカメラ)が用いられてもよい。   The right controller 4 includes an infrared imaging unit 123. The infrared imaging unit 123 includes an infrared camera that captures an image around the right controller 4. As an example, the main device 2 and / or the right controller 4 calculates captured information (for example, information related to the luminance of a plurality of blocks obtained by dividing at least a part of the entire captured image). Based on this information, the surrounding change of the right controller 4 is determined. In addition, the infrared imaging unit 123 may perform imaging with ambient light, but in the present embodiment, the infrared imaging unit 123 includes an infrared light emitting unit 124 that irradiates infrared rays. For example, the infrared light emitting unit 124 emits infrared rays in synchronization with the timing at which the infrared camera captures an image. Then, the infrared light irradiated by the infrared light emitting unit 124 is reflected by the imaging target, and the reflected infrared light is received by the infrared camera, whereby an infrared image is acquired. Thereby, the infrared imaging unit 123 can obtain a clearer infrared image. The infrared imaging unit 123 and the infrared light emitting unit 124 may be provided in the right controller 4 as separate devices, or may be provided in the right controller 4 as a single device provided in the same package. It may be provided. In this embodiment, an infrared imaging unit 123 having an infrared camera is used. However, in other embodiments, a visible light camera (a camera using a visible light image sensor) is used instead of the infrared camera as an imaging unit. ) May be used.
右コントローラ4は、処理部121を備える。処理部121は、通信制御部111に接続される。また、処理部121は、NFC通信部122、赤外撮像部123、および赤外発光部124に接続される。処理部121は、本体装置2からの指令に応じて、NFC通信部122に対する管理処理を実行する。例えば、処理部121は、本体装置2からの指令に応じてNFC通信部122の動作を制御する。また、処理部121は、NFC通信部122の起動を制御したり、通信対象(例えば、NFCタグ)に対するNFC通信部122の動作(具体的には、読み出しおよび書き込み等)を制御したりする。また、処理部121は、通信制御部111を介して通信対象に送信されるべき情報を本体装置2から受信してNFC通信部122へ渡したり、通信対象から受信された情報をNFC通信部122から取得して通信制御部111を介して本体装置2へ送信したりする。   The right controller 4 includes a processing unit 121. The processing unit 121 is connected to the communication control unit 111. The processing unit 121 is connected to the NFC communication unit 122, the infrared imaging unit 123, and the infrared light emitting unit 124. The processing unit 121 executes management processing for the NFC communication unit 122 in response to a command from the main device 2. For example, the processing unit 121 controls the operation of the NFC communication unit 122 in accordance with a command from the main device 2. Further, the processing unit 121 controls the activation of the NFC communication unit 122, and controls the operation (specifically, reading and writing) of the NFC communication unit 122 with respect to a communication target (for example, an NFC tag). In addition, the processing unit 121 receives information to be transmitted to the communication target via the communication control unit 111 from the main body device 2 and passes the information to the NFC communication unit 122, or receives information received from the communication target to the NFC communication unit 122. Or transmitted to the main device 2 via the communication control unit 111.
また、処理部121は、CPUやメモリ等を含み、右コントローラ4に備えられた図示しない記憶装置(例えば、不揮発性メモリ等)に記憶された所定のプログラム(例えば、画像処理や各種演算を行うためのアプリケーションプログラム)に基づいて、本体装置2からの指令に応じて赤外撮像部123に対する管理処理を実行する。例えば、処理部121は、赤外撮像部123に撮像動作を行わせたり、撮像結果に基づく情報(撮像画像の情報、あるいは、当該情報から算出される情報等)を取得および/または算出して通信制御部111を介して本体装置2へ送信したりする。また、処理部121は、本体装置2からの指令に応じて赤外発光部124に対する管理処理を実行する。例えば、処理部121は、本体装置2からの指令に応じて赤外発光部124の発光を制御する。なお、処理部121が処理を行う際に用いるメモリは、処理部121内に設けられてもいいし、メモリ112であってもよい。   The processing unit 121 includes a CPU, a memory, and the like, and performs a predetermined program (for example, image processing and various calculations) stored in a storage device (not illustrated) provided in the right controller 4 (for example, a nonvolatile memory). Management processing for the infrared imaging unit 123 is executed in accordance with a command from the main body device 2. For example, the processing unit 121 causes the infrared imaging unit 123 to perform an imaging operation, and acquires and / or calculates information based on the imaging result (information on the captured image or information calculated from the information). Or transmitted to the main device 2 via the communication control unit 111. In addition, the processing unit 121 executes management processing for the infrared light emitting unit 124 in accordance with a command from the main device 2. For example, the processing unit 121 controls the light emission of the infrared light emitting unit 124 in accordance with a command from the main device 2. Note that the memory used when the processing unit 121 performs processing may be provided in the processing unit 121 or the memory 112.
右コントローラ4は、電力供給部118を備える。電力供給部118は、左コントローラ3の電力供給部108と同様の機能を有し、同様に動作する。   The right controller 4 includes a power supply unit 118. The power supply unit 118 has the same function as the power supply unit 108 of the left controller 3 and operates in the same manner.
[2.アタッチメントとそれを用いたゲーム処理の概要]
本実施形態においては、ゲームシステム1は、上述の本体装置2ならびに各コントローラ3および4とともに用いられる周辺機器として、複数種類(ここでは、3種類)の付加操作装置を含む。付加操作装置は、コントローラを当該付加操作装置に装着して使用するための周辺機器である。なお、コントローラ(ここでは、右コントローラ4)は、付加操作装置に対して着脱可能に装着される。詳細は後述するが、本実施形態においては、ユーザ(換言すれば、プレイヤ)は、コントローラを付加操作装置に装着し、コントローラが装着された付加操作装置を用いてゲーム操作を行う。このように、本実施形態においては、コントローラをメイン装置とし、付加操作装置をサブ装置として、メイン装置を装着したサブ装置を用いたゲーム操作が行われる。
[2. Overview of attachment and game processing using it]
In the present embodiment, the game system 1 includes multiple types (here, three types) of additional operation devices as peripheral devices used together with the main body device 2 and the controllers 3 and 4 described above. The additional operation device is a peripheral device for mounting and using the controller in the additional operation device. The controller (here, the right controller 4) is detachably attached to the additional operation device. Although details will be described later, in this embodiment, the user (in other words, the player) attaches the controller to the additional operation device, and performs a game operation using the additional operation device to which the controller is attached. As described above, in this embodiment, a game operation is performed using the controller as the main device, the additional operation device as the sub device, and the sub device equipped with the main device.
本実施形態においては、ゲームシステム1は、3種類の付加操作装置(具体的には、図8に示す第1〜第3付加操作装置6〜8)を含む。なお、他の実施形態においては、ゲームシステム1に含まれる付加操作装置の数は、2つ以上の任意の数であってよい。   In the present embodiment, the game system 1 includes three types of additional operation devices (specifically, first to third additional operation devices 6 to 8 shown in FIG. 8). In other embodiments, the number of additional operation devices included in the game system 1 may be an arbitrary number of two or more.
本実施形態においては、ユーザは、1つのゲームアプリケーションの実行中において、複数種類(ここでは、3種類)の付加操作装置を用いてゲームをプレイする。なお、ゲームアプリケーションによって実行されるゲームの内容は任意であるが、本実施形態においては、ユーザが操作するプレイヤキャラクタが各種の乗物を運転してゲーム空間を移動することが可能なゲームである。ユーザは、上記ゲームアプリケーションの実行中において(より具体的には、ゲームのプレイ中において)、コントローラが装着される付加操作装置を変更することができる。また、ゲームシステム1は、コントローラが装着される付加操作装置の種類に応じて異なるゲーム処理を実行する。詳細は後述するが、本実施形態においては、プレイヤキャラクタが運転する乗物オブジェクトは、コントローラが装着される付加操作装置の種類に応じて変化する。つまり、本実施形態においては、ユーザが操作する対象となるオブジェクトが、コントローラが装着される付加操作装置の種類に応じて変化する。   In the present embodiment, the user plays a game using a plurality of types (three types here) of additional operation devices while one game application is being executed. Note that although the content of the game executed by the game application is arbitrary, in the present embodiment, the player character operated by the user can drive various vehicles and move in the game space. The user can change the additional operation device to which the controller is attached during the execution of the game application (more specifically, during the game play). Further, the game system 1 executes different game processes depending on the type of the additional operation device to which the controller is attached. Although details will be described later, in the present embodiment, the vehicle object driven by the player character changes according to the type of the additional operation device to which the controller is attached. That is, in the present embodiment, an object that is a target operated by the user changes according to the type of the additional operation device to which the controller is attached.
図8は、コントローラと付加操作装置との組み合わせと、操作対象となるオブジェクトとの関係を示す図である。図8に示すように、本実施形態においては、右コントローラ4を、第1〜第3付加操作装置6〜8のいずれかに装着することが可能である。   FIG. 8 is a diagram illustrating a relationship between a combination of a controller and an additional operation device and an object to be operated. As shown in FIG. 8, in the present embodiment, the right controller 4 can be attached to any one of the first to third additional operation devices 6 to 8.
本実施形態においては、付加操作装置に装着するコントローラとして右コントローラ4が用いられる。この理由は、本実施形態においては、右コントローラ4が備える赤外撮像部123による撮像結果に基づいて、右コントローラ4に装着された付加操作装置の種類を判別するからである。なお、付加操作装置の種類の判別方法の詳細については後述する。   In the present embodiment, the right controller 4 is used as a controller to be attached to the additional operation device. This is because in this embodiment, the type of the additional operation device attached to the right controller 4 is determined based on the imaging result of the infrared imaging unit 123 provided in the right controller 4. Details of the method for determining the type of the additional operation device will be described later.
図8に示すように、右コントローラ4が第1付加操作装置6に装着される状態(以下、「第1装着状態」と呼ぶ。)においては、プレイヤキャラクタが運転する自動車オブジェクト201がゲーム空間に出現する。右コントローラ4が第1装着状態となる場合、ユーザは、右コントローラ4が装着された第1付加操作装置6を用いて自動車オブジェクト201を操作する。すなわち、ゲームシステム1は、右コントローラ4が第1付加操作装置6に装着されたと判別すると、プレイヤキャラクタと自動車オブジェクト201とをゲーム空間に配置する。そして、ゲームシステム1は、右コントローラ4が装着された第1付加操作装置6に対する操作に基づいて自動車オブジェクト201の動作を制御する。   As shown in FIG. 8, in a state where the right controller 4 is mounted on the first additional operation device 6 (hereinafter referred to as “first mounting state”), the car object 201 driven by the player character is in the game space. Appear. When the right controller 4 is in the first wearing state, the user operates the automobile object 201 using the first additional operation device 6 to which the right controller 4 is attached. That is, when the game system 1 determines that the right controller 4 is attached to the first additional operation device 6, the game system 1 places the player character and the car object 201 in the game space. Then, the game system 1 controls the movement of the automobile object 201 based on an operation on the first additional operation device 6 to which the right controller 4 is attached.
また、図8に示すように、右コントローラ4が第2付加操作装置7に装着される状態(以下、「第2装着状態」と呼ぶ。)においては、プレイヤキャラクタが運転する飛行機オブジェクト202がゲーム空間に出現する。右コントローラ4が第2装着状態となる場合、ユーザは、右コントローラ4が装着された第2付加操作装置7を用いて飛行機オブジェクト202を操作する。すなわち、ゲームシステム1は、右コントローラ4が第2付加操作装置7に装着されたと判別すると、プレイヤキャラクタと飛行機オブジェクト202とをゲーム空間に配置する。そして、ゲームシステム1は、右コントローラ4が装着された第2付加操作装置7に対する操作に基づいて飛行機オブジェクト202の動作を制御する。   Also, as shown in FIG. 8, in a state where the right controller 4 is attached to the second additional operation device 7 (hereinafter referred to as “second attachment state”), the airplane object 202 driven by the player character is a game. Appears in space. When the right controller 4 is in the second wearing state, the user operates the airplane object 202 using the second additional operation device 7 to which the right controller 4 is attached. That is, when the game system 1 determines that the right controller 4 is attached to the second additional operation device 7, the game system 1 places the player character and the airplane object 202 in the game space. Then, the game system 1 controls the operation of the airplane object 202 based on an operation on the second additional operation device 7 to which the right controller 4 is attached.
また、図8に示すように、右コントローラ4が第3付加操作装置8に装着される状態(以下、「第3装着状態」と呼ぶ。)においては、プレイヤキャラクタが運転する船オブジェクト203がゲーム空間に出現する。右コントローラ4が第3装着状態となる場合、ユーザは、右コントローラ4が装着された第3付加操作装置8を用いて船オブジェクト203を操作する。すなわち、ゲームシステム1は、右コントローラ4が第3付加操作装置8に装着されたと判別すると、プレイヤキャラクタと船オブジェクト203とをゲーム空間に配置する。そして、ゲームシステム1は、右コントローラ4が装着された第3付加操作装置8に対する操作に基づいて船オブジェクト203の動作を制御する。   Further, as shown in FIG. 8, in a state where the right controller 4 is mounted on the third additional operation device 8 (hereinafter referred to as “third mounting state”), the ship object 203 driven by the player character is a game. Appears in space. When the right controller 4 is in the third attachment state, the user operates the ship object 203 using the third additional operation device 8 to which the right controller 4 is attached. That is, when the game system 1 determines that the right controller 4 is attached to the third additional operation device 8, the game system 1 places the player character and the ship object 203 in the game space. Then, the game system 1 controls the operation of the ship object 203 based on an operation on the third additional operation device 8 to which the right controller 4 is attached.
また、図示しないが、右コントローラ4がいずれの付加操作装置に装着されない状態(以下、「非装着状態」と呼ぶ。)においては、プレイヤキャラクタは乗物オブジェクトに搭乗しない。右コントローラ4が非装着状態となる場合、プレイヤは、乗物オブジェクトに搭乗していないプレイヤキャラクタを操作する。すなわち、ゲームシステム1は、右コントローラ4がいずれの付加操作装置にも装着されていないと判別すると、乗物オブジェクトに搭乗していないプレイヤキャラクタをゲーム空間に配置する。そして、ゲームシステム1は、右コントローラ4に対する操作に基づいてプレイヤキャラクタの動作を制御する。なお、他の実施形態においては、ゲームシステム1は、非装着状態においては、プレイヤキャラクタに対する操作(換言すれば、右コントローラ4を用いた操作)をユーザが行うことができないようにしてもよい。   Although not shown, the player character does not board the vehicle object when the right controller 4 is not attached to any additional operation device (hereinafter referred to as “non-attached state”). When the right controller 4 is not attached, the player operates a player character that is not on the vehicle object. That is, when the game system 1 determines that the right controller 4 is not attached to any additional operation device, the game system 1 places a player character that is not on the vehicle object in the game space. Then, the game system 1 controls the action of the player character based on an operation on the right controller 4. In other embodiments, the game system 1 may not allow the user to perform an operation on the player character (in other words, an operation using the right controller 4) in the non-wearing state.
本実施形態においては、ゲームシステム1は、右コントローラ4の装着状態が変化しても、ゲームを進行させるための処理(換言すれば、ゲーム進行)を中断することなく実行する。つまり、ゲームシステム1は、右コントローラ4の装着状態に変化があっても、ゲームをシームレスに進行させる。例えば、ユーザが第1付加操作装置6に装着されている右コントローラ4を第2付加操作装置7に付け替えようとする場合、右コントローラ4の装着状態は、第1装着状態から非装着状態となり、その後、第2装着状態へと移行する。この場合において、ゲームシステム1は、ゲームの進行を中断することなく(例えば、非装着状態となったことに応じて処理を一時停止することなく)、ゲームを進行させるための処理を継続して実行する。すなわち、右コントローラ4の装着状態が第1装着状態から非装着状態を介して第2装着状態へと移行する期間において、ゲームシステム1は、ユーザによる操作を継続的に受け付け、当該操作に応じたゲーム処理を継続的に実行する。このように、本実施形態においては、ユーザが右コントローラ4の装着状態を変化させる期間においてもゲームを進行させることによって、右コントローラ4を付加操作装置に装着する操作をゲーム操作の一部であるようにユーザに認識させることができる。これによって、右コントローラ4が装着される付加操作装置をゲームプレイ中に切り替えながらゲーム操作を行うという新規なゲーム体験をユーザに提供することができる。   In this embodiment, even if the mounting state of the right controller 4 changes, the game system 1 executes a process for progressing the game (in other words, progress of the game) without interruption. That is, the game system 1 allows the game to proceed seamlessly even when the wearing state of the right controller 4 changes. For example, when the user tries to replace the right controller 4 attached to the first additional operation device 6 with the second additional operation device 7, the attachment state of the right controller 4 is changed from the first attachment state to the non-attachment state. Then, it shifts to the second wearing state. In this case, the game system 1 continues the process for advancing the game without interrupting the progress of the game (for example, without pausing the process in response to the non-wearing state). Run. That is, in a period in which the wearing state of the right controller 4 shifts from the first wearing state to the second wearing state through the non-wearing state, the game system 1 continuously accepts an operation by the user and responds to the operation. The game process is continuously executed. As described above, in the present embodiment, the operation of mounting the right controller 4 on the additional operation device by causing the game to proceed even during the period in which the user changes the mounting state of the right controller 4 is part of the game operation. It is possible to make the user recognize. Accordingly, it is possible to provide the user with a new game experience in which the game operation is performed while switching the additional operation device to which the right controller 4 is attached during the game play.
なお、他の実施形態においては、ゲームシステム1は、右コントローラ4が非装着状態となったことに応じて、ゲームを進行させるための処理を一時停止してもよい。このとき、ゲームシステム1は、右コントローラ4がいずれかの付加操作装置に装着されたことに応じて、ゲームを進行させるための処理を再開してもよい。   Note that in another embodiment, the game system 1 may temporarily stop the process for advancing the game in response to the right controller 4 being in a non-wearing state. At this time, the game system 1 may resume processing for advancing the game in response to the right controller 4 being attached to any of the additional operation devices.
また、他の実施形態においては、ゲームシステム1は、右コントローラ4の装着状態が変化したことに応じて乗物オブジェクトが切り替わる場合、乗物オブジェクトの切り替えをユーザに対して確認するようにしてもよい。例えば、上記の場合において、ゲームシステム1は、「乗物オブジェクトを切り替えますか」といったメッセージを表示するとともに、切り替えを実行する旨の指示入力を受け付けるようにしてもよい。なお、この際、ゲームの進行は一時停止されてもよいし、一時停止されなくてもよい。   In another embodiment, the game system 1 may confirm the switching of the vehicle object to the user when the vehicle object is switched in response to a change in the mounting state of the right controller 4. For example, in the above case, the game system 1 may display a message such as “Do you want to switch vehicle objects?” And accept an instruction input for switching. At this time, the progress of the game may be paused or may not be paused.
以上のように、本実施形態においては、ユーザは、右コントローラ4の装着状態をゲーム中において切り替えることによって、操作対象となるオブジェクトを切り替えることができる。したがって、本実施形態によれば、コントローラを装着する付加操作装置を、ゲーム中における状況に応じて取り替えながらゲームをプレイするという、新規なゲーム体験をユーザに提供することができ、興趣性の高いゲームを提供することができる。   As described above, in the present embodiment, the user can switch the object to be operated by switching the wearing state of the right controller 4 during the game. Therefore, according to the present embodiment, it is possible to provide the user with a new game experience of playing the game while replacing the additional operation device to which the controller is mounted according to the situation during the game, which is highly interesting. A game can be offered.
以下、各付加操作装置6〜8の構成と、右コントローラ4が各付加操作装置6〜8に装着される場合に実行される処理とについて、付加操作装置毎に説明を行う。   Hereinafter, the configuration of each additional operation device 6 to 8 and the processing executed when the right controller 4 is attached to each additional operation device 6 to 8 will be described for each additional operation device.
[2−1.第1付加操作装置]
[2−1−1.第1付加操作装置の構成]
図9〜図16を参照して、第1付加操作装置6と、右コントローラ4が第1付加操作装置6に装着された場合におけるゲーム処理について説明する。図9は、第1付加操作装置および右コントローラの一例を示す図である。図10は、図9に示す第1付加操作装置を前側(すなわち、図9に示すZ軸負方向側)から見た図である。
[2-1. First additional operation device]
[2-1-1. Configuration of first additional operation device]
With reference to FIGS. 9 to 16, the game process when the first additional operation device 6 and the right controller 4 are mounted on the first additional operation device 6 will be described. FIG. 9 is a diagram illustrating an example of the first additional operation device and the right controller. 10 is a view of the first additional operating device shown in FIG. 9 as viewed from the front side (that is, the Z-axis negative direction side shown in FIG. 9).
図9に示すように、第1付加操作装置6は、筐体601と、ハンドル602と、左レバー604と、右レバー605とを備える。第1付加操作装置6は、ハンドル602と各レバー604および605を操作可能な操作装置である。第1付加操作装置6は、自動車のハンドルを模した操作装置であり、ハンドル602と各レバー604および605を用いて自動車オブジェクト201を操作するための操作装置である。   As shown in FIG. 9, the first additional operation device 6 includes a housing 601, a handle 602, a left lever 604, and a right lever 605. The first additional operation device 6 is an operation device capable of operating the handle 602 and the levers 604 and 605. The first additional operation device 6 is an operation device simulating a vehicle handle, and is an operation device for operating the vehicle object 201 using the handle 602 and the levers 604 and 605.
ここで、各付加操作装置6〜8の材質は任意であるが、本実施形態においては、各付加操作装置6〜8の各部品(ただし、後述するマーカを除く)の材質は段ボールである。また、各付加操作装置6〜8は、組み立て前の状態でユーザに提供され、ユーザが各付加操作装置6〜8を組み立てるようにしてもよい。各付加操作装置6〜8の材質を段ボールとすることによって、付加操作装置を安価に製造することができる。また、付加操作装置の組み立てをユーザに行わせることによって、ゲームに用いる操作装置を組み立てる楽しみをユーザに提供することができる。   Here, although the material of each additional operation device 6-8 is arbitrary, in this embodiment, the material of each component (however, except the marker mentioned later) of each additional operation device 6-8 is a cardboard. The additional operation devices 6 to 8 may be provided to the user in a state before assembly, and the user may assemble the additional operation devices 6 to 8. By making the material of each additional operation device 6-8 into corrugated board, an additional operation device can be manufactured at low cost. Further, by letting the user assemble the additional operation device, it is possible to provide the user with the pleasure of assembling the operation device used in the game.
図9に示すハンドル602は、筐体601の前面(すなわち、Z軸負方向側の面)に接続されている。ハンドル602は、筐体601に対して回転可能に接続される。具体的には、ハンドル602は、環状の形状を有する環状部と、当該環状部の中心を通って当該環状部の一端から他端まで延びる軸部とを有する。ハンドル602は、環状部の中心付近を回転軸にして、筐体601に対して回転可能である。以上の構成より、ユーザは、ハンドル602を回転させる操作(以下、「回転操作」と呼ぶ)が可能である(図10)。   The handle 602 shown in FIG. 9 is connected to the front surface of the housing 601 (that is, the surface on the Z axis negative direction side). The handle 602 is rotatably connected to the housing 601. Specifically, the handle 602 includes an annular portion having an annular shape and a shaft portion that extends from one end of the annular portion to the other end through the center of the annular portion. The handle 602 is rotatable with respect to the housing 601 with the vicinity of the center of the annular portion as a rotation axis. With the above configuration, the user can perform an operation of rotating the handle 602 (hereinafter referred to as “rotating operation”) (FIG. 10).
また、本実施形態においては、上記軸部において、ハンドル602の回転軸の位置に、挿入孔603が設けられる。挿入孔603は、回転軸に沿って(換言すれば、ハンドルの回転面に垂直な方向に沿って)延びるように設けられる。挿入孔603は、右コントローラ4を装着するために設けられる。すなわち、図9に示すように、挿入孔603に右コントローラ4が挿入されることによって、右コントローラ4が第1付加操作装置6に装着される。なお、本実施形態においては、ユーザは、右コントローラ4を下側(すなわち、赤外撮像部123の窓部68が設けられる側)から挿入孔603に挿入することによって、右コントローラ4を第1付加操作装置6に正しく装着することができる。図示しないが、軸部における挿入孔603の奥には、挿入孔603に挿入された右コントローラ4が当接する底面が設けられる。したがって、挿入孔603に挿入された右コントローラ4は、ある深さまで挿入された場合に、上記底面に当接することによって停止する。   In the present embodiment, an insertion hole 603 is provided at the position of the rotation shaft of the handle 602 in the shaft portion. The insertion hole 603 is provided so as to extend along the rotation axis (in other words, along the direction perpendicular to the rotation surface of the handle). The insertion hole 603 is provided for mounting the right controller 4. That is, as shown in FIG. 9, the right controller 4 is attached to the first additional operation device 6 by inserting the right controller 4 into the insertion hole 603. In the present embodiment, the user inserts the right controller 4 into the insertion hole 603 from the lower side (that is, the side on which the window 68 of the infrared imaging unit 123 is provided), whereby the first controller 4 is moved to the first controller 4. The additional operation device 6 can be correctly attached. Although not shown, a bottom surface on which the right controller 4 inserted into the insertion hole 603 abuts is provided behind the insertion hole 603 in the shaft portion. Therefore, when the right controller 4 inserted into the insertion hole 603 is inserted to a certain depth, the right controller 4 stops by contacting the bottom surface.
なお、図示しないが、挿入孔603の奥に設けられる上記底面においては、第1付加操作装置6に装着された右コントローラ4の窓部68に対向する位置に、孔が設けられる。したがって、第1付加操作装置6に装着された右コントローラ4の赤外撮像部123は、上記底面の孔を介して、筐体601の内部を撮像することが可能である。   Although not shown, a hole is provided at a position facing the window portion 68 of the right controller 4 attached to the first additional operation device 6 on the bottom surface provided in the back of the insertion hole 603. Therefore, the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6 can image the inside of the housing 601 through the hole on the bottom surface.
図9に示す各レバー604および605は、筐体601の側面から突出するように設けられる。具体的には、左レバー604は、筐体601の左上側(すなわち、図9に示すX軸負方向側であってY軸正方向側)の側面に設けられる。右レバー605は、筐体601の右上側(すなわち、図9に示すX軸正方向側であってY軸正方向側)の側面に設けられる。各レバー604および605は、筐体601に対して上下方向に動作可能に接続されている。以下、各レバー604および605の詳細な構成について説明する。   Each lever 604 and 605 shown in FIG. 9 is provided so as to protrude from the side surface of the housing 601. Specifically, the left lever 604 is provided on the left upper side of the housing 601 (that is, the X axis negative direction side and the Y axis positive direction side shown in FIG. 9). The right lever 605 is provided on the side surface on the upper right side of the housing 601 (that is, the X axis positive direction side and the Y axis positive direction side shown in FIG. 9). Each lever 604 and 605 is operably connected to the housing 601 in the vertical direction. Hereinafter, the detailed configuration of each lever 604 and 605 will be described.
図11は、筐体601の内部構成の一例を示す図である。なお、図11は、筐体601の前側の面(すなわち、ハンドル602が接続される面)を取り外して筐体601の内部を見た図である。図9および図11に示すように、筐体601における左上側の側面には、左レバー用孔606が設けられる。筐体601における右上側の側面には、右レバー用孔607が設けられる。ここで、各レバー604および605は、棒状の部材である。図11に示すように、左レバー604の一端は、筐体601の内部において筐体601に対して回転可能に接続されており、左レバー604の他端は、左レバー用孔606を介して、筐体601の外部に突出するように設けられる。また、図11に示すように、右レバー605の一端は、筐体601の内部において筐体601に対して回転可能に接続されており、右レバー605の他端は、右レバー用孔607を介して、筐体601の外部に突出するように設けられる。なお、各レバー604および605の回転軸の向きは、ハンドル602の回転軸の向きと実質的に同じ(換言すれば、平行)である。   FIG. 11 is a diagram illustrating an example of the internal configuration of the housing 601. 11 is a view of the inside of the housing 601 with the front surface of the housing 601 (that is, the surface to which the handle 602 is connected) removed. As shown in FIGS. 9 and 11, a left lever hole 606 is provided on the upper left side surface of the housing 601. A right lever hole 607 is provided on the upper right side surface of the housing 601. Here, each lever 604 and 605 is a rod-shaped member. As shown in FIG. 11, one end of the left lever 604 is rotatably connected to the housing 601 inside the housing 601, and the other end of the left lever 604 is connected via a left lever hole 606. , Provided so as to protrude outside the housing 601. Also, as shown in FIG. 11, one end of the right lever 605 is rotatably connected to the housing 601 inside the housing 601, and the other end of the right lever 605 has a right lever hole 607. And is provided so as to protrude outside the housing 601. The direction of the rotation axis of each lever 604 and 605 is substantially the same as the direction of the rotation axis of the handle 602 (in other words, parallel).
左レバー用孔606は、左レバー604が回転することができるような(換言すれば、筐体601の外部に突出した左レバー604の端部が上下方向に移動できるような)大きさに設けられる。また、右レバー用孔607は、右レバー605が回転することができるような(換言すれば、筐体601の外部に突出した右レバー605の端部が上下方向に移動できるような)大きさに設けられる。また、各レバー604および605は、それぞれ、図示しない付勢部材によって、筐体601の外部に突出した端部が上向きに移動する方向に付勢されている。したがって、各レバー604および605は、ユーザによって操作されていない状態においては、図9および図11に示すように、各レバー用孔606および607の上側の縁に当接して停止した状態となる。以上に説明した構成によって、ユーザは、各レバー604および605を下げる操作(以下、「下げ操作」と呼ぶ)が可能である(図10)。   The left lever hole 606 is provided in such a size that the left lever 604 can rotate (in other words, the end of the left lever 604 protruding to the outside of the housing 601 can move in the vertical direction). It is done. The right lever hole 607 is sized so that the right lever 605 can rotate (in other words, the end of the right lever 605 protruding outside the housing 601 can move in the vertical direction). Is provided. Further, each lever 604 and 605 is urged by an urging member (not shown) in a direction in which an end protruding outside the housing 601 moves upward. Accordingly, when the levers 604 and 605 are not operated by the user, the levers 604 and 605 are brought into contact with the upper edges of the lever holes 606 and 607 and stopped as shown in FIGS. With the configuration described above, the user can perform an operation of lowering the levers 604 and 605 (hereinafter referred to as “lowering operation”) (FIG. 10).
[2−1−2.マーカに基づく処理]
本実施形態においては、各付加操作装置6〜8の内部には、右コントローラ4の赤外撮像部123が撮像可能なマーカが設けられる。本実施形態においては、ゲームシステム1は、付加操作装置に装着された右コントローラ4の赤外撮像部123によってマーカを撮像し、撮像画像からマーカを検出する。そして、ゲームシステム1は、マーカの検出結果に基づいて付加操作装置の種別を判別したり、付加操作装置に対して行われた操作(具体的には、第1付加操作装置6の場合は、回転操作および下げ操作)を判別したりする。以下、マーカを用いた判別処理の詳細について説明する。
[2-1-2. Processing based on marker]
In the present embodiment, a marker that can be imaged by the infrared imaging unit 123 of the right controller 4 is provided in each of the additional operation devices 6 to 8. In the present embodiment, the game system 1 images a marker by the infrared imaging unit 123 of the right controller 4 attached to the additional operation device, and detects the marker from the captured image. Then, the game system 1 determines the type of the additional operation device based on the marker detection result, or performs an operation performed on the additional operation device (specifically, in the case of the first additional operation device 6, Rotating operation and lowering operation). Details of the discrimination process using the marker will be described below.
図11に示すように、筐体601の内部には、第1付加操作装置6に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に(換言すれば、赤外撮像部123の撮像範囲内に)、被撮像面611が設けられる。被撮像面611には、第1基本マーカ612が設けられる。なお、本明細書においては、右コントローラ4が装着された付加操作装置の種類を判別するために用いられるマーカを「基本マーカ」と呼ぶ。第1基本マーカ612は、第1付加操作装置6に設けられる基本マーカであり、右コントローラ4が第1付加操作装置6に装着されたことを判別するために用いられる。   As illustrated in FIG. 11, the housing 601 has a position where the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6 can capture an image (in other words, the infrared imaging unit 123. The imaging surface 611 is provided within the imaging range. A first basic marker 612 is provided on the imaging surface 611. In the present specification, a marker used to determine the type of the additional operation device to which the right controller 4 is attached is referred to as a “basic marker”. The first basic marker 612 is a basic marker provided in the first additional operation device 6 and is used to determine that the right controller 4 is attached to the first additional operation device 6.
ここで、マーカは、赤外撮像部123が付加操作装置の筐体の内部の壁面における他の部分(すなわち、マーカ以外の部分)と区別することが可能な材質(および/または色)で構成される。マーカは、筐体の内側面に描かれた図形、絵柄、または、図形と絵柄との組み合わせであってもよいし、筐体の内側面に取り付けられた部品であってもよい。また、マーカは、例えば再帰性反射の特性を有する材質で構成されてもよい。これによれば、赤外発光部124からの赤外光が赤外撮像部123の方へより多く反射するので、赤外撮像部123によってマーカをより認識しやすくなる。また、赤外撮像部123から離れた位置のマーカでも認識しやすくなる。また、再帰性反射材の代わりに、マーカとして赤外発光部124を筐体内に設ける構成をとってもよい。   Here, the marker is made of a material (and / or color) that the infrared imaging unit 123 can distinguish from other parts (that is, parts other than the marker) on the inner wall surface of the casing of the additional operation device. Is done. The marker may be a figure drawn on the inner surface of the casing, a picture, a combination of a figure and a picture, or a component attached to the inner side of the casing. The marker may be made of a material having, for example, retroreflective characteristics. According to this, since the infrared light from the infrared light emitting unit 124 is reflected more toward the infrared imaging unit 123, the infrared imaging unit 123 can more easily recognize the marker. Further, it is easy to recognize even a marker at a position away from the infrared imaging unit 123. Moreover, you may take the structure which provides the infrared light emission part 124 in a housing | casing as a marker instead of a retroreflection material.
本実施形態においては、第1基本マーカ612は、4つの正方形の部分からなる形状を有する(図11)。詳細は後述するが、各付加操作装置6〜8に設けられる基本マーカは、互いに異なる形状を有する。図11に示す例においては、第1基本マーカ612は、当該第1基本マーカ612を形成する4つの正方形の部分のうち1つの正方形が他の3つの正方形よりも大きい形状である。したがって、ゲームシステム1は、右コントローラ4の赤外撮像部123による撮像画像において基本マーカを検出した場合、検出した基本マーカの形状に基づいて、右コントローラ4が装着された付加操作装置の種類を判別することができる。例えば、ゲームシステム1は、上記撮像画像において第1基本マーカ612を検出した場合、右コントローラ4が第1付加操作装置6に装着されたと判別することができる。なお、本明細書においては、「マーカの形状」とは、マーカの大きさを含む概念である。つまり、互いに大きさが異なる2つのマーカは、互い異なる形状を有すると言える。   In the present embodiment, the first basic marker 612 has a shape composed of four square portions (FIG. 11). Although details will be described later, the basic markers provided in the additional operation devices 6 to 8 have different shapes. In the example illustrated in FIG. 11, the first basic marker 612 has a shape in which one of the four square portions forming the first basic marker 612 is larger than the other three squares. Therefore, when the game system 1 detects the basic marker in the image captured by the infrared imaging unit 123 of the right controller 4, the game system 1 determines the type of the additional operation device to which the right controller 4 is attached based on the detected shape of the basic marker. Can be determined. For example, the game system 1 can determine that the right controller 4 is attached to the first additional operation device 6 when the first basic marker 612 is detected in the captured image. In the present specification, the “marker shape” is a concept including the size of the marker. That is, it can be said that two markers having different sizes have different shapes.
また、本実施形態においては、第1基本マーカ612は、ハンドル602に対する回転操作を検出するために用いられる。以下、図12および図13を参照して、回転操作を検出する方法について説明する。   In the present embodiment, the first basic marker 612 is used to detect a rotation operation on the handle 602. Hereinafter, a method for detecting a rotation operation will be described with reference to FIGS.
図12は、第1付加操作装置6のハンドル602が基準状態(具体的には、軸部が水平になる状態)となる場合において赤外撮像部123によって撮像された撮像画像の一例を示す図である。図13は、第1付加操作装置6のハンドル602が基準状態から回転した状態となる場合において赤外撮像部123によって撮像された撮像画像の一例を示す図である。図12および図13に示す第1基本マーカ画像622は、撮像画像において第1基本マーカ612を示す画像である。   FIG. 12 is a diagram illustrating an example of a captured image captured by the infrared imaging unit 123 when the handle 602 of the first additional operation device 6 is in a reference state (specifically, a state where the shaft portion is horizontal). It is. FIG. 13 is a diagram illustrating an example of a captured image captured by the infrared imaging unit 123 when the handle 602 of the first additional operation device 6 is rotated from the reference state. The first basic marker image 622 shown in FIGS. 12 and 13 is an image showing the first basic marker 612 in the captured image.
回転操作によってハンドル602が回転すると、ハンドル602に装着された右コントローラ4も回転する。そのため、ハンドル602の回転角度に応じて、撮像画像に含まれる第1基本マーカ画像622の向きが変化する。したがって、ゲームシステム1は、撮像画像における第1基本マーカ画像622の向きに基づいてハンドル602の回転角度を算出することができ、回転角度に基づいて回転操作を検出することができる。具体的には、ゲームシステム1は、回転操作が行われたか否か、および/または、回転操作が行われた回転量を検出する。例えば、図12および図13に示す例においては、図13に示す第1基本マーカ画像622は、図12に示す第1基本マーカ画像622を基準として左に90°回転した向きで配置されている。したがって、ゲームシステム1は、図13に示す撮像画像が右コントローラ4から取得される場合、ハンドル602は、基準状態から右に90°回転した状態であると判別することができる。   When the handle 602 is rotated by the rotation operation, the right controller 4 attached to the handle 602 is also rotated. Therefore, the direction of the first basic marker image 622 included in the captured image changes according to the rotation angle of the handle 602. Therefore, the game system 1 can calculate the rotation angle of the handle 602 based on the orientation of the first basic marker image 622 in the captured image, and can detect the rotation operation based on the rotation angle. Specifically, the game system 1 detects whether or not a rotation operation has been performed and / or the amount of rotation by which the rotation operation has been performed. For example, in the example shown in FIGS. 12 and 13, the first basic marker image 622 shown in FIG. 13 is arranged in a direction rotated 90 ° to the left with respect to the first basic marker image 622 shown in FIG. . Therefore, when the captured image shown in FIG. 13 is acquired from the right controller 4, the game system 1 can determine that the handle 602 is rotated 90 ° to the right from the reference state.
以上のように、右コントローラ4が装着された付加操作装置の種類を判別するために用いられる基本マーカは、付加操作装置に対する操作を検出するためにも用いられてもよい。   As described above, the basic marker used to determine the type of the additional operation device on which the right controller 4 is mounted may be used to detect an operation on the additional operation device.
図11に示すように、左レバー604のうちで筐体601の内部となる位置であって、第1付加操作装置6に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、左レバーマーカ613が設けられる。左レバーマーカ613は、左レバー604に対する操作を検出するために用いられる。以下、図11、図12、図14、および図15を参照して、回転操作を検出する方法について説明する。   As shown in FIG. 11, the position of the left lever 604 inside the housing 601 is a position where the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6 can capture an image. A left lever marker 613 is provided. The left lever marker 613 is used to detect an operation on the left lever 604. Hereinafter, a method for detecting a rotation operation will be described with reference to FIGS. 11, 12, 14, and 15.
図14は、左レバー604に対する下げ操作が行われた状態における第1付加操作装置6の一例を示す図である。また、図15は、左レバー604に対する下げ操作が行われた状態において赤外撮像部123によって撮像された撮像画像の一例を示す図である。なお、上述した図11は、左レバー604に対する下げ操作が行われていない状態における第1付加操作装置6の一例を示す図であり、図12は、当該状態において赤外撮像部123によって撮像された撮像画像の一例を示す。なお、図12および図15に示す左レバーマーカ画像623は、撮像画像において左レバーマーカ613を示す画像である。   FIG. 14 is a diagram illustrating an example of the first additional operation device 6 in a state where the lowering operation with respect to the left lever 604 is performed. FIG. 15 is a diagram illustrating an example of a captured image captured by the infrared imaging unit 123 in a state where the lowering operation with respect to the left lever 604 is performed. 11 described above is a diagram illustrating an example of the first additional operation device 6 in a state where the lowering operation with respect to the left lever 604 is not performed, and FIG. 12 is captured by the infrared imaging unit 123 in this state. An example of the captured image is shown. Note that the left lever marker image 623 shown in FIGS. 12 and 15 is an image showing the left lever marker 613 in the captured image.
下げ操作によって左レバー604が下方に動かされると、第1付加操作装置6に装着された右コントローラ4の赤外撮像部123から見た左レバーマーカ613の位置および向きは、左レバー604に対する下げ操作が行われていない状態における左レバーマーカ613の位置および向きから変化する。そのため、撮像画像における左レバーマーカ画像623の位置および向きは、左レバー604に対する下げ操作が行われていない状態(図12)と下げ操作が行われた状態(図15)とで変化する。具体的には、左レバー604に対する下げ操作が行われている状態における左レバーマーカ画像623の位置は、左レバー604に対する下げ操作が行われていない状態における左レバーマーカ画像623の位置よりも左下の方へ移動している。したがって、ゲームシステム1は、図15に示す撮像画像が右コントローラ4から取得される場合、左レバー604に対する下げ操作が行われている状態であると判別することができる。   When the left lever 604 is moved downward by the lowering operation, the position and orientation of the left lever marker 613 viewed from the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6 are lowered with respect to the left lever 604. The position changes from the position and orientation of the left lever marker 613 when no operation is performed. Therefore, the position and orientation of the left lever marker image 623 in the captured image change between a state where the lowering operation is not performed on the left lever 604 (FIG. 12) and a state where the lowering operation is performed (FIG. 15). Specifically, the position of the left lever marker image 623 when the lowering operation is performed on the left lever 604 is lower left than the position of the left lever marker image 623 when the lowering operation is not performed on the left lever 604. It is moving toward. Therefore, when the captured image shown in FIG. 15 is acquired from the right controller 4, the game system 1 can determine that the lowering operation for the left lever 604 is being performed.
なお、本実施形態においては、第1付加操作装置6に装着された右コントローラ4は、ハンドル602の回転に応じて回転する。そのため、ゲームシステム1は、撮像画像における左レバーマーカ画像623の位置および向きとして、第1基本マーカ画像622を基準とした位置および向きを算出し、算出された位置および向きに基づいて左レバー604に対する下げ操作の検出を行う。   In the present embodiment, the right controller 4 attached to the first additional operation device 6 rotates according to the rotation of the handle 602. Therefore, the game system 1 calculates the position and orientation with reference to the first basic marker image 622 as the position and orientation of the left lever marker image 623 in the captured image, and the left lever 604 based on the calculated position and orientation. The lowering operation is detected.
また、図11に示すように、右レバー605のうちで筐体601の内部となる位置に、右レバーマーカ614が設けられる。右レバーマーカ614は、右レバー605に対する操作を検出するために用いられる。右レバー605に対する下げ操作の検出は、左レバー604に対する下げ操作の検出と同様に行うことができる。すなわち、ゲームシステム1は、撮像画像における右レバーマーカ画像624の位置および向き(具体的には、第1基本マーカ画像622を基準とした位置および向き)を算出し、算出された位置および向きに基づいて右レバー605に対する下げ操作の検出を行う。   Further, as shown in FIG. 11, a right lever marker 614 is provided at a position inside the housing 601 in the right lever 605. The right lever marker 614 is used to detect an operation on the right lever 605. The detection of the lowering operation on the right lever 605 can be performed in the same manner as the detection of the lowering operation on the left lever 604. That is, the game system 1 calculates the position and orientation of the right lever marker image 624 in the captured image (specifically, the position and orientation with reference to the first basic marker image 622), and the calculated position and orientation are calculated. Based on this, the lowering operation for the right lever 605 is detected.
[2−1−3.右コントローラ4が第1付加操作装置6に装着された場合におけるゲーム処理]
図16は、右コントローラ4が第1付加操作装置6に装着される場合に表示されるゲーム画像の一例を示す図である。右コントローラ4が第1付加操作装置6に装着されると、ゲームシステム1は、右コントローラ4の赤外撮像部123から取得された撮像画像に基づいて、右コントローラ4が第1付加操作装置6に装着されたことを判別する。このとき、ゲームシステム1は、図16に示すように、プレイヤキャラクタ200が自動車オブジェクト201に搭乗した様子を表すゲーム画像を表示装置に表示する。なお、本実施形態において、ゲーム画像が表示される表示装置は、上述のディスプレイ12でもよいし、据置型モニタでもよい。
[2-1-3. Game processing when right controller 4 is attached to first additional operation device 6]
FIG. 16 is a diagram illustrating an example of a game image displayed when the right controller 4 is attached to the first additional operation device 6. When the right controller 4 is attached to the first additional operation device 6, the game system 1 causes the right controller 4 to use the first additional operation device 6 based on the captured image acquired from the infrared imaging unit 123 of the right controller 4. It is discriminated that it is attached to. At this time, as shown in FIG. 16, the game system 1 displays a game image representing a state in which the player character 200 has boarded the car object 201 on the display device. In the present embodiment, the display device on which the game image is displayed may be the display 12 described above or a stationary monitor.
また、右コントローラ4が第1付加操作装置6に装着されたことを判別した場合、ゲームシステム1は、第1付加操作装置6に対する各操作(具体的には、回転操作および下げ操作)を検出し、ユーザによって行われたこれらの操作に応じて自動車オブジェクト201の動作を制御する。なお、自動車オブジェクト201の動作をユーザの操作に応じて制御する方法は任意である。例えば、本実施形態においては、ゲームシステム1は、ハンドル602に対する回転操作に応じて自動車オブジェクト201の進行方向を制御する。また、ゲームシステム1は、左レバー604に対する下げ操作に応じて自動車オブジェクト201のギヤを変更し、右レバー605に対する下げ操作に応じて自動車オブジェクト201から弾を発射する。   When it is determined that the right controller 4 is attached to the first additional operation device 6, the game system 1 detects each operation (specifically, a rotation operation and a lowering operation) on the first additional operation device 6. Then, the operation of the automobile object 201 is controlled in accordance with these operations performed by the user. In addition, the method of controlling the operation | movement of the motor vehicle object 201 according to a user's operation is arbitrary. For example, in the present embodiment, the game system 1 controls the traveling direction of the automobile object 201 in accordance with a rotation operation on the handle 602. In addition, the game system 1 changes the gear of the automobile object 201 according to the lowering operation with respect to the left lever 604, and fires a bullet from the automobile object 201 according to the lowering operation with respect to the right lever 605.
以上のようにして、ユーザは、右コントローラ4を第1付加操作装置6に装着することによって、自動車オブジェクト201をゲーム空間に出現させるとともに、自動車オブジェクト201を操作するゲームをプレイすることができる。   As described above, the user can play the game in which the car object 201 appears in the game space and the car object 201 is operated by attaching the right controller 4 to the first additional operation device 6.
[2−2.第2付加操作装置]
[2−2−1.第2付加操作装置の構成]
図17〜図22を参照して、第2付加操作装置7と、右コントローラ4が第2付加操作装置7に装着された場合におけるゲーム処理について説明する。図17は、第2付加操作装置および右コントローラの一例を示す図である。また、図18は、図17に示す第2付加操作装置7を上側(すなわち、図17に示すY軸正方向側)から見た図である。
[2-2. Second additional operation device]
[2-2-1. Configuration of second additional operation device]
With reference to FIGS. 17 to 22, the game process when the second additional operation device 7 and the right controller 4 are mounted on the second additional operation device 7 will be described. FIG. 17 is a diagram illustrating an example of the second additional operation device and the right controller. FIG. 18 is a view of the second additional operating device 7 shown in FIG. 17 as viewed from above (that is, the Y axis positive direction side shown in FIG. 17).
図17に示すように、第2付加操作装置7は、台座部701と、把持部702と、ボタン704とを備える。第2付加操作装置7は、把持部702と、ボタン704とを操作可能な操作装置である。第2付加操作装置7は、飛行機の操縦桿を模した操作装置であり、操縦桿のような把持部702を用いて飛行機オブジェクト202を操作するための操作装置である。   As shown in FIG. 17, the second additional operation device 7 includes a pedestal portion 701, a grip portion 702, and a button 704. The second additional operation device 7 is an operation device capable of operating the grip portion 702 and the button 704. The second additional operation device 7 is an operation device imitating an airplane control stick, and is an operation apparatus for operating the airplane object 202 using a grip 702 such as a control stick.
図17に示す第2付加操作装置7において、把持部702は、台座部701に接続されている。把持部702は、台座部701に対して傾倒可能である。なお、図17においては、把持部702の傾倒方向を表す前後左右の4方向の矢印を示しているが、把持部702は、把持部702の長手方向が鉛直となる基準状態から、任意の方向に傾倒することが可能である。   In the second additional operation device 7 shown in FIG. 17, the grip portion 702 is connected to the pedestal portion 701. The grip portion 702 can be tilted with respect to the pedestal portion 701. In FIG. 17, four front, rear, left, and right arrows indicating the tilting direction of the gripping portion 702 are shown. However, the gripping portion 702 is in any direction from a reference state in which the longitudinal direction of the gripping portion 702 is vertical. It is possible to lean on.
図17に示すように、把持部702は、上面に挿入孔703を有する。挿入孔703は、把持部702の長手方向に沿って延びるように設けられる。挿入孔703は、右コントローラ4を装着するために設けられる。すなわち、図17に示すように、挿入孔703に右コントローラ4が挿入されることによって、右コントローラ4が第2付加操作装置7に装着される。なお、本実施形態においては、ユーザは、右コントローラ4を下側から挿入孔703に挿入することによって、右コントローラ4を第2付加操作装置7に正しく装着することができる。上記のように、把持部702の上側部分は、筒状に形成され、筒状部分の内部に右コントローラ4を挿入可能である。また、図17に示すように、筒状部分の側面には溝が設けられる。右コントローラ4が把持部702に挿入される際には、上記溝に沿ってアナログスティック52が挿入され、溝の端部にアナログスティック52が当接することによって、右コントローラ4の把持部702に対する挿入が停止される。   As shown in FIG. 17, the grip portion 702 has an insertion hole 703 on the upper surface. The insertion hole 703 is provided so as to extend along the longitudinal direction of the grip portion 702. The insertion hole 703 is provided for mounting the right controller 4. That is, as shown in FIG. 17, the right controller 4 is attached to the second additional operation device 7 by inserting the right controller 4 into the insertion hole 703. In the present embodiment, the user can correctly attach the right controller 4 to the second additional operation device 7 by inserting the right controller 4 into the insertion hole 703 from below. As described above, the upper portion of the grip portion 702 is formed in a cylindrical shape, and the right controller 4 can be inserted into the cylindrical portion. Moreover, as shown in FIG. 17, a groove is provided on the side surface of the cylindrical portion. When the right controller 4 is inserted into the grip portion 702, the analog stick 52 is inserted along the groove, and the analog stick 52 is brought into contact with the end of the groove, whereby the right controller 4 is inserted into the grip portion 702. Is stopped.
図18に示すように、把持部702の挿入孔703は、把持部702における内部の空洞に繋がっている。したがって、挿入孔703に挿入されて把持部702に装着された右コントローラ4の赤外撮像部123は、把持部702の内部を撮像可能である。   As shown in FIG. 18, the insertion hole 703 of the grip portion 702 is connected to an internal cavity in the grip portion 702. Therefore, the infrared imaging unit 123 of the right controller 4 inserted into the insertion hole 703 and attached to the grip unit 702 can image the inside of the grip unit 702.
図17に示すように、ボタン704は、把持部702に設けられ、具体的には、把持部702の筒上部分の側面に設けられる。ボタン704は、上から押下可能に設けられる。なお、図18に示すように、把持部702の上記筒状部分の側面のうちのボタン704が設けられる側面には孔705が設けられる。ボタン704の一部は、上記孔705から突出して設けられる(図18)。そのため、ボタン704の上記一部は、第2付加操作装置7に装着された右コントローラ4の赤外撮像部123によって撮像可能となっている。   As shown in FIG. 17, the button 704 is provided on the grip portion 702, specifically, on the side surface of the upper part of the cylinder of the grip portion 702. The button 704 is provided so as to be pressed from above. As shown in FIG. 18, a hole 705 is provided on a side surface on which the button 704 is provided among the side surfaces of the cylindrical portion of the grip portion 702. A part of the button 704 is provided so as to protrude from the hole 705 (FIG. 18). Therefore, the part of the button 704 can be imaged by the infrared imaging unit 123 of the right controller 4 attached to the second additional operation device 7.
以上の構成より、ユーザは、把持部702を傾倒する操作(以下、「傾倒操作」と呼ぶ)と、ボタン704を押下する操作(以下、「押下操作」と呼ぶ)とを行うことが可能である(図17)。   With the above configuration, the user can perform an operation of tilting the grip portion 702 (hereinafter referred to as “tilting operation”) and an operation of pressing the button 704 (hereinafter referred to as “pressing operation”). There is (FIG. 17).
[2−2−2.マーカに基づく処理]
第2付加操作装置7においても第1付加操作装置6と同様、付加操作装置の内部には、赤外撮像部123が撮像可能なマーカが設けられる。ゲームシステム1は、第2付加操作装置7に装着された右コントローラ4の赤外撮像部123による撮像画像からマーカを検出する。そして、ゲームシステム1は、マーカの検出結果に基づいて、右コントローラ4が第2付加操作装置7に装着されたことを判別したり、第2付加操作装置7に対して行われた操作(具体的には、押下操作)を検出したりする。
[2-2-2. Processing based on marker]
In the second additional operation device 7, as in the first additional operation device 6, a marker that can be imaged by the infrared imaging unit 123 is provided inside the additional operation device. The game system 1 detects a marker from an image captured by the infrared imaging unit 123 of the right controller 4 attached to the second additional operation device 7. Then, the game system 1 determines that the right controller 4 is attached to the second additional operation device 7 based on the marker detection result, or performs an operation (specifically) performed on the second additional operation device 7. Specifically, a pressing operation) is detected.
図18に示すように、把持部702の内部の底面には、第2付加操作装置7に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、第2基本マーカ711が設けられる。第2基本マーカ711の形状は任意であるが、第2基本マーカ711は、上述の第1基本マーカ612および後述する第3基本マーカ811とは異なる形状を有する。図18に示す例においては、第2基本マーカ711は、当該第2基本マーカ711を形成する4つの正方形の部分のうち1つの正方形が他の3つの正方形よりも小さい形状である。   As shown in FIG. 18, the second basic marker 711 is provided on the bottom surface inside the grip portion 702 at a position where the infrared imaging unit 123 of the right controller 4 attached to the second additional operation device 7 can capture images. It is done. The shape of the second basic marker 711 is arbitrary, but the second basic marker 711 has a shape different from that of the first basic marker 612 described above and a third basic marker 811 described later. In the example illustrated in FIG. 18, the second basic marker 711 has a shape in which one square among the four square portions forming the second basic marker 711 is smaller than the other three squares.
第2付加操作装置7についても第1付加操作装置6と同様、ゲームシステム1は、基本マーカを用いて、右コントローラ4が装着された付加操作装置の種類を判別する。すなわち、ゲームシステム1は、右コントローラ4から取得した撮像画像において第2基本マーカ711を検出した場合、右コントローラ4が第2付加操作装置7に装着されたと判別する。   As with the first additional operation device 6, the game system 1 also determines the type of the additional operation device to which the right controller 4 is attached, using the basic marker. That is, when the game system 1 detects the second basic marker 711 in the captured image acquired from the right controller 4, the game system 1 determines that the right controller 4 is attached to the second additional operation device 7.
図18に示すように、ボタン704における、第2付加操作装置7に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、ボタンマーカ712が設けられる。具体的には、ボタンマーカ712は、ボタン704のうちで、把持部702の上記孔705から突出する部分に設けられる。ボタンマーカ712は、ボタン704に対する押下操作を検出するために用いられる。   As illustrated in FIG. 18, a button marker 712 is provided at a position where the infrared imaging unit 123 of the right controller 4 mounted on the second additional operation device 7 can capture an image. Specifically, the button marker 712 is provided in a portion of the button 704 that protrudes from the hole 705 of the grip portion 702. The button marker 712 is used for detecting a pressing operation on the button 704.
図19は、把持部のボタンが押下された状態における把持部の内部の一例を示す図である。なお、図18は、把持部のボタンが押下されていない状態における把持部の内部の一例を示す図である。第1付加操作装置6に装着された右コントローラ4の赤外撮像部123から見たボタンマーカ712の位置は、把持部702のボタン704が押下されていない状態(図18)と把持部702のボタン704が押下された状態(図19)とで異なる。具体的には、ボタン704が押下された状態におけるボタンマーカ712の位置は、ボタン704が押下されていない状態におけるボタンマーカ712の位置よりも右方向(換言すれば、第2基本マーカ711に近づく方向)へ移動する。したがって、ゲームシステム1は、第1付加操作装置6に装着された右コントローラ4の赤外撮像部123によって撮像された撮像画像におけるボタンマーカ712を示す画像の位置に基づいて、ボタン704に対する操作を検出することができる。   FIG. 19 is a diagram illustrating an example of the inside of the gripping unit in a state where the button of the gripping unit is pressed. FIG. 18 is a diagram illustrating an example of the inside of the gripping unit in a state where the button of the gripping unit is not pressed. The position of the button marker 712 as viewed from the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6 is the state in which the button 704 of the grip unit 702 is not pressed (FIG. 18) and the position of the grip unit 702. This is different from the state where the button 704 is pressed (FIG. 19). Specifically, the position of the button marker 712 when the button 704 is pressed is more rightward than the position of the button marker 712 when the button 704 is not pressed (in other words, closer to the second basic marker 711). Direction). Therefore, the game system 1 performs an operation on the button 704 based on the position of the image indicating the button marker 712 in the captured image captured by the infrared imaging unit 123 of the right controller 4 attached to the first additional operation device 6. Can be detected.
また、把持部702に対する傾倒操作は、右コントローラ4の加速度センサの検出結果に基づいて検出される。すなわち、ゲームシステム1は、右コントローラ4が備える加速度センサ89によって検出される加速度に基づいて、右コントローラ4の姿勢を算出する。そして、ゲームシステム1は、算出された姿勢に基づいて、右コントローラ4および把持部702が上述の基準状態に対して傾倒した方向および傾倒した量を算出する。これによって、ゲームシステム1は、把持部702に対する傾倒操作を検出することができる。   Further, the tilting operation with respect to the grip portion 702 is detected based on the detection result of the acceleration sensor of the right controller 4. That is, the game system 1 calculates the attitude of the right controller 4 based on the acceleration detected by the acceleration sensor 89 provided in the right controller 4. Then, the game system 1 calculates the direction and amount of tilt of the right controller 4 and the grip portion 702 with respect to the above-described reference state based on the calculated posture. Thereby, the game system 1 can detect a tilting operation with respect to the grip portion 702.
上記のように、ゲームシステム1は、付加操作装置に対する操作を、マーカを用いて検出してもよいし、当該付加操作装置に装着された右コントローラ4からの操作データを用いて検出してもよい。また、ゲームシステム1は、付加操作装置に対する操作を、マーカと操作データとの両方を用いて検出してもよい。   As described above, the game system 1 may detect an operation on the additional operation device using the marker, or may detect the operation using the operation data from the right controller 4 attached to the additional operation device. Good. The game system 1 may detect an operation on the additional operation device using both the marker and the operation data.
[2−2−3.マーカが検出された場合におけるゲーム処理]
図20は、右コントローラ4が第2付加操作装置7に装着される場合に表示されるゲーム画像の一例を示す図である。右コントローラ4が第2付加操作装置7に装着されると、ゲームシステム1は、右コントローラ4の赤外撮像部123から取得された撮像画像に基づいて、右コントローラ4が第2付加操作装置7に装着されたことを判別する。このとき、ゲームシステム1は、図20に示すように、プレイヤキャラクタ200が飛行機オブジェクト202に搭乗した様子を表すゲーム画像を表示装置に表示する。
[2-2-3. Game processing when marker is detected]
FIG. 20 is a diagram illustrating an example of a game image displayed when the right controller 4 is attached to the second additional operation device 7. When the right controller 4 is attached to the second additional operation device 7, the game system 1 causes the right controller 4 to use the second additional operation device 7 based on the captured image acquired from the infrared imaging unit 123 of the right controller 4. It is discriminated that it is attached to. At this time, as shown in FIG. 20, the game system 1 displays a game image representing a state in which the player character 200 has boarded the airplane object 202 on the display device.
また、右コントローラ4が第2付加操作装置7に装着されたことを判別した場合、ゲームシステム1は、第2付加操作装置7に対する各操作(具体的には、傾倒操作および押下操作)を検出し、ユーザによって行われたこれらの操作に応じて飛行機オブジェクト202の動作を制御する。なお、飛行機オブジェクト202の動作をユーザの操作に応じて制御する方法は任意である。例えば、本実施形態においては、ゲームシステム1は、把持部702に対する傾倒操作に応じて飛行機オブジェクト202の進行方向を制御する。また、ゲームシステム1は、ボタン704に対する押下操作に応じて、飛行機オブジェクト202から弾を発射する。   When it is determined that the right controller 4 is attached to the second additional operation device 7, the game system 1 detects each operation (specifically, tilting operation and pressing operation) on the second additional operation device 7. The operation of the airplane object 202 is controlled in accordance with these operations performed by the user. Note that a method for controlling the operation of the airplane object 202 in accordance with a user operation is arbitrary. For example, in the present embodiment, the game system 1 controls the traveling direction of the airplane object 202 according to the tilting operation with respect to the grip portion 702. In addition, the game system 1 fires a bullet from the airplane object 202 in response to a pressing operation on the button 704.
以上のようにして、ユーザは、右コントローラ4を第2付加操作装置7に装着することによって、飛行機オブジェクト202をゲーム空間に出現させるとともに、飛行機オブジェクト202を操作するゲームをプレイすることができる。   As described above, by attaching the right controller 4 to the second additional operation device 7, the user can cause the airplane object 202 to appear in the game space and play a game for operating the airplane object 202.
[2−2−4.第2装着状態から非装着状態へと移行した場合における処理]
上述のように、上記ゲームアプリケーションによるゲーム中において、右コントローラ4がいずれの付加操作装置にも装着されない場合、プレイヤキャラクタ200は乗物オブジェクトに搭乗しない状態でゲーム空間に配置される。なお、ゲームシステム1は、右コントローラ4から取得される撮像画像からいずれの基本マーカも検出されない場合、右コントローラ4がいずれの付加操作装置にも装着されていないと判別する。
[2-2-4. Processing when transitioning from the second wearing state to the non-wearing state]
As described above, when the right controller 4 is not mounted on any of the additional operation devices during the game by the game application, the player character 200 is placed in the game space without being boarded on the vehicle object. Note that the game system 1 determines that the right controller 4 is not attached to any additional operation device when no basic marker is detected from the captured image acquired from the right controller 4.
ここで、本実施形態においては、右コントローラ4に関する装着状態が、第2装着状態から非装着状態へと変化した場合、プレイヤキャラクタ200は、飛行機オブジェクト202に搭乗した状態から、パラシュートを装備した状態へと変化する。   Here, in the present embodiment, when the wearing state of the right controller 4 changes from the second wearing state to the non-wearing state, the player character 200 is equipped with a parachute from the state of boarding the airplane object 202. To change.
図21は、第2装着状態から非装着状態へと変化した場合に表示されるゲーム画像の一例を示す図である。右コントローラ4に関する装着状態が第2装着状態から非装着状態へと変化した場合、プレイヤキャラクタ200は、飛行機オブジェクト202に搭乗しない状態で空中に配置されるので、図21に示すように、パラシュートを装備した状態となってゆっくりと地面に落下していく。なお、地面に着地した後、プレイヤキャラクタ200は、右コントローラ4に対する操作に応じて地面を移動する。   FIG. 21 is a diagram illustrating an example of a game image displayed when the second wearing state is changed to the non-wearing state. When the wearing state related to the right controller 4 changes from the second wearing state to the non-wearing state, the player character 200 is placed in the air without boarding the airplane object 202. Therefore, as shown in FIG. It becomes equipped and slowly falls to the ground. After landing on the ground, the player character 200 moves on the ground in response to an operation on the right controller 4.
プレイヤキャラクタ200がパラシュートを装備した状態においては、ユーザは、右コントローラ4に対する操作によってプレイヤキャラクタ200の動作を制御することができる。具体的には、ゲームシステム1は、右コントローラ4の姿勢に応じた方向へ落下するように、プレイヤキャラクタ200の落下方向を制御する。例えば、右コントローラ4を基準状態から前に傾ける操作に応じて、プレイヤキャラクタ200はゲーム空間における前方に移動しながら落下し、右コントローラ4を基準状態から右に傾ける操作に応じて、プレイヤキャラクタ200はゲーム空間における右に移動しながら落下する。なお、非装着状態における右コントローラ4の基準状態とは、右コントローラ4の上方向(すなわち、y軸正方向)が鉛直上向きとなる状態である。なお、非装着状態における右コントローラ4の基準状態における姿勢は、第2装着状態において把持部702が基準状態となるときの右コントローラ4の姿勢と実質的に同じである。   In a state where the player character 200 is equipped with a parachute, the user can control the movement of the player character 200 by operating the right controller 4. Specifically, the game system 1 controls the falling direction of the player character 200 so as to drop in a direction according to the posture of the right controller 4. For example, in response to an operation of tilting the right controller 4 forward from the reference state, the player character 200 falls while moving forward in the game space, and in response to an operation of tilting the right controller 4 to the right from the reference state, the player character 200. Falls while moving to the right in the game space. The reference state of the right controller 4 in the non-mounted state is a state in which the upward direction of the right controller 4 (that is, the y-axis positive direction) is vertically upward. Note that the posture of the right controller 4 in the reference state in the non-wearing state is substantially the same as the posture of the right controller 4 when the grip portion 702 is in the reference state in the second wearing state.
上記のように、本実施形態においては、プレイヤキャラクタ200がパラシュートを装備した状態においては、プレイヤキャラクタ200が飛行機オブジェクト202に搭乗している状態と同様に、右コントローラ4を傾倒させる操作によってプレイヤキャラクタ200が制御される。   As described above, in the present embodiment, when the player character 200 is equipped with a parachute, the player character 200 is operated by tilting the right controller 4 in the same manner as when the player character 200 is riding on the airplane object 202. 200 is controlled.
ここで、プレイヤキャラクタ200がパラシュートを装備した状態におけるゲーム操作(すなわち、右コントローラ4を傾倒させる操作)を検出するために、ゲームシステム1は、右コントローラ4の前方向(換言すれば、右コントローラ4の側面のうちでどの側面を前側の面として取り扱うか)を設定する。なお、右コントローラ4の前方向を設定する処理は、右コントローラ4に対してユーザによって行われる操作の方向(ここでは、右コントローラ4を傾ける方向)と、当該方向への操作が行われたことに応じて実行されるゲーム処理の内容(ここでは、プレイヤキャラクタを移動させる処理における移動方向)との関係を設定する処理と言うことができる。本実施形態においては、ゲームシステム1は、次の方法によって右コントローラ4の前方向を設定する。   Here, in order to detect a game operation (that is, an operation of tilting the right controller 4) in a state where the player character 200 is equipped with a parachute, the game system 1 moves forward (in other words, the right controller 4). Which side of the four sides is treated as the front side). Note that the process of setting the front direction of the right controller 4 includes the direction of the operation performed by the user on the right controller 4 (here, the direction in which the right controller 4 is tilted) and the operation in that direction. It can be said that this is a process of setting a relationship with the content of the game process executed in response to the above (here, the moving direction in the process of moving the player character). In the present embodiment, the game system 1 sets the front direction of the right controller 4 by the following method.
図22は、第2装着状態から非装着状態へと移行する場合における右コントローラ4の前方向の設定方法の一例を示す図である。まず、図22に示すように、右コントローラ4は、第2付加操作装置7に対して2通りの向きで装着可能である。すなわち、右コントローラ4と第2付加操作装置7とを用いたユーザの操作態様としては、第1操作態様および第2操作態様という2通りの操作態様が考えられる。第1操作態様は、右コントローラ4の本体装着面が、第2付加操作装置7の前方向(すなわち、図17に示すZ軸正方向)を向く第1の向きで第2付加操作装置7に装着された状態で操作が行われる態様である。また、第2操作態様は、右コントローラ4の本体装着面が、第2付加操作装置7の後方向(すなわち、図17に示すZ軸負方向)を向く第2の向きで第2付加操作装置7に装着された状態で操作が行われる態様である。なお、上記「本体装着面」とは、右コントローラ4が本体装置2に装着される場合において本体装置2に対向する面であって、換言すれば、図5に示すx軸正方向側の面である。   FIG. 22 is a diagram illustrating an example of a forward setting method of the right controller 4 when the second mounting state is shifted to the non-mounting state. First, as shown in FIG. 22, the right controller 4 can be attached to the second additional operation device 7 in two orientations. That is, as a user's operation mode using the right controller 4 and the second additional operation device 7, two operation modes, a first operation mode and a second operation mode, can be considered. In the first operation mode, the main controller mounting surface of the right controller 4 is directed to the second additional operation device 7 in the first direction facing the front direction of the second additional operation device 7 (that is, the Z-axis positive direction shown in FIG. 17). This is a mode in which the operation is performed in the state of being mounted. Further, the second operation mode is such that the main controller mounting surface of the right controller 4 is in the second direction in which the second additional operation device 7 faces in the rear direction (that is, the Z-axis negative direction shown in FIG. 17). 7 is a state in which the operation is performed in a state where the device is attached to the device 7. The “main body mounting surface” is a surface facing the main body device 2 when the right controller 4 is mounted on the main body device 2, in other words, a surface on the x-axis positive direction side shown in FIG. It is.
本実施形態においては、ゲームシステム1は、第2装着状態において、右コントローラ4が第2付加操作装置7に装着される向き(第1の向きであるか、それとも、第2の向きであるか。換言すれば、第1操作態様であるか、それとも、第2操作態様であるか)を記憶する。すなわち、ゲームシステム1は、第2装着状態において第1の操作態様で操作が行われる場合には、第1の向きを示す向き情報を記憶し、第2装着状態において第2の操作態様で操作が行われる場合には、第2の向きを示す向き情報を記憶する。   In the present embodiment, the game system 1 is in the direction in which the right controller 4 is mounted on the second additional operation device 7 in the second mounting state (whether the direction is the first direction or the second direction). In other words, whether it is the first operation mode or the second operation mode) is stored. That is, when the game system 1 is operated in the first operation mode in the second wearing state, the game system 1 stores orientation information indicating the first direction, and is operated in the second operation mode in the second wearing state. Is stored, orientation information indicating the second orientation is stored.
また、第2装着状態から非装着状態へと変化した場合、ゲームシステム1は、第2装着状態において記憶された向き情報に応じて、非装着状態における右コントローラ4の前方向を設定する。具体的には、記憶された向き情報が第1の向きを示す場合には、ゲームシステム1は、本体装着面が向く方向(すなわち、図5に示すx軸正方向)を、右コントローラ4の前方向として設定する。この場合、ゲームシステム1は、本体装着面が向く方向を前方向として右コントローラ4の姿勢を算出し、右コントローラ4を傾倒させる操作を検出する(図22参照)。したがって、この場合、本体装着面が前に傾くように右コントローラ4が傾倒されると、ゲームシステム1は、右コントローラ4を前方向に傾ける操作を検出する。その結果、プレイヤキャラクタ200はゲーム空間において前方向に移動しながら落下する。つまり、上記の場合、本体装着面が前に傾くように右コントローラ4を傾倒する操作は、第2装着状態においても非装着状態においても前方向を指示する入力として取り扱われる。   When the game device 1 changes from the second wearing state to the non-wearing state, the game system 1 sets the forward direction of the right controller 4 in the non-wearing state according to the orientation information stored in the second wearing state. Specifically, when the stored orientation information indicates the first orientation, the game system 1 determines the direction in which the main body mounting surface faces (that is, the x-axis positive direction shown in FIG. 5) of the right controller 4. Set as forward. In this case, the game system 1 calculates the posture of the right controller 4 with the direction in which the main body mounting surface faces as the front direction, and detects an operation of tilting the right controller 4 (see FIG. 22). Therefore, in this case, when the right controller 4 is tilted so that the main body mounting surface is tilted forward, the game system 1 detects an operation of tilting the right controller 4 forward. As a result, the player character 200 falls while moving forward in the game space. That is, in the above case, the operation of tilting the right controller 4 so that the main body mounting surface tilts forward is handled as an input for instructing the front direction in both the second mounting state and the non-mounting state.
一方、記憶された向き情報が第2の向きを示す場合には、第2装着状態の後の非装着状態においては、ゲームシステム1は、本体装着面が向く方向の逆向きの方向(すなわち、図5に示すx軸負方向)を、右コントローラ4の前方向として設定する。この場合、ゲームシステム1は、本体装着面が向く方向の逆向きの方向を前方向として右コントローラ4の姿勢を算出し、右コントローラ4を傾倒させる操作を検出する(図22参照)。したがって、この場合、本体装着面が前に傾くように右コントローラ4が傾倒されると、ゲームシステム1は、右コントローラ4を後方向に傾ける操作を検出する。その結果、プレイヤキャラクタ200はゲーム空間において後方向に移動しながら落下する。つまり、上記の場合、本体装着面が前に傾くように右コントローラ4を傾倒する操作は、第2装着状態においても非装着状態においても後方向を指示する入力として取り扱われる。   On the other hand, when the stored orientation information indicates the second orientation, in a non-wearing state after the second wearing state, the game system 1 is in a direction opposite to the direction in which the main body mounting surface faces (that is, 5 is set as the forward direction of the right controller 4. In this case, the game system 1 calculates the posture of the right controller 4 with the direction opposite to the direction in which the main body mounting surface faces as the front direction, and detects an operation of tilting the right controller 4 (see FIG. 22). Therefore, in this case, when the right controller 4 is tilted so that the main body mounting surface is tilted forward, the game system 1 detects an operation of tilting the right controller 4 backward. As a result, the player character 200 falls while moving backward in the game space. That is, in the above case, the operation of tilting the right controller 4 so that the main body mounting surface tilts forward is handled as an input for instructing the backward direction in both the second mounting state and the non-mounting state.
以上より、本実施形態においては、第2装着状態において右コントローラ4が第1の操作態様で操作が行われる場合には、その後の非装着状態において、本体装着面の側を前側として右コントローラ4の傾倒操作が検出される。一方、第2装着状態において右コントローラ4が第2の操作態様で操作が行われる場合には、その後の非装着状態において、本体装着面の側を後側として右コントローラ4の傾倒操作が検出される。したがって、本実施形態によれば、ユーザは、第2装着状態と、その後の非装着状態において、右コントローラ4の向きを変更することなくゲーム操作を行うことができる。換言すれば、ユーザは、第2装着状態における右コントローラ4の傾倒操作と、非装着状態における右コントローラ4の傾倒操作とにおいて、同じ方向に右コントローラ4を傾倒させることで、同じ方向を指示することができる。これによって、第2装着状態から非装着状態へ変化した場合における右コントローラ4の操作性を向上することができる。   As described above, in the present embodiment, when the right controller 4 is operated in the first operation mode in the second mounting state, the right controller 4 with the main body mounting surface side as the front side in the subsequent non-mounting state. The tilting operation is detected. On the other hand, when the right controller 4 is operated in the second operation mode in the second mounting state, the tilting operation of the right controller 4 is detected with the main body mounting surface side as the rear side in the subsequent non-mounting state. The Therefore, according to the present embodiment, the user can perform a game operation without changing the direction of the right controller 4 in the second wearing state and the subsequent non-wearing state. In other words, the user instructs the same direction by tilting the right controller 4 in the same direction in the tilting operation of the right controller 4 in the second wearing state and the tilting operation of the right controller 4 in the non-wearing state. be able to. Thereby, the operability of the right controller 4 when the second mounting state is changed to the non-mounting state can be improved.
以上のように、本実施形態においては、ゲームシステム1は、右コントローラ4が所定の付加操作装置(本実施形態では、第2付加操作装置7)に装着されていると判別された場合、当該所定の付加操作装置に対する当該右コントローラの向きに関する向き情報を記憶する。また、ゲームシステム1は、右コントローラ4に対するユーザによる方向操作に基づいてゲーム処理を実行する。そして、ゲームシステム1は、第2装着状態から非装着状態へと変化した場合、上記方向操作によって指定される方向と、当該方向への操作が行われたことに応じて実行されるゲーム処理の内容との関係を、当該第2装着状態において記憶された向き情報に基づいて決定する(すなわち、右コントローラ4の前方向を設定する)。このように、非装着状態となる前の装着状態における右コントローラ4の向きを考慮して、当該非装着状態における上記関係を決定することによって、当該非装着状態における操作の操作性を向上することができる。   As described above, in the present embodiment, the game system 1 determines that the right controller 4 is attached to a predetermined additional operation device (in this embodiment, the second additional operation device 7). Orientation information relating to the orientation of the right controller with respect to a predetermined additional operation device is stored. Further, the game system 1 executes a game process based on a direction operation by the user with respect to the right controller 4. When the game system 1 changes from the second wearing state to the non-wearing state, the game process 1 is executed in response to the direction specified by the direction operation and the operation in the direction being performed. The relationship with the content is determined based on the orientation information stored in the second wearing state (that is, the front direction of the right controller 4 is set). As described above, the operability of the operation in the non-wearing state is improved by determining the relationship in the non-wearing state in consideration of the direction of the right controller 4 in the wearing state before the non-wearing state. Can do.
なお、他の実施形態においては、非装着状態における右コントローラ4に対する上記方向操作は、本実施形態のような傾倒操作に限らず、方向を指定する任意の操作であってよい。例えば、他の実施形態においては、非装着状態における右コントローラ4に対する方向操作は、アナログスティックに対する操作であってもよい。すなわち、ゲームシステム1は、非装着状態において、アナログスティックに対する操作に応じてプレイヤキャラクタ200が落下する方向を制御してもよい。具体的には、ゲームシステム1は、第2装着状態において記憶された向き情報が第1の向きを示す場合には、本体装着面が向く方向にアナログスティック52を傾倒する操作を、前方向を指示する操作として検出し、プレイヤキャラクタ200を前方向に移動しながら落下させてもよい。一方、上記向き情報が第2の向きを示す場合には、ゲームシステム1は、本体装着面が向く方向にアナログスティック52を傾倒する操作を、後方向を指示する操作として検出し、プレイヤキャラクタ200を後方向に移動しながら落下させてもよい。   In other embodiments, the direction operation on the right controller 4 in the non-mounted state is not limited to the tilt operation as in the present embodiment, and may be any operation that specifies the direction. For example, in another embodiment, the direction operation on the right controller 4 in the non-wearing state may be an operation on an analog stick. That is, the game system 1 may control the direction in which the player character 200 falls in response to an operation on the analog stick in the non-wearing state. Specifically, when the orientation information stored in the second attachment state indicates the first orientation, the game system 1 performs an operation of tilting the analog stick 52 in the direction in which the main body attachment surface faces in the forward direction. It may be detected as an instruction to instruct, and the player character 200 may be dropped while moving forward. On the other hand, when the orientation information indicates the second orientation, the game system 1 detects an operation of tilting the analog stick 52 in the direction in which the main body mounting surface faces as an operation of instructing the backward direction, and the player character 200 May be dropped while moving backward.
[2−3.第3付加操作装置]
[2−3−1.第3付加操作装置の構成]
図23〜図25を参照して、第3付加操作装置8と、右コントローラが第3付加操作装置8に装着された場合におけるゲーム処理について説明する。図23は、第3付加操作装置および右コントローラの一例を示す図である。
[2-3. Third additional operation device]
[2-3-1. Configuration of third additional operation device]
With reference to FIG. 23 to FIG. 25, the game processing when the third additional operation device 8 and the right controller are attached to the third additional operation device 8 will be described. FIG. 23 is a diagram illustrating an example of the third additional operation device and the right controller.
図23に示すように、第3付加操作装置8は、筐体801と、左ハンドル802と、被装着部803とを備える。なお、図示しないが、第3付加操作装置8は、左ハンドル802の反対側(すなわち、図23に示すX正方向側)の側面に右ハンドルを備える。第3付加操作装置8は、左右の2つのハンドルを操作可能な操作装置であり、本実施形態においては、各ハンドルを用いて船オブジェクト203を操作するための操作装置である。   As shown in FIG. 23, the third additional operation device 8 includes a housing 801, a left handle 802, and a mounted portion 803. Although not shown, the third additional operation device 8 includes a right handle on a side surface opposite to the left handle 802 (that is, the X positive direction side shown in FIG. 23). The third additional operation device 8 is an operation device capable of operating the left and right handles. In the present embodiment, the third additional operation device 8 is an operation device for operating the ship object 203 using each handle.
図23に示す第3付加操作装置8において、左ハンドル802は、筐体801の左側面(すなわち、図23に示すX軸負方向側の面)に接続されている。左ハンドル802は、筐体801に対して回転可能に接続される。具体的には、左ハンドル802は、環状の形状を有する環状部と、当該環状部の中心を通って当該環状部の一端から他端まで延びる軸部とを有する。左ハンドル802は、環状部の中心付近を回転軸にして、筐体801に対して回転可能である。以上の構成より、ユーザは、左ハンドル802を回転させる操作(以下、「左側回転操作」と呼ぶ)が可能である(図23)。   In the third additional operation device 8 shown in FIG. 23, the left handle 802 is connected to the left side surface of the housing 801 (that is, the X-axis negative direction side surface shown in FIG. 23). The left handle 802 is rotatably connected to the housing 801. Specifically, the left handle 802 includes an annular portion having an annular shape and a shaft portion that extends from one end of the annular portion to the other end through the center of the annular portion. The left handle 802 is rotatable with respect to the housing 801 with the vicinity of the center of the annular portion as a rotation axis. With the above configuration, the user can perform an operation of rotating the left handle 802 (hereinafter, referred to as “left rotation operation”) (FIG. 23).
また、図示しないが、右ハンドルは、筐体801の右側面(すなわち、図23に示すX軸正方向側の面)に接続されている。右ハンドルは、筐体801に対して回転可能に接続される。具体的には、右ハンドルは、左ハンドル802と同様の形状を有しており、当該右ハンドルの環状部の中心付近を回転軸にして、筐体801に対して回転可能である。以上の構成より、ユーザは、右ハンドルを回転させる操作(以下、「右側回転操作」と呼ぶ)が可能である。   Although not shown, the right handle is connected to the right side surface of the housing 801 (that is, the surface on the X axis positive direction side shown in FIG. 23). The right handle is rotatably connected to the housing 801. Specifically, the right handle has the same shape as the left handle 802 and can rotate relative to the housing 801 with the vicinity of the center of the annular portion of the right handle as a rotation axis. With the above configuration, the user can perform an operation of rotating the right handle (hereinafter referred to as “right rotation operation”).
被装着部803は、筐体801の上面(すなわち、図23に示すY軸正方向側の面)に設けられる。被装着部803は、筒状の形状であり、自身の内側に右コントローラ4を装着することが可能である。また、図23に示すように、被装着部803における筒状部分の側面には溝が設けられる。右コントローラ4が被装着部803に挿入される際には、上記溝に沿ってアナログスティック52が挿入され、溝の端部にアナログスティック52が当接することによって、右コントローラ4の被装着部803に対する挿入が停止される。   The mounted portion 803 is provided on the upper surface of the housing 801 (that is, the surface on the Y axis positive direction side shown in FIG. 23). The mounted portion 803 has a cylindrical shape, and the right controller 4 can be mounted inside itself. Further, as shown in FIG. 23, a groove is provided on the side surface of the cylindrical portion of the mounted portion 803. When the right controller 4 is inserted into the mounted portion 803, the analog stick 52 is inserted along the groove, and the analog stick 52 comes into contact with the end of the groove, whereby the mounted portion 803 of the right controller 4 is contacted. Insertion for is stopped.
被装着部803の下端(すなわち、図23に示すY軸負方向側の端)は開口している。また、筐体801においては、被装着部803の下端の開口部分に対向する位置に、孔が設けられる。したがって、第3付加操作装置8の被装着部803に装着された右コントローラ4の赤外撮像部123は、被装着部803の下端の前記開口を通して、筐体801の内部を撮像することが可能である。   The lower end of the mounted portion 803 (that is, the end on the Y axis negative direction side shown in FIG. 23) is open. In the housing 801, a hole is provided at a position facing the opening at the lower end of the mounted portion 803. Therefore, the infrared imaging unit 123 of the right controller 4 mounted on the mounted portion 803 of the third additional operation device 8 can image the inside of the housing 801 through the opening at the lower end of the mounted portion 803. It is.
[2−3−2.マーカに基づく処理]
第3付加操作装置8においても第1および第2付加操作装置6および7と同様、付加操作装置の内部には、赤外撮像部123が撮像可能なマーカが設けられる。ゲームシステム1は、第3付加操作装置8に装着された右コントローラ4の赤外撮像部123による撮像画像からマーカを検出する。そして、ゲームシステム1は、マーカの検出結果に基づいて、右コントローラ4が第3付加操作装置8に装着されたことを判別したり、第3付加操作装置8に対して行われた操作(具体的には、左側回転操作および右側回転操作)を検出したりする。
[2-3-2. Processing based on marker]
Similarly to the first and second additional operation devices 6 and 7 in the third additional operation device 8, a marker that can be imaged by the infrared imaging unit 123 is provided inside the additional operation device. The game system 1 detects a marker from an image captured by the infrared imaging unit 123 of the right controller 4 attached to the third additional operation device 8. Then, the game system 1 determines that the right controller 4 is attached to the third additional operation device 8 based on the marker detection result, or performs an operation (specifically) performed on the third additional operation device 8. Specifically, a left rotation operation and a right rotation operation) are detected.
図24は、第3付加操作装置の内部構成の一例を示す図である。なお、図24は、筐体801の上面(すなわち、被装着部803が設けられる面)を取り外して筐体801の内部を見た図である。   FIG. 24 is a diagram illustrating an example of the internal configuration of the third additional operation device. FIG. 24 is a view of the inside of the housing 801 with the top surface of the housing 801 (that is, the surface on which the mounted portion 803 is provided) removed.
図24に示すように、筐体801の内部には、第3付加操作装置8に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、第3基本マーカ811が設けられる。第3基本マーカ811の形状は任意であるが、上述の第1基本マーカ612および第2基本マーカ711とは異なる形状を有する。図24に示す例においては、第3基本マーカ811は、1つの長方形と2つの正方形からなる形状である。   As shown in FIG. 24, a third basic marker 811 is provided inside the housing 801 at a position where the infrared imaging unit 123 of the right controller 4 attached to the third additional operation device 8 can capture images. The shape of the third basic marker 811 is arbitrary, but has a shape different from the first basic marker 612 and the second basic marker 711 described above. In the example shown in FIG. 24, the third basic marker 811 has a shape composed of one rectangle and two squares.
第3付加操作装置8についても第1付加操作装置6および第2付加操作装置7と同様、ゲームシステム1は、基本マーカを用いて、右コントローラ4が装着された付加操作装置の種類を判別する。すなわち、ゲームシステム1は、右コントローラ4から取得した撮像画像において第3基本マーカ811を検出した場合、右コントローラ4が第3付加操作装置8に装着されたと判別する。   As with the first additional operation device 6 and the second additional operation device 7, the game system 1 also uses the basic marker to determine the type of additional operation device to which the right controller 4 is attached. . That is, when the game system 1 detects the third basic marker 811 in the captured image acquired from the right controller 4, the game system 1 determines that the right controller 4 is attached to the third additional operation device 8.
また、図24に示すように、第3付加操作装置8は、筐体801の内部において、第1左歯車805と、第2左歯車806とを備える。第1左歯車805は、左ハンドル802に接続されており、左ハンドル802の回転に応じて、左ハンドル802と同じ回転軸で回転する(図24に示す矢印参照)。第2左歯車806は、筐体801に対して回転可能に設けられる。第2左歯車806は、第1左歯車805に咬み合うように配置され、第1左歯車805の回転に応じて、第1左歯車805の回転軸に垂直な回転軸で回転する(図24に示す矢印参照)。以上の構成により、左ハンドル802の回転に応じて、第2左歯車806が回転する。   As shown in FIG. 24, the third additional operation device 8 includes a first left gear 805 and a second left gear 806 inside the housing 801. The first left gear 805 is connected to the left handle 802, and rotates on the same rotation axis as the left handle 802 according to the rotation of the left handle 802 (see the arrow shown in FIG. 24). The second left gear 806 is provided to be rotatable with respect to the housing 801. The second left gear 806 is arranged to mesh with the first left gear 805, and rotates on a rotation axis perpendicular to the rotation axis of the first left gear 805 in accordance with the rotation of the first left gear 805 (FIG. 24). See the arrow). With the above configuration, the second left gear 806 rotates according to the rotation of the left handle 802.
図24に示すように、第2左歯車806には、第3付加操作装置8に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、左ハンドルマーカ812が設けられる。本実施形態においては、左ハンドルマーカ812は、第2左歯車806の中心付近に設けられる第1部分マーカと、第2左歯車806の周付近に設けられる第2部分マーカとからなる。なお、左ハンドルマーカ812の形状は、第2左歯車806の回転を識別可能な任意の形状でよい。   As illustrated in FIG. 24, the second left gear 806 is provided with a left handle marker 812 at a position where the infrared imaging unit 123 of the right controller 4 attached to the third additional operation device 8 can capture an image. In the present embodiment, the left handle marker 812 includes a first partial marker provided near the center of the second left gear 806 and a second partial marker provided near the periphery of the second left gear 806. The shape of the left handle marker 812 may be any shape that can identify the rotation of the second left gear 806.
本実施形態においては、左ハンドル802の回転に応じて第2左歯車806が回転すると、左ハンドルマーカ812の向き(換言すれば、第1部分マーカから第2部分マーカへの方向)が変化する。したがって、ゲームシステム1は、左ハンドルマーカ812の向きに基づいて、左ハンドル802の回転角度を算出することができ、左ハンドルに対する操作を検出することができる。したがって、ゲームシステム1は、第3付加操作装置8に装着された右コントローラ4から取得される撮像画像における左ハンドルマーカ812を示す画像の向きに基づいて、左ハンドル802の回転角度を算出することができ、回転角度に基づいて左側回転操作を検出することができる。具体的には、ゲームシステム1は、左ハンドル802の回転角度を検出する。   In the present embodiment, when the second left gear 806 rotates in response to the rotation of the left handle 802, the direction of the left handle marker 812 (in other words, the direction from the first partial marker to the second partial marker) changes. . Therefore, the game system 1 can calculate the rotation angle of the left handle 802 based on the direction of the left handle marker 812, and can detect an operation on the left handle. Therefore, the game system 1 calculates the rotation angle of the left handle 802 based on the orientation of the image indicating the left handle marker 812 in the captured image acquired from the right controller 4 attached to the third additional operation device 8. The left rotation operation can be detected based on the rotation angle. Specifically, the game system 1 detects the rotation angle of the left handle 802.
図24に示すように、第3付加操作装置8は、筐体801の内部において、第1右歯車807と、第2右歯車808とを備える。第1右歯車807は、右ハンドルに接続されており、右ハンドルの回転に応じて、右ハンドルと同じ回転軸で回転する(図24に示す矢印参照)。第2右歯車808は、筐体801に対して回転可能に設けられる。第2右歯車808は、第1右歯車807に咬み合うように配置され、第1右歯車807の回転に応じて、第1右歯車807の回転軸に垂直な回転軸で回転する(図24に示す矢印参照)。以上の構成により、右ハンドルの回転に応じて、第2右歯車808が回転する。   As shown in FIG. 24, the third additional operation device 8 includes a first right gear 807 and a second right gear 808 inside the housing 801. The first right gear 807 is connected to the right handle, and rotates on the same rotation axis as the right handle according to the rotation of the right handle (see the arrow shown in FIG. 24). The second right gear 808 is provided so as to be rotatable with respect to the housing 801. The second right gear 808 is arranged to mesh with the first right gear 807, and rotates on a rotation axis perpendicular to the rotation axis of the first right gear 807 in accordance with the rotation of the first right gear 807 (FIG. 24). See the arrow). With the above configuration, the second right gear 808 rotates according to the rotation of the right handle.
第2右歯車808には、第3付加操作装置8に装着された右コントローラ4の赤外撮像部123が撮像可能な位置に、右ハンドルマーカ813が設けられる。本実施形態においては、右ハンドルマーカ813は、第2右歯車808の中心付近に設けられる第3部分マーカと、第2右歯車808の周付近に設けられる第4部分マーカとからなる。   The second right gear 808 is provided with a right handle marker 813 at a position where the infrared imaging unit 123 of the right controller 4 attached to the third additional operation device 8 can capture an image. In the present embodiment, the right handle marker 813 includes a third partial marker provided near the center of the second right gear 808 and a fourth partial marker provided near the circumference of the second right gear 808.
以上の構成により、ゲームシステム1は、左側回転操作と同様にして右側回転操作を検出することができる。すなわち、ゲームシステム1は、第3付加操作装置8に装着された右コントローラ4から取得される撮像画像における右ハンドルマーカ813を示す画像の向きに基づいて、右ハンドルの回転角度を算出することができ、右側回転操作を検出することができる。   With the above configuration, the game system 1 can detect the right rotation operation in the same manner as the left rotation operation. That is, the game system 1 can calculate the rotation angle of the right handle based on the orientation of the image indicating the right handle marker 813 in the captured image acquired from the right controller 4 attached to the third additional operation device 8. And right-handed rotation operation can be detected.
[2−3−3.マーカが検出された場合におけるゲーム処理]
図25は、右コントローラ4が第3付加操作装置8に装着される場合に表示されるゲーム画像の一例を示す図である。右コントローラ4が第3付加操作装置8に装着されると、ゲームシステム1は、右コントローラ4の赤外撮像部123から取得された撮像画像に基づいて、右コントローラ4が第3付加操作装置8に装着されたことを判別する。このとき、ゲームシステム1は、図25に示すように、プレイヤキャラクタ200が船オブジェクト203に搭乗した様子を表すゲーム画像を表示装置に表示する。
[2-3-3. Game processing when marker is detected]
FIG. 25 is a diagram illustrating an example of a game image displayed when the right controller 4 is attached to the third additional operation device 8. When the right controller 4 is attached to the third additional operation device 8, the game system 1 causes the right controller 4 to use the third additional operation device 8 based on the captured image acquired from the infrared imaging unit 123 of the right controller 4. It is discriminated that it is attached to. At this time, as shown in FIG. 25, the game system 1 displays a game image representing a state in which the player character 200 has boarded the ship object 203 on the display device.
また、右コントローラ4が第3付加操作装置8に装着されたことを判別した場合、ゲームシステム1は、第3付加操作装置8に対する各操作(具体的には、左側回転操作および右側回転操作)を検出し、ユーザによって行われたこれらの操作に応じて船オブジェクト203の動作を制御する。なお、船オブジェクト203の動作をユーザの操作に応じて制御する方法は任意である。例えば、本実施形態においては、ゲームシステム1は、左ハンドル802に対する左側回転操作に応じて船オブジェクト203の左側のスクリューの向きを制御する。また、ゲームシステム1は、右ハンドルに対する右側回転操作に応じて船オブジェクト203の右側のスクリューの向きを制御する。ゲームシステム1は、左側のスクリューの向きおよび右側のスクリューの向きに基づいて、船オブジェクト203の進行方向を制御する。   When it is determined that the right controller 4 is attached to the third additional operation device 8, the game system 1 performs each operation on the third additional operation device 8 (specifically, left rotation operation and right rotation operation). And the operation of the ship object 203 is controlled in accordance with these operations performed by the user. A method for controlling the operation of the ship object 203 according to the user's operation is arbitrary. For example, in the present embodiment, the game system 1 controls the direction of the left screw of the ship object 203 in accordance with the left rotation operation with respect to the left handle 802. Further, the game system 1 controls the direction of the right screw of the ship object 203 according to the right rotation operation with respect to the right handle. The game system 1 controls the traveling direction of the ship object 203 based on the direction of the left screw and the direction of the right screw.
以上のようにして、ユーザは、右コントローラ4を第3付加操作装置8に装着することによって、船オブジェクト203をゲーム空間に出現させるとともに、船オブジェクト203を操作するゲームをプレイすることができる。   As described above, the user can play the game in which the ship object 203 appears in the game space and the ship object 203 is operated by attaching the right controller 4 to the third additional operation device 8.
[2−4.マーカに基づく処理のまとめ]
以上のように、本実施形態においては、ゲームシステム1は、赤外撮像部123によって撮像された撮像画像に基づいて、右コントローラ4が装着された付加操作装置の種類を判別する。本実施形態によれば、ゲームシステム1は、撮像装置による撮像画像に基づいて判別を行うので、例えば、付加操作装置に電気的な構成を付加する必要なく、付加操作装置の種類を判別することができる。これによって、付加操作装置の構成を簡易化することができる。
[2-4. Summary of processing based on markers]
As described above, in the present embodiment, the game system 1 determines the type of the additional operation device to which the right controller 4 is attached based on the captured image captured by the infrared imaging unit 123. According to the present embodiment, since the game system 1 performs determination based on an image captured by the imaging device, for example, it is possible to determine the type of the additional operation device without adding an electrical configuration to the additional operation device. Can do. Thereby, the configuration of the additional operation device can be simplified.
ここで、本実施形態においては、各付加操作装置6〜8は、それぞれ、付加操作装置に装着された右コントローラ4の赤外撮像部123によって撮像可能な被検出部の一例として、マーカを備える。ゲームシステム1は、撮像画像に含まれる被検出部の少なくとも一部(本実施形態においては、基本マーカ)を示す第1被検出部画像(本実施形態においては、基本マーカを示す画像)の形状に基づいて、右コントローラ4が装着された付加操作装置の種類(すなわち、第1〜第3付加装置6〜8のいずれか)を判別する。上記のように、付加操作装置に設けられた被検出部を撮像した撮像画像に基づくことによって、ゲームシステム1は、付加操作装置の種類を精度良く判別することができる。   Here, in the present embodiment, each of the additional operation devices 6 to 8 includes a marker as an example of a detected portion that can be imaged by the infrared imaging unit 123 of the right controller 4 attached to the additional operation device. . The game system 1 has a shape of a first detected portion image (an image showing a basic marker in the present embodiment) showing at least a part of the detected portion (a basic marker in the present embodiment) included in the captured image. Based on the above, the type of the additional operation device to which the right controller 4 is attached (that is, one of the first to third additional devices 6 to 8) is determined. As described above, the game system 1 can accurately determine the type of the additional operation device based on the captured image obtained by imaging the detected portion provided in the additional operation device.
本実施形態においては、付加操作装置は複数の被検出部(すなわち、マーカ)を備えているが、他の実施形態においては、付加操作装置は1つの被検出部を備えていてもよい。例えば、付加操作装置は、上記基本マーカのみを備えていてもよい。   In the present embodiment, the additional operation device includes a plurality of detected units (that is, markers). However, in other embodiments, the additional operation device may include one detected unit. For example, the additional operation device may include only the basic marker.
なお、上記実施形態においては、撮像画像における基本マーカを示す画像の形状に基づいて付加操作装置の種類が判別された。ここで、基本マーカの形状に限らず、撮像された基本マーカの位置(具体的には、撮像画像における位置)または向き(具体的には、撮像画像上における向き)によっても、ある基本マーカを他の基本マーカと区別することが可能である。したがって、他の実施形態においては、ゲームシステム1は、基本マーカを示す画像の位置、形状、および、向きのうち少なくとも1つに基づいて、付加操作装置の種類を判別してもよい。したがって、付加操作装置に設けられる基本マーカは、他の種類の付加操作装置に設けられる基本マーカと比べて、(a)付加操作装置に装着された右コントローラ4の赤外撮像部123に対する位置、(b)当該赤外撮像部123に対する向き、および、(c)形状のうちの少なくとも1つが、異なっていればよい。   In the embodiment, the type of the additional operation device is determined based on the shape of the image indicating the basic marker in the captured image. Here, the basic marker is not limited to the shape of the basic marker, and a certain basic marker is also determined by the position (specifically, the position in the captured image) or the direction (specifically, the direction on the captured image) of the captured basic marker. It is possible to distinguish from other basic markers. Therefore, in another embodiment, the game system 1 may determine the type of the additional operation device based on at least one of the position, shape, and orientation of the image indicating the basic marker. Therefore, the basic marker provided in the additional operation device is compared with (a) the position of the right controller 4 attached to the additional operation device with respect to the infrared imaging unit 123, compared with the basic marker provided in another type of additional operation device, (B) The direction with respect to the infrared imaging unit 123 and (c) at least one of the shapes may be different.
また、本実施形態においては、各付加操作装置6〜8は、それぞれ、ユーザによる操作に応じて動く可動部を備える。具体的には、第1付加操作装置6は、可動部として、ハンドル602ならびに各レバー604および605を備え、第2付加操作装置7は、可動部として、ボタン704を備え、第3付加操作装置8は、可動部として、第2左歯車806および第2右歯車808を備える。なお、可動部は、ハンドル602のように、ユーザが直接的に動かす(すなわち、ユーザが可動部を触って動かす)ものであってもよい。また、可動部は、第2左歯車806のように、ユーザの操作によって間接的に動く(すなわち、可動部とは異なる操作部(例えば、左ハンドル802)をユーザが動かすことによって可動部が動く)ものであってもよい。   Moreover, in this embodiment, each additional operation apparatus 6-8 is provided with the movable part which moves according to operation by a user, respectively. Specifically, the first additional operation device 6 includes a handle 602 and levers 604 and 605 as a movable portion, and the second additional operation device 7 includes a button 704 as a movable portion, and a third additional operation device. 8 includes a second left gear 806 and a second right gear 808 as movable parts. Note that the movable part may be one that the user moves directly (that is, the user touches and moves the movable part) like the handle 602. Further, the movable part moves indirectly by the user's operation like the second left gear 806 (that is, the movable part moves when the user moves an operation part (for example, the left handle 802) different from the movable part). ).
本実施形態においては、ユーザの操作に応じて上記可動部が動かされることによって、当該可動部を備える付加操作装置に装着された右コントローラ4と、当該付加操作装置の被検出部との相対位置および/または相対姿勢が変化する。ゲームシステム1は、撮像画像に含まれる被検出部の少なくとも一部を示し、上記第1被検出部画像および/または第2被検出部画像(第2被検出部画像は、第1被検出部画像とは異なる)の位置および向きのうち少なくとも1つに基づいて(後述するように、上記第1被検出部画像および/または第2被検出部画像の形状に基づいてもよい)、ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する。ここで、上記「第2被検出部画像」は、第1付加操作装置6においては、第1基本マーカ画像622、左レバーマーカ画像623、および、右レバーマーカ画像624であり、第2付加操作装置7においては、ボタンマーカ712を示す画像であり、第3付加操作装置8においては、左ハンドルマーカ812を示す画像および右ハンドルマーカ813を示す画像である。このように、第2被検出部画像は、基本マーカ画像であってもよいし、基本マーカ画像とは異なるマーカ画像であってもよい。上記のように、撮像画像におけるマーカの位置および/または向きに基づくことによって、ユーザの操作を精度良く検出することができる。例えば、ゲームシステム1は、1つの撮像画像に基づいて付加操作装置の種類の判別と、ユーザの操作の検出とを行うこともできるので、処理の効率化を図ることができる。   In this embodiment, the relative position between the right controller 4 mounted on the additional operation device including the movable portion and the detected portion of the additional operation device by moving the movable portion according to a user operation. And / or relative posture changes. The game system 1 shows at least a part of the detected part included in the captured image, and the first detected part image and / or the second detected part image (the second detected part image is the first detected part). Based on at least one of the position and orientation (different from the image) (may be based on the shape of the first detected portion image and / or the second detected portion image as described later) An operation is detected, and a game process based on the detected user operation is executed. Here, in the first additional operation device 6, the “second detected portion image” is the first basic marker image 622, the left lever marker image 623, and the right lever marker image 624, and the second additional operation. In the device 7, the image shows the button marker 712, and in the third additional operation device 8, the image shows the left handle marker 812 and the image showing the right handle marker 813. As described above, the second detected portion image may be a basic marker image, or may be a marker image different from the basic marker image. As described above, based on the position and / or orientation of the marker in the captured image, the user's operation can be detected with high accuracy. For example, the game system 1 can also determine the type of the additional operation device and detect the user's operation based on one captured image, so that the processing efficiency can be improved.
なお、本実施形態においては、ゲームシステム1は、撮像画像におけるマーカの位置(例えば、左レバーマーカ画像623の位置)または向き(例えば、第1基本マーカ画像622の向き)に基づいてユーザの操作を検出した。ここで、他の実施形態においては、ゲームシステム1は、マーカの位置および/または向きに加えて(または代えて)、マーカの形状に基づいてユーザの操作を検出してもよい。例えば、左レバー604が長手方向を軸として回転可能である場合において、四角柱である左レバー604の4つの側面にそれぞれ異なる形状のマーカが設けられてもよい。このとき、ゲームシステム1は、左レバー604の側面のうちどの面が右コントローラ4の赤外撮像部123の方を向いているかを、撮像画像におけるマーカの形状に基づいて判別することができる。これによって、ゲームシステム1は、左レバー604の長手方向を軸として左レバー604を回転させるユーザの操作を検出することができる。   Note that, in the present embodiment, the game system 1 is operated by the user based on the marker position (for example, the position of the left lever marker image 623) or the direction (for example, the direction of the first basic marker image 622) in the captured image. Was detected. Here, in other embodiments, the game system 1 may detect a user operation based on the shape of the marker in addition to (or instead of) the position and / or orientation of the marker. For example, when the left lever 604 is rotatable about the longitudinal direction, markers having different shapes may be provided on the four side surfaces of the left lever 604 that is a quadrangular prism. At this time, the game system 1 can determine which of the side surfaces of the left lever 604 faces the infrared imaging unit 123 of the right controller 4 based on the shape of the marker in the captured image. Thereby, the game system 1 can detect the user's operation of rotating the left lever 604 about the longitudinal direction of the left lever 604.
なお、右コントローラ4と被検出部との相対位置および/または相対姿勢は、第1付加操作装置6における各レバーマーカ613および614、第2付加操作装置7におけるボタンマーカ712、ならびに、第3付加操作装置8における第2左歯車806および第2右歯車808のように、被検出部が設けられる可動部が動くことによって変化してもよい。また、上記相対位置および/または相対姿勢は、第1付加操作装置6におけるハンドル602のように、右コントローラ4が装着される可動部が動くことによって変化してもよい。また、上記相対位置および/または相対姿勢は、第1付加操作装置6のように、被検出部が設けられる可動部と、右コントローラ4が装着される可動部との両方が動くことによって変化してもよい。上記によれば、被検出部を検出することによって、上記相対位置および/または相対姿勢の変化を検出することができ、ユーザの操作を精度良く検出することができる。   Note that the relative position and / or relative posture between the right controller 4 and the detected part are the lever markers 613 and 614 in the first additional operation device 6, the button markers 712 in the second additional operation device 7, and the third addition. It may be changed by moving a movable part provided with a detected part like the second left gear 806 and the second right gear 808 in the operating device 8. Further, the relative position and / or the relative posture may be changed by moving a movable part to which the right controller 4 is attached, like the handle 602 in the first additional operation device 6. Further, the relative position and / or the relative posture changes when both the movable part provided with the detected part and the movable part attached with the right controller 4 move like the first additional operation device 6. May be. According to the above, it is possible to detect the change in the relative position and / or the relative posture by detecting the detected part, and it is possible to accurately detect the user operation.
また、本実施形態においては、ゲームシステム1は、右コントローラ4が装着される付加操作装置の種類に加えて、各付加操作装置6〜8のいずれに対しても右コントローラ4が装着されていないことをさらに判別する。具体的には、ゲームシステム1は、ゲームアプリケーションの実行中において、赤外撮像部123による撮像画像を右コントローラ4から繰り返し取得する。そして、撮像画像からいずれの基本マーカも検出されない場合、ゲームシステム1は、右コントローラ4がいずれの付加操作装置にも装着されていないと判別する。これによれば、ゲームシステム1は、右コントローラ4が装着される付加操作装置の種類を判別することに加えて、右コントローラ4が付加操作装置に装着されるか否かを判別することができるので、右コントローラ4の装着状態をより詳細に判別することができる。   In the present embodiment, the game system 1 has no right controller 4 attached to any of the additional operation devices 6 to 8 in addition to the type of additional operation device to which the right controller 4 is attached. It is further determined. Specifically, the game system 1 repeatedly acquires images captured by the infrared imaging unit 123 from the right controller 4 during execution of the game application. If no basic marker is detected from the captured image, the game system 1 determines that the right controller 4 is not attached to any additional operation device. According to this, the game system 1 can determine whether or not the right controller 4 is attached to the additional operation device, in addition to determining the type of the additional operation device to which the right controller 4 is attached. Therefore, the mounting state of the right controller 4 can be determined in more detail.
[2−5.装着状態に応じたゲーム処理のまとめ]
上述したように、本実施形態においては、右コントローラ4が装着される付加操作装置の種類を切り替えることに応じたゲーム処理が実行される。具体的には、ゲームシステム1は、以下に示すゲーム処理を、付加操作装置の種類に応じて異なる処理内容で実行する。
[2-5. Summary of game processing according to wearing state]
As described above, in the present embodiment, a game process corresponding to switching the type of the additional operation device to which the right controller 4 is attached is executed. Specifically, the game system 1 executes the following game process with different process contents depending on the type of the additional operation device.
本実施形態においては、ゲームシステム1は、右コントローラ4が装着されていると判別された付加操作装置の種類に応じて異なるゲーム画像を生成する(図16、図20、図25)。具体的には、ゲームシステム1は、右コントローラ4とそれに装着された付加操作装置とを用いたゲーム操作に基づいて制御される乗物オブジェクトを示すゲーム画像を、判別された付加操作装置の種類に応じて変化させる。上記によれば、ユーザは、右コントローラ4を付加操作装置に装着することによって、当該付加操作装置によって操作されるオブジェクトを変更することができる。したがって、本実施形態によれば、ゲームシステム1は、コントローラを装着する付加操作装置を変更することによって操作対象となるオブジェクトを変更する、という新規な操作感覚をユーザに提供することができる。   In the present embodiment, the game system 1 generates different game images according to the type of the additional operation device that is determined to be attached with the right controller 4 (FIGS. 16, 20, and 25). Specifically, the game system 1 converts the game image showing the vehicle object controlled based on the game operation using the right controller 4 and the additional operation device attached thereto to the determined type of the additional operation device. Change accordingly. According to the above, the user can change the object operated by the additional operation device by attaching the right controller 4 to the additional operation device. Therefore, according to the present embodiment, the game system 1 can provide the user with a new operation feeling that the object to be operated is changed by changing the additional operation device on which the controller is mounted.
なお、他の実施形態においては、付加操作装置の種類に応じて変化するゲーム画像の内容は任意である。本実施形態においては、ユーザの操作対象となるオブジェクトが付加操作装置の種類に応じて変化したが、他の実施形態においては、ユーザの操作対象ではないオブジェクト(例えば、プレイヤキャラクタの服、および/または、所持するアイテム等)が付加操作装置の種類に応じて変化してもよい。また、ゲームシステム1は、付加操作装置の種類に応じて、オブジェクトの全体を変化させてもよい(例えば、プレイヤキャラクタを切り替えてもよい)し、オブジェクトの一部(例えば、プレイヤキャラクタの服、および/または、所持するアイテム等)を変化させてもよい。なお、オブジェクトの変化は、オブジェクトの形状のみの変化であってもよいし、色のみの変化であってもよいし、形状および色の変化であってもよい。また例えば、ゲーム画像は、2次元のゲーム世界を表すものであってもよく、ゲームシステム1は、2次元のオブジェクトを表す画像を付加操作装置の種類に応じて変化させてもよい。   In other embodiments, the content of the game image that changes depending on the type of the additional operation device is arbitrary. In the present embodiment, the object to be operated by the user changes depending on the type of the additional operation device. However, in other embodiments, the object that is not the user's operation target (for example, the clothes of the player character and / or Or the item etc. which it has) may change according to the kind of additional operation apparatus. In addition, the game system 1 may change the whole object (for example, the player character may be switched) or a part of the object (for example, the clothes of the player character, And / or the items held etc.) may be changed. The change of the object may be a change of only the shape of the object, a change of only the color, or a change of the shape and color. Further, for example, the game image may represent a two-dimensional game world, and the game system 1 may change the image representing the two-dimensional object according to the type of the additional operation device.
また、他の実施形態においては、ゲームシステム1は、右コントローラ4が装着されていると判別された付加操作装置の種類に応じて、ゲーム画像とともに(またはゲーム画像に代えて)、ゲーム音(例えば、ゲーム中に出力されるBGM)を変化させるようにしてもよい。   Further, in another embodiment, the game system 1 generates a game sound (or in place of the game image) together with the game image (or instead of the game image) according to the type of the additional operation device that is determined to be equipped with the right controller 4. For example, you may make it change BGM output during a game.
また、本実施形態においては、ゲームシステム1は、各付加操作装置のいずれに対しても右コントローラ4が装着されていないと判別された場合、右コントローラ4が各付加操作装置のいずれかに装着されている場合とは異なるゲーム処理を実行する。より具体的には、ゲームシステム1は、上記2つの場合で異なるゲーム画像を生成する(図20、図21)。これによれば、ユーザは、右コントローラ4を装着する付加操作装置の種類を変更することに加えて、右コントローラ4を付加操作装置に装着するか否かによってもゲームの表示を変更することができる。   In the present embodiment, when it is determined that the right controller 4 is not attached to any of the additional operation devices, the game system 1 is attached to any of the additional operation devices. A game process different from that performed is executed. More specifically, the game system 1 generates different game images in the above two cases (FIGS. 20 and 21). According to this, in addition to changing the type of the additional operation device on which the right controller 4 is mounted, the user can also change the display of the game depending on whether the right controller 4 is mounted on the additional operation device. it can.
また、本実施形態においては、ゲームシステム1は、右コントローラ4が装着されていると判別された付加操作装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する。本実施形態においては、仮想カメラの位置および姿勢は、右コントローラ4が装着される付加操作装置の種類に応じて変化する。具体的には、本実施形態において、仮想カメラは、ユーザの操作対象の後方に、当該操作対象の方を向く姿勢で配置される(図16、図20、図25)。ここで、右コントローラ4が第1付加操作装置6に装着される場合には、仮想カメラの位置および姿勢は、操作対象である自動車オブジェクト201が画面の中央よりやや下方に表示されるように設定される(図16)。また、右コントローラ4が第3付加操作装置8に装着される場合、または、右コントローラ4がいずれの付加操作装置にも装着されない場合には、右コントローラ4が第1付加操作装置6に装着される場合と同様に仮想カメラが設定される。これに対して、右コントローラ4が第2付加操作装置7に装着される場合には、仮想カメラの位置および姿勢は、操作対象である飛行機オブジェクト202が画面の中央に表示されるように設定される(図20)。このように、右コントローラ4が装着される付加操作装置の種類に応じて仮想カメラを設定することによって、ゲームシステム1は、ゲーム状況に応じた適切な視点から見たゲーム画像をユーザに提供することができる。   Further, in the present embodiment, the game system 1 determines the position and / or posture of the virtual camera arranged in the virtual space based on the type of the additional operation device that is determined to have the right controller 4 attached. Control. In the present embodiment, the position and orientation of the virtual camera change according to the type of the additional operation device to which the right controller 4 is attached. Specifically, in this embodiment, the virtual camera is arranged behind the user's operation target in a posture facing the operation target (FIGS. 16, 20, and 25). Here, when the right controller 4 is attached to the first additional operation device 6, the position and orientation of the virtual camera are set so that the vehicle object 201 to be operated is displayed slightly below the center of the screen. (FIG. 16). When the right controller 4 is attached to the third additional operation device 8 or when the right controller 4 is not attached to any additional operation device, the right controller 4 is attached to the first additional operation device 6. The virtual camera is set as in the case of On the other hand, when the right controller 4 is attached to the second additional operation device 7, the position and orientation of the virtual camera are set so that the airplane object 202 that is the operation target is displayed in the center of the screen. (FIG. 20). Thus, by setting the virtual camera according to the type of the additional operation device to which the right controller 4 is attached, the game system 1 provides the user with a game image viewed from an appropriate viewpoint according to the game situation. be able to.
また、本実施形態においては、ゲームシステム1は、右コントローラ4が装着されていると判別された付加操作装置の種類に応じて、ゲーム処理に用いる入力を変更する。すなわち、本実施形態においては、右コントローラ4は、当該右コントローラ4に対するユーザの操作を検出するための操作検出部を複数種類備える。具体的には、右コントローラ4は、操作検出部として、各ボタン113、アナログスティック52、加速度センサ114、および、角速度センサ115を備えている。ここで、ゲームシステム1は、右コントローラ4が所定の種類の付加操作装置(本実施形態においては、第2付加操作装置7)に装着されていると判別された場合、複数種類の操作検出部のうちで、判別されたサブ装置の種類に応じた操作検出部(本実施形態においては、加速度センサ114)による検出結果に基づいてゲーム処理を実行する。したがって、本実施形態によれば、ゲームシステム1は、右コントローラ4が装着された付加操作装置の種類に応じて適切な操作検出部による検出結果に基づいてゲーム処理を実行することができる。例えば、右コントローラ4が第2付加操作装置7に装着される場合には、ゲームシステム1は、加速度センサ114による検出結果に基づくことによって、把持部702に対する傾倒操作を検出することができ、加速度センサ114による検出結果(換言すれば、当該検出結果に基づいて算出される傾倒操作の内容)をユーザの入力として用いてゲーム処理を実行することができる。   Moreover, in this embodiment, the game system 1 changes the input used for a game process according to the kind of additional operation apparatus determined that the right controller 4 is mounted | worn. That is, in the present embodiment, the right controller 4 includes a plurality of types of operation detection units for detecting a user operation on the right controller 4. Specifically, the right controller 4 includes buttons 113, an analog stick 52, an acceleration sensor 114, and an angular velocity sensor 115 as operation detection units. Here, when it is determined that the right controller 4 is attached to a predetermined type of additional operation device (in this embodiment, the second additional operation device 7), the game system 1 determines a plurality of types of operation detection units. Among them, the game processing is executed based on the detection result by the operation detection unit (acceleration sensor 114 in the present embodiment) corresponding to the determined type of the sub device. Therefore, according to the present embodiment, the game system 1 can execute the game process based on the detection result by the appropriate operation detection unit according to the type of the additional operation device to which the right controller 4 is attached. For example, when the right controller 4 is attached to the second additional operation device 7, the game system 1 can detect the tilting operation on the grip portion 702 based on the detection result by the acceleration sensor 114, and the acceleration The game process can be executed using the detection result by the sensor 114 (in other words, the content of the tilting operation calculated based on the detection result) as a user input.
なお、他の実施形態においては、ゲームシステム1は、操作検出部による検出結果に応じて実行されるゲーム処理の内容を、右コントローラ4が装着されていると判別された付加操作装置の種類に応じて変更してもよい。例えば、ゲームシステム1は、操作検出部による検出結果に基づいて検出するゲーム操作を、付加操作装置の種類に応じて変更してもよいし、操作検出部による検出結果に基づいて検出されるゲーム操作に応じて実行されるゲーム処理を、付加操作装置の種類に応じて変更してもよい。   In other embodiments, the game system 1 sets the content of the game process executed in accordance with the detection result by the operation detection unit to the type of the additional operation device that is determined to be equipped with the right controller 4. It may be changed accordingly. For example, the game system 1 may change the game operation detected based on the detection result by the operation detection unit according to the type of the additional operation device, or the game detected based on the detection result by the operation detection unit You may change the game process performed according to operation according to the kind of additional operation apparatus.
具体的には、他の実施形態においては、ゲームシステム1は、右コントローラ4が第1装着状態となる場合において、ハンドル602に対する回転操作を、加速度センサ114による検出結果に基づいて検出してもよい。このとき、ゲームシステム1は、右コントローラ4の長手方向に平行な軸回りの回転に関する右コントローラ4の姿勢を、加速度センサ114による検出結果に基づいて算出し、当該姿勢に基づいてゲーム処理を実行する。これに対して、第2装着状態においては、ゲームシステム1は、右コントローラ4の長手方向に垂直な2軸回りの回転に関する右コントローラ4の姿勢を、加速度センサ114による検出結果に基づいて算出し、当該姿勢に応じたゲーム処理を実行する。このように、ゲームシステム1は、加速度センサ114による検出結果に基づく姿勢に応じたゲーム処理を実行する場合において、右コントローラ4が装着されている付加操作装置の種類に応じて異なる軸回りの姿勢を算出してもよい。その結果、検出結果に応じて実行されるゲーム処理の内容は、右コントローラ4が装着されている付加操作装置の種類に応じて異なるものとなる。   Specifically, in another embodiment, the game system 1 may detect a rotation operation on the handle 602 based on a detection result by the acceleration sensor 114 when the right controller 4 is in the first wearing state. Good. At this time, the game system 1 calculates the posture of the right controller 4 related to the rotation about the axis parallel to the longitudinal direction of the right controller 4 based on the detection result by the acceleration sensor 114, and executes the game process based on the posture. To do. On the other hand, in the second wearing state, the game system 1 calculates the posture of the right controller 4 regarding the rotation about the two axes perpendicular to the longitudinal direction of the right controller 4 based on the detection result by the acceleration sensor 114. The game process corresponding to the posture is executed. As described above, when the game system 1 executes the game process according to the posture based on the detection result by the acceleration sensor 114, the posture about the different axis depends on the type of the additional operation device to which the right controller 4 is attached. May be calculated. As a result, the content of the game process executed in accordance with the detection result differs depending on the type of the additional operation device on which the right controller 4 is attached.
また、他の実施形態においては、上記ゲーム処理に用いられる操作検出部は、加速度センサ114に限らず、各ボタン113、アナログスティック52、および、角速度センサ115等であってもよい。例えば、ゲームシステム1は、第1装着状態においては、アナログスティック52による検出結果(換言すれば、アナログスティック52対する入力)に応じて、仮想カメラを移動させるゲーム処理を実行し、第2装着状態においては、アナログスティック52による検出結果に応じて、飛行機オブジェクト202の姿勢を変化させるゲーム処理を実行してもよい。このように、操作検出部による検出結果に基づいて検出される操作は、右コントローラ4が備える操作部に対する操作であってもよいし、右コントローラ4を動かす操作であってもよい。   In another embodiment, the operation detection unit used for the game process is not limited to the acceleration sensor 114 but may be each button 113, the analog stick 52, the angular velocity sensor 115, and the like. For example, in the first wearing state, the game system 1 executes a game process for moving the virtual camera in accordance with the detection result by the analog stick 52 (in other words, input to the analog stick 52), and the second wearing state. In, game processing for changing the attitude of the airplane object 202 in accordance with the detection result by the analog stick 52 may be executed. As described above, the operation detected based on the detection result by the operation detection unit may be an operation on the operation unit included in the right controller 4 or an operation of moving the right controller 4.
[2−6.装着途中における処理]
上述のように、本実施形態においては、ゲームシステム1は、右コントローラ4の赤外撮像部123によって付加操作装置のマーカを撮像することによって、右コントローラ4の装着状態およびゲーム操作を検出する。ここで、右コントローラ4を付加操作装置に装着する途中の状態においては、ゲームシステム1が付加操作装置の複数のマーカのうち一部のマーカのみを認識する(換言すれば、検出する)状態となる場合がある。このような場合、本実施形態においては、ゲームシステム1は、一部のゲーム操作を検出するとともに、右コントローラ4の装着が途中であることをユーザに通知する。以下、図26を参照して、右コントローラ4の装着が途中である場合における処理について説明する。
[2-6. Processing during installation]
As described above, in the present embodiment, the game system 1 detects the mounting state and the game operation of the right controller 4 by imaging the marker of the additional operation device by the infrared imaging unit 123 of the right controller 4. Here, in a state in which the right controller 4 is being attached to the additional operation device, the game system 1 recognizes (in other words, detects) only some of the plurality of markers of the additional operation device. There is a case. In such a case, in this embodiment, the game system 1 detects some game operations and notifies the user that the right controller 4 is being installed. Hereinafter, with reference to FIG. 26, a process when the right controller 4 is being installed will be described.
図26は、一部認識状態となる場合と、全認識状態となる場合との一例を示す図である。なお、図26においては、第1付加操作装置6に右コントローラ4が装着される場合を例として説明する。図26に示すように、右コントローラ4が第1付加操作装置6に対して途中まで挿入された状態(図26に示す左側の列の上側の欄)においては、赤外撮像部123は、第1基本マーカ612のみを撮像し、他のマーカ(すなわち、各レバーマーカ613および614)を撮像できない状態となる。   FIG. 26 is a diagram illustrating an example of a partial recognition state and a full recognition state. In FIG. 26, the case where the right controller 4 is attached to the first additional operation device 6 will be described as an example. As shown in FIG. 26, in a state where the right controller 4 is inserted halfway into the first additional operating device 6 (the upper column in the left column shown in FIG. 26), the infrared imaging unit 123 Only one basic marker 612 is imaged, and the other markers (that is, the lever markers 613 and 614) cannot be imaged.
ここで、本実施形態においては、各付加操作装置6〜8においては、右コントローラ4が付加操作装置に挿入されるときの挿入軸から基本マーカまでの距離は、当該挿入軸から上記他のマーカまでの距離よりも小さく設定される。つまり、基本マーカは、挿入軸から近い位置に配置され、他のマーカは、挿入軸から遠い位置に配置される。なお、上記「挿入軸」とは、右コントローラ4が付加操作装置に挿入される方向に平行であって、右コントローラ4の位置を通る直線である。したがって、本実施形態においては、右コントローラ4の装着が途中である状態においては、付加操作装置における筒状部分(すなわち、右コントローラ4が挿入される部分)の内壁によって赤外撮像部123の視野が遮蔽される結果、基本マーカのみが赤外撮像部123によって撮像される状態となることがある。   Here, in this embodiment, in each of the additional operation devices 6 to 8, the distance from the insertion axis to the basic marker when the right controller 4 is inserted into the additional operation device is the distance between the insertion axis and the other marker. It is set smaller than the distance up to. That is, the basic marker is arranged at a position near the insertion axis, and the other markers are arranged at a position far from the insertion axis. The “insertion axis” is a straight line that is parallel to the direction in which the right controller 4 is inserted into the additional operation device and passes through the position of the right controller 4. Therefore, in the present embodiment, in the state where the right controller 4 is being installed, the visual field of the infrared imaging unit 123 is determined by the inner wall of the cylindrical portion (that is, the portion into which the right controller 4 is inserted) in the additional operation device. As a result, only the basic marker may be imaged by the infrared imaging unit 123.
上記のように、第1基本マーカ612のみが赤外撮像部123によって撮像される場合、撮像画像には、第1基本マーカ画像622が含まれ、他のマーカ画像(すなわち、各レバーマーカ画像623および624)が含まれない(図26に示す中央の列の上側の欄)。このとき、撮像画像に基づいて基本マーカが認識され、上記他のマーカが認識されない状態となる。なお、以下においては、赤外撮像部123による撮像画像に基づいて基本マーカが認識され、上記他のマーカが認識されない状態を、「一部認識状態」と呼ぶ(図26に示す上側の行)。また、赤外撮像部123による撮像画像に基づいて基本マーカおよび上記他のマーカの両方が認識される状態を、「全認識状態」と呼ぶ(図26に示す下側の行)。   As described above, when only the first basic marker 612 is imaged by the infrared imaging unit 123, the captured image includes the first basic marker image 622, and other marker images (that is, each lever marker image 623). And 624) are not included (the upper column of the middle row shown in FIG. 26). At this time, the basic marker is recognized based on the captured image, and the other markers are not recognized. In the following, a state in which the basic marker is recognized based on the image captured by the infrared imaging unit 123 and the other markers are not recognized is referred to as a “partially recognized state” (upper row shown in FIG. 26). . Further, a state in which both the basic marker and the other markers are recognized based on the image captured by the infrared imaging unit 123 is referred to as an “all recognition state” (lower row shown in FIG. 26).
上記一部認識状態においては、第1基本マーカ612が検出されるので、ゲームシステム1は、第1基本マーカ612に基づくゲーム処理を実行する。具体的には、一部認識状態において、ゲームシステム1は、右コントローラ4が第1付加操作装置6に装着されたことを判別し、ゲーム空間において自動車オブジェクト201を出現させる。そして、ゲームシステム1は、上述の回転操作を検出し、回転操作に応じて自動車オブジェクト201の動作を制御する。なお、一部認識状態においては、各レバーマーカ613および614が検出されないので、ゲームシステム1は、上述の下げ操作を検出することができず、下げ操作に応じた自動車オブジェクト201の動作の制御については行わない。   Since the first basic marker 612 is detected in the partial recognition state, the game system 1 executes a game process based on the first basic marker 612. Specifically, in the partial recognition state, the game system 1 determines that the right controller 4 is attached to the first additional operation device 6 and causes the car object 201 to appear in the game space. And the game system 1 detects the above-mentioned rotation operation, and controls operation | movement of the motor vehicle object 201 according to rotation operation. Note that in the partially recognized state, the lever markers 613 and 614 are not detected, so the game system 1 cannot detect the lowering operation described above, and controls the movement of the car object 201 in accordance with the lowering operation. Do not do.
上記のように、一部認識状態においては、ユーザは、一部のゲーム操作(すなわち、第1付加操作装置6の場合は、下げ操作)を行うことができない。そのため、ゲームシステム1は、一部のゲーム操作を行うことをユーザに通知する。すなわち、ゲームシステム1は、一部認識状態においては、全認識状態において表示されるゲーム画像とは異なるゲーム画像を表示装置に表示する。本実施形態においては、ゲームシステム1は、自動車オブジェクト201から煙が出ている様子を表す画像を表示する(図26の右側の列の上側の欄)。これによって、ユーザは、右コントローラ4を正しく装着することができていないことを認識することができ、ゲームシステム1は、右コントローラ4を正しく装着することをユーザに促すことができる。   As described above, in the partially recognized state, the user cannot perform some game operations (that is, the lowering operation in the case of the first additional operation device 6). Therefore, the game system 1 notifies the user that some game operations are performed. That is, in the partial recognition state, the game system 1 displays a game image different from the game image displayed in the full recognition state on the display device. In the present embodiment, the game system 1 displays an image representing the appearance of smoke from the car object 201 (upper column in the right column in FIG. 26). Thus, the user can recognize that the right controller 4 cannot be correctly attached, and the game system 1 can prompt the user to correctly attach the right controller 4.
一方、右コントローラ4が第1付加操作装置6に対して奥まで挿入されている(すなわち、正しく挿入されている)状態(図26に示す左側の列の下側の欄)においては、赤外撮像部123は、第1基本マーカ612ならびに各レバーマーカ613および614の両方を撮像可能な状態となる。したがって、この状態においては、撮像画像は、第1基本マーカ画像622および他のマーカ画像(すなわち、各レバーマーカ画像623および624)を含み(図26に示す中央の列の下側の欄)、ゲームシステム1は、第1基本マーカ612ならびに各レバーマーカ613および614を認識することができる。したがって、ゲームシステム1は、第1基本マーカ612に基づくゲーム処理と、各レバーマーカ613および614に基づくゲーム処理との両方を実行する。すなわち、ゲームシステム1は、通常の自動車オブジェクト201(すなわち、煙が出ていない自動車オブジェクト201)を含むゲーム画像を表示する(図26に示す右側の列の下側の欄)。また、ゲームシステム1は、上述の回転操作および下げ操作を検出し、回転操作および下げ操作に応じて自動車オブジェクト201の動作を制御する。   On the other hand, in the state where the right controller 4 is inserted all the way into the first additional operating device 6 (that is, correctly inserted) (the lower column in the left column shown in FIG. 26), the infrared The imaging unit 123 is in a state in which both the first basic marker 612 and the lever markers 613 and 614 can be imaged. Therefore, in this state, the captured image includes the first basic marker image 622 and other marker images (that is, the lever marker images 623 and 624) (the lower column in the center column shown in FIG. 26), The game system 1 can recognize the first basic marker 612 and the lever markers 613 and 614. Therefore, the game system 1 executes both the game process based on the first basic marker 612 and the game process based on the lever markers 613 and 614. That is, the game system 1 displays a game image including a normal car object 201 (that is, a car object 201 that does not emit smoke) (lower column in the right column shown in FIG. 26). In addition, the game system 1 detects the rotation operation and the lowering operation described above, and controls the operation of the automobile object 201 according to the rotation operation and the lowering operation.
図26においては、右コントローラ4が第1付加操作装置6に装着される場合を例として説明したが、右コントローラ4が他の付加操作装置に装着される場合についても同様に、一部認識状態においては、ゲームシステム1は、全認識状態において実行されるゲーム処理のうちの一部のゲーム処理を実行する。   In FIG. 26, the case where the right controller 4 is attached to the first additional operation device 6 has been described as an example, but the case where the right controller 4 is attached to another additional operation device is also partially recognized. In the game system 1, the game system 1 executes a part of the game processes executed in the entire recognition state.
具体的には、右コントローラ4が第2付加操作装置7に装着される場合における一部認識状態において、ゲームシステム1は、右コントローラ4が第2付加操作装置7に装着されたことを判別し、ゲーム空間において飛行機オブジェクト202を出現させる。そして、ゲームシステム1は、上述の傾倒操作を検出し、傾倒操作に応じて飛行機オブジェクト202の動作を制御する。右コントローラ4が第2付加操作装置7に装着される場合において、傾倒操作はマーカに基づかずに検出されるので、ゲームシステム1は一部認識状態においても傾倒操作を検出可能であるからである。また、ゲームシステム1は、飛行機オブジェクト202から煙が出る様子を表す画像を表示装置に表示する。   Specifically, in the partial recognition state when the right controller 4 is attached to the second additional operation device 7, the game system 1 determines that the right controller 4 is attached to the second additional operation device 7. The airplane object 202 appears in the game space. Then, the game system 1 detects the above-described tilting operation, and controls the operation of the airplane object 202 according to the tilting operation. This is because when the right controller 4 is attached to the second additional operation device 7, the tilting operation is detected without being based on the marker, so that the game system 1 can detect the tilting operation even in a partially recognized state. . In addition, the game system 1 displays an image representing the appearance of smoke from the airplane object 202 on the display device.
また、右コントローラ4が第3付加操作装置8に装着される場合における一部認識状態において、ゲームシステム1は、右コントローラ4が第3付加操作装置8に装着されたことを判別し、ゲーム空間において船オブジェクト203を出現させる。なお、このとき、ゲームシステム1は、検出可能なユーザの操作がないので、ユーザの操作に応じて船オブジェクト203の動作の制御を行わない。このように、ゲームシステム1は、全ての種類の付加操作装置に関して、一部認識状態においてゲーム操作を検出する必要はない。また、ゲームシステム1は、船オブジェクト203から煙が出る様子を表す画像を表示装置に表示する。   Further, in the partially recognized state when the right controller 4 is attached to the third additional operation device 8, the game system 1 determines that the right controller 4 is attached to the third additional operation device 8, and the game space The ship object 203 appears at. At this time, since there is no detectable user operation, the game system 1 does not control the operation of the ship object 203 in accordance with the user operation. Thus, the game system 1 does not need to detect a game operation in a partially recognized state with respect to all types of additional operation devices. In addition, the game system 1 displays an image representing the appearance of smoke from the ship object 203 on the display device.
以上のように、本実施形態においては、付加操作装置が備える被検出部(すなわち、マーカ)は、第1部分(すなわち、基本マーカ)と、第2部分(すなわち、基本マーカ以外の他のマーカ)とを含む。ゲームシステム1は、撮像画像に含まれる第1部分を認識し、撮像画像に含まれる第2部分を認識する。ゲームシステム1は、第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、右コントローラ4が装着された付加操作装置の種類を判別する。また、ゲームシステム1は、付加操作装置に装着された右コントローラの装着状態として、第1部分が認識され、第2部分が認識されない一部認識状態と、第1部分および第2部分が認識される全認識状態とを判別する。換言すれば、ゲームシステム1は、第1部分の認識結果(すなわち、第1部分が認識されたか否か)と第2部分の認識結果とに基づいて、付加操作装置に対して右コントローラ4が装着される度合いを判別する。なお、「付加操作装置に対して右コントローラ4が装着される度合い」とは、換言すれば、付加操作装置に対して右コントローラ4がどの程度装着された状態であるかを示す度合いであり、本実施形態においては、右コントローラ4が付加操作装置に対して装着途中の状態であるか、それとも、右コントローラ4が付加操作装置に奥まで装着された状態であるかを示す。上記によれば、ゲームシステム1は、右コントローラ4が付加操作装置に対して正しく装着された状態であるか、それとも、装着途中の状態であるかを判別することができる。   As described above, in the present embodiment, the detected portion (that is, the marker) included in the additional operation device includes the first portion (that is, the basic marker) and the second portion (that is, other markers other than the basic marker). ). The game system 1 recognizes the first part included in the captured image and recognizes the second part included in the captured image. The game system 1 determines the type of the additional operation device to which the right controller 4 is attached based on at least one of the position, shape, and orientation of the first partial image indicating the first part. In addition, the game system 1 recognizes the first part as a mounted state of the right controller mounted on the additional operation device, the partial recognition state where the second part is not recognized, and the first part and the second part. Discriminating all recognition states. In other words, based on the recognition result of the first part (that is, whether or not the first part is recognized) and the recognition result of the second part, the game system 1 determines that the right controller 4 is Determine the degree of wearing. In addition, the “degree to which the right controller 4 is attached to the additional operation device” is, in other words, the degree indicating how much the right controller 4 is attached to the additional operation device. In the present embodiment, whether the right controller 4 is in the middle of being attached to the additional operation device or whether the right controller 4 is fully attached to the additional operation device is shown. Based on the above, the game system 1 can determine whether the right controller 4 is correctly attached to the additional operation device or whether the right controller 4 is being attached.
また、ゲームシステム1は、右コントローラ4の装着状態が一部認識状態であると判別される場合、第1のゲーム処理(すなわち、乗物オブジェクトから煙が出る様子を表す画像を表示する処理)を実行し、右コントローラ4の装着状態が全認識状態であると判別される場合、当該第1のゲーム処理とは異なる第2のゲーム処理(すなわち、煙が出ていない乗物オブジェクトを表す画像を表示する処理)を実行する。換言すれば、ゲームシステム1は、付加操作装置に対して右コントローラ4が装着される度合いに応じたゲーム処理を実行する。これによれば、ユーザは、右コントローラ4が付加操作装置に正しく装着されているか否かを容易に認識することができる。   Further, when the game system 1 determines that the wearing state of the right controller 4 is a partially recognized state, the game system 1 performs a first game process (that is, a process of displaying an image representing a state in which smoke is emitted from the vehicle object). And when it is determined that the right controller 4 is in the fully recognized state, a second game process different from the first game process (that is, an image representing a vehicle object that does not emit smoke) is displayed. Process). In other words, the game system 1 executes a game process according to the degree to which the right controller 4 is attached to the additional operation device. According to this, the user can easily recognize whether or not the right controller 4 is correctly attached to the additional operation device.
なお、本実施形態においては、ゲームシステム1は、第1部分画像の位置および向きのうち少なくとも1つに基づいて、ユーザの第1の種類の操作(例えば、第1付加操作装置6に対する回転操作)を検出し、検出された第1の種類の操作に基づくゲーム処理を実行する。また、ゲームシステム1は、第2部分画像の位置および向きのうち少なくとも1つに基づいて、ユーザの第2の種類の操作(例えば、第1付加操作装置6に対する下げ操作)を検出し、検出された第2の種類の操作に基づくゲーム処理を実行する。これによれば、ユーザは、右コントローラ4が付加操作装置に対して装着途中であっても、一部のゲーム操作を行うことが可能である。したがって、本実施形態においては、ゲームシステム1は、付加操作装置を用いたゲーム操作の操作性を向上することができる。   Note that, in the present embodiment, the game system 1 performs a first type of user operation (for example, a rotation operation on the first additional operation device 6) based on at least one of the position and orientation of the first partial image. ) And a game process based on the detected first type operation is executed. In addition, the game system 1 detects and detects a second type of user operation (for example, a lowering operation on the first additional operation device 6) based on at least one of the position and orientation of the second partial image. A game process based on the second type of operation is performed. Accordingly, the user can perform some game operations even when the right controller 4 is being attached to the additional operation device. Therefore, in this embodiment, the game system 1 can improve the operability of the game operation using the additional operation device.
なお、上述のように、本実施形態においては、付加操作装置は、段ボールで構成され、ユーザによって組み立てられる。そのため、ユーザが付加操作装置を上手く組み立てられない可能性もあり、このとき、ユーザが右コントローラ4を付加操作装置に対してスムーズに装着(換言すれば、挿入)することができない可能性もある。これに関して、本実施形態によれば、ユーザが右コントローラ4を付加操作装置に対してスムーズに装着することができず、一部認識状態となってしまう場合であっても、ゲームシステム1は、ユーザに対して通知を行うことによって、右コントローラ4を正しく装着することをユーザに促すことができる。   As described above, in the present embodiment, the additional operation device is formed of cardboard and is assembled by the user. Therefore, the user may not be able to assemble the additional operation device well, and at this time, the user may not be able to smoothly attach (in other words, insert) the right controller 4 to the additional operation device. . In this regard, according to the present embodiment, even if the user cannot smoothly attach the right controller 4 to the additional operation device and is partially recognized, the game system 1 By notifying the user, the user can be prompted to correctly attach the right controller 4.
また、本実施形態においては、例えば付加操作装置の一部の操作部(例えば、第1付加操作装置6における各レバー604および605)が破損等によって無い状態となっても、ゲームシステム1は、当該一部の操作部以外の操作部に対する操作を検出することができる。   In the present embodiment, for example, even if a part of the operation unit of the additional operation device (for example, the levers 604 and 605 in the first additional operation device 6) is not damaged, the game system 1 An operation on an operation unit other than the some operation units can be detected.
[3.ゲームシステムにおける処理の具体例]
次に、図27〜図29を参照して、ゲームシステム1における情報処理の具体例について説明する。
[3. Specific example of processing in game system]
Next, a specific example of information processing in the game system 1 will be described with reference to FIGS.
[3−1.情報処理に用いられるデータ]
図27は、ゲームシステム1における情報処理に用いられる各種データの一例を示す図である。図27に示す各種データは、本体装置2がアクセス可能な記憶媒体(例えば、スロット23に装着された記憶媒体、フラッシュメモリ84、および/または、DRAM85)に記憶される。
[3-1. Data used for information processing]
FIG. 27 is a diagram illustrating an example of various data used for information processing in the game system 1. Various types of data shown in FIG. 27 are stored in a storage medium (for example, a storage medium mounted in the slot 23, the flash memory 84, and / or the DRAM 85) accessible by the main device 2.
図27に示すように、本体装置2は、ゲームプログラム301を記憶する。ゲームプログラム301は、本実施形態におけるゲームを実行するためのゲームアプリケーションのプログラムであり、例えば、スロット23に装着された記憶媒体またはフラッシュメモリ84に記憶される。   As shown in FIG. 27, the main device 2 stores a game program 301. The game program 301 is a game application program for executing the game in the present embodiment, and is stored in, for example, a storage medium attached to the slot 23 or the flash memory 84.
また、図27に示すように、本体装置2は、操作データ302、装着状態データ303、認識状態データ304、向きデータ305、前方向データ306、および、オブジェクトデータ307を記憶する。これらのデータ(換言すれば、情報)302〜307は、後述する情報処理(図28および図29)において取得または生成されて用いられる。   As shown in FIG. 27, the main device 2 stores operation data 302, wearing state data 303, recognition state data 304, orientation data 305, forward data 306, and object data 307. These data (in other words, information) 302 to 307 are acquired or generated and used in information processing (FIGS. 28 and 29) described later.
操作データ302は、コントローラから受信される操作データである。本実施形態においては、操作データ302は、赤外撮像部123による撮像画像のデータを含む。なお、他の実施形態においては、操作データ302は、撮像画像に対して何らかの加工が行われた情報、および/または、撮像画像から得られる情報(例えば、マーカの位置および向きを示す情報)を含んでいてもよい。なお、本体装置2が複数のコントローラから操作データを受信する場合、本体装置2は、コントローラ毎に操作データ302を記憶する。   The operation data 302 is operation data received from the controller. In the present embodiment, the operation data 302 includes data of an image captured by the infrared imaging unit 123. In other embodiments, the operation data 302 includes information obtained by performing some processing on the captured image and / or information obtained from the captured image (for example, information indicating the position and orientation of the marker). May be included. When main device 2 receives operation data from a plurality of controllers, main device 2 stores operation data 302 for each controller.
装着状態データ303は、右コントローラ4の装着状態を示す。具体的には、装着状態データ303は、第1〜第3装着状態、および、非装着状態のいずれかを示す。   The wearing state data 303 indicates the wearing state of the right controller 4. Specifically, the wearing state data 303 indicates one of the first to third wearing states and the non-wearing state.
認識状態データ304は、ゲームシステム1におけるマーカの認識状態を示す。具体的には、認識状態データ304は、上述の一部認識状態または全認識状態を示す。   The recognition state data 304 indicates a marker recognition state in the game system 1. Specifically, the recognition state data 304 indicates the above-described partial recognition state or full recognition state.
向きデータ305は、上述の向き情報を示し、具体的には、第1の向きまたは第2の向きを示す。   The direction data 305 indicates the above-described direction information, and specifically indicates the first direction or the second direction.
前方向データ306は、非装着状態において設定される、上述の右コントローラ4の前方向を示す。本実施形態においては、前方向データ306は、本体装着面が向く方向、または、当該方向の逆向きの方向を示す。   The forward data 306 indicates the forward direction of the right controller 4 described above set in the non-wearing state. In the present embodiment, the front direction data 306 indicates a direction in which the main body mounting surface faces or a direction opposite to the direction.
オブジェクトデータ307は、ユーザの操作対象であるオブジェクト(すなわち、プレイヤキャラクタおよび乗物オブジェクト)に関する情報を示す。具体的には、オブジェクトデータ307は、プレイヤキャラクタが乗物オブジェクトを運転しているか否か、乗物オブジェクトを運転している場合は乗物オブジェクトの種類を示すデータを含む。また、オブジェクトデータ307は、プレイヤキャラクタまたは乗物オブジェクトの状態(例えば、ゲーム空間における位置および向き等)を示す各種パラメータのデータを含む。   The object data 307 indicates information related to objects (that is, player characters and vehicle objects) that are operation targets of the user. Specifically, the object data 307 includes data indicating whether or not the player character is driving the vehicle object, and when the player character is driving the vehicle object. The object data 307 includes data of various parameters indicating the state of the player character or vehicle object (for example, position and orientation in the game space).
図28は、情報処理装置によって実行される情報処理の流れの一例を示すフローチャートである。なお、図28に示す一連の処理は、上記ゲームプログラム301の起動後、所定の条件が満たされたこと(例えば、ゲームをプレイする旨の指示がユーザによって行われたこと)に応じて開始される。   FIG. 28 is a flowchart illustrating an example of the flow of information processing executed by the information processing apparatus. Note that the series of processing shown in FIG. 28 is started in response to a predetermined condition being satisfied after the game program 301 is started (for example, an instruction to play the game is given by the user). The
なお、本実施形態では、本体装置2のプロセッサ81(換言すれば、コンピュータ)が、ゲームプログラム301を実行することによって、図28および図29に示す各ステップの処理を実行するものとして説明する。ただし、他の実施形態においては、上記各ステップの処理のうちの一部の処理を、プロセッサ81とは別のプロセッサ(例えば、専用回路等)が実行するようにしてもよい。また、本体装置2がサーバと通信可能である場合、図28および図29に示す各ステップの処理の一部は、サーバにおいて実行されてもよい。また、コントローラが情報処理部(例えば、プロセッサ)を備える場合には、図28および図29に示す各ステップの処理の一部は、コントローラにおいて実行されてもよい。また、図28および図29に示す各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。   In the present embodiment, it is assumed that the processor 81 (in other words, the computer) of the main device 2 executes the process of each step shown in FIGS. 28 and 29 by executing the game program 301. However, in another embodiment, a part of the processes in the above steps may be executed by a processor (for example, a dedicated circuit) other than the processor 81. Further, when the main device 2 can communicate with the server, a part of the processing of each step shown in FIGS. 28 and 29 may be executed in the server. In addition, when the controller includes an information processing unit (for example, a processor), a part of the processing of each step illustrated in FIGS. 28 and 29 may be executed in the controller. In addition, the processing of each step shown in FIG. 28 and FIG. 29 is merely an example, and if the same result is obtained, the processing order of each step may be changed. In addition to the processing of each step Another process may be performed (or alternatively).
また、本体装置2のプロセッサ81は、図28および図29に示す各ステップの処理を、メモリ(具体的には、フラッシュメモリ84および/またはDRAM85)を用いて実行する。すなわち、プロセッサ81は、各処理ステップによって得られるデータをメモリに記憶し、それ以降の処理ステップにおいて当該データを用いる場合には、メモリから当該データを読み出して利用する。   Further, the processor 81 of the main device 2 executes the processing of each step shown in FIGS. 28 and 29 using the memory (specifically, the flash memory 84 and / or the DRAM 85). That is, the processor 81 stores the data obtained in each processing step in the memory, and when using the data in the subsequent processing steps, reads the data from the memory and uses it.
図28に示すステップS1において、プロセッサ81は、操作データを取得する。右コントローラ4は、操作データを本体装置2へ繰り返し送信するので、本体装置2は操作データを逐次受信し、操作データ302としてメモリに記憶する。操作データ302は、最新のものから順に所定個数の操作データを含んでいてもよい。ステップS1において、プロセッサ81は、操作データ302をメモリから読み出す。ステップS1の次に、ステップS2の処理が実行される。   In step S1 shown in FIG. 28, the processor 81 acquires operation data. Since the right controller 4 repeatedly transmits the operation data to the main device 2, the main device 2 sequentially receives the operation data and stores it in the memory as the operation data 302. The operation data 302 may include a predetermined number of operation data in order from the latest. In step S1, the processor 81 reads the operation data 302 from the memory. Following step S1, the process of step S2 is executed.
ステップS2において、プロセッサ81は、装着状態判別処理を実行する。装着状態判別処理は、右コントローラ4の付加操作装置に対する装着に関する状態を判別するための処理である。以下、図29を参照して、装着状態判別処理の詳細について説明する。   In step S2, the processor 81 executes a mounting state determination process. The mounting state determination process is a process for determining a state related to mounting of the right controller 4 on the additional operation device. Hereinafter, with reference to FIG. 29, the details of the wearing state determination processing will be described.
図29は、図28に示すステップS2の装着状態判別処理の詳細な流れの一例を示すサブフローチャートである。装着状態判別処理においては、まずステップS21において、プロセッサ81は、マーカ画像を検出する。具体的には、プロセッサ81は、メモリに記憶されている操作データ302に含まれる撮像画像のデータから、当該撮像画像に含まれているマーカ画像を検出する。   FIG. 29 is a sub-flowchart showing an example of a detailed flow of the wearing state determination process in step S2 shown in FIG. In the mounting state determination process, first, in step S21, the processor 81 detects a marker image. Specifically, the processor 81 detects a marker image included in the captured image from the captured image data included in the operation data 302 stored in the memory.
撮像画像からマーカ画像を検出する方法は任意である。本実施形態においては、撮像画像において、マーカ画像は、輝度が高い領域として現れる。したがって、プロセッサ81は、撮像画像から高輝度領域を抽出し、抽出した領域をマーカ画像の領域として検出する。ここで、右コントローラ4が付加操作装置に装着される途中である状態では、撮像画像には、マーカ画像の他に、ノイズ画像が含まれることがある。ノイズ画像は、赤外発光部124による赤外光が付加操作装置における筒状部分の内壁に乱反射して赤外撮像部123によって受光されたことによって生じる。このようなノイズ画像は、マーカ画像よりも大きくなるので、プロセッサ81は、撮像画像から抽出された高輝度領域のうちで、所定の大きさ以上の領域をノイズ画像であると判断し、マーカ画像としては検出しない。なお、プロセッサ81は、高輝度領域の輝度および/または形状に基づいてマーカ画像およびノイズ画像を判断してもよい。   A method for detecting the marker image from the captured image is arbitrary. In the present embodiment, in the captured image, the marker image appears as a region with high luminance. Therefore, the processor 81 extracts a high luminance area from the captured image and detects the extracted area as a marker image area. Here, in a state where the right controller 4 is being attached to the additional operation device, the captured image may include a noise image in addition to the marker image. The noise image is generated when infrared light from the infrared light emitting unit 124 is diffusely reflected on the inner wall of the cylindrical portion of the additional operation device and received by the infrared imaging unit 123. Since such a noise image is larger than the marker image, the processor 81 determines that an area having a predetermined size or larger among the high luminance areas extracted from the captured image is a noise image, and the marker image. As not detected. Note that the processor 81 may determine the marker image and the noise image based on the luminance and / or shape of the high luminance region.
以上より、上記ステップS21においては、右コントローラ4が付加操作装置に装着された状態では、マーカ画像が検出される。なお、撮像画像に複数のマーカ画像が含まれる場合、プロセッサ81は、各マーカ画像(すなわち、基本マーカ画像と、その他のマーカ画像)をそれぞれ検出する。また、右コントローラ4が付加操作装置に装着される途中である状態では、基本マーカ画像のみが検出されることがある。一方、右コントローラ4が付加操作装置に装着されていない状態では、マーカ画像が検出されない。上記ステップS21の次に、ステップS22の処理が実行される。   As described above, in step S21, a marker image is detected in a state where the right controller 4 is attached to the additional operation device. When a plurality of marker images are included in the captured image, the processor 81 detects each marker image (that is, the basic marker image and other marker images). Further, only the basic marker image may be detected in a state where the right controller 4 is in the process of being attached to the additional operation device. On the other hand, when the right controller 4 is not attached to the additional operation device, the marker image is not detected. Following step S21, the process of step S22 is executed.
ステップS22において、プロセッサ81は、ステップS21における検出結果に基づいて、基本マーカが認識されたか否かを判定する。本実施形態においては、プロセッサ81は、現在の検出結果と、過去の検出結果とに基づいて判定を行う。具体的には、プロセッサ81は、下記の式(1)に従って判定値L(t)を算出する。
L(t)=p・Lc+(1−p)・L(t−1) …(1)
上式(1)において、変数Lcは、現在の検出結果を表す数値であり、具体的には、基本マーカが検出された場合には1となり、検出されない場合には0となる。変数L(t−1)は、前回のステップS22の処理において算出された判定値である。定数pは、0<p≦1の範囲で予め設定される。定数pが大きくなるほど、判定値L(t)に過去の検出結果(すなわち、L(t−1))が反映される度合いが大きくなる。
In step S22, the processor 81 determines whether or not the basic marker is recognized based on the detection result in step S21. In the present embodiment, the processor 81 makes a determination based on the current detection result and the past detection result. Specifically, the processor 81 calculates a determination value L (t) according to the following equation (1).
L (t) = p · Lc + (1−p) · L (t−1) (1)
In the above equation (1), the variable Lc is a numerical value representing the current detection result. Specifically, the variable Lc is 1 when a basic marker is detected, and 0 when it is not detected. The variable L (t−1) is a determination value calculated in the previous process of step S22. The constant p is preset in the range of 0 <p ≦ 1. As the constant p increases, the degree to which the past detection result (that is, L (t−1)) is reflected in the determination value L (t) increases.
算出された判定値L(t)が所定の閾値より大きい場合、プロセッサ81は、基本マーカが認識されたと判定する。一方、算出された判定値L(t)が所定の閾値以下である場合、プロセッサ81は、基本マーカが認識されていないと判定する。ステップS22の判定結果が否定である場合、ステップS23の処理が実行される。一方、ステップS22の判定結果が肯定である場合、ステップS24の処理が実行される。   When the calculated determination value L (t) is larger than the predetermined threshold, the processor 81 determines that the basic marker has been recognized. On the other hand, when the calculated determination value L (t) is equal to or less than the predetermined threshold, the processor 81 determines that the basic marker is not recognized. If the determination result of step S22 is negative, the process of step S23 is executed. On the other hand, when the determination result of step S22 is affirmative, the process of step S24 is executed.
なお、マーカ画像の検出結果に基づいて、マーカが認識されたか否かの判定を行う方法は任意である。例えば、他の実施形態においては、プロセッサ81は、最新のステップS21における検出結果のみに基づいて(換言すれば、上記係数pを1に設定して)上記判定を行ってもよい。また例えば、他の実施形態においては、ステップS21において所定回数連続して基本マーカ画像が検出された場合、基本マーカ画像が認識されたと判定してもよい。   A method for determining whether or not the marker is recognized based on the detection result of the marker image is arbitrary. For example, in another embodiment, the processor 81 may perform the determination based only on the latest detection result in step S21 (in other words, the coefficient p is set to 1). Further, for example, in another embodiment, it may be determined that the basic marker image is recognized when the basic marker image is detected a predetermined number of times in succession in step S21.
ステップS23において、プロセッサ81は、右コントローラ4の状態を非装着状態であると判別する。すなわち、プロセッサ81は、非装着状態を示す装着状態データ303をメモリに記憶する。ステップS23の後、プロセッサ81は装着状態判別処理を終了する。   In step S23, the processor 81 determines that the state of the right controller 4 is a non-wearing state. That is, the processor 81 stores the wearing state data 303 indicating the non-wearing state in the memory. After step S23, the processor 81 ends the wearing state determination process.
一方、ステップS24において、プロセッサ81は、認識された基本マーカに基づいて、右コントローラ4が装着された付加操作装置の種類を判別する。すなわち、“[2−1−2.マーカに基づく処理]”において述べたように、各付加操作装置6〜8の第1〜第3基本マーカは、それぞれ異なる形状であるので、プロセッサ81は、認識された基本マーカの形状を特定することによって、付加操作装置の種類を判別する。また、プロセッサ81は、判別結果(すなわち、第1〜第3付加操作装置のいずれか)を示す装着状態データ303をメモリに記憶する。ステップS24の次に、ステップS25の処理が実行される。   On the other hand, in step S24, the processor 81 determines the type of the additional operation device to which the right controller 4 is attached based on the recognized basic marker. That is, as described in “[2-1-2. Processing Based on Marker]”, the first to third basic markers of each of the additional operation devices 6 to 8 have different shapes. By identifying the shape of the recognized basic marker, the type of the additional operation device is determined. In addition, the processor 81 stores mounting state data 303 indicating the determination result (that is, one of the first to third additional operation devices) in the memory. Following step S24, the process of step S25 is executed.
ステップS25において、プロセッサ81は、ステップS21において、基本マーカ画像以外の他のマーカ画像が検出されたか否かを判定する。例えば、ステップS21において基本マーカ画像のみが検出される場合(上述のノイズ画像が検出される場合を含む)、プロセッサ81は、他のマーカ画像が検出されていないと判定する。ステップS25の判定結果が肯定である場合、ステップS26の処理が実行される。一方、ステップS25の判定結果が否定である場合、後述するステップS28の処理が実行される。   In step S25, the processor 81 determines whether or not a marker image other than the basic marker image is detected in step S21. For example, when only the basic marker image is detected in step S21 (including the case where the above-described noise image is detected), the processor 81 determines that no other marker image is detected. If the determination result of step S25 is affirmative, the process of step S26 is executed. On the other hand, when the determination result of step S25 is negative, a process of step S28 described later is executed.
ステップS26において、プロセッサ81は、右コントローラ4が静止しているか否かを判定する。ここで、右コントローラ4が付加操作装置に装着されている途中の状態においては、右コントローラ4が動いており、この状態では、撮像画像においてマーカ画像の位置が右コントローラ4の動きによって変化するので、マーカに基づいて操作を正しく検出することができないおそれがある。そこで、本実施形態においては、右コントローラ4が静止している場合に、右コントローラ4が全認識状態であると判別し、この場合にマーカに基づいて操作を検出するようにするべく、ステップS26の判定を行っている。つまり、本実施形態においては、ステップS25およびS26の判定結果が共に肯定となる場合、ゲームシステム1は他のマーカ画像を認識する。   In step S26, the processor 81 determines whether or not the right controller 4 is stationary. Here, in a state where the right controller 4 is being attached to the additional operation device, the right controller 4 is moving, and in this state, the position of the marker image in the captured image changes due to the movement of the right controller 4. The operation may not be detected correctly based on the marker. Therefore, in the present embodiment, when the right controller 4 is stationary, it is determined that the right controller 4 is in a fully recognized state, and in this case, in order to detect an operation based on the marker, step S26. Judgment is made. That is, in this embodiment, when both the determination results in steps S25 and S26 are affirmative, the game system 1 recognizes another marker image.
本実施形態において、ステップS26の判定は、認識されている基本マーカに基づいて行われる。すなわち、撮像画像において検出された基本マーカ画像が変化していない状態(例えば、前回に検出された基本マーカ画像からの移動量が所定値以下であり、大きさの変化量が所定値以下である状態)が所定期間継続した場合、プロセッサ81は、右コントローラ4が静止していると判定する。一方、撮像画像において検出された基本マーカ画像が変化していない状態が所定期間継続していない場合、プロセッサ81は、右コントローラ4が静止していないと判定する。なお、他の実施形態においては、ステップS26の判定は、基本マーカに加えて(または、代えて)、右コントローラ4の加速度センサ114および/または角速度センサ115の検出結果に基づいて行われてもよい。ステップS26の判定結果が肯定である場合、ステップS27の処理が実行される。一方、ステップS26の判定結果が否定である場合、後述するステップS28の処理が実行される。   In the present embodiment, the determination in step S26 is performed based on the recognized basic marker. That is, the basic marker image detected in the captured image has not changed (for example, the amount of movement from the previously detected basic marker image is less than or equal to a predetermined value, and the amount of change in size is less than or equal to a predetermined value. State) continues for a predetermined period, the processor 81 determines that the right controller 4 is stationary. On the other hand, when the basic marker image detected in the captured image does not change for a predetermined period, the processor 81 determines that the right controller 4 is not stationary. In other embodiments, the determination in step S26 may be performed based on the detection result of the acceleration sensor 114 and / or the angular velocity sensor 115 of the right controller 4 in addition to (or instead of) the basic marker. Good. If the determination result of step S26 is affirmative, the process of step S27 is executed. On the other hand, when the determination result of step S26 is negative, a process of step S28 described later is executed.
ステップS27において、プロセッサ81は、全認識状態であると判別する。すなわち、プロセッサ81は、全認識状態を示す認識状態データ304をメモリに記憶する。ステップS27の次に、後述するステップS29の処理が実行される。   In step S <b> 27, the processor 81 determines that it is in the full recognition state. That is, the processor 81 stores recognition state data 304 indicating all recognition states in the memory. Following step S27, a process of step S29 described later is executed.
一方、ステップS28において、プロセッサ81は、一部認識状態であると判別する。すなわち、プロセッサ81は、一部認識状態を示す認識状態データ304をメモリに記憶する。ステップS28の次に、ステップS29の処理が実行される。   On the other hand, in step S28, the processor 81 determines that the partial recognition state is set. That is, the processor 81 stores recognition state data 304 indicating a partial recognition state in the memory. Following step S28, the process of step S29 is executed.
ステップS29において、プロセッサ81は、操作の検出に用いられるマーカ画像について、撮像画像上における位置および向きを算出する。なお、「操作の検出に用いられるマーカ画像」とは、第1装着状態においては、第1基本マーカ画像622ならびに各マーカ画像623および624であり、第2装着状態においては、ボタンマーカ712のマーカ画像であり、第3装着状態においては、各ハンドルマーカ812および813の各画像である。プロセッサ81は、算出された位置および向きを示すデータを、マーカ画像毎にメモリに記憶する。なお、右コントローラ4が一部検出状態であると判別された場合(ステップS28)において、操作の検出に用いられるマーカ画像がない場合、プロセッサ81は、マーカ画像の位置および向きを算出しない。ステップS29の後、プロセッサ81は装着状態判別処理を終了する。装着状態判別処理を終了した後、図28に示すステップS3の処理が実行される。   In step S29, the processor 81 calculates the position and orientation on the captured image of the marker image used for detecting the operation. The “marker image used for detecting the operation” is the first basic marker image 622 and the marker images 623 and 624 in the first wearing state, and the marker of the button marker 712 in the second wearing state. It is an image, and in the third wearing state, it is each image of each handle marker 812 and 813. The processor 81 stores data indicating the calculated position and orientation in the memory for each marker image. If it is determined that the right controller 4 is in a partially detected state (step S28), the processor 81 does not calculate the position and orientation of the marker image when there is no marker image used for operation detection. After step S29, the processor 81 ends the wearing state determination process. After completing the wearing state determination process, the process of step S3 shown in FIG. 28 is executed.
ステップS3において、プロセッサ81は、右コントローラ4の装着状態が変化したか否かを判定する。具体的には、プロセッサ81は、上記ステップS2において、装着状態データの内容が更新されたか否かに基づいて、ステップS3の判定を行う。ステップS3の判定結果が肯定である場合、ステップS4の処理が実行される。一方、ステップS3の判定結果が否定である場合、後述するステップS9の処理が実行される。   In step S3, the processor 81 determines whether or not the mounting state of the right controller 4 has changed. Specifically, the processor 81 performs the determination in step S3 based on whether or not the contents of the mounting state data are updated in step S2. If the determination result of step S3 is affirmative, the process of step S4 is executed. On the other hand, when the determination result of step S3 is negative, a process of step S9 described later is executed.
ステップS4において、プロセッサ81は、右コントローラ4の装着状態に基づいて、プレイヤキャラクタ200が運転する乗物オブジェクトを変更する。すなわち、プロセッサ81は、メモリに記憶されているオブジェクトデータ307のうちで、プレイヤキャラクタ200が運転する乗物オブジェクトを示すデータを更新する。具体的には、右コントローラ4が第1装着状態である場合には、自動車オブジェクト201を示すデータがメモリに記憶され、右コントローラ4が第2装着状態である場合には、飛行機オブジェクト202を示すデータがメモリに記憶され、右コントローラ4が第3装着状態である場合には、船オブジェクト203を示すデータがメモリに記憶され、ステップS4の次に、ステップS5の処理が実行される。   In step S4, the processor 81 changes the vehicle object that the player character 200 drives based on the wearing state of the right controller 4. That is, the processor 81 updates the data indicating the vehicle object that the player character 200 drives in the object data 307 stored in the memory. Specifically, when the right controller 4 is in the first wearing state, data indicating the car object 201 is stored in the memory, and when the right controller 4 is in the second wearing state, the plane object 202 is indicated. When the data is stored in the memory and the right controller 4 is in the third mounting state, the data indicating the ship object 203 is stored in the memory, and the process of step S5 is executed after step S4.
ステップS5において、プロセッサ81は、右コントローラ4が第2装着状態となったか否かを判定する。ステップS5の判定結果が肯定である場合、ステップS6の処理が実行される。一方、ステップS5の判定結果が否定である場合、ステップS7の処理が実行される。   In step S5, the processor 81 determines whether or not the right controller 4 is in the second mounting state. If the determination result of step S5 is affirmative, the process of step S6 is executed. On the other hand, when the determination result of step S5 is negative, the process of step S7 is executed.
ステップS6において、プロセッサ81は、右コントローラ4が第2付加操作装置7に装着された時の向きを示す向き情報を保存する。具体的には、プロセッサ81は、第1の向きまたは第2の向きを示す向きデータをメモリに記憶する。なお、プロセッサ81は、右コントローラ4が第2付加操作装置7に装着された時の向きを、装着時において検出された基本マーカ画像の向きに基づいて判別することができる。ステップS6の次に、後述するステップS9の処理が実行される。   In step S <b> 6, the processor 81 stores orientation information indicating the orientation when the right controller 4 is attached to the second additional operation device 7. Specifically, the processor 81 stores orientation data indicating the first orientation or the second orientation in the memory. The processor 81 can determine the orientation when the right controller 4 is attached to the second additional operation device 7 based on the orientation of the basic marker image detected at the time of attachment. Following step S6, a process of step S9 described later is executed.
ステップS7において、プロセッサ81は、右コントローラ4が第2装着状態から非装着状態へと変化したか否かを判定する。この判定は、メモリに記憶される装着状態データが、第2装着状態を示す内容から非装着状態を示す内容に更新されたか否かによって行われる。ステップS7の判定結果が肯定である場合、ステップS8の処理が実行される。一方、ステップS7の判定結果が否定である場合、ステップS9の処理が実行される。   In step S7, the processor 81 determines whether or not the right controller 4 has changed from the second mounting state to the non-mounting state. This determination is made based on whether or not the mounting state data stored in the memory has been updated from the content indicating the second mounting state to the content indicating the non-wearing state. If the determination result of step S7 is affirmative, the process of step S8 is executed. On the other hand, when the determination result of step S7 is negative, the process of step S9 is executed.
ステップS8において、プロセッサ81は、メモリに記憶されている向きデータに基づいて、右コントローラ4の前方向を設定する。具体的には、プロセッサ81は、上記“[2−2−4.第2装着状態から非装着状態へと移行した場合における処理]”で述べた方法で、右コントローラ4の前方向を設定する。プロセッサ81は、設定した前方向を示すデータを、前方向データ306としてメモリに記憶する。ステップS8の次に、ステップS9の処理が実行される。   In step S8, the processor 81 sets the front direction of the right controller 4 based on the orientation data stored in the memory. Specifically, the processor 81 sets the forward direction of the right controller 4 by the method described in “[2-2-4. Processing when Transitioning from Second Mounting State to Non-Mounting State]” above. . The processor 81 stores data indicating the set forward direction in the memory as the forward data 306. Following step S8, the process of step S9 is executed.
ステップS9において、プロセッサ81は、右コントローラ4の装着状態および認識状態に応じて、ユーザの操作を検出する。本実施形態においては、右コントローラ4の装着状態および認識状態に応じて検出される操作は、下記の通りである。
・第1装着状態であって、全認識状態である場合:回転操作、および、下げ操作
・第1装着状態であって、一部認識状態である場合:回転操作
・第2装着状態であって、全認識状態である場合:傾倒操作、および、押下操作
・第2装着状態であって、一部認識状態である場合:傾倒操作
・第3装着状態であって、全認識状態である場合:左側回転操作、および、右側回転操作
・第3装着状態であって、一部認識状態である場合:なし
・非装着状態である場合:右コントローラ4に対する操作
プロセッサ81は、操作データに基づいて上記各操作を検出する。このとき、プロセッサ81は、装着状態に応じて上述の操作検出部を必要に応じて特定する。本実施形態においては、右コントローラ4の装着状態が第2装着状態である場合には、加速度センサ114が特定される。そして、プロセッサ81は、撮像画像に基づいて操作を検出し、操作検出部が特定される場合には、当該操作検出部の検出結果に基づいて操作を検出する。なお、上記各操作の具体的な検出方法は、“[2−1−2.マーカに基づく処理]”、“[2−2−2.マーカに基づく処理]”、および、“[2−3−2.マーカに基づく処理]”で述べた通りである。なお、被装着状態においては、プレイヤキャラクタ200の状態(すなわち、地面に立った状態であるか、それとも、空中においてパラシュートを装備した状態であるか)に応じて、検出される操作が異なっていてもよい。例えば、プレイヤキャラクタ200が地面に立った状態である場合には、プロセッサ81は、右コントローラ4のアナログスティック52に対する操作を検出し、プレイヤキャラクタ200が空中においてパラシュートを装備した状態である場合には、プロセッサ81は、右コントローラ4の姿勢を変化させる操作を検出する。ステップS9の次に、ステップS10の処理が実行される。
In step S <b> 9, the processor 81 detects a user operation according to the mounting state and the recognition state of the right controller 4. In the present embodiment, operations detected according to the mounting state and the recognition state of the right controller 4 are as follows.
When in the first wearing state and in the full recognition state: Rotation operation and lowering operation. When in the first wearing state and in the partial recognition state: Rotating operation and in the second wearing state. In the full recognition state: Tilt operation and push-down operation / second wearing state, in partial recognition state: Tilt operation / third wearing state, full recognition state: Left-side rotation operation and right-side rotation operation / third attachment state, partially recognized state: none / non-attachment state: operation on right controller 4 The processor 81 performs the above operation based on operation data Detect each operation. At this time, the processor 81 identifies the above-described operation detection unit as necessary according to the mounting state. In the present embodiment, when the wearing state of the right controller 4 is the second wearing state, the acceleration sensor 114 is specified. Then, the processor 81 detects an operation based on the captured image. When the operation detection unit is specified, the processor 81 detects the operation based on the detection result of the operation detection unit. In addition, the specific detection method of each said operation is "[2-1-2. Process based on marker]", "[2-2-2. Process based on marker]", and "[2-3. -2. Processing based on marker] ”. In the attached state, the detected operation differs depending on the state of the player character 200 (that is, whether the player character is standing on the ground or is equipped with a parachute in the air). Also good. For example, when the player character 200 is standing on the ground, the processor 81 detects an operation on the analog stick 52 of the right controller 4 and when the player character 200 is equipped with a parachute in the air. The processor 81 detects an operation for changing the posture of the right controller 4. Following step S9, the process of step S10 is executed.
ステップS10において、プロセッサ81は、右コントローラ4の装着状態に応じた操作対象(すなわち、プレイヤキャラクタ200または乗物オブジェクト)を、検出された操作に応じて制御する。すなわち、第1装着状態においては、プロセッサ81は、上記回転操作および下げ操作に応じて自動車オブジェクト201を制御する。第2装着状態においては、プロセッサ81は、上記傾倒操作および押下操作に応じて飛行機オブジェクト202を制御する。第3装着状態においては、プロセッサ81は、上記左側回転操作および右側回転操作に応じて船オブジェクト203を制御する。非装着状態においては、プロセッサ81は、右コントローラ4に対する操作に応じてプレイヤキャラクタ200を制御する。ステップS10の次に、ステップS11の処理が実行される。   In step S10, the processor 81 controls the operation target (that is, the player character 200 or the vehicle object) according to the wearing state of the right controller 4 according to the detected operation. That is, in the first wearing state, the processor 81 controls the car object 201 according to the rotation operation and the lowering operation. In the second wearing state, the processor 81 controls the airplane object 202 according to the tilting operation and the pressing operation. In the third mounting state, the processor 81 controls the ship object 203 according to the left rotation operation and the right rotation operation. In the non-wearing state, the processor 81 controls the player character 200 in accordance with an operation on the right controller 4. Following step S10, the process of step S11 is executed.
ステップS11において、プロセッサ81は、右コントローラ4の装着状態に応じて仮想カメラを設定する。すなわち、プロセッサ81は、“[2−5.装着状態に応じたゲーム処理のまとめ]”で述べた方法に従って、装着状態に応じた位置および姿勢となるように仮想カメラを設定する。ステップS11の次に、ステップS12の処理が実行される。   In step S <b> 11, the processor 81 sets a virtual camera according to the mounting state of the right controller 4. That is, the processor 81 sets the virtual camera so as to have a position and posture according to the wearing state in accordance with the method described in “[2-5. Summary of game processing according to wearing state]”. Following step S11, the process of step S12 is executed.
なお、上記ステップ9〜S11の一連の処理において、右コントローラ4の装着状態および認識状態は、メモリに記憶されている装着状態データ303および認識状態データ304を参照することによって知ることができる。   In the series of processes in steps 9 to S11, the mounting state and the recognition state of the right controller 4 can be known by referring to the mounting state data 303 and the recognition state data 304 stored in the memory.
ステップS12において、プロセッサ81は、仮想カメラに基づいてゲーム画像を生成し、生成されたゲーム画像を表示装置に表示する。すなわち、プロセッサ81は、ステップS11で設定された仮想カメラから見たゲーム空間であって、ステップS10の処理によって動作が制御されたオブジェクトを含むゲーム空間を示すゲーム画像を、表示装置に表示する。なお、右コントローラ4の認識状態が一部認識状態である場合、プロセッサ81は、乗物オブジェクトから煙が出る様子を表すゲーム画像を表示する。ステップS12の次に、ステップS13の処理が実行される。   In step S12, the processor 81 generates a game image based on the virtual camera, and displays the generated game image on the display device. That is, the processor 81 displays on the display device a game image showing the game space as viewed from the virtual camera set in step S11 and including the object whose operation is controlled by the processing in step S10. Note that when the recognition state of the right controller 4 is a partial recognition state, the processor 81 displays a game image representing the appearance of smoke from the vehicle object. Following step S12, the process of step S13 is executed.
ステップS13において、プロセッサ81は、ゲームを終了するか否かを判定する。プロセッサ81は、例えば、予め定められた終了条件(例えば、プレイヤキャラクタがゴールに到達したこと)が満たされた場合、または、終了指示を示す入力がユーザによって行われた場合、ゲームを終了すると判定する。ステップS13の判定結果が否定である場合、ステップS1の処理が再度実行される。プロセッサ81は、ステップS13においてゲームを終了すると判定されるまで、ステップS1〜S13の処理ループを繰り返し実行する。一方、ステップS13の判定結果が肯定である場合、プロセッサ81は、図28に示す情報処理を終了する。   In step S13, the processor 81 determines whether or not to end the game. The processor 81 determines to end the game, for example, when a predetermined end condition (for example, the player character has reached the goal) is satisfied, or when an input indicating an end instruction is performed by the user. To do. If the determination result of step S13 is negative, the process of step S1 is executed again. The processor 81 repeatedly executes the processing loop of steps S1 to S13 until it is determined in step S13 that the game is to be ended. On the other hand, if the determination result of step S13 is affirmative, the processor 81 ends the information processing shown in FIG.
[4.本実施形態の作用効果および変形例]
以上に説明した実施形態によれば、情報処理装置の一例であるゲームプログラムは、複数種類のサブ装置(すなわち、付加操作装置)と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置(すなわち、右コントローラ4)とを含むゲームシステム1のコンピュータ(すなわち、プロセッサ81)を、次の手段として機能させる。
・所定のゲームアプリケーションの実行中において、複数種類のサブ装置のうちでメイン装置が装着されたサブ装置の種類を判別する判別手段(ステップS24)
・所定のゲームアプリケーションの実行中において、メイン装置、および/または、当該メイン装置が装着されたサブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行手段(ステップS9〜S12)
上記ゲーム処理実行手段は、判別されたサブ装置の種類に応じたゲーム処理を実行する。
[4. Effects and modifications of this embodiment]
According to the embodiment described above, a game program that is an example of an information processing device is a main program that can be attached to and detached from any of a plurality of types of sub-devices (ie, additional operation devices) and a plurality of types of sub-devices. The computer (that is, the processor 81) of the game system 1 including the device (that is, the right controller 4) is caused to function as the following means.
A discriminating means for discriminating the type of the sub device to which the main device is mounted among the plural types of sub devices during execution of the predetermined game application (step S24).
-Game process execution means for executing a game process based on a game operation using the main device and / or a sub-device on which the main device is mounted during execution of a predetermined game application (steps S9 to S12)
The game process execution means executes a game process according to the determined type of the sub device.
上記「コンピュータ」は、上記実施形態においては、1つのコンピュータ(具体的には、プロセッサ81)であるが、他の実施形態においては、複数のコンピュータであってもよい。上記「コンピュータ」は、例えば、複数の装置に設けられる(複数の)コンピュータであってもよく、より具体的には、上記「コンピュータ」は、本体装置2のプロセッサ81と、コントローラが備える情報処理部とによって構成されてもよい。   The “computer” is one computer (specifically, the processor 81) in the above-described embodiment, but may be a plurality of computers in another embodiment. The “computer” may be, for example, (a plurality of) computers provided in a plurality of devices. More specifically, the “computer” includes the processor 81 of the main device 2 and information processing included in the controller. It may be constituted by a part.
上記「メイン装置、および/または、当該メイン装置が装着されたサブ装置を用いたゲーム操作」は、メイン装置に対する操作(例えば、右コントローラ4に設けられるボタンに対する操作)であってもよいし、メイン装置が装着されたサブ装置に対する操作(例えば、サブ装置に設けられる操作部に対する操作)であってもよいし、これらの両方に対する操作(例えば、サブ装置のうちでメイン装置が装着された部分を動かす操作)であってもよい。   The above-mentioned “game operation using the main device and / or the sub device to which the main device is attached” may be an operation on the main device (for example, an operation on a button provided on the right controller 4), The operation may be an operation on the sub device to which the main device is mounted (for example, an operation on an operation unit provided in the sub device), or an operation on both of them (for example, a portion of the sub device in which the main device is mounted) May be an operation of moving.
上記実施形態によれば、ゲームシステム1は、ゲームアプリケーションの実行中において、メイン装置が装着されたサブ装置の種類を判別し、サブ装置の種類に応じたゲーム処理を実行する。これによれば、ユーザは、メイン装置が装着されるサブ装置を、例えばゲーム中において切り替えながらゲームをプレイすることができる。これによって、ゲームシステム1は、例えばゲームプレイ中にサブ装置を切り替えながらゲーム操作を行うという新規なゲーム体験をユーザに提供することができ、興趣性の高いゲームを提供することができる。   According to the above-described embodiment, the game system 1 determines the type of the sub device to which the main device is attached during execution of the game application, and executes the game process according to the type of the sub device. According to this, the user can play the game while switching the sub device to which the main device is mounted, for example, during the game. Thereby, the game system 1 can provide the user with a new game experience of performing a game operation while switching the sub-device during game play, for example, and can provide a highly entertaining game.
上記実施形態においては、ゲームシステム1は、撮像装置(具体的には、赤外撮像部123)によって撮像された撮像画像に基づいて、メイン装置が装着されたサブ装置の種類を判別する。ここで、他の実施形態においては、撮像装置を用いる方法以外の方法でサブ装置の種類を判別してもよい。例えば、メイン装置とサブ装置とがコネクタまたはケーブルによって電気的に接続される場合、ゲームシステム1は、当該コネクタまたはケーブルを介してサブ装置からメイン装置が受信する信号に基づいてサブ装置の種類を判別してもよい。また例えば、メイン装置とサブ装置との間で近距離無線通信(例えば、NFCの規格に従った通信)を行う場合には、ゲームシステム1は、当該近距離無線通信によってサブ装置からメイン装置が受信する信号に基づいてサブ装置の種類を判別してもよい。   In the above-described embodiment, the game system 1 determines the type of the sub device to which the main device is attached based on the captured image captured by the imaging device (specifically, the infrared imaging unit 123). Here, in other embodiments, the type of the sub device may be determined by a method other than the method using the imaging device. For example, when the main device and the sub device are electrically connected by a connector or a cable, the game system 1 determines the type of the sub device based on a signal received by the main device from the sub device via the connector or cable. It may be determined. Further, for example, when performing short-range wireless communication (for example, communication according to the NFC standard) between the main device and the sub device, the game system 1 causes the sub device to move from the sub device to the main device. The type of the sub device may be determined based on the received signal.
上記実施形態においては、メイン装置は、それ自身のみで操作装置として機能する右コントローラ4であったが、他の実施形態においては、メイン装置は、それ自身のみでは操作装置として機能しない装置であってもよい。例えば、メイン装置は、赤外撮像部123を備え、ボタンまたは加速度センサといった操作検出部を備えていない構成であってもよい。   In the above embodiment, the main device is the right controller 4 that functions as an operating device by itself, but in other embodiments, the main device is a device that does not function as an operating device by itself. May be. For example, the main apparatus may include the infrared imaging unit 123 and may not include an operation detection unit such as a button or an acceleration sensor.
上記「複数種類のサブ装置」は、所定の方法による判別よって異なる種類であると判別されるような違いをそれぞれ有する。具体的には、本実施形態においては、互いに異なる基本マーカを備える複数の付加操作装置(すなわち、第1〜第3付加操作装置6〜8)が、「複数種類のサブ装置」である。なお、他の実施形態においては、ゲームシステム1は、複数種類のサブ装置として、同じ形状を有する複数の付加操作装置であって、それぞれ異なる基本マーカを備える複数の付加操作装置を含んでいてもよい。また、他の実施形態においては、ゲームシステム1は、互いに異なる形状を有する複数の付加操作装置であって、同一の基本マーカを備える複数の付加操作装置を、同種の付加操作装置であるとして取り扱ってもよい。   The “plural types of sub-devices” have differences that are determined to be different types by determination using a predetermined method. Specifically, in the present embodiment, a plurality of additional operation devices (that is, the first to third additional operation devices 6 to 8) having different basic markers are “plural types of sub devices”. In another embodiment, the game system 1 may include a plurality of additional operation devices having the same shape as a plurality of types of sub-devices, each including a plurality of additional operation devices each having a different basic marker. Good. In another embodiment, the game system 1 handles a plurality of additional operation devices having different shapes from each other as a plurality of additional operation devices having the same basic marker as the same type of additional operation device. May be.
上記実施形態においては、付加操作装置に装着して用いるコントローラとして、1つの右コントローラ4が用いられた。ここで、他の実施形態においては、1つのゲームアプリケーションにおいて、複数のコントローラが付加操作装置に装着して用いられてもよい。例えば、他の実施形態においては、右コントローラ4が付加操作装置に装着されるとともに、左コントローラ3が他の付加操作装置に装着され、これら2つの操作装置が、ゲームアプリケーションにおけるゲーム操作に用いられてもよい。このとき、左コントローラ3はマーカを検出する機能を有していないので、ゲームシステム1は、加速度センサおよび/または角速度センサによる検出結果に基づいて左コントローラ3に対するゲーム操作を検出してもよい。また、他の実施形態においては、1つの付加操作装置に右コントローラ4と左コントローラ3とが同時に装着されてもよい。   In the embodiment described above, one right controller 4 is used as a controller that is attached to the additional operation device. Here, in another embodiment, a plurality of controllers may be used by being attached to the additional operation device in one game application. For example, in another embodiment, the right controller 4 is attached to the additional operation device and the left controller 3 is attached to the other additional operation device, and these two operation devices are used for game operations in the game application. May be. At this time, since the left controller 3 does not have a function of detecting a marker, the game system 1 may detect a game operation on the left controller 3 based on a detection result by the acceleration sensor and / or the angular velocity sensor. In another embodiment, the right controller 4 and the left controller 3 may be simultaneously attached to one additional operation device.
また、他の実施形態においては、右コントローラ4は、付加操作装置に直接装着されなくてもよく、付加操作装置に間接的に装着されてもよい。例えば、他の実施形態においては、右コントローラ4は保持装置に装着され、右コントローラ4が装着された保持装置が各付加操作装置のいずれかに装着されてもよい。   In other embodiments, the right controller 4 may not be directly attached to the additional operation device, but may be indirectly attached to the additional operation device. For example, in another embodiment, the right controller 4 may be attached to the holding device, and the holding device to which the right controller 4 is attached may be attached to any of the additional operation devices.
上記「判別されたサブ装置の種類に応じたゲーム処理」におけるゲーム処理の内容は任意である。上記実施形態においては、上記ゲーム処理として、ゲームシステム1は、サブ装置の種類に応じて異なる操作を受け付け、当該操作に応じてオブジェクトの動作を制御する処理(ステップS9およびS10)、サブ装置の種類に応じて異なる位置および姿勢で仮想カメラを設定する処理(ステップS11)、および、サブ装置の種類に応じて異なるゲーム画像を生成する処理(ステップS12)を実行する。なお、他の実施形態においては、上記ゲーム処理は、ユーザの操作対象となるオブジェクトに設定されるゲームパラメータ(例えば、強さ、素早さ、または体力等を示すパラメータ)であって、サブ装置の種類に応じて異なる値に設定されたゲームパラメータを用いて実行されるゲーム処理であってもよい。このとき、ゲーム画像はサブ装置の種類に関わらず同じであってもよい。   The content of the game process in the “game process according to the determined type of sub-device” is arbitrary. In the embodiment described above, as the game process, the game system 1 receives a different operation depending on the type of the sub device, and controls the operation of the object according to the operation (steps S9 and S10). A process of setting a virtual camera at a different position and orientation according to the type (step S11) and a process of generating a different game image according to the type of the sub device (step S12) are executed. In another embodiment, the game process is a game parameter (for example, a parameter indicating strength, quickness, physical strength, or the like) set for an object to be operated by the user, The game process may be executed using game parameters set to different values depending on the type. At this time, the game image may be the same regardless of the type of the sub device.
以上のように、上記実施形態は、付加装置(すなわち、サブ装置)が使用されるゲームアプリケーションにおける興趣性を向上すること等を目的として、例えばゲームシステムまたはゲームプログラム等に利用可能である。   As described above, the above embodiment can be used for, for example, a game system or a game program in order to improve interest in a game application in which an additional device (that is, a sub device) is used.
1 ゲームシステム
2 本体装置
3 左コントローラ
4 右コントローラ
6 第1付加操作装置
7 第2付加操作装置
8 第3付加操作装置
81 プロセッサ
114 加速度センサ
115 角速度センサ
123 赤外撮像部
200 プレイヤキャラクタ
201 自動車オブジェクト
202 飛行機オブジェクト
203 船オブジェクト
602 ハンドル
604 左レバー
605 右レバー
612 第1基本マーカ
613 左レバーマーカ
614 右レバーマーカ
702 把持部
704 ボタン
711 第2基本マーカ
712 ボタンマーカ
802 左ハンドル
812 左ハンドルマーカ
813 右ハンドルマーカ
DESCRIPTION OF SYMBOLS 1 Game system 2 Main body apparatus 3 Left controller 4 Right controller 6 1st additional operation apparatus 7 2nd additional operation apparatus 8 3rd additional operation apparatus 81 Processor 114 Acceleration sensor 115 Angular velocity sensor 123 Infrared imaging part 200 Player character 201 Automobile object 202 Airplane object 203 Ship object 602 Handle 604 Left lever 605 Right lever 612 First basic marker 613 Left lever marker 614 Right lever marker 702 Grasping part 704 Button 711 Second basic marker 712 Button marker 802 Left handle 812 Left handle marker 813 Right handle marker

Claims (47)

  1. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムであって、所定のゲームアプリケーションを実行するゲームシステムのコンピュータによって実行される情報処理プログラムであって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別手段と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行手段として、前記コンピュータを機能させ、
    前記ゲーム処理実行手段は、前記判別手段によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、
    前記メイン装置は、撮像装置を備え、
    前記判別手段は、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、
    ユーザによる操作に応じて動く可動部とを備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、
    前記ゲーム処理実行手段は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す第1被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する、情報処理プログラム。
    An information processing program that is a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and that is executed by a computer of the game system that executes a predetermined game application Because
    A discriminating means for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    During execution of the predetermined game application, the computer functions as a game process execution means for executing a game process based on a game operation using the main apparatus and / or the sub apparatus to which the main apparatus is attached. Let
    The game process execution means executes a game process according to the type of the sub device determined by the determination means,
    The main device includes an imaging device,
    The determining means determines the type of the sub device on which the main device is mounted based on a captured image captured by the imaging device,
    At least one of the plurality of types of sub-devices,
    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    A movable part that moves in response to an operation by the user,
    When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    The game process execution means performs an operation of the user based on at least one of a position, shape, and orientation of a first detected portion image indicating at least a part of the detected portion included in the captured image. An information processing program that detects and executes a game process based on the detected user operation.
  2. 前記複数種類のサブ装置は、それぞれ、当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部を備え、
    前記判別手段は、前記撮像画像に含まれる前記第1被検出部画像および/または第2被検出部画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別する、請求項に記載の情報処理プログラム。
    Each of the plurality of types of sub-devices includes a detected portion that can be imaged by the imaging device of the main device mounted on the sub-device,
    The discriminating unit is mounted with the main device based on at least one of the position, shape, and orientation of the first detected part image and / or the second detected part image included in the captured image. The information processing program according to claim 1 , wherein the information processing apparatus determines a type of the sub device.
  3. 前記被検出部は、前記可動部における位置であって、当該可動部を備えるサブ装置に装着された前記メイン装置が備える前記撮像装置によって撮像可能な位置に設けられ、
    前記ユーザの操作に応じて前記可動部が動かされることに応じて前記被検出部が動くことによって、前記メイン装置と当該被検出部との相対位置および/または相対姿勢が変化する、請求項1または請求項に記載の情報処理プログラム。
    The detected part is a position in the movable part, and is provided at a position that can be imaged by the imaging device provided in the main device mounted on a sub-device provided with the movable part,
    2. The relative position and / or relative attitude between the main device and the detected part changes as the detected part moves in response to the movable part being moved in response to an operation of the user. Or the information processing program of Claim 2 .
  4. 前記メイン装置は、前記可動部に装着可能であり、
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、請求項1または請求項に記載の情報処理プログラム。
    The main device can be attached to the movable part,
    When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. The information processing program according to claim 1 or 2, which changes.
  5. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムであって、所定のゲームアプリケーションを実行するゲームシステムのコンピュータによって実行される情報処理プログラムであって、  An information processing program that is a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and that is executed by a computer of the game system that executes a predetermined game application Because
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別手段と、  A discriminating means for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行手段として、前記コンピュータを機能させ、  During execution of the predetermined game application, the computer functions as a game process execution means for executing a game process based on a game operation using the main apparatus and / or the sub apparatus to which the main apparatus is attached. Let
    前記ゲーム処理実行手段は、前記判別手段によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、  The game process execution means executes a game process according to the type of the sub device determined by the determination means,
    前記メイン装置は、撮像装置を備え、  The main device includes an imaging device,
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、  At least one of the plurality of types of sub-devices,
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    ユーザによる操作に応じて動く可動部とを備え、    A movable part that moves in response to an operation by the user,
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、  When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    前記ゲーム処理実行手段は、前記撮像装置によって撮像された撮像画像に含まれる前記被検出部の少なくとも一部を示す第1被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行し、  The game process execution means is based on at least one of the position, shape, and orientation of a first detected part image that indicates at least a part of the detected part included in the captured image captured by the imaging device. , Detecting the user's operation, executing a game process based on the detected user's operation,
    前記メイン装置は、前記可動部に装着可能であり、  The main device can be attached to the movable part,
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、情報処理プログラム。  When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. An information processing program that changes.
  6. 前記ゲーム処理実行手段は、判別された前記サブ装置の種類に応じて異なるゲーム画像を生成する、請求項1から請求項5のいずれか1項に記載の情報処理プログラム。   The information processing program according to claim 1, wherein the game process execution unit generates a different game image according to the determined type of the sub device.
  7. 前記ゲーム処理実行手段は、
    前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づいて、仮想空間内に配置されるオブジェクトを制御し、
    判別された前記サブ装置の種類に応じて前記オブジェクトを変化させる、請求項6に記載の情報処理プログラム。
    The game process execution means includes
    Based on a game operation using the main device and / or the sub device to which the main device is attached, controls an object placed in a virtual space,
    The information processing program according to claim 6, wherein the object is changed according to the determined type of the sub device.
  8. 前記オブジェクトは、ゲームキャラクタが搭乗可能な乗物を表すオブジェクトである、請求項7に記載の情報処理プログラム。   The information processing program according to claim 7, wherein the object is an object representing a vehicle on which a game character can board.
  9. 前記メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を複数種類備え、
    前記ゲーム処理手段は、前記メイン装置が所定の種類のサブ装置に装着されていると判別された場合、前記複数種類の前記操作検出部のうちで、判別されたサブ装置の種類に応じた前記操作検出部による検出結果に基づいてゲーム処理を実行する、請求項1から請求項8のいずれか1項に記載の情報処理プログラム。
    The main device includes a plurality of types of operation detection units for detecting a user operation on the main device.
    When it is determined that the main device is attached to a predetermined type of sub-device, the game processing means, according to the type of the determined sub-device among the plurality of types of the operation detection units. The information processing program according to any one of claims 1 to 8, wherein the game process is executed based on a detection result by the operation detection unit.
  10. 前記メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を備え、
    前記ゲーム処理手段は、前記操作検出部による検出結果に応じて実行されるゲーム処理の内容を、判別された前記サブ装置の種類に基づいて決定する、請求項1から請求項9のいずれか1項に記載の情報処理プログラム。
    The main device includes an operation detection unit for detecting a user operation on the main device,
    10. The game processing unit according to claim 1, wherein the game processing unit determines a content of a game process to be executed according to a detection result by the operation detection unit based on the determined type of the sub device. Information processing program according to item.
  11. 前記ゲーム処理手段は、判別された前記サブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する、請求項1から請求項10のいずれか1項に記載の情報処理プログラム。   The game processing means controls the position and / or posture of a virtual camera arranged in a virtual space based on the determined type of the sub-device, according to any one of claims 1 to 10. The information processing program described.
  12. 前記判別手段は、前記複数種類のサブ装置のいずれに対しても前記メイン装置が装着されていないことをさらに判別する、請求項1から請求項11のいずれか1項に記載の情報処理プログラム。   The information processing program according to any one of claims 1 to 11, wherein the determination unit further determines that the main device is not attached to any of the plurality of types of sub-devices.
  13. 前記ゲーム処理実行手段は、前記複数種類のサブ装置のいずれに対しても前記メイン装置が装着されていないと判別された場合、当該メイン装置が当該複数種類のサブ装置のいずれかに装着されている場合とは異なるゲーム処理を実行する、請求項12に記載の情報処理プログラム。   When it is determined that the main device is not attached to any of the plurality of types of sub-devices, the game process execution means is connected to any of the plurality of types of sub-devices. The information processing program according to claim 12, wherein the information processing program executes a game process different from a case where the game process is performed.
  14. 前記ゲームシステムは、記憶部をさらに備え、
    前記情報処理プログラムは、
    前記メイン装置が所定の種類のサブ装置に装着されていると判別された場合、当該所定の種類のサブ装置に対する当該メイン装置の向きに関する装置向き情報を前記記憶部に記憶する記憶制御手段として前記コンピュータをさらに機能させ、
    前記ゲーム処理実行手段は、
    前記メイン装置に対するユーザによる方向操作に基づいてゲーム処理を実行し、
    前記メイン装置が前記所定の種類のサブ装置に装着されていると判別された装着状態から、前記複数種類のサブ装置のいずれに対しても当該メイン装置が装着されていないと判別された非装着状態へと変化した場合、前記方向操作によって指定される方向と、当該方向への操作が行われたことに応じて実行されるゲーム処理の内容との関係を、当該装着状態において前記記憶部に記憶された前記装置向き情報に基づいて決定する、請求項12または請求項13に記載の情報処理プログラム。
    The game system further includes a storage unit,
    The information processing program includes:
    When it is determined that the main device is attached to a predetermined type of sub-device, the storage control unit stores device orientation information related to the orientation of the main device with respect to the predetermined type of sub-device in the storage unit. Make the computer work better,
    The game process execution means includes
    A game process is executed based on a direction operation by the user with respect to the main device,
    Non-attached when it is determined that the main device is not attached to any of the plurality of types of sub-devices from the attached state where it is determined that the main device is attached to the predetermined type of sub-devices When the state is changed, the relationship between the direction specified by the direction operation and the content of the game process executed in response to the operation in the direction is stored in the storage unit in the mounted state. The information processing program according to claim 12 or 13, which is determined based on the stored device orientation information.
  15. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置が備える前記被検出部は、第1部分と第2部分とを含み、
    前記情報処理プログラムは、
    前記撮像画像に基づいて、前記第1部分を認識し、前記第2部分を認識する認識手段として前記コンピュータをさらに機能させ、
    前記判別手段は、
    前記第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記サブ装置に装着された前記メイン装置の状態として、前記第1部分が認識され、前記第2部分が認識されない第1状態と、前記第1部分および前記第2部分が認識される第2状態とを判別する、請求項から請求項5のいずれか1項に記載の情報処理プログラム。
    The detected portion included in at least one of the plurality of types of sub-devices includes a first portion and a second portion;
    The information processing program includes:
    Recognizing the first part based on the captured image, causing the computer to further function as a recognition means for recognizing the second part;
    The discrimination means includes
    Based on at least one of the position, shape, and orientation of the first partial image indicating the first portion, the type of the sub device to which the main device is attached is determined,
    As a state of the main device mounted on the sub-device, the first state in which the first part is recognized and the second part is not recognized, and the second state in which the first part and the second part are recognized The information processing program according to any one of claims 2 to 5, wherein:
  16. 前記ゲーム処理実行手段は、前記メイン装置が前記第1状態であると判別される場合、第1のゲーム処理を実行し、前記メイン装置が前記第2状態であると判別される場合、当該第1のゲーム処理とは異なる第2のゲーム処理を実行する、請求項15に記載の情報処理プログラム。   The game process execution means executes a first game process when it is determined that the main device is in the first state, and when it is determined that the main device is in the second state, The information processing program according to claim 15, wherein a second game process different from the first game process is executed.
  17. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置が備える前記被検出部は、第1部分と第2部分とを含み、
    前記情報処理プログラムは、
    前記撮像画像に基づいて、前記第1部分を認識し、前記第2部分を認識する認識手段として前記コンピュータをさらに機能させ、
    前記判別手段は、
    前記第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記第1部分の認識結果と前記第2部分の認識結果とに基づいて、前記サブ装置に対して前記メイン装置が装着される度合いを判別する、請求項から請求項5のいずれか1項に記載の情報処理プログラム。
    The detected portion included in at least one of the plurality of types of sub-devices includes a first portion and a second portion;
    The information processing program includes:
    Recognizing the first part based on the captured image, causing the computer to further function as a recognition means for recognizing the second part;
    The discrimination means includes
    Based on at least one of the position, shape, and orientation of the first partial image indicating the first portion, the type of the sub device to which the main device is attached is determined,
    Based on the recognition result of the recognition result and the second portion of the first portion, wherein the main device to determine the degree to be attached to the sub-device, any one of the preceding claims 2 Information processing program described in 1.
  18. 前記ゲーム処理実行手段は、前記サブ装置に対して前記メイン装置が装着される度合いに応じたゲーム処理を実行する、請求項17に記載の情報処理プログラム。   The information processing program according to claim 17, wherein the game process execution unit executes a game process according to a degree to which the main device is attached to the sub device.
  19. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、ユーザによる操作に応じて動く可動部をさらに備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置が変化し、
    前記ゲーム処理実行手段は、
    前記第1部分を示す第1部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの第1の種類の操作を検出し、検出された第1の種類の操作に基づくゲーム処理を実行し、
    前記第2部分を示す第2部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの第2の種類の操作を検出し、検出された第2の種類の操作に基づくゲーム処理を実行する、請求項15から請求項18のいずれか1項に記載の情報処理プログラム。
    At least one of the plurality of types of sub-devices further includes a movable part that moves in response to an operation by a user,
    When the movable part is moved according to the user's operation, the relative position between the main device attached to the sub apparatus including the movable part and the detected part of the sub apparatus changes,
    The game process execution means includes
    The first type operation of the user is detected based on at least one of the position, shape, and orientation of the first partial image showing the first part, and based on the detected first type operation. Run the game process
    The second type operation of the user is detected based on at least one of the position, shape, and orientation of the second partial image indicating the second part, and based on the detected second type operation The information processing program according to any one of claims 15 to 18, which executes a game process.
  20. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムであって、所定のゲームアプリケーションを実行するゲームシステムのコンピュータによって実行される情報処理プログラムであって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別手段と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行手段として、前記コンピュータを機能させ、
    前記ゲーム処理実行手段は、前記判別手段によって判別された前記サブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する、情報処理プログラム。
    An information processing program that is a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and that is executed by a computer of the game system that executes a predetermined game application Because
    A discriminating means for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    During execution of the predetermined game application, the computer functions as a game process execution means for executing a game process based on a game operation using the main apparatus and / or the sub apparatus to which the main apparatus is attached. Let
    The information processing program, wherein the game process execution means controls the position and / or orientation of a virtual camera arranged in a virtual space based on the type of the sub device determined by the determination means.
  21. 前記メイン装置は、撮像装置を備え、
    前記判別手段は、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別する、請求項20に記載の情報処理プログラム。
    The main device includes an imaging device,
    21. The information processing program according to claim 20, wherein the determination unit determines a type of a sub device to which the main device is attached based on a captured image captured by the imaging device.
  22. 前記複数種類のサブ装置は、それぞれ、当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部を備え、
    前記判別手段は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す第1被検出部画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別する、請求項21に記載の情報処理プログラム。
    Each of the plurality of types of sub-devices includes a detected portion that can be imaged by the imaging device of the main device mounted on the sub-device,
    The discriminating means is mounted on the main device based on at least one of the position, shape, and orientation of the first detected portion image showing at least a part of the detected portion included in the captured image. The information processing program according to claim 21, wherein the information processing program determines the type of the sub device.
  23. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、ユーザによる操作に応じて動く可動部をさらに備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、
    前記ゲーム処理実行手段は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す前記第1被検出部画像および/または第2被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する、請求項22に記載の情報処理プログラム。
    At least one of the plurality of types of sub-devices further includes a movable part that moves in response to an operation by a user,
    When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    The game process execution means includes at least one of positions, shapes, and orientations of the first detected part image and / or the second detected part image showing at least a part of the detected part included in the captured image. The information processing program according to claim 22, wherein an operation of the user is detected based on one and a game process based on the detected user operation is executed.
  24. 前記被検出部は、前記可動部における位置であって、当該可動部を備えるサブ装置に装着された前記メイン装置が備える前記撮像装置によって撮像可能な位置に設けられ、
    前記ユーザの操作に応じて前記可動部が動かされることに応じて前記被検出部が動くことによって、前記メイン装置と当該被検出部との相対位置および/または相対姿勢が変化する、請求項23に記載の情報処理プログラム。
    The detected part is a position in the movable part, and is provided at a position that can be imaged by the imaging device provided in the main device mounted on a sub-device provided with the movable part,
    24. The relative position and / or relative attitude between the main device and the detected part is changed by moving the detected part in response to the movable part being moved in response to an operation of the user. Information processing program described in 1.
  25. 前記メイン装置は、前記可動部に装着可能であり、
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、請求項23に記載の情報処理プログラム。
    The main device can be attached to the movable part,
    When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. The information processing program according to claim 23, wherein the information processing program changes.
  26. 前記ゲーム処理実行手段は、判別された前記サブ装置の種類に応じて異なるゲーム画像を生成する、請求項20から請求項25のいずれか1項に記載の情報処理プログラム。   The information processing program according to any one of claims 20 to 25, wherein the game process execution unit generates a different game image according to the determined type of the sub device.
  27. 前記ゲーム処理実行手段は、
    前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づいて、仮想空間内に配置されるオブジェクトを制御し、
    判別された前記サブ装置の種類に応じて前記オブジェクトを変化させる、請求項26に記載の情報処理プログラム。
    The game process execution means includes
    Based on a game operation using the main device and / or the sub device to which the main device is attached, controls an object placed in a virtual space,
    27. The information processing program according to claim 26, wherein the object is changed according to the determined type of the sub device.
  28. 前記オブジェクトは、ゲームキャラクタが搭乗可能な乗物を表すオブジェクトである、請求項27に記載の情報処理プログラム。   The information processing program according to claim 27, wherein the object is an object representing a vehicle on which a game character can board.
  29. 前記メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を複数種類備え、
    前記ゲーム処理手段は、前記メイン装置が所定の種類のサブ装置に装着されていると判別された場合、前記複数種類の前記操作検出部のうちで、判別されたサブ装置の種類に応じた前記操作検出部による検出結果に基づいてゲーム処理を実行する、請求項20から請求項28のいずれか1項に記載の情報処理プログラム。
    The main device includes a plurality of types of operation detection units for detecting a user operation on the main device.
    When it is determined that the main device is attached to a predetermined type of sub-device, the game processing means, according to the type of the determined sub-device among the plurality of types of the operation detection units. The information processing program according to any one of claims 20 to 28, wherein game processing is executed based on a detection result by the operation detection unit.
  30. 前記メイン装置は、当該メイン装置に対するユーザの操作を検出するための操作検出部を備え、
    前記ゲーム処理手段は、前記操作検出部による検出結果に応じて実行されるゲーム処理の内容を、判別された前記サブ装置の種類に基づいて決定する、請求項20から請求項29のいずれか1項に記載の情報処理プログラム。
    The main device includes an operation detection unit for detecting a user operation on the main device,
    30. The game processing unit according to claim 20, wherein the game processing unit determines the content of the game process to be executed according to the detection result by the operation detection unit based on the determined type of the sub device. Information processing program according to item.
  31. 前記判別手段は、前記複数種類のサブ装置のいずれに対しても前記メイン装置が装着されていないことをさらに判別する、請求項20から請求項30のいずれか1項に記載の情報処理プログラム。   The information processing program according to any one of claims 20 to 30, wherein the determination unit further determines that the main device is not attached to any of the plurality of types of sub-devices.
  32. 前記ゲーム処理実行手段は、前記複数種類のサブ装置のいずれに対しても前記メイン装置が装着されていないと判別された場合、当該メイン装置が当該複数種類のサブ装置のいずれかに装着されている場合とは異なるゲーム処理を実行する、請求項31に記載の情報処理プログラム。   When it is determined that the main device is not attached to any of the plurality of types of sub-devices, the game process execution means is connected to any of the plurality of types of sub-devices. 32. The information processing program according to claim 31, wherein the information processing program executes a game process different from that of the game process.
  33. 前記ゲームシステムは、記憶部をさらに備え、
    前記情報処理プログラムは、
    前記メイン装置が所定の種類のサブ装置に装着されていると判別された場合、当該所定の種類のサブ装置に対する当該メイン装置の向きに関する装置向き情報を前記記憶部に記憶する記憶制御手段として前記コンピュータをさらに機能させ、
    前記ゲーム処理実行手段は、
    前記メイン装置に対するユーザによる方向操作に基づいてゲーム処理を実行し、
    前記メイン装置が前記所定の種類のサブ装置に装着されていると判別された装着状態から、前記複数種類のサブ装置のいずれに対しても当該メイン装置が装着されていないと判別された非装着状態へと変化した場合、前記方向操作によって指定される方向と、当該方向への操作が行われたことに応じて実行されるゲーム処理の内容との関係を、当該装着状態において前記記憶部に記憶された前記装置向き情報に基づいて決定する、請求項31または請求項32に記載の情報処理プログラム。
    The game system further includes a storage unit,
    The information processing program includes:
    When it is determined that the main device is attached to a predetermined type of sub-device, the storage control unit stores device orientation information related to the orientation of the main device with respect to the predetermined type of sub-device in the storage unit. Make the computer work better,
    The game process execution means includes
    A game process is executed based on a direction operation by the user with respect to the main device,
    Non-attached when it is determined that the main device is not attached to any of the plurality of types of sub-devices from the attached state where it is determined that the main device is attached to the predetermined type of sub-devices When the state is changed, the relationship between the direction specified by the direction operation and the content of the game process executed in response to the operation in the direction is stored in the storage unit in the mounted state. The information processing program according to claim 31, wherein the information processing program is determined based on the stored device orientation information.
  34. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置が備える前記被検出部は、第1部分と第2部分とを含み、
    前記情報処理プログラムは、
    前記撮像画像に基づいて、前記第1部分を認識し、前記第2部分を認識する認識手段として前記コンピュータをさらに機能させ、
    前記判別手段は、
    前記第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記サブ装置に装着された前記メイン装置の状態として、前記第1部分が認識され、前記第2部分が認識されない第1状態と、前記第1部分および前記第2部分が認識される第2状態とを判別する、請求項22から請求項25のいずれか1項に記載の情報処理プログラム。
    The detected portion included in at least one of the plurality of types of sub-devices includes a first portion and a second portion;
    The information processing program includes:
    Recognizing the first part based on the captured image, causing the computer to further function as a recognition means for recognizing the second part;
    The discrimination means includes
    Based on at least one of the position, shape, and orientation of the first partial image indicating the first portion, the type of the sub device to which the main device is attached is determined,
    As a state of the main device mounted on the sub-device, the first state in which the first part is recognized and the second part is not recognized, and the second state in which the first part and the second part are recognized The information processing program according to any one of claims 22 to 25, wherein:
  35. 前記ゲーム処理実行手段は、前記メイン装置が前記第1状態であると判別される場合、第1のゲーム処理を実行し、前記メイン装置が前記第2状態であると判別される場合、当該第1のゲーム処理とは異なる第2のゲーム処理を実行する、請求項34に記載の情報処理プログラム。   The game process execution means executes a first game process when it is determined that the main device is in the first state, and when it is determined that the main device is in the second state, The information processing program according to claim 34, wherein a second game process different from the first game process is executed.
  36. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置が備える前記被検出部は、第1部分と第2部分とを含み、
    前記情報処理プログラムは、
    前記撮像画像に基づいて、前記第1部分を認識し、前記第2部分を認識する認識手段として前記コンピュータをさらに機能させ、
    前記判別手段は、
    前記第1部分を示す第1部分画像の位置、形状、および、向きのうち少なくとも1つに基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記第1部分の認識結果と前記第2部分の認識結果とに基づいて、前記サブ装置に対して前記メイン装置が装着される度合いを判別する、請求項22から請求項25のいずれか1項に記載の情報処理プログラム。
    The detected portion included in at least one of the plurality of types of sub-devices includes a first portion and a second portion;
    The information processing program includes:
    Recognizing the first part based on the captured image, causing the computer to further function as a recognition means for recognizing the second part;
    The discrimination means includes
    Based on at least one of the position, shape, and orientation of the first partial image indicating the first portion, the type of the sub device to which the main device is attached is determined,
    26. The degree of mounting of the main device on the sub device is determined based on the recognition result of the first portion and the recognition result of the second portion. Information processing program described in 1.
  37. 前記ゲーム処理実行手段は、前記サブ装置に対して前記メイン装置が装着される度合いに応じたゲーム処理を実行する、請求項36に記載の情報処理プログラム。   37. The information processing program according to claim 36, wherein the game process execution means executes a game process according to a degree to which the main device is attached to the sub device.
  38. 前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、ユーザによる操作に応じて動く可動部をさらに備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置が変化し、
    前記ゲーム処理実行手段は、
    前記第1部分を示す第1部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの第1の種類の操作を検出し、検出された第1の種類の操作に基づくゲーム処理を実行し、
    前記第2部分を示す第2部分画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの第2の種類の操作を検出し、検出された第2の種類の操作に基づくゲーム処理を実行する、請求項34から請求項37のいずれか1項に記載の情報処理プログラム。
    At least one of the plurality of types of sub-devices further includes a movable part that moves in response to an operation by a user,
    When the movable part is moved according to the user's operation, the relative position between the main device attached to the sub apparatus including the movable part and the detected part of the sub apparatus changes,
    The game process execution means includes
    The first type operation of the user is detected based on at least one of the position, shape, and orientation of the first partial image showing the first part, and based on the detected first type operation. Run the game process
    The second type operation of the user is detected based on at least one of the position, shape, and orientation of the second partial image indicating the second part, and based on the detected second type operation The information processing program according to any one of claims 34 to 37, wherein game processing is executed.
  39. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムであって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、
    前記ゲーム処理実行部は、前記判別部によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、
    前記メイン装置は、撮像装置を備え、
    前記判別部は、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、
    ユーザによる操作に応じて動く可動部とを備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、
    前記ゲーム処理実行部は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する、情報処理システム。
    An information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    The game process execution unit executes a game process according to the type of the sub device determined by the determination unit;
    The main device includes an imaging device,
    The determination unit determines the type of the sub device on which the main device is mounted based on a captured image captured by the imaging device,
    At least one of the plurality of types of sub-devices,
    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    A movable part that moves in response to an operation by the user,
    When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    The game process execution unit detects an operation of the user based on at least one of a position, a shape, and an orientation of a detected portion image that indicates at least a part of the detected portion included in the captured image. An information processing system that executes game processing based on the detected user operation.
  40. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムであって、  An information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、  A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、  A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    前記ゲーム処理実行部は、前記判別部によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、  The game process execution unit executes a game process according to the type of the sub device determined by the determination unit;
    前記メイン装置は、撮像装置を備え、  The main device includes an imaging device,
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、  At least one of the plurality of types of sub-devices,
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    ユーザによる操作に応じて動く可動部とを備え、    A movable part that moves in response to an operation by the user,
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、  When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    前記ゲーム処理実行部は、前記撮像装置によって撮像された撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行し、  The game process execution unit is based on at least one of a position, a shape, and an orientation of a detected portion image that indicates at least a part of the detected portion included in a captured image captured by the imaging device. Detecting a user operation, executing a game process based on the detected user operation,
    前記メイン装置は、前記可動部に装着可能であり、  The main device can be attached to the movable part,
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、情報処理システム。  When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. A changing information processing system.
  41. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムであって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、
    前記ゲーム処理実行は、前記判別によって判別された前記サブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する、情報処理システム。
    An information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    The information processing system, wherein the game process execution unit controls a position and / or posture of a virtual camera arranged in a virtual space based on the type of the sub device determined by the determination unit .
  42. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムに含まれ、所定のゲームアプリケーションを実行する情報処理装置であって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、
    前記ゲーム処理実行部は、前記判別部によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、
    前記メイン装置は、撮像装置を備え、
    前記判別部は、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、
    ユーザによる操作に応じて動く可動部とを備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、
    前記ゲーム処理実行部は、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する、情報処理装置。
    An information processing apparatus included in a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    The game process execution unit executes a game process according to the type of the sub device determined by the determination unit;
    The main device includes an imaging device,
    The determination unit determines the type of the sub device on which the main device is mounted based on a captured image captured by the imaging device,
    At least one of the plurality of types of sub-devices,
    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    A movable part that moves in response to an operation by the user,
    When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    The game process execution unit detects an operation of the user based on at least one of a position, a shape, and an orientation of a detected portion image that indicates at least a part of the detected portion included in the captured image. An information processing apparatus that executes a game process based on the detected user operation.
  43. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムに含まれ、所定のゲームアプリケーションを実行する情報処理装置であって、  An information processing apparatus included in a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、  A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、  A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    前記ゲーム処理実行部は、前記判別部によって判別された前記サブ装置の種類に応じたゲーム処理を実行し、  The game process execution unit executes a game process according to the type of the sub device determined by the determination unit;
    前記メイン装置は、撮像装置を備え、  The main device includes an imaging device,
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、  At least one of the plurality of types of sub-devices,
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    ユーザによる操作に応じて動く可動部とを備え、    A movable part that moves in response to an operation by the user,
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、  When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    前記ゲーム処理実行部は、前記撮像装置によって撮像された撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行し、  The game process execution unit is based on at least one of a position, a shape, and an orientation of a detected portion image that indicates at least a part of the detected portion included in a captured image captured by the imaging device. Detecting a user operation, executing a game process based on the detected user operation,
    前記メイン装置は、前記可動部に装着可能であり、  The main device can be attached to the movable part,
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、情報処理装置。  When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. An information processing device that changes.
  44. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含むゲームシステムに含まれ、所定のゲームアプリケーションを実行する情報処理装置であって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別部と、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行部とを備え、
    前記ゲーム処理実行は、前記判別によって判別された前記サブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する、情報処理装置。
    An information processing apparatus included in a game system including a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A discriminating unit for discriminating the type of sub-device to which the main device is mounted among the plurality of types of sub-devices during execution of the predetermined game application;
    A game process execution unit configured to execute a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    The game processing executing unit, based on the type of the sub-device which is determined by the determination unit, to control the position and / or orientation of the virtual camera placed in the virtual space, the information processing apparatus.
  45. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムにおいて実行される情報処理方法であって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別ステップと、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行ステップとを備え、
    前記ゲーム処理実行ステップにおいては、前記判別ステップにおいて判別された前記サブ装置の種類に応じたゲーム処理を実行し、
    前記メイン装置は、撮像装置を備え、
    前記判別ステップにおいては、前記撮像装置によって撮像された撮像画像に基づいて、前記メイン装置が装着されたサブ装置の種類を判別し、
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、
    ユーザによる操作に応じて動く可動部とを備え、
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、
    前記ゲーム処理実行ステップにおいては、前記撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行する、情報処理方法。
    An information processing method that is executed in an information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A determination step of determining a type of a sub device to which the main device is mounted among the plurality of types of sub devices during execution of the predetermined game application;
    A game process execution step for executing a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    In the game process execution step, a game process corresponding to the type of the sub-device determined in the determination step is executed,
    The main device includes an imaging device,
    In the determination step, based on a captured image captured by the imaging device, the type of the sub device to which the main device is attached is determined,
    At least one of the plurality of types of sub-devices,
    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    A movable part that moves in response to an operation by the user,
    When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    In the game process execution step, an operation of the user is detected based on at least one of a position, a shape, and an orientation of a detected part image indicating at least a part of the detected part included in the captured image. And an information processing method for executing a game process based on the detected user operation.
  46. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムにおいて実行される情報処理方法であって、  An information processing method that is executed in an information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別ステップと、  A determination step of determining a type of a sub device to which the main device is mounted among the plurality of types of sub devices during execution of the predetermined game application;
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行ステップとを備え、  A game process execution step for executing a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    前記ゲーム処理実行ステップにおいては、前記判別ステップにおいて判別された前記サブ装置の種類に応じたゲーム処理を実行し、  In the game process execution step, a game process corresponding to the type of the sub-device determined in the determination step is executed,
    前記メイン装置は、撮像装置を備え、  The main device includes an imaging device,
    前記複数種類のサブ装置のうちの少なくともいずれか1種類のサブ装置は、  At least one of the plurality of types of sub-devices,
    当該サブ装置に装着された前記メイン装置の前記撮像装置によって撮像可能な被検出部と、    A detected portion that can be imaged by the imaging device of the main device mounted on the sub-device;
    ユーザによる操作に応じて動く可動部とを備え、    A movable part that moves in response to an operation by the user,
    前記ユーザの操作に応じて前記可動部が動かされることによって、当該可動部を備えるサブ装置に装着された前記メイン装置と、当該サブ装置の前記被検出部との相対位置および/または相対姿勢が変化し、  When the movable portion is moved in accordance with the user's operation, the relative position and / or relative posture between the main device mounted on the sub device including the movable portion and the detected portion of the sub device is changed. Change,
    前記ゲーム処理実行ステップにおいては、前記撮像装置によって撮像された撮像画像に含まれる前記被検出部の少なくとも一部を示す被検出部画像の位置、形状、および向きのうち少なくとも1つに基づいて、前記ユーザの操作を検出し、当該検出されたユーザの操作に基づくゲーム処理を実行し、  In the game process execution step, based on at least one of the position, shape, and orientation of the detected portion image that indicates at least a part of the detected portion included in the captured image captured by the imaging device, Detecting the user's operation, executing a game process based on the detected user's operation,
    前記メイン装置は、前記可動部に装着可能であり、  The main device can be attached to the movable part,
    前記ユーザの操作に応じて前記可動部が動かされることに応じて当該可動部に装着された前記メイン装置が動くことによって、当該メイン装置と前記被検出部との相対位置および/または相対姿勢が変化する、情報処理方法。  When the movable unit is moved in response to the user's operation, the main device mounted on the movable unit is moved, so that the relative position and / or relative posture between the main device and the detected unit is changed. Information processing methods that change.
  47. 複数種類のサブ装置と、複数種類のサブ装置のいずれに対しても着脱可能なメイン装置とを含み、所定のゲームアプリケーションを実行する情報処理システムにおいて実行される情報処理方法であって、
    前記所定のゲームアプリケーションの実行中において、前記複数種類のサブ装置のうちで前記メイン装置が装着されたサブ装置の種類を判別する判別ステップと、
    前記所定のゲームアプリケーションの実行中において、前記メイン装置、および/または、当該メイン装置が装着された前記サブ装置を用いたゲーム操作に基づくゲーム処理を実行するゲーム処理実行ステップとを備え、
    前記ゲーム処理実行ステップにおいては、前記判別ステップにおいて判別された前記サブ装置の種類に基づいて、仮想空間内に配置される仮想カメラの位置および/または姿勢を制御する、情報処理方法。
    An information processing method that is executed in an information processing system that includes a plurality of types of sub-devices and a main device that can be attached to and detached from any of the plurality of types of sub-devices, and executes a predetermined game application,
    A determination step of determining a type of a sub device to which the main device is mounted among the plurality of types of sub devices during execution of the predetermined game application;
    A game process execution step for executing a game process based on a game operation using the main device and / or the sub device to which the main device is mounted during execution of the predetermined game application;
    An information processing method for controlling the position and / or orientation of a virtual camera arranged in a virtual space based on the type of the sub-device determined in the determination step in the game process execution step.
JP2017251046A 2017-12-27 2017-12-27 Information processing program, information processing system, information processing apparatus, and information processing method Active JP6555831B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017251046A JP6555831B2 (en) 2017-12-27 2017-12-27 Information processing program, information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017251046A JP6555831B2 (en) 2017-12-27 2017-12-27 Information processing program, information processing system, information processing apparatus, and information processing method
EP18204364.6A EP3508261A3 (en) 2017-12-27 2018-11-05 Information processing program, information processing system, information processing apparatus and information processing method
US16/190,407 US20190192962A1 (en) 2017-12-27 2018-11-14 Storage medium storing information processing program, information processing system, information processing apparatus and information processing method

Publications (2)

Publication Number Publication Date
JP2019115481A JP2019115481A (en) 2019-07-18
JP6555831B2 true JP6555831B2 (en) 2019-08-07

Family

ID=64172380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251046A Active JP6555831B2 (en) 2017-12-27 2017-12-27 Information processing program, information processing system, information processing apparatus, and information processing method

Country Status (3)

Country Link
US (1) US20190192962A1 (en)
EP (1) EP3508261A3 (en)
JP (1) JP6555831B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020124286A (en) * 2019-02-01 2020-08-20 任天堂株式会社 Information processing program, information processing device, information processing system, and information processing method
JP6670030B1 (en) * 2019-08-30 2020-03-18 任天堂株式会社 Peripheral device, game controller, information processing system, and information processing method
US11097184B2 (en) 2019-12-31 2021-08-24 Dell Products L.P. Information handling system controller illumination
US11013991B1 (en) 2019-12-31 2021-05-25 Dell Products L.P. Information handling system controller adaptive haptic feedback
US11097185B2 (en) 2019-12-31 2021-08-24 Dell Products L.P. Detachable information handling system game controller management
US11013987B1 (en) * 2019-12-31 2021-05-25 Dell Products L.P. Information handling system controller scalable interface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989105B2 (en) 2006-05-09 2012-08-01 任天堂株式会社 Game controller
JP6327669B2 (en) * 2015-02-10 2018-05-23 任天堂株式会社 Attached equipment, information processing system, information processing apparatus, information processing program, operation determination method, and processing execution method

Also Published As

Publication number Publication date
JP2019115481A (en) 2019-07-18
EP3508261A3 (en) 2019-10-16
EP3508261A2 (en) 2019-07-10
US20190192962A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6555831B2 (en) Information processing program, information processing system, information processing apparatus, and information processing method
US9789391B2 (en) Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP6184658B2 (en) GAME SYSTEM, GAME DEVICE, GAME PROGRAM, AND GAME PROCESSING METHOD
US8284158B2 (en) Computer readable recording medium recording image processing program and image processing apparatus
JP5692904B2 (en) Input system, information processing apparatus, information processing program, and pointing position calculation method
US8100769B2 (en) System and method for using accelerometer outputs to control an object rotating on a display
JP5840385B2 (en) GAME SYSTEM, GAME DEVICE, GAME PROGRAM, AND GAME PROCESSING METHOD
JP6329210B2 (en) Information processing system, case, and cardboard member
US20110070953A1 (en) Storage medium storing information processing program, information processing apparatus and information processing method
US20100265173A1 (en) Information processing program and information processing apparatus
WO2017058637A1 (en) Filtering controller input mode
US11045728B2 (en) Game system, non-transitory storage medium having stored therein game program, information processing apparatus, and game control method
US20210008452A1 (en) Information processing program, information processing device, information processing system, and information processing method
US10758819B2 (en) Game system, non-transitory storage medium having stored therein game program, information processing apparatus, and game control method
JP2019209023A (en) Game system, game device, game program, and game control method
JP2010142404A (en) Game program, and game apparatus
JP5945297B2 (en) GAME PROGRAM AND GAME DEVICE
US20120302344A1 (en) Direction control system, direction control apparatus, storage medium having direction control program stored therein, and direction control method
US11117050B2 (en) Information processing program
JP2020185373A (en) Information processing program
JP2018118129A (en) Information processing system, case, and cardboard member

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180907

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180907

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6555831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150