JP5122036B1 - 操作装置、情報処理システム、および通信方法 - Google Patents

操作装置、情報処理システム、および通信方法 Download PDF

Info

Publication number
JP5122036B1
JP5122036B1 JP2012541671A JP2012541671A JP5122036B1 JP 5122036 B1 JP5122036 B1 JP 5122036B1 JP 2012541671 A JP2012541671 A JP 2012541671A JP 2012541671 A JP2012541671 A JP 2012541671A JP 5122036 B1 JP5122036 B1 JP 5122036B1
Authority
JP
Japan
Prior art keywords
data
information processing
sensor
communication
controller device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012541671A
Other languages
English (en)
Other versions
JPWO2013175630A1 (ja
Inventor
淳平 上木
康幸 下畠
邦朗 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Application granted granted Critical
Publication of JP5122036B1 publication Critical patent/JP5122036B1/ja
Publication of JPWO2013175630A1 publication Critical patent/JPWO2013175630A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/402—Communication between platforms, i.e. physical link to protocol
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

操作装置から情報処理装置へ操作データを適切に送信する。
操作装置は、情報処理装置と無線通信可能である。操作装置は、操作部と、生成部と、通信部とを備える。操作部は、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを少なくとも含む。生成部は、操作部から得られるデータに基づいて操作データを生成する。通信部は、操作データを所定周期毎に情報処理装置へ無線で送信する。ここで、１回に送信される操作データは、ジャイロセンサが検出する角速度の９個分を加算した値を表すデータ、加速度センサが検出する加速度の１個分を表すデータ、方向入力部が検出する方向の１個分を表すデータ、および、タッチパネルが検出する位置の１０個分を表すデータを含む。
【選択図】図１３

Description

本発明は、操作データを送信する操作装置、操作装置を含む情報処理システム、および、操作装置における通信方法に関する。
従来、ユーザの操作を受け付け、操作に応じた操作データを出力する操作装置がある。例えば、操作データに基づく情報処理を実行する情報処理装置へ操作データを送信する操作装置がある（例えば、特許文献１参照）。
特開２００７−０６１４８９号公報
上記のような操作装置においては、情報処理装置において操作データが用いられるので、通信を効率良く行うこと、あるいは、操作性を確保すること等を考慮すると、操作データを適切な方法で送信することがよい。
それ故、本発明の目的は、操作データを適切に送信することができる操作装置、情報処理システム、および通信方法を提供することである。また、本発明の別の目的は、操作データを効率的な方法で送信することができる操作装置、情報処理システム、および通信方法を提供することである。
本発明は、上記の課題を解決するために、以下の（１）〜（１２）の構成を採用した。
（１）
本発明の一例は、情報処理装置と無線通信可能な操作装置である。操作装置は、操作部と、生成部と、通信部とを備える。操作部は、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを少なくとも含む。生成部は、操作部から得られるデータに基づいて操作データを生成する。通信部は、操作データを所定周期毎に情報処理装置へ無線で送信する。ここで、１回に送信される操作データは、次のデータを含む。
・ジャイロセンサが検出する角速度の９個分を加算した値を表すデータ
・加速度センサが検出する加速度の１個分を表すデータ
・方向入力部が検出する方向の１個分を表すデータ
・タッチパネルが検出する位置の１０個分を表すデータ
上記（１）の構成によれば、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを備える操作装置において、操作データを適切に送信することができる。すなわち、操作装置の操作性を確保しつつ、操作データのデータサイズを効率の良いものとすることができる。例えば、加速度センサおよび方向入力部に関して上記のデータを含む操作データとすることで、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。つまり、操作データを効率的な方法で送信することができる。また、ジャイロセンサに関して上記のデータを含む操作データとすることで、操作データのデータサイズを抑えることができる。また、操作データの生成処理を簡易化することができる。また、タッチパネルに関して上記のデータを含む操作データとすることで、タッチパネルの検出精度を向上することができる。また、操作データを生成する処理の処理負荷を軽減することができる。
（２）
操作部は、磁気センサをさらに含んでいてもよい。このとき、生成部は、磁気センサが検出する磁気方向の１個分を表すデータをさらに含む操作データを生成する。
上記（２）の構成によれば、操作装置は、操作データのデータサイズを抑えつつ、磁気センサの検出結果に基づくデータを情報処理装置へ送信することができる。
（３）
生成部は、加速度の１個分を表すデータとして、加速度センサが検出する複数回分の加速度の平均値を表すデータを含む操作データを生成する。
上記（３）の構成によれば、操作装置に対して加えられる加速度の検出精度を良くすることができるので、操作装置の操作性を向上することができる。
（４）
生成部は、方向の１個分を表すデータとして、方向入力部が検出する複数回分の方向の平均値を表すデータを含む操作データを生成する。
上記（４）の構成によれば、ユーザによる指示方向を精度良く算出することができるので、操作装置の操作性を向上することができる。
（５）
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置である。操作装置は、操作部と、生成部と、通信部とを備える。操作部は、ジャイロセンサ、加速度センサ、方向入力部、磁気センサ、およびタッチパネルを少なくとも含む。生成部は、操作部から得られるデータに基づいて操作データを生成する。通信部は、操作データを所定周期毎に情報処理装置へ無線で送信する。ここで、１回に送信される操作データは、次のデータを含む。
・ジャイロセンサが検出する９回分の角速度を加算した値を表すデータ
・加速度センサが検出する４回分の加速度の平均値を表すデータ
・方向入力部が検出する４回分の方向の平均値を表すデータ
・磁気センサが検出する１回分の磁気方向を表すデータ
・タッチパネルが検出する１０回分の位置を表すデータ
上記（５）の構成によれば、上記（１）〜（４）の構成と同様、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを備える操作装置において、操作データを適切に送信することができる。また、後述する（１０）の構成と同様、加速度センサおよび方向入力部のデータに関しては、平均値を算出するための除算をビットシフト演算によって行うことができるので、操作データを生成する処理を簡易化することができ、操作装置の処理負荷を軽減することができる。
（６）
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置である。操作装置は、操作部と、生成部と、通信部とを備える。操作部は、ジャイロセンサ、加速度センサ、およびタッチパネルを少なくとも含む。生成部は、操作部から得られるデータに基づいて操作データを生成する。通信部は、操作データを所定周期毎に情報処理装置へ無線で送信する。ここで、１回に送信される操作データは、次のデータを含む。
・ジャイロセンサが検出する複数回分の角速度を加算した値を表すデータ
・加速度センサが検出する複数回分の加速度の平均値を表すデータ
・タッチパネルが検出する複数回分の位置を表すデータ
上記（６）の構成によれば、上記（１）〜（４）の構成と同様、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを備える操作装置において、操作データを適切に送信することができる。
（７）
操作部は、磁気センサをさらに含んでいてもよい。このとき、生成部は、磁気センサが検出する１回分の磁気方向を表すデータを操作データに含める。
上記（７）の構成によれば、操作装置は、操作データのデータサイズを抑えつつ、磁気センサの検出結果に基づくデータを情報処理装置へ送信することができる。
（８）
また、本発明の他の一例は、情報処理装置と無線通信可能な操作装置である。操作装置は、第１センサと、第２センサと、第３センサと、生成部と、通信部とを備える。第２センサは、第１センサよりも高い頻度で検出結果を出力する。第３センサは、第２センサよりも高い頻度で検出結果を出力する。生成部は、第１センサが検出する１回分の値を表すデータと、第２センサが検出する複数回分の値の平均値を表すデータと、第３センサが検出する複数回分の値の和を表すデータとを含む操作データを生成する。通信部は、操作データを所定周期毎に情報処理装置へ無線で送信する。
上記（８）の構成によれば、３つのセンサを備える操作装置において、操作データを適切に送信することができる。すなわち、操作装置は、第１センサが検出する１回分の値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えることができる。つまり、操作データを効率的な方法で送信することができる。また、操作装置は、第２センサが検出する複数回分の値の平均値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第２センサの検出精度を向上することができる。さらに、操作装置は、第３センサが検出する複数回分の値の和を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第３センサの検出精度を向上することができる。なお、第３センサについては第２センサよりも検出頻度が高く、多くのデータが出力されるので、平均値を算出するための除算を省略することで、操作装置における処理負荷を軽減することができる。
（９）
第１センサは磁気センサであってもよい。また、第２センサは加速度センサであってもよい。また、第３センサはジャイロセンサであってもよい。
上記（９）の構成によれば、磁気センサ、加速度センサ、およびジャイロセンサを備える操作装置において、操作データを適切に送信することができる。
（１０）
生成部は、２のｎ乗回（ｎは１以上の整数）分の加速度の平均値を表すデータを操作データに含めてもよい。
上記（１０）の構成によれば、平均値を算出するための除算をビットシフト演算によって行うことができるので、操作データを生成する処理を簡易化することができ、操作装置の処理負荷を軽減することができる。
（１１）
通信部は、ジャイロセンサおよび加速度センサの少なくとも１つについてセンサの入出力関係（入出力特性）を表すセンサ特性データを操作データとは別に情報処理装置へ送信してもよい。このとき、情報処理装置は、センサ特性データと操作データとに基づいて、センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する。
上記（１１）の構成によれば、センサの検出結果を用いる情報処理をより精度良く行うことができ、操作装置の操作性を向上することができる。
（１２）
通信部は、情報処理装置において操作データに基づいた処理によって生成される画像の１画像分のデータを、操作データを送信する頻度よりも低い頻度で情報処理装置から受信してもよい。このとき、操作装置は、情報処理装置から受信した画像を表示する表示部をさらに備える。
上記（１２）の構成によれば、操作装置において表示される画像の更新頻度よりも高い頻度で操作データが送信されるので、操作装置に対する操作内容を高い頻度で情報処理装置へ伝達することができ、操作性の良い操作装置を提供することができる。
なお、本発明の別の一例は、上記（１）〜（１２）における操作装置と情報処理装置とを含む情報処理システムであってもよいし、上記操作装置において実行される通信方法であってもよい。
以上のように、本発明によれば、操作装置は、情報処理装置へ操作データを適切に送信することができる。
情報処理システムの一例の外観図 操作装置の一例の正面図 操作装置の一例の背面図 一例である操作装置の内部構成を示すブロック図 一例である情報処理装置の内部構成を示すブロック図 操作装置と情報処理装置との間で送受信されるデータを示す図 送信情報データに含まれるデータの一例を示す図 第１通信モードにおいて、操作装置と情報処理装置との間で送受信される各データの送信タイミングを示す図 第２通信モードにおいて、操作装置と情報処理装置との間で送受信される各データの送信タイミングを示す図 通信管理データに含まれるデータの一例を示す図 操作装置と外部装置とが赤外線通信を行う場合における通信動作の一例を示す図 操作装置と外部装置とが近距離無線通信を行う場合における通信動作の一例を示す図 操作データに含まれる各データを生成方法の一例を示す図 情報処理システムの各装置における動作の一例を示す図 第２情報処理の実行中において操作装置に表示される画像の一例を示す図 第１および第２情報処理と、操作装置の各構成要素の使用との対応の一例を示す図 操作装置における処理の一例を示すフローチャート 情報処理装置における処理の一例を示すフローチャート
［１．情報処理システムの全体構成］
以下、図面を参照して、本発明の一実施形態に係る操作装置、情報処理システム、および通信方法の一例について説明する。図１は、情報処理システムの一例の外観図である。図１において、情報処理システム１は、操作装置２と、情報処理装置３と、表示装置４とを含む。情報処理システム１は、操作装置２に対する操作に基づいて情報処理装置３において情報処理を実行し、情報処理によって得られる画像を操作装置２および／または表示装置４に表示するものである。
操作装置２は、可搬型であり、ユーザが把持可能な程度の大きさである。操作装置２は情報処理装置３と無線通信が可能である。詳細な構成は後述するが、操作装置２は、ユーザによる操作を表すデータを出力する操作部（本実施形態においては、後述するボタン群１４、加速度センサ２３、およびタッチパネル１２等）を備える。操作装置２は、操作装置２（操作部）に対する操作に基づいて操作データを生成し、操作データを情報処理装置３へ無線で送信する。操作データは、操作装置２（操作部）に対する操作を表すデータであり、具体的な内容はどのようなものであってもよい。本実施形態における操作データの詳細については後述する（後述する“［６．操作データの生成］”参照）。
なお、操作データは、操作装置２に対して行ったユーザの指示を表すものと言うこともできる。つまり、操作装置２は、ユーザの指示を表す指示データを生成し、指示データを情報処理装置３へ無線で送信すると言うこともできる。また、操作データは、操作装置２に対して行われた入力を表すものと言うこともできる。つまり、操作装置２は、操作装置２に対して行われた入力を表す入力データを生成し、入力データを情報処理装置３へ無線で送信すると言うこともできる。
また、操作装置２は、表示部を備える。操作装置２は、情報処理装置３から送信されてくる画像データを受信する。表示部は、受信された画像データが表す画像を表示する。なお、この画像データは、典型的には、情報処理装置３において上記操作データを使った情報処理（後述する第１情報処理）に基づいて生成される。
また、本実施形態においては、操作装置２は、表示装置４を制御する機能を備える。詳細は後述するが、操作装置２は例えば、制御信号である赤外線信号を表示装置４に対して送信することによって、表示装置４の動作を制御することが可能である（図１に示す点線の矢印参照）。なお、操作装置２は、表示装置４を制御する機能を備えていなくてもよい。
情報処理装置３は、例えば据置型の情報処理装置である。情報処理装置３は、例えばゲームプログラムを実行可能なゲーム装置であってもよい。情報処理装置３は、自機がアクセス可能な記憶媒体（または記憶装置）に記憶されるプログラムを実行することによって情報処理を行う。本実施形態においては、情報処理装置３は、操作装置２から送信されてくる操作データを受信し、操作データを入力として用いて所定の情報処理を実行する。なお、情報処理装置３は、操作装置２以外の他の装置からも操作データを受信し、各装置から受信した操作データに基づいて上記所定の情報処理を実行してもよい。
また、情報処理装置３は、上記所定の情報処理において画像（画像データ）を生成する。つまり、情報処理装置３は、上記操作データを使った情報処理に基づいて画像データを生成する。この画像は、情報処理装置３から操作装置２へ無線で送信され、操作装置２において表示（出力）される。以下では、上記所定の情報処理において生成される画像を「出力画像」と呼ぶことがあり、当該画像を表す画像データを「出力画像データ」と呼ぶことがある。
なお、情報処理装置３は、上記所定の情報処理において画像に加えて音声（音声データ）を生成する場合がある。この音声は、情報処理装置３から操作装置２へ無線で送信され、操作装置２において出力される。以下では、上記所定の情報処理において生成される音声を「出力音声」と呼ぶことがあり、当該音声を表す音声データを「出力音声データ」と呼ぶことがある。
また、情報処理装置３は、表示装置４と通信可能である。本実施形態においては、情報処理装置３および表示装置４は互いに有線で通信を行う。なお、本実施形態の変形例において、情報処理装置３と表示装置４との通信は無線通信であってもよい。
情報処理装置３は、上記所定の情報処理において、表示装置４へ出力すべき画像および／または音声を生成する場合がある。表示装置４へ出力すべき画像は、操作装置２へ出力すべき画像（上記出力画像）と同じであってもよいし、異なっていてもよい。表示装置４へ出力すべき音声は、操作装置２へ出力すべき音声（上記出力音声）と同じであってもよいし、異なっていてもよい。
表示装置４は、例えば据置型の表示装置である。本実施形態においては、表示装置４は、テレビジョン受像器（テレビ）である。表示装置４は、典型的には操作装置２の表示部よりも大きい画面を有する。表示装置４は、情報処理装置３において実行される情報処理において生成された画像を表示する。また、表示装置４はスピーカ５（図４）を有しており、スピーカ５は、上記情報処理において生成された音声を出力する。
また、表示装置４は、操作装置２からの制御信号を受信する機能を有する。例えば、表示装置４は、赤外線信号を受光可能な赤外線受光部を備えている。また、表示装置４は、赤外線受光部によって受信された赤外線信号に応じた動作を行う。つまり、表示装置４は、制御信号である赤外線信号を受信し、制御信号に従って動作することが可能である。
なお、図１においては情報処理システム１が１つの操作装置２を含む構成を示しているが、情報処理システム１は２つの操作装置２を含む構成であってもよい。すなわち、情報処理装置３は、２つの操作装置２と通信を行うことが可能である。情報処理装置３は、各操作装置２から操作データを受信することが可能である。また、情報処理装置３は、各操作装置２のそれぞれへ出力画像データ（および出力音声データ）を送信することが可能である。このように、本実施形態においては、情報処理装置３は、２つまでの操作装置２に対応することが可能である。なお、本実施形態の変形例においては、情報処理装置３は、３つ以上の操作装置２と同時に無線通信可能であってもよい。
[２．操作装置の構成]
次に、図２〜図４を参照して、操作装置２の構成について説明する。図２は、操作装置２の一例の正面図である。図３は、操作装置２の一例の背面図である。
図２に示されるように、操作装置２は、大略的には横長の長方形の板状形状であるハウジング１０を備える。操作装置２は、タブレット型の情報処理装置（端末装置）であるということもできる。なお、本明細書における「板状形状」とは、全体として板状形状であることを意味し、一部に曲面を有していてもよいし、一部に突起等を有していてもよい。また、操作装置２（ハウジング１０）の形状はどのような形状であってもよい。ハウジング１０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、操作装置２を持って動かしたり、操作装置２の配置位置を変更したりすることができる。
操作装置２は、表示部１１を備える。表示部１１は、任意の表示手段でよく、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）である。表示部１１は、ハウジング１０の表面の中央付近に設けられる。したがって、ユーザは、表示部１１の両側部分のハウジング１０を持つことによって、表示部１１の画面を見ながら操作装置２を持って動かすことができる。なお、ユーザは、表示部１１の左右両側の部分のハウジング１０を持つことで操作装置２を横持ちで（横に長い向きにして）持つことも可能であるし、操作装置２を縦持ちで（縦に長い向きにして）持つことも可能である。
操作装置２は、上述の操作部を備える。操作部は、ユーザによる操作を表すデータを出力可能であればどのようなものであってもよい。本実施形態においては、操作装置２は以下に説明する複数種類の操作部を備える。ただし、操作装置２は少なくとも１つの操作部を備えていればよく、操作部の種類は任意でよい。
図２に示すように、操作装置２は、上述の操作部の一例としてタッチパネル１２を備える。タッチパネル１２は表示部１１の画面上に設けられる。タッチパネル１２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。なお、ハウジング１０には、タッチパネル１２に対する操作を行うために用いられるタッチペンを収納する収納穴が設けられている。
図２に示すように、操作装置２は、操作部の一例として、方向入力部１３を備える。方向入力部１３は、方向を入力（指示）することが可能な操作部である。本実施形態において、方向入力部１３はアナログスティックである。また、本実施形態においては、操作装置２は、表示部１１の左側に設けられる左アナログスティック１３Ａと、表示部１１の右側に設けられる左アナログスティック１３Ｂという、２つのアナログスティックを方向入力部１３として備える。アナログスティックは、可動部材（例えばスティック部）がハウジング１０の表面に対して任意の方向（換言すれば、上下左右および斜め方向の任意の角度）に傾倒可能な種類の方向入力部であってもよいし、可動部材がハウジング１０の表面に対して任意の方向にスライド可能な種類の方向入力部であってもよい。また、本実施形態においては、アナログスティックは、上記可動部材がハウジング１０の表面に対して略垂直な方向に押下可能に構成される。つまり、本実施形態における方向入力部１３は、可動部材を任意の方向に移動させる操作と、可動部材を押下する操作とを行うことが可能な種類のアナログスティックである。なお、上記可動部材は押下可能に構成されなくてもよい。
操作装置２は、操作部の一例として、ボタン群１４（各ボタン１４Ａ〜１４Ｉ）を備える。各ボタン１４Ａ〜１４Ｉは、押下可能なキーである。本実施形態においては、ハウジング１０の表面には、十字ボタン（方向入力ボタン）１４Ａと、ボタン１４Ｂと、ボタン１４Ｃと、ボタン群１４Ｅとが設けられる。ハウジング１０の表面に設けられる各ボタン１４Ａ〜１４Ｅは、ユーザが操作装置２の左右部分を把持した状態でユーザの親指で操作可能な位置に配置されている。したがって、ユーザは、操作装置２を持って動かす場合においてもこれらのボタン１４Ａ〜１４Ｅを容易に操作することができる。
十字ボタン１４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能である。したがって、本実施形態においては、十字ボタン１４Ａが方向入力部として用いられてもよい。
ボタン１４Ｃは、操作装置２において実行されるプログラムを起動する指示を行うためのボタンである。以下では、このプログラムを、後述する「第１プログラム」と区別する目的で、「第２プログラム」と呼ぶことがある。第２プログラムは、操作装置２で実行されるプログラムである。また、第２プログラムによって操作装置２において実行される情報処理を「第２情報処理」と呼ぶことがある。詳細は後述するが、上記第２プログラムは、本実施形態においては表示装置（テレビ）４を操作するためのプログラムである。したがって、操作装置２はテレビのリモコンの機能を有する。なお、以下では、ボタン１４Ｃを「起動ボタン」と呼ぶことがある。
また、ボタン１４Ｂは、所定のメニュー画面を表示する指示を行うためのボタンである。ボタン１４Ｄは、操作装置２の電源をオン／オフするための電源ボタンである。電源ボタンの操作により、ユーザは情報処理装置３の電源を遠隔でオン／オフすることも可能である。
図２および図３に示すように、本実施形態においては、第１Ｌボタン１４Ｆおよび第１Ｒボタン１４Ｇは、ハウジング１０の上側の面における左右の両側にそれぞれ設けられる。また、図３に示すように、第２Ｌボタン１４Ｈおよび第２Ｒボタン１４Ｉは、ハウジング１０の背面（裏面）の左右の両側にそれぞれ設けられる。第２Ｌボタン１４Ｈおよび第２Ｒボタン１４Ｉは、ハウジング１０の背面に形成される突起部１９の上面に設けられる。これらのボタン１４Ｆ〜１４Ｉは、ユーザが操作装置２の左右部分を把持した状態でユーザの人差し指、中指、または薬指で操作可能な位置に配置されている。したがって、ユーザは、操作装置２を持って動かす場合においてもこれらのボタン１４Ｆ〜１４Ｉを容易に操作することができる。
本実施形態においては、各ボタン１４Ａおよび１４Ｅ〜１４Ｉには、情報処理装置３で実行される情報処理に応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａおよびボタン群１４Ｅに対しては方向指示や選択指示が割り当てられてもよいし、各ボタン１４Ｅ〜１４Ｉに対しては決定指示やキャンセル指示が割り当てられてもよい。また、本実施形態の変形例において、操作装置２は、表示部１１の画面表示をオン／オフする指示を行うためのボタン、および／または、自機と情報処理装置３との接続設定（ペアリング）の指示を行うためのボタンを有していてもよい。
なお、図２および図３に示した各ボタン１４Ａ〜１４Ｉの形状、数、および設置位置等は単なる一例に過ぎず、操作装置２が備えるボタンの形状、数、および設置位置は任意である。
また、本実施形態では、ハウジング１０の裏側（表示部１１が設けられる表面の反対側）には、突起部１９が設けられる（図３参照）。図３に示すように、突起部１９は、略板状のハウジング１０の裏面から突起して設けられる、山状の部材である。本実施形態においては、突起部１９は左右に延びるように形成されており、庇状の形状であると言える。突起部は、ハウジング１０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。ユーザは、指を突起部１９に掛けて（指の上に突起部１９を乗せて）把持することによって、操作装置２が比較的大きなサイズであっても、疲れることなく安定した状態で操作装置２を把持することができる。すなわち、突起部１９は、指でハウジング１０を支えるための支持部材であると言うことができ、また、指掛部と言うこともできる。なお、本実施形態において、突起部１９の形状および配置位置は任意である。また、本実施形態の変形例において、操作装置２は、突起部１９が設けられない構成であってもよい。
また、本実施形態においては、操作装置２はマーカ部１５を備える。マーカ部１５は、図２に示すように、ハウジング１０の表面に設けられるマーカ１５Ａおよびマーカ１５Ｂを有する。各マーカ１５Ａおよびマーカ１５Ｂは、赤外ＬＥＤで構成される。この赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部１５は、赤外光を検知可能なコントローラの位置、姿勢、または動き等を算出するために用いられる。本実施形態においては、情報処理装置３はマーカ部１５が備える各赤外ＬＥＤの点灯を制御することが可能である。
操作装置２は、撮像装置であるカメラ１６を備える。カメラ１６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図２に示すように、本実施形態では、カメラ１６はハウジング１０の表面に設けられる。したがって、カメラ１６は、操作装置２を持っているユーザの顔等を撮像することができ、例えば表示部１１の画面を見ながらゲームを行っている時のユーザを撮像することができる。
操作装置２は、音声入力部の一例であるマイク３２（図４参照）を備える。図２に示すように、ハウジング１０の表面にはマイク孔１８が設けられる。マイク３２はこのマイク孔１８の奥のハウジング１０内部に設けられる。マイク３２は、操作装置２の周囲の音（例えばユーザの音声等）を検出する。
以上のように、操作装置２は、カメラ１６およびマイク３２を備える構成であるが、操作装置２は、カメラ１６およびマイク３２を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
操作装置２は、音声出力部の一例であるスピーカ３１（図４参照）を備える。図２に示すように、ハウジング１０の表面にはスピーカ孔１７が設けられる。スピーカ３１の出力音はこのスピーカ孔１７から操作装置２の外部へ出力される。本実施形態では、操作装置２は２つのスピーカ３１を備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔１７が設けられる。なお、操作装置２は、スピーカ３１の音量を調節するためのつまみ（図示せず）を備える。また、操作装置２は、イヤホン等の音声出力部を接続するための音声出力端子（図示せず）を備える。音声出力端子およびつまみが設けられる位置はどこであってもよい。なお、操作装置２は、音声出力部を備えていない構成であってもよい。
また、ハウジング１０には、赤外線を透過可能な窓２０が設けられる。窓２０は、後述する赤外線通信部３６および赤外線発光部３８において赤外線信号を送受信するために設けられる。すなわち、本実施形態においては、赤外線通信部３６および赤外線発光部３８が窓２０の内側（ハウジング１の内部）に設けられる。赤外線通信部３６は、操作装置２の外部から窓２０を介して赤外線信号を受光し、操作装置２の外部へ窓２０を介して赤外線信号を送信する。また、赤外線発光部３８は、操作装置２の外部へ窓２０を介して赤外線信号を送信する。本実施形態においては、表示部１１の両側を把持した場合にユーザの前方へ赤外線信号が発射される（あるいは、ユーザの前方から赤外線信号を受光する）ように、窓２０はハウジング１０の上側の側面に設けられる（図３参照）。ただし、窓２０は、例えばハウジング１０の裏面等、どの位置に設けられてもよい。
また、操作装置２は、周辺装置を操作装置２に接続するためのコネクタ２６（図３参照）を備える。コネクタ２６は、操作装置２に接続される他の周辺装置との間でデータ（情報）を送受信するための通信端子である。なお、コネクタ２６には、周辺装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
ここで、本明細書では、情報処理装置３とは異なる装置であって、操作装置２と通信可能な他の装置を「外部装置」と呼ぶ。外部装置は、操作装置２と通信可能であればよく、後述する赤外線通信部３６と通信可能であってもよいし、近距離無線通信部３７を介して操作装置２と通信可能であってもよい。外部装置の種類はどのようなものであってもよく、例えば、メモリカード等の外部記憶媒体、あるいは、情報処理端末等である。また、以下において、操作装置２と外部装置との通信を「拡張通信」と呼ぶことがある。
なお、図２および図３に示した操作装置２に関して、各構成要素の形状、数、および設置位置等は、単なる一例である。当該各構成要素は、他の形状、数、および設置位置であってもよい。
次に、図４を参照して、操作装置２の内部構成について説明する。図４は、一例である操作装置２の内部構成を示すブロック図である。操作装置２は、図２および図３に示した構成の他、図４に示す構成を備える。図４に示す各構成要素の電子部品は、例えば電子回路基板上に実装されてハウジング１０内に収納される。
図４に示すように、操作装置２は、入出力制御部２１を備える。入出力制御部２１は、入出力制御部２１に接続される上記操作部に対するデータの入出力を制御する。入出力制御部２１は上記各操作部と接続される（タッチパネル１２については、タッチパネルコントローラ２２を介して接続される）。以下、各操作部について説明する。
操作装置２は、タッチパネルコントローラ２２を備える。タッチパネルコントローラ２２は、タッチパネル１２の制御を行う回路である。タッチパネルコントローラ２２は、タッチパネル１２に接続され、入出力制御部２１に接続される。タッチパネルコントローラ２２は、タッチパネル１２からの信号に基づいて入力位置データを生成して入出力制御部２１へ出力する。入力位置データは、タッチパネル１２の入力面において入力が行われた位置（「入力位置」と呼ぶ。タッチ位置とも言う）を表す。より具体的には、入力位置データは、上記入力位置を示す２次元の座標を表すデータであってもよい。タッチパネルコントローラ２２は、タッチパネル１２からの信号の読み込み、および、入力位置データの生成を所定時間に１回の割合で行う。また、入出力制御部２１からタッチパネルコントローラ２２へは、タッチパネル１２に対する各種の制御指示が出力される。
上述の方向入力部１３は、入出力制御部２１に接続される。方向入力部１３は、ユーザが指示した方向を表す指示方向データを入出力制御部２１へ出力する。本実施形態において、指示方向データは、ユーザの指で操作される上記可動部材の移動方向および移動量を表す。より具体的には、指示方向データは、例えば、可動部材が傾倒した（またはスライドした）方向および量を表す。具体的には、縦方向および横方向の２軸方向の傾き量がそれぞれ検出され、出力される。これらの２軸成分の値は、方向および量を表す２次元ベクトルとみなすこともできる。本実施形態においてはさらに、指示方向データは、上記可動部材が押下されたか否かを表す。
上述のボタン群１４（各ボタン１４Ａ〜１４Ｉ）は、入出力制御部２１に接続される。ボタン群１４は、各ボタン１４Ａ〜１４Ｉに対する入力状況を表すボタンデータを入出力制御部２１へ出力する。ボタンデータは、例えば、各ボタン１４Ａ〜１４Ｉが押下されたか否かをボタン毎に表す。なお、ボタン群１４のうちのいくつかのボタン（例えば第１Ｌボタン１４Ｆおよび第１Ｒボタン１４Ｇは）については、押し込み量を検出可能なボタンであってもよい。このとき、ボタンデータは、押し込み量を検出可能なボタンについては、押下されたか否かに加えて、押し込み量を表す。
操作装置２は、操作部の一例として、加速度センサ２３を備える。加速度センサ２３は、入出力制御部２１に接続される。加速度センサ２３は、ハウジング１０の内部に設けられ、１以上の所定軸方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ２３は、ハウジング１０の長辺方向をｘ軸、ハウジング１０の短辺方向をｙ軸、ハウジング１０の表面に対して垂直な方向をｙ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データは入出力制御部２１へ出力される。また、入出力制御部２１から加速度センサ２３へは、加速度センサ２３に対する制御指示が出力される。加速度センサ２３は、例えば静電容量式のＭＥＭＳ型加速度センサであるが、他の方式の加速度センサであってもよい。また、加速度センサ２３は、上記においては３軸方向の加速度を検出するものとして説明したが、２軸でもよいし、１軸以上の加速度を検出すればどのようなものであってもよい。
操作装置２は、操作部の一例として、ジャイロセンサ２４を備える。ジャイロセンサ２４は、入出力制御部２１に接続される。ジャイロセンサ２４は、ハウジング１０の内部に設けられ、１以上の所定軸回りの角速度を検出する。本実施形態においては、ジャイロセンサ２４の検出軸は、加速度センサ２３の検出軸と同じであり、上記ｘ軸、ｙ軸およびｚ軸である。検出された角速度を表す角速度データは、入出力制御部２１へ出力される。また、入出力制御部２１からジャイロセンサ２４へは、ジャイロセンサ２４に対する制御指示が出力される。また、ジャイロセンサ２４は、上記においては３軸回りの角速度を検出するものとして説明したが、２軸でもよいし、１軸以上の角速度を検出すればどのようなものであってもよい。
操作装置２は、操作部の一例として、磁気センサ２５を備える。磁気センサ２５は、入出力制御部２１に接続される。磁気センサ２５は、磁界の大きさおよび方向を検知することで磁気方向（方位）を検出する。検出された磁気方向を示す磁気データは、入出力制御部２１へ出力される。また、入出力制御部２１から磁気センサ２５へは、磁気センサ２５に対する制御指示が出力される。磁気センサ２５に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、磁気方向を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた磁気データは、厳密な意味での方位（地磁気を基準とした方位）を示さないことになる。しかし、そのような場合であっても、操作装置２の姿勢が変化した場合には磁気データが変化するため、操作装置２の姿勢の変化を算出することができる。したがって、磁気センサ２５は、厳密な意味での方位を検出するものに限らず、磁気に基づいて方向を検出することが可能なものであればよい。また、磁気センサ２５は、ここでは３次元の値で磁気方向を検出するものとして説明するが、１次元以上の磁気方向を検出すればどのようなものであってもよい。
以上のように、操作装置２は、操作装置２の位置、姿勢、および動きのうちの少なくとも１つを検出するセンサとして、加速度センサ２３、ジャイロセンサ２４、および磁気センサ２５を備える。ただし、操作装置２は、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、操作装置２は、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
入出力制御部２１は、上記の各操作部が出力した各データを受け取り、当該各データを含む操作データを生成する。つまり、入出力制御部２１は、操作装置２に対する操作に基づいて操作データを生成する生成部である。入出力制御部２１は通信データ管理部２７に接続される。入出力制御部２１は、生成された操作データを通信データ管理部２７へ出力する。なお、入出力制御部２１は、所定時間（後述する時間Ｔ４）に１回の頻度で操作データを生成して出力する。
また、入出力制御部２１には上述のコネクタ２６が接続される。コネクタ２６を介して操作装置２に他の装置が接続される場合、入出力制御部２１は、当該他の装置に対する操作を表すデータを受け取り、当該データを通信データ管理部２７へ出力してもよい。
また、操作装置２は電源ＩＣ３８を備える。電源ＩＣ３８は、入出力制御部２１に接続される。電源ＩＣ３８は、内蔵の電池から操作装置２内の各部への電力供給を制御する。また、電源ＩＣ３８には、外部電源から電力を取得可能な充電器またはケーブルを、充電コネクタを介して接続することが可能である。操作装置２は、当該充電器またはケーブルを用いて外部電源からの電力供給および充電が可能である。なお、操作装置２は、図示しない充電機能を有するクレイドルに操作装置２を装着することで充電を行うことも可能である。
図４に示すように、操作装置２は、通信データ管理部２７を備える。通信データ管理部２７は、情報処理装置３との間の通信に関する各種の処理を実行する。通信データ管理部２７は、ＣＰＵ２８とメモリ２９とを有する。通信データ管理部２７は、例えば、後述するデータの圧縮・伸張処理を実行可能なＬＳＩ（コーデックＬＳＩとも言う）である。また、操作装置２はフラッシュメモリ３５を備えており、フラッシュメモリ３５は通信データ管理部２７に接続される。本実施形態においては、フラッシュメモリ３５は、操作装置２において実行される各種のプログラムを記憶している。本実施形態においては、各種のプログラムとして、自機（操作装置２）の管理および／または通信のためのプログラム、ならびに、上述の第２プログラム等がフラッシュメモリ３５に記憶される。ＣＰＵ２８は、フラッシュメモリ３５に記憶されているプログラムの実行によって上記各種の処理を実行する。メモリ２９は、上記各種の処理が実行される場合に記憶領域として使用される。メモリ２９の一部の領域は、表示部１１に表示される画像のためのメモリ（いわゆるＶＲＡＭ）として使用されてもよい。操作装置２の電源が投入された場合、フラッシュメモリ３５に格納された起動用プログラムをメモリ２９に読み出してＣＰＵ２８が実行することで、操作装置２が起動する。
通信データ管理部２７は、情報処理装置３へ送信するデータに対する各種の処理を行う。すなわち、通信データ管理部２７は、通信データ管理部２７に接続される構成要素からデータを受け取り、所定の処理（例えば、後述する圧縮処理）を必要に応じて行って情報処理装置３へ送信するデータを生成する。また、通信データ管理部２７は、情報処理装置３から受信されたデータに対する各種の処理を行う。すなわち、通信データ管理部２７は、情報処理装置３から受信されたデータに対して所定の処理（例えば、後述する伸張処理）を必要に応じて行い、通信データ管理部２７に接続される構成要素へ処理済みのデータを出力する。なお、通信データ管理部２７が実行する処理の詳細については後述する。以下、通信データ管理部２７に接続される各構成要素について説明する。
上述した表示部１１は通信データ管理部２７に接続される。表示部１１は、情報処理装置３から送信された出力画像データを通信データ管理部２７から受け取り、出力画像データが表す画像を表示する。なお、情報処理装置３は所定の頻度で出力画像データを送信し、通信データ管理部２７は所定の頻度で出力画像データを出力するので、表示部１１は動画を表示することが可能である。
上述したカメラ１６は通信データ管理部２７に接続される。カメラ１６は、画像を撮像し、撮像した画像データを通信データ管理部２７へ出力する。以下では、カメラ１６によって撮像された画像のデータを「カメラ画像データ」と呼ぶ。また、通信データ管理部２７は、画像の撮像指示等、カメラ１６に対する制御指示をカメラ１６へ出力する。なお、カメラ１６は動画の撮影も可能である。すなわち、カメラ１６は、繰り返し撮像を行ってカメラ画像データを通信データ管理部２７へ繰り返し出力することも可能である。
また、操作装置２は、サウンドＩＣ３０を備える。サウンドＩＣ３０は通信データ管理部２７に接続される。サウンドＩＣ３０は、スピーカ３１およびマイク３２に接続される。サウンドＩＣ３０は、スピーカ３１およびマイク３２に対する音声データの入出力を制御する。すなわち、通信データ管理部２７から音声データ（出力音声データ）を受け取った場合、サウンドＩＣ３０は、当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ３１へ出力する。これによって、スピーカ３１から音が発生する。また、マイク３２は、操作装置２に伝わる音（ユーザの音声等）を検知して、検知した音を示す音声信号をサウンドＩＣ３０へ出力する。サウンドＩＣ３０は、マイク３２からの音声信号に対してＡ／Ｄ変換を行って得られる音声データ（マイク音声データ）を通信データ管理部２７へ出力する。
また、操作装置２は、無線モジュール３３およびアンテナ３４を備える。無線モジュール３３は通信データ管理部２７に接続される。無線モジュール３３にはアンテナ３４が接続される。無線モジュール３３は、アンテナ３４を用いて情報処理装置３との間で無線通信を行う。無線モジュール３３は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールである。無線モジュール３３は、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて情報処理装置３との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いて情報処理装置３との間の無線通信を行ってもよい。
操作装置２から情報処理装置３へデータが送信される場合、通信データ管理部２７は、情報処理装置３へ送信すべきデータを無線モジュール３３へ出力する。無線モジュール３３は、送信すべきデータを情報処理装置３へアンテナ３４を介して無線送信する。
また、情報処理装置３からのデータが操作装置２において受信される場合、無線モジュール３３は、アンテナ３４を用いて情報処理装置３からのデータを受信し、受信されたデータを通信データ管理部２７へ出力する。通信データ管理部２７は、受信されたデータを、当該データを送るべき適切な構成要素へ出力する。
なお、詳細は後述するが、操作装置２と情報処理装置３との間の通信においては、データの種類によっては、送信側の装置でデータが圧縮されて送信され、受信側の装置で受信されたデータが伸張される場合がある。通信データ管理部２７は、上記の圧縮処理と、情報処理装置３において行われた圧縮処理に対する伸張処理を実行する。
本実施形態において、操作装置２と情報処理装置３との間の通信において圧縮して送信されるデータは任意である。本実施形態においては、例えば、送信側において圧縮処理が施されるデータは、情報処理装置３から送信される出力画像データおよび出力音声データ、ならびに、操作装置２から送信されるカメラ画像データおよびマイク音声データである。なお、本実施形態の変形例においては、情報処理装置３からの出力画像データのみが圧縮されてもよいし、情報処理装置３からの出力画像データと操作装置２からのカメラ画像データとが圧縮されてもよい。また、上記以外の他のデータが圧縮されてもよいし、全てのデータが無圧縮で送信されてもよい。
また、操作装置２および情報処理装置３において行われる圧縮および伸張の方法はどのような方法であってもよい。本実施形態においては、各装置（操作装置２および情報処理装置３）は、例えばＨ．２６４規格といった高効率の圧縮技術を用いてデータを圧縮する。したがって、本実施形態によれば、送信側で生成された画像および／または音声を受信側へ高速に送信することができ、受信側において生じる遅延を小さくすることができる。
図４に示すように、操作装置２は、赤外線通信部３６を備える。赤外線通信部３６は、情報処理装置３以外の外部装置との間で赤外線通信を行う。本実施形態においては、赤外線通信部３６は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能を有する。赤外線通信部３６は通信データ管理部２７に接続される。赤外線通信によって操作装置２から外部装置へデータが送信される場合、通信データ管理部２７は、外部装置へ送信すべきデータを赤外線通信部３６へ出力する。赤外線通信部３６は、送信すべきデータを表す赤外線信号を出力する。外部装置からのデータが操作装置２において受信される場合、赤外線通信部３６は、外部装置からの赤外線信号を受信し、受信された赤外線信号のデータを通信データ管理部２７へ出力する。詳細は後述するが、通信データ管理部２７は、赤外線通信部３６を用いた赤外線通信を制御する（“＜５−４：外部装置と通信が行われる場合における動作＞”参照）。
また、操作装置２は、近距離無線通信部３７を備える。近距離無線通信部３７は、情報処理装置３以外の外部装置との間でＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）規格に従った通信（非接触通信）を行う。近距離無線通信部３７は通信データ管理部２７に接続される。近距離無線通信によって操作装置２から外部装置へデータが送信される場合、通信データ管理部２７は、外部装置へ送信すべきデータを近距離無線通信部３７へ出力する。近距離無線通信部３７は、送信すべきデータを表す無線信号を出力する。外部装置からのデータが操作装置２において受信される場合、近距離無線通信部３７は、外部装置からの無線信号を受信し、受信された無線信号のデータを通信データ管理部２７へ出力する。詳細は後述するが、通信データ管理部２７は、近距離無線通信部３７を用いた通信を制御する（“＜５−４：外部装置と通信が行われる場合における動作＞”参照）。
上記の赤外線通信部３６および／または近距離無線通信部３７によって外部装置との通信が行われる場合、当該外部装置から操作装置２を介して情報処理装置３へデータが送信されてもよい。また、上記の場合、情報処理装置３から操作装置２を介して上記外部装置へデータが送信されてもよい。
以上のように、本実施形態においては、操作装置２は、情報処理装置３とは異なる他の外部装置との通信（拡張通信）を行う拡張通信部の一例として、上記赤外線通信部３６および近距離無線通信部３７を備える。なお、操作装置２が備える拡張通信部は、上記外部装置と通信を行う機能を有していればどのようなものであってもよい。例えば、操作装置２は、上記の構成要素（赤外線通信部３６および近距離無線通信部３７）のうちのいずれか一方のみを備えていてもよいし、当該構成要素とは異なる通信手段を備えていてもよい。
また、操作装置２は、赤外線発光部３８を備える。赤外線発光部３８は、表示装置４を制御するための赤外線信号を出力する。赤外線発光部３８は、例えば赤外ＬＥＤを有する。通信データ管理部２７は、赤外線発光部３８による赤外線信号の出力（赤外線の出射）を制御する。操作装置２から表示装置４へ制御信号（赤外線信号）が送信される場合、通信データ管理部２７は、表示装置４へ送信すべき制御信号を赤外線発光部３８へ出力する。赤外線発光部３８は、通信データ管理部２７から受け取った制御信号を表す赤外線信号を出力する。
上述のマーカ部１５は、通信データ管理部２７に接続される。マーカ部１５が有する赤外ＬＥＤの発光は、通信データ管理部２７の制御指示により制御される。マーカ部１５に対する制御は、単に電力の供給のＯＮ／ＯＦＦであってもよい。
操作装置２は、バイブレータ３９を備える。バイブレータ３９は、通信データ管理部２７に接続される。バイブレータ３９は、振動可能な任意の部材であり、例えば振動モータやソレノイドである。バイブレータ３９の振動は、通信データ管理部２７によって制御される。バイブレータ３９が作動することによって操作装置２に振動が発生し、その結果、操作装置２を把持しているユーザの手にその振動が伝達される。バイブレータ３９は、例えば、いわゆる振動対応ゲームに用いることができる。
[３．情報処理装置の構成]
次に、図５を参照して、情報処理装置３の構成について説明する。図５は、一例である情報処理装置３の内部構成を示すブロック図である。本実施形態において、情報処理装置３は、図５に示す各部を備える。
情報処理装置３は、制御部４１を備える。制御部４１は、ＣＰＵ４２とメモリ４３とを有する。制御部４１は、例えばシステムＬＳＩとして情報処理装置３内に実装される。なお、制御部４１は、ＣＰＵ４２およびメモリ４３の他に、画像を生成するためのプロセッサ（ＧＰＵ）、生成された画像を記憶するためのメモリ（ＶＲＡＭ）、および／または、制御部４１に対するデータの入出力を制御する回路等の部材を含んでいてもよい。
制御部４１は、所定の情報処理を実行することによって出力画像データを生成する。以下では、制御部４１によって実行される上記所定の情報処理を「第１情報処理」と呼ぶことがある。なお、情報処理装置３は、プログラムを記憶するプログラム記憶部（図示せず）を備える。ＣＰＵ４２は、上記プログラム記憶部に記憶されるプログラムを実行する。これによって、情報処理装置３において第１情報処理が実行される。以下では、第１情報処理を実行するためのプログラムを「第１プログラム」と呼ぶことがある。
上記第１情報処理は、操作データを入力として用いて、出力画像データおよび／または出力音声データを生成する処理である。第１情報処理の具体的な内容はどのようなものであってもよい。第１情報処理は、例えば、操作データに基づいてゲームオブジェクトを制御するゲーム処理であってもよいし、操作データに基づいてＷｅｂページを表示するブラウザ処理であってもよい。すなわち、第１プログラムは、例えば、ゲーム処理を実行するためのゲームプログラムであってもよいし、ブラウザ処理を実行するためのブラウザプログラムであってもよい。
制御部４１が第１情報処理を実行することによって生成される出力画像は操作装置２に表示される。また、本実施形態において、制御部４１において生成される画像は表示装置４に表示される。さらに、制御部４１において生成される出力音声は操作装置２において出力される。また、本実施形態において、制御部４１において生成される音声はスピーカ５において出力される。
次に、制御部４１によって生成される出力画像を操作装置２へ無線送信する構成について説明する。本実施形態において、情報処理装置３は、圧縮伸張部４４を備える。圧縮伸張部４４は、例えば、データの圧縮・伸張処理を実行可能なＬＳＩ（コーデックＬＳＩとも言う）である。圧縮伸張部４４は制御部４１に接続される。なお、制御部４１と圧縮伸張部４４との接続は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に従って行われてもよい。圧縮伸張部４４による圧縮および伸張の方式は、操作装置２における通信データ管理部２７による圧縮および伸張の方式と同じである。
また、情報処理装置３は、無線モジュール４５およびアンテナ４６を備える。無線モジュール４５は圧縮伸張部４４に接続される。無線モジュール４５にはアンテナ４６が接続される。無線モジュール４５は、アンテナ４６を用いて情報処理装置３との間で無線通信を行う。無線モジュール４５は操作装置２の無線モジュール３３と無線通信可能である。典型的には、無線モジュール４５は操作装置２の無線モジュール３３と同じ機能を有する。
情報処理装置３から操作装置２へデータが送信される場合、制御部４１は、送信すべきデータを圧縮伸張部４４へ出力する。圧縮伸張部４４は、操作装置２へ送信すべきデータを必要に応じて圧縮し、無線モジュール４５へ出力する。圧縮伸張部４４は、例えば、制御部４１によって生成される出力画像データおよび出力音声データを圧縮し、圧縮されたデータを無線モジュール４５へ出力する。また、圧縮伸張部４４は、制御部４１から送られてくるデータのうちで圧縮しないデータについてはそのまま無線モジュール４５へ出力する。無線モジュール４５は、圧縮伸張部４４から出力されたデータを操作装置２へアンテナ４６を介して無線送信する。
操作装置２からのデータが情報処理装置３において受信される場合、無線モジュール４５は、アンテナ４６を用いて操作装置２からのデータを受信し、受信されたデータを圧縮伸張部４４へ出力する。圧縮伸張部４４は、圧縮されたデータが操作装置２から受信される場合、当該圧縮されたデータを伸張する。圧縮伸張部４４は、例えば、操作装置２において圧縮されて送信されるカメラ画像データおよびマイク音声データを伸張する。圧縮伸張部４４は、伸張されたデータを制御部４１へ出力する。なお、圧縮伸張部４４は、操作装置２から受信されるデータが圧縮されていない場合には当該データをそのまま制御部４１へ出力する。
次に、制御部４１によって生成される画像を表示装置４へ送信する構成について説明する。本実施形態において、情報処理装置３は、ＡＶ−ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）４７およびＡＶコネクタ４８を備える。制御部４１によって生成された画像および音声のうちで、表示装置４において出力される画像および音声のデータは、ＡＶ−ＩＣ４７によって読み出される。ＡＶ−ＩＣ４７は、読み出した画像データをＡＶコネクタ４８を介して表示装置４へ出力する。また、ＡＶ−ＩＣ４７は、読み出した音声データを、表示装置４に内蔵されるスピーカ５へ出力する。これによって、表示装置４に画像が表示され、スピーカ５から音が出力される。なお、情報処理装置３と表示装置４との接続および通信は、どのような方式で行われてもよい。例えば、情報処理装置３は、表示装置４を制御する制御信号を有線または無線で表示装置４へ送信するようにしてもよい。情報処理装置３と表示装置４との通信には、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。
情報処理装置３は、上記の機能の他、例えば次の機能を有していてもよい。すなわち、情報処理装置３は、情報処理システム１の外部の通信ネットワーク（例えばインターネット等）に接続可能であり、通信ネットワークを介して情報処理システム１外の他の情報処理装置との間で通信を行う機能を有していてもよい。また、情報処理装置３は、操作装置２とは別の入力装置と有線または無線で通信を行う機能を有していてもよい。また、情報処理装置３は、拡張コネクタを備えており、拡張コネクタを介して拡張機器（例えば、外部記憶媒体および周辺機器等）を接続する機能を有していてもよい。
［４．操作装置と情報処理装置との間で送受信されるデータ］
次に、図６〜図７を参照して、操作装置２と情報処理装置３との間で送受信されるデータについて説明する。図６は、操作装置２と情報処理装置３との間で送受信されるデータを示す図である。
以下、情報処理装置３から操作装置２へ送信されるデータ（ダウンストリーム）について説明する。情報処理装置３は、上述の出力画像データを操作装置２へ送信する。操作装置２は、出力画像データを受信する。これによって、情報処理装置３が生成した出力画像を操作装置２において表示することができる。上述のように、情報処理装置３は出力画像データを圧縮して操作装置２へ送信する。圧縮済みの出力画像データが情報処理装置３から送信されると、操作装置２（無線モジュール３３）は、圧縮済みの出力画像データを受信する。操作装置２の通信データ管理部２７は、受信された圧縮済みの出力画像データを伸張する。通信データ管理部２７は、伸張された出力画像データを表示部１１へ出力する。これによって、出力画像が表示部１１に表示される。
また、情報処理装置３は、上述の出力音声データを操作装置２へ送信する。操作装置２は、出力音声データを受信する。これによって、情報処理装置３が生成した出力音声を操作装置２において出力することができる。上述のように、情報処理装置３は出力音声データを圧縮して操作装置２へ送信する。圧縮済みの出力音声データが情報処理装置３から送信されると、操作装置２（無線モジュール３３）は、圧縮済みの出力音声データを受信する。操作装置２の通信データ管理部２７は、受信された圧縮済みの出力音声データを伸張する。そして、通信データ管理部２７は、伸張された出力音声データをサウンドＩＣ３０へ出力する。これによって、スピーカ３１から出力音声が出力される。
また、情報処理装置３は、第１拡張通信データを操作装置２へ送信する。第１拡張通信データとは、操作装置２と上述の外部装置とが通信を行う場合に情報処理装置３から操作装置２へ送信するデータである。情報処理装置３は、例えば、操作装置２または外部装置に対する指令（コマンド）を表すデータ、および、外部装置へ送信すべきデータ等を、第１拡張通信データとして操作装置２へ送信する。操作装置２（無線モジュール３３）は、情報処理装置３から送信されてくる第１拡張通信データを受信する。通信データ管理部２７は、受信された第１拡張通信データが表す指令に応じた処理を実行したり、受信された第１拡張通信データを外部装置へ送信したりする。このように、第１拡張通信データによって、情報処理装置３は、操作装置２を介して外部装置との通信を行うことができる。なお、第１拡張通信データに関する通信の動作例については後述する（後述する“＜５−４：外部装置と通信が行われる場合における動作＞”参照）。
情報処理装置３は、制御データを操作装置２へ送信する。制御データは、例えば、操作装置２と情報処理装置３との間の通信に関する制御に用いられるデータである。なお、制御データの具体的な内容はどのようなものであってもよい。例えば、制御データは、無線通信の設定に関する内容を表すものであってもよい。
以下、操作装置２から情報処理装置３へ送信されるデータ（アップストリーム）について説明する。操作装置２は、送信情報データを情報処理装置３へ送信する。送信情報データは、情報処理装置３へ送信すべき情報を表すデータである。図７は、送信情報データに含まれるデータの一例を示す図である。図７に示すように、送信情報データ５０は、例えば上述の操作データ５１を含む。送信情報データ５０に操作データ５１が含まれるため、情報処理装置３は、操作装置２に対する操作の内容を認識することができる。操作データ５１の詳細については後述する（後述する“［６．操作データの生成］”参照）。
また、送信情報データ５０は、管理データ５２を含む。管理データ５２は、操作装置２に関する状態を表す。送信情報データ５０に管理データ５２が含まれることによって、情報処理装置３は、操作装置２における状態を認識することができる。管理データ５２は、情報処理装置３において管理すべき情報である。本実施形態においては、管理データ５２は通信管理データ５３を含む。通信管理データ５３は、操作装置２と上述した外部装置との通信に関する状態を表す。また、管理データ５２は起動状態データ５４を含む。起動状態データ５４は、上述の第２プログラムの起動状態を表す。なお、これら通信管理データ５３および起動状態データ５４の詳細については後述する。
上記のように、管理データ５２は、操作装置２の状態を表すデータであってもよいし、操作装置２と外部装置との通信に関する状態を表すデータであってもよいし、操作装置２と通信可能な外部装置の状態を表すものであってもよい。なお、管理データ５２の具体的な内容はどのようなものであってもよい。例えば、管理データ５２は、通信管理データ５３および起動状態データ５４のいずれか一方または両方を含まない構成であってもよい。また例えば、管理データ５２は、通信管理データ５３および起動状態データ５４以外のデータを含んでいてもよい。
送信情報データ５０は、操作装置２において例えば次の方法で生成される。上述のように、操作データ５１は入出力制御部２１によって生成されて通信データ管理部２７へ出力される。通信データ管理部２７は操作データ５１に管理データ５２を加える。すなわち、通信データ管理部２７は、操作データ５１と管理データ５２とを含む送信情報データ５０を生成する。通信データ管理部２７は、送信情報データ５０を無線モジュール３３へ出力する。これによって、送信情報データ５０が情報処理装置３へ送信される。なお、通信データ管理部２７は、所定時間（後述する時間Ｔ４（図８参照））に１回の頻度で送信情報データ５０を生成して出力する。
以上のように、本実施形態においては、送信情報データ５０が操作装置２から情報処理装置３へ送信される。つまり、操作装置２は、操作データ５１とともに管理データ５２を情報処理装置３へ送信する。換言すれば、操作装置２は、操作データ５１と管理データ５２とを同じ頻度で送信する。より具体的には、操作装置２は、操作データ５１と管理データ５２とを同じタイミングで送信する。なお、本実施形態の変形例においては、操作装置２は、操作データ５１と管理データ５２とを別々に（別のタイミングで）送信してもよいし、管理データ５２を送信しなくてもよい。
また、操作装置２は、上記以外の他のデータを送信情報データ５０に含めて情報処理装置３へ送信してもよい。例えば、コネクタ２６を介して操作装置２に周辺装置が接続される場合、送信情報データ５０は、当該周辺装置から取得されるデータ（例えば、周辺装置に対する操作を表すデータ）を含んでいてもよい。このとき、入出力制御部２１は、周辺装置からコネクタ２６を介してデータを受け取り、当該データを通信データ管理部２７へ出力する。通信データ管理部２７は、当該周辺装置から取得されるデータを含む送信情報データ５０を生成する。また、例えば、送信情報データ５０は、上述した音声出力端子に対して接続される音声出力部（イヤホン等）に関するデータを含んでいてもよい。例えば、送信情報データ５０は、上記音声出力部が音声入力機能を有するか否か（例えばマイク機能付きのイヤホンであるか否か）を表すデータを含んでいてもよい。また例えば、送信情報データ５０は、上記音声出力部がボタンを有するか否かを表すデータを含んでいてもよいし、当該ボタンの入力状況（押下されたか否か）を表すデータを含んでいてもよい。なお、これらのデータは、上記管理データ５２として送信情報データ５０に含まれてもよい。
図６の説明に戻り、操作装置２は、上述のカメラ画像データを情報処理装置３へ送信する。ここで、操作装置２はカメラ画像データを圧縮して情報処理装置３へ送信する。具体的には、通信データ管理部２７は、カメラ１６から受け取ったカメラ画像データを圧縮する。通信データ管理部２７は、圧縮されたカメラ画像データを無線モジュール３３へ出力する。圧縮されたカメラ画像データは、無線モジュール３３によって情報処理装置３へ送信される。これによって、情報処理装置３は、カメラ画像データを受信することができ、カメラ画像データを用いた情報処理を実行することができる。
また、操作装置２は、上述のマイク音声データを情報処理装置３へ送信する。ここで、操作装置２はマイク音声データを圧縮して情報処理装置３へ送信する。具体的には、通信データ管理部２７は、サウンドＩＣ３０を介してマイク３２から受け取ったマイク音声データを圧縮する。通信データ管理部２７は、圧縮されたマイク音声データを無線モジュール３３へ出力する。圧縮されたマイク音声データは、無線モジュール３３によって情報処理装置３へ送信される。これによって、情報処理装置３は、マイク音声データを受信することができ、マイク音声データを用いた情報処理を実行することができる。
操作装置２は、第２拡張通信データを情報処理装置３へ送信する。第２拡張通信データとは、操作装置２と上述の外部装置とが通信を行う場合において、操作装置２から情報処理装置３へ送信するデータである。例えば、情報処理装置３が操作装置２を介して外部装置とデータのやり取りを行う場合、操作装置２は、情報処理装置３へ送信すべきデータを外部装置から受信する。通信データ管理部２７は、例えば外部装置から受け取ったデータを第２拡張通信データとして情報処理装置３へ送信する。このように、第２拡張通信データによって、情報処理装置３は、操作装置２を介して外部装置から送信されてくるデータを取得することができる。なお、第２拡張通信データに関する通信の動作例については後述する（後述する“＜５−４：外部装置と通信が行われる場合における動作＞”参照）。
なお、詳細は後述するが、図６に示す各データのうち、拡張通信データ（第１拡張通信データおよび第２拡張通信データ）は、不定期に送信される。つまり、情報処理装置３および操作装置２は、送信すべき拡張通信データが自機において発生すると、当該拡張通信データを相手側へ送信する。これによって、拡張通信データとして送信する情報が無い場合には、操作装置２と情報処理装置３との間で不要なデータを送信することなく、通信を効率良く行うことができる。一方、図６に示す各データのうち、拡張通信データ以外の他のデータは、定期的に（換言すれば、所定時間に１回の割合で繰り返し）送信されることが可能である。これによって、上記他のデータについては通信が途切れることなく受信側で定期的にデータを取得することができる。なお、上記他のデータは、常に定期的に送信される必要は無く、例えば操作装置２は、上記他のデータのうちの一部のデータ（例えばカメラ画像データおよびマイク音声データ）を送信するモードと、送信しないモードとの両方で動作可能であってもよい。
本実施形態においては、図６に示す各データが操作装置２と情報処理装置３との間で送受信される。ただし、上記各データは必ずしも全て送信される必要はなく、これらのデータのうちのいくつかは送信されなくてもよい。例えば、情報処理装置３は出力音声データを送信しないモードで動作してもよいし、出力音声データを送信する機能を有していなくてもよい。また例えば、操作装置２はカメラ画像データおよび／またはマイク音声データを送信しないモードで動作してもよいし、カメラ画像データおよび／またはマイク音声データを送信する機能を有していなくてもよい（このとき、操作装置２はカメラ１６および／またはマイク３２を備えていなくてもよい）。また例えば、拡張通信データは、操作装置２と外部装置とが通信を行う場合にのみ送受信され、操作装置２と外部装置とが通信を行わない場合（操作装置２と通信可能な外部装置が存在しない場合）には送受信されなくてもよい。また、操作装置２は、外部装置と通信する機能を有していなくてもよく、各拡張通信データを送受信する機能を有していなくてもよい。
（通信の優先度）
また、図６において示されるように、操作装置２と情報処理装置３との間で送受信される各データに対して、通信の優先度が設定される。この優先度は、操作装置２および情報処理装置３（各無線モジュール３３および４５）が複数のデータを送信可能である場合に、先に送信する優先順位を表す。換言すれば、優先度は、上記の場合に優先して送信されるデータの順序を表す。例えばＷｉ−Ｆｉの認証を受けた通信モジュールについては、このような優先度を設定することが可能である。
本実施形態においては、各データについて優先度は次のように設定される。
優先度１：出力画像データおよび出力音声データ
優先度２：送信情報データ
優先度３：カメラ画像データおよびマイク音声データ
優先度４：制御データ
優先度５：第１拡張通信データ
優先度６：第２拡張通信データ
上記のように、出力画像データおよび出力音声データは、最も優先して送信される。また、送信情報データは、出力画像データおよび出力音声データ以外の他のデータよりも優先して送信される。このように、出力画像データ、出力音声データ、および送信情報データは、他のデータよりも優先して送信される。これによれば、情報処理装置３の基本的な機能である、情報処理装置３からの出力画像（および出力音声）を出力する機能、および、操作内容を情報処理装置３へ送信する機能が、通信状況の悪化等によって低下する可能性を抑制することができる。
また、各拡張通信データは、その他のデータよりも優先度は低い。これによれば、操作装置２と外部装置との間で通信が行われる場合であっても、各拡張通信データの送信のためにその他のデータの送信が遅延されることがないので、当該その他のデータを安定的に送信することができる。
なお、図６に示す優先度の設定は一例であり、上記各データに対して設定される優先度は任意である。また、上記各データに対して優先度が設定されない（同じ優先度を設定する）ようにしてもよい。
［５．操作装置と情報処理装置との間の通信動作］
次に、図８〜図１２を参照して、操作装置２と情報処理装置３との間の通信動作について説明する。以下では、まず、図８および図９を参照して、操作装置２と情報処理装置３との間における通信の基本的な動作（外部装置が存在しない場合の動作）について説明する。その後、図１０〜図１２を参照して、操作装置２と外部装置とが通信を行う場合における動作について説明する。
また、本実施形態においては、情報処理システム１は、２つまでの操作装置２に対応することが可能である。つまり、情報処理システム１は、情報処理装置と１台の操作装置２とが通信を行う第１通信モードと、情報処理装置と２台の操作装置２とが通信を行う第２通信モードとの両方のモードで動作可能である。
＜５−１：操作装置と情報処理装置との通信（第１通信モード）＞
まず、第１通信モードにおける通信について説明する。図８は、第１通信モードにおいて、操作装置２と情報処理装置３との間で送受信される各データの送信タイミングを示す図である。なお、図８においては、１つの矩形ブロックが、データ送信の１単位（１つのパケット）を示している（図９においても同様）。
（同期信号）
図８において、一点鎖線より上には、情報処理装置３から操作装置２へ送信されるデータ（ダウンストリーム）が示される。情報処理装置３は、操作装置２へ同期信号を送信する。同期信号は、情報処理装置３および操作装置２におけるいくつかの処理に関して同期を取るための信号である。つまり、同期信号によって、情報処理装置３および操作装置２における処理のタイミングを揃えることができる。情報処理装置３は、所定時間Ｔ１の間隔で同期信号を送信する。操作装置２は、上記時間Ｔ１の間隔で同期信号を受信する。詳細は後述するが、出力画像データは同期信号と同期を取って送信され、出力画像データが表す画像の更新間隔は上記時間Ｔ１となる。つまり、時間Ｔ１は１フレーム時間であると言うことができる。上記時間Ｔ１は、例えば１６．６８［ｍｓｅｃ］に設定される。このとき、同期信号の送信頻度、すなわち、出力画像データが表す画像の更新頻度（フレームレート）は、約５９．９４［ｆｐｓ］（一般的には６０［ｆｐｓ］と言われることもある）となる。
（出力画像データ）
情報処理装置３は、操作装置２へ出力画像データを送信する。本実施形態において、情報処理装置３は、所定の頻度で１画像分（１画面分）の出力画像データを送信する。すなわち、情報処理装置３は、上記１フレーム時間の間に１画像分の出力画像データを送信する。操作装置２は、上記所定の頻度で１画像分の出力画像データを受信する。その結果、表示部１１は１フレーム時間に１回の割合で画像を更新して表示する。また、情報処理装置３は、出力画像データを複数の（図では２０個）パケットに分割して送信する。本実施形態において、出力画像データの圧縮および送信の方法はどのような方法でもよい。例えば、圧縮伸張部４４は１画像分の画像を複数の領域に分割し、分割された領域毎に圧縮処理を行ってもよい。このとき、無線モジュール４５は、上記領域の圧縮されたデータを複数のパケットに分割して送信する。各パケットは、所定時間（例えば５６９［μｓｅｃ］）間隔で送信される。
なお、情報処理装置３（例えば圧縮伸張部４４）は、通信状況に応じて、および／または、操作装置２と情報処理装置３との間で送受信されるデータ量に応じて、分割数を変更してもよい。例えば、操作装置２と情報処理装置３との間で送信し得る各種のデータのうちで一部のデータが送信されない第１モード（例えば操作装置２がマイク音声データおよびカメラ画像データを送信しないモード）と、上記各種のデータを全て送信する第２モードとの両方で情報処理システム１が動作可能である場合を考える。この場合、第１モードにおいては上記分割数が相対的に多く設定され、第２モードにおいては上記分割数が相対的に少なく設定されてもよい。
また、出力画像データは、同期信号と同期を取って送信される。情報処理装置３は、同期信号により決められるタイミングで出力画像データを送信する。具体的には、情報処理装置３は、同期信号が送信されてから、所定時間Ｔ２の経過後に出力画像データ（出力画像データの最初のパケット）を送信する。上記時間Ｔ２は、例えば３４０１［μｓｅｃ］に設定される。
（出力音声データ）
情報処理装置３は、操作装置２へ出力音声データを送信する。出力音声データは、同期信号（換言すれば、出力画像データ）とは非同期で送信される。換言すれば、情報処理装置３は、同期信号とは独立したタイミングで出力音声データを送信する。操作装置２は、同期信号とは独立したタイミングで情報処理装置３から出力音声データを受信する。また、情報処理装置３は、出力音声データの１つのパケットを所定時間Ｔ３の間隔で送信する。上記時間Ｔ３は、例えば８．８３［ｍｓｅｃ］に設定される。このとき、出力音声データの１つのパケットは１フレーム時間に２回あるいは１回送信される。
（送信情報データ）
また、図８において、一点鎖線より下には、操作装置２から情報処理装置３へ送信されるデータ（アップストリーム）が示される。操作装置２は、上記送信情報データを情報処理装置３へ送信する。本実施形態において、操作装置２は、所定の頻度で送信情報データを送信する。すなわち、操作装置２は、所定時間Ｔ４の間隔で送信情報データを送信する。情報処理装置３は、上記所定の頻度で操作装置２から送信情報データを受信する。上記時間Ｔ４は、例えば、上記同期信号の送信間隔Ｔ１の１／ｍ（ｍは１以上の整数）に設定される。具体的には、時間Ｔ４は、例えば５．５６（＝Ｔ１／３）［ｍｓｅｃ］に設定される。このとき、送信情報データは、１画像分の出力画像データの送信頻度に対して上記ｍ倍の頻度で送信されることになる。
また、送信情報データは、同期信号と同期を取って送信される。すなわち、操作装置２は、同期信号により決められるタイミングで送信情報データを送信する。具体的には、操作装置２は、同期信号が送信されてから所定時間Ｔ５が経過した時点で送信情報データを送信するための処理を開始する。上記時間Ｔ５は、例えば１６［ｍｓｅｃ］に設定される。なお、操作装置２は、同期信号の送信から受信までの時間が十分に短い場合には、同期信号を受信した時点を上記「同期信号が送信された時点」としてもよい。また、操作装置２は、同期信号を受信した時点から所定時間の経過後に送信情報データを送信してもよい。
なお、本実施形態においては、操作装置２は、同期信号により決められるタイミングで同期を取って操作装置２内の所定の動作を行う。例えば、操作装置２は、同期信号が送信されてから所定時間Ｔ５が経過した時点で、出力画像データの画像表示（描画）処理を開始する。上記時間Ｔ５は例えば１６［ｍｓｅｃ］に設定される。この場合には、すべての出力画像データの受信前に描画処理が開始されるが、前述のように画像の領域が分割されているので、操作装置２は、受信されて復号済みの領域の画像から描画処理を行うことが可能である。すべての出力画像データの受信と復号化は、遅くとも最後の領域が描画される前に完了している。描画処理は、その描画処理が開始されたフレーム期間（第１同期信号を送ってから次に第１同期信号を送るまでに期間）の次のフレーム期間において描画処理が開始されるタイミングまでには完了する。したがって、同期信号を送信してから操作装置２において出力画像が表示されるまでに要する時間は、Ｔ１＋Ｔ５以内であって、これは２フレーム分の時間よりも短い。したがって、本実施形態においては、情報処理装置３から無線を介して操作装置２へ画像を送信しているにも関わらず、操作装置において非常に高速な描画を行うことが可能となっている。
（カメラ画像データ）
操作装置２は、上記カメラ画像データを情報処理装置３へ送信する。操作装置２は、１画像分のカメラ画像データを所定の頻度で送信する。情報処理装置３は、上記所定の頻度で１画像分のカメラ画像データを操作装置２から受信する。例えば図８に示すように、操作装置２は、１画像分のカメラ画像データを２フレーム時間の間に（２フレーム時間に１つの割合で）送信する。つまり、１画像分の出力画像データの送信頻度に対する１画像分のカメラ画像データの送信頻度は１／２である。
カメラ画像データの圧縮および送信の方法はどのような方法でもよい。例えば、通信データ管理部２７は、１画像分のカメラ画像データに対して圧縮処理を行ってもよい。また、無線モジュール３３は、圧縮されたカメラ画像データを複数（図８では１５個）のパケットに分割して送信してもよい。なお、操作装置２（例えば通信データ管理部２７）は、通信状況に応じて、および／または、操作装置２と情報処理装置３との間で送受信されるデータ量に応じて圧縮率（換言すれば、パケットの数）を変更してもよい。例えば、上記第１モードにおいては圧縮率が相対的に低く設定され、上記第２モードにおいては圧縮率が相対的に高く設定されてもよい。
また、カメラ画像データは、同期信号（換言すれば、送信情報データ）とは同期を取って送信される。すなわち、操作装置２は、同期信号により決められるタイミングでカメラ画像データを送信する。本実施形態においては、操作装置２は、１画像分のカメラ画像データのうちの最後のパケットについて同期信号と同期を取って送信し、当該最後のパケット以外の他のパケットについては、送信が可能となり次第（すなわち、圧縮が完了し次第）送信する。具体的には、操作装置２は、同期信号が送信されてから所定時間Ｔ６が経過した時点で、上記最後のパケットを送信する。本実施形態において、上記時間Ｔ６は、２フレーム時間（Ｔ１×２）よりも短い時間に設定される。これによって、上述のように、１画像分のカメラ画像データを２フレーム時間に１つの割合で送信することができる。なお、本実施形態の変形例においては、操作装置２は、１画像分のカメラ画像データを構成する各パケットを、同期信号と同期を取って送信してもよいし、同期信号とは非同期でカメラ画像データを送信してもよい。
（マイク音声データ）
操作装置２は、上記マイク音声データを情報処理装置３へ送信する。マイク音声データは、同期信号（換言すれば、送信情報データ）とは非同期で送信される。換言すれば、操作装置２は、同期信号とは独立したタイミングでマイク音声データを送信する。また、操作装置２は、マイク音声データの１つのパケットを所定の頻度で送信する。すなわち、操作装置２は、マイク音声データの１つのパケットを所定時間Ｔ７の間隔で送信する。情報処理装置３は、マイク音声データ（マイク音声データの１つのパケット）を上記所定の頻度で操作装置２から受信する。上記時間Ｔ７は、例えば１６［ｍｓｅｃ］に設定される。
なお、同期信号との同期を取らないデータ（例えば上記マイク音声データ）に関して、操作装置２は、各パケットの送信タイミングを厳密に管理しなくてもよい。すなわち、同期信号との同期を取らないデータに関して、無線モジュール３３は、当該データのパケットが送信できる状態になったことに応じてパケットを順次送信してもよい。
＜５−２：第２通信モードにおける動作）＞
次に、上記第２通信モードにおける通信について説明する。図９は、第２通信モードにおいて、操作装置２と情報処理装置３との間で送受信される各データの送信タイミングを示す図である。
ここで、情報処理システム１においては、情報処理装置３と操作装置２との間の通信が行われる前に、情報処理装置３と操作装置２との間で接続設定（ペアリングとも言う）処理が実行される。接続設定処理においては、情報処理装置３と操作装置２との間で識別情報のやり取り等が行われる。接続設定処理において１つの操作装置２が認識された場合、操作装置２および情報処理装置３は、上述したような第１通信モードで動作する。一方、接続設定処理において２つの操作装置２が認識された場合、操作装置２および情報処理装置３は第２通信モードで動作する。この場合、２つの操作装置２のうち一方の装置が第１操作装置に設定され、他方の装置が第２操作装置に設定される。詳細は後述するが、第１操作装置と第２操作装置とでは通信に関する処理に異なる部分がある。以下、第２通信モードにおける通信の詳細について説明する。
（同期信号）
図９において、一点鎖線より上には、情報処理装置３から操作装置２へ送信されるデータ（ダウンストリーム）が示される。第２通信モードにおいて、情報処理装置３は、第１同期信号を第１操作装置へ送信し、第２同期信号を第２操作装置へ送信する。第１同期信号の送信処理は、上述の第１通信モードにおける同期信号の送信処理と同様である。一方、情報処理装置３は、第１同期信号の送信の後に続けて第２同期信号を第２操作装置へ送信する。ただし、第１同期信号と第２同期信号とは必ずしも連続して送信される必要はなく、第２同期信号は第１同期信号の送信直後に送信される必要はない。第２同期信号の送信間隔は、第２同期信号の送信間隔Ｔ１と同じである。
（出力画像データ）
情報処理装置３は、２つの操作装置２へ出力画像データをそれぞれ送信する。すなわち、第１出力画像データが第１操作装置へ送信される。また、第２出力画像データが第２操作装置へ送信される。第１出力画像データは、第１操作装置で表示すべき出力画像を表す出力画像データである。第２出力画像データは、第２操作装置で表示すべき出力画像を表す出力画像データである。第１操作装置は、第１出力画像データを受信する。また、第２操作装置は、第２出力画像データを受信する。
情報処理装置３は、上記１フレーム時間に１画像分の出力画像データを送信する。第２通信モードにおいて、情報処理装置３は、第１操作装置および第２操作装置へ同じ数の出力画像データを送信する。具体的には、本実施形態においては、情報処理装置３は、第１操作装置および第２操作装置へ交互に出力画像データを送信する（図９参照）。より具体的な処理としては、あるフレーム期間（第１同期信号を送ってから次に第１同期信号を送るまでに期間）において、情報処理装置３は第１出力画像データを第１操作装置へ送信する。このフレーム期間においては第２出力画像データは第２操作装置へ送信されない。上記のあるフレーム期間の次のフレーム期間において、情報処理装置３は第２出力画像データを第２操作装置へ送信する。当該次のフレーム期間においては第１出力画像データは第１操作装置へ送信されない。情報処理装置３は上記の処理を繰り返し実行することで、各操作装置２へ交互に出力画像データを送信する。以上より、１つの操作装置２に関して言えば、情報処理装置３は、出力画像データを所定の頻度で送信する第１通信モードと、所定の頻度の半分の頻度で出力画像データを送信する第２通信モードとの両方で動作可能であると言える。
以上のように、第２通信モードにおいて、各操作装置２は、２フレーム時間（Ｔ１×２）に１回の頻度で１画像分の出力画像データを受信する。したがって、操作装置２における出力画像のフレームレート（更新頻度）は第１通信モードにおけるフレームレートの半分になる。すなわち、出力画像データが表す画像の更新頻度（フレームレート）は、約２９．９７［ｆｐｓ］（一般的には３０［ｆｐｓ］と言われることもある）となる。
第２通信モードにおける各出力画像データの圧縮および送信の方法は、上述の第１通信モードと同様であってもよい。また、第２通信モードにおいて（第１通信モードと同様）、情報処理装置３（例えば圧縮伸張部４４）は、通信状況に応じて、および／または、操作装置２と情報処理装置３との間で送受信されるデータ量に応じて、上述の分割数を変更してもよい。
第２通信モードにおいて（第１通信モードと同様）、出力画像データは、同期信号と同期を取って送信される。すなわち、情報処理装置３は、第１同期信号により決められるタイミングで第１出力画像データを送信し、第２同期信号により決められるタイミングで第２出力画像データを送信する。第１同期信号に基づく第１出力画像データの送信タイミングは、上述の第１通信モードと同様である。上記時間Ｔ２は、（第１通信モードと同様）例えば３４０１［μｓｅｃ］に設定される。一方、第２出力画像データについては、情報処理装置３は、第２同期信号が送信されてから、所定時間Ｔ２’の経過後に第２出力画像データ（第２出力画像データの最初のパケット）を送信する。上記時間Ｔ２’は、第２出力画像を送信するフレーム期間の最初に送信する第２同期信号を基準として、例えば２．１８４［ｍｓｅｃ］に設定される。なお、第２出力画像データの送信タイミングは、第２出力画像を送信するフレーム期間の１つ前のフレーム期間に送信する第２同期信号を基準として、当該第２同期信号の送信時点から例えば１８．８６４（＝１６．６８（１フレーム期間）＋２．１８４）［ｍｓｅｃ］に設定されてもよい。
（出力音声データ）
情報処理装置３は、２つの操作装置２へ出力音声データをそれぞれ送信する。すなわち、第１出力音声データが第１操作装置へ送信される。また、第２出力音声データが第２操作装置へ送信される。第１出力音声データは、第１操作装置で出力すべき出力音声を表す出力音声データである。第２出力音声データは、第２操作装置で出力すべき出力音声を表す出力音声データである。第１操作装置は、第１出力音声データを受信する。また、第２操作装置は、第２出力音声データを受信する。
第２通信モードにおいて（第１通信モードと同様）、出力音声データは、同期信号（換言すれば、出力画像データ）とは非同期で送信される。すなわち、情報処理装置３は、第１同期信号とは独立したタイミングで第１出力音声データを送信する。また、情報処理装置３は、第２同期信号とは独立したタイミングで第２出力音声データを送信する。また、情報処理装置３は、第１出力音声データの１つのパケットを所定時間Ｔ３の間隔で送信し、第２出力音声データの１つのパケットを所定時間Ｔ３の間隔で送信する。図９に示すように、情報処理装置３は、第１出力音声データと第２出力音声データとをタイミングをずらして送信する。
（送信情報データ）
また、図９において、一点鎖線より下には、各操作装置２から情報処理装置３へ送信されるデータ（アップストリーム）が示される。各操作装置２は、第１送信情報データおよび第２送信情報データを情報処理装置３へ送信する。第１送信情報データは、第１操作装置から送信される送信情報データである。第２送信情報データは、第２操作装置から送信される送信情報データである。第１操作装置が第１送信情報データを送信する処理は、上述の第１通信モードにおいて操作装置２が送信情報データを送信する処理と同様である。
一方、第２送信情報データの送信間隔は、第１送信情報データと同じである。また、第２送信情報データは、第２同期信号と同期を取って送信される。すなわち、第２操作装置は、第２同期信号により決められるタイミングで第２送信情報データを送信する。具体的には、第２操作装置は、第２同期信号が送信されてから所定時間Ｔ５’が経過した時点で第２送信情報データを送信する。上記時間Ｔ５’は、第２送信情報データの送信タイミングが第１送信情報データの送信タイミングとずれるように設定される。すなわち、上記時間Ｔ５’は、上記時間Ｔ５から所定時間ΔＴだけずれた時間（Ｔ５＋ΔＴ）に設定される。これによれば、第１送信情報データと第２送信情報データとが衝突する可能性を低くすることができ、通信をより確実に行うことができる。具体的には、時間Ｔ５’は、例えば１８．２５［ｍｓｅｃ］（ΔＴ＝２．５［ｍｓｅｃ］）に設定される。
なお、第２通信モードにおいて（第１通信モードと同様）、操作装置２は、同期信号の送信から受信までの時間が十分に短い場合には、同期信号を受信した時点を上記「同期信号が送信された時点」としてもよい。また、操作装置２は、同期信号を受信した時点から所定時間の経過後に送信情報データを送信してもよい。
また、第２通信モードにおいて（第１通信モードと同様）、各操作装置２は、同期信号により決められるタイミングで同期を取って操作装置２内の上記所定の動作を行う。なお、第２操作装置は、第２同期信号が送信されてから所定時間Ｔ５が経過した時点を基準として同期を取って上記所定の動作を行う。すなわち、各操作装置２は、同期信号が送信されてから所定時間Ｔ５が経過した時点で、出力画像データの画像表示（描画）処理を開始する。第２通信モードにおいても第１通信モードと同様、１つの出力画像に関する描画処理は、描画処理が開始されてから１フレーム時間（Ｔ１）が経過するまでに完了する。なお、第２通信モードにおいては上述のように、１つの操作装置２においては、２フレーム時間に１回の頻度で１画像分の出力画像データが受信される。したがって、出力画像データが送信されてこないフレーム期間において、各操作装置２は、当該フレーム期間の前のフレーム期間において表示に用いた出力画像データを再度用いて画像表示処理を実行する。つまり、各操作装置２は、出力画像データが送信されてこないフレーム期間においては、前のフレーム期間においてフレームバッファに記憶された画像データを用いて再度表示処理を行う。
（カメラ画像データ）
各操作装置２は、第１カメラ画像データおよび第２カメラ画像データを情報処理装置３へ送信する。第１カメラ画像データは、第１操作装置から送信されるカメラ画像データである。第２カメラ画像データは、第２操作装置から送信されるカメラ画像データである。
第２通信モードにおいて（第１通信モードと同様）、各操作装置２は、１画像分のカメラ画像データを所定の頻度で（例えば、２フレーム時間で１つの割合で）送信する。なお、本実施形態においては、第２通信モードにおいて、各操作装置２は、第１通信モードにおける圧縮率よりも高い圧縮率でカメラ画像データを圧縮して送信する。つまり、各操作装置２は、第１通信モードにおけるデータサイズよりも小さいデータサイズでカメラ画像データを送信する。したがって、第２通信モードにおいて１つの操作装置から送信されるカメラ画像データのパケット数は、第１通信モードにおけるパケット数よりも少なくなる（図８および図９参照）。そのため、カメラ画像データのパケットの送信間隔は、第１通信モードにおける送信間隔よりも大きくなる。
上記のように、送信されるカメラ画像データのデータサイズを小さくすることによって、操作装置２と情報処理装置３との間における通信量を低減することができる。第２通信モードにおいては操作装置２が２台となるので、第１通信モードよりも上記通信量が大きくなる可能性がある。そのため、第２通信モードにおいてはカメラ画像データのデータサイズを小さくすることが有効である。
また、操作装置２は（第１通信モードと同様）、各カメラ画像データを同期信号（換言すれば、送信情報データ）と同期を取って送信する。すなわち、各操作装置２は、１画像分のカメラ画像データのうちの最後のパケットを、同期信号が送信されてから所定時間Ｔ６が経過した時点で送信する。なお、各操作装置２における上記所定時間Ｔ６は互いに異なるように（換言すれば、最後のパケットの送信タイミングが２つの操作装置でずれるように）設定されてもよい。これによって、各操作装置２から送信される最後のパケットが衝突する可能性を低くすることができ、通信をより確実に行うことができる。
（マイク音声データ）
各操作装置２は、第１マイク音声データおよび第２マイク音声データを情報処理装置３へ送信する。第１マイク音声データは、第１操作装置から送信されるマイク音声データである。第２マイク音声データは、第２操作装置から送信されるマイク音声データである。第２通信モードにおいて各操作装置２がマイク音声データを送信する方法は、第１通信モードにおけるマイク音声データの送信方法と同様である。
なお、上記の説明においては、第２通信モードにおける各種の時間Ｔ１〜Ｔ７は、第１通信モードにおける時間Ｔ１〜Ｔ７と同じであるとしたが、これらの時間Ｔ１〜Ｔ７のいくつかまたは全部は２つの通信モードで異なる値に設定されてもよい。
なお、図８または図９に示した各データ（パケット）を送信するタイミングの管理は、どの構成要素で行われてもよい。例えば、上記の管理は、無線モジュール（操作装置２においては無線モジュール３３、情報処理装置３においては無線モジュール４５）によって行われてもよい。また、操作装置２であれば通信データ管理部２７が上記の管理を行ってもよいし、情報処理装置３であれば制御部４１あるいは圧縮伸張部４４が上記の管理を行ってもよい。
また、図８および図９において示した各データのうちのいくつかのデータについては、操作装置２と情報処理装置３との間で常に送受信が行われなくてもよい。例えば、操作装置２は、カメラ画像データおよび／またはマイク音声データを必要に応じて情報処理装置３へ送信してもよい。すなわち、情報処理装置３においてカメラ画像データ（および／またはマイク音声データ）を用いた情報処理を実行する場合に、操作装置２はカメラ画像データ（および／またはマイク音声データ）を送信してもよい。なお、カメラ画像データおよび／またはマイク音声データが送信される間においては、これらのデータは定期的に（一定の頻度で）送信される。
また、図８および図９に示すデータの他、情報処理装置３は、上述の制御データを操作装置２へ送信する。なお、制御データは、どのような方法で送信されてもよい。例えば、制御データは、一定の頻度で（例えば、１フレーム時間につき１回の頻度で）送信されてもよいし、制御データの送信頻度は不定（つまり、定期的に送信されるものではない）であってもよい。また、制御データは、上述の同期信号とは同期を取って送信されてもよいし、上述の同期信号とは非同期で送信されてもよい。
＜５−３：５−１，５−２に関する効果＞
以上に示した構成および動作によって、操作装置２は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置２は、以下において効果とともに説明する構成を有していればよく、本実施形態における全ての構成を備えている必要はない。
以上の第１および第２通信モードにおいては、操作装置２（より具体的には、入出力制御部２１）は、操作装置２に対する操作に基づいて操作データを生成する。操作装置２（より具体的には、通信データ管理部２７および無線モジュール３３）は、１画像分の出力画像データを情報処理装置３から第１頻度（第１通信モードの例では時間Ｔ１に１回の頻度、第２通信モードの例では時間（Ｔ１×２）に１回の頻度）で受信し、第１頻度よりも高い第２頻度（上記例では時間Ｔ４（＝Ｔ１／３）に１回の頻度）で情報処理装置３へ操作データを送信する。これによれば、操作装置２において表示される画像の更新頻度よりも高い頻度で操作データが送信されるので、操作装置２に対する操作内容を高い頻度で情報処理装置３へ伝達することができ、操作性の良い操作装置２を提供することができる。また、操作装置２は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置３から出力画像データを受信して画像を表示することができる。
なお、上記において、操作データの一部または全部は、前回に送信した操作データと同じとなる場合があっても上記の効果を奏することができる。例えば、操作装置２は、操作データの一部のデータについては、操作データが複数回送信される度に１回の割合でその内容を更新して操作データを送信してもよい。つまり、操作データに含まれるデータのうちの所定のデータについては、操作データ自身の送信頻度よりも低い頻度でその内容が更新されてもよい。なお、上記所定のデータとしては、例えば操作データの送信頻度よりも検出頻度が低いセンサに基づくデータが考えられる。
なお、操作装置２において表示される画像の更新頻度よりも高い頻度で操作データを送信することを必要としない場合には、上記第２頻度は上記第１頻度よりも必ずしも高く設定される必要はなく、第２頻度は第１頻度以下に設定されてもよい。
また、第１および第２通信モードにおいて、操作装置２は、出力画像データを受信する頻度の整数倍（第１通信モードの例では３倍、第２通信モードの例では６倍）の頻度で操作データを送信する。これによれば、出力画像データを受信する１周期の間に操作データを送信する回数は一定となる。換言すれば、情報処理装置３は、１フレーム時間内に一定数の操作データを受信することができる。これによって、操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、操作データの送信頻度は出力画像データの受信頻度の整数倍に設定されなくてもよい。
また、第１および第２通信モードにおいて、情報処理装置３は、同期信号を操作装置２へ送信し、当該同期信号に基づくタイミングで出力画像データを送信する。そして、操作装置２は、情報処理装置３から送信されてくる同期信号に基づくタイミングで操作データを送信する。これによれば、操作装置２で受信される画像と操作装置２から送信される操作データとの同期を取ることができるので、適切なタイミングでの操作データの送信をより確実に行うことができる。また、操作データの送信タイミングを情報処理装置３からの同期信号によって決めることができるので、操作データの遅延時間を保証することができる。なお、本実施形態の変形例においては、操作データは同期信号および／または出力画像データとの同期が取られず、同期信号および／または出力画像データとは独立したタイミングで送信されてもよい。
また、第１および第２通信モードにおいて、操作装置２は、同期信号に基づくタイミングで出力画像データを更新して表示する。また、出力画像データは、上記第１頻度（出力画像データの送信頻度）で更新されて表示される。したがって、操作装置２は、同期信号に基づくタイミングで、かつ、上記第１頻度で出力画像データを更新して表示する。これによれば、操作装置２における画像表示タイミングと操作データの送信タイミングとを同期させることができ、操作データをより適切なタイミングで送信することができる。なお、本実施形態の変形例においては、出力画像の表示は同期信号とは独立したタイミングで行われてもよい。
また、第１および第２通信モードにおいて、操作装置２は、同期信号を送信してから１フレーム時間内に出力画像を表示する。換言すれば、操作装置２は、同期信号を受信してから、上記第１頻度の間隔（Ｔ１＝１６．６８［ｍｓｅｃ］）よりも短い時間（Ｔ５＝１６［ｍｓｅｃ］）内に、当該同期信号に基づくタイミングで送信された出力画像データの描画を開始する。これによれば、情報処理装置３で生成された出力画像について操作装置２において描画を開始するまでの遅延時間を、出力画像の１フレーム時間より小さくすることができる。なお、本実施形態の変形例においては、上記表示遅延時間は、出力画像の１フレーム時間以上に設定されてもよい。
また、第１および第２通信モードにおいて、操作装置２は、同期信号とは独立したタイミングで情報処理装置３から出力音声データを受信する。したがって、操作装置２は、同期信号および／または出力画像データの受信状況にかかわらず、出力音声データを逐次受信して出力音声を逐次出力することができる。なお、本実施形態の変形例においては、情報処理装置３は、出力音声データの送信と同期信号の送信との同期を取るようにしてもよい。
また、第１および第２通信モードにおいて、操作装置２は、同期信号とは独立したタイミングでマイク音声データを情報処理装置３へ送信する。したがって、操作装置２は、同期信号の受信状況にかかわらず、マイク音声データを逐次送信することができる。なお、本実施形態の変形例においては、操作装置２は、同期信号に基づくタイミングでマイク音声データを送信するようにしてもよい。
また、第１通信モードにおいて、操作装置２は、カメラ１６による１画像分のカメラ画像データを第１頻度よりも低い頻度（上記例では２フレーム時間に１回の頻度）で情報処理装置３へ送信する。これによれば、出力画像データはカメラ画像データの送信頻度よりも高い頻度で受信されるので、操作装置２は、カメラ画像データを送信する場合であっても、出力画像を高い頻度で表示することができる。なお、本実施形態の変形例においては、操作装置２は、カメラ画像データの送信頻度を出力画像データの受信頻度以上にしてもよい。
また、第１および第２通信モードにおいて、操作装置２は、上記１の頻度よりも高くかつ上記第２頻度よりも低い頻度で（上記例では１フレーム時間に１回以上の頻度）１パケット分の出力音声データを情報処理装置３から受信する。これによれば、操作装置２は、１フレーム時間内に少なくとも１回は出力音声データを受信することができるので、出力音声データが表す音声を出力する処理を適切な頻度で実行することができる。なお、本実施形態の変形例においては、出力音声データを受信する頻度は任意であってもよい。
また、第１通信モードにおいて、操作装置２は、上記第１頻度よりも高くかつ上記第２頻度よりも低い頻度で、で、マイク３２による１パケット分の音声データを情報処理装置３へ送信する。これによれば、操作装置２は、１フレーム時間内に少なくとも１回の頻度でマイクによる音声データを送信するので、情報処理装置３は、マイクによる音声データに対する情報処理を適切な頻度で実行することができる。なお、本実施形態の変形例においては、音声データを送信する頻度は任意であってもよい。
また、第１および第２通信モードにおいて、操作装置２は、操作データ（送信情報データ）を所定時間Ｔ４に１回の頻度で生成し、操作データが生成される度に当該生成された操作データを送信する。つまり、操作装置２は、送信の度に新しく生成される操作データを送信する。換言すれば、操作装置２は、前回に送信した操作データが表す操作が行われた後に行われた操作に基づいて生成された操作データを、前回に送信した操作データの次に送信する。これによれば、常に新しい内容の操作データが送信されるので、操作装置２は実質的に高い頻度で操作内容を情報処理装置３へ伝達することができ、操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、操作データの一部または全部は、必ずしも送信の度に新しく生成されなくてもよい。
また、操作装置２は、タッチパネル１２、加速度センサ２３、およびジャイロセンサ２４のうち少なくとも１つを含むセンサ部を備える。ここで、詳細は後述するが、操作装置２は、上記センサ部の出力に基づくデータを含む操作データを生成する（後述の“[６．操作データの生成]”を参照）。上述のように、操作データは高い頻度で（例えば、出力画像データの受信頻度より高い頻度で）送信されるので、操作装置２は、上記センサ部の出力に基づくデータを高い頻度で情報処理装置３へ送信することができる。センサ部の出力結果を高い頻度で情報処理装置３へ伝達することができるので、センサ部によって検出される操作の操作性を向上することができる。なお、本実施形態の変形例においては、操作データは、センサ部の出力に基づくデータを含まなくてもよい。
また、第１および第２通信モードにおいて、操作装置２（より具体的には、入出力制御部２１）は、操作装置２に対する操作に基づいて操作データを生成する。操作装置２（より具体的には、通信データ管理部２７および無線モジュール３３）は、情報処理装置３から送信される同期信号に基づくタイミングで送信される１画像分の出力画像データを情報処理装置３から上記第１頻度で受信し、情報処理装置３から送信されてくる同期信号に基づくタイミングでかつ第１頻度の整数倍の第２頻度で情報処理装置３へ操作データを送信し、カメラ１６による１画像分のカメラ画像データを第１頻度の１／ｎ（ｎは自然数）の第３頻度で情報処理装置３へ送信する。これによれば、操作装置２において表示される画像の更新頻度の整数倍の頻度で操作データが送信されるので、操作性の良い操作装置２を提供することができる。また、操作装置２は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置３から出力画像データを受信して画像を表示することができる。また、同期信号を用いることによって、操作装置２は、適切なタイミングでの操作データの送信をより確実に行うことができ、また、操作データの送信タイミングを同期信号によって決めることで操作データの遅延時間を保証することができる。さらに、カメラ画像データを第１頻度の１／ｎ（ｎは自然数）の第３頻度で送信することによって、操作装置２は、カメラ画像データを送信する場合であっても、出力画像を高い頻度で表示することができる。
また、第１および第２通信モードにおいて、操作装置２（より具体的には、入出力制御部２１）は、操作装置２に対する操作に基づいて操作データを生成する。操作装置２（より具体的には、通信データ管理部２７および無線モジュール３３）は、カメラ１６によって生成されるカメラ画像データを所定の頻度（上記例では２フレーム時間に１回の頻度）で情報処理装置３へ送信し、カメラ１６による１画像分のカメラ画像データを送信する頻度よりも高い頻度（上記第２頻度）で操作データを情報処理装置３へ送信する。これによれば、カメラ画像データよりも高い頻度で操作データが送信されるので、操作装置２に対する操作内容を高い頻度で情報処理装置３へ伝達することができ、操作性の良い操作装置２を提供することができる。また、操作装置２は、一定の操作性を提供できる程度に操作データの送信頻度を確保しつつ、情報処理装置３に対してカメラ画像データを送信することができる。なお、上記においては、情報処理装置３から送信される出力画像データを受信する頻度（第１頻度）は任意であり、当該頻度によらず操作装置２は上記の効果を奏することができる。
さらに、第１および第２通信モードにおいて、操作装置２は、カメラ１６による１画像分のカメラ画像データを送信する頻度（上記例では時間（Ｔ１×２）に１回の頻度）の整数倍の頻度（上記例では時間Ｔ４（＝Ｔ１／３）に１回の頻度）で操作データを送信する。これによれば、カメラ画像データを送信する１周期の間に操作データを送信する回数は一定となる。したがって、情報処理装置３は、カメラ画像データと操作データとを一定の比率で受信することができるので、情報処理装置３における処理を簡易化することができる。なお、本実施形態の変形例においては、操作データの送信頻度は出力画像データの受信頻度の整数倍に設定されなくてもよい。
また、本実施形態において、操作装置２（より具体的には、入出力制御部２１）は、操作装置２に対する操作に基づいて操作データを生成する。操作装置２（より具体的には、通信データ管理部２７および無線モジュール３３）は、出力画像データを情報処理装置３から受信し、情報処理装置３へ操作データを送信する。操作装置２は、第１頻度（上記例では１フレーム時間に１回の頻度）で出力画像データを受信する第１通信モードと、第１頻度の半分の頻度（上記例では２フレーム時間に１回の頻度）で出力画像データを受信する第２通信モードとの両方で動作可能である。これによれば、操作装置２は、第１頻度で１台の操作装置２へ出力画像データを送信する情報処理装置３の動作に対応可能であるとともに、第１頻度の半分の頻度で２台の操作装置２へそれぞれ出力画像データを送信する情報処理装置３の動作にも対応可能である。つまり、操作装置２は、情報処理装置３に対して１台を無線接続して使用することと、情報処理装置３に対して２台を無線接続して使用することとの両方が可能となる。なお、上記においては、情報処理装置３から各種のデータ（出力画像データ等）を受信する頻度、および、操作装置２から操作データ以外のデータを送信する頻度は任意であり、これらの頻度によらず、操作装置２は上記の効果を奏することができる。
なお、操作装置２は、第１通信モードおよび第２通信モードのうちのいずれか１つのモードにのみ対応するものであってもよい。すなわち、操作装置２は、上記第１通信モードにおける動作を行う機能を有し、かつ、上記第２通信モードにおける動作を行う機能を有していなくてもよい。また、操作装置２は、上記第１通信モードにおける動作を行う機能を有しておらず、かつ、上記第２通信モードにおける動作を行う機能を有していなくてもよい。このとき、操作装置２は、上記第１操作装置の動作を行う機能と、上記第２操作装置の動作を行う機能との両方の機能を有していてもよいし、いずれか一方の機能を有していてもよい。
また、操作装置２（より具体的には、通信データ管理部２７および無線モジュール３３）は、第１通信モードおよび第２通信モードのいずれのモードにおいても、第１頻度よりも高い第２頻度で情報処理装置３へ操作データを送信する。これによれば、操作装置２は、上記２つのモードのいずれにおいても出力画像データの送信頻度よりも高い頻度で情報処理装置３へ操作データを送信することができる。したがって、操作装置２に対する操作内容を高い頻度で情報処理装置３へ伝達することができ、操作性の良い操作装置２を提供することができる。なお、本実施形態の変形例においては、第１通信モードおよび第２通信モードにおける操作データの送信頻度は任意であってもよい。
また、第１通信モードおよび第２通信モードにおいて、情報処理装置３は、同期信号を操作装置２へ送信し、当該同期信号に基づくタイミングで出力画像データを送信する。操作装置２は、情報処理装置３から送信されてくる同期信号に基づくタイミングで操作データを送信する。このとき、操作装置２は、第２通信モードにおいて、情報処理装置３と通信可能な他の装置（他の操作装置）が操作データを送信するタイミングとは異なるタイミングで操作データを送信することが可能である。これによれば、第２通信モードにおいて２台の操作装置２が情報処理装置３と通信を行う場合に、操作データが衝突する可能性を低減することができる。なお、本実施形態の変形例において、２つの操作装置から送信される操作データの送信タイミングは任意であってもよい。
さらに、操作装置２は、第２通信モードにおいて、第１通信モードと同じタイミングで操作データを送信するモード（上記第１操作装置の動作モード）と、第１通信モードと異なるタイミングで操作データを送信するモード（上記第２操作装置の動作モード）との両方で動作可能である。これによれば、情報処理装置３と無線通信可能な他の装置（他の操作装置）との間で操作データの送信タイミングを容易にずらすことができる。
また、操作装置２は、第１通信モードおよび第２通信モードのいずれの場合においても、操作装置２が備えるカメラ１６による１画像分のカメラ画像データを所定の頻度で情報処理装置３へ送信する。これによれば、操作装置２は、第１通信モードおよび第２通信モードのいずれの場合においても同じ頻度でカメラ画像データを送信することができる。つまり、操作装置２は、１台で使用される場合であっても２台で使用される場合であっても、同じ頻度でカメラ画像データを送信することができる。なお、本実施形態の変形例においては、操作装置２は、第１通信モードと第２通信モードとでカメラ画像データの送信頻度が異なるようにしてもよい。例えば、操作装置２は、第２通信モードにおけるカメラ画像データの送信頻度を、第１通信モードにおける送信頻度よりも低く設定してもよい。
また、操作装置２は、第２通信モードにおいては、第１通信モードの場合よりも１画像分のデータ量を減らしてカメラ画像データを情報処理装置３へ送信する。ここで、第２通信モードにおいては操作装置２が２台となるので、操作装置２と情報処理装置３との間における通信量が第１通信モードよりも大きくなる傾向がある。これに対して、上記によれば、操作装置２は、第２通信モードにおける上記通信量の増加を抑えつつ、第１通信モードと同じ頻度でカメラ画像データを送信することができる。なお、本実施形態の変形例においては、操作装置２は、第２通信モードにおけるカメラ画像データのデータ量を第１通信モードにおけるデータ量と同じに設定してもよい。
また、上記実施形態においては、操作装置２は、操作データを他のデータ（管理データ５２）とともに情報処理装置３へ送信した。ここで、操作データが他のデータとともに情報処理装置３へ送信される（送信情報データに含める形で送信される）か、それとも、単独で送信されるかに関わらず、操作装置２は、“＜５−３＞”において説明した上記の効果を奏することができる。
＜５−４：外部装置と通信が行われる場合における動作＞
次に、操作装置２と外部装置とが通信を行う場合における動作について説明する。本実施形態においては、外部装置との通信のために、操作装置２と情報処理装置３との間の通信において、上述した各拡張通信データおよび通信管理データが用いられる。すなわち、操作装置２と情報処理装置３との間においては、情報処理装置３からの通信に関する指令を表すデータ、および、外部装置に対して送受信されるデータは、拡張通信データ（第１拡張通信データまたは第２拡張通信データ）として送受信される。また、操作装置２と外部装置との通信に関する状態を情報処理装置３が認識するべく、当該状態を表す通信管理データが操作装置２から情報処理装置３へ送信される。以下、操作装置２と外部装置とが通信を行う場合における動作の詳細について説明する。
（赤外線通信における動作）
まず、操作装置２と外部装置とが赤外線通信を行う場合を説明する。図１０は、通信管理データに含まれるデータの一例を示す図である。また、図１１は、操作装置２と外部装置とが赤外線通信を行う場合における通信動作の一例を示す図である。
まず、赤外線通信に用いられる通信管理データの詳細について説明する。図１０に示すように、通信管理データ５３は、赤外線通信データ６１を含む。赤外線通信データ６１は、赤外線通信部３６による赤外線通信に関する状態を表す。赤外線通信データ６１の具体的な内容は任意であるが、赤外線通信データ６１は例えば以下のデータを含む。
赤外線通信データ６１は、接続状態データ６２を含む。接続状態データ６２は、赤外線通信部３６と外部装置との赤外線通信の接続状態を表す。具体的には、接続状態データ６２は、例えば上記赤外線通信が確立している（通信可能である）か否かを表すフラグのデータである。以下では、このフラグを「接続状態フラグ」と呼ぶ。なお、操作装置２の通信データ管理部２７は、接続状態フラグのオン／オフを表すデータをメモリ２９に記憶する。赤外線通信の開始前においては、接続状態フラグはオフに設定される。
また、赤外線通信データ６１は、赤外イベントデータ６３を含む。赤外イベントデータ６３は、上記赤外線通信におけるイベントの状態を表す。例えば、赤外イベントデータ６３は、イベントの有無（イベントが発生したか否か）を表すフラグのデータである。以下では、このフラグを「赤外イベントフラグ」と呼ぶ。ここで、イベントとは、赤外線通信によって生じた事象であって、情報処理装置３に伝達すべき事象である。イベントの具体的な内容はどのようなものであってもよい。イベントの例としては、例えば、外部装置から情報処理装置３へ送信すべきデータの受信が操作装置２において完了したこと、および、赤外線通信においてエラーが発生したこと等が考えられる。なお、赤外イベントデータ６３は、イベントの有無に加えて、あるいは、イベントの有無に代えて、発生したイベントの内容（種類）を表すものであってもよい。なお、操作装置２の通信データ管理部２７は、赤外イベントフラグのオン／オフを表すデータをメモリ２９に記憶する。赤外線通信の開始前においては、赤外イベントフラグはオフに設定される。
以下、図１１を参照して、操作装置２と外部装置とが赤外線通信を行う場合の動作を説明する。なお、本実施形態においては、赤外線通信に関する操作装置２における動作は、通信データ管理部２７によって管理される。すなわち、通信データ管理部２７は、赤外線通信部３６を制御することによって外部装置との赤外線通信（赤外線信号の送受信）を行う。また、通信データ管理部２７は、無線モジュール３３を制御することによって情報処理装置３との通信（拡張通信データおよび送信情報データ等の送受信）を行う。ただし、上記動作の管理は、操作装置２におけるどの構成要素で行われてもよい。
赤外線通信を開始する場合、情報処理装置３は、操作装置２へ接続指令を送信する。接続指令は、外部装置との赤外線通信による接続を行う旨を示す指令（コマンド）である。ここで、操作装置２と外部装置との通信（拡張通信）における操作装置２への指令は、当該指令を表す第１拡張通信データを操作装置２へ送信することによって行われる。すなわち、情報処理装置３は、接続指令を表す第１拡張通信データを操作装置２へ送信する。
ここで、各拡張通信データ（第１拡張通信データおよび第２拡張通信データ）は、不定期に送信される（定期的には送信されない）データである。なお、「不定期に送信する」とは、送信すべき情報が発生した場合には当該情報を表すデータを送信し、発生していない場合にはデータを送信しない、という意味である。また、上述のように拡張通信データは、図６に示した各データのうちの他のデータ（拡張通信データ以外のデータ）に比べて優先度が低く設定される。したがって、本実施形態においては、拡張通信データは、上記他のデータに比べて送信機会が少ない（送信機会が確保されにくい）データであると言える。なお、図１１において、拡張通信データによって送受信される情報は、太い斜線の矢印で示される。一方、送信情報データによって送受信される情報は、細い実線の矢印で示される。なお、図１１および図１２においては図示しないが、送信情報データは定期的に送信される。
情報処理装置３からの接続指令を受信すると、操作装置２は、外部装置との赤外線通信を開始する。ここで、操作装置２が外部装置との赤外線通信を開始する方法としては、認証処理を行ってから通信を開始する方法と、認証処理を行わずに通信を開始する方法とがある。認証処理を行う場合、操作装置２は、接続指令を受信すると外部装置との間で認証処理を行う。そして、認証処理が成功（完了）すると、操作装置２は、上述の接続状態フラグをオンに設定する（図１１において、“Ｃｏｎｎｅｃｔ Ｏｎ”と記載）。一方、認証処理を行わない場合、操作装置２は、接続指令を受信すると、接続状態フラグをオンに設定する。
上述のように、接続状態データ６２を含む送信情報データは所定時間間隔で情報処理装置３へ送信されている。また、接続状態フラグがオンに設定された後においては、操作装置２は、接続状態フラグがオンであることを表す接続状態データ６２を含む送信情報データを生成する。そして、接続状態フラグがオンであることを表す接続状態データ６２を含む送信情報データが情報処理装置３へ送信される。これによって、情報処理装置３は、接続状態フラグがオンであること、すなわち、操作装置２と外部装置との赤外線通信の通信接続が完了したことを認識することができる。なお、上記認証処理が行われる場合において、認証処理が失敗する場合には、接続状態フラグはオフに設定されたままである。したがって、接続状態フラグがオフであることを表す接続状態データ６２を含む送信情報データが所定時間間隔で情報処理装置３へ送信されるので、情報処理装置３は、操作装置２と外部装置との赤外線通信の接続が完了していないことを認識することができる。このとき、情報処理装置３は、例えば、接続指令を送信してから所定時間を経過しても接続状態フラグがオンとならない場合には、赤外線通信の接続が失敗したと判断してもよい。
操作装置２と外部装置との赤外線通信が開始されると、操作装置２と外部装置との間でデータの送受信が行われる。例えば、外部装置から情報処理装置３へ送信すべきデータが外部装置から操作装置２へ送信される処理等が行われる。なお、操作装置２と外部装置との間のデータの送受信は、どのような方法で行われてもよい。例えば、操作装置２および外部装置は、それぞれデータの送信と受信とを交互に行うようにしてもよい。
赤外線通信の結果、操作装置２においてイベントが発生した場合、操作装置２は、赤外イベントフラグをオンに設定する（図１１において、“Ｅｖｅｎｔ Ｏｎ”と記載）。なお、イベントが発生した場合とは、例えば、情報処理装置３へ送信すべきデータを操作装置２が外部装置から受信完了した場合、あるいは、赤外線通信においてエラーが発生した場合等である。
赤外イベントフラグがオンに設定された後において、操作装置２は、赤外イベントフラグがオンであることを表す赤外イベントデータ６３を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置３へ送信される。これによって、情報処理装置３は、赤外イベントフラグがオンであること、すなわち、赤外線通信に関してイベントが発生したことを認識することができる。
情報処理装置３は、イベントが発生したことを認識すると、イベントに応じた何らかの動作を行う。具体的には、情報処理装置３は、所定の制御指令を操作装置２へ送信する。この制御指令の内容は任意であるが、例えば、制御指令として受信指令および／または送信指令が考えられる。受信指令とは、外部装置から情報処理装置３へ送信すべきデータを情報処理装置３が受信する旨、すなわち、当該データを操作装置２から情報処理装置３へ送信させる旨の指令である。また、送信指令とは、情報処理装置３から外部装置へ送信すべきデータを、操作装置２が外部装置へ送信する旨の指令である。なお、上述のように、上記所定の制御指令は、第１拡張通信データとして操作装置２へ送信される。また、上記送信指令の場合、情報処理装置３は、上記送信すべきデータを上記第１拡張通信データとして操作装置２へ送信する。
操作装置２は、上記所定の制御指令を受信すると、赤外イベントフラグをオフに設定する（図１１において、“Ｅｖｅｎｔ Ｏｆｆ”と記載）。発生したイベントに対する情報処理装置３の応答（所定の制御指令）があったので、さらに指令を送信する必要がないことを情報処理装置３に認識させるためである。なお、赤外イベントフラグがオフに設定された後において、操作装置２は、赤外イベントフラグがオフであることを表す赤外イベントデータ６３を含む送信情報データを生成して情報処理装置３へ送信する。これによって、情報処理装置３は、赤外イベントフラグがオフであること、すなわち、イベントが発生していないことを認識することができる。
また、操作装置２は、上記所定の制御指令を受信すると、当該制御指令に応じた動作を行う。例えば上記受信指令を受信した場合、操作装置２は、外部装置から受信したデータを情報処理装置３へ送信する。また例えば、上記送信指令を受信した場合、操作装置２は、外部装置へ送信すべきデータを情報処理装置３から受信し、当該データを外部装置へ送信する。また例えば、エラーが発生したことに応じて赤外イベントフラグがオンに設定された場合には、操作装置２は、エラーの内容を示す第２拡張通信データを情報処理装置３へ送信してもよい。
上記所定の制御指令に応じた動作として、何らかのデータを情報処理装置３へ送信する場合、操作装置２は、当該データを第２拡張通信データとして送信する。本実施形態においては、第２拡張通信データは第１拡張通信データと同様、拡張通信データ以外の他のデータに比べて送信機会が少ないデータであると言える。
上記所定の制御指令に応じた操作装置２の動作が完了すると、情報処理装置３は、切断指令を操作装置２へ送信する。切断指令は、外部装置との赤外線通信を切断（終了）する旨を示す指令である。すなわち、情報処理装置３は、切断指令を表す第１拡張通信データを操作装置２へ送信する。
情報処理装置３からの切断指令を受信すると、操作装置２は、外部装置との赤外線通信を切断する処理（切断処理）を行う。例えば、操作装置２は、赤外線通信を切断する旨の制御データを外部装置へ送信する。切断処理によって外部装置との赤外線通信が終了すると、操作装置２は、接続状態フラグをオフに設定する（図１１において、“Ｃｏｎｎｅｃｔ Ｏｆｆ”と記載）。なお、接続状態フラグがオフに設定された後において、操作装置２は、接続状態フラグがオフであることを表す接続状態データを含む送信情報データを生成して情報処理装置３へ送信する。これによって、情報処理装置３は、接続状態フラグがオフであること、すなわち、操作装置２と外部装置との赤外線通信が完了したことを認識することができる。
以上のように、赤外線通信の場合、情報処理装置３からの指令、および、外部装置から情報処理装置３までの間で送受信されるデータは、操作装置２と情報処理装置３との間では拡張通信データとして伝達される。本実施形態において、拡張通信データは、定期的に送信されないことから、および／または、優先度が低く設定されることから、送信機会が相対的に確保されにくいデータである。換言すれば、拡張通信データの送受信は、出力画像データおよび送信情報データ等の他のデータの送受信に対して影響が少ない。つまり、本実施形態においては、赤外線通信が当該他のデータの通信に大きな影響を与えないので、他のデータの通信を安定的に行うことができる。
また、赤外線通信の通信状態を表す赤外線通信データ６１については、送信情報データを用いて伝達される。上述のように、送信情報データは、定期的に送信されることから、および／または、（拡張通信データよりも）優先度が高く設定されることから、送信機会が相対的に確保されやすいデータである。したがって、送信情報データを用いて上記通信状態が情報処理装置３へ定期的に伝達されることによって、情報処理装置３は、通信状態を迅速に認識することができる。以上より、本実施形態においては、情報処理装置３は、赤外線通信の通信状態を迅速に認識することができるとともに、操作装置２と情報処理装置３との間の通信を安定的に行うことができる。
（近距離無線通信における動作）
次に、図１０および図１２を参照して、操作装置２と外部装置（近距離無線通信においては、「タグ」と呼ばれることもある）とが近距離無線通信を行う場合を説明する。図１２は、操作装置２と外部装置とが近距離無線通信を行う場合における通信動作の一例を示す図である。
まず、近距離無線通信に用いられる通信管理データの詳細について説明する。図１０に示すように、通信管理データ５３は、近距離無線通信データ（以下、「ＮＦＣデータ」と記載する）６４を含む。ＮＦＣデータ６４は、近距離無線通信部３７による近距離無線通信に関する状態を表す。ＮＦＣデータ６４の具体的な内容は任意であるが、ＮＦＣデータ６４は例えば以下のデータを含む。
ＮＦＣデータ６４は、検出状態データ６５を含む。検出状態データ６５は、操作装置２と近距離無線通信が可能な外部装置の検出状態を表す。具体的には、検出状態データ６５は、上記外部装置が検出されたか否かを表すフラグのデータである。以下では、このフラグを「検出フラグ」と呼ぶ。なお、操作装置２の通信データ管理部２７は、検出フラグのオン／オフを表すデータをメモリ２９に記憶する。近距離無線通信の開始前においては、検出フラグはオフに設定される。
ＮＦＣデータ６４は、初期化状態データ６６を含む。初期化状態データ６６は、操作装置２において実行される、近距離無線通信に関する初期化処理（例えば、近距離無線通信部３７の初期化処理）の状態を表す。具体的には、初期化状態データ６６は、初期化処理が完了したか否かを表すフラグのデータである。以下では、このフラグを「初期化フラグ」と呼ぶ。なお、操作装置２の通信データ管理部２７は、初期化フラグのオン／オフを表すデータをメモリ２９に記憶する。近距離無線通信の開始前においては、接続状態フラグはオフに設定される。
ＮＦＣデータ６４は、ＮＦＣイベントデータ６７を含む。ＮＦＣイベントデータ６７は、上記近距離無線通信におけるイベントの状態を表す。例えば、ＮＦＣイベントデータ６７は、イベントの有無（イベントが発生したか否か）を表すフラグのデータである。以下では、このフラグを「ＮＦＣイベントフラグ」と呼ぶ。ここで、イベントとは、近距離無線通信によって生じた事象であって、情報処理装置３に伝達すべき事象である。イベントの具体的な内容はどのようなものであってもよい。イベントの例としては、例えば、外部装置から情報処理装置３へ読み出すべきデータを外部装置から受信完了したこと、および、近距離無線通信においてエラーが発生したこと等が考えられる。なお、ＮＦＣイベントデータ６７は、イベントの有無に加えて、あるいは、イベントの有無に代えて、発生したイベントの内容（種類）を表すものであってもよい。なお、操作装置２の通信データ管理部２７は、ＮＦＣイベントフラグのオン／オフを表すデータをメモリ２９に記憶する。近距離無線通信の開始前においては、ＮＦＣイベントフラグはオフに設定される。
以下、図１２を参照して、操作装置２と外部装置とが近距離無線通信を行う場合の動作を説明する。なお、本実施形態においては、近距離無線通信に関する操作装置２における動作は、通信データ管理部２７によって管理される。すなわち、通信データ管理部２７は、近距離無線通信部３７を制御することによって外部装置との近距離無線通信を行う。また、通信データ管理部２７は、無線モジュール３３を制御することによって情報処理装置３との通信（拡張通信データおよび送信情報データ等の送受信）を行う。ただし、上記動作の管理は、操作装置２におけるどの構成要素で行われてもよい。
近距離無線通信を開始する場合、情報処理装置３は、操作装置２へ初期化指令を送信する。初期化指令は、上記の初期化処理を行う旨を示す指令（コマンド）である。すなわち、情報処理装置３は、初期化指令を表す第１拡張通信データを操作装置２へ送信する。なお、図１２においても図１１と同様、拡張通信データによって送受信される情報は、太い斜線の矢印で示され、送信情報データによって送受信される情報は、細い実線の矢印で示される。
情報処理装置３からの初期化指令を受信すると、操作装置２は、上記の初期化処理を実行する。操作装置２は、初期化処理が完了すると、上記の初期化フラグをオンに設定する（図１２において、“Ｉｎｉｔ Ｏｎ”と記載）。ここで、上述のように初期化状態データ６６を含む送信情報データは、所定時間間隔で情報処理装置３へ送信されている。したがって、初期化状態フラグがオンに設定された後において、操作装置２は、初期化状態フラグがオンであることを表す接続状態データ６２を含む送信情報データを生成し、当該送信情報データを情報処理装置３へ送信する。これによって、情報処理装置３は、初期化状態フラグがオンであること、すなわち、初期化処理が完了したことを認識することができる。
情報処理装置３は、初期化処理が完了したことを認識すると、所定の制御指令を送信する。すなわち、所定の制御指令を表す第１拡張通信データを操作装置２へ送信する。この制御指令の内容は任意であるが、例えば、制御指令として読み出し指令および／または書き込み指令が考えられる。読み出し指令とは、外部装置からデータを読み出す旨、すなわち、操作装置２が外部装置からデータを受信して当該データを情報処理装置３へ送信させる旨の指令である。なお、読み出し指令の場合、操作装置２は、外部装置から読み出されたデータを上記第２拡張通信データとして情報処理装置３へ送信する。また、書き込み指令とは、外部装置にデータを書き込む旨、すなわち、外部装置に書き込むべきデータを、操作装置２が情報処理装置３から受信して外部装置へ送信する旨の指令である。なお、書き込み指令の場合、情報処理装置３は、上記書き込むべきデータを上記第１拡張通信データとして操作装置２へ送信する。
操作装置２は、上記所定の制御指令を受信すると、外部装置を検知するための検知処理（例えばポーリング処理）を実行する。すなわち、操作装置２は、操作装置２との近距離無線通信が可能な外部装置を検知する。これによって、近距離無線通信が可能な程度に操作装置２と接近している外部装置があれば、当該外部装置が検知される。検知処理の結果、外部装置が検知されると、操作装置２は、上記の検出フラグをオンに設定する（図１２において、“Ｄｅｔｅｃｔ Ｏｎ”と記載）。検出フラグがオンに設定された後において、操作装置２は、検出フラグがオンであることを表す検出状態データ６５を含む送信情報データを生成し、当該送信情報データを情報処理装置３へ送信する。これによって、情報処理装置３は、検出フラグがオンであること、すなわち、操作装置２との近距離無線通信が可能な外部装置が検出されたことを認識することができる。なお、情報処理装置３は、例えば、制御指令を送信してから所定期間内に外部装置が検出されない場合には近距離無線通信を終了させる目的等で、検出フラグを用いるようにしてもよい。
上記検知処理の後、操作装置２は、上記所定の制御指令に応じた処理を実行する。すなわち、操作装置２の近距離無線通信部３７は、外部装置および／または情報処理装置３との間で必要に応じてデータの送受信を行う。例えば、制御指令が読み出し指令である場合、読み出すべきデータを外部装置から受信する。また例えば、制御指令が書き込み指令である場合、書き込むべきデータを情報処理装置３から受信し、当該データを外部装置へ送信する。
上記所定の制御指令に応じた処理において、操作装置２においてイベントが発生した場合、操作装置２は、ＮＦＣイベントフラグをオンに設定する（図１２において、“Ｅｖｅｎｔ Ｏｎ”と記載）。なお、イベントが発生した場合とは、例えば、上記所定の制御指令に応じた処理が完了した場合、あるいは、当該処理においてエラーが発生した場合等である。ＮＦＣイベントフラグがオンに設定された後において、操作装置２は、ＮＦＣイベントフラグがオンであることを表すＮＦＣイベントデータ６７を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置３へ送信される。これによって、情報処理装置３は、ＮＦＣイベントフラグがオンであること、すなわち、近距離無線通信に関してイベントが発生したことを認識することができる。なお、エラーが発生したことに応じてＮＦＣイベントフラグがオンに設定された場合には、操作装置２は、エラーの内容を示す第２拡張通信データを情報処理装置３へ送信してもよい。
情報処理装置３は、イベントが発生したことを認識すると、操作装置２へ確認指令を送信する。すなわち、情報処理装置３は、確認指令を表す第１拡張通信データを操作装置２へ送信する。確認指令は、上記制御指令に応じた処理が正常に完了したことを確認するための指令である。
上記確認指令を受信すると、操作装置２は、ＮＦＣイベントフラグおよび検知フラグをそれぞれオフに設定する（図１２において、“Ｅｖｅｎｔ・Ｄｅｔｅｃｔ Ｏｆｆ”と記載）。発生したイベントに対する情報処理装置３の応答（確認指令）があったので、さらに指令を送信する必要がないことを情報処理装置３に認識させるためである。なお、ＮＦＣイベントフラグおよび検知フラグがオフに設定された後において、操作装置２は、検知フラグがオフであることを表す検出状態データ６５と、ＮＦＣイベントフラグがオフであることを表すＮＦＣイベントデータ６７とを含む送信情報データを生成して情報処理装置３へ送信する。これによって、情報処理装置３は、ＮＦＣイベントフラグがオフであること、すなわち、イベントが発生していないことを認識することができる。
なお、上記確認指令を受信すると、操作装置２は、必要に応じて情報処理装置３および／または外部装置との間でデータの送受信を行う。例えば、上記制御指令が読み出し指令である場合、操作装置２は、外部装置から読み出したデータを情報処理装置３へとして送信する。このデータは、第２拡張通信データとして情報処理装置３へ送信される。
上記所定の制御指令に応じた動作が完了すると、情報処理装置３は、終了指令を操作装置２へ送信する。終了指令は、外部装置との近距離無線通信を切断（終了）する旨を示す指令である。すなわち、情報処理装置３は、終了指令を表す第１拡張通信データを操作装置２へ送信する。
情報処理装置３からの終了指令を受信すると、操作装置２は、近距離無線通信部３７に対する終了処理を実行する。終了処理が完了すると、操作装置２は、上記の初期化フラグをオフに設定する（図１２において、“Ｉｎｉｔ Ｏｆｆ”と記載）。初期化フラグがオフに設定された後において、操作装置２は、初期化フラグがオンであることを表す初期化状態データ６６を含む送信情報データを生成する。そして、当該送信情報データが情報処理装置３へ送信される。これによって、情報処理装置３は、初期化フラグがオフであること、すなわち、操作装置２と外部装置との近距離無線通信が完了したことを認識することができる。
以上のように、近距離無線通信においても赤外線通信と同様、情報処理装置３からの指令、および、外部装置から情報処理装置３までの間で送受信されるデータは、操作装置２と情報処理装置３との間では拡張通信データとして伝達される。これによって、近距離無線通信が拡張通信データ以外の他のデータの通信に大きな影響を与えることなく、当該他のデータの通信を安定的に行うことができる。また、近距離無線通信においても赤外線通信と同様、近距離無線通信の通信状態を表すＮＦＣデータ６４については、送信情報データを用いて伝達される。これによって、情報処理装置３は、通信状態を迅速に認識することができる。以上より、本実施形態においては、情報処理装置３は、近距離無線通信の通信状態を迅速に認識することができるとともに、操作装置２と情報処理装置３との間の通信を安定的に行うことができる。
以上に説明した赤外線通信および近距離無線通信における動作に関して、操作装置２における情報処理（フラグデータの管理を含む）は、例えば、通信データ管理部２７で行われる。ただし、この情報処理は、操作装置２における他の構成要素によって行われてもよい。
なお、上記においては、拡張通信による操作装置２と外部装置との通信方法の一例として、赤外線通信および近距離無線通信において、拡張通信データと通信管理データとを用いて通信処理を実行する場合を説明した。ただし、拡張通信の通信方法はこれらの通信に限らず、どのような通信方法であってもよい。また、通信管理データは、赤外線通信および近距離無線通信の通信に関する状態を表すものであったが、これに限らない。通信管理データは、拡張通信による操作装置２と外部装置との通信に関する状態を表すものであってもよい。
なお、通信管理データに含まれるデータは、１ビットで構成されてもよい。例えば、赤外線通信データ６１に含まれる各データは、１ビットで構成されるフラグデータであってもよい。また例えば、ＮＦＣデータ６４に含まれる各データは、１ビットで構成されるフラグデータであってもよい。通信管理データに含まれるデータが１ビットで構成される場合、送信情報データのデータサイズに実質的に影響を与えることなく、送信情報データに含めて拡張通信データを情報処理装置３へ送信することができる。
＜５−５：５−４に関する効果＞
以上に示した構成および動作によって、操作装置２は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置２は、以下において効果とともに説明する構成を有していればよく、本実施形態における全ての構成を備えている必要はない。
以上のように、操作装置２（より具体的には、入出力制御部２１）は、操作装置２に対する操作に基づいて操作データを生成する。また、操作装置２は、情報処理装置３とは異なる他の外部装置との通信を行う。そして操作装置２は、外部装置との通信における管理情報を表す通信管理データを操作データとともに所定の頻度（上記例では時間Ｔ４に１回の頻度）で情報処理装置３へ送信する。これによれば、操作装置２は管理情報を情報処理装置３へ定期的に送信するので、情報処理装置３は、通信状態を迅速に認識することができる。なお、本実施形態の変形例においては、操作装置２は通信管理データを情報処理装置３へ送信しなくてもよいし、通信管理データを情報処理装置３へ不定期に送信してもよい。
また、操作装置２は、送信機会が相対的に多い第１の種類のデータ（送信情報データ）と、送信機会が相対的に少ない第２の種類のデータ（第２拡張通信データ）とを情報処理装置３へ送信可能である。ここで、操作装置２は、通信管理データおよび操作データを、上記第１の種類のデータとして情報処理装置３へ送信し、外部装置から受信したデータを、上記第２の種類のデータとして情報処理装置３へ送信する。これによれば、情報処理システム１は、外部装置から受信したデータを情報処理装置３へ送信する場合であっても、通信管理データおよび操作データを安定的に送信することができる。なお、本実施形態の変形例においては、通信管理データ、操作データ、および、外部装置から受信したデータは、どのような方法で操作装置２から情報処理装置３へ送信されてもよい。例えば、送信頻度が同じとなる（あるいは、送信機会が同じとなる）方法でこれらのデータが送信されてもよい。
また、操作装置２は、上記第２の種類のデータの送信よりも上記第１の種類のデータの送信を優先し（第２拡張通信データの優先度よりも送信情報データの優先度が高い）、かつ、第１の種類のデータの送信よりも出力画像データの受信を優先する（送信情報データの優先度よりも出力画像データの優先度が高い）無線通信方法を用いて情報処理装置との通信を行う。これによれば、情報処理システム１は、外部装置から受信したデータを情報処理装置３へ送信する場合において、通信管理データおよび操作データを安定的に送信することができるとともに、出力画像データをより安定的に受信することができる。なお、本実施形態のように、情報処理装置３から出力画像を受信して表示部１１に表示する操作装置２においては、出力画像データをより安定的に受信することは有効である。なお、本実施形態の変形例においては、無線通信方法の具体的な内容は任意であり、上記第１の種類のデータと、上記第２の種類のデータと、出力画像データとの優先度はどのように設定されてもよい。
［６．操作データの生成］
次に、図１３を参照して、操作データの生成方法の詳細について説明する。図１３は、操作データに含まれる各データを生成方法の一例を示す図である。上述のように、操作データは、操作装置２に対する操作に基づいて生成される。以下、操作データに含まれるデータの一例と、その生成方法の一例について説明する。
（送信ボタンデータ）
操作データ５１は、送信ボタンデータ７１を含む。送信ボタンデータ７１は、操作装置２が備える１以上のボタン（ここではボタン群１４）に対する入力状況を表す。例えば、送信ボタンデータ７１は、ボタン群１４に含まれる各ボタンがそれぞれ押下されたか否かを表す。
送信ボタンデータ７１は、ボタン群１４から出力されるボタンデータに基づくデータである。つまり、送信ボタンデータ７１は、各ボタンから出力されるデータを単に１つにまとめたデータ（ボタンデータ）であってもよいし、当該ボタンデータに対して何らかの加工が施されたデータであってもよい。本実施形態においては、入出力制御部２１は、ボタン群１４からボタンデータを取得する。入出力制御部２１は、取得したボタンデータをそのまま送信ボタンデータ７１とする（図１３参照）。
以上のように、本実施形態においては、１つの操作データ５１（１回に送信される操作データ５１）に含まれる送信ボタンデータ７１は、操作装置２が備える各ボタンから出力される上記ボタンデータの１回分のデータとなる。ここで、操作データ５１は、ユーザがボタンを押下する一般的な頻度に比べると高い頻度で（例えば、時間Ｔ４（＝５．５６［ｍｓｅｃ］）に１回の頻度で）送信される。したがって、１つの操作データ５１には１回分のボタンデータが含まれていれば、ユーザによるボタン操作を十分に検知することができる。また、送信ボタンデータ７１が１回分のボタンデータを含むようにすることで、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。なお、本実施形態の変形例においては、１つの送信ボタンデータ７１は、複数回分のボタンデータを含んでいてもよい。
（送信指示方向データ）
操作データ５１は、送信指示方向データ７２を含む。送信指示方向データ７２は、操作装置２を用いてユーザによって指示された方向に関する情報を表す。例えば、送信指示方向データ７２は、ユーザによって指示された方向（例えば上述の可動部材が傾倒された方向）と、その方向に関する量（例えば可動部材が傾倒された量）とを表す。具体的には、縦方向および横方向の２軸方向の傾き量がそれぞれ検出され、出力される。これらの２軸成分の値は、方向および量を表す２次元ベクトルとみなすこともできる。なお、送信指示方向データ７２は、上記方向および量に加えて、上記可動部材が押下されたか否かを表してもよい。また、本実施形態においては、方向入力部１３は２つのアナログスティック１３Ａおよび１３Ｂを含む。したがって、送信指示方向データ７２は、アナログスティック１３Ａおよび１３Ｂのそれぞれに対する指示方向に関する情報を表す。
送信指示方向データ７２は、方向入力部１３から出力される指示方向データに基づくデータである。つまり、送信指示方向データ７２は、指示方向データそのものであってもよいし、指示方向データに対して何らかの加工が施されたデータであってもよい。
本実施形態においては、入出力制御部２１は、操作データ５１が送信される１周期分（時間Ｔ４）の期間に、４回分の指示方向データ（第１〜第４指示方向データ）を方向入力部から取得する。入出力制御部２１は、取得した４回分の指示方向データが表す値の平均値を算出する。入出力制御部２１は、算出された平均値を表すデータを送信指示方向データ７２とする（図１３参照）。
以上のように、本実施形態においては、１つの操作データ５１に含まれる送信指示方向データ７２は、方向入力部１３が検出する方向の１個分を表すデータ（上記指示方向データの１個分のデータ）となる。したがって、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、本実施形態においては、送信指示方向データ７２は、方向入力部１３が検出する複数回分（４回分）の指示方向の平均値を表す。したがって、ユーザによる指示方向を精度良く算出することができ、ひいては操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、１つの送信指示方向データ７２は、複数個分の指示方向データを含んでいてもよい。
（送信加速度データ）
操作データ５１は、送信加速度データ７３を含む。送信加速度データ７３は、操作装置２が備える加速度センサ２３が検出する加速度に関する情報を表す。送信加速度データ７３は、例えば３次元の加速度（ベクトルあるいは行列）を表すが、１次元以上の加速度を表すものであればよい。
送信加速度データ７３は、加速度センサ２３から出力される加速度データに基づくデータである。つまり、送信加速度データ７３は、加速度データそのものであってもよいし、当該加速度データに対して何らかの加工が施されたデータであってもよい。
本実施形態においては、入出力制御部２１は、操作データ５１が送信される１周期分（時間Ｔ４）の期間に、４回分の加速度データ（第１〜第４加速度データ）を加速度センサ２３から取得する。つまり、加速度センサ２３は、方向入力部１３と同じ頻度で検出結果を出力する。入出力制御部２１は、取得した４回分の加速度データが表す値の平均値を算出する。入出力制御部２１は、算出された平均値を表すデータを送信加速度データ７３とする（図１３参照）。
以上のように、本実施形態においては、１つの操作データ５１に含まれる送信加速度データ７３は、加速度センサ２３が検出する加速度の１個分を表すデータ（上記加速度データの１個分のデータ）となる。したがって、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、本実施形態においては、送信加速度データ７３は、加速度センサ２３が検出する複数回分（４回分）の加速度の平均値を表す。したがって、操作装置２に対して加えられる加速度の検出精度を良くすることができ、ひいては操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、１つの送信加速度データ７３は、複数個分の加速度データを含んでいてもよい。
（送信角速度データ）
操作データ５１は、送信角速度データ７４を含む。送信角速度データ７４は、操作装置２が備えるジャイロセンサ２４が検出する角速度に関する情報を表す。送信角速度データ７４は、例えば３次元の角速度（ベクトルあるいは行列）を表すが、１次元以上の角速度を表すものであればよい。
送信角速度データ７４は、ジャイロセンサ２４から出力される角速度データに基づくデータである。つまり、送信角速度データ７４は、角速度データそのものであってもよいし、当該角速度データに対して何らかの加工が施されたデータであってもよい。
本実施形態においては、入出力制御部２１は、操作データ５１が送信される１周期分（時間Ｔ４）の期間に、９回分の角速度データ（第１〜第９角速度データ）をジャイロセンサ２４から取得する。つまり、ジャイロセンサ２４は、加速度センサ２３よりも高い頻度で検出結果を出力する。入出力制御部２１は、取得した９回分の角速度データが表す値の和を算出する。入出力制御部２１は、算出された和を表すデータを送信角速度データ７４とする（図１３参照）。
上記のように、本実施形態においては、送信角速度データ７４は、角速度データの９個分の値（ジャイロセンサが検出する９回分の角速度の和）を表す。したがって、送信角速度データ７４を受信する情報処理装置３は、角速度を用いた演算を行う場合、角速度データの９個分の値を表すものとして送信角速度データ７４を取り扱う処理を行う。なお、操作データ５１が送信される１周期分の期間に９回分の角速度データをジャイロセンサ２４から取得することができない場合、操作装置２は、情報処理装置３での上記のような処理に適合するべく、取得した１回分以上の角速度データから、角速度データの９個分の値を表す送信角速度データ７４を生成してもよい。例えば、ジャイロセンサ２４から上記期間に１回分の角速度データのみが取得される場合、操作装置２は、当該１回分の角速度データの値を９倍することで送信角速度データ７４を生成してもよい。
以上のように、本実施形態においては、１つの操作データ５１に含まれる送信角速度データ７４は、ジャイロセンサ２４が検出する複数回（９回）分の角速度を加算した値を表すデータである。したがって、単に９回分の角速度データを送信する場合に比べて操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、操作装置２は、９回分の角速度データの値を加算するものの、平均値を算出していない（除算を行わない）。そのため、操作装置２は、操作データの生成処理を簡易化することができ、操作装置２の処理負荷を軽減することができる。
なお、本実施形態においては、上記方向入力部１３および加速度センサ２３に関しては、取得されるデータが２のｎ乗個（ｎは１以上の整数。ここでは４個）であるので、操作装置２は、平均値を算出するための除算を簡単な演算（ビットシフト演算）で行うことができる。加速度センサ２３および方向入力部１３に関しては、ジャイロセンサ２４に比べて出力値の急激な変化があまり想定されないので、２のｎ乗にサンプリング数を制限しても十分な精度が得られる。一方、本実施形態においては、ジャイロセンサ２４に関しては、取得されるデータが２のｎ乗個ではないので、操作装置２は、平均値を算出するための除算をビットシフト演算で行うことはできない。そのような場合であっても、ジャイロセンサ２４のデータに関しては、急激な変化を含み得るものであるので、２のｎ乗にサンプリング数を制限するよりもできるだけ多くのサンプリング数のデータを用いる方が精度を確保する上で好ましい。そのため、本実施形態のように、平均値を算出せずに加算値を算出することは、操作装置２の処理負荷を軽減するために有効である。
なお、本実施形態の変形例においては、１つの送信角速度データ７４は、１個分の角速度データで構成されてもよい。また、１つの送信角速度データ７４は、ジャイロセンサ２４が検出する複数回分の角速度の平均値を表すものであってもよい。
（送信磁気データ）
操作データ５１は、送信磁気データ７５を含む。送信磁気データ７５は、操作装置２が備える磁気センサ２５が検出する磁気方向に関する情報を表す。送信磁気データ７５は、例えば３次元の磁気方向（ベクトルあるいは行列）を表すが、１次元以上の磁気方向を表すものであればよい。
送信磁気データ７５は、磁気センサ２５から出力される磁気データに基づくデータである。つまり、送信磁気データ７５は、磁気データそのものであってもよいし、当該磁気データに対して何らかの加工が施されたデータであってもよい。
本実施形態においては、入出力制御部２１は、操作データ５１が送信される１周期分（時間Ｔ４）の期間に、１回分の磁気データを磁気センサ２５から取得する。つまり、磁気センサ２５は、加速度センサ２３よりも低い頻度で検出結果を出力する。これは、一般的に、磁気センサのサンプリング回数は、加速度センサのサンプリング回数等よりも低いものとなっているためである。入出力制御部２１は、取得した磁気データをそのまま送信磁気データとする（図１３参照）。
以上のように、本実施形態においては、１つの操作データ５１に含まれる送信磁気データ７５は、磁気センサ２５が検出する磁気方向の１個分を表すデータ（上記磁気データの１個分のデータ）となる。換言すれば、送信磁気データ７５は、磁気センサ２５が検出する１回分の磁気方向を表すデータである。したがって、操作データ５１のデータサイズを抑えることができ、操作データ５１のデータサイズを効率の良いものとすることができる。また、磁気センサ２５による出力結果は操作装置２の姿勢を算出するために用いることができる一方、操作装置２の姿勢は、他のセンサ（加速度センサ２３および／またはジャイロセンサ２４）の検出結果を用いても算出することができる。したがって、磁気センサ２５による出力結果を他のセンサの出力結果と組み合わせて用いる場合には、１つ分の磁気データを用いて精度良く操作装置２の姿勢を算出することができる。なお、本実施形態の変形例においては、１つの送信磁気データ７５は、複数個分の磁気データを含んでいてもよい。
（入力位置データ）
操作データ５１は、送信入力位置データ７６を含む。送信入力位置データ７６は、操作装置２が備えるタッチパネル１２が検出する入力位置（タッチ位置）に関する情報を表す。送信入力位置データ７６は例えば、上記入力位置を示す２次元の座標値を表す。また、タッチパネル１２が例えばマルチタッチ方式のものである場合には、送信入力位置データ７６は、複数個の入力位置に関する情報を表すものであってもよい。
送信入力位置データ７６は、タッチパネル１２から出力される入力位置データに基づくデータである。つまり、送信入力位置データ７６は、入力位置データそのものであってもよいし、当該入力位置データに対して何らかの加工が施されたデータであってもよい。
本実施形態においては、入出力制御部２１は、操作データ５１が送信される１周期分（時間Ｔ４）の期間に、１０回分の入力位置データ（第１〜第１０入力位置データ）をタッチパネルコントローラ２２を介してタッチパネル１２から取得する。入出力制御部２１は、取得した１０回分の入力位置データを含む送信入力位置データ７６を生成する（図１３参照）。
以上のように、本実施形態においては、１つの操作データ５１に含まれる送信入力位置データ７６は、タッチパネル１２が検出する１０個分の入力位置を表すデータ（１０個分の入力位置データ）となる。ここで、タッチパネル１２については、上記センサ２３〜２５とは異なり、（タッチパネル１２に対する）入力が行われているか否かが検知される。また、タッチパネル１２から連続して取得される入力位置データのうち１つの入力位置データのみが、誤検出によって、入力があることを表す結果となる場合が考えられる。このようなタッチパネル１２の性質を考慮すると、入力位置データの値を加算等の演算によってまとめると、タッチパネル１２の検出精度が低下するおそれがある。
そこで、本実施形態においては、操作装置２は、複数個の入力位置データをそのまま送信入力位置データ７６に含めて、情報処理装置３へ送信する。これによって、操作装置２は、タッチパネル１２の検出精度を向上することができる。また、操作装置２は入力位置データに対して演算を行わないので、送信入力位置データ７６の生成処理を簡易化することができ、操作データを生成する処理の処理負荷を軽減することができる。
なお、本実施形態の変形例においては、１つの送信入力位置データ７６は、１個分の入力位置データで構成されてもよい。また、１つの送信入力位置データ７６は、タッチパネル１２が検出する複数回分の入力位置の平均値を表すものであってもよい。
なお、図１３においては、操作装置２が各操作部１２〜１４および２３〜２５（タッチパネル１２、方向入力部１３、ボタン群１４、加速度センサ２３、ジャイロセンサ２４、および磁気センサ２５）を備え、操作データ５１が、各データ７１〜７６（送信ボタンデータ７１、送信指示方向データ７２、送信加速度データ７３、送信角速度データ７４、送信磁気データ７５、および送信入力位置データ７６）を含む場合を例として説明した。ただし、操作装置２が備える操作部の具体的な内容や、操作データ５１の具体的な内容は任意である。操作データが有するデータは、以下のいずれかであってもよい。
（操作データが各データ７１〜７６のうちの任意の１つを含む例）
・データ７１のみ
・データ７２のみ
・データ７３のみ
・データ７４のみ
・データ７５のみ
・データ７６のみ
（操作データが各データ７１〜７６のうちの任意の２つを含む例）
・データ７１および７２
・データ７１および７３
・データ７１および７４
・データ７１および７５
・データ７１および７６
・データ７２および７３
・データ７２および７４
・データ７２および７５
・データ７２および７６
・データ７３および７４
・データ７３および７５
・データ７３および７６
・データ７４および７５
・データ７４および７６
・データ７５および７６
（操作データが各データ７１〜７６のうちの任意の３つを含む例）
・データ７１，７２，および７３
・データ７１，７２，および７４
・データ７１，７２，および７５
・データ７１，７２，および７６
・データ７１，７３，および７４
・データ７１，７３，および７５
・データ７１，７３，および７６
・データ７１，７４，および７５
・データ７１，７４，および７６
・データ７１，７５，および７６
・データ７２，７３，および７４
・データ７２，７３，および７５
・データ７２，７３，および７６
・データ７２，７４，および７５
・データ７２，７４，および７６
・データ７２，７５，および７６
・データ７３，７４，および７５
・データ７３，７４，および７６
・データ７３，７５，および７６
・データ７４，７５，および７６
（操作データが各データ７１〜７６のうちの任意の４つを含む例）
・データ７１，７２，７３，および７４
・データ７１，７２，７３，および７５
・データ７１，７２，７３，および７６
・データ７１，７２，７４，および７５
・データ７１，７２，７４，および７６
・データ７１，７２，７５，および７６
・データ７１，７３，７４，および７５
・データ７１，７３，７４，および７６
・データ７１，７３，７５，および７６
・データ７１，７４，７５，および７６
・データ７２，７３，７４，および７５
・データ７２，７３，７４，および７６
・データ７２，７３，７５，および７６
・データ７２，７４，７５，および７６
・データ７３，７４，７５，および７６
（操作データが各データ７１〜７６のうちの任意の５つを含む例）
・データ７１，７２，７３，７４，および７５
・データ７１，７２，７３，７４，および７６
・データ７１，７２，７３，７５，および７６
・データ７１，７２，７４，７５，および７６
・データ７１，７３，７４，７５，および７６
・データ７２，７３，７４，７５，および７６
なお、上記において、操作装置２は、各操作部１２〜１４および２３〜２５のうちで、操作データ５１に含まれないデータに対応する操作部を備えていなくてもよい。
また、操作装置２は、上記各操作部１２〜１４および２３〜２５以外の他の操作部を備え、操作データ５１は、上記のデータ７１〜７６以外の他のデータを含んでいてもよい。例えば、操作装置２がタッチパッドを備え、操作データ５１は、タッチパッドにおける検出結果に基づくデータを含んでいてもよい。
また、上記実施形態においては、操作データを生成する処理を入出力制御部２１が実行することとしたが、当該処理は操作装置２が備える任意の構成要素によって実行されてもよい。例えば、通信データ管理部２７が上記処理を実行してもよい。また例えば、入出力制御部２１と通信データ管理部２７とが１つの部材（例えばＬＳＩ）として構成される場合には、当該部材が上記処理を実行してもよい。
また、情報処理装置３は、上記の操作データを操作装置２から受信し、上述の第１情報処理において操作データに基づいて所定の処理を実行する。情報処理装置３は、例えば、各センサ２３〜２５に基づくセンサデータ（上記データ７３〜７５）を用いて操作装置２の動作情報を算出する。動作情報とは、姿勢、位置、および動きのうちの少なくとも１つに関する情報である。このとき、情報処理装置３は、センサデータに加えてセンサ特性データを用いて動作情報を算出してもよい。ここで、センサ特性データは、センサの入出力関係（入出力特性）を表すデータである。例えば、センサ特性データは、センサに対するある入力の値と、当該入力に対する出力値との対応を表す。具体的には、例えば加速度センサ２３に関しては、入力が０［Ｇ］のとき、および、±１［Ｇ］のときの出力値を表すセンサ特性データが用意される。また、例えばジャイロセンサ２４に関しては、入力が０［ｒｐｍ］のとき、および、±２００［ｒｐｍ］のときの出力値を表すセンサ特性データが用意される。これらのセンサ特性データは、既知の量の動作（既知の量の加速度あるいは角速度）をセンサに加えた場合にセンサから出力されるデータを取得することで得られる。±２００［ｒｐｍ］のときの出力値は、±７８［ｒｐｍ］の角速度がジャイロセンサ２４に加えられたときの出力値に基づいて算出される。なお、ここでは、加速度センサ２３およびジャイロセンサ２４についてセンサ特性データが用意されるが、磁気センサ２５についてセンサ特性データが用意されてもよい。また、センサの特性はセンサの個体毎に異なる可能性があるので、センサ特性データの内容は、センサの個体毎に（操作装置の個体毎に）設定されてもよい。
上記センサ特性データは、操作装置２において予め記憶されている。そして、操作装置２は、所定のタイミングで情報処理装置３へセンサ特性データを送信する。なお、センサ特性データは、操作データとは別に送信される。例えば、操作装置２が情報処理装置３と通信を開始した際にセンサ特性データが送信されてもよい。情報処理装置３は、センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する場合、当該センサ特性データと、操作データに含まれる当該センサのセンサデータとに基づいて当該情報処理を実行する。なお、情報処理装置３は、実行すべき上記情報処理においてセンサ特性データとセンサデータとを用いてもよい。また、情報処理装置３は、上記情報処理の前にセンサ特性データを用いてキャリブレーション処理を実行しておき、キャリブレーション処理の結果とセンサデータとを用いて上記情報処理を実行してもよい。
（効果）
以上に示した構成および動作によって、操作装置２は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置２は、以下において効果とともに説明する構成を有していればよく、本実施形態における全て構成を備えている必要はない。
本実施形態においては、操作装置２は、ジャイロセンサ２４、加速度センサ２３、方向入力部１３、およびタッチパネル１２を少なくとも含む操作部を備え、操作部から得られるデータに基づいて操作データ５１を生成する。操作装置２は、操作データ５１を所定周期毎に情報処理装置３へ無線で送信する。ここで、１回に送信される操作データ５１は以下のデータを含んでいる。つまり、操作装置２は、１回に送信される操作データ５１を、以下のデータを含むように生成する。
（１）ジャイロセンサ２４が検出する角速度の９個分を加算した値を表すデータ
（２）加速度センサ２３が検出する加速度の１個分を表すデータ
（３）方向入力部１３が検出する方向の１個分を表すデータ
（４）タッチパネル１２が検出する位置の１０個分を表すデータ
上記によれば、ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを備える操作装置２において、操作装置２の操作性を確保しつつ、操作データのデータサイズを効率の良いものとすることができる。上記（２）および（３）のデータを含む操作データとすることで、操作データのデータサイズを抑えることができ、操作データのデータサイズを効率の良いものとすることができる。また、上記（１）のデータを含む操作データとすることで、操作データのデータサイズを抑えることができる。また、操作データの生成処理を簡易化することができる。また、上記（４）のデータを含む操作データとすることで、タッチパネル１２の検出精度を向上することができる。また、操作データを生成する処理の処理負荷を軽減することができる。なお、上記においては、操作データの送信頻度は任意であり、この送信頻度によらず、操作装置２は上記の効果を奏することができる。
なお、上記（１）のデータは、ジャイロセンサが実際に検出した９回分の角速度の値を加算した値を表すデータに限らず、結果として、９回分の角速度の加算値と同等の値を表すデータであればよい。例えば、操作データが送信される１周期分の期間において、何らかの理由（例えば、センサの能力等による理由）でジャイロセンサが角速度を９回よりも少ない回数しか検出できない場合には、操作装置２は、検出した角速度から９個分の角速度を加算した値を算出して上記（１）のデータを生成してもよい。具体的には、操作装置２は、検出された１つの角速度の値を９倍することで、上記（１）のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
また、何らかの理由でタッチパネルが１０個より少ない回数しか位置を検出できない場合には、操作装置２は、検出した位置から１０個分の位置の値を生成して上記（４）のデータを生成してもよい。例えば、操作装置２は、タッチパネルが検出する１０個よりも少ない位置のいくつかをコピーして１０個分の位置を生成することで上記（４）のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
なお、本実施形態の変形例においては、操作データは、上記（１）〜（４）のデータの一部または全部を含まない構成であってもよい。
また、本実施形態においては、操作装置２は、ジャイロセンサ２４、加速度センサ２３、およびタッチパネル１２を少なくとも含む操作部を備え、操作部から得られるデータに基づいて操作データ５１を生成する。操作装置２は、操作データ５１を所定周期毎に情報処理装置３へ無線で送信する。ここで、１回に送信される操作データ５１は以下のデータを含んでいる。
（１’）ジャイロセンサ２４が検出する複数回（例えば９回）分の角速度を加算した値を表すデータ
（２’）加速度センサ２３が検出する複数回（例えば４回）分の加速度の平均値を表すデータ
（４’）タッチパネル１２が検出する複数回（例えば１０回）分の位置を表すデータ
これによれば、操作装置２は、操作データが上記（１）〜（４）のデータを含む場合と同様の効果を奏することができる。
なお、何らかの理由でジャイロセンサが９回分より少ない角速度しか検出できない場合には、操作装置２は、検出した角速度から９回分の角速度の値を算出して上記（１’）のデータを生成してもよい。また、何らかの理由でタッチパネルが１０回分より少ない位置しか検出できない場合には、操作装置２は、検出した位置から１０回分の位置の値を生成して上記（４’）のデータを生成してもよい。これによっても上記と同様の効果を奏することができる。
なお、本実施形態の変形例においては、操作データは、上記（１’）〜（４’）のデータの一部または全部を含まない構成であってもよい。
さらに、本実施形態においては、操作部が磁気センサ２５をさらに有しており、操作データは、以下のデータをさらに含む。
（５）磁気センサ２５が検出する磁気方向の１個分を表すデータ（換言すれば、磁気センサ２５が検出する１回分の磁気方向を表すデータ）
これによれば、操作装置２は、操作データのデータサイズを抑えつつ、磁気センサ２５の検出結果に基づくデータを情報処理装置３へ送信することができる。なお、本実施形態の変形例においては、操作データは、上記（５）のデータを含まない構成であってもよい。
さらに、本実施形態においては、操作装置２は、上記（２）のデータとして、加速度センサ２３が検出する複数回分（例えば４回分）の加速度の平均値を表すデータ（送信加速度データ７３）を含む操作データ５１を生成する。これによれば、操作装置２に対して加えられる加速度の検出精度を良くすることができ、ひいては操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、操作データ５１は、上記加速度の平均値を表すデータを含まない構成であってもよい。
さらに、本実施形態においては、操作装置２は、上記（３）のデータとして、方向入力部１３が検出する複数回分（例えば４回分）の指示方向の平均値を表すデータ（送信指示方向）を含む操作データ５１を生成する。これによれば、ユーザによる指示方向を精度良く算出することができ、ひいては操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、操作データ５１は、上記指示方向の平均値を表すデータを含まない構成であってもよい。
さらに、本実施形態においては、操作装置２は、２のｎ乗回（ｎは１以上の整数）分の加速度の平均値を表すデータを操作データ５１に含める。これによれば、平均値を算出するための除算をビットシフト演算によって行うことができるので、操作データ５１を生成する処理を簡易化することができ、操作装置２の処理負荷を軽減することができる。なお、本実施形態の変形例においては、操作データ５１は、２のｎ乗回の加速度の平均値を表すデータを含まない構成であってもよい。
また、上記実施形態において、操作装置２は、次の構成を備えると言うこともできる。すなわち、操作装置２は、第１センサ（例えば磁気センサ２５）と、第１センサよりも高い頻度で検出結果を出力する第２センサ（例えば加速度センサ２３）と、第２センサよりも高い頻度で検出結果を出力する第３センサ（例えばジャイロセンサ２４）とを備えており、操作装置２は、次のデータを含む操作データを生成する。
・第１センサが検出する１回分の値を表すデータ
・第２センサが検出する複数回分の値の平均値を表すデータ
・第３センサが検出する複数回分の値の和を表すデータ
上記の構成によれば、操作装置２は、第１センサが検出する１回分の値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えることができる。また、操作装置２は、第２センサが検出する複数回分の値の平均値を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第２センサの検出精度を向上することができる。さらに、操作装置２は、第３センサが検出する複数回分の値の和を表すデータを送信データに含めることによって、操作データのデータサイズを抑えつつ、第３センサの検出精度を向上することができる。なお、第３センサについては第２センサよりも検出頻度が高く、多くのデータが出力されるので、平均値を算出するための除算を省略することで、操作装置２における処理負荷を軽減することができる。なお、本実施形態の変形例においては、操作データ５１は、上記３つのセンサが検出する各データの一部または全部を含まない構成であってもよい。
また、上記実施形態において、操作装置２は、ジャイロセンサおよび加速度センサの少なくとも１つについてセンサの入出力関係（入出力特性）を表すセンサ特性データを操作データとは別に情報処理装置３へ送信する。情報処理装置３は、センサ特性データと操作データとに基づいて、当該センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する。これによれば、情報処理システム１は、センサの検出結果を用いる情報処理をより精度良く行うことができ、操作装置２の操作性を向上することができる。なお、本実施形態の変形例においては、操作装置２は、上記センサ特性データを情報処理装置３へ送信しない構成であってもよい。また、情報処理装置３は、センサ特性データに基づかずに上記情報処理を実行してもよい。
また、上記実施形態においては、操作装置２は、操作データを他のデータ（管理データ５２）とともに情報処理装置３へ送信した。ここで、操作データが他のデータとともに情報処理装置３へ送信される（送信情報データに含める形で送信される）か、それとも、単独で送信されるかに関わらず、操作装置２は、上記“（効果）”において説明した上記の効果を奏することができる。
［７．第２プログラムの実行］
＜７−１：概要＞
次に、図１４〜図１８を参照して、操作装置２において上述の第２プログラム（第２情報処理）が実行される場合の動作について説明する。図１４は、情報処理システム１の各装置における動作の一例を示す図である。本実施形態においては、上述の第１プログラム（第１情報処理）が情報処理装置３において実行される場合において、操作装置２は第２プログラム（第２情報処理）を実行することが可能である。以下、図１４を参照して、上記第１および第２情報処理が実行される場合における上記各装置の動作の概要を説明する。
図１４に示すように、情報処理装置３は、第１情報処理を実行する。上述のように、第１情報処理は、操作データに基づいて実行され、出力画像データおよび／または出力音声データ（以下、「出力画像データ等」と記載することがある）を生成する処理である。第１情報処理が実行される場合、上述のように操作装置２は操作データ（送信情報データ）を送信する（図１４参照）。情報処理装置３は、操作データに基づいて第１情報処理を実行して、出力画像データ等を生成する。そして、情報処理装置３は、出力画像データ等を操作装置２へ送信する（図１４参照）。操作装置２は、出力画像データ等を受信して、出力画像等を出力する（図１４参照）。すなわち、操作装置２は、出力画像を表示部１１に表示し、出力音声をスピーカから出力する。
また、図１４に示すように、第１情報処理において、情報処理装置３は、表示装置４に表示すべき画像および／または音声を生成して表示装置４から出力させるようにしてもよい。すなわち、情報処理装置３は、表示装置４へ画像を出力して当該画像を表示装置４に表示させてもよいし、スピーカ５へ音声を出力して当該音声をスピーカ５から出力させるようにしてもよい。このように、第１情報処理において、表示装置４は、第１情報処理によって生成された画像を表示する。
上記第１情報処理の実行中において、操作装置２に対して所定の操作が行われた場合、操作装置２は、第２情報処理の実行を開始する。つまり、操作装置２は、第２プログラムを起動する（第２プログラムの実行を開始する）。以下、第２プログラムを起動するための上記所定の操作を、「起動操作」と呼ぶことがある。
なお、上記第２プログラム（第２情報処理）の内容はどのようなものであってもよい。本実施形態においては、上記第２プログラムは、操作装置２に対する操作に応じて表示装置（テレビ）４を制御するためのプログラムである。換言すれば、第２情報処理は、表示装置４を制御するための制御信号を、操作装置２に対するユーザの操作に応じて出力する処理である。なお、詳細は後述するが、本実施形態においては、操作装置２は、赤外線発光部３８からの赤外線信号を制御信号として用いて表示装置４を制御する。
第２プログラムの実行中（すなわち、第２情報処理中）において、操作装置２は、第２プログラムの実行による画像を表示部１１に表示する。第２プログラムの実行による画像とは、第２プログラムの実行（換言すれば、第２情報処理の実行）によって表示される画像である。以下では、上記「第２プログラムの実行による画像」を「第２出力画像」と呼ぶ。また、“［７．第２プログラムの実行］”の説明においては、情報処理装置３によって生成される上記出力画像データが表す出力画像を、「第１出力画像」と呼ぶことがある。本実施形態においては、第２出力画像として、例えば操作画像が表示部１１に表示される。操作画像は、第２プログラムによって実行される処理、すなわち、第２情報処理に関する操作を行うための画像である。操作画像の具体例については後述する。
なお、第２プログラムの実行中において、操作装置２は、第２プログラムの実行による音声をスピーカ３１から出力してもよい。第２プログラムの実行による音声とは、第２プログラムの実行（換言すれば、第２情報処理の実行）によって出力される音声である。以下では、上記「第２プログラムの実行による音声」を「第２出力音声」と呼ぶ。また、“［７．第２プログラムの実行］”の説明においては、情報処理装置３によって生成される上記出力音声データが表す出力音声を、「第１出力音声」と呼ぶことがある。
以上のように、本実施形態においては、情報処理装置３側において第１情報処理が実行されることによって操作装置２に出力画像が表示されている場合に、操作装置２側で別の情報処理（第２情報処理）を実行することが可能である。したがって、ユーザは、情報処理装置３で実行されるアプリケーション（第１プログラム）を使用している間に、操作装置２で実行される別のアプリケーションを使用することができる。これによれば、操作装置２をより多くの情報処理のために用いることができる。ユーザは、操作装置２をより多くの目的で使用することができ、ユーザの利便性を向上することができる。
また、図１４に示すように、上記第２プログラムの実行中において、操作装置２は、第２プログラムが実行中であることを表す実行中データを情報処理装置３へ送信する。本実施形態において、「実行中データ」とは、上述の起動状態データ５４（図７参照）である。また、上述の起動ボタン１４Ｃに対する入力状況を表すボタンデータも、実行中データであると言うことができる。実行中データは、どのような方法で操作装置２から情報処理装置３へ送信されてもよい。なお、本実施形態においては、上述のように、当該実行中データは、操作データとともに、すなわち、送信情報データに含めて送信される。
具体的には、図７に示すように、送信情報データ５０に含まれる管理データ５２には、起動状態データ５４が含まれる。起動状態データ５４は、第２プログラムの起動状態を表す。具体的には、起動状態データ５４は、第２プログラムが起動しているか否か（実行中であるか否か）を表すフラグのデータである。なお、例えば第２プログラムが複数用意される場合、起動状態データ５４は、起動している第２プログラムを表すものであってもよい。また、起動状態データ５４は１ビットで構成されてもよい。これによれば、操作装置２は、送信情報データのデータサイズにほとんど影響を与えることなく、送信情報データ５０に含めて起動状態データ５４を情報処理装置３へ送信することができる。
上記実行中データを情報処理装置３へ送信することによって、操作装置２は、第２プログラムの起動状態を情報処理装置３へ伝達することができる。これによって、情報処理装置３は、第２プログラムの起動状態を識別することができる。詳細は後述するが、情報処理装置３は、第１情報処理の内容を第２プログラムの起動状態に応じて変更してもよい。
また、図１４に示すように、本実施形態においては、第２プログラムの実行中において（実行中でない場合と同様に）、第１情報処理は継続して実行される。つまり、第２プログラムの実行中において、情報処理装置３は、第１情報処理を実行し、出力画像データ等を操作装置２へ送信する。これに応じて、操作装置２は、情報処理装置３からの出力画像データが表す出力画像（第１出力画像）を表示部１１に表示する。つまり、操作装置２は、第２プログラムの実行中か否かに関わらず、出力画像データを受信して第１出力画像を表示する。したがって、第２プログラムの実行中において、操作装置２は、上記第２出力画像とともに第１出力画像を表示部１１に表示する。したがって、本実施形態によれば、ユーザは、表示部１１を見ることによって第１情報処理と第２情報処理との両方を確認することができる。
＜７−２：実行中の画像例＞
図１５は、第２情報処理の実行中において操作装置に表示される画像の一例を示す図である。図１５において、操作装置２の表示部１１には、第１出力画像８０が表示される。第１出力画像８０は、第１プログラムの実行によって生成される画像であり、具体的な内容はどのようなものであってもよい。図１５においては、第１プログラムがゲームプログラムであり、第１出力画像８０としてゲーム画像が表示される場合を例として示している。すなわち、情報処理装置３は、ゲーム処理を実行し、ゲーム処理によって生成されるゲーム画像データを出力画像データとして操作装置２へ送信する。操作装置２は、ゲーム画像データを受信する。そして、操作装置２は、ゲーム画像データが表す画像を表示部１１に表示する。また、情報処理装置３がネットワーク（例えばインターネット）を介して他の情報処理装置と通信可能である場合には、第１プログラムが例えばブラウザプログラムであり、第１出力画像８０としてＷｅｂページの画像が表示されてもよい。
また、表示部１１には、上記第２出力画像として操作画像８１が表示される。操作画像８１は、例えば、第１出力画像８０に重ねて表示される。なお、図１５においては、操作画像８１の一部（ボタン画像以外の部分）は半透明で表示される（図１５においては点線で表す）。ただし、操作画像８１は、その一部または全部が不透明であってもよいし、一部が透明であってもよい。
操作画像８１は、第２プログラムによって実行される処理（第２情報処理）に対するユーザの操作に関する画像である。本実施形態においては、操作画像８１は、第２情報処理に対する操作を行うための画像である。具体的には、操作画像８１は、第２情報処理に対する指示を行うためのボタン画像８２〜８８を含む。
上記のように、本実施形態においては、第２プログラムは、表示装置４の動作を制御することが可能なプログラムである。そのため、操作画像８１は、表示装置４に対する操作を行うためのボタン画像（表示装置４に対する操作を表すボタン画像）８２〜８７を含む。具体的には、操作画像８１は、表示装置４の電源のオン／オフを切り替える指示を行うための電源ボタン画像８２を含む。また、操作画像８１は、入力切替ボタン画像８３を含む。入力切替ボタン画像８３は、表示装置４における入力を切り替える（例えば、テレビ放送の映像を入力して表示するモードと、情報処理装置３からの出力画像を入力して表示するモードとの間の切り替え）指示を行うためのボタン画像である。また、操作画像８１は、音量増加ボタン画像８４および音量減少ボタン画像８５を含む。音量増加ボタン画像８４は、表示装置４の音量を上げる指示を行うためのボタン画像である。音量減少ボタン画像８５は、表示装置４の音量を下げる指示を行うためのボタン画像である。また、操作画像８１は、チャンネル増加ボタン画像８６およびチャンネル減少ボタン画像８７を含む。チャンネル増加ボタン画像８６は、表示装置（テレビ）４の選局を昇順に１つずつ変更する指示を表す画像である。チャンネル減少ボタン画像８７は、表示装置４の選局を降順に１つずつ変更する指示を表す画像である。
上記各ボタン画像８２〜８７に対する操作（具体的には、ボタン画像をタッチする操作）によって、ユーザは表示装置４の電源、入力切替、音量、および選局を操作することができる。なお、操作画像８１は、上記各ボタン画像８２〜８７のいくつかのみを含んでいてもよい。また、操作画像８１は、上記各ボタン画像８２〜８７に加えて、あるいは、上記各ボタン画像８２〜８７のいくつかに代えて、一般的なテレビのリモコンが有するボタンを含んでいてもよい。例えば、操作画像８１は、各チャンネルの番号を表すボタン画像、テレビ放送から取得される電子番組表を表示する指示を表すボタン画像、および、（表示装置４が録画機能を有する場合）録画の指示を表すボタン画像のうちのいくつかを含んでいてもよい。また、操作画像８１は、番組表の画像を含んでもいてもよい。
また、操作画像８１は、第２情報処理に対する指示を行うためのボタン画像として、終了ボタン画像８８を含む。終了ボタン画像８８は、第２情報処理を終了する、すなわち、第２プログラムの実行を終了する指示を行うためのボタン画像である。ユーザは、終了ボタン画像８８に対する操作によって、第２情報処理を終了することができる。
なお、上記においては、第２出力画像として表示される「操作に関する画像」の一例として、操作を行うためのボタン画像が表示される場合を例として説明した。なお、上記「操作に関する画像」は、例えば、操作方法を表す画像であってもよい。「操作に関する画像」は、例えば、「Ｌボタン：音量増」および「Ｒボタン：音量減」のように、操作装置２のボタンと、当該ボタンによって行われる指示との対応（換言すれば、ボタンと指示との割り当て）を示す画像であってもよい。
＜７−３：各情報処理における操作データの使用＞
上記のように、本実施形態においては、第２情報処理の実行中において、第１情報処理も実行される。したがって、第１情報処理に関する操作と第２情報処理に関する操作との両方の操作が操作装置２によって行われる。つまり、操作装置２の各構成要素は、各情報処理に用いられる可能性がある。そこで、本実施形態においては、操作装置２を２つの情報処理に対応させるべく、操作装置２の各構成要素を次のように使用する。以下、詳細を説明する。
図１６は、第１および第２情報処理と、操作装置２の各構成要素の使用との対応の一例を示す図である。操作装置２のボタン群１４（ただし、起動ボタン１４Ｃを除く）は、第２情報処理において一部が使用される。つまり、各ボタン１４Ａ〜１４Ｉのうちのいくつかのボタンは、第２情報処理において使用される。例えば、選択中のボタン画像を変更する操作のために十字ボタン１４Ａが使用されてもよいし、選択中のボタン画像が表す指示の実行を決定するためにボタン群１４Ｅのいずれかが使用されてもよい。
上記のように上記ボタン群１４（起動ボタン１４Ｃを除く）は、第２情報処理において使用されるので、第２情報処理の実行中における第１情報処理においては使用されない（無効とされる）。なお、上記ボタン群１４のうちで第２情報処理において使用されないボタンについては、第２情報処理の実行中における第１情報処理において使用されてもよい。
また、起動ボタン１４Ｃは、第２プログラムを起動（あるいは終了）するために第２情報処理において使用される。そのため、起動ボタン１４Ｃは、第２情報処理の実行中であるか否かに関わらず、第１情報処理においては使用されない。
方向入力部１３は、第２情報処理において使用される。例えば、選択中のボタン画像を変更する操作のために方向入力部１３が使用されてもよい。方向入力部１３は、第２情報処理の実行中における第１情報処理では、使用されない。
各センサ２３〜２５は、第２情報処理では使用されない。そのため、第２情報処理の実行中における第１情報処理においては、各センサ２３〜２５は、単独での実行時と同じように取り扱われる。なお、「単独での実行時」とは、第２情報処理が実行中でない場合における第１情報処理の実行時のことである。つまり、単独での実行時において使用されているセンサは、第２情報処理が実行中である場合もそのまま第１情報処理において使用される。一方、単独での実行時において使用されていないセンサは、第２情報処理が実行中である場合もそのまま第１情報処理において使用されない。
タッチパネル１２は、第２情報処理において使用される。タッチパネル１２は、例えば上述のボタン画像に対する操作を行うために使用される。そのため、第１情報処理においては使用されない。
マイク３２は、第２情報処理において使用されない。そのため、第２情報処理の実行中における第１情報処理においては、マイク３２は、単独での実行時と同じように取り扱われる。
カメラ１６は、第２情報処理において使用されない。そのため、第２情報処理の実行中における第１情報処理においては、カメラ１６は、単独での実行時と同じように取り扱われる。
以上のように、入力部（操作部、マイク３２、およびカメラ１６）は、２つの情報処理のいずれか一方で使用される。つまり、入力部に関しては、第２情報処理で使用されるものについては、第１情報処理で使用されない。一方、第２情報処理で使用されないものについては、第１情報処理においては単独での実行時と同じように取り扱われる。これによって、一方の情報処理に対するユーザの入力が他方の情報処理において誤って使用されることがなく、誤入力を防止することができる。
なお、「操作部が第１情報処理で使用されない」とは、情報処理装置３が当該操作部に対する操作を無効として第１情報処理を実行する、換言すれば、当該操作部に対する操作を表す操作データを無効として第１情報処理を実行する、ということである。このとき、操作装置２は、第１情報処理で使用されない操作部に関する操作データを情報処理装置３へ送信してもよいし、しなくてもよい。
また、出力機能あるいは通信機能を有する各構成要素は、次のように取り扱われる。第２情報処理の実行中において、スピーカ３１は、第１および第２情報処理装置の両方において用いられる。これによって、ユーザは、２つの情報処理による両方の音声を聞くことができる。例えば、操作装置２は、２つの情報処理のいずれにおいても、警告音を出力することでユーザに対して注意喚起を行うことができる。
具体的には、操作装置２（通信データ管理部２７および／またはサウンドＩＣ３０）は、第１情報処理による音声（上記第１出力音声）と、第２情報処理による音声（上記第２出力音声）とをミキシングしてスピーカ３１から出力する。ここで、本実施形態においては、操作装置２は、第２情報処理の実行中において、第１出力音声の音量を、第１情報処理の単独での実行時に比べて小さくして出力する。操作装置２は、第１出力音声を第２出力音声よりも比率を小さくして出力してもよい。具体的には、操作装置２は、第１出力音声と第２出力音声とを、２５：１００の比率でミキシングして出力してもよい（図１６においては「音量２５％」と記載）。これによれば、操作装置２は、第２出力音声をユーザが聞き取りやすくすることができるとともに、２つの情報処理による両方の音声をユーザに聞かせることができる。
バイブレータ２６は、第２情報処理において使用されない。また、第２情報処理の実行中においてバイブレータ２６が作動することによって第２情報処理に関する操作に何らかの影響を及ぼす可能性があることを考慮して、第２情報処理の実行中における第１情報処理においてバイブレータ２６は使用されない。
マーカ部１５は、第２情報処理において使用されない。そのため、第２情報処理の実行中における第１情報処理においては、マーカ部１５は、単独での実行時と同じように取り扱われる。
また、赤外線発光部３８は、第２情報処理において使用される。なお、第１情報処理においては、赤外線発光部３８は使用されない（使用が禁止される）。
赤外線通信部３６は、第２情報処理において使用されない。また、第２情報処理においては、上記赤外線発光部３８が使用されるので、赤外線発光部３８からの赤外線信号が操作装置２の窓２０（図３参照）を介して出射される。そのため、第２情報処理の実行中における第１情報処理においては、赤外線通信部３６から赤外線信号が出力されると、赤外線発光部３８による赤外線信号に何らかの影響を及ぼされる可能性を考慮して、赤外線通信部３６の使用が禁止される。
近距離無線通信部３７は、第２情報処理装置において使用されない。また、第２情報処理の実行中における第１情報処理においては、近距離無線通信部３７の使用によって何らかの影響（操作ミス等）が生じる可能性を考慮して、近距離無線通信部３７の使用が禁止される。
以上のように、外部装置との間で拡張通信を行う構成要素（赤外線通信部３６および近距離無線通信部３７）は、第２情報処理の実行中における第１情報処理においては使用されない。これによって、操作ミス等の可能性を低減することができる。ただし、本実施形態の変形例においては、上記構成要素は、第２情報処理の実行中における第１情報処理において使用されてもよい
なお、「通信機能を有する構成要素が第１情報処理で使用されない」とは、情報処理装置３が当該構成要素が外部装置から取得したデータ（第２拡張通信データ等）を無効として第１情報処理を実行する、ということである。このとき、操作装置２は、当該データを情報処理装置３へ送信してもよいし、しなくてもよい。
コネクタ２６については、第２情報処理装置において使用されない。また、追加の操作機能を有する周辺装置がコネクタ２６に接続されている場合に、当該周辺装置が第２情報処理の実行後においても使用可能とすること等を考慮して、第２情報処理の実行中における第１情報処理において、コネクタ２６は、単独での実行時と同じように取り扱われる。なお、第２情報処理の実行中における第１情報処理においては、コネクタ２６の使用によって何らかの（操作ミス等）影響が生じる可能性を考慮して、コネクタ２６の使用が禁止されてもよい。
なお、通信機能を有する構成要素について使用が禁止される場合、操作装置２は、通信に関する制御指令（コマンド）を送信しない。また、使用が禁止された時点（第２プログラムが起動された時点）で通信の接続中であれば、操作装置２は、通信を停止（切断）する処理を実行する。
＜７−４：処理例＞
次に、操作装置２および情報処理装置３における処理の流れの一例を説明する。図１７は、操作装置２における処理の一例を示すフローチャートである。本実施形態では、操作装置２における処理は通信データ管理部２７において実行される。ここで、操作装置２および情報処理装置３の起動後において、第１プログラムを実行する指示がユーザによって行われることに応じて、情報処理装置３は第１プログラムの実行を開始する。図１７に示すフローチャートは、第１プログラムの実行開始後に実行される処理を示している。なお、第１プログラムの実行は、どのような方法で開始されてもよい。例えば、操作装置２および情報処理装置３の起動に応じて操作装置２にメニュー画面が表示され、メニュー画面が表示されている状態において、第１プログラムを実行する指示がユーザによって行われることに応じて第１プログラムが起動されてもよい。また、操作装置２および情報処理装置３の起動後に第１プログラムが自動的に起動されてもよい。
また、図１７に示す各ステップの処理は、通信データ管理部２７によって実行されるものとする。ただし、上記各ステップの処理は、通信データ管理部２７に限らず、操作装置２の任意の構成要素によって実行されてもよい。
第１プログラムの実行が開始された後、ステップＳ１において、第１情報処理に応じた処理が実行される。すなわち、操作装置２は、情報処理装置３から送信されてくるデータを受信し、受信したデータに応じた処理を実行する。例えば、通信データ管理部２７は、出力画像データを受信し、出力画像を表示部１１に表示する。また例えば、通信データ管理部２７は、出力音声データを受信し、出力音声をスピーカ３１から出力する。また、操作装置２は、情報処理装置３へ送信すべきデータを生成し、情報処理装置３へ送信する。例えば、入出力制御部２１は操作データを生成し、通信データ管理部２７は、生成された操作データを含む送信情報データを生成して情報処理装置３へ送信する。また例えば、通信データ管理部２７は、必要に応じてカメラ画像データおよび／またはマイク音声データを情報処理装置３へ送信する。また例えば、通信データ管理部２７は、必要に応じて外部装置と通信を行い、通信によって得られたデータの情報処理装置３への送信、および／または、通信に必要なデータの情報処理装置３からの受信を行う。なお、ステップＳ１において実行される上記の各処理の具体的な内容は、上述の［４．操作装置と情報処理装置との間で通信されるデータ］〜 [６．操作データの生成]において記載されている。
ステップＳ２において、操作装置２は、第２プログラムを起動するか否かを判定する。すなわち、操作装置２は、上述の起動操作が行われたか否かを判定する。なお、操作装置２は、例えば上述の起動ボタン１４Ｃに対する入力状況を表すボタンデータを参照して、起動ボタン１４Ｃが押下されたか否かを判定することによって、ステップＳ２の判定を行うことができる。なお、ステップＳ２における処理は、通信データ管理部２７と入出力制御部２１とのいずれが実行してもよい。ステップＳ２の処理の判定結果が肯定である場合、ステップＳ３の処理が実行される。一方、ステップＳ２の処理の判定結果が否定である場合、上記ステップＳ１の処理が実行される。
以上より、ステップＳ２において第２プログラムを起動すると判定されるまで、ステップＳ１の処理が繰り返し実行される。つまり、上記起動操作が行われるまでは、操作装置２においては、第１情報処理に応じた処理が実行される。なお、上記においては、ステップＳ１の処理は、所定の頻度で繰り返し実行されるものとするが、ステップＳ１において行われる各処理は、ステップＳ１が実行される頻度と同じ頻度で実行されるとは限らない。例えば、ステップＳ１の処理が上述した１フレーム時間（時間Ｔ１）に１回の頻度で実行される場合には、送信情報データを送信する処理は、当該頻度よりも高い頻度で実行されてもよい。つまり、送信情報データを送信する処理は、１回のステップＳ１において複数回実行されてもよい。
ステップＳ３において、操作装置２は、外部装置との通信を停止（切断）する。例えば、通信データ管理部２７は、外部装置に対して通信を切断する旨の指示を送信する等の切断処理を実行する。外部装置との通信を切断する処理が完了すると、操作装置２はステップＳ４の処理を実行する。なお、ステップＳ３の時点（第２プログラムを起動する時点）において、操作装置２と外部装置との間で通信が行われていない場合には、操作装置２は切断処理を行わずにステップＳ４の処理に進む。
ステップＳ４において、操作装置２は、第２プログラムを起動する。すなわち、通信データ管理部２７のＣＰＵ２８は、フラッシュメモリ３５から第２プログラムを読み出して実行を開始する。なお、後述するステップＳ６〜Ｓ９の処理は、ＣＰＵ２８が第２プログラムを実行することによって行われる。ステップＳ４の次にステップＳ５の処理が実行される。以降、ステップＳ５〜Ｓ９の処理が繰り返し実行される。
以上のように、操作装置２は、操作装置２に対する所定の操作が行われた場合、所定のプログラム（第２プログラム）を実行する。ここで、上記においては、操作装置２は、情報処理装置３から受信される画像データが表す画像が表示部１１に表示されている状態において上記所定の操作が行われた場合、上記所定のプログラムを実行した。なお、操作装置２は、上記画像データが表す画像が表示部１１に表示されていない状態において上記所定の操作が行われた場合についても、上記所定のプログラムを実行してもよい。つまり、操作装置２は、情報処理装置３において第１プログラムが実行されていない場合であっても、（上記所定の操作が行われたことに応じて）第２プログラムを実行してもよい。
ステップＳ５において、操作装置２は、第１情報処理に応じた処理を実行する。ステップＳ５の処理は、出力画像の表示処理、および、出力音声の出力処理が実行されない（これらの処理は後述するステップＳ６およびＳ７で実行される）点を除いて、上記ステップＳ１の処理と同じであってもよい。また、ステップＳ５において、操作装置２は、第２情報処理中における第１情報処理において使用されないデータを操作データに含めないようにしてもよい。ステップＳ５の次にステップＳ６の処理が実行される。
ステップＳ６において、操作装置２は、少なくとも第２出力画像を表示部１１に表示する。上述のように本実施形態においては、操作装置２は、第１出力画像と第２出力画像とを重ねて表示部１１に表示する。ステップＳ６の処理において具体的には、通信データ管理部２７は、第２出力画像を取得する。ここで、本実施形態においては、第２出力画像を取得するためのデータは、操作装置２内の記憶部（例えばフラッシュメモリ３５）に記憶されている。通信データ管理部２７は、当該記憶部に記憶されているデータを用いて第２出力画像を取得する。なお、「第２出力画像を取得するためのデータ」は、第２出力画像の画像データそのものであってもよいし、第２出力画像を生成するために用いられるデータ（例えばボタン画像のデータ）であってもよい。また、操作装置２は、「第２出力画像を取得するためのデータ」を情報処理装置３から受信することによって取得してもよい。次に、通信データ管理部２７は、ステップＳ５で生成された第１出力画像に、第２出力画像を重ねた画像を生成する。そして、通信データ管理部２７は、生成された画像を表示部１１に表示させる。これによって、第１出力画像および第２出力画像が表示部１１に表示される。
ステップＳ７において、操作装置２は、スピーカ３１に音声を出力する。上述のように本実施形態においては、操作装置２は、第１出力音声および第２出力音声をスピーカ３１から出力する。ステップＳ７の処理において具体的には、通信データ管理部２７は、第２出力音声を取得する。ここで、本実施形態においては、第２出力音声を取得するためのデータは、操作装置２内の記憶部（例えばフラッシュメモリ３５）に記憶されている。通信データ管理部２７は、当該記憶部に記憶されているデータを用いて第２出力音声を取得する。なお、「第２出力音声を取得するためのデータ」は、第２出力音声の音声データそのものであってもよいし、第２出力音声を生成するために用いられるデータ（例えば音源データ）であってもよい。また、操作装置２は、「第２出力音声を取得するためのデータ」を情報処理装置３から受信することによって取得してもよい。次に、通信データ管理部２７は、ステップＳ５で生成された第１出力音声と、第２出力画像とをミキシングしてサウンドＩＣ３０へ出力する。通信データ管理部２７は、上述のように、操作装置２は、第１出力音声を第２出力音声よりも低い比率でミキシングしてもよい。以上によって、第１出力音声および第２出力音声がスピーカ３１から出力される。
ステップＳ８において、操作装置２は、ユーザによる操作に応じた処理を実行する。ステップＳ８における具体的な処理はどのような内容でもよい。本実施形態においては、操作装置２は、ユーザによる操作に応じて、表示装置４へ制御信号を送信する処理を実行する。具体的には、通信データ管理部２７は、表示装置４に対する命令を表す各ボタン画像（ボタン画像８２〜８７）のいずれかに対して操作が行われた（例えばボタン画像がタッチされた）か否かを判定する。そして、上記各ボタン画像のうちで、操作が行われたボタン画像がある場合、通信データ管理部２７は、当該ボタン画像に対応する制御信号を出力する。ここで、表示装置４に対する制御信号は、例えば、ボタン画像と関連づけられて操作装置２内の記憶部（例えばフラッシュメモリ３５）に記憶されていてもよい。このとき、通信データ管理部２７は、操作が行われたボタン画像に関連づけられている制御信号を記憶部から読み出して出力する。なお、操作装置２は、情報処理装置３から制御信号を受信することによって取得し、取得した制御信号を出力してもよい。また、制御信号は、赤外線発光部３８によって赤外線信号として出力される。すなわち、通信データ管理部２７は、制御信号を赤外線発光部３８に出力させる。これによって、表示装置４の赤外線受光部において制御信号が受信され、表示装置４は制御信号に従った動作を行う。上記ステップＳ８の次にステップＳ９の処理が実行される。
なお、上記ステップＳ８において、上記ボタン画像に対して操作が行われていない（すなわち、操作が行われたボタン画像がない場合）、操作装置２は制御信号を出力しない。
ステップＳ９において、操作装置２は、第２プログラムを終了するか否かを判定する。ステップＳ９の判定は、例えば、第２プログラムを終了する操作が行われたか否かによって行われる。第２プログラムを終了する操作は、例えば、（第２情報処理の実行中における）上述の起動ボタン１４Ｃに対する操作であってもよいし、上述の終了ボタン画像８８（図１５）に対する操作であってもよい。なお、操作装置２は、例えば上述の起動ボタン１４Ｃに対する入力状況を表すボタンデータを参照して、起動ボタン１４Ｃが押下されたか否かを判定することによって、ステップＳ９の判定を行うことができる。また、操作装置２は、例えば入力位置データを参照して、終了ボタン画像８８に対する操作が行われたか否かを判定することによって、ステップＳ９の判定を行うことができる。ステップＳ９の判定結果が否定である場合、ステップＳ５の処理が再度実行される。以降、ステップＳ９の判定結果が肯定となるまで、ステップＳ５〜Ｓ９の一連の処理が繰り返し実行される。一方、ステップＳ９の判定結果が肯定である場合、ステップＳ１の処理が再度実行される。このとき、第２プログラムの実行は終了され、操作装置２は、第１情報処理に応じた処理を実行する。
なお、図１７に示すフローチャートにおいては、操作装置２は、ステップＳ３〜Ｓ９の各処理を直列的に実行するものとした。ただし、本実施形態においては、操作装置２は、ステップＳ３〜Ｓ９の各処理のうちのいくつかの処理を並列的に実行してもよい。
図１８は、情報処理装置３における処理の一例を示すフローチャートである。図１８に示すフローチャートは、情報処理装置３における第１プログラムの実行開始後に実行される処理を示している。また、図１８に示す各ステップの処理は、制御部４１のＣＰＵ４２によって実行されるものとする。ただし、上記各ステップの処理は、ＣＰＵ４２に限らず、操作装置２の任意の構成要素によって実行されてもよい。
第１プログラムの実行が開始された後、ステップＳ１１において、情報処理装置３は、第２プログラムが実行中か否かを判定する。情報処理装置３は、例えば、操作装置２から受信される上述の起動状態データに基づいて判定を行う。すなわち、ＣＰＵ４２は、操作装置２から受信された操作データに含まれる起動状態データを参照し、起動状態データが第２プログラムが実行中であることを示すか否かを判定する。なお、情報処理装置３は、起動状態データに代えて、または、起動状態データに加えて、起動ボタン１４Ｃのボタンデータを用いて判定を行ってもよい。ステップＳ１１の処理の判定結果が否定である場合、ステップＳ１２の処理が実行される。一方、ステップＳ１１の処理の判定結果が肯定である場合、ステップＳ１３の処理が実行される。
ステップＳ１２において、情報処理装置３は、第１情報処理を実行する。すなわち、情報処理装置３は、操作装置２から操作データを受信し、受信した操作データに基づいて第１情報処理を実行し、出力画像データ（および出力音声データ）を生成する。また、情報処理装置３は、出力画像データ（および出力音声データ）を操作装置２へ送信する。このとき、情報処理装置３は、必要に応じて、操作装置２の各構成要素（例えばバイブレータ２６、および、マーカ部１５等）に動作を行わせる制御指示を操作装置２へ送信してもよい。なお、この制御指示は、上述の制御データとして送信されてもよい。また、情報処理装置３は、必要に応じて、操作装置２と外部装置との通信に関する上述の第１拡張通信データを操作装置２へ送信してもよい。
なお、ステップＳ１２においては、情報処理装置３は、第２情報処理が実行中であることに起因する制限を加えることなく、操作データを第１情報処理のための入力として用いる。つまり、情報処理装置３は、操作データに含まれるいくつかのデータを無効とすることなく、第１情報処理を実行する。ただし、上述のように、起動ボタン１４Ｃのボタンデータは第１情報処理において使用されない。上記ステップＳ１２の次に、後述するステップＳ１４の処理が実行される。
また、情報処理装置３は、操作装置２からの上記カメラ画像データおよび／またはマイク音声データを上記第１情報処理において用いてもよい。つまり、情報処理装置３は、操作装置２から受信した操作データとカメラ画像データ（および／またはマイク音声データ）とを用いて情報処理を実行してもよい。例えば、情報処理装置３は、第１情報処理において、カメラ画像データが表す画像に所定の加工を行って表示装置４に表示させる処理を実行してもよいし、マイク音声データが表す音声を認識し、音声認識の結果に従った処理を実行してもよい。
また、情報処理装置３は、操作装置２からの上記第２通信管理データを上記第１情報処理において用いてもよい。つまり、情報処理装置３は、操作装置２から受信した操作データと通信管理データとを用いて情報処理を実行してもよい。例えば、情報処理装置３は、通信管理データの内容に応じて情報処理の内容を変更するようにしてもよいし、操作データおよび通信管理データを入力として用いて情報処理を実行するようにしてもよい。
一方、ステップＳ１３において、情報処理装置３は、操作装置２に対する操作のうち一部の操作を無効として、第１情報処理を実行する。すなわち、情報処理装置３は、操作装置２から受信した操作データのうち、一部のデータを使用せずに第１情報処理を実行し、出力画像データ（および出力音声データ）を生成する。なお、第１情報処理において無効とされる（使用が制限される）操作部の一例は、上述の“＜７−３：各情報処理における操作データの使用＞”で記載されている。また、ステップＳ１３における第１情報処理においては、情報処理装置３は、バイブレータ２６を作動させる制御指示を操作装置２へ送信しない。また、ステップＳ１３における第１情報処理においては、情報処理装置３は、操作装置２と外部装置との通信に関する第１拡張通信データを操作装置２へ送信しない。ステップＳ１３の次にステップＳ１４の処理が実行される。
ステップＳ１４において、情報処理装置３は、表示装置４へ画像および音声を出力する。表示装置４へ出力すべき画像および音声は、上記ステップＳ１２またはＳ１３の処理において生成されてもよいし、ステップＳ１４において上記第１情報処理に基づいて生成されてもよい。ＣＰＵ４２は、生成された画像および音声をＡＶ−ＩＣ４７へ出力する。ＡＶ−ＩＣ４７は上記画像を、ＡＶコネクタ４８を介して表示装置４へ出力する。これによって、表示装置４に画像が表示される。また、ＡＶ−ＩＣ４７は上記音声を、ＡＶコネクタ４８を介してスピーカ５へ出力する。これによって、スピーカ５から音声が出力される。
ステップＳ１４の次に、上述のステップＳ１１の処理が再度実行される。情報処理装置３は、上記ステップＳ１１〜Ｓ１４の一連の処理からなる処理ループを所定時間（例えば１フレーム時間）に１回の割合で繰り返し実行する。なお、情報処理装置３は、例えばユーザ等によって終了指示が行われた場合、図１８に示す一連の処理を終了する。
なお、図１７および図１８に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて別の処理が実行されてもよい。
＜７−５：効果＞
以上に示した構成および動作によって、操作装置２は、以下に示す効果を奏する。なお、以下に示す効果を奏するためには、操作装置２は、以下において効果とともに説明する構成を有していればよく、本実施形態における全て構成を備えている必要はない。
以上のように、本実施形態においては、操作装置２は、操作データを情報処理装置３へ送信し、情報処理装置３において操作データに基づいた処理によって生成される画像データを情報処理装置３から受信する。そして、操作装置２は、操作装置２に対する所定の操作（起動操作）が行われた場合、所定のプログラム（第２プログラム）を実行し、少なくとも当該プログラムの実行による画像を表示部に表示させる。また、操作装置２は、上記所定のプログラムが実行中であることを表すデータ（実行中データ）を情報処理装置３へ送信する。これによれば、情報処理装置３で実行される情報処理（第１情報処理）による画像を操作装置２において表示する間に、操作装置２において別の情報処理（第２情報処理）を実行することができる。したがって、操作装置２をより多くの情報処理のために用いることができる。ユーザは、操作装置２をより多くの目的で使用することができ、ユーザの利便性を向上することができる。また、本実施形態においては、上記所定のプログラムが実行中であることを表すデータが情報処理装置３へ送信されるので、情報処理装置３は、当該プログラムの実行状態を識別することができる。これによって、情報処理装置３は、操作データに基づいて上記画像データを生成する情報処理の内容を、上記プログラムの実行状態に応じて変更することができる。
また、本実施形態においては、操作装置２は、上記プログラム（第２プログラム）の実行による画像（第２出力画像）として、当該プログラムによって実行される所定の処理に関する操作を行うための操作画像８１を少なくとも表示する。これによれば、情報処理装置３における情報処理に対する入力を操作装置２によって行うことができるとともに、操作装置２における情報処理に対する入力を操作装置２によって行うことができる。なお、本実施形態の変形例において、操作装置２は、操作画像とは異なる他の画像を表示するようにしてもよい。
また、本実施形態においては、操作装置２は、上記所定のプログラムの実行中か否かに関わらず情報処理装置３から画像データを受信する。そして、操作装置２は、上記プログラムの実行中においては上記画像データが表す画像（第１出力画像）を、当該プログラムの実行による画像（第２出力画像）とともに表示する。これによれば、操作装置２には、情報処理装置３における情報処理に関する画像が表示されるとともに、操作装置２における情報処理に関する画像が表示される。すなわち、操作装置２は、上記２つの情報処理に関するそれぞれの画像をユーザに提供することができる。ユーザは、操作装置２を用いて上記２つの画像の両方を確認することができる。なお、本実施形態の変形例において、操作装置２は、上記所定のプログラムの実行中においては情報処理装置３から画像データを受信しないようにしてもよい。また、本実施形態の変形例において、操作装置２は、上記プログラムの実行中においては上記画像データが表す画像（第１出力画像）を表示しないようにしてもよい。
また、本実施形態においては、操作装置２は、操作部のうちの一部の操作部（ボタン群１４の一部のボタン、方向入力部１３、および、タッチパネル１２）に対する操作を入力として所定の処理（第２情報処理）を実行する。このとき、情報処理装置３は、上記所定のプログラムが実行中であることを表すデータ（実行中）を受信する場合、上記一部の操作部に対する操作を無効として操作データに基づく処理を実行することによって画像データを生成する。これによれば、操作装置の操作部のうちの上記一部の操作部に対する操作は、操作装置２において実行される所定の処理において用いられ、情報処理装置３において実行される処理においては用いられない。したがって、ある操作部に対する操作が、ユーザが意図しない処理に用いられることがなく、誤入力を防止することができる。なお、本実施形態の変形例において、情報処理装置３は、上記所定のプログラムが実行中であることを表すデータ（実行中）を受信する場合であっても、上記一部の操作部に対する操作を無効とせずに操作データに基づく処理を実行してもよい。
また、本実施形態においては、操作装置２は、上記一部の操作部として、表示部１１の画面上に設けられるタッチパネル１２を備える。これによれば、操作装置２は、操作装置２における情報処理に対する入力を、タッチパネル１２を用いた直感的な操作によってユーザに行わせることができる。さらに、上記情報処理に対する操作を行うための画像（例えば、情報処理に対する指示を行うためのボタン画像）が上記操作画像として表示部１１に表示される場合には、当該画像に対する直感的かつ容易な操作をユーザに提供することができる。なお、本実施形態の変形例において、上記一部の操作部は、タッチパネル以外の操作部であってもよい。
また、本実施形態においては、操作装置２は、上記一部の操作部として１以上のボタンを備える。これによれば、操作装置２は、操作装置２における情報処理に対する入力を、ボタンを用いた容易な操作によってユーザに行わせることができる。なお、本実施形態の変形例において、上記一部の操作部は、ボタン以外の操作部であってもよい。
また、本実施形態においては、操作装置２は、操作装置２の位置、姿勢、および動きのうちの少なくとも１つを検出するセンサ（加速度センサ２３、ジャイロセンサ２４、および磁気センサ２５）を備える。また、操作装置２は、上記所定のプログラムの実行中か否かに関わらず、（情報処理装置３において画像データを生成する処理のために、）上記センサによる検出結果に基づくデータを含む操作データを送信する。このとき、操作装置２は、上記センサによる検出結果を用いずに上記所定の処理（第２情報処理）を実行する。これによれば、操作装置２自体を動かす操作が、ユーザの意図に反して操作装置２における処理に用いられることがなく、誤入力を防止することができる。また、情報処理装置３において上記各センサによる検出結果に基づくデータを含む操作データが用いられる場合には、操作装置２は、情報処理装置３における情報処理に対する入力を、操作装置２自体を動かす直感的な操作によってユーザに行わせることができる。さらに、操作装置２における情報処理に対する入力がタッチパネル１２によって行われる場合には、操作装置２における情報処理と情報処理装置３における情報処理との両方の処理に関して直感的な操作をユーザに提供することができる。なお、本実施形態の変形例において、操作装置２は、上記センサによる検出結果に基づくデータを用いて上記所定の処理を実行してもよい。
また、本実施形態においては、操作装置２は、情報処理装置３からの音声データが表す音声（第１出力音声）、および／または、上記所定の処理によって生成される音声（第２出力音声）を出力する。操作装置２は、上記所定のプログラムの実行中においては、当該プログラムが実行されていない場合に比べて音声データが表す音声（第１出力音声）を小さくして、上記所定の処理によって生成される音声（第２出力音声）とともに出力する。これによれば、操作装置２は、操作装置２における情報処理による音声と情報処理装置３における情報処理による音声との両方をユーザに提供することができるとともに、操作装置２における情報処理による音声をユーザに聞き取りやすく提供することができる。なお、本実施形態の変形例において、操作装置２は、上記所定のプログラムの実行中においては、当該プログラムが実行されていない場合に比べて音声データが表す音声を大きくして（または同程度にして）出力してもよい。
また、本実施形態においては、操作装置２は、上記所定のプログラムが実行中であるか否かを表すデータを操作データとともに所定の頻度で情報処理装置３へ送信する。これによれば、情報処理装置３は、上記所定のプログラムの実行状態を確実に確認することができる。なお、本実施形態の変形例において、操作装置２は、上記所定のプログラムが実行中であるか否かを表すデータを操作データとは別にして情報処理装置３へ送信してもよい。
また、本実施形態においては、操作装置２は、上記所定のプログラムの実行による画像（第２出力画像）を、画像データが表す画像（第１出力画像）に重ねて表示する。これによれば、操作装置２は、操作装置２における情報処理による画像と情報処理装置３における情報処理による画像との両方をユーザに提供することができるとともに、操作装置２における情報処理による画像をユーザに見やすく提供することができる。なお、本実施形態の変形例においては、操作装置２は、上記所定のプログラムの実行による画像を、画像データが表す画像とは別に表示してもよいし、上記所定のプログラムの実行による画像のみを表示してもよい。
また、本実施形態においては、操作装置２は、情報処理装置３において生成された画像を表示可能な表示装置４に対して、操作装置２に対する操作に応じた制御を行うプログラムを所定のプログラムとして実行する。これによれば、ユーザは、操作装置２を用いて表示装置４を操作することができる。なお、例えば情報処理装置３において生成された画像が表示装置４に表示される場合には、操作装置２を用いて表示装置４を操作できることが有効である。
すなわち、本実施形態においては、操作装置２は、操作装置２とは異なる他の装置（上記では表示装置４）に対して、操作装置２に対する操作に応じた制御を行うプログラムを実行する。これによって、ユーザは、操作装置２を用いて他の装置を操作することができる。
なお、上記所定のプログラムの内容は、任意であり、上記他の装置に対して制御を行うプログラムに限らない。例えば、操作装置２がネットワーク（例えばインターネット）を介して他の情報処理装置と通信可能である場合、上記所定のプログラムは、当該他の情報処理装置との間で電子メールをやり取りするためのプログラム（いわゆるメーラー）であってもよいし、当該他の情報処理装置との間で映像および音声のやり取りを行うための（いわゆるテレビ電話の機能を有する）プログラムであってもよい。
また、本実施形態においては、操作装置２は、赤外線信号を発光する赤外線発光部３８を備える。また、表示装置４は、赤外線信号を受光する赤外線受光部を備える。操作装置２は、赤外線信号を赤外線発光部に出力させることによって表示装置４を制御する。これによれば、赤外線信号を受信する機能を有する一般的な表示装置（例えばテレビ）を本実施形態における情報処理システム１に用いることができ、種々の表示装置を情報処理システム１に用いることができる。また、赤外線信号を用いることで操作装置２によって表示装置４を容易に制御することができる。なお、本実施形態の変形例においては、操作装置２は、赤外線信号による通信機能を有している必要はない。また、操作装置２と表示装置４との間の通信は、赤外線信号を用いる方法以外の他の方法によって行われてもよい。
また、本実施形態においては、操作装置２は、所定のボタン（起動ボタン１４Ｃ）を備えており、上記所定の操作として当該所定のボタンに対する操作が行われた場合、所定のプログラムを実行する。これによれば、ユーザは所定のボタンを操作することによって容易に上記所定のプログラムを起動することができる。なお、上記所定の操作は、ボタンに対する操作以外の他の操作（例えば、タッチパネルに対する操作）によって行われてもよい。
なお、上記において、所定のボタンに対する操作が、情報処理装置３における情報処理（操作データに基づいて出力画像データを生成する処理）には使用されない場合には、ユーザは、情報処理装置３における情報処理の状況にかかわらずいつでも上記所定のプログラムを起動することができる。
また、本実施形態においては、操作装置２は、上記所定のプログラムが実行中であるか否かを表すデータと、所定のボタンに対する操作を表すデータとを情報処理装置３へ送信する。これによれば、これらのデータを受信する情報処理装置３は、所定のプログラムが実行中であるか否かをより精度良く判断することができる。なお、本実施形態の変形例においては、上記２つのデータのうちいずれか一方のみが情報処理装置３へ送信されてもよい。
また、本実施形態においては、操作装置２は、画像を記憶する記憶部（フラッシュメモリ３５）をさらに備え、上記記所定の操作（起動操作）が行われた場合、記憶部に記憶されている画像を表示部１１に表示させる。これによれば、操作装置２は、所定のプログラムの実行による画像を容易に生成することができる。なお、本実施形態の変形例においては、所定のプログラムの実行による画像は、記憶部に記憶されている画像でなくてもよい。
また、本実施形態においては、操作装置２は、上記画像データとして、情報処理装置３において実行されるゲーム処理によって生成されるゲーム画像データを受信する。表示部１１は、ゲーム画像データが表す画像を表示する。これによれば、ユーザは、情報処理装置３におけるゲーム処理に基づくゲームのプレイ中に、操作装置２において他のプログラムを起動することができる。なお、本実施形態の変形例においては、情報処理装置３はゲーム処理以外の他の情報処理を実行してもよく、操作装置２にはゲーム画像以外の他の画像が表示されてもよい。
［８．他の実施形態の一例］
上記実施形態においては、“［５．操作装置と情報処理装置との間の通信動作］”において、操作装置２と情報処理装置３との間における各データ（操作データを含む）の送受信について説明した。ただし、操作装置２と情報処理装置３との間におけるデータの送受信はどのような方法で行われてもよく、各データの送信間隔および送信タイミング等は任意でよい。
上記実施形態においては、“［７．第２プログラムの実行］”において、操作装置２がプログラム（第２プログラム）を実行する場合について説明した。ただし、操作装置２はプログラムを実行する機能を有していなくてもよい。また、操作装置２は、プログラムが実行中であることを示す実行中データ（例えば上述の起動状態データ）を情報処理装置３へ送信しなくてもよい。また、操作装置２は、表示装置４を制御する機能を備えていなくてもよい。
なお、上記実施形態においては、情報処理システム１は、３つの装置（操作装置２、情報処理装置３、および表示装置４）を含む構成であった。ただし、情報処理システムは、操作装置２および情報処理装置３として（つまり、表示装置４を含まない形態で）提供されてもよい。また、情報処理システムは、情報処理装置３と表示装置４とが一体として構成される形態であってもよい。
以上のように、本発明は、情報処理装置と通信可能な操作装置において、操作データを適切に送信すること等を目的として、例えば、ゲームシステム、および、それにおいて用いられる操作装置として利用することができる。
１ 情報処理システム
２ 操作装置
３ 情報処理装置
４ 表示装置
１１ 表示部
１２ タッチパネル
１３ 方向入力部
１４ ボタン群
１６ カメラ
２１ 入出力制御部
２３ 加速度センサ
２４ ジャイロセンサ
２５ 磁気センサ
２７ 通信データ管理部
２８ ＣＰＵ
２９ メモリ
３１ スピーカ
３２ マイク
３３ 無線モジュール
３６ 赤外線通信部
３７ 近距離無線通信部
３８ 赤外線発光部
４１ 制御部
４２ ＣＰＵ
４３ メモリ
４４ 圧縮伸張部
４５ 無線モジュール
５０ 送信情報データ
５１ 操作データ
５２ 管理データ
５３ 通信管理データ
５４ 起動状態データ
７１ 送信ボタンデータ
７２ 送信指示方向データ
７３ 送信加速度データ
７４ 送信角速度データ
７５ 送信磁気データ
７６ 送信入力位置データ
８０ 出力画像（第１出力画像）
８１ 操作画像（第２出力画像）

Claims (32)

  1. 情報処理装置と無線通信可能な操作装置であって、
    ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する角速度の９個分を加算した値を表すデータと、
    前記加速度センサが検出する加速度の１個分を表すデータと、
    前記方向入力部が検出する方向の１個分を表すデータと、
    前記タッチパネルが検出する位置の１０個分を表すデータとを含む、操作装置。
  2. 前記操作部は、磁気センサをさらに含み、
    前記生成部は、前記磁気センサが検出する磁気方向の１個分を表すデータをさらに含む前記操作データを生成する、請求項１に記載の操作装置。
  3. 前記生成部は、前記加速度の１個分を表すデータとして、前記加速度センサが検出する複数回分の加速度の平均値を表すデータを含む前記操作データを生成する、請求項１に記載の操作装置。
  4. 前記生成部は、前記方向の１個分を表すデータとして、前記方向入力部が検出する複数回分の方向の平均値を表すデータを含む前記操作データを生成する、請求項１または請求項３に記載の操作装置。
  5. 情報処理装置と無線通信可能な操作装置であって、
    ジャイロセンサ、加速度センサ、方向入力部、磁気センサ、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する９回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する４回分の加速度の平均値を表すデータと、
    前記方向入力部が検出する４回分の方向の平均値を表すデータと、
    前記磁気センサが検出する１回分の磁気方向を表すデータと、
    前記タッチパネルが検出する１０回分の位置を表すデータとを含む、操作装置。
  6. 情報処理装置と無線通信可能な操作装置であって、
    ジャイロセンサ、加速度センサ、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する複数回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する複数回分の加速度の平均値を表すデータと、
    前記タッチパネルが検出する複数回分の位置を表すデータとを含む、操作装置。
  7. 前記操作部は、磁気センサをさらに含み、
    前記生成部は、前記磁気センサが検出する１回分の磁気方向を表すデータを前記操作データに含める、請求項６に記載の操作装置。
  8. 情報処理装置と無線通信可能な操作装置であって、
    第１センサと、
    前記第１センサよりも高い頻度で検出結果を出力する第２センサと、
    前記第２センサよりも高い頻度で検出結果を出力する第３センサと、
    前記第１センサが検出する１回分の値を表すデータと、前記第２センサが検出する複数回分の値の平均値を表すデータと、前記第３センサが検出する複数回分の値の和を表すデータとを含む操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備える、操作装置。
  9. 前記第１センサは磁気センサであり、
    前記第２センサは加速度センサであり、
    前記第３センサはジャイロセンサである、請求項８に記載の操作装置。
  10. 前記生成部は、２のｎ乗回（ｎは１以上の整数）分の加速度の平均値を表すデータを前記操作データに含める、請求項３、請求項６および請求項９のいずれか１項に記載の操作装置。
  11. 前記通信部は、前記ジャイロセンサおよび前記加速度センサの少なくとも１つについてセンサの入出力関係（入出力特性）を表すセンサ特性データを前記操作データとは別に前記情報処理装置へ送信し、
    前記情報処理装置は、前記センサ特性データと前記操作データとに基づいて、前記センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する、請求項１から請求項１０のいずれか１項に記載の操作装置。
  12. 前記通信部は、前記情報処理装置において前記操作データに基づいた処理によって生成される画像の１画像分のデータを、前記操作データを送信する頻度よりも低い頻度で前記情報処理装置から受信し、
    前記情報処理装置から受信した前記画像を表示する表示部をさらに備える、請求項１から請求項１１のいずれか１項に記載の操作装置。
  13. 情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
    前記操作装置は、
    ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する角速度の９個分を加算した値を表すデータと、
    前記加速度センサが検出する加速度の１個分を表すデータと、
    前記方向入力部が検出する方向の１個分を表すデータと、
    前記タッチパネルが検出する位置の１０個分を表すデータとを含み、
    前記情報処理装置は、前記操作データを受信する、情報処理システム。
  14. 前記操作部は、磁気センサをさらに含み、
    前記生成部は、前記磁気センサが検出する磁気方向の１個分を表すデータをさらに含む前記操作データを生成する、請求項１３に記載の情報処理システム。
  15. 情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
    前記操作装置は、
    ジャイロセンサ、加速度センサ、方向入力部、磁気センサ、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する９回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する４回分の加速度の平均値を表すデータと、
    前記方向入力部が検出する４回分の方向の平均値を表すデータと、
    前記磁気センサが検出する１回分の磁気方向を表すデータと、
    前記タッチパネルが検出する１０回分の位置を表すデータとを含み、
    前記情報処理装置は、前記操作データを受信する、情報処理システム。
  16. 情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
    前記操作装置は、
    ジャイロセンサ、加速度センサ、およびタッチパネルを少なくとも含む操作部と、
    前記操作部から得られるデータに基づいて操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する複数回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する複数回分の加速度の平均値を表すデータと、
    前記タッチパネルが検出する複数回分の位置を表すデータとを含み、
    前記情報処理装置は、前記操作データを受信する、情報処理システム。
  17. 前記操作部は、磁気センサをさらに含み、
    前記生成部は、前記磁気センサが検出する１回分の磁気方向を表すデータを前記操作データに含める、請求項１６に記載の情報処理システム。
  18. 情報処理装置と、当該情報処理装置と無線通信可能な操作装置とを含む情報処理システムであって、
    前記操作装置は、
    第１センサと、
    前記第１センサよりも高い頻度で検出結果を出力する第２センサと、
    前記第２センサよりも高い頻度で検出結果を出力する第３センサと、
    前記第１センサが検出する１回分の値を表すデータと、前記第２センサが検出する複数回分の値の平均値を表すデータと、前記第３センサが検出する複数回分の値の和を表すデータとを含む操作データを生成する生成部と、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信部とを備え、
    前記情報処理装置は、前記操作データを受信する、情報処理システム。
  19. 前記第１センサは磁気センサであり、
    前記第２センサは加速度センサであり、
    前記第３センサはジャイロセンサである、請求項１８に記載の情報処理システム。
  20. 前記生成部は、２のｎ乗回（ｎは１以上の整数）分の加速度の平均値を表すデータを前記操作データに含める、請求項１３、請求項１６および請求項１９のいずれか１項に記載の情報処理システム。
  21. 情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
    ジャイロセンサ、加速度センサ、方向入力部、およびタッチパネルを少なくとも含む操作部から得られるデータに基づいて操作データを生成する生成ステップと、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信ステップとを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する角速度の９個分を加算した値を表すデータと、
    前記加速度センサが検出する加速度の１個分を表すデータと、
    前記方向入力部が検出する方向の１個分を表すデータと、
    前記タッチパネルが検出する位置の１０個分を表すデータとを含む、通信方法。
  22. 前記操作部は、磁気センサをさらに含み、
    前記生成ステップにおいて、前記操作装置は、前記磁気センサが検出する磁気方向の１個分を表すデータをさらに含む前記操作データを生成する、請求項２１に記載の通信方法。
  23. 前記生成ステップにおいて、前記操作装置は、前記加速度の１個分を表すデータとして、前記加速度センサが検出する複数回分の加速度の平均値を表すデータを含む前記操作データを生成する、請求項２１に記載の通信方法。
  24. 前記生成ステップにおいて、前記操作装置は、前記方向の１個分を表すデータとして、前記方向入力部が検出する複数回分の方向の平均値を表すデータを含む前記操作データを生成する、請求項２１または請求項２３に記載の通信方法。
  25. 情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
    ジャイロセンサ、加速度センサ、方向入力部、磁気センサ、およびタッチパネルを少なくとも含む操作部から得られるデータに基づいて操作データを生成する生成ステップと、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信ステップとを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する９回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する４回分の加速度の平均値を表すデータと、
    前記方向入力部が検出する４回分の方向の平均値を表すデータと、
    前記磁気センサが検出する１回分の磁気方向を表すデータと、
    前記タッチパネルが検出する１０回分の位置を表すデータとを含む、通信方法。
  26. 情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
    ジャイロセンサ、加速度センサ、およびタッチパネルを少なくとも含む操作部から得られるデータに基づいて操作データを生成する生成ステップと、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信ステップとを備え、
    １回に送信される前記操作データは、
    前記ジャイロセンサが検出する複数回分の角速度を加算した値を表すデータと、
    前記加速度センサが検出する複数回分の加速度の平均値を表すデータと、
    前記タッチパネルが検出する複数回分の位置を表すデータとを含む、通信方法。
  27. 前記操作部は、磁気センサをさらに含み、
    前記生成部は、前記磁気センサが検出する１回分の磁気方向を表すデータを前記操作データに含める、請求項２６に記載の通信方法。
  28. 情報処理装置と無線通信可能な操作装置において実行される通信方法であって、
    前記操作装置は、第１センサと、前記第１センサよりも高い頻度で検出結果を出力する第２センサと、前記第２センサよりも高い頻度で検出結果を出力する第３センサとを備え、
    前記第１センサが検出する１回分の値を表すデータと、前記第２センサが検出する複数回分の値の平均値を表すデータと、前記第３センサが検出する複数回分の値の和を表すデータとを含む操作データを生成する生成ステップと、
    前記操作データを所定周期毎に前記情報処理装置へ無線で送信する通信ステップとを備える、通信方法。
  29. 前記第１センサは磁気センサであり、
    前記第２センサは加速度センサであり、
    前記第３センサはジャイロセンサである、請求項２８に記載の通信方法。
  30. 前記生成ステップにおいて、前記操作装置は、２のｎ乗回（ｎは１以上の整数）分の加速度の平均値を表すデータを前記操作データに含める、請求項２３、請求項２６および請求項２９のいずれか１項に記載の通信方法。
  31. 前記通信ステップにおいて、前記操作装置は、前記ジャイロセンサおよび前記加速度センサの少なくとも１つについてセンサの入出力関係（入出力特性）を表すセンサ特性データを前記操作データとは別に前記情報処理装置へ送信し、
    前記情報処理装置は、前記センサ特性データと前記操作データとに基づいて、前記センサ特性データに対応するセンサの検出結果に応じた情報処理を実行する、請求項２１から請求項３０のいずれか１項に記載の通信方法。
  32. 前記通信ステップにおいて、前記操作装置は、前記情報処理装置において前記操作データに基づいた処理によって生成される画像の１画像分のデータを、前記操作データを送信する頻度よりも低い頻度で前記情報処理装置から受信し、
    前記情報処理装置から受信した前記画像を表示する表示ステップをさらに備える、請求項２１から請求項３１のいずれか１項に記載の通信方法。
JP2012541671A 2012-05-25 2012-05-25 操作装置、情報処理システム、および通信方法 Active JP5122036B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063495 WO2013175630A1 (ja) 2012-05-25 2012-05-25 操作装置、情報処理システム、および通信方法

Publications (2)

Publication Number Publication Date
JP5122036B1 true JP5122036B1 (ja) 2013-01-16
JPWO2013175630A1 JPWO2013175630A1 (ja) 2016-01-12

Family

ID=47692874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541671A Active JP5122036B1 (ja) 2012-05-25 2012-05-25 操作装置、情報処理システム、および通信方法

Country Status (4)

Country Link
US (1) US8599135B1 (ja)
EP (1) EP2706433B1 (ja)
JP (1) JP5122036B1 (ja)
WO (1) WO2013175630A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009334B2 (en) 2018-09-14 2021-05-18 Nintendo Co., Ltd. Information processing apparatus, non-transitory computer-readable storage medium having stored therein information processing program, information processing system, and information processing method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504360B2 (en) * 2011-04-08 2019-12-10 Ross Gilson Remote control interference avoidance
JP5895225B2 (ja) * 2011-08-24 2016-03-30 パナソニックＩｐマネジメント株式会社 機器制御システム、無線制御装置及び無線制御装置のプログラム
WO2013175631A1 (ja) * 2012-05-25 2013-11-28 任天堂株式会社 操作装置、情報処理システム、および情報処理方法
JP5727416B2 (ja) * 2012-06-01 2015-06-03 任天堂株式会社 情報処理システム、ゲームシステム、情報処理装置、情報処理プログラム及び情報処理方法
US9778757B2 (en) * 2014-05-13 2017-10-03 International Business Machines Corporation Toroidal flexible input device
US9564046B2 (en) 2014-07-11 2017-02-07 International Business Machines Corporation Wearable input device
US10074269B2 (en) 2017-01-09 2018-09-11 Nintendo Co., Ltd. Communication system, apparatus and method
CN114430493A (zh) * 2021-12-31 2022-05-03 海信视像科技股份有限公司 控制装置、显示设备及显示模式切换方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053060A (ja) * 2009-09-01 2011-03-17 Namco Bandai Games Inc プログラム、情報記憶媒体、加速度センサの誤差測定方法、加速度センサの誤差測定装置及びゲームシステム
JP2012096005A (ja) * 2011-08-01 2012-05-24 Nintendo Co Ltd 表示装置、ゲームシステム、およびゲーム処理方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410326A (en) 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP2002268691A (ja) 2001-03-12 2002-09-20 Sony Corp 音声データ受信方法及び音声データ受信装置
JP2003307524A (ja) * 2002-04-15 2003-10-31 Pioneer Electronic Corp 加速度データの補正装置、その補正方法、その補正プログラム、その補正プログラムを記録した記録媒体、および、ナビゲーション装置
JP3937939B2 (ja) * 2002-06-14 2007-06-27 アイシン・エィ・ダブリュ株式会社 ナビゲーションシステム及び経路案内データ記録方法のプログラム
JP3980966B2 (ja) * 2002-08-21 2007-09-26 シャープ株式会社 プレゼンテーション用表示装置
AU2003266092A1 (en) * 2002-10-09 2004-05-04 Raphael Bachmann Rapid input device
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7031886B1 (en) * 2004-12-14 2006-04-18 Synaptics Incorporated Methods and systems for detecting noise in a position sensor using minor shifts in sensing frequency
US20060223635A1 (en) 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
US7642741B2 (en) * 2005-04-27 2010-01-05 Sidman Adam D Handheld platform stabilization system employing distributed rotation sensors
JP4505740B2 (ja) * 2005-05-16 2010-07-21 ソニー株式会社 撮像装置及びその起動方法
JP4907129B2 (ja) 2005-09-01 2012-03-28 任天堂株式会社 情報処理システムおよびプログラム
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
JP4794957B2 (ja) * 2005-09-14 2011-10-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix
US8232970B2 (en) * 2007-01-03 2012-07-31 Apple Inc. Scan sequence generator
CN101578571A (zh) * 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US8760400B2 (en) 2007-09-07 2014-06-24 Apple Inc. Gui applications for use with 3D remote controller
US20090069096A1 (en) * 2007-09-12 2009-03-12 Namco Bandai Games Inc. Program, information storage medium, game system, and input instruction device
JP5233000B2 (ja) * 2007-11-21 2013-07-10 株式会社国際電気通信基礎技術研究所 動き測定装置
JP5134350B2 (ja) 2007-12-05 2013-01-30 シャープ株式会社 リモコン装置及びシステム
JP5107017B2 (ja) 2007-12-20 2012-12-26 三菱電機株式会社 遠隔操作装置および遠隔操作システム
US20090273560A1 (en) * 2008-02-04 2009-11-05 Massachusetts Institute Of Technology Sensor-based distributed tangible user interface
US8384661B2 (en) * 2008-03-04 2013-02-26 Namco Bandai Games Inc. Program, information storage medium, determination device, and determination method
JP5390115B2 (ja) * 2008-03-31 2014-01-15 株式会社バンダイナムコゲームス プログラム、ゲームシステム
JP4661907B2 (ja) 2008-05-30 2011-03-30 ソニー株式会社 情報処理システム、情報処理装置及び情報処理方法、並びにプログラム
JP5191876B2 (ja) 2008-12-17 2013-05-08 シャープ株式会社 リモコンリコメンドシステム
JP5558730B2 (ja) * 2009-03-24 2014-07-23 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US8956229B2 (en) * 2009-03-30 2015-02-17 Nintendo Co., Ltd. Computer readable storage medium having game program stored thereon and game apparatus
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8961305B2 (en) * 2010-02-03 2015-02-24 Nintendo Co., Ltd. Game system, controller device and game method
JP5166472B2 (ja) * 2010-03-30 2013-03-21 株式会社バンダイナムコゲームス プログラム及びゲーム装置
JP2012027541A (ja) * 2010-07-20 2012-02-09 Sony Corp 接触圧検知装置および入力装置
JP5764885B2 (ja) * 2010-08-17 2015-08-19 セイコーエプソン株式会社 集積回路装置及び電子機器
US10150033B2 (en) * 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP6184658B2 (ja) * 2010-08-20 2017-08-23 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840386B2 (ja) * 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5101677B2 (ja) * 2010-09-14 2012-12-19 株式会社ソニー・コンピュータエンタテインメント 情報処理システム
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
KR101492310B1 (ko) * 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053060A (ja) * 2009-09-01 2011-03-17 Namco Bandai Games Inc プログラム、情報記憶媒体、加速度センサの誤差測定方法、加速度センサの誤差測定装置及びゲームシステム
JP2012096005A (ja) * 2011-08-01 2012-05-24 Nintendo Co Ltd 表示装置、ゲームシステム、およびゲーム処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009334B2 (en) 2018-09-14 2021-05-18 Nintendo Co., Ltd. Information processing apparatus, non-transitory computer-readable storage medium having stored therein information processing program, information processing system, and information processing method
US11378377B2 (en) 2018-09-14 2022-07-05 Nintendo Co., Ltd. Information processing apparatus, non-transitory computer-readable storage medium having stored therein information processing program, information processing system, and information processing method

Also Published As

Publication number Publication date
EP2706433B1 (en) 2018-04-18
WO2013175630A1 (ja) 2013-11-28
JPWO2013175630A1 (ja) 2016-01-12
US8599135B1 (en) 2013-12-03
EP2706433A4 (en) 2015-11-11
EP2706433A1 (en) 2014-03-12
US20130314339A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
JP5122035B1 (ja) 操作装置、情報処理システム、および通信方法
JP5122037B1 (ja) 操作装置、情報処理システム、および情報処理方法
JP5122036B1 (ja) 操作装置、情報処理システム、および通信方法
US8920235B2 (en) Computer-readable storage medium, information processing apparatus, information processing system and information processing method
JP5689014B2 (ja) 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
CN107707817B (zh) 一种视频拍摄方法及移动终端
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
JP5876229B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法
JP6038440B2 (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、携帯ゲーム機およびゲームプログラム
JP2012252609A (ja) 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
JP6042154B2 (ja) 操作装置、情報処理システム、および通信方法
CN110349527B (zh) 虚拟现实显示方法、装置及系统、存储介质
JP2012239760A (ja) 方向制御システム、方向制御装置、方向制御プログラム、および方向制御方法
JP2014207680A (ja) 情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
JP2015226807A (ja) ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法
US20160112794A1 (en) Extension device and connecting method thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5122036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250