JP6681504B1 - 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法 - Google Patents

Abstract

【課題】入力装置に対する様々な操作によって音を出力することが可能な情報処理システムを提供する。【解決手段】情報処理システムの一例は、力を加えられることで変形するリングコントローラを含む。リングコントローラに対する押し込み操作又は引っ張り操作が行われた場合、基本ＢＧＭに対して第１ＢＧＭ又は第２ＢＧＭが重畳されて出力される。また、押し込み操作又は引っ張り操作が行われている場合において、リングコントローラの姿勢が変化された場合、フィルタ処理又はディレイ処理が行われる。また、押し込み操作又は引っ張り操作が検出された場合、そのときの姿勢に応じて楽器音が付加される。【選択図】図１８

Description

本発明は、音を出力することが可能な情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法に関する。

従来より、コントローラの姿勢を変化させることで音を出力する電子機器がある（例えば、特許文献１）。

特許第６４４４２８８号公報

しかしながら、上記従来技術では、入力装置に対する様々な操作によって音を出力するという観点では改善の余地があった。

それ故、本発明の目的は、入力装置に対する様々な操作によって音を出力することが可能な情報処理システムを提供することである。

上記の課題を解決すべく、本発明は、以下の構成を採用した。

本発明の情報処理システムは、力を加えられることで定常状態から変形する入力装置と、変形情報取得手段と、姿勢情報取得手段と、音出力手段と、を備える。入力装置は、当該入力装置の変形に応じた出力をするセンサを有する。変形情報取得手段は、前記センサの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する。姿勢情報取得手段は、前記入力装置の姿勢に応じた姿勢情報を取得する。音出力手段は、前記変形情報と前記姿勢情報とに基づいて、音を出力する。

上記によれば、入力装置に関する変形情報と姿勢情報とに基づいて音を出力することができ、入力装置に対する多様な操作に基づいて音を出力することができる。なお、「前記センサの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する」とは、前記センサの出力データそのものを変形情報として取得することであってもよいし、前記センサの出力データに対して所定の処理（例えば、データ形式の変換、及び／又は、演算処理）を行った結果を変形情報として取得することであってもよい。

また、前記音出力手段は、基本となる音に対して、前記変形情報と前記姿勢情報とに基づく第１の音響効果を付与した前記音を出力してもよい。

上記によれば、基本となる音に対して、変形情報と姿勢情報とに基づいて第１の音響効果を付与することができる。これにより、例えば、基本となる音に合わせて入力装置に対する操作を行うことができ、当該操作に応じて音響効果を付与することができる。

また、前記音出力手段は、前記変形情報に基づいて、前記音に対して第２の音響効果をさらに付与してもよい。

上記によれば、変形情報及び姿勢情報の両方に基づく第１の音響効果に加えて、さらに変形情報に基づいて第２の音響効果を付与することができる。

また、前記音出力手段は、前記第２の音響効果に対して、前記姿勢情報に基づく第３の音響効果を付与してもよい。

上記によれば、付与した第２の音響効果に対して、姿勢情報に基づいて第３の音響効果を付与することができる。

また、前記音出力手段は、前記入力装置が変形されている間、継続的に前記第２の音響効果を付与してもよい。

上記によれば、入力装置が変形されている間、継続的に第２の音響効果が付与されるため、例えば、ユーザに、入力装置に対して継続的に力を加えさせることができる。

また、前記音出力手段は、前記入力装置の変形量が大きいほど、前記第２の音響効果を大きくしてもよい。

上記によれば、入力装置に対する変形量によって第２の音響効果の大きさを変えることができる。例えば、入力装置を大きく変形させるほど、第２の音響効果の音量を大きくすることができる。

また、前記音出力手段は、前記入力装置の変形の速さに関するパラメータが所定の閾値より大きい場合、前記入力装置が変形してから定常状態に戻るときに、前記速さに関するパラメータが前記所定の閾値より小さいときと比べて、前記第２の音響効果の減少を遅らせてもよい。

上記によれば、変形の速さに関するパラメータが所定の閾値より大きい場合には、入力装置が定常状態に戻っても第２の音響効果の減少を遅らせることができる。これにより、第２の音響効果に余韻を持たせることができる。

また、前記音出力手段は、前記入力装置が定常状態から変形されたことに応じて、第４の音響効果をさらに付与してもよい。

上記によれば、入力装置の定常状態からの変形に応じて、第４の音響効果をさらに付与することができる。

また、前記音出力手段は、前記入力装置が定常状態から変形されたときの当該入力装置の姿勢に基づいて、前記第４の音響効果を付与してもよい。

上記によれば、入力装置が変形したときの当該入力装置の姿勢によって第４の音響効果を付与することができる。

また、前記情報処理システムは、前記入力装置が振られたことを検出する振り検出手段をさらに備えてもよい。前記音出力手段は、前記入力装置が振られた場合、前記姿勢情報に基づいて、第５の音響効果をさらに付与してもよい。

上記によれば、さらに入力装置の振りによって第５の音響効果を付与することができる。

また、前記入力装置は、第１の方向への力が加わることで第１の変形をし、第２の方向への力が加わることで第２の変形をし、前記音出力手段は、前記第１の変形と前記第２の変形とで異なる前記第１の音響効果を付与してもよい。

上記によれば、入力装置を変形させる方向によって異なる音響効果を付与することができる。

また、前記音出力手段は、前記入力装置が定常状態から変形しているときは前記姿勢情報に応じた音響効果を付与した前記音を出力し、前記入力装置が定常状態のときは前記姿勢情報に応じた音響効果を付与しない前記音を出力してもよい。

上記によれば、入力装置が変形しているときは入力装置の姿勢に応じた音響効果を付与し、入力装置が変形していないときは入力装置の姿勢に応じた音響効果を付与しないようにすることができる。これにより、ユーザの意図を反映して音響効果を付与することができる。

また、前記音出力手段は、前記入力装置が定常状態から変形しているときは、前記基本となる音に対して前記姿勢情報に応じた音響効果を付与した前記音を出力し、前記入力装置が定常状態のときは、前記姿勢情報にかかわらず前記基本となる音を出力してもよい。

上記によれば、入力装置が変形しているときは、基本となる音に対して入力装置の姿勢に応じた音響効果を付与し、入力装置が変形していないときは入力装置の姿勢にかかわらず基本となる音を出力することができる。これにより、ユーザの意図を反映して基本となる音に対して音響効果を付与することができる。

また、前記入力装置は、少なくとも一部が弾性変形可能な環状部を有してもよい。

上記によれば、弾性変形可能な環状部を有する入力装置を変形させることで音を出力することができる。

また、前記入力装置は、ユーザの手で把持される入力装置であってもよい。前記情報処理システムは、ユーザの足の動きを検出する第２入力装置をさらに備えてもよい。そして、前記音出力手段は、前記変形情報および前記姿勢情報に加えて、さらに前記ユーザの足の動きの検出結果に基づいて、前記音を出力してもよい。

上記によれば、手による入力装置の変形に加えて、足の動きに基づいて、音を出力することができる。

また、前記音出力手段は、前記変形情報と前記姿勢情報との積に基づいて、前記音を出力してもよい。

上記によれば、様々な操作によっても同じ音を出力することができ、ユーザの操作の自由度を増すことができる。

また、他の発明は、上記情報処理システムの各手段を備える情報処理装置であってもよいし、情報処理プログラムであってもよい。また、上記情報処理システムにおいて行われる情報処理方法であってもよい。

本発明によれば、入力装置に対する多様な操作に基づいて音を出力することができる。

ゲームシステムに含まれる各装置の一例を示す図 本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図 本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図 本体装置２の一例を示す六面図 左コントローラ３の一例を示す六面図 右コントローラ４の一例を示す六面図 本体装置２の内部構成の一例を示すブロック図 本体装置２と左コントローラ３および右コントローラ４との内部構成の一例を示すブロック図 リング型拡張装置の一例を示す図 リング型拡張装置５が備える構成要素の電気的な接続関係を示すブロック図 ベルト型拡張装置の一例を示す図 リング型拡張装置５およびベルト型拡張装置６をユーザが使用する様子の一例を示す図 リングコントローラに対する操作の一例であって押し込み操作を示す図 リングコントローラに対する操作の一例であって引っ張り操作を示す図 リングコントローラに対する操作の一例であって捻り操作を示す図 リングコントローラに対する操作の一例であって傾け操作を示す図 リングコントローラに対する操作に基づく音楽の出力の概要を示す図 第１のゲームシーンにおけるリングコントローラに対する操作に基づく音楽の出力の概要を示す図 リングコントローラに対して押し込み操作が行われた場合の押し込み量と、第１ＢＧＭの音量との関係の一例を示す図 リングコントローラに対して押し込み操作が行われた場合において、押し込み速度が閾値を超えている場合の押し込み量と、第１ＢＧＭの音量との関係の一例を示す図 押し込み操作を短時間で繰り返し行うときと、押し込み操作および引っ張り操作を短時間で繰り返し行うときの第１ＢＧＭおよび第２ＢＧＭの音量の変化の一例を示す図 リングコントローラの押し込み量の変化と楽器音の出力との関係の一例を示す図 リングコントローラの加速度の変化と効果音の出力との関係の一例を示す図 リングコントローラに対する複数の操作に応じて出力される音の一例を示した図 リングコントローラに対する引っ張り操作が行われている場合の所定の音の周波数の変化の一例を示す図 リングコントローラに対する引っ張り操作が行われている場合において、その引っ張り量、捻り量、及び傾き量が図２６とは異なるときに出力される所定の音の周波数の変化の一例を示す図 第２のゲームシーンにおけるリングコントローラに対する操作に基づく音の出力の概要を示す図 本体装置２に記憶されるデータの一例を示す図 本体装置２のプロセッサ８１において行われる第１のゲームシーンにおけるゲーム処理の一例を示すフローチャート ステップＳ１０４の第１ＢＧＭ付加処理の一例を示すフローチャート ステップＳ１０６のフィルタ処理の一例を示すフローチャート ステップＳ１０７のディレイ処理の一例を示すフローチャート ステップＳ１０８の楽器音付加処理の一例を示すフローチャート ステップＳ１０９の効果音付加処理の一例を示すフローチャート 本体装置２のプロセッサ８１において行われる第２のゲームシーンにおけるゲーム処理の一例を示すフローチャート

以下、本実施形態の一例に係るゲームシステムについて説明する。図１は、ゲームシステムに含まれる各装置の一例を示す図である。図１に示すように、ゲームシステム１は、本体装置２と、左コントローラ３および右コントローラ４と、リング型拡張装置５と、ベルト型拡張装置６とを含む。

本体装置２は、情報処理装置の一例であり、本実施形態ではゲーム機本体として機能する。本体装置２には、左コントローラ３および右コントローラ４がそれぞれ着脱可能である（図１および図３参照）。つまり、ユーザは、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として使用することができる（図２参照）。また、ユーザは、本体装置２と左コントローラ３および右コントローラ４とを別体として使用することもできる（図３参照）。なお、以下においては、本体装置２と各コントローラ３および４とをまとめて、「ゲーム装置」と呼ぶことがある。

リング型拡張装置５は、右コントローラ４に用いられる拡張装置の一例である。リング型拡張装置５は、右コントローラ４をリング型拡張装置５に装着した状態で使用される。また、ベルト型拡張装置６は、左コントローラ３に用いられる拡張装置の一例である。ベルト型拡張装置６は、左コントローラ３をベルト型拡張装置６に装着した状態で使用される。このように、本実施形態においては、ユーザは、各コントローラ３および４を各拡張装置に装着した状態で使用することもできる（図１２参照）。なお、リング型拡張装置５は、右コントローラ４に限らず、左コントローラ３を自身に装着することが可能であってもよい。ベルト型拡張装置６は、左コントローラ３に限らず、右コントローラ４を自身に装着することが可能であってもよい。これら拡張装置によって、コントローラの機能や使用態様を、拡張または変更することが可能である。なお、これら拡張装置を単に周辺機器と呼称してもよい。

図２は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図２に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。

図３は、本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図である。図２および図３に示すように、左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。

図４は、本体装置２の一例を示す六面図である。図４に示すように、本体装置２は、略板状のハウジング１１を備える。本実施形態において、ハウジング１１の主面（換言すれば、表側の面、すなわち、ディスプレイ１２が設けられる面）は、大略的には矩形形状である。

なお、ハウジング１１の形状および大きさは、任意である。一例として、ハウジング１１は、携帯可能な大きさであってよい。また、本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。

図４に示すように、本体装置２は、ハウジング１１の主面に設けられるディスプレイ１２を備える。ディスプレイ１２は、本体装置２が生成した画像を表示する。本実施形態においては、ディスプレイ１２は、液晶表示装置（ＬＣＤ）とする。ただし、ディスプレイ１２は任意の種類の表示装置であってよい。

本体装置２は、ハウジング１１の内部においてスピーカ（すなわち、図７に示すスピーカ８８）を備えている。図４に示すように、ハウジング１１の主面には、スピーカ孔１１ａおよび１１ｂが形成される。そして、スピーカ８８の出力音は、これらのスピーカ孔１１ａおよび１１ｂからそれぞれ出力される。

また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。

図４に示すように、本体装置２は、スロット２３を備える。スロット２３は、ハウジング１１の上側面に設けられる。スロット２３は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム１およびそれと同種の情報処理装置に専用の記憶媒体（例えば、専用メモリカード）である。所定の種類の記憶媒体は、例えば、本体装置２で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、本体装置２で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。また、本体装置２は、電源ボタン２８を備える。

本体装置２は、下側端子２７を備える。下側端子２７は、本体装置２がクレードルと通信を行うための端子である。本実施形態において、下側端子２７は、ＵＳＢコネクタ（より具体的には、メス側コネクタ）である。上記一体型装置または本体装置２単体をクレードルに載置した場合、ゲームシステム１は、本体装置２が生成して出力する画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置２単体を充電する機能を有する。また、クレードルは、ハブ装置（具体的には、ＵＳＢハブ）の機能を有する。

図５は、左コントローラ３の一例を示す六面図である。図５に示すように、左コントローラ３は、ハウジング３１を備える。本実施形態においては、ハウジング３１は、縦長の形状、すなわち、上下方向（すなわち、図２および図５に示すｙ軸方向）に長い形状である。左コントローラ３は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング３１は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ３は、横長となる向きで把持されることも可能である。左コントローラ３が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。

左コントローラ３は、アナログスティック３２を備える。図５に示すように、アナログスティック３２は、ハウジング３１の主面に設けられる。アナログスティック３２は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック３２を傾倒することによって傾倒方向に応じた方向の入力（および、傾倒した角度に応じた大きさの入力）が可能である。なお、左コントローラ３は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、本実施形態においては、アナログスティック３２を押下する入力が可能である。

左コントローラ３は、各種操作ボタンを備える。左コントローラ３は、ハウジング３１の主面上に４つの操作ボタン３３〜３６（具体的には、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および左方向ボタン３６）を備える。さらに、左コントローラ３は、録画ボタン３７および−（マイナス）ボタン４７を備える。左コントローラ３は、ハウジング３１の側面の左上に第１Ｌボタン３８およびＺＬボタン３９を備える。また、左コントローラ３は、ハウジング３１の側面の、本体装置２に装着される際に装着される側の面に第２Ｌボタン４３および第２Ｒボタン４４を備える。これらの操作ボタンは、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。

また、左コントローラ３は、左コントローラ３が本体装置２と有線通信を行うための端子４２を備える。

図６は、右コントローラ４の一例を示す六面図である。図６に示すように、右コントローラ４は、ハウジング５１を備える。本実施形態においては、ハウジング５１は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ４は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング５１は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ４は、横長となる向きで把持されることも可能である。右コントローラ４が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。

右コントローラ４は、左コントローラ３と同様、方向入力部としてアナログスティック５２を備える。本実施形態においては、アナログスティック５２は、左コントローラ３のアナログスティック３２と同じ構成である。また、右コントローラ４は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ４は、左コントローラ３と同様、ハウジング５１の主面上に４つの操作ボタン５３〜５６（具体的には、Ａボタン５３、Ｂボタン５４、Ｘボタン５５、およびＹボタン５６）を備える。さらに、右コントローラ４は、＋（プラス）ボタン５７およびホームボタン５８を備える。また、右コントローラ４は、ハウジング５１の側面の右上に第１Ｒボタン６０およびＺＲボタン６１を備える。また、右コントローラ４は、左コントローラ３と同様、第２Ｌボタン６５および第２Ｒボタン６６を備える。

また、右コントローラ４は、右コントローラ４が本体装置２と有線通信を行うための端子６４を備える。

図７は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、図４に示す構成の他、図７に示す各構成要素８１〜９１、９７、および９８を備える。これらの構成要素８１〜９１、９７、および９８のいくつかは、電子部品として電子回路基板上に実装されてハウジング１１内に収納されてもよい。

本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。

本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。

本体装置２は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。

プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。

本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ−Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。なお、上記第２の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置２との間で無線通信可能であり、複数の本体装置２の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

プロセッサ８１は、上述の左側端子１７、右側端子２１、および下側端子２７に接続される。プロセッサ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信する。また、プロセッサ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信する。また、プロセッサ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、画像データや音声データ）を据置型モニタ等に出力することができる。

また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。

本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。

また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。

図８は、本体装置２と左コントローラ３および右コントローラ４との内部構成の一例を示すブロック図である。なお、本体装置２に関する内部構成の詳細については、図７で示しているため図８では省略している。

左コントローラ３は、本体装置２との間で通信を行う通信制御部１０１を備える。図８に示すように、通信制御部１０１は、端子４２を含む各構成要素に接続される。本実施形態においては、通信制御部１０１は、端子４２を介した有線通信と、端子４２を介さない無線通信との両方で本体装置２と通信を行うことが可能である。通信制御部１０１は、左コントローラ３が本体装置２に対して行う通信方法を制御する。すなわち、左コントローラ３が本体装置２に装着されている場合、通信制御部１０１は、端子４２を介して本体装置２と通信を行う。また、左コントローラ３が本体装置２から外されている場合、通信制御部１０１は、本体装置２（具体的には、コントローラ通信部８３）との間で無線通信を行う。コントローラ通信部８３と通信制御部１０１との間の無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に従って行われる。

また、左コントローラ３は、例えばフラッシュメモリ等のメモリ１０２を備える。通信制御部１０１は、例えばマイコン（マイクロプロセッサとも言う）で構成され、メモリ１０２に記憶されるファームウェアを実行することによって各種の処理を実行する。

左コントローラ３は、各ボタン１０３（具体的には、ボタン３３〜３９、４３、４４、および４７）を備える。また、左コントローラ３は、アナログスティック（図８では「スティック」と記載する）３２を備える。各ボタン１０３およびアナログスティック３２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１０１へ出力する。

左コントローラ３は、慣性センサを備える。具体的には、左コントローラ３は、加速度センサ１０４を備える。また、左コントローラ３は、角速度センサ１０５を備える。本実施形態においては、加速度センサ１０４は、所定の３軸（例えば、図５に示すｘｙｚ軸）方向に沿った加速度の大きさを検出する。なお、加速度センサ１０４は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。本実施形態においては、角速度センサ１０５は、所定の３軸（例えば、図５に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ１０５は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。加速度センサ１０４および角速度センサ１０５は、それぞれ通信制御部１０１に接続される。そして、加速度センサ１０４および角速度センサ１０５の検出結果は、適宜のタイミングで繰り返し通信制御部１０１へ出力される。

通信制御部１０１は、各入力部（具体的には、各ボタン１０３、アナログスティック３２、各センサ１０４および１０５）から、入力に関する情報（具体的には、操作に関する情報、またはセンサによる検出結果）を取得する。通信制御部１０１は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

上記操作データが本体装置２へ送信されることによって、本体装置２は、左コントローラ３に対して行われた入力を得ることができる。すなわち、本体装置２は、各ボタン１０３およびアナログスティック３２に対する操作を、操作データに基づいて判別することができる。また、本体装置２は、左コントローラ３の動きおよび／または姿勢に関する情報を、操作データ（具体的には、加速度センサ１０４および角速度センサ１０５の検出結果）に基づいて算出することができる。

左コントローラ３は、電力供給部１０８を備える。本実施形態において、電力供給部１０８は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ３の各部（具体的には、バッテリの電力の給電を受ける各部）に接続される。

図８に示すように、右コントローラ４は、本体装置２との間で通信を行う通信制御部１１１を備える。また、右コントローラ４は、通信制御部１１１に接続されるメモリ１１２を備える。通信制御部１１１は、端子６４を含む各構成要素に接続される。通信制御部１１１およびメモリ１１２は、左コントローラ３の通信制御部１０１およびメモリ１０２と同様の機能を有する。したがって、通信制御部１１１は、端子６４を介した有線通信と、端子６４を介さない無線通信（具体的には、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信）との両方で本体装置２と通信を行うことが可能であり、右コントローラ４が本体装置２に対して行う通信方法を制御する。

右コントローラ４は、左コントローラ３の各入力部と同様の各入力部を備える。具体的には、各ボタン１１３、アナログスティック５２、慣性センサ（加速度センサ１１４および角速度センサ１１５）を備える。これらの各入力部については、左コントローラ３の各入力部と同様の機能を有し、同様に動作する。

右コントローラ４は、処理部１２１を備える。処理部１２１は、通信制御部１１１に接続される。

また、処理部１２１は、ＣＰＵやメモリ等を含み、右コントローラ４に備えられた図示しない記憶装置（例えば、不揮発性メモリ等）に記憶された所定のプログラム（例えば、各種演算を行うためのアプリケーションプログラム）に基づいて、本体装置２からの指令に応じて処理を実行する。なお、処理部１２１が処理を行う際に用いるメモリは、処理部１２１内に設けられてもいいし、メモリ１１２であってもよい。

右コントローラ４は、電力供給部１１８を備える。電力供給部１１８は、左コントローラ３の電力供給部１０８と同様の機能を有し、同様に動作する。

図９は、リング型拡張装置の一例を示す図である。なお、図９は、右コントローラ４が装着された状態のリング型拡張装置５を示している。本実施形態においては、リング型拡張装置５は、右コントローラ４を装着可能な拡張装置である。詳細は後述するが、本実施形態においては、ユーザは、リング型拡張装置５に力を加えて変形させるという新規な操作を行う。ユーザは、例えばエクササイズを行う感覚でリング型拡張装置５を用いたフィットネス動作を行うことによって、リング型拡張装置５に対する操作を行うことができる。

図９に示すように、リング型拡張装置５は、環状部２０１と、本体部２０２とを備える。環状部２０１は、環状の形状を有する。なお、本実施形態においては、環状部２０１は、後述する弾性部材および台座部によって環状に形成される。本実施形態においては、環状部２０１は円環状である。なお、他の実施形態においては、環状部２０１の形状は任意であり、例えば楕円環状であってもよい。

本体部２０２は、環状部２０１に設けられる。本体部２０２は、図示しないレール部を有する。レール部は、右コントローラ４を装着可能な装着部の一例である。本実施形態においては、レール部は、右コントローラ４のスライダ６２（図６参照）に対してスライド可能に係合する。スライダ６２がレール部材に対して所定の直線方向（すなわち、スライド方向）に挿入されることで、レール部材に対してスライダ６２が当該直線方向にスライド移動が可能な状態でレール部材がスライダ６２と係合する。なお、レール部は、コントローラのスライダに対してスライド可能に係合することが可能である点で、本体装置２が有するレール部と同様である。そのため、レール部は、本体装置２が有するレール部と同様の構成であってもよい。

本実施形態においては、右コントローラ４は、係止部６３を有する（図６参照）。係止部６３は、スライダ６２から側方（すなわち、図６に示すｚ軸正方向）に突出して設けられる。係止部６３は、スライダ６２の内部の方向へ移動可能であるとともに、上記側方へ突出した状態となる向きに（例えばバネによって）付勢されている。また、レール部には、切欠きが設けられる。スライダ６２がレール部の奥まで挿入された状態において、係止部６３は切欠きに係止する。レール部にスライダ６２が係合した状態で係止部６３が切欠きに係止することによって、本体部２０２に右コントローラ４が装着される。

なお、右コントローラ４は、押下可能な解除ボタン６９を備える（図６参照）。上記係止部６３は、解除ボタン６９が押下されることに応じて、スライダ６２の内部の方向へ移動し、スライダ６２に対して突出しない（あるいは、ほとんど突出しない）状態となる。したがって、リング型拡張装置５の本体部２０２に右コントローラ４が装着された状態において、解除ボタン６９が押下されると、係止部６３は切欠きに係止しなくなる（あるいは、ほとんど係止しなくなる）。以上より、リング型拡張装置５の本体部２０２に右コントローラ４が装着される状態において、ユーザは、解除ボタン６９を押下することによって右コントローラ４をリング型拡張装置５から容易に取り外すことができる。

図９に示すように、リング型拡張装置５は、グリップカバー２０３および２０４を有する。グリップカバー２０３および２０４は、ユーザが把持するための部品である。本実施形態においては、グリップカバー２０３および２０４は、環状部２０１に対して取り外し可能である。本実施形態においては、環状部２０１の左端付近の左把持部分に左グリップカバー２０３が設けられ、環状部２０１の右端付近の右把持部分に右グリップカバー２０４が設けられる。なお、把持部分の数は任意であり、想定される操作方法に応じて、３箇所以上に把持部分が設けられてもよいし、１箇所のみに把持部分が設けられてもよい。また、ゲームの内容（あるいは、ゲームにおいてユーザが行うフィットネス動作の内容）によっては、複数の把持部のうちの特定の把持部のみが片手または両手で把持されることがあってもよい。

図１０は、リング型拡張装置５が備える構成要素の電気的な接続関係を示すブロック図である。図１０に示すように、リング型拡張装置５は、歪み検出部２１１を備える。歪み検出部２１１は、環状部２０１が変形したことを検出する検出部の一例である。本実施形態においては、歪み検出部２１１は、歪みゲージを含む。歪み検出部２１１は、後述する弾性部材の変形に応じた台座部の歪みを示す信号（換言すれば、弾性部材の変形の大きさおよび変形の向きを示す信号）を出力する。

ここで、本実施形態においては、環状部２０１は、弾性変形可能な弾性部材と、台座部とを有する。台座部は、当該台座部と弾性部材とによって環が形成されるように当該弾性部材の両端部を保持する。なお、台座部は、本体部２０２の内部に設けられるので、図９において図示されていない。台座部は、弾性部材よりも剛性が高い材質で構成される。例えば、弾性部材は、樹脂（具体的には、ＦＲＰ（Ｆｉｂｅｒ Ｒｅｉｎｆｏｒｃｅｄ Ｐｌａｓｔｉｃｓ））で構成され、台座部は、金属で構成される。上記歪みゲージは、台座部に設けられ、当該台座部の歪みを検出する。環状部２０１が定常状態から変形した場合、変形によって台座部に歪みが生じるので、歪みゲージによって台座部の歪みが検出される。検出された歪みに基づいて、環状部２０１が変形する向き（すなわち、２つのグリップカバー２０３および２０４が近づく向き、または、離れる向き）と、変形量とを算出することができる。

なお、他の実施形態においては、歪み検出部２１１は、歪みゲージに代えて、環状部２０１が定常状態から変形したことを検出可能な任意のセンサを含んでもよい。例えば、検出部２１１は、環状部２０１が変形した場合に加わる圧力を検出する感圧センサを含んでもよいし、環状部２０１が曲げられた量を検出する曲げセンサを含んでもよい。

リング型拡張装置５は、信号変換部２１２を備える。本実施形態においては、信号変換部２１２は、アンプと、ＡＤコンバータとを含む。信号変換部２１２は、歪み検出部２１１に電気的に接続され、歪み検出部２１１の出力信号をアンプによって増幅し、ＡＤコンバータによってＡＤ変換を行う。信号変換部２１２は、歪み検出部２１１によって検出された歪み値を示すデジタル信号を出力する。なお、他の実施形態においては、信号変換部２１２はＡＤコンバータを含まず、後述する処理部２１３がＡＤコンバータを含んでいてもよい。

リング型拡張装置５は、処理部２１３を備える。処理部２１３は、プロセッサとメモリとを備える処理回路であり、例えばＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）である。処理部２１３は、信号変換部２１２に電気的に接続され、信号変換部２１２の出力信号が処理部２１３に入力される。また、リング型拡張装置５は、端子２１４を備える。端子２１４は、処理部２１３に電気的に接続される。リング型拡張装置５に右コントローラ４が装着されている場合、処理部２１３は、信号変換部２１２の出力信号が示す歪み値を示す情報（換言すれば、後述するリング操作データ）を、端子２１４を介して右コントローラ４へ送信する。

リング型拡張装置５は、電力変換部２１５を備える。電力変換部２１５は、上記各部２１１〜２１４に電気的に接続される。電力変換部２１５は、端子２１４を介して外部（すなわち、右コントローラ４）から供給される電力を、上記各部２１１〜２１４に供給する。電力変換部２１５は、供給される電力について電圧等の調整を行って上記各部２１１〜２１４に供給してもよい。

なお、リング型拡張装置５が他の装置へ送信する「歪み検出部の検出結果に関するデータ」は、当該検出結果（本実施形態においては、台座部の歪みを示す、歪み検出部２１１の出力信号）そのものを示すデータであってもよいし、当該検出結果に対して何らかの処理（例えば、データ形式の変換、および／または、歪み値に対する計算処理等）が行われることによって得られるデータであってもよい。例えば、処理部２１３は、上記検出結果である歪み値に基づいて弾性部材の変形量を算出する処理を行ってもよく、このとき、「歪み検出部の検出結果に関するデータ」は、当該変形量を示すデータであってもよい。

なお、他の実施形態においては、リング型拡張装置５は、電池を備え、当該電池の電力によって動作してもよい。また、リング型拡張装置５が備える電池は、右コントローラ４から供給される電力によって充電可能な充電池であってもよい。

図１１は、ベルト型拡張装置の一例を示す図である。ベルト型拡張装置６は、自身に左コントローラ３が装着された状態で、ユーザの足に締着して使用する（図１２参照）。図１１に示すように、ベルト型拡張装置６は、収容部３０１と、ベルト部３０２とを備える。収容部３０１は、平面状の形状であり、左コントローラ３を収容可能である。具体的には、収容部３０１は、ポケット部３０３を有する。ポケット部３０３は、左コントローラ３を収容可能な大きさの袋状に形成される。本実施形態においては、収容部３０１が左コントローラを収容することで、左コントローラ３がベルト型拡張装置６に装着される。なお、他の実施形態においては、ベルト型拡張装置６に左コントローラ３を装着させるための構成は任意である。

収容部３０１には、ポケット部３０３の側方に通し孔３０４が設けられる。ベルト部３０２は、収容部３０１のうち、ポケット部３０３の側方であって、ポケット部３０３を基準に通し孔３０４の反対側に設けられる。ベルト部３０２は、帯状の形状であり、その一端が収容部３０１に固定される。本実施形態においては、ベルト部３０２は、伸縮性を有する材質（例えば、織ゴム）で構成される。

ベルト部３０２のうち、収容部３０１においてポケット部３０３が設けられる側の面と同じ側の面には、第１面ファスナー３０５および第２面ファスナー３０６が設けられる。第１面ファスナー３０５は、収容部３０１に固定される側と反対側の端部付近に設けられる。また、第２面ファスナー３０６は、第１面ファスナー３０５と同じ面において、第１面ファスナー３０５と比べて収容部３０１に近い側に設けられる。第１面ファスナー３０５と第２面ファスナー３０６とは、互いに着脱可能である。例えば、第１面ファスナー３０５は、フック面の面ファスナーであり、第２面ファスナー３０６は、ループ面の面ファスナーである。

ベルト型拡張装置６を締着する際、ユーザは、ベルト部３０２を足に一周させた状態でベルト部３０２を通し孔３０４に通して、第１面ファスナー３０５と第２面ファスナー３０６とを接着させる。これによって、ユーザは、左コントローラ３が装着されたベルト型拡張装置６を足に締着することができる（図１２参照）。

図１２は、リング型拡張装置５およびベルト型拡張装置６をユーザが使用する様子の一例を示す図である。図１２に示すように、ユーザは、ゲーム装置（すなわち、本体装置２ならびに各コントローラ３および４）に加えて、２つの拡張装置５および６を用いてゲームを行うことができる。例えば、ユーザは、リング型拡張装置５とベルト型拡張装置６とをセットで使用することができる。

例えば図１２に示すように、ユーザは、右コントローラ４が装着されたリング型拡張装置５を両手で把持し、左コントローラ３が装着されたベルト型拡張装置６を足に締着する。このとき、ユーザは、リング型拡張装置５に対する操作（例えば、リング型拡張装置５を変形させる操作、および、リング型拡張装置５を動かす操作）と、ベルト型拡張装置６を締着した足を動かす操作とによって、ゲームを行うことができる。

なお、図１２においては、ユーザがグリップカバー２０３および２０４を把持してリング型拡張装置５を変形させる動作を行う様子を例示している。この動作によって、ユーザは、両腕を鍛えるフィットネス動作をゲーム操作として行うことができる。なお、ユーザはリング型拡張装置５に対する種々の動作でゲーム操作を行うことができる。例えば、ユーザは、一方のグリップカバーを両手で把持し、他方のグリップカバーを腹部に当てた状態で、リング型拡張装置５を変形させる動作を行うこともできる。この動作によって、ユーザは、腕と腹筋を鍛えるフィットネス動作をゲーム操作として行うことができる。また、ユーザは、両足の内股にグリップカバー２０３および２０４を当ててリング型拡張装置５を足で挟んだ状態で、リング型拡張装置５を変形させる動作を行うこともできる。この動作によって、ユーザは、足の筋肉を鍛えるフィットネス動作をゲーム操作として行うことができる。

本体装置２においてゲーム処理が実行される場合、右コントローラ４は、リング型拡張装置５からリング操作データを受信する。リング操作データは、上記歪み値を示す情報を含む。具体的には、リング型拡張装置５の処理部２１３は、端子２１４を介してリング操作データを右コントローラ４へ送信する。例えば、処理部２１３は、所定時間に１回の割合でリング操作データを繰り返し送信する。

上記の場合、右コントローラ４の通信制御部１１１は、リング型拡張装置５から端子６４を介して受信したリング操作データを本体装置２へ送信する。また、通信制御部１１１は、右コントローラ４に含まれる各入力部（具体的には、各ボタン１１３、アナログスティック５２、各センサ１１４および１１５）から取得された情報を含む右コントローラ操作データを本体装置２へ送信する。なお、右コントローラ４がリング型拡張装置５に装着される状態では、右コントローラ４から本体装置２への通信は、無線通信によって行われる。通信制御部１１１は、右コントローラ操作データとリング操作データとをまとめて本体装置２へ送信してもよいし、別個に本体装置２へ送信してもよい。また、通信制御部１１１は、受信したリング操作データをそのまま本体装置２へ送信してもよいし、受信したリング操作データに何らかの加工（例えば、データ形式の変換、および／または、歪み値に対する計算処理等）を行って本体装置２へ送信してもよい。

一方、本体装置２においてゲーム処理が実行される場合、左コントローラ３の通信制御部１０１は、左コントローラ３に含まれる各入力部（具体的には、各ボタン１０３、アナログスティック３２、各センサ１０４および１０５）から取得された情報を含む左コントローラ操作データを本体装置２へ送信する。左コントローラ３がベルト型拡張装置６に装着される状態では、左コントローラ３から本体装置２への通信は、無線通信によって行われる。

（本実施形態のゲームの概要）
次に、本実施形態のゲームの概要について説明する。本実施形態では、右コントローラ４が装着されたリング型拡張装置５、および、左コントローラ３が装着されたベルト型拡張装置６を用いて、ゲームが行われる。本実施形態のゲームは、ユーザに運動させるためのフィットネスゲームである。図１２に示したように、ユーザは、リング型拡張装置５を両手で把持し、ベルト型拡張装置６を脚（例えばもも）に締着した状態で、指示にしたがった運動を行うことでゲームをプレイする。以下では、右コントローラ４が装着されたリング型拡張装置５を「リングコントローラ」と表記し、左コントローラ３が装着されたベルト型拡張装置６を「脚コントローラ」と表記することがある。

本実施形態のゲームにおける所定のゲームシーンでは、リングコントローラに対する操作に応じて音楽が出力される。以下では、まず、ユーザによって行われるリングコントローラに対する操作について説明した後、当該操作に応じた音楽の出力について説明する。

図１３は、リングコントローラに対する操作の一例であって押し込み操作を示す図である。図１４は、リングコントローラに対する操作の一例であって引っ張り操作を示す図である。

図１３に示すように、ユーザは、リングコントローラのグリップカバー２０３および２０４を両手で把持して、左右方向からリングの中心に向かってリングコントローラを押し込むように操作する。この押し込み操作が行われると、リングコントローラは、円環状から、グリップカバー２０３および２０４を結ぶ線分を短軸とする略楕円形状に変形する。このとき、歪み検出部２１１（リングコントローラの変形を検出するセンサ。具体的には歪みゲージ）は、弾性部材の変形に応じた台座部の歪みを示す信号を出力する。当該信号に基づいて、歪み検出部の検出結果に関するデータ（リング操作データ）が、リング型拡張装置５から右コントローラ４に送信され、右コントローラ４は当該データを本体装置２に送信する。本体装置２は、当該データに基づいて、リングコントローラの変形情報を取得する。なお、「リングコントローラの変形情報を取得する」ことは、歪み検出部２１１からの出力信号そのものを取得することであってもよいし、歪み検出部２１１からの出力信号に基づいて所定の処理（データ形式の変換や演算処理）を行った結果を取得することであってもよい。ここで、「変形情報」は、リングコントローラが変形したこと、及び、その変形の量を示す情報であり、例えば、正又は負の歪み値で表される情報ある。例えば、リングコントローラが押し込まれた場合、本体装置２は、変形情報として、正の歪み値を取得する。なお、以下では、リングコントローラが押し込まれた場合に出力される正の歪み値を、「押し込み量」ということがある。「押し込み量」は、リングコントローラを押し込むときの力の強さに応じて異なる。

また、図１４に示すように、ユーザは、リングの中心から左右方向に向かってリングコントローラを引っ張るように操作することも可能である。この引っ張り操作が行われると、リングコントローラは、円環状から、グリップカバー２０３および２０４を結ぶ線分を長軸とする略楕円形状に変形する。リングコントローラが引っ張られた場合、本体装置２は、変形情報として、負の歪み値を取得する。なお、以下では、リングコントローラが引っ張られた場合に出力される負の歪み値を、「引っ張り量」ということがある。「引っ張り量」は、リングコントローラを引っ張るときの力の強さに応じて異なる。

図１５は、リングコントローラに対する操作の一例であって捻り操作を示す図である。図１６は、リングコントローラに対する操作の一例であって傾け操作を示す図である。

図１５に示すように、ユーザは、リングコントローラのグリップカバー２０３および２０４を両手で把持して、リングの中心軸（右コントローラ４のｚ軸に平行な軸）周りにリングコントローラを回転させることができる。以下では、リングの中心軸周りにリングコントローラを回転させる操作を「捻り操作」といい、当該中心軸周りの回転角を「捻り量」ということがある。

また、図１６に示すように、ユーザは、リングコントローラをユーザから見て奥方向（図１６の時計回り）または手前方向（図１６の反時計回り）に傾けることができる。具体的には、ユーザは、右コントローラ４のｙ軸に平行な直線周りにリングコントローラを回転させることができる。このユーザから見て奥方向又は手前方向にリングコントローラを回転させる操作を「傾け操作」といい、当該回転角を「傾き量」ということがある。

なお、右コントローラ４のｘ軸負方向が重力方向と並行となるリングコントローラの姿勢を「基準姿勢」という。基準姿勢では、捻り量および傾き量は「０」である。

リングコントローラに対して捻り操作及び／又は傾け操作が行われたか否かは、リングコントローラの姿勢に基づいて判断される。リングコントローラ（右コントローラ４）の姿勢は、右コントローラ４の加速度センサ１１４および角速度センサ１１５からのデータに基づいて算出される。具体的には、本体装置２は、角速度センサ１１５によって検出された角速度値を積分することで、基準姿勢からの姿勢の変化を算出し、現在のリングコントローラの姿勢を算出することができる。また、本体装置２は、加速度センサ１１４によって検出された加速度値にも基づいて、リングコントローラの現在の姿勢を算出する。

また、ユーザは、リングコントローラに対する「振り操作」を行うことができる。「振り操作」は、リングコントローラの姿勢を短時間で急激に変化させたり、リングコントローラを短時間で急激に移動させたりする操作である。この「振り操作」は、右コントローラ４の加速度センサ１１４によって検出された加速度値に基づいて検出される。なお、振り操作は、リングコントローラの姿勢の変化に基づいて検出されてもよい。

（操作に基づく音楽の出力）
次に、リングコントローラに対する各操作に基づく、音楽の出力について説明する。

図１７は、リングコントローラに対する操作に基づく音楽の出力の概要を示す図である。図１７に示すように、本体装置２は、リングコントローラ（具体的には右コントローラ４）からセンサデータを取得する。センサデータは、各センサ（加速度センサ１１４、角速度センサ１１５、および、歪み検出部２１１）からの出力に基づくデータである。

本体装置２は、センサデータを受信すると、当該データに基づいて、リングコントローラの変形に関する変形情報（押し込み量又は引っ張り量）を算出する。また、本体装置２は、角速度センサ１１５及び加速度センサ１１４からのデータに基づいて、姿勢情報を算出する。「姿勢情報」は、傾き量および捻り量である。また、本体装置２は、加速度センサ１１４からのデータに基づいて、リングコントローラが振られたか否かの振り判定を行う。

また、本体装置２には、予め音データが記憶されている。音データには、例えば、ＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）に関する音データ、所定の楽器を演奏したときに出力される楽器音に関する音データ、所定の効果音（例えば、人の声、電子音等）に関する音データが含まれる。

本体装置２は、変形情報、姿勢情報、及び、振り判定の結果に基づいて、１又は複数の音データを用いて音楽を生成し、スピーカから音楽を出力する。例えば、本体装置２は、ＢＧＭを付加したり、フィルタを適用したり、ディレイ処理を行ったり、楽器音や効果音を付加したり、音程を変化させたりして、基本となる音楽に対して音響効果を付与した音楽を出力する。

以下、変形情報、姿勢情報、及び、振り判定の結果に基づく音楽の生成および出力について説明する。

（第１のゲームシーンにおける音楽の生成および出力）
本実施形態の第１のゲームシーン（例えば、ゲームをクリアしたときのエンディングシーン）では、ゲーム画像の出力とともに、リングコントローラに対する操作に応じた音楽が生成および出力される。

図１８は、第１のゲームシーンにおけるリングコントローラに対する操作に基づく音楽の出力の概要を示す図である。

図１８に示すように、第１のゲームシーンでは、基本ＢＧＭが再生されて出力される。基本ＢＧＭは、ある程度の長さを有する音楽であり、例えば、ピアノを中心とした音色の音楽である。基本ＢＧＭに関する音データは、予め本体装置２（のフラッシュメモリ８４または外部記憶媒体）に記憶されている。例えば、基本ＢＧＭは、第１のゲームシーンが開始された場合に自動的に再生開始される。

リングコントローラに対して押し込み操作が行われた場合、基本ＢＧＭに対して、第１ＢＧＭが付加される（ステップＳ１）。第１ＢＧＭは、基本ＢＧＭと同様の旋律の音楽であって、基本ＢＧＭとは異なる音色の音楽である。例えば、第１ＢＧＭは、基本ＢＧＭと同様の旋律の音楽であって、管弦楽曲であってもよい。また、リングコントローラに対して引っ張り操作が行われた場合、基本ＢＧＭに対して、第２ＢＧＭが付加される。第２ＢＧＭは、基本ＢＧＭと同様の旋律の音楽であって、基本ＢＧＭ及び第１ＢＧＭとは異なる音色の音楽である。例えば、第２ＢＧＭは、電子音をベースとした音色の音楽であってもよい。

第１ＢＧＭおよび第２ＢＧＭに関する音データは、予め本体装置２に記憶されている。押し込み操作又は引っ張り操作が行われると、その変形量（押し込み量又は引っ張り量）に応じて第１ＢＧＭ又は第２ＢＧＭの音量が設定される。押し込み操作又は引っ張り操作に応じた第１ＢＧＭ又は第２ＢＧＭの出力については、図１９および図２０を参照して後述する。

次に、出力される音に対してフィルタ処理が行われる（ステップＳ２）。具体的には、リングコントローラの変形量（押し込み量又は引っ張り量）と傾き量とに基づいて、ＢＧＭ（基本ＢＧＭ、第１ＢＧＭ、第２ＢＧＭ）に対して、フィルタ処理が行われる。

例えば、リングコントローラが奥方向に傾けられた場合は、ローパスフィルタが適用される。ローパスフィルタは、出力される音のうち、比較的周波数の低い音を通過させ、比較的周波数の高い音をカット又は減衰させるフィルタである。また、リングコントローラが手前方向に傾けられた場合は、バンドパスフィルタが適用される。バンドパスフィルタは、出力される音のうち、特定の周波数帯の音を通過させ、特定の周波数帯以外の音（特定の周波数帯より低い音及び高い音）をカット又は減衰させるフィルタである。出力される音にローパスフィルタ又はバンドパスフィルタがかけられることにより、音の聞こえ方が変化する。

リングコントローラの傾きに応じてローパスフィルタ又はバンドパスフィルタが選択される場合、フィルタの度合いを示すフィルタ値が算出される。フィルタ値は、傾き量と変形量とに基づいて算出される。具体的には、フィルタ値は、傾き量と変形量との積に基づいて算出される。傾き量が大きいほどフィルタ値は大きくなる。また、変形量が大きいほど、フィルタ値は大きくなる。

フィルタ値が大きいほど、フィルタがかからないときと比べて聞こえ方が大きく異なる。例えば、減衰される周波数の範囲は同じで、フィルタ値に応じて減衰度合いが異なってもよい。例えば、減衰される周波数の範囲は固定され、フィルタ値が大きいほど、減衰度合いが高くてもよい。また、フィルタ値に応じて、カット又は減衰される周波数の範囲が異なってもよい。例えば、フィルタ値が大きいほど、カット又は減衰される周波数の範囲が広くてもよい。また、フィルタ値によって、カット又は減衰される周波数の範囲の中心が異なってもよい。例えば、フィルタ値が大きいほど、バンドパスフィルタにおける通過される周波数帯の中心周波数が高く（又は低く）設定されてもよい。

次に、フィルタ処理に加えて、さらにディレイ処理が行われる（ステップＳ３）。ディレイ処理は、リングコントローラの変形量と、捻り量とに基づいて行われる。ディレイ処理は、出力されるある音について、当該ある音を減衰させた音を、所定時間遅らせて当該ある音とともに出力する処理である。ここでは、出力されるある音を「元の音」と呼び、所定時間遅らせて出力される音を「ディレイ音」と呼ぶことがある。ディレイ処理によって、元の音を残響させることができる。ディレイ処理は、出力される元の音毎に行われる。例えば、基本ＢＧＭと第１ＢＧＭとが元の音として出力される場合、ディレイ処理が行われると、基本ＢＧＭを減衰させたディレイ音が基本ＢＧＭより所定時間遅れて出力されるとともに、第１ＢＧＭを減衰させたディレイ音が第１ＢＧＭより所定時間遅れて出力される。なお、ＢＧＭ（基本ＢＧＭ、第１ＢＧＭ、第２ＢＧＭ）にフィルタ処理が行われている場合には、フィルタ処理が行われたＢＧＭに対して、ディレイ処理が行われる。

具体的には、捻り量と変形量との積に基づいて、ディレイ音の音量が算出される。捻り量が大きいほど、ディレイ音の音量は大きくなる。また、変形量が大きいほど、ディレイ音の音量は大きくなる。ディレイ音の音量は、例えば、元の音の音量の０〜１倍に設定される。捻り量又は変形量がゼロの場合、ディレイ音の音量はゼロに設定される。すなわち、この場合、ディレイ音は出力されない。音量以外のディレイに関するパラメータ（例えば、ディレイ音を元の音に対してどれくらい遅らせるか、ディレイ回数を何回にするかに関するパラメータ）は、予め定められている。なお、音量以外のディレイに関するパラメータについても、リングコントローラに対する操作に応じて設定されてもよい。例えば、当該ディレイに関するパラメータは、姿勢情報及び／又は変形情報に基づいて設定されてもよい。

ディレイ処理に加えて、さらに、楽器音が付加される（ステップＳ４）。具体的には、リングコントローラに対する押し込み操作又は引っ張り操作を検出した場合、そのときのリングコントローラの姿勢に応じて楽器音が付加される。楽器音の出力については、図２２を参照して後述する。

次に、楽器音に加えて、さらに振り操作が行われた場合、効果音が付加される（ステップＳ５）。効果音は、ステップＳ４の楽器音とは異なる音であって、例えば、人の声や電子音等であってもよい。本体装置２には、予め複数の効果音が記憶される。具体的には、振り操作が検知された場合、その時点におけるリングコントローラの姿勢に応じて、複数の効果音の中から何れかの効果音が選択される。また、リングコントローラの姿勢に応じて、出力される効果音に変化が加えられる。例えば、振り操作が検知された場合、その時点における捻り量に応じて、効果音の再生速度が異なる。効果音の出力については、図２３を参照して後述する。

そして、ステップＳ１〜ステップＳ５の処理の結果に応じた音楽がスピーカから出力される（ステップＳ６）。

次に、上記ステップＳ１、Ｓ４及びＳ５の各処理について図を参照して具体的に説明する。

図１９は、リングコントローラに対して押し込み操作が行われた場合の押し込み量と、第１ＢＧＭの音量との関係の一例を示す図である。

図１９において、横軸は時間を示し、縦軸は押し込み量又は第１ＢＧＭの音量を示す。また、図中の実線は押し込み量を示し、破線は第１ＢＧＭの音量を示す。

図１９に示すように、時刻ｔ０からｔ１までは押し込み操作は行われなかったとする。この時刻ｔ０〜ｔ１の間は、第１ＢＧＭの音量は「０」に設定される。この間、基本ＢＧＭがスピーカから出力され、第１ＢＧＭはスピーカから出力されない。時刻ｔ１において押し込み操作が開始され、時刻ｔ２まで押し込み量が増加した場合、押し込み量の増加に応じて第１ＢＧＭの音量が増加される。これにより、基本ＢＧＭに重畳して、第１ＢＧＭがスピーカから出力される。時刻ｔ２からｔ３まで押し込み量が維持された場合、第１ＢＧＭの音量も維持される。そして、時刻ｔ３からｔ４まで押し込み量が減少すると、第１ＢＧＭの音量も減少し、時刻ｔ４において押し込み量が「０」になった場合（すなわち、押し込み操作が行われなくなった場合）、第１ＢＧＭの音量も「０」になる。

このように、時刻ｔ１〜ｔ４の間、押し込み量に追従して第１ＢＧＭの音量が算出され、算出された音量で第１ＢＧＭが出力される。これにより、押し込み操作が行われている間、基本ＢＧＭに重畳して、第１ＢＧＭがスピーカから継続的に出力される。

図２０は、リングコントローラに対して押し込み操作が行われた場合において、押し込み速度が閾値を超えている場合の押し込み量と、第１ＢＧＭの音量との関係の一例を示す図である。

図２０に示すように、時刻ｔ０からｔ１までの間、押し込み量が増加したとする。この間、押し込み量に追従して、第１ＢＧＭの音量が設定される。時刻ｔ０〜ｔ１まで間の押し込み速度（単位時間当たりの押し込み量の増加量）が所定の閾値を超えている場合、時刻ｔ１から押し込み量が減少しても、押し込み量の減少より遅れて第１ＢＧＭの音量が減少する。具体的には、押し込み量が時刻ｔ１から減少に転じ、時刻ｔ２において「０」になった場合でも、時刻ｔ０〜ｔ１の間の押し込み速度が所定の閾値を超えている場合には、時刻ｔ１における第１ＢＧＭの音量が、所定時間（例えば、０．５秒間）維持される。時刻ｔ１から所定時間経過後の時刻ｔ３から第１ＢＧＭの音量が減少し始める。そして、時刻ｔ４において、第１ＢＧＭの音量は「０」に設定される。この時刻ｔ３〜ｔ４の間は、第１ＢＧＭの音量は、一定の割合で減少する。

このように、ユーザが短時間でリングコントローラを押し込んだ場合、押し込み速度が閾値を超え、その後、ユーザが押し込みを止めて押し込み量が急激に減少しても、第１ＢＧＭの音量は急激に減少せず、第１ＢＧＭが余韻のように残る。

次に、時刻ｔ５において押し込み操作が再び開始され、時刻ｔ６まで押し込み量が増加したとする。この時刻ｔ５〜ｔ６の間、押し込み量に追従して第１ＢＧＭの音量が増加する。時刻ｔ５〜ｔ６の間の押し込み速度も、所定の閾値を超えているものとする。次に、押し込み量は、時刻ｔ６〜ｔ７の間、減少し、次の時刻ｔ７〜ｔ９の間、一定値を保ったものとする。この場合、時刻ｔ６から所定時間（０．５秒間）は、第１ＢＧＭの音量は維持される。そして、第１ＢＧＭの音量は、所定時間経過後の時刻ｔ８から、一定速度で減少し始める。

ここで、一定速度で減少する第１ＢＧＭの音量と、押し込み量に応じて算出される音量とのうち、大きい方の音量が第１ＢＧＭの音量として設定される。例えば、図２０に示すように、押し込み量が、時刻ｔ９から増加に転じたとする。この時刻ｔ９においては、押し込み量に応じて算出される音量よりも、一定速度で減少している第１ＢＧＭの音量の方が大きい。このため、時刻ｔ９においては、一定速度で減少された音量が、第１ＢＧＭの音量として設定される。

一方、時刻ｔ９より後の時刻ｔ１０において、押し込み量に応じて算出される音量と、一定速度で減少される音量とが一致する。時刻ｔ１０以降は、押し込み量に応じて算出される音量の方が、一定速度で減少される音量よりも大きくなる。このため、時刻ｔ１０以降は、第１ＢＧＭの音量は、その時点の押し込み量に応じて設定される。具体的には、時刻ｔ１０〜ｔ１１の間、押し込み量が増加し、この押し込み量の増加に追従して、第１ＢＧＭの音量が設定される。

時刻ｔ１０〜ｔ１１の間の押し込み速度が所定の閾値を超えている場合、時刻ｔ１１から押し込み量が減少し始め、時刻１２において押し込み量が「０」になっても、時刻ｔ１１における音量が所定時間維持される。そして、所定時間経過後の時刻ｔ１３において第１ＢＧＭの音量が減少し始める。時刻ｔ１３以降、第１ＢＧＭの音量は、一定速度で減少する。

図１９で示したように、押し込み速度が所定の閾値以下の場合は、第１ＢＧＭの音量は押し込み量に応じて算出され、押し込み量に追従して変化する。一方、図２０で示したように、押し込み速度が所定の閾値を超えている場合には、第１ＢＧＭの音量は押し込み量に追従しなくなる。具体的には、押し込み速度が所定の閾値を超えた場合には、その後、押し込み量が減少しても、所定時間、音量が維持され、所定時間経過後、一定速度で減少する。所定時間の経過前および経過後においては、押し込み量に応じて算出される音量と、現在の音量（所定時間維持されている音量又は一定速度で減少されている音量）とが比較され、大きい方の音量が、第１ＢＧＭの音量として設定される。

図１９及び図２０では、リングコントローラに対して押し込み操作が行われる場合について説明したが、リングコントローラに対して引っ張り操作が行われる場合も同様の制御が行われる。リングコントローラに対して引っ張り操作が行われる場合には、第２ＢＧＭが出力される。引っ張り速度（単位時間当たりの引っ張り量の増加量）が所定の閾値以下の場合には、引っ張り量に追従して第２ＢＧＭの音量が変化する。また、引っ張り速度が所定の閾値を越えている場合には、第２ＢＧＭの音量は引っ張り量に追従しなくなる。具体的には、引っ張り速度が所定の閾値を越えている場合には、所定時間、第２ＢＧＭの音量が維持され、所定時間経過後、一定速度で減少する。所定時間の経過前および経過後においては、引っ張り量に応じて算出される音量と、現在の音量（所定時間維持されている音量又は一定速度で減少されている音量）とが比較され、大きい方の音量が第２ＢＧＭの音量として設定される。

このように、基本ＢＧＭに対して、押し込み操作に応じて第１ＢＧＭが付加され、引っ張り操作に応じて第２ＢＧＭが付加される。押し込み速度又は引っ張り速度が速い場合には、所定時間音量が維持されるため、例えば、短時間で押し込み操作と引っ張り操作とが繰り返し行われると、第１ＢＧＭ及び第２ＢＧＭの両方の音量がゼロより大きく設定される。これにより、基本ＢＧＭに重畳して、第１ＢＧＭ及び第２ＢＧＭの両方が出力される。

図２１は、押し込み操作を短時間で繰り返し行うときと、押し込み操作および引っ張り操作を短時間で繰り返し行うときの第１ＢＧＭおよび第２ＢＧＭの音量の変化の一例を示す図である。

図２１において、上方向の縦軸は押し込み量又は第１ＢＧＭの音量を示し、下方向の縦軸は引っ張り量又は第２ＢＧＭの音量を示す。また、図中の破線は第１ＢＧＭの音量を示し、一点鎖線は第２ＢＧＭの音量を示す。

図２１に示すように、ユーザが、時刻ｔ０からｔ１の間でリングコントローラを強く押し込み、時刻ｔ１で押し込み操作を止めて、時刻ｔ２において押し込み量がゼロとなる操作を行い、以後同様の操作を２回（合計で３回）繰り返したものとする（時刻ｔ０からｔ６）。各押し込み操作の期間（時刻ｔ０からｔ１の期間、ｔ２からｔ３の期間、及びｔ４からｔ５の期間）の押し込み速度が所定の閾値を超えており、かつ、押し込み量が最大の場合、第１ＢＧＭの音量は、時刻ｔ１からｔ７（時刻ｔ５より所定時間後の時刻）まで最大音量に維持される。時刻ｔ６以降も同様の押し込み操作が繰り返し行われる場合、第１ＢＧＭの音量は、各時点の押し込み量に追従することなく、最大音量に維持される。

次に、時刻ｔ８から、ユーザが短時間で押し込み操作と引っ張り操作とを交互に繰り返したものとする。具体的には、ユーザは、時刻ｔ８からｔ９の間でリングコントローラを強く押し込み、時刻ｔ９からｔ１１までリングコントローラを強く引っ張る操作を行い、以降同様の操作を、２回繰り返したものとする。各押し込み操作の期間（時刻ｔ８からｔ９の期間、ｔ１２からｔ１３の期間、ｔ１６からｔ１７の期間）の押し込み速度が所定の閾値を超えており、かつ、押し込み量が最大の場合、第１ＢＧＭの音量は、時刻ｔ９からｔ２１（時刻ｔ１７より所定時間後の時刻）まで最大音量に維持される。また、各引っ張り操作の期間（時刻ｔ１０からｔ１１の期間、ｔ１４からｔ１５の期間、ｔ１８からｔ１９の期間）の引っ張り速度が所定の閾値を超えており、かつ、引っ張り量が最大の場合、第２ＢＧＭの音量は、時刻ｔ１１からｔ２２（時刻ｔ１９より所定時間後の時刻）まで最大音量に維持される。時刻ｔ２０以降も同様の押し込み操作および引っ張り操作が交互に繰り返し行われる場合、第１ＢＧＭおよび第２ＢＧＭの音量は、各時点の押し込み量および引っ張り量に追従することなく、最大音量に維持される。

このように、基本的には、第１ＢＧＭおよび第２ＢＧＭの音量は、それぞれ押し込み量および引っ張り量に応じて設定されるが、押し込み速度および引っ張り速度が所定の閾値を超えている場合は、第１ＢＧＭおよび第２ＢＧＭの音量が所定時間維持される。このため、図２１に示すように、ユーザが強い力で素早く押し込み操作および引っ張り操作を短時間で繰り返した場合、第１ＢＧＭおよび第２ＢＧＭが最大音量で継続的に出力される。これにより、基本ＢＧＭに重畳して、第１ＢＧＭおよび第２ＢＧＭの両方を継続的に出力することができる。

次に、図１８のステップＳ４の処理について説明する。図２２は、リングコントローラの押し込み量の変化と楽器音の出力との関係の一例を示す図である。

図２２に示すように、リングコントローラに対する押し込み操作が検出された場合、楽器音が出力される。具体的には、本体装置２は、押し込み量又は引っ張り量の変化量に基づいて、押し込み操作又は引っ張り操作が行われたか否かを判定する。例えば、押し込み量が検出されない状態（例えば、歪み値が所定の値（例えばゼロ）以下の状態）から、押し込み量が検出される状態（例えば、歪み値が所定の値（例えばゼロ）を超えた状態）になった場合、押し込み操作が検出されてもよい。

押し込み操作が検出された場合、その押し込み操作が行われたときのリングコントローラの姿勢に応じて、第１楽器音が再生および出力される。第１楽器音は、押し込み操作が検出される毎に１回だけ出力される。ここで、本体装置２（のフラッシュメモリ８４または外部記憶媒体）には、押し込み操作が行われたときに出力される第１楽器音として、第１楽器音Ａおよび第１楽器音Ｂを含む複数の異なる音色の楽器音が記憶されている。例えば、第１楽器音Ａは、所定の打楽器（例えば、バスドラム）を叩いたときの音であってもよい。本体装置２は、押し込み操作を検出した場合、そのときのリングコントローラの姿勢（捻り量及び／又は傾き量）に応じて、複数の楽器音の中から少なくとも１つの楽器音を選択する。例えば、捻り量が第１の範囲である場合には、ある楽器音が選択され、捻り量が第２の範囲である場合には、別の楽器音が選択される。

図２２の例では、時刻ｔ１において押し込み量としてゼロより大きな値を検出したことにより押し込み操作が検出され、その時点の捻り量が捻り量Ａの場合、第１楽器音Ａ（例えば、バスドラムの音）が出力される。また、時刻ｔ２において押し込み操作が検出され、その時点の捻り量が捻り量Ｂの場合、第１楽器音Ｂ（例えば、バスドラムにシンバルを加えた音）が出力される。なお、捻り量に加えて（又は代えて）、傾き量に応じて、出力される楽器音が異なってもよい。

また、押し込み操作が検出されたときの押し込み速度に応じて、楽器音の音量が設定される。図２２では、時点ｔ１における押し込み速度よりも時点ｔ２における押し込み速度の方が速いため、第１楽器音Ａの音量よりも第１楽器音Ｂの音量の方が大きく設定される。

なお、引っ張り操作が行われた場合も、押し込み操作が行われた場合と同様の制御により楽器音が出力される。すなわち、引っ張り操作が検出された場合、そのときのリングコントローラの姿勢（捻り量及び／又は傾き量）に応じて、予め記憶された複数の第２楽器音の中から少なくとも１つの楽器音が出力される。本体装置２には、引っ張り操作が行われたときに出力される複数の第２楽器音が記憶されている。第２楽器音は、第１楽器音とは異なる楽器の音である。例えば、引っ張り操作が行われたときには、上記所定の打楽器とは異なる打楽器（例えば、スネアドラム）を叩いたときの音が出力されてもよい。

次に、図１８のステップＳ５の処理について説明する。図２３は、リングコントローラの加速度の変化と効果音の出力との関係の一例を示す図である。

リングコントローラ（右コントローラ４）の加速度センサ１１４は、ｘｙｚ各軸方向の加速度を検出する。本体装置２は、加速度センサ１１４からの出力に基づいて加速度ベクトル（ｘｙｚ各軸を成分とする３次元ベクトル）の大きさを算出し、算出した加速度ベクトルの大きさに基づいて、振り操作が行われたか否かを判定する。

図２３に示すように、本体装置２は、時刻ｔ１において振り操作が行われたと判定した場合、効果音の再生および出力を開始する。例えば、時刻ｔ１における加速度の変化量（直前の時刻ｔ０における加速度と時刻ｔ１における加速度との差）が所定の閾値を超えている場合、振り操作が行われたと判定してもよい。また、時刻ｔ１における加速度を時刻ｔ０における加速度で割った値が、所定値（例えば、１．２）以上の場合、振り操作が行われたと判定してもよい。時刻ｔ１で出力開始された効果音は、例えば、時刻ｔ２まで出力される。

その後、時刻ｔ３〜ｔ４において再び加速度が増加し、その増加量が閾値を超えている場合、時刻ｔ４において効果音が出力される。さらにその効果音の出力中の時刻ｔ５における加速度の増加量が閾値を超えている場合、出力中の効果音が停止され、時刻ｔ５において、新たに効果音の再生が開始される。時刻ｔ５〜ｔ６の間、効果音が出力される。

次に、時刻ｔ７〜ｔ８における加速度の増加量が閾値を超えている場合、時刻ｔ８において効果音の再生が開始される。この時刻ｔ８において、リングコントローラに対して例えば捻り操作が行われている場合、捻り量に応じて効果音の再生速度が設定される。例えば、捻り量が大きいほど、再生速度が遅くなるように設定される。効果音の再生中に捻り量が変化した場合、効果音の再生速度も変化する。図２３の例では、時刻ｔ８〜ｔ９の間、捻り操作が継続して行われているため、この間の再生速度は、捻り操作が行われていない間の再生速度よりも遅く設定される。

なお、図２３の例では、振り操作が検知された場合、捻り量に応じて効果音の再生速度を変化させたが、コントローラの姿勢に応じて出力される効果音に変化が加えられれば、どのような変化でもよい。例えば、捻り量及び／又は傾き量に応じて、再生速度に代えて、効果音の音程が変化されてもよい。また、コントローラの姿勢に応じて、再生される効果音の種類を異ならせてもよい。

また、リングコントローラに対して振り操作が行われたか否かの検出は、他の方法で行われてもよい。例えば、加速度の絶対値が所定の閾値を超えた場合に振り操作が検出されてもよい。また、リングコントローラの姿勢の変化に基づいて振り操作が検出されてもよい。例えば、単位時間における傾き量又は捻り量の変化量が閾値を超えた場合に、振り操作が検出されてもよい。

図１８のステップＳ１〜Ｓ５の処理が行われることによって出力される音楽の一例について、図２４を参照して説明する。図２４は、リングコントローラに対する複数の操作に応じて出力される音の一例を示した図である。

図２４に示すように、時刻ｔ０において第１のゲームシーンが開始され、基本ＢＧＭの再生および出力が開始される。基本ＢＧＭは、時刻ｔ０以降、継続的に再生および出力される。第１ＢＧＭおよび第２ＢＧＭも、時刻ｔ０において再生が開始される。上述のように、基本ＢＧＭ、第１ＢＧＭ、第２ＢＧＭは、同じ旋律の楽曲であってそれぞれ異なる音色の音楽である。これら３つのＢＧＭは、同時に再生開始され、以後、同じ速度で再生される。しかしながら、この時点ｔ０においては、リングコントローラを変形させる操作（押し込み操作又は引っ張り操作）は行われていない。このため、第１ＢＧＭ及び第２ＢＧＭは、再生は行われるものの、音量が「０」に設定され、スピーカから出力されない。

次に、時刻ｔ１においてリングコントローラに対して押し込み操作が行われた場合、基本ＢＧＭに重畳して、第１ＢＧＭの出力が開始される。具体的には、再生中の第１ＢＧＭの音量が「０」よりも大きな値に設定される。これにより、第１ＢＧＭによる音響効果が付与される。３つのＢＧＭが時刻ｔ０において同時に再生開始されるため、時刻ｔ１において第１ＢＧＭが出力されるときに、基本ＢＧＭと同じ時点の音が出力される。例えば、時刻ｔ１が時刻ｔ０から５秒後である場合、時刻ｔ１においては、基本ＢＧＭ及び第１ＢＧＭについて、先頭から５秒後の音が出力される。これにより、同じ楽曲の同じ時点の音が異なる音色で出力される。

押し込み操作が継続されている間、第１ＢＧＭは継続的に出力される。第１ＢＧＭの音量は、上述した通り、押し込み量に応じて設定される。また、押し込み操作が検出された時刻ｔ１において、楽器音の再生および出力が開始される。これにより、楽器音による音響効果がさらに付与される。楽器音は、時刻ｔ１におけるリングコントローラの姿勢に応じて選択される。

時刻ｔ２において、リングコントローラに対して奥方向への傾け操作が行われた場合、出力中の基本ＢＧＭ及び第１ＢＧＭに対してローパスフィルタ（Ｌフィルタ）が適用される。これにより、基本ＢＧＭ及び第１ＢＧＭに対して、Ｌフィルタによる音響効果が付与される。上述のように、Ｌフィルタのフィルタ値は、押し込み量及び傾き量に応じて設定される。時刻ｔ３において、押し込み量が「０」になるとともに傾き量が「０」になると、第１ＢＧＭの出力およびＬフィルタの適用が終了する。具体的には、第１ＢＧＭは、再生は継続されるものの音量が「０」に設定される。

時刻ｔ３から押し込み操作に代えて引っ張り操作が開始されるとともに、ユーザの手前方向への傾け操作が行われる。時刻ｔ３以降、第２ＢＧＭの音量が「０」よりも大きな値に設定され、第２ＢＧＭが継続的に出力される。また、時刻ｔ３において、引っ張り操作が検出される。これにより、時刻ｔ３において、リングコントローラの姿勢に応じた楽器音が再生および出力される。また、時刻ｔ３以降、手前方向への傾け操作が行われる間、基本ＢＧＭおよび第２ＢＧＭに対して、バンドパスフィルタ（Ｂフィルタ）が適用される。これにより、基本ＢＧＭ及び第２ＢＧＭに対して、Ｂフィルタによる音響効果が付与される。

次に、時刻ｔ４において手前方向への傾け操作が終了する。これに応じて、Ｂフィルタの適用が終了する。また、時刻ｔ４において振り操作が検出された場合、効果音の再生および出力が開始される。これにより、効果音による音響効果がさらに付与される。

その後、時刻ｔ５〜ｔ６の間、リングコントローラに対して捻り操作が行われた場合、出力中の基本ＢＧＭおよび第２ＢＧＭに対してディレイ処理が行われる。これにより、基本ＢＧＭおよび第２ＢＧＭに対して、ディレイによる音響効果が付与される。そして、時刻ｔ７において、引っ張り操作が終了したことに応じて、第２ＢＧＭの出力が終了する。具体的には、第２ＢＧＭは、再生は継続されるものの音量は「０」に設定される。

なお、第１ＢＧＭ及び第２ＢＧＭは、押し込み操作又は引っ張り操作が行われていない間は再生されず、押し込み操作又は引っ張り操作が行われた時点で再生開始されてもよい。この場合、押し込み操作又は引っ張り操作が行われた時点で、基本ＢＧＭの再生時点と同じ時点から第１ＢＧＭ又は第２ＢＧＭが再生開始されてもよい。例えば、時刻ｔ０においては基本ＢＧＭのみが再生開始され、時刻ｔ０から５秒後の時刻ｔ１において押し込み操作が行われた場合、第１ＢＧＭは、先頭から５秒後の時点から再生開始されてもよい。

また、本実施形態では、ユーザが足踏みを行っている場合に、第３ＢＧＭ及び／又は第４ＢＧＭが出力される。第３ＢＧＭ及び第４ＢＧＭは、基本ＢＧＭと同様の旋律の音楽であって、基本ＢＧＭ、第１ＢＧＭ、及び、第２ＢＧＭとは異なる音色の音楽である。本体装置２は、脚コントローラ（左コントローラ３）の加速度センサ１０４及び角速度センサ１０５からの出力に基づいて、脚コントローラの動きを判別し、ユーザが足踏みを行っているか否かを判定することができる。具体的には、第３ＢＧＭ及び第４ＢＧＭが、第１ＢＧＭ及び第２ＢＧＭと同様に基本ＢＧＭの再生開始と同時に再生開始される。ユーザが足踏みを行っていない場合は、第３ＢＧＭ及び第４ＢＧＭの音量はゼロに設定されるため、第３ＢＧＭ及び第４ＢＧＭは出力されない。ユーザが足踏みを行っている場合、足踏み速度（足を上げ下げする速さ）に応じて、第３ＢＧＭの音量が上昇する。また、足踏み速度が閾値を超えた時点で、第４ＢＧＭの音量がゼロから急激に最大になるように制御される。また、足踏み動作が行われる毎に効果音（例えば人の声）が出力され、足踏み速度に応じて、その効果音の音量が上昇する。このように、脚コントローラの動きに応じて、別のＢＧＭや効果音がさらに付加される。

なお、上記では、第１のゲームシーンが開始された場合に基本ＢＧＭが自動的に再生され、リングコントローラに対する操作に応じて基本ＢＧＭを含む音楽が出力されるものとした。他の実施形態では、音楽の出力は、ユーザが足踏みを行っている場合に行われてもよい。例えば、基本ＢＧＭは、第１のゲームシーンが開始され、かつ、ユーザが足踏みを行っている場合に再生されてもよい。この基本ＢＧＭが再生されている間にリングコントローラに対する操作が行われた場合、上述のように同じ旋律の第１又は第２ＢＧＭが付加されたり、楽器音が付加されたり、フィルタ処理やディレイ処理が行われたりする。このように、ユーザが足踏みを行い、かつ、リングコントローラに対する操作を行う場合に、音楽が出力されてもよい。

すなわち、リングコントローラに対する操作に応じた変形情報および姿勢情報に加えて、脚コントローラの動きに関する情報（姿勢の変化、加速度等）に基づいて、音楽が生成および出力されてもよい。

（第２のゲームシーンにおける音の出力制御）
次に、第２のゲームシーンにおける音の出力制御について説明する。第２のゲームシーンでは、リングコントローラに対する操作に基づいて所定の音の周波数（音程）が変化される。第２のゲームシーンは、第１のゲームシーンとは異なるゲームシーンであってもよく、例えば、ゲームの開始時におけるオープニングシーンであってもよい。

図２５は、リングコントローラに対する引っ張り操作が行われている場合の所定の音の周波数の変化の一例を示す図である。図２６は、リングコントローラに対する引っ張り操作が行われている場合において、その引っ張り量、捻り量、及び傾き量が図２６とは異なるときに出力される所定の音の周波数の変化の一例を示す図である。

第２のゲームシーンでは、所定の音が出力される。所定の音は、例えば、ある周波数を有するＳＩＮ波の音であってもよい。また、所定の音は、複数の周波数成分から成る音（例えば、音楽）であってもよい。以下では、所定の音は、ある周波数を有するＳＩＮ波の音であるものとして説明する。

所定の音は、リングコントローラに対する引っ張り操作が行われている間に出力され、引っ張り操作が行われていない間は出力されない。あるいは、所定の音は、第２のゲームシーンの間、リングコントローラに対する引っ張り操作が行われていないときでも出力されてもよい。所定の音は、引っ張り量と、捻り量と、傾き量とに基づいて、その周波数（音程）が変化する。

具体的には、図２５に示すように、リングコントローラがある引っ張り量（引っ張り強さ）で引っ張られている場合、所定の音の周波数は、中心周波数ｃｆ１を中心として、周期的に変化する。例えば、所定の音の波形がＳＩＮ波であり、その周波数が１００ｋＨｚであるとすると、所定の音の周波数は、例えば、１００ｋＨｚを中心として８０ｋＨｚ〜１２０ｋＨｚの間で周期的に変化する。ここでは、この周波数の変化の幅（振幅；１２０−８０＝４０ｋＨｚ）を「音程変化量」ということがある。また、最も周波数が高くなる時点から次に最も周波数が高くなる時点までの時間を「音程変化の周期」ということがある。所定の音の周波数が図２５に示すように周期的に変化する場合、所定の音がうねるように変化する。

所定の音の中心周波数は、リングコントローラの引っ張り量に応じて設定される。具体的には、リングコントローラの引っ張り量が大きいほど、所定の音の中心周波数は下がる。図２６では、図２５のときよりもリングコントローラを強く引っ張ったときの所定の音の変化が示されている。図２６に示すように、中心周波数ｃｆ２は、図２５の中心周波数ｃｆ１よりも低い。

音程変化量（振幅）は、引っ張り量と、傾き量と、捻り量とに基づいて算出される。具体的には、音程変化量は、引っ張り量の絶対値に応じた値と、傾き量の絶対値に応じた値と、捻り量の絶対値に応じた値との和に基づいて算出される。このため、引っ張り量が大きいほど、音程変化量が大きくなり、周波数の変化の幅が大きくなる。また、傾き量が大きいほど、音程変化量が大きくなる。また、捻り量が大きいほど、音程変化量が大きくなる。なお、引っ張り量、傾き量、及び、捻り量のそれぞれが音程変化量に与える影響は、相対的に異なる。例えば、引っ張り量が音程変化量に与える影響は、傾き量及び捻り量が音程変化量に与える影響よりも小さくてもよい。

また、音程変化の周期も、引っ張り量と、傾き量と、捻り量とに基づいて算出される。具体的には、傾き量の絶対値に応じた値と、捻り量の絶対値に応じた値との和が算出される。音程変化の周期は、当該和と引っ張り量の絶対値に応じた値との積に基づいて算出される。このため、引っ張り量が大きいほど、周期が早くなる（１周期の時間が短くなる）。また、傾き量が大きいほど、周期が早くなる。また、捻り量が大きいほど、周期が早くなる。例えば、音程変化の周期は、例えば、０．５秒〜１０秒の間で変化する。

なお、所定の音の音量は、引っ張り量に応じて変化してもよい。例えば、引っ張り量が大きいほど、所定の音の音量が大きくてもよい。

図２７は、第２のゲームシーンにおけるリングコントローラに対する操作に基づく音の出力の概要を示す図である。

第２のゲームシーンにおいては、所定のＢＧＭに対して、上記所定の音が重畳される。所定のＢＧＭは、第２のゲームシーンの間、リングコントローラに対する操作が行われていなくても継続的に出力される。図２７に示すように、所定のＢＧＭは、所定の音のように引っ張り量、傾き量、及び捻り量に基づいて変化しない。リングコントローラに対する引っ張り操作が行われている間、所定のＢＧＭに重畳して、上述のようにして音程が変化する所定の音が出力される。

また、リングコントローラに対する引っ張り操作が検出される毎に、所定の効果音が１回だけ出力される。効果音の音量は、引っ張り速度に応じて設定される。また、効果音は複数種類あり、引っ張り操作が検出された時点におけるリングコントローラの姿勢（例えば、捻り量）に応じて、出力される効果音が決定される。

なお、上述した音程変化に関する処理は、ＢＧＭに対して行われてもよい。例えば、ＢＧＭの音程が周期的に変化するように、引っ張り量、捻り量、傾き量に基づいて、ＢＧＭの制御が行われてもよい。

また、効果音に対して上述した音程変化に関する処理が行われてもよい。

また、上記では引っ張り操作が行われた場合に音程変化に関する処理が行われるものとしたが、押し込み操作が行われた場合にも同様の処理が行われてもよい。

また、音程変化に関する処理は、第１のゲームシーンにおいても行われてもよい。この場合、例えば、基本ＢＧＭに対して音程変化に関する処理が行われてもよい。また、基本ＢＧＭに加えて（又は代えて）、第１ＢＧＭ又は第２ＢＧＭに対して音程変化に関する処理が行われてもよい。また、第１のゲームシーンにおいて出力される楽器音や効果音に対して、音程変化に関する処理が行われてもよい。

以上のように、本実施形態のゲームでは、リングコントローラの変形に応じた変形情報（押し込み量又は引っ張り量）と、リングコントローラの姿勢情報（傾き量、捻り量）とに基づいて、音が出力される。

具体的には、第１のゲームシーンでは、変形情報に基づいて、基本ＢＧＭに対して同じ旋律の別のＢＧＭが音響効果として付加された音楽が出力される。また、変形情報と姿勢情報とに基づいて、ＢＧＭ（基本ＢＧＭ及び付加されたＢＧＭ）に対してフィルタ処理やディレイ処理が行われることにより、音響効果が付与される。また、変形情報と姿勢情報とに基づいて、音響効果としての楽器音が付加される。また、振り操作が行われた場合には、音響効果として、姿勢情報に応じた効果音が付加される。

また、第２のゲームシーンでは、変形情報（引っ張り量）と姿勢情報（傾き量、捻り量）とに基づいて、音響効果として、音程を変化させる処理が行われる。そして、当該音響効果が付与された音（音程を変化させる処理が行われた後の所定の音）が出力される。

このように、本実施形態のゲームでは、基本となる音に対して、リングコントローラの変形情報と姿勢情報とに基づく音響効果（第１ＢＧＭの付加、第２ＢＧＭの付加、フィルタ処理、ディレイ処理、楽器音・効果音の付加、音程変化等）を付与し、音響効果が付与された音を出力することができる。これにより、リングコントローラを変形させたり、姿勢を変化させたりすることで様々な音を出力することができる。

本実施形態では、リングコントローラの姿勢情報のみならず、変形情報に基づいてフィルタやディレイ等の音響効果が付与されるため、ユーザの意図しない音響効果が付与されてしまうことを防止することができる。すなわち、リングコントローラの姿勢が変化しただけではフィルタやディレイ、楽器音等の音響効果は付与されず、リングコントローラが変形された場合に音響効果が付与されるため、ユーザが意図しない音響効果の付与を防止することができる。例えば、リングコントローラが基本姿勢からズレた状態で、ユーザに把持されることなく載置された状態において、その姿勢情報に基づいてユーザの意図しない音響効果が付与されることを防止できる。なお、振り判定においても、リングコントローラが変形しているときにのみ、音響効果が付与されるようにしてもよい。

また、リングコントローラの変形量（押し込み量又は引っ張り量）と姿勢情報（捻り量や傾き量）とに基づいて音響効果が付加されるため、次に示す効果がある。例えば、単に押し込み操作が検出された場合に、そのときの捻り量や傾き量に応じてフィルタやディレイを付加することも考えられる。リングコントローラの姿勢は容易に変化させることができるため、ユーザは、リングコントローラを捻り過ぎたり傾け過ぎたりしてしまうことがある。例えば、ユーザがリングコントローラを傾けすぎているときに、リングコントローラに対する押し込み操作を行った場合、フィルタ値の大きなフィルタがかかってしまい、違和感のある音響効果を付与してしまうことがある。しかしながら、本実施形態では、単に押し込み操作が検出されたことだけではなく、その量と姿勢情報との積に基づいて、音響効果が付加される。このため、ユーザの意図をより反映して音響効果を付与することができる。例えば、リングコントローラが傾けられた状態で押し込み操作がされた場合、傾き量が過大であったとしても、押し込み量は初めは小さいため、比較的小さなフィルタ値のフィルタ効果からかかり始める。そのため、その後ユーザは傾き量と押し込み量とを調整しながら意図したフィルタ効果を得ることが容易となる。また、ユーザは、比較的大きなフィルタをかける場合には、比較的大きな力で押し込み操作（又は引っ張り操作）を行うとともに、傾け操作を行う。逆に、ユーザは、比較的小さなフィルタをかける場合には、比較的小さな力で押し込み操作（又は引っ張り操作）を行うとともに、傾け操作を行う。このように、リングコントローラの変形量に基づいて音響効果を付与することにより、ユーザの意図した通りに音響効果を付与することができる。なお、ここでいう「積」は、変形情報（変形量）と姿勢情報との純粋な掛け算であってもよいし、純粋な掛け算ではなく、実質的に本効果が得られる積に関する演算処理が含まれていれば、他の変数や演算処理が介在してもよい。

また、変形情報と姿勢情報との積に応じて音響効果が付与されるため、様々な操作によっても同じ音響効果を付与することができ、ユーザの操作の自由度を増すことができる。例えば、変形量を小さくして捻り量や傾き量を大きくしたときと、変形量を大きくして捻り量や傾き量を小さくしたときとで、積は同じになる。このため、例えば、変形量が小さくても、捻り量や傾き量を大きくすることで、積を大きくすることができる。したがって、例えば、比較的力の弱いユーザであっても、捻り量や傾き量を大きくすることで、比較的大きなフィルタやディレイを付加することができる。

また、リングコントローラが変形している間、第１ＢＧＭ又は第２ＢＧＭが付加されるため、ユーザはリングコントローラに対して力を加えながら音楽を楽しむことができる。

また、押し込み操作又は引っ張り操作が検出されたときに楽器音が出力されるため、押し込み操作又は引っ張り操作を繰り返し行った場合には、楽器音がその都度出力される。これにより、ユーザに押し込み操作や引っ張り操作を繰り返し行わせることができ、運動による楽器の演奏を行わせることができる。また、押し込み操作又は引っ張り操作が検出されたときのリングコントローラの姿勢に応じて、異なる楽器音が出力されるため、リングコントローラの姿勢を変化させながら押し込み操作又は引っ張り操作を行わせることができる。これにより、単純に押し込み操作や引っ張り操作を繰り返す場合よりも、興趣性が増し、ユーザにリングコントローラに対する操作（押し込み、引っ張り、捻り、傾け等）を積極的に行わせることができ、ユーザに運動を行わせることができる。

また、基本ＢＧＭが出力され、リングコントローラに対する操作に応じて別の音（別のＢＧＭや楽器音等）が付加されるため、ユーザは、基本ＢＧＭのリズムに合わせてリングコントローラに対する操作を行うことで、オリジナルの楽曲を作成することができる。このように、音楽と運動を融合させることで、興趣性が向上するとともに、ユーザに積極的に運動を行わせることができる。

また、第１ＢＧＭ又は第２ＢＧＭの音量は、基本的には押し込み量又は引っ張り量に連動するものの、押し込み速度又は引っ張り速度が閾値を超えている場合は、第１ＢＧＭ又は第２ＢＧＭの音量は、一定時間維持される。このため、例えば、瞬間的にリングコントローラを押し込んだ場合であっても、第１ＢＧＭの音量がすぐにゼロにならず、ユーザは、第１ＢＧＭを聞くことができる。また、押し込み操作又は引っ張り操作を検出した場合には、楽器音が出力されるため、ユーザは、例えば瞬間的な押し込み操作を繰り返すことで、楽器音を繰り返し出力することができるとともに、第１ＢＧＭも聞くことができる。すなわち、各押し込み操作における押し込み速度が閾値を超えている場合には、第１ＢＧＭの音量は一定時間維持されるため、ユーザは、第１ＢＧＭと楽器音の両方を聞くことができる。例えば、図２１のように短時間で押し込み操作と引っ張り操作とが繰り返えされた場合、第１ＢＧＭおよび第２ＢＧＭが継続的に出力されるとともに、押し込み操作および引っ張り操作が検出された時点で、押し込み操作又は引っ張り操作に応じた楽器音（そのときの姿勢に応じて異なる楽器音）が出力される。これにより、ユーザは、第１ＢＧＭおよび第２ＢＧＭに加えて、さらに押し込み操作又は引っ張り操作に応じた楽器音を聞くことができ、ＢＧＭに楽器音を重畳した音楽を作成、出力することができる。

また、リングコントローラに対する操作（押し込み操作、引っ張り操作、傾け操作、捻り操作）に加えて、脚コントローラの動きに基づいて音楽が出力される。このため、ユーザに手および足を使った全身運動を行わせることができる。

（処理の詳細）
次に、本体装置２において行われる処理の一例について具体的に説明する。まず、本体装置２に記憶されるデータについて説明する。

図２８は、本体装置２に記憶されるデータの一例を示す図である。図２８に示すデータは、主にＤＲＡＭ８５に記憶されるが、これらの一部又は全部は、フラッシュメモリ８４に記憶されてもよいし、スロット２３に装着された外部記憶媒体に記憶されてもよい。

図２８に示すように、本体装置２には、ゲームプログラムと、脚コントローラデータと、リングコントローラデータと、変形情報と、姿勢情報とが記憶される。これらの他にも、音データやゲーム処理に必要な様々なデータが記憶される。

ゲームプログラムは、本実施形態のゲームを実行するためのプログラムであり、後述するフローチャートに示す処理を実行するためのプログラムである。ゲームプログラムは、例えば外部記憶媒体やフラッシュメモリ８４に記憶されており、ゲームの開始時に外部記憶媒体やフラッシュメモリ８４からＤＲＡＭ８５に読み込まれる。なお、ゲームプログラムは、他の装置からネットワーク（例えば、ＬＡＮ、ＷＡＮ、インターネット等）を介して取得されてもよい。

脚コントローラデータは、所定の時間間隔（例えば、１／２００秒間隔）で左コントローラ３から送信されたセンサデータである。具体的には、脚コントローラデータは、加速度センサ１０４からの加速度データ、及び、角速度センサ１０５からの角速度データを含む。脚コントローラデータは、最新のセンサデータと、過去に受信した複数のセンサデータとを含む。

リングコントローラデータは、所定の時間間隔（例えば、１／２００秒間隔）で右コントローラ４から送信されたセンサデータである。具体的には、リングコントローラデータは、加速度センサ１１４からの加速度データ、角速度センサ１１５からの角速度データ、及び、歪み検出部２１１が検出した歪み値に関するリング操作データを含む。リングコントローラデータは、最新のセンサデータと、過去に受信した複数のセンサデータとを含む。

変形情報は、リングコントローラデータに基づいて算出されるリングコントローラの変形に関する情報である。変形情報は、押し込み量（正の歪み値）又は引っ張り量（負の歪み値）を表す情報である。

姿勢情報は、リングコントローラデータに基づいて算出されるリングコントローラの姿勢に関する情報である。姿勢情報は、捻り量（ｚ軸回りの回転角）と傾き量（ｙ軸回りの回転角）とを含む。

（フローチャートの説明）
次に、本体装置２において行われる処理の詳細について説明する。図２９は、本体装置２のプロセッサ８１において行われる第１のゲームシーンにおけるゲーム処理の一例を示すフローチャートである。図２９に示す処理は、ゲームの実行中に第１のゲームシーンが開始されたことに応じて、開始される。

図２９に示すように、プロセッサ８１は、まず、各ＢＧＭ（基本ＢＧＭ、第１ＢＧＭ、第２ＢＧＭ、第３ＢＧＭおよび第４ＢＧＭ）の再生を開始する（ステップＳ１００）。ステップＳ１００でＢＧＭの再生を開始した後、プロセッサ８１は、第１のゲームシーンが終了するまで、ステップＳ１０１〜ステップＳ１１２の処理を所定のフレーム時間間隔（例えば、１／６０秒間隔）で繰り返し実行する。以下、ステップＳ１０１以降の処理について説明する。

プロセッサ８１は、リングコントローラからのセンサデータ（加速度データ、角速度データ及びリング操作データ）を取得する（ステップＳ１０１）。

次に、プロセッサ８１は、取得したセンサデータに基づいて、リングコントローラの変形情報および姿勢情報を取得する（ステップＳ１０２）。具体的には、プロセッサ８１は、リング操作データに基づいて、押し込み量（正の歪み値）又は引っ張り量（負の歪み値）を取得する。また、プロセッサ８１は、リングコントローラの角速度データ及び加速度データに基づいて、姿勢情報として捻り量および傾き量を算出する。

次に、プロセッサ８１は、予め記憶された基本ＢＧＭに対応する音データに基づいて、基本ＢＧＭの再生処理を行う（ステップＳ１０３）。これにより、ステップＳ１００で開始された基本ＢＧＭの再生位置が更新され、後述するステップＳ１１１の音出力処理が行われた場合に、基本ＢＧＭがスピーカ（本体装置２のスピーカ８８又は他のスピーカ）から出力される。また、基本ＢＧＭの再生位置の更新と同様に、第１〜第４ＢＧＭについても再生位置が更新される。なお、基本ＢＧＭに対して後述するフィルタ処理やディレイ処理が行われた場合には、これらの音響効果が付与された基本ＢＧＭが出力される。

続いて、プロセッサ８１は、第１ＢＧＭ付加処理を実行する（ステップＳ１０４）。第１ＢＧＭ付加処理は、リングコントローラに対する押し込み操作が行われた場合に、基本ＢＧＭに重畳して第１ＢＧＭを付加する処理である。ステップＳ１０４の第１ＢＧＭ付加処理の詳細については後述する。

次に、プロセッサ８１は、第２ＢＧＭ付加処理を実行する（ステップＳ１０５）。第２ＢＧＭ付加処理は、リングコントローラに対する引っ張り操作が行われた場合に、基本ＢＧＭに重畳して第２ＢＧＭを付加する処理である。第２ＢＧＭ付加処理は、押し込み操作と引っ張り操作とで異なることを除いて、第１ＢＧＭ付加処理と同じ処理である。

続いて、プロセッサ８１は、変形情報および姿勢情報に基づいて、フィルタ処理を行う（ステップＳ１０６）。具体的には、プロセッサ８１は、リングコントローラに対して押し込み操作又は引っ張り操作が行われている場合に、リングコントローラの傾き量に応じてフィルタ処理を行う。ステップＳ１０６のフィルタ処理の詳細については後述する。

次に、プロセッサ８１は、変形情報および姿勢情報に基づいて、ディレイ処理を行う（ステップＳ１０７）。具体的には、プロセッサ８１は、リングコントローラに対して押し込み操作又は引っ張り操作が行われている場合に、リングコントローラの捻り量に応じてディレイ処理を行う。ステップＳ１０７のディレイ処理の詳細については後述する。

次に、プロセッサ８１は、変形情報および姿勢情報に基づいて、楽器音付加処理を行う（ステップＳ１０８）。具体的には、プロセッサ８１は、リングコントローラに対して押し込み操作又は引っ張り操作が行われた場合に、リングコントローラの姿勢情報に応じて楽器音を再生する。ステップＳ１０８の楽器音付加処理の詳細については後述する。

さらに、プロセッサ８１は、効果音付加処理を行う（ステップＳ１０９）。具体的には、プロセッサ８１は、リングコントローラに対する振り操作が行われた場合に、リングコントローラの姿勢情報に応じて効果音を再生する。ステップＳ１０９の効果音付加処理の詳細については後述する。

ステップＳ１０９の処理の後、プロセッサ８１は、足踏み判定処理を行う（ステップＳ１１０）。具体的には、プロセッサ８１は、脚コントローラからのセンサデータ（加速度センサ及び角速度センサからのデータ）に基づいて、ユーザが足踏みを行っているか否かを判定する。そして、プロセッサ８１は、ユーザが足踏みを行っていると判定した場合、その足踏み速度に応じて第３ＢＧＭ及び／又は第４ＢＧＭの音量をゼロより大きな値に設定する。プロセッサ８１は、ユーザが足踏みを行っていないと判定した場合は、第３ＢＧＭ及び第４ＢＧＭの音量をゼロに設定する。さらに、プロセッサ８１は、足踏み判定の結果に基づく効果音を再生する。

ステップＳ１１０の処理の後、プロセッサ８１は、ステップＳ１０３〜ステップＳ１１０の処理の結果に基づく音出力処理を行う（ステップＳ１１１）。例えば、押し込み操作が行われている場合には、基本ＢＧＭに重畳して第１ＢＧＭが付加される。また、押し込み操作に加えて傾け操作が行われている場合には、基本ＢＧＭ及び第１ＢＧＭに対してフィルタ処理が行われた後の音が出力される。また、例えば、今回の処理ループにおいて押し込み操作が検出された場合には、ＢＧＭに重畳して楽器音がさらに付加される。また、今回の処理ループにおいて振り操作が検出された場合には、さらに効果音が付加される。そして、プロセッサ８１は、画像の生成・出力処理を行う（ステップＳ１１２）。ステップＳ１１１及びステップＳ１１２の処理が行われることで、第１のゲームシーンに係るゲーム画像が表示されるとともに、リングコントローラに対する操作に応じた音楽が出力される。プロセッサ８１は、ステップＳ１１２の処理の後、ステップＳ１０１の処理を再び実行する。

（第１ＢＧＭ付加処理）
次に、ステップＳ１０４の第１ＢＧＭ付加処理の詳細について説明する。図３０は、ステップＳ１０４の第１ＢＧＭ付加処理の一例を示すフローチャートである。

まず、プロセッサ８１は、リングコントローラに対して押し込み操作が行われているか否かを判定する（ステップＳ１２０）。具体的には、プロセッサ８１は、歪み値が「０」より大きいか否かを判定する。歪み値が「０」より大きい場合、リングコントローラに対して押し込み操作が行われていると判定することができる。

押し込み操作が行われている場合（ステップＳ１２０：ＹＥＳ）、プロセッサ８１は、押し込み速度が閾値を超えているか否かを判定する（ステップＳ１２１）。例えば、プロセッサ８１は、前回の処理ループで取得した押し込み量と今回の処理ループで取得した押し込み量とに基づいて、押し込み量が増加しているか否かを判定する。そして、プロセッサ８１は、押し込み量が増加している場合には、その増加量が所定の閾値を超えているか否かを判定する。

押し込み速度が閾値を超えていると判定した場合（ステップＳ１２１：ＹＥＳ）、プロセッサ８１は、「余韻フラグ」をＯＮに設定する（ステップＳ１２２）。ここで、余韻フラグは、押し込み速度が閾値を超えたことを示すフラグであって、第１ＢＧＭの音量を押し込み量に連動させずに所定時間維持し、その後、一定速度で減少させることを示すフラグである。

次に、プロセッサ８１は、押し込み速度が閾値を超えてからの経過時間の計測を開始する（ステップＳ１２３）。そして、プロセッサ８１は、現在の押し込み量に応じて、第１ＢＧＭの音量を設定する（ステップＳ１２４）。押し込み量と音量との関係は予め定められており、第１ＢＧＭの音量は押し込み量に連動して設定される。

一方、押し込み速度が閾値を越えていない場合（ステップＳ１２１：ＮＯ）、プロセッサ８１は、余韻フラグがＯＮか否かを判定する（ステップＳ１２５）。

余韻フラグがＯＮである場合（ステップＳ１２５：ＹＥＳ）、プロセッサ８１は、押し込み速度が閾値を超えてからの経過時間に応じた音量を算出する（ステップＳ１２６）。具体的には、プロセッサ８１は、経過時間が例えば０．５秒以内である場合、ステップＳ１２４で設定した音量を算出する。また、プロセッサ８１は、経過時間が０．５秒を超えている場合、ステップＳ１２４で設定した音量から経過時間に応じて減少させた音量を算出する。例えば、経過時間が０．５秒を超えている場合、音量は、経過時間に比例して減少するように算出される。

ステップＳ１２６に続いて、プロセッサ８１は、現在の押し込み量に応じた音量を算出する（ステップＳ１２７）。そして、プロセッサ８１は、ステップＳ１２６で算出した音量とステップＳ１２７で算出した音量とのうち、大きい方を第１ＢＧＭの音量として設定する（ステップＳ１２８）。

ステップＳ１２６〜ステップＳ１２８の処理が行われることにより、押し込み速度が閾値を超えた場合に、第１ＢＧＭの音量は、所定時間維持された後、一定速度で減少するように変化する。

一方、余韻フラグがＯＦＦである場合（ステップＳ１２５：ＮＯ）、プロセッサ８１は、現在の押し込み量に応じて第１ＢＧＭの音量を設定する（ステップＳ１２９）。これにより、第１ＢＧＭの音量は、押し込み量に連動するように変化する。

ステップＳ１２４、ステップＳ１２８、又は、ステップＳ１２９の処理を行った場合、プロセッサ８１は、図３０に示す第１ＢＧＭ付加処理を終了する。

一方、押し込み操作が行われていない場合（ステップＳ１２０：ＮＯ）、すなわち、歪み値が「０」以下である場合、プロセッサ８１は、余韻フラグがＯＮか否かを判定する（ステップＳ１３０）。余韻フラグがＯＮである場合（ステップＳ１３０：ＹＥＳ）、プロセッサ８１は、押し込み速度が閾値を超えてからの経過時間に応じた音量を算出する（ステップＳ１３１）。ステップＳ１３１の処理は、ステップＳ１２６の処理と同じ処理である。具体的には、プロセッサ８１は、経過時間が例えば０．５秒以内である場合、ステップＳ１２４で設定した音量を算出する。また、プロセッサ８１は、経過時間が０．５秒を超えている場合、ステップＳ１２４で設定した音量から経過時間に応じて減少させた音量を算出する。

次に、プロセッサ８１は、ステップＳ１３１で算出した音量がゼロか否かを判定する（ステップＳ１３２）。ステップＳ１３１で算出した音量がゼロでない場合（ステップＳ１３２：ＮＯ）、プロセッサ８１は、算出した音量を第１ＢＧＭの音量として設定する（ステップＳ１３３）。

ステップＳ１３１〜ステップＳ１３３の処理が行われることにより、以前の処理ループにおいて押し込み速度が閾値を超えた場合は、押し込み量がゼロ以下になった場合でも、第１ＢＧＭの音量は、所定時間維持された後、一定速度で減少するように変化する。すなわち、押し込み操作が行われたときの押し込み速度が閾値を超えた場合は、その後、押し込み操作が行われなくなった場合や引っ張り操作に切り替わった場合であっても、第１ＢＧＭは、ある程度の時間継続して出力される。これにより、余韻を持たせることができる。

一方、ステップＳ１３０でＮＯと判定した場合、又は、ステップＳ１３２でＹＥＳと判定した場合、プロセッサ８１は、第１ＢＧＭの音量をゼロに設定する（ステップ１３４）。なお、プロセッサ８１は、ステップＳ１３２でＹＥＳと判定した場合には、余韻フラグをＯＦＦに設定する。

ステップＳ１３３又はステップＳ１３４の処理を行った場合、プロセッサ８１は、図３０に示す第１ＢＧＭ付加処理を終了する。

なお、第２ＢＧＭ付加処理は、図３０の「押し込み」を「引っ張り」に置き換えることを除いて第１ＢＧＭ付加処理と同じである。このため、第２ＢＧＭ付加処理の詳細については省略する。

（フィルタ処理）
次に、ステップＳ１０６のフィルタ処理の詳細について説明する。図３１は、ステップＳ１０６のフィルタ処理の一例を示すフローチャートである。

プロセッサ８１は、リングコントローラに対して押し込み操作又は引っ張り操作が行われているか否かを判定する（ステップＳ１４０）。具体的には、プロセッサ８１は、歪み値がゼロ以外の値か否かを判定する。

押し込み操作又は引っ張り操作が行われていると判定した場合（ステップ１４０：ＹＥＳ）、プロセッサ８１は、リングコントローラが奥方向に傾いているか否かを判定する（ステップＳ１４１）。例えば、傾き量がゼロより大きい場合、プロセッサ８１は、リングコントローラが奥方向に傾いていると判定する。

リングコントローラが奥方向に傾いている場合（ステップＳ１４１：ＹＥＳ）、プロセッサ８１は、ローパスフィルタを設定する（ステップＳ１４２）。一方、リングコントローラが奥方向に傾いていない場合（ステップＳ１４１：ＮＯ）、プロセッサ８１は、リングコントローラが手前方向に傾いているか否かを判定する（ステップＳ１４３）。例えば、傾き量がゼロより小さい場合、プロセッサ８１は、リングコントローラが手前方向に傾いていると判定する。

リングコントローラが手前方向に傾いている場合（ステップＳ１４３：ＹＥＳ）、プロセッサ８１は、バンドパスフィルタを設定する（ステップＳ１４４）。

ステップＳ１４２又はステップＳ１４４の処理を実行した場合、プロセッサ８１は、押し込み量又は引っ張り量と、傾き量とに基づいて、フィルタ値を算出する（ステップＳ１４５）。例えば、押し込み操作が行われている場合、プロセッサ８１は、押し込み量の絶対値と傾き量の絶対値との積に基づいて、フィルタ値を算出する。

そして、プロセッサ８１は、再生中の音にフィルタを適用する（ステップＳ１４６）。例えば、プロセッサ８１は、ローパスフィルタが設定されている場合、ステップＳ１４５で算出したフィルタ値に基づいて、所定の周波数以上の周波数をカット又は減衰させる。また、プロセッサ８１は、バンドパスフィルタが設定されている場合、ステップＳ１４５で算出したフィルタ値に基づいて、所定の範囲以外の周波数をカット又は減衰させる。これにより、ＢＧＭ（基本ＢＧＭ、第１ＢＧＭ、及び、第２ＢＧＭ）に対してフィルタが適用され、ＢＧＭの聞こえ方が変化する。

ステップＳ１４６の処理を行った場合、ステップＳ１４０でＮＯと判定した場合、又は、ステップＳ１４３でＮＯと判定した場合、プロセッサ８１は、図３１に示すフィルタ処理を終了する。

（ディレイ処理）
次に、ステップＳ１０７のディレイ処理の詳細について説明する。図３２は、ステップＳ１０７のディレイ処理の一例を示すフローチャートである。

プロセッサ８１は、リングコントローラに対して押し込み操作又は引っ張り操作が行われているか否かを判定する（ステップＳ１５０）。具体的には、プロセッサ８１は、歪み値がゼロ以外の値か否かを判定する。

押し込み操作又は引っ張り操作が行われていると判定した場合（ステップ１５０：ＹＥＳ）、プロセッサ８１は、リングコントローラの捻り量がゼロより大きいか否かを判定する（ステップＳ１５１）。

捻り量がゼロより大きい場合（ステップＳ１５１：ＹＥＳ）、プロセッサ８１は、押し込み量又は引っ張り量と、捻り量とに基づいて、ディレイ音の音量を算出する（ステップＳ１５２）。例えば、押し込み操作が行われている場合、プロセッサ８１は、押し込み量の絶対値と捻り量の絶対値との積に基づいて、ディレイ音の音量を算出する。ステップＳ１５２の処理は、出力されるＢＧＭ毎に行われる。すなわち、基本ＢＧＭに対応するディレイ音の音量が算出される。また、第１ＢＧＭの音量がゼロより大きい場合、第１ＢＧＭに対応するディレイ音の音量が算出される。また、第２ＢＧＭの音量がゼロより大きい場合、第２ＢＧＭに対応するディレイ音の音量が算出される。これにより、ステップＳ１１１の音出力処理が行われた場合に、各ＢＧＭに対して所定時間遅れたディレイ音が出力される。

なお、ステップＳ１５０でＮＯと判定された場合、又は、ステップＳ１５１でＮＯと判定された場合、ディレイ音の音量はゼロに設定される。具体的には、各ＢＧＭに対するディレイ音を再生する処理は行われるが、各ＢＧＭのディレイ音はゼロに設定される。このため、ディレイ音は出力されない。

ステップＳ１５２の処理を行った場合、ステップＳ１５０でＮＯと判定した場合、又は、ステップＳ１５１でＮＯと判定した場合、プロセッサ８１は、図３２に示すディレイ処理を終了する。

（楽器音付加処理）
次に、ステップＳ１０８の楽器音付加処理の詳細について説明する。図３３は、ステップＳ１０８の楽器音付加処理の一例を示すフローチャートである。

プロセッサ８１は、リングコントローラに対して押し込み操作が行われたか否かを判定する（ステップＳ１６０）。例えば、プロセッサ８１は、リングコントローラに対して力が加えられていない状態又は引っ張り操作が行われている状態から、押し込み操作が行われている状態に移行した場合、リングコントローラに対して押し込み操作が行われたと判定する。具体的には、プロセッサ８１は、前回の処理ループにおける歪み値がゼロ以下であり、かつ、今回の処理ループにおける歪み値がゼロ（又は所定値）よりも大きい場合、押し込み操作が行われたと判定する。

押し込み操作が行われたと判定した場合（ステップＳ１６０：ＹＥＳ）、プロセッサ８１は、姿勢情報に基づいて、第１楽器音を選択する（ステップＳ１６１）。本体装置２には、押し込み操作が行われたときに出力される第１楽器音として、複数の音が記憶されている。プロセッサ８１は、押し込み操作が行われたときの姿勢情報（捻り量、及び／又は、傾き量）に基づいて、複数の第１楽器音の中から何れか１の楽器音を選択する。

次に、プロセッサ８１は、押し込み速度に応じて第１楽器音の音量を設定する（ステップＳ１６２）。具体的には、プロセッサ８１は、押し込み速度が速いほど第１楽器音の音量を大きく設定する。

一方、押し込み操作が行われていないと判定した場合（ステップＳ１６０：ＮＯ）、プロセッサ８１は、引っ張り操作が行われたか否かを判定する（ステップＳ１６３）。例えば、プロセッサ８１は、リングコントローラに対して力が加えられていない状態又は押し込み操作が行われている状態から、引っ張り操作が行われている状態に移行した場合、リングコントローラに対して引っ張り操作が行われたと判定する。具体的には、プロセッサ８１は、前回の処理ループにおける歪み値がゼロ以上であり、かつ、今回の処理ループにおける歪み値がゼロ（又は所定値）よりも小さい場合、引っ張り操作が行われたと判定する。

引っ張り操作が行われたと判定した場合（ステップＳ１６３：ＹＥＳ）、プロセッサ８１は、姿勢情報に基づいて、第２楽器音を選択する（ステップＳ１６４）。本体装置２には、引っ張り操作が行われたときに出力される第２楽器音として、複数の音が記憶されている。プロセッサ８１は、引っ張り操作が行われたときの姿勢情報（捻り量、及び／又は、傾き量）に基づいて、複数の第２楽器音の中から何れか１の楽器音を選択する。

次に、プロセッサ８１は、引っ張り速度に応じて第２楽器音の音量を設定する（ステップＳ１６５）。具体的には、プロセッサ８１は、引っ張り速度が速いほど第２楽器音の音量を大きく設定する。

ステップＳ１６２又はステップＳ１６５の処理を行った場合、プロセッサ８１は、設定した音量で、選択した楽器音の再生を開始する（ステップＳ１６６）。

ステップＳ１６６の処理を実行した場合、又は、ステップＳ１６３でＮＯと判定した場合、プロセッサ８１は、図３３に示す楽器音付加処理を終了する。

（効果音付加処理）
次に、ステップＳ１０９の効果音付加処理の詳細について説明する。図３４は、ステップＳ１０９の効果音付加処理の一例を示すフローチャートである。

プロセッサ８１は、リングコントローラに対して振り操作が行われたか否かを判定する（ステップＳ１７０）。具体的には、プロセッサ８１は、加速度センサ１１４からの出力に基づいて振り操作が行われたか否かを判定する。例えば、プロセッサ８１は、今回の処理ループにおける加速度ベクトルの大きさを前回の処理ループにおける加速度ベクトルの大きさで除した値が、閾値を超えている場合、振り操作が行われたと判定する。

振り操作が行われたと判定した場合（ステップＳ１７０：ＹＥＳ）、プロセッサ８１は、捻り量に応じて効果音の再生速度を設定する（ステップＳ１７１）。例えば、プロセッサ８１は、捻り量がゼロの場合には、通常の再生速度に設定する。また、プロセッサ８１は、捻り量が正の値の場合には、再生速度を通常よりも速くし、捻り量が負の値の場合には、再生速度を通常よりも遅く設定する。

次に、プロセッサ８１は、ステップＳ１７１で設定した再生速度で、効果音の再生を開始する（ステップＳ１７２）。なお、プロセッサ８１は、以前の処理ループにおいてステップＳ１７２で効果音の再生を開始した場合において、当該効果音を再生中である場合、再生中の効果音を停止し、今回の処理ループにおけるステップＳ１７２において、新たに効果音の再生を開始する。

一方、振り操作が行われたと判定しなかった場合（ステップＳ１７０：ＮＯ）、プロセッサ８１は、以前の処理ループにおいて既に効果音の再生を開始し、当該効果音を出力中か否かを判定する（ステップＳ１７３）。効果音を出力中と判定した場合（ステップＳ１７３：ＹＥＳ）、プロセッサ８１は、捻り量に応じて効果音の再生速度を設定する（ステップＳ１７４）。これにより、効果音の再生中にリングコントローラの姿勢が変化した場合、効果音の再生速度も変化する。

ステップＳ１７２の処理を実行した場合、ステップＳ１７４の処理を実行した場合、又は、ステップＳ１７３でＮＯと判定した場合、プロセッサ８１は、図３４に示す効果音付加処理を終了する。

なお、上記フローチャートで示した処理は単なる例示に過ぎず、処理の順番や内容等は適宜変更されてもよい。

例えば、ステップＳ１０６のフィルタ処理およびステップＳ１０７のディレイ処理は、ステップＳ１０９の処理の後に行われてもよい。この場合、ＢＧＭ（基本ＢＧＭ、第１ＢＧＭ、第２ＢＧＭ）に加えて、楽器音および効果音に対しても、フィルタ処理およびディレイ処理が行われる。また、ステップＳ１０６のフィルタ処理の前に、ステップＳ１１０の足踏み判定処理が行われてもよい。この場合、ユーザが足踏みを行っているときに出力される第３ＢＧＭ及び／又は第４ＢＧＭに対しても、フィルタ処理やディレイ処理が行われる。

また、各判定に用いられた閾値は単なる例示であり、適宜変更されてもよい。例えば、誤検知を防止するために、判定に用いられた閾値はある程度の幅を有するものであってもよい。例えば、押し込み操作が行われているか否かの判定において、歪み値がゼロより大きいか否かを判定する代わりに、歪み値が所定値（＞０）より大きいか否かを判定してもよい。捻り量や傾き量に関する判定の閾値についても同様に、ある程度の幅を持たせてもよい。

また、一部の処理は省略されてもよいし、他の処理が追加されてもよい。例えば、ステップＳ１０４〜ステップＳ１０７の処理は行われない場合があってもよい。この場合、押し込み操作又は引っ張り操作が行われている間、第１ＢＧＭ又は第２ＢＧＭは付加されず、基本ＢＧＭのみが出力される。基本ＢＧＭの出力中に押し込み操作が検出された場合には、１回だけ楽器音が出力される。この楽器音は、例えば、傾き量や捻り量に応じて異なってもよい。

以上のように、第１のゲームシーンにおいては、リングコントローラの変形情報及び姿勢情報に基づいて、フィルタ処理、ディレイ処理、楽器音付加処理等が行われることにより、基本ＢＧＭに対して音響効果が付与される。また、リングコントローラの変形情報に基づいて、基本ＢＧＭに対して、音響効果の一例としての、第１ＢＧＭ及び／又は第２ＢＧＭが付加される。

（第２のゲームシーンにおけるゲーム処理）
次に、第２のゲームシーンにおけるゲーム処理について説明する。図３５は、本体装置２のプロセッサ８１において行われる第２のゲームシーンにおけるゲーム処理の一例を示すフローチャートである。図３５に示す処理は、ゲームの実行中に第２のゲームシーンが開始されたことに応じて、開始される。

図３５に示すように、プロセッサ８１は、まず、ＢＧＭおよび所定の音の再生を開始する（ステップＳ２００）。ここで再生されるＢＧＭは、第１のゲームシーンにおけるＢＧＭとは異なる音楽である。また、所定の音は、単一又は複数の周波数成分からなる音である。

次に、プロセッサ８１は、リングコントローラからのセンサデータを取得し（ステップＳ２０１）、リングコントローラの変形情報及び姿勢情報を取得する（ステップＳ２０２）。ステップＳ２０１及びステップＳ２０２の処理は、ステップＳ１０１及びステップＳ１０２と同様の処理であるため、詳細な説明を省略する。

次に、プロセッサ８１は、変形情報に基づいて、所定の音の中心周波数を算出する（ステップＳ２０３）。具体的には、プロセッサ８１は、変形情報に基づいて、リングコントローラに対する引っ張り操作が行われているか否かを判定し、引っ張り操作が行われている場合には、その引っ張り量に応じて中心周波数を設定する。引っ張り量が大きいほど、中心周波数は小さく設定される。

続いて、プロセッサ８１は、変形情報及び姿勢情報に基づいて、音程変化量に関するパラメータを算出する（ステップＳ２０４）。音程変化量に関するパラメータは、所定の音の周波数を、中心周波数からどれくらい（何倍）上下させるかを示すパラメータであり、例えば、０〜３の範囲で変化するパラメータである。具体的には、プロセッサ８１は、引っ張り量の絶対値、傾き量の絶対値、及び、捻り量の絶対値の和を算出し、当該和に基づいて音程変化量に関するパラメータを算出する。

次に、プロセッサ８１は、変形情報及び姿勢情報に基づいて、音程変化の周期を算出する（ステップＳ２０５）。音程変化の周期は、所定の音の周波数を変化させる周期を示すパラメータであり、例えば、０．５〜１０秒の範囲で変化する。具体的には、プロセッサ８１は、傾き量の絶対値と捻り量の絶対値の和を算出し、当該和と引っ張り量の絶対値との積を算出し、当該積に基づいて音程変化の周期を算出する。

次に、プロセッサ８１は、中心周波数と、音程変化量と、音程変化の周期とに基づいて、所定の音の周波数を設定する（ステップＳ２０６）。ステップＳ２０６において各時点の周波数が設定されることにより、所定の音の周波数は、時間経過に応じて周期的に変化する（図２５及び図２６参照）。

次に、プロセッサ８１は、引っ張り操作を検出した場合に、効果音再生処理を実行する（ステップＳ２０７）。具体的には、プロセッサ８１は、引っ張り操作を検出した場合、そのときの捻り量に応じて複数の効果音の中から何れかを再生する。また、プロセッサ８１は、引っ張り速度に応じて効果音の音量を設定する。

そして、プロセッサ８１は、ＢＧＭ、周波数が設定された所定の音、及び、効果音を出力する音出力処理を行い（ステップＳ２０８）、ゲーム画像の生成・出力処理を行う（ステップＳ２０９）。これにより、第２のゲームシーンに係るゲーム画像が表示されるとともに、リングコントローラに対する操作に応じた音が出力される。プロセッサ８１は、ステップＳ２０９の処理の後、ステップＳ２０１の処理を再び実行する。ステップＳ２０１〜ステップＳ２０９の処理は、第２のゲームシーンが終了するまで、所定のフレーム時間間隔で繰り返し実行される。

以上のように、第２のゲームシーンにおいては、リングコントローラの変形情報及び姿勢情報に基づいて、音響効果の一例として、音程を周期的に変化させる処理が行われる。

以上のように、本実施形態では、リングコントローラに対して力を加えるとともに、リングコントローラの姿勢を制御することで、様々な音楽を生成・出力することができる。

（変形例）
以上、本実施形態のゲームについて説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。

例えば、上記実施形態では、姿勢を検出するセンサを有する右コントローラ４と、変形を検出するセンサを有するリング型拡張装置５とが分離可能に構成され、右コントローラ４をリング型拡張装置５に装着することで、これらセンサを備えるリングコントローラを構成した。他の実施形態では、姿勢を検出するセンサと、変形を検出するセンサとが分離不可能に構成された入力装置が用いられてもよい。

また、上記実施形態では、リングコントローラの姿勢情報を、慣性センサ（角速度センサ、及び、加速度センサ）からの出力に基づいて取得（算出）した。他の実施形態では、リングコントローラの姿勢情報は、他の方法により取得されてもよい。例えば、リングコントローラの姿勢情報は、カメラからの画像に基づいて取得（算出）されてもよい。例えば、リングコントローラの周辺にカメラを設け、当該カメラでリングコントローラを撮像し、撮像した画像からリングコントローラの姿勢を検出してもよい。また、リングコントローラにカメラを設け、当該カメラで撮像された画像に基づいて、リングコントローラの姿勢が検出されてもよい。すなわち、リングコントローラの姿勢情報は、リングコントローラが備える慣性センサからの出力に基づいて取得（算出）されてもよいし、カメラからの画像に基づいて取得（算出）されてもよい。

また、上記実施形態では、基本となる音楽に、変形情報と姿勢情報とに基づく音響効果が付与され、当該音響効果が付与された音楽が出力されるものとした。他の実施形態では、変形情報と姿勢情報とに基づいて音楽が出力されれば、基本となる音はなくてもよい。すなわち、上述した変形情報と姿勢情報とに基づく音響効果のみの音楽（例えば、第１ＢＧＭに楽器音が付加された音楽）が出力されてもよい。

また、上記実施形態では、リングコントローラが定常状態から変形された場合に、変形の速さに関するパラメータ（例えば押し込み速度）が閾値を超えた場合には、第１又は第２ＢＧＭの音量を所定時間維持して、余韻を持たせた。他の実施形態では、変形の速さに関するパラメータは、変形の加速度であってもよい。また、リングコントローラが定常状態から変形された状態になる場合に限らず、リングコントローラが変形された状態から定常状態に戻るときの速さに基づいて、第１又は第２ＢＧＭの音量を所定時間維持してもよい。

また、上記実施形態では、例えば、リングコントローラが定常状態から押し込まれた状態に変化した場合（すなわち、変形していない状態から変形している状態に変化した場合）に、楽器音が出力された。他の実施形態では、リングコントローラが、例えば押し込まれた状態から定常状態に変化した場合（すなわち、変形した状態から変形していない状態に変化した場合）に、楽器音が出力されてもよい。

また、上記実施形態では、リングコントローラが変形されていない間も、第１ＢＧＭ及び第２ＢＧＭの再生を継続する一方で音量をゼロにすることで、音響効果を付与しないようにした。他の実施形態では、リングコントローラが変形されていない間は、第１ＢＧＭ及び第２ＢＧＭを再生せず、リングコントローラが変形している場合にのみ第１ＢＧＭ又は第２ＢＧＭを再生および出力することにより、音響効果を付与してもよい。

また、上記実施形態では、所定のゲームシーンにおいて、リングコントローラを変形させたりリングコントローラの姿勢を変化させたりすることで音楽を出力した。他の実施形態では、リングコントローラを変形させたりリングコントローラの姿勢を変化させたりすることで進行する音楽ゲームが行われてもよい。

例えば、音楽ゲームは、ユーザが所定の音楽に合わせてリングコントローラを変形させたり、リングコントローラの姿勢を変化させたりすることで点数が加算されるゲームであってもよい。例えば、音楽ゲームでは、所定の音楽が出力されている間、ユーザにリングコントローラを用いたアクションを行わせるために、画像や音声によってユーザに対する指示が行われる。当該指示に応じて、ユーザがタイミングよく（音楽のリズムにあった所定のタイミングで）指示通りのアクションを行った場合は、そのタイミングの一致度合いや指示通りのアクションが行われたか否かに応じて、点数が加算される。例えば、リングコントローラを用いたアクションは、リングコントローラを変形させるアクション（例えば、押し込み又は引っ張り）、リングコントローラを変形させながらリングコントローラの姿勢を変化させるアクション（例えば、押し込みながらの傾け操作）であってもよい。また、単にリングコントローラの姿勢を変化させるアクション（例えば捻り操作）等であってもよい。

このような音楽ゲームにおいて、ユーザによるアクションに応じて、上述した音響効果が付与されてもよい。付与される音響効果は、加算される点数に応じて異なってもよい。例えば、音楽ゲームの実行中に、ユーザが、所定の音楽に合わせて押し込み操作を行いながら傾け操作を行った場合には、所定の音楽に対して押し込み量と傾き量とに基づく音響効果が付与されてもよい。例えば、このアクション（押し込み操作及び傾け操作）がタイミングよく行われたか否かによって、加算される点数が異なったり、付加される音響効果が異なったりしてもよい。例えば、アクションのタイミングが所定の音楽のリズムに合ったタイミングである場合には、傾き量に応じた楽器音が出力され、所定の音楽のリズムに合わないタイミングである場合には、傾き量に応じた楽器音が出力されなかったり、異なる音が出力されたりしてもよい。

また、上記実施形態のゲームシステム１の構成は単なる一例であり、他の任意の構成において上述したゲームが行われてもよい。例えば、上記実施形態では、リング型拡張装置５に右コントローラ４を装着し、ベルト型拡張装置６に左コントローラ３を装着することにより、リングコントローラ及び脚コントローラを構成した。他の実施形態では、ユーザの運動を検出することが可能な装置であれば、どのような装置が用いられてもよい。例えば、リング型拡張装置５は、円形状ではなく、棒状、楕円状、Ｌ字型等任意の形状であってもよい。

また、ネットワーク（ＷＡＮ、インターネット等）で接続された複数の装置によって、上述したゲームシステム１が構成されてもよい。また、本体装置２に代えて、任意の情報処理装置（例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、サーバ等）が用いられ、当該情報処理装置を含む情報処理システムが構成されてもよい。

以上、本発明について説明したが、上記説明は本発明の例示に過ぎず、種々の改良や変形が加えられてもよい。

１ ゲームシステム
２ 本体装置
３ 左コントローラ
４ 右コントローラ
５ リング型拡張装置
６ ベルト型拡張装置
８１ プロセッサ
２０１ 環状部
２１１ 歪み検出部

Claims (16)

1. 力を加えられることで定常状態から変形する入力装置であって、当該入力装置の変形に応じた出力をするセンサを有する入力装置と、
   前記センサの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する変形情報取得手段と、
   前記入力装置の姿勢に応じた姿勢情報を取得する姿勢情報取得手段と、
   基本となる音楽の出力中に、当該基本となる音楽に対して、前記変形情報と前記姿勢情報とに基づく音響効果を付与し、当該音響効果を付与した音楽を出力する音出力手段と、を備え、
   前記音出力手段は、
   前記入力装置が定常状態から変形しているときは、前記姿勢情報に応じた第１の音響効果を前記基本となる音楽に付与し、
   前記入力装置が定常状態のときは、前記姿勢情報によらず、前記音響効果を付与することなく前記基本となる音楽を出力する、情報処理システム。
2. 前記音出力手段は、前記変形情報に基づいて、前記基本となる音楽に対して第２の音響効果をさらに付与する、請求項１に記載の情報処理システム。
3. 前記音出力手段は、前記第２の音響効果に対して、前記姿勢情報に基づく第３の音響効果を付与する、請求項２に記載の情報処理システム。
4. 前記音出力手段は、前記入力装置が変形されている間、継続的に前記第２の音響効果を付与する、請求項２又は３に記載の情報処理システム。
5. 前記音出力手段は、前記入力装置の変形量が大きいほど、前記第２の音響効果を大きくする、請求項４に記載の情報処理システム。
6. 前記音出力手段は、
   前記入力装置の変形の速さに関するパラメータが所定の閾値より大きい場合、前記入力装置が変形してから定常状態に戻るときに、前記速さに関するパラメータが前記所定の閾値より小さいときと比べて、前記第２の音響効果の減少を遅らせる、請求項５に記載の情報処理システム。
7. 前記音出力手段は、前記入力装置が定常状態から変形されたことに応じて、前記基本となる音楽に対して第４の音響効果をさらに付与する、請求項４から６の何れかに記載の情報処理システム。
8. 前記音出力手段は、前記入力装置が定常状態から変形されたときの当該入力装置の姿勢に基づいて、前記第４の音響効果を付与する、請求項７に記載の情報処理システム。
9. 前記入力装置が振られたことを検出する振り検出手段をさらに備え、
   前記音出力手段は、前記入力装置が振られた場合、前記姿勢情報に基づいて、前記基本となる音楽に対して第５の音響効果をさらに付与する、請求項１から８の何れかに記載の情報処理システム。
10. 前記入力装置は、第１の方向への力が加わることで第１の変形をし、第２の方向への力が加わることで第２の変形をし、
    前記音出力手段は、前記第１の変形と前記第２の変形とで異なる前記第１の音響効果を付与する、請求項１から９の何れかに記載の情報処理システム。
11. 前記入力装置は、少なくとも一部が弾性変形可能な環状部を有する、請求項１から１０の何れかに記載の情報処理システム。
12. 前記入力装置は、ユーザの手で把持される入力装置であり、
    ユーザの足の動きを検出する第２入力装置をさらに備え、
    前記音出力手段は、前記変形情報および前記姿勢情報に加えて、さらに前記ユーザの足の動きの検出結果に基づいて、前記音楽を出力する、請求項１から１１の何れかに記載の情報処理システム。
13. 前記音出力手段は、前記変形情報と前記姿勢情報との積に基づいて、前記音楽を出力する、請求項１から１２の何れかに記載の情報処理システム。
14. 力を加えられることで定常状態から変形する入力装置と接続可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、前記コンピュータを、
    前記入力装置の変形を検出するセンサからの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する変形情報取得手段、
    前記入力装置の姿勢に応じた姿勢情報を取得する姿勢情報取得手段、及び、
    基本となる音楽の出力中に、当該基本となる音楽に対して、前記変形情報と前記姿勢情報とに基づく音響効果を付与し、当該音響効果を付与した音楽を出力する音出力手段、として機能させ、
    前記音出力手段は、
    前記入力装置が定常状態から変形しているときは、前記姿勢情報に応じた第１の音響効果を前記基本となる音楽に付与し、
    前記入力装置が定常状態のときは、前記姿勢情報によらず、前記音響効果を付与することなく前記基本となる音楽を出力する、情報処理プログラム。
15. 力を加えられることで定常状態から変形する入力装置と接続可能な情報処理装置であって、
    前記入力装置の変形を検出するセンサからの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する変形情報取得手段と、
    前記入力装置の姿勢に応じた姿勢情報を取得する姿勢情報取得手段と、
    基本となる音楽の出力中に、当該基本となる音楽に対して、前記変形情報と前記姿勢情報とに基づく音響効果を付与し、当該音響効果を付与した音楽を出力する音出力手段とを備え、
    前記音出力手段は、
    前記入力装置が定常状態から変形しているときは、前記姿勢情報に応じた第１の音響効果を前記基本となる音楽に付与し、
    前記入力装置が定常状態のときは、前記姿勢情報によらず、前記音響効果を付与することなく前記基本となる音楽を出力する、情報処理装置。
16. 力を加えられることで定常状態から変形する入力装置を含む情報処理システムにおいて実行される情報処理方法であって、
    前記入力装置の変形を検出するセンサからの出力に基づいて、前記入力装置の変形に応じた変形情報を取得する変形情報取得ステップと、
    前記入力装置の姿勢に応じた姿勢情報を取得する姿勢情報取得ステップと、
    基本となる音楽の出力中に、当該基本となる音楽に対して、前記変形情報と前記姿勢情報とに基づく音響効果を付与し、当該音響効果を付与した音楽を出力する音出力ステップとを含み、
    前記音出力ステップでは、
    前記入力装置が定常状態から変形しているときは、前記姿勢情報に応じた第１の音響効果を前記基本となる音楽に付与し、
    前記入力装置が定常状態のときは、前記姿勢情報によらず、前記音響効果を付与することなく前記基本となる音楽を出力する、情報処理方法。

Images