JPWO2008129843A1 - タイミング制御装置、情報処理装置及び動作指示装置 - Google Patents

Abstract

マット２により、プレイヤの踏み動作の周期Ｂ及び位相Ｐを検出する。イベントＥＶｎの設定時から次のイベントＥＶｎ＋１の設定時までの時間をＸ＝Ｂとする。時計ｔＦの基準時０からイベントＥＶｎの設定時までの時間Ｚは、Ｚ＝Ｂ−（Ｒ−Ｐ）である。Ｒは、時間ＴＡを周期Ｂで割った余りである。時間ＴＡは、イベントＥＶｎの設定に応じて発生する移動オブジェクトｏｂｊがマット画像５８に到達するまでの時間である。このように、プレイヤの踏み動作に応じて移動オブジェクトｏｂｊを制御する。

Description

本発明は、プレイヤの入力操作を解析し、解析結果に基づいて、イベントを設定するタイミングを制御するタイミング制御装置及びそれらの関連技術に関する。

また、本発明は、プレイヤの入力操作を解析し、解析結果に基づいて、制御を実行する情報処理装置及びそれらの関連技術に関する。

さらに、本発明は、床面に載置された入力装置を操作するプレイヤに、行うべき動作を指示する動作指示装置及びそれらの関連技術に関する。

特許文献１には、本件出願人によるエンターテインメントシステムが開示されている。このエンターテインメントシステムは、予め格納された音楽データに応じて音楽が再生され、この音楽に合わせて、画面に表示するオブジェクトを落下させる。プレイヤは、落下してくるオブジェクトに従ってマットを踏み込むと、音楽に合った足踏みを行うことができる。

国際公開第２００５／１０７８８４号パンフレット

しかしながら、上記のエンターテインメントシステムでは、再生される音楽は予め決められており、ユーザが好きな任意の音楽でのプレイを行うことができない。

そこで、本発明の目的は、プレイヤの入力操作に制御を合わせることで、プレイヤが任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができるタイミング制御装置及びその関連技術を提供することである。

本発明の他の目的は、プレイヤの入力操作の定常化・非定常化に応じて、処理を切り替えることで、システムの設計を簡易化できる情報処理装置及びその関連技術を提供することである。

本発明のさらに他の目的は、床面に載置された入力装置を用いながらも、できるだけ多くの動作をプレイヤに行わせることができる動作指示装置及びその関連技術を提供することである。

本発明の第１の観点によれば、タイミング制御装置は、プレイヤの入力操作を検知する入力手段と、前記入力手段が検知した前記プレイヤの一連の前記入力操作の周期的な反復を解析して、将来の入力操作の発生タイミングを予測する予測手段と、予測した前記発生タイミングに基づいて、前記将来の入力操作に対するイベントを設定する設定手段と、設定された前記イベントに応答して、所定の制御を実行し、予測された前記将来の入力操作の発生タイミングで、所定の結果を引き起こす制御手段と、を備える。

この構成によれば、入力操作を解析して、将来の入力操作の発生タイミングを予測し、発生タイミングが予測された将来の入力操作に対するイベントを設定するので、リアルタイム処理が可能となって、入力信号を一旦格納し分析した後に再生処理してイベントを設定する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された入力信号を再生処理するための装置は不要であり、コストの削減を図ることができる。なお、入力された信号を一旦格納し分析した後に再生処理してイベントを設定する場合は、格納、分析、再生処理のために、遅延が発生し、リアルタイム処理と言えない。

また、将来の入力操作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する入力操作の発生タイミングで所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、入力操作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの入力操作に基づいて、イベントを設定し、所定の制御を実行する。従って、プレイヤは、自分のリズムで入力操作を行うだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤの入力操作のタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力操作を行っていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで入力操作を行っていることを確認できる。

ここで、所定の結果とは、制御対象が所定状態に達することである。所定状態は、所定形態、所定位置及び所定音等を含む意味である。形態とは、形状、模様及び色彩を含む意味である。

このタイミング制御装置において、前記所定の制御は、所定画像の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定画像を制御し、予測された前記発生タイミングで、前記所定画像に前記所定の結果を引き起こす。

この構成によれば、将来の入力操作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する入力操作の発生タイミングで、所定画像に所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、入力操作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの入力操作に基づいて、イベントを設定し、所定画像を制御する。従って、プレイヤは、自分のリズムで入力操作を行うだけで、所定画像に所定の結果を引き起こすことができる。言い換えると、プレイヤの入力操作のタイミングと所定画像が所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができる。

さらに、所定画像に対して所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力操作を行っていることを意味するので、プレイヤは、このような所定の結果を見ることで、自分が、一定のリズムで入力操作を行っていることを確認できる。

このタイミング制御装置において、前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、前記所定画像の変化は、位置及び／又は形態の変化を含む。ここで、「形態」とは、形状、模様及び色彩を含む意味である。

このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定画像の変化開始タイミング及び画面への出現タイミングのうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。

上記タイミング制御装置において、前記所定の制御は、所定音の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定音を制御し、予測された前記発生タイミングで、前記所定音に前記所定の結果を引き起こす。

この構成によれば、将来の入力操作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する入力操作の発生タイミングで、所定音に所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、入力操作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの入力操作に基づいて、イベントを設定し、所定音を制御する。従って、プレイヤは、自分のリズムで入力操作を行うだけで、所定音に所定の結果を引き起こすことができる。言い換えると、プレイヤの入力操作のタイミングと所定音が所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができる。

さらに、所定音に対して所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力操作を行っていることを意味するので、プレイヤは、このような所定の結果を聴くことで、自分が、一定のリズムで入力操作を行っていることを確認できる。

このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。

上記タイミング制御装置において、前記所定の制御は、外部機器及び／又は外部のコンピュータプログラムの制御であり、前記制御手段は、設定された前記イベントに応答して、前記外部機器及び／又は前記外部のコンピュータプログラムを制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす。

この構成によれば、将来の入力操作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する入力操作の発生タイミングで、外部機器や外部コンピュータプログラムに所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、入力操作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの入力操作に基づいて、イベントを設定し、外部機器や外部コンピュータプログラムを制御する。従って、プレイヤは、自分のリズムで入力操作を行うだけで、外部機器や外部コンピュータプログラムに所定の結果を引き起こすことができる。言い換えると、プレイヤの入力操作のタイミングと外部機器や外部コンピュータプログラムが所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力操作を行っていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで入力操作を行っていることを確認できる。

上記タイミング制御装置において、前記所定の制御は、所定物体又は所定物質の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質を制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす。

この構成によれば、将来の入力操作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する入力操作の発生タイミングで、所定物体や所定物質に所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、入力操作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの入力操作に基づいて、イベントを設定し、所定物体や所定物質を制御する。従って、プレイヤは、自分のリズムで入力操作を行うだけで、所定物体や所定物質に所定の結果を引き起こすことができる。言い換えると、プレイヤの入力操作のタイミングと所定物体や所定物質が所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力操作を行うことができる。

さらに、所定物体や所定物質に対して所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力操作を行っていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで入力操作を行っていることを確認できる。

このタイミング制御装置において、前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、前記所定物体又は前記所定物質の変化は、位置及び／又は形態の変化を含む。ここで、「形態」とは、形状、模様及び色彩を含む意味である。

このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定物体又は前記所定物質の変化開始タイミング及び出現タイミングのうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。

上記タイミング制御装置において、前記設定手段は、予測された前記発生タイミングより所定時間だけ前に、前記イベントを設定し、前記制御手段は、設定された前記イベントに応答して、前記所定の制御を開始し、前記所定時間の経過後に、前記所定の結果を引き起こす。

この構成によれば、プレイヤの入力操作に依存することなく、制御開始から所定の結果を引き起こすまでの時間（「起動時間」と呼ぶこともある。）は、必ず、所定時間、つまり、一定時間となる。このため、入力操作の周期的な反復の速さが異なっても、起動時間中及び当該時間経過時の制御を共通にでき、入力操作の周期的な反復の速さに依存することなく、一定した演出ないしは効果を提供できる。

このタイミング制御装置において、前記所定の制御は、所定画像の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、前記所定時間の経過後に、前記所定の画像に前記所定の結果を引き起こし、前記所定画像の変化の過程は、前記入力操作に依存しない。

この構成によれば、起動時間中の所定画像の変化の過程及び所定の結果は入力操作に依存しないので、入力操作の周期的な反復が異なっても、所定画像による一定した演出ないしは効果を提供できる。

ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。

このタイミング制御装置において、前記制御手段は、前記所定画像の変化の速度を、前記入力操作に依存することなく、一定とする。

上記タイミング制御装置において、前記予測手段は、前記入力操作の周期的な反復の周波数及び位相に基づいて、前記将来の入力操作の発生タイミングを予測する。

このタイミング制御装置において、前記予測手段は、前記入力操作の周期的な反復の周期を検出する周期検出手段と、前記入力操作の周期的な反復の位相を検出する位相検出手段と、前記入力操作の周期的な反復の前記周期及び前記位相に基づいて、前記将来の入力操作の発生タイミングを予測する手段と、を含む。

このタイミング制御装置において、前記予測手段は、前記入力操作の位相の変化に応じて、前記将来の入力操作の発生タイミングの予測結果を補正する。

この構成によれば、一連の入力操作の途中で位相が変化した場合であっても、その変化に応じて予測結果が補正されるので、位相のずれに基づく予測結果への影響を回避できる。

上記タイミング制御装置において、前記制御手段は、前記入力手段が検知した前記プレイヤの入力操作のタイミングと、前記所定の制御により前記所定の結果が引き起こされるタイミングと、が実質的に一致した場合に、所定のエフェクトを生成する。

上記タイミング制御装置において、前記制御手段は、前記プレイヤの入力操作が定常化した場合に、前記イベント設定手段が設定したイベントに従って、前記所定の制御を実行する。

この構成によれば、プレイヤの入力操作が定常化する前は、プレイヤの入力に依存しない所定のアルゴリズムに従ってイベントを設定し、そのイベントに従った制御を実行できる。

上記タイミング制御装置において、前記入力手段は、床面に載置され、前記プレイヤの入力操作としての踏み動作を検知する検知手段を含む。

この構成によれば、入力操作としての踏み動作の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する踏み動作の発生タイミングで所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、踏み動作を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの踏み動作に基づいて、所定の制御を実行する。従って、プレイヤは、自分のリズムで足踏みを行うだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤの足踏みのタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで足踏みを行うことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで足踏みを行っていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで足踏みを行っていることを確認できる。

上記タイミング制御装置において、前記入力手段は、前記プレイヤの入力操作としての打撃を検知する検知手段を含む。

この構成によれば、入力操作としての打撃の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する打撃の発生タイミングで所定の結果を引き起こすことができる。その結果、例えば、下記の効果を奏する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、打撃を行うことを想定する。この場合、本発明では、音楽ではなく、プレイヤの打撃に基づいて、所定の制御を実行する。従って、プレイヤは、自分のリズムで打撃を行うだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤの打撃のタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで打撃を行うことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで打撃を行っていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで打撃を行っていることを確認できる。

上記タイミング制御装置において、前記入力手段が検知した前記プレイヤの入力操作が、所定の条件を満足した時にトリガを発生するトリガ手段をさらに備え、前記予測手段は、前記トリガの周期的な反復を解析して、前記将来の入力操作の発生タイミングを予測する。

このタイミング制御装置において、前記トリガ手段は、三次元空間中を前記プレイヤによって動かされる前記入力手段の動きが前記所定の条件を満足した時に前記トリガを発生する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、三次元空間中で入力手段を動かすことを想定する。この場合、本発明では、音楽ではなく、プレイヤによる入力手段の動きに基づいて、所定の制御を実行する。従って、プレイヤは、自分のリズムで入力手段を動かすだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤが入力手段を動かすタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで入力手段を動かすことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで入力手段を動かしていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで動作を行っていることを確認できる。

このタイミング制御装置において、前記所定の条件は、前記入力手段の加速度が所定値を超えたことである。

上記タイミング制御装置において、前記入力手段は、撮像により得られた画像に基づいて、入力操作としての前記プレイヤの動きを検出し、前記トリガ手段は、検出した前記プレイヤの動きが前記所定の条件を満足した時に前記トリガを発生する。

このタイミング制御装置において、前記入力手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、三次元空間中で身体を動かすことを想定する。この場合、本発明では、音楽ではなく、プレイヤの動きに基づいて、所定の制御を実行する。従って、プレイヤは、自分のリズムで身体を動かすだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤが身体を動かすタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで身体を動かすことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで身体を動かしていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで身体を動かしていることを確認できる。

このタイミング制御装置において、前記入力手段は、前記プレイヤが動かす再帰反射部材を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。

この構成によれば、光が照射された再帰反射部材を撮影するので、撮像画像中の再帰反射部材の像は、背景よりも輝度が高くなり、その像の抽出が容易になる。

このタイミング制御装置において、前記入力手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。

この構成によれば、再帰反射部材からの反射光以外の光を簡易に除去できる。

上記タイミング制御装置において、前記入力手段は、表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。

プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、三次元空間中で撮像装置を動かすことを想定する。この場合、本発明では、音楽ではなく、プレイヤが動かす撮像装置の動きに基づいて、所定の制御を実行する。従って、プレイヤは、自分のリズムで撮像装置を動かすだけで、所定の結果を引き起こすことができる。言い換えると、プレイヤが撮像装置を動かすタイミングと所定の結果を引き起こすタイミングとを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートで撮像装置を動かすことができる。

さらに、所定の結果が一定のリズムで引き起こされるということは、プレイヤが一定のリズムで撮像装置を動かしていることを意味するので、プレイヤは、このような所定の結果を知覚することで、自分が、一定のリズムで撮像装置を動かしていることを確認できる。

本発明の第２の観点によれば、タイミング制御方法は、プレイヤの入力操作を検知するステップと、検知した前記プレイヤの一連の前記入力操作の周期的な反復を解析して、将来の入力操作の発生タイミングを予測するステップと、予測した前記発生タイミングに基づいて、前記将来の入力操作に対するイベントを設定するステップと、設定された前記イベントに応答して、所定の制御を実行し、予測された前記将来の入力操作の発生タイミングで、所定の結果を引き起こすステップと、を含む。

この構成によれば、上記第１の観点によるタイミング制御装置と同様の効果を奏する。

本発明の第３の観点によれば、タイミング制御プログラムは、上記第２の観点によるタイミング制御方法を実行するためのコンピュータプログラムである。その効果は、第１の観点によるタイミング制御装置と同様である。

本発明の第４の観点によれば、記録媒体は、上記第３の観点によるタイミング制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。その効果は、第１の観点によるタイミング制御装置と同様である。

本発明の第５の観点によれば、情報処理装置は、プレイヤの入力操作を検知する入力手段と、前記入力手段が検知した前記プレイヤの一連の前記入力操作を解析して、前記入力操作が定常化したか否かを判定する定常化判定手段と、前記入力操作が定常化していないと判断された場合に、前記入力操作に依存しない所定のアルゴリズムに従ってイベントを設定する第１処理手段と、前記入力操作が定常化したと判断された場合に、一連の前記入力操作の周期的な反復の周期に基づいて、イベントを設定する第２処理手段と、を備える。

定常化していないプレイヤの動作に応じた処理の実行は困難な場合が多い一方、定常化したプレイヤの動作に応じた処理の実行は比較的簡単なことが多い。従って、プレイヤの入力操作が定常化する前は、プレイヤの入力に依存しない所定のアルゴリズムに従ってイベントを設定し、プレイヤの入力操作が定常化した後は、プレイヤの入力操作に合わせてイベントを設定する。このように、プレイヤの入力操作の定常化・非定常化に応じて、処理を切り替えることで、システムの設計を簡易化できる。

この情報処理装置において、前記定常化判定手段は、前記入力手段が検知した前記プレイヤの入力操作に基づく偏差に基づき、前記プレイヤの入力操作が定常化したか否かを判定する。

ここで、偏差とは、標準となる数値からの偏りを意味する。また、ここで言う偏差には標準偏差が含まれる。

この情報処理装置において、前記プレイヤの一連の前記入力操作に基づいて、将来の入力操作の発生タイミングを予測する予測手段をさらに備え、前記偏差は、前記入力手段が検知した前記プレイヤの前記入力操作のタイミングと、予測した前記発生タイミングと、の差である。

また、この情報処理装置において、前記偏差は、前記入力操作とそれに続く前記入力操作との間の時間的間隔の平均値と、今回の前記入力操作と前回の前記入力操作との間の時間的間隔と、の差であってもよい。

上記情報処理装置において、前記定常化判定手段は、ヒステリシスを持たせて、前記偏差に基づき、前記入力操作が定常化したか否かを判定する。

人間の入力操作は不安定であるところ、この構成によれば、不要な状態の反転（非定常状態から定常状態への反転、又は、定常状態から非定常状態への反転）の発生を回避できる。

上記情報処理装置において、前記定常化判定手段は、前記偏差が所定値より大きい場合、当該偏差を判定に使用しない。

この構成によれば、入力操作を人間が行うことを加味した、定常化の判定を行うことができる。入力操作が定常化して行われていても、人間が行うものであるため、突発的に不安定になり、すぐに定常化する場合もある。この場合は、定常化が維持されていると判定した方がプレイヤにとって滑らかな処理・演出を提供できる。ちなみに、このような場合に、非定常化したと判定し、すぐに、定常化したとの判定を行うと、プレイヤにとって滑らかな処理・演出の提供が困難になる。

本発明の第６の観点によれば、情報処理方法は、プレイヤの入力操作を検知するステップと、検知した前記プレイヤの一連の前記入力操作を解析して、前記入力操作が定常化したか否かを判定するステップと、前記入力操作が定常化していないと判断された場合に、前記入力操作に依存しない所定のアルゴリズムに従ってイベントを設定するステップと、前記入力操作が定常化したと判断された場合に、一連の前記入力操作の周期的な反復の周期に基づいて、イベントを設定するステップと、を含む。

この構成によれば、上記第５の観点による情報処理装置と同様の効果を奏する。

本発明の第７の観点によれば、情報処理プログラムは、上記第６の観点による情報処理方法を実行するためのコンピュータプログラムである。その効果は、第５の観点による情報処理装置と同様である。

本発明の第８の観点によれば、記録媒体は、上記第７の観点による情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。その効果は、第５の観点による情報処理装置と同様である。

本発明の第９の観点によれば、動作指示装置は、表示装置に接続して使用される動作指示装置であって、床面に載置され、各々がプレイヤからの入力を検知する複数の検知手段を含む入力手段と、前記入力手段の検知結果に基づいて、前記表示装置に表示された画像を制御する画像制御手段と、を備え、少なくとも同時に３個の前記検知手段が入力を検知したときに、前記画像制御手段は、前記画像に対して、２個以下の前記検知手段が入力を検知したときと異なる第１態様の変化を与え、前記画像に対して、前記第１態様の変化を与えた後、少なくとも１個の前記検知手段が入力を継続して検知している状態において、前記画像制御手段は、他の２個の前記検知手段が交互に入力を検知したことに応じて、前記画像に第２態様の変化を与える。

この構成によれば、少なくとも同時に３個の検知手段が入力を検知したということは、プレイヤの両足だけでなく、手も検知していること意味する。また、入力手段は床面に載置されるので、この時、プレイヤは、しゃがんだ状態をとっていることになる。この時、画像に第１態様の変化が与えられる。そして、少なくとも１個の検知手段が入力を継続して検知している状態において、他の２個の検知手段が交互に入力を検知したということは、プレイヤが、しゃがんだ状態で足踏みしていることを意味する。この時、画像に第２態様の変化が与えられる。

このようなプレイヤの一連の動作、つまり、入力手段の一連の操作により、表示中の画像に対して、第１態様及び第２態様の変化を与えることができる。このことは、プレイヤが表示中の画像に第１態様及び第２態様の変化を与えなければならないようなコンテンツ、つまり、アプリケーションプログラムを作成することにより、プレイヤに、このような一連の動作、つまり、しゃがんで、そして、そのままの状態で足踏みをする動作を行わせることができる。

この動作指示装置において、前記画像制御手段が制御する前記画像は、プレイヤと対応した動作をするプレイヤキャラクタであり、前記第１態様の変化は、前記プレイヤキャラクタがしゃがむ動作であり、前記第２態様の変化は、前記プレイヤキャラクタがしゃがんだままの状態で、歩く又は走る動作である。

この構成によれば、プレイヤの動作とプレイヤキャラクタの動作とをほぼ一致させることができ、より一体感を与えることができる。

本発明の第１０の観点によれば、動作指示装置は、表示装置に接続して使用される動作指示装置であって、床面に載置され、各々がプレイヤからの入力を検知する複数の検知手段を含む入力手段と、前記入力手段の検知結果に基づいて、前記表示装置に表示された画像を制御する画像制御手段と、を備え、前記画像制御手段は、２個の前記検知手段が交互に入力を検知したことに応じて、前記画像に対して、第１態様の変化を与え、前記画像に対して、前記第１態様の変化を与えている状態において、他の少なくとも１個の前記検知手段が入力を検知したときに、前記画像制御手段は、前記画像に対して、第２態様の変化を与える。

この構成によれば、２個の検知手段が交互に入力を検知するということは、プレイヤが足踏みを行っていることを意味する。この時、画像に第１態様の変化が与えられる。また、その状態において、他の少なくとも１個の検知手段が入力を検知したということは、プレイヤがしゃがんだことを意味する。

このようなプレイヤの一連の動作、つまり、入力手段の一連の操作により、表示中の画像に対して、第１態様及び第２態様の変化を与えることができる。このことは、プレイヤが表示中の画像に第１態様及び第２態様の変化を与えなければならないようなコンテンツ、つまり、アプリケーションプログラムを作成することにより、プレイヤに、このような一連の動作、つまり、足踏みしているときにしゃがむ動作を行わせることができる。

この動作指示装置において、前記画像制御手段が制御する前記画像は、プレイヤと対応した動作をするプレイヤキャラクタであり、前記第１態様の変化は、前記プレイヤキャラクタが歩く、又は走る動作であり、前記第２態様の変化は、前記プレイヤキャラクタがスライディングする動作である。

この構成によれば、プレイヤの動作とプレイヤキャラクタの動作とを近似させることができ、より一体感を与えることができる。

ここで、上記第９の観点による動作指示装置及び第１０の観点による動作指示装置において、第１態様の変化及び第２態様の変化は、プレイヤと対応した動作をするプレイヤキャラクタを表示する三人称視点の場合においてプレイヤキャラクタが当該変化をすることだけを意味するものではなく、プレイヤキャラクタが表示されない一人称視点の場合において背景等の変化によってプレイヤに当該変化を視覚的に与える場合を含む。

なお、上記の記録媒体には、例えば、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

本発明の新規な特徴は、特許請求の範囲に記載されている。しかしながら、発明そのもの及びその他の特徴と効果は、添付図面を参照して具体的な実施例の詳細な説明を読むことにより容易に理解される。

本発明の実施の形態１によるエンターテインメントシステムの全体構成を示す外観斜視図である。 図１のマットユニット７、アダプタ１、及びカートリッジ３の電気的構成を示す図である。 プレイ画面の例示図である。 プレイ画面の他の例示図である。 イベントＥＶｎの設定タイミングの決定方法の説明図である。 早くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。 遅くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。 図２のプロセッサ２０の全体的な処理の流れを示すフローチャートである。 図８のステップＳ３のプレイヤのステップの周期Ｂを抽出する処理の流れを示すフローチャートである。 図８のステップＳ５の時間ｔ_Ｆをカウントする処理の流れを示すフローチャートである。 図８のステップＳ７の位相Ｐを検出する処理の流れを示すフローチャートである。 図８のステップＳ９の定常化判定の処理の流れを示すフローチャートである。 図８のステップＳ１１のイベント設定時間Ｘを算出する処理の流れを示すフローチャートである。 図８のステップＳ１３のイベントＥＶｎを設定する処理の流れを示すフローチャートである。 図８のステップＳ１９のパターンを切り替える処理の流れを示すフローチャートである。 本発明の実施の形態２におけるプレイ画面の例示図である。 実施の形態２における片足立ちのプレイヤキャラクタ７０を含むプレイ画面の例示図である。 実施の形態２におけるしゃがみながら走るプレイヤキャラクタ７０を含むプレイ画面の例示図である。 実施の形態２におけるスライディングするプレイヤキャラクタ７０を含むプレイ画面の例示図である。 実施の形態２における垂直方向に移動する障害物６６を含むプレイ画面の例示図である。 実施の形態２における穴６８を含むプレイ画面の例示図である。 実施の形態２におけるプレイヤキャラクタ７０の進行方向と逆方向に移動する路面６２を含むプレイ画面の例示図である。 図８のステップＳ１７の移動オブジェクト制御処理の流れを示すフローチャートである。

符号の説明

１…アダプタ、３…カートリッジ、５…テレビジョンモニタ、７…マットユニット、２０…プロセッサ、２２…外部メモリ、２４…ＩＲレシーバ、３０…ＩＲ発光部、３２…ＭＣＵ、ＳＴ１〜ＳＴ４…踏み領域、ＳＷ１〜ＳＷ４…フットスイッチ。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。

（実施の形態１）

図１は、本発明の実施の形態によるエンターテインメントシステムの全体構成を示す外観斜視図である。図１を参照して、このエンターテインメントシステムは、アダプタ１、カートリッジ３、マットユニット７、及びテレビジョンモニタ５を備える。アダプタ１には、カートリッジ３が装着され、また、カートリッジ３に電源を供給する電源回路を備える。また、アダプタ１は、ＡＶケーブル９により、テレビジョンモニタ５に接続される。従って、アダプタ１及びＡＶケーブル９を介してカートリッジ３が作成したビデオ信号及びオーディオ信号をテレビジョンモニタ５に与えることができる。これにより、テレビジョンモニタ５に、後述の各種画面を表示し、スピーカ（図示せず）から音楽や効果音を出力することができる。

また、カートリッジ３には、アダプタ１及びケーブル１０３を介して、デジタルオーディオプレーヤ１０１が接続される。デジタルオーディオプレーヤ１０１からのアナログオーディオ信号は、カートリッジ３が生成したアナログオーディオ信号とミキシングされて、ＡＶケーブル９に出力される。

なお、ケーブル１０３は、その途中から分岐したケーブル１０５を含む。このケーブル１０５の先端にはＵＳＢ端子が取り付けられている。また、このケーブル１０５は、電源線及び接地線を含み、それぞれ、アダプタ１の電源線及び接地線に接続される。一方、一般的に、デジタルオーディオプレーヤ１０１には、充電用のケーブル１０７を接続することができる。このケーブル１０７の先端にはＵＳＢ端子が取り付けられる。ケーブル１０５とケーブル１０７とはＵＳＢ端子により接続することができる。従って、アダプタ１から、ケーブル１０５及び１０７を介して、電源電圧をデジタルオーディオプレーヤ１０１に供給できる。もちろん、この接続はユーザの任意である。

マットユニット７は、マット２及び回路ボックス４により構成される。回路ボックス４は、マット２の一方端部に取り付けられる。回路ボックス４の表面には、電源スイッチ８が設けられ、一方端部には、赤外線のみを透過する赤外線フィルタ６が取り付けられる。赤外線フィルタ６の裏側には、赤外発光ダイオード（図示せず）を含む赤外光（ＩＲ）発光部３０（後述）が配置される。一方、マット２の表面には、４つの踏み領域ＳＴ１，ＳＴ２，ＳＴ３及びＳＴ４が形成される。マット２の内部には、踏み領域ＳＴ１，ＳＴ２，ＳＴ３及びＳＴ４に対応して、フットスイッチＳＷ１，ＳＷ２，ＳＷ３及びＳＷ４が設けられる。踏み領域ＳＴ１，ＳＴ２，ＳＴ３及びＳＴ４が踏まれると、対応するフットスイッチＳＷ１，ＳＷ２，ＳＷ３及びＳＷ４がオンになる。フットスイッチＳＷ１〜ＳＷ４は、例えば、メンブレンスイッチにより構成される。なお、フットスイッチＳＷ１〜ＳＷ４を包括して、フットスイッチＳＷと表記する。また、踏み領域ＳＴ１〜ＳＴ４を包括して踏み領域ＳＴと表記する。

図２は、図１のマットユニット７、アダプタ１、及びカートリッジ３の電気的構成を示す図である。図２を参照して、マットユニット７は、赤外光（ＩＲ）発光部３０、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｅｒ Ｕｎｉｔ）３２、及びフットスイッチＳＷ１〜ＳＷ４を含む。ＩＲ発光部３０及びＭＣＵ３２は、回路ボックス４に内蔵される。フットスイッチＳＷ１〜ＳＷ４は、マット２の内部に設けられる。ＭＣＵ３２は、フットスイッチＳＷ１〜ＳＷ４のオン／オフ情報を受け、ＩＲ発光部３０を駆動して、赤外線通信により、フットスイッチＳＷ１〜ＳＷ４のオン／オフ情報をアダプタ１のＩＲレシーバ２４へ送信する。

一方、アダプタ１に装着されるカートリッジ３は、プロセッサ２０、外部メモリ２２（例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ）、及びミキシング回路１０９Ｌ，１０９Ｒを含み、また、アダプタ１は、赤外光（ＩＲ）レシーバ２４を含む。マットユニット７のＩＲ発光部３０から送信された赤外線信号、つまり、フットスイッチＳＷ１〜ＳＷ４のオン／オフ情報は、アダプタ１のＩＲレシーバ２４に受信され、カートリッジ３のプロセッサ２０に与えられる。

カートリッジ３のプロセッサ２０には、外部メモリ２２が接続される。外部メモリ２２は、プログラム領域、画像データ領域、および音声データ領域を含む。プログラム領域には、後述するフローチャートに示す処理をプロセッサ２０に実行させる制御プログラムが格納される。画像データ領域には、テレビジョンモニタ５に表示される画面を構成するすべての画像データや、他の必要な画像データが格納されている。音声データ領域には、効果音等のための音声データが格納されている。プロセッサ２０は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号ＶＤ及びオーディオ信号ＡＬｐ，ＡＲｐを生成する。この場合、プロセッサ２０は、ＩＲレシーバ２４からの、フットスイッチＳＷ１〜ＳＷ４のオン／オフ情報を処理に反映する。

ビデオ信号ＶＤは、アダプタ１からＡＶケーブル９を通して、テレビジョンモニタ５に与えられる。また、プロセッサ２０が生成した左チャンネルのアナログオーディオ信号ＡＬｐと、デジタルオーディオプレーヤ１０１から入力された左チャンネルのアナログオーディオ信号ＡＬａと、はミキシング回路１０９Ｌによりミキシングされて、オーディオ信号ＡＬｍとして、ＡＶケーブル９を介してテレビジョンモニタ５のスピーカに出力される。同様に、プロセッサ２０が生成した右チャンネルのアナログオーディオ信号ＡＲｐと、デジタルオーディオプレーヤ１０１から入力された右チャンネルのアナログオーディオ信号ＡＲａと、はミキシング回路１０９Ｒによりミキシングされて、オーディオ信号ＡＲｍとして、ＡＶケーブル９を介してテレビジョンモニタ５のスピーカに出力される。

プロセッサ２０は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号（本実施の形態ではフットスイッチＳＷ１〜ＳＷ４のオン／オフ情報）やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。

ＣＰＵは、外部メモリ２２に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ２２に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、テレビジョンモニタ５に表示する画像を表すビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ２２に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＬｐ，ＡＲｐを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。

次に、実施の形態１によるエンターテインメントシステムによりテレビジョンモニタ５に表示されるプレイ画面について説明する。

図３は、プレイ画面の例示図である。図３を参照して、プロセッサ２０がテレビジョンモニタ５に表示するプレイ画面は、プレイヤが行ったステップ数を表示するステップ数表示部５４、プレイヤが行った運動時間を表示する運動時間表示部５２、及びデジタルオーディオプレーヤ１０１からのオーディオ信号ＡＬａ，ＡＲａのレベル変動を示すゲージ５６を含む。また、このプレイ画面は、マット画像５８を含む。このマット画像５８は、図１のマット２を模した画像であり、４つの領域ａ１，ａ２，ａ３，ａ４に分割される。領域ａ１，ａ２，ａ３及びａ４は、それぞれ、マット２の踏み領域ＳＴ１，ＳＴ２，ＳＴ３及びＳＴ４に対応している。なお、領域ａ１，ａ２，ａ３及びａ４を総称して領域ａと呼ぶこともある。

さらに、プレイ画面は、移動オブジェクト５０を含む。経路Ｌ１上の移動オブジェクト５０は、画面上端に出現して、領域ａ１に向かって一定速度で下降してくる。経路Ｌ２上の移動オブジェクト５０は、画面上端に出現して、領域ａ２に向かって一定速度で下降してくる。経路Ｌ３上の移動オブジェクト５０は、画面上端に出現して、領域ａ３に向かって一定速度で下降してくる。経路Ｌ４上の移動オブジェクト５０は、画面上端に出現して、領域ａ４に向かって一定速度で下降してくる。この場合、移動オブジェクト５０の出現パターンとして、複数のパターンが用意されている。出現パターンとは、移動オブジェクト５０の出現位置（Ｌ１〜Ｌ４）及び出現順番を意味し、出現タイミングは含まない。もちろん、プロセッサ２０が、出現パターンをランダムに決定することもできる。移動オブジェクト５０の初期の出現タイミングは、プロセッサ２０が、ランダムに決定することもできるし、予め定めておくこともできる。なお、経路Ｌ１〜Ｌ４を包括して経路Ｌと表記する。

プレイヤは、基本的には、マット２にのってプレイを行う。プレイヤが、移動オブジェクト５０がマット画像５８の領域ａに到達するタイミングで、対応する踏み領域ＳＴを踏み込み、対応するフットスイッチＳＷをオンにすると、移動オブジェクト５０は、下降してきた経路Ｌを上昇し（跳ね返り）、画面上端で消滅する。なお、厳密に移動オブジェクト５０が領域ａに到達するタイミングだけでなく、領域ａから一定範囲内に移動オブジェクト５０が位置するときに、対応するフットスイッチＳＷがオンになった場合にも、移動オブジェクト５０の跳ね返り処理を行うこともできる。

プレイヤは、デジタルオーディオプレーヤ１０１からのオーディオ信号ＡＬａ，ＡＲａに基づく音楽に合わせて、マット２上で踏み動作（足踏み）を行う。プロセッサ２０は、フットスイッチＳＷのオン／オフ情報により、プレイヤの踏み動作の周期を検出する。そして、プロセッサ２０は、プレイヤの踏み動作の周期が定常化（一定化）した場合、その周期に基づいて、未来のプレイヤの踏み動作のタイミングを予測して、予測した踏み動作のタイミングと、移動オブジェクト５０のマット画像５８の領域ａへの到達タイミングと、が一致するように、移動オブジェクト５０の発生（出現）タイミングを決定する。

従って、プレイヤが、音楽に合わせて一定タイミングで足踏みを行うようになると、その足踏みに合わせて移動オブジェクト５０が発生し下降してくるので、移動オブジェクト５０の領域ａへの到達タイミングを意識することなく、自分の感覚で音楽に合わせて足踏みを行うだけで、必然的に移動オブジェクト５０を跳ね返すことができる。また、移動オブジェクト５０を次々に跳ね返すことができているということは、プレイヤが一定の周期で足踏みを行っていることを意味するので、プレイヤは、このような移動オブジェクト５０の跳ね返りを見ることで、自分が、一定周期で足踏みを行っていることを確認できる。

さらに、一般に、音楽のビートやリズムの認識の仕方は個々人で差があると考えられる。このような個人差があっても、各人の踏み込み動作に合わせて、移動オブジェクト５０を出現させることができる。ちなみに、デジタルオーディオプレーヤ１０１からの音楽を周波数分析して、その音楽のビートやリズム合わせて、移動オブジェクト５０を出現させることもできるが、この場合は、プレイヤは、移動オブジェクト５０の領域ａへの到達タイミングを意識して足踏みを行わなければならず、困難を伴う。本実施の形態では、プレイヤは、自分のリズムで足踏みを行うだけで、移動オブジェクト５０をタイミング良く跳ね返すことができる。つまり、プレイヤの足踏みに基づいて移動オブジェクト５０の発生タイミングを決定することで、個々人の、音楽のリズムやビートの認識の差を吸収しているのである。

図４は、プレイ画面の他の例示図である。図４を参照して、このプレイ画面は、移動オブジェクト５０とは色彩が異なる移動オブジェクト６０を出現させている。移動オブジェクト６０は、以降の移動オブジェクト５０の出現パターンが異なることを示すものである。ただし、移動オブジェクト６０が対応する領域ａに到達するタイミングで、対応するフットスイッチＳＷがオンにされ、移動オブジェクト６０が跳ね返された場合に、以降の移動オブジェクト５０の出現パターンが異なったものとなる。

図４では、経路Ｌ２の移動オブジェクト５０と経路Ｌ３の移動オブジェクト６０とは、水平方向に並んで下降している。そして、経路Ｌ３には、移動オブジェクト６０を挟むように、２つの移動オブジェクト５０が下降している。従って、プレイヤがタイミング良く交互に足踏みをしている限り、移動オブジェクト６０が跳ね返されることはなく、出現パターンの変更はない。なお、移動オブジェクト５０，６０を包括して移動オブジェクトｏｂｊと表記する。

次に、移動オブジェクトｏｂｊの発生タイミング、つまり、イベントＥＶｎの設定タイミングの決定方法について、図面を参照しながら説明する。なお、本実施の形態では、プレイヤが足を上げて、その足を下ろす動作をステップと呼ぶことにする。従って、交互のステップは、足踏みに相当する。また、プロセッサ２０は、フットスイッチＳＷのオフからオンへの遷移発生を検知すると、プレイヤがステップを行ったと判断する。さらに、移動オブジェクトｏｂｊの下降速度は一定とする。従って、移動オブジェクトｏｂｊが画面の上端に出現してから領域ａに到達する時間Ｔ_Ａは一定である。図５〜図７の例では、時間Ｔ_Ａを９０ビデオフレームとする。なお、１ビデオフレームは、１／６０秒である。

図５は、イベントＥＶｎの設定タイミングの決定方法の説明図である。図５（ａ）に示すように、プロセッサ２０は、フットスイッチＳＷのオン／オフ情報に基づいて、プレイヤのステップの周期Ｂを求める。プレイヤのステップの周期Ｂは、プレイヤが音楽を聴いて作り出すビート若しくはリズムの周期と言う事もできる。図５〜図７の例では、周期Ｂは、５０ビデオフレームとする。図中、破線同士の間隔は、１０ビデオフレームとする。なお、プロセッサ２０は、左右のステップを区別しない。

図５（ｂ）に示すように、プロセッサ２０は、時間０からスタートし、時間（Ｂ−１）までカウントし、再び、時間０に戻る時計ｔ_Ｆを有している。

図５（ｃ）に示すように、プロセッサ２０が、時間ｔ_Ｆ＝０からＺ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。イベントＥＶｎの設定は、移動オブジェクトｏｂｊを発生させる指示である。プロセッサ２０は、イベントＥＶｎが設定された時に、移動オブジェクトｏｂｊを画面の上端に出現させる。そして、プロセッサ２０は、移動オブジェクトｏｂｊを一定速度で領域ａに向かって下降させる。そして、移動オブジェクトｏｂｊは、イベントＥＶｎの設定（移動オブジェクトｏｂｊの発生）から時間Ｔ_Ａ（＝９０ビデオフレーム）後に、領域ａに到達する（黒の逆三角形ＡＴ）。イベントＥＶｎはプレイヤの第ｋステップＳｋのためのものである。

図５（ｄ）及び図５（ｅ）に示すように、プロセッサ２０は、イベントＥＶｎの設定時からＸビデオフレーム後に、ｎ＋１番目のイベントＥＶｎ＋１を設定する。この場合、Ｘ＝Ｂ＝５０である。なぜなら、プレイヤのステップは、周期Ｂで行われているためである。プロセッサ２０は、イベントＥＶｎ＋１が設定された時に、移動オブジェクトｏｂｊを画面の上端に出現させる。そして、プロセッサ２０は、移動オブジェクトｏｂｊを一定速度で領域ａに向かって下降させる。そして、移動オブジェクトｏｂｊは、イベントＥＶｎ＋１の設定（移動オブジェクトｏｂｊの発生）から時間Ｔ_Ａ（＝９０ビデオフレーム）後に、領域ａに到達する（黒の逆三角形ＡＴ）。イベントＥＶｎ＋１はプレイヤの第ｋ＋１ステップＳｋ＋１のためのものである。

ところで、図５（ｃ）から明らかなように、時計ｔ_Ｆの基準時０からイベントＥＶｎの設定までの時間２は次式で表される。

Ｚ＝Ｂ−（Ｒ−Ｐ） …（１）

Ｐは、時計ｔ_Ｆの基準時０に対するプレイヤのステップのずれ、つまり、時計ｔ_Ｆの基準時０に対するプレイヤのステップの位相を表す。Ｒは、到達時間Ｔ_Ａを周期Ｂで割った余りである。

移動オブジェクトｏｂｊの到達時間Ｔ_Ａは一定であるので、プレイヤのステップの周期Ｂ及び位相Ｐを求めることにより、プレイヤの未来のステップのタイミングを予測できる。従って、プレイヤの未来のステップに合わせて、イベントＥＶｎの設定を行うことができる。

さて、図５（ｃ）の例では、イベントＥＶｎを適切なタイミングで設定している。しかし、イベントＥＶｎの設定タイミングに誤差Ｅが発生する場合もある。この場合は、次のイベントＥＶｎ＋１の設定タイミングを調整しなければならない。もし、調整しない場合は、誤差Ｅが蓄積されて、移動オブジェクトｏｂｊの領域ａへの到達タイミングがプレイヤのステップとずれてきてしまう。そこで、以下の調整を行う。

まず、早くイベントＥＶｎを設定した時の調整について説明する。このようなケースは、ステップの位相Ｐが変化し大きくなったときに発生する。以下では、位相Ｐが２０ビデオフレーム（図５の場合）から３０ビデオフレームに変化した例を挙げる。

図６は、早くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。図６（ｃ）に示すように、プロセッサ２０が、時間ｔ_Ｆ＝０からＮ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。位相Ｐが変化し大きくなったので、時間ｔ_Ｆ＝０からＺ（＝４０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定しなければならないところ、１０ビデオフレーム早く、イベントＥＶｎを設定している。つまり、設定の誤差Ｅがプラス１０ビデオフレームである。

図６（ｃ）から明らかなように、早くイベントＥＶｎを設定した場合でも、上記の式（１）及び次式が成立する。

Ｅ＝Ｚ−Ｎ＝Ｂ−（Ｒ−Ｐ）−Ｎ＝Ｂ−Ｒ＋Ｐ−Ｎ …（２）

Ｎは、時計ｔ_Ｆの基準時０からイベントＥＶｎの設定までの実際の時間である。２は、時計ｔ_Ｆの基準時０からイベントＥＶｎの設定までの正しい時間である。

イベントＥＶｎを早く設定した場合に、イベントＥＶｎの設定時からＸ（＝Ｂ＝５０）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定すると、当然、イベントＥＶｎ＋１の設定も早くなる。従って、イベントＥＶｎ＋１の設定時を遅らせる必要がある。この場合、上記例では、イベントＥＶｎの設定が、誤差Ｅ（＝１０）だけ早くなされているので、誤差Ｅ（＝１０）だけ、次のイベントＥＶｎ＋１の設定を遅らせることもできる。しかし、本実施の形態では、誤差Ｅの大きさに関係なく、イベントＥＶｎを早く設定した場合には、一律に、１ビデオフレームだけ遅く、次のイベントＥＶｎ＋１を設定する。つまり、図６（ｄ）に示すように、イベントＥＶｎを早く設定した場合、イベントＥＶｎの設定時からＸ（＝Ｂ＋１＝５０＋１）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定する。

早くイベントＥＶｎを設定した場合、イベント発生時間Ｘを式で表すと、次の通りである。

Ｘ＝Ｂ＋１ …（３）

なお、図５の例では、Ｚ＝Ｎであり、Ｅ＝０である。つまり、イベントＥＶｎの設定時は正しい。従って、イベント発生時間Ｘは、次式のようになる。

Ｘ＝Ｂ …（４）

次に、遅くイベントＥＶｎを設定した時の調整について説明する。このようなケースは、ステップの位相Ｐが変化し小さくなったときに発生する。以下では、位相Ｐが２０ビデオフレーム（図５の場合）から１０ビデオフレームに変化した例を挙げる。

図７は、遅くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。図７（ｃ）に示すように、プロセッサ２０が、時間ｔ_Ｆ＝０からＮ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。位相Ｐが変化し小さくなったので、時間ｔ_Ｆ＝０からＺ（＝２０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定しなければならないところ、１０ビデオフレーム遅く、イベントＥＶｎを設定している。つまり、設定の誤差Ｅがマイナス１０ビデオフレームである。

図７（ｃ）から明らかなように、遅くイベントＥＶｎを設定した場合でも、上記した式（１）及び式（２）が成立する。

イベントＥＶｎを遅く設定した場合に、イベントＥＶｎの設定時からＸ（＝Ｂ＝５０）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定すると、当然、イベントＥＶｎ＋１の設定も遅くなる。従って、イベントＥＶｎ＋１の設定時を早める必要がある。この場合、上記例では、イベントＥＶｎの設定が、誤差Ｅ（＝−１０）だけ遅くなされているので、誤差Ｅ（＝−１０）だけ、次のイベントＥＶｎ＋１の設定を早めることもできる。しかし、本実施の形態では、誤差Ｅの大きさに関係なく、イベントＥＶｎを遅く設定した場合には、一律に、１ビデオフレームだけ早く、次のイベントＥＶｎ＋１を設定する。つまり、図７（ｄ）に示すように、イベントＥＶｎを遅く設定した場合、イベントＥＶｎの設定時からＸ（＝Ｂ−１＝５０−１）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定する。

遅くイベントＥＶｎを設定した場合、イベント設定時間Ｘを式で表すと、次の通りである。

Ｘ＝Ｂ−１ …（５）

以上のように、誤差Ｅを全て調整せずに、一律に１ビデオフレームだけ遅く又は早く、次のイベントＥＶｎ＋１を設定したのは次の理由による。音楽のビート（リズム）とは異なり、人のステップは周期が一定し難いため、ある時位相Ｐが変化して、誤差Ｅを全て調整してしまった場合、その次にまた、位相Ｐが変化して元に戻ることもある。これでは、調整の意味がない。このように、プレイヤのステップ、つまり、プレイヤが作り出すビート（リズム）の特性を加味して、徐々に誤差Ｅを小さくしているのである。

次に、フローチャートを用いてプロセッサ２０の処理の流れを説明する。

図８は、図２のプロセッサ２０の全体的な処理の流れを示すフローチャートである。図８を参照して、ステップＳ１にて、プロセッサ２０は、システムの初期化を実行する。このステップＳ１において、変数、カウンタ、タイマ、フラグ、及び時計ｔ_Ｆが初期化される。

ステップＳ３にて、プロセッサ２０は、プレイヤのステップの周期Ｂの抽出処理を実行する。ステップＳ５にて、プロセッサ２０は、時間ｔ_Ｆのカウント処理、つまり、時計ｔ_Ｆの計時処理を実行する。ステップＳ７にて、プロセッサ２０は、プレイヤのステップの位相Ｐの検出処理を実行する。ステップＳ９にて、プロセッサ２０は、プレイヤのステップが定常化（一定化）したか否かの判定処理を実行する。

ステップＳ１１にて、プロセッサ２０は、イベント設定時間Ｘを算出する。ステップＳ１３にて、プロセッサ２０は、イベントＥＶｎを設定する。ステップＳ１５にて、プロセッサ２０は、移動オブジェクトｏｂｊが対応する領域ａに到達するタイミングで、対応する踏み領域ＳＴが踏まれて、対応するフットスイッチＳＷのオフからオンへの遷移が発生したか（ヒットしたか）否かを判定する。

ステップＳ１７にて、プロセッサ２０は、移動オブジェクトｏｂｊの出現、下降、上昇（跳ね返り）、及び消滅を制御する。具体的には次の通りである。

プロセッサ２０は、イベントフラグがオンに設定された場合に、出現パターンデータに従って、移動オブジェクトｏｂｊを出現させるための設定を行う。イベントフラグのオンはイベントの設定に相当する。また、出現パターンデータは、移動オブジェクトｏｂｊの出現パターンを定めたデータである。そして、プロセッサ２０は、出現した移動オブジェクトｏｂｊを一定速度で下降させる設定を行う。また、プロセッサ２０は、ステップＳ１５でヒットしたと判定した場合に、移動オブジェクトｏｂｊを上昇させる設定を行う。なお、ステップＳ１７では、出現させる移動オブジェクトｏｂｊを、移動オブジェクト５０にするか、移動オブジェクト６０にするか、の決定処理も実行される。

ステップＳ１９にて、プロセッサ２０は、移動オブジェクトｏｂｊの出現パターンの切り替え処理を実行する。ステップＳ２１にて、プロセッサ２０は、運動時間表示部５２に表示するための、プレイヤの運動時間を計測する。

ステップＳ２３にて、プロセッサ２０は、ビデオ同期信号による割り込み待ちか否かを判断し、割り込み待ちの状態であればステップＳ２３に戻り、割り込み待ちの状態でない場合は、つまり、ビデオ同期信号による割り込みがあれば、ステップ２５にて、上記の処理結果Ｓ３〜Ｓ２１に従って、テレビジョンモニタ５に表示する画像を更新すると共に、ステップＳ２７にて、効果音等の音声処理を実行して、ステップＳ３に進む。

ステップＳ２９では、プロセッサ２０は、アダプタ１のＩＲレシーバ２４が受信して出力したキースキャン結果の取得処理を割り込み処理として実行する。

図９は、図８のステップＳ３のプレイヤのステップの周期Ｂを抽出する処理の流れを示すフローチャートである。図９を参照して、ステップＳ４１にて、プロセッサ２０は、フットスイッチＳＷのオフからオンへの遷移が発生したか否かを判断し、発生していない場合はリターンし、発生した場合はステップＳ４３に進む。ステップＳ４３では、プロセッサ２０は、ステップ数表示部５４に表示するため、プレイヤのステップ数をカウントするステップカウンタを１つインクリメントする。ステップＳ４５にて、プロセッサ２０は、１つ前に発生した、フットスイッチＳＷのオフからオンへの遷移から、所定時間以内に、今回の遷移が発生したか否かを判定し、所定時間以内の場合リターンし、所定時間以内でない場合ステップＳ４７に進む。これは、フットスイッチＳＷのオフからオンへの遷移が時間的に接近して連続して検出された場合に、後のステップをステップとみなさない処理である。これにより、例えば、プレイヤがジャンプした場合、２ステップではなく、１ステップと判断されることになる。

ステップＳ４７では、プロセッサ２０は、第１タイマと第２タイマとを切り替える切替フラグが０か否かを判断し、第１タイマのスタート及び第２タイマのストップを示す０の場合ステップＳ４９に進み、第１タイマのストップ及び第２タイマのスタートを示す１の場合ステップＳ５９に進む。第１タイマ及び第２タイマは、プレイヤのステップから次のステップまでの時間を交互に計測するタイマである。

ステップＳ４９では、プロセッサ２０は、停止中の第１タイマをスタートする。ステップ５１にて、プロセッサ２０は、動いている第２タイマをストップする。ステップＳ５３にて、プロセッサ２０は、周期Ｔｓに、第２タイマの値を代入する。ステップＳ５５にて、プロセッサ２０は、第２タイマをクリアする。ステップＳ５７にて、プロセッサ２０は、切替フラグに１をセットする。

一方、ステップＳ５９では、プロセッサ２０は、動いている第１タイマをストップする。ステップ６１にて、プロセッサ２０は、停止中の第２タイマをスタートする。ステップＳ６３にて、プロセッサ２０は、周期Ｔｓに、第１タイマの値を代入する。ステップＳ６５にて、プロセッサ２０は、第１タイマをクリアする。ステップＳ６７にて、プロセッサ２０は、切替フラグに０をセットする。

ステップＳ５７又はステップＳ６７の後、ステップＳ６９では、プロセッサ２０は、周期Ｔｓの移動平均Ｔｖを算出する。ステップＳ６９にて、プロセッサ２０は、移動平均Ｔｖを、プレイヤのステップの周期Ｂに設定してリターンする。

図１０は、図８のステップＳ５の時間ｔＦをカウントする処理の流れを示すフローチャートである。図１０を参照して、ステップＳ９１にて、プロセッサ２０は、時計ｔ_ＦがＢ−１に一致したか否かを判断し、一致した場合時計ｔ_Ｆを０に戻すべくステップＳ９３に進み、一致しない場合ステップＳ９５に進む。ステップＳ９３では、プロセッサ２０は、時計ｔ_Ｆを０に戻しリターンする。一方、ステップＳ９５では、プロセッサ２０は、時計ｔ_Ｆを１つインクリメントしてリターンする。

図１１は、図８のステップＳ７の位相Ｐを検出する処理の流れを示すフローチャートである。図１１を参照して、ステップＳ１１１にて、プロセッサ２０は、フットスイッチＳＷのオフからオンへの遷移が発生したか否かを判断し、発生した場合はステップＳ１１３に進み、発生していない場合はリターンする。ステップＳ１１３では、プロセッサ２０は、１つ前に発生した、フットスイッチＳＷのオフからオンへの遷移から、所定時間以内に、今回の遷移が発生したか否かを判定し、所定時間以内の場合リターンし、所定時間以内でない場合ステップＳ１１５に進む。ステップＳ１１３は、図９のステップＳ４５と同じ理由で実行される。ステップＳ１１５では、プロセッサ２０は、位相Ｐｐに、現在の時計ｔ_Ｆの時刻を設定する。そして、ステップＳ１１６にて、プロセッサ２０は、位相Ｐｐの移動平均を算出して、これをステップの位相Ｐとし、リターンする。

図１２は、図８のステップＳ９の定常化判定の処理の流れを示すフローチャートである。図１２を参照して、ステップＳ１３１にて、プロセッサ２０は、フットスイッチＳＷのオフからオンへの遷移が発生したか否かを判断し、発生した場合はステップＳ１３２に進み、発生していない場合はステップＳ１３５に進む。

ステップＳ１３２にて、プロセッサ２０は、移動平均前のステップの周期Ｔｓ（図９のステップＳ５３，Ｓ６３参照）と、移動平均後のステップの周期Ｂ（図９のステップＳ７１参照）と、の差の絶対値ｄを算出する。

ステップＳ１３３にて、プロセッサ２０は、絶対値ｄが所定範囲内か否かを判断し、所定範囲でない場合ステップＳ１３５に進み、所定範囲内の場合ステップＳ１３７に進む。ステップＳ１３７にて、プロセッサ２０は、絶対値ｄの移動平均ｄｍを算出する。

ステップＳ１３９にて、プレイヤのステップが定常化したことを示す定常化フラグがオンか否かを判断し、オンの場合ステップＳ１４５に進み、オフの場合ステップＳ１４１に進む。ステップＳ１４１にて、プロセッサ２０は、移動平均ｄｍが閾値Ｔｈより小さいか否かを判断し、小さい場合はステップが定常化したとみなしてステップＳ１４３に進み、それ以外はステップＳ１４９に進む。

ステップＳ１４３にて、プロセッサ２０は、定常化フラグをオンにしてリターンする。一方、ステップＳ１４５では、プロセッサ２０は、移動平均ｄｍが、閾値ＴｈのＡ倍（Ａは１より大きい数）より大きいか否かを判断して、大きい場合はステップＳ１４７に進み、それ以外はリターンする。ステップＳ１４７にて、プロセッサ２０は、定常化フラグをオフにする。

ステップＳ１３５では、プロセッサ２０は、定常化フラグがオンか否かを判断し、オンの場合リターンし、オフの場合ステップＳ１４９に進む。

定常化フラグがオフの場合、ステップＳ１４９にて、プロセッサ２０は、プレイヤの踏み動作に依存しない所定のアルゴリズムに従ってイベントのオン／オフを制御し、図８のステップＳ１５に進む。一方、定常化フラグがオンの場合は、ステップＳ１３５で「ＹＥＳ」、ステップＳ１４５で「ＮＯ」、及びステップＳ１４３の後、図８のステップＳ１１及びＳ１３に進み、プレイヤの踏み動作に依存して、イベントのオン／オフが制御される。

定常化していないプレイヤの動作に応じた処理の実行は困難な場合が多い一方、定常化したプレイヤの動作に応じた処理の実行は比較的簡単なことが多い。従って、プレイヤの踏み動作が定常化する前は、プレイヤの踏み動作に依存しない所定のアルゴリズムに従ってイベントを設定し、プレイヤの踏み動作が定常化した後は、プレイヤの踏み動作に合わせてイベントを設定する。このように、プレイヤの踏み動作の定常化・非定常化に応じて、処理を切り替えることで、システムの設計を簡易化できる。

以上のように、図１２の処理は、プレイヤの最新のステップと１つ前のステップとの間の時間Ｔｓが、移動平均である周期Ｂに対してどれくらいずれているかを判定している。つまり、時間Ｔｓと周期Ｂとの差の絶対値ｄが大きければ、周期Ｂに対する実際のステップのずれが大きいことになり、ステップが乱れていることを表す。一方、当該差の絶対値ｄが小さければ、周期Ｂに対する実際のステップのずれが小さいことになり、ステップが定常化（一定化）していることを表す。

なお、周期Ｂは移動平均であるため、Ｂ−Ｔｓは偏差に相当する。もちろん、標準偏差を求めて、これが一定範囲内の場合に、ステップが定常化したと判断することもできる。

また、Ｔｈ＜Ｔｈ＊Ａとして、ヒステリシス特性を持たせ、定常化したか否かを判定している。人間の入力操作（ステップ）は不安定であるところ、ヒステリシスを持たせることにより、不要な状態の反転（非定常状態から定常状態への反転、又は、定常状態から非定常状態への反転）の発生を回避できる。

さらに、ステップＳ１３３の処理は、実際のステップの時間Ｔｓが周期Ｂから大きく外れている場合は、その場合の時間Ｔｓを無視し、定常化の判定要素としない趣旨である。これにより、入力操作（ステップ）を人間が行うことを加味した、定常化の判定を行うことができる。入力操作（ステップ）が定常化して行われていても、人間が行うものであるため、突発的に不安定になり、すぐに定常化する場合もある。この場合は、定常化が維持されていると判定した方がプレイヤにとって滑らかな処理・演出を提供できる。ちなみに、このような場合に、非定常化したと判定し、すぐに、定常化したとの判定を行うと、プレイヤにとって滑らかな処理・演出の提供が困難になる。

図１３は、図８のステップＳ１１のイベント設定時間Ｘを算出する処理の流れを示すフローチャートである。図１３を参照して、ステップＳ１６１にて、プロセッサ２０は、イベント設定時間Ｘからのカウントダウンを実行するカウンタＣ_Ｅが０になったか否かを判断して、０になった場合はステップＳ１６３に進み、０でない場合はリターンする。ステップＳ１６３にて、プロセッサ２０は、到達時間Ｔ_Ａを周期Ｂで割った余り（端数）Ｒを求める。ステップＳ１６５にて、プロセッサ２０は、式（２）により、誤差Ｅを求める。

ステップＳ１６７にて、プロセッサ２０は、誤差Ｅが０より大きいか否かを判断し、大きい場合は早くイベントＥＶｎを設定しているのでステップＳ１６９に進み、それ以外はステップＳ１７１に進む。ステップＳ１６９にて、プロセッサ２０は、イベント設定時間ＸにＢ＋１を代入してリターンする（式（３））。ステップＳ１７１では、プロセッサ２０は、誤差Ｅが０より小さいか否かを判断し、小さい場合は遅くイベントＥＶｎを設定しているのでステップＳ１７３に進み、それ以外は適切にイベントを設定しているのでステップＳ１７５に進む。ステップＳ１７３にて、プロセッサ２０は、イベント設定時間ＸにＢ−１を代入しリターンする（式（５））。また、ステップＳ１７５では、プロセッサ２０は、イベント設定時間ＸにＢを代入しリターンする（式（４））。

図１４は、図８のステップＳ１３のイベントＥＶｎを設定する処理の流れを示すフローチャートである。図１４を参照して、ステップＳ１９１にて、プロセッサ２０は、イベントフラグをオフにする。イベントフラグのオフは、イベントＥＶｎが設定されていないことに相当する。ステップＳ１９３にて、プロセッサ２０は、カウンタＣ_Ｅが０になったか否かを判断し、０になっていない場合はステップＳ１９９に進み、０の場合ステップＳ１９５に進む。ステップＳ１９５にて、プロセッサ２０は、イベントフラグをオンにしてイベントＥＶｎを設定する。ステップＳ１９７にて、プロセッサ２０は、カウンタＣ_Ｅに、イベント設定時間Ｘを代入する。ステップＳ１９９にて、プロセッサ２０は、カウンタＣ_Ｅを１つデクリメントしてリターンする。

図１５は、図８のステップＳ１９のパターンを切り替える処理の流れを示すフローチャートである。図１５を参照して、ステップＳ２１１にて、プロセッサ２０は、出現パターンを切り替えることを示す移動オブジェクト６０が跳ね返され画面の上端に到達したか否かを判断し、到達していない場合はリターンし、到達した場合はステップＳ２１３に進む。ステップＳ２１３では、プロセッサ２０は、現在の出現パターンデータを、異なる出現パターンデータに変更してリターンする。

図２３は、図８のステップＳ１７の移動オブジェクト制御処理の流れを示すフローチャートである。図２３を参照して、ステップＳ３０４にて、プロセッサ２０は、イベントフラグがオンか否かを判断して、オフの場合ステップＳ３１４に進み、オンの場合ステップＳ３０６に進む。

ステップＳ３０６では、プロセッサ２０は、出現パターンデータに従って、移動オブジェクト５０を設定する。ステップＳ３０８にて、プロセッサ２０は、出現パターンデータを切り替えるための移動オブジェクト６０を出現させるか否かを乱数を生成して決定する。ただし、出現させることを示す乱数が生成された場合でも、前回の移動オブジェクト６０の出現から一定時間以上経過していない場合は、出現させない。ステップＳ３１０にて、プロセッサ２０は、移動オブジェクト６０を出現させることを決定した場合ステップＳ３１２に進み、それ以外はリターンする。ステップＳ３１２にて、プロセッサ２０は、出現パターンデータを切り替えるため、移動オブジェクト６０を設定してリターンする。

ステップＳ３０４で「ＮＯ」が判断された後、ステップＳ３１４では、プロセッサ２０は、移動中の移動オブジェクトｏｂｊの座標を更新してリターンする。

ここで、本実施の形態では、移動オブジェクトｏｂｊが領域ａに到達するタイミングを、プレイヤの踏み動作に合わせるために、到達時間Ｔ_Ａ並びに移動オブジェクトｏｂｊの移動距離及び移動速度をそれぞれ一定とし、移動オブジェクトｏｂｊの出現タイミングを、プレイヤの踏み動作に基づいて決定した。ただし、移動オブジェクトｏｂｊの出現位置は、画面内又は画面外に設定してもよい。また、画面内に予め移動オブジェクトｏｂｊを表示しておき、その変化開始タイミングを、プレイヤの踏み動作に基づいて決定してもよい。もちろん、画面外に予め移動オブジェクトｏｂｊを設定しておき、その変化開始タイミングを、プレイヤの踏み動作に基づいて決定してもよい。

さて、以上のように、本実施の形態によれば、プレイヤのステップ（入力操作）を解析して、将来のステップの発生タイミングを予測し、発生タイミングが予測された将来のステップに対するイベントを設定するので、リアルタイム処理が可能となって、入力信号を一旦格納し分析した後に再生処理してイベントを設定する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された入力信号を再生処理するための装置は不要であり、コストの削減を図ることができる。なお、入力された信号を一旦格納し分析した後に再生処理してイベントを設定する場合は、格納、分析、再生処理のために、遅延が発生し、リアルタイム処理と言えない。

なお、本実施の形態では、式（１）〜式（５）により、イベント設定時間Ｘを算出することは（図１３参照）、将来のプレイヤのステップの発生タイミングを予測することに相当する。なぜなら、（イベント設定時間Ｘ＋到達時間Ｔ_Ａ）は、予測したステップの発生タイミングを表すからである（図５参照）。

また、プレイヤの将来のステップ（入力操作）の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生するプレイヤのステップの発生タイミングで、移動オブジェクトｏｂｊを対応する領域ａに到達させることができる。

上記では、プレイヤが、任意の音楽を聴きながら、その音楽に合わせて、ステップを行った。この場合、本発明では、音楽ではなく、プレイヤのステップに基づいて、移動オブジェクトｏｂｊを制御する。従って、プレイヤは、自分のリズムでステップを行うだけで、移動オブジェクトｏｂｊを打ち返すことができる。言い換えると、プレイヤのステップと映像とを合わせるので、プレイヤは、任意の音楽を聴きながら、自分が感じたリズムやビートでステップを行うことができる。

さらに、移動オブジェクトｏｂｊが一定のリズムで次々に打ち返されるということは、プレイヤが一定のリズムでステップを行っていることを意味するので、プレイヤは、このような映像を見ることで、自分が、一定のリズムでステップを行っていることを確認できる。

また、本実施の形態では、プレイヤのステップが定常化した後に、プレイヤのステップに合わせてイベントを設定している。従って、プレイヤのステップが定常化する前は、プレイヤのステップに依存しない所定のアルゴリズムに従ってイベントを設定し、そのイベントに従った制御を実行できる。

さらに、本実施の形態では、プレイヤのステップに依存することなく、移動オブジェクトｏｂｊが画面の上端に出現してから領域ａに到達する時間Ｔ_Ａは一定である。このため、プレイヤのステップの周期的な反復の速さが異なっても、到達時間Ｔ_Ａ中及び当該時間Ｔ_Ａ経過時の制御を共通にでき、プレイヤのステップの周期的な反復に依存することなく、一定した演出ないしは効果を提供できる。なお、デジタルオーディオプレーヤ１０１から入力する音楽のリズムないしはビートが異なれば、プレイヤは、それに合わせて、ステップの周期的な反復の速さを変えるはずである。

さらに、本実施の形態によれば、プレイヤのステップの位相Ｐの変化に応じて、将来のステップの発生タイミングの予測結果（イベント設定時間Ｘに相当）を補正する（図６及び図７参照）。つまり、位相Ｐが変化せず、誤差Ｅが０の場合は、式（４）により、イベント設定時間Ｘを算出すれば足りるが、誤差Ｅが０でない場合は、式（３）又は式（５）により、イベント設定時間Ｘを補正している。

このように、位相Ｐの変化に応じて、将来のステップの発生タイミングの予測結果を補正するので、一連のステップの途中で位相Ｐが変化した場合であっても、その変化に応じて予測結果が補正されるので、位相Ｐのずれに基づく予測結果への影響を回避できる。

（実施の形態２）

本発明の実施の形態２におけるシステム構成は、図１のシステム構成と同様である。ただし、デジタルオーディオプレーヤ１０１は接続されない。また、実施の形態２におけるマットユニット７、アダプタ１、及びカートリッジ３の電気的構成は、図２の構成と同様である。ただし、ミキシング回路１０９Ｌ，１０９Ｒは搭載されておらず、プロセッサ２０からのオーディオ信号ＡＬｐ，ＡＲｐが直接ＡＶケーブル９に供給される。このエンターテインメントシステムが動作指示装置の機能を有している。

実施の形態２では、プロセッサ２０は、プレイヤキャラクタをテレビジョンモニタ５に表示し、フットスイッチＳＷ１〜ＳＷ４のオン／オフに応じて、そのプレイヤキャラクタに変化を与える。つまり、プレイヤは、フットスイッチＳＷ１〜ＳＷ４を操作して、画面上（つまり、仮想空間内）のプレイヤキャラクタを操作できる。

そして、プロセッサ２０は、フットスイッチＳＷ１〜ＳＷ４のオン／オフに応じて、仮想空間内で、プレイヤキャラクタを前進させる。この場合、プロセッサ２０は、様々な種類の障害物を表示するので、プレイヤは、フットスイッチＳＷ１〜ＳＷ４を操作して、プレイヤキャラクタに、それら障害物を回避させながら、前進していく必要がある。

以下、図面を参照しながら、プレイヤキャラクタの動作及び各種障害物について説明する。

図１６は、プレイ画面の例示図である。図１６を参照して、このプレイ画面は、プロセッサ２０により、テレビジョンモニタ５に表示され、道路７２、プレイヤキャラクタ７０、及び障害物８４を含む。道路７２は、水平方向に並んだ３つのレーン７４Ｌ，７４Ｃ，７４Ｒにより構成される。

プレイヤが、マット２上において、足踏みをすると、対応するフットスイッチＳＷがオン又はオフし、これにより、プロセッサ２０は、プレイヤによる足踏みを検知して、足踏みの速さに応じて、道路７２を含む背景及びプレイヤキャラクタ７０のアニメーション速度を調整する。これにより、プレイヤの足踏みの速さに応じた速度で、プレイヤキャラクタ７０が前方へ進む（歩く、又は走る）様子が表現される。言い換えると、プレイヤは、足踏みの速度を調整することで、プレイヤキャラクタ７０の前進速度を制御できる。なお、「前方」とは、プロセッサ２０により生成される仮想空間における前方である。

また、プレイヤが、マット２上で踏み位置をシフト（サイドステップ）すると、オンするフットスイッチＳＷが変わるので、プロセッサ２０は、プレイヤによる踏み位置のシフトを検知して、シフト後の踏み位置に応じて、プレイヤキャラクタ７０を左あるいは右に移動させる。これにより、プレイヤは、踏み位置を調整することで、プレイヤキャラクタ７０を左あるいは右に移動させることができる。なお、「左」及び「右」とは、プロセッサ２０により生成される仮想空間における左及び右である。

プロセッサ２０は、道路７２上に障害物８４等の様々な障害物を表示するので、プレイヤは、マット２の踏み位置をシフトして、つまり、踏み込むフットスイッチＳＷを変えて、プレイヤキャラクタ７０に障害物８４等の障害物を回避させながら、プレイヤキャラクタ７０を前進させる。なお、プロセッサ２０は、障害物８４を、道路７２を横切る方向（左右）に往復運動させる。

図１７は、片足立ちのプレイヤキャラクタ７０を含むプレイ画面の例示図である。図１７を参照して、プロセッサ２０は、４つのフットスイッチＳＷのうち、隣接する２つのフットスイッチＳＷが同時にオンしている状態から（つまり、両足で２つのフットスイッチＳＷを踏んでいる状態）、一方がオフになったこと（つまり、片足を上げて一方のフットスイッチＳＷから足を離している状態）を検知すると、片足立ちのプレイヤキャラクタ７０を表示する。この場合、プロセッサ２０は、同時にオンしている隣接する２つのフットスイッチＳＷのうち、プレイヤから見て、右のフットスイッチＳＷがオンしているときは、プレイヤキャラクタ７０が右足で立っている映像を表示し、左のフットスイッチＳＷがオンしているときは、プレイヤキャラクタ７０が左足で立っている映像を表示する。これにより、プレイヤが、プレイヤキャラクタ７０との一体感をより感じることができる。

図１８は、しゃがみながら走るプレイヤキャラクタ７０を含むプレイ画面の例示図である。図１８を参照して、このプレイ画面は、３種類の障害物７６，７８，８０、プレイヤキャラクタ７０、及び道路７２を含む。プロセッサ２０は、障害物７６をレーン７４Ｌ上に表示し、障害物７８をレーン７４Ｃ上に表示し、障害物８０をレーン７４Ｒ上に表示する。

プレイヤキャラクタ７０は、立ったままでは障害物７６を回避できず、衝突してしまい、それ以上前進できない。従って、プレイヤは、プレイヤキャラクタ７０をしゃがませなければならない。４つのフットスイッチＳＷのうち、３個又は４個が同時にオンになると（つまり、両足で２つのフットスイッチＳＷを踏み込んだ状態において、片手で他の１つのフットスイッチＳＷを押すか、又は、両手で他の２つのフットスイッチＳＷを押した状態）、プロセッサ２０は、プレイヤキャラクタ７０がしゃがむ映像を表示する。

そして、同時にオンしているフットスイッチＳＷのうち、端の１個（３つ又は４つが同時オンのとき）又は両端の２個（４つが同時オンのとき）のフットスイッチＳＷがオンの状態を維持し（つまり、片手で押している１つのフットスイッチＳＷ、又は、両手で押している２つのフットスイッチＳＷがオン）、かつ、他の２個のフットスイッチＳＷがオン／オフを交互に繰り返すと（つまり、他の２つのフットスイッチＳＷの上で足踏みをすると）、プロセッサ２０は、プレイヤキャラクタ７０がしゃがみながら前進（歩く、又は走る）する映像を表示する。従って、プレイヤは、このようなフットスイッチＳＷの操作を行うことで、障害物７６を回避、つまり、くぐり抜けることができる。なお、プレイヤキャラクタ７０が「しゃがむ」とは、プロセッサ２０により生成される仮想空間でしゃがむことである。

ちなみに、プレイヤキャラクタ７０が一定速度以上で障害物８０に衝突すると、プロセッサ２０は、障害物８０が破壊され、そこをプレイヤキャラクタ７０が通過する映像を表示する。一方、プレイヤキャラクタ７０がどのような速度で障害物７８に衝突しても、障害物７８を通過することはできない。

以上のように、この図１８の例では、床面に載置された入力装置であるマット２を用いながらも、プレイヤに対して、しゃがみながら足踏みをする動作を行わせることができる。

上記では、プレイヤキャラクタ７０は、しゃがみながら前進することで、障害物７６を回避した。他の回避方法を説明する。

図１９は、スライディングするプレイヤキャラクタ７０を含むプレイ画面の例示図である。図１９を参照して、このプレイ画面は、３種類の障害物７６，７８，８０、プレイヤキャラクタ７０、及び道路７２を含む。プロセッサ２０は、障害物７６をレーン７４Ｒ上に表示し、障害物７８をレーン７４Ｃ上に表示し、障害物８０をレーン７４Ｌ上に表示する。

プレイヤが、一定速度以上で踏み込み動作を行って、２つのフットスイッチＳＷを交互にオン／オフして、プレイヤキャラクタ７０が所定速度以上で走っているときに、プレイヤが、他の１個又は２個のフットスイッチＳＷを手で押してオンすると、プロセッサ２０は、プレイヤキャラクタ７０が前方に向かってスライディングする映像を表示する。従って、プレイヤは、このようなフットスイッチＳＷの操作を行うことでも、障害物７６を回避、つまり、くぐり抜けることができる。

以上のように、この図１９の例では、床面に載置された入力装置であるマット２を用いながらも、プレイヤに対して、足踏みをしている時にしゃがみ動作を行わせることができる。

図２０は、垂直方向に移動する障害物８６を含むプレイ画面の例示図である。図２０を参照して、プロセッサ２０は、垂直方向（上下）に往復運動する障害物８６を道路７２上に表示する。プレイヤは、フットスイッチＳＷの操作により、プレイヤキャラクタ７０を操作して、障害物８６を回避して前進しなければならない。

図２１は、穴８８を含むプレイ画面の例示図である。図２１を参照して、プロセッサ２０は、道路７２上に、穴８８を表示する。従って、プレイヤは、フットスイッチＳＷの操作により、プレイヤキャラクタ７０を操作して、穴８８を飛び越えて前進しなければならない。つまり、プレイヤが、マット２上でジャンプすると、同時にオンしていた２つのフットスイッチＳＷがオフになるので、プロセッサ２０は、プレイヤによるジャンプを検知して、プレイヤキャラクタ７０をジャンプさせ、穴８８を飛び越える。この場合、プロセッサ２０は、プレイヤのジャンプを検知する前の足踏み速度に応じて、プレイヤキャラクタ７０の飛距離を算出する。なお、プレイヤキャラクタ７０の「ジャンプ」とは、プロセッサ２０により生成される仮想空間でのジャンプである。

図２２は、プレイヤキャラクタ７０の進行方向と逆方向に移動する路面８２を含むプレイ画面の例示図である。図２２を参照して、プロセッサ２０は、道路７２上に、プレイヤキャラクタ７０の進行方向と逆方向に移動する路面８２を表示する。この場合、路面８２の移動は、それ自体の移動を意味するのではなく、ベルトコンベアのような回転移動を意味する。もちろん、そのような回転移動を行いながら、プレイヤキャラクタ７０の前進に伴って、路面８２自体も移動するが、これは、プレイヤキャラクタ７０の前進を表現するための処理である。

この路面８２では、プレイヤキャラクタ７０は進行方向と逆方向に戻されるので、より速い速度でプレイヤキャラクタ７０を前進させなければならない。つまり、プレイヤは、より素早く足踏みを行って、より素早くフットスイッチＳＷのオン／オフを繰り返さなければならない。

以上、図１６〜図２２に示したように、プレイヤは、マット２上で足踏み速度を調整することで、プレイヤキャラクタ７０の前進速度を調整しながら、プレイヤキャラクタ７０を前方へ進めて行くと共に、踏み位置のシフト（サイドステップ）、ジャンプ、しゃがみ動作、しゃがみながらの足踏み、あるいは足踏み中のしゃがみ動作を行いながら、障害物７６，７８，８０，８４，８６，８８，８２等の各種障害物を回避していく。

なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。

（１）実施の形態１では、外部からのオーディオ信号は、デジタルオーディオプレーヤ１０１から入力された。ただし、ＣＤプレーヤやＤＶＤプレーヤ等の他の記録媒体から入力することもできる。また、マイクロフォンにより、音声を電気信号に変換したものを、外部からの入力オーディオ信号とすることもできる。さらに、外部からのオーディオ信号は、ＬＡＮやインターネット等の通信回線を介して与えられるものでもよい。

（２）実施の形態１の説明で明らかであるが、図１のエンターティンメントシステムは、タイミング制御システムと呼ぶこともできる。また、カートリッジ３はタイミング制御装置と呼ぶこともできる。なぜなら、将来発生するプレイヤのステップに合うように、イベントを設定し、所定の結果を引き起こすからである。なお、所定の結果とは、制御対象が所定状態に達することである。所定状態は、所定形態、所定位置及び所定音等を含む意味である。上記の例では、所定の結果は、予測された将来のステップの発生タイミングで、移動オブジェクトｏｂｊが領域ａに到達することである。

（３）上記では、設定されたイベントに応答して、所定画像、つまり、移動オブジェクトｏｂｊの出現タイミングを制御し、予測されたステップの発生タイミングで、所定の結果、つまり、移動オブジェクトｏｂｊの領域ａへの到達を引き起した。ただし、制御対象たる所定画像は、移動オブジェクトｏｂｊに限定されず、任意の画像を制御対象にすることができる。

また、制御対象たる所定画像を予め画面に表示しておき、その所定画像の変化開始タイミングをプレイヤのステップに基づいて設定することもできる。つまり、上記のイベントに応答して、所定画像の変化を開始する。この場合、所定画像の変化開始から終了までの時間は、一定時間Ｔ_Ａであり、変化速度も一定である。さらに、この場合、変化終了後に、再び、元の変化開始状態に戻し、繰り返して所定画像を使用することもできる。また、この場合、所定画像を複数表示しておき、イベントに応じて交互に変化させることもできる。

（４）実施の形態１では、フットスイッチＳＷのオン／オフ情報を入力し、プレイヤの踏み動作を解析して、将来の踏み動作の発生タイミングを予測した。ただし、入力されて解析される信号は、フットスイッチＳＷのオン／オフ情報に限られない。例えば、フットスイッチではなく、手入力型のスイッチの操作信号でもよい。このときは、操作信号に合った所定画像（例えば移動オブジェクト）の制御が可能となる。スイッチは、例えば、ゲーム機用コントローラ等の手入力型コントローラのスイッチ、キーボードのスイッチ等である。

また、例えば、入力されて解析される信号は、所定の条件を満足した時に発生するトリガ信号であってもよい。このときは、トリガ信号に合った所定画像（例えば移動オブジェクト）の制御が可能となる。なお、上記のように、制御対象たる所定画像（例えば移動オブジェクト）とは別に、トリガ信号に応答する画像を表示することもできる（例えば、マット画像５８）。

トリガ信号は、例えば、三次元空間中でプレイヤにより動かされる入力装置の動きが所定の条件を満足した時に発生する信号である。所定の条件は、例えば、入力装置の加速度が所定値を超えたことである。この場合、入力装置は、加速度センサを内蔵する。

また、例えば、ＣＣＤやイメージセンサ等の撮像装置で、プレイヤの動きを撮影し、その画像を解析して、プレイヤの動きを検出し、その動きが所定条件を満足した時にトリガ信号を生成する。この場合、プレイヤに再帰反射部材を把持又は装着し、これに、発光装置（例えば赤外発光ダイオード）により間欠的に光（例えば赤外光）を照射し、光点灯時画像と消灯時画像との差分画像に基づいて（差分処理）、再帰反射部材、つまり、プレイヤの動きを検出することもできる。光が照射された再帰反射部材を撮影するので、撮像画像中の再帰反射部材の像は、背景よりも輝度が高くなり、その像の抽出が容易になる。また、差分処理により、再帰反射部材からの反射光以外の光を簡易に除去できる。

ただし、再帰反射部材に代えて、赤外発光ダイオードのような自発光装置を搭載した装置をプレイヤに装着又は把持させることもできる。この場合は、差分処理を行わないので、上記の差分処理のための発光装置は不要である。プレイヤの動きに連動するカーソルを表示することもできる。

なお、上記のストロボ撮影（発光装置の点滅）及び差分処理は、好適な例を示しただけであって、必須の要素ではない。つまり、発光装置は、点滅させなくてもよいし、また、発光装置がなくてもよい。照射する光は赤外光に限られない。また、再帰反射部材は必須の要素ではなく、撮像画像を解析して、プレイヤが把持等する入力装置あるいは身体の特定部位（例えば手や足など）が検知できればよい。

また、例えば、プレイヤに撮像装置を備えた電子機器を持たせて、入力装置とすることもできる。この場合、テレビジョンモニタの画面の縁に沿って複数のマーカを取り付ける。このマーカを入力装置の撮像装置で撮影し、プロセッサは、プレイヤが画面のどこを指し示しているかを判断し、そこにカーソルを表示する。カーソルの動きが所定条件を満足した時に、トリガ信号を生成する。マーカは、例えば、赤外発光ダイオード等の発光装置である。また、マーカを再帰反射部材とすることもできる。この場合は、入力装置に、発光装置を取り付ける。さらに、発光装置を点滅させて、差分画像を処理することもできる。

さらに、例えば、プレイヤによる打撃を検出して、打撃の検出に応じてトリガ信号を発生することもできる。打撃は、例えば、スイッチ、ピエゾ素子などにより検出する。

（５）上記では、イベントに応答して、制御対象たる所定画像（移動オブジェクトｏｂｊ）の位置を変化させた（下降）。ただし、位置の変化である移動に限らず、制御対象たる所定画像の形態を、イベントに応答して変化させてもよい。「形態」とは、形状、模様及び色彩を含む意味である。

（第１変形例）例えば、イベントに応答して、画面上の所定位置又は任意の位置に、所定形状の所定画像を出現させると共に、その所定画像と相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。同時に、所定画像をタイミング指示オブジェクトに向かって変化させる。この場合、タイミング指示オブジェクトが所定画像より大きい場合は、所定画像を拡大していき、小さい場合は縮小していく。この場合、所定画像がタイミング指示オブジェクトに達したタイミングが、プレイヤのステップに合うように、イベントが設定される。

（第２変形例）また、例えば、イベントに応答して、画面上の所定位置又は任意の位置に、第１所定模様の所定画像を出現させると共に、その所定画像に近接して第２所定模様のタイミング指示オブジェクトを表示する。同時に、所定画像の模様を第１所定模様から第２所定模様に向かって変化させる。この場合、所定画像の模様がタイミング指示オブジェクトの模様、つまり、第２所定模様に達したタイミングが、プレイヤのステップに合うように、イベントが設定される。

（第３変形例）所定画像の色彩を変化させることもできる。この場合は、所定画像の模様を変化させる場合と同様の例を適用できる。つまり、上記模様の例において、「模様」を「色彩」と読みかえればよい。

（６）上記では、制御対象は、所定画像（移動オブジェクトｏｂｊ）であった。ただし、制御対象は、画像に限定されない。例えば、制御対象として、音、外部機器、外部コンピュータプログラム、物体、又は、物質（固体、液体、気体）等を選択できる。

（制御対象が音）

タイミング制御装置たるカートリッジ３は、プレイヤのステップの発生タイミングを予測して、予測結果に基づいてイベントを設定する。例えば、予測したプレイヤのステップの発生タイミングに基づいて、所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、イベントを設定する。そして、カートリッジ３は、イベントに応答して、所定音を制御し、予測されたプレイヤのステップの発生タイミングで、所定音に所定の結果を引き起こす。このように、プレイヤのステップの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、プレイヤのステップのタイミングで、所定音に所定の結果を引き起こすことができる。所定音の制御は、例えば、所定音の振幅（音量）、波形（音色）及び／又は周期（音の高さ）といった要素の制御である。従って、所定の結果は、音の要素が、所定のものになることである。

（制御対象が所定物体又は所定物質）

タイミング制御装置たるカートリッジ３は、プレイヤのステップの発生タイミングを予測して、予測結果に基づいてイベントを設定する。例えば、予測したプレイヤのステップの発生タイミングに基づいて、所定物体又は所定物質の変化開始タイミング及び出現タイミングのうちの少なくとも１つを決定し、決定結果に基づいて、イベントを設定する。そして、カートリッジ３は、イベントに応答して、所定物体又は所定物質の変化を制御し、予測したプレイヤのステップの発生タイミングで、所定の結果を引き起こす。所定物体又は所定物質の変化は、位置及び／又は形態の変化を含む。このように、プレイヤのステップの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、プレイヤのステップのタイミングで、所定物体又は所定物質に所定の結果を引き起こすことができる。なお、所定物質が気体の場合、例えば、その気体を容器等に封入して制御する。

例えば、制御対象を水滴とし、第１所定位置から第２所定位置まで落下させる。この場合、水滴が第２所定位置に到達した時が、プレイヤのステップと一致するように、イベントを設定する。この場合、イベントの設定に応答して、第１所定位置から水滴を落下させる。この例において、例えば、水滴を玉と読み替えたり、気体を封入した容器と読み替えたりできる。また、例えば、制御対象を噴水とする場合、噴水が上昇し、下降して、液面に到達した時が、プレイヤのステップに一致するように、イベントを設定する。この場合、イベントの設定に応答して、噴水の出射を行う。

水滴や噴水等は、直接制御されるものではなく、イベントに応答して、直接的には、電磁弁やバルブの開閉等、機構が制御される。それら以外の所定物体や所定物質の制御についても、同様であり、直接それらを制御するのではなく、それらをコントロールする機構、機械、機器及び／又はコンピュータプログラム等を、イベントに応答して駆動・制御することになる。

（制御対象が外部機器及び／又は外部のコンピュータプログラム）

タイミング制御装置たるカートリッジ３は、プレイヤのステップの発生タイミングを予測して、予測結果に基づいてイベントを設定する。この点、上記と同じである。そして、カートリッジ３は、イベントに応答して、外部機器及び／又は外部のコンピュータプログラムを制御し、プレイヤのステップの発生タイミングで、所定の結果を引き起こす。このように、プレイヤのステップの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、プレイヤのステップのタイミングで、外部機器及び／又は外部のコンピュータプログラムに所定の結果を引き起こさせることができる。

（７）上記では、検知したプレイヤのステップのタイミングと、移動オブジェクトｏｂｊが領域ａに到達するタイミングと、が実質的に一致した場合、移動オブジェクトｏｂｊを弾き返すエフェクトを生成した。ただし、エフェクトの種類はこれに限定されず、任意に設定可能である。

（８）実施の形態１において、検知したプレイヤのステップのタイミングと、予測されたステップのタイミングと、の差に基づいて、踏み動作が定常化したか否かを判定することもできる。

以上、本発明を実施例により詳細に説明したが、当業者にとっては、本発明が本願中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。

Claims (38)

1. プレイヤの入力操作を検知する入力手段と、
   前記入力手段が検知した前記プレイヤの一連の前記入力操作の周期的な反復を解析して、将来の入力操作の発生タイミングを予測する予測手段と、
   予測した前記発生タイミングに基づいて、前記将来の入力操作に対するイベントを設定する設定手段と、
   設定された前記イベントに応答して、所定の制御を実行し、予測された前記将来の入力操作の発生タイミングで、所定の結果を引き起こす制御手段と、を備えるタイミング制御装置。
2. 前記所定の制御は、所定画像の制御であり、
   前記制御手段は、設定された前記イベントに応答して、前記所定画像を制御し、予測された前記発生タイミングで、前記所定画像に前記所定の結果を引き起こす、請求項１記載のタイミング制御装置。
3. 前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、
   前記所定画像の変化は、位置及び／又は形態の変化を含む、請求項２記載のタイミング制御装置。
4. 前記設定手段は、予測された前記発生タイミングに基づいて、前記所定画像の変化開始タイミング及び画面への出現タイミングのうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項２又は３記載のタイミング制御装置。
5. 前記所定の制御は、所定音の制御であり、
   前記制御手段は、設定された前記イベントに応答して、前記所定音を制御し、予測された前記発生タイミングで、前記所定音に前記所定の結果を引き起こす、請求項１記載のタイミング制御装置。
6. 前記設定手段は、予測された前記発生タイミングに基づいて、前記所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項５記載のタイミング制御装置。
7. 前記所定の制御は、外部機器及び／又は外部のコンピュータプログラムの制御であり、
   前記制御手段は、設定された前記イベントに応答して、前記外部機器及び／又は前記外部のコンピュータプログラムを制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす、請求項１記載のタイミング制御装置。
8. 前記所定の制御は、所定物体又は所定物質の制御であり、
   前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質を制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす、請求項１記載のタイミング制御装置。
9. 前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、
   前記所定物体又は前記所定物質の変化は、位置及び／又は形態の変化を含む、請求項８記載のタイミング制御装置。
10. 前記設定手段は、予測された前記発生タイミングに基づいて、前記所定物体又は前記所定物質の変化開始タイミング及び出現タイミングのうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項８又は９記載のタイミング制御装置。
11. 前記設定手段は、予測された前記発生タイミングより所定時間だけ前に、前記イベントを設定し、
    前記制御手段は、設定された前記イベントに応答して、前記所定の制御を開始し、前記所定時間の経過後に、前記所定の結果を引き起こす、請求項１記載のタイミング制御装置。
12. 前記所定の制御は、所定画像の制御であり、
    前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、前記所定時間の経過後に、前記所定の画像に前記所定の結果を引き起こし、
    前記所定画像の変化の過程は、前記入力操作に依存しない、請求項１１記載のタイミング制御装置。
13. 前記制御手段は、前記所定画像の変化の速度を、前記入力操作に依存することなく、一定とする、請求項１２記載のタイミング制御装置。
14. 前記予測手段は、前記入力操作の周期的な反復の周波数及び位相に基づいて、前記将来の入力操作の発生タイミングを予測する、請求項１から１３のいずれかに記載のタイミング制御装置。
15. 前記予測手段は、
    前記入力操作の周期的な反復の周期を検出する周期検出手段と、
    前記入力操作の周期的な反復の位相を検出する位相検出手段と、
    前記入力操作の周期的な反復の前記周期及び前記位相に基づいて、前記将来の入力操作の発生タイミングを予測する手段と、を含む請求項１４記載のタイミング制御装置。
16. 前記予測手段は、前記入力操作の位相の変化に応じて、前記将来の入力操作の発生タイミングの予測結果を補正する、請求項１４又は１５記載のタイミング制御装置。
17. 前記制御手段は、前記入力手段が検知した前記プレイヤの入力操作のタイミングと、前記所定の制御により前記所定の結果が引き起こされるタイミングと、が実質的に一致した場合に、所定のエフェクトを生成する、請求項１から１６のいずれかに記載のタイミング制御装置。
18. 前記制御手段は、前記プレイヤの入力操作が定常化した場合に、前記イベント設定手段が設定したイベントに従って、前記所定の制御を実行する、請求項１から１７のいずれかに記載のタイミング制御装置。
19. 前記入力手段は、床面に載置され、前記プレイヤの入力操作としての踏み動作を検知する検知手段を含む、請求項１から１８のいずれかに記載のタイミング制御装置。
20. 前記入力手段は、前記プレイヤの入力操作としての打撃を検知する検知手段を含む、請求項１から１８のいずれかに記載のタイミング制御装置。
21. 前記入力手段が検知した前記プレイヤの入力操作が、所定の条件を満足した時にトリガを発生するトリガ手段をさらに備え、
    前記予測手段は、前記トリガの周期的な反復を解析して、前記将来の入力操作の発生タイミングを予測する、請求項１から１８のいずれかに記載のタイミング制御装置。
22. 前記トリガ手段は、三次元空間中を前記プレイヤによって動かされる前記入力手段の動きが前記所定の条件を満足した時に前記トリガを発生する、請求項２１記載のタイミング制御装置。
23. 前記所定の条件は、前記入力手段の加速度が所定値を超えたことである、請求項２２記載のタイミング制御装置。
24. 前記入力手段は、撮像により得られた画像に基づいて、入力操作としての前記プレイヤの動きを検出し、
    前記トリガ手段は、検出した前記プレイヤの動きが前記所定の条件を満足した時に前記トリガを発生する、請求項２１記載のタイミング制御装置。
25. 前記入力手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２４記載のタイミング制御装置。
26. 前記入力手段は、前記プレイヤが動かす再帰反射部材を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２５記載のタイミング制御装置。
27. 前記入力手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２６記載のタイミング制御装置。
28. 前記入力手段は、表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２４記載のタイミング制御装置。
29. プレイヤの入力操作を検知する入力手段と、
    前記入力手段が検知した前記プレイヤの一連の前記入力操作を解析して、前記入力操作が定常化したか否かを判定する定常化判定手段と、
    前記入力操作が定常化していないと判断された場合に、前記入力操作に依存しない所定のアルゴリズムに従ってイベントを設定する第１処理手段と、
    前記入力操作が定常化したと判断された場合に、一連の前記入力操作の周期的な反復の周期に基づいて、イベントを設定する第２処理手段と、を備える情報処理装置。
30. 前記定常化判定手段は、前記入力手段が検知した前記プレイヤの入力操作に基づく偏差に基づき、前記プレイヤの入力操作が定常化したか否かを判定する、請求項２９記載の情報処理装置。
31. 前記プレイヤの一連の前記入力操作に基づいて、将来の入力操作の発生タイミングを予測する予測手段をさらに備え、
    前記偏差は、前記入力手段が検知した前記プレイヤの前記入力操作のタイミングと、予測した前記発生タイミングと、の差である、請求項３０記載の情報処理装置。
32. 前記偏差は、前記入力操作とそれに続く前記入力操作との間の時間的間隔の平均値と、今回の前記入力操作と前回の前記入力操作との間の時間的間隔と、の差である、請求項３０記載の情報処理装置。
33. 前記定常化判定手段は、ヒステリシスを持たせて、前記偏差に基づき、前記入力操作が定常化したか否かを判定する、請求項３０から３２のいずれかに記載の情報処理装置。
34. 前記定常化判定手段は、前記偏差が所定値より大きい場合、当該偏差を判定に使用しない、請求項３０から３３のいずれかに記載の情報処理装置。
35. 表示装置に接続して使用される動作指示装置であって、
    床面に載置され、各々がプレイヤからの入力を検知する複数の検知手段を含む入力手段と、
    前記入力手段の検知結果に基づいて、前記表示装置に表示された画像を制御する画像制御手段と、を備え、
    少なくとも同時に３個の前記検知手段が入力を検知したときに、前記画像制御手段は、前記画像に対して、２個以下の前記検知手段が入力を検知したときと異なる第１態様の変化を与え、
    前記画像に対して、前記第１態様の変化を与えた後、少なくとも１個の前記検知手段が入力を継続して検知している状態において、他の２個の前記検知手段が交互に入力を検知したことに応じて、前記画像制御手段は、前記画像に第２態様の変化を与える、動作指示装置。
36. 前記画像制御手段が制御する前記画像は、プレイヤと対応した動作をするプレイヤキャラクタであり、
    前記第１態様の変化は、前記プレイヤキャラクタがしゃがむ動作であり、
    前記第２態様の変化は、前記プレイヤキャラクタがしゃがんだままの状態で、歩く又は走る動作である、請求項３５記載の動作指示装置。
37. 表示装置に接続して使用される動作指示装置であって、
    床面に載置され、各々がプレイヤからの入力を検知する複数の検知手段を含む入力手段と、
    前記入力手段の検知結果に基づいて、前記表示装置に表示された画像を制御する画像制御手段と、を備え、
    前記画像制御手段は、２個の前記検知手段が交互に入力を検知したことに応じて、前記画像に対して、第１態様の変化を与え、
    前記画像に対して、前記第１態様の変化を与えている状態において、他の少なくとも１個の前記検知手段が入力を検知したときに、前記画像制御手段は、前記画像に対して、第２態様の変化を与える、動作指示装置。
38. 前記画像制御手段が制御する前記画像は、プレイヤと対応した動作をするプレイヤキャラクタであり、
    前記第１態様の変化は、前記プレイヤキャラクタが歩く、又は走る動作であり、
    前記第２態様の変化は、前記プレイヤキャラクタがスライディングする動作である、請求項３７載の動作指示装置。

Images