JP4048558B2 - 表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 - Google Patents
表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4048558B2 JP4048558B2 JP2002154628A JP2002154628A JP4048558B2 JP 4048558 B2 JP4048558 B2 JP 4048558B2 JP 2002154628 A JP2002154628 A JP 2002154628A JP 2002154628 A JP2002154628 A JP 2002154628A JP 4048558 B2 JP4048558 B2 JP 4048558B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- gravity
- shaking
- center
- centroid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関し、特に、臨場感のある動揺感覚を、ユーザに感じさせることができるようにする表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来の画像表示装置においては、画像が表示されるとともに、音声が出力されるだけであり、例えば、カーチェイスを行っているシーンにおいて、ユーザが、そのカーチェイスを行っている自動車に乗っているかのような動揺感覚を享受することは困難であった。
【０００３】
そこで、最近では、動揺感覚を、ユーザに感じさせることができるようにする画像表示装置が提案されている。
【０００４】
図１は、そのような画像表示装置の一例の構成を示している。
【０００５】
画像動揺情報データベース１は、後述するスクリーン１５に表示される画像データ（動画像データ）と、同じく後述するモーションベース５を駆動して、その上部に固定された椅子７を動揺させるための動揺データとを多重化した画像動揺情報を記憶している。
【０００６】
画像／動揺デコード部２は、画像動揺情報データベース１に記憶された画像動揺情報を読み出し、画像データと動揺データにデコードする。さらに、画像／動揺デコード部２は、動揺データを、動揺制御部３に供給するとともに、画像データを、表示制御部４に供給する。
【０００７】
動揺制御部３は、画像／動揺デコード部２から供給される動揺データにしたがい、モーションベース５を制御する。
【０００８】
モーションベース５は、動揺制御部３の制御にしたがって駆動することにより、そのモーションベース５の上部に固定された椅子７を動揺させる。即ち、モーションベース５は、複数のアーム６を有しており、そのアーム６の一旦は床面に、他端は椅子７に、それぞれ固定されている。さらに、アーム６は、図示せぬアクチュエータを内蔵し、動揺制御部３からの制御にしたがい、そのアクチュエータを駆動する。アーム６は、アクチュエータが駆動されることにより伸縮し、これにより、その他端に固定されている椅子７を、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させる。
【０００９】
一方、表示制御部４は、画像／動揺デコード部２から供給される画像データに必要な処理を施し、ドーム１１の内側に設置されたプロジェクタ１２に供給することにより、ドーム１１の内壁に形成されたスクリーン１５に、対応する画像を表示させる。
【００１０】
即ち、ドーム１１は、例えば、内部が空洞の球形をしており、その下部には、ユーザの上半身が、ドーム１１の内部に入る程度の大きさの穴が設けられている。また、ドーム１１の内部には、その上部に、プロジェクタ１２が、下方向に光を発する状態で取り付けられており、さらに、そのプロジェクタ１２の光の出射方向には、平面ミラー１３が設けられている。従って、プロジェクタ１２が出射した光は、平面ミラー１３において、ドーム１１内部の上部方向に反射される。
【００１１】
さらに、ドーム１１の内部には、その上部に、平面ミラー１３で反射された光を、ドーム１１の内壁に反射するように、球面ミラー１４が設けられている。従って、平面ミラー１３で反射された光は、球面ミラー１４でさらに反射され、これにより、ドーム１１の内壁に向かって出射される。
【００１２】
ドーム１１の内壁には、スクリーン１５が形成されており、球面ミラー１４で反射された光は、スクリーン１５で拡散反射され、これにより、対応する画像が表示される。
【００１３】
ドーム１１は、例えば、図示せぬ天井や、画像表示装置の固定部分に固定されており、ユーザが、モーションベース５に固定された椅子７に腰掛けたときに、その頭部が、球形のドーム１１の中心にほぼ位置するように設置されている。
【００１４】
ここで、ドーム１１によれば、ユーザが、その下部に設けられた穴に、上半身を入れた状態において、ユーザの周囲の全方向に画像が表示されるが、このような画像を表示する手段としてのドーム１１は、没入型の画像表示装置と呼ばれる。
【００１５】
以上のように構成される画像表示装置では、映像動揺情報データベース１に記憶された画像動揺情報が、画像／動揺デコード部２を介することにより、画像データと動揺データにデコードされ、それぞれが、表示制御部４と動揺制御部３に供給される。
【００１６】
表示制御部４は、画像／動揺デコード部２から供給される画像データにしたがって、プロジェクタ１２を駆動し、これにより、プロジェクタ１２は、画像データに対応する光を発する。プロジェクタ１２が発する光は、平面ミラー１３で反射され、球面ミラー１４に入射する。球面ミラー１４は、平面ミラー１３からの光を、スクリーン１５に向けて反射し、スクリーン１５では、球面ミラー１４からの反射光が拡散されることで、画像が表示される。
【００１７】
ここで、画像動揺情報データベース１に記憶されている画像動揺情報に含まれる画像データは、その光軸の周囲の全方向が撮影可能なカメラである全方位カメラによって撮影された全方位画像データとなっている。プロジェクタ１２では、この全方位画像データに対応する光が発せられ、これにより、スクリーン１５には、全方位カメラで撮像を行った周囲３６０度の風景の画像が表示されるようになっている。
【００１８】
なお、画像／動揺デコード部２は、スクリーン１５に全方位カメラで撮像された周囲３６０度の風景の画像が表示されるようにするために、必要に応じて、全方位画像データを幾何変換する。
【００１９】
この幾何変換の方法や、球形のドーム１１の内壁に設けられたスクリーン１５に全方位カメラで撮像された周囲３６０度の風景の画像を表示させる方法については、例えば、凸面境を用いた空面没入型ディスプレイ:Ensphered Vision（日本バーチャルリアリティ学会論文誌Vol.4 No.3 1999などに開示されている。
【００２０】
一方、動揺制御部３は、画像／動揺デコード部２から供給される動揺データにしたがって、モーションベース５を駆動する。このように、モーションベース５が駆動することにより、そのモーションベース５に固定されている椅子７が、前後、左右、上下、ロール、ピッチ、ヨーの各方向に動揺し、さらに、その椅子７に腰掛けているユーザも動揺する。
【００２１】
従って、ユーザは、画像を視聴しながら、動揺感覚を享受することができる。
【００２２】
【発明が解決しようとする課題】
図１の画像表示装置によれば、例えば、カーチェイスを行っているシーンの画像を表示しながら、椅子７を動揺させることで、ユーザが、そのカーチェイスを行っている自動車に乗っているかのような動揺感覚を与えることができる。
【００２３】
しかしながら、この場合、椅子７を動揺させることによって、その椅子７に腰掛けているユーザ自身を、実際に動揺させることから、ユーザの頭部の位置が安定せず、ユーザが、その不安定な頭部に気をとられる結果、臨場感が薄れることになる。
【００２４】
さらに、図１の画像表示装置では、椅子７に腰掛けるユーザを動揺させることから、ユーザの視点と、ドーム１１内部のスクリーン１５との位置関係が変動する。従って、ユーザに臨場感を与える動揺感覚を享受させるには、そのような変動する位置関係を考慮して、スクリーン１５に画像を表示する必要があるが、ユーザの頭部の位置の変動には個人差があり、そのような個人差のある頭部の位置変動を考慮して、スクリーン１５に画像を表示するのは困難である。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、容易に、臨場感のある動揺感覚を、ユーザに感じさせることができるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の表示制御装置は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御手段を備え、動揺制御手段がしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものであることを特徴とする。
【００２７】
本発明の表示制御方法は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものであることを特徴とする。
【００２８】
本発明の第１のプログラムは、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである表示制御処理を、コンピュータに行わせることを特徴とする。
【００２９】
本発明の第１の記録媒体は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである表示制御処理を、コンピュータに行わせるプログラムが記録されていることを特徴とする。
【００３０】
本発明のデータ処理装置は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算手段と、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成手段とを備え、動揺データ演算手段は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づき、現実重心データを用いて求めることを特徴とする。
【００３１】
本発明のデータ処理方法は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求めることを特徴とする。
【００３２】
本発明の第２のプログラムは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求める処理を、コンピュータに実行させることを特徴とする。
【００３３】
本発明の第２の記録媒体は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求める処理を、コンピュータに実行させるプログラムが記録されていることを特徴とする。
【００３４】
本発明の表示制御装置および表示制御方法、並びに第１のプログラムおよび第１の記録媒体に記録されたプログラムにおいては、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段が制御される。また、動揺手段の制御に用いる動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである。
【００３５】
本発明のデータ処理装置およびデータ処理方法、並びに第２のプログラムおよび第２の記録媒体に記録されたプログラムにおいては、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データが求められる。即ち、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報が求められ、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データが、重心対動揺応答情報に基づき、現実重心データを用いて求められる。
【００３６】
【発明の実施の形態】
図２は、本発明を適用した画像表示装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３７】
図１の画像表示装置においては、モーションベース５に椅子７が固定され、モーションベース５が駆動されることにより、椅子７が動揺するようになっていたが、図２の実施の形態では、モーションベース２５にドーム１１が固定され、モーションベース２５が駆動されることにより、ドーム１１が動揺するようになっている。即ち、図２の実施の形態では、椅子７は動揺しないように固定され、ドーム１１が、モーションベース２５によって動揺されるようになっている。
【００３８】
画像動揺情報データベース２１は、図１の画像動揺情報データベース１における場合と同様の画像動揺情報を記憶している。
【００３９】
但し、画像動揺情報データベース２１に記憶されている画像動揺情報における動揺データは、図１における場合のように、椅子７が固定されたモーションベース５を動揺させるものではなく、ドーム１１が固定されたモーションベース２５を動揺させるものとなっている。
【００４０】
また、画像動揺情報データベース２１に記憶されている画像動揺情報においては、画像データ（動画像データ）の各フレームと、そのフレームにおいてドーム１１を動揺させるための動揺データとが対応付けられている。具体的には、例えば、動揺データには、その動揺データにしたがってドーム１１を動揺させるときにスクリーン１５に表示される画像データのフレームのタイムコードが付されている。
【００４１】
動揺制御部２３は、図１の動揺制御部３と同様に、画像／動揺デコード部２から供給される動揺データにしたがい、モーションベース２５を制御する。但し、動揺制御部２３は、動揺データに付されているタイムコードを参照し、いまスクリーン１５に表示されているフレームのタイムコードと一致するタイムコードが付されている動揺データにしたがい、モーションベース２５を制御するようになっている。これにより、モーションベース２５に固定されているドーム１１は、その内部のスクリーン１５に表示される画像に同期して動揺するようになっている。
【００４２】
モーションベース２５は、動揺制御部２３の制御にしたがって駆動することにより、そのモーションベース５の下部に固定されたドーム１１を動揺させる。即ち、モーションベース２５は、図１のモーションベース５と同様に、複数のアーム２６を有しており、そのアーム２６の一旦は天井等に、他端はドーム１１の上部に、それぞれ固定されている。さらに、アーム２６は、図示せぬアクチュエータを内蔵し、動揺制御部２３からの制御にしたがい、そのアクチュエータを駆動する。アーム２６は、アクチュエータが駆動されることにより伸縮し、これにより、その他端に固定されているドーム１１を、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させる。
【００４３】
次に、図３のフローチャートを参照して、図２の画像表示装置の処理について説明する。
【００４４】
画像／動揺デコード部２は、ステップＳ１において、１フレーム分の画像動揺情報を、画像動揺情報データベース２１から読み出すことにより、その画像動揺情報を受信し、ステップＳ２に進む。ステップＳ２では、画像／動揺デコード部２は、ステップＳ１で受信した画像動揺情報を、画像データと動揺データにデコードし、画像データを表示制御部４に供給するとともに、動揺データを動揺制御部２３に供給して、ステップＳ３に進む。
【００４５】
ステップＳ３では、画像データがスクリーン１５に表示されるとともに、その表示された画像データに同期して、ドーム１１が動揺される。
【００４６】
即ち、ステップＳ３では、表示制御部４が、画像／動揺デコード部２からの画像データにしたがい、プロジェクタ１２を駆動することにより、プロジェクタ１２は、その画像データに対応する光を出射する。プロジェクタ１２が出射する光は、平面ミラー１３と球面ミラー１４で順次反射され、ドーム１１内部のスクリーン１５に入射し、そのスクリーン１５で拡散反射される。これにより、スクリーン１５には、対応する画像が表示される。
【００４７】
さらに、ステップＳ３では、動揺制御部２３が、画像／動揺デコード部２からの動揺データ、即ち、スクリーン１５に表示された画像のタイムコードと同一のタイムコードが付加された動揺データにしたがい、モーションベース２５を駆動する。これにより、そのモーションベース２５に固定されているドーム１１が、その内部のスクリーン１５に表示された画像に同期して、前後、左右、上下、ロール、ピッチ、ヨーの各方向に動揺する。
【００４８】
その後、ステップＳ４に進み、画像／動揺デコード部２が、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されているかどうかを判定する。ステップＳ４において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていると判定された場合、ステップＳ１に戻り、画像／動揺デコード部２は、その、次のフレームについての画像動揺情報を、画像動揺情報データベース２１から読み出し、以下、同様の処理を繰り返す。
【００４９】
また、ステップＳ４において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定された場合、処理を終了する。
【００５０】
以上のように、ドーム１１が動揺するので、容易に、臨場感のある動揺感覚を、ユーザに感じさせることが可能となる。
【００５１】
即ち、図２の画像表示装置では、ドーム１１のみが動揺し、ユーザが腰掛ける椅子７は動揺しないため、ユーザの頭部は動かず、その結果、ユーザの頭部が動くことにより、臨場感が損なわれることを防止することができる。
【００５２】
また、図２の画像表示装置では、ドーム１１を動揺させることから、ユーザが腰掛ける椅子７を動揺させる図１の画像表示装置に比較して、モーションベース２５その他の、ドーム１１を動揺させるための機構を簡素化することが可能となる。即ち、図１の画像表示装置では、ユーザが腰掛ける椅子７を動揺させることから、この画像表示装置を利用する多数のユーザの体格等を考慮して、モーションベース５その他の椅子７を動揺させるための機構を設計、製造する必要がある。これに対して、図２の画像表示装置によれば、ドーム１１を動揺させることから、ドーム１１を動揺させるための機構を設計、製造するにあたって、画像表示装置を利用するユーザの体格等を考慮する必要がない。
【００５３】
さらに、図１の画像表示装置では、椅子７を動揺させることから、ユーザの頭部、ひいてはユーザの視点が変動し、視点とスクリーン１５との位置関係も変動する。そして、椅子７を動揺させることによる、ユーザの視点の変動には、個人差があることから、仮に、ユーザの視点とスクリーン１５との位置関係をモデル化しても、そのモデルのパラメータの推定は容易ではない。これに対して、図１の画像表示装置では、ユーザの視点は変動しないから、ユーザの視点とスクリーン１５との位置関係のモデルのパラメータの推定は比較的容易となる。
【００５４】
また、動揺データは、後述するように、ドーム１１を動揺させることで、現実世界であらかじめ記録されたのと動揺の重心移動をユーザに生じさせるものであり、従って、図２の画像表示装置によれば、画像が表示されるドーム１１を動揺させることによって、いわば視覚的に、ユーザに動揺感覚を与えることができる。
【００５５】
さらに、図１の画像表示装置では、ユーザを動揺させるために、ユーザを支える椅子７を動揺させることから、椅子７が必須となる。即ち、図１の画像表示装置において、例えば、椅子７を設けずに、ユーザが立っている足場（床面）を動揺させるとすれば、ユーザは倒れないように、脚を踏ん張る必要があり、ユーザが、そのようなことを意識する結果、臨場感はさらに薄れることになる。また、ユーザが立っている足場を動揺させることは、安全性の面からも好ましくない。このため、図１の画像表示装置では、ユーザを支える椅子７が必須となる。従って、図１の画像処理装置によれば、多人数のユーザが、画像を視聴するためには、そのユーザの数以上の椅子７が必要であり、さらに、そのような多数の椅子７に腰掛けたユーザ全員を覆うことができる大きさのドーム１１も必要となるため、広範な設置スペースが必要となる。
【００５６】
これに対して、図２の画像表示装置では、椅子７が動揺しないことから、椅子７を設けずに構成しても、ユーザの臨場感は損なわれず、安全性の問題も生じない。さらに、図２の画像表示装置によれば、椅子７を設けずに、起立した状態のユーザに画像を視聴させることとすれば、その起立した状態のユーザを覆うことができるドーム１１が必要となるだけであり、従って、比較的狭い設置スペースにおいても、多人数のユーザに、画像を視聴させることが可能となる。
【００５７】
さらに、図２の画像表示装置によれば、椅子７を設けずに済むことから、例えば、部屋をドーム１１として、床を、透明な強化ガラス等で構成し、その床面を介して、天井や壁に、画像に対応する光を照射することにより、その天井や壁に、画像を表示することが可能となる。
【００５８】
次に、図４は、図２の画像動揺情報データベース２１に記憶させる画像動揺情報を生成するデータ処理を行うデータ処理装置の一実施の形態の構成例を示している。
【００５９】
現実重心データベース３１は、現実世界であらかじめ記録されたユーザの重心移動を表す重心データ（以下、適宜、現実重心データという）を記憶している。対画像重心データベース３２は、現実世界で記録された画像を、ドーム１１を動揺させずに、スクリーン１５に表示した場合のユーザの重心移動を表す重心データ（以下、適宜、対画像重心データという）を記憶している。
【００６０】
学習用動揺データベース３３は、ドーム１１を規則的または不規則に動揺させる、後述する重心対動揺応答情報を生成する学習用にあらかじめ用意された動揺データ（以下、適宜、学習用動揺データという）を記憶している。学習用重心データベース３４は、実際に、学習用動揺データにしたがって、ドーム１１を動揺させたときのユーザの重心の移動パターンを表す重心データ（以下、適宜、学習用重心データという）を記憶している。
【００６１】
画像データベース３５は、現実世界において、現実重心データとともに記録（撮影）された画像データを記憶している。
【００６２】
重心対動揺応答生成部３６は、学習用動揺データベース３３から学習用動揺データを読み出すとともに、学習用重心データベース３４から学習用重心データを読み出し、その学習用動揺データと学習用重心データを用いて、ドーム１１の動揺と、ユーザの重心移動との関係を表す重心対動揺応答情報を求め（生成し）、動揺データ演算部３８に供給する。
【００６３】
動揺算出用重心データ演算部３７は、現実重心データベース３１から現実重心データを読み出すとともに、対画像重心データベース３２から対画像重心データを読み出し、その現実重心データと対画像重心データを用いて、現実重心データから、ユーザがドーム１１のスクリーン１５に表示された画像を視聴することによってのみ生じる重心移動の影響を除去した重心データ（以下、適宜、動揺算出用重心データという）を求め、動揺データ演算部３８に供給する。
【００６４】
動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される動揺算出用重心データを受信し、その動揺算出用重心データを用い、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、現実世界で記録されたユーザの重心移動から、ユーザがドーム１１のスクリーン１５に表示される画像を視聴することによってのみ生じる重心移動の影響を除去した重心移動を生じさせる動揺データを求め、エンコーダ３９に供給する。
【００６５】
ここで、図２の画像表示装置において、ドーム１１は、動揺データ演算部３８によって求められる動揺データにしたがって動揺する。
【００６６】
ユーザは、このようにして動揺するドーム１１によって、その重心を移動させる他、ドーム１１のスクリーン１５に表示される画像を視聴することによっても重心を移動させる。即ち、ユーザは、ドーム１１の動揺と、スクリーン１５に表示される画像の視聴によって、その重心を移動することとなるが、これにより、現実世界であらかじめ記録されたユーザの重心移動と同様の重心移動が生じることとなる。
【００６７】
エンコーダ３９は、画像データベース３５から、現実世界において現実重心データとともに記録された画像データを読み出し、その画像データと、動揺データ演算部３８から供給される動揺データとを対応付けることにより、画像動揺情報を生成して出力する。ここで、このようにしてエンコーダ３９が出力する画像動揺情報が、図２の画像動揺情報データベース２１に記憶されている。
【００６８】
なお、現実重心データベース３１には、画像データベース３５に記憶された画像データとともに記録された現実重心データが、その現実重心データが計測されたときに撮影された画像データのタイムコードを付加する形で記憶されている。この現実重心データに付加されたタイムコードは、動揺算出用重心データ演算部３７および動揺データ演算部３８を経由し、動揺データ演算部３８が出力する動揺データに付加されるようになっており、エンコーダ３９は、動揺データを、それに付加されたタイムコードと同一のタイムコードのフレームの画像データと対応付けることで、画像動揺情報を生成するようになっている。
【００６９】
次に、図５を参照して、図４の現実重心データベース３１に記憶させる現実重心データと、画像データベース３５に記憶させる画像データの取得方法について説明する。
【００７０】
なお、ここでは、例えば、画像データとして、自動車が走行しているシーンを撮影するものとする。
【００７１】
この場合、図５に示すように、シーンの撮影に使用する自動車における、運転者の視覚に映る風景を撮影することのできる位置に、全方位カメラ５１を取り付けるとともに、運転席に、平衡機能計５５を取り付け、実際に、運転者に、自動車を運転してもらう。
【００７２】
全方位カメラ５１は、球面ミラー５１、およびレンズ中心の位置が球面ミラー５１の焦点の位置に一致するように配置されたビデオカメラ５２で構成される。全方位カメラ５１では、球面ミラー５１において、周囲からの光が、ビデオカメラ５２のレンズ中心の方向に反射され、これにより、ビデオカメラ５２において、周囲の風景、即ち、自動車の運転者が、現実世界において実際に見ている周囲の風景が撮像される。
【００７３】
ビデオカメラ５２で撮影された、周囲の風景の画像データは、画像記憶部５４に供給されて記憶される。また、ビデオカメラ５２は、画像記憶部５４に出力している画像データの各フレームのタイムコードを、その画像データの出力タイミングに同期して、重心記憶部５６に出力する。
【００７４】
一方、平衡機能計５５は、運転席に座った運転者の重心の位置を順次計測し、その位置を表す、所定の２次元座標系における座標（Ｘ，Ｙ）を、重心データとして出力する。即ち、自動車が走行することによって、運転者が動揺するが、その動揺は、運転者の重心の位置の変化として現れるので、その重心の位置の座標が、平衡機能計５５で計測される。ここで、図６に、平衡機能計５５が時系列に出力する重心位置の軌跡の例を示す。
【００７５】
なお、ここでは、平衡機能計５５によって、重心の位置を計測するようにしたが、重心位置は、その他、例えば、床反力計等によって計測するようにすることも可能である。
【００７６】
平衡機能計５５が出力する重心データは、重心記憶部５６に供給される。重心記憶部５６は、平衡機能計５５が順次出力する重心データに、その重心データが出力されるタイミングでビデオカメラ５３が出力するタイムコードを付加して記憶する。これにより、重心記憶部５６では、現実世界における自動車の周囲の画像データのフレームと、そのフレームの画像データが撮影されたときの運転者の重心位置とが、タイムコードを介して対応付けられる形で、重心データが記憶される。
【００７７】
なお、ビデオカメラ５３で撮像される画像データのフレームの出力タイミング（フレーム周期）と、平衡機能計５５の重心データの出力タイミング（同期）とが一致している場合には、ある１時刻における重心データには、１フレームのタイムコードが付加されることになるが、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングが、平衡機能計５５の重心データの出力タイミングより速い場合は、ある１時刻における重心データに、複数フレームのタイムコードが付加され、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングが、平衡機能計５５の重心データの出力タイミングより遅い場合は、複数時刻における重心データそれぞれに、同一フレームのタイムコードが付加されることになる。
【００７８】
ここでは、説明を簡単にするために、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングと、平衡機能計５５の重心データの出力タイミングとが一致しているものとする。
【００７９】
上述のようにして、画像記憶部５４に記憶された画像データが、図４の画像データベース３５に記憶されており、また、重心記憶部５６に記憶された重心データが、現実重心データとして、図４の現実重心データベース３１に記憶されている。
【００８０】
次に、図７を参照して、図４の対画像重心データベース３２に記憶させる対画像重心データと、学習用重心データベース３４に記憶させる学習用重心データの取得方法について説明する。
【００８１】
対画像重心データと学習用重心データの取得は、例えば、図７に示すような、データ取得装置を用いて行われる。
【００８２】
ここで、図７のデータ取得装置は、図２の画像表示装置を利用したものとなっている。即ち、図７のデータ取得装置は、図２の画像表示装置における画像／動揺デコード部２および画像動揺情報データベース２１を削除し、学習用画像データベース６１、学習用動揺データベース６２、平衡機能計６３、および学習用重心データベース６４を追加することによって構成されている。
【００８３】
まず、対画像重心データの取得方法について説明する。
【００８４】
対画像重心データは、図４で説明したように、現実世界で記録された画像を、ドーム１１を動揺させずに、スクリーン１５に表示した場合のユーザの重心移動を表す重心データである。このため、対画像重心データの取得は、スクリーン１５に、図４の画像データベース３５に記憶された画像データを表示し、ユーザ（被験者）が、その画像データを視聴することのみによって、どのような重心移動を行うかを計測することによって行われる。
【００８５】
即ち、図７の学習用画像データベース６１には、図５で説明したようにして撮影された画像データ（図４の画像データベース３５に記憶される画像データ）が記憶されており、表示制御部４は、その画像データを読み出し、プロジェクタ１２を制御することで、図２で説明した場合と動揺にして、ドーム１１内部のスクリーン１５に画像を表示させる。
【００８６】
そして、スクリーン１５に表示された画像を、椅子７に腰掛けたユーザ（被験者）に視聴させ、その重心データを計測する。即ち、図７のデータ取得装置においては、椅子７に、図５の平衡機能計５５と同様の平衡機能計６３が設けられている。平衡機能計６３は、椅子７に腰掛けて、スクリーン１５に表示された画像を視聴しているユーザについて、重心データを計測し、学習用重心データベース６４に供給して記憶させる。
【００８７】
従って、この場合、学習用重心データベース６４には、スクリーン１５に表示された画像をユーザが視聴することによってのみ生じたユーザの重心移動を表す重心データが記憶されるが、図４の対画像重心データベース３２には、このようにして学習用重心データベース６４に記憶された重心データが、対画像重心データとして記憶される。
【００８８】
次に、学習用重心データの取得方法について説明する。
【００８９】
学習用重心データは、図４で説明したように、ある学習用動揺データにしたがって、ドーム１１を動揺させたときのユーザの重心の移動パターンを表す重心データである。
【００９０】
そこで、図７のデータ取得装置において、学習用動揺データベース６２には、図４の学習用動揺データベース３３に記憶された学習用動揺データと同一のもの、即ち、ドーム１１を規則的または不規則に動揺させる学習用動揺データが記憶されている。
【００９１】
動揺制御部２３は、学習用動揺データベース６２に記憶された学習用動揺データを読み出し、その学習用動揺データにしたがって、モーションベース２５を制御することにより、ドーム１１を動揺させる。
【００９２】
一方、表示制御部４は、所定パターンの画像データをプロジェクタ１２に出力し、これにより、ドーム１１内部のスクリーン１５に、その画像データを表示させる。なお、この場合、スクリーン１５に表示される所定パターンの画像データとしては、例えば、静止画などの、その視聴によってユーザの重心位置が変動しないものが用いられる。
【００９３】
この場合、椅子７に腰掛けたユーザ（被験者）は、学習用動揺データにしたがって動揺するドーム１１内部のスクリーン１５に表示された画像を視聴することとなるが、そのときのユーザの重心データが、平衡機能計６３によって計測される。そして、平衡機能計６３によって計測された重心データは、学習用重心データベース６４に供給されて記憶される。
【００９４】
従って、この場合、学習用重心データベース６４には、学習用動揺データにしたがって動揺するドーム１１内部のスクリーン１５に表示された画像をユーザが視聴することによって生じたユーザの重心移動を表す重心データが記憶されるが、図４の学習用重心データベース３４には、このようにして学習用重心データベース６４に記憶された重心データが、学習用重心データとして記憶される。
【００９５】
なお、現実重心データ、対画像重心データ、または学習用重心データは、１人のユーザ（被験者）について求める他、多数のユーザ（被験者）について求め、その平均値などを、図４の現実重心データベース３１、対画像重心データベース３２、または学習用重心データベース３４に、それぞれ記憶させるようにすることが可能である。
【００９６】
次に、図８のフローチャートを参照して、図４のデータ処理装置が行う、画像動揺情報を生成する処理について説明する。
【００９７】
まず最初に、ステップＳ１１において、重心対動揺応答生成部３６は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データを用いて、ドーム１１の動揺と、ユーザの重心移動との関係を表す重心対動揺応答情報を求め（生成し）、動揺データ演算部３８に供給する。
【００９８】
そして、ステップＳ１２に進み、動揺算出用重心データ演算部３７は、現実重心データベース３１から時系列の現実重心データを読み出すとともに、対画像重心データベース３２から時系列の対画像重心データを読み出し、ステップＳ１３に進む。ステップＳ１３では、動揺算出用重心データ演算部３７は、現実重心データと対画像重心データを用いて、現実重心データから、ユーザがドーム１１のスクリーン１５に表示された画像を視聴することによってのみ生じる重心移動の影響を除去した重心データである動揺算出用重心データを求める。
【００９９】
即ち、ステップＳ１３では、動揺算出用重心データ演算部３７は、例えば、時系列の現実重心データの各時刻のサンプル値から、時系列の対画像重心データの対応する時刻のサンプル値を減算することにより、時系列の動揺算出用重心データを求める。そして、動揺算出用重心データ演算部３７は、その動揺算出用重心データを、動揺データ演算部３８に供給して、ステップＳ１４に進む。
【０１００】
ステップＳ１４では、動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データを用い、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、時系列の動揺データを求め、エンコーダ３９に供給して、ステップＳ１５に進む。
【０１０１】
ステップＳ１５では、エンコーダ３９が、画像データベース３５から、現実重心データとともに記録された画像データを読み出し、その画像データの各フレームと、動揺データ演算部３９から供給される時系列の動揺データの、各フレームに対応する時刻のサンプル値とを対応付けることにより、画像動揺情報を作成し、その画像動揺情報を出力して、処理を終了する。
【０１０２】
なお、図４のデータ処理装置は（後述する図１９および図２０のデータ処理装置についても同様）、対画像重心データベース３２および動揺算出用重心データ演算部３７を設けずに構成することも可能である。この場合、現実重心データベース３１に記憶された現実重心データが、動揺算出用重心データとして、そのまま動揺データ演算部３８に供給され、動揺データ演算部３８では、その現実重心データを用いて、動揺データが求められる。
【０１０３】
次に、図９は、図４の重心対動揺応答生成部３６の第１の構成例を示している。
【０１０４】
図９の実施の形態では、重心対動揺応答生成部３６は、動揺対重心応答関数推定部７１と、重心対動揺応答関数演算部７２から構成されている。
【０１０５】
動揺対重心応答関数推定部７１は、学習用動揺データベース３３から供給される時系列の学習用動揺データと、学習用重心データベース３４から供給される時系列の学習用重心データに対して、所定の変換を施し、学習用動揺データと学習用重心データとを対応付ける関数を求める。
【０１０６】
即ち、動揺対重心応答関数推定部７１は、例えば、図１０Ａに示すように、時系列の学習用動揺データｆ（ｔ）を周波数分析することにより、各周波数ごとのゲインを表す周波数軸上のデータであるパワースペクトルＦ（ω）に変換するとともに、図１０Ｂに示すように、時系列の学習用重心データｇ（ｔ）を周波数分析することにより、パワースペクトルＧ（ω）に変換する。ここで、時間軸上のデータである学習用動揺データや学習用重心データを、周波数軸上のデータに変換する方法としては、例えば、ＦＦＴ(Fast Fourier Transform)などがある。
【０１０７】
なお、ｔは時刻を表し、ωは角周波数を表す。また、ここでは、パワースペクトルＦ（ω）およびＧ（ω）は、例えば、なんらかの関数によって近似することができるものとする。
【０１０８】
さらに、動揺対重心応答関数推定部７１は、例えば、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムを想定し、その線形システムの伝達関数Ｈ（ω）を求める。
【０１０９】
即ち、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする、伝達関数がＨ（ω）の線形システムを想定した場合、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）は、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）を用いて、次式により求めることができる。
【０１１０】
【数１】
【０１１１】
式（１）から、線形システムの伝達関数Ｈ（ω）は、次式により求めることができる。
【０１１２】
【数２】
【０１１３】
動揺対重心応答関数推定部７１は、式（２）によって伝達関数Ｈ（ω）を求めると、その伝達関数Ｈ（ω）を、重心対動揺応答関数演算部７２に供給する。
【０１１４】
なお、動揺対重心応答関数推定部７１では、ＦＦＴの他、例えば、ラプラス変換などを行うようにすることが可能である。また、動揺対重心応答関数推定部７１では、ＦＦＴなどの直交変換の他、学習用動揺データｆ（ｔ）や学習用重心データｇ（ｔ）から、特徴量を抽出し、その特徴量どうしを対応付ける関数を求めるようにすることも可能である。
【０１１５】
重心対動揺応答関数演算部７２は、動揺対重心応答関数推定部７１から供給される伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求める。即ち、式（１）から、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）は、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）を用いて、次式により求めることができる。
【０１１６】
【数３】
【０１１７】
従って、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を用いて、式（３）を演算することにより、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）を、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）に変換することができることになる。このことは、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）によって、ある重心データを、その重心データが表す重心移動をユーザに生じさせるドーム１１の動揺を表す動揺データに変換することができることを意味する。
【０１１８】
重心対動揺応答関数演算部７２は、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求めると、さらに、その逆関数Ｈ-1（ω）のインパルス応答ｈ（ｔ）を求め、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０１１９】
次に、図１１のフローチャートを参照して、図９の重心対動揺応答生成部３６の処理について説明する。
【０１２０】
まず最初に、ステップＳ２１において、動揺対重心応答関数推定部７１は、学習用動揺データベース３３から供給される時系列の学習用動揺データと、学習用重心データベース３４から供給される時系列の学習用重心データを、例えば、ＦＦＴすることにより、周波数軸上のデータであるパワースペクトルＦ（ω）とＧ（ω）に、それぞれ変換し、ステップＳ２２に進む。ステップＳ２２では、動揺対重心応答関数推定部７１は、パワースペクトルＦ（ω）とＧ（ω）を用いて、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムの伝達関数Ｈ（ω）を、式（２）により求め、重心対動揺応答関数演算部７２に供給して、ステップＳ２３に進む。
【０１２１】
ステップＳ２３では、重心対動揺応答関数演算部７２は、動揺対重心応答関数推定部７１から供給される伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求め、ステップＳ２４に進む。ステップＳ２４では、重心対動揺応答関数演算部７２は、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）のインパルス応答ｈ（ｔ）を求め、重心対動揺応答情報として、動揺データ演算部３８に供給し、処理を終了する。
【０１２２】
ここで、周波数軸上での乗算は、時間軸上での畳み込み積分に該当する。従って、以上のようなインパルス応答ｈ（ｔ）が、重心対動揺応答情報として、動揺データ演算部３８に供給される場合、動揺データ演算部３８では、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データと、重心対動揺応答関数演算部７２から供給されるインパルス応答ｈ（ｔ）との畳み込み積分が計算され、その畳み込み積分の結果が、動揺データとして出力される。
【０１２３】
なお、上述の場合は、式（２）の伝達関数Ｈ（ω）を求め、さらに、その逆関数Ｈ-1（ω）を求めるようにしたが、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）は、式（２）から、Ｆ（ω）／Ｇ（ω）を計算することにより、伝達関数Ｈ（ω）を計算することなく求めることが可能である。
【０１２４】
次に、図１２は、図４の重心対動揺応答生成部３６の第２の構成例を示している。
【０１２５】
図１２の実施の形態では、重心対動揺応答生成部３６は、ＬＵＴ(Look Up Table)生成部８１と、類似パターン統合部８２とから構成されている。
【０１２６】
ＬＵＴ生成部８１は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データとを対応付けるＬＵＴを生成して、類似パターン統合部８２に供給する。
【０１２７】
即ち、例えば、ＬＵＴ生成部８１は、時系列の学習用動揺データの各時刻のサンプル値を中心として連続する所定数のサンプル値の系列を１フレーム（画像データのフレームとは異なる）として、時系列の学習用動揺データから、各時刻について、１フレームの学習用動揺データを切り出す。さらに、ＬＵＴ生成部８１は、時間軸上において、各フレームの学習用動揺データに対応する学習用重心データの連続するサンプル値の例を、やはり、１フレームの学習用重心データとして、時系列の学習用重心データから切り出す。そして、ＬＵＴ生成部８１は、各フレームの学習用重心データをインデックス（見出し）とし、対応するフレームの学習用動揺データを登録したＬＵＴを生成する。
【０１２８】
ここで、ＬＵＴ生成部８１が生成するＬＵＴは、学習用重心データと学習用動揺データとをフレーム単位で対応付ける多数の欄で構成されることとなるが、この各欄を、以下、適宜、エントリという。
【０１２９】
類似パターン統合部８２は、ＬＵＴ生成部８１から供給されるＬＵＴのエントリのうち、類似する学習用重心データおよび学習用動揺データが登録されているエントリどうしを、１つのエントリに統合する。
【０１３０】
即ち、類似パターン統合部８２は、例えば、ＬＵＴのエントリを、順次、注目エントリとし、その注目エントリの学習用重心データまたは学習用動揺データとそれぞれ類似するパターンの学習用重心データまたは学習用動揺データが登録されているエントリを検出する。
【０１３１】
ここで、注目エントリの学習用重心データと、他のエントリの学習用重心データのパターンが類似するかどうかは、例えば、注目エントリの学習用重心データの各サンプル値と、他のエントリの学習用重心データの対応するサンプル値との差分絶対値和（以下、適宜、フレーム間距離という）を計算し、その差分絶対値和が所定の閾値より小さいかどうかによって判断することができる。即ち、フレーム間距離が所定の閾値より小さい場合には、注目エントリの学習用重心データと、他のエントリの学習用重心データのパターンが類似すると判断される。注目エントリの学習用動揺データと、他のエントリの学習用動揺データのパターンが類似するかどうかの判断も、同様にして行うことが可能である。
【０１３２】
類似パターン統合部８２は、注目エントリの学習用重心データのパターンと類似する学習用重心データが登録され、かつ、注目エントリの学習用動揺データのパターンと類似する学習用動揺データが登録されている他のエントリすべてを検出すると、注目エントリと、その検出されたエントリ（以下、適宜、検出エントリという）すべてとを、１つのエントリに統合する。
【０１３３】
具体的には、類似パターン統合部８２は、単に、検出エントリすべてをＬＵＴから削除し、注目エントリと検出エントリのすべてを、注目エントリに統合する。また、類似パターン統合部８２は、例えば、注目エントリの学習用重心データの各サンプル値と、検出エントリすべての学習用重心データの対応するサンプル値の平均値を計算するとともに、注目エントリの学習用動揺データの各サンプル値と、検出エントリすべての学習用動揺データの対応するサンプル値の平均値を計算し、その学習用重心データの平均値と、学習用動揺データの平均値を、注目エントリに上書きする。さらに、類似パターン統合部８２は、検出エントリすべてを、ＬＵＴから削除し、これにより、注目エントリと検出エントリのすべてを、注目エントリに統合する。
【０１３４】
類似パターン統合部８２は、上述したようにして、ＬＵＴのエントリを統合していき、例えば、学習用動揺データおよび学習用重心データが類似するエントリがなくなると、その時点で得られているＬＵＴを、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０１３５】
次に、図１３のフローチャートを参照して、図１２の重心対動揺応答生成部３６の処理について説明する。
【０１３６】
まず最初に、ステップＳ３１において、ＬＵＴ生成部８１は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データとを対応付けるＬＵＴを生成して、類似パターン統合部８２に供給する。
【０１３７】
そして、ステップＳ３２に進み、類似パターン統合部８２は、ＬＵＴの任意のエントリを注目エントリとし、その注目エントリと、学習用動揺データおよび学習用重心データが類似する他のエントリがあるかどうかを判定し、あると判定した場合、ステップＳ３３に進む。
【０１３８】
ステップＳ３３では、類似パターン統合部８２は、ステップＳ３２で注目エントリと類似すると判定された他のエントリのすべてを検出し、ステップＳ３４に進み、注目エントリと、検出されたエントリのすべてを統合する。そして、ステップＳ３２に戻り、以下、動揺の処理が繰り返される。
【０１３９】
一方、ステップＳ３２において、ＬＵＴの任意のエントリである注目エントリと、学習用動揺データおよび学習用重心データが類似する他のエントリがないと判定された場合、即ち、ＬＵＴにおいて、学習用動揺データおよび学習用重心データが類似しているエントリどうしが存在しない場合、類似パターン統合部８２は、その時点で得られているＬＵＴを、重心対動揺応答情報として、動揺データ演算部３８に供給し、処理を終了する。
【０１４０】
以上のようなＬＵＴが、重心対動揺応答情報として、動揺データ演算部３８に供給される場合、動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データから、ＬＵＴに登録されている学習用重心データのフレームと同一のサンプル数の動揺算出用重心データを、１フレームの動揺算出用重心データとして順次切り出す。そして、動揺データ演算部３８では、ＬＵＴにおいて、各フレームの動揺算出用重心データとのフレーム間距離が最も短い重心データが登録されているエントリが検出され、そのエントリに登録されている動揺データが出力される。
【０１４１】
なお、上述の場合は、類似パターン統合部８２において、ＬＵＴ生成部８１が生成したＬＵＴのエントリを統合するようにしたが、ＬＵＴ生成部８１が生成したＬＵＴは、統合せずに、そのまま、重心対動揺応答情報として、動揺データ演算部３８に供給することが可能である。即ち、図１２において、重心対動揺応答生成部３６は、類似パターン統合部８２を設けずに、ＬＵＴ生成部８１だけで構成することが可能である。
【０１４２】
次に、図４の動揺データ演算部３８では、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、動揺算出用重心データ演算部３８から供給される動揺算出用重心データから、動揺データが求められる。このことは、動揺算出用重心データが、重心対動揺応答情報に基づいて、動揺データに変換されるということができるが、このようなデータの変換には、本件出願人が先に提案しているクラス分類適応処理を利用することができる。
【０１４３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０１４４】
ここで、適応処理について、重心データを、動揺データに変換する場合を例に説明する。
【０１４５】
適応処理では、例えば、重心データのサンプル値と、所定のタップ係数との線形結合により、重心データが、動揺データに変換される。
【０１４６】
具体的には、例えば、いま、動揺データを教師データとするとともに、その動揺データによってドーム１１を動揺させたときに生じるユーザの重心移動を表す重心データを生徒データとして、動揺データのサンプル値ｙの予測値Ｅ［ｙ］を、重心データの幾つかのサンプル値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１４７】
【数４】
【０１４８】
式（４）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、次式のように定義する。
【０１４９】
【数５】
【０１５０】
この場合、次のような観測方程式が成立する。
【０１５１】
【数６】
【０１５２】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（４）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（４）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１５３】
式（６）の観測方程式に最小自乗法を適用して、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データとなる動揺データの真のサンプル値ｙの集合でなる行列Ｙ、および動揺データのサンプル値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０１５４】
【数７】
【０１５５】
この場合、式（６）から、次のような残差方程式が成立する。
【０１５６】
【数８】
【０１５７】
最小自乗法では、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０１５８】
【数９】
【０１５９】
動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、式（９）の、統計的誤差としての自乗誤差を最小にすることで求めることができる。
【０１６０】
従って、式（９）の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１６１】
【数１０】
【０１６２】
そこで、まず、式（８）を、タップ係数ｗjで微分することにより、次式が成立する。
【０１６３】
【数１１】
【０１６４】
式（１０）および（１１）より、式（１２）が得られる。
【０１６５】
【数１２】
【０１６６】
さらに、式（８）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差（誤差）ｅiの関係を考慮すると、式（１２）から、次のような正規方程式を得ることができる。
【０１６７】
【数１３】
【０１６８】
なお、いま、ベクトルＷを、式（５）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０１６９】
【数１４】
【０１７０】
この場合、式（１３）に示した正規方程式は、次式で表される。
【０１７１】
【数１５】
【０１７２】
式（１５）と等価な式（１３）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（１５）を、ベクトルＷについて解くことで（但し、式（１５）を解くには、式（１５）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（１５）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１７３】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（４）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１７４】
なお、上述の場合には、教師データｙの予測式として、式（４）の線形一次式を用いるようにしたが、教師データｙの予測式としては、その他、２次以上の高次の式を採用することが可能である。
【０１７５】
次に、図１４は、上述のようなクラス分類適応処理を利用して、動揺算出用重心データを動揺データに変換する、図４の動揺データ演算部３８の構成例を示している。
【０１７６】
バッファ９１には、動揺算出用重心データ３７から、時系列の動揺算出用重心データが供給され、バッファ９１は、そこに供給される動揺算出用重心データを一時記憶する。
【０１７７】
予測タップ抽出部９２は、後述する積和演算部９６において求めようとする、動揺データの各サンプルを、順次、注目サンプルとし、さらに、その注目サンプルを予測するのに用いる動揺算出用重心データのサンプルを、バッファ９１から抽出し、予測タップとする。
【０１７８】
即ち、予測タップ抽出部９２は、例えば、注目サンプルの時刻（サンプル点）に対して近い時刻の動揺算出用重心データの幾つかのサンプル（のサンプル値）を、予測タップとして、バッファ９１から読み出す。
【０１７９】
そして、予測タップ抽出部９２は、注目サンプルについて、予測タップを得ると、その注目サンプルについての予測タップを、積和演算部９６に供給する。
【０１８０】
クラスタップ抽出部９３は、注目サンプルを、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる動揺算出用重心データのサンプルを、バッファ９１から抽出し、クラスタップとする。
【０１８１】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部９２で得られる予測タップと、クラスタップ抽出部９３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０１８２】
クラスタップ抽出部９３において得られる、注目サンプルについてのクラスタップは、クラス分類部９４に供給される。クラス分類部９４は、クラスタップ抽出部９３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０１８３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１８４】
ADRCを用いる方法では、クラスタップを構成するサンプル値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目サンプルのクラスが決定される。
【０１８５】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するサンプルがKビットに再量子化される。即ち、クラスタップを構成する各サンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各サンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプル値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各サンプル値が１ビットとされる（２値化される）。そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１８６】
なお、クラス分類部９４には、例えば、クラスタップを構成するサンプル値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のサンプルで構成され、各サンプルに、Ｋビットが割り当てられているとすると、クラス分類部９４が出力するクラスコードの場合の数は、（２N）K通りとなり、サンプルのビット数Ｋに指数的に比例した膨大な数となる。
【０１８７】
従って、クラス分類部９４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０１８８】
クラス分類部９４が出力するクラスコードは、係数記憶部９５に、アドレスとして与えられる。
【０１８９】
係数記憶部９５は、後述する図１７の重心対動揺応答生成部３６から供給される重心対動揺応答情報としてのタップ係数を記憶し、クラス分類部９４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部９６に出力する。
【０１９０】
積和演算部９６は、予測タップ抽出部９２が出力する予測タップと、係数記憶部９５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（４）に示した線形予測演算（積和演算）を行い、その演算結果を、注目サンプルとなっている動揺データのサンプル値として出力する。
【０１９１】
なお、重心データは、ここでは、所定の２次元座標系における、重心の位置の座標であるから、重心データの１サンプルは、例えば、図１５Ａに示すように、その２次元座標系のＸ座標とＹ座標からなる。
【０１９２】
また、動揺データは、ドーム１１を動揺させるためのデータであり、本実施の形態では、ドーム１１は、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させることが可能であるから、動揺データの１サンプルは、例えば、図１５Ｂに示すように、その６軸の各方向への動揺を表す６つの動揺成分からなる。
【０１９３】
図１４の動揺データ演算部３８では、動揺データの各サンプルを構成する６つの動揺成分が、それぞれについて、独立に予測タップとクラスタップが構成されて求められる。従って、係数記憶部９５には、６つの動揺成分それぞれについてのタップ係数が記憶されており、後述する図１７の重心対動揺応答生成部３６では、６つの動揺成分それぞれについて、独立に、重心対動揺応答情報としてのタップ係数が求められる。
【０１９４】
さらに、予測タップやクラスタップとしては、重心データのＸ座標またはＹ座標のうちのいずれか一方だけを採用することも可能であるし、Ｘ座標とＹ座標の両方を採用することも可能である。また、予測タップやクラスタップとして、重心データのＸ座標とＹ座標の両方を採用する場合には、予測タップやクラスタップとして採用するＸ座標とＹ座標は、同一時刻のものであっても良いし、異なる時刻のものであっても良い。
【０１９５】
ここで、以下においては、説明を簡単にするため、重心データおよび動揺データの各成分については、特に必要がない限り、言及しない。
【０１９６】
次に、図１６のフローチャートを参照して、図１４の動揺データ演算部３８が行う、動揺算出用重心データを動揺データに変換する処理としてのクラス分類適応処理について説明する。
【０１９７】
バッファ９１には、動揺算出用重心データ演算部３７（図４）が出力する時系列の動揺算出用重心データが記憶される。
【０１９８】
そして、動揺データ演算部３８では、ステップＳ４１において、予測タップ抽出部９２が、時系列の動揺データのサンプルのうち、まだ求められていない、時間的に最も先行するサンプルを、注目サンプルとして選択し、ステップＳ４２に進む。
【０１９９】
ステップＳ４２では、予測タップ抽出部９２が、注目サンプルについての予測タップとする動揺算出用重心データのサンプルを、バッファ９１から抽出し、積和演算部９６に供給する。さらに、ステップＳ４２では、クラスタップ抽出部９３が、注目サンプルについてのクラスタップとする動揺算出用重心データのサンプルを、バッファ９１から抽出し、クラス分類部９４に供給する。
【０２００】
そして、ステップＳ４３に進み、クラス分類部９４は、クラスタップ抽出部９３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数記憶部９５に出力して、ステップＳ４４に進む。
【０２０１】
ステップＳ４４では、係数記憶部９５は、クラス分類部９４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部９６に出力し、これにより、積和演算部９６は、注目サンプルを求めるのに用いるタップ係数を取得する。
【０２０２】
その後、ステップＳ４５に進み、積和演算部９６は、予測タップ抽出部９２が出力する予測タップと、係数記憶部９５から取得したタップ係数とを用いて、式（４）に示した線形予測演算（積和演算）を行い、その演算結果を、注目サンプルとなっている動揺データのサンプル値として、エンコーダ３９（図４）に出力して、ステップＳ４６に進む。
【０２０３】
ステップＳ４６では、予測タップ抽出部９２は、時系列の動揺データのすべてのサンプルが求められたかどうかを判定する。ステップＳ４６において、時系列の動揺データのすべてのサンプルが、まだ求められていないと判定された場合、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０２０４】
また、ステップＳ４６において、時系列の動揺データのすべてのサンプルが求められたと判定された場合、処理を終了する。
【０２０５】
次に、図１７は、図４の動揺データ演算部３８が図１４に示したように構成される場合の、図４の重心対動揺応答生成部３６の構成例を示している。
【０２０６】
図１７の重心対動揺応答生成部３６は、図１４の動揺データ演算部３８で用いられるタップ係数を学習する学習装置として構成されている。
【０２０７】
即ち、教師データメモリ１０１には、学習用動揺データベース３３（図４）に記憶された時系列の学習用動揺データが、教師データとして供給され、教師データメモリ１０１は、その教師データとしての学習用動揺データを記憶する。
【０２０８】
生徒データメモリ１０２には、学習用重心データベース３４から、学習用重心データが、生徒データとして供給され、生徒データメモリ１０２は、その生徒データとしての学習用重心データを記憶する。
【０２０９】
予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データを、時系列順に、順次、注目サンプルとし、さらに、その注目サンプルを予測するのに用いる生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、これにより、図１４の予測タップ抽出部９２が構成する予測タップと同一のタップ構造の予測タップを構成する。そして、予測タップ抽出部１０３は、注目サンプルについて得られた予測タップを、正規方程式加算部１０６に供給する。
【０２１０】
クラスタップ抽出部１０４は、注目サンプルのクラス分類に用いる生徒データを、生徒データメモリ１０２から抽出し、これにより、図１４のクラスタップ抽出部９３における場合と同一構造のクラスタップを構成して、クラス分類部１０５に供給する。
【０２１１】
クラス分類部１０５は、クラスタップ抽出部１０４から供給される、注目サンプルについてのクラスタップを用い、図１４のクラス分類部９４と同一のクラス分類を行い、注目サンプルのクラスを表すクラスコードを、正規方程式加算部１０６に供給する。
【０２１２】
正規方程式加算部１０６は、教師データメモリ１０１から、注目サンプルとなっている教師データを読み出し、予測タップ抽出部１０３からの予測タップを構成する生徒データ、および注目サンプルとしての教師データを対象とした足し込みを、クラス分類部１０５から供給されるクラスごとに行う。
【０２１３】
即ち、正規方程式加算部１０６は、クラス分類部１０５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（１４）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２１４】
さらに、正規方程式加算部１０６は、やはり、クラス分類部１０５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目サンプル（教師データ）を用い、式（１４）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２１５】
正規方程式加算部１０６は、以上の足し込みを、教師データメモリ１０１に記憶された教師データすべてを注目サンプルとして行い、これにより、各クラスについて、式（１５）に示した正規方程式をたて、タップ係数決定部１０７に供給する。
【０２１６】
タップ係数決定部１０７は、正規方程式加算部１０６においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０２１７】
次に、図１８のフローチャートを参照して、図４の重心対動揺応答生成部３６が図１７に示したように構成される場合の処理について説明する。
【０２１８】
ステップＳ５１では、教師データメモリ１０１が、学習用動揺データベース３３（図４）から供給される時系列の学習用動揺データを、教師データとして記憶するとともに、生徒データメモリ１０２が、学習用重心データベース３４から供給される学習用重心データを、生徒データとして記憶し、ステップＳ５２に進む。
【０２１９】
ステップＳ５２では、予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データのサンプルのうち、まだ注目サンプルとしていない、時間的に最も先行するサンプルを、注目サンプルとして選択し、ステップＳ５３に進む。
【０２２０】
ステップＳ５３では、予測タップ抽出部１０３が、注目サンプルについての予測タップとする、生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、正規方程式加算部１０６に供給するとともに、クラスタップ抽出部１０４が、注目サンプルについてのクラスタップとする、生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、クラス分類部１０５に供給する。
【０２２１】
そして、ステップＳ５４に進み、クラス分類部１０５は、クラスタップ抽出部１０４から供給される、注目サンプルについてのクラスタップを用いてクラス分類を行い、その結果得られる、注目サンプルのクラスを表すクラスコードを、正規方程式加算部１０６に供給して、ステップＳ５５に進む。
【０２２２】
ステップＳ５５では、正規方程式加算部１０６が、教師データメモリ１０１から、注目サンプルとなっている教師データを読み出し、予測タップ抽出部１０３からの予測タップを構成する生徒データ、および注目サンプルとしての教師データを対象とした、上述したような足し込みを、クラス分類部１０５から供給されるクラスについて行う。
【０２２３】
そして、ステップＳ５６に進み、予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データのすべてのサンプルを、注目サンプルとしたかどうかを判定する。ステップＳ５６において、教師データメモリ１０１に記憶された学習用動揺データのすべてのサンプルを、まだ、注目サンプルとしていないと判定された場合、ステップＳ５２に戻り、以下、同様の処理を繰り返す。
【０２２４】
また、ステップＳ５６において、教師データメモリ１０１に記憶された学習用動揺データのすべてのサンプルを、注目サンプルとしたと判定された場合、ステップＳ５７に進み、正規方程式加算部１０６は、上述の足し込みを行うことにより得られる、各クラスについての、式（１５）に示した正規方程式を、タップ係数決定部１０７に供給する。さらに、ステップＳ５７では、タップ係数決定部１０７が、正規方程式加算部１０６からのクラスごとの正規方程式を解くことにより、クラスごとのタップ係数を求め、ステップＳ５８に進む。
【０２２５】
ステップＳ５８では、タップ係数決定部５８が、ステップＳ５７で求められたクラスごとのタップ係数を、動揺データ演算部３８（図４）に供給し、その係数記憶部９５（図１４）に記憶させ、処理を終了する。
【０２２６】
なお、図１４乃至図１８の実施の形態では、注目サンプルについてクラスタップを構成し、そのクラスタップをクラス分類することにより得られるクラスごとに、処理を行うようにしたが、クラス分類は行わないようにすることが可能である。ここで、クラス分類を行わないということは、クラス分類を行う場合において、クラスが１つのみであるということと等価である。
【０２２７】
また、図９乃至図１３の実施の形態では、図１４乃至図１８の実施の形態における場合のように、クラスごとに処理を行うようにはしなかったが、図９乃至図１３の実施の形態においても、クラスごとに処理を行うようにすることが可能である。
【０２２８】
即ち、図１９は、図９の構成による処理を、クラスごとに行うこととした場合のデータ処理装置の構成例を示している。
【０２２９】
図１９のデータ処理装置は、動揺データ演算部３８が、図１４のクラスタップ抽出部９３およびクラス分類部９４を新たに設けて構成されているとともに、重心対動揺応答生成部３６が、図１７のクラスタップ抽出部１０４およびクラス分類部１０５を新たに設けて構成されている他は、図９における場合と同様に構成されている。
【０２３０】
図１９のデータ処理装置では、重心対動揺応答生成部３６において、クラスタップ抽出部１０４が、学習用重心データを用いてクラスタップを構成し、クラス分類部１０５が、そのクラスタップを用いてクラス分類を行う。そして、動揺対重心応答関数推定部７１が、クラス分類部１０５のクラス分類により得られるクラスごとに、式（２）の伝達関数Ｈ（ω）を求め、重心対動揺応答関数演算部７２が、クラスごとの伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求めて、動揺データ演算部３８に供給する。
【０２３１】
動揺データ演算部３８では、クラスタップ抽出部９３が、動揺算出用重心データを用いてクラスタップを構成し、クラス分類部９４が、そのクラスタップを用いてクラス分類を行う。そして、動揺データ演算部３８は、クラス分類部９４のクラス分類により得られるクラスの逆関数Ｈ-1（ω）に基づき、動揺算出用重心データを用いて、動揺データを演算する。
【０２３２】
次に、図２０は、図１２の構成による処理を、クラスごとに行うこととした場合のデータ処理装置の構成例を示している。
【０２３３】
図２０のデータ処理装置も、図１９における場合と同様に、動揺データ演算部３８が、図１４のクラスタップ抽出部９３およびクラス分類部９４を新たに設けて構成されているとともに、重心対動揺応答生成部３６が、図１７のクラスタップ抽出部１０４およびクラス分類部１０５を新たに設けて構成されている他は、図１２における場合と同様に構成されている。
【０２３４】
図２０のデータ処理装置では、重心対動揺応答生成部３６において、クラスタップ抽出部１０４が、学習用重心データを用いてクラスタップを構成し、クラス分類部１０５が、そのクラスタップを用いてクラス分類を行う。そして、ＬＵＴ生成部８１が、クラス分類部１０５のクラス分類により得られるクラスごとに、ＬＵＴを求め、類似パターン統合部８２が、クラスごとのＬＵＴそれぞれを、独立に統合し、動揺データ演算部３８に供給する。
【０２３５】
動揺データ演算部３８では、クラスタップ抽出部９３が、動揺算出用重心データを用いてクラスタップを構成し、クラス分類部９４が、そのクラスタップを用いてクラス分類を行う。そして、動揺データ演算部３８は、クラス分類部９４のクラス分類により得られるクラスのＬＵＴに基づき、動揺算出用重心データを、動揺データに変換する。
【０２３６】
ところで、図２の画像表示装置において、図４のデータ処理装置で得られた画像動揺情報を用いて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合に、ユーザの重心移動を表す重心データが、現実重心データと完全に一致すれば、理論的には、ユーザは、現実世界で享受することのできる動揺感覚と同一の動揺感覚を享受することになる。
【０２３７】
しかしながら、図２の画像表示装置において、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合に、ユーザの重心移動を表す重心データが、現実重心データと完全に一致するとは限らない。
【０２３８】
即ち、図４のデータ処理装置では、図２の画像表示装置でスクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合のユーザの重心データを、現実重心データに近いものとする動揺データが生成されるが、現実重心データに完全に一致する動揺データが生成されるとは限らない。
【０２３９】
従って、図４のデータ処理装置で生成された動揺データによれば、図２の画像表示装置によって、現実世界で享受することのできる動揺感覚に近い動揺感覚を、ユーザに享受させることができるが、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることができるのが望ましい。
【０２４０】
そこで、図２１は、現実世界の動揺感覚に、より近い動揺感覚をユーザに享受させるようにした画像表示装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の画像表示装置は、平衡機能計１１１、更新用重心データベース１１２、現実重心データベース１１３、および動揺データ更新部１１４が新たに設けられている他は、図２における場合と基本的に同様に構成されている。
【０２４１】
平衡機能計１１１は、図５の平衡機能計５５と同様のもので、椅子７に設置されており、その椅子７に腰掛けたユーザの重心移動を表す重心データを計測して、更新用重心データベース１１２に供給する。更新用重心データベース１１２は、平衡機能計１１１から供給される時系列の重心データを記憶する。
【０２４２】
ここで、更新用重心データベース１１２に記憶された重心データは、後述するように、画像動揺情報データベース２１に記憶された画像情報動揺情報における動揺データの更新に用いられるので、以下、適宜、更新用重心データという。
【０２４３】
現実重心データベース１１３は、図４の現実重心データベース３１に記憶されたのと同一の時系列の現実重心データを記憶している。
【０２４４】
動揺データ更新部１１４は、更新用重心データベース１１２に記憶された更新用重心データと、現実重心データベース１１３に記憶された現実重心データとを比較し、その比較結果に基づいて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを評価し、さらに、その評価結果に基づいて、動揺データを更新する。
【０２４５】
次に、図２２のフローチャートを参照して、図２１の画像表示装置の処理について説明する。
【０２４６】
ステップＳ６１乃至Ｓ６３では、図３のステップＳ１乃至Ｓ３における場合とそれぞれ同様の処理が行われ、これにより、スクリーン１５には、画像動揺様情報データベース２１に記憶された画像動揺情報における画像データが表示されるとともに、ドーム１１が、画像動揺情報における動揺データにしたがって動揺する。
【０２４７】
そして、ステップＳ６４に進み、平衡機能計１１１は、ステップＳ６１乃至Ｓ６３において、画像動揺情報データベース２１に記憶された画像動揺情報を用いて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合の、ユーザの重心移動を表す重心データを計測する。さらに、ステップＳ６４では、平衡機能計１１１で計測された重心データが、更新用重心データとして、更新用重心データベース１１２に供給されて記憶され、ステップＳ６５に進む。
【０２４８】
ステップＳ６５では、図１のステップＳ４における場合と動揺に、画像／動揺デコード部２が、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されているかどうかを判定する。ステップＳ６５おいて、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていると判定された場合、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
【０２４９】
また、ステップＳ６５において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報のすべてについて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させたときの、ユーザの重心移動を表す重心データとしての更新用重心データが、更新用重心データベース１１２に記憶された場合、ステップＳ６６に進み、動揺データ更新部１１４は、更新用重心データベース１１２に記憶された更新用重心データと、現実重心データベース１１３に記憶された現実重心データとを比較し、その比較結果に基づいて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを評価する。
【０２５０】
そして、ステップＳ６７に進み、動揺データ更新部１１４は、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの評価結果が、所定の評価基準を満たすかどうかを判定する。
【０２５１】
ステップＳ６７において、動揺データの評価結果が、所定の評価基準を満たさないと判定された場合、即ち、例えば、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データが、現実重心データベース１１３に記憶された時系列の現実重心データにほぼ一致しているとは言えず、現実世界で享受することのできる動揺感覚に、非常に近い動揺感覚を、ユーザが享受しているとは言えない場合、ステップＳ６８に進み、動揺データ更新部１１４は、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを更新し、さらに更新用重心データベース１１２の記憶内容をクリアする。
【０２５２】
そして、ステップＳ６１に戻り、画像動揺情報データベース２１に記憶された、最初のフレームについての画像動揺情報から、同様の処理が繰り返される。
【０２５３】
また、ステップＳ６７において、動揺データの評価結果が、所定の評価基準を満たすと判定された場合、即ち、例えば、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データが、現実重心データベース１１３に記憶された時系列の現実重心データにほぼ一致しており、現実世界で享受することのできる動揺感覚に、非常に近い動揺感覚を、ユーザが享受していると言える場合、処理を終了する。
【０２５４】
次に、図２３は、図２１の動揺データ更新部１１４の構成例を示している。
【０２５５】
ベクトル化部１２１は、更新用重心データベース１１２から時系列の更新用重心データを読み出すとともに、現実重心データベース１１３から現実重心データを読み出し、その更新用重心データのサンプルそれぞれと、現実重心データのサンプルそれぞれをベクトル化する。即ち、上述したように、重心データの各サンプルは、Ｘ座標とＹ座標を有するが、ベクトル化部１２１は、更新用重心データの各サンプル、および現実重心データの各サンプルを、Ｘ座標とＹ座標をコンポーネントとするベクトルとする。そして、ベクトル化部１２１は、更新用重心データの各サンプルのベクトル、および現実重心データの各サンプルのベクトルを、ノルム演算部１２２に供給する。
【０２５６】
なお、ここでは、ベクトル化部１２１において、重心データの１サンプルについて、１つのベクトルを構成するようにしたが、ベクトル化部１２１では、その他、例えば、重心データの複数サンプルについて、その複数サンプルのＸ座標およびＹ座標をコンポーネントとするベクトルを構成するようにすることも可能である。
【０２５７】
ノルム演算部１２２は、ベクトル化部１２１から供給される、更新用重心データの各サンプルのベクトルと、現実重心データの対応する時刻のサンプルのベクトルとのノルム（距離）を計算し、さらに、そのノルムの総和（全時刻についての総和）を求め、その総和値を、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの評価値として、評価部１２３に供給する。
【０２５８】
ここで、この場合、評価値が小さいほど、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が高いことを表す。
【０２５９】
評価部１２３は、ノルム演算部１２２から供給される動揺データの評価値を評価する。即ち、評価部１２３は、ノルム演算部１２２から供給される動揺データの評価値を、所定の閾値と比較することで、その評価を行う。そして、評価部１２３は、その評価結果に基づいて、更新部１２４に、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの更新を指示する。
【０２６０】
更新部１２４は、評価部１２３からの指示にしたがい、基準データ記憶部１２５に記憶された基準データを用いて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを更新する。
【０２６１】
基準データ記憶部１２５は、画像動揺情報データベース２１に最初に記憶された画像動揺情報、即ち、図４のデータ処理装置が生成した画像動揺情報における動揺データを、その更新のための基準となる基準データとして記憶している。
【０２６２】
以上のように構成される動揺データ更新部１１４では、図２２のステップＳ６６乃至Ｓ６８において、図２４のフローチャートに示す処理が行われる。
【０２６３】
即ち、図２４のフローチャートは、図２３の動揺データ更新部１１４が行う、図２２のステップＳ６６乃至Ｓ６８の処理の詳細を示している。
【０２６４】
なお、図２４において、ステップＳ７１およびＳ７２の処理が、図２２のステップＳ６６の処理に、ステップＳ７３，Ｓ７４、およびＳ７７の処理が、図２２のステップＳ６７の処理に、ステップＳ７５およびＳ７６の処理が、図２２のステップＳ６８の処理に、それぞれ対応している。
【０２６５】
図２２のステップＳ６５において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定されると、図２４のステップＳ７１に進み、ベクトル化部１２１は、更新用重心データベース１１２から更新用重心データを読み出すとともに、現実重心データベース１１３から現実重心データを読み出し、その更新用重心データのサンプルそれぞれと、現実重心データのサンプルそれぞれをベクトル化する。さらに、ステップＳ７１では、ベクトル化部１２１は、更新用重心データの各サンプルのベクトル、および現実重心データの各サンプルのベクトルを、ノルム演算部１２２に供給し、ステップＳ７２に進む。
【０２６６】
ステップＳ７２では、ノルム演算部１２２は、ベクトル化部１２１から供給される、更新用重心データの各サンプルのベクトルと、現実重心データの対応する時刻のサンプルのベクトルとのノルムを計算し、さらに、そのノルムの総和を求め、その総和値を、動揺データの評価値として、評価部１２３に供給して、ステップＳ７３に進む。
【０２６７】
ステップＳ７３では、評価部１２３が、更新部１２４に対して、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの更新を指示した回数（以下、適宜、更新回数という）が、所定の閾値であるε1回より大である（または以上である）かどうかを判定する。
【０２６８】
即ち、評価部１２３は、更新回数を、その内蔵するメモリ（図示せず）に記憶しており、更新部１２４に対して動揺データの更新を指示するごとに、その更新回数を１ずつインクリメントするようになっており、ステップＳ７３では、その更新回数がε1回より大であるかどうかが判定される。
【０２６９】
ステップＳ７３において、更新回数がε1回より大でないと判定された場合、ステップＳ７４に進み、評価部１２３は、動揺データの評価値（ここでは、ノルムの総和）が、所定の閾値ε2未満である（または以下である）かどうかを判定する。
【０２７０】
ステップＳ７４において、動揺データの評価値が、所定の閾値ε2未満でないと判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が非常に高いとはいえない場合、評価部１２３は、更新部１２４に対して、動揺データの更新を指示し、ステップＳ７５に進む。
【０２７１】
ステップＳ７５では、更新部１２４は、基準データ記憶部１２５に記憶された基準データに基づき、新たな動揺データを生成する。
【０２７２】
即ち、基準データである動揺データの各サンプルは、ここでは、上述したように、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向の動揺成分を有するから、その６つの動揺成分をコンポーネントとするベクトルとみなすことができる。そこで、更新部１２４は、例えば、図２５に示すように、基準データである動揺データのサンプルのベクトルが、そのベクトル空間で指示する点（図２５において×印で示す）から所定の距離ｒにある、所定間隔の点（図２５において○印で示す）を指示するベクトルで表されるサンプルのうちの１つを選択し、元のサンプルを、その選択したサンプルに置き換えることで、新たな時系列の動揺データを生成する。なお、動揺データの各サンプルは、６つの動揺成分を有するから、そのベクトル空間は、６次元空間となるが、６次元空間は、図示することが困難であるため、図２５には、３次元のベクトル空間を示してある。
【０２７３】
ここで、基準データである動揺データは、時系列のデータ（サンプル）であるから、多数のサンプルを有する。従って、新たな動揺データの生成方法としては、例えば、基準データの１サンプルだけを、図２５で説明したように置き換える方法や、動揺データの複数サンプルを、一度に、図２５で説明したように置き換える方法がある。但し、いずれの方法を採用するにしても、新たな時系列の動揺データが、以前に基準データから生成された時系列の動揺データと一致しないように、サンプルの置き換えを行う必要がある。
【０２７４】
また、上述の場合には、更新部１２４において、基準データである動揺データの１サンプルを、１つのベクトルとみなすこととしたが、その他、更新部１２４では、例えば、複数サンプルを、その各サンプルの６つの動揺成分をコンポーネントとする１つのベクトルとみなして、図２５で説明したように、新たな動揺データを生成するようにすることも可能である。
【０２７５】
更新部１２４は、ステップＳ７５において新たな動揺データを生成すると、ステップＳ７６に進み、その新たな動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを書き換え、これにより、動揺データを更新し、図２２のステップＳ６１に戻る。
【０２７６】
また、ステップＳ７４において、動揺データの評価値が、所定の閾値ε2未満であると判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が非常に高い場合、処理を終了する。
【０２７７】
一方、ステップＳ７３において、更新回数がε1回より大であると判定された場合、即ち、動揺データを、ε1回更新した場合、ステップＳ７７に進み、評価部１２３は、いままでの動揺データの更新によって、最小の評価値（ノルムの総和）が得られたときの動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの書き換えを行うように、更新部１２４に対して指示をする。さらに、ステップＳ７７では、更新部１２４は、評価部１２３の指示にしたがい、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを書き換え、処理を終了する。
【０２７８】
以上のように、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性を高くするように、画像動揺情報における動揺データを更新することにより、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることが可能となる。
【０２７９】
なお、図２４の実施の形態では、更新回数がε1を越えるか、または評価値が閾値ε2未満となった場合に、動揺データの更新を終了するようにしたが、動揺データの更新は、図２５で説明したようにして得られる新たな時系列の動揺データの全パターンについて行い、その中の、評価値を最小にする動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを、最終的に更新するようにすることも可能である。
【０２８０】
また、本実施の形態では、図２１の画像表示装置を、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることが可能な装置として説明したが、図２１の画像表示装置は、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることができるように、動揺データを更新する（チューニングする）装置であるということもできる。
【０２８１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２８２】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２８４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２８５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２８６】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２８７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２８８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２８９】
なお、図２の画像表示装置は、例えば、ゲーム機、さらには、遠隔にある自動車から送られてくる画像をスクリーン１５に表示しながら、その自動車を遠隔操作する装置などに適用することが可能である。
【０２９０】
また、図９の実施の形態では、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムを想定して、その線形システムの伝達関数の逆関数Ｈ-1（ω）を、重心対動揺応答情報として求めたが、その他、例えば、線形システムではなく、非線形システムを想定して、その非線形システムの伝達関数の逆関数を、重心対動揺応答情報として推定するようにしても良い。
【０２９１】
さらに、重心対動揺応答生成部３６は、例えば、ニューラルネットワークを用いて構成し、学習用動揺データと学習用重心データを対応付ける重心対動揺応答情報としての、ニューラルネットワークのパラメータを求めるようにすることも可能である。
【０２９２】
また、本実施の形態では、平衡機能計や床反力計などを用いて重心データを計測するようにしたが、重心データとしては、その他、例えば、複数の圧力センサをアレイ状に配置し、各圧力センサの出力から得られる平面の圧力分布を採用することも可能である。
【０２９３】
さらに、本実施の形態では、画像動揺情報を、あらかじめ、画像動揺情報記憶部２１に記憶させておくようにしたが、画像動揺情報は、例えば、テレビジョン放送信号により放送し、図２の画像表示装置では、そのテレビジョン放送信号としての画像動揺情報を受信して処理を行うようにすることが可能である。
【０２９４】
また、図２の画像表示装置は、図４のデータ処理装置の一部構成を含めて構成し、遠隔地で記録された現実世界の画像と動揺を、ユーザにリアルタイムで提供するようにすることが可能である。
【０２９５】
即ち、図２７は、そのような画像表示装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の画像表示装置は、画像動揺情報データベース２１に代えて、図４の動揺データ演算部３８およびエンコーダ３９が設けられている他は、図２の画像表示装置と基本的に動揺に構成されている。
【０２９６】
図２７の画像表示装置では、例えば、遠隔地などで記録されて順次送信されてくる現実重心データと画像データが受信され、現実重心データは動揺データ演算部３８に、画像データはエンコーダ３９に、それぞれ供給される。
【０２９７】
動揺データ演算部３８は、現実重心データから、その現実重心データに対応する重心移動を生じさせるドーム１１の動揺パターンを表す動揺データを演算する。
【０２９８】
即ち、図２７の実施の形態では、動揺データ演算部３８が、図４のデータ処理装置の重心対動揺応答生成部３６においてあらかじめ求められた重心対動揺応答情報を記憶しており、その重心対動揺応答情報に基づき、遠隔地から順次送信されてくる現実重心データを、動揺データに変換する。
【０２９９】
そして、動揺データ演算部３８は、現実重心データから求めた動揺データをエンコーダ３９に供給する。エンコーダ３９は、動揺データ演算部３８からの動揺データと、遠隔地から順次送信されてくる画像データとを対応付けることにより、画像動揺情報とし、画像／動揺デコード部２に供給される。
【０３００】
以降は、図２における場合と動揺の処理が行われ、これにより、ユーザは、遠隔地で記録された画像と動揺を、リアルタイムで享受することができる。
【０３０１】
【発明の効果】
以上の如く、本発明によれば、容易に、臨場感のある動揺感覚を、ユーザに感じさせることが可能となる。
【図面の簡単な説明】
【図１】従来の画像表示装置の一例の構成を示す図である。
【図２】本発明を適用した画像表示装置の第１実施の形態の構成例を示す図である。
【図３】画像表示装置の処理を説明するフローチャートである。
【図４】本発明を適用したデータ処理装置の一実施の形態の構成例を示すブロック図である。
【図５】現実重心データおよび画像データの取得方法を説明する図である。
【図６】平衡機能計５５が時系列に出力する重心位置の座標によって描かれる重心位置の軌跡の例を示す図である。
【図７】対画像重心データと学習用重心データの取得方法を説明する図である。
【図８】データ処理装置の処理を説明するフローチャートである。
【図９】重心対動揺応答生成部３６の第１の構成例を示すブロック図である。
【図１０】動揺対重心応答関数推定部７１の処理を説明する図である。
【図１１】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１２】重心対動揺応答生成部３６の第２の構成例を示すブロック図である。
【図１３】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１４】動揺データ演算部３８の構成例を示すブロック図である。
【図１５】予測タップおよびクラスタップの構成方法を説明する図である。
【図１６】動揺データ演算部３８の処理を説明するフローチャートである。
【図１７】重心対動揺応答生成部３６の第３の構成例を示すブロック図である。
【図１８】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１９】重心対動揺応答生成部３６の第４の構成例を示すブロック図である。
【図２０】重心対動揺応答生成部３６の第５の構成例を示すブロック図である。
【図２１】本発明を適用した画像表示装置の第２実施の形態の構成例を示す図である。
【図２２】画像表示装置の処理を説明するフローチャートである。
【図２３】動揺データ更新部１１４の構成例を示すブロック図である。
【図２４】動揺データ更新部１１４の処理の詳細を説明するフローチャートである。
【図２５】新たな動揺データの生成方法を説明する図である。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２７】本発明を適用した画像表示装置の第３実施の形態の構成例を示す図である。
【符号の説明】
２ 画像／動揺デコード部， ４ 表示制御部， ７ 椅子， １１ ドーム， １２ スクリーン， １３ 平面ミラー， １４ 球面ミラー， ２１ 画像動揺情報データベース， ２３ 動揺制御部， ２５ モーションベース， ２６ アーム， ３１ 現実重心データベース， ３２ 対画像重心データベース， ３３ 学習用動揺データベース， ３４ 学習用重心データベース， ３５ 画像データベース， ３６ 重心対動揺応答生成部， ３７ 動揺算出用重心データ演算部， ３８ 動揺データ演算部， ３９ エンコーダ， ５１ 全方位カメラ， ５２ 球面ミラー， ５３ ビデオカメラ， ５４ 画像記憶部， ５５ 平衡機能計， ５６ 重心記憶部， ６１ 学習用画像データベース， ６２ 学習用動揺データベース， ６３ 平衡機能計， ６４ 学習用重心データベース， ７１ 動揺対重心応答関数推定部， ７２ 重心対動揺応答関数演算部， ８１ ＬＵＴ生成部， ８２ 類似パターン統合部， ９１ バッファ， ９２ 予測タップ抽出部， ９３ クラスタップ抽出部， ９４ クラス分類部， ９５ 係数記憶部， ９６ 積和演算部， １０１ 教師データメモリ， １０２ 生徒データメモリ， １０３ 予測タップ抽出部， １０４ クラスタップ抽出部， １０５ クラス分類部， １０６ 正規方程式加算部，１０７ タップ係数決定部， １１１ 平衡機能計， １１２ 交信用重心データベース， １１３ 現実重心データベース， １１４ 動揺データ更新部，１２１ ベクトル化部， １２２ ノルム演算部， １２３ 評価部， １２４ 更新部， １２５ 基準データ記憶部， ２０１ バス， ２０２ CPU，２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関し、特に、臨場感のある動揺感覚を、ユーザに感じさせることができるようにする表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来の画像表示装置においては、画像が表示されるとともに、音声が出力されるだけであり、例えば、カーチェイスを行っているシーンにおいて、ユーザが、そのカーチェイスを行っている自動車に乗っているかのような動揺感覚を享受することは困難であった。
【０００３】
そこで、最近では、動揺感覚を、ユーザに感じさせることができるようにする画像表示装置が提案されている。
【０００４】
図１は、そのような画像表示装置の一例の構成を示している。
【０００５】
画像動揺情報データベース１は、後述するスクリーン１５に表示される画像データ（動画像データ）と、同じく後述するモーションベース５を駆動して、その上部に固定された椅子７を動揺させるための動揺データとを多重化した画像動揺情報を記憶している。
【０００６】
画像／動揺デコード部２は、画像動揺情報データベース１に記憶された画像動揺情報を読み出し、画像データと動揺データにデコードする。さらに、画像／動揺デコード部２は、動揺データを、動揺制御部３に供給するとともに、画像データを、表示制御部４に供給する。
【０００７】
動揺制御部３は、画像／動揺デコード部２から供給される動揺データにしたがい、モーションベース５を制御する。
【０００８】
モーションベース５は、動揺制御部３の制御にしたがって駆動することにより、そのモーションベース５の上部に固定された椅子７を動揺させる。即ち、モーションベース５は、複数のアーム６を有しており、そのアーム６の一旦は床面に、他端は椅子７に、それぞれ固定されている。さらに、アーム６は、図示せぬアクチュエータを内蔵し、動揺制御部３からの制御にしたがい、そのアクチュエータを駆動する。アーム６は、アクチュエータが駆動されることにより伸縮し、これにより、その他端に固定されている椅子７を、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させる。
【０００９】
一方、表示制御部４は、画像／動揺デコード部２から供給される画像データに必要な処理を施し、ドーム１１の内側に設置されたプロジェクタ１２に供給することにより、ドーム１１の内壁に形成されたスクリーン１５に、対応する画像を表示させる。
【００１０】
即ち、ドーム１１は、例えば、内部が空洞の球形をしており、その下部には、ユーザの上半身が、ドーム１１の内部に入る程度の大きさの穴が設けられている。また、ドーム１１の内部には、その上部に、プロジェクタ１２が、下方向に光を発する状態で取り付けられており、さらに、そのプロジェクタ１２の光の出射方向には、平面ミラー１３が設けられている。従って、プロジェクタ１２が出射した光は、平面ミラー１３において、ドーム１１内部の上部方向に反射される。
【００１１】
さらに、ドーム１１の内部には、その上部に、平面ミラー１３で反射された光を、ドーム１１の内壁に反射するように、球面ミラー１４が設けられている。従って、平面ミラー１３で反射された光は、球面ミラー１４でさらに反射され、これにより、ドーム１１の内壁に向かって出射される。
【００１２】
ドーム１１の内壁には、スクリーン１５が形成されており、球面ミラー１４で反射された光は、スクリーン１５で拡散反射され、これにより、対応する画像が表示される。
【００１３】
ドーム１１は、例えば、図示せぬ天井や、画像表示装置の固定部分に固定されており、ユーザが、モーションベース５に固定された椅子７に腰掛けたときに、その頭部が、球形のドーム１１の中心にほぼ位置するように設置されている。
【００１４】
ここで、ドーム１１によれば、ユーザが、その下部に設けられた穴に、上半身を入れた状態において、ユーザの周囲の全方向に画像が表示されるが、このような画像を表示する手段としてのドーム１１は、没入型の画像表示装置と呼ばれる。
【００１５】
以上のように構成される画像表示装置では、映像動揺情報データベース１に記憶された画像動揺情報が、画像／動揺デコード部２を介することにより、画像データと動揺データにデコードされ、それぞれが、表示制御部４と動揺制御部３に供給される。
【００１６】
表示制御部４は、画像／動揺デコード部２から供給される画像データにしたがって、プロジェクタ１２を駆動し、これにより、プロジェクタ１２は、画像データに対応する光を発する。プロジェクタ１２が発する光は、平面ミラー１３で反射され、球面ミラー１４に入射する。球面ミラー１４は、平面ミラー１３からの光を、スクリーン１５に向けて反射し、スクリーン１５では、球面ミラー１４からの反射光が拡散されることで、画像が表示される。
【００１７】
ここで、画像動揺情報データベース１に記憶されている画像動揺情報に含まれる画像データは、その光軸の周囲の全方向が撮影可能なカメラである全方位カメラによって撮影された全方位画像データとなっている。プロジェクタ１２では、この全方位画像データに対応する光が発せられ、これにより、スクリーン１５には、全方位カメラで撮像を行った周囲３６０度の風景の画像が表示されるようになっている。
【００１８】
なお、画像／動揺デコード部２は、スクリーン１５に全方位カメラで撮像された周囲３６０度の風景の画像が表示されるようにするために、必要に応じて、全方位画像データを幾何変換する。
【００１９】
この幾何変換の方法や、球形のドーム１１の内壁に設けられたスクリーン１５に全方位カメラで撮像された周囲３６０度の風景の画像を表示させる方法については、例えば、凸面境を用いた空面没入型ディスプレイ:Ensphered Vision（日本バーチャルリアリティ学会論文誌Vol.4 No.3 1999などに開示されている。
【００２０】
一方、動揺制御部３は、画像／動揺デコード部２から供給される動揺データにしたがって、モーションベース５を駆動する。このように、モーションベース５が駆動することにより、そのモーションベース５に固定されている椅子７が、前後、左右、上下、ロール、ピッチ、ヨーの各方向に動揺し、さらに、その椅子７に腰掛けているユーザも動揺する。
【００２１】
従って、ユーザは、画像を視聴しながら、動揺感覚を享受することができる。
【００２２】
【発明が解決しようとする課題】
図１の画像表示装置によれば、例えば、カーチェイスを行っているシーンの画像を表示しながら、椅子７を動揺させることで、ユーザが、そのカーチェイスを行っている自動車に乗っているかのような動揺感覚を与えることができる。
【００２３】
しかしながら、この場合、椅子７を動揺させることによって、その椅子７に腰掛けているユーザ自身を、実際に動揺させることから、ユーザの頭部の位置が安定せず、ユーザが、その不安定な頭部に気をとられる結果、臨場感が薄れることになる。
【００２４】
さらに、図１の画像表示装置では、椅子７に腰掛けるユーザを動揺させることから、ユーザの視点と、ドーム１１内部のスクリーン１５との位置関係が変動する。従って、ユーザに臨場感を与える動揺感覚を享受させるには、そのような変動する位置関係を考慮して、スクリーン１５に画像を表示する必要があるが、ユーザの頭部の位置の変動には個人差があり、そのような個人差のある頭部の位置変動を考慮して、スクリーン１５に画像を表示するのは困難である。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、容易に、臨場感のある動揺感覚を、ユーザに感じさせることができるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の表示制御装置は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御手段を備え、動揺制御手段がしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものであることを特徴とする。
【００２７】
本発明の表示制御方法は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものであることを特徴とする。
【００２８】
本発明の第１のプログラムは、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである表示制御処理を、コンピュータに行わせることを特徴とする。
【００２９】
本発明の第１の記録媒体は、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段を制御する動揺制御ステップを含み、動揺制御ステップがしたがう動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである表示制御処理を、コンピュータに行わせるプログラムが記録されていることを特徴とする。
【００３０】
本発明のデータ処理装置は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算手段と、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成手段とを備え、動揺データ演算手段は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づき、現実重心データを用いて求めることを特徴とする。
【００３１】
本発明のデータ処理方法は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求めることを特徴とする。
【００３２】
本発明の第２のプログラムは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求める処理を、コンピュータに実行させることを特徴とする。
【００３３】
本発明の第２の記録媒体は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを求める動揺データ演算ステップと、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップとを含み、動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答生成ステップにより求められた重心対動揺応答情報に基づき、現実重心データを用いて求める処理を、コンピュータに実行させるプログラムが記録されていることを特徴とする。
【００３４】
本発明の表示制御装置および表示制御方法、並びに第１のプログラムおよび第１の記録媒体に記録されたプログラムにおいては、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データにしたがい、表示手段に表示される画像に同期して、表示手段を動揺させる動揺手段が制御される。また、動揺手段の制御に用いる動揺データは、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報を求め、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データを、重心対動揺応答情報に基づいて求めることにより得られたものである。
【００３５】
本発明のデータ処理装置およびデータ処理方法、並びに第２のプログラムおよび第２の記録媒体に記録されたプログラムにおいては、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを用い、ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データが求められる。即ち、表示手段を、学習用の動揺データにしたがって動揺させたときのユーザの重心の移動パターンを表す学習用の重心データと、学習用の動揺データとから、表示手段の動揺とユーザの重心移動との関係である重心対動揺応答情報が求められ、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる動揺データが、重心対動揺応答情報に基づき、現実重心データを用いて求められる。
【００３６】
【発明の実施の形態】
図２は、本発明を適用した画像表示装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３７】
図１の画像表示装置においては、モーションベース５に椅子７が固定され、モーションベース５が駆動されることにより、椅子７が動揺するようになっていたが、図２の実施の形態では、モーションベース２５にドーム１１が固定され、モーションベース２５が駆動されることにより、ドーム１１が動揺するようになっている。即ち、図２の実施の形態では、椅子７は動揺しないように固定され、ドーム１１が、モーションベース２５によって動揺されるようになっている。
【００３８】
画像動揺情報データベース２１は、図１の画像動揺情報データベース１における場合と同様の画像動揺情報を記憶している。
【００３９】
但し、画像動揺情報データベース２１に記憶されている画像動揺情報における動揺データは、図１における場合のように、椅子７が固定されたモーションベース５を動揺させるものではなく、ドーム１１が固定されたモーションベース２５を動揺させるものとなっている。
【００４０】
また、画像動揺情報データベース２１に記憶されている画像動揺情報においては、画像データ（動画像データ）の各フレームと、そのフレームにおいてドーム１１を動揺させるための動揺データとが対応付けられている。具体的には、例えば、動揺データには、その動揺データにしたがってドーム１１を動揺させるときにスクリーン１５に表示される画像データのフレームのタイムコードが付されている。
【００４１】
動揺制御部２３は、図１の動揺制御部３と同様に、画像／動揺デコード部２から供給される動揺データにしたがい、モーションベース２５を制御する。但し、動揺制御部２３は、動揺データに付されているタイムコードを参照し、いまスクリーン１５に表示されているフレームのタイムコードと一致するタイムコードが付されている動揺データにしたがい、モーションベース２５を制御するようになっている。これにより、モーションベース２５に固定されているドーム１１は、その内部のスクリーン１５に表示される画像に同期して動揺するようになっている。
【００４２】
モーションベース２５は、動揺制御部２３の制御にしたがって駆動することにより、そのモーションベース５の下部に固定されたドーム１１を動揺させる。即ち、モーションベース２５は、図１のモーションベース５と同様に、複数のアーム２６を有しており、そのアーム２６の一旦は天井等に、他端はドーム１１の上部に、それぞれ固定されている。さらに、アーム２６は、図示せぬアクチュエータを内蔵し、動揺制御部２３からの制御にしたがい、そのアクチュエータを駆動する。アーム２６は、アクチュエータが駆動されることにより伸縮し、これにより、その他端に固定されているドーム１１を、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させる。
【００４３】
次に、図３のフローチャートを参照して、図２の画像表示装置の処理について説明する。
【００４４】
画像／動揺デコード部２は、ステップＳ１において、１フレーム分の画像動揺情報を、画像動揺情報データベース２１から読み出すことにより、その画像動揺情報を受信し、ステップＳ２に進む。ステップＳ２では、画像／動揺デコード部２は、ステップＳ１で受信した画像動揺情報を、画像データと動揺データにデコードし、画像データを表示制御部４に供給するとともに、動揺データを動揺制御部２３に供給して、ステップＳ３に進む。
【００４５】
ステップＳ３では、画像データがスクリーン１５に表示されるとともに、その表示された画像データに同期して、ドーム１１が動揺される。
【００４６】
即ち、ステップＳ３では、表示制御部４が、画像／動揺デコード部２からの画像データにしたがい、プロジェクタ１２を駆動することにより、プロジェクタ１２は、その画像データに対応する光を出射する。プロジェクタ１２が出射する光は、平面ミラー１３と球面ミラー１４で順次反射され、ドーム１１内部のスクリーン１５に入射し、そのスクリーン１５で拡散反射される。これにより、スクリーン１５には、対応する画像が表示される。
【００４７】
さらに、ステップＳ３では、動揺制御部２３が、画像／動揺デコード部２からの動揺データ、即ち、スクリーン１５に表示された画像のタイムコードと同一のタイムコードが付加された動揺データにしたがい、モーションベース２５を駆動する。これにより、そのモーションベース２５に固定されているドーム１１が、その内部のスクリーン１５に表示された画像に同期して、前後、左右、上下、ロール、ピッチ、ヨーの各方向に動揺する。
【００４８】
その後、ステップＳ４に進み、画像／動揺デコード部２が、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されているかどうかを判定する。ステップＳ４において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていると判定された場合、ステップＳ１に戻り、画像／動揺デコード部２は、その、次のフレームについての画像動揺情報を、画像動揺情報データベース２１から読み出し、以下、同様の処理を繰り返す。
【００４９】
また、ステップＳ４において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定された場合、処理を終了する。
【００５０】
以上のように、ドーム１１が動揺するので、容易に、臨場感のある動揺感覚を、ユーザに感じさせることが可能となる。
【００５１】
即ち、図２の画像表示装置では、ドーム１１のみが動揺し、ユーザが腰掛ける椅子７は動揺しないため、ユーザの頭部は動かず、その結果、ユーザの頭部が動くことにより、臨場感が損なわれることを防止することができる。
【００５２】
また、図２の画像表示装置では、ドーム１１を動揺させることから、ユーザが腰掛ける椅子７を動揺させる図１の画像表示装置に比較して、モーションベース２５その他の、ドーム１１を動揺させるための機構を簡素化することが可能となる。即ち、図１の画像表示装置では、ユーザが腰掛ける椅子７を動揺させることから、この画像表示装置を利用する多数のユーザの体格等を考慮して、モーションベース５その他の椅子７を動揺させるための機構を設計、製造する必要がある。これに対して、図２の画像表示装置によれば、ドーム１１を動揺させることから、ドーム１１を動揺させるための機構を設計、製造するにあたって、画像表示装置を利用するユーザの体格等を考慮する必要がない。
【００５３】
さらに、図１の画像表示装置では、椅子７を動揺させることから、ユーザの頭部、ひいてはユーザの視点が変動し、視点とスクリーン１５との位置関係も変動する。そして、椅子７を動揺させることによる、ユーザの視点の変動には、個人差があることから、仮に、ユーザの視点とスクリーン１５との位置関係をモデル化しても、そのモデルのパラメータの推定は容易ではない。これに対して、図１の画像表示装置では、ユーザの視点は変動しないから、ユーザの視点とスクリーン１５との位置関係のモデルのパラメータの推定は比較的容易となる。
【００５４】
また、動揺データは、後述するように、ドーム１１を動揺させることで、現実世界であらかじめ記録されたのと動揺の重心移動をユーザに生じさせるものであり、従って、図２の画像表示装置によれば、画像が表示されるドーム１１を動揺させることによって、いわば視覚的に、ユーザに動揺感覚を与えることができる。
【００５５】
さらに、図１の画像表示装置では、ユーザを動揺させるために、ユーザを支える椅子７を動揺させることから、椅子７が必須となる。即ち、図１の画像表示装置において、例えば、椅子７を設けずに、ユーザが立っている足場（床面）を動揺させるとすれば、ユーザは倒れないように、脚を踏ん張る必要があり、ユーザが、そのようなことを意識する結果、臨場感はさらに薄れることになる。また、ユーザが立っている足場を動揺させることは、安全性の面からも好ましくない。このため、図１の画像表示装置では、ユーザを支える椅子７が必須となる。従って、図１の画像処理装置によれば、多人数のユーザが、画像を視聴するためには、そのユーザの数以上の椅子７が必要であり、さらに、そのような多数の椅子７に腰掛けたユーザ全員を覆うことができる大きさのドーム１１も必要となるため、広範な設置スペースが必要となる。
【００５６】
これに対して、図２の画像表示装置では、椅子７が動揺しないことから、椅子７を設けずに構成しても、ユーザの臨場感は損なわれず、安全性の問題も生じない。さらに、図２の画像表示装置によれば、椅子７を設けずに、起立した状態のユーザに画像を視聴させることとすれば、その起立した状態のユーザを覆うことができるドーム１１が必要となるだけであり、従って、比較的狭い設置スペースにおいても、多人数のユーザに、画像を視聴させることが可能となる。
【００５７】
さらに、図２の画像表示装置によれば、椅子７を設けずに済むことから、例えば、部屋をドーム１１として、床を、透明な強化ガラス等で構成し、その床面を介して、天井や壁に、画像に対応する光を照射することにより、その天井や壁に、画像を表示することが可能となる。
【００５８】
次に、図４は、図２の画像動揺情報データベース２１に記憶させる画像動揺情報を生成するデータ処理を行うデータ処理装置の一実施の形態の構成例を示している。
【００５９】
現実重心データベース３１は、現実世界であらかじめ記録されたユーザの重心移動を表す重心データ（以下、適宜、現実重心データという）を記憶している。対画像重心データベース３２は、現実世界で記録された画像を、ドーム１１を動揺させずに、スクリーン１５に表示した場合のユーザの重心移動を表す重心データ（以下、適宜、対画像重心データという）を記憶している。
【００６０】
学習用動揺データベース３３は、ドーム１１を規則的または不規則に動揺させる、後述する重心対動揺応答情報を生成する学習用にあらかじめ用意された動揺データ（以下、適宜、学習用動揺データという）を記憶している。学習用重心データベース３４は、実際に、学習用動揺データにしたがって、ドーム１１を動揺させたときのユーザの重心の移動パターンを表す重心データ（以下、適宜、学習用重心データという）を記憶している。
【００６１】
画像データベース３５は、現実世界において、現実重心データとともに記録（撮影）された画像データを記憶している。
【００６２】
重心対動揺応答生成部３６は、学習用動揺データベース３３から学習用動揺データを読み出すとともに、学習用重心データベース３４から学習用重心データを読み出し、その学習用動揺データと学習用重心データを用いて、ドーム１１の動揺と、ユーザの重心移動との関係を表す重心対動揺応答情報を求め（生成し）、動揺データ演算部３８に供給する。
【００６３】
動揺算出用重心データ演算部３７は、現実重心データベース３１から現実重心データを読み出すとともに、対画像重心データベース３２から対画像重心データを読み出し、その現実重心データと対画像重心データを用いて、現実重心データから、ユーザがドーム１１のスクリーン１５に表示された画像を視聴することによってのみ生じる重心移動の影響を除去した重心データ（以下、適宜、動揺算出用重心データという）を求め、動揺データ演算部３８に供給する。
【００６４】
動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される動揺算出用重心データを受信し、その動揺算出用重心データを用い、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、現実世界で記録されたユーザの重心移動から、ユーザがドーム１１のスクリーン１５に表示される画像を視聴することによってのみ生じる重心移動の影響を除去した重心移動を生じさせる動揺データを求め、エンコーダ３９に供給する。
【００６５】
ここで、図２の画像表示装置において、ドーム１１は、動揺データ演算部３８によって求められる動揺データにしたがって動揺する。
【００６６】
ユーザは、このようにして動揺するドーム１１によって、その重心を移動させる他、ドーム１１のスクリーン１５に表示される画像を視聴することによっても重心を移動させる。即ち、ユーザは、ドーム１１の動揺と、スクリーン１５に表示される画像の視聴によって、その重心を移動することとなるが、これにより、現実世界であらかじめ記録されたユーザの重心移動と同様の重心移動が生じることとなる。
【００６７】
エンコーダ３９は、画像データベース３５から、現実世界において現実重心データとともに記録された画像データを読み出し、その画像データと、動揺データ演算部３８から供給される動揺データとを対応付けることにより、画像動揺情報を生成して出力する。ここで、このようにしてエンコーダ３９が出力する画像動揺情報が、図２の画像動揺情報データベース２１に記憶されている。
【００６８】
なお、現実重心データベース３１には、画像データベース３５に記憶された画像データとともに記録された現実重心データが、その現実重心データが計測されたときに撮影された画像データのタイムコードを付加する形で記憶されている。この現実重心データに付加されたタイムコードは、動揺算出用重心データ演算部３７および動揺データ演算部３８を経由し、動揺データ演算部３８が出力する動揺データに付加されるようになっており、エンコーダ３９は、動揺データを、それに付加されたタイムコードと同一のタイムコードのフレームの画像データと対応付けることで、画像動揺情報を生成するようになっている。
【００６９】
次に、図５を参照して、図４の現実重心データベース３１に記憶させる現実重心データと、画像データベース３５に記憶させる画像データの取得方法について説明する。
【００７０】
なお、ここでは、例えば、画像データとして、自動車が走行しているシーンを撮影するものとする。
【００７１】
この場合、図５に示すように、シーンの撮影に使用する自動車における、運転者の視覚に映る風景を撮影することのできる位置に、全方位カメラ５１を取り付けるとともに、運転席に、平衡機能計５５を取り付け、実際に、運転者に、自動車を運転してもらう。
【００７２】
全方位カメラ５１は、球面ミラー５１、およびレンズ中心の位置が球面ミラー５１の焦点の位置に一致するように配置されたビデオカメラ５２で構成される。全方位カメラ５１では、球面ミラー５１において、周囲からの光が、ビデオカメラ５２のレンズ中心の方向に反射され、これにより、ビデオカメラ５２において、周囲の風景、即ち、自動車の運転者が、現実世界において実際に見ている周囲の風景が撮像される。
【００７３】
ビデオカメラ５２で撮影された、周囲の風景の画像データは、画像記憶部５４に供給されて記憶される。また、ビデオカメラ５２は、画像記憶部５４に出力している画像データの各フレームのタイムコードを、その画像データの出力タイミングに同期して、重心記憶部５６に出力する。
【００７４】
一方、平衡機能計５５は、運転席に座った運転者の重心の位置を順次計測し、その位置を表す、所定の２次元座標系における座標（Ｘ，Ｙ）を、重心データとして出力する。即ち、自動車が走行することによって、運転者が動揺するが、その動揺は、運転者の重心の位置の変化として現れるので、その重心の位置の座標が、平衡機能計５５で計測される。ここで、図６に、平衡機能計５５が時系列に出力する重心位置の軌跡の例を示す。
【００７５】
なお、ここでは、平衡機能計５５によって、重心の位置を計測するようにしたが、重心位置は、その他、例えば、床反力計等によって計測するようにすることも可能である。
【００７６】
平衡機能計５５が出力する重心データは、重心記憶部５６に供給される。重心記憶部５６は、平衡機能計５５が順次出力する重心データに、その重心データが出力されるタイミングでビデオカメラ５３が出力するタイムコードを付加して記憶する。これにより、重心記憶部５６では、現実世界における自動車の周囲の画像データのフレームと、そのフレームの画像データが撮影されたときの運転者の重心位置とが、タイムコードを介して対応付けられる形で、重心データが記憶される。
【００７７】
なお、ビデオカメラ５３で撮像される画像データのフレームの出力タイミング（フレーム周期）と、平衡機能計５５の重心データの出力タイミング（同期）とが一致している場合には、ある１時刻における重心データには、１フレームのタイムコードが付加されることになるが、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングが、平衡機能計５５の重心データの出力タイミングより速い場合は、ある１時刻における重心データに、複数フレームのタイムコードが付加され、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングが、平衡機能計５５の重心データの出力タイミングより遅い場合は、複数時刻における重心データそれぞれに、同一フレームのタイムコードが付加されることになる。
【００７８】
ここでは、説明を簡単にするために、ビデオカメラ５３で撮像される画像データのフレームの出力タイミングと、平衡機能計５５の重心データの出力タイミングとが一致しているものとする。
【００７９】
上述のようにして、画像記憶部５４に記憶された画像データが、図４の画像データベース３５に記憶されており、また、重心記憶部５６に記憶された重心データが、現実重心データとして、図４の現実重心データベース３１に記憶されている。
【００８０】
次に、図７を参照して、図４の対画像重心データベース３２に記憶させる対画像重心データと、学習用重心データベース３４に記憶させる学習用重心データの取得方法について説明する。
【００８１】
対画像重心データと学習用重心データの取得は、例えば、図７に示すような、データ取得装置を用いて行われる。
【００８２】
ここで、図７のデータ取得装置は、図２の画像表示装置を利用したものとなっている。即ち、図７のデータ取得装置は、図２の画像表示装置における画像／動揺デコード部２および画像動揺情報データベース２１を削除し、学習用画像データベース６１、学習用動揺データベース６２、平衡機能計６３、および学習用重心データベース６４を追加することによって構成されている。
【００８３】
まず、対画像重心データの取得方法について説明する。
【００８４】
対画像重心データは、図４で説明したように、現実世界で記録された画像を、ドーム１１を動揺させずに、スクリーン１５に表示した場合のユーザの重心移動を表す重心データである。このため、対画像重心データの取得は、スクリーン１５に、図４の画像データベース３５に記憶された画像データを表示し、ユーザ（被験者）が、その画像データを視聴することのみによって、どのような重心移動を行うかを計測することによって行われる。
【００８５】
即ち、図７の学習用画像データベース６１には、図５で説明したようにして撮影された画像データ（図４の画像データベース３５に記憶される画像データ）が記憶されており、表示制御部４は、その画像データを読み出し、プロジェクタ１２を制御することで、図２で説明した場合と動揺にして、ドーム１１内部のスクリーン１５に画像を表示させる。
【００８６】
そして、スクリーン１５に表示された画像を、椅子７に腰掛けたユーザ（被験者）に視聴させ、その重心データを計測する。即ち、図７のデータ取得装置においては、椅子７に、図５の平衡機能計５５と同様の平衡機能計６３が設けられている。平衡機能計６３は、椅子７に腰掛けて、スクリーン１５に表示された画像を視聴しているユーザについて、重心データを計測し、学習用重心データベース６４に供給して記憶させる。
【００８７】
従って、この場合、学習用重心データベース６４には、スクリーン１５に表示された画像をユーザが視聴することによってのみ生じたユーザの重心移動を表す重心データが記憶されるが、図４の対画像重心データベース３２には、このようにして学習用重心データベース６４に記憶された重心データが、対画像重心データとして記憶される。
【００８８】
次に、学習用重心データの取得方法について説明する。
【００８９】
学習用重心データは、図４で説明したように、ある学習用動揺データにしたがって、ドーム１１を動揺させたときのユーザの重心の移動パターンを表す重心データである。
【００９０】
そこで、図７のデータ取得装置において、学習用動揺データベース６２には、図４の学習用動揺データベース３３に記憶された学習用動揺データと同一のもの、即ち、ドーム１１を規則的または不規則に動揺させる学習用動揺データが記憶されている。
【００９１】
動揺制御部２３は、学習用動揺データベース６２に記憶された学習用動揺データを読み出し、その学習用動揺データにしたがって、モーションベース２５を制御することにより、ドーム１１を動揺させる。
【００９２】
一方、表示制御部４は、所定パターンの画像データをプロジェクタ１２に出力し、これにより、ドーム１１内部のスクリーン１５に、その画像データを表示させる。なお、この場合、スクリーン１５に表示される所定パターンの画像データとしては、例えば、静止画などの、その視聴によってユーザの重心位置が変動しないものが用いられる。
【００９３】
この場合、椅子７に腰掛けたユーザ（被験者）は、学習用動揺データにしたがって動揺するドーム１１内部のスクリーン１５に表示された画像を視聴することとなるが、そのときのユーザの重心データが、平衡機能計６３によって計測される。そして、平衡機能計６３によって計測された重心データは、学習用重心データベース６４に供給されて記憶される。
【００９４】
従って、この場合、学習用重心データベース６４には、学習用動揺データにしたがって動揺するドーム１１内部のスクリーン１５に表示された画像をユーザが視聴することによって生じたユーザの重心移動を表す重心データが記憶されるが、図４の学習用重心データベース３４には、このようにして学習用重心データベース６４に記憶された重心データが、学習用重心データとして記憶される。
【００９５】
なお、現実重心データ、対画像重心データ、または学習用重心データは、１人のユーザ（被験者）について求める他、多数のユーザ（被験者）について求め、その平均値などを、図４の現実重心データベース３１、対画像重心データベース３２、または学習用重心データベース３４に、それぞれ記憶させるようにすることが可能である。
【００９６】
次に、図８のフローチャートを参照して、図４のデータ処理装置が行う、画像動揺情報を生成する処理について説明する。
【００９７】
まず最初に、ステップＳ１１において、重心対動揺応答生成部３６は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データを用いて、ドーム１１の動揺と、ユーザの重心移動との関係を表す重心対動揺応答情報を求め（生成し）、動揺データ演算部３８に供給する。
【００９８】
そして、ステップＳ１２に進み、動揺算出用重心データ演算部３７は、現実重心データベース３１から時系列の現実重心データを読み出すとともに、対画像重心データベース３２から時系列の対画像重心データを読み出し、ステップＳ１３に進む。ステップＳ１３では、動揺算出用重心データ演算部３７は、現実重心データと対画像重心データを用いて、現実重心データから、ユーザがドーム１１のスクリーン１５に表示された画像を視聴することによってのみ生じる重心移動の影響を除去した重心データである動揺算出用重心データを求める。
【００９９】
即ち、ステップＳ１３では、動揺算出用重心データ演算部３７は、例えば、時系列の現実重心データの各時刻のサンプル値から、時系列の対画像重心データの対応する時刻のサンプル値を減算することにより、時系列の動揺算出用重心データを求める。そして、動揺算出用重心データ演算部３７は、その動揺算出用重心データを、動揺データ演算部３８に供給して、ステップＳ１４に進む。
【０１００】
ステップＳ１４では、動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データを用い、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、時系列の動揺データを求め、エンコーダ３９に供給して、ステップＳ１５に進む。
【０１０１】
ステップＳ１５では、エンコーダ３９が、画像データベース３５から、現実重心データとともに記録された画像データを読み出し、その画像データの各フレームと、動揺データ演算部３９から供給される時系列の動揺データの、各フレームに対応する時刻のサンプル値とを対応付けることにより、画像動揺情報を作成し、その画像動揺情報を出力して、処理を終了する。
【０１０２】
なお、図４のデータ処理装置は（後述する図１９および図２０のデータ処理装置についても同様）、対画像重心データベース３２および動揺算出用重心データ演算部３７を設けずに構成することも可能である。この場合、現実重心データベース３１に記憶された現実重心データが、動揺算出用重心データとして、そのまま動揺データ演算部３８に供給され、動揺データ演算部３８では、その現実重心データを用いて、動揺データが求められる。
【０１０３】
次に、図９は、図４の重心対動揺応答生成部３６の第１の構成例を示している。
【０１０４】
図９の実施の形態では、重心対動揺応答生成部３６は、動揺対重心応答関数推定部７１と、重心対動揺応答関数演算部７２から構成されている。
【０１０５】
動揺対重心応答関数推定部７１は、学習用動揺データベース３３から供給される時系列の学習用動揺データと、学習用重心データベース３４から供給される時系列の学習用重心データに対して、所定の変換を施し、学習用動揺データと学習用重心データとを対応付ける関数を求める。
【０１０６】
即ち、動揺対重心応答関数推定部７１は、例えば、図１０Ａに示すように、時系列の学習用動揺データｆ（ｔ）を周波数分析することにより、各周波数ごとのゲインを表す周波数軸上のデータであるパワースペクトルＦ（ω）に変換するとともに、図１０Ｂに示すように、時系列の学習用重心データｇ（ｔ）を周波数分析することにより、パワースペクトルＧ（ω）に変換する。ここで、時間軸上のデータである学習用動揺データや学習用重心データを、周波数軸上のデータに変換する方法としては、例えば、ＦＦＴ(Fast Fourier Transform)などがある。
【０１０７】
なお、ｔは時刻を表し、ωは角周波数を表す。また、ここでは、パワースペクトルＦ（ω）およびＧ（ω）は、例えば、なんらかの関数によって近似することができるものとする。
【０１０８】
さらに、動揺対重心応答関数推定部７１は、例えば、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムを想定し、その線形システムの伝達関数Ｈ（ω）を求める。
【０１０９】
即ち、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする、伝達関数がＨ（ω）の線形システムを想定した場合、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）は、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）を用いて、次式により求めることができる。
【０１１０】
【数１】
式（１）から、線形システムの伝達関数Ｈ（ω）は、次式により求めることができる。
【０１１２】
【数２】
動揺対重心応答関数推定部７１は、式（２）によって伝達関数Ｈ（ω）を求めると、その伝達関数Ｈ（ω）を、重心対動揺応答関数演算部７２に供給する。
【０１１４】
なお、動揺対重心応答関数推定部７１では、ＦＦＴの他、例えば、ラプラス変換などを行うようにすることが可能である。また、動揺対重心応答関数推定部７１では、ＦＦＴなどの直交変換の他、学習用動揺データｆ（ｔ）や学習用重心データｇ（ｔ）から、特徴量を抽出し、その特徴量どうしを対応付ける関数を求めるようにすることも可能である。
【０１１５】
重心対動揺応答関数演算部７２は、動揺対重心応答関数推定部７１から供給される伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求める。即ち、式（１）から、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）は、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）を用いて、次式により求めることができる。
【０１１６】
【数３】
従って、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を用いて、式（３）を演算することにより、学習用重心データｇ（ｔ）のパワースペクトルＧ（ω）を、学習用動揺データｆ（ｔ）のパワースペクトルＦ（ω）に変換することができることになる。このことは、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）によって、ある重心データを、その重心データが表す重心移動をユーザに生じさせるドーム１１の動揺を表す動揺データに変換することができることを意味する。
【０１１８】
重心対動揺応答関数演算部７２は、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求めると、さらに、その逆関数Ｈ-1（ω）のインパルス応答ｈ（ｔ）を求め、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０１１９】
次に、図１１のフローチャートを参照して、図９の重心対動揺応答生成部３６の処理について説明する。
【０１２０】
まず最初に、ステップＳ２１において、動揺対重心応答関数推定部７１は、学習用動揺データベース３３から供給される時系列の学習用動揺データと、学習用重心データベース３４から供給される時系列の学習用重心データを、例えば、ＦＦＴすることにより、周波数軸上のデータであるパワースペクトルＦ（ω）とＧ（ω）に、それぞれ変換し、ステップＳ２２に進む。ステップＳ２２では、動揺対重心応答関数推定部７１は、パワースペクトルＦ（ω）とＧ（ω）を用いて、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムの伝達関数Ｈ（ω）を、式（２）により求め、重心対動揺応答関数演算部７２に供給して、ステップＳ２３に進む。
【０１２１】
ステップＳ２３では、重心対動揺応答関数演算部７２は、動揺対重心応答関数推定部７１から供給される伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求め、ステップＳ２４に進む。ステップＳ２４では、重心対動揺応答関数演算部７２は、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）のインパルス応答ｈ（ｔ）を求め、重心対動揺応答情報として、動揺データ演算部３８に供給し、処理を終了する。
【０１２２】
ここで、周波数軸上での乗算は、時間軸上での畳み込み積分に該当する。従って、以上のようなインパルス応答ｈ（ｔ）が、重心対動揺応答情報として、動揺データ演算部３８に供給される場合、動揺データ演算部３８では、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データと、重心対動揺応答関数演算部７２から供給されるインパルス応答ｈ（ｔ）との畳み込み積分が計算され、その畳み込み積分の結果が、動揺データとして出力される。
【０１２３】
なお、上述の場合は、式（２）の伝達関数Ｈ（ω）を求め、さらに、その逆関数Ｈ-1（ω）を求めるようにしたが、伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）は、式（２）から、Ｆ（ω）／Ｇ（ω）を計算することにより、伝達関数Ｈ（ω）を計算することなく求めることが可能である。
【０１２４】
次に、図１２は、図４の重心対動揺応答生成部３６の第２の構成例を示している。
【０１２５】
図１２の実施の形態では、重心対動揺応答生成部３６は、ＬＵＴ(Look Up Table)生成部８１と、類似パターン統合部８２とから構成されている。
【０１２６】
ＬＵＴ生成部８１は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データとを対応付けるＬＵＴを生成して、類似パターン統合部８２に供給する。
【０１２７】
即ち、例えば、ＬＵＴ生成部８１は、時系列の学習用動揺データの各時刻のサンプル値を中心として連続する所定数のサンプル値の系列を１フレーム（画像データのフレームとは異なる）として、時系列の学習用動揺データから、各時刻について、１フレームの学習用動揺データを切り出す。さらに、ＬＵＴ生成部８１は、時間軸上において、各フレームの学習用動揺データに対応する学習用重心データの連続するサンプル値の例を、やはり、１フレームの学習用重心データとして、時系列の学習用重心データから切り出す。そして、ＬＵＴ生成部８１は、各フレームの学習用重心データをインデックス（見出し）とし、対応するフレームの学習用動揺データを登録したＬＵＴを生成する。
【０１２８】
ここで、ＬＵＴ生成部８１が生成するＬＵＴは、学習用重心データと学習用動揺データとをフレーム単位で対応付ける多数の欄で構成されることとなるが、この各欄を、以下、適宜、エントリという。
【０１２９】
類似パターン統合部８２は、ＬＵＴ生成部８１から供給されるＬＵＴのエントリのうち、類似する学習用重心データおよび学習用動揺データが登録されているエントリどうしを、１つのエントリに統合する。
【０１３０】
即ち、類似パターン統合部８２は、例えば、ＬＵＴのエントリを、順次、注目エントリとし、その注目エントリの学習用重心データまたは学習用動揺データとそれぞれ類似するパターンの学習用重心データまたは学習用動揺データが登録されているエントリを検出する。
【０１３１】
ここで、注目エントリの学習用重心データと、他のエントリの学習用重心データのパターンが類似するかどうかは、例えば、注目エントリの学習用重心データの各サンプル値と、他のエントリの学習用重心データの対応するサンプル値との差分絶対値和（以下、適宜、フレーム間距離という）を計算し、その差分絶対値和が所定の閾値より小さいかどうかによって判断することができる。即ち、フレーム間距離が所定の閾値より小さい場合には、注目エントリの学習用重心データと、他のエントリの学習用重心データのパターンが類似すると判断される。注目エントリの学習用動揺データと、他のエントリの学習用動揺データのパターンが類似するかどうかの判断も、同様にして行うことが可能である。
【０１３２】
類似パターン統合部８２は、注目エントリの学習用重心データのパターンと類似する学習用重心データが登録され、かつ、注目エントリの学習用動揺データのパターンと類似する学習用動揺データが登録されている他のエントリすべてを検出すると、注目エントリと、その検出されたエントリ（以下、適宜、検出エントリという）すべてとを、１つのエントリに統合する。
【０１３３】
具体的には、類似パターン統合部８２は、単に、検出エントリすべてをＬＵＴから削除し、注目エントリと検出エントリのすべてを、注目エントリに統合する。また、類似パターン統合部８２は、例えば、注目エントリの学習用重心データの各サンプル値と、検出エントリすべての学習用重心データの対応するサンプル値の平均値を計算するとともに、注目エントリの学習用動揺データの各サンプル値と、検出エントリすべての学習用動揺データの対応するサンプル値の平均値を計算し、その学習用重心データの平均値と、学習用動揺データの平均値を、注目エントリに上書きする。さらに、類似パターン統合部８２は、検出エントリすべてを、ＬＵＴから削除し、これにより、注目エントリと検出エントリのすべてを、注目エントリに統合する。
【０１３４】
類似パターン統合部８２は、上述したようにして、ＬＵＴのエントリを統合していき、例えば、学習用動揺データおよび学習用重心データが類似するエントリがなくなると、その時点で得られているＬＵＴを、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０１３５】
次に、図１３のフローチャートを参照して、図１２の重心対動揺応答生成部３６の処理について説明する。
【０１３６】
まず最初に、ステップＳ３１において、ＬＵＴ生成部８１は、学習用動揺データベース３３から時系列の学習用動揺データを読み出すとともに、学習用重心データベース３４から時系列の学習用重心データを読み出し、その学習用動揺データと学習用重心データとを対応付けるＬＵＴを生成して、類似パターン統合部８２に供給する。
【０１３７】
そして、ステップＳ３２に進み、類似パターン統合部８２は、ＬＵＴの任意のエントリを注目エントリとし、その注目エントリと、学習用動揺データおよび学習用重心データが類似する他のエントリがあるかどうかを判定し、あると判定した場合、ステップＳ３３に進む。
【０１３８】
ステップＳ３３では、類似パターン統合部８２は、ステップＳ３２で注目エントリと類似すると判定された他のエントリのすべてを検出し、ステップＳ３４に進み、注目エントリと、検出されたエントリのすべてを統合する。そして、ステップＳ３２に戻り、以下、動揺の処理が繰り返される。
【０１３９】
一方、ステップＳ３２において、ＬＵＴの任意のエントリである注目エントリと、学習用動揺データおよび学習用重心データが類似する他のエントリがないと判定された場合、即ち、ＬＵＴにおいて、学習用動揺データおよび学習用重心データが類似しているエントリどうしが存在しない場合、類似パターン統合部８２は、その時点で得られているＬＵＴを、重心対動揺応答情報として、動揺データ演算部３８に供給し、処理を終了する。
【０１４０】
以上のようなＬＵＴが、重心対動揺応答情報として、動揺データ演算部３８に供給される場合、動揺データ演算部３８は、動揺算出用重心データ演算部３７から供給される時系列の動揺算出用重心データから、ＬＵＴに登録されている学習用重心データのフレームと同一のサンプル数の動揺算出用重心データを、１フレームの動揺算出用重心データとして順次切り出す。そして、動揺データ演算部３８では、ＬＵＴにおいて、各フレームの動揺算出用重心データとのフレーム間距離が最も短い重心データが登録されているエントリが検出され、そのエントリに登録されている動揺データが出力される。
【０１４１】
なお、上述の場合は、類似パターン統合部８２において、ＬＵＴ生成部８１が生成したＬＵＴのエントリを統合するようにしたが、ＬＵＴ生成部８１が生成したＬＵＴは、統合せずに、そのまま、重心対動揺応答情報として、動揺データ演算部３８に供給することが可能である。即ち、図１２において、重心対動揺応答生成部３６は、類似パターン統合部８２を設けずに、ＬＵＴ生成部８１だけで構成することが可能である。
【０１４２】
次に、図４の動揺データ演算部３８では、重心対動揺応答生成部３６から供給される重心対動揺応答情報に基づいて、動揺算出用重心データ演算部３８から供給される動揺算出用重心データから、動揺データが求められる。このことは、動揺算出用重心データが、重心対動揺応答情報に基づいて、動揺データに変換されるということができるが、このようなデータの変換には、本件出願人が先に提案しているクラス分類適応処理を利用することができる。
【０１４３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０１４４】
ここで、適応処理について、重心データを、動揺データに変換する場合を例に説明する。
【０１４５】
適応処理では、例えば、重心データのサンプル値と、所定のタップ係数との線形結合により、重心データが、動揺データに変換される。
【０１４６】
具体的には、例えば、いま、動揺データを教師データとするとともに、その動揺データによってドーム１１を動揺させたときに生じるユーザの重心移動を表す重心データを生徒データとして、動揺データのサンプル値ｙの予測値Ｅ［ｙ］を、重心データの幾つかのサンプル値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１４７】
【数４】
式（４）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、次式のように定義する。
【０１４９】
【数５】
この場合、次のような観測方程式が成立する。
【０１５１】
【数６】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（４）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（４）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１５３】
式（６）の観測方程式に最小自乗法を適用して、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データとなる動揺データの真のサンプル値ｙの集合でなる行列Ｙ、および動揺データのサンプル値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０１５４】
【数７】
この場合、式（６）から、次のような残差方程式が成立する。
【０１５６】
【数８】
最小自乗法では、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０１５８】
【数９】
動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、式（９）の、統計的誤差としての自乗誤差を最小にすることで求めることができる。
【０１６０】
従って、式（９）の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、動揺データのサンプル値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１６１】
【数１０】
そこで、まず、式（８）を、タップ係数ｗjで微分することにより、次式が成立する。
【０１６３】
【数１１】
式（１０）および（１１）より、式（１２）が得られる。
【０１６５】
【数１２】
さらに、式（８）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差（誤差）ｅiの関係を考慮すると、式（１２）から、次のような正規方程式を得ることができる。
【０１６７】
【数１３】
なお、いま、ベクトルＷを、式（５）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０１６９】
【数１４】
この場合、式（１３）に示した正規方程式は、次式で表される。
【０１７１】
【数１５】
式（１５）と等価な式（１３）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（１５）を、ベクトルＷについて解くことで（但し、式（１５）を解くには、式（１５）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（１５）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１７３】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（４）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１７４】
なお、上述の場合には、教師データｙの予測式として、式（４）の線形一次式を用いるようにしたが、教師データｙの予測式としては、その他、２次以上の高次の式を採用することが可能である。
【０１７５】
次に、図１４は、上述のようなクラス分類適応処理を利用して、動揺算出用重心データを動揺データに変換する、図４の動揺データ演算部３８の構成例を示している。
【０１７６】
バッファ９１には、動揺算出用重心データ３７から、時系列の動揺算出用重心データが供給され、バッファ９１は、そこに供給される動揺算出用重心データを一時記憶する。
【０１７７】
予測タップ抽出部９２は、後述する積和演算部９６において求めようとする、動揺データの各サンプルを、順次、注目サンプルとし、さらに、その注目サンプルを予測するのに用いる動揺算出用重心データのサンプルを、バッファ９１から抽出し、予測タップとする。
【０１７８】
即ち、予測タップ抽出部９２は、例えば、注目サンプルの時刻（サンプル点）に対して近い時刻の動揺算出用重心データの幾つかのサンプル（のサンプル値）を、予測タップとして、バッファ９１から読み出す。
【０１７９】
そして、予測タップ抽出部９２は、注目サンプルについて、予測タップを得ると、その注目サンプルについての予測タップを、積和演算部９６に供給する。
【０１８０】
クラスタップ抽出部９３は、注目サンプルを、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる動揺算出用重心データのサンプルを、バッファ９１から抽出し、クラスタップとする。
【０１８１】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部９２で得られる予測タップと、クラスタップ抽出部９３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０１８２】
クラスタップ抽出部９３において得られる、注目サンプルについてのクラスタップは、クラス分類部９４に供給される。クラス分類部９４は、クラスタップ抽出部９３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０１８３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１８４】
ADRCを用いる方法では、クラスタップを構成するサンプル値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目サンプルのクラスが決定される。
【０１８５】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するサンプルがKビットに再量子化される。即ち、クラスタップを構成する各サンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各サンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプル値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各サンプル値が１ビットとされる（２値化される）。そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１８６】
なお、クラス分類部９４には、例えば、クラスタップを構成するサンプル値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のサンプルで構成され、各サンプルに、Ｋビットが割り当てられているとすると、クラス分類部９４が出力するクラスコードの場合の数は、（２N）K通りとなり、サンプルのビット数Ｋに指数的に比例した膨大な数となる。
【０１８７】
従って、クラス分類部９４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０１８８】
クラス分類部９４が出力するクラスコードは、係数記憶部９５に、アドレスとして与えられる。
【０１８９】
係数記憶部９５は、後述する図１７の重心対動揺応答生成部３６から供給される重心対動揺応答情報としてのタップ係数を記憶し、クラス分類部９４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部９６に出力する。
【０１９０】
積和演算部９６は、予測タップ抽出部９２が出力する予測タップと、係数記憶部９５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（４）に示した線形予測演算（積和演算）を行い、その演算結果を、注目サンプルとなっている動揺データのサンプル値として出力する。
【０１９１】
なお、重心データは、ここでは、所定の２次元座標系における、重心の位置の座標であるから、重心データの１サンプルは、例えば、図１５Ａに示すように、その２次元座標系のＸ座標とＹ座標からなる。
【０１９２】
また、動揺データは、ドーム１１を動揺させるためのデータであり、本実施の形態では、ドーム１１は、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向に動揺させることが可能であるから、動揺データの１サンプルは、例えば、図１５Ｂに示すように、その６軸の各方向への動揺を表す６つの動揺成分からなる。
【０１９３】
図１４の動揺データ演算部３８では、動揺データの各サンプルを構成する６つの動揺成分が、それぞれについて、独立に予測タップとクラスタップが構成されて求められる。従って、係数記憶部９５には、６つの動揺成分それぞれについてのタップ係数が記憶されており、後述する図１７の重心対動揺応答生成部３６では、６つの動揺成分それぞれについて、独立に、重心対動揺応答情報としてのタップ係数が求められる。
【０１９４】
さらに、予測タップやクラスタップとしては、重心データのＸ座標またはＹ座標のうちのいずれか一方だけを採用することも可能であるし、Ｘ座標とＹ座標の両方を採用することも可能である。また、予測タップやクラスタップとして、重心データのＸ座標とＹ座標の両方を採用する場合には、予測タップやクラスタップとして採用するＸ座標とＹ座標は、同一時刻のものであっても良いし、異なる時刻のものであっても良い。
【０１９５】
ここで、以下においては、説明を簡単にするため、重心データおよび動揺データの各成分については、特に必要がない限り、言及しない。
【０１９６】
次に、図１６のフローチャートを参照して、図１４の動揺データ演算部３８が行う、動揺算出用重心データを動揺データに変換する処理としてのクラス分類適応処理について説明する。
【０１９７】
バッファ９１には、動揺算出用重心データ演算部３７（図４）が出力する時系列の動揺算出用重心データが記憶される。
【０１９８】
そして、動揺データ演算部３８では、ステップＳ４１において、予測タップ抽出部９２が、時系列の動揺データのサンプルのうち、まだ求められていない、時間的に最も先行するサンプルを、注目サンプルとして選択し、ステップＳ４２に進む。
【０１９９】
ステップＳ４２では、予測タップ抽出部９２が、注目サンプルについての予測タップとする動揺算出用重心データのサンプルを、バッファ９１から抽出し、積和演算部９６に供給する。さらに、ステップＳ４２では、クラスタップ抽出部９３が、注目サンプルについてのクラスタップとする動揺算出用重心データのサンプルを、バッファ９１から抽出し、クラス分類部９４に供給する。
【０２００】
そして、ステップＳ４３に進み、クラス分類部９４は、クラスタップ抽出部９３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数記憶部９５に出力して、ステップＳ４４に進む。
【０２０１】
ステップＳ４４では、係数記憶部９５は、クラス分類部９４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部９６に出力し、これにより、積和演算部９６は、注目サンプルを求めるのに用いるタップ係数を取得する。
【０２０２】
その後、ステップＳ４５に進み、積和演算部９６は、予測タップ抽出部９２が出力する予測タップと、係数記憶部９５から取得したタップ係数とを用いて、式（４）に示した線形予測演算（積和演算）を行い、その演算結果を、注目サンプルとなっている動揺データのサンプル値として、エンコーダ３９（図４）に出力して、ステップＳ４６に進む。
【０２０３】
ステップＳ４６では、予測タップ抽出部９２は、時系列の動揺データのすべてのサンプルが求められたかどうかを判定する。ステップＳ４６において、時系列の動揺データのすべてのサンプルが、まだ求められていないと判定された場合、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０２０４】
また、ステップＳ４６において、時系列の動揺データのすべてのサンプルが求められたと判定された場合、処理を終了する。
【０２０５】
次に、図１７は、図４の動揺データ演算部３８が図１４に示したように構成される場合の、図４の重心対動揺応答生成部３６の構成例を示している。
【０２０６】
図１７の重心対動揺応答生成部３６は、図１４の動揺データ演算部３８で用いられるタップ係数を学習する学習装置として構成されている。
【０２０７】
即ち、教師データメモリ１０１には、学習用動揺データベース３３（図４）に記憶された時系列の学習用動揺データが、教師データとして供給され、教師データメモリ１０１は、その教師データとしての学習用動揺データを記憶する。
【０２０８】
生徒データメモリ１０２には、学習用重心データベース３４から、学習用重心データが、生徒データとして供給され、生徒データメモリ１０２は、その生徒データとしての学習用重心データを記憶する。
【０２０９】
予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データを、時系列順に、順次、注目サンプルとし、さらに、その注目サンプルを予測するのに用いる生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、これにより、図１４の予測タップ抽出部９２が構成する予測タップと同一のタップ構造の予測タップを構成する。そして、予測タップ抽出部１０３は、注目サンプルについて得られた予測タップを、正規方程式加算部１０６に供給する。
【０２１０】
クラスタップ抽出部１０４は、注目サンプルのクラス分類に用いる生徒データを、生徒データメモリ１０２から抽出し、これにより、図１４のクラスタップ抽出部９３における場合と同一構造のクラスタップを構成して、クラス分類部１０５に供給する。
【０２１１】
クラス分類部１０５は、クラスタップ抽出部１０４から供給される、注目サンプルについてのクラスタップを用い、図１４のクラス分類部９４と同一のクラス分類を行い、注目サンプルのクラスを表すクラスコードを、正規方程式加算部１０６に供給する。
【０２１２】
正規方程式加算部１０６は、教師データメモリ１０１から、注目サンプルとなっている教師データを読み出し、予測タップ抽出部１０３からの予測タップを構成する生徒データ、および注目サンプルとしての教師データを対象とした足し込みを、クラス分類部１０５から供給されるクラスごとに行う。
【０２１３】
即ち、正規方程式加算部１０６は、クラス分類部１０５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（１４）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２１４】
さらに、正規方程式加算部１０６は、やはり、クラス分類部１０５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目サンプル（教師データ）を用い、式（１４）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２１５】
正規方程式加算部１０６は、以上の足し込みを、教師データメモリ１０１に記憶された教師データすべてを注目サンプルとして行い、これにより、各クラスについて、式（１５）に示した正規方程式をたて、タップ係数決定部１０７に供給する。
【０２１６】
タップ係数決定部１０７は、正規方程式加算部１０６においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、重心対動揺応答情報として、動揺データ演算部３８に供給する。
【０２１７】
次に、図１８のフローチャートを参照して、図４の重心対動揺応答生成部３６が図１７に示したように構成される場合の処理について説明する。
【０２１８】
ステップＳ５１では、教師データメモリ１０１が、学習用動揺データベース３３（図４）から供給される時系列の学習用動揺データを、教師データとして記憶するとともに、生徒データメモリ１０２が、学習用重心データベース３４から供給される学習用重心データを、生徒データとして記憶し、ステップＳ５２に進む。
【０２１９】
ステップＳ５２では、予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データのサンプルのうち、まだ注目サンプルとしていない、時間的に最も先行するサンプルを、注目サンプルとして選択し、ステップＳ５３に進む。
【０２２０】
ステップＳ５３では、予測タップ抽出部１０３が、注目サンプルについての予測タップとする、生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、正規方程式加算部１０６に供給するとともに、クラスタップ抽出部１０４が、注目サンプルについてのクラスタップとする、生徒データとしての学習用重心データを、生徒データメモリ１０２から抽出し、クラス分類部１０５に供給する。
【０２２１】
そして、ステップＳ５４に進み、クラス分類部１０５は、クラスタップ抽出部１０４から供給される、注目サンプルについてのクラスタップを用いてクラス分類を行い、その結果得られる、注目サンプルのクラスを表すクラスコードを、正規方程式加算部１０６に供給して、ステップＳ５５に進む。
【０２２２】
ステップＳ５５では、正規方程式加算部１０６が、教師データメモリ１０１から、注目サンプルとなっている教師データを読み出し、予測タップ抽出部１０３からの予測タップを構成する生徒データ、および注目サンプルとしての教師データを対象とした、上述したような足し込みを、クラス分類部１０５から供給されるクラスについて行う。
【０２２３】
そして、ステップＳ５６に進み、予測タップ抽出部１０３は、教師データメモリ１０１に記憶された教師データとしての学習用動揺データのすべてのサンプルを、注目サンプルとしたかどうかを判定する。ステップＳ５６において、教師データメモリ１０１に記憶された学習用動揺データのすべてのサンプルを、まだ、注目サンプルとしていないと判定された場合、ステップＳ５２に戻り、以下、同様の処理を繰り返す。
【０２２４】
また、ステップＳ５６において、教師データメモリ１０１に記憶された学習用動揺データのすべてのサンプルを、注目サンプルとしたと判定された場合、ステップＳ５７に進み、正規方程式加算部１０６は、上述の足し込みを行うことにより得られる、各クラスについての、式（１５）に示した正規方程式を、タップ係数決定部１０７に供給する。さらに、ステップＳ５７では、タップ係数決定部１０７が、正規方程式加算部１０６からのクラスごとの正規方程式を解くことにより、クラスごとのタップ係数を求め、ステップＳ５８に進む。
【０２２５】
ステップＳ５８では、タップ係数決定部５８が、ステップＳ５７で求められたクラスごとのタップ係数を、動揺データ演算部３８（図４）に供給し、その係数記憶部９５（図１４）に記憶させ、処理を終了する。
【０２２６】
なお、図１４乃至図１８の実施の形態では、注目サンプルについてクラスタップを構成し、そのクラスタップをクラス分類することにより得られるクラスごとに、処理を行うようにしたが、クラス分類は行わないようにすることが可能である。ここで、クラス分類を行わないということは、クラス分類を行う場合において、クラスが１つのみであるということと等価である。
【０２２７】
また、図９乃至図１３の実施の形態では、図１４乃至図１８の実施の形態における場合のように、クラスごとに処理を行うようにはしなかったが、図９乃至図１３の実施の形態においても、クラスごとに処理を行うようにすることが可能である。
【０２２８】
即ち、図１９は、図９の構成による処理を、クラスごとに行うこととした場合のデータ処理装置の構成例を示している。
【０２２９】
図１９のデータ処理装置は、動揺データ演算部３８が、図１４のクラスタップ抽出部９３およびクラス分類部９４を新たに設けて構成されているとともに、重心対動揺応答生成部３６が、図１７のクラスタップ抽出部１０４およびクラス分類部１０５を新たに設けて構成されている他は、図９における場合と同様に構成されている。
【０２３０】
図１９のデータ処理装置では、重心対動揺応答生成部３６において、クラスタップ抽出部１０４が、学習用重心データを用いてクラスタップを構成し、クラス分類部１０５が、そのクラスタップを用いてクラス分類を行う。そして、動揺対重心応答関数推定部７１が、クラス分類部１０５のクラス分類により得られるクラスごとに、式（２）の伝達関数Ｈ（ω）を求め、重心対動揺応答関数演算部７２が、クラスごとの伝達関数Ｈ（ω）の逆関数Ｈ-1（ω）を求めて、動揺データ演算部３８に供給する。
【０２３１】
動揺データ演算部３８では、クラスタップ抽出部９３が、動揺算出用重心データを用いてクラスタップを構成し、クラス分類部９４が、そのクラスタップを用いてクラス分類を行う。そして、動揺データ演算部３８は、クラス分類部９４のクラス分類により得られるクラスの逆関数Ｈ-1（ω）に基づき、動揺算出用重心データを用いて、動揺データを演算する。
【０２３２】
次に、図２０は、図１２の構成による処理を、クラスごとに行うこととした場合のデータ処理装置の構成例を示している。
【０２３３】
図２０のデータ処理装置も、図１９における場合と同様に、動揺データ演算部３８が、図１４のクラスタップ抽出部９３およびクラス分類部９４を新たに設けて構成されているとともに、重心対動揺応答生成部３６が、図１７のクラスタップ抽出部１０４およびクラス分類部１０５を新たに設けて構成されている他は、図１２における場合と同様に構成されている。
【０２３４】
図２０のデータ処理装置では、重心対動揺応答生成部３６において、クラスタップ抽出部１０４が、学習用重心データを用いてクラスタップを構成し、クラス分類部１０５が、そのクラスタップを用いてクラス分類を行う。そして、ＬＵＴ生成部８１が、クラス分類部１０５のクラス分類により得られるクラスごとに、ＬＵＴを求め、類似パターン統合部８２が、クラスごとのＬＵＴそれぞれを、独立に統合し、動揺データ演算部３８に供給する。
【０２３５】
動揺データ演算部３８では、クラスタップ抽出部９３が、動揺算出用重心データを用いてクラスタップを構成し、クラス分類部９４が、そのクラスタップを用いてクラス分類を行う。そして、動揺データ演算部３８は、クラス分類部９４のクラス分類により得られるクラスのＬＵＴに基づき、動揺算出用重心データを、動揺データに変換する。
【０２３６】
ところで、図２の画像表示装置において、図４のデータ処理装置で得られた画像動揺情報を用いて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合に、ユーザの重心移動を表す重心データが、現実重心データと完全に一致すれば、理論的には、ユーザは、現実世界で享受することのできる動揺感覚と同一の動揺感覚を享受することになる。
【０２３７】
しかしながら、図２の画像表示装置において、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合に、ユーザの重心移動を表す重心データが、現実重心データと完全に一致するとは限らない。
【０２３８】
即ち、図４のデータ処理装置では、図２の画像表示装置でスクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合のユーザの重心データを、現実重心データに近いものとする動揺データが生成されるが、現実重心データに完全に一致する動揺データが生成されるとは限らない。
【０２３９】
従って、図４のデータ処理装置で生成された動揺データによれば、図２の画像表示装置によって、現実世界で享受することのできる動揺感覚に近い動揺感覚を、ユーザに享受させることができるが、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることができるのが望ましい。
【０２４０】
そこで、図２１は、現実世界の動揺感覚に、より近い動揺感覚をユーザに享受させるようにした画像表示装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の画像表示装置は、平衡機能計１１１、更新用重心データベース１１２、現実重心データベース１１３、および動揺データ更新部１１４が新たに設けられている他は、図２における場合と基本的に同様に構成されている。
【０２４１】
平衡機能計１１１は、図５の平衡機能計５５と同様のもので、椅子７に設置されており、その椅子７に腰掛けたユーザの重心移動を表す重心データを計測して、更新用重心データベース１１２に供給する。更新用重心データベース１１２は、平衡機能計１１１から供給される時系列の重心データを記憶する。
【０２４２】
ここで、更新用重心データベース１１２に記憶された重心データは、後述するように、画像動揺情報データベース２１に記憶された画像情報動揺情報における動揺データの更新に用いられるので、以下、適宜、更新用重心データという。
【０２４３】
現実重心データベース１１３は、図４の現実重心データベース３１に記憶されたのと同一の時系列の現実重心データを記憶している。
【０２４４】
動揺データ更新部１１４は、更新用重心データベース１１２に記憶された更新用重心データと、現実重心データベース１１３に記憶された現実重心データとを比較し、その比較結果に基づいて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを評価し、さらに、その評価結果に基づいて、動揺データを更新する。
【０２４５】
次に、図２２のフローチャートを参照して、図２１の画像表示装置の処理について説明する。
【０２４６】
ステップＳ６１乃至Ｓ６３では、図３のステップＳ１乃至Ｓ３における場合とそれぞれ同様の処理が行われ、これにより、スクリーン１５には、画像動揺様情報データベース２１に記憶された画像動揺情報における画像データが表示されるとともに、ドーム１１が、画像動揺情報における動揺データにしたがって動揺する。
【０２４７】
そして、ステップＳ６４に進み、平衡機能計１１１は、ステップＳ６１乃至Ｓ６３において、画像動揺情報データベース２１に記憶された画像動揺情報を用いて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させた場合の、ユーザの重心移動を表す重心データを計測する。さらに、ステップＳ６４では、平衡機能計１１１で計測された重心データが、更新用重心データとして、更新用重心データベース１１２に供給されて記憶され、ステップＳ６５に進む。
【０２４８】
ステップＳ６５では、図１のステップＳ４における場合と動揺に、画像／動揺デコード部２が、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されているかどうかを判定する。ステップＳ６５おいて、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていると判定された場合、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
【０２４９】
また、ステップＳ６５において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報のすべてについて、スクリーン１５に画像を表示するとともに、ドーム１１を動揺させたときの、ユーザの重心移動を表す重心データとしての更新用重心データが、更新用重心データベース１１２に記憶された場合、ステップＳ６６に進み、動揺データ更新部１１４は、更新用重心データベース１１２に記憶された更新用重心データと、現実重心データベース１１３に記憶された現実重心データとを比較し、その比較結果に基づいて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを評価する。
【０２５０】
そして、ステップＳ６７に進み、動揺データ更新部１１４は、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの評価結果が、所定の評価基準を満たすかどうかを判定する。
【０２５１】
ステップＳ６７において、動揺データの評価結果が、所定の評価基準を満たさないと判定された場合、即ち、例えば、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データが、現実重心データベース１１３に記憶された時系列の現実重心データにほぼ一致しているとは言えず、現実世界で享受することのできる動揺感覚に、非常に近い動揺感覚を、ユーザが享受しているとは言えない場合、ステップＳ６８に進み、動揺データ更新部１１４は、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを更新し、さらに更新用重心データベース１１２の記憶内容をクリアする。
【０２５２】
そして、ステップＳ６１に戻り、画像動揺情報データベース２１に記憶された、最初のフレームについての画像動揺情報から、同様の処理が繰り返される。
【０２５３】
また、ステップＳ６７において、動揺データの評価結果が、所定の評価基準を満たすと判定された場合、即ち、例えば、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データが、現実重心データベース１１３に記憶された時系列の現実重心データにほぼ一致しており、現実世界で享受することのできる動揺感覚に、非常に近い動揺感覚を、ユーザが享受していると言える場合、処理を終了する。
【０２５４】
次に、図２３は、図２１の動揺データ更新部１１４の構成例を示している。
【０２５５】
ベクトル化部１２１は、更新用重心データベース１１２から時系列の更新用重心データを読み出すとともに、現実重心データベース１１３から現実重心データを読み出し、その更新用重心データのサンプルそれぞれと、現実重心データのサンプルそれぞれをベクトル化する。即ち、上述したように、重心データの各サンプルは、Ｘ座標とＹ座標を有するが、ベクトル化部１２１は、更新用重心データの各サンプル、および現実重心データの各サンプルを、Ｘ座標とＹ座標をコンポーネントとするベクトルとする。そして、ベクトル化部１２１は、更新用重心データの各サンプルのベクトル、および現実重心データの各サンプルのベクトルを、ノルム演算部１２２に供給する。
【０２５６】
なお、ここでは、ベクトル化部１２１において、重心データの１サンプルについて、１つのベクトルを構成するようにしたが、ベクトル化部１２１では、その他、例えば、重心データの複数サンプルについて、その複数サンプルのＸ座標およびＹ座標をコンポーネントとするベクトルを構成するようにすることも可能である。
【０２５７】
ノルム演算部１２２は、ベクトル化部１２１から供給される、更新用重心データの各サンプルのベクトルと、現実重心データの対応する時刻のサンプルのベクトルとのノルム（距離）を計算し、さらに、そのノルムの総和（全時刻についての総和）を求め、その総和値を、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの評価値として、評価部１２３に供給する。
【０２５８】
ここで、この場合、評価値が小さいほど、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が高いことを表す。
【０２５９】
評価部１２３は、ノルム演算部１２２から供給される動揺データの評価値を評価する。即ち、評価部１２３は、ノルム演算部１２２から供給される動揺データの評価値を、所定の閾値と比較することで、その評価を行う。そして、評価部１２３は、その評価結果に基づいて、更新部１２４に、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの更新を指示する。
【０２６０】
更新部１２４は、評価部１２３からの指示にしたがい、基準データ記憶部１２５に記憶された基準データを用いて、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを更新する。
【０２６１】
基準データ記憶部１２５は、画像動揺情報データベース２１に最初に記憶された画像動揺情報、即ち、図４のデータ処理装置が生成した画像動揺情報における動揺データを、その更新のための基準となる基準データとして記憶している。
【０２６２】
以上のように構成される動揺データ更新部１１４では、図２２のステップＳ６６乃至Ｓ６８において、図２４のフローチャートに示す処理が行われる。
【０２６３】
即ち、図２４のフローチャートは、図２３の動揺データ更新部１１４が行う、図２２のステップＳ６６乃至Ｓ６８の処理の詳細を示している。
【０２６４】
なお、図２４において、ステップＳ７１およびＳ７２の処理が、図２２のステップＳ６６の処理に、ステップＳ７３，Ｓ７４、およびＳ７７の処理が、図２２のステップＳ６７の処理に、ステップＳ７５およびＳ７６の処理が、図２２のステップＳ６８の処理に、それぞれ対応している。
【０２６５】
図２２のステップＳ６５において、画像動揺情報データベース２１に、次のフレームについての画像動揺情報が記憶されていないと判定されると、図２４のステップＳ７１に進み、ベクトル化部１２１は、更新用重心データベース１１２から更新用重心データを読み出すとともに、現実重心データベース１１３から現実重心データを読み出し、その更新用重心データのサンプルそれぞれと、現実重心データのサンプルそれぞれをベクトル化する。さらに、ステップＳ７１では、ベクトル化部１２１は、更新用重心データの各サンプルのベクトル、および現実重心データの各サンプルのベクトルを、ノルム演算部１２２に供給し、ステップＳ７２に進む。
【０２６６】
ステップＳ７２では、ノルム演算部１２２は、ベクトル化部１２１から供給される、更新用重心データの各サンプルのベクトルと、現実重心データの対応する時刻のサンプルのベクトルとのノルムを計算し、さらに、そのノルムの総和を求め、その総和値を、動揺データの評価値として、評価部１２３に供給して、ステップＳ７３に進む。
【０２６７】
ステップＳ７３では、評価部１２３が、更新部１２４に対して、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの更新を指示した回数（以下、適宜、更新回数という）が、所定の閾値であるε1回より大である（または以上である）かどうかを判定する。
【０２６８】
即ち、評価部１２３は、更新回数を、その内蔵するメモリ（図示せず）に記憶しており、更新部１２４に対して動揺データの更新を指示するごとに、その更新回数を１ずつインクリメントするようになっており、ステップＳ７３では、その更新回数がε1回より大であるかどうかが判定される。
【０２６９】
ステップＳ７３において、更新回数がε1回より大でないと判定された場合、ステップＳ７４に進み、評価部１２３は、動揺データの評価値（ここでは、ノルムの総和）が、所定の閾値ε2未満である（または以下である）かどうかを判定する。
【０２７０】
ステップＳ７４において、動揺データの評価値が、所定の閾値ε2未満でないと判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が非常に高いとはいえない場合、評価部１２３は、更新部１２４に対して、動揺データの更新を指示し、ステップＳ７５に進む。
【０２７１】
ステップＳ７５では、更新部１２４は、基準データ記憶部１２５に記憶された基準データに基づき、新たな動揺データを生成する。
【０２７２】
即ち、基準データである動揺データの各サンプルは、ここでは、上述したように、前後、左右、上下、ロール、ピッチ、ヨーの６軸の各方向の動揺成分を有するから、その６つの動揺成分をコンポーネントとするベクトルとみなすことができる。そこで、更新部１２４は、例えば、図２５に示すように、基準データである動揺データのサンプルのベクトルが、そのベクトル空間で指示する点（図２５において×印で示す）から所定の距離ｒにある、所定間隔の点（図２５において○印で示す）を指示するベクトルで表されるサンプルのうちの１つを選択し、元のサンプルを、その選択したサンプルに置き換えることで、新たな時系列の動揺データを生成する。なお、動揺データの各サンプルは、６つの動揺成分を有するから、そのベクトル空間は、６次元空間となるが、６次元空間は、図示することが困難であるため、図２５には、３次元のベクトル空間を示してある。
【０２７３】
ここで、基準データである動揺データは、時系列のデータ（サンプル）であるから、多数のサンプルを有する。従って、新たな動揺データの生成方法としては、例えば、基準データの１サンプルだけを、図２５で説明したように置き換える方法や、動揺データの複数サンプルを、一度に、図２５で説明したように置き換える方法がある。但し、いずれの方法を採用するにしても、新たな時系列の動揺データが、以前に基準データから生成された時系列の動揺データと一致しないように、サンプルの置き換えを行う必要がある。
【０２７４】
また、上述の場合には、更新部１２４において、基準データである動揺データの１サンプルを、１つのベクトルとみなすこととしたが、その他、更新部１２４では、例えば、複数サンプルを、その各サンプルの６つの動揺成分をコンポーネントとする１つのベクトルとみなして、図２５で説明したように、新たな動揺データを生成するようにすることも可能である。
【０２７５】
更新部１２４は、ステップＳ７５において新たな動揺データを生成すると、ステップＳ７６に進み、その新たな動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを書き換え、これにより、動揺データを更新し、図２２のステップＳ６１に戻る。
【０２７６】
また、ステップＳ７４において、動揺データの評価値が、所定の閾値ε2未満であると判定された場合、即ち、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性が非常に高い場合、処理を終了する。
【０２７７】
一方、ステップＳ７３において、更新回数がε1回より大であると判定された場合、即ち、動揺データを、ε1回更新した場合、ステップＳ７７に進み、評価部１２３は、いままでの動揺データの更新によって、最小の評価値（ノルムの総和）が得られたときの動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データの書き換えを行うように、更新部１２４に対して指示をする。さらに、ステップＳ７７では、更新部１２４は、評価部１２３の指示にしたがい、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを書き換え、処理を終了する。
【０２７８】
以上のように、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データによってドーム１１を動揺させたときに得られるユーザの時系列の更新用重心データと、現実重心データベース１１３に記憶された時系列の現実重心データとの一致性を高くするように、画像動揺情報における動揺データを更新することにより、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることが可能となる。
【０２７９】
なお、図２４の実施の形態では、更新回数がε1を越えるか、または評価値が閾値ε2未満となった場合に、動揺データの更新を終了するようにしたが、動揺データの更新は、図２５で説明したようにして得られる新たな時系列の動揺データの全パターンについて行い、その中の、評価値を最小にする動揺データによって、画像動揺情報データベース２１に記憶された画像動揺情報における動揺データを、最終的に更新するようにすることも可能である。
【０２８０】
また、本実施の形態では、図２１の画像表示装置を、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることが可能な装置として説明したが、図２１の画像表示装置は、現実世界で享受することのできる動揺感覚に、より近い動揺感覚を、ユーザに享受させることができるように、動揺データを更新する（チューニングする）装置であるということもできる。
【０２８１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２８２】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２８４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２８５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２８６】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２８７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２８８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２８９】
なお、図２の画像表示装置は、例えば、ゲーム機、さらには、遠隔にある自動車から送られてくる画像をスクリーン１５に表示しながら、その自動車を遠隔操作する装置などに適用することが可能である。
【０２９０】
また、図９の実施の形態では、学習用動揺データｆ（ｔ）を入力とするとともに、学習用重心データｇ（ｔ）を出力とする線形システムを想定して、その線形システムの伝達関数の逆関数Ｈ-1（ω）を、重心対動揺応答情報として求めたが、その他、例えば、線形システムではなく、非線形システムを想定して、その非線形システムの伝達関数の逆関数を、重心対動揺応答情報として推定するようにしても良い。
【０２９１】
さらに、重心対動揺応答生成部３６は、例えば、ニューラルネットワークを用いて構成し、学習用動揺データと学習用重心データを対応付ける重心対動揺応答情報としての、ニューラルネットワークのパラメータを求めるようにすることも可能である。
【０２９２】
また、本実施の形態では、平衡機能計や床反力計などを用いて重心データを計測するようにしたが、重心データとしては、その他、例えば、複数の圧力センサをアレイ状に配置し、各圧力センサの出力から得られる平面の圧力分布を採用することも可能である。
【０２９３】
さらに、本実施の形態では、画像動揺情報を、あらかじめ、画像動揺情報記憶部２１に記憶させておくようにしたが、画像動揺情報は、例えば、テレビジョン放送信号により放送し、図２の画像表示装置では、そのテレビジョン放送信号としての画像動揺情報を受信して処理を行うようにすることが可能である。
【０２９４】
また、図２の画像表示装置は、図４のデータ処理装置の一部構成を含めて構成し、遠隔地で記録された現実世界の画像と動揺を、ユーザにリアルタイムで提供するようにすることが可能である。
【０２９５】
即ち、図２７は、そのような画像表示装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の画像表示装置は、画像動揺情報データベース２１に代えて、図４の動揺データ演算部３８およびエンコーダ３９が設けられている他は、図２の画像表示装置と基本的に動揺に構成されている。
【０２９６】
図２７の画像表示装置では、例えば、遠隔地などで記録されて順次送信されてくる現実重心データと画像データが受信され、現実重心データは動揺データ演算部３８に、画像データはエンコーダ３９に、それぞれ供給される。
【０２９７】
動揺データ演算部３８は、現実重心データから、その現実重心データに対応する重心移動を生じさせるドーム１１の動揺パターンを表す動揺データを演算する。
【０２９８】
即ち、図２７の実施の形態では、動揺データ演算部３８が、図４のデータ処理装置の重心対動揺応答生成部３６においてあらかじめ求められた重心対動揺応答情報を記憶しており、その重心対動揺応答情報に基づき、遠隔地から順次送信されてくる現実重心データを、動揺データに変換する。
【０２９９】
そして、動揺データ演算部３８は、現実重心データから求めた動揺データをエンコーダ３９に供給する。エンコーダ３９は、動揺データ演算部３８からの動揺データと、遠隔地から順次送信されてくる画像データとを対応付けることにより、画像動揺情報とし、画像／動揺デコード部２に供給される。
【０３００】
以降は、図２における場合と動揺の処理が行われ、これにより、ユーザは、遠隔地で記録された画像と動揺を、リアルタイムで享受することができる。
【０３０１】
【発明の効果】
以上の如く、本発明によれば、容易に、臨場感のある動揺感覚を、ユーザに感じさせることが可能となる。
【図面の簡単な説明】
【図１】従来の画像表示装置の一例の構成を示す図である。
【図２】本発明を適用した画像表示装置の第１実施の形態の構成例を示す図である。
【図３】画像表示装置の処理を説明するフローチャートである。
【図４】本発明を適用したデータ処理装置の一実施の形態の構成例を示すブロック図である。
【図５】現実重心データおよび画像データの取得方法を説明する図である。
【図６】平衡機能計５５が時系列に出力する重心位置の座標によって描かれる重心位置の軌跡の例を示す図である。
【図７】対画像重心データと学習用重心データの取得方法を説明する図である。
【図８】データ処理装置の処理を説明するフローチャートである。
【図９】重心対動揺応答生成部３６の第１の構成例を示すブロック図である。
【図１０】動揺対重心応答関数推定部７１の処理を説明する図である。
【図１１】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１２】重心対動揺応答生成部３６の第２の構成例を示すブロック図である。
【図１３】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１４】動揺データ演算部３８の構成例を示すブロック図である。
【図１５】予測タップおよびクラスタップの構成方法を説明する図である。
【図１６】動揺データ演算部３８の処理を説明するフローチャートである。
【図１７】重心対動揺応答生成部３６の第３の構成例を示すブロック図である。
【図１８】重心対動揺応答生成部３６の処理を説明するフローチャートである。
【図１９】重心対動揺応答生成部３６の第４の構成例を示すブロック図である。
【図２０】重心対動揺応答生成部３６の第５の構成例を示すブロック図である。
【図２１】本発明を適用した画像表示装置の第２実施の形態の構成例を示す図である。
【図２２】画像表示装置の処理を説明するフローチャートである。
【図２３】動揺データ更新部１１４の構成例を示すブロック図である。
【図２４】動揺データ更新部１１４の処理の詳細を説明するフローチャートである。
【図２５】新たな動揺データの生成方法を説明する図である。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２７】本発明を適用した画像表示装置の第３実施の形態の構成例を示す図である。
【符号の説明】
２ 画像／動揺デコード部， ４ 表示制御部， ７ 椅子， １１ ドーム， １２ スクリーン， １３ 平面ミラー， １４ 球面ミラー， ２１ 画像動揺情報データベース， ２３ 動揺制御部， ２５ モーションベース， ２６ アーム， ３１ 現実重心データベース， ３２ 対画像重心データベース， ３３ 学習用動揺データベース， ３４ 学習用重心データベース， ３５ 画像データベース， ３６ 重心対動揺応答生成部， ３７ 動揺算出用重心データ演算部， ３８ 動揺データ演算部， ３９ エンコーダ， ５１ 全方位カメラ， ５２ 球面ミラー， ５３ ビデオカメラ， ５４ 画像記憶部， ５５ 平衡機能計， ５６ 重心記憶部， ６１ 学習用画像データベース， ６２ 学習用動揺データベース， ６３ 平衡機能計， ６４ 学習用重心データベース， ７１ 動揺対重心応答関数推定部， ７２ 重心対動揺応答関数演算部， ８１ ＬＵＴ生成部， ８２ 類似パターン統合部， ９１ バッファ， ９２ 予測タップ抽出部， ９３ クラスタップ抽出部， ９４ クラス分類部， ９５ 係数記憶部， ９６ 積和演算部， １０１ 教師データメモリ， １０２ 生徒データメモリ， １０３ 予測タップ抽出部， １０４ クラスタップ抽出部， １０５ クラス分類部， １０６ 正規方程式加算部，１０７ タップ係数決定部， １１１ 平衡機能計， １１２ 交信用重心データベース， １１３ 現実重心データベース， １１４ 動揺データ更新部，１２１ ベクトル化部， １２２ ノルム演算部， １２３ 評価部， １２４ 更新部， １２５ 基準データ記憶部， ２０１ バス， ２０２ CPU，２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
Claims (23)
- 画像の表示を制御する表示制御装置において、
ユーザの周囲を覆う形状の表示手段であって、その内壁に前記画像を表示する表示手段を動揺させるための動揺データを受信する動揺データ受信手段と、
前記動揺データにしたがい、前記表示手段に表示される前記画像に同期して、前記表示手段を動揺させる動揺手段を制御する動揺制御手段と
を備え、
前記動揺制御手段がしたがう前記動揺データは、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求め、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
ことを特徴とする表示制御装置。 - 前記動揺制御手段がしたがう前記動揺データは、
現実世界で記録されたユーザの重心位置の変化である重心移動から、ユーザが前記画像を視聴することによってのみ生じる重心移動の影響を除去した重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
ことを特徴とする請求項１に記載の表示制御装置。 - 前記重心対動揺応答情報は、前記学習用の重心データと学習用の動揺データから求められた、前記重心データと動揺データとを対応付ける伝達関数である
ことを特徴とする請求項１に記載の表示制御装置。 - 前記重心対動揺応答情報は、前記学習用の重心データと学習用の動揺データから求められた、前記重心データと動揺データとを対応付けるルックアップテーブルである
ことを特徴とする請求項１に記載の表示制御装置。 - 前記重心対動揺応答情報は、前記学習用の重心データと学習用の動揺データから求められた、前記重心データから前記動揺データを求める所定の演算式の係数である
ことを特徴とする請求項１に記載の表示制御装置。 - 前記重心対動揺応答情報は、
前記学習用の重心データを、前記係数の学習の生徒である生徒データとするとともに、前記学習用の動揺データを、前記係数の学習の教師である教師データとして、
前記教師データを予測するための予測タップを、前記生徒データから構成し、
前記予測タップと前記係数とを用いて、前記所定の演算式によって求められる前記教師データの予測値の予測誤差を統計的に最小にする前記係数を求める
ことにより得られる前記係数である
ことを特徴とする請求項５に記載の表示制御装置。 - 前記動揺制御手段がしたがう前記動揺データは、
前記学習用の重心データを用いたクラス分けにより、所定のクラスごとの前記重心対動揺応答情報を求め、
現実世界で記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、そのユーザの重心移動を表す重心データを用いたクラス分けにより得られるクラスの前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
ことを特徴とする請求項１に記載の表示制御装置。 - 前記動揺データを記憶する動揺データ記憶手段と、
前記動揺データ記憶手段に記憶された前記動揺データを更新する動揺データ更新手段と
をさらに備え、
前記動揺データ受信手段は、前記動揺データ記憶手段に記憶された前記動揺データを読み出すことにより、その動揺データを受信する
ことを特徴とする請求項１に記載の表示制御装置。 - 前記表示手段を、前記動揺データ記憶手段に記憶された動揺データにしたがって動揺させたときの前記ユーザの重心を計測し、その重心の移動パターンを表す重心データを出力する重心計測手段をさらに備え、
前記動揺データ更新手段は、前記重心計測手段から出力される前記重心データと、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動とを比較することにより、前記動揺データを更新する
ことを特徴とする請求項８に記載の表示制御装置。 - 前記表示手段および動揺手段をさらに備える
ことを特徴とする請求項１に記載の表示制御装置。 - 画像の表示を制御する表示制御方法において、
ユーザの周囲を覆う形状の表示手段であって、その内壁に前記画像を表示する表示手段を動揺させるための動揺データを受信する動揺データ受信ステップと、
前記動揺データ受信ステップにより受信された前記動揺データにしたがい、前記表示手段に表示される前記画像に同期して、前記表示手段を動揺させる動揺手段を制御する動揺制御ステップと
を含み、
前記動揺制御ステップがしたがう前記動揺データは、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求め、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
ことを特徴とする表示制御方法。 - 画像の表示を制御する表示制御処理を、コンピュータに行わせるプログラムにおいて、
ユーザの周囲を覆う形状の表示手段であって、その内壁に前記画像を表示する表示手段を動揺させるための動揺データを受信する動揺データ受信ステップと、
前記動揺データ受信ステップにより受信された前記動揺データにしたがい、前記表示手段に表示される前記画像に同期して、前記表示手段を動揺させる動揺手段を制御する動揺制御ステップと
を含み、
前記動揺制御ステップがしたがう前記動揺データは、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求め、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
表示制御処理を、コンピュータに行わせることを特徴とするプログラム。 - 画像の表示を制御する表示制御処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
ユーザの周囲を覆う形状の表示手段であって、その内壁に前記画像を表示する表示手段を動揺させるための動揺データを受信する動揺データ受信ステップと、
前記動揺データ受信ステップにより受信された前記動揺データにしたがい、前記表示手段に表示される前記画像に同期して、前記表示手段を動揺させる動揺手段を制御する動揺制御ステップと
を含み、
前記動揺制御ステップがしたがう前記動揺データは、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求め、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことにより得られたものである
表示制御処理を、コンピュータに行わせるプログラムが記録されている
ことを特徴とする記録媒体。 - 現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを受信する現実重心データ受信手段と、
ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを、前記現実重心データを用いて求める動揺データ演算手段と、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成手段と
を備え、
前記動揺データ演算手段は、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づき、前記現実重心データを用いて求める
ことを特徴とするデータ処理装置。 - 現実世界で記録されたユーザの重心位置の変化である重心移動から、ユーザが前記画像を視聴することによってのみ生じる重心移動の影響を除去する除去手段をさらに備え、
前記動揺データ演算手段は、現実世界で記録されたユーザの重心位置の変化である重心移動から、ユーザが前記画像を視聴することによってのみ生じる重心移動の影響を除去した重心移動を生じさせる前記動揺データを、前記重心対動揺応答情報に基づいて求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記重心対動揺応答生成手段は、前記学習用の重心データと学習用の動揺データから、前記重心データと動揺データとを対応付ける伝達関数を、前記重心対動揺応答情報として求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記重心対動揺応答生成手段は、前記学習用の重心データと学習用の動揺データから、前記重心データと動揺データとを対応付けるルックアップテーブルを、前記重心対動揺応答情報として求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記重心対動揺応答生成手段は、前記学習用の重心データと学習用の動揺データから、前記重心データから前記動揺データを求める所定の演算式の係数を、前記重心対動揺応答情報として求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記重心対動揺応答生成手段は、
前記学習用の重心データを、前記係数の学習の生徒である生徒データとするとともに、前記学習用の動揺データを、前記係数の学習の教師である教師データとして、
前記教師データを予測するための予測タップを、前記生徒データから構成し、
前記予測タップと前記係数とを用いて、前記所定の演算式によって求められる前記教師データの予測値の予測誤差を統計的に最小にする前記係数を、前記重心対動揺応答情報として求める
ことを特徴とする請求項１８に記載のデータ処理装置。 - 前記重心対動揺応答生成手段は、前記学習用の重心データを用いたクラス分けにより、所定のクラスごとに、前記重心対動揺応答情報を求め、
前記動揺データ演算手段は、現実世界で記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、そのユーザの重心移動を表す重心データを用いたクラス分けにより得られるクラスの前記重心対動揺応答情報に基づいて求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを受信する現実重心データ受信ステップと、
ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを、前記現実重心データ受信ステップにより受信された前記現実重心データを用いて求める動揺データ演算ステップと、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップと
を含み、
前記動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答生成ステップにより求められた前記重心対動揺応答情報に基づき、前記現実重心データを用いて求める
ことを特徴とするデータ処理方法。 - コンピュータに実行させるプログラムにおいて、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを受信する現実重心データ受信ステップと、
ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを、前記現実重心データ受信ステップにより受信された前記現実重心データを用いて求める動揺データ演算ステップと、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップと
を含み、
前記動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答生成ステップにより求められた前記重心対動揺応答情報に基づき、前記現実重心データを用いて求める
処理を、コンピュータに実行させることを特徴とするプログラム。 - コンピュータに実行させるプログラムが記録されている記録媒体において、
現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を表す重心データである現実重心データを受信する現実重心データ受信ステップと、
ユーザの周囲を覆う形状の表示手段であって、その内壁に画像を表示する表示手段を動揺させるための動揺データを、前記現実重心データ受信ステップにより受信された前記現実重心データを用いて求める動揺データ演算ステップと、
前記表示手段を、学習用の動揺データにしたがって動揺させたときの前記ユーザの重心の移動パターンを表す学習用の重心データと、前記学習用の動揺データとから、前記表示手段の動揺と前記ユーザの重心移動との関係である重心対動揺応答情報を求める重心対動揺応答生成ステップと
を含み、
前記動揺データ演算ステップは、現実世界であらかじめ記録されたユーザの重心位置の変化である重心移動を生じさせる前記動揺データを、前記重心対動揺応答生成ステップにより求められた前記重心対動揺応答情報に基づき、前記現実重心データを用いて求める
処理を、コンピュータに実行させるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154628A JP4048558B2 (ja) | 2002-05-28 | 2002-05-28 | 表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154628A JP4048558B2 (ja) | 2002-05-28 | 2002-05-28 | 表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003345324A JP2003345324A (ja) | 2003-12-03 |
| JP4048558B2 true JP4048558B2 (ja) | 2008-02-20 |
Family
ID=29771382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002154628A Expired - Fee Related JP4048558B2 (ja) | 2002-05-28 | 2002-05-28 | 表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4048558B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760919A (zh) * | 2014-01-23 | 2014-04-30 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
| CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010224207A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 視覚刺激付与装置、及び生体情報計測システム |
| JP2013116773A (ja) * | 2011-12-01 | 2013-06-13 | Shimizu Corp | タワークレーンの遠隔操作システム |
| JP2017126178A (ja) * | 2016-01-13 | 2017-07-20 | 株式会社東海理化電機製作所 | 慣性駆動制御装置 |
-
2002
- 2002-05-28 JP JP2002154628A patent/JP4048558B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760919A (zh) * | 2014-01-23 | 2014-04-30 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
| CN103760919B (zh) * | 2014-01-23 | 2016-09-07 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
| CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003345324A (ja) | 2003-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11669152B2 (en) | Massive simultaneous remote digital presence world | |
| US11845008B2 (en) | Building virtual reality (VR) gaming environments using real-world virtual reality maps | |
| JP6792039B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| Winkler et al. | Questsim: Human motion tracking from sparse sensors with simulated avatars | |
| JP2021534491A (ja) | クロスリアリティシステム | |
| JP2021082310A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| CN111597976A (zh) | 一种基于rgbd相机的多人三维姿态估计方法 | |
| JP2018528509A (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
| CN108629830A (zh) | 一种三维环境信息显示方法及设备 | |
| JP4048558B2 (ja) | 表示制御装置および表示制御方法、データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP2021039625A (ja) | 物体数推定装置、物体数推定方法、および物体数推定プログラム | |
| CN112242002A (zh) | 基于深度学习的物体识别和全景漫游方法 | |
| KR20010043525A (ko) | 화상 제공 장치 및 그 제공방법, 화상 처리 장치 및 그처리방법, 및 기억 매체 | |
| KR101907794B1 (ko) | 360도 영상 전송 장치 및 방법 | |
| JP2005025762A (ja) | デジタル画像のコーディング装置、コーディングシステム、およびコーディング方法 | |
| US11107364B2 (en) | Method to enhance first-person-view experience | |
| Zhao et al. | Human motion reconstruction from monocular images using genetic algorithms | |
| CN110782478A (zh) | 运动合成装置和运动合成方法 | |
| WO2023189104A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| CN117389338B (zh) | 无人机的多视角交互方法、装置及存储介质 | |
| WO2024131479A1 (zh) | 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质 | |
| JP4243931B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
| WO2024098163A1 (en) | Neural hash grid based multi-sensor simulation | |
| CN118138834A (zh) | 一种视频生成方法和相关装置 | |
| CA2444492A1 (en) | Processing system for interactive, personal and idiosyncratic control of images and devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071118 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4048558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |