JP4389138B2

JP4389138B2 - Information processing apparatus and method, information processing system, and recording medium

Info

Publication number: JP4389138B2
Application number: JP2000221458A
Authority: JP
Inventors: 哲二郎近藤; 哲志小久保; 英雄笠間
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-21
Filing date: 2000-07-21
Publication date: 2009-12-24
Anticipated expiration: 2020-07-21
Also published as: JP2002044564A

Description

【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、並びに記録媒体に関し、特に、ユーザの好みの画像と動揺を提示する装置に適用して好適な情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
観客が画像を鑑賞しているとき、その画像と合わせて、観客が座っている椅子を動揺させることにより、臨場感を盛り上げるようにした装置がある。このような装置に対して供給される椅子を動揺させるための動揺データは、画像が撮像された際に、同時に角度などを検出する加速度センサといったセンサにより得られたデータから生成されたり、撮像された映像を人が観察し、その人が動揺を予測して手作業により生成されている。
【０００３】
【発明が解決しようとする課題】
上述した装置においては、センサを用いて画像撮像時に得られたデータを用いて動揺データを生成しているために、そのデータの取得作業が繁雑であった。また、動揺データを生成するためのデータと、そのデータを取得する画像は、実際に観客に対して動揺を与える際に同期させる必要があるために、画像と、その画像に対応する動揺データの組を複数取得するというのは困難であった。
【０００４】
その為に、楽しめる画像と動揺は限定され、仮に選択できる場合であっても、その種類は少なく、観客の好みに対応しきれないといった課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、観客が用意した好みの画像と、動揺に関するユーザの好みに関する情報を、ネットワークを介して他の装置に対して送信し、その他の装置においてユーザの好みに関する情報も考慮に入れた動揺データを生成し、その動揺データに基づく動揺を提示するようにことにより、観客の好みに対応した画像と動揺を提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、ネットワークを介して画像データと、動揺に関するユーザの好みに関する好みデータを入力する入力手段と、入力手段により入力された好みデータに対応する係数を出力する係数出力手段と、係数出力手段により出力された係数を用いて、入力手段により入力された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成手段とを含むことを特徴とする。
【０００７】
前記係数出力手段は、予め撮像された画像データと、その画像データに対応する動揺データを蓄積する蓄積手段と、好みデータに対応する蓄積手段に蓄積されている画像データと動揺データを読み出す読み出し手段と、読み出し手段により読み出された画像データと動揺データから、係数を算出する算出手段とを含むことを特徴とする。
【０００８】
前記係数出力手段は、予め撮像された画像データと、その画像データに対応する動揺データから算出された係数を蓄積し、その蓄積されている係数のなかから、好みデータに対応する係数を出力するようにすることができる。
【０００９】
請求項４に記載の情報処理方法は、ネットワークを介して画像データと、動揺に関するユーザの好みに関する好みデータの入力を制御する入力制御ステップと、入力制御ステップの処理で入力が制御された好みデータに対応する係数を出力する係数出力ステップと、係数出力ステップの処理で出力された係数を用いて、入力制御ステップの処理で入力が制御された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成ステップとを含むことを特徴とする。
【００１０】
請求項５に記載の記録媒体のプログラムは、ネットワークを介して画像データと、動揺に関するユーザの好みに関する好みデータの入力を制御する入力制御ステップと、入力制御ステップの処理で入力が制御された好みデータに対応する係数を出力する係数出力ステップと、係数出力ステップの処理で出力された係数を用いて、入力制御ステップの処理で入力が制御された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成ステップとを含むことを特徴とする。
【００１１】
請求項６に記載の情報処理システムは、第１の情報処理装置は、画像データとユーザの好みの動揺に関する好みデータを第２の情報処理装置に供給する第１の供給手段を含み、第２の情報処理装置は、第１の供給手段により供給された画像データと好みデータを入力する入力手段と、入力手段により入力された好みデータに対応する係数を出力する係数出力手段と、係数出力手段により出力された係数を用いて、入力手段により入力された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成手段と、生成手段により生成された動揺データを提示装置に供給する第２の供給手段とを含み、提示装置は、第２の供給手段により供給された動揺データに基づく動揺を提示する提示手段を含むことを特徴とする。
【００１２】
前記第２の供給手段は、第１の情報処理装置に対しても動揺データを供給し、第１の情報処理装置は、第２の供給手段により供給された動揺データに基づき、接続された動揺を提示する提示装置を制御する制御手段と、制御手段により制御された動揺が、好みデータが反映されたものであるか否かの判断結果を送信する送信手段とをさらに含み、第２の情報処理装置は、送信手段により送信された判断結果が、好みデータが反映されたものではないということを示している場合、生成手段により、動揺データを生成し直し、判断結果が、好みデータが反映されたものであるということを示している場合、第２の供給手段により、動揺データを提示装置に供給するようにすることができる。
【００１３】
請求項８に記載の情報処理方法は、第１の情報処理装置の情報処理方法は、画像データとユーザの好みの動揺に関する好みデータの第２の情報処理装置への供給を制御する第１の供給制御ステップを含み、第２の情報処理装置の情報処理方法は、第１の供給制御ステップの処理で供給が制御された画像データと好みデータの入力を制御する入力制御ステップと、入力制御ステップの処理で入力が制御された好みデータに対応する係数を出力する係数出力ステップと、係数出力ステップの処理で出力された係数を用いて、入力ステップの処理で入力が制御された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成ステップと、生成ステップの処理で生成された動揺データの提示装置への供給を制御する第２の供給制御ステップとを含み、提示装置の情報処理方法は、第２の供給制御ステップの処理で供給が制御された動揺データに基づく動揺を提示する提示ステップを含むことを特徴とする。
【００１４】
請求項９に記載の記録媒体のプログラムは、第１の情報処理装置のプログラムは、画像データとユーザの好みの動揺に関する好みデータの第２の情報処理装置への供給を制御する第１の供給制御ステップを含み、第２の情報処理装置のプログラムは、第１の供給制御ステップの処理で供給が制御された画像データと好みデータの入力を制御する入力制御ステップと、入力制御ステップの処理で入力が制御された好みデータに対応する係数を出力する係数出力ステップと、係数出力ステップの処理で出力された係数を用いて、入力ステップの処理で入力が制御された画像データに基づく画像に対応する動揺を制御するための動揺データを生成する生成ステップと、生成ステップの処理で生成された動揺データの提示装置への供給を制御する第２の供給制御ステップとを含み、提示装置のプログラムは、第２の供給制御ステップの処理で供給が制御された動揺データに基づく動揺を提示する提示ステップを含むことを特徴とする。
【００１５】
請求項１に記載の情報処理装置、請求項４に記載の情報処理方法、および請求項５に記載の記録媒体においては、入力されたユーザの好みの動揺に関する好みデータに対応する係数が出力され、その出力された係数を用いて、入力された画像データに基づく画像に対応する動揺を制御するための動揺データが生成される。
【００１６】
請求項６に記載の情報処理システム、請求項８に記載の情報処理方法、および請求項９に記載の記録媒体においては、第１の情報処理装置は、画像データとユーザの好みの動揺に関する好みデータを第２の情報処理装置に供給し、第２の情報処理装置は、入力された好みデータに対応する係数を出力し、その出力された係数を用いて、入力された画像データに基づく画像に対応する動揺を制御するための動揺データを生成し、その生成された動揺データを提示装置に供給し、提示装置は、供給された動揺データに基づく動揺を提示する。
【００１７】
【発明の実施の形態】
以下に、図面を参照しながら本発明の実施の形態について説明する。図１は、本発明を適用した情報処理システムの一実施の形態の構成を示す図である。端末１−１乃至１−Ｎ（以下、端末１−１乃至１−Ｎを、個々に区別する必要がない場合、単に端末１と記述する。他の装置も同様に記述する）は、例えば、家庭に設置してあるパーソナルコンピュータなどから構成される。端末１は、ネットワーク２を介して動揺データ生成装置３と接続されている。ネットワーク２は、LAN（Local Area Network）やインターネットなどにより構成される。
【００１８】
動揺データ生成装置３は、端末１から送信された画像データから、その画像に対応する（同期する）動揺データを生成し、ネットワーク２を介して画像動揺制御装置４に送信する。画像動揺制御装置４は、ネットワーク５を介して接続されている画像動揺提示装置６−１乃至６−Ｎを、動揺データ生成装置３から送信された動揺データに基づいて制御する。画像動揺提示装置６は、画像を提示するディスプレイと動揺を提示する椅子型の装置から構成され、例えば、ゲームセンターなどと称される場所に設置される。
【００１９】
次に、個々の装置について説明する。図２は、端末１の内部構成を示す図である。端末１は、CPU(Central Processing Unit)１１を内蔵している。CPU１１にはバス１４を介して、入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウスなどの入力デバイスよりなる入力部１６、処理結果としての例えば音声データを出力する出力部１７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１８、ネットワーク２を介してデータを通信するモデムなどよりなる通信部１９、および、磁気ディスク３１乃至半導体メモリ３４などのプログラム格納媒体に対してデータを読み書きするドライブ２０が接続されている。
【００２０】
USB（Universal Serial Bus）インタフェース２１には、USBケーブル（不図示）によりデジタルビデオカメラなどと接続される。バス１４には、ROM(Read Only Memory)１２およびRAM(Random Access Memory)１３が接続されている。
【００２１】
ユーザは、端末１の記憶部１８に記憶されている画像データや、USBインタフェース２１に接続されているデジタルビデオカメラなどから供給される画像データを、ネットワーク２を介して動揺データ生成装置３に対して送信することができるように構成されている。詳細は後述するが、画像データが動揺データ生成装置３に対して送信される際、ユーザ（端末１）に関する個人データも送信される。
【００２２】
動揺データ生成装置３は、端末１から送信された画像データを解析することにより、動揺データを生成する。図３は、動揺データ生成装置３の内部構成を示す図である。端末１から送信された画像データは、動揺データ生成装置３の入力部４１に入力される。入力部４１に入力された画像データは、動揺データ生成部４２に出力される。動揺データ生成部４２は、入力された画像データに基づく画像に対応した動揺を画像動揺提示装置６で提示させるための動揺データを生成し、出力部４３に出力する。
【００２３】
料金徴収部４４は、入力された個人データから、自己の装置の使用料金、換言すれば、動揺データの生成料金を徴収するための処理を実行する。このように個人データとは、使用料金を徴収するための必要とされるデータであり、例えば、クレジットカードナンバーや、銀行口座番号などである。また、動揺データ生成装置３を利用するためには、予め会員登録しなくてはいけないようにしておき、その会費として徴収するなどの支払い方法を用いても良い。さらに、プリペイド方式などを用いることも可能である。
【００２４】
入力部４１は、端末１からの画像データを受信したとき、ID生成部４５に対してIDデータの生成の指示を出す。その指示に従い、ID生成部４５は、IDデータを生成し、出力部４３に出力する。出力部４３は、画像データ、動揺データ、およびIDデータを関連付けて、端末１に対して送信する。
【００２５】
動揺データ生成装置３は、画像動揺制御装置４と画像動揺提示装置６の使用料金（実質的には、画像動揺制御装置４と画像動揺提示装置６の両方の使用料金だが、以下の説明においては、画像動揺制御装置４の使用料金と記述する）を予め徴収してしまうために、後の時点において、画像動揺制御装置４が自己の装置の使用料金を画像データ生成装置３に対して請求できるようなデータを課金用データ生成部４６により生成し、出力部４３を介して画像動揺制御装置４に対して送信する。
【００２６】
入力部４１には、端末１から画像データとともに送信された好みデータも入力する。入力部４１に入力された好みデータは、係数生成部４７に出力される。係数生成部４７は、係数（詳細は後述する）を動揺データ生成部４２に出力し、動揺データ生成部４２は、その係数を用いた動揺データを生成する。
【００２７】
図４は、係数生成部４７の内部構成を示す図である。図４に示すように係数生成部４７は、動揺データを蓄積する動揺データ蓄積部６１、画像データを蓄積する画像データ蓄積部６２、および、動揺データ蓄積部６１と画像データ蓄積部６２に、それぞれ蓄積されているデータの供給を受け、画像データと動揺データの関係に関する係数を算出する動揺データ学習部６３から構成されている。
【００２８】
動揺データ蓄積部６１と画像データ蓄積部６２に、それぞれ蓄積されるデータについて、具体例を挙げ、図５を参照して説明する。画像データ蓄積部６２は、舗装道路上を走行した車両に取り付けられたビデオカメラにより撮像された画像が蓄積されている。その画像に対する動揺データが動揺データ蓄積部６１に蓄積されている。この動揺データ蓄積部６１に蓄積される動揺データは、画像データ蓄積部６２に蓄積されている対応する画像データが撮像されたときに、センサなどを用いて得られたものである。または、対応する画像データを解析する（例えば、動きベクトルを検出するなどの解析）ことにより、得られたものである。
【００２９】
舗装道路上を走行した車両に取り付けられたビデオカメラにより撮像された画像から得られる動揺データとしては、Ｘ、Ｙ、Ｚの３軸周りの回転成分であるピッチ（pitch）、ロール（roll）、およびヨー（yaw）と、３軸方向の並進成分ｘ，ｙ，ｚがある。ここで、動揺データについて説明する。まず、動揺データについて説明する前に、動揺データに基づき、動揺を提示する画像動揺提示装置６の構成について説明する。
【００３０】
図６は、画像動揺提示装置６の構成を示す図である。図６に示すように、画像動揺提示装置６は、画像を提示するディスプレイ７１、動揺を提示する駆動装置７２、およびデータ取得装置７３から構成されている。
【００３１】
ディスプレイ７１は、画像動揺制御装置４からの画像データに基づく画像を提示する。同様に、駆動装置７２は、画像動揺制御データ４からの動揺データに基づく動揺を観客（ユーザ）に提供する。データ取得装置７３は、ネットワーク５を介して画像動揺制御装置４からの各種のデータを受信し、ディスプレイ７１と駆動装置７２に供給すると共に、スロット７４に挿入されたカード（詳細は後述する）からデータを取得し、その取得したデータを画像動揺制御装置４に送信する。また、表示部７５は、各種の情報を表示するために設けられている。
【００３２】
駆動装置７２の一例を図７と図８に示す。図７は、駆動装置７２の側面図であり、図８は、駆動装置７２を上面から見た図である。駆動装置７２は、６本のアクチュエータとしてのピストン８１−１乃至８１−６を備えており、これらのピストンにより台座８２が支えられている。台座８２には、椅子８３が固定されており、この椅子８３の上に観客８４が座るようになされている。
【００３３】
ピストン８１−１乃至８１−６は、それぞれの中心軸に沿って伸縮運動ができるようにされている。ピストン８１−１乃至８１−６が伸縮運動をすることにより、台座８２が動揺し、さらに台座８２に固定されている椅子８３が動揺する。ピストン８１−１乃至８１−６を制御するためのデータは、画像動揺制御装置４からネットワーク５を介して入力される動揺データである。
【００３４】
このように、画像動揺提示装置６の駆動装置７２は構成されるため、例えば、実際に自動車に搭乗している時に得られる動揺を、そのまま与えることはできない。すなわち、駆動装置７２は、劇場などの特定の場所に固定され、動揺を提示する制約から、制限なく回転させたり、並進させることはできない。そこで、あたかも車両に搭乗しているような感覚を与えるような動揺を提示するためには、動揺データとして、実動揺データと代替動揺データとの２つのデータを生成する必要がある。
【００３５】
実動揺データは、実際の角度あるいは位置の変化をそのまま与えるためのデータであり、代替動揺データは、回転角速度または並進加速度の変化に応じて、それぞれのパルス的またはステップ的に角度変化を与えるデータである。
【００３６】
自動車を路面に沿って走行させる場合の実動揺データと代替動揺データは、例えば図９に示すように構成される。実動揺データとしては、路面の前後の傾き、路面の左右の傾き、前後方向の振動、左右方向の振動、および、上下方向の振動が挙げられる。路面の前後の傾きは、動揺成分pitchで表現され、路面の左右の傾きは、動揺成分rollで表現される。前後方向の振動、左右方向の振動、または、上下方向の振動は、それぞれ動揺成分ｘ，ｙ，ｚで表現される。
【００３７】
代替動揺データとしては、加減速による慣性力、カーブ時の遠心力、およびカーブ時の車首振りが挙げられる。加減速による慣性力は、動揺成分ｘの二重微分値ｘ’’で表現され、カーブ時の遠心力は、動揺成分ｘの微分値ｘ’と動揺成分yawの微分値yaw’の積ｘ’・yaw’で表現される。カーブ時の車首振りは、動揺成分yawの微分値yaw’で表現される。
【００３８】
加減速による慣性力は、動揺成分pitchに対応し、カーブ時の遠心力は、動揺成分rollに対応し、カーブ時の車首振りは、動揺成分yawに対応する。
【００３９】
図４に示した係数生成部４７の説明に戻り、係数生成部４７は、上述したような動揺データを蓄積する動揺データ蓄積部６１、動揺データ蓄積部６１に蓄積されている動揺データを生成する基となった画像データを蓄積する画像データ蓄積部６２、および、動揺データ蓄積部６１に蓄積されている動揺データと、画像データ蓄積部６２に蓄積されている画像データとの関係係数を出力する動揺データ学習部６３とから構成されている。
【００４０】
図１０は、動揺データ学習部６３の内部構成を示す図である。動きベクトル計算装置１１１は、画像データ蓄積部６２からの画像データを走査変換してフレーム単位の画像データにし、画面全体に渡って格子状に予め与えられた代表点としての画素データに基づき、現在のフレームと、１フレーム前の過去のフレームとの間で動きベクトルを計算し、動き中心計算装置１１２とカメラ動き推定量計算装置１１３に出力する。
【００４１】
動き中心計算装置１１２は、各代表点における、所定のシーンの初めから終わりまでの画像の動きベクトルの値から、画面全体の画像の動き中心（１点透視における無限遠点）座標を求め、カメラ動き推定量計算装置１１３に出力する。
【００４２】
カメラ動き推定量計算装置１１３は、動き中心に対する代表点の相対座標、代表点における動きベクトル、並びに３次元空間とそれをビデオカメラで撮影した結果の２次元画像との幾何学的関係から、１フレーム周期当たりのビデオカメラの位置と姿勢の変化のピクセル単位での推定量を表すカメラ動き推定量を成分（ｖ_x，ｖ_y，ｖ_z，ｗ_x，ｗ_y，ｗ_z）毎に数個計算し、関係係数学習装置１１５に出力する。
【００４３】
カメラ動き量計算装置１１４は、カメラ動き推定量と物理量（単位時間当たりの距離または角度）が一致するように動揺データ蓄積部６１から供給された動揺データから、実際にカメラが動いた量（ｍ／秒またはrad／秒）を表すカメラ動き量を成分（ｘ’，ｙ’，ｚ’，roll'，pitch'，yaw'）毎に計算し、関係係数学習装置１１５に出力する。
【００４４】
関係係数学習装置１１５は、カメラ動き推定量計算装置１１３から供給される数個のカメラ動き推定量と、それに時間的に対応する、カメラ動き量計算装置１１４から供給される１つのカメラ動き量との対応を表す画像動揺データ関係係数を、線形１次結合の係数の形で成分毎に学習する。
【００４５】
このようにして学習された画像動揺データ関係係数は、動揺データ生成部４２（図３）に供給される。図１１は、動揺データ生成装置４２の内部構成を示す図である。動きベクトル計算装置１３１は、入力された画像（端末１から供給される画像であり、画像データ蓄積部６２に蓄積されている画像データとは異なる画像である）から動きベクトルを検出し、動き中心計算装置１３２とカメラ動き推定量計算装置１３３に出力している。動き中心計算装置１３２は、入力された動きベクトルに基づいて、入力画像の動き中心座標を検出し、カメラ動き推定量計算装置１３３に出力する。
【００４６】
カメラ動き推定量計算装置１３３は、動きベクトル計算装置１３１より入力され、動きベクトルと動き中心計算装置１３２より供給される動き中心座標に基づいてカメラ動き推定量を演算し、カメラ動き予測量計算装置１３４に出力している。この動きベクトル計算装置１３１、動き中心計算装置１３２、およびカメラ動き推定量計算装置１３３は、図１０において説明した動きベクトル計算装置１１１、動き中心計算装置１１２、およびカメラ動き推定量計算装置１１３と同様の構成と機能を有するものである。
【００４７】
カメラ動き予測量計算装置１３４は、画像動揺データ関係学習装置１より供給される画像動揺データ関係係数と、カメラ動き推定量計算装置１３３より供給されるカメラ動き推定量との線形１次結合を演算することで、１フレーム周期においてビデオカメラが動いたと思われる情報を表すカメラ動き予測量を演算し、動揺データ計算装置１３５に出力する。入力動揺データ計算装置１３５は、入力されたカメラ動き予測量から、駆動装置７２を平行移動または回転移動させるときの動揺データと物理量が一致するような動揺データを計算し、出力する。
【００４８】
このようにして動揺データを生成することにより、既存の画像資源（端末１から供給されるユーザの好みの画像）から、その画像に対応した臨場感を体験させることが可能な動揺データを簡単にかつ確実に生成することが可能となる。
【００４９】
動揺データ生成部４２により生成された動揺データは、入力された画像データ、ID生成部４５により生成されたIDデータ、および課金用データ生成部４６により生成された課金用データと関連付けられ、ネットワーク２（図１）を介して画像動揺制御装置４に対して送信される。
【００５０】
図１２は、画像動揺制御装置４の内部構成を示す図である。ネットワーク２を介して動揺データ生成装置３から送信されてきた、上述したような動揺データを含む各種のデータは、データ入力部１５１に入力される。データ入力部１５１に入力された各種のデータの内、課金用データは、課金処理部１５２に、画像データと動揺データは、データ蓄積部１５３に、IDデータは、IDデータ蓄積部１５４に、それぞれ出力される。
【００５１】
課金処理部１５２は、入力された課金用データに基づき、画像動揺制御装置４の使用料金を徴収する処理を実行する。データ蓄積部１５３は、入力された画像データと動揺データを記憶し、それらのデータを記憶したアドレスに関するデータをIDデータ蓄積部１５４に出力する。IDデータ蓄積部１５４は、入力されたIDデータと、アドレスデータを関連付けて記憶する。
【００５２】
IDデータ入力部１５５は、ネットワーク５を介して画像動揺提示装置６から送信されたIDデータを入力し、ID認証部１５６に出力する。ID認証部１５６は、入力されたIDデータが、IDデータ蓄積部１５４に蓄積されているか否かを調査し、蓄積されていると判断された場合、そのIDデータに関連付けられているアドレスデータを読み出し、その読み出したアドレスデータに基づき、データ蓄積部１５３に対して、データの出力指示信号を出力する。
【００５３】
データ蓄積部１５３は、ID認証部１５６からの指示に従い、画像データと動揺データをデータ出力部１５７に出力する。データ出力部１５７は、入力された画像データと動揺データをネットワーク５を介して画像動揺提示装置６に対して送信する。
【００５４】
次に、図１５のフローチャートを参照して、図１に示した情報処理システムの動作について説明する。端末１は、ステップＳ１において、画像データをネットワーク２を介して動揺データ生成装置３に対して送信する。画像データが送信される際、課金用に用いられるデータとして個人データも合わせて送信される。個人データとは、具体的にはクレジットカード番号である。または、本実施の形態で示されるサービスを受ける場合、予め、登録しておき、指定の銀行口座などから引き落とされるようにしたときは、ユーザを一意に識別するための、例えばパスワードなどのデータであっても良い。プリペイド方式を利用することも可能である。
【００５５】
どのような方式を用いても良いが、ステップＳ１において、画像データと共に、課金するために用いられる個人データが送信される。これらのデータと一緒に、好みデータも送信される。好みデータとは、例えば、通常より垂直方向の揺れが大きい方が良いとか逆に小さい方が良いといった、ユーザ毎のニーズにあった動揺を生成するために用いられるデータである。ユーザは、ステップＳ１において、画像データを端末１から送信させる際、自分の好みの動揺（好みデータ）を設定し送信する。
【００５６】
または、追加料金の額を好みデータして用いるようにしても良い。追加料金を払わない場合には、最低限の動揺しか提示されないようにし、追加料金の額により、所定方向の動揺を大きくしたり、追加料金の額により提示される動揺が増えるようにする。このような追加料金の額と、その額により提示される動揺の種類は、予め設定されており、その設定に基づいて、ユーザは、ステップＳ１において、画像データを送信する際、好みデータとしての追加料金を選択する。
【００５７】
画像データ、個人データ、および好みデータを受信した動揺データ生成装置３は、ステップＳ２において、まず課金処理を実行する。課金処理は、動揺データ生成装置３の料金徴収部４４が行うと共に、課金用データ生成部４６においても行われる。
【００５８】
料金徴収部４４は、動揺データの生成に対する料金を徴収する。換言すれば、動揺データ生成装置３を管理する人に対して支払われる料金を徴収する。ここでは、ユーザが、後の時点で画像動揺提示装置６において、画像と、その画像に対応する動揺の提示を受けるときに、画像動揺制御装置４の使用料金として新たに支払いという処理を行うようなことがないように、ステップＳ２の処理として動揺データ生成装置３が一括して、予め徴収してしまう。
【００５９】
課金用データ生成部４６は、ステップＳ２における課金処理として、画像動揺制御装置４の使用料金を予め徴収しているので、後の時点において、画像動揺制御装置４が、その料金を徴収できるようにするためのデータを生成する。
【００６０】
ステップＳ３において、動揺データ生成装置３は、画像データを送信してきた端末１に対してIDデータを送信する。ここで、端末１に対して送信されるIDデータは、ID生成部４５において生成されたデータであり、入力された画像データ、動揺データ生成部４２において生成された動揺データ、および課金用データ生成部４６により生成された課金用データが関連付けられた組と、他の組のデータとが一意に区別が付くように割り当てられたデータである。
【００６１】
動揺データ生成装置３から送信されたIDデータは、ステップＳ４において、端末１において受信され、記憶される。ユーザは、受信されたIDデータを、ドライブ２０（図２）にセットされている例えば、磁気ディスク３１に記憶させる。または、図示されていないカード状の記録媒体にIDデータを記憶させたり、ユーザ自身が紙媒体に書き込むようにしても良い。IDデータを記録させる媒体は、画像動揺提示装置６のデータ取得装置７３（図６）がどのような媒体を取り扱うか（どのような形でデータを入力するか）に依存する。
【００６２】
動揺データ生成装置３は、端末１に対してIDデータを送信する一方で、ステップＳ５において、動揺データの生成処理を実行する。動揺データは、上述したように、動揺データ生成部４２において生成される。動揺データが生成される際、まず、係数生成部４７に好みデータが入力され、その好みデータに従って、動揺データ蓄積部６１から動揺データが、その動揺データに対応する画像データが、画像データ蓄積部６２から、それぞれ読み出され、動揺データ学習部６３に出力される。
【００６３】
すなわち、好みデータとして、上述したように、ユーザの好みを反映させるためのデータの場合と、追加料金に応じたデータの場合とがあるが、ユーザの好みを反映させるデータのときは、ユーザの好みとされる動揺の成分が強調されるような動揺データが動揺データ蓄積部６１から読み出され、追加料金に応じたデータのときは、例えば、図５に示したような動揺データ蓄積部６１から、振動だけの成分が読み出される、振動とピッチの成分が読み出されるなど、追加料金の額に応じて読み出される成分（成分の個数）が異なる。
【００６４】
このようにして、好みデータを係数生成部４７により生成される係数に反映させる。
【００６５】
動揺データ学習部６３（図４）は、動揺データ蓄積部６１と画像データ蓄積部６２から、それぞれ読み出された動揺データと画像データとから、画像動揺データ関係係数を算出し、動揺データ生成部４２（図３）のカメラ動き予測量計算装置１３４（図１１）に出力する。動揺データ生成部４２の動きベクトル計算装置１３１には、端末１から入力部４１を介して入力された画像データが入力される。動揺データ生成部４２は、入力された画像データと画像動揺データ関係係数を用いて、動揺データを生成する。
【００６６】
動揺データの生成が終了されると、動揺データ生成装置３は、ステップＳ６において、画像データ、動揺データ、課金用データ、およびIDデータを、それぞれ関連付け、画像動揺制御装置４に対して送信する。
【００６７】
画像動揺制御装置４は、ステップＳ７において、ネットワーク２を介して動揺データ生成装置３から送信された各種のデータを受信する。そして、画像データと動揺データはデータ蓄積部１５３に蓄積され、IDデータは、IDデータ蓄積部１５４に蓄積される。IDデータがIDデータ蓄積部１５４に記憶される際、データ蓄積部１５３から、画像データと動揺データが記憶されたアドレスに関するデータが出力され、そのアドレスデータと関連付けられて蓄積される。
【００６８】
課金処理部１５２は、ステップＳ８において、課金処理を実行する。この課金処理は、受信された課金用データに基づき行われる。すなわち、上述したように、動揺データ生成装置３は、ステップＳ２において、ユーザから、画像動揺制御装置４の使用料金を、予め徴収しているため、ステップＳ８においては、その既に徴収されている使用料金を、動揺データ生成装置３に対して請求し、取得する処理である。
【００６９】
ステップＳ９において、画像動揺提示装置６にIDデータが入力される。IDデータは、例えば、端末１がステップＳ４において行うIDデータの記憶が、カード状の記録媒体に記録させるものである場合、そのカード状の記録媒体がデータ取得装置７３のスロット７４にセットされ、そのセットされた記録媒体から読み出されることにより取得される。
【００７０】
その他の実施の形態とし、例えば、データ取得装置７３の表示部７５に、図１４に示したような画像を表示させ、その表示された画面を参照してユーザ自身により入力されるようにしても良い。すなわち、表示部７５は、タッチセンサパネルであり、ユーザは、画面に触れることにより指示を出すことができるようになっている。
【００７１】
画面には、例えば、宣伝用の画像やユーザが提供を受ける画像が表示される画像表示部１７１、スロット７４（図６）にセットされた記録媒体から読み出されたIDデータ、または、テンキー１７２を使用してユーザが入力したIDデータが表示されるID表示欄１７３が表示されている。ID表示欄１７３の下側には、動揺を体感するか否かを選択するための動揺提示指示欄１７４が表示されている。十字キー１７５は、カーソルの位置を移動させたりする際に操作される。
【００７２】
IDデータは、上述したように、記録媒体から読み出されるようにしても良いし、テンキー１７３を使用してユーザが直接入力するようにしても良い。
【００７３】
ステップＳ９において、画像動揺提示装置６にIDデータが入力されると、そのIDデータは、画像動揺制御装置４に対して送信される。画像動揺制御装置４は、ステップＳ１０において、画像動揺提示装置６から送信されたIDデータをIDデータ入力１５５により入力すると、ID認証部１５６により認証処理が実行される。
【００７４】
ID認証部１５６は、入力されたIDデータと合致するIDデータが、IDデータ蓄積部１５４に蓄積されているか否かを調査することにより認証処理を行う。認証を行った結果、合致するIDデータが、IDデータ蓄積部１５４に蓄積されていると判断された場合、ステップＳ１１に進むが、蓄積されていないと判断された場合、これ以降の処理は行われない。
【００７５】
ステップＳ１１において、認証済みのIDデータに関連付けられているアドレスデータに基づき、データ蓄積部１５３から画像データと動揺データが読み出され、データ出力部１５７より、ネットワーク５を介して画像動揺提示装置６に対して送信される。画像動揺提示装置６は、ステップＳ１２において、画像動揺制御装置４から送信されてきた画像データに基づき画像を提示し、動揺データに基づき動揺を提示する。
【００７６】
このようにして、ユーザの好みの画像において、その画像の、かつ、好みの反映された動揺をユーザに提示することができる。また、上述した実施の形態においては、ユーザ側は、画像を送信したときに、一括して使用料金を支払うため、使用する装置毎に支払いの処理を実行しなくてならないような手間を省くことができる。また、システム側は、それぞれの装置が確実に料金の徴収が行える。
【００７７】
図１５は、情報処理システム他の構成を示す図である。図１５に示した情報処理システムにおいては、端末１ー１乃至１−Ｎは、それぞれ、簡易型動揺提示装置１８１−１乃至１８１−Ｎを備えている。簡易型動揺提示装置１８１は、動揺データ生成装置３において生成された動揺データをネットワーク２を介して受信した端末１の制御により、動揺をユーザに提示する装置である。この簡易型動揺提示装置１８１は、画像動揺提示装置６とは異なり、家庭内でも動揺を体感できるように構成されているが、その動揺は、簡便なものであり、単に、ユーザが、送信した好みデータが反映されたか否かを確認するために設けられている。
【００７８】
次に、図１６のフローチャートを参照し、図１５に示した情報処理システムにおける動作について説明する。なお、動揺データ生成装置３、画像動揺制御装置４、および画像動揺提示装置６は、それぞれ、上述した実施の形態と同一の装置を用いることができる。
【００７９】
ステップＳ２１において、端末１から画像データ、個人データ、好みデータが送信される。これらのデータは、ステップＳ２２において、動揺データ生成装置３に受信され、動揺データ生成装置３において課金処理が実行される。ステップＳ２１とステップＳ２２の処理は、図１３のフローチャートのステップＳ１とステップＳ２の処理と同様である。
【００８０】
ステップＳ２３において、動揺データが生成される。この処理も、図１３のフローチャートのステップＳ５の処理と同様である。生成された動揺データは、ステップＳ２４において、IDデータと共に、端末１に送信される。端末１は、ステップＳ２５において、受信したIDデータを所定の記録媒体に記録すると共に、画像データの受信も行う。そして、端末１は、ステップＳ２６において、受信した動揺データに従い、簡易型動揺提示装置１８１を制御する。
【００８１】
動揺データは、画像動揺提示装置６において、本格的に動揺を提示するために生成されたものであるので、簡易型動揺提示装置１８１を制御するのに、そのまま用いることはできない。そこで、端末１では、入力された動揺データを簡易型動揺提示装置１８１に適した動揺データに変換し、その変換した動揺データに基づき、簡易型動揺提示装置１８１を制御する。
【００８２】
ユーザは、簡易型動揺提示装置１８１により提示される動揺を確認し、その動揺が好みデータが反映されたものであるか否かを判断する。その判断結果は、ステップＳ２７において、端末１から動揺データ生成装置３に対して送信される。動揺データ生成装置３は、ステップＳ２８において、端末１からの判断結果を受信する。
【００８３】
動揺データ生成装置３は、ステップＳ２９において、受信した判断結果に基づく処理を実行する。受信した判断結果が、ユーザが好みデータが反映されたものではないと判断したというものであった場合、ステップＳ２３に戻り、それ以降の処理が繰り返され、ユーザが好みデータが反映されたものであると判断したというものであった場合、ステップＳ３０に進む。
【００８４】
従って、ステップＳ２３乃至Ｓ２９の処理は、ユーザが好みデータが反映された動揺であるという判断をするまで繰り返し行われる。しかしながら、無限にステップＳ２３乃至Ｓ２９の処理が繰り返されることを許可すると、例えば、ユーザが、簡易型動揺提示装置１８１だけで、繰り返し動揺を楽しみ、それだけで、満足してしまう（画像動揺提示装置６による動揺の提示を受けない）ことが考えられる。このようなことは、不正に、動揺の提示を受けていると見なすことができるので、そのようなことを防ぐために、ステップＳ２３乃至Ｓ２９の処理が繰り返される回数（ユーザが動揺データの再生成を求めることができる回数）を、例えば３回と設定しておくようにしても良い。
【００８５】
また、ステップＳ２７において、ユーザが端末１により、好みデータが反映された動揺ではないとの判断結果を送信する場合、具体的に、どのように反映されていないのかを示すデータを一緒に送信するようにしても良い。
【００８６】
ステップＳ２９において、受信した判断結果が、ユーザが好みデータが反映されたものであると判断したというものであって、処理がステップＳ３０に進んだ場合、画像動揺制御装置４に対して、各種のデータの出力が行われる。ステップＳ３０において、出力されるデータとしては、動揺データ、画像データ、IDデータ、および課金用データがそれぞれ関連付けられたデータである。
【００８７】
ステップＳ３０以降の処理は、図１３のフローチャートのステップＳ７以降の処理と同様であるので、その説明は省略する。
【００８８】
このように、簡易型動揺提示装置１８１を設けることにより、よりユーザの好みが反映された動揺データを、確実に提示することが可能となる。
【００８９】
なお、上述した実施の形態においては、係数生成部４７は、好みデータが入力されると、その好みデータに対応した動揺データと画像データを、動揺データ蓄積部６１と画像データ蓄積部６２から、それぞれ読み出し、動揺データ学習部６３により画像動揺関係係数を生成し出力するとして説明したが、予め画像動揺データ関係係数を複数記憶し、好みデータに対応したものを出力する（新たに生成するのではなく、記憶されているものを読み出すようにする）ようにしても良い。
【００９０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００９１】
この記録媒体は、図２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピディスクを含む）、光ディスク３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク３３（MD（Mini-Disk）を含む）、若しくは半導体メモリ３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１２や記憶部１８が含まれるハードディスクなどで構成される。
【００９２】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９４】
【発明の効果】
以上の如く請求項１に記載の情報処理装置、請求項４に記載の情報処理方法、および請求項５に記載の記録媒体によれば、入力されたユーザの好みの動揺に関する好みデータに対応する係数を出力し、その出力された係数を用いて、入力された画像データに基づく画像に対応する動揺を制御するための動揺データを生成するようにしたので、ユーザの好みがより反映された動揺を提示するためのデータの生成が可能となる。
【００９５】
請求項６に記載の情報処理システム、請求項８に記載の情報処理方法、および請求項９に記載の記録媒体によれば、第１の情報処理装置は、画像データとユーザの好みの動揺に関する好みデータを第２の情報処理装置に供給し、第２の情報処理装置は、入力された好みデータに対応する係数を出力し、その出力された係数を用いて、入力された画像データに基づく画像に対応する動揺を制御するための動揺データを生成し、その生成された動揺データを提示装置に供給し、提示装置は、供給された動揺データに基づく動揺を提示するようにしたので、ユーザの好みがより反映された動揺を提示する事が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した情報処理システムの一実施の形態の構成を示す図である。
【図２】端末１の内部構成を示す図である。
【図３】動揺データ生成装置３の内部構成を示す図である。
【図４】係数生成部４７の内部構成を示す図である。
【図５】係数生成部４７に記憶されているデータについて説明する図である。
【図６】画像動揺提示装置６の構成を示す図である。
【図７】駆動装置７２の側面図である。
【図８】駆動装置７２の上面からの図である。
【図９】実刺激と代替刺激について説明する図である。
【図１０】動揺データ学習部６３の内部構成を示す図である。
【図１１】動揺データ生成部４２の内部構成を示す図である。
【図１２】画像動揺制御装置４の内部構成を示す図である。
【図１３】システムの動作について説明するフローチャートである。
【図１４】表示部７５に表示される画面について説明する図である。
【図１５】情報処理システムの実施の形態の他の構成を示す図である。
【図１６】図１５に示した情報処理システムの動作を説明するフローチャートである。
【符号の説明】
１端末，２ネットワーク，３動揺データ生成装置，４画像動揺制御装置，５ネットワーク，６画像動揺提示装置，４２動揺データ生成部，４４料金徴収部，４５ ID生成部，４６課金用データ生成部，６１動揺データ蓄積部，６２画像データ蓄積部，６３動揺データ学習部，７１ディスプレイ，７２駆動装置，７３データ取得装置，７４スロット，１５２課金処理部，１５３データ蓄積部，１５４ IDデータ蓄積部，１５５ IDデータ入力部，１５６ ID認証部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus and method, and a recording medium, and more particularly, to an information processing apparatus and method suitable for application to an apparatus that presents a user's favorite image and shaking, and a recording medium.
[0002]
[Prior art]
There is a device in which when a spectator is watching an image, the chair in which the spectator is sitting is shaken together with the image to increase the sense of reality. The swing data for swinging the chair supplied to such a device is generated or captured from data obtained by a sensor such as an acceleration sensor that simultaneously detects an angle or the like when the image is captured. A person observes the recorded video, and the person is generated manually by predicting upset.
[0003]
[Problems to be solved by the invention]
In the apparatus described above, since motion data is generated using data obtained at the time of image capture using a sensor, the data acquisition operation is complicated. Moreover, since the data for generating the shaking data and the image from which the data is acquired need to be synchronized when actually shaking the audience, the image and the shaking data corresponding to the image are It was difficult to obtain multiple sets.
[0004]
For this reason, the images and shakes that can be enjoyed are limited, and even if they can be selected, there are few types, and there is a problem that they cannot cope with the tastes of the audience.
[0005]
The present invention has been made in view of such a situation, and transmits a preference image prepared by a spectator and information about user preference regarding shaking to other devices via a network, and other devices. The purpose is to be able to present images and sway corresponding to the audience's preferences by generating sway data that also takes into account information about user preferences in, and presenting sway based on that sway data To do.
[0006]
[Means for Solving the Problems]
The information processing apparatus according to claim 1, an input unit that inputs image data and preference data related to user's preference related to shaking via a network, and a coefficient that outputs a coefficient corresponding to the preference data input by the input unit Output means, and generating means for generating shake data for controlling the shake corresponding to the image based on the image data input by the input means, using the coefficient output by the coefficient output means, To do.
[0007]
The coefficient output means includes storage means for storing pre-captured image data, shaking data corresponding to the image data, and reading means for reading out image data and shaking data stored in the storage means corresponding to preference data. And calculating means for calculating a coefficient from the image data and shaking data read by the reading means.
[0008]
The coefficient output means accumulates image data captured in advance and a coefficient calculated from shaking data corresponding to the image data, and outputs a coefficient corresponding to the preference data from the accumulated coefficients. Can be.
[0009]
5. The information processing method according to claim 4, comprising: an input control step for controlling input of image data and preference data relating to user preferences relating to shaking via the network; and preference data whose input is controlled by processing of the input control step. A coefficient output step for outputting a coefficient corresponding to the image and a coefficient output in the coefficient output step processing to control the fluctuation corresponding to the image based on the image data whose input is controlled in the input control step processing. And generating a fluctuation data.
[0010]
The recording medium program according to claim 5 is an input control step for controlling input of image data and preference data related to user's preference regarding shaking, and a preference whose input is controlled by processing of the input control step. Using the coefficient output step for outputting the coefficient corresponding to the data and the coefficient output in the process of the coefficient output step, the fluctuation corresponding to the image based on the image data whose input is controlled in the process of the input control step is controlled. Generating a motion data for generating the motion data.
[0011]
The information processing system according to claim 6, wherein the first information processing apparatus includes first supply means for supplying image data and preference data relating to user's preference fluctuation to the second information processing apparatus, The information processing apparatus includes an input unit that inputs image data and preference data supplied by the first supply unit, a coefficient output unit that outputs a coefficient corresponding to the preference data input by the input unit, and a coefficient output unit. Generating means for controlling the shaking corresponding to the image based on the image data input by the input means using the coefficient output by the input means, and the shaking data generated by the generating means to the presentation device And a second supply means for supplying the presentation apparatus, wherein the presentation device includes presentation means for presenting a fluctuation based on the fluctuation data supplied by the second supply means.
[0012]
The second supply means also supplies shaking data to the first information processing apparatus, and the first information processing apparatus is connected to the shaking based on the shaking data supplied by the second supply means. Control means for controlling the presentation device for presenting, and transmission means for transmitting a determination result as to whether or not the shaking controlled by the control means reflects preference data. When the determination result transmitted by the transmission means indicates that the preference data is not reflected, the processing device regenerates the shake data by the generation means, and the determination result reflects the preference data. In the case where it is indicated that the data has been changed, the second supply means can supply the shaking data to the presentation device.
[0013]
The information processing method according to claim 8, wherein the information processing method of the first information processing apparatus controls the supply of image data and preference data relating to user's preference fluctuation to the second information processing apparatus. An information processing method of the second information processing apparatus includes a supply control step, an input control step for controlling input of image data and preference data whose supply is controlled in the process of the first supply control step, and an input control step Based on the coefficient output step for outputting the coefficient corresponding to the preference data whose input is controlled in the processing in step (b), and the image data whose input is controlled in the processing in the input step using the coefficient output in the processing in the coefficient output step. A generation step for generating shaking data for controlling the shaking corresponding to the image, and a second provision for controlling the supply of the shaking data generated in the processing of the generation step to the presentation device. And a control step, the information processing method of the presentation device, characterized in that it comprises a presentation step of supplying the processing of the second supply control step presents the upset based on motion data which is controlled.
[0014]
The program of the recording medium according to claim 9, wherein the program of the first information processing apparatus is a first supply that controls supply of image data and preference data relating to user's preference fluctuation to the second information processing apparatus. The program of the second information processing apparatus includes a control step, an input control step for controlling input of image data and preference data whose supply is controlled in the process of the first supply control step, and a process of the input control step. A coefficient output step that outputs a coefficient corresponding to preference data whose input is controlled, and an image based on the image data whose input is controlled by the process of the input step using the coefficient output by the process of the coefficient output step A generation step for generating shaking data for controlling the shaking to be performed, and a second for controlling supply of the shaking data generated by the processing of the generation step to the presentation device And a supply control step, a program of the presentation device, characterized in that it comprises a presentation step of supplying the processing of the second supply control step presents the upset based on motion data which is controlled.
[0015]
In the information processing apparatus according to claim 1, the information processing method according to claim 4, and the recording medium according to claim 5, coefficients corresponding to input preference data relating to user's preference fluctuation are output. Using the output coefficient, shaking data for controlling the shaking corresponding to the image based on the inputted image data is generated.
[0016]
In the information processing system according to claim 6, the information processing method according to claim 8, and the recording medium according to claim 9, the first information processing apparatus is configured to have preference regarding fluctuation of image data and user preference. The data is supplied to the second information processing apparatus, and the second information processing apparatus outputs a coefficient corresponding to the input preference data, and uses the output coefficient to generate an image based on the input image data. Is generated, and the generated shake data is supplied to the presentation device. The presentation device presents the shake based on the supplied shake data.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a configuration of an embodiment of an information processing system to which the present invention is applied. Terminals 1-1 to 1-N (hereinafter, terminals 1-1 to 1-N are simply referred to as terminal 1 when there is no need to distinguish them individually, and other devices are also described in the same manner). It consists of a personal computer installed at home. The terminal 1 is connected to the shaking data generation device 3 via the network 2. The network 2 is configured by a LAN (Local Area Network), the Internet, or the like.
[0018]
The motion data generation device 3 generates motion data corresponding to (synchronizes with) the image from the image data transmitted from the terminal 1 and transmits the motion data to the image motion control device 4 via the network 2. The image shaking control device 4 controls the image shaking presenting devices 6-1 to 6 -N connected via the network 5 based on the shaking data transmitted from the shaking data generating device 3. The image shaking presentation device 6 includes a display that presents an image and a chair-type device that presents shaking, and is installed in a place called a game center, for example.
[0019]
Next, each device will be described. FIG. 2 is a diagram illustrating an internal configuration of the terminal 1. The terminal 1 includes a CPU (Central Processing Unit) 11. An input / output interface 15 is connected to the CPU 11 via the bus 14. The input / output interface 15 includes an input unit 16 including an input device such as a keyboard and a mouse, an output unit 17 that outputs, for example, audio data as a processing result, a storage unit 18 including a hard disk drive that stores programs and various data, A communication unit 19 including a modem that communicates data via the network 2 and a drive 20 that reads / writes data from / to a program storage medium such as the magnetic disk 31 to the semiconductor memory 34 are connected.
[0020]
A USB (Universal Serial Bus) interface 21 is connected to a digital video camera or the like via a USB cable (not shown). A ROM (Read Only Memory) 12 and a RAM (Random Access Memory) 13 are connected to the bus 14.
[0021]
The user sends image data stored in the storage unit 18 of the terminal 1 or image data supplied from a digital video camera or the like connected to the USB interface 21 to the shaking data generation device 3 via the network 2. Are configured so that they can be transmitted. Although details will be described later, when the image data is transmitted to the shaking data generation device 3, personal data regarding the user (terminal 1) is also transmitted.
[0022]
The shaking data generation device 3 generates shaking data by analyzing the image data transmitted from the terminal 1. FIG. 3 is a diagram illustrating an internal configuration of the shaking data generation device 3. The image data transmitted from the terminal 1 is input to the input unit 41 of the shaking data generation device 3. The image data input to the input unit 41 is output to the motion data generation unit 42. The shaking data generation unit 42 generates shaking data for causing the image shaking presentation device 6 to show shaking corresponding to an image based on the input image data, and outputs the shaking data to the output unit 43.
[0023]
The fee collection unit 44 executes a process for collecting the usage fee of its own device from the input personal data, in other words, the generation fee of the shaking data. As described above, the personal data is data required for collecting the usage fee, such as a credit card number or a bank account number. Further, in order to use the shaking data generation device 3, a payment method may be used in which membership registration is required in advance, and the membership fee is collected. Furthermore, a prepaid method or the like can be used.
[0024]
When receiving the image data from the terminal 1, the input unit 41 instructs the ID generation unit 45 to generate ID data. In accordance with the instruction, the ID generation unit 45 generates ID data and outputs it to the output unit 43. The output unit 43 associates the image data, the shaking data, and the ID data, and transmits them to the terminal 1.
[0025]
The motion data generation device 3 is a usage fee for the image motion control device 4 and the image motion presentation device 6 (actually, it is a usage fee for both the image motion control device 4 and the image motion presentation device 6, but in the following description, In this case, the image shaking control device 4 can charge the image data generating device 3 for the usage fee of its own device at a later time. Such data is generated by the accounting data generation unit 46 and transmitted to the image shake control device 4 via the output unit 43.
[0026]
The input unit 41 also inputs preference data transmitted from the terminal 1 together with the image data. The preference data input to the input unit 41 is output to the coefficient generation unit 47. The coefficient generation unit 47 outputs a coefficient (details will be described later) to the shaking data generation unit 42, and the shaking data generation unit 42 generates shaking data using the coefficient.
[0027]
FIG. 4 is a diagram illustrating an internal configuration of the coefficient generation unit 47. As shown in FIG. 4, the coefficient generation unit 47 includes a motion data storage unit 61 that stores motion data, an image data storage unit 62 that stores image data, and a motion data storage unit 61 and an image data storage unit 62. The motion data learning unit 63 is configured to receive the stored data and calculate a coefficient related to the relationship between the image data and motion data.
[0028]
A specific example of the data stored in the shaking data storage unit 61 and the image data storage unit 62 will be described with reference to FIG. The image data storage unit 62 stores images captured by a video camera attached to a vehicle that has traveled on a paved road. The shaking data for the image is stored in the shaking data storage unit 61. The motion data stored in the motion data storage unit 61 is obtained using a sensor or the like when the corresponding image data stored in the image data storage unit 62 is captured. Alternatively, it is obtained by analyzing corresponding image data (for example, analysis such as detecting a motion vector).
[0029]
As shaking data obtained from an image captured by a video camera attached to a vehicle that has traveled on a paved road, pitch, roll, and rotation components around three axes of X, Y, and Z are included. And yaw, and translational components x, y, and z in three directions. Here, the shaking data will be described. First, before describing the shaking data, the configuration of the image shaking presentation device 6 that presents the shaking based on the shaking data will be described.
[0030]
FIG. 6 is a diagram illustrating a configuration of the image fluctuation presentation device 6. As shown in FIG. 6, the image shaking presentation device 6 includes a display 71 that presents an image, a driving device 72 that presents shaking, and a data acquisition device 73.
[0031]
The display 71 presents an image based on the image data from the image fluctuation control device 4. Similarly, the driving device 72 provides the audience (user) with shaking based on the shaking data from the image shaking control data 4. The data acquisition device 73 receives various data from the image shake control device 4 via the network 5, supplies the data to the display 71 and the drive device 72, and from a card inserted in the slot 74 (details will be described later). Data is acquired, and the acquired data is transmitted to the image fluctuation control device 4. The display unit 75 is provided for displaying various types of information.
[0032]
An example of the driving device 72 is shown in FIGS. FIG. 7 is a side view of the driving device 72, and FIG. 8 is a view of the driving device 72 as viewed from above. The drive device 72 includes pistons 81-1 to 81-6 as six actuators, and a pedestal 82 is supported by these pistons. A chair 83 is fixed to the pedestal 82, and the audience 84 sits on the chair 83.
[0033]
The pistons 81-1 to 81-6 are configured to be able to expand and contract along the respective central axes. When the pistons 81-1 to 81-6 extend and contract, the pedestal 82 is shaken, and the chair 83 fixed to the pedestal 82 is also shaken. Data for controlling the pistons 81-1 to 81-6 is shaking data input from the image shaking control device 4 via the network 5.
[0034]
Thus, since the drive device 72 of the image shaking presentation device 6 is configured, for example, the shaking obtained when actually boarding an automobile cannot be given as it is. In other words, the driving device 72 is fixed at a specific place such as a theater and cannot be rotated or translated without restriction due to the restriction of presenting the shaking. Therefore, in order to present a shake that gives a feeling as if the vehicle is being boarded, it is necessary to generate two pieces of data, actual shake data and alternative shake data, as the shake data.
[0035]
The actual shake data is data that gives the actual change in angle or position as it is, and the alternative shake data is the data that gives the change in angle in the form of pulses or steps according to the change in the rotational angular velocity or translational acceleration. It is.
[0036]
For example, the actual shake data and the alternative shake data when the vehicle is driven along the road surface are configured as shown in FIG. The actual vibration data includes road surface front-rear inclination, road surface left-right inclination, front-rear direction vibration, left-right direction vibration, and up-down direction vibration. The front and rear inclination of the road surface is expressed by a fluctuation component pitch, and the right and left inclination of the road surface is expressed by a fluctuation component roll. The vibration in the front-rear direction, the vibration in the left-right direction, or the vibration in the up-down direction is expressed by the vibration components x, y, and z, respectively.
[0037]
Alternative shaking data includes inertial force due to acceleration / deceleration, centrifugal force at the time of curve, and head swing at the time of curve. The inertial force due to acceleration / deceleration is expressed by a double differential value x ″ of the swing component x, and the centrifugal force at the time of the curve is a product x ′ of the differential value x ′ of the swing component x and the differential value yaw ′ of the swing component yaw.・ It is expressed by yaw '. The car swing at the time of the curve is expressed by a differential value yaw 'of the swing component yaw.
[0038]
The inertial force due to acceleration / deceleration corresponds to the sway component pitch, the centrifugal force at the time of the curve corresponds to the sway component roll, and the head swing at the time of the curve corresponds to the sway component yaw.
[0039]
Returning to the description of the coefficient generation unit 47 shown in FIG. 4, the coefficient generation unit 47 generates the shaking data storage unit 61 that stores the shaking data as described above, and the shaking data stored in the shaking data storage unit 61. The image data storage unit 62 that stores the base image data, and the relationship coefficient between the motion data stored in the motion data storage unit 61 and the image data stored in the image data storage unit 62 are output. The sway data learning unit 63 is configured.
[0040]
FIG. 10 is a diagram illustrating an internal configuration of the shaking data learning unit 63. The motion vector calculation device 111 scan-converts the image data from the image data storage unit 62 into frame-unit image data, and based on pixel data as representative points given in advance in a grid pattern over the entire screen, The motion vector is calculated between this frame and the previous frame one frame before, and is output to the motion center calculation device 112 and the camera motion estimation amount calculation device 113.
[0041]
The motion center calculation device 112 obtains the coordinates of the motion center (infinite point in one-point perspective) of the image on the entire screen from the value of the motion vector of the image from the beginning to the end of a predetermined scene at each representative point, and the camera This is output to the motion estimation amount calculation device 113.
[0042]
The camera motion estimator calculation device 113 calculates the relative coordinates of the representative point with respect to the center of motion, the motion vector at the representative point, and the geometric relationship between the three-dimensional space and the two-dimensional image obtained as a result of photographing it with a video camera. A camera motion estimator representing the estimated amount of change in the position and orientation of the video camera per frame period in pixel components (v _x , V _y , V _z , W _x , W _y , W _z ) Several times and output to the relation coefficient learning device 115.
[0043]
The camera motion amount calculation device 114 uses the motion data supplied from the motion data storage unit 61 so that the estimated camera motion amount matches the physical amount (distance or angle per unit time). / S or rad / s) is calculated for each component (x ′, y ′, z ′, roll ′, pitch ′, yaw ′) and output to the relation coefficient learning device 115.
[0044]
The relationship coefficient learning device 115 includes several camera motion estimation amounts supplied from the camera motion estimation amount calculation device 113 and one camera motion amount supplied from the camera motion amount calculation device 114 corresponding to the camera motion estimation amount in time. The image fluctuation data relation coefficient representing the correspondence between the two is learned for each component in the form of a linear linear combination coefficient.
[0045]
The image shake data relation coefficient learned in this way is supplied to the shake data generation unit 42 (FIG. 3). FIG. 11 is a diagram illustrating an internal configuration of the shaking data generation device 42. The motion vector calculation device 131 detects a motion vector from the input image (the image supplied from the terminal 1 and different from the image data stored in the image data storage unit 62), and the motion center is calculated. This is output to the calculation device 132 and the camera motion estimation amount calculation device 133. The motion center calculation device 132 detects the motion center coordinates of the input image based on the input motion vector and outputs the detected motion center coordinates to the camera motion estimation amount calculation device 133.
[0046]
The camera motion estimation amount calculation device 133 calculates a camera motion estimation amount based on the motion vector input from the motion vector calculation device 131 and the motion center coordinates supplied from the motion center calculation device 132, and the camera motion prediction amount calculation device It is output to 134. The motion vector calculation device 131, the motion center calculation device 132, and the camera motion estimation amount calculation device 133 are the same as the motion vector calculation device 111, the motion center calculation device 112, and the camera motion estimation amount calculation device 113 described in FIG. It has the structure and function.
[0047]
The camera motion prediction amount calculation device 134 calculates a linear primary combination of the image motion data relationship coefficient supplied from the image motion data relationship learning device 1 and the camera motion estimation amount supplied from the camera motion estimation amount calculation device 133. As a result, a camera motion prediction amount representing information that the video camera is supposed to have moved in one frame period is calculated and output to the motion data calculator 135. The input shake data calculation device 135 calculates and outputs shake data that matches the shake data when the drive device 72 is translated or rotated from the input camera motion prediction amount and the physical quantity.
[0048]
By generating the shake data in this way, the shake data that allows the user to experience the presence corresponding to the image from the existing image resource (the user's favorite image supplied from the terminal 1) can be easily obtained. And it becomes possible to generate reliably.
[0049]
The shaking data generated by the shaking data generating unit 42 is associated with the input image data, the ID data generated by the ID generating unit 45, and the charging data generated by the charging data generating unit 46. It is transmitted to the image fluctuation control device 4 via (FIG. 1).
[0050]
FIG. 12 is a diagram illustrating an internal configuration of the image fluctuation control device 4. Various data including the above-described shaking data transmitted from the shaking data generation device 3 via the network 2 are input to the data input unit 151. Among various data input to the data input unit 151, charging data is stored in the charging processing unit 152, image data and shaking data are stored in the data storage unit 153, and ID data is stored in the ID data storage unit 154. Is output.
[0051]
The charging processing unit 152 executes a process of collecting a usage fee for the image shaking control device 4 based on the input charging data. The data storage unit 153 stores the input image data and shaking data, and outputs data related to the addresses storing these data to the ID data storage unit 154. The ID data storage unit 154 stores the input ID data and address data in association with each other.
[0052]
The ID data input unit 155 inputs the ID data transmitted from the image shaking presentation device 6 via the network 5 and outputs it to the ID authentication unit 156. The ID authentication unit 156 checks whether or not the input ID data is stored in the ID data storage unit 154. If it is determined that the ID data is stored, the ID authentication unit 156 displays the address data associated with the ID data. Based on the read address data, a data output instruction signal is output to the data storage unit 153.
[0053]
The data storage unit 153 outputs the image data and the shaking data to the data output unit 157 according to the instruction from the ID authentication unit 156. The data output unit 157 transmits the input image data and shaking data to the image shaking presentation device 6 via the network 5.
[0054]
Next, the operation of the information processing system shown in FIG. 1 will be described with reference to the flowchart of FIG. In step S 1, the terminal 1 transmits image data to the shake data generation device 3 via the network 2. When the image data is transmitted, personal data is also transmitted as data used for billing. The personal data is specifically a credit card number. Or, when receiving the service shown in the present embodiment, if it is registered in advance and debited from a designated bank account, etc., data such as a password for uniquely identifying the user is used. There may be. It is also possible to use a prepaid method.
[0055]
Any method may be used. In step S1, personal data used for charging is transmitted together with the image data. Along with these data, preference data is also transmitted. The preference data is data used to generate fluctuations that meet the needs of each user, for example, it is preferable that the vertical fluctuation is larger than normal or smaller. In step S 1, when transmitting image data from the terminal 1, the user sets and transmits his / her favorite shake (preference data).
[0056]
Alternatively, the amount of the additional fee may be used as preference data. When the additional fee is not paid, only a minimum amount of shaking is presented, and the amount of shaking in a predetermined direction is increased by the amount of the additional fee, or the amount of shaking presented by the amount of the additional fee is increased. The amount of such additional fee and the type of shaking presented by the amount are set in advance, and based on the setting, the user can select the preference data as the favorite data when transmitting the image data in step S1. Choose an extra charge.
[0057]
The motion data generation device 3 that has received the image data, the personal data, and the preference data first executes a billing process in step S2. The accounting process is performed by the fee collection unit 44 of the shaking data generation device 3 and also by the accounting data generation unit 46.
[0058]
The fee collection unit 44 collects a fee for generating the shaking data. In other words, a fee to be paid to the person who manages the shaking data generation device 3 is collected. Here, when the user receives the image and the motion corresponding to the image in the image motion presenting device 6 at a later time, the user performs a process of newly paying the usage fee of the image motion control device 4. In order to prevent this from happening, the shaking data generation device 3 collects the data in advance as a process in step S2.
[0059]
The accounting data generation unit 46 collects the usage fee of the image shaking control device 4 in advance as the accounting process in step S2, so that the image shaking control device 4 can collect the fee at a later time. Data to generate.
[0060]
In step S3, the shaking data generation device 3 transmits ID data to the terminal 1 that has transmitted the image data. Here, the ID data transmitted to the terminal 1 is data generated by the ID generating unit 45, and the input image data, the shaking data generated by the shaking data generating unit 42, and billing data generation This is data assigned so that the set associated with the accounting data generated by the unit 46 and the other set of data can be uniquely distinguished.
[0061]
The ID data transmitted from the shaking data generation device 3 is received and stored in the terminal 1 in step S4. The user stores the received ID data in, for example, the magnetic disk 31 set in the drive 20 (FIG. 2). Alternatively, the ID data may be stored in a card-like recording medium (not shown), or the user himself / herself may write it on a paper medium. The medium on which the ID data is recorded depends on what kind of medium is handled by the data acquisition device 73 (FIG. 6) of the image fluctuation presentation device 6 (how the data is input).
[0062]
The shaking data generation device 3 transmits the ID data to the terminal 1, while executing the shaking data generation process in step S5. The shaking data is generated in the shaking data generating unit 42 as described above. When the shaking data is generated, first, preference data is input to the coefficient generation unit 47, and the shaking data is transferred from the shaking data storage unit 61 according to the preference data, and the image data corresponding to the shaking data is converted into the image data storage unit. The data is read out from 62 and output to the fluctuation data learning unit 63.
[0063]
That is, as described above, the preference data includes data for reflecting the user's preference and data corresponding to the additional fee. However, when the data reflects the user's preference, the user's preference When the shake data that emphasizes the preferred shake component is read from the shake data storage unit 61 and the data corresponds to the additional charge, for example, the shake data storage unit 61 as shown in FIG. Therefore, the components (number of components) to be read out differ according to the amount of the additional charge, such as reading out only the components of vibration and reading out the components of vibration and pitch.
[0064]
In this way, the preference data is reflected in the coefficient generated by the coefficient generator 47.
[0065]
The motion data learning unit 63 (FIG. 4) calculates an image motion data relation coefficient from the motion data and the image data read from the motion data storage unit 61 and the image data storage unit 62, respectively, and the motion data generation unit 42 (FIG. 3) to the camera motion prediction amount calculation device 134 (FIG. 11). Image data input from the terminal 1 via the input unit 41 is input to the motion vector calculation device 131 of the motion data generation unit 42. The shaking data generation unit 42 generates shaking data using the input image data and the image shaking data relation coefficient.
[0066]
When the generation of the shaking data is finished, the shaking data generation device 3 associates the image data, the shaking data, the billing data, and the ID data with each other and transmits them to the image shaking control device 4 in step S6.
[0067]
In step S 7, the image shake control device 4 receives various data transmitted from the shake data generation device 3 via the network 2. The image data and the shaking data are stored in the data storage unit 153, and the ID data is stored in the ID data storage unit 154. When the ID data is stored in the ID data storage unit 154, data related to the address where the image data and the shaking data are stored is output from the data storage unit 153 and stored in association with the address data.
[0068]
In step S8, the billing processing unit 152 executes billing processing. This billing process is performed based on the received billing data. That is, as described above, the motion data generation device 3 collects the usage fee of the image motion control device 4 from the user in step S2 in advance, so that the usage that has already been collected in step S8. This is a process of charging the fee to the shaking data generating device 3 and acquiring it.
[0069]
In step S 9, ID data is input to the image fluctuation presentation device 6. For example, if the ID data stored by the terminal 1 in step S4 is recorded on a card-like recording medium, the card-like recording medium is set in the slot 74 of the data acquisition device 73. It is obtained by reading from the set recording medium.
[0070]
In another embodiment, for example, an image as shown in FIG. 14 is displayed on the display unit 75 of the data acquisition device 73, and the user himself / herself inputs the image by referring to the displayed screen. good. That is, the display unit 75 is a touch sensor panel, and a user can issue an instruction by touching the screen.
[0071]
On the screen, for example, an image display unit 171 for displaying an advertisement image or an image provided by the user, ID data read from a recording medium set in the slot 74 (FIG. 6), or a numeric keypad 172 An ID display field 173 for displaying ID data input by the user using is displayed. Below the ID display field 173, a motion presentation instruction field 174 for selecting whether or not to experience motion is displayed. The cross key 175 is operated when moving the position of the cursor.
[0072]
As described above, the ID data may be read from the recording medium, or may be directly input by the user using the numeric keypad 173.
[0073]
In step S 9, when ID data is input to the image shaking presentation device 6, the ID data is transmitted to the image shaking control device 4. In step S 10, when the image shaking control device 4 inputs the ID data transmitted from the image shaking presenting device 6 through the ID data input 155, an authentication process is executed by the ID authentication unit 156.
[0074]
The ID authentication unit 156 performs authentication processing by examining whether or not ID data that matches the input ID data is stored in the ID data storage unit 154. As a result of authentication, if it is determined that matching ID data is stored in the ID data storage unit 154, the process proceeds to step S11. If it is determined that the ID data is not stored, the subsequent processing is performed. I will not.
[0075]
In step S11, based on the address data associated with the authenticated ID data, the image data and the shaking data are read from the data storage unit 153, and the image shaking presentation device 6 via the network 5 is read from the data output unit 157. Sent to. In step S12, the image shaking presentation device 6 presents an image based on the image data transmitted from the image shaking control device 4, and presents the shaking based on the shaking data.
[0076]
In this way, in the user's favorite image, the user can be presented with the fluctuation of the image that reflects the preference. Further, in the above-described embodiment, the user side pays a usage fee all at once when an image is transmitted, and therefore, it is possible to save the trouble of having to execute a payment process for each device to be used. Can do. On the system side, each device can reliably collect charges.
[0077]
FIG. 15 is a diagram illustrating another configuration of the information processing system. In the information processing system illustrated in FIG. 15, the terminals 1-1 to 1 -N are respectively provided with simple shaking presentation devices 181-1 to 181 -N. The simplified shaking presentation device 181 is a device that presents shaking to the user under the control of the terminal 1 that has received the shaking data generated by the shaking data generation device 3 via the network 2. Unlike the image shaking presentation device 6, the simple shaking presentation device 181 is configured so that the shaking can be experienced even in the home, but the shaking is simple and is simply transmitted by the user. It is provided to confirm whether the preference data is reflected.
[0078]
Next, operations in the information processing system shown in FIG. 15 will be described with reference to the flowchart of FIG. Note that each of the shaking data generation device 3, the image shaking control device 4, and the image shaking presentation device 6 can be the same device as the above-described embodiment.
[0079]
In step S21, image data, personal data, and preference data are transmitted from the terminal 1. These data are received by the shaking data generation device 3 in step S22, and charging processing is executed in the shaking data generation device 3. Steps S21 and S22 are the same as steps S1 and S2 in the flowchart of FIG.
[0080]
In step S23, shaking data is generated. This process is also the same as the process of step S5 in the flowchart of FIG. The generated shaking data is transmitted to the terminal 1 together with the ID data in step S24. In step S25, the terminal 1 records the received ID data on a predetermined recording medium and also receives image data. In step S26, the terminal 1 controls the simplified shaking presentation device 181 according to the received shaking data.
[0081]
Since the shaking data is generated in order to present the shaking in earnest in the image shaking presentation device 6, it cannot be used as it is to control the simple shaking presentation device 181. Therefore, the terminal 1 converts the input shaking data into shaking data suitable for the simple shaking presentation device 181 and controls the simple shaking presentation device 181 based on the converted shaking data.
[0082]
The user confirms the shaking presented by the simple shaking presenting apparatus 181 and determines whether or not the shaking reflects the preference data. The determination result is transmitted from the terminal 1 to the shaking data generation device 3 in step S27. The shaking data generation device 3 receives the determination result from the terminal 1 in step S28.
[0083]
In step S29, the shaking data generation device 3 executes processing based on the received determination result. If the received determination result is that the user has determined that the preference data is not reflected, the process returns to step S23, and the subsequent processing is repeated so that the user reflects the preference data. If it is determined that there is, the process proceeds to step S30.
[0084]
Accordingly, the processes in steps S23 to S29 are repeatedly performed until the user determines that the user's preference data is reflected. However, if the processing in steps S23 to S29 is permitted to be repeated infinitely, for example, the user enjoys repeated shaking only with the simple shaking presentation device 181 and is satisfied only by that (image shaking presentation device 6). It is conceivable that the swaying by Such a situation can be regarded as receiving an improper presentation of fraud, and in order to prevent such an occurrence, the number of times that the processing of steps S23 to S29 is repeated (the user is not required to regenerate the fluctuation data). The number of times that can be obtained may be set to 3 times, for example.
[0085]
In step S27, when the user transmits a determination result indicating that the preference data is not shaken by the terminal 1, specifically, data indicating how the preference data is not reflected is transmitted together. You may do it.
[0086]
In step S29, when the received determination result is that the user has determined that the preference data is reflected, and the process proceeds to step S30, the image shake control device 4 is informed of various types. Data is output. In step S30, the output data is data associated with motion data, image data, ID data, and billing data.
[0087]
Since the process after step S30 is the same as the process after step S7 of the flowchart of FIG. 13, the description thereof is omitted.
[0088]
As described above, by providing the simplified shaking presentation device 181, it is possible to reliably present shaking data that reflects the user's preference.
[0089]
In the above-described embodiment, when the preference data is input, the coefficient generation unit 47 sends the shake data and image data corresponding to the preference data from the shake data storage unit 61 and the image data storage unit 62. It has been described that each of them is read and the image fluctuation relation coefficient is generated and output by the fluctuation data learning unit 63, but a plurality of image fluctuation data relation coefficients are stored in advance and the one corresponding to the preference data is output (if it is newly generated) Alternatively, the stored data may be read out).
[0090]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, various functions can be executed by installing a computer in which the programs that make up the software are installed in dedicated hardware, or by installing various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0091]
As shown in FIG. 2, the recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk 31 (including a floppy disk) on which the program is recorded, an optical disk 32 (CD- It is only composed of a package medium consisting of ROM (compact disk-read only memory), DVD (digital versatile disk), magneto-optical disk 33 (including MD (mini-disk)), or semiconductor memory 34. Rather, it is provided with a ROM 12 storing a program and a hard disk including the storage unit 18 provided to the user in a state of being pre-installed in a computer.
[0092]
In this specification, the steps for describing the program provided by the medium are performed in parallel or individually in accordance with the described order, as well as the processing performed in time series, not necessarily in time series. The process to be executed is also included.
[0093]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0094]
【The invention's effect】
As described above, according to the information processing apparatus according to claim 1, the information processing method according to claim 4, and the recording medium according to claim 5, it corresponds to the input preference data relating to the user's preference fluctuation. The coefficient is output, and the output data is used to generate the vibration data for controlling the vibration corresponding to the image based on the input image data, so that the user's preference is more reflected. The data for presenting can be generated.
[0095]
According to the information processing system according to claim 6, the information processing method according to claim 8, and the recording medium according to claim 9, the first information processing apparatus relates to fluctuation of image data and user preference. The preference data is supplied to the second information processing apparatus, and the second information processing apparatus outputs a coefficient corresponding to the input preference data, and based on the input image data using the output coefficient. The motion data for controlling the motion corresponding to the image is generated, the generated motion data is supplied to the presentation device, and the presentation device presents the motion based on the supplied motion data. It is possible to present a sway that more reflects the taste of the person.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of an information processing system to which the present invention is applied.
FIG. 2 is a diagram showing an internal configuration of a terminal 1;
FIG. 3 is a diagram showing an internal configuration of the sway data generation device 3;
4 is a diagram illustrating an internal configuration of a coefficient generation unit 47. FIG.
FIG. 5 is a diagram for explaining data stored in a coefficient generation unit 47;
FIG. 6 is a diagram showing a configuration of an image fluctuation presentation device 6;
7 is a side view of the driving device 72. FIG.
FIG. 8 is a view from the upper surface of the driving device 72;
FIG. 9 is a diagram for explaining an actual stimulus and an alternative stimulus.
FIG. 10 is a diagram showing an internal configuration of a sway data learning unit 63;
FIG. 11 is a diagram showing an internal configuration of a shaking data generation unit 42;
FIG. 12 is a diagram showing an internal configuration of the image fluctuation control device 4;
FIG. 13 is a flowchart illustrating the operation of the system.
14 is a diagram illustrating a screen displayed on display unit 75. FIG.
FIG. 15 is a diagram showing another configuration of the embodiment of the information processing system.
16 is a flowchart for explaining the operation of the information processing system shown in FIG. 15;
[Explanation of symbols]
1 terminal, 2 network, 3 motion data generation device, 4 image motion control device, 5 network, 6 image motion presentation device, 42 motion data generation unit, 44 charge collection unit, 45 ID generation unit, 46 billing data generation unit, 61 motion data storage unit, 62 image data storage unit, 63 motion data learning unit, 71 display, 72 drive device, 73 data acquisition device, 74 slot, 152 charge processing unit, 153 data storage unit, 154 ID data storage unit, 155 ID data input part, 156 ID authentication part

Claims

Input means for inputting image data and preference data relating to user's preference fluctuations via a network;
Coefficient output means for outputting a coefficient corresponding to the preference data input by the input means;
Generating means for generating shake data for controlling the shake corresponding to the image based on the image data input by the input means, using the coefficient output by the coefficient output means; Information processing apparatus.

The coefficient output means includes pre-imaged image data, storage means for storing motion data corresponding to the image data,
A reading means for reading out the image data and the shaking data stored in the storage means corresponding to the preference data;
The information processing apparatus according to claim 1, further comprising a calculation unit that calculates the coefficient from the image data and the shake data read by the reading unit.

The coefficient output means accumulates image data captured in advance and a coefficient calculated from fluctuation data corresponding to the image data, and a coefficient corresponding to the preference data is selected from the accumulated coefficients. The information processing apparatus according to claim 1, wherein the information processing apparatus outputs the information processing apparatus.

An input control step for controlling input of image data and preference data related to user's preference fluctuations via a network;
A coefficient output step for outputting a coefficient corresponding to the preference data whose input is controlled in the process of the input control step;
Generating step for generating shaking data for controlling shaking corresponding to an image based on the image data whose input is controlled in the processing of the input control step, using the coefficient output in the processing of the coefficient outputting step An information processing method comprising:

An input control step for controlling input of image data and preference data related to user's preference fluctuations via a network;
A coefficient output step for outputting a coefficient corresponding to the preference data whose input is controlled in the process of the input control step;
Generating step for generating shaking data for controlling shaking corresponding to an image based on the image data whose input is controlled in the processing of the input control step, using the coefficient output in the processing of the coefficient outputting step A recording medium on which a computer-readable program is recorded.

Information processing comprising: a first information processing device that supplies image data; a second information processing device that generates shaking data using the image data; and a presentation device that presents shaking corresponding to the shaking data In the system,
The first information processing apparatus includes:
First supply means for supplying the second information processing apparatus with preference data related to the image data and user preference fluctuations;
The second information processing apparatus
Input means for inputting the image data and the preference data supplied by the first supply means;
Coefficient output means for outputting a coefficient corresponding to the preference data input by the input means;
Generating means for generating shaking data for controlling shaking corresponding to an image based on the image data input by the input means, using the coefficient output by the coefficient output means;
Second supply means for supplying the shaking data generated by the generating means to the presentation device;
The presenting device
An information processing system comprising presentation means for presenting fluctuation based on the fluctuation data supplied by the second supply means.

The second supply means supplies the shaking data also to the first information processing apparatus,
The first information processing apparatus is configured to control a presentation device that presents connected shaking based on the shaking data supplied by the second supplying means;
Transmission means for transmitting a determination result as to whether or not the shaking controlled by the control means reflects the preference data;
When the determination result transmitted by the transmission unit indicates that the preference data is not reflected, the second information processing apparatus generates the shake data by the generation unit. When the determination result indicates that the preference data is reflected, the shaking data is supplied to the presentation device by the second supply means. 6. The information processing apparatus according to 6.

Information processing comprising a first information processing device for supplying image data, a second information processing device for generating shaking data using the image data, and a presentation device for presenting shaking corresponding to the shaking data In the system information processing method,
The information processing method of the first information processing apparatus includes:
Including a first supply control step of controlling supply of the image data and preference data relating to user's preference fluctuation to the second information processing apparatus;
The information processing method of the second information processing apparatus is:
An input control step for controlling the input of the image data and the preference data whose supply is controlled in the processing of the first supply control step;
A coefficient output step for outputting a coefficient corresponding to the preference data whose input is controlled in the process of the input control step;
A generating step for generating shaking data for controlling shaking corresponding to an image based on the image data whose input is controlled in the processing of the input step, using the coefficient output in the processing of the coefficient outputting step; ,
A second supply control step for controlling supply of the shaking data generated by the processing of the generation step to the presentation device;
The information processing method of the presentation device is:
An information processing method comprising a presenting step of presenting a shake based on the shake data whose supply is controlled in the process of the second supply control step.

Information processing comprising a first information processing device for supplying image data, a second information processing device for generating shaking data using the image data, and a presentation device for presenting shaking corresponding to the shaking data A system program,
The program of the first information processing apparatus is
Including a first supply control step of controlling supply of the image data and preference data relating to user's preference fluctuation to the second information processing apparatus;
The program of the second information processing apparatus is
An input control step for controlling the input of the image data and the preference data whose supply is controlled in the processing of the first supply control step;
A coefficient output step for outputting a coefficient corresponding to the preference data whose input is controlled in the process of the input control step;
A generating step for generating shaking data for controlling shaking corresponding to an image based on the image data whose input is controlled in the processing of the input step, using the coefficient output in the processing of the coefficient outputting step; ,
A second supply control step for controlling supply of the shaking data generated by the processing of the generation step to the presentation device;
The program of the presentation device is:
A recording medium on which a computer-readable program is recorded, including a presentation step of presenting a fluctuation based on the fluctuation data whose supply is controlled in the processing of the second supply control step.