JP4427699B2 - 情報処理装置および方法、並びに揺動提示システム - Google Patents
情報処理装置および方法、並びに揺動提示システム Download PDFInfo
- Publication number
- JP4427699B2 JP4427699B2 JP2000220926A JP2000220926A JP4427699B2 JP 4427699 B2 JP4427699 B2 JP 4427699B2 JP 2000220926 A JP2000220926 A JP 2000220926A JP 2000220926 A JP2000220926 A JP 2000220926A JP 4427699 B2 JP4427699 B2 JP 4427699B2
- Authority
- JP
- Japan
- Prior art keywords
- swing
- image
- signal
- information
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに揺動提示システムに関し、特に、画像に対応して揺動を提示する情報処理装置および方法、並びに揺動提示システムに関する。
【０００２】
【従来の技術】
アミューズメントパーク、ゲームセンタ、または遊技場などにおいて、動画像（以下、単に画像と称する）を表示すると共に、画像に対応する振動または揺動を利用者に与えることにより、利用者が感じる臨場感を増加させる装置が利用されている。
【０００３】
画像が撮像された状況には様々な種類がある。例えば、自動車、自転車、または船の走行中に撮像した画像、または人が歩きながらビデオカメラなどで撮像した画像などがある。
【０００４】
例えば、ビデオカメラの移動速度が同一であっても、自動車の走行中に撮像した画像に対応する揺動は、人が歩きながら撮像した画像に対応する揺動と、振幅または揺動の方向などが異なる。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像から揺動信号を生成する場合、画像の動きが少ないときなど、常に、画像に適した揺動信号が生成されるとは限らなかった。
【０００６】
また、自動車の走行中に撮像した画像を利用するとき、利用者が船の走行中に対応する揺動の提示を希望するなど、異なる撮像状況に対応する揺動の提示を希望しても、そのような揺動を提示することはできなかった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像により適した、または利用者が所望する揺動を提示することができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、端末装置から画像、および画像に関する情報の受信を制御する受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段とを含むことを特徴とする。
【０００９】
情報は、画像が撮像された状況を示すようにすることができる。
【００１０】
情報は、画像の撮影の、所望する状況を示すようにすることができる。
【００１１】
変換手段は、情報に対応させて、揺動信号の変換データを記録している記録手段と、情報を基に、記録手段に記録されている変換データを選択する選択手段と、選択された変換データを基に、揺動信号の各成分を変換する成分変換手段とを更に設けるようにすることができる。
【００１２】
請求項５に記載の情報処理方法は、端末装置から画像、および画像に関する情報の受信を制御する受信制御ステップと、受信した画像を基に、画像に対応する揺動信号を生成する生成ステップと、画像に関する情報に対応して、揺動信号を変換する変換ステップとを含むことを特徴とする。
【００１３】
請求項６に記載の揺動提示システムは、端末装置が、画像、および画像に関する情報の送信を制御する第１の送信制御手段と、情報処理装置が送信する揺動信号の受信を制御する第１の受信制御手段とを含み、情報処理装置が、端末装置が送信する、画像および情報の受信を制御する第２の受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段と、端末装置への、変換された揺動信号の送信を制御する第２の送信制御手段とを含むことを特徴とする。
【００１４】
請求項１に記載の情報処理装置および請求項５に記載の情報処理方法においては、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換される。
【００１５】
請求項６に記載の揺動提示システムにおいては、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る揺動提示システムの一実施の形態の構成を示す図である。揺動信号生成装置１は、図示せぬネットワーク、公衆電話回線、または専用回線などの有線または無線の伝送路を介して、端末装置２から送信される、画像コンテンツ、入力画像付属シチュエーション情報、希望シチュエーション情報、および課金情報を取得する。揺動信号生成装置１は、画像コンテンツ、入力画像付属シチュエーション情報、および希望シチュエーション情報に対応した揺動信号を生成して、図示せぬ伝送路を介して、揺動提示デバイス３に供給する。
【００１７】
画像コンテンツは、映像信号および音声信号などから構成される。
【００１８】
入力画像付属シチュエーション情報は、画像コンテンツに含まれる映像信号が取得された状況、例えば、画像を撮像しているビデオカメラが走行している自動車、若しくは自転車に装着されている、または歩行者が歩きながら撮像しているなどの状況を示す。また、入力画像付属シチュエーション情報は、自動車、若しくは自転車が走る路面の状態、または天候などの情報を含む。
【００１９】
希望シチュエーション情報は、端末装置２を操作し、揺動提示デバイス３を利用する利用者が希望する、画像が提示される仮想的な状況を示す。画像が提示される仮想的な状況は、例えば、自動車、若しくは自転車に乗っている、歩きながら画像を見ている、または凹凸のある道、若しくは砂利道を走行しているなどに対応する。
【００２０】
揺動信号生成装置１は、課金情報を基に、入力画像付属シチュエーション情報に対応した揺動信号の生成、または希望シチュエーション情報に対応する揺動信号の変換について、利用者から料金を受け取る課金の処理を実行する。
【００２１】
端末装置２は、利用者の操作に対応して、予め記録している画像コンテンツの内から利用者が所望する画像コンテンツを選択し、選択した画像コンテンツが撮像された状況を示す情報である入力画像付属シチュエーション情報（画像コンテンツと対応させて、予め記録されている）、希望シチュエーション情報、および課金情報を、図示せぬ伝送路を介して、揺動信号生成装置１に供給する。
【００２２】
入力画像付属シチュエーション情報、および希望シチュエーション情報は、常に、端末装置２から揺動信号生成装置１に送信されるとは限らない。入力画像付属シチュエーション情報は、選択された画像コンテンツと対応させて、予め端末装置２に記録されているとき、端末装置２から揺動信号生成装置１に送信され、端末装置２に記録されていないとき、端末装置２から揺動信号生成装置１に送信されない。
【００２３】
希望シチュエーション情報は、利用者により、希望シチュエーション情報を送信する旨の操作が端末装置２に加えられたときに限り、端末装置２から揺動信号生成装置１に送信される。
【００２４】
揺動提示デバイス３は、揺動信号生成装置１から供給された揺動信号を基に、揺動を利用者に提示する。
【００２５】
図２は、揺動信号生成装置１の構成を示す図である。端末装置２から供給された画像コンテンツに含まれる映像信号は、揺動信号生成部２１に供給される。
【００２６】
揺動信号生成部２１は、入力された映像信号を基に、揺動信号を生成して、生成した揺動信号を揺動信号出力部２２に供給する。
【００２７】
揺動信号生成部２１は、図３に示すように、特徴情報検出部４１および特徴情報処理部４２から構成されている。
【００２８】
特徴情報検出部４１は、映像信号から、映像信号に対応する特徴情報（後述する）を算出して、特徴情報処理部４２に供給する。
【００２９】
特徴情報処理部４２は、特徴情報検出部４１から供給された特徴情報を基に、揺動信号を生成して、出力する。
【００３０】
図４は、揺動信号生成部２１の特徴情報検出部４１の構成を示すブロック図である。特徴情報検出部４１に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。特徴情報検出部４１に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００３１】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００３２】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを特徴情報演算部７６に出力する。
【００３３】
次に、図４に示した特徴情報検出部４１の動作について説明する。時刻ｔにおいて、特徴情報検出部４１に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号、すなわち、時刻ｔより１フレーム前の映像信号が記憶されている。
【００３４】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００３５】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図５を参照して説明する。
【００３６】
図５は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図６に示したような、自動車のダッシュボードまたはボンネットに対応する部分などは揺動に関係のない領域と考えられるので、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な位置の代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなる参照ブロックＢ、例えば、３３×３３画素からなる参照ブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、参照ブロックＢの大きさと、図示していないが例えば６５×６５画素からなる探索ブロックの大きさが、パターンとして記憶されている。
【００３７】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したパターンに対応する画素データ、すなわち、代表点Ｑの座標と参照ブロックＢの大きさをもとに、各参照ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００３８】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００３９】
なお、本実施例では、揺動信号を生成することを目的としてるため動きベクトルを全ての画素に対して検出する必要が無いため、２５個の動きベクトルだけを求めるようにしている。これにより、回路規模の削減や処理速度を上げることができる。
【００４０】
特徴情報演算部７６は、動きベクトル検出部７５により検出された２５個の動きベクトルを用いて、時刻ｔのフレーム全体としての揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００４１】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図７を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００４２】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００４３】
なお、ここでは、各成分を求めるのに２５個の動きベクトルの値を平均的に用いているが、画面上における位置関係などに基づいて、各成分に重み付けをしてもよい。
【００４４】
特徴情報演算部７６は、動きベクトル検出部７５から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴情報として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、特徴情報処理部４２に供給される。
【００４５】
ここで、例えば、利用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を利用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける上下方向の振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００４６】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して与えられた刺激のうち、映像を観察する利用者の椅子に対しても物理的意味合いが同じ形で刺激を与えることができる力であり、ここでは実刺激と呼ぶ。この実刺激は、その値を積分していくと値がゼロになるものである。
【００４７】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、積分していっても値がゼロにならないものであり、椅子の移動距離の制限、移動方向の制限等から、自動車に対して与えられた刺激と物理的意味合いが同じ形で与えることが困難な刺激であり、ここでは、代替刺激と呼ぶ。
【００４８】
以下に、上述した実刺激と代替刺激に関する揺動、実際に利用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴情報演算部７６により演算された４成分の関係を示す。
【００４９】
以下に示す実刺激のうち、路面の前後の傾きに対する揺動信号は、揺動信号成分pitchの１つとされ、動きベクトルの垂直方向の成分のうち低周波成分で表すことができる。ここで、路面の傾きは、遅い周期で変わると考えられるため低周波成分を用いている。
【００５０】
路面から受ける振動は、垂直方向に与えられると考えられ、また、高周波と考えられるため、路面から受ける振動に対する揺動信号は、動きベクトルの垂直成分のうち高周波成分を用いている。この値は、揺動信号成分ｚとされる。
【００５１】
路面の左右の傾きに対する揺動信号は、揺動信号成分rollの１つとされ、図７から明らかなように回転成分Vrotiを２５個の動きベクトル分加算した値で表すことができる。
【００５２】
カーブ時の遠心力に対する揺動信号は、揺動信号成分rollの１つとされ、水平成分ｕで表される。
【００５３】
加減速による慣性力に対する揺動信号は、揺動信号成分pitchの１つとされ、拡大成分Vzoomの微分値の低周波成分で表される。なお、低周波成分としてあるのは、加減速に対しては敏感な動作は不要と考えられるからである。
【００５４】
カーブ時の自動車の首振りに対する揺動信号は、揺動信号成分yawとされ、水平成分uで表される。なお、-uとしてあるのは、カーブ時の遠心力と逆に働くためである。
実刺激
表現される成分 揺動信号成分 ４成分との関係
路面の前後の傾き pitch Σｖの低周波成分
路面からうける振動 ｚ −Σｖの高周波成分
路面の左右の傾き roll −Σｖrot
代替刺激
表現される成分 揺動信号成分 ４成分との関係
曲がる時の遠心力 roll ｕ
加減速による慣性力 pitch ｄｖzoom／ｄｔの低周波成分
曲がる時の自動車首振り yaw −ｕ
【００５５】
特徴情報処理部４２は、上述した関係を用いて、揺動信号変換部２６に供給する揺動信号を生成する。
【００５６】
図８は、特徴情報処理部４２の構成を示すブロック図である。特徴情報検出部４１から出力された４成分のうち、回転成分ｖrotは、加算器９１−１に、水平成分ｕは、加算器９１−２と符号反転器９２−１に、垂直成分ｖは、加算器９１−３に、拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に、それぞれ入力される。加算器９１−１には、加算器９１−１から出力されたデータが、遅延器９３−１で１クロック分遅延された後、入力される。同様に、加算器９１−３にも、加算器９１−３から出力されたデータが、遅延器９３−２で１クロック分遅延された後、入力される。
【００５７】
遅延器９３−１から出力されたデータは、加算器９１−２に入力される。遅延器９３−２から出力されたデータは、符号反転器９２−２を介してHPF（High Pass Filter）９４に出力されると共に、LPF（Low Pass Filter）９５−１を介して加算器９１−４にも出力される。加算器９１−５に入力された拡大成分ｖzoomは、遅延器９３−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９５−２を介して加算器９１−４に入力される。
【００５８】
次に、特徴情報処理部４２が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。特徴情報処理部４２に入力された回転成分ｖrotは、加算器９１−１に入力される。加算器９１−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９３−１より出力される１フレーム前の時刻ｔ−１のデータとを加算する。加算器９１−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータを演算に用いる。
【００５９】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９３−１の出力を減算する）ことにより、揺動信号変換部２６に供給する揺動信号成分rollを算出する。
【００６０】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、特徴情報処理部４２は、入力された水平成分ｕの値を、符号反転器９２−１により、符号を反転させることに揺動信号成分yawを算出する。
【００６１】
加算器９１−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９３−２より出力された１フレーム前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９１−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９１−３と遅延器９３−２により累積加算されたデータは、符号反転器９２−２に入力され、符号が反転され、さらにHPF９４により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００６２】
また、遅延器９３−２から出力されたデータは、LPF９５−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９５−１から出力された揺動信号成分pitchは、加算器９１−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００６３】
慣性力を表現する揺動信号成分pitchは、特徴情報処理部４２に入力された拡大成分ｖzoomから算出される。特徴情報処理部４２に入力された拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に入力される。加算器９１−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９３−３により１フレーム遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９１−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９１−５から出力された値から、LPF９５−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００６４】
加算器９１−４により、LPF９５−１から出力された値と、LPF９５−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００６５】
このように、揺動信号生成部２１は、映像信号を基に、揺動信号を生成して、揺動信号出力部２２に供給する。
【００６６】
揺動信号出力部２２は、揺動信号生成部２１から供給された揺動信号を、揺動信号変換部２６に出力する。
【００６７】
端末装置２から供給された画像コンテンツに対応する入力画像付属シチュエーション情報および希望シチュエーション情報は、シチュエーション情報選択部２３に供給される。
【００６８】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報が供給されたとき、希望シチュエーション情報を揺動変換信号生成部２４に供給する。
【００６９】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報が供給されず、入力画像付属シチュエーション情報が供給されたとき、入力画像付属シチュエーション情報を揺動変換信号生成部２４に供給する。
【００７０】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないとき、希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないことを示す情報（揺動信号の変換が不要であることを示す情報）を揺動変換信号生成部２４に供給する。
【００７１】
シチュエーション情報データベース２５は、画像が撮像された状況に対応させて、揺動の変換の手法を記録している。
【００７２】
図９および図１０は、シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【００７３】
図９は、シチュエーション情報データベース２５が記録している、路面状況または天候に対応する揺動変換の手法を示すデータの例を示す図である。
【００７４】
例えば、一般の舗装された道路を走行中に画像が撮像されたときの、揺動の変換手法は、路面による揺動が吸収されず、移動手段（例えば、自動車、人、または自転車など）による違いをそのまま反映する手法である。すなわち、一般の舗装された道路を走行中に画像が撮像されたとき、移動手段に対応する変換手法がそのまま適用される。
【００７５】
砂利道を走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、かつ、微少で不規則な、非常に短い間隔の揺れを揺動信号に加える手法である。例えば、より具体的には、揺動信号の垂直方向の成分を減衰させるとともに、ランダムな信号を生成して、生成したランダムな信号から振幅が小さく、周期の短い信号を選択して、揺動信号に加算する手法である。
【００７６】
砂地を走行中に画像が撮像されたときの、揺動の変換手法は、微少な揺れは押さえられ、移動手段による違いが吸収され、また、加速感などが失われる手法である。すなわち、揺動信号から振幅の少ない信号成分は除去され、移動手段に対応する揺動信号の変換量は少なくされる（例えば、加算する揺動信号の振幅が少なくされる）。
【００７７】
雨天時に砂地を走行中に画像が撮像されたとき、上述の手法において、変換の傾向が弱められる。すなわち、振幅の少ない信号成分の除去量が減少され、移動手段に対応する揺動信号の変換量はより多くされる。
【００７８】
図１０は、シチュエーション情報データベース２５が記録している、移動手段に対応する揺動変換の手法を示すデータの例を示す図である。
【００７９】
例えば、自動車の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、自動車が曲がるときの左右の揺れを強調し、更にタイヤの大きさなどによって、路面の凹凸の伝わりやすさを変化させる手法である。すなわち、揺動信号の垂直成分は減衰され、roll成分が加算される。路面に対応する揺動信号の変換量は、タイヤの大きさなどによって、増加されるか、または減少される。
【００８０】
例えば、人の歩行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を強調し、更に左右の脚を交互に踏み出している感じを表現するため、roll方向に揺動を提示する手法である。
【００８１】
船の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動の提示時間を長くし、ゆったりと揺動を提示する（揺動の周期を長くする）手法である。
【００８２】
馬などの動物に乗って画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動にpitch方向の揺れを加えて強調する（pitch成分を加算する）手法である。
【００８３】
シチュエーション情報データベース２５が揺動変換信号生成部２４に供給する揺動変換の手法を示すデータは、移動手段、路面状況、または天候などの状況全体に対応した揺動変換の手法を示す。
【００８４】
揺動変換信号生成部２４は、シチュエーション情報選択部２３から供給されたシチュエーション情報（入力画像付属シチュエーション情報、希望シチュエーション情報、またはそのいずれもが無いことを示す情報）を基に、シチュエーション情報データベース２５が予め記録している、シチュエーション情報に対応する揺動変換の手法を示すデータを読み出す。
【００８５】
揺動変換信号生成部２４は、シチュエーション情報データベース２５から読み出した、揺動変換の手法を示すデータを基に、揺動変換信号を生成する。
【００８６】
揺動変換信号は、揺動信号に、例えば、垂直方向の揺動成分を減衰させる、ランダムな短い周期の揺れを加える、roll方向の成分を加えるなどを示す信号である。
【００８７】
揺動変換信号生成部２４は、生成した揺動変換信号を揺動信号変換部２６に供給する。
【００８８】
揺動信号変換部２６は、揺動変換信号生成部２４から供給された揺動変換信号を基に、揺動信号出力部２２から供給された揺動信号を変換して、変換した揺動信号を揺動提示デバイス３に供給する。
【００８９】
図１１は、映像信号に対応する画像を表示するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示デバイス３を構成する椅子１３２との関係の例を示す図である。
【００９０】
揺動提示デバイス３は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る利用者に揺動を感じさせる。
【００９１】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【００９２】
揺動提示デバイス３の構成例を図１２および図１３に示す。図１２は、揺動提示デバイス３の側面図であり、図１３は、揺動提示デバイス３の上面図である。揺動提示デバイス３は、６本のアクチュエータとしてのピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に利用者１４３が座るようになされている。
【００９３】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、揺動信号生成装置１により供給される。
【００９４】
図１４は、揺動提示デバイス３による動作の具体例を示す図である。図１４における上向きの矢印は、ピストンが延びることを示し、下向きの矢印は、ピストンが縮むことを示す。
【００９５】
次に、図１５のフローチャートを参照して、揺動信号生成装置１における揺動信号の生成の処理を説明する。
【００９６】
ステップＳ１１において、揺動信号生成装置１は、端末装置２から送信される、映像信号、入力画像付属シチュエーション情報、および希望シチュエーション情報を取得する。
【００９７】
ステップＳ１２において、揺動信号生成部２１は、取得した映像信号に基づいて、揺動信号を生成する。生成された揺動信号は、揺動信号出力部２２を介して揺動信号変換部２６に供給される。
【００９８】
ステップＳ１３において、シチュエーション情報選択部２３は、希望シチュエーション情報が取得されたか否かを判定し、希望シチュエーション情報が取得されたと判定された場合、ステップＳ１４に進む。シチュエーション情報選択部２３は、希望シチュエーション情報を揺動変換信号生成部２４に供給する。
【００９９】
ステップＳ１４において、揺動変換信号生成部２４は、希望シチュエーション情報を基に、シチュエーション情報データベース２５を参照して、希望シチュエーション情報に対応する揺動変換の手法のデータを取得する。
【０１００】
ステップＳ１５において、揺動変換信号生成部２４は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成する。揺動変換信号生成部２４は、生成した、揺動変換信号を揺動信号変換部２６に供給する。
【０１０１】
ステップＳ１６において、揺動信号変換部２６は、揺動変換信号を基に、揺動信号出力部２２から供給された揺動信号を変換する。ステップＳ１７において、揺動信号変換部２６は、変換された揺動信号を揺動提示デバイス３に出力して、処理は終了する。
【０１０２】
ステップＳ１３において、希望シチュエーション情報が取得されていないと判定された場合、ステップＳ１８に進み、シチュエーション情報選択部２３は、入力画像付属シチュエーション情報が取得されたか否かを判定し、入力画像付属シチュエーション情報が取得されたと判定された場合、ステップＳ１９に進む。シチュエーション情報選択部２３は、入力画像付属シチュエーション情報を揺動変換信号生成部２４に供給する。
【０１０３】
ステップＳ１９において、揺動変換信号生成部２４は、入力画像付属シチュエーション情報を基に、シチュエーション情報データベース２５を参照して、入力画像付属シチュエーション情報に対応する揺動変換の手法のデータを取得し、ステップＳ１５に進む。
【０１０４】
ステップＳ１５において、揺動変換信号生成部２４は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成し、ステップＳ１６およびステップＳ１７の処理により、揺動信号が変換され、出力されて、処理は終了する。
【０１０５】
ステップＳ１８において、入力画像付属シチュエーション情報が取得されていないと判定された場合、揺動信号を変換する必要は無いので、手続は、ステップＳ２０に進む。シチュエーション情報選択部２３は、揺動信号の変換が不要である旨を示す情報を、揺動変換信号生成部２４を介して、揺動信号変換部２６に供給する。
【０１０６】
ステップＳ２０において、揺動信号変換部２６は、揺動信号出力部２２から供給された揺動信号をそのまま揺動提示デバイス３に出力して、処理は終了する。
【０１０７】
このように、揺動信号生成装置１は、希望シチュエーション情報または入力画像付属シチュエーション情報に基づいて、映像信号を基に生成された揺動信号を変換するので、画像により適した、または利用者が所望する揺動を提示することができる。
【０１０８】
例えば、利用者は、歩きながら撮像された画像を鑑賞するとき、より明確な垂直方向の揺動と、左右の脚を踏み出している感覚を楽しむことができる。
【０１０９】
例えば、利用者は、映像信号が取得された状況とは、全く異なる、所望の状況に対応する揺動と共に、画像を鑑賞することができる。
【０１１０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１１】
図１６は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）５０１は、フローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）５０２は、一般的には、ＣＰＵ５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０１１２】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１１３】
キーボード５０８は、ＣＰＵ５０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス５０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。
【０１１４】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１１５】
通信部５１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部５１３は、ＣＰＵ５０１、またはＨＤＤ５１１から供給された、例えば、揺動信号などのデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されている、例えば、映像信号などのデータをＣＰＵ５０１、ＲＡＭ５０３、またはＨＤＤ５１１に出力する。
【０１１６】
通信部５１３は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１１７】
一連の処理を実行させるプログラムが格納されている記録媒体は、図１６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ５５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、ＨＤＤ５１１などで構成される。
【０１１８】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２０】
【発明の効果】
請求項１に記載の情報処理装置および請求項５に記載の情報処理方法によれば、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【０１２１】
請求項６に記載の揺動提示システムによれば、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る揺動提示システムの一実施の形態の構成を示す図である。
【図２】揺動信号生成装置１の構成を示す図である。
【図３】揺動信号生成部２１の構成を示す図である。
【図４】特徴情報検出部４１の構成を示すブロック図である。
【図５】メモリ７４に記憶されているパターンの一例を示す図である。
【図６】画像の例を示す図である。
【図７】成分ｕ、ｖ、ｖzoom、ｖrotの関係を示す図である。
【図８】特徴情報処理部４２の構成を示すブロック図である。
【図９】シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【図１０】シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【図１１】スクリーン１３１と、揺動提示デバイス３を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示デバイス３の構成例を示す図である。
【図１３】揺動提示デバイス３の構成例を示す図である。
【図１４】揺動提示デバイス３による動作の具体例を示す図である。
【図１５】揺動信号の生成の処理を説明するフローチャートである。
【図１６】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１ 揺動信号生成装置， ２ 端末装置， ３ 揺動提示デバイス， ２１ 揺動信号生成部， ２３ シチュエーション情報選択部， ２４ 揺動変換信号生成部， ２５ シチュエーション情報データベース， ２６ 揺動信号変換部， ４１ 特徴情報検出部， ４２ 特徴情報処理部， ７５ 動きベクトル検出部， ７６ 特徴情報演算部， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５０３ ＲＡＭ， ５１１ ＨＤＤ， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに揺動提示システムに関し、特に、画像に対応して揺動を提示する情報処理装置および方法、並びに揺動提示システムに関する。
【０００２】
【従来の技術】
アミューズメントパーク、ゲームセンタ、または遊技場などにおいて、動画像（以下、単に画像と称する）を表示すると共に、画像に対応する振動または揺動を利用者に与えることにより、利用者が感じる臨場感を増加させる装置が利用されている。
【０００３】
画像が撮像された状況には様々な種類がある。例えば、自動車、自転車、または船の走行中に撮像した画像、または人が歩きながらビデオカメラなどで撮像した画像などがある。
【０００４】
例えば、ビデオカメラの移動速度が同一であっても、自動車の走行中に撮像した画像に対応する揺動は、人が歩きながら撮像した画像に対応する揺動と、振幅または揺動の方向などが異なる。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像から揺動信号を生成する場合、画像の動きが少ないときなど、常に、画像に適した揺動信号が生成されるとは限らなかった。
【０００６】
また、自動車の走行中に撮像した画像を利用するとき、利用者が船の走行中に対応する揺動の提示を希望するなど、異なる撮像状況に対応する揺動の提示を希望しても、そのような揺動を提示することはできなかった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像により適した、または利用者が所望する揺動を提示することができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、端末装置から画像、および画像に関する情報の受信を制御する受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段とを含むことを特徴とする。
【０００９】
情報は、画像が撮像された状況を示すようにすることができる。
【００１０】
情報は、画像の撮影の、所望する状況を示すようにすることができる。
【００１１】
変換手段は、情報に対応させて、揺動信号の変換データを記録している記録手段と、情報を基に、記録手段に記録されている変換データを選択する選択手段と、選択された変換データを基に、揺動信号の各成分を変換する成分変換手段とを更に設けるようにすることができる。
【００１２】
請求項５に記載の情報処理方法は、端末装置から画像、および画像に関する情報の受信を制御する受信制御ステップと、受信した画像を基に、画像に対応する揺動信号を生成する生成ステップと、画像に関する情報に対応して、揺動信号を変換する変換ステップとを含むことを特徴とする。
【００１３】
請求項６に記載の揺動提示システムは、端末装置が、画像、および画像に関する情報の送信を制御する第１の送信制御手段と、情報処理装置が送信する揺動信号の受信を制御する第１の受信制御手段とを含み、情報処理装置が、端末装置が送信する、画像および情報の受信を制御する第２の受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段と、端末装置への、変換された揺動信号の送信を制御する第２の送信制御手段とを含むことを特徴とする。
【００１４】
請求項１に記載の情報処理装置および請求項５に記載の情報処理方法においては、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換される。
【００１５】
請求項６に記載の揺動提示システムにおいては、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る揺動提示システムの一実施の形態の構成を示す図である。揺動信号生成装置１は、図示せぬネットワーク、公衆電話回線、または専用回線などの有線または無線の伝送路を介して、端末装置２から送信される、画像コンテンツ、入力画像付属シチュエーション情報、希望シチュエーション情報、および課金情報を取得する。揺動信号生成装置１は、画像コンテンツ、入力画像付属シチュエーション情報、および希望シチュエーション情報に対応した揺動信号を生成して、図示せぬ伝送路を介して、揺動提示デバイス３に供給する。
【００１７】
画像コンテンツは、映像信号および音声信号などから構成される。
【００１８】
入力画像付属シチュエーション情報は、画像コンテンツに含まれる映像信号が取得された状況、例えば、画像を撮像しているビデオカメラが走行している自動車、若しくは自転車に装着されている、または歩行者が歩きながら撮像しているなどの状況を示す。また、入力画像付属シチュエーション情報は、自動車、若しくは自転車が走る路面の状態、または天候などの情報を含む。
【００１９】
希望シチュエーション情報は、端末装置２を操作し、揺動提示デバイス３を利用する利用者が希望する、画像が提示される仮想的な状況を示す。画像が提示される仮想的な状況は、例えば、自動車、若しくは自転車に乗っている、歩きながら画像を見ている、または凹凸のある道、若しくは砂利道を走行しているなどに対応する。
【００２０】
揺動信号生成装置１は、課金情報を基に、入力画像付属シチュエーション情報に対応した揺動信号の生成、または希望シチュエーション情報に対応する揺動信号の変換について、利用者から料金を受け取る課金の処理を実行する。
【００２１】
端末装置２は、利用者の操作に対応して、予め記録している画像コンテンツの内から利用者が所望する画像コンテンツを選択し、選択した画像コンテンツが撮像された状況を示す情報である入力画像付属シチュエーション情報（画像コンテンツと対応させて、予め記録されている）、希望シチュエーション情報、および課金情報を、図示せぬ伝送路を介して、揺動信号生成装置１に供給する。
【００２２】
入力画像付属シチュエーション情報、および希望シチュエーション情報は、常に、端末装置２から揺動信号生成装置１に送信されるとは限らない。入力画像付属シチュエーション情報は、選択された画像コンテンツと対応させて、予め端末装置２に記録されているとき、端末装置２から揺動信号生成装置１に送信され、端末装置２に記録されていないとき、端末装置２から揺動信号生成装置１に送信されない。
【００２３】
希望シチュエーション情報は、利用者により、希望シチュエーション情報を送信する旨の操作が端末装置２に加えられたときに限り、端末装置２から揺動信号生成装置１に送信される。
【００２４】
揺動提示デバイス３は、揺動信号生成装置１から供給された揺動信号を基に、揺動を利用者に提示する。
【００２５】
図２は、揺動信号生成装置１の構成を示す図である。端末装置２から供給された画像コンテンツに含まれる映像信号は、揺動信号生成部２１に供給される。
【００２６】
揺動信号生成部２１は、入力された映像信号を基に、揺動信号を生成して、生成した揺動信号を揺動信号出力部２２に供給する。
【００２７】
揺動信号生成部２１は、図３に示すように、特徴情報検出部４１および特徴情報処理部４２から構成されている。
【００２８】
特徴情報検出部４１は、映像信号から、映像信号に対応する特徴情報（後述する）を算出して、特徴情報処理部４２に供給する。
【００２９】
特徴情報処理部４２は、特徴情報検出部４１から供給された特徴情報を基に、揺動信号を生成して、出力する。
【００３０】
図４は、揺動信号生成部２１の特徴情報検出部４１の構成を示すブロック図である。特徴情報検出部４１に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。特徴情報検出部４１に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００３１】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００３２】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを特徴情報演算部７６に出力する。
【００３３】
次に、図４に示した特徴情報検出部４１の動作について説明する。時刻ｔにおいて、特徴情報検出部４１に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号、すなわち、時刻ｔより１フレーム前の映像信号が記憶されている。
【００３４】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００３５】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図５を参照して説明する。
【００３６】
図５は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図６に示したような、自動車のダッシュボードまたはボンネットに対応する部分などは揺動に関係のない領域と考えられるので、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な位置の代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなる参照ブロックＢ、例えば、３３×３３画素からなる参照ブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、参照ブロックＢの大きさと、図示していないが例えば６５×６５画素からなる探索ブロックの大きさが、パターンとして記憶されている。
【００３７】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したパターンに対応する画素データ、すなわち、代表点Ｑの座標と参照ブロックＢの大きさをもとに、各参照ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００３８】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００３９】
なお、本実施例では、揺動信号を生成することを目的としてるため動きベクトルを全ての画素に対して検出する必要が無いため、２５個の動きベクトルだけを求めるようにしている。これにより、回路規模の削減や処理速度を上げることができる。
【００４０】
特徴情報演算部７６は、動きベクトル検出部７５により検出された２５個の動きベクトルを用いて、時刻ｔのフレーム全体としての揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００４１】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図７を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００４２】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００４３】
なお、ここでは、各成分を求めるのに２５個の動きベクトルの値を平均的に用いているが、画面上における位置関係などに基づいて、各成分に重み付けをしてもよい。
【００４４】
特徴情報演算部７６は、動きベクトル検出部７５から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴情報として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、特徴情報処理部４２に供給される。
【００４５】
ここで、例えば、利用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を利用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける上下方向の振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００４６】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して与えられた刺激のうち、映像を観察する利用者の椅子に対しても物理的意味合いが同じ形で刺激を与えることができる力であり、ここでは実刺激と呼ぶ。この実刺激は、その値を積分していくと値がゼロになるものである。
【００４７】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、積分していっても値がゼロにならないものであり、椅子の移動距離の制限、移動方向の制限等から、自動車に対して与えられた刺激と物理的意味合いが同じ形で与えることが困難な刺激であり、ここでは、代替刺激と呼ぶ。
【００４８】
以下に、上述した実刺激と代替刺激に関する揺動、実際に利用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴情報演算部７６により演算された４成分の関係を示す。
【００４９】
以下に示す実刺激のうち、路面の前後の傾きに対する揺動信号は、揺動信号成分pitchの１つとされ、動きベクトルの垂直方向の成分のうち低周波成分で表すことができる。ここで、路面の傾きは、遅い周期で変わると考えられるため低周波成分を用いている。
【００５０】
路面から受ける振動は、垂直方向に与えられると考えられ、また、高周波と考えられるため、路面から受ける振動に対する揺動信号は、動きベクトルの垂直成分のうち高周波成分を用いている。この値は、揺動信号成分ｚとされる。
【００５１】
路面の左右の傾きに対する揺動信号は、揺動信号成分rollの１つとされ、図７から明らかなように回転成分Vrotiを２５個の動きベクトル分加算した値で表すことができる。
【００５２】
カーブ時の遠心力に対する揺動信号は、揺動信号成分rollの１つとされ、水平成分ｕで表される。
【００５３】
加減速による慣性力に対する揺動信号は、揺動信号成分pitchの１つとされ、拡大成分Vzoomの微分値の低周波成分で表される。なお、低周波成分としてあるのは、加減速に対しては敏感な動作は不要と考えられるからである。
【００５４】
カーブ時の自動車の首振りに対する揺動信号は、揺動信号成分yawとされ、水平成分uで表される。なお、-uとしてあるのは、カーブ時の遠心力と逆に働くためである。
実刺激
表現される成分 揺動信号成分 ４成分との関係
路面の前後の傾き pitch Σｖの低周波成分
路面からうける振動 ｚ −Σｖの高周波成分
路面の左右の傾き roll −Σｖrot
代替刺激
表現される成分 揺動信号成分 ４成分との関係
曲がる時の遠心力 roll ｕ
加減速による慣性力 pitch ｄｖzoom／ｄｔの低周波成分
曲がる時の自動車首振り yaw −ｕ
【００５５】
特徴情報処理部４２は、上述した関係を用いて、揺動信号変換部２６に供給する揺動信号を生成する。
【００５６】
図８は、特徴情報処理部４２の構成を示すブロック図である。特徴情報検出部４１から出力された４成分のうち、回転成分ｖrotは、加算器９１−１に、水平成分ｕは、加算器９１−２と符号反転器９２−１に、垂直成分ｖは、加算器９１−３に、拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に、それぞれ入力される。加算器９１−１には、加算器９１−１から出力されたデータが、遅延器９３−１で１クロック分遅延された後、入力される。同様に、加算器９１−３にも、加算器９１−３から出力されたデータが、遅延器９３−２で１クロック分遅延された後、入力される。
【００５７】
遅延器９３−１から出力されたデータは、加算器９１−２に入力される。遅延器９３−２から出力されたデータは、符号反転器９２−２を介してHPF（High Pass Filter）９４に出力されると共に、LPF（Low Pass Filter）９５−１を介して加算器９１−４にも出力される。加算器９１−５に入力された拡大成分ｖzoomは、遅延器９３−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９５−２を介して加算器９１−４に入力される。
【００５８】
次に、特徴情報処理部４２が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。特徴情報処理部４２に入力された回転成分ｖrotは、加算器９１−１に入力される。加算器９１−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９３−１より出力される１フレーム前の時刻ｔ−１のデータとを加算する。加算器９１−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータを演算に用いる。
【００５９】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９３−１の出力を減算する）ことにより、揺動信号変換部２６に供給する揺動信号成分rollを算出する。
【００６０】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、特徴情報処理部４２は、入力された水平成分ｕの値を、符号反転器９２−１により、符号を反転させることに揺動信号成分yawを算出する。
【００６１】
加算器９１−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９３−２より出力された１フレーム前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９１−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９１−３と遅延器９３−２により累積加算されたデータは、符号反転器９２−２に入力され、符号が反転され、さらにHPF９４により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００６２】
また、遅延器９３−２から出力されたデータは、LPF９５−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９５−１から出力された揺動信号成分pitchは、加算器９１−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００６３】
慣性力を表現する揺動信号成分pitchは、特徴情報処理部４２に入力された拡大成分ｖzoomから算出される。特徴情報処理部４２に入力された拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に入力される。加算器９１−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９３−３により１フレーム遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９１−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９１−５から出力された値から、LPF９５−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００６４】
加算器９１−４により、LPF９５−１から出力された値と、LPF９５−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００６５】
このように、揺動信号生成部２１は、映像信号を基に、揺動信号を生成して、揺動信号出力部２２に供給する。
【００６６】
揺動信号出力部２２は、揺動信号生成部２１から供給された揺動信号を、揺動信号変換部２６に出力する。
【００６７】
端末装置２から供給された画像コンテンツに対応する入力画像付属シチュエーション情報および希望シチュエーション情報は、シチュエーション情報選択部２３に供給される。
【００６８】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報が供給されたとき、希望シチュエーション情報を揺動変換信号生成部２４に供給する。
【００６９】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報が供給されず、入力画像付属シチュエーション情報が供給されたとき、入力画像付属シチュエーション情報を揺動変換信号生成部２４に供給する。
【００７０】
シチュエーション情報選択部２３は、端末装置２から希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないとき、希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないことを示す情報（揺動信号の変換が不要であることを示す情報）を揺動変換信号生成部２４に供給する。
【００７１】
シチュエーション情報データベース２５は、画像が撮像された状況に対応させて、揺動の変換の手法を記録している。
【００７２】
図９および図１０は、シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【００７３】
図９は、シチュエーション情報データベース２５が記録している、路面状況または天候に対応する揺動変換の手法を示すデータの例を示す図である。
【００７４】
例えば、一般の舗装された道路を走行中に画像が撮像されたときの、揺動の変換手法は、路面による揺動が吸収されず、移動手段（例えば、自動車、人、または自転車など）による違いをそのまま反映する手法である。すなわち、一般の舗装された道路を走行中に画像が撮像されたとき、移動手段に対応する変換手法がそのまま適用される。
【００７５】
砂利道を走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、かつ、微少で不規則な、非常に短い間隔の揺れを揺動信号に加える手法である。例えば、より具体的には、揺動信号の垂直方向の成分を減衰させるとともに、ランダムな信号を生成して、生成したランダムな信号から振幅が小さく、周期の短い信号を選択して、揺動信号に加算する手法である。
【００７６】
砂地を走行中に画像が撮像されたときの、揺動の変換手法は、微少な揺れは押さえられ、移動手段による違いが吸収され、また、加速感などが失われる手法である。すなわち、揺動信号から振幅の少ない信号成分は除去され、移動手段に対応する揺動信号の変換量は少なくされる（例えば、加算する揺動信号の振幅が少なくされる）。
【００７７】
雨天時に砂地を走行中に画像が撮像されたとき、上述の手法において、変換の傾向が弱められる。すなわち、振幅の少ない信号成分の除去量が減少され、移動手段に対応する揺動信号の変換量はより多くされる。
【００７８】
図１０は、シチュエーション情報データベース２５が記録している、移動手段に対応する揺動変換の手法を示すデータの例を示す図である。
【００７９】
例えば、自動車の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、自動車が曲がるときの左右の揺れを強調し、更にタイヤの大きさなどによって、路面の凹凸の伝わりやすさを変化させる手法である。すなわち、揺動信号の垂直成分は減衰され、roll成分が加算される。路面に対応する揺動信号の変換量は、タイヤの大きさなどによって、増加されるか、または減少される。
【００８０】
例えば、人の歩行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を強調し、更に左右の脚を交互に踏み出している感じを表現するため、roll方向に揺動を提示する手法である。
【００８１】
船の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動の提示時間を長くし、ゆったりと揺動を提示する（揺動の周期を長くする）手法である。
【００８２】
馬などの動物に乗って画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動にpitch方向の揺れを加えて強調する（pitch成分を加算する）手法である。
【００８３】
シチュエーション情報データベース２５が揺動変換信号生成部２４に供給する揺動変換の手法を示すデータは、移動手段、路面状況、または天候などの状況全体に対応した揺動変換の手法を示す。
【００８４】
揺動変換信号生成部２４は、シチュエーション情報選択部２３から供給されたシチュエーション情報（入力画像付属シチュエーション情報、希望シチュエーション情報、またはそのいずれもが無いことを示す情報）を基に、シチュエーション情報データベース２５が予め記録している、シチュエーション情報に対応する揺動変換の手法を示すデータを読み出す。
【００８５】
揺動変換信号生成部２４は、シチュエーション情報データベース２５から読み出した、揺動変換の手法を示すデータを基に、揺動変換信号を生成する。
【００８６】
揺動変換信号は、揺動信号に、例えば、垂直方向の揺動成分を減衰させる、ランダムな短い周期の揺れを加える、roll方向の成分を加えるなどを示す信号である。
【００８７】
揺動変換信号生成部２４は、生成した揺動変換信号を揺動信号変換部２６に供給する。
【００８８】
揺動信号変換部２６は、揺動変換信号生成部２４から供給された揺動変換信号を基に、揺動信号出力部２２から供給された揺動信号を変換して、変換した揺動信号を揺動提示デバイス３に供給する。
【００８９】
図１１は、映像信号に対応する画像を表示するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示デバイス３を構成する椅子１３２との関係の例を示す図である。
【００９０】
揺動提示デバイス３は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る利用者に揺動を感じさせる。
【００９１】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【００９２】
揺動提示デバイス３の構成例を図１２および図１３に示す。図１２は、揺動提示デバイス３の側面図であり、図１３は、揺動提示デバイス３の上面図である。揺動提示デバイス３は、６本のアクチュエータとしてのピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に利用者１４３が座るようになされている。
【００９３】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、揺動信号生成装置１により供給される。
【００９４】
図１４は、揺動提示デバイス３による動作の具体例を示す図である。図１４における上向きの矢印は、ピストンが延びることを示し、下向きの矢印は、ピストンが縮むことを示す。
【００９５】
次に、図１５のフローチャートを参照して、揺動信号生成装置１における揺動信号の生成の処理を説明する。
【００９６】
ステップＳ１１において、揺動信号生成装置１は、端末装置２から送信される、映像信号、入力画像付属シチュエーション情報、および希望シチュエーション情報を取得する。
【００９７】
ステップＳ１２において、揺動信号生成部２１は、取得した映像信号に基づいて、揺動信号を生成する。生成された揺動信号は、揺動信号出力部２２を介して揺動信号変換部２６に供給される。
【００９８】
ステップＳ１３において、シチュエーション情報選択部２３は、希望シチュエーション情報が取得されたか否かを判定し、希望シチュエーション情報が取得されたと判定された場合、ステップＳ１４に進む。シチュエーション情報選択部２３は、希望シチュエーション情報を揺動変換信号生成部２４に供給する。
【００９９】
ステップＳ１４において、揺動変換信号生成部２４は、希望シチュエーション情報を基に、シチュエーション情報データベース２５を参照して、希望シチュエーション情報に対応する揺動変換の手法のデータを取得する。
【０１００】
ステップＳ１５において、揺動変換信号生成部２４は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成する。揺動変換信号生成部２４は、生成した、揺動変換信号を揺動信号変換部２６に供給する。
【０１０１】
ステップＳ１６において、揺動信号変換部２６は、揺動変換信号を基に、揺動信号出力部２２から供給された揺動信号を変換する。ステップＳ１７において、揺動信号変換部２６は、変換された揺動信号を揺動提示デバイス３に出力して、処理は終了する。
【０１０２】
ステップＳ１３において、希望シチュエーション情報が取得されていないと判定された場合、ステップＳ１８に進み、シチュエーション情報選択部２３は、入力画像付属シチュエーション情報が取得されたか否かを判定し、入力画像付属シチュエーション情報が取得されたと判定された場合、ステップＳ１９に進む。シチュエーション情報選択部２３は、入力画像付属シチュエーション情報を揺動変換信号生成部２４に供給する。
【０１０３】
ステップＳ１９において、揺動変換信号生成部２４は、入力画像付属シチュエーション情報を基に、シチュエーション情報データベース２５を参照して、入力画像付属シチュエーション情報に対応する揺動変換の手法のデータを取得し、ステップＳ１５に進む。
【０１０４】
ステップＳ１５において、揺動変換信号生成部２４は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成し、ステップＳ１６およびステップＳ１７の処理により、揺動信号が変換され、出力されて、処理は終了する。
【０１０５】
ステップＳ１８において、入力画像付属シチュエーション情報が取得されていないと判定された場合、揺動信号を変換する必要は無いので、手続は、ステップＳ２０に進む。シチュエーション情報選択部２３は、揺動信号の変換が不要である旨を示す情報を、揺動変換信号生成部２４を介して、揺動信号変換部２６に供給する。
【０１０６】
ステップＳ２０において、揺動信号変換部２６は、揺動信号出力部２２から供給された揺動信号をそのまま揺動提示デバイス３に出力して、処理は終了する。
【０１０７】
このように、揺動信号生成装置１は、希望シチュエーション情報または入力画像付属シチュエーション情報に基づいて、映像信号を基に生成された揺動信号を変換するので、画像により適した、または利用者が所望する揺動を提示することができる。
【０１０８】
例えば、利用者は、歩きながら撮像された画像を鑑賞するとき、より明確な垂直方向の揺動と、左右の脚を踏み出している感覚を楽しむことができる。
【０１０９】
例えば、利用者は、映像信号が取得された状況とは、全く異なる、所望の状況に対応する揺動と共に、画像を鑑賞することができる。
【０１１０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１１】
図１６は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）５０１は、フローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）５０２は、一般的には、ＣＰＵ５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０１１２】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１１３】
キーボード５０８は、ＣＰＵ５０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス５０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。
【０１１４】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１１５】
通信部５１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部５１３は、ＣＰＵ５０１、またはＨＤＤ５１１から供給された、例えば、揺動信号などのデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されている、例えば、映像信号などのデータをＣＰＵ５０１、ＲＡＭ５０３、またはＨＤＤ５１１に出力する。
【０１１６】
通信部５１３は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１１７】
一連の処理を実行させるプログラムが格納されている記録媒体は、図１６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ５５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、ＨＤＤ５１１などで構成される。
【０１１８】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２０】
【発明の効果】
請求項１に記載の情報処理装置および請求項５に記載の情報処理方法によれば、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【０１２１】
請求項６に記載の揺動提示システムによれば、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る揺動提示システムの一実施の形態の構成を示す図である。
【図２】揺動信号生成装置１の構成を示す図である。
【図３】揺動信号生成部２１の構成を示す図である。
【図４】特徴情報検出部４１の構成を示すブロック図である。
【図５】メモリ７４に記憶されているパターンの一例を示す図である。
【図６】画像の例を示す図である。
【図７】成分ｕ、ｖ、ｖzoom、ｖrotの関係を示す図である。
【図８】特徴情報処理部４２の構成を示すブロック図である。
【図９】シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【図１０】シチュエーション情報データベース２５が記録している揺動の変換の手法の例を示す図である。
【図１１】スクリーン１３１と、揺動提示デバイス３を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示デバイス３の構成例を示す図である。
【図１３】揺動提示デバイス３の構成例を示す図である。
【図１４】揺動提示デバイス３による動作の具体例を示す図である。
【図１５】揺動信号の生成の処理を説明するフローチャートである。
【図１６】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１ 揺動信号生成装置， ２ 端末装置， ３ 揺動提示デバイス， ２１ 揺動信号生成部， ２３ シチュエーション情報選択部， ２４ 揺動変換信号生成部， ２５ シチュエーション情報データベース， ２６ 揺動信号変換部， ４１ 特徴情報検出部， ４２ 特徴情報処理部， ７５ 動きベクトル検出部， ７６ 特徴情報演算部， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５０３ ＲＡＭ， ５１１ ＨＤＤ， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ
Claims (6)
- 揺動を提示する端末装置に揺動信号を提供する情報処理装置において、
前記端末装置から画像、および前記画像に関する情報の受信を制御する受信制御手段と、
受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成手段と、
前記画像に関する前記情報に対応して、前記揺動信号を変換する変換手段と
を含むことを特徴とする情報処理装置。 - 前記情報は、前記画像が撮像された状況を示す
ことを特徴とする請求項１に記載の情報処理装置。 - 前記情報は、前記画像の撮影の、所望する状況を示す
ことを特徴する請求項１に記載の情報処理装置。 - 前記変換手段は、
前記情報に対応させて、前記揺動信号の変換データを記録している記録手段と、
前記情報を基に、前記記録手段に記録されている前記変換データを選択する選択手段と、
選択された前記変換データを基に、前記揺動信号の各成分を変換する成分変換手段と
を更に含むことを特徴とする請求項１に記載の情報処理装置。 - 揺動を提示する端末装置に揺動信号を提供する情報処理装置の情報処理方法において、
前記端末装置から画像、および前記画像に関する情報の受信を制御する受信制御ステップと、
受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成ステップと、
前記画像に関する前記情報に対応して、前記揺動信号を変換する変換ステップと
を含むことを特徴とする情報処理方法。 - 揺動を提示する端末装置と、揺動信号を提供する情報処理装置から成る揺動提示システムにおいて、
前記端末装置は、
画像、および画像に関する情報の送信を制御する第１の送信制御手段と、
前記情報処理装置が送信する前記揺動信号の受信を制御する第１の受信制御手段と
を含み、
前記情報処理装置は、
前記端末装置が送信する、前記画像および前記情報の受信を制御する第２の受信制御手段と、
受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成手段と、
前記画像に関する前記情報に対応して、前記揺動信号を変換する変換手段と、
前記端末装置への、変換された前記揺動信号の送信を制御する第２の送信制御手段と
を含むことを特徴とする揺動提示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220926A JP4427699B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに揺動提示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220926A JP4427699B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに揺動提示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002035437A JP2002035437A (ja) | 2002-02-05 |
| JP4427699B2 true JP4427699B2 (ja) | 2010-03-10 |
Family
ID=18715440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000220926A Expired - Fee Related JP4427699B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに揺動提示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4427699B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10298876B2 (en) | 2014-11-07 | 2019-05-21 | Sony Corporation | Information processing system, control method, and storage medium |
-
2000
- 2000-07-21 JP JP2000220926A patent/JP4427699B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002035437A (ja) | 2002-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7382830B2 (en) | Apparatus for generating motion control signal from image signal | |
| WO2006006590A1 (ja) | 画像処理プログラム、記録媒体及び装置 | |
| JP4427699B2 (ja) | 情報処理装置および方法、並びに揺動提示システム | |
| JP4423523B2 (ja) | 情報処理装置および方法 | |
| JP4573076B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| JPH11153949A (ja) | 体感モーション装置 | |
| JP4599679B2 (ja) | 情報処理装置および方法、並びに提示システム | |
| US11107364B2 (en) | Method to enhance first-person-view experience | |
| JP2002035422A (ja) | 情報処理装置および方法、並びに提示システム | |
| JP4465828B2 (ja) | 情報処理装置および方法、並びに提示システム | |
| JP4395682B2 (ja) | 情報処理装置および方法、並びに提示システム | |
| WO2024127563A1 (ja) | 路面情報伝送システム、路面情報生成装置、方法およびプログラム | |
| JP4649712B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP4389138B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| WO2024127562A1 (ja) | 振動情報伝送システム、振動計測装置、方法およびプログラム | |
| CN118015895A (zh) | 模拟驾驶方法、装置及模拟驾驶系统 | |
| JP4438191B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP4433581B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| WO2024029307A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2001183968A (ja) | 疑似体験装置及び疑似体験方法 | |
| JP3965705B2 (ja) | ワイド画面データ出力方法及び装置 | |
| JP4846919B2 (ja) | 模擬運転装置 | |
| CN112642147A (zh) | 游戏控制方法、装置、设备和存储介质 | |
| CN118279525A (zh) | 画面显示方法、装置及其相关设备 | |
| JP2001154570A (ja) | 疑似体験装置及び疑似体験方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |