JP4427699B2 - 情報処理装置および方法、並びに揺動提示システム - Google Patents

情報処理装置および方法、並びに揺動提示システム Download PDF

Info

Publication number
JP4427699B2
JP4427699B2 JP2000220926A JP2000220926A JP4427699B2 JP 4427699 B2 JP4427699 B2 JP 4427699B2 JP 2000220926 A JP2000220926 A JP 2000220926A JP 2000220926 A JP2000220926 A JP 2000220926A JP 4427699 B2 JP4427699 B2 JP 4427699B2
Authority
JP
Japan
Prior art keywords
swing
image
signal
information
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000220926A
Other languages
English (en)
Other versions
JP2002035437A (ja
Inventor
通雅 尾花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000220926A priority Critical patent/JP4427699B2/ja
Publication of JP2002035437A publication Critical patent/JP2002035437A/ja
Application granted granted Critical
Publication of JP4427699B2 publication Critical patent/JP4427699B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに揺動提示システムに関し、特に、画像に対応して揺動を提示する情報処理装置および方法、並びに揺動提示システムに関する。
【0002】
【従来の技術】
アミューズメントパーク、ゲームセンタ、または遊技場などにおいて、動画像(以下、単に画像と称する)を表示すると共に、画像に対応する振動または揺動を利用者に与えることにより、利用者が感じる臨場感を増加させる装置が利用されている。
【0003】
画像が撮像された状況には様々な種類がある。例えば、自動車、自転車、または船の走行中に撮像した画像、または人が歩きながらビデオカメラなどで撮像した画像などがある。
【0004】
例えば、ビデオカメラの移動速度が同一であっても、自動車の走行中に撮像した画像に対応する揺動は、人が歩きながら撮像した画像に対応する揺動と、振幅または揺動の方向などが異なる。
【0005】
【発明が解決しようとする課題】
しかしながら、画像から揺動信号を生成する場合、画像の動きが少ないときなど、常に、画像に適した揺動信号が生成されるとは限らなかった。
【0006】
また、自動車の走行中に撮像した画像を利用するとき、利用者が船の走行中に対応する揺動の提示を希望するなど、異なる撮像状況に対応する揺動の提示を希望しても、そのような揺動を提示することはできなかった。
【0007】
本発明はこのような状況に鑑みてなされたものであり、画像により適した、または利用者が所望する揺動を提示することができるようにすることを目的とする。
【0008】
【課題を解決するための手段】
請求項1に記載の情報処理装置は、端末装置から画像、および画像に関する情報の受信を制御する受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段とを含むことを特徴とする。
【0009】
情報は、画像が撮像された状況を示すようにすることができる。
【0010】
情報は、画像の撮影の、所望する状況を示すようにすることができる。
【0011】
変換手段は、情報に対応させて、揺動信号の変換データを記録している記録手段と、情報を基に、記録手段に記録されている変換データを選択する選択手段と、選択された変換データを基に、揺動信号の各成分を変換する成分変換手段とを更に設けるようにすることができる。
【0012】
請求項5に記載の情報処理方法は、端末装置から画像、および画像に関する情報の受信を制御する受信制御ステップと、受信した画像を基に、画像に対応する揺動信号を生成する生成ステップと、画像に関する情報に対応して、揺動信号を変換する変換ステップとを含むことを特徴とする。
【0013】
請求項6に記載の揺動提示システムは、端末装置が、画像、および画像に関する情報の送信を制御する第1の送信制御手段と、情報処理装置が送信する揺動信号の受信を制御する第1の受信制御手段とを含み、情報処理装置が、端末装置が送信する、画像および情報の受信を制御する第2の受信制御手段と、受信した画像を基に、画像に対応する揺動信号を生成する生成手段と、画像に関する情報に対応して、揺動信号を変換する変換手段と、端末装置への、変換された揺動信号の送信を制御する第2の送信制御手段とを含むことを特徴とする。
【0014】
請求項1に記載の情報処理装置および請求項5に記載の情報処理方法においては、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換される。
【0015】
請求項6に記載の揺動提示システムにおいては、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御される。
【0016】
【発明の実施の形態】
図1は、本発明に係る揺動提示システムの一実施の形態の構成を示す図である。揺動信号生成装置1は、図示せぬネットワーク、公衆電話回線、または専用回線などの有線または無線の伝送路を介して、端末装置2から送信される、画像コンテンツ、入力画像付属シチュエーション情報、希望シチュエーション情報、および課金情報を取得する。揺動信号生成装置1は、画像コンテンツ、入力画像付属シチュエーション情報、および希望シチュエーション情報に対応した揺動信号を生成して、図示せぬ伝送路を介して、揺動提示デバイス3に供給する。
【0017】
画像コンテンツは、映像信号および音声信号などから構成される。
【0018】
入力画像付属シチュエーション情報は、画像コンテンツに含まれる映像信号が取得された状況、例えば、画像を撮像しているビデオカメラが走行している自動車、若しくは自転車に装着されている、または歩行者が歩きながら撮像しているなどの状況を示す。また、入力画像付属シチュエーション情報は、自動車、若しくは自転車が走る路面の状態、または天候などの情報を含む。
【0019】
希望シチュエーション情報は、端末装置2を操作し、揺動提示デバイス3を利用する利用者が希望する、画像が提示される仮想的な状況を示す。画像が提示される仮想的な状況は、例えば、自動車、若しくは自転車に乗っている、歩きながら画像を見ている、または凹凸のある道、若しくは砂利道を走行しているなどに対応する。
【0020】
揺動信号生成装置1は、課金情報を基に、入力画像付属シチュエーション情報に対応した揺動信号の生成、または希望シチュエーション情報に対応する揺動信号の変換について、利用者から料金を受け取る課金の処理を実行する。
【0021】
端末装置2は、利用者の操作に対応して、予め記録している画像コンテンツの内から利用者が所望する画像コンテンツを選択し、選択した画像コンテンツが撮像された状況を示す情報である入力画像付属シチュエーション情報(画像コンテンツと対応させて、予め記録されている)、希望シチュエーション情報、および課金情報を、図示せぬ伝送路を介して、揺動信号生成装置1に供給する。
【0022】
入力画像付属シチュエーション情報、および希望シチュエーション情報は、常に、端末装置2から揺動信号生成装置1に送信されるとは限らない。入力画像付属シチュエーション情報は、選択された画像コンテンツと対応させて、予め端末装置2に記録されているとき、端末装置2から揺動信号生成装置1に送信され、端末装置2に記録されていないとき、端末装置2から揺動信号生成装置1に送信されない。
【0023】
希望シチュエーション情報は、利用者により、希望シチュエーション情報を送信する旨の操作が端末装置2に加えられたときに限り、端末装置2から揺動信号生成装置1に送信される。
【0024】
揺動提示デバイス3は、揺動信号生成装置1から供給された揺動信号を基に、揺動を利用者に提示する。
【0025】
図2は、揺動信号生成装置1の構成を示す図である。端末装置2から供給された画像コンテンツに含まれる映像信号は、揺動信号生成部21に供給される。
【0026】
揺動信号生成部21は、入力された映像信号を基に、揺動信号を生成して、生成した揺動信号を揺動信号出力部22に供給する。
【0027】
揺動信号生成部21は、図3に示すように、特徴情報検出部41および特徴情報処理部42から構成されている。
【0028】
特徴情報検出部41は、映像信号から、映像信号に対応する特徴情報(後述する)を算出して、特徴情報処理部42に供給する。
【0029】
特徴情報処理部42は、特徴情報検出部41から供給された特徴情報を基に、揺動信号を生成して、出力する。
【0030】
図4は、揺動信号生成部21の特徴情報検出部41の構成を示すブロック図である。特徴情報検出部41に入力された映像信号は、遅延部71により1フレーム分遅延された後、フレームバッファ72−1に供給される。特徴情報検出部41に入力された映像信号は、フレームバッファ72−2にも供給される。
【0031】
読み出し部73−1および73−2は、メモリ74に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ72−1および72−2から、映像信号を読み出し、動きベクトル検出部75に出力する。
【0032】
動きベクトル検出部75は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを特徴情報演算部76に出力する。
【0033】
次に、図4に示した特徴情報検出部41の動作について説明する。時刻tにおいて、特徴情報検出部41に入力された映像信号は、遅延部71とフレームバッファ72−2に供給される。フレームバッファ72−2は、入力された1フレーム分の映像信号を記憶する。遅延部71は、映像信号を1フレーム分だけ遅延するので、時刻tにおいて、フレームバッファ72−1には、時刻tより前の時刻t−1における映像信号、すなわち、時刻tより1フレーム前の映像信号が記憶されている。
【0034】
フレームバッファ72−1に記憶された時刻t−1における映像信号は、読み出し部73−1により、フレームバッファ72−2に記憶された時刻tにおける映像信号は、読み出し部73−2により、それぞれ読み出される。
【0035】
読み出し部73−1および73−2は、それぞれ対応するフレームバッファ72−1または72−2に記憶されている映像信号のうち、メモリ74に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ74に記憶されているパターンについて、図5を参照して説明する。
【0036】
図5は、メモリ74に記憶されているパターンの一例を示す図である。1フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図6に示したような、自動車のダッシュボードまたはボンネットに対応する部分などは揺動に関係のない領域と考えられるので、その領域を取り除いた領域の中心に位置する画素を収束点Pとする。収束点Pを中心として上下左右に対称な位置の代表点Q、例えば、25個(収束点を含む)を設定する。各代表点Q毎に、その代表点Qが中心に位置する所定の画素数からなる参照ブロックB、例えば、33×33画素からなる参照ブロックBを設定する。メモリ74には、このようなフレームの画面内における各代表点Qの座標と、参照ブロックBの大きさと、図示していないが例えば65×65画素からなる探索ブロックの大きさが、パターンとして記憶されている。
【0037】
読み出し部73−1は、フレームバッファ72−1に記憶されている時刻t−1における映像信号のうち、メモリ74に記憶されている上述したパターンに対応する画素データ、すなわち、代表点Qの座標と参照ブロックBの大きさをもとに、各参照ブロックB内の画素データを読み出し、動きベクトル検出部75に、参照ブロックのデータとして出力する。同様に、読み出し部73−2は、フレームバッファ72−2に記憶されている時刻tにおける映像信号のうち、メモリ74に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部75に探索ブロックのデータとして出力する。
【0038】
動きベクトル検出部75は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Qにおける動きベクトルを検出する。従って、この例の場合、25個の動きベクトルが検出される。
【0039】
なお、本実施例では、揺動信号を生成することを目的としてるため動きベクトルを全ての画素に対して検出する必要が無いため、25個の動きベクトルだけを求めるようにしている。これにより、回路規模の削減や処理速度を上げることができる。
【0040】
特徴情報演算部76は、動きベクトル検出部75により検出された25個の動きベクトルを用いて、時刻tのフレーム全体としての揺動の水平成分u、垂直成分v、拡大成分vzoom、および回転成分vrotの合計4成分を、以下に示す式に基づいて算出する。
水平成分u=(1/n)Σui ・・・(1)
垂直成分v=(1/n)Σvi ・・・(2)
拡大成分vzoom=(1/n)Σvzoomi/di ・・・(3)
回転成分vrot=(1/n)Σvroti/di ・・・(4)
なお、添え字のiは、代表点Qiに付けられた番号を示し、この例では1乃至25まで変化する。また、nは代表点の個数であるので、この例では25である。式(1)乃至式(4)により求められる値は、25個の動きベクトルから得られる各成分u、v、vzoom、vrotの平均値である。
【0041】
上述した各成分u、v、vzoom、vrotの関係を図7を参照して説明する。処理対象となっている代表点Qiの動きベクトルTの水平方向の成分をuiとし、垂直方向の成分をviとする。diは、収束点Pから代表点Qiまでの距離を表すスカラ量である。また、(Px,Py)は、収束点Pの座標を表し、この座標値を基準として座標(Qix,Qiy)の代表点Qiまでの距離が算出される。
【0042】
この動きベクトルTの成分(ui,vi)は、代表点Qiを原点としたときの成分である。動きベクトルTの、収束点Pと代表点Qiとを結ぶ直線と平行な方向の成分vzoomiとし、収束点Pと代表点Qiとを結ぶ直線と直交する方向の成分をvrotiとする。また、収束点Pと代表点Qiとを結ぶ直線と動きベクトルTとがなす角度をθとする。このとき、vzoomiとvrotiは、次式に従って求められる。
zoomi=(ui 2+vi 2(1/2)COSθ ・・・(5)
roti =(ui 2+vi 2(1/2)SINθ ・・・(6)
【0043】
なお、ここでは、各成分を求めるのに25個の動きベクトルの値を平均的に用いているが、画面上における位置関係などに基づいて、各成分に重み付けをしてもよい。
【0044】
特徴情報演算部76は、動きベクトル検出部75から出力された動きベクトルから、式(1)乃至式(4)を用いて、特徴情報として4成分のデータu、v、vzoom、vrotを算出する。算出された4成分のデータu、v、vzoom、vrotは、特徴情報処理部42に供給される。
【0045】
ここで、例えば、利用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を利用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける上下方向の振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【0046】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して与えられた刺激のうち、映像を観察する利用者の椅子に対しても物理的意味合いが同じ形で刺激を与えることができる力であり、ここでは実刺激と呼ぶ。この実刺激は、その値を積分していくと値がゼロになるものである。
【0047】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、積分していっても値がゼロにならないものであり、椅子の移動距離の制限、移動方向の制限等から、自動車に対して与えられた刺激と物理的意味合いが同じ形で与えることが困難な刺激であり、ここでは、代替刺激と呼ぶ。
【0048】
以下に、上述した実刺激と代替刺激に関する揺動、実際に利用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴情報演算部76により演算された4成分の関係を示す。
【0049】
以下に示す実刺激のうち、路面の前後の傾きに対する揺動信号は、揺動信号成分pitchの1つとされ、動きベクトルの垂直方向の成分のうち低周波成分で表すことができる。ここで、路面の傾きは、遅い周期で変わると考えられるため低周波成分を用いている。
【0050】
路面から受ける振動は、垂直方向に与えられると考えられ、また、高周波と考えられるため、路面から受ける振動に対する揺動信号は、動きベクトルの垂直成分のうち高周波成分を用いている。この値は、揺動信号成分zとされる。
【0051】
路面の左右の傾きに対する揺動信号は、揺動信号成分rollの1つとされ、図7から明らかなように回転成分Vrotiを25個の動きベクトル分加算した値で表すことができる。
【0052】
カーブ時の遠心力に対する揺動信号は、揺動信号成分rollの1つとされ、水平成分uで表される。
【0053】
加減速による慣性力に対する揺動信号は、揺動信号成分pitchの1つとされ、拡大成分Vzoomの微分値の低周波成分で表される。なお、低周波成分としてあるのは、加減速に対しては敏感な動作は不要と考えられるからである。
【0054】
カーブ時の自動車の首振りに対する揺動信号は、揺動信号成分yawとされ、水平成分uで表される。なお、-uとしてあるのは、カーブ時の遠心力と逆に働くためである。
実刺激
表現される成分 揺動信号成分 4成分との関係
路面の前後の傾き pitch Σvの低周波成分
路面からうける振動 z −Σvの高周波成分
路面の左右の傾き roll −Σvrot
代替刺激
表現される成分 揺動信号成分 4成分との関係
曲がる時の遠心力 roll u
加減速による慣性力 pitch dvzoom/dtの低周波成分
曲がる時の自動車首振り yaw −u
【0055】
特徴情報処理部42は、上述した関係を用いて、揺動信号変換部26に供給する揺動信号を生成する。
【0056】
図8は、特徴情報処理部42の構成を示すブロック図である。特徴情報検出部41から出力された4成分のうち、回転成分vrotは、加算器91−1に、水平成分uは、加算器91−2と符号反転器92−1に、垂直成分vは、加算器91−3に、拡大成分vzoomは、加算器91−5と遅延器93−3に、それぞれ入力される。加算器91−1には、加算器91−1から出力されたデータが、遅延器93−1で1クロック分遅延された後、入力される。同様に、加算器91−3にも、加算器91−3から出力されたデータが、遅延器93−2で1クロック分遅延された後、入力される。
【0057】
遅延器93−1から出力されたデータは、加算器91−2に入力される。遅延器93−2から出力されたデータは、符号反転器92−2を介してHPF(High Pass Filter)94に出力されると共に、LPF(Low Pass Filter)95−1を介して加算器91−4にも出力される。加算器91−5に入力された拡大成分vzoomは、遅延器93−3により1クロック分遅延された拡大成分vzoomが減算され、LPF95−2を介して加算器91−4に入力される。
【0058】
次に、特徴情報処理部42が行う揺動信号成分roll、yaw、z、およびpitchの算出について説明する。特徴情報処理部42に入力された回転成分vrotは、加算器91−1に入力される。加算器91−1は、時刻tにおいて入力された回転成分vrotと、遅延器93−1より出力される1フレーム前の時刻t−1のデータとを加算する。加算器91−1は、このようにして、回転成分vrotを累積加算(積分)していくことにより、路面の左右の傾きを表現する揺動信号成分roll(Σvrot)を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σvrotなので、加算器91−2は、遅延器93−1から入力されたデータの符号を反転したデータを演算に用いる。
【0059】
揺動信号成分roll(水平成分u)は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器91−2は、遅延器93−1から入力されたデータの符号を反転したデータと、水平成分uとを加算する(水平成分uから遅延器93−1の出力を減算する)ことにより、揺動信号変換部26に供給する揺動信号成分rollを算出する。
【0060】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分uの値を反転することにより得られるので、特徴情報処理部42は、入力された水平成分uの値を、符号反転器92−1により、符号を反転させることに揺動信号成分yawを算出する。
【0061】
加算器91−3には、時刻tにおいて入力された垂直成分vと、遅延器93−2より出力された1フレーム前の時刻t−1の垂直成分vを加算する。このようにして、加算器91−3において、垂直成分vが累積加算(積分)される。そして、加算器91−3と遅延器93−2により累積加算されたデータは、符号反転器92−2に入力され、符号が反転され、さらにHPF94により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分zが算出される。
【0062】
また、遅延器93−2から出力されたデータは、LPF95−1にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF95−1から出力された揺動信号成分pitchは、加算器91−4により、慣性力を表現する揺動信号成分pitchと加算される。
【0063】
慣性力を表現する揺動信号成分pitchは、特徴情報処理部42に入力された拡大成分vzoomから算出される。特徴情報処理部42に入力された拡大成分vzoomは、加算器91−5と遅延器93−3に入力される。加算器91−5には、時刻tにおいて入力された拡大成分vzoomtと、遅延器93−3により1フレーム遅延された時刻t−1における拡大成分vzoomt-1が入力される。加算器91−5は、入力された時刻tにおける拡大成分vzoomtから、時刻t−1における拡大成分vzoomt-1を減算することで、拡大成分vzoomを微分する。そして、加算器91−5から出力された値から、LPF95−2により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【0064】
加算器91−4により、LPF95−1から出力された値と、LPF95−2から出力された値とが加算されることにより、提示装置3に供給される揺動信号成分pitchが算出される。
【0065】
このように、揺動信号生成部21は、映像信号を基に、揺動信号を生成して、揺動信号出力部22に供給する。
【0066】
揺動信号出力部22は、揺動信号生成部21から供給された揺動信号を、揺動信号変換部26に出力する。
【0067】
端末装置2から供給された画像コンテンツに対応する入力画像付属シチュエーション情報および希望シチュエーション情報は、シチュエーション情報選択部23に供給される。
【0068】
シチュエーション情報選択部23は、端末装置2から希望シチュエーション情報が供給されたとき、希望シチュエーション情報を揺動変換信号生成部24に供給する。
【0069】
シチュエーション情報選択部23は、端末装置2から希望シチュエーション情報が供給されず、入力画像付属シチュエーション情報が供給されたとき、入力画像付属シチュエーション情報を揺動変換信号生成部24に供給する。
【0070】
シチュエーション情報選択部23は、端末装置2から希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないとき、希望シチュエーション情報、および入力画像付属シチュエーション情報のいずれも供給されないことを示す情報(揺動信号の変換が不要であることを示す情報)を揺動変換信号生成部24に供給する。
【0071】
シチュエーション情報データベース25は、画像が撮像された状況に対応させて、揺動の変換の手法を記録している。
【0072】
図9および図10は、シチュエーション情報データベース25が記録している揺動の変換の手法の例を示す図である。
【0073】
図9は、シチュエーション情報データベース25が記録している、路面状況または天候に対応する揺動変換の手法を示すデータの例を示す図である。
【0074】
例えば、一般の舗装された道路を走行中に画像が撮像されたときの、揺動の変換手法は、路面による揺動が吸収されず、移動手段(例えば、自動車、人、または自転車など)による違いをそのまま反映する手法である。すなわち、一般の舗装された道路を走行中に画像が撮像されたとき、移動手段に対応する変換手法がそのまま適用される。
【0075】
砂利道を走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、かつ、微少で不規則な、非常に短い間隔の揺れを揺動信号に加える手法である。例えば、より具体的には、揺動信号の垂直方向の成分を減衰させるとともに、ランダムな信号を生成して、生成したランダムな信号から振幅が小さく、周期の短い信号を選択して、揺動信号に加算する手法である。
【0076】
砂地を走行中に画像が撮像されたときの、揺動の変換手法は、微少な揺れは押さえられ、移動手段による違いが吸収され、また、加速感などが失われる手法である。すなわち、揺動信号から振幅の少ない信号成分は除去され、移動手段に対応する揺動信号の変換量は少なくされる(例えば、加算する揺動信号の振幅が少なくされる)。
【0077】
雨天時に砂地を走行中に画像が撮像されたとき、上述の手法において、変換の傾向が弱められる。すなわち、振幅の少ない信号成分の除去量が減少され、移動手段に対応する揺動信号の変換量はより多くされる。
【0078】
図10は、シチュエーション情報データベース25が記録している、移動手段に対応する揺動変換の手法を示すデータの例を示す図である。
【0079】
例えば、自動車の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を押さえ、自動車が曲がるときの左右の揺れを強調し、更にタイヤの大きさなどによって、路面の凹凸の伝わりやすさを変化させる手法である。すなわち、揺動信号の垂直成分は減衰され、roll成分が加算される。路面に対応する揺動信号の変換量は、タイヤの大きさなどによって、増加されるか、または減少される。
【0080】
例えば、人の歩行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動を強調し、更に左右の脚を交互に踏み出している感じを表現するため、roll方向に揺動を提示する手法である。
【0081】
船の走行中に画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動の提示時間を長くし、ゆったりと揺動を提示する(揺動の周期を長くする)手法である。
【0082】
馬などの動物に乗って画像が撮像されたときの、揺動の変換手法は、垂直方向の揺動にpitch方向の揺れを加えて強調する(pitch成分を加算する)手法である。
【0083】
シチュエーション情報データベース25が揺動変換信号生成部24に供給する揺動変換の手法を示すデータは、移動手段、路面状況、または天候などの状況全体に対応した揺動変換の手法を示す。
【0084】
揺動変換信号生成部24は、シチュエーション情報選択部23から供給されたシチュエーション情報(入力画像付属シチュエーション情報、希望シチュエーション情報、またはそのいずれもが無いことを示す情報)を基に、シチュエーション情報データベース25が予め記録している、シチュエーション情報に対応する揺動変換の手法を示すデータを読み出す。
【0085】
揺動変換信号生成部24は、シチュエーション情報データベース25から読み出した、揺動変換の手法を示すデータを基に、揺動変換信号を生成する。
【0086】
揺動変換信号は、揺動信号に、例えば、垂直方向の揺動成分を減衰させる、ランダムな短い周期の揺れを加える、roll方向の成分を加えるなどを示す信号である。
【0087】
揺動変換信号生成部24は、生成した揺動変換信号を揺動信号変換部26に供給する。
【0088】
揺動信号変換部26は、揺動変換信号生成部24から供給された揺動変換信号を基に、揺動信号出力部22から供給された揺動信号を変換して、変換した揺動信号を揺動提示デバイス3に供給する。
【0089】
図11は、映像信号に対応する画像を表示するスクリーン131(図示せぬプロジェクタなどにより画像が投影される)と、揺動提示デバイス3を構成する椅子132との関係の例を示す図である。
【0090】
揺動提示デバイス3は、揺動信号に対応して、椅子132を揺動させて、椅子132に座る利用者に揺動を感じさせる。
【0091】
この揺動は、上述したように、X,Y,Zの3軸回りの回転成分(roll,pitch,yaw)と3軸方向の並進成分(x,y,z)により構成される。
【0092】
揺動提示デバイス3の構成例を図12および図13に示す。図12は、揺動提示デバイス3の側面図であり、図13は、揺動提示デバイス3の上面図である。揺動提示デバイス3は、6本のアクチュエータとしてのピストン141−1乃至141−6を備えており、これらのピストンにより台座142が支えられている。台座142には、椅子132が固定されており、この椅子132の上に利用者143が座るようになされている。
【0093】
ピストン141−1乃至141−6は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン141−1乃至141−6が伸縮することにより、台座142が揺動し、さらに台座142に固定されている椅子132が揺動する。ピストン141−1乃至141−6を制御するための信号は、上述したように、揺動信号生成装置1により供給される。
【0094】
図14は、揺動提示デバイス3による動作の具体例を示す図である。図14における上向きの矢印は、ピストンが延びることを示し、下向きの矢印は、ピストンが縮むことを示す。
【0095】
次に、図15のフローチャートを参照して、揺動信号生成装置1における揺動信号の生成の処理を説明する。
【0096】
ステップS11において、揺動信号生成装置1は、端末装置2から送信される、映像信号、入力画像付属シチュエーション情報、および希望シチュエーション情報を取得する。
【0097】
ステップS12において、揺動信号生成部21は、取得した映像信号に基づいて、揺動信号を生成する。生成された揺動信号は、揺動信号出力部22を介して揺動信号変換部26に供給される。
【0098】
ステップS13において、シチュエーション情報選択部23は、希望シチュエーション情報が取得されたか否かを判定し、希望シチュエーション情報が取得されたと判定された場合、ステップS14に進む。シチュエーション情報選択部23は、希望シチュエーション情報を揺動変換信号生成部24に供給する。
【0099】
ステップS14において、揺動変換信号生成部24は、希望シチュエーション情報を基に、シチュエーション情報データベース25を参照して、希望シチュエーション情報に対応する揺動変換の手法のデータを取得する。
【0100】
ステップS15において、揺動変換信号生成部24は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成する。揺動変換信号生成部24は、生成した、揺動変換信号を揺動信号変換部26に供給する。
【0101】
ステップS16において、揺動信号変換部26は、揺動変換信号を基に、揺動信号出力部22から供給された揺動信号を変換する。ステップS17において、揺動信号変換部26は、変換された揺動信号を揺動提示デバイス3に出力して、処理は終了する。
【0102】
ステップS13において、希望シチュエーション情報が取得されていないと判定された場合、ステップS18に進み、シチュエーション情報選択部23は、入力画像付属シチュエーション情報が取得されたか否かを判定し、入力画像付属シチュエーション情報が取得されたと判定された場合、ステップS19に進む。シチュエーション情報選択部23は、入力画像付属シチュエーション情報を揺動変換信号生成部24に供給する。
【0103】
ステップS19において、揺動変換信号生成部24は、入力画像付属シチュエーション情報を基に、シチュエーション情報データベース25を参照して、入力画像付属シチュエーション情報に対応する揺動変換の手法のデータを取得し、ステップS15に進む。
【0104】
ステップS15において、揺動変換信号生成部24は、取得した揺動変換の手法のデータに基づいて、揺動変換信号を生成し、ステップS16およびステップS17の処理により、揺動信号が変換され、出力されて、処理は終了する。
【0105】
ステップS18において、入力画像付属シチュエーション情報が取得されていないと判定された場合、揺動信号を変換する必要は無いので、手続は、ステップS20に進む。シチュエーション情報選択部23は、揺動信号の変換が不要である旨を示す情報を、揺動変換信号生成部24を介して、揺動信号変換部26に供給する。
【0106】
ステップS20において、揺動信号変換部26は、揺動信号出力部22から供給された揺動信号をそのまま揺動提示デバイス3に出力して、処理は終了する。
【0107】
このように、揺動信号生成装置1は、希望シチュエーション情報または入力画像付属シチュエーション情報に基づいて、映像信号を基に生成された揺動信号を変換するので、画像により適した、または利用者が所望する揺動を提示することができる。
【0108】
例えば、利用者は、歩きながら撮像された画像を鑑賞するとき、より明確な垂直方向の揺動と、左右の脚を踏み出している感覚を楽しむことができる。
【0109】
例えば、利用者は、映像信号が取得された状況とは、全く異なる、所望の状況に対応する揺動と共に、画像を鑑賞することができる。
【0110】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0111】
図16は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。CPU(Central Processing Unit)501は、フローチャートを参照して説明した処理を実行するアプリケーションプログラムや、OS(Operating System)を実際に実行する。ROM(Read-only Memory)502は、一般的には、CPU501が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM(Random-Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
【0112】
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
【0113】
キーボード508は、CPU501に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス509は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ510の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージで表示する。HDD(Hard Disk Drive)511は、ハードディスクを駆動し、それらにCPU501によって実行するプログラムや情報を記録または再生させる。
【0114】
ドライブ512は、装着されている磁気ディスク551、光ディスク552、光磁気ディスク553、または半導体メモリ554に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。これらのキーボード508乃至ドライブ512は、インターフェース507に接続されており、インターフェース507は、外部バス506、ブリッジ505、およびホストバス504を介してCPU501に接続されている。
【0115】
通信部513は、モデムまたはNIC(Network Interface Card)などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部513は、CPU501、またはHDD511から供給された、例えば、揺動信号などのデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されている、例えば、映像信号などのデータをCPU501、RAM503、またはHDD511に出力する。
【0116】
通信部513は、外部バス506、ブリッジ505、およびホストバス504を介してCPU501に接続されている。
【0117】
一連の処理を実行させるプログラムが格納されている記録媒体は、図16に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク551(フロッピディスクを含む)、光ディスク552(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク553(MD(Mini-Disc)を含む)、若しくは半導体メモリ554などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や、HDD511などで構成される。
【0118】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0119】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0120】
【発明の効果】
請求項1に記載の情報処理装置および請求項5に記載の情報処理方法によれば、端末装置から画像、および画像に関する情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【0121】
請求項6に記載の揺動提示システムによれば、画像、および画像に関する情報の送信が制御され、情報処理装置が送信する揺動信号の受信が制御され、端末装置が送信する、画像および情報の受信が制御され、受信した画像を基に、画像に対応する揺動信号が生成され、画像に関する情報に対応して、揺動信号が変換され、端末装置への、変換された揺動信号の送信が制御されるようにしたので、画像により適した、または利用者が所望する揺動を提示することができるようになる。
【図面の簡単な説明】
【図1】本発明に係る揺動提示システムの一実施の形態の構成を示す図である。
【図2】揺動信号生成装置1の構成を示す図である。
【図3】揺動信号生成部21の構成を示す図である。
【図4】特徴情報検出部41の構成を示すブロック図である。
【図5】メモリ74に記憶されているパターンの一例を示す図である。
【図6】画像の例を示す図である。
【図7】成分u、v、vzoom、vrotの関係を示す図である。
【図8】特徴情報処理部42の構成を示すブロック図である。
【図9】シチュエーション情報データベース25が記録している揺動の変換の手法の例を示す図である。
【図10】シチュエーション情報データベース25が記録している揺動の変換の手法の例を示す図である。
【図11】スクリーン131と、揺動提示デバイス3を構成する椅子132との関係の例を示す図である。
【図12】揺動提示デバイス3の構成例を示す図である。
【図13】揺動提示デバイス3の構成例を示す図である。
【図14】揺動提示デバイス3による動作の具体例を示す図である。
【図15】揺動信号の生成の処理を説明するフローチャートである。
【図16】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
1 揺動信号生成装置, 2 端末装置, 3 揺動提示デバイス, 21 揺動信号生成部, 23 シチュエーション情報選択部, 24 揺動変換信号生成部, 25 シチュエーション情報データベース, 26 揺動信号変換部, 41 特徴情報検出部, 42 特徴情報処理部, 75 動きベクトル検出部, 76 特徴情報演算部, 501 CPU, 502 ROM, 503 RAM, 511 HDD, 551 磁気ディスク, 552 光ディスク, 553 光磁気ディスク, 554 半導体メモリ

Claims (6)

  1. 揺動を提示する端末装置に揺動信号を提供する情報処理装置において、
    前記端末装置から画像、および前記画像に関する情報の受信を制御する受信制御手段と、
    受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成手段と、
    前記画像に関する前記情報に対応して、前記揺動信号を変換する変換手段と
    を含むことを特徴とする情報処理装置。
  2. 前記情報は、前記画像が撮像された状況を示す
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記情報は、前記画像の撮影の、所望する状況を示す
    ことを特徴する請求項1に記載の情報処理装置。
  4. 前記変換手段は、
    前記情報に対応させて、前記揺動信号の変換データを記録している記録手段と、
    前記情報を基に、前記記録手段に記録されている前記変換データを選択する選択手段と、
    選択された前記変換データを基に、前記揺動信号の各成分を変換する成分変換手段と
    を更に含むことを特徴とする請求項1に記載の情報処理装置。
  5. 揺動を提示する端末装置に揺動信号を提供する情報処理装置の情報処理方法において、
    前記端末装置から画像、および前記画像に関する情報の受信を制御する受信制御ステップと、
    受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成ステップと、
    前記画像に関する前記情報に対応して、前記揺動信号を変換する変換ステップと
    を含むことを特徴とする情報処理方法。
  6. 揺動を提示する端末装置と、揺動信号を提供する情報処理装置から成る揺動提示システムにおいて、
    前記端末装置は、
    画像、および画像に関する情報の送信を制御する第1の送信制御手段と、
    前記情報処理装置が送信する前記揺動信号の受信を制御する第1の受信制御手段と
    を含み、
    前記情報処理装置は、
    前記端末装置が送信する、前記画像および前記情報の受信を制御する第2の受信制御手段と、
    受信した前記画像を基に、前記画像に対応する揺動信号を生成する生成手段と、
    前記画像に関する前記情報に対応して、前記揺動信号を変換する変換手段と、
    前記端末装置への、変換された前記揺動信号の送信を制御する第2の送信制御手段と
    を含むことを特徴とする揺動提示システム。
JP2000220926A 2000-07-21 2000-07-21 情報処理装置および方法、並びに揺動提示システム Expired - Fee Related JP4427699B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000220926A JP4427699B2 (ja) 2000-07-21 2000-07-21 情報処理装置および方法、並びに揺動提示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000220926A JP4427699B2 (ja) 2000-07-21 2000-07-21 情報処理装置および方法、並びに揺動提示システム

Publications (2)

Publication Number Publication Date
JP2002035437A JP2002035437A (ja) 2002-02-05
JP4427699B2 true JP4427699B2 (ja) 2010-03-10

Family

ID=18715440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000220926A Expired - Fee Related JP4427699B2 (ja) 2000-07-21 2000-07-21 情報処理装置および方法、並びに揺動提示システム

Country Status (1)

Country Link
JP (1) JP4427699B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298876B2 (en) 2014-11-07 2019-05-21 Sony Corporation Information processing system, control method, and storage medium

Also Published As

Publication number Publication date
JP2002035437A (ja) 2002-02-05

Similar Documents

Publication Publication Date Title
US7382830B2 (en) Apparatus for generating motion control signal from image signal
WO2006006590A1 (ja) 画像処理プログラム、記録媒体及び装置
JP4427699B2 (ja) 情報処理装置および方法、並びに揺動提示システム
JP4423523B2 (ja) 情報処理装置および方法
JP4573076B2 (ja) 情報処理装置および方法、並びに記録媒体
JPH11153949A (ja) 体感モーション装置
JP4599679B2 (ja) 情報処理装置および方法、並びに提示システム
US11107364B2 (en) Method to enhance first-person-view experience
JP2002035422A (ja) 情報処理装置および方法、並びに提示システム
JP4465828B2 (ja) 情報処理装置および方法、並びに提示システム
JP4395682B2 (ja) 情報処理装置および方法、並びに提示システム
WO2024127563A1 (ja) 路面情報伝送システム、路面情報生成装置、方法およびプログラム
JP4649712B2 (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
JP4389138B2 (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
WO2024127562A1 (ja) 振動情報伝送システム、振動計測装置、方法およびプログラム
CN118015895A (zh) 模拟驾驶方法、装置及模拟驾驶系统
JP4438191B2 (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
JP4433581B2 (ja) 情報処理装置および方法、並びに記録媒体
WO2024029307A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2001183968A (ja) 疑似体験装置及び疑似体験方法
JP3965705B2 (ja) ワイド画面データ出力方法及び装置
JP4846919B2 (ja) 模擬運転装置
CN112642147A (zh) 游戏控制方法、装置、设备和存储介质
CN118279525A (zh) 画面显示方法、装置及其相关设备
JP2001154570A (ja) 疑似体験装置及び疑似体験方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees