JP3849481B2

JP3849481B2 - 信号処理方法と信号処理装置及び信号処理プログラム

Info

Publication number: JP3849481B2
Application number: JP2001307956A
Authority: JP
Inventors: 哲二郎近藤; 裕二奥村; 哲志小久保; 大介菊地; 英雄笠間
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-10-03
Filing date: 2001-10-03
Publication date: 2006-11-22
Anticipated expiration: 2021-10-03
Also published as: JP2003116126A

Description

【０００１】
【発明の属する技術分野】
この発明は、信号処理方法と信号処理装置及び信号処理プログラムに関する。詳しくは、複数フレームの入力画像信号を用いて、注目フレームの所定位置での画像の動きに関する特徴量を検出し、検出した特徴量に基づいて、画像の動きに関連した付加情報信号を生成すると共に、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成するものである。
【０００２】
【従来の技術】
近年、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。ここで、上述のようなディスプレイを用いて臨場感を高めた画像表示を行うためには、例えばコンピュータグラフィックスで３次元の仮想空間を構築することが行われている。また、多数のビデオカメラを用いたり広角レンズをビデオカメラに取り付けて広範囲な空間を撮影し、この撮影画像を多面ディスプレイやヘッドマウントディスプレイなどの平面あるいは曲面に変換して表示することも行われている。
【０００３】
また、広範囲な画像を表示するだけでなく、臨場感を高める操作例えば画像に合わせて椅子を揺れ動かすことにより、実際に車等に乗車しているような感覚を与えることも行われている。このように、臨場感を高める操作を行うための付加情報信号は、画像の撮影時に角度や加速度などを検出するセンサを用いて、このセンサにより得られた信号を用いたり、撮影された画像を人が観察して手作業により生成されている。
【０００４】
【発明が解決しようとする課題】
ところで、センサを利用して付加情報信号の生成を行う場合、撮影時にセンサから信号を得て、画像信号と共に記憶させておく必要がある。このため、既に撮影が完了している画像信号に基づいて表示を行う場合には、センサからの信号が無いことから、このような方法で付加情報信号を生成することはできない。また、撮影された画像を人が観察して手作業で付加情報信号を生成する場合には、付加情報信号の生成に長い時間を要すると共に費用も高くなってしまう。
【０００５】
そこで、この発明では、表示する画像に対応させて臨場感を高めるための付加情報信号を簡単かつ容易に生成できる信号処理装置及び信号処理方法を提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る信号処理方法は、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出し、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成し、検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成するものである。
【０００７】
また、信号処理装置は、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する検出手段と、検出手段で検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段と、検出手段で検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成する付加情報信号生成手段とを有するものである。
【０００８】
さらに信号処理プログラムは、コンピュータに、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する手順と、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成する手順と、検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成する手順とを実行させるための信号処理プログラム。
【０００９】
この発明においては、複数フレームの入力画像信号から、注目フレームの所定位置での画像の動きに関する特徴量が検出されて、検出した特徴量がレイヤ分けされる。このレイヤ分けされた所定のレイヤの特徴量に基づき、入力画像信号に基づく画像の動きに応じて揺動を発生させるための揺動信号が生成される。また、検出した特徴量と入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号が生成されて、揺動信号の信号レベルが、生成した周辺画像信号に応じて補正される。
【００１０】
【発明の実施の形態】
以下、この発明の実施の一形態について詳細に説明する。図１は、この発明に係る信号処理装置を用いたシステムの全体構成を示している。このシステムでは、例えば３つのスクリーンをユーザの前面及び両側面に配置して、各スクリーン１０L，１０C，１０Rに対応したプロジェクタ１２L，１２C，１２Rから画像を投影する。このプロジェクタ１２L，１２C，１２Rは信号処理装置１５と接続されている。
【００１１】
信号処理装置１５には、撮影した画像信号、例えば車載カメラ等で撮影した正面画像の画像信号ＳＤCが蓄積されている。信号処理装置１５では、この蓄積している画像信号ＳＤCをプロジェクタ１２Cに供給して、図２に示すように画像信号ＳＤCに基づく正面画像を正面に位置するスクリーン１０Cに表示させる。また、信号処理装置１５では、蓄積している正面画像の画像信号ＳＤCから、車載カメラの視野範囲に含まれていない画角の画像を示す画像信号、例えば正面画像と連続する左右の側面画像（以下「周辺画像」という）を示す画像信号である周辺画像信号ＳＤL，ＳＤRを生成して、周辺画像信号ＳＤLをプロジェクタ１２Lに供給すると共に周辺画像信号ＳＤRをプロジェクタ１２Rに供給する。このため、左側に位置するスクリーン１０Lに正面画像と連続性を有する左側面画像が表示されると共に、右側に位置するスクリーン１０Rに正面画像と連続性を有する右側面画像が表示されて、広画角の画像提示を行うことができる。さらに、信号処理装置１５では、正面画像の画像信号ＳＤCに基づき画像の動きに関する特徴量を検出して、この特徴量に基づき画像信号ＳＤCに基づく画像の動きに関連した付加情報信号、例えば揺動信号ＳＥを生成してモーションベースプラットフォーム１７に供給する。
【００１２】
モーションベースプラットフォーム１７では、例えば図３に示すように、複数のピストン１７１を備えたベース駆動部１７０が設けられている。このベース駆動部１７０のピストン１７１により台座１７２が支えられている。台座１７２には、椅子１７３が固定されており、この椅子１７３に人が座るようになされている。ピストン１７１は、それぞれの中心軸に沿って伸縮運動ができるようにされており、ピストン１７１が伸縮運動をすることにより、台座１７２が揺動し、さらに台座１７２に固定されている椅子１７３が揺動する。このピストン１７１は、揺動信号ＳＥに基づいて駆動される。
【００１３】
図４は、信号処理装置１５の構成の概略を示している。蓄積部３０の正面画像信号蓄積領域３１に蓄積されている複数フレームの画像信号ＳＤCは、動き検出ブロック２０の１フレーム遅延処理部２１と動き検出処理部２２及び中間画像情報生成ブロック２５の情報生成処理部２７に供給される。
【００１４】
１フレーム遅延処理部２１では、画像信号ＳＤCを１フレーム遅延させて画像信号ＳＤCaとして動き検出処理部２２に供給する。動き検出処理部２２では、正面画像の側端側に、図５の破線で示すように区切られた複数の検出領域を設定して、この検出領域の注目フレームの画像信号ＳＤCと１フレーム前の画像信号ＳＤCaとの比較を検出領域毎に行い、画像の動きを示す動きベクトルＭＶを検出領域毎に判別して中間画像情報生成ブロック２５のレイヤ分類部２６と付加情報信号生成ブロック５０に供給する。
【００１５】
中間画像情報生成ブロック２５は、動きベクトルＭＶと画像信号ＳＤCを用いて、中間画像情報を生成するものである。ここで、中間画像情報生成ブロック２５のレイヤ分類部２６では、各検出領域の動きベクトルＭＶから正面画像の動きパターンを判定して、中間画像情報を生成する際に、例えば離れた被写体を撮影した遠景画像のレイヤ，近接した被写体を撮影した近景画像のレイヤ，遠景画像と近景画像との間に位置する中景画像のレイヤ、及びこれらのレイヤとは異なるレイヤをどのように設けるものとするかを判別してレイヤ設定を行う。例えば、車載カメラで正面画像を撮影する場合、一方向に直進する場合には、正面画像を順次ズームインした画像となる。また、車が後退しているときには、正面画像を順次ズームアウトした画像となる。さらに、追越し車両が撮影されたときには、ズームイン画像に追い越し車両がズームアウト画像として表示されることとなる。また、右折や左折をしたときには、例えば正面画像の上部側が水平方向に移動されると共に下部側はズームイン画像となる。このため、各検出領域の動きベクトルＭＶから正面画像の動きパターンを判定して、判定した動きパターンに基づいてレイヤ設定を行うものとする。例えば、一方向に直進する動きパターンでと判別されたときには、遠景，中景，近景の各画像のレイヤを生成し、右折や左折の動きパターンであると判別されたときには、遠景，中景，近景の各画像のレイヤだけでなく水平方向に移動される画像が含まれるレイヤも作成する。また、追越し車両がある動きパターンのときには、遠景，中景，近景の各画像のレイヤだけでなくズームアウト画像が含まれるレイヤも作成するようにレイヤ設定を行う。
【００１６】
また、レイヤ分類部２６では、動き検出処理部２２から供給された動きベクトルＭＶに基づき、正面画像の側端側に設定された各検出領域がいずれのレイヤに属するかレイヤ分類を行う。このレイヤ分類では、動きパターンに応じて設定されたレイヤを用いたレイヤ分類を行う。例えば、遠景，中景，近景の３つのレイヤ分けすると共に、水平方向に移動される画像が含まれるレイヤやズームアウト画像が含まれるレイヤが生成されているときには、これらのレイヤも含めてレイヤ分類を行う。このレイヤ分類によって、いずれの検出領域がいずれのレイヤに属するかを示すレイヤ分類情報ＬＢを生成すると共に、この生成されたレイヤ分類情報ＬＢは情報生成処理部２７と付加情報信号生成ブロック５０に供給される。
【００１７】
情報生成処理部２７では、レイヤ分類部２６からのレイヤ分類情報ＬＢに基づき正面画像に設定された各検出領域をレイヤ分けして、この検出領域の画像信号をレイヤ毎にフレーム順に用いることでレイヤ毎の中間画像信号を生成する。さらに、レイヤ分けされた検出領域の動きベクトルＭＶの動き量からレイヤ毎に動き量の平均値を算出する。この情報生成処理部２７で生成された中間画像信号ＧＹv及び算出したレイヤ毎の動き量（平均値）ＭＹvは、中間画像情報として蓄積部３０の中間画像情報蓄積領域３２に蓄積される。
【００１８】
スクリーン１０C，１０R，１０Lで画像を表示する場合には、蓄積されている画像信号ＳＤCを読み出して、この画像信号ＳＤCに基づく画像をスクリーン１０Cで表示する。また、蓄積部３０に接続された周辺画像信号生成ブロック４０からの読出制御信号ＲＣによって、中間画像情報蓄積領域３２に蓄積されている中間画像情報の読み出しを行い、レイヤ毎の動き量ＭＹvに応じた分だけ各レイヤの中間画像信号ＧＹvを順次使用して、遠景，中景，近景の順に各レイヤの画像を貼り付ける。さらに遠景，中景，近景の３つのレイヤに属しないレイヤが設けられているときには、これらのレイヤの画像貼り付け処理等も行い、画像信号ＳＤCの注目フレームに存在しない画角の画像を示す周辺画像信号ＳＤL，ＳＤRを生成する。この周辺画像信号ＳＤLを正面画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Lに供給することで、正面画像に連続させて左側面画像をスクリーン１０Lに表示できると共に、周辺画像信号ＳＤRを正面画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Rに供給することで、正面画像に連続させて右側面画像をスクリーン１０Rに表示できる。
【００１９】
付加情報信号生成ブロック５０では、動きベクトルＭＶとレイヤ分類情報ＬＢに基づき付加情報信号である揺動信号ＳＥを生成して、モーションベースプラットフォーム１７に供給する。
【００２０】
次に、動き検出ブロック２０を構成する各部について詳細に説明する。なお、説明を簡単とするため、以下の説明では右側面についてのみ説明するものとし、左側面についての説明は省略する。
【００２１】
動き検出ブロック２０では、上述したように動きベクトルＭＶを検出領域毎に判別する。ここで、正面画像に画像の移動中心がある場合、すなわち車載カメラで前方を撮影して正面画像としたとき、図６Ａに示す時刻Ｔの画像は、例えば１フレーム時間が経過した後の時刻Ｔ’で図６Ｂに示すものとなり、あたかも画像が涌き出てくるように見える位置ＣＰ（以下「画像基準位置」という）を中心としたズームイン動作画像と略等しくなる。
【００２２】
ここで、図６Ｃに示すように、拡大率Ｚを設定して注目フレームの検出領域を（１／Ｚ）に縮小すると共に、この縮小された検出領域の位置を移動しながら１フレーム前の画像信号との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで注目フレーム毎に各検出領域の動きベクトルＭＶを判別できる。また、誤差和が最小値となるときの拡大率Ｚを動き量とする。
【００２３】
ところで、縮小処理を行ったときには、領域内の画素の座標値が整数値とならない画素が生ずる。一方、縮小処理が行われていない１フレーム前の画像では、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、図７に示すようにＫa×Ｋa画素の画像に対して（１／Ｚ）に縮小処理を行ったことにより画像のサイズがＫb×Ｋb画素のサイズとなったときには、線形補間を行ってＫa×Ｋa画素の信号から画素数を「Ｋb×Ｋb」とした画像の信号レベルを算出する。この算出された信号レベルと、縮小された画像と対応する位置の１フレーム前の信号レベルの誤差和を算出することにより、精度良く動き量を判別できる。
【００２４】
画像基準位置ＣＰが明らかでないとき、図８に示すように検出領域ＡRaの中心が位置Ｐa1から位置Ｐa2とされたときに誤差和が最小値となり、検出領域ＡRbの中心が位置Ｐb1から位置Ｐb2とされたときに誤差和が最小値となる場合には、検出領域ＡRaの動きベクトルＭＶの方向と検出領域ＡRbの動きベクトルの方向が交差する点を検出することで画像基準位置ＣＰを検出できる。
【００２５】
また、右折時や左折時には、正面画像の例えば上部側画像が水平移動することとなる。このため、画像基準位置ＣＰを中心としてズームイン動作を行っても誤差和の最小値が検出されない場合には、検出領域の画像を横方向に移動させて誤差和の最小値を判別する。またこのとき、誤差和が最小値となるまでの検出領域の移動量を動きベクトルＭＶの動き量として設定することができる。
【００２６】
次に、後退時にはあたかも画像が画像基準位置ＣＰに吸い込まれてしまうように見えることから、後退時の画像は画像基準位置ＣＰを中心としたズームアウト動作画像と略等しくなる。このため、拡大率Ｚを「１」以下とする。すなわち、後退時には画像の動きが前進時とは逆となることから、前フレームの側端側に複数の検出領域を設定して、各検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら注目フレームの画像との誤差和を算出する。あるいは、注目フレームの各検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら１フレーム後の画像との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで後退時の動きベクトルＭＶも判別できる。
【００２７】
以上のようにして動きベクトルＭＶの判別を行うと、遠景の画像は動きが少ないことから動きベクトルＭＶの動き量は小さくなり、近景の画像は動きが多いことから動きベクトルＭＶの動き量は大きくなる。
【００２８】
図９は、動き検出処理部２２の構成を示しており、画像信号ＳＤCはサイズ変換処理部２２１に供給されると共に、１フレーム遅延処理部２１から供給された画像信号ＳＤCaは誤差和算出部２２２に供給される。サイズ変換処理部２２１では、正面画像の側端部分を複数の検出領域、例えば１６×１６画素サイズの単位で複数の検出領域に分割して検出領域を設定する。さらに、サイズ変換処理部２２１には、後述する探索制御部２２５から拡大率Ｚが設定されて、検出領域の画像を（１／Ｚ）倍した画像信号ＦＥzと、画像基準位置ＣＰを基準として検出領域の画像を（１／Ｚ）倍したことにより変換された座標値Ｐzを誤差和算出部２２２に供給する。なお、画像信号ＦＥzは、上述の図７に示すように補間処理によって座標値を整数値に変換したときの信号であり、座標値Ｐzは補間処理によって座標値を整数値に変換したときの座標値、すなわち図７における「Ｋb×Ｋb」の画素位置である。
【００２９】
誤差和算出部２２２では、サイズ変換処理部２２１からの座標値Ｐzで示された位置の信号を画像信号ＳＤCaから選択する共に、この選択された信号と画像信号ＦＥzとの誤差和を算出して比較処理部２２３に通知する。
【００３０】
比較処理部２２３では、誤差和最小値と誤差和算出部２２２で算出された誤差和とを比較する。ここで誤差和最小値が設定されていないときには、最初に算出された誤差和を誤差和最小値として設定する。この算出された誤差和が誤差和最小値よりも小さいときには、この誤差和を新たな誤差和最小値として設定すると共に、誤差和最小値が更新されたことをデータ保持部２２４に通知する。また、誤差和最小値と誤差和算出部２２２で算出された誤差和との比較が完了したことを信号ＥＳによって探索制御部２２５に通知する。なお、誤差和最小値は算出される誤差和よりも大きい値に予め設定しておくものとしても良い。
【００３１】
データ保持部２２４には、探索制御部２２５から拡大率Ｚが通知されており、誤差和最小値が更新されたことが通知されたときには、通知された拡大率Ｚを記憶する。また、既に拡大率が記憶されているときには、記憶されている拡大率を通知された拡大率Ｚで更新する。また、探索制御部２２５から拡大率の変更処理の完了が信号ＥＴによって通知されたときには、記憶している拡大率を動き量とすると共に画像基準位置方向をベクトル方向とした動きベクトルＭＶをレイヤ分類部２６に供給する。
【００３２】
探索制御部２２５では、拡大率の下限値が「１」に設定されていると共に、上限値も予め設定されており、最初に下限値を拡大率Ｚとしてサイズ変換処理部２２１とデータ保持部２２４に通知する。その後、比較処理部２２３から誤差和最小値と誤差和算出部２２２で算出された誤差和との比較が完了したことが通知される毎に、拡大率Ｚを順次増加してサイズ変換処理部２２１とデータ保持部２２４に通知する。その後、拡大率Ｚが上限値に達したときには拡大率の変更処理の完了をデータ保持部２２４に通知する。
【００３３】
また、比較処理部２２３で得られた誤差和最小値が小さくないとき、すなわち正面画像の側端部分と等しい画像を検出できないとき、探索制御部２２５では、拡大率Ｚを「１」としてサイズ変換処理部２２１に通知して、検出領域の画像信号ＦＥzを誤差和算出部２２２に供給させる。また、制御信号ＲＰを誤差和算出部２２２に供給して、画像信号ＦＥzの検出領域を水平方向に所定量移動させた位置の信号を画像信号ＳＤCaから選択させる。その後、制御信号ＲＰによって画像信号ＳＤCaから選択する位置を水平方向に移動させて誤差和最小値を判別することにより、水平方向に移動させる画像の動きベクトルＭＶも求めることができる。さらに、図示せずも１フレーム後の信号を誤差和算出部２２２に供給したり、１フレーム前の画像に検出領域を設定して注目フレームの画像の信号を誤差和算出部２２２に供給することで、画像基準位置ＣＰに吸い込まれるような画像の動き量も判別できる。
【００３４】
このように、探索方向を画像基準位置ＣＰの方向や水平方向に移動させて、検出領域の画像と誤差和が最小となる他のフレームの画像位置を検出することで、検出領域の画像が右折や左折したときの画像、前を横切る車や人等の画像、あるいは追越し車両等の画像であっても正しく動きベクトルＭＶを求めることができる。
【００３５】
レイヤ分類部２６では、各検出領域の動きベクトルＭＶから正面画像がどのような動きパターンの画像であるかを判別すると共に、判別した動きパターンに基づいてレイヤを設定して、いずれの領域がいずれのレイヤに属するするかを示すレイヤ分類情報ＬＢを情報生成処理部２７に供給する。
【００３６】
図１０は、レイヤ分類部２６の構成を示している。レイヤ分類部２６の動きパターン判定部２６１では、動き検出処理部２２から供給された各検出領域の動きベクトルＭＶをフレーム単位で蓄積すると共に、蓄積された動きベクトルＭＶに基づき動きパターンを判別する。
【００３７】
ここで、各検出領域の動きベクトルＭＶの方向が、画像基準位置ＣＰから放射方向とされて、全て画像が画像基準位置ＣＰから湧き出すズームイン動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰから湧き出すズームイン動作方向であるときには直進動作と判別する。例えば、図１１Ａの矢印で示すように動きベクトルＭＶのベクトル方向が画像基準位置ＣＰから放射方向とされているときには直進動作と判別する。
【００３８】
次に、直進動作と判別されないときには、各検出領域の動きベクトルＭＶの方向が放射方向とは逆方向であり、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるときには後退動作と判別する。例えば、図１１Ｂの矢印で示すように画像基準位置ＣＰの方向とされて、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であることを検出したときには後退動作と判別する。
【００３９】
また、直進動作及び後退動作と判別されないときには、一部のみがズームアウト動作方向であるか否かを判別して、一部のみがズームアウト動作方向であるときには、追越し車両があると判別する。例えば、図１１Ｃに示すように左右両側端部の検出領域の動きがズームイン動作方向であると共に、一部のみがズームアウト動作方向であることを検出したときには追越し車両があると判別する。さらに、直進動作，後退動作及び追越し車両があるものと判別されないとき、正面画像の上部側の検出領域で、図１１Ｄに示すように動きベクトルＭＶのベクトル方向が水平方向とされているときには、ベクトル方向に応じて右折あるいは左折動作と判別する。また検出領域の一部で、図１１Ｅに示すように動きベクトルＭＶのベクトル方向が水平方向であるときには、横切り動作であると判別する。このようにして判別した動きパターンＭＰをレイヤ作成判定部２６２に通知する。
【００４０】
レイヤ作成判定部２６２では、動きパターン判定部２６１で判別された動きパターンＭＰに基づき、判別された動きパターンが所定のフレーム数以上連続したか否かを判別する。ここで、動きパターンが所定のフレーム数以上連続したとき判別された動きパターンに応じたレイヤパターン情報ＬＰを生成する。
【００４１】
ここで、前進動作のように全画面が拡大する動きパターンであることが連続して所定のフレーム数以上判別されたときには、例えば遠景，中景，近景のレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類処理部２６３に通知する。また、右折あるいは左折動作のように上部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、遠景，中景，近景のレイヤだけでなく水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類処理部２６３に通知する。また、追越し車両や後退時のように時間と共に縮小する画像が含まれている動きパターンであることが連続して所定のフレーム数以上連続して判別されたときには、遠景，中景，近景のレイヤだけでなく縮小する画像が含まれる後退レイヤの作成を指示するレイヤパターン情報ＬＰを生成する。また、横切り物体のように、一部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成する。このように、判別された動きパターンが所定のフレーム数以上連続したときに、判別された動きパターンＭＰに応じたレイヤパターン情報ＬＰが生成されるので、動きパターンが誤って判別されたフレームが生じても、正しい動きパターンに応じたレイヤパターン情報ＬＰを生成できる。
【００４２】
閾値設定部２６４では、所定時間範囲（例えば注目フレームの前後３０フレーム分）の動きベクトルＭＶを用いて、ベクトル方向が画像基準位置ＣＰから放射方向とされている動きベクトルＭＶの動き量の平均値Ｖavgや最大値Ｖmax，最小値Ｖminを求めると共に、この平均値Ｖavgや最大値Ｖmax，最小値Ｖminに基づき、レイヤパターン情報ＬＰで示されたレイヤに分類するための閾値Ｔhを設定して分類処理部２６３に供給する。
【００４３】
例えばレイヤパターン情報ＬＰによって遠景，中景，近景のレイヤに分けることが示された場合、遠景レイヤと中景レイヤとの区分位置を示す閾値Ｔh1を式（１）に基づいて算出する。また中景レイヤと近景レイヤの区分位置を示す閾値Ｔh2を式（２）に基づいて算出する。
【００４４】
【数１】

【００４５】
この閾値の設定では、動き量のヒストグラムを求めて、このヒストグラムの極小値を利用して閾値Ｔh1，Ｔh2を求めるものとしても良い。このように、動き量の分布に応じて閾値Ｔhが動的に変化されるので、画像が１つのレイヤだけに分類されてしまうことがなく、動き量の分布に応じて良好にレイヤ分類を行うことができる。
【００４６】
分類処理部２６３では、閾値設定部２６４からの閾値Ｔhと動きベクトルＭＶの動き量に基づいて、各フレームの各検出領域がレイヤパターン情報ＬＰで作成が指示されたレイヤのいずれに属するかを判別してレイヤ分類を行う。また、水平方向に移動する検出領域やズームアウト動作方向の検出領域は、それぞれ対応するレイヤへの割当てを行う。この分類処理部２６３で注目フレームの各検出領域のレイヤ分類が完了したときには、このレイヤ分類の結果を示すレイヤ分類情報ＬＡを分類補正部２６５に供給する。
【００４７】
ここで、分類処理部２６３では、遠景，中景，近景の３つのレイヤを作成する際には、動き検出処理部２２からの動きベクトルＭＶを用いて、検出領域毎に前ｍフレーム分と後ｎフレーム分の動き量の平均値を算出する。例えば、正面画像の右側端部に設けた検出領域において、動きベクトルＭＶの動き量が時間の経過と共に図１２Ａに示すように変化したとき（図の数字は動き量を示すものとする）には、Ｆpフレームでの検出領域ＡR1に対して、Ｆpフレームでの検出領域ＡR1の動き量と、Ｆp-１〜Ｆp-mフレームの検出領域ＡR1の動き量と、Ｆp+１〜Ｆp+nフレームの検出領域ＡR1の動き量から、動き量の平均値を算出する。さらに、検出領域ＡR1の動き量として算出された平均値と、上述のようにして設定された閾値Ｔh1，Ｔh2を比較することで、このＦpフレームでの検出領域ＡR1が遠景，中景，近景のいずれのレイヤに属するかを判別する。このように、注目フレームの検出領域ＡR1について、前フレームや後フレームの動き量も用いて動き量の平均値を算出して、この平均値を用いて検出領域ＡR1のレイヤ分けを行うので、検出領域ＡR1の動き量に誤りが生じても、この検出領域ＡR1のレイヤ分類することができると共に、被写体の大きさの差や被写体までの距離の差によってフレーム毎の動き量の変動が生じても、これらの変動の影響を防止できる。また、他の領域や他のフレームに対しても同様に処理することで、図１２Ｂに示すように各検出領域を遠景，中景，近景のいずれかのレイヤに分類して、レイヤ分類情報ＬＡを分類補正部２６５に通知する。なお図１２Ｂにおいて、クロスハッチで示す検出領域は近景、斜線で示す検出領域は中景、他の検出領域は遠景として分類されたことを示している。
【００４８】
分類補正部２６５では、各検出領域のレイヤ分類情報ＬＡを参照して、同じレイヤに属する領域の連結数が所定の数よりも少ない領域は周囲に合わせたレイヤに補正する。例えば図１２Ｂでは、Ｆp+4フレームの領域ＡR4-gやＦp-2フレームの領域ＡR6-hでは、同じレイヤに属する領域が連結していないので、これらの領域を図１２Ｃに示すように周囲に合わせた領域に補正して、いずれの領域がいずれのレイヤとされているかを示すレイヤ分類情報ＬＢを、情報生成処理部２７に供給する。
【００４９】
また、追越し車両があるときには、上述の遠景，中景，近景だけでなく、図１２Ｄに示すように追い越し車両の画像が含まれる後退レイヤが生成される。ここで、追越し車両は、遠景や中景及び近景の画像とは動きベクトルＭＶの方向が逆であることから、後退レイヤの時間軸方向は、他のレイヤとは方向を逆として生成する。
【００５０】
図１３は情報生成処理部２７の構成を示している。レイヤ分類部２６から供給されたレイヤ分類情報ＬＢは、動き量平均値算出部２７１と画像読み込み部２７２に供給される。
【００５１】
動き量平均値算出部２７１では、各検出領域の動き量を用いて、レイヤ毎の動き量の平均値をフレーム毎に算出する。例えばＦeフレームのときに、遠景レイヤとされた検出領域がｎy個であるときには、このｎy個の検出領域の動き量を用いて平均値を算出して画像読み込み部２７２に供給すると共に、この算出した動き量ＭＹvを中間画像情報として蓄積部３０の中間画像情報蓄積領域３２に記憶させる。
【００５２】
画像読み込み部２７２では、レイヤ分類部２６から供給されたレイヤ分類情報ＬＢに基づき、側端部から動き量平均値算出部２７１で算出された動き量ＭＹvに応じてレイヤ毎に画像信号ＳＤCを抽出してレイヤ毎の中間画像信号ＧＦvを生成して、中間画像信号補間部２７３に供給する。
【００５３】
ここで、各レイヤの動き量ＭＹvに応じた信号量だけ画像信号ＳＤCを側端部から読み出して中間画像信号を生成すると、例えば中間画像信号に基づく画像は図１４に示すものとなる。なお、図１４Ａは遠景レイヤの中間画像信号に基づく画像、図１４Ｂは中景レイヤの中間画像信号に基づく画像、図１４Ｃは近景レイヤの中間画像信号に基づく画像を示している。
【００５４】
中間画像信号補間部２７３では、動き量ＭＹvの異なる各レイヤの画像を遠景，中景，近景の順に貼り付けても、画像のないアンカバード(Uncovered)領域が生ずることがないように中間画像信号ＧＦvの補正を行い、補正された信号を中間画像信号ＧＹvとして中間画像情報蓄積領域３２に記憶させる。この中間画像信号の補正では、手前のレイヤに対して全てを補間すると、奥のレイヤが隠れてしまうこととなる。したがって、最も奥のレイヤに対しては隙間全部を補間するものとし、中間に位置するレイヤではこのレイヤよりも手前のレイヤに属する領域によって生成された隙間に対してのみ、水平方向に隣接する信号を用いた補間処理を行い、画像の無い隙間領域の画像信号を作り出して中間画像信号に貼り付ける。このように補間処理を行うことで、図１４Ａに示す中間画像信号ＧＦvに基づく画像は、画像の無い部分（斜線で塗りつぶした領域）が水平方向に隣接する信号を用いて補間されて、図１５Ａに示すような画像となる。同様に、図１４Ｂに示す中間画像信号ＧＦvに基づく画像は図１５Ｂに示すように補正された画像となる。なお、最も手前に位置するレイヤが例えば図１４Ｃに示す近景レイヤであるものとしたとき、最も手前に位置するレイヤではアンカバード領域が生じないので、補間処理は不要となり、図１５Ｃに示す近景レイヤは図１４Ｃと等しいものである。
【００５５】
蓄積部３０の中間画像情報蓄積領域３２には、中間画像情報生成ブロック２５で生成されたレイヤ毎の動き量ＭＹvとレイヤ毎の中間画像信号ＧＹvをフレーム毎に関係付けて、中間画像情報として記憶される。ここで、中間画像情報蓄積領域３２に記憶された遠景レイヤの中間画像信号は、動き量が少ないことから図１５Ａに示すように画像信号の信号量は少なくなる。また近景レイヤの中間画像信号では、動き量が大きいことから図１５Ｃに示すように信号量も多くなる。また中景レイヤでは図１５Ｂに示すように遠景と中景の中間である信号量となる。なお、後退レイヤでは、動き方向が逆であることから後退レイヤの中間画像信号では、図１５Ａ〜図１５Ｃとはフレーム方向が逆となる。
【００５６】
レイヤパターン情報ＬＰに基づいて水平移動レイヤを作成するものと指示されたときには、動きベクトルの方向が水平方向とされている検出領域の画像信号を、この水平移動レイヤの中間画像信号に設定する。ここで、水平方向に移動する画像では、正面画像から外に移動する画像と中に入り込む画像が生じる。例えば、右折時には、正面画像の右側端部から画像が入り込み左側端部から画像が出ていく。このため、外に移動する画像の水平移動レイヤは遠景レイヤ等と時間軸方向を等しくすると共に、中に入り込む画像の水平移動レイヤは後退レイヤと同様に、遠景レイヤ等とは時間軸方向を逆方向とする。
【００５７】
このようにして、中間画像情報蓄積領域３２には、遠景，中景，近景の各レイヤの中間画像信号と後退レイヤや水平移動レイヤの中間画像信号が動き量に応じて生成されて記憶される。また、各レイヤの動き量も上述のように合わせて記憶される。
【００５８】
次に、蓄積部３０の中間画像情報蓄積領域３２に記憶された中間画像情報を用いて右側面の画像の周辺画像信号ＳＤRを生成する場合について説明する。このように、周辺画像信号ＳＤRを生成する場合、中間画像情報蓄積領域３２から中間画像情報として記憶されている動き量ＭＹvを読み出して、レイヤ毎の中間画像信号ＧＹvの信号読み出し量を動き量ＭＹvに基づいて決定する。さらに、この動き量ＭＹvに応じた信号量の中間画像信号をレイヤ毎に使用して、遠景レイヤ，中景レイヤ、近景レイヤの順に貼り付ける。また、遠景，中景，近景のレイヤとは異なるレイヤが設けられているときには、このレイヤの画像の貼り付け処理も行い、周辺画像信号ＳＤRを生成できる。この生成した周辺画像信号ＳＤRを正面画像の画像信号ＳＤCの出力タイミングに合わせてプロジェクタ１２Rに供給することで、正面画像だけでなく右側面の画像も連続的に表示させることができる。
【００５９】
図１６は、中間画像情報蓄積領域３２に記憶されている中間画像情報を読み出して周辺画像信号を生成する周辺画像信号生成ブロック４０の構成を示している。周辺画像信号生成ブロック４０の画像生成制御部４１では、中間画像情報蓄積領域３２に中間画像情報として記憶されているレイヤ毎の動き量ＭＹvをフレーム順に読み出して、この読み出した動き量ＭＹvに基づきレイヤ毎の中間画像信号の読み出し量を判別する。この画像生成制御部４１で判別された読み出し量に基づいて、中間画像情報蓄積領域３２から中間画像信号ＧＹvをレイヤ毎に読み出して、レイヤ画像生成処理部４２に設けられているレイヤ毎の貼り付け部４２１-1〜４２１-5に供給する。
【００６０】
ここで、右左折時に水平方向に移動する水平移動レイヤの中間画像信号は貼り付け部４２１-1に供給する。また、遠景レイヤの中間画像信号は貼り付け部４２１-2に供給すると共に、中景レイヤの中間画像信号及び近景レイヤの中間画像信号は貼り付け部４２１-3，４２１-4に供給する。さらに追越し車両の画像が含まれる後退レイヤの中間画像信号は貼り付け部４２１-5に供給する。
【００６１】
貼り付け部４２１-1には、後述する画像シフト部４２３-1が接続されており、画像シフト部４２３-1から供給された画像信号に、中間画像情報蓄積領域３２から読み出した対応するレイヤの画像信号を貼り付ける。この貼り付け部４２１-1によって画像の貼り付けが行われて得られた水平移動レイヤの画像信号は、１フレーム遅延部４２２-1と画像信号生成部４４の遠景貼り付け部４４１に供給される。
【００６２】
１フレーム遅延部４２２-1では、貼り付け部４２１-1から供給された画像信号を１フレーム分だけ遅延させて画像シフト部４２３-1に供給する。画像シフト部４２３-1では、１フレーム遅延部４２２-1から供給された画像信号に基づく画像を、画像生成制御部４１から供給された水平移動レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらにこの水平方向に移動させた画像の画像信号を貼り付け部４２１-1に供給する。
【００６３】
このように１フレーム分遅延された画像信号に基づく画像を、画像生成制御部４１から供給された動き量ＭＹvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に中間画像情報蓄積領域３２から動き量ＭＹv分だけ読み出した水平移動レイヤの中間画像信号ＧＹvを貼り付けることで、移動する画像の画像信号を生成できる。
【００６４】
同様に、１フレーム遅延部４２２-2〜４２２-5で１フレーム分遅延された画像信号に基づく画像を、画像シフト部４２３-2〜４２３-5で画像生成制御部４１から供給された各レイヤの動き量ＭＹvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に対して、中間画像情報蓄積領域３２から各レイヤの動き量分だけ読み出した中間画像信号ＧＹvを貼り付け部４２１-2〜４２１-5に供給して、この読み出した中間画像信号ＧＹvに基づく画像を貼り付けることで、順次画像が移動する画像信号をレイヤ毎に生成できる。
【００６５】
また、中間画像信号は、正面画像信号から読み出した信号であることから、この中間画像信号に基づく画像は、スクリーン１０Cと同じ面上の画像となる。しかし、周辺画像を表示するスクリーン１０Rは正面のスクリーン１０Cに対して傾きを持って設けられている。このため、遠景，中景，近景レイヤや後退レイヤのように、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号を用いて、各レイヤの画像の貼り付けを行い周辺画像信号ＳＤRを生成して画像表示を行うものとすると、スクリーン１０Rに表示される画像は、スクリーン１０Cに対するスクリーン１０Rの傾きによって正しい形状とならない。このため、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号は、射影変換部４３の各変換処理部４３１〜４３４に供給して、この各レイヤの画像をスクリーン１０L，１０Rに表示したときに、動きベクトルＭＶのベクトル方向に画像が正しく移動するように射影変換を行う。また、水平移動レイヤの画像は、動きベクトルＭＶの方向が水平方向であることから、遠景，中景，近景レイヤ，後退レイヤのような射影変換は行わないものとする。
【００６６】
射影変換部４３の変換処理部４３１〜４３４では、貼り付け部４２１-2〜４２１-5から供給された画像信号に対して、画像がスクリーン１０Rの向きに対応した形状となるように射影変換を行う。ここで、正面画像から画像信号を順次読み出すと、読み出した画像の表示面１０CRとスクリーン１０Rは、図１７Ａ及び図１７Ｂに示すように同一面でないことから、正面画像から読み出した画像をスクリーン１０Rに表示したときには、表示面１０CRの画像をそのままスクリーン１０Rの面上に投射したものとなり、正しい形状とならない。
【００６７】
このため、射影変換を行って、垂直方向は画像のズームインあるいはズームアウトの中心Ｃzmから距離に比例した拡大率で拡大すると共に、水平方向はその速度がズームインあるいはズームアウトの中心Ｃzmからの距離に比例するような拡大率で拡大する。
【００６８】
ここで、図１７Ｃに示すように、右側面画像の画面前端から中心Ｃzmまでの長さをＬ、右側面画像の周辺方向の長さをＡ、正面画像と右側面画像とが成す角度「θs」に基づいた比例定数をαとすると、正面画面端からそのまま読み出した画像の位置（ｘa，ｙa）と右側面画像上に正しく画像表示できるように変換処理した後の位置（Ｘa，Ｙa）は、垂直方向については式（３）の関係となり、水平方向については式（４）の関係となる。このため、図１７Ｄに示すように、スクリーン１０R上の（Ｘa，Ｙa）の画像信号は、式（３），式（４）を満たす位置（ｘa，ｙa）の信号を用いることで、図１７Ｅに示すようにスクリーン１０R上に正しく右側面画像を表示できる。
【００６９】
【数２】

【００７０】
この変換処理部４３１で得られた射影変換後の遠景レイヤの画像信号は、画像信号生成部４４の遠景貼り付け部４４１に供給される。また、変換処理部４３２で得られた射影変換後の中景レイヤの画像信号は中景貼り付け部４４２に供給されると共に、変換処理部４３３で得られた射影変換後の近景レイヤの画像信号は近景貼り付け部４４３に供給される。さらに、変換処理部４３４で得られた後退レイヤの画像信号は縮小貼り付け部４４４に供給される。
【００７１】
遠景貼り付け部４４１では、貼り付け部４２１と変換処理部４３１から供給された画像信号に基づいて、水平移動レイヤの画像に遠景レイヤの画像を貼り付けた画像信号を生成して中景貼り付け部４４２に供給する。
【００７２】
中景貼り付け部４４２では、変換処理部４３２と遠景貼り付け部４４１から供給された画像信号に基づいて、遠景レイヤの画像が貼り付けた画像に中景レイヤの画像を貼り付けた画像信号を生成して近景貼り付け部４４３に供給する。
【００７３】
近景貼り付け部４４３では、変換処理部４３３と中景貼り付け部４４２から供給された画像信号に基づいて、中景レイヤの画像が貼り付けた画像に近景レイヤの画像を貼り付けた画像信号を生成して縮小貼り付け部４４４に供給する。
【００７４】
縮小貼り付け部４４４では、変換処理部４３４と近景貼り付け部４４３から供給された画像信号に基づいて、近景レイヤの画像が貼り付けた画像に、時間と共に画像が縮小する後退レイヤの画像を貼り付けた画像信号を生成する。この縮小貼り付け部４４４で生成された画像信号は、水平移動レイヤから縮小レイヤまでの各レイヤが貼り付けられた側面画像の画像信号となる。
【００７５】
このため、縮小貼り付け部４４４で生成された画像信号を周辺画像信号ＳＤRとしてプロジェクタ１２Rに供給することで、正面画像と連続した右側面の画像をスクリーン１０Rに表示することができる。
【００７６】
また、中間画像情報蓄積領域３２に記憶された中間画像信号に対して、画像の無い部分を補間する処理が行われていないとき、あるいは縮小貼り付け部４４４で生成された画像信号に画像の無い部分が生ずるときには、前補間処理部を設けて、画像の無い部分と隣接する領域でどのようなレイヤの画像が貼り合わされたを判別して、奥行きの深いレイヤの画像を用いて補間処理を行う。例えば、中景レイヤと近景レイヤの画像が貼り合わされている領域と水平方向に隣接する部分で画像の無い部分が生じてときには、奥行きの深い中景レイヤの画像を用いて補間処理を行うことで、画像の欠落のない良好な周辺画像信号ＳＤRを生成できる。
【００７７】
また、周辺画像信号ＳＤRと同様にして周辺画像信号ＳＤLを生成してプロジェクタ１２Lに供給することで、正面画像と連続した左側面の画像をスクリーン１０Lに表示することができる。
【００７８】
次に、付加情報信号生成ブロック５０では、動き検出ブロック２０から供給された各検出領域の動きベクトルＭＶと中間画像情報生成ブロック２５から供給されたレイヤ分類情報ＬＢに基づき付加情報信号である揺動信号ＳＥを生成する。
【００７９】
揺動信号ＳＥの生成では、正面画像の左側に設けた検出領域において、レイヤ分類情報ＬＢによって中景レイヤであることが示された検出領域の動きベクトルＭＶから動き量ＭＳＬを生成する。例えば、選択した中景レイヤの各動きベクトルＭＶの動き量から平均値あるいは最頻値等を算出して動き量ＭＳＬとする。また、正面画像の右側についても同様にして動き量ＭＳＲを生成する。
【００８０】
動き量ＭＳＬ，ＭＳＲは、正面画像から外に出て行く方向を正（＋）方向、正面画像から中に入り込む方向を負（−）方向とすると、動き量ＭＳＬと動き量ＭＳＲの加算値ＭＸは、正面画像を撮影したときの前後方向の速度に関する情報を示すものとなる。また、動き量ＭＳＬと動き量ＭＳＲの差分値ＭＹは、正面画像を撮影したときの旋回に関する情報を示すものとなる。なお、図１８は動きパターンと加算値ＭＸ、差分値ＭＹの一例を示しており、図１８Ａは直進動作の場合、図１８Ｂは左折動作の場合である。直進動作での動き量ＭＳＬと動き量ＭＳＲが「＋１０」であるときには、加算値ＭＸは「２０」，差分値ＭＹは「０」となる。また、左折動作での動き量ＭＳＬが「−８」，動き量ＭＳＲが「＋１０」のときには、加算値ＭＸは「２」，差分値ＭＹは「１８」となる。
【００８１】
ここで、臨場感を高めるために表示画像に対応して椅子を揺動させる場合、前後方向の速度に関する情報を示す加算値ＭＸの微分が加速度を示すことから、この加算値ＭＸの微分値を算出して加速度情報ＭＸｄを生成して、この加速度情報ＭＸｄに基づきピッチ角制御用揺動信号ＳＥｐを生成する。このピッチ角制御用揺動信号ＳＥｐをモーションベースプラットフォーム１７に供給する。また、差分値ＭＹは正面画像を撮影したときの旋回に関する情報であることから、この差分値ＭＹに加算値ＭＸを乗算して遠心力情報ＭＸｙを生成して、この遠心力情報ＭＸｙに基づきロール角制御用揺動信号ＳＥｒを生成する。このロール角制御用揺動信号ＳＥｒをモーションベースプラットフォーム１７に供給する。
【００８２】
モーションベースプラットフォーム１７では、ピッチ角制御用揺動信号ＳＥｐに基づき椅子１７３を前後方向に傾ける動作（ピッチング動作）を行うことで、椅子１７３に座った人に加速度情報ＭＸｄに応じた負荷を与える。またロール角制御用揺動信号ＳＥｒに基づき椅子１７３を左右方向に傾ける動作（ローリング動作）を行うことで、椅子１７３に座った人に遠心力情報ＭＸｙに応じた負荷を与える。
【００８３】
このように、付加情報信号としてピッチ角制御用揺動信号ＳＥｐやロール角制御用揺動信号ＳＥｒを生成して、このピッチ角制御用揺動信号ＳＥｐとロール角制御用揺動信号ＳＥｒをモーションベースプラットフォーム１７に供給することにより、加速度情報ＭＸｄに応じて椅子１７３をピッチング動作させると共に遠心力情報ＭＸｙに応じて椅子１７３をローリング動作させることで、椅子１７３に座った人に対して表示画像に応じた加速度感や遠心力を与えることができる。
【００８４】
ところで、周辺画像の提示と揺動を上述したように同時に行う場合、椅子１７３に座った人は、周辺画像と揺動の双方から加速度感等を感じることとなる。ここで、周辺画像に近景が多いような場合と周辺画像に遠景が多いような場合とを想定すると、周辺画像に近景が多い場合には周辺画像での動きが非常に大きくなるので、周辺画像から得られる加速度感等が大きくなる。また、周辺画像に遠景が多い場合には周辺画像での動きが小さくなるので、周辺画像から得られる加速度感等が小さくなる。このため、中景レイヤの画像に基づいて揺動を行う際に、周辺画像に近景が多く含まれる場合には、周辺画像から十分な加速度感等を得られるので揺動を小さくする。また、周辺画像に遠景が多く含まれる場合には、周辺画像から十分な加速度感等を得られないので揺動を大きくする。
【００８５】
周辺画像における遠景，中景，近景の各領域の面積は、周辺画像信号生成ブロック４０の画像信号生成部４４で貼り付けを行う遠景レイヤの信号と中景レイヤの信号と近景レイヤの信号を用いて算出できる。ここで、変換処理部４３１から遠景貼り付け部４４１に供給される遠景レイヤの画像信号と、変換処理部４３２から中景貼り付け部４４２に供給される中景レイヤの画像信号と、変換処理部４３３から近景貼り付け部４４３に供給される近景レイヤの画像信号を付加情報信号生成ブロック５０に供給して、例えば、遠景レイヤの画像信号から、この遠景レイヤの画像上に貼り付けられる中景レイヤと近景レイヤの画像を除いた遠景レイヤの画像の画素数を算出して遠景領域の面積とする。また、中景レイヤの画像信号から、この中景レイヤの画像上に貼り付けられる近景レイヤの画像を除いた中景レイヤの画像の画素数を中景領域の面積とし、近景レイヤの画像信号に基づき近景レイヤの画像の画素数を近景領域の面積とする。
【００８６】
このようにして、求めた各画素数を比較することで、遠景，中景，近景の各領域の面積比を判別することができ、この面積比に基づいて揺動の大きさを補正するものとし、図１９Ａに示すように、遠景領域の面積が大きいときには、ピッチ角制御用揺動信号ＳＥｐやロール角制御用揺動信号ＳＥｒの信号レベルを大きくして、揺動を大きくする。また、図１９Ｂに示すように近景領域の面積が大きいときには、ピッチ角制御用揺動信号ＳＥｐやロール角制御用揺動信号ＳＥｒの信号レベルを小さいものとして、揺動を少なくする。このように、周辺画像に遠景の画像が多く含まれるか近景の画像が多く含まれるかに応じて揺動を補正することにより、周辺画像から得られる加速感等を補うように揺動を行わせることが可能となり、さらに良好な臨場感を得ることができる。
【００８７】
また、上述の実施の形態では、蓄積されている正面画像の画像信号を用いてレイヤ毎の中間画像を生成し、この中間画像の信号を用いて周辺画像の画像信号を生成すると共に、中間画像を生成する際の動きベクトルに基づいて揺動信号を生成するものとしたが、正面画像の画像信号は蓄積されている信号に限られるものではない。例えば、直進する車等から撮影した画像のように、画像の動きが正面画像の画像基準位置ＣＰを中心とした放射方向である拘束条件を満たすリアルタイムの正面画像の画像信号を用いて、周辺画像と共に周辺画像に応じた揺動信号を生成できる。
【００８８】
この場合には、図５に示すように検出領域を設定すると共に、画像基準位置ＣＰを中心としたズームアウト動作、すなわち拡大率Ｚを設定して検出領域を（１／Ｚ）に縮小させて、この縮小された領域と１フレーム前の画像における対応位置の画像信号との誤差和を算出して、図７に示すように誤差和が最小値となる拡大率Ｚを検出することにより、検出領域毎の動き量を算出する。
【００８９】
次に、動き量に基づいて各検出領域を例えば遠景，中景，近景のいずれがのレイヤに分割すると共に、レイヤ毎に動き量から画像の移動量が設定されて、レイヤ分けされた検出領域の画像が、対応するレイヤの移動量に応じて抽出されて、この抽出された画像の画像信号を、移動量の少ない遠景レイヤから移動量の大きい近景レイヤへと順に貼り付けることで注目フレームの画角に存在しない周辺画像信号を生成できる。また、上述の場合と同様に検出領域毎に動き量が求められることから、この動き量に基づいて揺動信号ＳＥを生成することで、リアルタイムの画像信号ＳＤCに基づいて広画角の画像提示を行うことができると共に、画像の動きに合わせて揺動を行い臨場感を高めることができる。
【００９０】
さらに、臨場感を高める方法は、揺動信号ＳＥに基づいて椅子を前後左右に傾けることで加速感等を与えるものに限られるものではない。例えば、付加情報信号として送風制御信号を生成して送風機に供給し、椅子１７３に座っている人に対して風を当てると共に、得られた前方向の速度に関する情報に応じて風量制御を行い風圧を可変させるものとしたり、旋回に関する情報に応じて風向制御を行い風向きを可変させることにより、さらに臨場感を高めることができる。また、付加情報信号として音声制御信号を生成してスピーカに供給し、走行音や風切り音，エンジン音等をスピーカから出力させると共に、前方向の速度に関する情報に応じて音量や音色を可変させることでも臨場感を更に高めることができる。このように、正面画像の画像信号から画像の動きに関する特徴量を検出して、この特徴量に基づいて画像の動きに関連した付加情報信号を生成することで、臨場感を高めることができる。
【００９１】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２０に示す。
【００９２】
コンピュータ９０は、図２０に示すようにＣＰＵ(Central Processing Unit)９０１を内蔵しており、このＣＰＵ９０１にはバス９２０を介してＲＯＭ９０２，ＲＡＭ９０３，ハード・ディスク・ドライブ９０４，入出力インタフェース９０５が接続されている。さらに、入出力インタフェース９０５には入力部９１１や記録媒体ドライブ９１２，通信部９１３，画像入出力部９１４が接続されている。
【００９３】
キーボードやマウス等の操作入力手段あるいはマイク等の音声入力手段等を用いて構成された入力部９１１から、命令が入力されると、この命令が入出力インタフェース９０５を介してＣＰＵ９０１に供給される。
【００９４】
ＣＰＵ９０１では、ＲＯＭ９０２やＲＡＭ９０３あるいはハード・ディスク・ドライブ９０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ９０２やＲＡＭ９０３あるいはハード・ディスク・ドライブ９０４には、上述の各ブロックでの処理を実行するためのプログラムも記憶させて、側面画像の生成も行う。
【００９５】
ここで、中間画像情報の生成や中間画像情報から周辺画像信号を生成して出力すると共に付加情報信号を生成する信号処理プログラムは、情報記録媒体であるＲＯＭ９０２やハード・ディスク・ドライブ９０４に予め記憶しておくことができる。
【００９６】
あるいは、磁気や光を利用したリムーバブル記録媒体や半導体素子等を用いて構成されたリムーバブルの情報記録伝送媒体、例えばフロッピー（Ｒ）ディスクやＣＤ−ＲＯＭ等の光ディスク、ＭＯディスク等の光磁気ディスク、テープカートリッジ、あるいは半導体メモリ等に信号処理プログラムを記録するものとして、これらのリムーバブル情報記録伝送媒体を記録媒体ドライブ９１２に装着して記録されている信号処理プログラムを読み出し、読み出したプログラムを入出力インタフェース９０５やバス９２０を介してハード・ディスク・ドライブ９０４等に記憶させることでインストールしても良い。
【００９７】
さらに、通信部９１３を設けて、有線や無線の伝送路、例えばＬＡＮやインターネット等のネットワーク、あるいは衛星放送波や地上放送波等を利用して供給された信号処理プログラムを受信して、この受信した信号処理プログラムを、入出力インタフェース９０５及びバス９２０を介してハード・ディスク・ドライブ９０４等にインストールすることもできる。
【００９８】
ここで、信号処理プログラムが実行されて中間画像情報の生成が行われたときには、ハード・ディスク・ドライブ９０４あるいは記録媒体ドライブ９１２に装着された記録媒体に記録されている正面画像の画像信号ＳＤCが読み出されて、上述のような処理が行われて中間画像情報及び付加情報信号が、例えば画像信号ＳＤCと共にハード・ディスク・ドライブ９０４や記録媒体ドライブ９１２に装着された記録媒体に記録される。また、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面画像を示す周辺画像信号ＳＤR，ＳＤLが生成されると共に、この周辺画像信号ＳＤR，ＳＤLと付加情報信号ＳＥが正面画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができると共に、画像に対応させて揺動等が行われて臨場感を高めることができる。
【００９９】
また、リアルタイムの画像信号が供給されたときには、画像信号ＳＤCから抽出した画像信号を用いて注目フレームに存在しない画角の周辺画像信号ＳＤR，ＳＤLが生成されて出力されると共に、正面画像の動き量から付加情報信号が生成されて出力される。このため、リアルタイムの正面画像の画像信号に基づいても、広画角の連続した画像を表示することができると共に、画像に対応させて揺動等が行われて臨場感を高めることができる。
【０１００】
このように、上述の実施の形態によれば、正面画像の動きを判別して、正面画像とは異なる視野の周辺画像を生成できるだけでなく、画像の動きに関連した付加情報信号が生成されるので、広画角で画像を表示できるだけでなく、画像に対応する揺動等が行われて臨場感を高めることができる。また、画像信号から付加情報信号を生成できるので、センサ等を用いなくとも臨場感を高めることができる。さらに、既に撮影された画像信号を用いても、広画角で画像を表示できると共に臨場感を高めることができる。
【０１０１】
【発明の効果】
この発明によれば、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量が検出されて、この特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号が生成されると共に、特徴量と入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号が生成される。このため、入力画像信号に基づいて、入力画像信号に基づく画像よりも広画角の画像表示と、表示された画像に応じた例えば揺動等が行われて、臨場感の高い画像表示を行うことができる。
【０１０２】
また、検出した特徴量のレイヤ分けを行い、所定のレイヤの特徴量に基づき付加情報信号が生成されるので、表示された画像に応じた適切な揺動等を行うことができる。さらに、付加情報信号は、生成した周辺画像の画像信号に応じて補正されるので、臨場感をより高めることができる。
【図面の簡単な説明】
【図１】表示システムを示す図である。
【図２】画像投影状態を示す図である。
【図３】モーションベースプラットホームを示す図である。
【図４】信号処理装置の構成を示す図である。
【図５】各検出領域の動きベクトルを示す図である。
【図６】動きベクトルの判別方法を示す図である。
【図７】ズーム時の領域サイズの変化を示す図である。
【図８】画像基準位置の判別方法を示す図である。
【図９】動き検出処理部の構成を示す図である。
【図１０】レイヤ分類部の構成を示す図である。
【図１１】ベクトル方向と動きパターンの関係を示す図である。
【図１２】レイヤ分類情報の生成動作を示す図である。
【図１３】情報生成処理部の構成を示す図である。
【図１４】レイヤ毎の中間画像を示す図である。
【図１５】補間処理後のレイヤ毎の中間画像を示す図である。
【図１６】周辺画像信号生成ブロックの構成を示す図である。
【図１７】画像変換処理を示す図である。
【図１８】付加情報信号の生成動作を示す図である。
【図１９】揺動信号の補正処理を説明するための図である。
【図２０】コンピュータを用いた構成を示す図である。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、１５・・・画像処理装置、１７・・・モーションベースプラットフォーム、２０・・・動き検出ブロック、２１・・・フレーム遅延処理部、２２・・・動き検出処理部、２５・・・中間画像情報生成ブロック、２６・・・レイヤ分類部、２７・・・情報生成処理部、３０・・・蓄積部、３１・・・正面画像信号蓄積領域、３２・・・中間画像情報蓄積領域、４０・・・周辺画像信号生成ブロック、４１・・・画像生成制御部、４２・・・レイヤ画像生成処理部、４３・・・射影変換部、４４・・・画像信号生成部、５０・・・付加情報信号生成ブロック、９０・・・コンピュータ、２２１・・・サイズ変換処理部、２２２・・・誤差和算出部、２２３・・・比較処理部、２２４・・・データ保持部、２２５・・・探索制御部、２６１・・・パターン判定部、２６２・・・レイヤ作成判定部、２６３・・・分類処理部、２６４・・・閾値設定部、２６５・・・分類補正部、２７１・・・動き量平均値算出部、２７２・・・画像読み込み部、２７３・・・中間画像信号補間部、４２１-1〜４２１-5・・・貼り付け部、４２２-1〜４２２-5・・・１フレーム遅延部、４２３-1〜４２３-5・・・画像シフト部、４３１〜４３４・・・変換処理部、４４１・・・遠景貼り付け部、４４２・・・中景貼り付け部、４４３・・・近景貼り付け部、４４４・・・縮小貼り付け部、９０１・・・ＣＰＵ、９０２・・・ＲＯＭ、９０３・・・ＲＡＭ、９０４・・・ハード・ディスク・ドライブ、９０５・・・入出力インタフェース、９１１・・・入力部、９１２・・・記録媒体ドライブ、９１３・・・通信部、９１４・・・画像入出力部、９２０・・・バス

Claims

複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出し、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成し、
検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する
ことを特徴とする信号処理方法。
検出した前記特徴量のレイヤ分けを行い、所定のレイヤの特徴量に基づき前記付加情報信号を生成する
ことを特徴とする請求項１記載の信号処理方法。
前記付加情報信号を、前記生成した周辺画像信号に応じて補正する
ことを特徴とする請求項１記載の信号処理方法。
前記付加情報信号は、前記入力画像信号に基づく画像の動きに応じて揺動を発生させるための揺動信号である
ことを特徴とする請求項１記載の信号処理方法。
検出した前記特徴量のレイヤ分けを行い、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記レイヤ毎に対応する画像領域を集めることで前記レイヤ毎の中間画像情報を生成し、該中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する
ことを特徴とする請求項１記載の信号処理方法。
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する検出手段と、
前記検出手段で検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段と、
前記検出手段で検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する付加情報信号生成手段とを有する
ことを特徴とする信号処理装置。
前記検出手段で検出した前記特徴量のレイヤ分けを行うレイヤ分類手段を有し、
前記付加情報信号生成手段では、前記レイヤ分類手段によって分類された所定のレイヤの特徴量に基づき前記付加情報信号を生成する
ことを特徴とする請求項６記載の信号処理装置。
前記付加情報信号生成手段では、生成した前記付加情報信号を、前記周辺画像信号生成手段で生成した周辺画像信号に応じて補正する
ことを特徴とする請求項６記載の信号処理装置。
前記付加情報信号生成手段では、前記付加情報信号として、前記入力画像信号に基づく画像の動きに応じた揺動を制御する揺動信号を生成する
ことを特徴とする請求項６記載の信号処理装置。
検出した前記特徴量のレイヤ分けを行い、検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記レイヤ毎に対応する画像領域を集めることで前記レイヤ毎の中間画像情報を生成する中間画像情報生成手段を設け、
前記周辺画像信号生成手段では、前記中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する
ことを特徴とする請求項６記載の信号処理装置。
コンピュータに、
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する手順と、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する手順と、
検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する手順と
を実行させるための信号処理プログラム。