JP3982316B2 - 画像処理装置と画像処理方法及び画像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法及び画像処理プログラムに関する。詳しくは、入力画像のシーンチェンジと入力画像内の画像動きを検出して、検出されたシーンチェンジに基づいて連続シーンの期間を判別するものとし、この連続シーンの期間中に検出された画像動きに基づき連続シーンの期間中の入力画像を重畳させて、入力画像よりも広画角であって入力画像の位置が画像動きに応じて変化される表示画像を生成するものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００３】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
【発明が解決しようとする課題】
ところで、このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【０００５】
これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平１０−３０１５５６号公報で開示されている。
【０００６】
しかし、画像表示領域が限られているとき、被写体の動きに合わせて画像の表示位置を移動させると、画像が画像表示領域から外れてしまい、画像を正しく表示することができない。
【０００７】
そこで、この発明では、現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像を途切れることなく正しく表示できる画像処理装置と画像処理方法及び画像処理プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像のシーンチェンジを検出するシーンチェンジ検出手段と、前記入力画像の画像動きを表す動きベクトルを検出する動き検出手段と、前記シーンチェンジ検出手段によって検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に前記動き検出手段で検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成する表示画像生成手段とを有し、前記表示画像生成手段は、前記入力画像が、前記表示画像を表示する画像表示領域を超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正するものである。
【０００９】
また、画像処理方法は、入力画像のシーンチェンジと前記入力画像の画像動きを表す動きベクトルを検出し、検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成し、生成された前記表示画像を表示する画像表示領域を、前記入力画像が超えるか否かを判別し、判別結果に基づいて前記入力画像の表示位置を補正するものである。
【００１０】
さらに、画像処理プログラムは、コンピュータに、入力画像のシーンチェンジを検出する手順と、前記入力画像の画像動きを表す動きベクトルを検出する手順と、検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成する手順と、生成された前記表示画像を表示する画像表示領域を、前記入力画像が超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正する手順とを実行させるものである。
【００１１】
この発明においては、入力画像のシーンチェンジ検出が行われて連続シーンが判別されると共に、入力画像の動きベクトルが検出される。この連続シーンの期間中に検出された動きベクトルに基づき入力画像の表示位置が決定されて、表示位置が決定された連続シーンの期間中の入力画像を逆時間順に順次重畳することで広画角画像が生成される。また、入力画像が決定された表示位置に移動されて、この表示位置が移動された入力画像を広画角画像に重畳することで、入力画像よりも広画角であって入力画像の位置が動きベクトルに応じて変化される表示画像が生成される。また、入力画像が、画像表示領域を超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正する。
【００１２】
また、表示画像を表示する画像表示領域が複数の表示領域で構成されているときには、複数の表示領域に対応させて表示画像が分割される。
【００１３】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた画像表示システムの全体構成を示している。この画像表示システムは、例えば３つのスクリーンをユーザの前面と両側面側に配置して、３つの表示領域で１つの画像表示領域が構成されている。また、各スクリーン１０L，１０C，１０Rに対応させてプロジェクタ１２L，１２C，１２Rを設けている。この各プロジェクタ１２L，１２C，１２Rを用いて画像を投影することにより、３つのスクリーンで構成される広範囲の画枠を用いて画像の表示が行われる。プロジェクタ１２L，１２C，１２Rは、画像処理装置２０と接続されている。
【００１４】
画像処理装置２０は、入力画像の画像信号ＳＤinに基づいてシーンチェンジ検出を行うことにより連続シーンを判別する。この判別した連続シーンに含まれる入力画像を順次用いて全画面の動き検出を行い、動き検出によって求めた画像動きに基づいて各入力画像の表示位置を設定する。さらに、設定された表示位置の各入力画像を逆時間順に重畳させることで入力画像よりも広画角の広画角画像を生成する。また、入力画像の画像動きに基づき、動きが検出された入力画像の例えば背景部分の画像と広画角画像が一致するように入力画像を広画角画像に重畳することで、入力画像よりも広画角であると共に、入力画像の位置が画像動きに応じて変化される表示画像を生成する。さらに、表示画像の画像信号ＳＤpから例えば画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rにそれぞれ供給することで、スクリーン１０L，１０C，１０Rを利用して広画角の表示画像を表示する。また、３つのスクリーン１０L，１０C，１０Rで構成された画像表示領域よりも表示する画像の表示サイズが大きいときには画像動きに応じて広画角画像を移動しながら画像表示を行う。
【００１５】
ここで、入力画像の画像サイズは、例えばＮＴＳＣ方式等のＳＤサイズの場合７２０画素×４８０ラインとなる。画像表示領域のサイズは入力画像よりも大きいサイズ例えば２１６０画素×４８０ラインとする。また、映画などでは、アスペクト比がＳＤサイズの画像よりも横長であるため、ＳＤサイズの画像よりも上下幅が小さくなる。このため、画像表示領域のサイズが上下方向に対しても入力画像より大きいときには、入力画像の表示位置を画像動きに応じて上下左右に移動させて重畳することで、広画角の画像表示を行う。
【００１６】
図２は、画像処理装置２０の構成を示している。画像処理装置２０は、入力画像の画像信号ＳＤinをシーンチェンジ検出部２１と動き検出部２２と表示画像生成部２３の広画角画像生成部２３２や入力画像移動部２３３に供給する。
【００１７】
シーンチェンジ検出部２１は、画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図３は、シーンチェンジ検出部２１の構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００１８】
シーンチェンジ検出部２１の遅延回路２１１は、画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００１９】
【数１】

【００２０】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２１】
輝度平均算出回路２１３は、画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２２】
【数２】

【００２３】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２４】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図２に示す動き検出部２２と表示画像生成部２３の表示位置決定部２３１に供給する。
【００２５】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２６】
図４は、フレーム位置と正規化値の関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２７】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素間引き処理、例えば図５に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００２８】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。この相関係数ｒを用いる場合の構成を、シーンチェンジ検出部の他の構成として図６に示す。遅延回路２１１は、画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００２９】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３０】
【数３】

この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
【００３１】
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、動き検出部２２と表示位置決定部２３１に供給する。なお、図７は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３２】
動き検出部２２は、シーンチェンジ検出部２１（２１a）からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して全画面の画像動きの検出を行い、表示面積の広い部分の画像動き、例えば背景部分の動きベクトルを検出する。図８は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いる場合である。
【００３３】
動き検出部２２の遅延回路２２１は、画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内（例えば水平方向±８０画素，垂直方向±４０ライン）で水平方向や垂直方向に順次変更して（例えば１画素あるいは１ラインずつ変更して）新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３４】
差分演算回路２２３は、画像信号ＳＤcと画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３５】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図２に示す表示位置決定部２３１に供給する。
【００３６】
表示位置決定部２３１は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤに基づいて、連続シーンの期間中の各入力画像に対する表示位置を決定して、決定された表示位置を示す表示位置情報ＨＰを、広画角画像生成部２３２と入力画像移動部２３３に供給する。
【００３７】
この表示位置の決定では、例えば動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成する。また、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＬＭや振れ幅の１／２である振れ中央位置ＧＵを求めて、この振れ中央位置ＧＵが画像表示領域の所定位置例えば中央となるように、連続シーンの最初の入力画像の表示位置である初期位置Ｈstを決定する。さらに、初期位置Ｈstを基準として、その後の各フレームの入力画像に対する表示位置を各入力画像の動き検出情報ＭＶＤに基づき、背景部分の画像が一致するように決定する。
【００３８】
図９は広画角画像生成部２３２の構成を示している。広画角画像生成部２３２の重畳処理回路３０１は、連続シーンと判別されたｎフレーム分の入力画像の画像信号ＳＤinを用いて、連続シーンの最後のフレームから逆時間順に各フレームの入力画像を重畳して、１つの広画角画像を生成する。ここで、表示位置情報ＨＰは、各フレームの入力画像の背景部分が一致するように表示位置が動き検出情報ＭＶＤに基づき決定されている。このため、表示位置情報ＨＰで示された表示位置の画像を逆時間順に加算すると、背景部分が一致された入力画像よりも広画角の広画角画像を生成できる。このようにして生成した広画角画像の画像信号ＳＢは、広画角画像位置補正回路３０３に供給する。
【００３９】
表示範囲判定回路３０２は、連続シーンの各入力画像を、表示位置情報ＨＰで示された表示位置に表示するものとしたとき、入力画像が画像表示領域に入りきるか否かを判別する。ここで、入力画像が画像表示領域に入りきらないときには、時間の経過と共に広画角画像の表示位置を移動させることで、画像表示領域を有効に活用して広画角画像を表示させる補正信号ＣＨを生成して広画角画像位置補正回路３０３と、図２に示す入力画像移動部２３３に供給する。
【００４０】
広画角画像位置補正回路３０３は、表示範囲判定回路３０２から補正信号ＣＨが供給されていないとき、重畳処理回路３０１から供給された画像信号ＳＢを図２に示す画像重畳部２３４に供給する。また、後述する画像重畳部２３４から表示画像の画像信号ＳＤpが供給されたときには、この画像信号ＳＤpを画像信号ＳＢとして画像重畳部２３４に供給する。
【００４１】
また、表示範囲判定回路３０２から補正信号ＣＨが供給されたとき、広画角画像の表示位置を補正信号ＣＨに基づき補正して、位置の補正が行われた広画角画像の画像信号ＳＢaを画像重畳部２３４に供給する。さらに、画像重畳部２３４から表示画像の画像信号ＳＤpが供給されたときには、この広画角画像の位置を補正信号ＣＨに基づき補正して、この位置の補正が行われた広画角画像の画像信号を画像信号ＳＢaとして画像重畳部２３４に供給する。
【００４２】
入力画像移動部２３３は、入力画像の画像信号ＳＤinと表示位置情報ＨＰに基づき、連続シーンの各入力画像の表示位置を表示位置情報ＨＰで示された位置とした画像信号ＳＤgを生成して画像重畳部２３４に供給する。また、表示範囲判定回路３０２から補正信号ＣＨが供給されたときには、この補正信号ＣＨに基づき連続シーンの各入力画像の表示位置を補正する。
【００４３】
画像重畳部２３４は、画像信号ＳＢ（ＳＢa）に基づく広画角画像に対して、画像信号ＳＤgに基づく入力画像を重畳させて表示画像の画像信号ＳＤpを生成する。ここで、広画角画像は、表示位置情報ＨＰで示された表示位置の画像を逆時間順に加算した画像である。また、表示画像は、広画角画像に対して、入力画像を表示位置情報ＨＰで示された表示位置として重畳したものである。このため、表示画像では、画像動きの検出された例えば入力画像の背景部分と広画角画像が一致した画像となり、広画角画像に入力画像を重畳させても自然な表示画像を得ることができる。この表示画像の画像信号ＳＤpは、画像分割部２４と広画角画像生成部２３２の広画角画像位置補正回路３０３に供給される。
【００４４】
ここで、メモリを用いて画像重畳部２３４を構成する場合、広画角画像や入力画像の画像信号の書き込み位置を制御することで、広画角画像に入力画像を重畳した表示画像の画像信号を生成できる。すなわち、広画角画像位置補正回路３０３は、重畳処理回路３０１で生成した広画角画像の画像信号ＳＢや表示画像の画像信号ＳＤpを広画角画像の画像信号としてメモリに書き込む際に、補正信号ＣＨに基づいて書き込み位置を制御する。また、入力画像移動部２３３は、入力画像の画像信号ＳＤinをメモリに書き込む際に、表示位置情報ＨＰに基づき書き込み位置を制御して、入力画像の背景部分が広画角画像と一致するように入力画像を広画角画像に重畳させる。また補正信号ＣＨによって広画角画像の書き込み位置が移動されているときには、入力画像の書き込み位置も補正信号ＣＨによって補正することで、正しく入力画像を広画角画像に重畳させることができる。
【００４５】
画像分割部２４は、画像信号ＳＤpに基づいて例えばスクリーン１０Lに表示する画像の画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに表示する画像の画像信号ＳＤC，ＳＤRを生成する。なお、メモリを用いて画像重畳部２３４を構成する場合、スクリーン１０L，１０C，１０Rに対応した領域に、広画角画像や入力画像の画像信号を書き込むものとすれば、それぞれの領域から画像信号を読み出すことで、簡単に画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。なお、スクリーン１０L，１０C，１０R上において、画像表示が行われていない領域は、例えば黒色表示となるように画像信号ＳＤL，ＳＤC，ＳＤRを生成する。
【００４６】
なお、画像重畳部２３４のメモリサイズが画像表示領域分とされているとき、表示画像の画像信号ＳＤpを用いて表示位置の補正を行うと、広画角画像に欠落部分が生じてしまう。この場合、広画角画像位置補正回路３０３は、重畳処理回路３０１で生成した広画角画像から欠落部分の画像を取り出して画像表示領域分の広画角画像を生成する。
【００４７】
次に画像処理装置２０の動作について説明する。シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、入力画像のシーンチェンジ位置を検出する。例えば、画像信号ＳＤinに基づく画像が図１０に示すものである場合、シーンチェンジ検出によって、フレームＦ（a-1）とフレームＦ（a）間、及びフレームＦ(a+4)とフレームＦ(a+5)間でシーンチェンジと検出されて、フレームＦ（a）〜Ｆ(a+4)の画像が連続シーンの画像であると判別できる。また、動き検出部２２は、各フレームの画像に基づいて動き検出を行い、動き検出情報ＭＶＤを生成する。
【００４８】
表示位置決定部２３１は、連続シーンの期間中の各入力画像に対する表示位置を決定する際に、例えば連続シーンの期間中の動き検出情報ＭＶＤに基づく動き量を累積することで動き累積値ＭＶＴを生成する。さらに、この動き累積値ＭＶＴに基づき連続シーンの期間中の画像動きに基づいて表示位置を決定する。
【００４９】
図１１は、動き累積値ＭＶＴに基づく例えば左右方向の累積された動き量を示している。ここで、図１０に示すように、連続シーンの入力画像が右方向に移動する被写体ＯＢ（車）を撮影したもので場合、入力画像に対する全画面の動き検出では背景部分の画像動きが検出されて動き検出情報ＭＶＤが生成される。このため、動き累積値ＭＶＴの動き量は図１１Ａに示すように、左方向に増加する。
【００５０】
次に、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である第２の移動方向（例えば左方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＬＭを求めて連続シーンおける画像の移動範囲を判別し、この移動範囲の中心が画像表示領域内の移動可能範囲ＬＤ（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの画像の中心間の距離）の中央となるように、フレームＦ(ａ)の入力画像の表示位置である初期位置Ｈstを決定する。
【００５１】
例えば図１１Ａに示すように、動き累積値ＭＶＴの振れ幅ＬＭの１／２を振れ中央位置ＧＵとしたとき、この振れ中央位置ＧＵが画像表示領域の例えば中央となるように、連続シーンの最初の入力画像の表示位置である初期位置Ｈstを決定する。ここで、背景部分の動き量が左方向に増加することから、背景部分を一致させて各フレームの入力画像を表示させるためには入力画像の表示位置を順次右方向に移動する必要がある。このため、初期位置Ｈstは画像表示領域の左側に設定する。また、フレームＦ(a+1)〜フレームＦ(a+4)の画像については、動き検出情報ＭＶＤで示された動き方向とは逆方向に動き量分だけ順次移動させた位置を入力画像の表示位置として、各フレームの入力画像の表示位置を示す表示位置情報ＨＰを生成する。このように表示位置を順次移動させることで、背景部分を一致させて各フレームの入力画像を表示できる。
【００５２】
また、被写体が右方向だけでなく左方向にも移動して、フレームＦ(b)〜フレームＦ(b+k)の画像に基づく動き累積値ＭＶＴが図１１Ｂに示すように右方向や左方向となった場合も同様に、動き累積値ＭＶＴの振れ幅ＬＭの１／２の位置が画像表示領域の中央位置となるように初期位置Ｈstを設定して、その後の連続シーンのフレーム画像については、動き検出情報ＭＶＤに基づき表示位置を順次移動させる。このようにして、各フレームの入力画像の表示位置を決定することで、被写体が右方向だけでなく左方向にも移動する場合でも、各フレームの入力画像の表示位置を示す表示位置情報ＨＰを生成できる。
【００５３】
広画角画像生成部２３２の重畳処理回路３０１は、図１０に示す連続シーンの各入力画像Ｆ(a)〜Ｆ(a+4)を表示位置情報ＨＰで示された表示位置として、図１２に示すように、この表示位置情報ＨＰで示された表示位置とされた入力画像Ｆ(a)〜Ｆ(a+4)を逆時間順、すなわち入力画像Ｆ(a+4)から順次加算する。この入力画像を順次重畳した画像は、入力画像の背景部分が一致した画像であると共に入力画像よりも広画角となる。ここで、連続シーンの各入力画像を重畳して得られた広画角の画像を広画角画像として、この広画角画像の画像信号ＳＢを生成する。このように、表示位置情報ＨＰで示された表示位置の入力画像を逆時間順に順次加算するだけで、入力画像の背景部分が一致した画像であると共に入力画像よりも広画角の広画角画像を簡単に生成できる。また、広画角画像は、表示位置情報ＨＰで示された位置の入力画像を、逆時間順に連続シーンの最初まで重畳したものであることから、連続シーン内の入力画像を表示位置情報ＨＰに基づいて移動させたときに画像の表示が行われる表示範囲と広画角画像の画像サイズが等しくなる。
【００５４】
表示範囲判定回路３０２は、連続シーンの最初の入力画像を初期位置Ｈstに表示してから、動き検出情報ＭＶＤで示された動き量だけ表示位置を動きベクトル方向とは逆方向に表示位置を移動させたとき、入力画像が画像表示領域を超えてしまうか否かを判別する。例えば、動き累積値ＭＶＴに基づき振れ幅ＬＭを算出して、この振れ幅ＬＭと画像表示領域内の移動可能範囲ＬＤを比較して、図１１に示すように振れ幅ＬＭが移動可能範囲ＬＤ以下であるか、あるいは図１３に示すように、振れ幅ＬＭが移動可能範囲ＬＤよりも大きいかを判別する。ここで、振れ幅ＬＭが移動可能範囲ＬＤよりも大きいと判別したときには、入力画像を表示位置情報ＨＰに基づいて移動させても画像表示領域を超えてしまうことがないように、表示位置を補正する補正信号ＣＨを生成して広画角画像位置補正回路３０３と入力画像移動部２３３に供給する。
【００５５】
この入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正する表示位置補正方法としては、例えば図１３Ａ及び図１３Ｂに示すように、画像表示領域の中央位置ＰＣを基準とすると共に、振れ幅ＬＭの１／２の位置を画像表示領域の中央位置ＰＣとして、中央位置ＰＣから各入力画像の表示位置までの距離ＧＷを算出する。ここで、係数（ＬＤ／ＬＭ）を補正信号ＣＨとして距離ＧＷに乗算すれば、破線で示すように、入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正できる。
【００５６】
次に、他の表示位置補正方法を説明する。ここで図１４Ａに示すように広画角画像の水平方向の画像サイズを「ＺＢ」、図１４Ｂに示すように画像表示領域の水平方向の表示サイズを「ＺＷ」、図１４Ｃに示すように入力画像の水平方向の画像サイズを「ＺＰ」とする。
【００５７】
画像表示領域の例えば左側端部を基準した場合、係数｛（ＺＢ−ＺＷ）／（ＺＢ−ＺＰ）｝を補正信号ＣＨとして、この補正信号ＣＨを式（５）に示すように動き検出情報ＭＶＤで示された動き量Ｖａに乗算して、新たな動き量Ｖｂを算出する。
Ｖｂ＝｛（ＺＷ−ＺＢ）／（ＺＢ−ＺＰ）｝×Ｖａ ・・・（５）
この動き量Ｖｂに基づいて表示位置を決定する。
【００５８】
このように、広画角画像の画像サイズを用いても、この広画角画像の画像サイズが入力画像の表示範囲と等しいことから、新たな動き量Ｖｂに基づいて表示位置を決定すれば、図１４Ｄ〜図１４Ｆに示すように、広画角画像や入力画像が被写体ＯＢの動く方向とは逆方向に移動されるので、画像表示領域を有効に活用して、効果的に広画角の画像表示を行うことができる。
【００５９】
また、初期位置Ｈstが画像表示領域の左側端部でないときには、式（６）で示すように初期位置の補正を行い、新たな初期位置Ｈst’を設定する。
Ｈst’＝｛（ＺＷ−ＺＢ）／（ＺＢ−ＺＰ）｝×Ｈst ・・・（６）
この初期位置Ｈst’から動き量Ｖｂに基づいて表示位置を順次設定することにより、入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正できる。
【００６０】
また、垂直方向についても、水平方向の場合と同様に処理することで、入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正できる。なお、入力画像の表示位置を移動しても、入力画像が画像表示領域を超えてしまうことがないときには、表示位置の補正を行わないものとして、図１４Ｇに示すように、画像表示領域の中央に画像を表示する。
【００６１】
広画角画像位置補正回路３０３は、補正信号ＣＨが供給されたとき、この補正信号ＣＨに基づき広画角画像の表示位置を移動させて、この移動後の広画角画像の画像信号ＳＢaを画像重畳部２３４に供給する。
【００６２】
また、広画角画像位置補正回路３０３には、後述する画像重畳部２３４から表示画像の画像信号ＳＤpが供給されたとき、この表示画像の画像信号ＳＤpを新たな広画角画像の画像信号ＳＢとして画像重畳部２３４に供給する。なお、表示画像の画像信号ＳＤpを新たな広画角画像の画像信号ＳＢaとして用いる際に、補正信号ＣＨに基づき広画角画像の表示位置を移動させて、画像の無い部分が生じてしまうときには、上述したように画像の無い部分の画像を、重畳処理回路３０１で生成した広画角画像から取り出して用いるものとする。
【００６３】
入力画像移動部２３３は、表示位置情報ＨＰに基づき、画像信号ＳＤinに基づく入力画像の表示位置を決定する。また、補正信号ＣＨに基づき広画角画像の表示位置が移動されるときには、広画角画像位置補正回路３０３と同様に、補正信号ＣＨに基づき画像信号ＳＤinに基づく入力画像の表示位置を広画角画像に対応させて移動する。この移動後の入力画像の画像信号ＳＤgを画像重畳部２３４に供給する。
【００６４】
画像重畳部２３４は、広画角画像に対して入力画像を重畳して、表示画像の画像信号ＳＤpを生成する。また、生成した表示画像の画像信号ＳＤpを画像分割部２４と広画角画像位置補正回路３０３に供給する。
【００６５】
画像分割部２４では、画像信号ＳＤpから画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rにそれぞれ供給することにより、スクリーン１０L，１０C，１０Rを利用して入力画像よりも広画角の画像表示を行う。
【００６６】
このように、画像信号ＳＤinに基づく入力画像を広画角画像に重畳して表示画像とすると共に、この表示画像を新たな広画角画像とすると、図１５Ａに示す入力画像が図１５Ｂに示す広画角画像に重畳されて、図１５Ｃに示すように、所望の被写体ＯＢが順次移動する広画角の表示画像を生成できる。また、入力画像の表示位置を画像動きに基づいて移動させたとき、画像表示領域を超えてしまうような場合が生じても、画像表示領域を超えてしまうことが無いように表示位置の補正が行われて、被写体が表示画面上で移動するだけでなく広画角画像も逆方向に移動されるので、画像表示領域を有効に活用して広画角の画像表示を行うことができる。
【００６７】
ところで、上述の画像処理装置における画像処理動作は、コンピュータを用いてソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)５０１を内蔵しており、このＣＰＵ５０１にはバス５２０を介してＲＯＭ５０２，ＲＡＭ５０３，ハード・ディスク・ドライブ５０４，入出力インタフェース５０５が接続されている。さらに、入出力インタフェース５０５には入力部５１１や記録媒体ドライブ５１２，通信部５１３，画像信号入力部５１４，画像信号出力部５１５が接続されている。
【００６８】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部５１１から命令が入力されると、この命令が入出力インタフェース５０５を介してＣＰＵ５０１に供給される。
【００６９】
ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部５１４に入力された画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部５１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ５１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部５１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００７０】
図１７は、画像処理動作を示すフローチャートである。ステップＳＴ１ではシーン判別を行う。図１８はシーン判別動作を示すフローチャートである。ステップＳＴ１１では、フレーム間の差分平均値Ｄavとフレーム内の輝度平均値Ｙavを算出してステップＳＴ１２に進む。ステップＳＴ１２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
【００７１】
ステップＳＴ１３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ１４に進み、連続シーンと判別する。また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。このようにして正規化値Ｅに基づき連続シーンを判別する。
【００７２】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値を比較して連続シーンを判別するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。
【００７３】
図１７のステップＳＴ２では、連続シーンの入力画像に対して全画面の動き検出を行い、入力画像の例えば背景部分の動き量や動き方向を示す動き検出情報を生成してステップＳＴ３に進む。ステップＳＴ３は、動き検出情報に基づき連続シーンの各フレームの入力画像に対する表示位置を算出してステップＳＴ４に進む。ステップＳＴ４では、連続シーンの各入力画像を用いて広画角画像を生成する。
【００７４】
図１９は広画角画像の生成動作を示している。ステップＳＴ２１では連続シーンのフレーム数ＫＦを変数ｉに設定してステップＳＴ２２に進む。ステップＳＴ２２では、変数ｉが「０」よりも大きいか否かを判別する。
【００７５】
ここで、変数ｉが「０」よりも大きいときには、ｉ番目のフレームの入力画像をステップＳＴ３で算出した表示位置として画像の重畳を行いステップＳＴ２４に進む。ステップＳＴ２４では、変数ｉから「１」を減算して、得られた減算値を新たに変数ｉとして設定してステップＳＴ２２に戻る。このステップＳＴ２２〜ステップＳＴ２４の処理を繰り返すことにより図１２に示す処理が行われる。その後、連続シーンの最初の入力画像が重畳されると変数ｉが「０」となるため広画角画像の生成処理が終了される。
【００７６】
図１７のステップＳＴ５では、ステップＳＴ３で算出された表示位置に入力画像を表示させたとき、入力画像が画像表示領域を超えてしまうか否かを判別する。ここで、入力画像が画像表示領域を超えてしまうことが無いときにはステップＳＴ７に進む。また、入力画像が画像表示領域を超えてしまうときにはステップＳＴ６に進む。ステップＳＴ６では、表示位置の補正を行う。この表示位置の補正では、広画角画像と入力画像の表示位置を補正してステップＳＴ７に進む。ステップＳＴ７では、広画角画像に入力画像を重畳して表示画像を生成する。
【００７７】
図２０は、表示画像の生成動作を示すフローチャートである。ステップＳＴ３１では、変数ｊを「１」に設定してステップＳＴ３２に進む。ステップＳＴ３２では、変数ｊの値が連続シーンのフレーム数ＫＦよりも大きいか否かを判別する。ここで、変数ｊの値が連続シーンのフレーム数ＫＦよりも大きくないときにはステップＳＴ３３に進む。
【００７８】
ステップＳＴ３３では、広画角画像に入力画像を重畳する。なお画像を重畳させる際には、ステップＳＴ３で算出された表示位置、あるいはステップＳＴ７で表示位置の補正が行われているときには、補正された表示位置に基づいて広画角画像と入力画像を重畳させる。このとき、入力画像と動きを検出した背景部分の画像は一致したものとなる。ステップＳＴ３４では、入力画像を重畳させた画像をｊフレーム目の表示画像としてステップＳＴ３５に進む。ステップＳＴ３５では、この表示画像を新たな広画角画像としてステップＳＴ３６に進む。
【００７９】
ステップＳＴ３６では、新たな広画角画像を補正された表示位置に表示させたとき、画像の欠落部分が生じているか否かを判別する。ここで、画像の欠落部分が無いときにはステップＳＴ３８に進む。また、画像の欠落部分が生じたときにはステップＳＴ３７に進む。ステップＳＴ３７では、欠落部分に対応する画像をステップＳＴ４で生成した広画角画像から取り出すことで、欠落部分の画像を補充してステップＳＴ３８に進む。
【００８０】
ステップＳＴ３８では、変数ｊに「１」を加算して、得られた加算値を新たに変数ｊとしてステップＳＴ３２に戻る。このステップＳＴ３２〜ステップＳＴ３８の処理を繰り返すことで、連続シーンの各入力画像から広画角の表示画像を生成できる。
【００８１】
その後、連続シーンの最後の入力画像が重畳されると変数ｉが「ＫＦ＋１」となりステップＳＴ３２で変数ｉが「ＫＦ」よりも大きいと判別されると、表示画像の生成処理を終了する。
【００８２】
図１７のステップＳＴ８では、生成された表示画像を画像表示装置に対応させて分割する。例えば図１に示すように３つプロジェクタ１２L，１２C，１２Rを用いて、表示画像をスクリーン１０L，１０C，１０Rに表示させる場合、表示画像をスクリーン１０L，１０C，１０R毎に分割して、この分割画像の画像信号を画像信号ＳＤL，ＳＤC，ＳＤRとして、プロジェクタ１２L，１２C，１２Rに供給する。
【００８３】
このように、上述の実施の形態によれば、従来固定位置で表示とされていた入力画像を、入力画像内の画像動きに応じて表示位置が移動される画像として表示することができると共に、例えば背景部分が広画角画像として表示されるので、臨場感の高い、あるいは理解しやすい視聴が可能となる。また、撮影時のカメラ動き、あるいはカメラの向きに忠実な表現が可能であり、実世界と同じ位置、同じ方向に画像が提示されるため、視聴者は現実と同じ空間、あるいは動きを視聴時に取得することができる。さらに、画面自体の動きによって、従来よりも大きな躍動感を広画角の表示画像から得ることが可能であり、視聴者自らの顔向きの動きなどにより、完全受動的であった動き表現の視聴を、視線を動かすというアクテイブな操作で感じることが可能となる。
【００８４】
なお、上述の画像処理装置２０は、連続シーンを判別してから、この連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるものであり、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤRをリアルタイムで生成することが困難である。このため、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録して、その後記録媒体に記録されている画像信号ＳＤL，ＳＤC，ＳＤRを同期して再生することにより、複数のスクリーンを用いて、広画角であると共に被写体の動きに対応させて被写体の表示位置を移動させることができる。また、画像信号ＳＤinと表示位置決定部２３１で決定された表示位置を示す表示位置情報ＨＰ及び連続シーン毎の広画角画像等を関係付けて記録媒体に記録させるものとして、画像表示を行う際に、画像信号ＳＤinとこの画像信号ＳＤinに関係付けて記憶されている表示位置情報ＨＰや広画角画像を記録媒体から読み出して画像信号ＳＤL，ＳＤC，ＳＤRも生成するものとしても良い。この場合には、画像信号ＳＤL，ＳＤC，ＳＤRを記録しておく必要がないので、記録する信号量を少なくできる。また、映像コンテンツの送出側で上述の処理を行ってから送信を行うものとすれば、画像信号ＳＤinや表示位置情報ＨＰ及び広画角画像等を関係付けて記録しておくことなく、臨場感の高い広画角の画像表示を行うことができる。
【００８５】
さらに、画像表示領域を設定してから表示位置の決定や画像信号ＳＤL，ＳＤC，ＳＤRの生成を行うことができるので、スクリーンサイズやスクリーン数等が変更されても容易に対応させて臨場感の高い画像表示を行うことができる。
【００８６】
なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能である。
【００８７】
さらに、新たに映像ソースや別のフォーマットを作らなくても、従来のテレビ用やビデオ映像などのコンテンツの画像信号を用いて本発明の処理を施すことで、従来の映像鑑賞以上の臨場感を得ることができる。
【００８８】
【発明の効果】
この発明によれば、入力画像のシーンチェンジと入力画像の画像動きを検出して、検出されたシーンチェンジに基づいて判別された連続シーンの期間中における画像動きに基づき、連続シーンの期間中の入力画像を重畳させて、入力画像よりも広画角であって入力画像の位置が画像動きに応じて変化される表示画像が生成される。このため、臨場感の高い広画角の画像表示を行うことができる。また、入力画像が、画像表示領域を超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正するので、入力画像が画像表示領域内に収まるように画像を表示できると共に、自然な表示画像を得ることができる。
【００８９】
また、連続シーンの期間中に検出された画像動きに基づき、入力画像の表示位置を決定するものとし、表示位置が決定された連続シーンの期間中の入力画像を重畳させて、入力画像よりも広画角の広画角画像を生成し、表示位置に移動された入力画像を広画角画像に重畳することで表示画像が生成される。このため、表示画像では、画像動きの検出された例えば入力画像の背景部分と広画角画像が一致した画像となり、広画角画像に入力画像を重畳させても自然な表示画像を得ることができる。
【００９０】
また、表示位置が決定された連続シーンの期間中の入力画像を逆時間順に順次重畳することで広画角画像が生成される。このため、広画角画像を容易に生成できる。さらに、生成した広画角画像のサイズが表示画像を表示する画像表示領域のサイズよりも大きい場合、連続シーンの期間中に広画角画像の表示位置が、連続シーンの期間中に検出された画像動きに基づいて移動されると共に、広画角画像の移動に伴い、連続シーンの期間中の入力画像に対する表示位置が補正される。このため、入力画像が画像表示領域内に収まるように表示画像を生成できると共に、自然な表示画像を得ることができる。また、表示画像を表示する画像表示領域が複数の表示領域で構成されているとき、複数の表示領域に対応させて表示画像が分割されるので、画像表示領域の構成に応じた臨場感の高い画像表示を行うことができる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】画像処理装置の構成を示す図である。
【図３】シーンチェンジ検出部の構成を示す図である。
【図４】フレーム位置と正規化値の関係を示す図である。
【図５】画素の間引きを示す図である。
【図６】シーンチェンジ検出部の他の構成を示す図である。
【図７】フレーム位置と相関係数の関係を示す図である。
【図８】動き検出部の構成を示す図である。
【図９】広画角画像生成部の構成を示す図である。
【図１０】連続シーンの判別を説明するための図である。
【図１１】位置決定部の動作を説明するための図である。
【図１２】広画角画像の生成動作を説明するための図である。
【図１３】表示位置補正方法を説明するための図である。
【図１４】他の表示位置補正方法を説明するための図である。
【図１５】表示画像の生成動作を説明するための図である。
【図１６】コンピュータを用いたときの構成を示す図である。
【図１７】画像処理動作を示すフローチャートである。
【図１８】シーン判別の動作を示すフローチャートである。
【図１９】広画角画像の生成動作を示すフローチャートである。
【図２０】表示画像の生成動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・表示画像生成部、２４・・・画像分割部、２１１，２２１・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像シフト回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・表示位置決定部、２３２・・・広画角画像生成部、２３３・・・入力画像移動部、２３４・・・画像重畳部、３０１・・・重畳処理回路、３０２・・・表示範囲判定回路、３０３・・・広画角画像位置補正回路、５０１・・・ＣＰＵ、５０２・・・ＲＯＭ、５０３・・・ＲＡＭ、５１４・・・画像信号入力部、５１５・・・画像信号出力部

Claims (21)

1. 入力画像のシーンチェンジを検出するシーンチェンジ検出手段と、
   前記入力画像の画像動きを表す動きベクトルを検出する動き検出手段と、
   前記シーンチェンジ検出手段によって検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に前記動き検出手段で検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成する表示画像生成手段とを有し、
   前記表示画像生成手段は、
   前記入力画像が、前記表示画像を表示する画像表示領域を超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正することを特徴とする画像処理装置。
2. 前記シーンチェンジ検出手段は、
   前記入力画像の隣接フレーム間の相関値を算出する相関値算出手段と、
   前記相関値に基づいて、シーンチェンジの有無を判定する判定手段とを有することを特徴とする請求項１記載の画像処理装置。
3. 前記相関値は、相関係数である
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記相関値算出手段は、
   隣接フレーム間の差分値の平均値を差分平均値として算出する差分平均算出手段と、
   １フレームの画素値の平均値を画素平均値として算出する画素平均値算出手段と、
   前記画素平均値を用いて、前記差分平均値を正規化し、正規化された前記差分平均値を前記相関値として出力する正規化手段とを有する
   ことを特徴とする請求項２記載の画像処理装置。
5. 前記表示画像生成手段は、
   前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルに基づき、前記入力画像の表示位置を決定する表示位置決定手段と、
   前記表示位置決定手段で表示位置が決定された前記連続シーンの期間中の入力画像を重畳させて、前記入力画像よりも広画角の広画角画像を生成する広画角画像生成手段と、
   前記入力画像を前記表示位置決定手段で決定された表示位置に移動する入力画像移動手段と、
   前記入力画像移動手段で表示位置が移動された入力画像を前記広画角画像に重畳することで前記表示画像を生成する画像重畳手段とを有する
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記広画角画像生成手段は、前記表示位置決定手段で表示位置が決定された前記連続シーンの期間中の入力画像を逆時間順に順次重畳することで前記広画角画像を生成する
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記広画角画像生成手段は、
   累積された前記動きベクトルの時間推移情報である動き累積値の振れ幅を算出し、当該振れ幅と前記画像表示領域の移動可能範囲とを比較して、当該振れ幅が移動可能範囲以下であるか否かを判別し、
   判別結果に基づいて前記入力画像の表示位置を補正する補正信号を生成して前記入力画像移動手段に供給し、
   前記入力画像移動手段は、
   前記広画角画像生成手段からの前記補正信号に基づいて前記入力画像の表示位置を補正して移動する
   ことを特徴とする請求項５記載の画像処理装置。
8. 前記広画角画像生成手段は、前記広画角画像と前記表示画像を表示する画像表示領域との大きさに基づいて、前記表示位置を前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルに基づいて移動させるものとし、
   前記入力画像移動手段は、前記広画角画像生成手段における前記広画角画像の移動に伴い、前記表示位置決定手段で決定された表示位置を補正する
   ことを特徴とする請求項５記載の画像処理装置。
9. 前記表示画像を分割する画像分割手段を有し、
   前記画像分割手段は、前記表示画像を表示する画像表示領域が複数の表示領域で構成されているとき、前記複数の表示領域に対応させて前記表示画像を分割する
   ことを特徴とする請求項１記載の画像処理装置。
10. 入力画像の画像動きを表す動きベクトルに応じて当該入力画像の表示位置を変更する画像処理装置において、
    前記入力画像の動きベクトルを検出する動き検出手段と、
    前記動き検出手段で検出された動きベクトルに基づき、前記入力画像の表示位置を決定する表示位置決定手段と、
    前記表示位置決定手段で決定された表示位置に表示する入力画像が、当該入力画像を表示する画像表示領域を超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正する広画角画像生成手段と、
    前記広画角画像生成手段により補正された表示位置に、前記入力画像を移動する入力画像移動手段とを有する
    ことを特徴とする画像処理装置。
11. 入力画像のシーンチェンジと前記入力画像の画像動きを表す動きベクトルを検出し、
    検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成し、
    生成された前記表示画像を表示する画像表示領域を、前記入力画像が超えるか否かを判別し、
    判別結果に基づいて前記入力画像の表示位置を補正する
    ことを特徴とする画像処理方法。
12. 前記入力画像の隣接フレーム間の相関値を算出し、該相関値に基づいて、シーンチェンジの有無を判定する
    ことを特徴とする請求項１１記載の画像処理方法。
13. 前記相関値は、相関係数である
    ことを特徴とする請求項１２記載の画像処理方法。
14. 隣接フレーム間の差分値の平均値を差分平均値として算出し、
    １フレームの画素値の平均値を画素平均値として算出し、
    前記画素平均値を用いて、前記差分平均値を正規化し、正規化された前記差分平均値を前記相関値として用いる
    ことを特徴とする請求項１２記載の画像処理方法。
15. 前記連続シーンの期間中に検出された動きベクトルに基づき、前記入力画像の表示位置を決定するものとし、
    前記表示位置が決定された前記連続シーンの期間中の入力画像を重畳させて、前記入力画像よりも広画角の広画角画像を生成し、
    前記入力画像を前記表示位置に移動するものとし、
    前記表示位置が移動された入力画像を前記広画角画像に重畳することで前記表示画像を生成する
    ことを特徴とする請求項１１記載の画像処理方法。
16. 前記表示位置が決定された前記連続シーンの期間中の入力画像を逆時間順に順次重畳することで前記広画角画像を生成する
    ことを特徴とする請求項１５記載の画像処理方法。
17. 累積された前記動きベクトルの時間推移情報である動き累積値の振れ幅を算出し、当該振れ幅と前記画像表示領域の移動可能範囲とを比較して、当該振れ幅が移動可能範囲以下であるか否かを判別し、
    判別結果に基づいて前記入力画像の表示位置を補正する補正信号を生成して供給し、
    供給された前記補正信号に基づいて前記入力画像の表示位置を補正して移動する
    ことを特徴とする請求項１５記載の画像処理方法。
18. 前記広画角画像と前記表示画像を表示する画像表示領域との大きさに基づいて、前記表示位置を前記連続シーンの期間中に検出された動きベクトルに基づいて移動させるものとし、
    前記広画角画像の移動に伴い、前記決定された表示位置を補正する
    ことを特徴とする請求項１５記載の画像処理方法。
19. 前記表示画像を表示する画像表示領域が複数の表示領域で構成されているとき、前記複数の表示領域に対応させて前記表示画像を分割する
    ことを特徴とする請求項１１記載の画像処理方法。
20. 入力画像の画像動きを表す動きベクトルに応じて当該入力画像の表示位置を変更する画像処理方法において、
    前記入力画像の動きベクトルを検出し、
    前記検出された動きベクトルに基づき、前記入力画像の表示位置を決定し、
    決定された表示位置に表示する入力画像が、当該入力画像を表示する画像表示領域を超えるか否かを判別し、
    判別結果に基づいて前記入力画像の表示位置を補正し、
    補正された表示位置に前記入力画像を移動する
    ことを特徴とする画像処理方法。
21. コンピュータに、
    入力画像のシーンチェンジを検出する手順と、
    前記入力画像の画像動きを表す動きベクトルを検出する手順と、
    検出されたシーンチェンジに基づいて連続シーンの期間を判別して、該連続シーンの期間中に検出された動きベクトルに基づき前記連続シーンの期間中の前記入力画像を重畳させて、前記入力画像よりも広画角であって前記入力画像の位置が前記動きベクトルに応じて変化する表示画像を生成する手順と、
    生成された前記表示画像を表示する画像表示領域を、前記入力画像が超えるか否かを判別し、判別結果に基づいて当該入力画像の表示位置を補正する手順とを実行させることを特徴とする画像処理プログラム。

Images