JP5076613B2 - 画像処理装置と画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置と画像処理方法および画像処理プログラムに関する。

従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、１つの固定された画枠が用いられており、この画枠に合わせた画像サイズで画像提示が行われている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。

近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。このような多画面表示システム等では、画枠を広げて広画角の画像表示を行うことにより、臨場感を高めるものである。

このような従来例に関連して、本発明と同一の出願人により特許文献１が以前に出願されている。特許文献１には、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置が開示されている。この画像処理装置によれば、画像信号における第２のシーンと第４のシーンとが関連シーンである場合、第２のシーンの画像が表示されているスクリーンに第４のシーンを表示する。これにより、シーンの関連性を容易に把握することができる。

特開２００４−１５５４９号公報（第５頁、第２図）

しかしながら、従来例に係る画像表示システムのように固定された画枠に順次画像を表示する場合、表示画像でのシーンの切り替えを正しく把握しないと、放送番組や映画等の内容を簡単に理解することが困難な場合が生じてしまう。また、シーン切り替えが繰り返し行われると、各シーンの関連性を把握することも困難となる。さらに、前のシーンの画像を見ていないと、次のシーンの内容を理解することが出来ない場合も考えられる。

また、特許文献１に係る画像処理装置によれば、現在のシーンは、過去の単一のシーンとのみ関連性の有無が判断されているため、シーン間の繋がりが途切れるおそれがある。

そこで、本発明はこのような従来例に係る課題を解決したものであって、画面に表示された画像のシーン同士の関連性を容易に把握できるようにすると共に、画像の内容を理解し易くした画像処理装置と画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係る画像処理装置は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する表示位置制御部と、前記表示位置制御部で設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる表示位置設定部と、前記表示位置設定部により表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶する複数の遅延記憶部とを備え、前記表示位置制御部は、前記複数の遅延記憶部に記憶された各遅延画像と、前記入力画像との差分値を各々計算し、計算された前記差分値の各々と第１閾値とを比較し、前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定し、前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定し、前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定し、前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定することを特徴とするものである。本発明に係る画像処理装置によれば、画面に表示された画像のシーン同士の関連性を容易に把握することができる。

上述した課題を解決するために、本発明に係る画像処理方法は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するステップと、前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定するステップと、前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させるステップと、表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶させるステップと、記憶された各遅延画像と、前記入力画像との差分値を各々計算するステップと、計算された前記差分値の各々と第１閾値とを比較するステップと、前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定するステップと、前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定するステップと、前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定するステップと、前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定するステップとを有することを特徴とするものである。本発明に係る画像処理方法によれば、画面に表示された画像のシーン同士の関連性を容易に把握することができる。

上述した課題を解決するために、本発明に係る画像処理プログラムは、コンピュータに入力画像の画像信号を処理させるプログラムであって、前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するステップと、前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定するステップと、前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させるステップと、表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶させるステップと、記憶された各遅延画像と、前記入力画像との差分値を各々計算するステップと、計算された前記差分値の各々と第１閾値とを比較するステップと、前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定するステップと、前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定するステップと、前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定するステップと、前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定するステップとを実効させることを特徴とするものである。本発明に係る画像処理プログラムによれば、画面に表示された画像のシーン同士の関連性を容易に把握することができる。

本発明に係る画像処理装置、画像処理方法および画像処理プログラムによれば、シーン切り替えに基づき画像の表示位置を設定する表示位置制御部を備え、この表示位置制御部は、シーン切り替え後の画像がシーン切り替え前の画像と関連がある場合に、当該シーン切り替え前の画像と関係を持たせた位置に、シーン切り替え後の画像を設定するものである。

この構成によって、画面に表示された画像のシーン同士の関連性を容易に把握することができると共に、画像の内容が明確になり理解し易くなる。

続いて、本発明に係る画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムの実施の形態について、図面を参照しながら説明をする。

＜実施の形態１＞
図１は、本発明に係る第１の実施の形態としての画像処理装置２０を用いた画像表示システム１００の構成例を示す概略図である。この画像表示システム１００は、例えば３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒをユーザの前面と両側面に配置して、１つの画像表示領域を構成する。また、各スクリーン１０Ｌ，１０Ｃ，１０Ｒに対応させてプロジェクタ１２Ｌ，１２Ｃ，１２Ｒを設けている。プロジェクタ１２Ｌ，１２Ｃ，１２Ｒは、画像処理装置２０と接続されている。プロジェクタ１２Ｌは、画像処理装置２０からの出力信号ＳＤＬに基づいてスクリーン１０Ｌに画像を投影する。同様に、プロジェクタ１２Ｃ，１２Ｒは、画像処理装置２０からの出力信号ＳＤＣ，ＳＤＲに基づいてスクリーン１０Ｃ，１０Ｒに画像を投影する。

画像処理装置２０は、例えばテレビジョン放送番組や映画等の動画像における画像信号ＳＤｉｎに基づいて画像の動きベクトルを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号ＳＤＬをプロジェクタ１２Ｌ、画像信号ＳＤＣをプロジェクタ１２Ｃ、画像信号ＳＤＲをプロジェクタ１２Ｒに供給する。また、画像処理装置２０は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うことによりシーン切り替えを判別して、判別結果に基づきシーン毎に画像表示位置を切り替える。

例えば、画像表示位置を切り替える場合、過去の単一のシーンと内容が関連している現在のシーン（以下「単一関連シーン」という）は、この過去のシーンとの間に存在する他のシーンの数が少ないとき、単一関連シーンであることを容易に把握できるように過去の単一のシーンと等しい位置に表示される。

また、画像表示位置を切り替える場合、過去の複数のシーンと内容が関連している現在のシーン（以下「複数関連シーン」という）は、これらの過去のシーンとの間に存在する他のシーンの数が少ないとき、複数関連シーンであることを容易に把握できるように過去の複数シーンと関連を持たせた位置に表示される。

図２Ａ及びＢは、リアルタイム処理における単一関連シーン及び複数関連シーンに係る画像の表示例を示す説明図である。この例で、入力画像のシーンが図２Ａに示す順番とされており、例えばシーンＣＮ４はシーンＣＮ２と単一関連シーンであり、シーンＣＮ５は例えばシーンＣＮ３とシーンＣＮ４と複数関連シーンである。

この場合、図２Ｂに示すように、例えばシーンＣＮ１の画像をスクリーン１０Ｌに表示する。次のシーンＣＮ２の画像はスクリーン１０Ｃに表示し、シーンＣＮ３の画像はスクリーン１０Ｒに表示する。シーンＣＮ４は図２Ａに示したようにシーンＣＮ２と単一関連シーンであることから、シーンＣＮ２の画像が表示されているスクリーン１０ＣにシーンＣＮ４の画像を表示する。シーンＣＮ５は図２Ａに示したようにシーンＣＮ３とシーンＣＮ４と複数関連シーンであることから、シーンＣＮ３とシーンＣＮ４の画像が表示されているスクリーン１０Ｒとスクリーン１０Ｃの中間にシーンＣＮ５の画像を表示する。また、各シーンの最後の画像を、次のシーンが表示されるまで静止画として表示する。

ここで、上述のように、シーン毎に表示位置を切り替える場合、画像処理装置２０は、リアルタイム処理あるいはオフライン処理によって異なる表示位置の切り換えを行う。リアルタイム処理の場合、画像処理装置２０ａ（図３参照）は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うと共に、過去のシーンから関連シーンを判別する。この例で、判別対象となる過去のシーンは、スクリーン上に表示されている静止画に係るシーンであり、例えば、シーンＣＮ５の関連シーンを判別する場合、判別対象となる過去のシーンは、シーンＣＮ１，ＣＮ３，ＣＮ４である。もちろんこれに限定する必要はなく、例えば、スクリーン上に表示された過去のシーンを幾つか遡って判別対象となる過去のシーンとしてもよい。例えば、シーンＣＮ５の関連シーンを判別する場合、判別対象となる過去のシーンは、シーンＣＮ１，ＣＮ３，ＣＮ４の他にシーンＣＮ２を含めてもよい。

画像処理装置２０ａは、このシーンチェンジ検出結果と関連シーン判別結果に基づいて、入力画像の表示位置を決定してリアルタイムで切り替える。さらに、画像処理装置２０ａは、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して各プロジェクタに出力する。

オフライン処理の場合、画像処理装置２０ｂ（図７参照）は、蓄積されている画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行うと共に、過去及び未来のシーンから関連シーンを判別する。画像処理装置２０ｂは、このシーンチェンジ検出結果と関連シーン判別結果に基づいて、入力画像の表示位置を決定する。さらに、画像処理装置２０ｂは、決定した表示位置を示す表示位置情報ＪＰ（図７参照）を画像信号ＳＤｉｎと関係付けて保持する。その後、画像処理装置２０ｂは、画像表示を行う場合に、入力画像の画像信号ＳＤｉｎと表示位置情報ＪＰを読み出して、この画像信号ＳＤｉｎと表示位置情報ＪＰに基づき、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して各プロジェクタに出力する。

図３は、リアルタイム処理を行う場合の画像処理装置２０ａの構成例を示すブロック図である。入力画像の画像信号ＳＤｉｎは、シーンチェンジ検出部２１と関連シーン判定部２２１および表示位置設定部２４１に供給される。

シーンチェンジ検出部２１は、画像信号ＳＤｉｎに基づいてシーン切り替えを検出、すなわち連続シーンとこの連続シーンとは異なるシーンとのつなぎ目部分である画像の不連続位置を検出する。図４はシーンチェンジ検出部２１の構成例を示すブロック図である。図４に示すシーンチェンジ検出部２１は、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。

シーンチェンジ検出部２１の遅延回路２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤａとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、画像信号ＳＤｉｎと遅延画像信号ＳＤａに基づき、２フレーム間の差分平均値Ｄａｖを算出して正規化回路２１４に供給する。この差分平均値Ｄａｖの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄａｖとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号ＳＤｉｎに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤａに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄａｖは式（１）に基づいて算出できる。

ここで、差分平均値Ｄａｖは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄａｖが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄａｖは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする
輝度平均算出回路２１３は、画像信号ＳＤｉｎから、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙａｖとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号ＳＤｉｎに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙａｖは式（２）に基づいて算出できる。

正規化回路２１４は、画像の明るさに応じた差分平均値Ｄａｖの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙａｖに応じて差分平均値Ｄａｖを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。

この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。判定回路２１５は、予め設定された閾値を有しており、正規化値Ｅと閾値を比較して、正規化値Ｅが閾値よりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値以下であるときにはシーンチェンジでないと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図３に示す関連シーン判定部２２１に供給する。

このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。

ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き処理を行う。例えば図５は、画素の間引き処理例を示す説明図である。図５に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。

また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。

図６は、相関係数ｒを用いるシーンチェンジ検出部２１ａの構成例を示すブロック図である。図６に示す遅延回路２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤａとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、画像信号ＳＤｉｎと遅延画像信号ＳＤａに基づき、相関係数ｒの算出を行う。

ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦａｖ」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳａｖ」としたとき、相関係数ｒは式（４）を用いて算出できる。この相関係数算出部２１６で算出された相関係数ｒは、判定回路２１７に供給される。

判定回路２１７は、予め設定された閾値を有しており、相関係数ｒと閾値を比較して、相関係数ｒが閾値以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、関連シーン判定部２２１に供給する。

図３の関連シーン判定部２２１は表示位置制御部の一例として機能し、シーンチェンジ検出信号ＳＣに基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する。この例で、関連シーン判定部２２１は、シーン切り替え後の画像がシーン切り替え前の画像と関連がある場合に、当該シーン切り替え前の画像と関係を持たせた位置に、シーン切り替え後の画像を設定する。

関連シーン判定部２２１は、関連するシーンを判定するために、複数の遅延記憶部の一例として機能する１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒから供給された前フレーム出力信号ＳＤＬ−ｄ，ＳＤＣ−ｄ，ＳＤＲ−ｄと画像信号ＳＤｉｎとの差分を計算する。この際、後述するように、表示している画像が複数のスクリーンにまたがる場合は、前フレーム出力信号から該当する画像信号を抽出して、画像信号ＳＤｉｎとの差分を計算する。関連シーン判定部２２１は、これらの差分値と所定値（閾値）とを比較し、当該差分値が所定値よりも小さいものが存在すると、差分値が所定値より小さい前フレーム画像信号（遅延画像）に画像信号ＳＤｉｎが関連があると判定し、この前フレーム画像信号の画像表示位置と関係を持たせた位置に、画像信号ＳＤｉｎの画像表示位置を設定する。

関連シーン判定部２２１は、所定値よりも小さい差分値の個数が一個の場合、入力画像の画像信号ＳＤｉｎを、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定し、当該入力画像の画像信号ＳＤｉｎの画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定する。また、関連シーン判定部２２１は、所定値よりも小さい差分値の個数が複数個存在する場合、入力画像の画像信号ＳＤｉｎを、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定し、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定する。この例で、画像を表示するスクリーンが３個存在するので、上述の複数関連シーンにおける所定値よりも小さい差分値の個数は、２個又は３個になる。差分値の個数が２個の場合、画像の画像表示位置は、該当する２個のスクリーンの中心位置に設定される。また、差分値の個数が３個の場合、画像の画像表示位置は、該当する３個のスクリーンの中心位置、すなわちスクリーン１０Ｃに設定される。

この際、複数関連シーンの中心位置が各スクリーンの中心でない場合、すなわち複数関連シーンが複数のスクリーンに跨って表示される場合は、表示位置設定部２４１で、画像信号ＳＤｉｎは分割されて信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒに供給される。また最も小さい差分値が所定値よりも小さくないときには、所定の順序で表示位置を切り替える。このようにして、関連シーン判定部２２１は、設定した表示位置を示す表示位置情報ＪＰを、表示位置設定部２４１に供給する。

表示位置設定部２４１は、表示位置情報ＪＰに基づき、関連シーン判定部２２１で設定された位置に、シーン切り替え後の画像を表示させると共に、シーン切り替え前の画像を静止画として合わせて表示させる。この例で、表示位置設定部２４１は、信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒの該当箇所に画像信号ＳＤｉｎを供給する。信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒは、画像メモリを用いて構成する。信号出力部２４２Ｌは、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して１フレーム遅延部２２２Ｌに供給すると共に出力信号ＳＤＬとして出力する。この１フレーム遅延部２２２Ｌには、シーン切り替え前の画像が画像表示位置ごとに分けられて遅延画像として記憶される。なお、画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、信号出力部２４２Ｌは、画像信号ＳＤｉｎの供給が停止されたとき、保持している信号を繰り返し読み出すものとする。

信号出力部２４２Ｃ，２４２Ｒも信号出力部２４２Ｌと同様に構成されており、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して１フレーム遅延部２２２Ｃ，２２２Ｒに供給すると共に、出力信号ＳＤＣ，ＳＤＲとして出力する。この１フレーム遅延部２２２Ｃ，２２２Ｒには、シーン切り替え前の画像が画像表示位置ごとに分けられて遅延画像として記憶される。なお、画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、画像信号ＳＤｉｎの供給が停止されたときには、保持している信号を繰り返し読み出す。

ここで、図２Ａに示した画像信号ＳＤｉｎが画像処理装置２０ａに供給されたとき、シーンＣＮ１の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｌに供給されて出力信号ＳＤＬとして出力される。シーンＣＮ２は、シーンＣＮ１と関連していないことから、差分値が所定値よりも小さくならず、シーンＣＮ２の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｃに供給されて出力信号ＳＤＣとして出力される。シーンＣＮ３もシーンＣＮ１，ＣＮ２と関連していないことから、シーンＣＮ３の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｒに供給されて出力信号ＳＤＲとして出力される。シーンＣＮ４とシーンＣＮ２は単一関連シーンであることから、ＣＮ４の画像信号ＳＤｉｎと前フレーム出力信号ＳＤＣ−ｄとの差分値のみが所定値よりも小さくなる。このため、シーンＣＮ４の画像信号ＳＤｉｎは、シーンＣＮ２の画像信号ＳＤｉｎが供給された信号出力部２４２Ｃに供給されて出力信号ＳＤＣとして出力される。

シーンＣＮ５はシーンＣＮ３とシーンＣＮ４と複数関連シーンであることから、シーンＣＮ５の画像信号ＳＤｉｎと前フレーム出力信号ＳＤＣ−ｄとＳＤＲ−ｄの差分値が所定値よりも小さくなる。このため、シーンＣＮ５の画像信号ＳＤｉｎは、信号出力部２４２Ｃと２４２Ｒに例えば二等分割されて供給され、出力信号ＳＤＣ、ＳＤＲとして出力される。これにより、この出力信号ＳＤＣ、ＳＤＲを入力したプロジェクタ１２Ｃ、１２Ｒにより、スクリーン１０Ｃとスクリーン１０Ｒの中間位置に複数関連シーンのシーンＣＮ５の画像が表示される。

このように、本発明に係る第１の実施の形態としての画像処理装置２０ａ及び画像処理方法によれば、シーン切り替えに基づき画像の表示位置を設定する関連シーン判定部２２１を備え、この関連シーン判定部２２１は、シーン切り替え後の画像がシーン切り替え前の画像と関連がある場合に、当該シーン切り替え前の画像と関係を持たせた位置に、シーン切り替え後の画像を設定するものである。従って、画面に表示された画像のシーン同士の関連性を容易に把握することができると共に、画像の内容が明確になり理解し易くなる。

また、撮影時のカメラ切り替えや編集時の画面切り替えなどを表示位置の変化として表現できるので、多彩な画像表示が可能となる。また、過去のシーンが静止画として別画面に表示されるので、過去のシーンを見逃しても確認することができると共に、シーン同士を比較することもできる。また、単一関連シーンが同じ位置に表示され、かつ複数関連シーンは関連する過去のシーンに係る中心位置に表示されるので、各シーンの関連性も明確に把握することができる。

＜実施の形態２＞
次に、オフライン処理の場合について説明する。図７は、本発明に係る第２の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｂの構成例を示すブロック図である。図７に示す画像処理装置２０ｂは、蓄積部３５を有しており、この蓄積部３５に入力画像の画像信号ＳＤｉｎを記憶する。また、蓄積部３５に記憶されている画像信号ＳＤｉｎは、読み出されてシーンチェンジ検出部２１に供給される。

シーンチェンジ検出部２１は、上述したようにシーンチェンジ検出信号ＳＣを生成して、関連シーン判定部２２３に供給する。関連シーン判定部２２３は、シーンチェンジ検出信号ＳＣに基づき、画像信号ＳＤｉｎの各シーンを検出すると共に、後述する相関値算出部２２４によって算出されたシーン相関値ＣＶを用いて、関連シーンの判別を行う。

ここで、関連シーンを関連する位置に表示するものとしても、表示領域の数が限られているため、関連シーンの間に他のシーンが数多く表示されてしまうと、関連シーンを同じ位置に表示しても、視聴者はシーンの関連性を把握できない。このため、所定のシーン範囲で関連シーンがあるとき、関連シーンを関連する位置に表示させる。この関連シーンの判定では、所定のシーン範囲を関連シーンの探索範囲とすると共に、この探索範囲を表示領域の数に応じて設定して、この探索範囲内で関連シーンの判定を順次行う。例えば、上述のように３つの表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）を用いるときには、未来５シーンまでを探索範囲して、シーンＣＮ１に対してシーンＣＮ６までを探索範囲とする。また、シーンＣＮ２に対してシーンＣＮ７までを探索範囲とする。以下同様に探索範囲を設定して、関連シーンの判定を行う。

関連シーン判定部２２３は、探索範囲に含まれる各シーンの画像信号をシーン単位で読み出すためのシーン読み出し情報ＪＣを生成して、蓄積部３５に供給する。蓄積部３５では、シーン読み出し情報ＪＣで示された各シーンの画像信号ＳＤｉｎを読み出して、相関値算出部２２４に供給する。

相関値算出部２２４では、蓄積部３５から供給された画像信号ＳＤｉｎを用いて、探索範囲内の先頭シーンと他のシーンとのシーン相関値ＣＶをそれぞれ算出する。このシーン相関値ＣＶの算出では、先頭シーンの最終フレームの画像信号と、他のシーンの先頭フレームの画像信号を用いて、上述のシーンチェンジ検出と同様に正規化値を算出して、この正規化値をシーン相関値ＣＶとして関連シーン判定部２２３に供給する。なお、シーン相関値ＣＶとして相関係数を用いるものとしても良いことは勿論である。

さらに、シーン相関値ＣＶの算出は、平均化画像を用いるものとしても良い。この平均化画像は、シーン内の各フレームの画像を画素毎に加算してシーン内のフレーム数で除算することにより生成する。このように、平均化画像を用いることによって画像自体が平均化されることから、先頭シーンの最終フレームの画像と、時間の新しいシーンの先頭フレームの画像とが異なる画像となっていても、正規化値が小さくなる。また、先頭シーンの最終側の複数フレームと、他のシーンの先頭側複数フレームを用いて平均化画像を生成するものとしてもよい。この場合には、１つのシーンの時間が長い場合であっても平均化画像の生成を速やかに行うことができる。さらに、２つのシーンが連続しているようなとき、正規化値を小さくできる。

関連シーン判定部２２３では、相関値算出部２２４から供給されたシーン相関値ＣＶと閾値Ｌｓ１を比較して、比較結果に基づいてシーンの関連を判定し、判定結果に基づいて入力画像の画像信号ＳＤｉｎのシーンの画像表示位置を設定する。この例でシーン相関値ＣＶとして正規化値を用いた場合、シーン相関値ＣＶが閾値Ｌｓ１よりも小さいときに、関連シーンであると判別する。また、シーン相関値ＣＶとして相関係数を用いた場合、シーン相関値ＣＶが閾値Ｌｓ２よりも大きいときに、関連シーンであると判別する。

このようにして、探索範囲毎に関連シーンの判別を行い、画像信号ＳＤｉｎにおけるシーンの画像表示位置を示す関連位置情報ＪＲを生成して表示位置設定部２２５に供給する。表示位置設定部２２５は、各シーンの表示位置を関連位置情報ＪＲに基づいて設定して、この表示位置を示す表示位置情報ＪＰを生成する。この表示位置の設定では、各表示領域に各シーンを時間順に振り分ける。次に単一関連シーンを同じ表示領域に振り分け、複数関連シーンを、複数の表示領域の中心位置に振り分ける。

また、関連シーンが無いときには、最も古いシーン、あるいは何も表示されていない表示領域に各シーンを振り分ける。この際、最も古いシーンの表示領域が各スクリーンの中心でない場合は、該当するスクリーンで任意のスクリーンを中心とした表示領域に振り分けるとともに、振り分けの行われなかったスクリーンの映像を消去するものとする。ここで、表示位置設定部２２５は、最も古いシーンの表示領域に、関連シーンの振り分けが予定されているときには、次に古いシーンの表示領域に振り分ける。また、この表示領域にも関連シーンの振り分けが予定されているときには、次に古いシーンの表示領域に振り分ける。表示位置設定部２２５は、以下同様にして、各シーンを各表示領域に振り分けて、関連するシーンの設定が予定されていない表示領域（画像表示位置）に、入力画像の画像信号ＳＤｉｎの画像表示位置を設定する。表示位置設定部２２５は、シーン毎に設定した表示位置を示す表示位置情報ＪＰを生成して画像信号ＳＤｉｎと関係付けて蓄積部３５に記憶させる。

図８Ａ及びＢは、オフライン処理における単一関連シーン及び複数関連シーンに係る画像の表示例を示す説明図である。この例で、関連位置情報ＪＲ（図７参照）によって、図８Ａに示すように、シーンＣＮ４はシーンＣＮ２と単一関連シーンであり、シーンＣＮ１０はシーンＣＮ６と単一関連シーンであり、シーンＣＮ５は、シーンＣＮ３とシーンＣＮ４と複数関連シーンであると判別されているものとする。図８Ｂに示す３つの表示領域には、シーンＣＮ１からシーンＣＮ１０までを表示する場合の表示位置の決定処理を示している。

この表示位置の決定処理では、最初に各表示領域に対して時間順にシーンを振り分ける。例えば図８Ｂに示すように、シーンＣＮ１〜シーンＣＮ３は関連シーンでないことから、シーンＣＮ１，ＣＮ２，ＣＮ３の表示位置をスクリーン１０Ｌ，１０Ｃ，１０Ｒに順次振り分ける。次にシーンＣＮ４の表示位置を決定する場合、シーンＣＮ２とシーンＣＮ４が単一関連シーンであることから、シーンＣＮ４の表示位置は、シーンＣＮ２が表示されたスクリーン１０Ｃに設定する。

次にシーンＣＮ５の表示位置を決定する場合、シーンＣＮ３、ＣＮ４とシーンＣＮ５が複数関連シーンであることから、シーンＣＮ５の表示位置は、シーンＣＮ３、ＣＮ４の各表示位置の中心、すなわちスクリーン１０Ｃとスクリーン１０Ｒの中心になる。

次にシーンＣＮ６の表示位置を決定する場合、シーンＣＮ６と関連するシーンがないと共に、最も時間的に古いシーンＣＮ１が表示されているスクリーン１０Ｌには、関連シーンの表示予定がない。このため、シーンＣＮ６の表示位置は、シーンＣＮ１が表示されたスクリーン１０Ｌに設定する。

次にシーンＣＮ７の表示位置を決定する場合、シーンＣＮ７と関連するシーンがないと共に、最も時間的に古いシーンＣＮ５が表示されているスクリーン１０Ｃとスクリーン１０Ｒには、関連シーンの表示予定がない。このため、シーンＣＮ７の表示位置は、スクリーン１０Ｃ、１０Ｒのどちらか任意のスクリーンを選択するとともに、選択されないスクリーンに表示していたシーンＣＮ５を消去する。図８Ｂでは、例えばスクリーン１０Ｃが選択されるとともに、スクリーン１０Ｒに表示していたシーンＣＮ５を消去する。

次にシーンＣＮ８の表示位置を決定する場合、シーンＣＮ８と関連するシーンがないと共に、シーンＣＮ７の表示に伴ってスクリーン１０Ｒには何も表示がない。このため、シーンＣＮ８の表示位置は、何も表示されていないスクリーン１０Ｒに設定する。

次にシーンＣＮ９の表示位置を決定する場合、シーンＣＮ９と関連するシーンがないと共に、最も時間的に古いシーンＣＮ６が表示されているスクリーン１０Ｌには、関連シーンであるシーンＣＮ１０が表示される予定である。また、２番目に古いシーンＣＮ７が表示されているスクリーン１０Ｃには、関連シーンを表示する予定がない。このため、シーンＣＮ９の表示位置は、シーンＣＮ７が表示されたスクリーン１０Ｃに設定する。シーンＣＮ１０の表示位置は、関連シーンであるシーンＣＮ６が表示されたスクリーン１０Ｌに設定する。このように、オフライン処理で関連シーンが過去あるいは未来に存在しているか否かに基づいて表示位置の設定を行うことで、リアルタイム処理の過去のみの関連シーンを基準にして表示位置の設定を行う場合に比べて、関連シーンを同じ位置に効率よく表示させることができる。

次に画像表示を行う場合、蓄積部３５では、記憶されている画像信号ＳＤｉｎと画像信号ＳＤｉｎに関係付けて記憶されている表示位置情報ＪＰに基づき、信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒの該当箇所に画像信号ＳＤｉｎを供給する。信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒは、画像メモリを用いて構成する。信号出力部２４２Ｌは、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＬとしてプロジェクタ１２Ｌに出力する。画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、信号出力部２４２Ｌは、画像信号ＳＤｉｎの供給が停止されたとき、保持している信号を繰り返し読み出すものとする。

信号出力部２４２Ｃ，２４２Ｒも信号出力部２４２Ｌと同様に、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＣ，ＳＤＲとしてプロジェクタ１２Ｃ、１２Ｒに出力する。画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、画像信号ＳＤｉｎの供給が停止されたときには、保持している信号を繰り返し読み出す。

このように、本発明に係る第２の実施の形態としての画像処理装置２０ｂによれば、リアルタイム処理の場合と同様な画像表示や作用効果を得ることができる。さらに、現シーンよりも後に表示されるシーンを考慮して現シーンの表示位置が決定されるので、リアルタイム処理に比べて、関連シーンを等しい位置により正しく表示させることが可能となり、画像表示の連続性を高めることができる。

＜実施の形態３＞
ところで、上述の第１及び第２の実施の形態は、入力画像を表示する表示領域をシーン単位で切り替えることで、シーンの切り替えを明らかにすると共に、過去のシーンも現在のシーンと同時に表示する。ここで、動きのある画像表示は現在のシーンを表示している表示領域のみであり、他の表示領域では、過去のシーンの最後の画像が静止画として表示されている。

続いて、動きのある画像を表示する際に、画像の動きに合わせて表示位置を可変させる例を説明する。図９は、本発明に係る第３の実施の形態としてのリアルタイム処理を行う場合の画像処理装置２０ｃの構成例を示すブロック図である。入力画像の画像信号ＳＤｉｎは、図９に示す画像処理装置２０ｃのシーンチェンジ検出部２１と動き検出部２５と関連シーン判定部２３と表示位置設定部２４１ｃの表示制御部２４ｃに供給される。シーンチェンジ検出部２１はシーンチェンジ検出信号ＳＣを生成して、動き検出部２５と移動表示位置制御部２２ｃに供給する。

動き検出部２５は、入力画像の画像信号ＳＤｉｎにおける動きベクトルに基づいて画像の動きを検出して動き検出情報ＭＶＤを出力する。この例で、動き検出部２５は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣに基づき、シーン内の各フレーム画像に関して全画面の動き検出を行い、表示面積の広い部分の画像動き、例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２５の構成例を示すブロック図である。図１０に示す動き検出部２５は、例えばブロックマッチング方法を用いて画像の動きを検出する。

この動き検出部２５の遅延回路２５１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤｂとして画像シフト回路２５２に供給する。画像シフト回路２５２は、遅延画像信号ＳＤｂに基づく画像の位置を、予め設定された動き探索範囲内（例えば水平方向±８０画素，垂直方向±４０ライン）で水平方向や垂直方向に順次変更して（例えば１画素あるいは１ラインずつ変更して）新たな画像信号ＳＤｃを順次生成する。この生成された画像信号ＳＤｃは、差分演算回路２５３に供給される。また、画像シフト回路２５２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２５４に供給する。差分演算回路２５３は、画像信号ＳＤｃと画像信号ＳＤｉｎとの差分値ＤＭを順次算出して、最小値判定回路２５４に供給する。

最小値判定回路２５４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤｃを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像シフト回路２５２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２５４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして移動表示位置制御部２２ｃに供給する。

関連シーン判定部２３では、図３の場合と同様に、シーンチェンジ検出信号ＳＣが供給されたときに、後述する表示制御部２４ｃの画像メモリ２４４に保持されている１フレーム前の画像との差分を計算し、関連がある１フレーム前の画像の位置を示す関連位置情報ＪＲを移動表示位置制御部２２ｃへ供給する。

移動表示位置制御部２２ｃでは、１フレーム前の関連位置情報ＪＲ、シーンチェンジ検出信号ＳＣ及び動き検出情報ＭＶＤに基づき画像信号ＳＤｉｎの各フレームの画像表示位置を移動させ、移動後のフレームの表示位置情報ＪＱを出力する。図１１は、移動表示位置制御部２２ｃと表示制御部２４ｃの構成例を示すブロック図である。

図１１に示す移動表示位置制御部２２ｃの初期位置設定部２２６では、画像表示領域のサイズと位置設定部２２７から供給された前シーンの表示位置情報ＪＱ−ｐに基づいて、画像が表示されていない領域を判別する。そして関連シーン判定部２３からの関連がある１フレーム前の関連位置情報ＪＲから、初期表示位置ＰＳを決定する。すなわち関連画像が存在する場合は、関連画像に対応した位置に決定し、また関連画像が存在しない場合は、上記判別された領域の中央位置を現在のシーンの初期表示位置ＰＳとして位置設定部２２７に供給する。

位置設定部２２７は、動き検出情報ＭＶＤに基づき、各フレーム画像の画像表示位置を初期表示位置ＰＳから順次移動させる。例えば、動き検出部２５で背景部分の動きを検出しているときには、動き検出部２５で検出された動きとは逆方向に表示位置を移動させる。このように表示位置を移動することにより、背景部分を静止させて被写体の動きに合わせて現在のシーンの表示位置を移動させることができる。このようにして設定された表示位置を示す表示位置情報ＪＱを生成して表示制御部２４ｃの書込読出制御部２４３に供給する。また、現在のシーンの最後の表示位置を示す情報を表示位置情報ＪＱ−ｐとして初期位置設定部２２６に供給する。なお、位置設定部２２７は、表示位置を順次移動させたとき、画像が画像表示領域を越えてしまう場合には表示位置の移動を禁止する。

表示制御部２４ｃは、表示位置情報ＪＱに基づいて各フレーム画像の表示位置を切り替える。ここで表示位置の切り替えを行う場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０Ｌ，１０Ｃ，１０Ｒ）で構成されているときには、画像信号ＳＤｉｎと表示位置情報ＪＱに基づき、各領域に対して画像表示を行うための出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリを設けるものとし、画像メモリに対する画像信号ＳＤｉｎの書込位置を、表示位置情報ＪＱに基づいた位置とする。このように画像信号ＳＤｉｎを書き込むものとすれば、３つの領域に対応した画像メモリの記憶領域から読み出した画像信号をそれぞれ用いることで出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを容易に生成できる。

表示制御部２４ｃの書込読出制御部２４３は、画像メモリ２４４に画像信号ＳＤｉｎを書き込むための書込制御信号ＷＣと、画像メモリ２４４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２４４に供給する。ここで、書込読出制御部２４３は、移動表示位置制御部２２ｃで設定された表示位置と対応する記憶領域に画像信号ＳＤｉｎを記憶させるため、表示位置情報ＪＱに基づいて書込制御信号ＷＣを生成する。さらに、書込読出制御部２４３は、シーンが切り替えられたとき、前シーンの最後のフレーム画像の画像信号を画像メモリ２４４にそのまま保持させて、静止画として表示させる。なお、シーンの切り替えはシーンチェンジ検出信号ＳＣを用いても良く、また表示位置の移動量が所定量を越えたときにシーンの切り替えと判別しても良い。すなわち、シーン間では、異なるシーンの画像を異なる位置に表示することから、表示位置の差分が１フレーム画像分よりも大きくなる。一方シーン内では被写体の動きに応じて表示位置を移動させることから、表示位置の差分は小さくなる。このため、フレーム間の表示位置の差分に基づいて、シーンの切り替えを判別できる。

画像メモリ２４４は、書込制御信号ＷＣに基づいて画像信号ＳＤｉｎを記憶する。なお、画像信号ＳＤｉｎが記憶されていない領域には、例えば黒表示となる信号を記憶させる。さらに、画像メモリ２４４は、書込読出制御部２４３からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤｅとして画像分割部２４５に供給する。

画像分割部２４５は、画像信号ＳＤｅから例えばスクリーン１０Ｌに対応する記憶領域の信号を用いて出力信号ＳＤＬを生成する。同様に、スクリーン１０Ｃ，１０Ｒに対応する記憶領域の信号を用いて出力信号ＳＤＣ，ＳＤＲを生成する。このようにして生成した出力信号ＳＤＬをプロジェクタ１２Ｌ、出力信号ＳＤＣをプロジェクタ１２Ｃ、出力信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤｅが記憶されていない領域に黒表示となる信号を記憶させたときには、画像信号ＳＤｉｎに基づく画像の周囲が黒表示となる。

なお、表示制御部２４ｃは、表示位置情報ＪＱに基づいた表示位置に画像を表示するための画像信号を生成するものであれば良く、画像メモリ２４４に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、現在のシーンの画像信号や前シーンの最終フレームの画像信号を記憶するフレームメモリを設けるものとして、このフレームメモリからの信号の読み出しタイミングを表示位置情報ＪＱに基づいて制御しても、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

次に、画像処理装置２０ｃの動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。図１２Ａ〜Ｃは、画像処理装置２０ｃに供給する画像信号ＳＤｉｎの生成例を示す模式図である。この画像信号ＳＤｉｎは、例えば図１２Ａに示すように、静止している被写体ＯＢａをビデオカメラ１００で撮影する。次に、シーンを切り替えて、図１２Ｂに示すように、ビデオカメラ１００をパンニングさせて移動する被写体ＯＢｂを撮影する。さらに、シーンを切り替えて、図１２Ｃに示すように、静止している被写体ＯＢaを別のアングルから撮影して得た画像信号であるものとする。

図１３Ａ及びＢは、画像信号ＳＤｉｎの処理例を示す説明図である。図１３Ａに示す画像信号ＳＤｉｎのフレームＦ（ｇ−１）までがシーンＣＮ（Ｍ）の画像、フレームＦ（ｇ）〜フレームＦ（ｇ＋ｋ）がシーンＣＮ（Ｍ＋１）の画像、フレームＦ（ｇ＋ｋ＋１）からシーンＣＮ（Ｍ＋２）の画像である。

画像信号ＳＤｉｎがフレームＦ（ｇ−１）からフレームＦ（ｇ）となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出する。また関連シーン判定部２３は、フレームＦ（ｇ）と過去の画像との関連を調べ、関連がないとする。

初期位置設定部２２６では、画像表示領域のサイズと過去のシーンの表示位置情報ＪＱ−ｐと、過去のシーンとの関連位置情報ＪＲから、画像の表示位置を決定するが、この場合、過去のシーンと関連がないことから、画像が表示されていない領域を判別して、図１３Ｂに示すように、この判別された領域の中央位置を、シーンＣＮ（Ｍ＋１）の先頭フレームの表示位置ＰＳ１とする。その後、シーンＣＮ（Ｍ＋１）の各フレーム画像を動き検出情報ＭＶＤに基づいて移動させる。このため、シーンＣＮ（Ｍ＋１）の画像の表示位置は、被写体ＯＢｂの動きに応じて移動される。

その後、画像信号ＳＤｉｎがフレームＦ（ｇ＋ｋ）からフレームＦ（ｇ＋ｋ＋１）となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出する。また関連シーン判定部２３は、フレームＦ（ｇ＋ｋ＋１）と過去の画像との関連を調べ、シーンＣＮ（Ｍ）のフレームＦ（ｇ−１）と関連があると判定する。

初期位置設定部２２６は、画像表示領域のサイズと過去のシーンの表示位置ＪＱ−ｐと、過去のシーンとの関連位置情報ＪＲから、画像の表示位置を決定するが、この場合、シーンＣＮ（Ｍ）と関連があるため、シーンＣＮ（Ｍ）と同じ位置をフレームの表示位置ＰＳ２とする。また、前シーンの最終フレームの画像を静止画として表示する。

このように、本発明に係る第３の実施の形態としての画像処理装置２０ｃによって、動く画像の場合にシーンの切り替えが明らかであると共に、臨場感の高い画像表示を行うことができる。

＜実施の形態４＞
次に、オフライン処理の場合における画像処理装置２０ｄについて説明する。図１４は、本発明に係る第４の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｄの構成例を示すブロック図である。図１４に示す画像処理装置２０ｄは、蓄積部３５を有しており、この蓄積部３５に画像信号ＳＤｉｎを記憶する。また、蓄積部３５から読み出された画像信号ＳＤｉｎは、シーンチェンジ検出部２１と動き検出部２５と関連シーン判定部２３に供給される。

シーンチェンジ検出部２１は、シーンチェンジ検出信号ＳＣを生成して動き検出部２５と移動表示位置制御部２２ｄに供給する。動き検出部２５は、シーン毎に動き検出を行い、動き検出情報ＭＶＤを生成して移動表示位置制御部２２ｄに供給する。関連シーン判定部２３は、蓄積部３５の過去のシーンと画像信号ＳＤｉｎとの関連を判定し、関連のある過去のシーンの関連位置情報ＪＲを移動表示位置制御部２２ｄに供給する。

移動表示位置制御部２２ｄは、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤと関連シーンの関連位置情報ＪＲに基づき、シーン内の画像の動き量や、先頭フレームに対する最終フレームの変位量、あるいは過去のシーンとの関連に基づき、各フレーム画像の表示位置を設定する。

図１５は、移動表示位置制御部２２ｄの構成例を示すブロック図である。図１５に示す動き累積部２２８は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき、シーン毎に動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成する。さらに、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴｍ−１と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴｍ−２を求め、最大値ＭＶＴｍ−１と最大値ＭＶＴｍ−２に基づき動き累積値ＭＶＴの振れ幅ＷＴをシーン毎に算出する。この動き累積部２２８で算出した動き累積値ＭＶＴと振れ幅ＷＴは、初期位置設定部２２９と移動補正部２３０に供給される。

領域判別部２３２には、後述する位置設定部２３１から前シーンの表示位置を示す表示位置情報ＪＱ−ｐが供給されており、この表示位置情報ＪＱ−ｐに基づき、現シーンの画像が表示可能な最大の表示領域を判別する。さらに、この表示領域を現シーンの表示可動範囲として、この表示可動範囲の可動幅ＬＷを求めて、初期位置設定部２２９と移動補正部２３０に供給する。

初期位置設定部２２９は、動き累積値ＭＶＴにおける振れ幅ＷＴ及び可動幅ＬＷから画像の初期表示位置ＰＳを設定する。この例で、初期位置設定部２２９は、関連シーンの関連位置情報ＪＲが関連シーンがないと判定されていた場合、振れ幅ＷＴが可動幅ＬＷ以上（ＷＴ≧ＬＷ）であるときには、振れ幅ＷＴの中央値ＭＶＴｃｔを求めて、この中央値ＭＶＴｃｔが可動幅ＬＷの中央となるように、先頭フレーム画像の表示位置を決定し、初期表示位置ＰＳを生成して位置設定部２３１に通知する。

また、振れ幅ＷＴが可動幅ＬＷよりも小さい（ＷＴ＜ＬＷ）ときには、現シーンの各フレーム画像が可動幅ＬＷ内に収まると共に、現シーンの最終フレーム画像を表示して前シーンの表示が終了したとき、次のシーンに対する可動幅ＬＷが最大となるように現シーンの先頭フレーム画像の初期表示位置ＰＳを設定する。なお、最初のシーンでは、前シーンの画像が表示されていないことから、可動幅ＬＷは、画像表示領域のサイズから表示画像のサイズを減算した値となる。関連シーンの関連位置情報ＪＲが関連シーンがあると判定されていた場合は、関連シーン位置情報ＪＲに基づき初期位置を決定し、そこから可動幅ＬＷを計算する。

移動補正部２３０は、振れ幅ＷＴが可動幅ＬＷを越えてしまうとき、表示画像が可動幅ＬＷ内に収まるよう動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして位置設定部２３１に供給する。また、振れ幅ＷＴが可動幅ＬＷを越えないときには、動き検出情報ＭＶＤの補正を行うことなく位置設定部２３１に供給する。

位置設定部２３１は、初期位置設定部２２９から供給された初期表示位置ＰＳを先頭フレームの画像表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す情報を表示位置情報ＪＱを生成する。さらに生成した表示位置情報ＪＱを画像信号ＳＤｉｎと関係付けて蓄積部３５に記憶させる。

次に画像表示を行う場合、蓄積部３５に記憶されている画像信号ＳＤｉｎと画像信号ＳＤｉｎに関係付けて記憶されている表示位置情報ＪＱを読み出して、表示位置情報ＪＱを書込読出制御部２４３に供給すると共に画像信号ＳＤｉｎを画像メモリ２４４に供給する。

書込読出制御部２４３は、上述したように、画像メモリ２４４に画像信号ＳＤｉｎを書き込むための書込制御信号ＷＣと、画像メモリ２４４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成する。また、書込読出制御部２４３は、表示位置情報ＪＱに基づいて書込制御信号ＷＣを生成して画像信号ＳＤｉｎの書込位置を制御することにより画像の表示位置を移動させる。

さらに、シーン切替が行われたことを判別したときには、前シーンの画像信号が、未来のシーンと関連を持たない場合、前シーンの画像信号を消去して次のシーンのための表示領域を設けるものとする。なお、シーン切替は、蓄積部３５にシーン分割に関する情報を記憶させて、この情報を読み出すことで判別できる。また、上述のように表示位置の移動量に基づいて判別することもできる。

画像メモリ２４４は、書込制御信号ＷＣに基づいて画像信号ＳＤｉｎを記憶する。なお、現シーンの現フレーム画像の画像信号や前シーンの最終フレーム画像の画像信号が記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２４４は、書込読出制御部２４３からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤｅとして画像分割部２４５に供給する。

画像分割部２４５は、画像信号ＳＤｅから出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。このようにして生成した出力信号ＳＤＬをプロジェクタ１２Ｌ、出力信号ＳＤＣをプロジェクタ１２Ｃ、出力信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。

次に、再び図１３を参照して画像処理装置２０ｄの動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。上述の図１２Ｂに示したように、ビデオカメラ１００をパンニングさせて画像信号ＳＤｉｎを生成したとき、動き累積部２２８では、動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成する。

例えば、図１６Ａ及びＢは、動き累積値ＭＶＴの振れ幅ＷＴの例を示す説明図である。この例で、図１３のフレームＦ（ｇ）からフレームＦ（ｇ＋ｋ）までのパンニング量が小さいとき、動き累積値ＭＶＴの振れ幅ＷＴは、図１６Ａに示す振れ幅ＷＴとなり、パンニング量が大きいとき、動き累積値ＭＶＴの振れ幅ＷＴは、図１６Ｂに示す振れ幅ＷＴとなる。この累積値ＭＶＴの振れ幅ＷＴは、動き累積値ＭＶＴの最大値ＭＶＴｍ−１，ＭＶＴｍ−２に基づき動きシーン毎に算出される。

領域判別部２３２は、前シーンの表示位置情報ＪＱ−ｐを用いて画像の可動幅ＬＷを求める。例えば、図１７は、画像の可動幅ＬＷの算出例を示す説明図である。図１７に示すように、前シーンの最終フレームの画像ＧＰが表示されておらず、現シーンの画像ＧＮが表示可能な最大の表示領域ＡＷを、表示位置情報ＪＱ−ｐと画像表示領域のサイズから判別する。さらに、画像ＧＮと表示領域ＡＷのサイズから、表示画像を移動できる範囲である可動幅ＬＷを求める。

図１８〜２０は、初期表示位置ＰＳの設定例（その１〜その３）を示す説明図である。図１８Ａに示す表示領域ＡＷ（ｎ）に基づいて求めた可動幅ＬＷよりも振れ幅ＷＴが小さい（ＷＴ＜ＬＷ）とき、初期位置設定部２２９は、図１８Ｂや図１８Ｃ、図１８Ｄに示すように、現シーンの各フレームの画像ＧＮが、この可動幅ＬＷ内に収まると共に現シーンの最終フレームの画像ＧＮ−ｅを表示して前シーンの画像ＧＰを終了したとき、次シーンに対する表示領域ＡＷ（ｎ＋１）が最大となるように初期表示位置ＰＳを設定する。

例えば、図１８Ｂに示すように、現シーンの先頭フレームの画像ＧＮ−ｓと最終フレームの画像ＧＮ−ｅ間の画像ＧＮ−ｋが、画像ＧＰとは逆方向に最も移動する場合、この画像ＧＮ−ｋが表示領域ＡＷ（ｎ）を越えないように初期表示位置ＰＳを設定する。また、図１８Ｃに示すように、最終フレームの画像ＧＮ−ｅが、画像ＧＰとは逆方向に最も移動する場合、この画像ＧＮ−ｅが表示領域ＡＷ（ｎ）を越えないように初期表示位置ＰＳを設定する。また、図１８Ｄに示すように、画像の表示位置が画像ＧＰの方向に移動する場合、ｐ最終フレームの画像ＧＮ−ｅが、画像ＧＰとは逆方向に最も移動する場合、次シーンに対する表示領域ＡＷ（ｎ＋１）が最大となるように、先頭フレームの画像ＧＮ−ｓを画像ＧＰとは逆方向に最も移動した位置とする初期表示位置ＰＳを設定する。

図１９Ａに示すように振れ幅ＷＴが可動幅ＬＷ以上（ＷＴ≧ＬＷ）であるとき、初期位置設定部２２９は、図１９Ｂに示すように、振れ幅ＷＴの中央値ＭＶＴｃｔが可動幅ＬＷの中央となるように、先頭フレーム画像の表示位置を決定して初期表示位置ＰＳとする。さらに、移動補正部２３０によって、表示画像が可動幅ＬＷ内に収まるよう動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥに基づき図１９Ｃに示すように初期表示位置ＰＳを決定する。

さらに初期位置設定部２２９は、図２Ａに示したように、あるシーンが過去の複数のシーンと関連を有していて、かつ直前のシーンが動く場合に、動かす先を過去の関連しているシーンにすることができる。例えば図２Ａで、シーンＣＮ５がシーンＣＮ３とシーンＣＮ４と関連があり（複数関連シーン）、シーンＣＮ４が動きのあるシーンとする。この場合、図２０Ａに示すようにシーンＣＮ４をシーンＣＮ３に移動して、図２０Ｂに示すように、シーンＣＮ４の終了時の表示位置がシーンＣＮ３の表示位置に重なるように、初期表示位置ＰＳを設定する。

このように、本発明に係る第４の実施の形態としての画像処理装置２０ｄによれば、画像表示を行う際には、前シーンの最終フレーム画像を表示すると共に、現シーンでは、表示位置情報ＪＱに基づき、表示位置を画像の動きに応じて移動しながら表示する。このため、シーンの切り替えが明らかであると共に、画像表示領域を有効に利用して臨場感の高い理解しやすい画像表示を行うことができる。また、表示画像が可動幅ＬＷ内に収まるよう表示位置が制御されるので、表示画像の一部が画像表示領域からはみ出して欠落してしまうことを防止して、正しく画像を表示できる。さらにシーン同士が単一関連シーンである場合、シーンが同位置に表示されるので、シーンの関連が理解しやすい。またシーン同士が複数関連シーンで、かつシーンに動きがある場合、表示画像が過去の関連しているシーンに向かって動き、重なると同時にシーンチェンジとなるため、複数シーンの関連をより理解しやすい。

＜実施の形態５＞
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。図２１は本発明に係る第５の実施の形態としてのコンピュータの構成例を示すブロック図である。図２１に示すコンピュータは、ＣＰＵ(Ｃentral Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ（Ｒead Only Memory）３０２，ＲＡＭ（Ｒandom Access Memory）３０３，ＨＤＤ（Hard Disk Drive）３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。

外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４に記憶されている画像処理プログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された画像信号ＳＤｉｎに基づき出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。

図２２は、画像処理プログラムの全体構成例を示すフローチャートである。図２２に示すステップＳＴ１では、入力した画像信号ＳＤｉｎのシーン判別を行う。図２３はシーン判別の動作例を示すフローチャートである。ステップＳＴ１１では、フレーム間の差分平均値Ｄａｖとフレーム内の輝度平均値Ｙａｖを算出してステップＳＴ１２に進む。ステップＳＴ１２は、輝度平均値Ｙａｖを用いて差分平均値Ｄａｖの正規化を行い正規化値Ｅを算出する。

ステップＳＴ１３は、正規化値Ｅと閾値を比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値以下であるときにはステップＳＴ１４に進み、同じシーンの画像と判別する。また、正規化値Ｅが閾値よりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。このようにして正規化値Ｅに基づきシーンの判別を行う。

なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値を比較してシーンチェンジを検出するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み同じシーンの画像と判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。

図２２のステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されていないときにはステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えであると判別されたときにはステップＳＴ３に進む。

ステップＳＴ３では、シーン切り替え後の画像の表示位置を、シーン切り替え前の画像の表示位置とは異なる位置に設定する。

ステップＳＴ４では、ステップＳＴ３で判別された表示位置に新たなシーンの画像を表示すると共に、シーン切り替え前の画像を静止画として表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。この出力信号の生成では、フレームメモリにシーン切り替え前の画像とシーン切り替え後の画像を記憶させるものとして、画像の表示位置に応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示位置に応じてシーン切り替え前の画像とシーン切り替え後の画像の画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

続いてステップＳＴ５に進む。ステップＳＴ５では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。

図２４から図２９に示すフローチャートは、上述の画像処理プログラムをさらに詳細に示したものであり、上述の画像処理装置２０ａ，２０ｂ，２０ｃ，２０ｄの動作と対応するものである。

図２４は、リアルタイム処理の動作例（画像処理装置２０ａの動作に相当）を示すフローチャートである。図２４に示すステップＳＴ２１では、ステップＳＴ１と同様に入力した画像信号ＳＤｉｎのシーンチェンジ検出を行う。次に、ステップＳＴ２２で、シーンの切り替えが検出されたときにはステップＳＴ２３に進む。

ステップＳＴ２３では、表示中の各表示画像との差分値を計算してステップＳＴ２４に進む。ステップＳＴ２４では、差分値が所定値よりも小さいものを抽出し、所定値より小さいものがひとつしかない場合は、該当する表示画像と同じ位置をシーンチェンジ検出後の表示位置とする。また、所定値より小さいものが複数ある場合には、該当する表示画像の表示位置の中心をシーンチェンジ検出後の表示位置とする。また、差分値が所定値よりも小さいものがないときには、所定の順序で表示位置を設定してステップＳＴ２５に進む。

ステップＳＴ２５では、ステップＳＴ２４で判別された表示位置に新たなシーンの画像を表示すると共に、シーン切り替えが検出される前のシーンを静止画として表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成してステップＳＴ２６に進む。

ステップＳＴ２６では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ２１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。このように処理することで図２Ｂに示す画像表示を行うことができる。

図２５は、オフライン処理の動作例（画像処理装置２０ｂの動作に相当）を示すフローチャートである。図２５に示すステップＳＴ３１では、蓄積されている画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行いステップＳＴ３２に進む。ステップＳＴ３２で、シーンチェンジが検出されたと判別されたときにはステップＳＴ３３に進み、シーンチェンジが検出されていないときにはステップＳＴ３１に戻る。

ステップＳＴ３３では、シーンチェンジ検出が完了したか否かを判別する。このステップＳＴ３３で、画像信号ＳＤｉｎに対するシーンチェンジ検出が完了したときにはステップＳＴ３４に進み、完了していないときにはステップＳＴ３１に戻る。

ステップＳＴ３４では、判別された各シーンから関連シーンを判別する。この関連シーンの判別では、探索範囲を設定して、この探索範囲内での関連シーンを判別する。

ステップＳＴ３５では、関連シーンの判別結果を利用して、単一関連シーンは同じ位置に、複数関連シーンは、関連する過去のシーンの表示位置の中心に表示するように、各シーンの表示位置を決定して、この決定された表示位置を示す表示位置情報ＪＰを生成する。ステップＳＴ３６では、ステップＳＴ３５で生成された表示位置情報ＪＰを画像信号ＳＤｉｎに関係付けて蓄積させる。

図２６は、オフライン処理の表示例を示すフローチャートである。図２６のステップＳＴ４１では蓄積されている表示位置情報ＪＰと画像信号ＳＤｉｎを読み出してステップＳＴ４２に進む。ステップＳＴ４２では、シーンの切り替えが生じたか否かを判別して、シーン切り替えが生じたときにはステップＳＴ４３に進み、シーン切り替え前に表示されていたシーンの最終フレーム画像を静止画として表示してステップＳＴ４４に進む。また、シーン切り替えが判別されていないときにはステップＳＴ４４に進む。

ステップＳＴ４４では、読み出した表示位置情報ＪＰに基づき、表示位置を決定して画像信号ＳＤｉｎから出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。

続いてステップＳＴ４５に進む。ステップＳＴ４５では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ４１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。このように処理することで図８Ｂに示したように画像表示を行うことができる。

図２７は、リアルタイム処理であって、画像の動きに応じた動作例（画像処理装置２０ｃの動作に相当）を示すフローチャートである。この画像処理装置２０ｃは、画像の動きに応じて表示位置を可変させる。図２７に示すステップＳＴ５１では、画像信号ＳＤｉｎのシーンチェンジ検出を行いステップＳＴ５２に進む。ステップＳＴ５２では、シーンチェンジ検出の結果、シーンチェンジが検出されたか否かを判別する。ここで、シーンチェンジが検出されたときにはステップＳＴ５３に進む。ステップＳＴ５３では、シーン切り替え前のシーンの最終フレーム画像を静止画として設定してステップＳＴ５４に進む。

ステップＳＴ５４では、過去の表示されているシーンと関連がある場合には、関連する表示位置を初期表示位置ＰＳに設定し、関連がない場合には、表示されていない領域や、最も古い表示画像がある領域を初期表示位置ＰＳに設定してステップＳＴ５７に進む。

また、上述のステップＳＴ５２でシーンチェンジが判別されていないときにはステップＳＴ５５に進み、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５６に進む。ステップＳＴ５６ではステップＳＴ５５で検出された動きベクトルに基づき表示位置を移動させる。ここで表示位置を移動したとき、表示画像が画像表示領域から外れてしまう場合や表示されている静止画と重なりを生じてしまうときには、表示位置の移動を禁止してステップＳＴ５７に進む。

ステップＳＴ５７では、ステップＳＴ５４で設定された初期表示位置ＰＳに新たなシーンの画像を表示すると共に、シーン切り替えが検出される前のシーンを静止画として表示する。さらに、ステップＳＴ５６によって順次移動された位置に画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。このように処理することで、図１３に示した表示を行うことができる。

続いてステップＳＴ５８に進む。ステップＳＴ５８では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ５１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。

図２８は、オフライン処理であって、画像の動きに応じた動作例（画像処理装置２０ｄの動作に相当）を示すフローチャートである。図２８に示すステップＳＴ６１では、蓄積されている画像信号を読み出してシーンチェンジ検出を行いステップＳＴ６２に進む。ステップＳＴ６２では、シーンチェンジが検出されたか否かを判別する。ここで、シーンチェンジが検出されていないときには、ステップＳＴ６１に戻る。また、シーンチェンジが検出されたときにはステップＳＴ６３に進む。

ステップＳＴ６３では、シーン毎にシーン内の先頭フレーム画像から最終フレーム画像までの動き検出を行い、検出した動き検出情報ＭＶＤに基づき、動きベクトルを累積して動き累積値ＭＶＴを生成する。さらに、動き累積値ＭＶＴからシーン毎に、振れ幅ＷＴを算出してステップＳＴ６４に進む。

ステップＳＴ６４では、過去の表示されているシーンとの関連がある場合には、関連する表示位置に初期表示位置ＰＳを設定し、関連がない場合には前シーンの表示位置に基づいて表示の可動幅ＬＷを算出し、振れ幅ＷＴと可動幅ＬＷからシーン毎に画像の初期表示位置ＰＳを設定してステップＳＴ６５に進む。

ステップＳＴ６５では、初期表示位置ＰＳと動き検出情報ＭＶＤに基づき、各フレーム画像の表示位置を設定して、各フレームの画像の表示位置を示す表示位置情報ＪＱを生成してステップＳＴ６６に進む。ステップＳＴ６６では、生成した表示位置情報ＪＱを画像信号ＳＤｉｎに関係付けて蓄積させる。

図２９は、オフライン処理であって画像の動きに応じた表示例を示すフローチャートである。図２９のステップＳＴ７１では蓄積されている表示位置情報ＪＱと画像信号ＳＤｉｎを読み出す。ステップＳＴ７２では、シーンの切り替えが生じたか否かを判別して、シーンの切り替えが生じたときにはステップＳＴ７３に進む。ステップＳＴ７３では、シーン切り替え前のシーンの最終フレーム画像を静止画として設定する。また、静止画として表示している最終フレーム画像がある場合には、この表示を消去してステップＳＴ７４に進む。また、上述のステップＳＴ７２でシーンの切り替えが生じていないと判別されたときにはステップＳＴ７４に進む。

ステップＳＴ７４では、表示位置情報ＪＱに基づいた位置に現シーンの画像を表示させる出力信号ＳＤＬ，ＳＤＣ，ＳＤＲの生成を行う。

続いてステップＳＴ７５に進む。ステップＳＴ７５では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ７１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。

このように、本発明に係る第５の実施の形態としての画像処理プログラムによれば、シーン切り替え後の画像がシーン切り替え前の画像と関連がある場合に、当該シーン切り替え前の画像と関係を持たせた位置に、シーン切り替え後の画像を設定するものである。従って、画面に表示された画像のシーン同士の関連性を容易に把握することができると共に、画像の内容が明確になり理解し易くなる。また、図１８、図１９、図２０示したように、現シーンの画像を動きに合わせて移動して表示できると共に前シーンの画像を静止画として合わせて表示できる。

また、静止画として、シーン切り替え前の複数シーンの画像が表示されて、シーン切り替え後の画像と複数の静止画との差分が小さい静止画の画像表示位置と関連するように、シーン切り替え後の画像表示位置が設定される。あるいは、シーン間の相関値を算出して、この相関値に基づいて関連するシーンが判別されて、シーン切り替え後の画像表示位置が、関連するシーンの画像表示位置に設定される。このため、シーンの関連性を容易に把握することができる。

また、画像信号に基づいて入力画像の動きが検出されて、シーン切り替え前の複数のシーンの画像との関連から画像表示位置が設定されると共に、その後動き検出結果に基づいて画像表示位置が移動される。このため、被写体の動きに合わせて表示位置を移動させることが可能となり、臨場感が高く理解しやすい画像表示を行うことができる。

さらに、シーン切り替え後の画像が、シーン切り替え前の複数のシーンと関連があり、かつシーン切り替え前の画像が動く場合、画像表示位置が静止画として表示されている領域に重なり、完全に重なったところでシーンチェンジが行われるようにすることで、シーン同士の関連を容易に把握することができる。

なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、画面サイズや数も自由に変更可能である。また、他の種類のディスプレイ、例えば１面の広画角ディスプレイや、シリンドリカルなどの曲面ディスプレイなどを用いてもよい。このように、表示画像のサイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能である。

また、上述の実施の形態では、画像処理装置２０の内部に蓄積部３５を設けるものとしたが、外部の情報記憶装置を利用するものとしても良い。また蓄積部３５を着脱可能とすれば、表示制御部の機能を有する他の画像表示システムでも、この蓄積部３５に記憶された画像信号ＳＤｉｎや表示位置情報ＪＰ，ＪＱを利用することで、上述のような臨場感が高く理解しやすい画像表示を行うことが可能となる。

さらに、新たに映像ソースや別のフォーマットを作らなくても、既に存在しているコンテンツの画像信号を用いて本発明の処理を施すことで、従来よりも臨場感が高く理解のしやすい画像表示を行うことができる。

＜実施の形態６＞
続いて、図３０〜図３２を参照して本発明に係る再生情報生成装置と再生情報生成方法および再生情報生成プログラムについての実施の形態を説明する。図３０は、本発明に係る第６の実施の形態としての再生情報生成装置５０の構成例を示すブロック図であり、図３１は情報再生装置６０の構成例を示すブロック図である。この再生情報生成装置５０及び情報再生装置６０において、上述した画像処理装置２０ａと同一の構成要素には同一符号を付し、その詳細な説明は省略する。

再生情報生成装置５０及び情報再生装置６０は、画像処理装置２０ａを分離して構成したものである。すなわち、再生情報生成装置５０は、入力画像の画像信号ＳＤｉｎを処理して当該動画像の再生情報の一例であるフレームの表示位置情報ＪＰを生成する装置であって、シーンチェンジ検出部２１、関連シーン判定部２２１’、１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒ及び記憶位置設定部２４１’ から構成される。情報再生装置６０は、この表示位置情報ＪＰに基づいて、画像信号ＳＤinを処理して当該画像を再生する装置である。

図３０に示す再生情報生成装置５０のシーンチェンジ検出部２１は画像信号ＳＤｉｎが供給され、この画像信号ＳＤｉｎに基づいてフレームにおけるシーンチェンジを検出してシーンチェンジ検出信号ＳＣを関連シーン判定部２２１’に出力する。この関連シーン判定部２２１’は、シーンチェンジ検出信号ＳＣが供給されたときに、１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒから供給された前フレーム出力信号ＳＤＬ−ｄ，ＳＤＣ−ｄ，ＳＤＲ−ｄと画像信号ＳＤｉｎとの差分を計算する。これらの差分値の中で所定値よりも小さいものが存在すると関連性を有すると判定し、差分値が所定値より小さい前フレーム画像信号に応じた画像表示位置を入力画像の画像表示位置に設定する。すなわち関連シーン判定部２２１’は、差分値の中で所定値より小さいものが一つしかない場合（単一関連シーン）、該当する前フレーム画像信号と同じ画像表示位置を入力画像の表示位置に設定する。また、差分値の中で所定値より小さいものが複数ある場合（複数関連シーン）、該当する複数の前フレーム画像信号の画像表示位置における中心位置を入力画像の表示位置に設定する。関連シーン判定部２２１’は、設定した入力画像の画像表示位置を再生情報の一例である表示位置情報ＪＰとして出力する。

記憶位置設定部２４１’は記憶制御部の一例として機能し、表示位置情報ＪＰに基づいて、シーン切り替え前の画像を１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒのいずれかに記憶する。

なお、複数関連シーンの中心位置が各スクリーンの中心でない場合、すなわち複数関連シーンが複数のスクリーンまたがって表示される場合は、記憶位置設定部２４１’ で、画像信号ＳＤｉｎは分割されて１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒに供給される。また、関連シーン判定部２２１’は、最も小さい差分値が所定値よりも小さくないときには、所定の順序で表示位置を切り替える。このようにして、関連シーン判定部２２１’は、設定した表示位置を示す表示位置情報ＪＰを、記憶位置設定部２４１’ 及び出力端子５１に供給する。

この出力端子５１には、例えばＵＳＢメモリなどの外部記憶媒体（図示せず）が接続され、このＵＳＢメモリに表示位置情報ＪＰが保存される。これにより、各シーンの表示位置を示す表示位置情報ＪＰを提供できるようになる。また、出力端子５１には、ＬＡＮ（Local Area Network）ケーブルなどの通信回線が接続され、例えばインターネット通信網を経由して表示位置情報ＪＰがユーザーのＰＣ（Personal Computer）にダウンロードされる。

図３１に示す情報再生装置６０は、例えば外部記憶媒体やインターネット経由により取得された表示位置情報ＪＰを読み出し、この表示位置情報ＪＰに基づいて、入力画像の画像信号ＳＤｉｎを処理して当該画像を再生する。この情報再生装置６０は、表示位置設定部２４１” 及び信号出力部２４２Ｌ’，２４２Ｃ’，２４２Ｒ’から構成される。

表示位置設定部２４１”は表示位置情報ＪＰに基づいて、画像信号ＳＤｉｎを分割して信号出力部２４２Ｌ’，２４２Ｃ’，２４２Ｒ’に供給する。

信号出力部２４２Ｌ’，２４２Ｃ’，２４２Ｒ’は、画像メモリを用いて構成する。信号出力部２４２Ｌ’は、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。

また、信号出力部２４２Ｌ’は、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＬとしてプロジェクタ１２Ｌに出力する。画像信号ＳＤｉｎが分割されて供給された場合、信号出力部２４２Ｌ’は、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、信号出力部２４２Ｌ’は、画像信号ＳＤｉｎの供給が停止されたとき、保持している信号を繰り返し読み出すものとする。

また、信号出力部２４２Ｃ’，２４２Ｒ’も信号出力部２４２Ｌ’と同様に構成されており、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出し、信号出力部２４２Ｃ’，２４２Ｒ’は、出力信号ＳＤＣ，ＳＤＲとしてプロジェクタ１２Ｃ，１２Ｒに出力する。画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。さらに、画像信号ＳＤｉｎの供給が停止されたときには、保持している信号を繰り返し読み出す。

図３２は、リアルタイム処理の場合であって、表示位置情報ＪＰの生成例を示すフローチャートである。このフローチャートは、再生情報生成プログラムの内容を示すものである。図３２に示すステップＳＴ２１では、入力した画像信号ＳＤｉｎのシーンチェンジ検出を行う。次に、ステップＳＴ２２で、シーンの切り替えが検出されたときにはステップＳＴ２３に進む。

ステップＳＴ２３では、表示中の各表示画像との差分値を計算してステップＳＴ２４に進む。ステップＳＴ２４では、差分値が所定値よりも小さいものを抽出し、所定値より小さいものがひとつしかない場合は、該当する表示画像と同じ位置をシーンチェンジ検出後の表示位置とする。また、所定値より小さいものが複数ある場合には、該当する表示画像の表示位置の中心をシーンチェンジ検出後の表示位置とする。また、差分値が所定値よりも小さいものがないときには、所定の順序で表示位置を設定してステップＳＴ２５’に進む。

ステップＳＴ２５’では、ステップＳＴ２４で判別された表示位置の表示位置情報ＪＰを生成してステップＳＴ２６に進む。

ステップＳＴ２６では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ２１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。

このように、本発明に係る第６の実施の形態として、再生情報生成装置５０、再生情報生成方法及び再生情報生成プログラムによれば、関連シーン判定部２２１’は、シーン切り替え前の画像とシーン切り替え後の画像との差分値を算出し、当該差分値に基づいてシーン切り替え後の画像がシーン切り替え前の画像と関連性を有するか否かを判定し、当該関連性を有する場合に、シーン切り替え前の画像と関係を持たせた位置に、シーン切り替え後の画像を設定するための表示位置情報ＪＰを生成するものである。

従って、生成された表示位置情報ＪＰに基づいて画像を再生することにより、画面に表示された画像のシーン同士の関連性を容易に把握することができる。

本発明は、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムに適用して好適である。

本発明に係る第１の実施の形態としての画像処理装置２０ａを用いた画像表示システム１００の構成例を示す概略図である。 （Ａ）及び（Ｂ）は、リアルタイム処理における単一関連シーン及び複数関連シーンに係る画像の表示例を示す説明図である。 リアルタイム処理を行う場合の画像処理装置２０ａの構成例を示すブロック図である。 シーンチェンジ検出部２１の構成例を示すブロック図である。 画素の間引き処理例を示す説明図である。 相関係数ｒを用いるシーンチェンジ検出部２１ａの構成例を示すブロック図である。 本発明に係る第２の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｂの構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、オフライン処理における単一関連シーン及び複数関連シーンに係る画像の表示例を示す説明図である。 本発明に係る第３の実施の形態としてのリアルタイム処理を行う場合における画像処理装置２０ｃの構成例を示すブロック図である。 動き検出部２５の構成例を示すブロック図である。 移動表示位置制御部２２ｃと表示制御部２４ｃの構成例を示すブロック図である。 （Ａ）〜（Ｃ）は、画像処理装置２０ｃに供給する画像信号の生成例を示す模式図である。 （Ａ）及び（Ｂ）は、画像信号ＳＤｉｎの処理例を示す説明図である。 本発明に係る第４の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｄの構成例を示すブロック図である。 移動表示位置制御部２２ｄの構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、動き累積値ＭＶＴの振れ幅ＷＴの例を示す説明図である。 画像の可動幅ＬＷの算出例を示す説明図である。 （Ａ）〜（Ｄ）は、初期表示位置ＰＳの設定例（その１）を示す説明図である。 （Ａ）〜（Ｃ）は、初期表示位置ＰＳの設定例（その２）を示す説明図である。 （Ａ）及び（Ｂ）は、初期表示位置ＰＳの設定例（その３）を示す説明図である。 本発明に係る第５の実施の形態としてのコンピュータの構成例を示すブロック図である。 画像処理プログラムの全体構成例を示すフローチャートである。 シーン判別の動作例を示すフローチャートである。 リアルタイム処理の動作例を示すフローチャートである。 オフライン処理の動作例を示すフローチャートである。 オフライン処理の表示例を示すフローチャートである。 リアルタイム処理であって画像の動きに応じた動作例を示すフローチャートである。 オフライン処理であって画像の動きに応じた動作例を示すフローチャートである。 オフライン処理であって画像の動きに応じた表示例を示すフローチャートである。 本発明に係る第６の実施の形態としての再生情報生成装置５０の構成例を示すブロック図である。 情報再生装置６０の構成例を示すブロック図である。 再生情報生プログラムの全体構成例を示すフローチャートである。

符号の説明

１０Ｌ，１０Ｃ，１０Ｒ・・・スクリーン、１２Ｌ，１２Ｃ，１２Ｒ・・・プロジェクタ、２０、２０ａ〜２０ｄ、・・・画像処理装置、２１・・・シーンチェンジ検出部、２２ｃ，２２ｄ・・・表示位置制御部、２４ｃ・・・表示制御部、２５・・・動き検出部、３５・・・蓄積部、２３，２２１，２２３・・・関連シーン判定部（表示位置制御部）、２２２Ｌ，２２２Ｃ，２２２Ｒ・・・１フレーム遅延部（遅延記憶部）、２２４・・・相関値算出部、２２５，２４１・・・表示位置設定部、２２６，２２９・・・初期位置設定部、２２７，２３１・・・位置設定部、２２８・・・動き累積部、２４３・・・書込読出制御部、２２４、２４４・・・画像メモリ、２２５、２４５・・・画像分割部、２３０・・・移動補正部、２３２・・・領域判別部、２４１’・・・記憶位置設定部（記憶制御部）

Claims (3)

1. 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、
   前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する表示位置制御部と、
   前記表示位置制御部で設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる表示位置設定部と、
   前記表示位置設定部により表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶する複数の遅延記憶部と
   を備え、
   前記表示位置制御部は、
   前記複数の遅延記憶部に記憶された各遅延画像と、前記入力画像との差分値を各々計算し、
   計算された前記差分値の各々と第１閾値とを比較し、
   前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定し、
   前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定し、
   前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定し、
   前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定する
   ことを特徴とする画像処理装置。
2. 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するステップと、
   前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定するステップと、
   前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させるステップと、
   表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶させるステップと、
   記憶された各遅延画像と、前記入力画像との差分値を各々計算するステップと、
   計算された前記差分値の各々と第１閾値とを比較するステップと、
   前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定するステップと、
   前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定するステップと、
   前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定するステップと、
   前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定するステップと
   を有することを特徴とする画像処理方法。
3. コンピュータに入力画像の画像信号を処理させるプログラムであって、
   前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するステップと、
   前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定するステップと、
   前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させるステップと、
   表示するように制御された前記シーン切り替え前の画像を画像表示位置ごとに分けて遅延画像として記憶させるステップと、
   記憶された各遅延画像と、前記入力画像との差分値を各々計算するステップと、
   計算された前記差分値の各々と第１閾値とを比較するステップと、
   前記第１閾値よりも小さい前記差分値の個数が一個の場合、前記入力画像の画像信号を、当該差分値に係る単一の遅延画像に関連する単一関連シーンと判定するステップと、
   前記第１閾値よりも小さい前記差分値の個数が複数個存在する場合、前記入力画像の画像信号を、当該複数の差分値に係る複数の遅延画像に関連する複数関連シーンと判定するステップと、
   前記入力画像の画像信号が前記単一関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該単一関連シーンに係る遅延画像の画像表示位置と同じ位置に設定するステップと、
   前記入力画像の画像信号が前記複数関連シーンの場合、当該入力画像の画像信号の画像表示位置を、当該複数関連シーンに係る複数の遅延画像の画像表示位置における中心位置に設定するステップと
   を実効させることを特徴とする画像処理プログラム。

Images