JP4924131B2 - 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム - Google Patents

Description

本発明は、テレビジョン放送番組や映画等の動画像における入力画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムに関する。詳しくは、画像表示領域に表示する画像の表示位置を、動きベクトルに基づいて移動する画像位置移動手段を備え、画像の表示位置が画像表示領域をはみ出した場合、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動することで、画像が画像表示領域からはみ出した場合でも、この画像を画像表示領域に連続して表示できるようにすると共に、現実世界に忠実、かつ臨場感の高い画像を表示できるようにするものである。

従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。

さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。

このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。

これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させる手段が用いられている。

このような従来例に関連して、本発明と同一の出願人により特許文献１及び２が以前に出願されている。特許文献１には、テレビジョン放送番組や映画等の動画像を処理する画像処理装置が開示されている。この画像処理装置によれば、画像表示領域に対する画像の表示位置を移動させる画像位置移動手段を備え、画像の表示位置を、この画像表示領域における画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させる。これにより、連続シーンの画像が、画像の動きに応じて移動されて現実世界に忠実で臨場感の高い画像表示を可能とする。

また、特許文献２にも、テレビジョン放送番組や映画等の動画像を処理する画像処理装置が開示されている。この画像処理装置によれば、画像表示領域に対する画像の表示位置を動きベクトルに応じて移動させる画像移動手段を備え、シーンチェンジが検出されたときに、画像の表示位置をシーンチェンジの検出前の画像と関連性を有しない表示位置に設定する。これにより、シーンチェンジが行われたことを容易に識別できる。

特開２００３−２５６８４６号公報（第４頁、第１３図） 特開平１０−３０１５５６号公報（第４頁、第１２図）

ところで、従来例に係る特許文献１に記載の画像処理装置によれば、画像表示領域が限られているとき、被写体の動きに合わせて画像の表示位置を移動させると、画像が移動可能範囲からはみ出すおそれがあるので、画像が移動可能範囲からはみ出さないように、画像の表示位置を移動可能範囲内に制限している。このため、画像の連続移動シーンが長い場合や大きな動きをした場合に、被写体の動きに合わせて画像の表示位置を移動させることができない問題がある。

また、特許文献２に記載の画像処理装置の場合においても、画像のシーンが連続して当該画像が画像表示領域からはみ出した場合に、この画像表示領域に画像を連続して画像表示領域に表示することが困難である。このため、現実世界に忠実、かつ臨場感の高い画像を表示することが難しい。

そこで、本発明はこのような従来例に係る課題を解決したものであって、画像が画像表示領域からはみ出した場合でも、この画像を画像表示領域に連続して表示できるようにすると共に、現実世界に忠実、かつ臨場感の高い画像を表示できるようにした画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係る画像処理装置は、複数のフレームから構成される動画像の入力画像信号を処理する装置であって、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出する動き検出手段と、前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、前記動き検出手段により検出された前記動きベクトルに基づいて移動させる画像位置移動手段とを備え、前記画像位置移動手段は、前記画像表示領域に対応した記憶領域が設けられた画像メモリを有し、前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定する画像位置決定手段と、前記画像位置決定手段により決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す書込読出制御手段とを備え、前記画像位置決定手段は、表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記書込読出制御手段は、前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むことを特徴とするものである。

本発明に係る画像処理装置によれば、複数のフレームから構成される動画像の入力画像信号を処理する場合であって、動き検出手段は、入力画像信号に基づく動画像の動きベクトルをフレーム単位で検出する。画像位置移動手段は、動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する動画像の表示位置を、動き検出手段により検出された動きベクトルに基づいて移動する。このとき、画像位置決定手段は、動きベクトルに基づいて、画像表示領域に表示する動画像の表示位置を決定する。書込読出制御手段は、画像位置決定手段により決定された動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す。画像位置決定手段は、表示対象の前記フレームの一部が画像表示領域からはみ出す場合、当該画像表示領域からはみ出す一部を除く当該フレームの部分のみを表示するように、表示位置を決定し、フレームが、画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、表示位置を決定する。書込読出制御手段は、フレームが画像表示領域から完全にはみ出すように表示位置が決定された以降、フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に対応する画像メモリの記憶領域に書き込む。例えば、画像位置移動手段は、画像表示領域に対応した記憶領域が設けられた画像メモリを有し、画像の表示位置が画像表示領域からはみ出した場合、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動するための画像メモリの記憶領域に、画像を書き込む。これにより、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して画像を表示できる。

上述した課題を解決するために、本発明に係る画像処理方法は、画像処理装置が、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、前記動画像における前記フレームの画像サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて移動させ、前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定し、決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記画像の表示位置が前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記画像を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むステップを含む。

上述した課題を解決するために、本発明に係る画像処理プログラムは、コンピュータに
動画像の入力画像信号を処理させるプログラムであって、コンピュータに、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、前記動画像における前記フレームの画像サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて移動させ、前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定し、決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記画像の表示位置が前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記画像を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むステップを含む処理を実行させることを特徴とするものである。

本発明に係る画像処理プログラムによれば、コンピュータに動画像の入力画像信号を処理させる際に、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して画像を表示できるようになる。

上述した課題を解決するために、本発明に係る再生情報生成装置は、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出する動き検出手段と、前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、前記動き検出手段により検出された前記動きベクトルに基づいて決定する画像位置決定手段とを備え、前記画像位置決定手段は、前記画像表示領域に対応した記憶領域が設けられた画像メモリを有し、決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す書込読出制御手段とを備え、表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記書込読出制御手段は、前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成することを特徴とするものである。

本発明に係る再生情報生成装置によれば、複数のフレームから構成される動画像の入力画像信号を処理して当該動画像の再生情報を生成する場合であって、動き検出手段は、入力画像信号に基づく動画像の動きベクトルをフレーム単位で検出する。画像位置決定手段は、動画像の画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する動画像の表示位置を、動き検出手段により検出された動きベクトルに基づいて決定する。画像位置決定手段は、画像表示領域に対応した記憶領域が設けられた画像メモリを有し、決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す書込読出制御手段とを備え、表示対象の前記フレームの一部が画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、表示位置を決定し、フレームが、画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、表示位置を決定する。書込読出制御手段は、フレームが画像表示領域から完全にはみ出すように表示位置が決定された以降、フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に対応する画像メモリの記憶領域に書き込むための再生情報を生成する。

これにより、生成された再生情報に基づいて映像を再生することにより、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して画像を表示できるようになる。

上述した課題を解決するために、本発明に係る再生情報生成方法は、複数のフレームから構成される動画像の入力画像信号を処理して当該動画像の再生情報を生成する方法であって、再生情報生成装置が、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて決定し、決定された前記画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、表示対象の前記フレームの一部が前記画像表示領域からはみ出した場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成するステップを含むことを特徴とするものである。

本発明に係る再生情報生成方法によれば、動画像の入力画像信号を処理して当該動画像の再生情報を生成する場合に、画像が画像表示領域からはみ出したときでも、この画像表示領域に連続して画像を表示できる再生情報を提供できるようになる。

上述した課題を解決するために、本発明に係る再生情報生成プログラムは、コンピュータに複数のフレームから構成される動画像の入力画像信号を再生するための再生情報を生成させるプログラムであって、コンピュータに、前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて決定し、決定された前記画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、表示対象の前記フレームの一部が前記画像表示領域からはみ出した場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成するステップを含む処理を実行させることを特徴とするものである。

本発明に係る再生情報生成プログラムによれば、コンピュータに動画像の入力画像信号を再生するための再生情報を生成させる場合であって、画像が画像表示領域からはみ出したときでも、この画像表示領域に連続して画像を表示できる再生情報を生成できるようになる。

本発明に係る画像処理装置、画像処理方法および画像処理プログラムによれば、動画像の入力画像信号を処理する場合であって、画像の表示位置が画像表示領域をはみ出したときに、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動するものである。

この構成によって、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して表示できる。これにより、画像の連続移動シーンが長い場合や大きな動きをした場合であっても、画像の動きに応じて当該画像を連続して画像表示領域に表示することができる。従って、途切れることなく画像を表示できるので、現実世界に忠実、かつ臨場感の高い画像を表示することができる。

本発明に係る再生情報生成装置、再生情報生成方法および再生情報生成プログラムによれば、動画像の入力画像信号を処理して当該動画像の再生情報を生成する場合であって、画像の表示位置が画像表示領域からはみ出したときに、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動するための再生情報を生成するものである。

この構成によって、生成された再生情報に基づいて映像を再生することにより、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して画像を表示できる。これにより、画像の連続移動シーンが長い場合や大きな動きをした場合であっても、画像の動きに応じて当該画像を連続して画像表示領域に表示することができる。

続いて、本発明に係る画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムの一実施例について、図面を参照しながら説明をする。先ず、図１〜図１４を参照して本発明に係る画像処理装置および画像処理方法についての一実施例を説明する。次に、図１５〜図１７を参照して本発明に係る画像処理プログラムについての一実施例を説明する。続いて図１８〜図２０を参照して本発明に係る再生情報生成装置と再生情報生成方法および再生情報生成プログラムについての一実施例を説明する。

図１は、本発明に係る画像処理装置を用いた画像表示システム１００の構成例を示す概略図である。この画像表示システム１００は、例えば３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒをユーザの前面と両側面に配置して、１つの画像表示領域を構成する。また、各スクリーン１０Ｌ，１０Ｃ，１０Ｒに対応させてプロジェクタ１２Ｌ，１２Ｃ，１２Ｒを設けている。プロジェクタ１２Ｌ，１２Ｃ，１２Ｒは、画像処理装置２０と接続されている。プロジェクタ１２Ｌは、画像処理装置２０からの出力信号ＳＤＬに基づいてスクリーン１０Ｌに画像を投影する。同様に、プロジェクタ１２Ｃ，１２Ｒは、画像処理装置２０からの出力信号ＳＤＣ，ＳＤＲに基づいてスクリーン１０Ｃ，１０Ｒに画像を投影する。

画像処理装置２０は、例えばテレビジョン放送番組や映画等の動画像における入力画像信号ＳＤinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号ＳＤＬをプロジェクタ１２Ｌ、画像信号ＳＤＣをプロジェクタ１２Ｃ、画像信号ＳＤＲをプロジェクタ１２Ｒに供給する。また、シーンチェンジを検出したとき、画像処理装置２０は、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示するようにプロジェクタ１２Ｌ，１２Ｃ，１２Ｒを制御する。

図２Ａ及びＢは、入力画像信号ＳＤinの生成動作例を示す図である。この例で、画像処理装置２０に供給する入力画像信号ＳＤinは、図２Ａに示すようにビデオカメラ４０をパンニングさせて前方から左側に移動する被写体ＯＢaを撮影し、その後シーンの切り替えを行い、図２Ｂに示す被写体ＯＢｂを撮影して得た画像信号である。

各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像信号ＳＤinに基づく画像は、アスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」の場合における画像表示の状態例を図３に示す。

図１に示した画像処理装置２０は、入力画像信号ＳＤinに基づき画像信号ＳＤＣを生成してプロジェクタ１２Ｃに供給し、図３Ａに示すように前方のスクリーン１０Ｃの中央に入力画像信号ＳＤinに基づく画像を表示させる。その後、画像処理装置２０は、画像の動きベクトルに応じて入力画像信号ＳＤinに基づき例えば画像信号ＳＤＣ，ＳＤＬを生成してプロジェクタ１２Ｃ，１２Ｌに供給する。このとき、図３Ｂに示すように前方のスクリーン１０Ｃと左側のスクリーン１０Ｌを用いて、入力画像信号ＳＤinに基づく画像を、被写体の動きに合わせて前方から左側に移動させた位置に表示させる。この際の画像の表示位置が、スクリーンの端を越えた場合は、例えば図３Ｃに示すように、スクリーン１０Ｌを越えた部分を、表示されていない領域のスクリーン１０Ｒに表示する。これにより、図３Ｃ及びＤに示すように、画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）を超えた画像を、当該画像表示領域の表示されていない領域（スクリーン１０Ｒ）に表示することができる。従って、画像の連続シーンが長い場合や大きな動きをした場合でも、画像の動きに応じて当該画像を表示することができる。これにより、途切れることなく画像を表示できるので、現実世界に忠実、かつ臨場感の高い画像を表示することができる。

また、画像処理装置２０は、シーンチェンジを検出したとき、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置に新たなシーンの画像を表示するよう入力画像信号ＳＤinに基づいて画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。例えば、シーンチェンジ検出前の連続シーンにおける動きが図３Ａ、図３Ｂ、図３Ｃ、図３Ｄで示したように前方から左方向に移動する場合、新たなシーンの表示位置を連続シーンの表示位置と関連した位置、すなわち連続シーンの表示位置である図３Ｄの表示位置、あるいは図３Ｄの表示位置近傍では、新たなシーンに切り替えられたことを判別しにくい。このため、例えば入力画像信号ＳＤinに基づき画像信号ＳＤＣを生成してプロジェクタ１２Ｃに供給し、図３Ｅに示すように、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置である例えばスクリーン１０Ｃの中央に新たなシーンの画像を表示させる。

図４は、画像処理装置２０の構成例を示している。画像処理装置２０のシーンチェンジ検出部２１、動き検出部２２及び画像位置移動部２３には、入力画像信号ＳＤinが供給される。シーンチェンジ検出部２１は、入力画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。

図５は、シーンチェンジ検出部２１の構成例を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。

ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば明るい画像の場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、暗い画像の場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。

輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。

正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。

この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌr以下でないときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。

このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。

図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。

ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き処理を例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。

また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。

図８は、相関係数ｒを用いる場合のシーンチェンジ検出部２１’の構成例を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。

ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。

この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。

動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成例を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。

動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤｂとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤｂに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤcは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。

最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。

また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動きベクトルの検出を行う際での動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、動きベクトルの検出を効率よく速やかに行うことができる。

図４に示す画像位置移動部２３は、画像の画像サイズよりも大きい画像表示領域を設定して、動き検出部２２で検出された動きベクトルに応じて画像の表示位置を移動させると共に、シーンチェンジ検出部２１でシーンチェンジが検出されたときには、画像の表示位置をシーンチェンジの検出前の画像と関連性を有しない表示位置とする。また、例えば上述のように画像表示領域が３つの領域（スクリーン１０Ｌ，１０Ｃ，１０Ｒ）に区分されており、この３つの領域を使用して画像表示を行う場合、画像位置移動部２３は、決定した表示位置に基づき画像表示領域に応じた画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成し、画像信号ＳＤＬをプロジェクタ１２Ｌ、画像信号ＳＤＣをプロジェクタ１２Ｃ、画像信号ＳＤＲをプロジェクタ１２Ｒに供給することで、スクリーン１０Ｌ，１０Ｃ，１０Ｒを使用して画像表示を行う。

図１１は画像位置移動部２３の構成例を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づいて、画像表示領域に表示する画像の表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。ここで、シーンチェンジ検出信号ＳＣによって連続シーンであることが示されたとき、画像位置決定回路２３１は、前フレームの画像の表示位置に対して、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させる。このように、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させると、動き検出部２２によって動きベクトルが検出された表示面積の広い部分例えば背景画像の位置が前フレームの画像と等しくなり、被写体の動きに合わせて画像の表示位置を移動させることができる。

画像位置決定回路２３１は、このようにして決定した表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示されたとき、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を、シーンチェンジ検出前の連続シーンと関連性を有しない位置に表示するように表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を最初に表示する際に、最初の画像を例えば画像表示領域の中央に表示するよう表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。

ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０Ｌ，１０Ｃ，１０Ｒ）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成しなければならない。このため、３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒで構成される領域を画像表示領域として設定して、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３４を設けるものとする。また、書込読出制御回路２３２は、画像メモリ２３４に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、スクリーンの領域に対応した画像メモリ２３４の記憶領域の画像信号を読み出して用いることで、画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを容易に生成できる。

書込読出制御回路２３２は、画像メモリ２３４に画像信号を書き込むための書込制御信号ＷＣと、画像メモリ２３４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３４に供給する。ここで、書込読出制御回路２３２は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３４の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。

遅延回路２３３は、シーンチェンジ検出部２１と動き検出部２２と画像位置決定回路２３１および書込読出制御回路２３２での処理時間に応じて入力画像信号ＳＤinを遅延させることにより、入力画像信号ＳＤinに基づく画像とこの画像の位置情報ＰＤに基づいて生成した書込制御信号ＷＣとのタイミング調整を行う。この遅延回路２３３で遅延された入力画像信号ＳＤinは、画像信号ＳＤdとして画像メモリ２３４に供給される。

画像メモリ２３４は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に画像信号ＳＤdを記憶する。なお、画像信号ＳＤdが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３４は、書込読出制御回路２３２からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３５に供給する。

画像分割回路２３５は、画像信号ＳＤeから例えばスクリーン１０Ｌに対応する記憶領域の信号を用いて画像信号ＳＤＬを生成する。同様に、スクリーン１０Ｃ，１０Ｒに対応する記憶領域の信号を用いて画像信号ＳＤＣ，ＳＤＲを生成する。このようにして生成した画像信号ＳＤＬをプロジェクタ１２Ｌ、画像信号ＳＤＣをプロジェクタ１２Ｃ、画像信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、画像が複数のスクリーンに跨るときには、画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。

なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３４に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

続いて、画像処理装置２０の動作例（その１）について図１２Ａ〜Ｃを用いて説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の水平方向成分についてのみ説明する。図１２Ａに示す画像は入力画像信号ＳＤinに基づく画像であり、フレームＦ(1)〜フレームＦ(k)が連続フレームで、フレームＦ(k+1)から新たなシーンとなる場合を示している。また、図１２Ｃに示す記憶領域は画像メモリ２３４の記憶領域ＢＡＬ、ＢＡＣ、ＢＡＲを示している。記憶領域ＢＡＬには、画像表示領域のスクリーン１０Ｌに写し出される画像が記憶され、記憶領域ＢＡＣには、スクリーン１０Ｃに写し出される画像が記憶され、記憶領域ＢＡＲには、スクリーン１０Ｒに写し出される画像が記憶される。

最初のフレームＦ(1)の場合、図１１に示した画像位置決定回路２３１は、表示位置を画像表示領域の中央とするように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像表示領域の中央と対応する画像メモリ２３４の記憶領域ＢＡＣの領域ＡＲ1にフレームＦ(1)の画像信号を記憶させる。

次のフレームＦ(2)はフレームＦ(1)に連続するフレームであることから、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、連続シーンであることを示すものとなる。このとき、動き検出部２２は、フレームＦ(1)とフレームＦ(2)の画像信号を用いて全画面動き検出を行い、表示面積の広い部分である例えば背景画像の動きベクトルを検出して、この検出結果を示す動き検出情報ＭＶＤを画像位置決定回路２３１に供給する。この場合、動き検出情報ＭＶＤは、図１２Ｂの矢印Ｍaで示すように、表示面積の広い部分である背景画像の動きベクトルを示すものとなる。

画像位置決定回路２３１は、動き検出情報ＭＶＤに基づき、背景画像の表示位置が前フレームと等しくなるように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、フレームＦ(2)に係る図１２Ｃに示すように、前フレームの画像記憶位置から矢印Ｍaと方向が逆であると共に同じ動き量である矢印Ｍｂの動きベクトル分だけ移動させた画像メモリ２３４の記憶領域ＢＡＣ、ＢＡＬの領域ＡＲ2に、フレームＦ(2)の画像信号を記憶させる。以下同様にして連続シーンの画像信号は、動き検出部２２での動き検出結果に基づいて移動された領域に記憶させる。

この例で、入力画像信号ＳＤinがフレームＦ(k-1)となると、当該フレームの表示位置の一部が図１の画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）からはみ出すこととなる。このような場合、画像位置決定回路２３１は、画像表示領域の表示されていない領域に動きベクトルの方向に基づいてフレームの表示位置を移動する。例えば、画像位置決定回路２３１は、当該フレームの表示位置を当該画像表示領域の表示されていない領域に移動するための画像メモリ２３４の記憶領域ＢＡＲに、フレームの一部Ｍｄを書き込むように位置を決定して、この位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。

書込読出制御回路２３２は、この位置情報ＰＤに基づいて、当該フレームを画像メモリ２３４に書き込み、かつ、書き込まれた当該フレームを読み出す。例えば、フレームＦ(k-1)に係る図１２Ｃに示すように、書込読出制御回路２３２は、画像メモリ２３４の記憶領域ＢＡＬからはみ出したフレームＦ(k-1)の一部Ｍｄを、画像メモリ２３４の記憶領域ＢＡＲに書き込む。

次のフレームＦ(k)はフレームＦ(k-1)に連続するフレームであることから、画像メモリ２３４の記憶領域ＢＡＬの左方向からはみ出した部分が、引き続き画像メモリ２３４の記憶領域ＢＡＲに記憶される。フレームが完全に画像メモリ２３４の記憶領域ＢＡＬの左方向からはみ出すと、フレームＦ(k)に係る図１２Ｃに示すように、フレームは画像メモリ２３４の記憶領域ＢＡＲに記憶される。

入力画像信号ＳＤinがフレームＦ(k)からフレームＦ(k+1)となると、シーンチェンジ検出部２１は、フレームＦ(k)とフレームＦ(k+1)と画像信号を用いて算出した正規化値Ｅや相関係数ｒに基づき、このシーンチェンジ位置を検出する。また、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。このとき、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連を有しない位置に新たなシーンの画像を表示するように表示位置を設定する。

ここで、画像位置決定回路２３１は、シーンチェンジが検出されるまでの連続フレームに対して表示位置の決定を行っていることから、既に決定した表示位置を参考として、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とする。例えば連続フレームの最終画像の表示位置から所定量離れた位置、あるいは最後の画像の表示位置が画像表示領域の中心から離れているときには、画像表示領域の中心に表示位置を設定する。また、連続フレームの画像の動き方向とは逆方向に所定量だけ離した位置を表示位置とすることもできる。このように、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とした位置情報ＰＤを生成して、書込読出制御回路２３２に供給する。

書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像メモリ２３４の記憶領域における例えば画像表示領域の中央と対応する領域ＡＲ1にフレームＦ(k+1)の画像信号を記憶させる。

また、書込読出制御回路２３２は、読出制御信号ＲＣを生成して画像メモリ２３４に供給すると共に、画像メモリ２３４はこの読出制御信号ＲＣに基づいて画像信号を読み出して画像分割回路２３５に供給する。

画像分割回路２３５は、画像メモリ２３４の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Ｌと対応する記憶領域ＢＡＬから読み出した信号に基づいて画像信号ＳＤＬを生成する。またスクリーン１０Ｃと対応する記憶領域ＢＡＣから読み出した信号に基づいて画像信号ＳＤＣを生成すると共に、スクリーン１０Ｒと対応する記憶領域ＢＡＲから読み出した信号に基づいて画像信号ＳＤＲを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。

このようにして生成した画像信号ＳＤＬ，ＳＤＣ，ＳＤＲをプロジェクタ１２Ｌ，１２Ｃ，１２Ｒに供給することで、画像の表示位置が被写体の動きに応じて移動される。また、画像の表示位置が画像表示領域をはみ出した場合は、画像表示領域の別の箇所に表示させる。また、シーンチェンジが検出されたとき、シーンチェンジ検出前のシーンと関連性を有しない表示位置にシーンチェンジ検出後の画像が表示されるので、現実空間との不整合を少なくできると共に、シーンの切り替えが行われたことを容易に判別できる。

さらに、上述の遅延回路２３３での遅延量を更に１フレーム分以上多く遅延させるものとして、シーンチェンジ後の新たなシーンの動き検出情報ＭＶＤに基づいてシーンチェンジ後の表示位置を、新たなシーンの動き検出情報ＭＶＤに基づく表示位置の移動方向とは逆方向に移動させることにより画像表示領域を有効に活用できる。例えば、シーンチェンジと判別された図１２ＡのフレームＦ(k+1)に対して次のフレームＦ（k+2）の背景画像が左方向に移動する場合、フレームＦ（k+2)の画像表示位置は右方向に移動する。このため、新たなシーンであるフレームＦ(k+1)の画像の表示位置は、新たなシーンの動き検出情報ＭＶＤに基づき、その後の表示位置の移動方向を考慮して調整する。すなわち、シーンチェンジ後の表示位置が設定されたとき、この表示位置を次に移動させる方向とは逆方向である左方向にオフセットさせる。例えば画像信号の記憶位置を、フレームＦ(k+1)に係る図１２Ｃに示す領域ＡＲ1から破線で示す領域ＡＲofの位置にオフセットさせる。このようにすれば、画像の移動方向の画像表示領域を広くできるので、シーンの切り替えを容易に判別できるだけでなく、画像表示領域を有効に活用してシーンチェンジ後の画像の表示を行うことができる。

図１２では、フレームが画像表示領域からはみ出すと、はみ出した分を即座に画像表示領域の別の箇所に表示する場合を示したが、即座に表示しなくてもよい。図１３Ａ〜Ｃは、画像処理装置２０の動作例（その２）の説明図であり、フレームが画像表示領域からはみ出した際に、はみ出した分を即座に表示しない場合の例である。図１３Ａは入力画像信号ＳＤinに基づく画像であり、フレームＦ(1)〜フレームＦ(k)が連続フレームで、フレームＦ(k+1)から新たなシーンとなる場合を示している。また、図１３Ｃは画像メモリ２３４の記憶領域を示している。

画像位置決定回路２３１により、最初のフレームＦ(1)が表示位置を左のスクリーンとなるように、位置情報ＰＤが生成されて書込読出制御回路２３２に供給されたとする。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、左のスクリーン１０Ｌと対応する画像メモリ２３４の領域ＡＲ1にフレームＦ(1)の画像信号を記憶させる。

次のフレームＦ(2)はフレームＦ(1)に連続するフレームであることから、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、連続シーンであることを示すものとなる。このとき、動き検出部２２は、フレームＦ(1)とフレームＦ(2)の画像信号を用いて全画面動き検出を行い、表示面積の広い部分である例えば背景画像の動きベクトルを検出して、この検出結果を示す動き検出情報ＭＶＤを画像位置決定回路２３１に供給する。この場合、動き検出情報ＭＶＤは、図１３Ｂの矢印Ｍaで示すように、表示面積の広い部分である背景画像の動きベクトルを示すものとなる。

画像位置決定回路２３１は、動き検出情報ＭＶＤに基づき、背景画像の表示位置が前フレームと等しくなるように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。この例で、画像位置決定回路２３１は、フレームの表示位置が画像表示領域からはみ出した場合、当該画像表示領域からはみ出した部分を除く当該フレームのみ表示するように決定し、フレームの表示位置が画像表示領域から完全にはみ出し、更に、はみ出した方向にフレームの表示位置が進行した場合、進行した部分Ｍｄに係るフレームの表示位置を、当該画像表示領域の表示されていない領域に移動するように決定して位置情報ＰＤを生成して書込読出制御回路２３２に供給する。

書込読出制御回路２３２は、この位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、フレームＦ(2)に係る図１３Ｃに示すように、前フレームの画像記憶位置から矢印Ｍaと方向が逆であると共に同じ動き量である矢印Ｍｂの動きベクトル分だけ移動させた領域ＡＲ2に、フレームＦ(2)の画像信号を記憶させる。この際、画像表示領域からはみ出した部分は記憶させない。以下同様にして連続シーンの画像信号は、動き検出部２２での動き検出結果に基づいて移動された領域に記憶させ、また画像表示領域からはみ出した部分は、フレームが完全にはみ出すまで記憶させない。

この例で、入力画像信号ＳＤinがフレームＦ(k-1)となると、フレームが図１の画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）の左から完全にはみ出すこととなる。このような場合、書込読出制御回路２３２は、フレームＦ(k-1)に係る図１３Ｃに示すように、フレームＦ(k-1)が完全にはみ出した状態から更に左方向に移動したフレームの部分Ｍｄだけを画像メモリ２３４の記憶領域ＢＡＲに記憶する。

次のフレームＦ(k)はフレームＦ(k-1)に連続するフレームであることから、画像メモリ２３４の左方向ではみ出した部分が、引き続き画像メモリ２３４の記憶領域ＢＡＲに記憶される。フレームの部分Ｍｄがフレームの横幅と同じになると、フレームが完全に記憶されていることとなり、ここから先のフレームでは、現在の表示位置を基準にフレームを記憶させていく。

入力画像信号ＳＤinがフレームＦ(k)からフレームＦ(k+1)となると、シーンチェンジ検出部２１は、フレームＦ(k)とフレームＦ(k+1)と画像信号を用いて算出した正規化値Ｅや相関係数ｒに基づき、このシーンチェンジ位置を検出する。また、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。このとき、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連を有しない位置に新たなシーンの画像を表示するように表示位置を設定する。

ここで、画像位置決定回路２３１は、シーンチェンジが検出されるまでの連続フレームに対して表示位置の決定を行っていることから、既に決定した表示位置を参考として、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とする。例えば連続フレームの最終画像の表示位置から所定量離れた位置、あるいは最後の画像の表示位置が画像表示領域の中心から離れているときには、画像表示領域の中心に表示位置を設定する。また、連続フレームの画像の動き方向とは逆方向に所定量だけ離した位置を表示位置とすることもできる。このように、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とした位置情報ＰＤを生成して、書込読出制御回路２３２に供給する。

書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像メモリ２３４の記憶領域における例えば画像表示領域の中央と対応する領域ＡＲ3にフレームＦ(k+1)の画像信号を記憶させる。

また、書込読出制御回路２３２は、読出制御信号ＲＣを生成して画像メモリ２３４に供給すると共に、画像メモリ２３４は、この読出制御信号ＲＣに基づいて画像信号を読み出して画像分割回路２３５に供給する。画像分割回路２３５は、画像メモリ２３４の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Ｌと対応する記憶領域ＢＡＬから読み出した信号に基づいて画像信号ＳＤＬを生成する。またスクリーン１０Ｃと対応する記憶領域ＢＡＣから読み出した信号に基づいて画像信号ＳＤＣを生成すると共に、スクリーン１０Ｒと対応する記憶領域ＢＡＲから読み出した信号に基づいて画像信号ＳＤＲを生成する。

なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。なお図１３の場合、フレームの一部が画像メモリに記憶されないため、元のフレームの一部が途切れることになる。なお、上述の説明は画像の動きベクトルが左右方向である場合を示したが、動きベクトル方向が上下方向の場合は、画像メモリ２３４に対する画像信号の書込位置を上下方向の画像の移動に合わせて変更することで対応する。図１４に動きベクトルの方向が上下方向の場合の例を示す。説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の上下方向成分についてのみ説明する。

図１４Ａ〜Ｃは画像処理装置２０の動作例（その３）を示す説明図である。図１４Ａは、入力画像信号ＳＤinに基づく画像であり、フレームＦ(1)〜フレームＦ(k)が連続フレームで、フレームＦ(k+1)から新たなシーンとなる場合を示している。また、図１４Ｃは画像メモリ２３４の記憶領域を示している。

最初のフレームＦ(1)の場合、図１１に示した画像位置決定回路２３１は、例えば表示位置を画像表示領域の中央とするように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像表示領域の中央と対応する画像メモリ２３４の領域ＡＲ1にフレームＦ(1)の画像信号を記憶させる。

次のフレームＦ(2)はフレームＦ(1)に連続するフレームであることから、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、連続シーンであることを示すものとなる。このとき、動き検出部２２は、フレームＦ(1)とフレームＦ(2)の画像信号を用いて全画面動き検出を行い、表示面積の広い部分である例えば背景画像の動きベクトルを検出して、この検出結果を示す動き検出情報ＭＶＤを画像位置決定回路２３１に供給する。この場合、動き検出情報ＭＶＤは、図１２Ｂの矢印Ｍaで示すように、表示面積の広い部分である背景画像の動きベクトルを示すものとなる。

画像位置決定回路２３１は、動き検出情報ＭＶＤに基づき、背景画像の表示位置が前フレームと等しくなるように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、フレームＦ(2)に係る図１４Ｃに示すように、前フレームの画像記憶位置から矢印Ｍaと方向が逆であると共に同じ動き量である矢印Ｍｂの動きベクトル分だけ移動させた領域ＡＲ2に、フレームＦ(2)の画像信号を記憶させる。

入力画像信号ＳＤinがフレームＦ(2)となると、当該フレームの表示位置の一部が図１の画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）からはみ出すこととなる。このような場合、画像位置決定回路２３１では、当該画像表示領域の表示されていない領域の所定位置にオフセットして当該フレームの表示位置を移動する。例えば、フレームＦ(2)に係る図１４Ｃに示すように、フレームＦ(2)が上方向に動いてはみ出した場合、画像メモリ２３４の記憶領域ＢＡＣから記憶領域ＢＡＲにオフセットしてはみ出した部分を記憶する。これは、図１３に示した左右方向の動きベクトルに基づいて画像が動く範囲に比べて、図１４に示す上下方向の動きベクトルに基づいて画像が動く範囲は狭くなっているので、はみ出した部分の画像を同じ記憶領域ＢＡＣに記憶するのではなく、はみ出した部分の画像を別の記憶領域ＢＡＲなどに記憶する。これにより、フレームの分かれ目が明確になると共に連続シーンを視聴し易くなる。以下同様にして連続シーンの画像信号は、動き検出部２２での動き検出結果に基づいて移動された領域に記憶させる。

フレームＦ(k)はフレームＦ(k-1)に連続するフレームであり、画像メモリ２３４の上方向ではみ出した部分が、引き続き画像メモリ２３４の記憶領域ＢＡＲに記憶される。フレームが完全に上方向ではみ出すと、フレームは画像メモリ２３４の記憶領域ＢＡＲに記憶されていることになる。

入力画像信号ＳＤinがフレームＦ(k)からフレームＦ(k+1)となると、シーンチェンジ検出部２１は、フレームＦ(k)とフレームＦ(k+1)と画像信号を用いて算出した正規化値Ｅや相関係数ｒに基づき、このシーンチェンジ位置を検出する。また、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。このとき、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連を有しない位置に新たなシーンの画像を表示するように表示位置を設定する。

ここで、画像位置決定回路２３１は、シーンチェンジが検出されるまでの連続フレームに対して表示位置の決定を行っていることから、既に決定した表示位置を参考として、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とする。例えば連続フレームの最終画像の表示位置から所定量離れた位置、あるいは最後の画像の表示位置が画像表示領域の中心から離れているときには、画像表示領域の中心に表示位置を設定する。また、連続フレームの画像の動き方向とは逆方向に所定量だけ離した位置を表示位置とすることもできる。このように、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とした位置情報ＰＤを生成して、書込読出制御回路２３２に供給する。

書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像メモリ２３４の記憶領域における例えば画像表示領域の中央と対応する領域ＡＲ1にフレームＦ(k+1)の画像信号を記憶させる。

また、書込読出制御回路２３２は、読出制御信号ＲＣを生成して画像メモリ２３４に供給すると共に、画像メモリ２３４は、この読出制御信号ＲＣに基づいて画像信号を読み出して画像分割回路２３５に供給する。画像分割回路２３５は、画像メモリ２３４の記憶領域ＢＡＬ、ＢＡＣ及びＢＡＲが画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）に対応して設けられていることから、スクリーン１０Ｌと対応する記憶領域ＢＡＬから読み出した信号に基づいて画像信号ＳＤＬを生成する。またスクリーン１０Ｃと対応する記憶領域ＢＡＣから読み出した信号に基づいて画像信号ＳＤＣを生成すると共に、スクリーン１０Ｒと対応する記憶領域ＢＡＲから読み出した信号に基づいて画像信号ＳＤＲを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。

なお、図１４では、フレームが画像メモリ２３４からはみ出すと、はみ出した分を即座に画像メモリ２３４の別の箇所に記憶する場合を示したが、図１３の場合と同様に、即座に記憶しなくてもよい。また図１４では、画像メモリ２３４から上方向にはみ出した部分を記憶領域ＢＡＲから記憶したが、記憶領域ＢＡＬ、もしくは同じ記憶領域ＢＡＣの下側から記憶してもよい。

さらに、動きベクトルの方向が、左右方向、および上下方向の成分を含む場合（すなわち斜め方向）で、フレームが画像メモリ２３４からはみ出した場合は、図１２や図１４の例を組にし、斜め方向ではみ出した部分を、画像メモリ２３４の別の箇所で記憶する。

さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。図１５〜図１７を参照してコンピュータに実効させる画像処理プログラムについての一実施例を説明する。図１５は、コンピュータを用いたときの構成例を示す図である。

コンピュータは、図１５に示すようにＣＰＵ(Ｃentral Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ（Ｒead Only Memory）３０２，ＲＡＭ（Ｒandom Access Memory）３０３，ＨＤＤ（Hard Disk Drive）３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。

外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の画像処理装置２０と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。

図１６は、画像処理プログラムの全体構成例を示すフローチャートである。図１６に示すステップＳＴ１ではシーン判別を行う。図１７は、このシーン判別動作例を示すフローチャートである。図１７に示すステップＳＴ１１では、フレーム間の差分平均値Ｄavと１フレームの輝度平均値Ｙavを算出してステップＳＴ１２に進む。

ステップＳＴ１２では、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。ステップＳＴ１３では、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ１４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別してシーン判別を終了する。

なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５にシーンチェンジであると判別する。

図１６に戻り、ステップＳＴ２では、ステップＳＴ１のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジと判別されたときにはステップＳＴ３に進み、シーンチェンジでない、すなわち連続シーンと判別されたときにはステップＳＴ４に進む。

ステップＳＴ３では、新たなシーンの表示位置設定を行う。この表示位置設定では、シーンチェンジ検出前の連続シーンと関連性を有しない位置に新たなシーンの画像を表示するように表示位置を設定してステップＳＴ６に進む。ステップＳＴ４では、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。

ステップＳＴ５では、ステップＳＴ４で検出された動きベクトルに基づき、画像表示領域に表示する画像の表示位置を移動させる。ここで、動きベクトルは表示面積の広い例えば背景部分の動き方向と動き量を示している。このため、背景部分の画像を固定して表示できるように、動きベクトルとは逆方向であると共に等しい動き量分だけ表示位置を移動させる。このとき、画像の表示位置が画像表示領域からはみ出した場合、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動する。なお、画像表示領域は、画像の画像サイズよりも大きく設定されている。続いてステップＳＴ６に進む。

ステップＳＴ６では、出力画像の分割処理を行う。ここで、図１に示したように３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒを１つの画像表示領域として用いる場合、表示位置が移動されてフレームが複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成するものとしても、同様の作用効果を得ることができる。

このように、本発明に係る画像処理装置２０、画像処理方法および画像処理プログラムによれば、動画像の入力画像信号ＳＤinを処理する場合であって、画像（フレーム）の表示位置が画像表示領域をはみ出したときに、当該画像の表示位置を当該画像表示領域の表示されていない領域に移動するものである。

従って、画像が画像表示領域からはみ出した場合でも、この画像表示領域に連続して画像を表示することができる。これにより、画像の連続移動シーンが長い場合や大きな動きをした場合であっても、画像の動きに応じて当該画像を連続して画像表示領域に表示することができる。従って、途切れることなく画像を表示できるので、現実世界に忠実、かつ臨場感の高い画像を表示することができる。

なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、フレームサイズよりも画像表示領域が大きければ、本発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。

また、映画館などでは、大型な表示系を設備として導入することが可能であることから、臨場感を一層高めた画像表示を行うことが可能であるが、このような場合にも上述のようにシーンチェンジ検出後の画像表示位置を制御することでシーンの切り替えの識別を容易とすることができる。

続いて、図１８〜図２０を参照して本発明に係る再生情報生成装置と再生情報生成方法および再生情報生成プログラムについての一実施例を説明する。図１８は、再生情報生成装置５０の構成例を示し、図１９は情報再生装置６０の構成例を示している。この再生情報生成装置５０及び情報再生装置６０において、上述した画像処理装置２０と同一の構成要素には同一符号を付し、その詳細な説明は省略する。

再生情報生成装置５０及び情報再生装置６０は、画像処理装置２０を分離して構成したものである。すなわち、再生情報生成装置５０は、動画像の入力画像信号ＳＤinを処理して当該動画像の再生情報の一例であるフレームの位置情報ＰＤを生成する装置であって、シーンチェンジ検出部２１、動き検出部２２及び画像位置決定回路２３１から構成される。情報再生装置６０は、この位置情報ＰＤに基づいて、動画像の入力画像信号ＳＤinを処理して当該動画像を再生する装置である。

図１８に示す再生情報生成装置５０のシーンチェンジ検出部２１は入力画像信号ＳＤinが供給され、この入力画像信号ＳＤinに基づいてフレームにおけるシーンチェンジを検出してシーンチェンジ検出信号ＳＣを出力する。動き検出部２２はシーンチェンジ検出部２１に接続され、シーンチェンジ検出信号ＳＣを供給する。また、動き検出部２２は入力画像信号ＳＤinが供給される。動き検出部２２は、シーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して、入力画像信号ＳＤinに基づくフレームの動きベクトルＭＶを検出して動き検出情報ＭＶＤを画像位置決定回路２３１に出力する。

画像位置決定回路２３１は、シーンチェンジ検出部２１及び動き検出部２２に接続される。画像位置決定回路２３１は、フレームの画像サイズよりも大きい画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）を設定する。画像位置決定回路２３１は、シーンチェンジ検出部２１によりシーンチェンジが検出されてフレームのシーンが連続しない場合、フレームの表示位置をシーンチェンジの検出前のフレームと関連性を有しない表示位置に移動するための位置情報ＰＤを出力する。

また、フレームのシーンが連続する場合、画像位置決定回路２３１は、動き検出部２２により出力された動き検出情報ＭＶＤに基づいて、画像表示領域に表示するフレームの表示位置を決定する。このとき、フレームの表示位置が画像表示領域からはみ出した場合、画像位置決定回路２３１は、当該フレームの表示位置を当該画像表示領域の表示されていない領域に移動するための位置情報ＰＤ（再生情報）を生成して出力端子５１に出力する。この出力端子５１には、例えばＵＳＢメモリなどの外部記憶媒体（図示せず）が接続される。これにより、フレームが画像表示領域からはみ出した場合でも、この画像表示領域に連続してフレームを表示できる位置情報ＰＤを提供できるようになる。

図１９に示す情報再生装置６０は、この外部記憶媒体に保存された位置情報ＰＤを読み出してこの位置情報ＰＤに基づいて、動画像の入力画像信号ＳＤinを処理して当該動画像を再生する。この情報再生装置６０は、書込読出制御回路２３２、遅延回路２３３、画像メモリ２３４及び画像分割回路２３５から構成される。

この例で、情報再生装置６０の画像メモリ２３４は遅延回路２３３に接続され、この遅延回路２３３で遅延された入力画像信号ＳＤinが、画像信号ＳＤdとして供給される。書込読出制御回路２３２は入力端子６１に接続され、この入力端子６１に接続された外部記憶媒体から位置情報ＰＤが供給される。また、書込読出制御回路２３２は画像メモリ２３４に接続され、供給された位置情報ＰＤに基づいて、この画像メモリ２３４に入力画像信号ＳＤinを書き込むように制御する。

例えば、書込読出制御回路２３２は、画像メモリ２３４に画像信号の書き込むための書込制御信号ＷＣと、画像メモリ２３４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３４に供給する。

画像メモリ２３４は、書込読出制御回路２３２からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３５に供給する。

画像分割回路２３５は、画像信号ＳＤeから例えばスクリーン１０Ｌに対応する記憶領域ＢＡＬ（図１２参照）の信号を用いて画像信号ＳＤＬを生成する。同様に、スクリーン１０Ｃ，１０Ｒに対応する記憶領域ＢＡＣ、ＢＡＲの信号を用いて画像信号ＳＤＣ，ＳＤＲを生成する。このようにして生成した画像信号ＳＤＬをプロジェクタ１２Ｌ、画像信号ＳＤＣをプロジェクタ１２Ｃ、画像信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給する。

この例で、プロジェクタ１２Ｌは、例えばフレームの表示位置を当該画像表示領域の表示されていない領域に移動するための位置情報ＰＤに基づいて生成された画像信号ＳＤＬに基づいて、スクリーン１０Ｌ（図１参照）に画像を投影する。同様に、プロジェクタ１２Ｃ、１２Ｒは、この位置情報ＰＤに基づいて生成された画像信号ＳＤＣ、ＳＤＲに基づいて、スクリーン１０Ｃ、１０Ｒに画像を投影する。これにより、画像の連続移動シーンが長い場合や大きな動きをした場合であっても、画像の動きに応じて当該画像を連続してスクリーン１０Ｌ、１０Ｃ、１０Ｒの枠内に表示することができる。

図２０は、再生情報生プログラムの全体構成例を示すフローチャートである。図２０に示す再生情報生プログラムは、例えば図１５に示したコンピュータに動画像の入力画像信号ＳＤinを再生するための再生情報（位置情報ＰＤ）を生成させるプログラムである。なお、図１６に示した画像処理プログラムと同一の構成には同一の符号を付し、その詳細な説明は省略する。

図２０のステップＳＴ１ではシーン判別を行う。上述したように、このシーン判別の詳細な動作例を示した図１７のフローチャートに進んでシーン判別を行ってステップＳＴ２に進む。

ステップＳＴ２では、ステップＳＴ１のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジと判別されたときにはステップＳＴ３に進み、シーンチェンジでない、すなわち連続シーンと判別されたときにはステップＳＴ４に進む。

ステップＳＴ３では、新たなシーンの表示位置設定を行う。この表示位置設定では、シーンチェンジ検出前の連続シーンと関連性を有しない位置に新たなシーンの画像を表示するように表示位置を設定してステップＳＴ６’に進む。

ステップＳＴ４では、入力画像信号ＳＤinに基づくフレームの動きベクトルを検出する。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出する。また、フレームの画像サイズよりも大きい画像表示領域を設定してステップＳＴ５に進む。

ステップＳＴ５では、ステップＳＴ４で検出された動きベクトルに基づいて、上述の画像表示領域に表示するフレームの表示位置を決定して移動させる。この例で、動きベクトルは表示面積の広い例えば背景部分の動き方向と動き量を示している。このため、背景部分の画像を固定して表示できるように、動きベクトルとは逆方向であると共に等しい動き量分だけ表示位置を移動させる。このとき、フレームの表示位置が画像表示領域からはみ出した場合、当該フレームの表示位置を当該画像表示領域の表示されていない領域に移動させてステップＳＴ６’に進む。

ステップＳＴ６’では、フレームの表示位置を示す位置情報ＰＤを生成して図１８に示した出力端子５１に出力する。この例で、シーンチェンジがあった場合、シーンチェンジ検出前の連続シーンと関連性を有しない位置に新たなシーンのフレームを表示するための位置情報ＰＤを生成する。また、シーンチェンジがなかった場合、画像表示領域に表示するフレームを、動きベクトルに基づいて表示するための位置情報ＰＤを生成する。

このように、本発明に係る再生情報生成装置５０、再生情報生成方法および再生情報生成プログラムによれば、動画像の入力画像信号ＳＤinを処理して当該動画像の位置情報ＰＤ（再生情報）を生成する場合であって、フレームの表示位置が画像表示領域（スクリーン１０Ｌ、１０Ｃ、１０Ｒ）からはみ出した場合、当該フレームの表示位置を当該画像表示領域の表示されていない領域に移動するための位置情報ＰＤを生成するものである。

従って、生成された位置情報ＰＤに基づいて映像を再生することにより、フレームが画像表示領域からはみ出した場合でも、この画像表示領域に連続してフレームを表示できるようになる。これにより、画像の連続移動シーンが長い場合や大きな動きをした場合であっても、画像の動きに応じて当該画像を連続して画像表示領域に表示することができる。

テレビジョン放送番組や映画等の動画像における入力画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムに適用して好適なものである。

画像表示システム１００の構成例を示す概略図である。 入力画像信号ＳＤinの生成動作例を示す図である。 画像表示の状態例を示す図である。 画像処理装置２０の構成例を示す図である。 シーンチェンジ検出部２１の構成例を示す図である。 フレーム位置と正規化値Ｅの関係例を示す図である。 画素の間引き処理例を示す図である。 シーンチェンジ検出部２１’の構成例を示す図である。 フレーム位置と相関係数ｒの関係例を示す図である。 動き検出部２２の構成例を示す図である。 画像位置移動部２３の構成例を示す図である。 （Ａ）〜（Ｃ）は画像処理装置２０の動作例（その１）を説明するための図である。 （Ａ）〜（Ｃ）は画像処理装置２０の動作例（その２）を説明するための図である。 （Ａ）〜（Ｃ）は画像処理装置２０の動作例（その３）を説明するための図である。 コンピュータを用いたときの構成例を示す図である。 画像処理プログラムの全体構成例を示すフローチャートである。 シーン判別の動作例を示すフローチャートである。 再生情報生成装置５０の構成例を示す図である。 情報再生装置６０の構成例を示す図である。 再生情報生プログラムの全体構成例を示すフローチャートである。

符号の説明

１０Ｌ，１０Ｃ，１０Ｒ・・・スクリーン、１２Ｌ，１２Ｃ，１２Ｒ・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・書込読出制御回路、２３４・・・画像メモリ、２３５・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部

Claims (10)

1. 複数のフレームから構成される動画像の入力画像信号を処理する装置であって、
   前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出する動き検出手段と、
   前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、前記動き検出手段により検出された前記動きベクトルに基づいて移動させる画像位置移動手段とを備え、
   前記画像位置移動手段は、
   前記画像表示領域に対応した記憶領域が設けられた画像メモリを有し、
   前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定する画像位置決定手段と、
   前記画像位置決定手段により決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す書込読出制御手段とを備え、
   前記画像位置決定手段は、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
   前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
   前記書込読出制御手段は、
   前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むことを特徴とする画像処理装置。
2. 前記画像位置移動手段は、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域の表示されていない領域に前記動きベクトルの方向に基づいて、当該動画像の表示位置を移動することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像位置移動手段は、
   前記動画像の表示位置が前記画像表示領域からはみ出した場合、当該画像表示領域の表示されていない領域の所定位置にオフセットして当該動画像の表示位置を移動することを特徴とする請求項１に記載の画像処理装置。
4. 前記動画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
   前記画像位置移動手段は、
   前記シーンチェンジ検出手段によりシーンチェンジが検出されたときに、前記動画像の表示位置を前記シーンチェンジの検出前の動画像と関連性を有しない表示位置に移動することを特徴とする請求項１に記載の画像処理装置。
5. 複数のフレームから構成される動画像の入力画像信号を処理する方法であって、
   画像処理装置が、
   前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、
   前記動画像における前記フレームの画像サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて移動させ、
   前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定し、
   決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
   前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
   前記画像の表示位置が前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記画像を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込む
   ステップを含むことを特徴とする画像処理方法。
6. コンピュータに動画像の入力画像信号を処理させるプログラムであって、
   コンピュータに、
   前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、
   前記動画像における前記フレームの画像サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて移動させ、
   前記動きベクトルに基づいて、前記画像表示領域に表示する前記動画像の表示位置を決定し、
   決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
   前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
   前記画像の表示位置が前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記画像を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込む
   ステップを含む処理を実行させることを特徴とする画像処理プログラム。
7. 複数のフレームから構成される動画像の入力画像信号を処理して当該動画像の再生情報を生成する装置であって、
   前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出する動き検出手段と、
   前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、前記動き検出手段により検出された前記動きベクトルに基づいて決定する画像位置決定手段とを備え、
   前記画像位置決定手段は、
   前記画像表示領域に対応した記憶領域が設けられた画像メモリを有し、
   決定された前記動画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出す書込読出制御手段とを備え、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出す場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
   前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
   前記書込読出制御手段は、
   前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成することを特徴とする再生情報生成装置。
8. 前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
   前記画像位置決定手段は、
   前記シーンチェンジ検出手段によりシーンチェンジが検出されたときに、前記動画像の表示位置を前記シーンチェンジの検出前の動画像と関連性を有しない表示位置に移動することを特徴とする請求項７に記載の再生情報生成装置。
9. 複数のフレームから構成される動画像の入力画像信号を処理して当該動画像の再生情報を生成する方法であって、
   再生情報生成装置が、
   前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、
   前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて決定し、
   決定された前記画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、
   表示対象の前記フレームの一部が前記画像表示領域からはみ出した場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
   前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
   前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成する
   ステップを含むことを特徴とする再生情報生成方法。
10. コンピュータに複数のフレームから構成される動画像の入力画像信号を再生するための再生情報を生成させるプログラムであって、
    コンピュータに、
    前記入力画像信号に基づく前記動画像の動きベクトルをフレーム単位で検出し、
    前記動画像における前記フレームの表示サイズよりも大きい画像表示領域を設定し、当該画像表示領域にフレーム単位で表示する前記動画像の表示位置を、検出された前記動きベクトルに基づいて決定し、
    決定された前記画像の表示位置に基づいて、当該動画像のうち表示対象のフレームを前記画像表示領域に対応した記憶領域が設けられた画像メモリに書き込み、かつ、書き込まれた当該フレームを読み出し、
    表示対象の前記フレームの一部が前記画像表示領域からはみ出した場合、当該画像表示領域からはみ出す前記一部を除く当該フレームの部分のみを表示するように、前記表示位置を決定し、
    前記フレームが、前記画像表示領域から完全にはみ出した後、更に、はみ出した方向に進行した場合、前記フレームのうち、進行した部分に係る一部を、当該画像表示領域の表示されていない領域に表示させるように、前記表示位置を決定し、
    前記フレームが前記画像表示領域から完全にはみ出すように前記表示位置が決定された以降、前記フレームのうち、進行した部分に係る前記一部を、当該画像表示領域の表示されていない領域に対応する前記画像メモリの記憶領域に書き込むための再生情報を生成する
    ステップを含む処理を実行させることを特徴とする再生情報生成プログラム。

Images