WO2003092276A1 - Appareil, procede et logiciel de traitement d'image - Google Patents

Description

明 細 書 ， 画像処理装置と画像処理方法及び画像処理プログラム 技術分野

本発明は、 画像処理装置と画像処理方法及び画像処理プログラムに関する。 背景技術

従来、 テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、 テレビジョン装置の表示画面やスクリーン等のように、 1つの固定された画枠を 用いて画像表示がなされている。 また、 放送番組や映画等の画像コンテンツを制 作する場合にも、 このような固定画枠で画像表示を行うことを前提としてコンテ ンッ制作が行われている。

さらに、 近年では、 臨場感を高めた画像表示を行うために多画面表示システム や曲面ディスプレイ、 広画角ディスプレイ、 ヘッドマウントディスプレイ等が実 用化されている。 しかし、 このような多画面表示システム等を用いる場合でも、 このシステムで形成される画像表示領域を 1つの固定画枠として用い、 この固定 画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。 ところで、 このように固定画枠に合わせて制作された画像コンテンツにおいて、 撮影時にカメラ動きを含んだ画像などが含まれている場合、 固定画枠で撮影画像 を表示すると共に、 この撮影画像における背景の動きによってカメラ動きを表現 することが行われている。 つまり、 視聴者は固定画枠内に表示された画像の背景 が移動することによって、 その中の被写体が背景の動きと逆の方向に動いている ことを認識すると共に、 視聴者はあたかも自分が被写体の動きに合わせて向きを 変えているような感覚を得る。

これは、 撮影された広い空間の画像を無理やり固定画枠内の 2次元平面に射影 した結果であり、 視聴者は実際に動いていなくとも背景の動きによって感覚的に は動いた感じを受けるため、 現実空間との不整合による不自然さが付きまとい、 臨場感の高い画像表示を行うことができない。 ,

発明の開示

本発明の画像処理装置は、 入力画像のシーンチェンジを検出するシーンチェン ジ検出手段と、 前記入力画像内の画像動きを検出する動き検出手段と、 前記シー ンチェンジ検出手段によって検出されたシーンチェンジに基づいて連続シーンの 期間を判別して、 該連続シーンの期間中に前記動き検出手段で検出された画像動 きに基づき前記連続シーンの期間中の前記入力画像を重畳させて、 前記入力画像 よりも広画角であって前記入力画像の位置が前記画像動きに応じて変化される表 示画像を生成する表示画像生成手段を有するものである。

また、 画像処理方法は、 入力画像のシーンチェンジと前記入力画像内の画像動 きを検出し、 検出されたシーンチェンジに基づいて連続シーンの期間を判別して、 該連続シーンの期間中に検出された画像動きに基づき前記連続シーンの期間中の 前記入力画像を重畳させて、 前記入力画像よりも広画角であって前記入力画像の 位置が前記画像動きに応じて変化される表示画像を生成するものである。

さらに、 画像処理プログラムは、 コンピュータに、 入力画像のシーンチェンジ を検出する手順と、 前記入力画像内の画像動きを検出する手順と、 検出されたシ ーンチェンジに基づいて連続シーンの期間を判別して、 該連続シーンの期間中に 検出された画像動きに基づき前記連続シーンの期間中の前記入力画像を重畳させ て、 前記入力画像よりも広画角であって前記入力画像の位置が前記画像動きに応 じて変化される表示画像を生成する手順とを実行させるものである。

この発明においては、 入力画像のシーンチェンジ検出が行われて連続シーンが 判別されると共に、 入力画像の画像動きが検出される。 この連続シーンの期間中 に検出された画像動きに基づき入力画像の表示位置が決定されて、 この連続シー ンの期間中の入力画像を逆時間順に順次重畳することで広画角画像が生成される。 また、 入力画像が決定された表示位置に移動されて、 この表示位置が移動された 入力画像を広画角画像に重畳することで、 入力画像よりも広画角であって入力画 像の位置が画像動きに応じて変化される表示兩像が生成される。

また、 表示画像における入力画像部分が画像表示領域を超えないように、 広画 角画像の表示位置が連続シーンの期間中に検出された画像動きに基づいて移動さ a

れると共に、 この広画角画像の移動に伴い、 連続シーンの期間中の入力画像に対 する表示位置が補正される。 さらに、 表示画像を表示する画像表示領域が複数の 表示領域で構成されているときには、 複数の表示領域に対応させて表示画像が分 割される。 図面の簡単な説明

図 1は、 画像表示システムの構成を示す図である。

図 2は、 画像処理装置 2 0 -1の構成を示す図である。

図 3は、 シーンチェンジ検出部の構成を示す図である。

図 4は、 フレーム位置と正規化値の関係を示す図である。

図 5は、 画素の間引きを示す図である。

図 6は、 シーンチェンジ検出部の他の構成を示す図である。

図 7は、 フレーム位置と相関係数の関係を示す図である。

図 8は、 動き検出部の構成を示す図である。

図 9は、 広画角画像生成部の構成を示す図である。

図 1 0は、 連続シーンの判別を説明するための図である。

図 1 1 A， 1 I Bは、 位置決定部の動作を説明するための図である。

図 1 2は、 広画角画像の生成動作を説明するための図である。

図 1 3 A, 1 3 Bは、 表示位置捕正方法を説明するための図である。

図 1 4 A〜1 4 Gは、 他の表示位置補正方法を説明するための図である。 図 1 5 A〜1 5 Cは、 表示画像の生成動作を説明するための図である。

図 1 6は、 コンピュータを用いたときの構成を示す図である。

図 1 7は、 画像処理動作を示すフローチャートである。

図 1 8は、 シーンチェンジ検出動作を示すフローチャートである。

図 1 9は、 広画角画像の生成動作を示すフローチャートである。

図 2 0は、 表示画像の生成動作を示すフローチャートである。

図 2 1 A , 2 1 Bは、 第 2の形態における画像表示動作を説明するための図で ある。

図 2 2は、 画像処理装置 2 0 - 2aの構成を示す図である。 図 23は、 画像処理装置 20- 2bの構成を示す図である。

図 24A， 24Bは、 画像表示動作を説明するための図である。

図 25は、 画像処理装置 20- 2cの構成を示す図である。

図 26は、 表示位置制御部 25 cと表示制御部 27 cの構成を示す図である。 図27八〜27。は、 画像信号の生成動作を説明するための図である。

図 28A, 28 Bは、 画像処理装置の動作を説明するための図である。

図 29は、 画像処理装置 20- 2dの構成を示す図である。

図 30は、 表示位置制御部 25 dの構成を示す図である。

図 31A， 3 I Bは、 動き累積値を説明するための図である。

図 32は、 可動幅の算出動作を説明するための図である。

図 33A〜33Dは、 初期位置の設定動作を説明するための図である。

図 34 A〜34 Cは、 移動補正動作を説明するための図である。

図 35は、 第 2の形態における画像処理プログラムの全体構成を示すフローチ ヤートである。

図 36は、 リアルタイム処理の場合の動作を示すフローチャートである。 図 37は、 オフライン処理の場合の動作を示すフローチャートである。

図 38は、 オフライン処理での表示動作を示すフローチヤ一トである。

図 39は、 リアルタイム処理で画像の動きに応じて表示位置を可変させる場合 の動作を示すフローチャートである。

図 40は、 オフライン処理で画像の動きに応じて表示位置を可変させる場合の 動作を示すフローチヤ一トである。

図 41は、 オフライン処理での表示動作を示すフローチャートである。

図 42は、 画像処理装置 20-3と情報取得装置 30の構成を示す図である。 図 43は、 情報取得装置 30の他の構成を示す図である。

図 44A, 44 Bは、 画像メモリの構成を示す図である。

図 45A， 45 Bは、 撮影方向と撮像提示方向の関係を示す図である。

図 46A， 46 Bは、 表示位置の算出動作を示す図である。

図 47A, 47Bは、 画像表示システムの動作を示す図である _d

図 48は、 リアルタイムで画像表示を行う場合の構成を示す図である。 ΰ

図 49A， 49 Bは、 オフラインで画像表示を行う場合の構成を示す図である。 図 5 OA, 5 OBは、 オフラインで画像表示を行う場合の他の構成を示す図で ある。

図 5 1は、 第 3の形態における画像処理動作を示すフローチャートである。 発明を実施するための最良の形態

以下、 本発明をより詳細に説述するために、 添付の図面を用いてこれを説明す る。 図 1は、 この発明における画像処理装置を用いた画像表示システムの全体構 成を示している。 この画像表示システムは、 例えば 3つのスクリーンをユーザの 前面と両側面側に配置して、 3つの表示領域で 1つの画像表示領域が構成されて いる。 また、 各スクリーン 1 1L， 1 1C, 1 1Rに対応させてプロジェクタ 1 2L, 1 2C, 1 2Rを設けている。 この各プロジェクタ 1 2L, 1 2 C, 12Rを用いて画 像を投影することにより、 3つのスクリーンで構成される広範囲の画枠を用いて 画像の表示が行われる。 プロジェクタ 1 2L, 1 2C, 1 2Rは、 画像処理装置 20 -1 (20-2， 20-3) と接続されている。

次に、 第 1の形態として、 画像処理装置 20-1を用いる場合を以下に説明する。 画像処理装置 20-1は、 入力画像の画像信号 S Dinに基づいてシーンチヱンジ検 出を行うことにより連続シーンを判別する。 この判別した連続シーンに含まれる 入力画像を順次用いて全画面の動き検出を行い、 動き検出によって求めた画像動 きに基づいて各入力画像の表示位置を設定する。 さらに、 設定された表示位置の 各入力画像を逆時間順に重畳させることで入力画像よりも広画角の広画角画像を 生成する。 また、 入力画像の画像動きに基づき、 動きが検出された入力画像の例 えば背景部分の画像と広画角画像が一致するように入力画像を広画角画像に重畳 することで、 入力画像よりも広画角であると共に、 入力画像の位置が画像動きに 応じて変化される表示画像を生成する。 さらに、 表示画像の画像信号 S Dpから例 えば画像出力信号 SDL， SDC, SDRを生成して、 画像出力信号 S DLをプロジ ヱクタ 12L、 画像出力信号 SDCをプロジェクタ 1 2C、 画像出力信号 SDRをプ ロジェクタ 1 2Rにそれぞれ供給することで、 スクリーン 1 1L, 1 1C, 1 1Rを 利用して広画角の表示画像を表示する。 また、 3つのスクリーン 1 1L， 1 1C, b

1 1 Rで構成された画像表示領域よりも表示する画像の表示サイズが大きいときに は画像動きに応じて広画角画像を移動しながら画像表示を行う。

ここで、 入力画像の画像サイズは、 例えば N T S C方式等の S Dサイズの場合 7 2 0画素 X 4 8 0ラインとなる。 画像表示領域のサイズは入力画像よりも大き いサイズ例えば 2 1 6 0画素 X 4 8 0ラインとする。 また、 映画などでは、 ァス ぺクト比が S Dサイズの ]B像よりも横長であるため、 S Dサイズの画像よりも上 下幅が小さくなる。 このため、 画像表示領域のサイズが上下方向に対しても入力 画像より大きいときには、 入力画像の表示位置を画像動きに応じて上下左右に移 動させて重畳することで、 広画角の画像表示を行う。

図 2は、 画像処理装置 2 0 -1の構成を示している。 画像処理装置 2 0 -1は、 入 力画像の画像信号 S D inを、 シーンチェンジ検出部 2 1と動き検出部 2 2と表示 画像生成部 2 3の広画角画像生成部 2 3 2および入力画像移動部 2 3 3に供給す る。

シーンチェンジ検出部 2 1は、 画像信号 S D inに基づいてシーンチェンジ検出、 すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画 像の不連続位置を検出する。 図 3は、 シーンチェンジ検出部 2 1の構成を示して おり、 例えば 2フレーム分の画像信号を用いて連続するシーンであるか否かを検 出するものである。

シーンチェンジ検出部 2 1の遅延部 2 1 1は、 画像信号 S D inを 1フレーム遅 延させて遅延画像信号 S Daとして差分平均算出部 2 1 2に供給する。 差分平均算 出部 2 1 2は、 画像信号 S D inと遅延画像信号 S D aに基づき、 2フレーム間の差 分平均値 D avを算出して正規化部 2 1 4に供給する。 この差分平均値 D avの算出 は、 各画素における 2フレーム間の画素値の差分儘、 例えば画素毎に輝度レベル の差分値を算出して、 得られた差分値の平均値を差分平均値 D avとして正規化部 2 1 4に供給する。 なお、 1フレームの画像の画素数が 「N」 で、 画像信号 S D inに基づく輝度レベルを 「Y C」 、 遅延画像信号 S D aに基づく輝度レベルを 「Y Ρ」 としたとき、 差分平均値 Davは式 （1 ) に基づいて算出できる。 Σ YC i— YP

D a v =■ (1)

N ここで、 差分平均値 Davは、 画像の輝度レベルによって大きく変化する。 例え ば画像が明るい場合、 シーンの切り替えが行われなくとも画像の一部が暗い画像 に変化するだけで差分平均値 Davが大きくなつてしまう。 一方、 画像が暗い場合、 シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値 D avは大きくならない。 このため、 シーンチェンジ検出部 21に正規化部 2 14を 設けるものとして、 画像の明るさに応じた差分平均値 Davの正規化を行い、 画像 の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。

画素値平均算出部 21 3は、 画像信号 S Dinに基づき、 各画素の画素値に基づ き 1フレームにおける画素値の平均値、 例えば各画素の輝度レベルに基づき 1フ レームにおける輝度レベルの平均値を算出して、 輝度平均値 Yavとして正規化部 2 14に供給する。 なお、 上述のように 1フレームの画像の画素数が 「N」 で画 像信号 S Dinに基づく画素の輝度レベルを 「YC」 としたとき、 輝度平均値 Yav は式 （2) に基づいて算出できる。

L ^YC

Y a v= - (2)

N 正規化部 214は、 画像の明るさに応じた差分平均値 Davの正規化を行う。 す なわち、 式 （3) に示すように、 画像の明るさを示す輝度平均値 Yavに応じて差 分平均値 Davを補正して差分平均正規化値 （以下単に 「正規化値」 という） Eを 生成する。

E = Dav/ Yav · · · (3)

この正規化部 2 14で生成された正規化値 Eは、 判定部 21 5に供給される。 判定部 2 1 5は、 予め設定された閾値 RLrを有しており、 正規化値 Eと閾値 R Lrを比較して、 正規化値 Eが閾値 RLrよりも大きいときにはシーンチェンジと 判定する。 また、 正規化値 Eが閾値 RLr以下であるときにはシーンチェンジでな い連続シーンと判定する。 さらに、 判定部 21 5は、 この判定結果を示すシーン チェンジ検出信号 S Cを生成して図 2に示す動き検出部 2 2と表示画像生成部 2 3の表示位置決定部 2 3 1に供給する。

このように、 正規化部 2 1 4は画像の明るさに応じた差分平均値 D avの正規化 を行い、 判定部 2 1 5は正規化値 Eを用いてシーンチェンジであるか連続シーン であるかの判別を行うので、 画像の明るさの影響を少なくして正しくシーンチヱ ンジを検出できる。

図 4は、 フレーム位置と正規化値の関係を例示的に示したものである。 ここで、 閾値 R L rが 「0 . 4」 に擊定されている場合、 正規化値 E'が 「0 . 4」 を超える フレーム位置をシーンチェンジ検出位置 P scとする。

ところで、 上述のシーンチェンジ検出部 2 1では、 1フレーム内の全画素の信 号を用いて、 シーンチェンジ検出を行うものとしたが、 全画素の信号を用いて差 分平均値 _{D av}や輝度平均値 Y avを算出すると、 演算処理に時間を要してしまう。 また、 演算処理に要する時間を短くするために演算処理を高速化すると、 演算処 理コストが膨大となってしまう。 このため、 画素間引き処理、 例えば図 5に示す ように 1フレームの画像を 8 X 4画素の領域に区分して各領域から斜線で示すよ うに 1画素だけを選択することで画素の間引きを行い、 選択された画素の信号を 用いて差分平均値 D avや輝度平均値 Yavを算出する。 このように、 画素の間引き を行うものとすれば、 演算量が少なくなるので演算処理を簡単に行うことができ ると共に、 演算処理を高速に行う必要がなく演算処理コストが膨大となってしま うことも防止できる。

また、 上述のシーンチェンジ検出部 2 1では、 正規化値 Eを用いてシーンチェ ンジ検出を行うものとしたが、 2フレーム間の画像の相関係数 rを求めて、 この 相関係数 rと閾値を比較することで、 精度良くシーンチェンジ検出を行うことも できる。 この相関係数 rを用いる場合の構成を、 シーンチェンジ検出部の他の構 成として図 6に示す。 シーンチェンジ検出部 2 1 aの遅延部 2 1 1は、 画像信号 S D inを 1フレーム遅延させて遅延画像信号 S D aとして相関係数算出部 2 1 6に 供給する。 相関係数算出部 2 1 6は、 画像信号 S D inと遅延画像信号 S D aに基づ き、 相関係数 rの算出を行う。

ここで、 1フレームの画像の画素数を 「N」 、 最初のフレームの画像信号に基 y

づく画素の輝度レベルを 「YF」 、 次のフレームの画像信号に基づく画素の輝度 レベルを 「YS」 、 最初のフレームの画像信号に基づく画素の輝度レベル平均を 「YFav」 、 次のフレームの画像信号に基づく画素の輝度レベル平均を 「YSa v」 としたとき、 相関係数 rは式 （4) を用いて算出できる。

N

Υ^_Λ (YF i -YF a v)(YS i— YS a v)

r= ― ""― . . . (4)

, (YF i -YF a v)² 7 , (YS i— YS a v)^: この相関係数算出部 21 6で算出された相関係数 rは、 判定部 2 1 7に供給され る。

判定部 2 1 7は、 予め設定された閾値 RLrを有しており、 相関係数 rと閾値 R Lrを比較して、 相関係数 rが閾値 RLr以下であるときにはシーンチェンジと判 定する。 また、 相関係数 rが閾値 RLr以下でないときにはシーンチェンジでない 連続シーンと判定する。 さらに、 判定部 2 1 7は、 この判定結果を示すシーンチ ェンジ検出信号 SCを生成して、 動き検出部 22と表示位置決定部 231に供給 する。 なお、 図 7は、 フレーム位置と相関係数 rの関係を例示的に示したもので ある。 ここで、 閾値 RLrが例えば 「0. 4」 に設定されている場合、 相関係数 r 力 S 「0· 4」 以下となるフレーム位置をシーンチェンジ検出位置 Pscとする。 動き検出部 22は、 シーンチェンジ検出部 2 1 (2 la) からのシーンチェンジ 検出信号 S Cによって連続シーンであることが示されたフレームに関して、 全画 面の画像動きの検出を行い、 表示面積の広い部分の画像動き、 例えば背景部分の 動きベク トルを検出する。 図 8は、 動き検出部 22の構成を示しており、 例えば プロックマッチング方法を用いる場合である。

動き検出部 22の遅延部 221は、 画像信号 S Dinを 1フレーム遅延させて遅 延画像信号 SDbとして画像シフト部 222に供給する。 画像シフト部 222は、 遅延画像信号 SDbに基づく画像の位置を、 予め設定された動き探索範囲内 （例え ば水平方向 ±80画素， 垂直方向 ±40ライン） で水平方向や垂直方向に順次変 更して （例えば 1画素あるいは 1ラインずつ変更して） 新たな画像出力信号 SD Cを順次生成する。 この生成された画像出力信号 SDCは、 差分演算部 223に供 1U

給される。 また、 画像シフト部 2 2 2は、 画像の移動方向と移動量を示す動きべ クトル MVを最小値判定部 2 2 4に供給する。

差分演算部 2 2 3は、 画像出力信号 S DCと画像信号 S D inとの差分値 DMを順 次算出して、 最小値判定部 2 2 4に供給する。

最小値判定部 2 2 4は、 差分値 DMと、 この差分値 DMの算出に用いた画像出 力信号 S DCを生成する際の動きベク トル MVとを関係付けて保持する。 また、 画 像シフト部 2 2 2で動き探索範囲内での画像の移動を完了したとき、 最小値判定 部 2 2 4は、 保持している差分値 DMから最小値を判別して、 この最小値となる 差分値 DMと関係付けて保持されている動きべクトル MVを、 動き検出情報 MV Dとして図 2に示す表示位置決定部 2 3 1に供給する。

表示位置決定部 2 3 1は、 シーンチェンジ検出信号 S Cに基づいて連続シーン の期間を判別すると共に、 この連続シーンの期間中における動き検出情報 MV D に基づいて、 連続シーンの期間中の各入力画像に対する表示位置を決定して、 決 定された表示位置を示す表示位置情報 J Oを、 広画角画像生成部 2 3 2と入力画 像移動部 2 3 3に供給する。

この表示位置の決定では、 例えば動き検出情報 MV Dで示された動きべクトル を累積して、 動きべクトルの時間推移情報である動き累積値 MV Tを生成する。 また、 動き累積値 MV Tに基づき第 1の移動方向 （例えば右方向や上方向） の最 大値 MV T- 1と、 第 1の方向とは逆方向である第 2の移動方向 （例えば左方向や 下方向） の最大値 MV T-2を求め、 最大値 MV T- 1と最大値 MV T- 2に基づき動 き累積値 MV Tの振れ幅 LMや振れ幅 LMの中央値 MV Tctを算出する。 さらに、 この中央値 MV Tctが画像表示領域の所定位置例えば中央となるように、 連続シ ーンにおける最初の入力画像の表示位置である初期位置 Hstを決定する。 また、 初期位置 Hstを基準として、 その後の各フレームの入力画像に対する表示位置を 各入力画像の動き検出情報 MV Dに基づき、 背景部分の画像が一致するように決 定する。

図 9は広画角画像生成部 2 3 2の構成を示している。 広画角画像生成部 2 3 2 の重畳処理部 2 3 2 aは、 連続シーンと判別された nフレーム分の入力画像の画像 信号 S D inを用いて、 連続シーンの最後のフレームから逆時間順に各フレームの 1丄

入力画像を重畳して、 1つの広画角画像を生成する。 ここで、 表示位置情報 J o は、 各フレームの入力画像の背景部分が一致するように表示位置が動き検出情報

MV Dに基づき決定されている。 このため、 表示位置情報 J Oで示された表示位 置の画像を逆時間順に加算すると、 背景部分が一致された入力画像よりも広画角 の広画角画像を生成できる。 このようにして生成した広画角画像の画像信号 S B は、 広画角画像位置捕正部 2 3 2 cに供給する。

表示範囲判定部 2 3 2 bは、 連続シーンの各入力画像を、 表示位置情報 J Oで示 された表示位置に表示するものとしたとき、 入力画像が画像表示領域に入りきる か否かを判別する。 ここで、 入力画像が画像表示領域に入りきらないときには、 時間の経過と共に広画角画像の表示位置を移動させることで、 画像表示領域を有 効に活用して広画角画像を表示させる補正信号 C Hを生成して広画角画像位置捕 正部 2 3 2 cと、 図 2に示す入力画像移動部 2 3 3に供給する。

広画角画像位置捕正部 2 3 2 cは、 表示範囲判定部 2 3 2 1)から捕正信号0 11が 供給されていないとき、 重畳処理部 2 3 2 aから供給された画像信号 S Bを図 2に 示す画像重畳部 2 3 4に供給する。 また、 後述する画像重畳部 2 3 4から表示画 像の画像信号 S Dpが供給されたときには、 この画像信号 S Dpを画像信号 S Bと して画像重畳部 2 3 4に供給する。

また、 表示範囲判定部 2 3 2 bから捕正信号 C Hが供給されたとき、 広画角画像 の表示位置を補正信号 C Hに基づき補正して、 位置の補正が行われた広画角画像 の画像信号 S B aを画像重畳部 2 3 4に供給する。 さらに、 画像重畳部 2 3 4から 表示画像の画像信号 S Dpが供給されたときには、 この広画角画像の位置を補正信 号 C Hに基づき補正して、 この位置の補正が行われた広画角画像の画像信号を画 像信号 S B aとして画像重畳部 2 3 4に供給する。

入力画像移動部 2 3 3は、 入力画像の画像信号 S D inと表示位置情報 J Oに基 づき、 連続シーンの各入力画像の表示位置を表示位置情報 J Oで示された位置と した画像信号 S D gを生成して画像重畳部 2 3 4に供給する。 また、 表示範囲判定 部 2 3 2 bから捕正信号 C Hが供給されたときには、 この補正信号 C Hに基づき連 続シーンの各入力画像の表示位置を補正する。

画像重畳部 2 3 4は、 画像信号 S B ( S B a) に基づく広画角画像に対して、 画 像信号 SDgに基づく入力画像を重畳させて表示画像の画像信号 S Dpを生成する。 ここで、 広画角画像は、 表示位置情報 J Oで示された表示位置の画像を逆時間順 に加算した画像である。 また、 表示画像は、 広画角画像に対して、 入力画像を表 示位置情報 J Oで示された表示位置として重畳したものである。 このため、 表示 画像では、 画像動きの検出された例えば入力画像の背景部分と広画角画像が一致 した画像となり、 広画角画像に入力画像を重畳させても自然な表示画像を得るこ とができる。 この表示画像の画像信号 S Dpは、 画像分割部 24と広画角画像生成 部 23 2の広画角画像位置補正部 232 cに供給される。

ここで、 メモリを用いて画像重畳部 234を構成する場合、 広画角画像や入力 画像の画像信号の書き込み位置を制御することで、 広画角画像に入力画像を重畳 した表示画像の画像信号を生成できる。 すなわち、 広画角画像位置補正部 232 cは、 重畳処理部 232aで生成した広画角画像の画像信号 S Bや表示画像の画像 信-号 S Dpを広画角画像の画像信号としてメモリに書き込む際に、 補正信号 CHに 基づいて書き込み位置を制御する。 また、 入力画像移動部 233は、 入力画像の 画像信号 SDinをメモリに書き込む際に、 表示位置情報 J Oに基づき書き込み位 置を制御して、 入力画像の背景部分が広画角画像と一致するように入力画像を広 画角画像に重畳させる。 また補正信号 C Hによって広画角画像の書き込み位置が 移動されているときには、 入力画像の書き込み位置も補正信号 CHによって捕正 することで、 正しく入力画像を広画角画像に重畳させることができる。

画像分割部 24は、 画像信号 S Dpに基づいて例えばスクリーン 1 1Lに表示す る画像の画像出力信号 SDLを生成する。 同様に、 スクリーン 1 1C， 1 1Rに表示 する画像の画像出力信号 S DC, SDRを生成する。 なお、 メモリを用いて画像重 畳部 234を構成する場合、 スクリーン 1 1L, 1 1C， 1 1Rに対応した領域に、 広画角画像や入力画像の画像信号を書き込むものとすれば、 それぞれの領域から 画像信号を読み出すことで、 簡単に画像出力信号 SDL， SDC, SDRを生成でき る。 なお、 スクリーン 1 1L, 1 1C, 1 1R上において、 画像表示が行われていな い領域は、 例えば黒色表示となるように画像出力信号 SDL, SDC, SDRを生成 する

なお、 画像重畳部 234のメモリサイズが画像表示領域分とされているとき、 1

表示画像の画像信号 S Dpを用いて表示位置の捕正を行うと、 広画角画像に欠落部 分が生じてしまう。 この場合、 広画角画像位置補正部 232cは、 重畳処理部 23 2 aで生成した広画角画像から欠落部分の画像を取り出して画像表示領域分の広画 角画像を生成する。

次に画像処理装置 20-1の動作について説明する。 シーンチェンジ検出部 21 は、 正規化値 Eあるいは相関係数 rに基づいて、 入力画像のシーンチェンジ位置 を検出する。 例えば、 画像信号 SDinに基づく画像が図 10に示すもので場合、 シーンチェンジ検出によって、 フレーム F (a-1) とフレーム F (a) 間、 及ぴフ レーム F (a+4)とフレーム F (a+5)間でシーンチェンジと検出されて、 フレーム F (a) 〜F(a+4)の画像が連続シーンの画像であると判別できる。 また、 動き検出 部 22は、 各フレームの画像に基づいて動き検出を行い、 動き検出情報 MVDを 生成する。

表示位置決定部 231は、 連続シーンの期間中の各入力画像に対する表示位置 を決定する際に、 例えば連続シーンの期間中の動き検出情報 MVDに基づく動き 量を累積することで動き累積値 MVTを生成する。 さらに、 この動き累積値 MV Tに基づき連続シーンの期間中の画像動きに基づいて表示位置を決定する。

図 1 1A, 図 1 I Bは、 動き累積値 MVTに基づく例えば左右方向の累積され た動き累積値を示している。 ここで、 図 10に示すように、 連続シーンの入力画 像が右方向に移動する被写体 （車） OBを撮影したもので場合、 入力画像に対す る全画面の動き検出では背景部分の画像動きが検出されて動き検出情報 MVDが 生成される。 このため、 動き累積値 MVTの動き量は図 1 1 Aに示すように、 左 方向に増加する。

次に、 動き累積値 MVTに基づき第 1の移動方向 （例えば右方向） の最大値 M ¥丁-1と、 第 1の方向とは逆方向である第 2の移動方向 （例えば左方向） の最大 値 MVT- 2を求め、 最大値 MVT- 1と最大値 MVT- 2に基づき動き累積値 MVT の振れ幅 LMを求めて連続シーンおける画像の移動範囲を判別する。 この移動範 囲の中心が画像表示領域内の移動可能範囲 LD (画像表示領域の右側端部に画像 を表示したときと、 画像を水平移動させて左側端部に表示したときの画像の中心 間の距離） の中央となるように、 フレーム F (a)の入力画像の表示位置である初 P 漏雇 403

14

期位置 Hstを決定する。

例えば図 1 1 Aに示すように、 動き累積値 MV Tの振れ幅 LMの 1ノ2である 中央値 MV Tctが画像表示領域の例えば中央となるように、 連続シーンにおける 最初の入力画像の表示位置である初期位置 Hstを決定する。 ここで、 背景部分の 動き量が左方向に増加することから、 背景部分を一致させて各フレームの入力画 像を表示させるためには入力画像の表示位置を順次右方向に移動する必要がある。 このため、 初期位置 Hstは画像表示領域の左側に設定する。 また、 フレーム F (a +1)〜フレーム F (a+4)の画像については、 動き検出情報 MV Dで示された動き方 向とは逆方向に動き量分だけ順次移動させた位置を入力画像の表示位置として、 各フレームの入力画像の表示位置を示す表示位置情報 J Oを生成する。 このよう に表示位置を順次移動させることで、 背景部分を一致させて各フレームの入力画 像を表示できる。

また、 被写体が右方向だけでなく左方向にも移動して、 フレーム F (b)〜フレー ム F (b+k)の画像に基づく動き累積値 MV Tが図 1 1 Bに示すように右方向や左方 向となった場合も同様に、 動き累積値 MV Tの振れ幅 LMの 1 Z 2の位置が画像 表示領域の中央位置となるように初期位置 Hstを設定して、 その後の連続シーン のフレーム画像については、 動き検出情報 MV Dに基づき表示位置を順次移動さ せる。 このようにして、 各フレームの入力画像の表示位置を決定することで、 被 写体が右方向だけでなく左方向にも移動する場合でも、 各フレームの入力画像の 表示位置を示す表示位置情報 J Oを生成できる。

広画角画像生成部 2 3 2の重畳処理部 2 3 2 aは、 図 1 0に示す連続シーンの各 フレーム F (a)〜 F (a+4)の画像を表示位置情報 J Oで示された表示位置として、 図 1 2に示すように、 この表示位置情報 J Oで示された表示位置とされたフレー ム F (a)〜F (a+4)の画像を逆時間順、 すなわちフレーム F (a+4)の画像から順次加 算する。 この入力画像を順次重畳した画像は、 入力画像の背景部分が一致した画 像であると共に入力画像よりも広画角となる。 ここで、 連続シーンの各入力画像 を重畳して得られた広画角の画像を広画角画像として、 この広画角画像の画像信 号 S Bを生成する。 このように、 表示位置情報 J Oで示された表示位置の入力画 像を逆時間順に順次加算するだけで、 入力画像の背景部分が一致した画像である 丄; 3

と共に入力画像よりも広画角の広画角画像を簡単に生成できる。 また、 広画角画 像は、 表示位置情報 J oで示された位置の入力画像を、 逆時間順に連続シーンの 最初まで重畳したものであることから、 連続シーン内の入力画像を表示位置情報

J oに基づいて移動させたときに画像の表示が行われる表示範囲と広画角画像の 画像サイズが等しくなる。

表示範囲判定部 232 bは、 連続シーンの最初の入力画像を初期位置 Hstに表示 してから、 動き検出情報 MVDで示された動き量だけ表示位置を動きべクトル方 向とは逆方向に表示位置を移動させたとき、 入力画像が画像表示領域を超えてし まうか否かを判別する。 例えば、 動き累積値 MVTに基づき振れ幅 LMを算出し て、 この振れ幅 LMと画像表示領域内の移動可能範囲 LDを比較して、 図 1 1A, 図 11 Bに示すように振れ幅 LMが移動可能範囲 LD以下であるか、 あるいは図 1 3A, 図 13 Bに示すように、 振れ幅 LMが移動可能範囲 LDよりも大きいか を判別する。 ここで、 振れ幅 LMが移動可能範囲 LDよりも大きいと判別したと きには、 入力画像を表示位置情報 J Oに基づいて移動させても画像表示領域を超 えてしまうことがないように、 表示位置を捕正する捕正信号 CHを生成して広画 角画像位置補正部 232cと入力画像移動部 233に供給する。

この入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正 する表示位置補正方法としては、 例えば図 13 A及び図 13 Bに示すように、 画 像表示領域の中央位置 P Cを基準とすると共に、 中央値 MV Tctの位置を画像表 示領域の中央位置 PCとして、 中央位置 PCから各入力画像の表示位置までの距 離 LPを算出する。 ここで、 係数 (LD/LM) を補正信号 CHとして距離 LP に乗算すれば、 破線で示すように、 入力画像が画像表示領域を超えてしまうこと が無いように表示位置を補正できる。

次に、 他の表示位置補正方法を説明する。 ここで図 14 Aに示すように広画角 画像の水平方向の画像サイズを 「ZB」 、 図 14 Bに示すように画像表示領域の 水平方向の表示サイズを 「ZW」 、 図 14 Cに示すように入力画像の水平方向の 画像サイズを 「ZP」 とする。

画像表示領域の例えば左側端部を基準した場合、 係数 { (ZB-ZW) / (Z B-ZP) } を捕正信号 CHとして、 この補正信号 CHを式 （5) に示すように lb 動き検出情報 MVDで示された動き量 V aに乗算して、 新たな動き量 Vbを算出 する。

V b = { (ZW-Z B) / (ZB-Z P) } XV a · · · (5)

この動き量 Vbに基づいて表示位置を決定する。

このように、 広画角画像の画像サイズを用いても、 この広画角画像の画像サイ ズが入力画像の表示範囲と等しいことから、 新たな動き量 Vbに基づいて表示位 置を決定すれば、 図 14 D〜図 14 Fに示すように、 広画角画像や入力画像が被 写体 （車） OBの動く方向とは逆方向に移動されるので、 画像表示領域を有効に 活用して、 効果的に広画角の画像表示を行うことができる。

また、 初期位置 Hstが画像表示領域の左側端部でないときには、 式 （6) で示 すように初期位置の捕正を行い、 新たな初期位置 Hst' を設定する。

Hst' = { (ZW-Z B) / (Z B-Z P) } XHst · · · (6) この初期位置 Hst' から動き量 Vbに基づいて表示位置を順次設定することによ り、 入力画像が画像表示領域を超えてしまうことが無いように表示位置を補正で きる。

また、 垂直方向についても、 水平方向の場合と同様に処理することで、 入力画 像が画像表示領域を超えてしまうことが無いように表示位置を捕正できる。 なお、 入力画像の表示位置を移動しても、 入力画像が画像表示領域を超えてしまうこと がないときには、 表示位置の捕正を行わないものとして、 図 14Gに示すように、 画像表示領域の中央に画像を表示する。

広画角画像位置補正部 232cは、 補正信号 CHが供給されたとき、 この補正信 号 CHに基づき広画角画像の表示位置を移動させて、 この移動後の 画角画像の 画像信号 S B aを画像重畳部 234に供給する。

また、 広画角画像位置補正部 232cには、 後述する画像重畳部 234から表示 画像の画像信号 S Dpが供給されたとき、 この表示画像の画像信号 S Dpを新たな 広画角画像の画像信号 SBとして画像重畳部 234に供給する。 なお、 表示画像 の画像信号 S Dpを新たな広画角画像の画像信号 SBaとして用いる際に、 捕正信 号 CHに基づき広画角画像の表示位置を移動させて、 画像の無い部分が生じてし まうときには、 上述したように画像の無い部分の画像を、 重畳処理部 232aで生 成した広画角画像から取り出して用いるものとする。

入力画像移動部 233は、 表示位置情報 J Oに基づき、 画像信号 SDinに基づ く入力画像の表示位置を決定する。 また、 補正信号 CHに基づき広画角画像の表 示位置が移動されるときには、 広画角画像位置補正部 232cと同様に、 補正信号 C Hに基づき画像信号 S D inに基づく入力画像の表示位置を広画角画像に対応さ せて移動する。 この移動後の入力画像の画像信号 SDgを画像重畳部 234に供給 する。

画像重畳部 234は、 広画角画像に対して入力画像を重畳して、 表示画像の画 像信号 SDpを生成する。 また、 生成した表示画像の画像信号 SDpを画像分割部 24と広画角画像位置捕正部 232 cに供給する。

画像分割部 24では、 画像信号 SDpから画像出力信号 SDL， SDC, S DRを 生成して、 画像出力信号 SDLをプロジェクタ 1 2レ 画像出力信号 S DCをプロジ ェクタ 1 2C、 画像出力信号 SDRをプロジェクタ 1 2 Rにそれぞれ供給することに より、 スクリーン 1 1L， 1 1C, 1 1Rを利用して入力画像よりも広画角の画像表 示を行う。

このように、 画像信号 S D inに基づく入力画像を広画角画像に重畳して表示画 像とすると共に、 この表示画像を新たな広画角画像とすると、 図 1 5Aに示す入 力画像が図 1 5 Bに示す広画角画像に重畳されて、 図 1 5 Cに示すように、 所望 の被写体 OBが順次移動する広画角の表示画像を生成できる。 また、 入力画像の 表示位置を雨像動きに基づいて移動させたとき、 画像表示領域を超えてしまうよ うな場合が生じても、 画像表示領域を超えてしまうことが無いように表示位置の 捕正が行われて、 被写体が表示画面上で移動するだけでなく広画角画像も逆方向 に移動されるので、 画像表示領域を有効に活用して広画角の画像表示を行うこと ができる。

ところで、 上述の画像処理装置における画像処理動作は、 コンピュータを用い てソフトウエアで実現するものとしても良い。 この場合の構成を図 1 6に示す。 コンピュータは、 図 1 6に示すように CPU (Central Processing Unit) 501を 内蔵しており、 この C PU 501にはパス 520を介して ROM502， RAM 503, ハード ·ディスク · ドライブ 504， 入出力インタフェース 505が接 Ιο

続されている。 さらに、 入出力インタフェース 505には入力部 51 1や記録媒 体ドライブ 512， 通信部 513, 画像信号入力部 514， 画像信号出力部 5 1 5が接続されている。

外部装置から命令が入力されたり、 キーポードゃマウス等の操作手段あるいは マイク等の音声入力手段等を用いて構成された入力部 51 1から命令が入力され ると、 この命令が入出力インタフェース 505を介して CPU501に供給され る。

C PU 501は、 ROM 502や RAM 503あるいはハード ·ディスク · ド ライブ 504に記憶されているプログラムを実行して、 供給された命令に応じた 処理を行う。 さらに、 ROM502や RAM503あるいはハード 'ディスク · ドライブ 504には、 上述の画像処理装置と同様な処理をコンピュータで実行さ せるための画像処理プログラムを予め記憶させて、 画像信号入力部 5 1.4に入力 された画像信号 S Dinに基づき画像出力信号 SDL, SDC, SDRを生成して、 画 像信号出力部 515から出力する。 また、 記録媒体に画像処理プログラムを記録 しておくものとし、 記録媒体ドライブ 512によって、 画像処理プログラムを記 録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出 してコンピュータで実行するものとしても良い。 さらに、 通信部 51 3によって、 伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、 受信し た画像処理プログラムをコンピュータで実行するものとしても良い。

図 1 7は、 画像処理動作を示すフローチャートである。 ステップ ST 1ではシ ーンチェンジ検出を行う。 図 18はシーンチェンジ検出動作を示すフローチヤ一 トである。 ステップ ST 1 1では、 フレーム間の差分平均値 Davとフレーム内の 輝度平均値 Yavを算出してステップ S T 12に進む。 ステップ ST1 2は、 輝度 平均値 Yavを用いて差分平均値 Davの正規化を行い正規化値 Eを算出する。

ステップ ST 13は、 正規化値 Eと閾値 RLrを比較してシーンチェンジである か否かを判別する。 ここで、 正規化値 Eが閾値 RLr以下であるときにはステップ ST14に進み、 連続シーンと判別する。 また、 正規化値 Eが閾値 RLrよりも大 きいときにはステップ ST 1 5に進み、 シーンチェンジであると判別する。 この ようにして正規化値 Eに基づき連続シーンを判別する。 ^ なお、 シーンチェンジ検出では、 上述のように相関係数 rを算出して、 この相 関係数 rと閾値を比較して連続シーンを判別するものとしても良い。 この場合、 ステップ S T 1 1とステップ S T 1 2の処理に替えて、 上述の式 （4) で示した 相関係数 rの算出を行い、 ステップ ST 1 3では相関係数 rが閾値よりも小さく ないときにはステップ ST 1 4に進み連続シーンと判別する。 また相関係数 rが 閾値よりも小さいときにはステップ ST 1 5に進み、 シーンチェンジであると判 別する。

図 1 7のステップ ST 2では、 連続シーンの入力画像に対して全画面の動き検 出を行い、 入力画像の例えば背景部分の動き量や動き方向を示す動き検出情報を 生成してステップ ST 3に進む。 ステップ ST 3は、 動き検出情報に基づき連続 シーンの各フレームの入力画像に対する表示位置を算出してステップ S T 4に進 む。 ステップ ST 4では、 連続シーンの各入力画像を用いて広画角画像を生成す る。

図 1 9は広画角画像の生成動作を示している。 ステップ ST 2 1では、 変数 i を連続シーンのフレーム数 KFに設定してステップ S T 22に進む。 ステップ S T 22では、 変数 iが 「0」 よりも大きいか否かを判別する。

ここで、 変数 iが 「0」 よりも大きいときには、 ステップ ST 23に進み、 i 番目のフレームの入力画像をステップ ST 3で算出した表示位置として画像の重 畳を行いステップ S T 24に進む。 ステップ ST 24では、 変数 iから 「1J を 減算して、 得られた減算値を新たに変数 i として設定してステップ ST 22に戻 る。 このステップ S T 22〜ステップ ST 24の処理を繰り返すことにより図 1 2に示す処理が行われる。 その後、 連続シーンの最初の入力画像が重畳されると 変数 iが 「0」 となるため広画角画像の生成処理が終了される。

図 1 7のステップ ST 5では、 ステップ ST 3で算出された表示位置に入力画 像を表示させたとき、 入力画像が画像表示領域を超えてしまうか否かを判別する。 ここで、 入力画像が画像表示領域を超えてしまうことが無いときにはステツプ S T 7に進む。 また、 入力画像が画像表示領域を超えてしまうときにはステップ S T 6に進む。 ステップ ST 6では、 表示位置の補正を行う。 この表示位置の補正 では、 広画角画像と入力画像の表示位置を補正してステップ ST 7に進む。 ステ ΖΌ

ップ ST 7では、 広画角画像に入力画像を重畳して表示画像を生成する。

図 20は、 表示画像の生成動作を示すフローチャートである。 ステップ ST 3 1では、 変数 j を 「1」 に設定してステップ ST 32に進む。 ステップ ST 32 では、 変数 jの値が連続シーンのフレーム数 KFよりも大きいか否かを判別する。 ここで、 変数 j の値が連続シーンのフレーム数 KFよりも大きくないときにはス テツプ ST 33に進む。

ステップ ST 33では、 広画角画像に入力画像を重畳する。 なお、 画像を重畳 させる際には、 ステップ S T 3で算出された表示位置、 あるいはステップ ST 7 で表示位置の補正が行われているときには、 捕正された表示位置に基づいて広画 角画像と入力画像を重畳させる。 このとき、 入力画像と動きを検出した背景部分 の画像は一致したものとなる。 ステップ ST 34では、 入力画像を重畳させた画 像を j フレ^ "ム目の表示画像としてステップ S T 3 5に進む。 ステップ S T 3 5 では、 この表示画像を新たな広画角画像としてステップ ST 36に進む。

ステップ ST 36では、 新たな広画角画像を補正された表示位置に表示させた とき、 画像の欠落部分が生じているか否かを判別する。 ここで、 画像の欠落部分 が無いときにはステップ ST 38に進む。 また、 画像の欠落部分が生じたときに はステップ ST 37に進む。 ステップ ST 3 7では、 欠落部分に対応する画像を ステップ ST4で生成した広画角画像から取り出すことで、 欠落部分の画像を補 充してステップ ST 38に進む。

ステップ ST 38では、 変数 jに 「1」 を加算して、 得られた加算値を新たに 変数 j としてステップ S T 32に戻る。 このステップ S T 32〜ステップ S T 3 8の処理を繰り返すことで、 連続シーンの各入力画像から広画角の表示画像を生 成できる。

その後、 連続シーンの最後の入力画像が重畳されると変数 iが 「KF+ 1」 と なりステップ ST 32で変数 iカ 「KF」 よりも大きいと判別されると、 表示画 像の生成処理を終了する。

図 1 7のステップ ST 8では、 生成された表示画像を画像表示装置に対応させ て分割し、 画像出力信号を生成する。 例えば図 1に示すように 3つプロジェクタ 1 2L, 1 2C, 12Rを用いて、 表示画像をスクリーン 1 1L, 1 1 C, 1 1 Rに表 Z丄

示させる場合、 表示画像をスクリーン 1 1L， 1 1C, 1 1R毎に分割して、 この分 割画像の画像信号を画像出力信号 SDL, SDC, S DRとして、 プロジェクタ 1 2 L, 1 2C, 1 2 Rに供給する。

このように、 上述の形態によれば、 従来固定位置で表示とされていた入力画像 を、 入力画像内の画像動きに応じて表示位置が移動される画像として表示するこ とができると共に、 例えば背景部分が広画角画像として表示されるので、 臨場感 の高い、 あるいは理解しやすい視聴が可能となる。 また、 撮影時のカメラ動き、 あるいはカメラの向きに忠実な表現が可能であり、 実世界と同じ位置、 同じ方向 に画像が提示されるため、 視聴者は現実と同じ空間、 あるいは動きを視聴時に取 得することができる。 さらに、 画面自体の動きによって、 従来よりも大きな躍動 感を広画角の表示画像から得ることが可能であり、 視聴者自らの顔向きの動きな どにより、 完全受動的であった動き表現の視聴を、 視線を動かすというァクティ ブな操作で感じることが可能となる。

なお、 上述の画像処理装置 20-1は、 連続シーンを判別してから、 この連続シ ーンにおける全画面の動きべクトルに基づいて表示位置を移動させるものであり、 複数の連続シーンの画像出力信号 SDL, SDC, SDRをリアルタイムで生成する ことが困難である。 このため、 画像出力信号 SDL， SDC, SDRを記録媒体に記 録して、 その後記録媒体に記録されている画像出力信号 SDL, SDC, SDRを同 期して再生することにより、 複数のスクリーンを用いて、 広画角であると共に被 写体の動きに対応させて被写体の表示位置を移動させることができる。 また、 画 像信号 S Dinと表示位置決定部 23 1で決定された表示位置を示す表示位置情報 J O及ぴ連続シーン毎の広画角画像等を関係付けて記録媒体に記録し、 画像表示 を行う際には、 画像信号 S D inとこの画像信号 S D inに関係付けて記憶されてい る表示位置情報 J Oや広画角画像を記録媒体から読み出して画像出力信号 SDL， S DC, SDRも生成するものとしても良い。 この場合には、 画像出力信号 SDL, SDC, SDRを記録しておく必要がないので、 記録する信号量を少なくできる。 また、 映像コンテンツの送出側で上述の処理を行ってから送信を行うものとすれ ば、 画像信号 S Dinや表示位置情報 J O及ぴ広画角画像等を関係付けて記録して おくことなく、 臨場感の高い広画角の画像表示を行うことができる。 さらに、 画像表示領域を設定してから表示位置の決定や画像出力信号 S DL, S D C, S D Rの生成を行うことができるので、 スクリーンサイズやスクリーン数等 が変更されても容易に対応させて臨場感の高い画像表示を行うことができる。 また、 新たに映像ソースや別のフォーマットを作らなくても、 従来のテレビ用 やビデオ映像などのコンテンツの画像信号を用いて本願の処理を施すことで、 従 来の映像鑑賞以上の臨場感を得ることができる。

このように、 入力画像のシーンチェンジと入力画像内の画像動きを検出して、 検出されたシーンチェンジに基づいて判別された連続シーンの期間中における画 像動きに基づき、 連続シーンの期間中の入力画像を重畳させて、 入力画像よりも 広画角であって入力画像の位置が画像動きに応じて変化される表示画像が生成さ れる。 このため、 臨場感の高い広画角の画像表示を行うことができる。

さらに、 連続シーンの期間中に検出された画像動きに基づき、 入力画像の表示 位置を決定するものとし、 表示位置が決定された入力画像を重畳させて、 入力画 像よりも広画角の広画角画像を生成し、 表示位置に移動された入力画像を広画角 画像に重畳することで表示画像が生成される。 このため、 表示画像では、 画像動 きの検出された例えば入力画像の背景部分と広画角画像が一致した画像となり、 広画角画像に入力画像を重畳させても自然な表示画像を得ることができる。

また、 表示位置が決定された連続シーンの期間中の入力画像を逆時間順に順次 重畳することで広画角画像が生成される。 このため、 広画角画像を容易に生成で きる。 さらに、 生成した広画角画像のサイズが表示画像を表示する画像表示領域 のサイズよりも大きい場合、 連続シーンの期間中に広画角画像の表示位置が、 連 続シーンの期間中に検出された画像動きに基づいて移動されると共に、 広画角画 像の移動に伴い、 連続シーンの期間中の入力画像に対する表示位置が補正される。 このため、 入力画像が画像表示領域内に収まるように表示画像を生成できると共 に、 自然な表示画像を得ることができる。 また、 表示画像を表示する画像表示領 域が複数の表示領域で構成されているとき、 複数の表示領域に対応させて表示画 像が分割されるので、 画像表示領域の構成に応じて臨場感の高い画像表示を行う ことができる。

ところで、 固定された画枠に順次画像を表示する場合、 表示画像でのシーンの 切り替えを正しく把握しないと、 放送番組や映画等の内容を簡単に理解すること が困難な場合が生じてしまう。 また、 シーン切り替えが繰り返し行われると、 各 シーンの関連性を把握することも困難となる。 さらに、 前のシーンの画像を見て いないと、 次のシーンの内容を理解することができない場合も考えられる。 この ため、 画像処理装置 2 0 -2を用いて、 臨場感が高く理解しやすい画像表示を行う 場合を第 2の形態として説明する。

この画像処理装置 2 0 -2は、 入力画像の画像信号 S D inに基づいてシーンチェ ンジ検出を行うことによりシーン切り替えを判別して、 判別結果に基づきシーン 毎に画像表示位置を切り替える。 また、 画像表示位置を切り替える場合、 内容が 同一であるシーンや内容が連続しているシーン （以下 「関連シーン」 という） は、 関連シーン間に存在する他のシーンの数が少ないとき、 関連シーンであることを 容易に把握できるよう等しい位置に表示する。

図 2 1 A， 図 2 I Bは、 第 2の形態における画像表示動作を示している。 入力 画像のシーンが例えば図 2 1 Aに示す順番とされており、 シーン 2とシーン 4は 関連シーンである。 この場合、 図 2 I Bに示すように、 例えばシーン CN1の画像を スクリーン 1 1 Lに表示する。 次のシーン CN2の画像はスクリーン 1 1 Cに表示する と共に、 シーン CN3の画像はスクリーン 1 1 Rに表示する。 シーン CN4はシーン CN2 と関連するシーンであることから、 シーン CN2の画像が表示されているスクリーン 1 1 Cにシーン CN4の画像を表示する。 また、 各シーン CNの最後の画像を、 次のシ ーンが表示されるまで静止画として表示する。

ここで、 上述のように、 シーン毎に表示位置を切り替える場合、 画像処理装置 2 0 -2は、 リアルタイム処理あるいはオフライン処理で表示位置の切り換えを行 う。 リアルタイム処理の場合、 画像処理装置 2 0 -2は、 入力画像の画像信号 S D inに基づいてシーンチェンジ検出を行うと共に、 過去のシーンから関連シーンを 判別する。 このシーンチェンジ検出結果と関連シーン判別結果に基づいて、 入力 画像の表示位置をリアルタイムで切り替える。 さらに、 切り替えられた表示位置 に入力画像を表示する画像出力信号 S DL， S D C, S D Rを生成して出力する。 また、 オフライン処理の場合、 画像処理装置 2 0 - 2は、 蓄積されている画像信 号 S D inを読み出してシーンチェンジ検出を行う。 また、 シーンチェンジ検出に 0305403

24

よって検出された各シーンの関連性を判別して、 過去や未来のシーンから現シー ンの表示位置を決定する。 さらに、 決定した表示位置を示す表示位置情報 J Pを 画像信号 S Dinと関係付けて保持する。 その後、 画像表示を行う場合には、 入力 画像の画像信号 S Dinと表示位置情報 J Pを読み出して、 この画像信号 S Dinと 表示位置情報 J Pに基づき、 切り替えられた表示位置に入力画像を表示する画像 出力信号 SDL, SDC, SDRを生成して出力する。

図 22は、 リアルタイム処理を行う場合の画像処理装置 20 - 2aの構成を示して いる。 入力画像の画像信号 S Dinは、 シーンチェンジ検出部 21と表示位置制御 部 25 aの位置設定部 251およぴ表示制御部 27 aの位置切替部 271に供給 される。

シーンチェンジ検出部 21は、 画像信号 S Dinに基づいてシーンチェンジ検出、 すなわち連続シーンとこの連続シーンとは異なるシーンとのつなぎ目部分である 画像の不連続位置を検出する。 このシーンチェンジ検出部 2 1は、 上述の図 3や 図 6に示すように構成することで、 シーンチェンジ検出信号 S Cを生成できる。 位置設定部 251は、 シーンチェンジ検出信号 S Cが供給されたときに、 後述 する 1フレーム遅延部 252L, 252C, 252 Rから供給された前フレーム画像 出力信号 SDL - d， SDC-d, SDR- dと画像信号 S Dinとの差分を計算する。 さら に、 最も小さい差分値を判別して、 この差分値が所定値よりも小さいとき、 差分 値が最も小さくなる前フレーム画像信号に応じた画像表示位置を入力画像の表示 位置に設定する。 また、 最も小さい差分値が所定値よりも小さくないときには、 所定の順序で表示位置を切り替える。 このようにして設定した表示位置を示す表 示位置情報 J Pを、 位置切替部 27 1に供給する。

位置切替部 2 71は、 表示位置情報 J Pに基づき、 信号出力部 272L, 272 C, 272Rのいずれかに画像信号 S Dinを供給する。 信号出力部 272L, 272 C, 272Rは、 画像メモリを用いて構成する。 信号出力部 272Lは、 画像信号 S Dinが供給されたとき、 画像メモリに順次画像信号 SDinを書き込む。 また、 書 き込まれた画像信号 S Dinを読み出して 1フレーム遅延部 252Lに供給すると共 に画像出力信号 SDLとして出力する。 さらに、 信号出力部 272Lは、 画像信号 SDinの供給が停止されたとき、 最後のフレームの画像信号 SDinを保持して、 この保持している信号を繰り返し読み出すものとする。

信号出力部 272C, 272Rも信号出力部 272Lと同様に構成されており、 供 給された画像信号 S Dinを画像メモリに順次書き込む。 また、 書き込まれた画像 信号 S Dinを読み出して 1フレーム遅延部 252C, 252Rに供給すると共に、 画像出力信号 SDC， SDRとして出力する。 さらに、 画像信号 S Dinの供給が停 止されたときには、 最後のフレームの画像信号 S Dinを保持して、 この保持して いる信号を繰り返し読み出す。

ここで、 図 21 Aに示すシーン順序の画像信号 S Dinが画像処理装置 20-2aに 供給されたとき、 シーン CN1の画像信号 S Dinは、 例えば信号出力部 2 72Lに供 給されて画像出力信号 SDLとして出力される。 シーン CN2は、 シーン CN1と関連し ていないことから、 差分値が所定値よりも小さくならず、 シーン CN2の画像信号 S Dinは、 例えば信号出力部 272Cに供給されて画像出力信号 SDCとして出力さ れる。 シーン CN3もシーン CN1， CN2と関連していないことから、 シーン CN3の画像 信号 S Dinは、 例えば信号出力部 272Rに供給されて画像出力信号 SDRとして 出力される。 シーン CN4とシーン CN2は関連シーンであることから、 画像信号 SD inと前フレーム画像出力信号 S DC- dとの差分値が最小となると共に所定値よりも 小さくなる。 このため、 シーン CN4の画像信号 S Dinは、 シーン CN2の画像信号 S Dinが供給された信号出力部 272Cに供給されて画像出力信号 S DCとして出力 される。

このため、 画像処理装置 20- 2aからの画像出力信号 SDL, S DC, SDRによ つて、 図 2 1 Bに示す画像表示が行われて、 シーンの切り替えが明確となり、 理 解のしゃすい視聴が可能となる。 また、 撮影時のカメラ切り替えや編集時の画面 切り替えなどを表示位置の変化として表現できるので、 多彩な画像表示が可能と なる。 また、 過去のシーンが静止画として別画面に表示されるので、 過去のシー ンを見逃しても確認することができると共に、 シーン同士を比較することもでき る。 また、 関連シーンが同じ位置に表示されるので、 各シーンの関連性も把握す ることができる。

次に、 オフライン処理の場合について図 23を用いて説明する。 画像処理装置 20- 2bは、 蓄積部 29を有しており、 この蓄積部 29に入力画像の画像信号 SD inを記憶する。 また、 蓄積部 2 9に記憶されている画像信号 S D inは、 読み出さ れてシーンチェンジ検出部 2 1に供給される。

シーンチェンジ検出部 2 1は、 上述したようにシーンチェンジ検出信号 S Cを 生成して表示位置制御部 2 5 bの関連シーン判別部 2 5 3に供給する。 関連シー ン判別部 2 5 3は、 シーンチェンジ検出信号 S Cに基づき、 画像信号 S D inの各 シーンを検出すると共に、 後述する相関値算出部 2 5 4によって算出されたシー ン相関値を用いて、 関連シーンの判別を行う。

ここで、 関連シーンを同じ位置に表示するものとしても、 表示領域の数が限ら れているため、 関連シーンの間に他のシーンが数多く表示されてしまうと、 関連 シーンを同じ位置に表示しても、 視聴者はシーンの関連性を把握できない。 この ため、 所定のシーン範囲で関連シーンがあるとき、 関連シーンを同じ位置に表示 させる。 この関連シーンの判定では、 所定のシーン範囲を関連シーンの探索範囲 とすると共に、 この探索範囲を表示領域の数に応じて設定して、 この探索範囲内 で関連シーンの判定を順次行う。 例えば、 上述のように 3つの表示領域を用いる ときには、 未来 5シーンまでを探索範囲して、 シーン CN1に対してシ一ン CN6まで を探索範囲とする。 また、 シーン CN2に対してシーン CN7までを探索範囲とする。 以下同様に探索範囲を設定して、 関連シーンの判定を行う。

関連シーン判別部 2 5 3は、 探索範囲に含まれる各シーンの画像信号をシーン 単位で読み出すためのシーン読み出し情報 J Cを生成して、 蓄積部 2 9に供給す る。 蓄積部 2 9では、 シーン読み出し情報 J Cで示された各シーンの画像信号 S D inを読み出して、 相関値算出部 2 5 4に供給する。

相関値算出部 2 5 4では、 蓄積部 2 9から供給された画像信号を用いて、 探索 範囲内の先頭シーンと他のシーンとのシーン相関値 C Vをそれぞれ算出する。 このシーン相関値 C Vの算出では、 先頭シーンの最終フレームの画像信号と、 他のシーンにおける先頭フレームの画像信号を用いて、 上述のシーンチェンジ検 出と同様に正規化値を算出して、 この正規化値をシーン相関値 C Vとして関連シ ーン判別部 2 5 3に供給する。 なお、 シーン相関値 C Vとして相関係数を用いる ものとしても良いことは勿論である。

さらに、 シーン相関値 C Vの算出は、 平均化画像を用いるものとしても良い。 この平均化画像は、 シーン内の各フレームの画像を画素毎に加算してシーン内の フレーム数で除算することにより生成する。 このように、 平均化画像を用いるこ とによつて画像自体が平均化されることから、 先頭シーンにおける最終フレーム の画像と、 先頭シーンに関連した新しいシーンにおける先頭フレームの画像と力 ^s 異なる画像となっていても、 正規化値が小さくなる。 また、 先頭シーンの最終側 の複数フレームと、 他のシーンの先頭側複数フレームを用いて平均化画像を生成 するものとしてもよい。 この場合には、 1つのシーンの時間が長い場合であって も平均化画像の生成を速やかに行うことができる。 さらに、 2つのシーンが連続 しているようなとき、 正規化値を小さくできる。

関連シーン判別部 2 5 3では、 相関値算出部 2 5 4から供給されたシーン相関 値 C Vと閾値 R L slを比較して、 関連シーンを判別する。 例えばシーン相関値 C Vとして正規化値を用いた場合、 シーン相関値 C Vが閾値 R L sよりも小さいとき に、 関連シーンであると判別する。 また、 シーン相関値 C Vとして相関係数を用 いた場合、 シーン相関値 C Vが閾値 R L s2よりも大きいときに、 関連シーンであ ると判別する。

このようにして、 探索範囲毎に関連シーンの判別を行い、 この判別結果を示す 関連シーン判別情報 J Rを生成して位置設定部 2 5 5に供給する。

位置設定部 2 5 5は、 各シーンの表示位置を関連シーン判別情報 J Rに基づい て設定して、 この表示位置を示す表示位置情報 J Pを生成する。 この表示位置の 設定では、 各表示領域に各シーンを時間順に振り分ける。 次に関連シーンは同じ 表示領域に振り分ける。 また、 関連シーンが無いときには、 最も古いシーンの表 示領域に振り分ける。 ここで、 最も古いシーンの表示領域に、 関連シーンの振り 分けが予定されているときには、 次に古いシーンの表示領域に振り分ける。 また、 この表示領域にも関連シーンの振り分けが予定されているときには、 次に古いシ ーンの表示領域に振り分ける。 以下同様にして、 各シーンを各表示領域に振り分 けて、 シーン毎に決定した表示位置を示す表示位置情報 J Pを生成して画像信号 S D inと関係付けて蓄積部 2 9に記'慮させる。

図 2 4 A , 図 2 4 Bは、 例えば 3つの表示領域にシーン CN1からシーン CN10まで を表示する場合の表示位置の決定処理を示している。 ここで、 関連シーン判別情 報 J Rによって、 図 2 4 Aに示すように、 シーン CN2， CN4が関連シーンとされて おり、 .シーン CN3， CN7, CN9が関連シーンと判別されているものとする。

表示位置の決定処理では、 最初に各表示領域に対して時間順にシーンを振り分 ける。 例えば図 2 4 Bに示すように、 シーン CN1とシーン CN3は関連シーンでない ことから、 シーン CN1， CN2, CN3の表示位置をスクリーン 1 1 L， 1 1 C, 1 1 Rに 順次振り分ける。 次にシーン CN4の表示位置を決定する場合、 シーン CN2とシーン CN4が関連シーンであることから、 シーン CN4の表示位置は、 シーン CN2が表示され たスクリーン 1 1 Cに設定する。

シーン CN5の表示位置を決定する場合、 シーン CN5と関連するシーンがないと共 に、 最も時間的に古いシーン CN1が表示されているスクリーン 1 1 Lには、 関連シ ーンの表示予定がない。 このため、 シーン CN5の表示位置は、 シーン CN1が表示さ れたスクリーン 1 1 Cに設定する。

シ ン CN6の表示位置を決定する場合、 シーン CN6と関連するシーンがないと共 に、 最も時間的に古いシーン CN3が表示されているスクリーン 1 1 Rには、 関連シ ーンであるシーン CN7が表示される予定である。 また、 2番目に古いシーン CN4が 表示されているスクリーン 1 1 Cには、 関連シーンを表示する予定がない。 このた め、 シーン CN6の表示位置は、 シーン CN4が表示されたスクリーン 1 1 Cに設定する _c シーン CN7の表示位置は、 関連シーンであるシーン CN3が表示されたスクリーン 1 1 Rに設定する。 また、 同様な処理を行うことで、 シーン CN8の表示位置はスク リーン 1 1 L、 シーン CN9の表示位置はスクリーン 1 1 R、 シーン CN10の表示位置は スクリーン 1 1 Cに設定する。

このように、 関連シーンが過去あるいは未来に存在しているか否かに基づいて 表示位置の設定を行うことで、 関連シーンを同じ位置に表示させることができる。 次に画像表示を行う場合、 蓄積部 2 9に記憶されている画像信号 S D inと画像 信号 S D inに関係付けて記憶されている表示位置情報 J Pを読み出して、 表示制 御部 2 7 bの位置切替部 2 7 1に供給する。

位置切替部 2 7 1は、 上述したように表示位置情報 J Pに基づき、 信号出力部 2 7 2 L, 2 7 2 C, 2 7 2 Rのいずれかに画像信号 S D inを供給する。 信号出力部 2 7 2 L, 2 7 2 C, 2 7 2 Rは、 画像メモリを用いて構成する。 信号出力部 2 7 2 PC漏 3/05403

29

Lは、 画像信号 SDinが供給されたとき、 画像メモリに順次画像信号 SDinを書き 込む。 また、 書き込まれた画像信号 SDinを読み出して画像出力信号 SDLとして 出力する。 さらに、 信号出力部 272Lは、 画像信号 SDinの供給が停止されたと き、 最後のフレームの画像信号 SDinを保持して、 この保持している信号を繰り 返し読み出すものとする。

信号出力部 2 72C, 2 72 Rも信号出力部 272 Lと同様に、 供給された画像信 号 SDinを画像メモリに順次書き込む。 また、 書き込まれた画像信号 SDinを読 み出して画像出力信号 SDC， SDRとして出力する。 さらに、 画像信号 SDinの 供給が停止されたときには、 最後のフレームの画像信号 SDinを保持して、 この 保持している信号を繰り返し読み出す。

このように処理することで、 リアルタイム処理の場合と同様な画像表示や作用 効果を得ることができる。 さらに、 現シーンよりも後に表示されるシーンを考慮 して現シーンの表示位置が決定されるので、 リアルタイム処理に比べて、 関連シ ーンを等しい位置により正しく表示させることが可能となり、 画像表示の連続性 を高めることができる。

このように、 入力画像を表示する表示領域をシーン単位で切り替えることで、 シーンの切り替えを明らかにすると共に、 過去のシーンも現在のシーンと同時に 表示できる。 しかし、 動きのある画像表示は現在のシーンを表示している表示領 域のみであり、 他の表示領域では、 過去のシーンにおける最後の画像が静止画と して表示されている。 このため、 シーンの切り替えが明らかである反面、 臨場感 の乏しい画像表示となってしまう。 そこで、 シーンの切り替えが明らかであると 共に、 臨場感の高い画像表示を行うことができる画像処理装置について次に説明 する。

この画像処理装置では、 動きのある画像を表示する際に、 画像の動きに合わせ て表示位置を可変させるものである。 なお、 この画像処理装置においても、 リア ルタイム処理あるいはオフライン処理によって画像表示を行う。

まず、 図 25に画像処理装置の他の構成としてリアルタイム処理を行う画像処 理装置 20- 2cを示す。 入力画像の画像信号 SDinは、 シーンチヱンジ検出部 2 1 と動き検出部 22と表示位置制御部 25 cに供給される。 シーンチェンジ検出部 2 1はシーンチェンジ検出信号 S Cを生成して動き検出部 2 2と表示位置制御部 2 5 cに供給する。

動き検出部 2 2は、 シーンチヱンジ検出部 2 1からのシーンチェンジ検出信号 S Cに基づき、 シーン内の各フレーム画像に関して全画面の動き検出を行い、 表 示面積の広い部分の画像動き、 例えば背景部分の動きベクトルを検出する。 この 動き検出部 2 2は、 上述の図 8に示す構成とする。 動き検出部 2 2で生成された 動き検出情報 MV Dは、 表示位置制御部 2 5 cに供給される。

表示位置制御部 2 5 cでは、 動き検出情報 MV Dに基づき各フレームの画像の 表示位置を移動させる。 図 2 6は表示位置制御部 2 5 cと表示制御部 2 7 cの構 成を示している。

表示位置制御部 2 5 cの初期位置設定部 2 5 6では、 画像表示領域のサイズと 位置設定部 2 5 7から供給された前シーンの表示位置情報 J Q - pに基づいて、 画 像が表示されていない領域を判別する。 さらに、 この判別された領域の中央位置 を現在のシーンの初期表示位置 P Sとして位置設定部 2 5 7に供給する。

位置設定部 2 5 7は、 動き検出情報 MV Dに基づき、 各フレーム画像の画像表 示位置を初期表示位置 P Sから順次移動させる。 例えば、 動き検出部 2 2で背景 部分の動きを検出しているときには、 動き検出部 2 2で検出された動きとは逆方 向に表示位置を移動させる。 このように表示位置を移動することにより、 背景部 分を静止させて被写体の動きに合わせて現在のシーンの表示位置を移動させるこ とができる。 このようにして設定された表示位置を示す表示位置情報 J Qを生成 して表示制御部 2 7 cの書込読出制御部 2 7 3に供給する。 また、 現在のシーン における最後の表示位置を示す情報を表示位置情報 J Q - Pとして初期位置設定部 2 5 6に供給する。 なお、 位置設定部 2 5 7は、 表示位置を順次移動させたとき、 画像が画像表示領域を超えてしまう場合には表示位置の移動を禁止する。

表示制御部 2 7 cは、 表示位置情報 J Qに基づいて各フレーム画像の表示位置 を切り替える。 ここで表示位置の切り替えを行う場合、 例えば上述のように画像 表示領域が 3つの領域 （スクリーン 1 1 L， 1 1 C, 1 1 R) で構成されているとき には、 画像信号 S D inと表示位置情報 J Qに基づき、 各領域に対して画像表示を 行うための画像出力信号 S DL, S DC, S DRを生成しなければならない。 このた め、 例えば画像表示領域に対応した記憶領域を有する画像メモリを設けるものと し、 画像メモリに対する画像信号 S Dinの書込位置を、 表示位置情報 J Qに基づ いた位置とする。 このように画像信号 S Dinを書き込むものとすれば、 3つの領 域に対応した画像メモリの記憶領域から読み出した画像信号をそれぞれ用いるこ とで画像出力信号 SDL, SDC, SDRを容易に生成できる。

書込読出制御部 273は、 画像メモリ 274に画像信号 S Dinを書き込むため の書込制御信号 CWと、 画像メモリ 274に書き込まれている画像信号を読み出 すための読出制御信号 CRを生成して、 画像メモリ 274に供給する。 ここで、 書込読出制御部 27 3は、 表示位置制御部 25 cで設定された表示位置と対応す る記憶領域に画像信号 S Dinを記憶させるため、 表示位置情報 J Qに基づいて書 込制御信号 CWを生成する。 さらに、 書込読出制御部 273は、 シーンが切り替 えられたとき、 前シーンにおける最後のフレーム画像の画像信号を画像メモリ 2 74にそのまま保持させて、 静止画として表示させる。 なお、 シーンの切り替え はシーンチェンジ検出信号 SCを用いても良く、 また表示位置の移動量が所定量 を超えたときにシーンの切り替えと判別しても良い。 すなわち、 シーン間では、 異なるシーンの画像を異なる位置に表示することから、 表示位置の差分が 1フレ ーム画像分よりも大きくなる。 一方シーン内では被写体の動きに応じて表示位置 を移動させることから、 表示位置の差分は小さくなる。 このため、 フレーム間の 表示位置の差分に基づいて、 シーンの切り替えを判別できる。

画像メモリ 274は、 書込制御信号 CWに基づいて画像信号 S Dinを記憶する。 なお、 画像信号 S Dinが記憶されていない領域には、 例えば黒表示となる信号を 記憶させる。 さらに、 画像メモリ 2 74は、 書込読出制御部 2 73からの読出制 御信号 CRに基づき、 記憶領域に記憶されている画像信号を読み出して画像信号 SDeとして画像分割部 275に供給する。

画像分割部 275は、 画像信号 SDeから例えばスクリーン 1 1Lに対応する記 憶領域の信号を用いて画像出力信号 SDLを生成する。 同様に、 スクリーン 1 1C, 1 1Rに対応する記憶領域の信号を用いて画像出力信号 SDC， SDRを生成する。 このようにして生成した画像出力信号 SDLをプロジェクタ 1 2L、 画像出力信号 S DCをプロジェクタ 1 2C、 画像出力信号 SDRをプロジェクタ 1 2 Rにそれぞれ PC謂雇 403

32

供給することにより、 複数のスクリーンを利用して 1つ画像を表示できると共に、 表示画像が複数のスクリーンに跨るときには、 表示画像がスクリーン毎に分割さ れて表示される。 また、 画像信号 S D eが記憶されていない領域に黒表示となる信 号を記憶させたときには、 画像信号 S D inに基づく画像の周囲が黒表示となる。 なお、 表示制御部 2 7 cは、 表示位置情報 J Qに基づいた表示位置に画像を表 示するための画像信号を生成するものであれば良く、 画像メモリ 2 7 4に対する 画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。 例えば、 現在のシーンの画像信号や前シーンの最終フレームの画像信号を記憶す るフレームメモリを設けるものとして、 このフレームメモリからめ信号の読み出 しタイミングを表示位置情報 J Qに基づいて制御しても、 画像出力信号 S DL， S DC, S DRを生成できる。

次に、 画像処理装置 2 0 - 2cの動作について説明する。 なお、 説明を簡単とする ため動き検出情報 MV Dで示される動きべクトル方向の左右方向成分についての み説明する。

画像処理装置 2 0 - 2cに供給する画像信号 S D inは、 例えば図 2 7 Aに示すよう に、 静止している被写体 O B aをビデオカメラ 1 0 0で撮影する。 次に、 シーンを 切り替えて、 図 2 7 Bに示すように、 ビデオカメラ 1 0 0をパンユングさせて前 進， 後退， 前進の順に移動する被写体 O B bを撮影する。 さらに、 シーンを切り替 えて、 図 2 7 Cに示すように、 静止している被写体 O B cを撮影して得た画像信号 であるものとする。 また図 2 8 Aは、 画像信号 S D inに基づく画像であり、 フレ ーム F (g- 1) までがシーン CN(M)の画像、 フレーム F (g)〜フレーム F (g+k)がシ ーン CN(M+1)の画像、 フレーム F (g+k+1)からシーン CN(M+2)の画像である。

画像信号 S D inがフレーム F (g - 1)からフレーム F (g)となると、 シーンチェン ジ検出部 2 1は、 正規化値 Eあるいは相関係数 rに基づいて、 このシーンチェン ジ位置を検出する。

初期位置設定部 2 5 6では、 画像表示領域のサイズと過去のシーンの表示位置 情報 J Q - から、 画像が表示されていない領域を判別して、 図 2 8 Bに示すよう に、 この判別された領域の中央位置を、 シーン CN(M+1)の先頭フレームの表示位置 P S 1とする。 その後、 シーン CN(M+1)の各フレーム画像を動き検出情報 MV Dに 基づいて移動させる。 このため、 シーン CN (M+1)の画像の表示位置は、 被写体 O B bの動きに応じて移動される。

その後、 画像信号 S D inがフレーム F (g+k)からフレーム F (g+k+1)となると、 シーンチェンジ検出部 2 1は、 正規化値 Eあるいは相関係数 rに基づいて、 この シーンチェンジ位置を検出する。

初期位置設定部 2 5 6は、 画像表示領域のサイズと過去のシーンの表示位置か ら、 画像が表示されていない領域を判別して、 この判別された領域の中央位置を、 シーン CN(M+2)の先頭フレームの表示位置 P S 2とする。 また、 前シーンの最終フ レームの画像を静止画として表示する。

このように、 画像処理装置 2 0 - 2cによって、 シーンの切り替えが明らかである と共に、 臨場感の高い画像表示を行うことができる。

次に、 オフライン処理の場合における画像処理装置の構成を図 2 9に示す。 画 像処理装置 2 0 - 2dは、 蓄積部 2 9を有しており、 この蓄積部 2 9に画像信号 S D inを記憶する。 また、 蓄積部 2 9から読み出された画像信号 S D inは、 シーンチ ェンジ検出部 2 1と動き検出部 2 2に供給される。

シーンチェンジ検出部 2 1は、 シーンチェンジ検出信号 S Cを生成して動き検 出部 2 2と表示位置制御部 2 5 dに供給する。 動き検出部 2 2は、 シーン毎に動 き検出を行い、 動き検出情報 MV Dを生成して表示位置制御部 2 5 dに供給する。 表示位置制御部 2 5 dは、 シーンチェンジ検出信号 S Cと動き検出情報 MV D に基づき、 シーン内の画像の動き量や、 先頭フレームに対する最終フレームの変 位量に基づき、 各フレーム画像の表示位置を設定する。

図 3 0は、 表示位置制御部 2 5 dの構成を示している。 動き累積部 2 5 8は、 シーンチェンジ検出信号 S Cと動き検出情報 MV Dに基づき、 シーン毎に動き検 出情報 MV Dで示された動きべクトルを累積して、 動きべクトルの時間推移情報 である動き累積値 MV Tを生成する。 さらに、 動き累積値 MV Tに基づき第 1の 移動方向 （例えば右方向や上方向） の最大値 MV T - 1と、 第 1の方向とは逆方向 である第 2の移動方向 （ えば左方向や下方向） の最大値 MV T- 2を求め、 最大 値 MV T- 1と最大値 M V T- 2に基づき動き累積値 MV Tの振れ幅 LMをシーン毎 に算出する。 この動き累積部 2 5 8で算出した動き累積値 MV Tと振れ幅 L Mは、 初期位置設定部 2 5 9と移動補正部 2 6 0に供給する。

領域判別部 2 6 2には、 後述する位置設定部 2 6 1から前シーンの表示位置を 示す表示位置情報 J Q-Pが供給されており、 この表示位置情報 J Q-Pに基づき、 前シーンの最終フレーム画像が表示されておらず、 現シーンの画像が表示可能な 最大の表示領域を判別する。 さらに、 この表示領域を現シーンの表示可動範囲と して、 この表示可動範囲の可動幅 LWを求めて、 初期位置設定部 2 5 9と移動捕 正部 2 6 0に供給する。

初期位置設定部 2 5 9は、 振れ幅 L Mが可動幅 LW以上であるときには、 振れ 幅 L Mの中央値 MV Tctを求めて、 この中央値 MV Tctが可動幅 LWの中央とな るように、 先頭フレーム画像の表示位置を決定して初期表示位置 P Sする。 この 初期表示位置 P Sを位置設定部 2 6 1に通知する。 また、 振れ幅 LMが可動幅 L

Wよりも小さいときには、 現シーンの各フレーム画像が可動幅 L W内に収まると 共に、 現シーンの最終フレーム画像を表示して前シーンの表示は終了したとき、 次のシーンに対する可動幅 LWが最大となるように現シーンの先頭フレーム画像 の初期表示位置 P Sを設定する。 なお、 最初のシーンでは、 前シーンの画像が表 示されていないことから、 可動幅 LWは、 画像表示領域のサイズから表示画像の サイズを減算した値となる。

移動補正部 2 6 0は、 振れ幅 L Mが可動幅 LWを超えてしまうとき、 表示画像 が可動幅 L W内に収まるよう動き検出情報 MV Dを補正して、 動き検出情報 MV Eとして位置設定部 2 6 1に供給する。 また、 振れ幅 L Mが可動幅 LWを超えな いときには、 動き検出情報 MV Dの補正を行うことなく位置設定部 2 6 1に供給 する。

位置設定部 2 6 1は、 初期位置設定部 2 5 9から供給された初期表示位置 P S を先頭フレーム画像の表示位置とする。 その後、 動き検出情報 MV Eに基づき、 動き検出情報 MV Eで示された動きべクトルの方向とは逆方向に画像を移動させ た位置を表示位置として、 この表示位置を示す情報を表示位置情報 J Qとして生 成する。 さらに生成した表示位置情報 J Qを画像信号 S D inと関係付けて蓄積部 2 9に記憶させる。

次に画像表示を行う場合、 蓄積部 2 9に記憶されている画像信号 S D inと画像 信号 SDinに関係付けて記憶されている表示位置情報 J Qを読み出して、 表示位 置情報 J Qを書込読出制御部 273に供給すると共に画像信号 SDinを画像メモ リ 274に供給する。

書込読出制御部 273は、 上述したように、 画像メモリ 274に画像信号 SD inを書き込むための書込制御信号 CWと、 画像メモリ 2 74に書き込まれている 画像信号を読み出すための読出制御信号 CRを生成する。 また、 書込読出制御部 273は、 表示位置情報 J Qに基づいて書込制御信号 CWを生成して画像信号 S Dinの書込位置を制御することにより画像の表示位置を移動させる。

さらに、 シーン切替が行われたことを判別したときには、 前シーンの画像信号 を消去して次のシーンのための表示領域を設けるものとする。 なお、 シーン切替 は、 蓄積部 29にシーン分割に関する情報を記憶させて、 この情報を読み出すこ とで判別できる。 また、 上述のように表示位置の移動量に基づいて判別すること もできる。

画像メモリ 2 74は、 書込制御信号 CWに基づいて画像信号 SDinを記憶する。 なお、 現シーンの現フレーム画像の画像信号や前シーンの最終フレーム画像の画 像信号が記憶されていない領域には、 例えば黒表示となる信号を記憶させる。 ま た、 画像メモリ 274は、 書込読出制御部 273からの読出制御信号 CRに基づ き、 記憶領域に記憶されている画像信号を読み出して画像信号 SDeとして画像分 割部 275に供給する。

画像分割部 275は、 画像信号 SDeから画像出力信号 SDL, SDC, S DRを 生成する。 このようにして生成した画像出力信号 SDLをプロジェクタ 1 2レ 画 像出力信号 SDCをプロジェクタ 1 2C、 画像出力信号 S DRをプロジェクタ 1 2R にそれぞれ供給することにより、 複数のスクリーンを利用して 1つ画像を表示で きると共に、 表示画像が複数のスクリーンに跨るときには、 表示画像がスクリー ン毎に分割されて表示される。

次に、 画像処理装置 20-2dの動作について説明する。 なお、 説明を簡単とする ため動き検出情報 MVDで示される動きべクトル方向の左右方向成分についての み説明する。 上述の図 14 Bに示すように、 ビデオカメラ 1 00をパン-ングさ せて画像信号 SDinを生成したとき、 動き累積部 258では、 動き検出情報 MV Dで示された動きべクトルを累積して、 動きべクトルの時間推移情報である動き 累積値 MVTを生成する。 例えば、 フレーム F (g)からフレーム F (_g+k)までのパ ンニング量が小さいとき、 動き累積値 MVTは図 3 1 Aに示すものとなり、 パン ニング量が大きいときには図 3 1 Bに示すものとなる。 この動き累積値 MVTの 最大値 MVT- 1, MVT- 2に基づき動き累積値 MVTの振れ幅 LMをシーン毎に 算出する。

領域判別部 262は、 前シーンの表示位置情報 J Q- pを用いて画像の可動幅 L Wを求める。 すなわち、 図 32に示すように、 前シーンの最終フレームの画像 G Pが表示されておらず、 現シーンの画像 GNが表示可能な最大の表示領域 AWを、 表示位置情報 J Q-pと画像表示領域のサイズから判別する。 さらに、 画像 GNと 表示領域 AWのサイズから、 表示画像を移動できる範囲である可動幅 LWを求め る。

ここで、 図 3 3 Aに示すように表示領域 AWnに基づいて求めた可動幅 LWより も振れ幅 LMが小さいとき、 初期位置設定部 2 5 9は、 図 3 3 Bや図 3 3 C, 図 33 Dに示すように、 現シーンの各フレームの画像 GNが、 この可動幅 LW内に 収まると共に現シーンの最終フレームの画像 GN-eを表示して前シーンの画像 G Pを終了したとき、 次シーンに対する表示領域 AW(n+l)が最大となるように初期 表示位置 P Sを設定する。

例えば図 3 3 Bに示すように、 現シーンの先頭フレームの画像 GN Sと最終フ レームの画像 GN- e間の画像 GN- kが、 画像 GPとは逆方向に最も移動する場合、 この画像 GN_kが表示領域 AWnを超えないように初期表示位置 P Sを設定する。 また、 図 3 3 Cに示すように、 最終フレームの画像 GN- eが、 画像 G Pとは逆方 向に最も移動する場合、 この画像 GN-eが表示領域 AWnを超えないように初期表 示位置 PSを設定する。 また、 図 33Dに示すように、 画像の表示位置が画像 G Pの方向に移動する場合、 p最終フレームの画像 GN-eが、 画像 GPとは逆方向 に最も移動する場合、 次シーンに対する表示領域 A W (n+1)が最大となるように、 先頭フレームの画像 GN - sを画像 G Pとは逆方向に最も移動した位置とする初期 表示位置 P Sを設定する。

また、 図 34 Aに示すように振れ幅 LMが可動幅 LW以上であるとき、 初期位 5403

37

置設定部 2 5 9は、 図 3 4 Bに示すように、 振れ幅 LMの中央値 MV Tctが可動 幅 LWの中央となるように、 先頭フレーム画像の表示位置を決定して初期表示位 置 P Sとする。 さらに、 移動補正部 2 6 0によって、 表示画像が可動幅 L W内に 収まるよう動き検出情報 MV Dを捕正して、 動き検出情報 MV Eに基づき図 3 4 Cに示すように表示位置を決定する。

画像表示を行う際には、 前シーンの最終フレーム画像を表示すると共に、 現シ ーンでは、 表示位置情報 J Qに基づき、 表示位置を画像の動きに応じて移動しな がら表示する。 このため、 シーンの切り替えが明らかであると共に、 画像表示領 域を有効に利用して臨場感の高い理解しやすい画像表示を行うことができる。 ま た、 表示画像が可動幅 LW内に収まるよう表示位置が制御されるので、 表示画像 の一部が画像表示領域からはみ出して欠落してしまうことを防止して、 正しく画 像を表示できる。

さらに、 上述の処理はハードウエアだけでなくソフトウエアで実現するものと しても良い。 この場合のハードウェアの構成は、 例えば上述の図 1 6に示す構成 とする。

図 3 5は、 画像処理プログラムの全体構成を示すフローチャートである。 ステ ップ S T 4 1では、 シーンチェンジ検出を行う。 このシーンチェンジ検出は、 図 1 8に示す処理を行う。

ステップ S T 4 2では、 シーンの切り替えが検出されたか否かを判別してシー ン切り替えが判別されていないときにはステップ S T 4 1に戻る。 ステップ S T 4 2でシーン切り替えであると判別されたときにはステップ S T 4 3に進む。 ステップ S T 4 3では、 シーン切り替え後の画像の表示位置を、 シーン切り替 え前の画像の表示位置とは異なる位置に設定する。

ステップ S T 4 4では、 ステップ S T 4 3で判別された表示位置に新たなシー ンの画像を表示すると共に、 シーン切り替え前の画像を静止画として表示する画 像出力信号 S DL， S DC, S DRを生成してステップ S T 4 1に戻る。 この出力信 号の生成では、 フレームメモリにシーン切り替え前の画像とシーン切り替え後の 画像を記憶させるものとして、 画像の表示位置に応じたタイミングでフレームメ モリから画像信号を読み出して、 この読み出した画像信号をスクリーン毎に分割 することで、 画像出力信号 SDL, SDC， SDRを生成できる。 あるいは記憶領域 が画像表示領域に対応されているメモリに、 表示位置に応じてシーン切り替え前 の画像とシーン切り替え後の画像の画像信号を記憶させるものとして、 各スクリ ーンに対応する領域の信号を用いることで、 画像出力信号 SDL, SDC, SDRを 生成できる。

図 36から図 41に示すフローチヤ一トは、 上述の画像処理プログラムをさら に詳細に示したものであり、 上述の画像処理装置 20-2a， 20-2b, 20- 2c， 2 0- 2dの動作と対応するものである。

図 36は、 リアルタイム処理の場合を示している。 ステップ ST 5 1では、 ス テツプ ST 4 1と同様にシーンチェンジ検出を行う。 次に、 ステップ ST 52で、 シーンの切り替えが検出されたときにはステップ S T 53に進む。

ステップ ST 53では、 表示中の各表示画像との差分値を計算してステップ S T 54に進む。

ステップ ST 54では、 最も小さい差分値が所定値よりも小さいときには、 こ の最も差分値の少ない画像の表示位置をシーンチェンジ検出後の表示位置とする。 また、 最も小さい差分値が所定値よりも小さくないときには、 所定の順序で表示 位置を設定してステップ ST 55に進む。

ステップ ST 55は、 ステップ ST 54で判別された表示位置に新たなシーン の画像を表示すると共に、 シーン切り替えが検出される前のシーンを静止画とし て表示する画像出力信号 SDL, SDC, SDRを生成してステップ ST 5 1に戻る。 このように処理することで図 21 Bに示す画像表示を行うことができる。

図 3 7は、 オフライン処理の場合を示している。 ステップ ST6 1では、 蓄積 されている画像信号 S Dinを読み出してシーンチェンジ検出を行いステップ S T 62に進む。 ステップ ST 62で、 シーンチェンジが検出されたと判別されたと きにはステップ ST 63に進み、 シーンチェンジが検出されていないときにはス テツプ ST 6 1に戻る。

ステップ ST63では、 シーンチェンジ検出が完了したか否かを判別する。 こ のステップ ST 63で、 画像信号 S Dinに対するシーンチェンジ検出が完了した ときにはステップ ST64に進み、 完了していないときにはステップ S T 6 1に 戻る。

ステップ ST 64では、 判別された各シーンから関連シーンを判別する。 この 関連シーンの判別では、 探索範囲を設定して、 この探索範囲内での関連シーンを 判別する。

ステップ S T 65では、 関連シーンの判別結果を利用して、 関連シーンは同じ 位置に表示するように、 各シーンの表示位置を決定して、 この決定された表示位 置を示す表示位置情報 J Pを生成する。 ステップ ST 66では、 ステップ ST 6 5で生成された表示位置情報 J Pを画像信号 S Dinに関係付けて蓄積させる。 また、 表示動作を行う場合、 図 38のステップ S'T 71では蓄積されている表 示位置情報 J Pと画像信号 SDinを読み出してステップ ST 72に進む。 ステツ プ ST 72では、 シーン切り替えた生じたか否かを判別して、 シーン切り替えが 生じたときにはステップ ST 73に進み、 シーン切り替え前に表示されていたシ ーンの最終フレーム画像を静止画表示としてステップ S T 74に進む。 また、 シ ーン切り替えが判別されていないときにはステップ ST 74に進む。

ステップ ST 74では、 読み出した表示位置情報 J Pに基づき、 表示位置を決 定して画像信号 SDinから画像出力信号 SDL, SDC, SDRを生成してステップ ST71に戻る。 このように処理することで図 24 Bに示すように画像表示を行 うことができる。

図 39は、 リアルタイム処理で画像の動きに応じて表示位置を可変させる場合 の動作を示している。 ステップ ST8 1では、 シーンチェンジ検出を行いステツ プ ST 82に進む。 ステップ ST 82では、 シーンチェンジ検出の結果、 シーン チェンジが検出されたか否かを判別する。 ここで、 シーンチェンジが検出された ときにはステップ S T 83に進む。 ステップ ST 8 3では、 シーン切り替え前の シーンの最終フレーム画像を静止画として設定する。 また、 静止画として表示し ている最終フレーム画像がある場合には、 この表示を消去する。 ステップ ST 8 4では、 静止画が表示されていない領域に、 シーン切り替え後のシーンの初期表 示位置を設定してステップ S T 87に進む。

また、 ステップ ST82でシーンチヱンジが判別されていないときにはステツ プ ST 85に進み、 動き検出を行う。 この動き検出では、 全画面動き検出を行い、 表示面積の広い部分の動きべクトルを検出してステップ ST 86に進む。 ステツ プ S T 86ではステップ S T 85で検出された動きべクトルに基づき表示位置を 移動させる。 ここで表示位置を移動したとき、 表示画像が画像表示領域から外れ てしまう場合や表示されている静止画と重なりを生じてしまうときには、 表示位 置の移動を禁止してステップ S T 87に進む。

ステップ ST 87では、 ステップ ST84で設定された初期表示位置に新たな シーンの画像を表示すると共に、 シーン切り替えが検出される前のシーンを静止 画として表示する。 さらに、 ステップ ST 86によって順次移動された位置に画 像を表示する画像出力信号 SDL， SDC, SDRを生成してステップ ST8 1に戻 る。 このように処理することで、 図 28 Bに示す表示を行うことができる。

図 40は、 オフライン処理で画像の動きに応じて表示位置を可変させる場合の 動作を示している。 ステップ ST 91では、 蓄積されている画像信号を読み出し てシーンチェンジ検出を行いステップ S T 92に進む。 ステップ ST 92では、 シーンチェンジが検出されたか否かを判別する。 ここで、 シーンチェンジが検出 されていないときには、 ステップ ST 9 1に戻る。 また、 シーンチェンジが検出 されたときにはステップ ST 93に進む。 ステップ ST 93では、 シーン毎にシ ーン内の先頭フレーム画像から最終フレーム画像までの動き検出を行い、 検出し た動き検出情報 MVDに基づき、 動きべク トルを累積して動き累積値 MVTを生 成する。 さらに、 動き累積値 MVTからシーン毎に、 振れ幅 LMを算出してステ ップ ST 94に進む。 ステップ ST 94では、 前シーンの表示位置に基づいて表 示の可動幅 LWを算出し、 振れ幅 L Mと可動幅 L Wからシーン毎に画像の初期表 示位置 P Sを設定してステップ S T 95に進む。

ステップ ST 95では、 初期表示位置 P Sと動き検出情報 MVDに基づき、 各 フレーム画像の表示位置を設定して、 各フレームの画像の表示位置を示す表示位 置情報 J Qを生成する。 ステップ ST 96では、 生成した表示位置情報 J Qを画 像信号 S Dinに関係付けて蓄積させる。

また、 表示動作を行う場合、 図 41のステップ ST 101では蓄積されている 表示位置情報 J Qと画像信号 S Dinを読み出す。 ステップ ST 1 02では、 シー ンの切り替えた生じたか否かを判別して、 シーンの切り替えが生じたときにはス P T/JP03/05403

41

テツプ S T 1 0 3に進む。 ステップ S T 1 0 3では、 シーン切り替え前のシーン の最終フレーム画像を静止画として設定する。 また、 静止画として表示している 最終フレーム画像がある場合には、 この表示を消去するものとしてステップ S T 1 0 4に進む。

ステップ S T 1 0 2でシーンの切り替えが生じていないと判別されたときには ステップ S T 1 0 4に進む。

ステップ S T 1 0 4では、 表示位置情報 J Qに基づいた位置に現シーンの画像 を表示させる画像出力信号 S DL, S D C, S D Rの生成を行い、 ステップ S T 1 0 1に戻る。

このように処理することで、 図 3 3 B , 図 3 3 Cに示すように、 現シーンの画 像を動きに合わせて移動して表示できると共に前シーンの画像を静止画として合 わせて表示できる。

また、 上述の第 2の形態では、 画像処理装置 2 0 -2の内部に蓄積部 2 9を設け るものとしたが、 外部の情報記憶装置を利用するものとしても良い。 また蓄積部 2 9を着脱可能とすれば、 表示制御部の機能を有する他の画像表示システムでも、 この蓄積部 2 9に記憶された画像信号 S D inや表示位置情報 J P， J Qを利用す ることで、 上述のような臨場感が高く理解しゃすい画像表示を行うことが可能と なる。

さらに、 第 2の形態においても、 新たに映像ソースや別のフォーマットを作ら なくても、 既に存在しているコンテンツの画像信号を用いて本発明の処理を施す ことで、 従来よりも臨場感が高く理解のしゃすい画像表示を行うことができる。 この第 2の形態によれば、 入力画像のシーン切り替えが検出されて、 シーン切 り替えの検出結果に基づき、 シーン切り替え後の画像表示位置がシーン切り替え 前の画像表示位置と異なる位置に設定されて、 この設定された位置に、 シーン切 り替え後の画像が表示されると共に、 シーン切り替え前の画像が静止画として合 わせて表示させる。 このため、 シーンの切り替えを容易に把握することが可能と なり理解しゃすい画像表示を行うことができる。

また、 静止画として、 シーン切り替え前の複数シーンの画像が表示されて、 シ 一ン切り替え後の画像と複数の静止画とのと差分が最も小さい静止画の画像表示 位置にシーン切り替え後の画像表示位置が設定される。 あるいは、 シーン間の相 関値を算出して、 この相関値に基づいて関連するシーンが判別されて、 シーン切 り替え後の画像表示位置が、 関連するシーンの画像表示位置に設定される。 この ため、 ーンの関連性を容易に把握することができる。

また、 画像信号に基づいて入力画像の動きが検出されて、 静止画が表示されて いない表示領域に、 シーン切り替え後の最初の画像の画像表示位置が設定される と共に、 その後動き検出結果に基づいて画像表示位置が移動される。 このため、 被写体の動きに合わせて表示位置を移動させることが可能となり、 臨場感が高く 理解しやすい画像表示を行うことができる。

さらに、 シーン切り替え後の最初の画像の画像表示位置が、 静止画が表示され ていない表示領域の中央に設定される。 あるいは、 動き検出結果をシーン内で累 積した動き累積結果と、 静止画が表示されていない表示領域の大きさを判別した 領域判別結果に基づいて設定される。 このため、 静止画が表示されていない表示 領域を有効に活用して画像表示を行うことができる。 また次のシーンを表示する 際に、 次のシーンの移動範囲を広く設定ことも可能となる。

また、 シーン切り替え後の画像の画像表示位置を動き検出結果に基づいて移動 させたとき、 静止画が表示されていない表示領域を入力画像が超えてしまうと動 き累積結果と領域判別結果に基づいて判別されたとき、 入力画像が静止画が表示 されていない表示領域を超えないように、 画像表示位置の移動が捕正されるので、 表示画像の一部が欠落して表示されてしまうことを防止して、 正しく画像を表示 できる。

ところで、 撮影された広い空間を固定画枠の 2次元平面上に射影する画像表示 システムでは、 人間の錯覚を用いて空間の広がりやその中の動きを表現している ため、 現実空間との不整合による不自然さが付きまとう。 例えば、 被写体が動い ている場合、 現実空間では被写体の動きに合わせて視点を移動させなければ、 被 写体を認識し続けることができない。 しかし、 従来の画像表示システムでは、 視 聴者が視点の位置を固定画枠内に固定しておくだけで、 被写体を認識し続けるこ とが可能となると共に、 錯覚によって視点を移動させたこととなり、 不自然さが 付きまとう。 また、 番組や映画の制作は、 固定画枠内に様々の画像を表示するこ とを想定して行われていることから、 画像の表現力が狭められてしまい、 より現 実的な画像表示を行うことができない。 さらに、 撮影された自然画像を画像表示 システムで表示する場合に限らず、 編集された画像や、 ゲーム、 C G、 アニメな どのように画像をつくって表示する場合も同様のことが言える。 このため、 画像 処理装置 2 0 -3を用いて、 臨場感が高く不自然さのない画像表示を行う場合を第 3の形態として説明する。

この画像処理装置 2 0 -3は、 図 4 2に示すように、 情報取得装置 3 0から撮影 画像の画像信号 S Dvと画像の動きを示す動き情報 I FMを入手して、 この画像信 号 S Dvと動き情報 I F Mに基づき、 撮影画像の表示位置を画像の動きに応じて移 動させる表示位置移動処理を行う。 さらに、 この表示位置移動処理後の画像出力 信号 S DL， S DC, S DRを生成して、 図 1に示すように、 画像出力信号 S DLを プロジェクタ 1 2 L、 画像出力信号 S DCをプロジェクタ 1 2 C、 画像出力信号 S D Rをプロジェクタ 1 2 Rにそれぞれ供給する。

情報取得装置 3 0は、 撮像部 (例えばビデオカメラ) 3 1と、 この撮像部 3 1 の撮影方向の動き （撮影方向の変化） を取得して動き情報 I FMを生成する動き 情報生成部 3 2を有している。

撮像部 3 1は、 撮影画像の画像信号 S Dvを生成して画像処理装置 2 0 -3に供給 する。 動き情報生成部 3 2は、 撮像部 3 1における撮影方向を手動で動かす場合、 例えば磁気センサや三次元ジャイロなどを用いた角速度センサあるいは三次元加 速度センサ等を用いて構成する。 このセンサを撮像部 3 1に取り付けて撮像部 3 1の姿勢変化を検出することで、 撮影方向についての動きを取得する。 さらに、 取得した動きを示すセンサ信号を動き情報 I F Mとして画像処理装置 2 0 - 3に供 給する。

また、 撮像部 3 1における撮影方向が遠隔制御される場合、 この遠隔制御のた めの制御データを動き情報 I F Mとして用いる。 例えば図 4 3に示すように、 外 部の遠隔制御装置から動き情報 I FMとして制御データが供給されたとき、 この 動き情報 I FMを制御部 3 6に供給すると共に、 画像処理装置 2 0 -3に供給する。 制御部 3 6は、 供給された動き情報 I F Mに基づき駆動信号 S Mdを生成して方向 調整部 3 7に供給する。 方向調整部 3 7は、 例えば雲台を用いて構成されている PC漏雇 403

44

と共に、 この方向調整部 37には撮像部 3 1が取り付けられている。 方向調整部 3 7は駆動信号 SMdに基づき撮像部 3 1の撮影方向を変更して、 動き情報 I FM に基づいたパン動作やチルト動作を行う。 このように動き情報 I FMとして制御 データを用いる場合、 センサ等を撮像部 3 1に設ける必要がないので、 情報取得 装置 30が安価で簡単な構成となる。

画像処理装置 20-3の表示位置算出部 281は、 情報取得装置 30から供給さ れた動き情報 I FMに基づき画像の表示位置を決定して、 この決定した表示位置 を示す表示位置情報 I P Sを画像移動部 282に供給する。 画像移動部 282は、 情報取得装置 30から供給された画像信号 SDvに基づく画像の表示位置を、 表示 位置算出部 28 1から供給された表示位置情報 I P Sで示された位置に設定する。 例えば、 図 44 Aに示すように、 スクリーン 1 1L， 1 1C, 1 1Rで形成される表 示領域 ARに対応させて、 図 44 Bに示すように画像メモリ 1 5 1を設けるもの とし、 画像信号 SDvを画像メモリ 1 5 1に書き込む際の書き込み位置を、 表示位 置情報 I P Sに基づいて制御することで、 画像の表示位置を表示位置情報 I P S で示された位置に設定できる。

画像出力信号生成部 283は、 表示位置が移動された画像を表示するための画 像信号を表示装置に応じて生成する。 例えばスクリーン 1 1L， 1 1C, 1 1Rを用 いて画像表示を行う場合、 これらのスクリーン 1 1L, 1 1C, 1 1Rを用いて表示 位置の移動が行われた画像を表示するため画像出力信号 SDL， SDC, SDRを生 成する。

ここで、 上述したように、 画像移動部 282では、 表示領域 A Rに対応して設 けた画像メモリ 1 51を用いて、 表示位置の移動された画像の画像信号を記憶す る場合、 画像メモリ 1 5 1の各スクリーンに対応する領域毎に信号を読み出すこ とで、 画像出力信号 SDL, SDC, SDRを簡単に生成できる。 例えばスクリーン 1 1Uこ対応した領域 1 5 1Lから信号を読み出すことで画像出力信号 SDLを簡単 に生成できる。 同様に、 スクリーン 1 1 C, 1 1Rに対応した領域 1 5 1C, 15 1 Rから信号を読み出すことで画像出力信号 S DC, SDRを簡単に生成できる。 なお、 画像メモリ 15 1において、 画像信号 SDvが書き込まれていない領域に黒レベル の信号を書き込むものとすれば、 スクリーン上に撮影画像のみを表示できる。 また画像移動部 282は、 1画面分の画像信号 SDvを記憶する画像メモリと、 記憶されている画像信号 SDvを読み出す際に、 表示位置情報 I P Sに基づいて読 み出しァドレス位置を変換するァドレス変換部を設けるものとしても良い。 この 場合、 画像出力信号生成部 283は、 表示領域 AR上の位置を指定して画像メモ リに対する信号の読み出しを行い、 読み出された信号を用いて画像出力信号 SD L， SDC, SDRを生成する。 ここで、 画像移動部 282は、 指定された表示領域 AR上の位置が画像の表示位置となったときに、 画像メモリに記憶されている画 像信号 SDvが読み出されるようにアドレス変換を行う。 このようにァドレス変換 を行えば、 画像表示領域分の記憶容量を有した画像メモリを用いることなく設け ることなく画像出力信号 SDL, SDC, SDRを生成できる。 なお、 指定された表 示領域 AR上の位置が画像の表示位置でないときには、 黒レベルの信号を画像出 力信号生成部 283に供給することで、 スクリーン上に撮影画像のみを表示でき る。

次に画像提示システムの動作について説明する。 ここで、 情報取得装置 30の 撮像部 3 1は、 例えば NTS C方式などの SDサイズ （720画素 X 480ライ ン） の画像信号 SDvを生成する。 また、 表示領域 ARのサイズは、 例えば SDサ ィズの画面を横方向に 3画面並べたサイズ （21 60画素 X 480ライン） とし て、 撮像部 31での撮影画像よりも広画角の画像表示領域を設ける。 なお、 本形 態では、 説明を簡単とするため、 画像信号 SDvに基づく画像の垂直方向サイズと 表示領域 ARの垂直方向サイズが等しい場合を説明する。

情報取得装置 30の動き情報生成部 32は、 センサからの出力信号や制御デー タに基づき、 動き情報 I FMとして例えば水平方向の向きの角速度 Yacoを生成す る。 画像処理装置 20-3の表示位置算出部 28 1は、 動き情報 I FMに基づいて 画像の表示位置を算出する。 この表示位置の算出では、 撮像部 3 1の撮影方向と 視聴者から見たときの画像提示方向が一致するように表示位置を設定する。 この ため、 図 45 Aに示すように、 撮像部 3 1の基準方向 QFを視聴者から見たとき の正面方向として、 撮像部 3 1の撮影方向が基準方向 QFに対して右方向に角度 「Φ」 を有する場合、 図 45 Βに示すように、 画像提示方向は正面方向に対して 右方向に角度 「φ」 を有するものとする。 なお、 図 45Α, 図 45 Βにおいて、 角度 「θ」 は、 視聴者が 1つのスクリーン全面を認識する際の水平方向の視野角 である。 つまり 3つのスクリーンを用いて、 視野角 「3 Θ」 の範囲内で画像表示 が行われる。

このように、 画像表示の範囲が限られている場合、 撮像部 3 1の撮影方向に応 じて画像の表示位置を移動させると、 角度 「Φ」 が大きい場合には、 画像の表示 位置がスクリーンから外れてしまう。 そこで、 限られた画像表示範囲内で撮像部 3 1の水平動きをなるベく忠実に表現するために、 動き情報生成部 3 2から動き 情報 I FMとして供給された角速度 Yawに従って画像の表示位置を移動させる。 図 4 6 A, 図 4 6 Bは、 表示位置の算出動作を示している。 表示する画像の更 新周波数、 例えばフレーム周波数が 6 OH zのとき、 （1Z60) 秒あたりの撮 像部 3 1の移動角度は、 角速度 Yacoを時間で除することにより算出でき、 この移 動角度を 「ω」 とする。 なお、 図 4 6 Βに示すように、 表示領域 ARは多角面と なっているため、 厳密には画像上の座標と水平方向の角度は異なるが、 表示領域 ARを円柱面に近似して、 水平方向角度と水平方向の座標位置は線形の関係にあ ると仮定して計算する。

このように表示位置の算出のための条件設定を行う場合、 図 4 6 Αに示すよう に 「n— 1」 フレームと 「n」 フレームとの間に撮影方向が移動角度 0)だけ移動 されていることが動き情報 I FMで示されたとき、 この移動角度 ωを式 （7) に 代入することで、 図 4 6 Βに示すように、 表示する 「η」 フレーム画像の中心を 示す表示位置 「Χη」 を示すように決定できる。

なお、 「L」 は 1画面の水平画素数 （例えば L= 7 2 0画素） であり、 「θ」 は 上述のように水平方向の視野角 （例えば 4 8度） である。 また、 「Χη- 1」 は 1フ レーム前の画像の座標を示しており、 「XnJ の単位は画素となる。

ここで、 正面を座標の基準 「0」 としたとき、 表示位置 「Xn」 が 「一 L」 より も小さくなる場合や表示位置 「Xn」 力 S 「L」 よりも大きくなると、 表示画像が表 示領域 ARを超えてしまう。 このため、 表示位置 「Xn」 力 S 「一 L≤Xn≤ Lj の 条件を満たすとき、 画像の中心が式 （7) で算出した表示位置 「XnJ となるよう に表示画像の移動を行う。 また、 表示位置 「Xn」 力 S 「Xn<— L」 の条件を満た すとき、 表示画像が表示領域 ARを超えてしまうことがないように、 表示領域 A

Rの左側端と表示画像の左側端が一致するように表示画像の位置を設定する。 さ らに、 表示位置 「Xn」 力 S 「Xn>L」 の条件を満たすとき、 表示画像が表示領域 ARを超えてしまうことがないように、 表示領域 A Rの右側端と表示画像の右側 端が一致するように表示画像の位置を設定する。

このように表示位置を決定することで、 図 47 Aに示すように、 撮像部 31で は動きのある被写体 O B dが撮影画面の中央位置となるように撮影を行って画像信 号 SDvを生成したとき、 スクリーン 1 1L， 1 1C, 1 1Rには、 図 47 Bに示す ように、 動きのある被写体 OBdが、 実際の動き合わせて移動して表示されるので、 臨場感が高く不自然さのない画像表示を行うことができる。 また、 基準方向に対 する撮影方向の角度 「<ί>」 が大きくなつても、 表示画像が表示領域 ARから外れ てしまうことも防止できる。

さらに、 実際の動きに合わせて表示位置を移動させて画像表示を行う処理は、 リアルタイムあるいはオフラインのいずれでも行うことができる、

リアルタイムで画像表示を行う場合、 図 48に示すように 情報取得装置 30 には画像信号 SDvと動き情報 I FMに基づいて伝送信号 TDを生成して送信する 送信部 39を設ける。 また、 画像処理装置 20 - 3は、 伝送信号 TDを受信して、 動き情報 I FMを表示位置算出部 281に供給すると共に画像信号 SDvを画像移 動部 282に供給する受信部 285を設け、 送信部 39と受信部 285とを有線 あるいは無線の伝送路を介して接続する。 なお、 送信部 39では符号化処理を行 うと共に受信部 285では復号化処理を行うものとすれば、 伝送信号 TDの信号 量を削減できる。 また、 多重化処理等を行うものとすれば、 異なる番組等の画像 を同時に伝送できる。

オフラインで画像表示を行う場合、 図 49Aに示すように、 情報取得装置 30 で生成した画像信号 SDvと動き情報 I FMを情報蓄積装置 60に供給する。 情報 蓄積装置 60は、 光学的手段や磁気的手段を用いて、 画像信号 SDvと動き情報 I FMを記録媒体に蓄積する。 なお、 記録媒体は、 情報蓄積装置 60に固定されて いるものあっても良く、 また交換可能なものであっても良い。 画像表示を行う際 には、 情報蓄積装置 60に蓄積されている画像信号 SDvと動き情報 I FMを読み 出して画像処理装置 20-3に供給することで、 上述のように画像の動きにあわせ て表示位置を移動させることができる。 なお、 画像信号 SDvと動き情報 I FMを 情報蓄積装置 60に蓄積する場合、 画像信号 SDvと動き情報 I FMのタイミング がー致しないと、 画像の動きと表示位置の移動が同期しなくなり、 画像の動きが 無いときに表示位置が移動されてしまう等の不具合を生じるおそれがある。 この ため、 画像信号 S Dvと動き情報 I FMを同期して再生できるように情報蓄積装置 60に蓄積させる。

また、 情報蓄積装置 60に蓄積する情報は、 画像信号 SDvと動き情報 I FMに 限られるものではなく、 図 49 Bに示すように、 画像処理装置 20- ³で生成した 画像出力信号 SDL， SDC, SDRを蓄積することもできる。 この情報蓄積装置 6 0に蓄積されている画像出力信号 SDL， SDC, SDRを読み出してプロジェクタ 1 2L, 1 2C, 12 Rに供給すれば、 画像の動きにあわせて表示位置を移動させる ことができる。

このように、 情報蓄積装置 60に画像信号 SDvと動き情報 I FMを蓄積すれば、 画像出力信号 SDL, SDC, SDRを蓄積する場合に比べて情報量を少なくできる。 また、 画像出力信号 SDL, SDC, SDRを蓄積すれば、 画像表示の際に演算処理 を行う必要がないので、 容易に画像表示を行える。

さらに、 リアルタイムあるいはオフラインで画像表示を行うことができるので、 例えば局側では、 番組の送信あるいは配信時に画像信号 SDvと動き情報 I FMを 同時に送信する。 また視聴者側には、 画像処理装置 20-3やスクリーンおよぴプ ロジェクタを設けるものとすれば、 臨場感の高い番組視聴が可能となる。 また、 上述の図 49A, 図 49 Bにおける情報蓄積装置 60として磁気テープや光ディ スク等を用いるものとして、 図 5 OAに示すように配布や販売が可能なパッケ一 ジメディア化すれば、 このパッケージメディア 61をプレーヤ 70で再生するこ とにより、 臨場感の高い画像提示を行うことができる。 さらに、 臨場感の高い画 像提示を行うことができるコンテンツを広く流通させることができる。 なお、 パ ッケージメディア 61に画像信号 SDvと動き情報 I FMを記録する場合、 プレー ャ 70は、 上述の画像処理装置 20 - 3の機能を有するものとする。

また、 情報蓄積装置 60としてハード ·ディスク装置等のストレージ 62を用 „

₄₉ PCT/JP03/05403 いるものとすれば、 図 5 0 Bに示すように、 フィルムを用いることなくスクリー ンに画像を表示する電子映画館等になどに対して、 ス トレージ 6 2に記憶されて いる情報を配信することで、 より現実的で臨場感の高い映画鑑賞が可能になる。 なお、 ス トレージ 6 2に画像信号 S D vと動き情報 I F Mを記録する場合、 ス トレ ージ再生装置 7 5は、 上述の画像処理装置 2 0 - 3の機能を有するものとする。

さらに、 上述の画像処理装置 2 0 -3における処理は、 ハードウェアだけでなく ソフトゥ アで実現するものとしても良い。 この場合の構成は、 例えば上述の図 1 6に示す構成とする。

図 5 1は、 画像処理プログラムの構成を示すフローチャートである。 ステップ S T 1 1 1では、 画像信号 S Dvと動き情報 I F Mを取得してステップ S T 1 1 2 に進む。 ステップ S T 1 1 2では、 撮影方向と視聴者から見たときの画像提示方 向が一致するように表示位置を設定して、 動き情報 I F Mに基づき表示位置を算 出する。 ステップ S T 1 1 3では、 ステップ S T 1 1 3で算出された位置となる ように、 画像信号 S Dvに基づく画像の表示位置を移動させる。 ステップ S T 1 1 4では、 表示位置を移動させた画像から画像出力信号 S DL, S DC, S DRを生成 して処理を終了する。

このように、 撮影画像の画像信号と撮影方向の動きに応じた動き情報を生成し、 撮影画像よりも広画角の画像表示領域を設けて、 画像出力信号に基づき画像表示 を行い、 画像出力信号に基づく画像が、 前記撮影画像の表示位置を前記動き情報 に基づき前記画像表示領域で移動する画像となるように、 前記画像信号と前記動 き情報に基づき前記画像出力信号が生成される。 このように、 撮影画像の動きに 応じて画像表示位置が移動されるので、 臨場感が高く不自然さの少ない画像表示 を簡単な構成で行うことができる。

また、 動き情報生成手段が撮像手段に取り付けられて、 画像信号と動き情報が 同時に生成される。 また、 撮像手段の撮影方向を制御するために用いる情報が動 き情報とされるので、 実際の画像の動きにあわせて表示位置を移動させることが できる。

さらに、 撮影方向の動きと撮影画像の表示位置の移動が等しくなるように画像 出力信号が生成されるので、 視聴者は現実と同じ空間あるいは動きを視聴時に取 得することができる。

また、 生成された画像信号と動き情報が伝送路を介して伝送されて処理される ので、 リアルタイムで画像表示を行うことができる。 また、 画像信号と動き情報 が蓄積されて、 その後蓄積された画像信号や動き情報が読み出されて画像出力信 号の生成が行われるので、 オフラインでも臨場感の高い画像表示を行うことがで きる。

なお、 上述の形態におけるスクリーンやプロジェクタは例示的なものであり、 画面サイズや数も自由に変更可能である。 また、 他の種類のディスプレイ、 例え ば 1面の広画角ディスプレイや、 シリンドリカルなどの曲面ディスプレイなどを 用いてもよい。 このように、 表示画像のサイズよりも画像表示領域が大きければ、 現実世界に忠実で臨場感の高い画像表示が可能である。

このように、 本発明は上述した第 2の形態から、 以下の技術的特徴も有するも のである。

(A 1 ) 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検 出するシーンチェンジ検出手段と、

前記シーンチェンジ検出手段での検出結果に基づき、 シーン切り替え後の画像 表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する表示位置制 御手段と、

前記表示位置制御手段で設定された位置に、 前記シーン切り替え後の画像を表 示させると共に、 前記シーン切り替え前の画像を静止画として合わせて表示させ る表示制御手段とを有する画像処理装置。

(A 2 ) 前記表示制御手段では、 前記静止画として前記シーン切り替え前の 複数シーンの画像を表示するものとし、

前記表示位置制御手段は、 前記シーン切り替え後の画像と前記複数の静止画と のと差分を検出して、 該差分の最も小さい静止画の画像表示位置を前記シーン切 り替え後の画像表示位置に設定する （A 1 ) に記載の画像処理装置。

(A 3 ) 前記表示位置制御手段は、 シーン間の相関値を算出する相関値算出 手段と、

前記相関値に基づいて関連するシーンを判別する関連シーン判別手段とを有し、 前記シーン切り替え後の画像表示位置を、 関連するシーンの画像表示位置に設 定する （A 1 ) に記載の画像処理装置。

(A 4 ) 前記画像信号に基づいて前記入力画像の動きを検出する動き検出手 段を設け、

前記表示位置手段では、 前記静止画が表示されていない表示領域にシーン切り 替え後の最初の画像の画像表示位置を設定すると共に、 その後前記動き検出手段 での動き検出結果に基づいて画像表示位置を移動させる （A 1 ) に記載の画像処

(A 5 ) 前記表示位置手段では、 前記静止画が表示されていない表示領域の 中央に、 前記シーン切り替え後の最初の画像の画像表示位置を設定する （A 4 ) に記載の画像処理装置。

( A 6 ) 前記表示位置制御手段は、

前記動き検出結果をシーン内で累積する動き累積手段と、

前記静止画が表示されていない表示領域の大きさを判別する領域判別手段を有 し、

前記シーン切り替え後の最初の画像の画像表示位置は、 前記動き累積手段で得 られた動き累積結果と前記領域判別手段で得られた領域判別結果に基づいて設定 する （A 4 ) に記載の画像処理装置。

( A 7 ) 前記表示位置制御手段は、

前記シーン切り替え後の画像の画像表示位置を前記動き検出結果に基づいて移 動させたとき、 前記静止画が表示されていない表示領域を前記入力画像が超えて しまうと前記動き累積結果と前記領域判別結果に基づいて判別されたとき、 前記 入力画像が前記静止画が表示されていない表示領域を超えないように、 画像表示 位置の移動を捕正する移動補正手段を有する （A 6 ) に記載の画像処理装置。

(A 8 ) 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検 出し、

前記シーン切り替えの検出結果に基づき、 シーン切り替え後の画像表示位置を シーン切り替え前の画像表示位置と異なる位置に設定し、

前記設定された位置に、 前記シーン切り替え後の画像を表示させると共に、 前 記シーン切り替え前の画像を静止画として合わせて表示させる画像処理方法。

(A9) 前記静止画として、 前記シーン切り替え前の複数シーンの画像を表 示するものとし、

前記シーン切り替え後の画像と前記複数の静止画とのと差分を検出して、 該差 分の最も小さい静止画の画像表示位置を前記シーン切り替え後の画像表示位置に 設定する （A8) に記載の画像処理方法。

(A10) シーン間の相関値を算出し、

前記相関値に基づいて関連するシーンを判別し、

前記シーン切り替え後の画像表示位置を、 関連するシーンの画像表示位置に設 定する （A8) に記載の画像処理方法。

(Al l) 前記画像信号に基づいて前記入力画像の動きを検出し、 前記静止画が表示されていない表示領域にシーン切り替え後の最初の画像の画 像表示位置を設定すると共に、 その後前記動き検出結果に基づいて画像表示位置 を移動させる （A8) に記載の画像処理方法。

(A12) 前記静止画が表示されていない表示領域の中央に、 前記シーン切 り替え後の最初の画像の画像表示位置を設定する （Al l) に記載の画像処理方 法。

(A13) 前記シーン切り替え後の最初の画像の画像表示位置は、 前記動き 検出結果をシーン内で累積した動き累積結果と、 前記静止画が表示されていない 表示領域の大きさを判別した領域判別結果に基づいて設定する （Al l) に記載 の画像処理方法。

(A14) 前記シーン切り替え後の画像の画像表示位置を前記動き検出結果 に基づいて移動させたとき、 前記静止画が表示されていない表示領域を前記入力 画像が超えてしまうと前記動き累積結果と前記領域判別結果に基づいて判別され たとき、 前記入力画像が前記静止画が表示されていない表示領域を超えないよう に、 画像表示位置の移動を補正する （A13) に記載の画像処理方法。

(A 15) コンピュータに、

入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する手順 と、 前記シーン切り替えの検出結果に基づき、 シーン切り替え後の画像表示位置を シーン切り替え前の画像表示位置と異なる位置に設定する手順と、

前記設定された位置に、 前記シーン切り替え後の画像を表示させると共に、 前 記シーン切り替え前の画像を静止画として合わせて表示させる手順を

実行させる画像処理プログラム。

また、 本発明は上述した第 3の形態から、 以下の技術的特徴も有するものであ る。

( B 1 ) 撮影画像の画像信号と撮影方向の動きに応じた動き情報を生成する 情報生成手段と、

前記撮影画像よりも広画角の画像表示領域を用いて、 画像出力信号に基づいた 画像表示を行う画像表示手段と、

前記画像出力信号に基づく画像が、 前記撮影画像の表示位置を前記動き情報 に基づき前記画像表示領域で移動する画像となるように、 前記画像信号と前記動 き 報に基づき前記画像出力信号を生成する画像処理手段を有する画像表示シス テム。

(B 2 ) 前記情報生成手段は、 撮影画像の画像信号を生成する撮像手段と、 前記動き情報を生成する動き情報生成手段を有し、

前記動き情報生成手段はセンサを用いて形成し、

前記動き情報生成手段を前記撮像手段に取り付けることで、 前記画像信号と前 記動き情報を同時に生成する （B 1 ) に記載の画像表示システム。

(B 3 ) 前記情報生成手段は、 撮影画像の画像信号を生成する撮像手段と、 前記撮像手段の撮影方向を制御する方向制御手段とを有し、

前記方向制御手段で撮影方向を制御するために用いる情報を前記動き情報とす ることで、 前記画像信号と前記動き情報を同時に生成する （B 3 ) に記載の画像 表示システム。

( B 4 ) 前記画像処理手段は、 前記撮影方向の動きと前記撮影画像の表示位 置の移動が等しくなるように前記画像出力信号を生成する （B 1 ) に記載の画像 表示システム。

( B 5 ) 前記情報生成手段で生成された画像信号と動き情報を、 伝送路を介 して前記画像処理手段に供給する （B 1) に記載の画像表示システム。

(B 6) 前記情報生成手段で生成された画像信号と動き情報を、 情報蓄積手 段に蓄積させるものとし、

前記画像処理手段は、 前記情報蓄積手段に蓄積されている画像信号と動き情報 を用いて前記画像出力信号を生成する （B 1) に記載の画像表示システム。

(B 7) 画像信号と撮影方向の動きに応じた動き情報を用いて画像表示用の 画像出力信号を生成する画像処理装置において、

撮影方向の動きに応じた動き情報に基づいて、 画像の表示位置を決定する表示 位置算出手段と、

前記表^位置算出手段で決定された表示位置に、 前記画像信号に基づく画像を 移動させる画像移動手段と、

前記画像移動手段で移動された画像の画像信号を用いて前記画像出力信号を生 成する画像出力信号生成手段とを有する画像処理装置。

(B 8) 前記位置算出手段は、 前記動き情報に基づき、 前記撮影方向の動き と前記画像の表示位置の移動が等しくなるように前記表示位置を決定する （B 7) に記載の画像処理装置。

(B 9) 撮影画像の画像信号と撮像方向の動きに応じた動き情報が入力され る入力手段と、

前記撮影画像の表示位置を、 前記動き情報に基づいて決定する画像処理手段と を有する画像処理装置。

(B 10) 撮影画像の画像信号と撮影方向の動きに応じた動き情報を生成し、 前記撮影画像よりも広画角の画像表示領域を設けて、 画像出力信号に基づき画 像表示を行い、

前記画像出力信号に基づく画像が、 前記撮影画像の表示位置を前記動き情報に 基づき前記画像表示領域で移動する画像となるように、 前記画像信号と前記動き 情報に基づき前記画像出力信号を生成する画像表示方法。

(B 1 1) 前記撮影方向の動きと前記撮影画像の表示位置の移動が等しくな るように前記画像出力信号を生成する （B 10) に記載の画像表示方法。

(B 12) 撮影画像の画像信号と撮像方向の動きに応じた動き情報を入力し、 „

_{5 b} PCT/JP03/05403 前記撮影画像の表示位置を、 前記動き情報に基づいて決定する画像処理方法。

( B 1 3 ) コンピュータに、

撮影画像の画像信号と撮像方向の動きに応じた動き情報を入力する手順と、 前記撮影画像の表示位置を、 前記動き情報に基づいて決定する手順と、 前記決定された表示位置に前記撮影画像を表示する画像出力信号を、 前記画像 信号を用いて生成する手順を

実行させる画像処理プログラム。 産業上の利用可能性

以上のように、 本発明に係る画像処理装置と画像処理方法及ぴ画像処理プログ ラムは、 広い画像表示領域を使用して画像表示を行う上で有用であり、 特に臨場 感を高めた画像表示を行うのに好適である。

Claims

請 求 の 範 囲

1 . 入力画像のシーンチェンジを検出するシーンチェンジ検出手段と、

前記入力画像内の画像動きを検出する動き検出手段と、

前記シーンチェンジ検出手段によって検出されたシーンチヱンジに基づいて連 続シーンの期間を判別して、 該連続シーンの期間中に前記動き検出手段で検出さ れた画像動きに基づき前記連続シーンの期間中の前記入力画像を重畳させて、 前 記入力画像よりも広画角であって前記入力画像の位置が前記画像動きに応じて変 化される表示画像を生成する表示画像生成手段とを有する画像処理装置。

2 . 前記シーンチェンジ検出手段は、

前記入力画像内の隣接フレーム間の相関値を算出する相関値算出手段と、 前記相関値に基づいて、 シーンチェンジの有無を判定する判定手段とを有する 請求の範囲第 1項記載の画像処理装置。

3 . 前記相関値は、 相関係数である請求の範囲第 2項記載の画像処理装置。

4 . 前記相関値算出手段は、

隣接フレーム間の差分値の平均値を差分平均値として算出する差分平均算出手 段と、

1フレームの画素値の平均値を画素平均値として算出する画素平均値算出手段 と、

前記画素平均値を用いて、 前記差分平均値を正規化し、 正規化された前記差分 平均値を前記相関値として出力する正規化手段とを有する請求の範囲第 2項記載 の画像処理装置。

5 . 前記表示画像生成手段は、

前記連続シーンの期間中に前記動き検出手段で検出された画像動きに基づき、 前記入力画像の表示位置を決定する表示位置決定手段と、 5 ί 前記表示位置決定手段で表示位置が決定された前記連続シーンの期間中の入力 画像を重畳させて、 前記入力画像よりも広画角の広画角画像を生成する広画角画 像生成手段と、

前記入力画像を前記記表示位置決定手段で決定された表示位置に移動する入力 画像移動手段と、

前記入力画像移動手段で表示位置が移動された入力画像を前記広画角画像に重 畳することで前記表示画像を生成する画像重畳手段とを有する請求の範囲第 1項 記載の画像処理装置。

6 . 前記広画角画像生成手段は、 前記表示位置決定手段で表示位置が決定された 前記連続シーンの期間中の入力画像を逆時間順に順次重畳することで前記広画角 画像を生成する請求の範囲第 5項記載の画像処理装置。

7 . 前記広画角画像生成手段は、 前記表示画像における前記入力画像の部分が前 記表示画像を表示する画像表示領域を超えないように、 前記広画角画像の表示位 置を前記連続シーンの期間中に前記動き検出手段で検出された画像動きに基づい て移動させるものとし、

前記入力画像移動手段は、 前記広画角画像生成手段における前記広画角画像の 移動に伴い、 前記記表示位置決定手段で決定された表示位置を補正する請求の範 囲第 5項記載の画像処理装置。

8 . 前記広画角画像生成手段は、 前記広画角画像と前記画像表示領域との大きさ に基づいて、 前記表示位置を前記連続シーンの期間中に前記動き検出手段で検出 された画像動きに基づいて移動させるものとし、

前記入力画像移動手段は、 前記広画角画像生成手段における前記広画角画像の 移動に伴い、 前記記表示位置決定手段で決定された表示位置を捕正する請求の範 囲第 5項記載の画像処理装置。

9 . 前記表示画像を分割する画像分割手段を有し、 前記画像分割手段は、 前記表示画像を表示する画像表示領域が複数の表示領域 で構成されているとき、 前記複数の表示領域に対応させて前記表示画像を分割す る請求の範囲第 1項記載の画像処理装置。

1 0 . 入力画像内の画像の動きに応じて、 画像の表示位置を変更する画像処理装 置 おいて、

前記入力画像内の画像動きを検出する動き検出手段と、

前記動き検出手段で検出された画像動きの複数フレーム分の情報に基づき、 前 記入力画像の表示位置を決定する表示位置決定手段と、

前記入力画像を前記表示位置決定手段で決定された表示位置に移動する入力画 像移動手段とを有する画像処理装置。

1 1 . 入力画像のシーンチェンジと前記入力画像内の画像動きを検出し、

検出されたシーンチヱンジに基づいて連続シーンの期間を判別して、 該連続シ ーンの期間中に検出された画像動きに基づき前記連続シーンの期間中の前記入力 画像を重畳させて、 前記入力画像よりも広画角であって前記入力画像の位置が前 記画像動きに応じて変化される表示画像を生成する

ことを特徴とする画像処理方法。

1 2 . 前記入力画像内の隣 ^フレーム間の相関値を算出し、 該相関値に基づいて、 シーンチェンジの有無を判定する請求の範囲第 1 1項記載の画像処理方法。

1 3 . 前記相関値は、 相関係数である請求の範囲第 1 2項記載の画像処理方法。

1 4 . 隣接フレーム間の差分値の平均値を差分平均値として算出し、

1フレームの画素値の平均値を画素平均値として算出し、

前記画素平均値を用いて、 前記差分平均値を正規化し、 正規化された前記差分 平均値を前記相関値として用いる請求の範囲第 1 2項記載の画像処理方法。

1 5 . 前記連続シーンの期間中に検出された画像動きに基づき、 前記入力画像の 表示位置を決定するものとし、

前記表示位置が決定された前記連続シーンの期間中の入力画像を重畳させて、 前記入力画像よりも広画角の広画角画像を生成し、

前記入力画像を前記表示位置に移動するものとし、

前記表示位置が移動された入力画像を前記広画角画像に重畳することで前記表 示画像を生成する請求の範囲第 1 1項記載の画像処理方法。

1 6 . 前記表示位置が決定された前記連続シーンの期間中の入力画像を逆時間順 に順次重畳することで前記広画角画像を生成する請求の範囲第 1 5項記載の画像 処理方法。

1 7 . 前記表示画像における前記入力画像の部分が前記表示画像を表示する画像 表示領域を超えないように、 前記広画角画像の表示位置を前記連続シーンの期間 中に検出された画像動きに基づいて移動させるものとし、

前記広画角画像の移動に伴い、 前記連続シーンの期間中の入力画像に対する表 示位置を補正する請求の範囲第 1 5項記載の画像処理方法。

1 8 . 前記表示画像を表示する画像表示領域が複数の表示領域で構成されている とき、 前記複数の表示領域に対応させて前記表示画像を分割する請求の範囲第 1 1項記載の画像処理方法。

1 9 . 入力画像内の画像の動きに応じて、 画像の表示位置を変更する画像処理方 法において、

前記入力画像内の画像動きを検出し、 前記検出された画像動きの複数フレーム 分の情報に基づき、 前記入力画像の表示位置を決定し、 前記入力画像を前記決定 された表示位置に移動する画像処理方法。

2 0 . コンピュータに、 60 入力画像のシーンチェンジを検出する手順と、

前記入力画像内の画像動きを検出する手順と、

検出されたシーンチェンジに基づいて連続シーンの期間を判別して、 該連続シ ーンの期間中に検出された画像動きに基づき前記連続シーンの期間中の前記入力 画像を重畳させて、 前記入力画像よりも広画角であって前記入力画像の位置が前 記画像動きに応じて変化される表示画像を生成する手順とを実行させる画像処理 プログラム。