JP4660463B2 - ステレオ画像符号化装置 - Google Patents

Description

この発明は、同一時刻に撮影された複数の画像（ステレオ画像）を符号化するステレオ画像符号化装置に関するものである。

従来のステレオ画像符号化装置は、視差のない背景画像と視差のある立体部品画像を入力する。
ただし、視差のない背景画像と視差のある立体部品画像は、いずれも動画像であり、また、立体部品画像は、２台のカメラを平行に配置して撮影されたステレオ画像の中から、注視物体だけが切り出されたものであり、画像の視差は水平成分のみを有している。

ステレオ画像符号化装置は、背景画像と立体部品画像を入力すると、背景画像と立体部品画像の符号化を実施する。
背景画像の符号化は、一般的に知られている１６×１６画素等からなるブロックを符号化単位として、ブロックマッチングを実施する動き補償予測符号化を行うことで実施される。
立体部品画像の符号化は、左目用の部品画像については、一般的に知られているブロックマッチングを用いる動き補償予測符号化を行うことで符号化される。
右目用の部品画像については、同時刻の左目用画像を用いる視差補償を行うことで符号化される。
なお、従来のステレオ画像符号化装置における動き補償は、上述したように、ブロックマッチングを実施する動き補償予測符号化が行われるが、部品画像の特徴や特性によって動き補償予測符号化が制御されるものではない（例えば、特許文献１を参照）。

特開平０９−２７５５７８号公報（段落番号［００２１］から［００３７］、図１）

従来のステレオ画像符号化装置は以上のように構成されているので、左目用の部品画像がブロックマッチングを用いる動き補償予測符号化を行うことで符号化されるが、部品画像の特徴や特性によって動き補償予測符号化が制御されるものではないため、部品画像の実際の動きと離れた動き補償予測符号化が行われることがあり、部品画像の符号化精度が劣化することがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、実際の動きに近い動き補償予測符号化を実現して、複数の画像の符号化精度を高めることができるステレオ画像符号化装置、ステレオ画像符号化方法及びステレオ画像符号化プログラムを得ることを目的とする。

この発明に係るステレオ画像符号化装置は、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段とを設け、符号化手段が動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行う符号化手段とを備え、動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を動き位置情報が示すカメラの動き及び位置に応じて制御し、無限遠方を基点として、基点が画像の中心に置かれている状態で回転しながらカメラの移動が行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を視差が小さい領域ほど小さい範囲に制御するようにしたものである。

また、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行う符号化手段とを備え、動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を動き位置情報が示すカメラの動き及び位置に応じて制御し、位置を変えずにカメラの回転が行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を視差が大きい領域ほど小さい範囲に制御するようにしたものである。

また、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行う符号化手段とを備え、動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を動き位置情報が示すカメラの動き及び位置に応じて制御し、カメラのズームインとズームアウトが行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、画像の探索範囲を視差が小さい領域ほど小さい範囲に制御するようにしたものである。

また、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行う符号化手段とを備え、動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、予測参照用の画像を用いて各領域の動きを予測し、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、各領域の中で基準となる領域に対応する予測参照用の画像の探索範囲を設定する基準探索範囲設定部と、その他の領域の探索範囲係数を設定する探索範囲係数設定部とを備え、基準探索範囲設定部及び探索範囲係数設定部の設定内容から、その他の領域に対応する予測参照用の画像の探索範囲を決定するようにしたものである。

また、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行う符号化手段とを備え、動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、予測参照用の画像を用いて各領域の動きを予測し、動き予測手段は、予測参照用の画像が撮影された時点のカメラの動き及び位置を示す動き位置情報と、複数の画像が撮影された時点の動き及び位置を示す動き位置情報とから、予測参照用の画像が撮影された時点から複数の画像が撮影された時点までのカメラの変化を認識し、カメラの変化と視差算出手段により算出された視差からみかけ動きベクトルを算出し、みかけ動きベクトルを考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索するようにしたものである。

この発明によれば、視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段とを設け、符号化手段が動き予測手段による各領域の動き予測結果を用いて、複数の画像の符号化を行うように構成したので、実際の動きに近い動き補償予測符号化が実現されるようになり、その結果、複数の画像の符号化精度を高めることができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるステレオ画像符号化装置を示す構成図であり、図において、カメラ１は三次元空間内の対象物を撮影し、その撮影結果である画像Ａを出力する。
カメラ２はカメラ１と異なる位置に設置され、カメラ１と同一時刻に同一の対象物を撮影し、その撮影結果である画像Ｂを出力する。

視差算出部３はカメラ１から出力された画像Ａとカメラ２から出力された画像Ｂを入力し、画像Ａと画像Ｂにおける画面内の視差を算出する処理を実施する。なお、視差算出部３は視差算出手段を構成している。
グルーピング部４は視差算出部３により算出された視差に応じて画面内の領域をグループ分けして、グループ分けした各領域の画像（以下、「グループ領域画像」と称する）を出力するグルーピング処理と、各グループ領域画像の特性（例えば、分布状況、大きさ、形状、模様、色）を抽出して、各グループ領域画像の特性を示すグループ領域特性情報を出力する特性抽出処理とを実施する。
なお、グルーピング部４はグルーピング手段及び特性抽出手段を構成している。

識別子情報付加部５はグルーピング部４から出力されたグループ領域特性情報に対応する識別子を動き予測部７に出力する。
予測参照画像メモリ６は画像Ａ，Ｂと異なる時刻に撮影された予測参照用の画像（以下、「予測参照画像」と称する）を格納しているメモリである。
動き予測部７は予測参照画像メモリ６の中から、各グループ領域画像の特性を考慮して（識別子情報付加部５から出力された識別子からグループ領域画像の特性を把握する）、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測し、その予測結果を示す動きベクトルを出力する。なお、動き予測部７は動き予測手段を構成している。

符号化部８は動き予測部７から出力された動きベクトルを用いて、カメラ１，２から出力された画像Ａ，Ｂの符号化を実施して、その符号化結果である符号化データを出力する一方、図示せぬエンコーダにより符号化データが復号された局部復号画像を予測参照画像として予測参照画像メモリ６に格納する。なお、符号化部８は符号化手段を構成している。

図１の例では、ステレオ画像符号化装置の構成要素である視差算出部３、グルーピング部４、識別子情報付加部５、動き予測部７及び符号化部８がそれぞれ専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）で構成されているものを想定しているが、ステレオ画像符号化装置がコンピュータで構成されている場合、ステレオ画像符号化装置の構成要素である視差算出部３、グルーピング部４、識別子情報付加部５、動き予測部７及び符号化部８の処理内容を記述しているステレオ画像符号化プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているステレオ画像符号化プログラムを実行するようにしてもよい。

図２はこの発明の実施の形態１によるステレオ画像符号化方法を示すフローチャートであり、図３はカメラ１，２により撮影された画像Ａ，Ｂと画面内の視差を示す説明図である。

次に動作について説明する。
カメラ１，２は、三次元空間内の同一の対象物を同一時刻に撮影すると、その撮影結果である画像Ａ，Ｂを出力する。
ここで、図３（ａ）はカメラ１により撮影された画像Ａであり、この実施の形態１では、画像Ａは左目用画像として使用される。
図３（ｂ）はカメラ２により撮影された画像Ｂであり、この実施の形態１では、画像Ｂは右目用画像として使用される。

視差算出部３は、カメラ１から画像Ａを入力し、カメラ２から画像Ｂを入力すると、画像Ａと画像Ｂにおける画面内の視差を算出する（ステップＳＴ１）。
図３（ｃ）は画像Ａ，Ｂにおける画面内の視差を示しており、画像Ａと画像Ｂ内に存在している２つの対象物を点線で表して、便宜上、視差の画面内に合成している。
画像Ａと画像Ｂにおける画面内の視差は、画像Ａと画像Ｂにおける画面内の対象物のずれを表すものであり、例えば、画像Ａを基準にして、画像Ｂの画面内の対象物のずれを各画素について算出することにより視差を求めることができる。

図３（ｃ）では、各画素の視差について例示しており、図中の矢印は、視差を表すものである。実際には画素毎に視差を算出するが、図３（ｃ）では、便宜上いくつかを例として表示している。
図３（ｃ）では、背景の視差が一番小さく、楕円状の対象物の視差が一番大きく、方形状の対象物は２番目に視差が大きい。

グルーピング部４は、視差算出部３が画像Ａと画像Ｂにおける画面内の視差を算出すると、画像Ａと画像Ｂにおける画面内の視差に応じて画面内の領域のグループ分けを行う（ステップＳＴ２）。
即ち、グルーピング部４は、画面内の領域の中で、視差が同値の領域を同一のグループに分類し、同一グループの領域の画像をグループ領域画像として識別子情報付加部５及び動き予測部７に出力する。
図３（ａ）（ｂ）の例では、楕円状の対象物の領域が同一のグループに分類され、方形状の対象物の領域が同一のグループに分類され、また、背景の領域が同一のグループに分類されるので、グルーピング部４は、図３（ａ）に示すように、画像Ａに含まれている楕円状の対象物に係るグループ領域画像と、方形状の対象物に係るグループ領域画像と、背景に係るグループ領域画像とを出力する。また、図３（ｂ）に示すように、画像Ｂに含まれている楕円状の対象物に係るグループ領域画像と、方形状の対象物に係るグループ領域画像と、背景に係るグループ領域画像とを出力する。
ここでは、グルーピング部４が、視差が同値の領域を同一のグループに分類するものについて示したが、視差がほぼ同じ領域（任意の範囲の視差を有する領域）を同一のグループに分類するようにしてもよい。

グルーピング部４は、画面内の視差に応じて画面内の領域をグループ分けすると、各グループ領域画像の特性を抽出し、各グループ領域画像の特性を示すグループ領域特性情報を識別子情報付加部５に出力する（ステップＳＴ３）。
即ち、グルーピング部４は、各グループ領域画像の特性として、例えば、分布状況、大きさ、形状、模様、色などを抽出する。
グループ領域画像の分布状況は、例えば、画像Ａ，Ｂのピクチャ（図４の点線で表されている枠）が水平方向と垂直方向にそれぞれ４分割（ピクチャが２次元平面的に１６分割）され、グループ領域画像が何れの分割領域に存在しているか表すものであり、４ビットの情報で表される。

グループ領域画像の大きさは、例えば、グループ領域画像が閾値（面積に関する閾値）によって４つのレベルに分類されたものであり、２ビットの情報で表される。
グループ領域画像の形状は、例えば、グループ領域画像が４種類の形状（三角形、四角形、円形、その他の形状）に分類されたものであり、２ビットの情報で表される。
グループ領域画像の模様は、例えば、グループ領域画像の分散値が閾値によって４種類に分類されたものであり、２ビットの情報で表される。
グループ領域画像の色は、例えば、グループ領域画像が８色に分類されたものであり、３ビットの情報で表される。

ここでは、グルーピング部４が各グループ領域画像の特性として、例えば、分布状況、大きさ、形状、模様、色などを抽出するものについて示したが、これに限るものではなく、例えば、輝度平均値、最大画素値、最小画素値、画素範囲などを抽出するようにしてもよい。
なお、グループ領域画像の分布状況については、例えば、１０分割や２０分割など、他の分割数であってもよく、対象物の２次元座標位置でもよい。
また、グループ領域画像の大きさのレベル数は他の数でもよく、形状、模様、色もその他の分類方法でもよい。

識別子情報付加部５は、グルーピング部４から各グループ領域画像の特性を示すグループ領域特性情報を受けると、そのグループ領域特性情報に対応する識別子を動き予測部７に出力する（ステップＳＴ４）。
即ち、識別子情報付加部５は、動き予測部７が楕円の対象物に係るグループ領域画像（図４（ａ）を参照）と、方形状の対象物に係るグループ領域画像（図４（ｂ）を参照）と、背景に係るグループ領域画像とを識別して、グループ領域画像を同一の特性又は類似の特性を有するカテゴリーに分類することができるようにするため、例えば、背景に係るグループ領域画像の識別子として「０」、方形状の対象物に係るグループ領域画像の識別子として「１０」、楕円状の対象物に係るグループ領域画像の識別子として「２０」を設定し、それらの識別子を動き予測部７に出力する。

動き予測部７は、識別子情報付加部５からグループ領域特性情報に対応する識別子を受けると、その識別子を参照して、グルーピング部４から出力される各グループ領域画像の特性を把握し、予測参照画像メモリ６の中から、各グループ領域画像の特性を考慮して、各グループ領域画像に対応する予測参照画像を探索する（ステップＳＴ５）。
例えば、グルーピング部４から出力されるグループ領域画像が、方形状の対象物に係るグループ領域画像であれば、識別子「１０」から当該グループ領域画像の形状が方形状であると認識し、予測参照画像メモリ６の中から、方形状の予測参照画像を探索する。

動き予測部７は、各グループ領域画像に対応する予測参照画像を探索すると、その予測参照画像を用いて、各グループ領域画像の動きを予測し、その予測結果を示す動きベクトルを符号化部８に出力する（ステップＳＴ６）。
ここで、動きベクトルは、グループ領域画像と予測参照画像における同位置の画素の差分絶対値を求めて、その領域画像内の差分絶対値の総和（差分絶対値和）を算出し、その差分絶対値和が最小になるときの予測参照画像内の画像領域位置を示すベクトルに相当する。
また、動きベクトルは、画像Ａ，Ｂ内のグループ領域画像の位置からの変位に相当し、画像Ａ，Ｂ内のグループ領域画像の位置から動きベクトルが指す位置（例えば、領域の左上）にあるピクチャ内の画像領域（予測参照画像メモリ６に格納されているピクチャ（図４の点線枠を参照）内の画像領域）が、グループ領域画像に近い画像領域（グループ領域画像に対応する予測参照画像）に相当する。

符号化部８は、動き予測部７から動きベクトルを受けると、その動きベクトルを用いて、カメラ１，２から出力された画像Ａ，Ｂの符号化を実施し、その符号化結果である符号化データを出力する（ステップＳＴ７）。
以下、符号化部８における符号化処理の一例を具体的に説明する。
符号化部８は、動き予測部７から動きベクトルを受けると、カメラ１の画像Ａに含まれているグループ領域画像の位置から動きベクトルが指す位置にあるピクチャ内の画像領域（グループ領域画像に対応する予測参照画像）を特定して、そのグループ領域画像と予測参照画像の差分画像を求める。
符号化部８は、画像Ａに含まれているグループ領域画像と予測参照画像の差分画像を求めると、その差分画像と動きベクトルを符号化する。

次に、符号化部８は、カメラ２の画像Ｂに含まれているグループ領域画像の位置から動きベクトルが指す位置にあるピクチャ内の画像領域（グループ領域画像に対応する予測参照画像）を特定して、そのグループ領域画像と予測参照画像の差分画像を求める。
符号化部８は、画像Ｂに含まれているグループ領域画像と予測参照画像の差分画像を求めると、その差分画像と動きベクトルを符号化する。
符号化部８は、カメラ１，２から出力された画像Ａ，Ｂの符号化を実施して符号化データを出力すると、後続の画像の符号化に対処できるようにするため、図示せぬエンコーダにより符号化データが復号された局部復号画像を予測参照画像として予測参照画像メモリ６に格納する。

以上で明らかなように、この実施の形態１によれば、視差算出部３により算出された視差に応じて画面内の領域のグループ分けを実施するとともに、グループ分けした各領域の特性を抽出するグルーピング部４と、グルーピング部４により抽出された特性を考慮して、グルーピング部４によりグループ分けされた各領域の動きを予測する動き予測部７とを設け、符号化部８が動き予測部７による各領域の動き予測結果を用いて、画像Ａ，Ｂの符号化を行うように構成したので、実際の動きに近い動き補償予測符号化が実現されるようになり、その結果、画像Ａ，Ｂの符号化精度を高めることができる効果を奏する。

また、この実施の形態１によれば、グルーピング部４が各グループ領域画像の特性として、各領域の分布状況、大きさ、形状、模様又は色を抽出するように構成したので、各グループ領域画像を同一の特性又は類似の特性を持つカテゴリーに分けることができるようになり、その結果、動きベクトルの探索効率を高めることができる効果を奏する。

なお、この実施の形態１では、画像Ａを左目用画像、画像Ｂを右目用画像として使用するものについて示したが、画像Ａを右目用画像、画像Ｂを左目用画像として使用するようにしてもよく、また、画像Ａ，Ｂを何目用画像として固定しなくてもよい。
また、この実施の形態１では、２台のカメラ１，２により撮影された画像Ａ，Ｂを使用するものについて示したが、３台以上のカメラにより撮影された３種類以上の画像を使用するようにしてもよく、また、３種以上の画像の中から任意の２種の画像を使用するようにしてもよい。

この実施の形態１では、視差算出部３が画面内の視差として、画像Ａを基準にして、画像Ｂの画面内の対象物のずれを各画素について算出するものについて示したが、画像Ａ以外の画像を基準画像としてもよく、また、画面内の対象物のずれを画素毎ではなく、複数の画素から構成される画像領域毎に算出するようにしてもよい。

この実施の形態１では、識別子情報付加部５が、背景に係るグループ領域画像の識別子「０」と、方形状の対象物に係るグループ領域画像の識別子「１０」と、楕円状の対象物に係るグループ領域画像の識別子「２０」とを設定するものについて示したが、図５に示すように、方形状の対象物に係るグループ領域画像や、楕円状の対象物に係るグループ領域画像が複数存在する場合には、例えば、方形状の対象物に係るグループ領域画像の識別子として「１０」と「１１」、楕円状の対象物に係るグループ領域画像の識別子として「２０」と「２１」を設定するようにしてもよい。

また、図５に示すように、方形状の対象物に係るグループ領域画像や、楕円状の対象物に係るグループ領域画像が複数存在する場合でも、複数の方形状の対象物に係るグループ領域画像を同一グループとして「１０」の識別子を設定し、また、複数の楕円状の対象物に係るグループ領域画像を同一グループとして「２０」の識別子を設定するようにしてもよい。

実施の形態２．
上記実施の形態１では、動き予測部７が予測参照画像メモリ６の中から、各グループ領域画像の特性を考慮して、各グループ領域画像に対応する予測参照画像を探索するものについて示したが、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を予め設定された指定領域と各領域が重なる範囲に制御（制限）するようにしてもよい。

即ち、上記実施の形態１では、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、図４の点線の枠で表しているピクチャの全てを画像の探索範囲としているものについて示したが、この実施の形態２では、図６に示すように、予め、例えば、方形やひし形状の領域（以下、「指定領域」と称する）を設定し（図６の一点破線の枠を参照）、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を当該指定領域とグループ領域画像が重なる範囲に制御するようにしてもよい。
動き予測部７は、画像の探索範囲を指定領域とグループ領域画像が重なる範囲に制御する場合、指定領域とグループ領域画像が重なる範囲の外の領域が探索領域から除外され、その重なる範囲だけが探索領域となるため、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる。

したがって、この実施の形態２の場合、例えば、グループ領域画像が点光源などの１点画素であれば、対象となる１点の画素のみについて、動きベクトルの探索を行うことになる。
この実施の形態２では、一般的に知られているブロック単位のベクトル探索に限る必要はなく、１点光源や任意形状のオブジェクト探索でもよい。

実施の形態３．
上記実施の形態２では、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を指定領域とグループ領域画像が重なる範囲に制御するものについて示したが、画像のブロック単位で動き予測（動きベクトルの探索）を実施する場合、図７に示すように、グループ領域画像の形状や画面内位置によっては、画像ブロックがグループ領域画像の境界を跨ぐことがあり得る。

そこで、この実施の形態３では、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を指定領域とグループ領域画像が重なる部分を含む範囲に制御（制限）するようにする。
即ち、指定領域とグループ領域画像が重なる部分を一部に含む画像ブロックについても、動きベクトルの探索対象に含めるようにする。
動き予測部７は、画像の探索範囲を指定領域とグループ領域画像が重なる部分を含む範囲に制御し、画像のブロック単位で動き予測（動きベクトルの探索）を実施する場合、画像ブロック毎に予測評価値を求め、最小評価値に対応する動きベクトルを出力することになる。
ここでは、画像ブロック毎に予測評価値を求め、最小評価値に対応する動きベクトルを出力するものについて示したが、予測評価値は、一般的に用いられる差分絶対値和などでもよく、また、閾値以下の評価値に対応する動きベクトルを出力するようにしてもよい。

以上で明らかなように、この実施の形態３によれば、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を指定領域とグループ領域画像が重なる部分を含む範囲に制御するように構成したので、画像のブロック単位で動き予測（動きベクトルの探索）を実施する場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

実施の形態４．
上記実施の形態２では、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を指定領域とグループ領域画像が重なる範囲に制御するものについて示したが、動き予測部７が各グループ領域画像の代表動きベクトルを求め、画像の探索範囲を代表動きベクトルを基準とする範囲に制御（制限）するようにしてもよい。

図８は代表動きベクトルを説明する説明図である。
動き予測部７は、各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像メモリ６に格納されている予測参照画像の中で、各グループ領域画像の差分絶対値和が最小になるベクトルを代表動きベクトルとして求める。
図８の例では、方形状の対象物に係るグループ領域画像の代表動きベクトルと、楕円状の対象物に係るグループ領域画像の代表動きベクトルを求めている。

動き予測部７は、各グループ領域画像の代表動きベクトルを求めると、画像の探索範囲を代表動きベクトルを基準とする範囲に制御して（一点破線の枠を参照）、各グループ領域画像に対応する予測参照画像を探索（動きベクトルを探索）する。
即ち、動き予測部７は、各グループ領域画像を複数の領域に分割し、分割領域毎に動きベクトルの探索を行う。
このとき、０原点を基準にする代わりに、代表動きベクトルを基準（中心）にする探索範囲で動きベクトルの探索を行う。即ち、代表動きベクトルを０原点にオフセットとして加算し、その加算点を基準点とする探索範囲で動きベクトルの探索を行う。

以上で明らかなように、この実施の形態４によれば、動き予測部７が各グループ領域画像の代表動きベクトルを求め、画像の探索範囲を代表動きベクトルを基準とする範囲に制御するように構成したので、各グループ領域画像の近傍で予測参照画像の探索（動きベクトルの探索）を行うことができるようになり、その結果、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、この実施の形態４では、動き予測部７が、予測参照画像メモリ６に格納されている予測参照画像の中で、各グループ領域画像の差分絶対値和が最小になるベクトルを代表動きベクトルとして求めるものについて示したが、周辺画像を含めず、グループ領域画像そのものに対して、予測参照画像内で代表動きベクトルを求めてもよい。
また、図９（ａ）に示すように、グループ領域画像を含む幾つかの正方ブロックからなる領域（四隅にある点線の正方ブロックの領域は含めても、含めなくてもよい）に対して、予測参照画像内で代表動きベクトルを求めてもよい。
また、図９（ｂ）に示すように、グループ領域画像を方形領域に対して、予測参照画像内で代表動きベクトルを求めてもよく、代表動きベクトルを求める際のグループ領域画像に対するマッチング領域は任意でよい。

さらに、代表動きベクトルを求める際、グループ領域画像内の画素又はグループ領域画像の近傍まで含めた対象領域の画素を用いて、代表動きベクトルを求めるとき、対象領域の全ての画素を用いて、代表動きベクトルの探索を行ってもよい。また、対象領域内の画素をサブサンプリングし、サブサンプリングされた画素を用いて、代表動きベクトルの探索を行ってもよく、対象領域の輝度成分のみを用いて、代表動きベクトルの探索を行ってもよい。また、対象領域の輝度成分及び色差成分を用いて、代表動きベクトルの探索を行ってもよく、対象領域の画素の取扱は任意でよい。

実施の形態５．
図１０はこの発明の実施の形態５によるステレオ画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
動き位置情報設定部１１はカメラ１，２の動き及び位置を示す動き位置情報を入力して、その動き位置情報を必要なピクチャ分だけ記憶し、予測参照画像が撮影された時刻の動き位置情報と、画像Ａ，Ｂが撮影された時刻の動き位置情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の変化を捉え、カメラ１，２の変化を示すカメラ変化情報を出力する。

探索範囲制御部１２は動き位置情報設定部１１から出力されたカメラ変化情報と視差算出部３により算出された視差に基づいて予測参照画像の探索範囲を決定する処理を実施する。
動き予測部１３は図１の動き予測部７と同様に、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測するが、各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を探索範囲制御部１２により決定された探索範囲に制御（制限）する。
なお、動き位置情報設定部１１、探索範囲制御部１２及び動き予測部１３から動き予測手段が構成されている。

次に動作について説明する。
動き位置情報設定部１１、探索範囲制御部１２及び動き予測部１３以外は、上記実施の形態１と同様である。
動き位置情報設定部１１は、カメラ１，２の動き及び位置を示す動き位置情報を入力すると、その動き位置情報を必要なピクチャ分だけ記憶する。即ち、動き位置情報を入力する毎に、最も古い動き位置情報の上に最新の動き位置情報を上書き記録する。

動き位置情報設定部１１は、予測参照画像が撮影された時刻の動き位置情報と、画像Ａ，Ｂが撮影された時刻の動き位置情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の変化を捉え、カメラ１，２の変化を示すカメラ変化情報を探索範囲制御部１２に出力する。

探索範囲制御部１２は、動き位置情報設定部１１からカメラ変化情報を受けると、そのカメラ変化情報と視差算出部３により算出された視差に基づいて予測参照画像の探索範囲を決定する。
探索範囲制御部１２における探索範囲の具体的な決定方法については、下記の実施の形態７以降で後述する。

動き予測部１３は、図１の動き予測部７と同様の方法で、各グループ領域画像に対応する予測参照画像を探索して、各グループ領域画像の動きを予測するが、予測参照画像の探索効率を高めるため、図１の動き予測部７と異なり、予測参照画像の探索範囲を探索範囲制御部１２により決定された探索範囲に制御する。

以上で明らかなように、この実施の形態５によれば、カメラ１，２の動き及び位置を示す動き位置情報を入力し、各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を動き位置情報が示すカメラの動き及び位置に応じて制御するように構成したので、実際の対象物の動きに対応する探索範囲で予測参照画像を探索することができるようになり、その結果、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

実施の形態６．
上記実施の形態５では、動き位置情報設定部１１がカメラ１，２の動き及び位置を示す動き位置情報を入力するものについて示したが、カメラ１，２の動きを示す情報として、カメラ１，２の水平回転角又は垂直回転角を含む情報を入力し、カメラ１，２の位置を示す情報として、カメラ１，２の三次元方向の移動距離（少なくとも１方向以上の移動距離）を含む情報を入力するようにしてもよい。
動き位置情報設定部１１がカメラ１，２の水平回転角又は垂直回転角を含む情報や、カメラ１，２の三次元方向の移動距離を含む情報を入力すれば、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の変化を正確に捉えることができる効果を奏する。

ここでは、動き位置情報設定部１１がカメラ１，２の水平回転角又は垂直回転角を含む情報や、カメラ１，２の三次元方向の移動距離を含む情報を入力するものについて示したが、動き位置情報設定部１１が焦点を原点とする水平移動角又は垂直移動角を含む情報や、カメラ１，２の撮像方向の３次元移動情報を入力するようにしてもよい。
また、焦点からの距離、相対位置を示す情報又は絶対位置を示す情報を入力するようにしてもよい。

実施の形態７．
上記実施の形態２では、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、画像の探索範囲を指定領域とグループ領域画像が重なる範囲に制御するものについて示したが、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われる場合、動き予測部７がグルーピング部４によりグループ分けされた各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が小さいグループ領域画像ほど小さい範囲に制御（制限）するようにしてもよい。

図１１はカメラ１，２の移動と探索範囲及びみかけ動きベクトルを示す説明図である。
図１１では、無限遠方を基点として、その基点が画像の中心に置かれている状態で、回転しながらカメラ１，２が水平平面上で右から左に移動している様子を表している。
この場合、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より大きくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２が回転移動したときに、カメラ１，２の移動前と移動後における各対象物の動き量を意味している。

そこで、動き予測部７は、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われるような場合、視差が大きい楕円状の対象物に係るグループ領域画像に対応する予測参照画像の探索範囲を大きくして、視差が小さい背景に係るグループ領域画像に対応する予測参照画像の探索範囲を小さくする。
即ち、視差が最も大きいグループ領域画像に対応する予測参照画像の探索範囲を最も大きくして、視差が小さいグループ領域画像に対応する予測参照画像の探索範囲ほど、小さい範囲に設定するようにする。

以上で明らかなように、この実施の形態７によれば、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われる場合、動き予測部７がグルーピング部４によりグループ分けされた各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が小さいグループ領域画像ほど小さい範囲に制御するように構成したので、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われるような場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、通常、カメラ１，２は入力画像の中心に基点が存在するが、撮像系によっては基点が入力画像の中心にない場合もあり得るが、この実施の形態７では、基点が入力画像の中心にない場合にも対応することができる。
また、この実施の形態７では、カメラ１，２が水平平面上で回転移動するものについて示したが、カメラ１，２が任意方向に回転移動してもよい。
また、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態８．
上記実施の形態７では、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われる場合、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が小さいグループ領域画像ほど小さい範囲に制御するものについて示したが、位置を変えずにカメラ１，２の回転が行われる場合、グルーピング部４によりグループ分けされた各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が大きいグループ領域画像ほど小さい範囲に制御（制限）するようにしてもよい。

図１２はカメラ１，２の定位置での回転と探索範囲及びみかけ動きベクトルを示す説明図である。
図１２では、位置を変えずにカメラ１，２が水平平面上で回転している様子を表している。
この場合、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より小さくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２が固定位置で回転したときに、カメラ１，２の回転前と回転後における各対象物の動き量を意味している。

そこで、動き予測部７は、位置を変えずにカメラ１，２の回転が行われるような場合、視差が大きい楕円状の対象物に係るグループ領域画像に対応する予測参照画像の探索範囲を小さくして、視差が小さい背景に係るグループ領域画像に対応する予測参照画像の探索範囲を大きくする。
即ち、視差が最も小さいグループ領域画像に対応する予測参照画像の探索範囲を最も大きくして、視差が大きいグループ領域画像に対応する予測参照画像の探索範囲ほど、小さい範囲に設定するようにする。

以上で明らかなように、この実施の形態８によれば、位置を変えずにカメラ１，２の回転が行われる場合、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が大きいグループ領域画像ほど小さい範囲に制御するように構成したので、位置を変えずにカメラ１，２の回転が行われる場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、この実施の形態８では、カメラ１，２が水平平面上を回転するものについて示したが、カメラ１，２が任意方向に回転するものであってもよい。
また、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態９．
上記実施の形態８では、位置を変えずにカメラ１，２の回転が行われる場合、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が大きいグループ領域画像ほど小さい範囲に制御するものについて示したが、カメラ１，２のズームインとズームアウトが行われる場合、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が小さいグループ領域画像ほど小さい範囲に制御（制限）するようにしてもよい。

図１３はカメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合の探索範囲及びみかけ動きベクトルを示す説明図である。
図１３では、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる様子を表している。
カメラ１，２のズームインとズームアウトを行うと、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より大きくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われるときに、カメラ１，２のズームイン（またはズームアウト）前と、ズームイン（またはズームアウト）後における各対象物の動き量を意味している。

そこで、動き予測部７は、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合、視差が大きい楕円状の対象物に係るグループ領域画像に対応する予測参照画像の探索範囲を大きくして、視差が小さい背景に係るグループ領域画像に対応する予測参照画像の探索範囲を小さくする。
即ち、視差が最も大きいグループ領域画像に対応する予測参照画像の探索範囲を最も大きくして、視差が小さいグループ領域画像に対応する予測参照画像の探索範囲ほど、小さい範囲に設定するようにする。

以上で明らかなように、この実施の形態９によれば、カメラ１，２のズームインとズームアウトが行われる場合、動き予測部７が各グループ領域画像に対応する予測参照画像を探索する際、予測参照画像の探索範囲を視差が小さいグループ領域画像ほど小さい範囲に制御するように構成したので、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態１０．
図１４はこの発明の実施の形態１０によるステレオ画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
基準探索範囲設定部２１はグルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画（例えば、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像）に対応する予測参照画像の探索範囲を基準探索範囲として設定する処理を実施する。
探索範囲係数設定部２２は各グループ領域画像の探索範囲係数を設定する処理を実施する。

動き予測部２３は図１の動き予測部７と同様に、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測するが、各グループ領域画像に対応する予測参照画像を探索する際、基準探索範囲設定部２１及び探索範囲係数設定部２２の設定内容から、各グループ領域画像に対応する予測参照画像の探索範囲を決定する。
なお、基準探索範囲設定部２１、探索範囲係数設定部２２及び動き予測部２３から動き予測手段が構成されている。

次に動作について説明する。
基準探索範囲設定部２１、探索範囲係数設定部２２及び動き予測部２３以外は、上記実施の形態１と同様である。
基準探索範囲設定部２１は、グルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画像に対応する予測参照画像の探索範囲を基準探索範囲として設定する。
例えば、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像が基準のグループ領域画像である旨の設定がなされている場合、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像に対応する予測参照画像の探索範囲を基準探索範囲（ここでは説明の便宜上、基準探索範囲を“Ｓ”とする）として設定する。

探索範囲係数設定部２２は、グルーピング部４によりグループ分けされたグループ領域画像のうち、基準のグループ領域画以外のグループ領域画像の探索範囲係数を設定する。
例えば、画像Ａ，Ｂに含まれている方形状の対象物に係るグループ領域画像の探索範囲係数を“１／２”に設定し、背景に係るグループ領域画像の探索範囲係数を“１／４”に設定する。

動き予測部２３は、基準探索範囲設定部２１が基準のグループ領域画像に対応する予測参照画像の基準探索範囲を設定し、探索範囲係数設定部２２が基準のグループ領域画以外のグループ領域画像の探索範囲係数を設定すると、基準のグループ領域画以外のグループ領域画像の探索範囲を次のように決定する。
基準のグループ領域画以外のグループ領域画像の探索範囲
＝基準探索範囲×当該グループ領域画像の探索範囲係数
これにより、方形状の対象物に係るグループ領域画像に対応する予測参照画像の探索範囲は“Ｓ／２”、背景に係るグループ領域画像に対応する予測参照画像の探索範囲は“Ｓ／４”に決定される。
動き予測部２３における予測参照画像の探索処理や動き予測処理は、図１の動き予測部７と同様であるため説明を省略する。

以上で明らかなように、この実施の形態１０によれば、グルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画像に対応する予測参照画像の探索範囲を基準探索範囲として設定する基準探索範囲設定部２１と、各グループ領域画像の探索範囲係数を設定する探索範囲係数設定部２２とを備え、動き予測部２３が各グループ領域画像に対応する予測参照画像を探索する際、基準探索範囲設定部２１及び探索範囲係数設定部２２の設定内容から、各グループ領域画像に対応する予測参照画像の探索範囲を決定するように構成したので、適正な探索範囲を計算によって簡単に求めることができる効果を奏する。

なお、この実施の形態１０では、基準探索範囲設定部２１及び探索範囲係数設定部２２が識別子情報付加部５から出力される識別子を参照して、基準のグループ領域画像や、基準のグループ領域画像以外のグループ領域画像を識別するものについて示したが、視差算出部３により算出された視差を考慮して、基準探索範囲や探索範囲係数を設定するようにしてもよい。
また、この実施の形態１０では、探索範囲係数設定部２２がグループ領域画像の探索範囲係数として、“１／２”や“１／４”を設定するものについて示したが、０以上の任意の数であればよい。
また、この実施の形態１０では、基準のグループ領域画像の探索範囲係数については設定していないが、探索範囲係数設定部２２が基準のグループ領域画像の探索範囲係数として“１”を設定して出力するようにしてもよい。

実施の形態１１．
上記実施の形態１０では、例えば、楕円状の対象物に係るグループ領域画像が基準のグループ領域画像であるものとして事前に設定されているものについて示したが、基準探索範囲設定部２１が、カメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定して、そのグループ領域画像に対応する予測参照画像の探索範囲を基準探索範囲として設定するようにしてもよい。

このように、基準探索範囲設定部２１がカメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定する場合、焦点が合うグループ領域画像の視差が最小になるため、基準のグループ領域画像に対応する予測参照画像の基準探索範囲が最小の探索範囲になる。
したがって、焦点が合うグループ領域画像と比べて、焦点の手前側のグループ領域画像ほど視差が大きくなって探索範囲が大きくなるため、探索範囲係数設定部２２は、焦点の手前側のグループ領域画像ほど大きな探索範囲係数を設定することになる。
また、焦点の奥側のグループ領域画像ほど視差が大きくなって探索範囲が大きくなるため、探索範囲係数設定部２２は、焦点の奥側のグループ領域画像ほど大きな探索範囲係数を設定することになる。

以上で明らかなように、この実施の形態１１によれば、基準探索範囲設定部２１が、カメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定して、そのグループ領域画像に対応する予測参照画像の探索範囲を基準探索範囲として設定するように構成したので、カメラ１，２が動いたり、ズームインやズームアウトをしても、適正な探索範囲を設定することができる効果を奏する。

実施の形態１２．
図１５はこの発明の実施の形態１２によるステレオ画像符号化装置を示す構成図であり、図において、図１０と同一符号は同一または相当部分を示すので説明を省略する。
みかけ動きベクトル制御部３１は動き位置情報設定部１１から出力されるカメラ変化情報と視差算出部３により算出される視差からみかけ動きベクトルを算出する処理を実施する。
動き予測部３２はみかけ動きベクトル制御部３１により算出されたみかけ動きベクトルを考慮して、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測する。
なお、動き位置情報設定部１１、みかけ動きベクトル制御部３１及び動き予測部３２から動き予測手段が構成されている。

次に動作について説明する。
みかけ動きベクトル制御部３１及び動き予測部３２以外は、上記実施の形態５と同様である。
動き位置情報設定部１１は、カメラ１，２の動き及び位置を示す動き位置情報を入力すると、上記実施の形態５と同様に、その動き位置情報を必要なピクチャ分だけ記憶する。即ち、動き位置情報を入力する毎に、最も古い動き位置情報の上に最新の動き位置情報を上書き記録する。
動き位置情報設定部１１は、予測参照画像が撮影された時刻の動き位置情報と、画像Ａ，Ｂが撮影された時刻の動き位置情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の変化を捉え、カメラ１，２の変化を示すカメラ変化情報をみかけ動きベクトル制御部３１に出力する。

みかけ動きベクトル制御部３１は、動き位置情報設定部１１からカメラ変化情報を受けると、そのカメラ変化情報と視差算出部３により算出される視差からみかけ動きベクトルを算出する。
みかけ動きベクトルは、図１１〜図１３におけるグループ領域画像のみかけの動き量に相当する。

動き予測部３２は、図１の動き予測部７と同様の方法で、各グループ領域画像に対応する予測参照画像を探索して、各グループ領域画像の動きを予測するが、予測参照画像の探索効率を高めるため、図１の動き予測部７と異なり、みかけ動きベクトル制御部３１により算出されたみかけ動きベクトルを考慮して、各グループ領域画像に対応する予測参照画像を探索する。
即ち、動き予測部３２は、みかけ動きベクトル制御部３１により算出されたみかけ動きベクトルを動きベクトルの探索範囲の基点（中心）において、みかけ動きベクトルを中心とする動きベクトルの探索を行う。

以上で明らかなように、この実施の形態１２によれば、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された時点までのカメラ１，２の変化を認識し、カメラ１，２の変化と視差算出部３により算出された視差からみかけ動きベクトルを算出し、みかけ動きベクトルを考慮して、各グループ領域画像に対応する予測参照画像を探索するように構成したので、実際の対象物の動きに対応する探索範囲で予測参照画像を探索することができるようになり、その結果、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、この実施の形態１２では、みかけ動きベクトルを動きベクトルの探索範囲の基点（中心）におくものについて示したが、その他条件、または、符号化効率の観点等の理由から、みかけ動きベクトルを動きベクトルの探索範囲の任意の位置におくようにしてもよい。

実施の形態１３．
上記実施の形態１２では、みかけ動きベクトル制御部３１により算出されたみかけ動きベクトルを考慮して、各グループ領域画像に対応する予測参照画像を探索するものについて示したが、図１１に示すように、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするようにしてもよい。

図１１は、上述したように、無限遠方を基点として、その基点が画像の中心に置かれている状態で、回転しながらカメラ１，２が水平平面上で右から左に移動している様子を表している。
この場合、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より大きくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２が回転移動したときに、カメラ１，２の移動前と移動後における各対象物の動き量を意味している。

そこで、みかけ動きベクトル制御部３１は、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われるような場合、視差が大きい楕円状の対象物に係るグループ領域画像のみかけ動きベクトルを大きくして、視差が小さい背景に係るグループ領域画像のみかけ動きベクトルを小さくする。
即ち、視差が最も大きいグループ領域画像のみかけ動きベクトルを最も大きくして、視差が小さいグループ領域画像のみかけ動きベクトルほど、小さくするようにする。

以上で明らかなように、この実施の形態１３によれば、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするように構成したので、無限遠方を基点として、その基点が画像の中心に置かれている状態で回転しながらカメラ１，２の移動が行われるような場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、通常、カメラ１，２は入力画像の中心に基点が存在するが、撮像系によっては基点が入力画像の中心にない場合もあり得るが、この実施の形態１３では、基点が入力画像の中心にない場合にも対応することができる。
また、この実施の形態１３では、カメラ１，２が水平平面上で回転移動するものについて示したが、カメラ１，２が任意方向に回転移動してもよい。
また、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態１４．
上記実施の形態１３では、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするものについて示したが、図１２に示すように、位置を変えずにカメラ１，２の回転が行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が大きいグループ領域画像ほど、みかけ動きベクトルを小さくするようにしてもよい。

図１２は、上述したように、位置を変えずにカメラ１，２が水平平面上で回転している様子を表している。
この場合、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より小さくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２が固定位置で回転したときに、カメラ１，２の回転前と回転後における各対象物の動き量を意味している。

そこで、みかけ動きベクトル制御部３１は、位置を変えずにカメラ１，２の回転が行われるような場合、視差が大きい楕円状の対象物に係るグループ領域画像のみかけ動きベクトルを小さくして、視差が小さい背景に係るグループ領域画像のみかけ動きベクトルを大きくする。
即ち、視差が最も小さいグループ領域画像のみかけ動きベクトルを最も大きくして、視差が大きいグループ領域画像のみかけ動きベクトルほど、小さくするようにする。

以上で明らかなように、この実施の形態１４によれば、位置を変えずにカメラ１，２の回転が行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が大きいグループ領域画像ほど、みかけ動きベクトルを小さくするように構成したので、位置を変えずにカメラ１，２の回転が行われる場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、この実施の形態１４では、カメラ１，２が水平平面上を回転するものについて示したが、カメラ１，２が任意方向に回転するものであってもよい。
また、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態１５．
上記実施の形態１３では、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするものについて示したが、図１３に示すように、カメラ１，２のズームインとズームアウトが行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするようにしてもよい。

図１３は、上述したように、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる様子を表している。
カメラ１，２のズームインとズームアウトを行うと、楕円状の対象物に係るグループ領域画像の視差が、背景に係るグループ領域画像の視差より大きくなり、視差が大きい楕円状の対象物に係るグループ領域画像のみかけの動き量が、視差が小さい背景に係るグループ領域画像のみかけの動き量より大きくなる。
ここで、みかけの動き量は、画面内の対象物が静止している状態で、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われるときに、カメラ１，２のズームイン（またはズームアウト）前と、ズームイン（またはズームアウト）後における各対象物の動き量を意味している。

そこで、みかけ動きベクトル制御部３１は、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合、視差が大きい楕円状の対象物に係るグループ領域画像のみかけ動きベクトルを大きくして、視差が小さい背景に係るグループ領域画像のみかけ動きベクトルを小さくする。
即ち、視差が最も大きいグループ領域画像のみかけ動きベクトルを最も大きくして、視差が小さいグループ領域画像のみかけ動きベクトルほど、小さくするようにする。

以上で明らかなように、この実施の形態１５によれば、カメラ１，２のズームインとズームアウトが行われる場合、動き予測部３２が各グループ領域画像に対応する予測参照画像を探索する際、みかけ動きベクトル制御部３１が、視差が小さいグループ領域画像ほど、みかけ動きベクトルを小さくするように構成したので、カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合でも、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、ハードウェアの規模等の都合により、動きベクトルの探索範囲の上限を設ける場合でも、上限以下の範囲で、探索範囲の制御が行えるのであれば、制御範囲については、ステレオ画像の動きベクトルの探索効率を高めることができる。

実施の形態１６．
図１６はこの発明の実施の形態１６によるステレオ画像符号化装置を示す構成図であり、図において、図１５と同一符号は同一または相当部分を示すので説明を省略する。
基準みかけ動きベクトル設定部４１はグルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画（例えば、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像）のみかけ動きベクトルを基準みかけ動きベクトルとして設定する処理を実施する。
みかけ動きベクトル係数設定部４２は各グループ領域画像のみかけ動きベクトル係数を設定する処理を実施する。

動き予測部４３は図１５の動き予測部３２と同様に、みかけ動きベクトルを考慮して、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測するが、各グループ領域画像に対応する予測参照画像を探索する際、基準みかけ動きベクトル設定部４１及びみかけ動きベクトル係数設定部４２の設定内容から、各グループ領域画像のみかけ動きベクトルを決定する。
なお、基準みかけ動きベクトル設定部４１、みかけ動きベクトル係数設定部４２及び動き予測部４３から動き予測手段が構成されている。

次に動作について説明する。
基準みかけ動きベクトル設定部４１、みかけ動きベクトル係数設定部４２及び動き予測部４３以外は、上記実施の形態１と同様である。
基準みかけ動きベクトル設定部４１は、グルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画像のみかけ動きベクトルを基準みかけ動きベクトルとして設定する。
例えば、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像が基準のグループ領域画像である旨の設定がなされている場合、画像Ａ，Ｂに含まれている楕円状の対象物に係るグループ領域画像のみかけ動きベクトルを基準みかけ動きベクトル（ここでは説明の便宜上、基準みかけ動きベクトルを“Ｖ”とする）として設定する。

みかけ動きベクトル係数設定部４２は、グルーピング部４によりグループ分けされたグループ領域画像のうち、基準のグループ領域画以外のグループ領域画像のみかけ動きベクトル係数を設定する。
例えば、画像Ａ，Ｂに含まれている方形状の対象物に係るグループ領域画像のみかけ動きベクトル係数を“１／２”に設定し、背景に係るグループ領域画像のみかけ動きベクトル係数を“１／４”に設定する。

動き予測部４３は、基準みかけ動きベクトル設定部４１が基準のグループ領域画像の基準みかけ動きベクトルを設定し、みかけ動きベクトル係数設定部４２が基準のグループ領域画以外のグループ領域画像のみかけ動きベクトル係数を設定すると、基準のグループ領域画以外のグループ領域画像のみかけ動きベクトルを次のように決定する。
基準のグループ領域画以外のグループ領域画像のみかけ動きベクトル
＝基準みかけ動きベクトル×当該グループ領域画像のみかけ動きベクトル係数
これにより、方形状の対象物に係るグループ領域画像のみかけ動きベクトルは“Ｖ／２”、背景に係るグループ領域画像のみかけ動きベクトルは“Ｖ／４”に決定される。
動き予測部４３における予測参照画像の探索処理や動き予測処理は、図１５の動き予測部３２と同様であるため説明を省略する。

以上で明らかなように、この実施の形態１６によれば、グルーピング部４によりグループ分けされたグループ領域画像の中で、基準となるグループ領域画像のみかけ動きベクトルを基準みかけ動きベクトルとして設定する基準みかけ動きベクトル設定部４１と、各グループ領域画像のみかけ動きベクトル係数を設定するみかけ動きベクトル係数設定部４２とを備え、動き予測部４３が各グループ領域画像に対応する予測参照画像を探索する際、基準みかけ動きベクトル設定部４１及びみかけ動きベクトル係数設定部４２の設定内容から、各グループ領域画像のみかけ動きベクトルを決定するように構成したので、適正なみかけ動きベクトルを計算によって簡単に求めることができる効果を奏する。

なお、この実施の形態１６では、基準みかけ動きベクトル設定部４１及びみかけ動きベクトル係数設定部４２が識別子情報付加部５から出力される識別子を参照して、基準のグループ領域画像や、基準のグループ領域画像以外のグループ領域画像を識別するものについて示したが、視差算出部３により算出された視差を考慮して、基準みかけ動きベクトルやみかけ動きベクトル係数を設定するようにしてもよい。
また、この実施の形態１６では、みかけ動きベクトル係数設定部４２がグループ領域画像のみかけ動きベクトル係数として、“１／２”や“１／４”を設定するものについて示したが、０以上の任意の数であればよい。
また、この実施の形態１６では、基準のグループ領域画像のみかけ動きベクトル係数については設定していないが、みかけ動きベクトル係数設定部４２が基準のグループ領域画像のみかけ動きベクトル係数として“１”を設定して出力するようにしてもよい。

実施の形態１７．
上記実施の形態１６では、例えば、楕円状の対象物に係るグループ領域画像が基準のグループ領域画像であるものとして事前に設定されているものについて示したが、基準みかけ動きベクトル設定部４１が、カメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定して、そのグループ領域画像のみかけ動きベクトルを基準みかけ動きベクトルとして設定するようにしてもよい。

このように、基準みかけ動きベクトル設定部４１がカメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定する場合、焦点が合うグループ領域画像の視差が最小になるため、基準のグループ領域画像の基準みかけ動きベクトルが最小のみかけ動きベクトルになる。
したがって、焦点が合うグループ領域画像と比べて、焦点の手前側のグループ領域画像ほど視差が大きくなってみかけ動きベクトルが大きくなるため、みかけ動きベクトル係数設定部４２は、焦点の手前側のグループ領域画像ほど大きなみかけ動きベクトル係数を設定することになる。
また、焦点の奥側のグループ領域画像ほど視差が大きくなってみかけ動きベクトルが大きくなるため、みかけ動きベクトル係数設定部４２は、焦点の奥側のグループ領域画像ほど大きなみかけ動きベクトル係数を設定することになる。

以上で明らかなように、この実施の形態１７によれば、基準みかけ動きベクトル設定部４１が、カメラ１，２の焦点が合うグループ領域画像を基準のグループ領域画像に決定して、そのグループ領域画像のみかけ動きベクトルを基準みかけ動きベクトルとして設定するように構成したので、カメラ１，２が動いたり、ズームインやズームアウトをしても、適正なみかけ動きベクトルを設定することができる効果を奏する。

実施の形態１８．
図１７はこの発明の実施の形態１８によるステレオ画像符号化装置を示す構成図であり、図において、図１５と同一符号は同一または相当部分を示すので説明を省略する。
操作情報設定部５１はカメラ１，２の操作を示す操作情報を入力して、その操作情報を必要なピクチャ分だけ記憶し、予測参照画像が撮影された時刻の操作情報と、画像Ａ，Ｂが撮影された時刻の操作情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の操作の変化を捉え、カメラ１，２の操作の変化を示す操作変化情報を出力する。

画像変換部５２は操作情報設定部５１から出力された操作変化情報と動き位置情報設定部１１から出力されたカメラ変化情報とに基づいてグルーピング部４によりグループ分けされた各グループ領域画像の画像変換を実施する。
動き予測部５３は予測参照画像メモリ６の中から、各グループ領域画像の特性を考慮して、画像変換部５２による画像変換後の各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測し、その予測結果を示す動きベクトルを出力する。
なお、動き位置情報設定部１１、操作情報設定部５１、画像変換部５２及び動き予測部５３から動き予測手段が構成されている。

次に動作について説明する。
動き位置情報設定部１１、操作情報設定部５１、画像変換部５２及び動き予測部５３以外は、上記実施の形態１と同様である。
動き位置情報設定部１１は、カメラ１，２の動き及び位置を示す動き位置情報を入力すると、その動き位置情報を必要なピクチャ分だけ記憶する。即ち、動き位置情報を入力する毎に、最も古い動き位置情報の上に最新の動き位置情報を上書き記録する。
動き位置情報設定部１１は、予測参照画像が撮影された時刻の動き位置情報と、画像Ａ，Ｂが撮影された時刻の動き位置情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の変化を捉え、カメラ１，２の変化を示すカメラ変化情報を画像変換部５２に出力する。

操作情報設定部５１は、カメラ１，２の操作を示す操作情報を入力すると、その操作情報を必要なピクチャ分だけ記憶する。即ち、操作情報を入力する毎に、最も古い操作情報の上に最新の操作情報を上書き記録する。
操作情報設定部５１は、予測参照画像が撮影された時刻の操作情報と、画像Ａ，Ｂが撮影された時刻の操作情報とから、予測参照画像が撮影された時点から画像Ａ，Ｂが撮影された現時点までのカメラ１，２の操作の変化を捉え、カメラ１，２の操作の変化を示す操作変化情報を画像変換部５２に出力する。

画像変換部５２は、動き位置情報設定部１１からカメラ変化情報を受け、操作情報設定部５１から操作変化情報を受けると、そのカメラ変化情報と操作変化情報に基づいてグルーピング部４から出力される各グループ領域画像の画像変換を実施する。
なお、画像変換部５２における画像変換処理の具体例は、下記の実施の形態１９以降に記載している。

動き予測部５３は、図１の動き予測部７と同様の方法で、各グループ領域画像に対応する予測参照画像を探索し、予測参照画像を用いて各グループ領域画像の動きを予測する。
ただし、動き予測部５３は、図１の動き予測部７と異なり、画像変換部５２による画像変換後の各グループ領域画像に対応する予測参照画像を探索する。

以上で明らかなように、この実施の形態１８によれば、カメラ１，２の動き及び位置を示す動き位置情報と、カメラ１，２の操作を示す操作情報とに基づいて各グループ領域画像の画像変換を実施し、画像変換後の各グループ領域画像の動きを予測するように構成したので、カメラ１，２が操作されても、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

実施の形態１９．
上記実施の形態１８では、操作情報設定部５１がカメラ１，２の操作を示す操作情報を入力するものについて示したが、例えば、ズームイン、ズームアウト、パン、回転、焦点位置などを示す操作情報を入力するようにしてもよい。
例えば、カメラ１，２のズームインが行われた場合には、グループ領域画像が拡大されるため、グループ領域画像が対応する予測参照画像よりも大きくなってしまう。
そこで、画像変換部５２は、ズームイン後のグループ領域画像を対応する予測参照画像の画像サイズと合わせるため、グルーピング部４から出力されたグループ領域画像に対して、予測参照画像からの拡大率の逆数を乗じてグループ領域画像を縮小し、縮小後のグループ領域画像を動き予測部５３に出力する。

逆に、カメラ１，２のズームアウトが行われた場合には、グループ領域画像が縮小されるため、グループ領域画像が対応する予測参照画像よりも小さくなってしまう。
そこで、画像変換部５２は、ズームアウト後のグループ領域画像を対応する予測参照画像の画像サイズと合わせるため、グルーピング部４から出力されたグループ領域画像に対して、予測参照画像からの縮小率の逆数を乗じてグループ領域画像を拡大し、拡大後のグループ領域画像を動き予測部５３に出力する。
なお、ズームイン又はズームアウトが行われた場合、視差が変化するので、倍率に応じてグループ領域画像の識別子情報と予測参照画像の識別子情報とを関連付ける。
同じく、焦点位置を変えることにより、視差が変化するので、焦点位置に応じてグループ領域画像の識別子情報と予測参照画像の識別子情報とを関連付ける。

また、カメラ１，２が回転する場合、カメラ１，２が固定位置で回転するときと、カメラ１，２が移動しながら回転するときとでは、グループ領域画像の画像変換が異なる。
また、カメラ１，２が移動しながら回転する場合でも、焦点が対象に合っているときと、焦点が対象物と別のところにあるときとでは、グループ領域画像の画像変換が異なる。
焦点が対象物と合っている場合は、カメラ１，２の回転角の分だけ、対象物であるグループ領域画像を逆に回転させることで、グループ領域画像に対応する予測参照画像と同じ向きになる。
その他のカメラ１，２の回転については、カメラ１，２の回転角と位置情報に基づいてグループ領域画像の回転角を定める。

また、カメラ１，２のパンが行われた場合、カメラ１，２の回転が伴わなければ、画像変換は特に行わず、グループ領域画像をそのまま変換画像とみなして出力する。パンでは、カメラ１，２の移動距離と画面内の移動画素との関係からみなし動きベクトルが求められるので、動き位置情報よりみなし動きベクトルとして動き予測部５３に出力することで、動き予測部５３では、そのみなし動きベクトルを探索範囲の基準（中心）として、効率のよい動きベクトル探索を行うことができる。

以上で明らかなように、この実施の形態１９によれば、操作情報設定部５１がズームイン、ズームアウト、パン、回転、焦点位置などを示す操作情報を入力するように構成したので、カメラ１，２がズームイン、ズームアウト、パン、回転、焦点位置などの操作が行われても、各グループ領域画像に対応する予測参照画像の探索効率（動きベクトルの探索効率）を高めることができる効果を奏する。

なお、この実施の形態１９では、操作情報設定部５１がズームイン、ズームアウト、パン、回転、焦点位置などを示す操作情報を入力するものについて示したが、これに限るものではなく、その他の操作情報を入力するようにしてもよい。
また、この実施の形態１９では、画像変換部５２がグループ領域画像を回転、拡大又は縮小の画像変換を行うものについて示したが、これに限るものではなく、その他の画像変換を行うようにしてもよい。
また、この実施の形態１９では、操作情報が回転である場合、画像変換部５２がグループ領域画像を回転するものについて示したが、画像変換部５２がグループ領域画像を回転する際、グループ領域画像の見えていない部分（例えば、グループ領域画像の側面）の画像を用いて、グループ領域画像を補間するようにしてもよい。
この場合、別のカメラにより撮像された画像（例えば、グループ領域画像の側面）を用いて、グループ領域画像を補間してもよいし、予めデータベースに記憶されている画像（例えば、グループ領域画像の側面）を用いて、グループ領域画像を補間してもよい。

実施の形態２０．
上記実施の形態１８，１９では、画像変換部５２がグループ領域画像の画像変換を実施するものについて示したが、予測参照画像メモリ６に格納されている予測参照画像（グループ領域画像に対応する予測参照画像）の画像変換を実施して、グループ領域画像と予測参照画像の画像サイズを合わせるようにしてもよく、上記実施の形態１８，１９と同様の効果を奏することができる。

なお、画像変換部５２が予測参照画像を回転する場合、予測参照画像の見えていない部分（例えば、予測参照画像の側面）の画像を用いて、予測参照画像を補間するようにしてもよい。
この場合、別のカメラにより撮像された画像（例えば、予測参照画像の側面）を用いて、予測参照画像を補間してもよいし、予めデータベースに記憶されている画像（例えば、予測参照画像の側面）を用いて、予測参照画像を補間してもよい。

実施の形態２１．
図１８はこの発明の実施の形態２１によるステレオ画像符号化装置を示す構成図であり、図において、図１７と同一符号は同一または相当部分を示すので説明を省略する。
符号化部６１は図１の符号化部８と同様の符号化処理を実施するほか、動き位置情報設定部１１から出力されたカメラ変化情報（またはカメラの動き位置情報）、操作情報設定部５１から出力された操作変化情報（またはカメラの操作情報）及び画像変換部５２による画像変換を示す画像変換情報を符号化する。なお、符号化部６１は符号化手段を構成している。

上記実施の形態１〜２０では、符号化部８が画像Ａ，Ｂに含まれているグループ領域画像と予測参照画像の差分画像を求め、その差分画像と動きベクトルを符号化するものについて示したが、この実施の形態２１では、符号化部６１が画像変換部５２による画像変換後のグループ領域画像と予測参照画像の差分画像を求め、その差分画像と動きベクトルを符号化するようにする。
また、符号化部６１は、動き位置情報設定部１１から出力されたカメラ変化情報（またはカメラの動き位置情報）、操作情報設定部５１から出力された操作変化情報（またはカメラの操作情報）、及び画像変換部５２による画像変換を示す画像変換情報についても符号化する。

以上で明らかなように、この実施の形態２１によれば、動き位置情報設定部１１から出力されたカメラ変化情報（またはカメラの動き位置情報）、操作情報設定部５１から出力された操作変化情報（またはカメラの操作情報）及び画像変換部５２による画像変換を示す画像変換情報を符号化するように構成したので、カメラ１，２が操作されて、グループ領域画像の画像変換が行われた場合でも、実際の動きに近い動き補償予測符号化を実現することができる効果を奏する。

なお、この実施の形態２１では、符号化部６１が画像変換情報を符号化するものについて示したが、画像変換部５２がグループ領域画像の画像変換を行わない場合には、その画像変換情報を符号化する必要はない。

実施の形態２２．
上記実施の形態１〜２１では、特に言及していないが、符号化部８（または符号化部６１）が画像Ａ，Ｂの符号化を行う際、画像Ａ，Ｂに含まれているグループ領域画像をブロック単位に分割して、ブロック毎に符号化を実施するようにしてもよい。
この際、画像Ａ，Ｂに含まれているグループ領域画像が複数存在しているブロックについては、複数のグループ領域画像の属性を考慮して符号化を実施するようにする。
具体的には、以下の通りである。

この実施の形態２２では、画像Ａ，Ｂに含まれているグループ領域画像を８×８画素のブロックに分割し、ブロック毎に符号化を実施するものとする。
上記実施の形態４では、図９（ａ）に示すように、グループ領域画像の境界を含むブロックも含めて代表動きベクトルを求めているが、この実施の形態２２では、あるブロック内に複数のグループ領域画像が存在している場合、複数のグループ領域画像の属性を考慮して符号化を実施する。
図９（ａ）の例では、図中、灰色の領域と白色の領域を含むブロックについては、灰色の領域の属性と、白色の領域の属性とに基づいて符号化を制御する。
これは、ブロック内が全て灰色の領域と、ブロック内が全て白色の領域と、ブロック内が灰色と白色が混在する領域のそれぞれについて、個別に符号化制御を行わせるようにするためである。

以上で明らかなように、この実施の形態２２によれば、画像Ａ，Ｂに含まれているグループ領域画像が複数存在しているブロックについては、複数のグループ領域画像の属性を考慮して符号化を実施するように構成したので、属性が異なる領域について個別に符号化制御を行わせることができるようになり、その結果、目的に応じた符号化制御が可能になる効果を奏する。即ち、注目領域については、ブロック内が全て注目領域の画像の場合、多く符号化情報量を割り当て、注目領域と注目領域でない画像がブロック内に混在する場合は、全て注目領域の画像の場合と比べて割り当てる符号化情報量を減らし、全て注目領域の画像でない場合は、少なく符号化情報量を割り当てるようにすることなどが可能になる。

この実施の形態２２では、画像Ａ，Ｂに含まれているグループ領域画像を８×８画素のブロックに分割するものについて示したが、分割画素数は任意でよく、また、動き予測用のブロックサイズと符号化用のブロックサイズが異なっていてもよい。
また、この実施の形態２２では、注目領域については、ブロック内が全て注目領域の画像の場合、多く符号化情報量を割り当て、注目領域と注目領域でない画像がブロック内に混在する場合は、全て注目領域の画像の場合と比べて割り当てる符号化情報量を減らし、全て注目領域の画像でない場合は、少なく符号化情報量を割り当てることができる旨を述べたが、符号化ブロックに対する符号化情報量の割り当ては任意でよい。

なお、グループ領域画像の属性としては、例えば、ブロック内の面積を使用することができる。また、グループ領域画像の属性は、視差、特性情報、ブロック内の識別子に対応するグループ領域画像の面積の中央値又は視差の中央値などでもよい。また、焦点が合うグループ領域画像との奥行方向の位置関係でもよい。
グループ領域画像の属性は、ブロック内の識別子に対応する各グループの面積に基づいて重み付け係数を決め、その重み付け係数の平均値又は重み付け係数の２乗平均値の平方根に最も近い重み付け係数に対応するグループ領域画像の属性でもよい。

この発明の実施の形態１によるステレオ画像符号化装置を示す構成図である。 この発明の実施の形態１によるステレオ画像符号化方法を示すフローチャートである。 カメラ１，２により撮影された画像Ａ，Ｂと画面内の視差を示す説明図である。 グループ領域画像を示す説明図である。 グループ領域画像を示す説明図である。 画像の探索範囲を説明する説明図である。 画像の探索範囲を説明する説明図である。 代表動きベクトルを説明する説明図である。 代表動きベクトルの探索方法を説明する説明図である。 この発明の実施の形態５によるステレオ画像符号化装置を示す構成図である。 カメラ１，２の移動と探索範囲及びみかけ動きベクトルを示す説明図である。 カメラ１，２の定位置での回転と探索範囲及びみかけ動きベクトルを示す説明図である。 カメラ１，２の位置が変えられず、かつ、カメラ１，２が回転していない状態で、カメラ１，２のズームインとズームアウトが行われる場合の探索範囲及びみかけ動きベクトルを示す説明図である。 この発明の実施の形態１０によるステレオ画像符号化装置を示す構成図である。 この発明の実施の形態１２によるステレオ画像符号化装置を示す構成図である。 この発明の実施の形態１６によるステレオ画像符号化装置を示す構成図である。 この発明の実施の形態１８によるステレオ画像符号化装置を示す構成図である。 この発明の実施の形態２１によるステレオ画像符号化装置を示す構成図である。

１，２ カメラ、３ 視差算出部（視差算出手段）、４ グルーピング部（グルーピング手段、特性抽出手段）、５ 識別子情報付加部、６ 予測参照画像メモリ、７，１３，２３，３２，４３，５３ 動き予測部（動き予測手段）、８，６１ 符号化部（符号化手段）、１１ 動き位置情報設定部（動き予測手段）、１２ 探索範囲制御部（動き予測手段）、２１ 基準探索範囲設定部（動き予測手段）、２２ 探索範囲係数設定部（動き予測手段）、３１ みかけ動きベクトル制御部（動き予測手段）、４１ 基準みかけ動きベクトル設定部（動き予測手段）、４２ みかけ動きベクトル係数設定部（動き予測手段）、５１ 操作情報設定部（動き予測手段）、５２ 画像変換部（動き予測手段）。

Claims (11)

1. 同一時刻に撮影された複数の画像を入力し、上記複数の画像における画面内の視差を算出する視差算出手段と、上記視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、上記グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、上記動き予測手段による各領域の動き予測結果を用いて、上記複数の画像の符号化を行う符号化手段とを備え、
   上記動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、上記予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を上記動き位置情報が示すカメラの動き及び位置に応じて制御し、無限遠方を基点として、上記基点が画像の中心に置かれている状態で回転しながらカメラの移動が行われる場合、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を視差が小さい領域ほど小さい範囲に制御することを特徴とするステレオ画像符号化装置。
2. 同一時刻に撮影された複数の画像を入力し、上記複数の画像における画面内の視差を算出する視差算出手段と、上記視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、上記グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、上記動き予測手段による各領域の動き予測結果を用いて、上記複数の画像の符号化を行う符号化手段とを備え、
   上記動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、上記予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を上記動き位置情報が示すカメラの動き及び位置に応じて制御し、位置を変えずにカメラの回転が行われる場合、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を視差が大きい領域ほど小さい範囲に制御することを特徴とするステレオ画像符号化装置。
3. 同一時刻に撮影された複数の画像を入力し、上記複数の画像における画面内の視差を算出する視差算出手段と、上記視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、上記グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、上記動き予測手段による各領域の動き予測結果を用いて、上記複数の画像の符号化を行う符号化手段とを備え、
   上記動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、上記予測参照用の画像を用いて各領域の動きを予測し、複数の画像を撮影しているカメラの動き及び位置を示す動き位置情報を入力し、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を上記動き位置情報が示すカメラの動き及び位置に応じて制御し、カメラのズームインとズームアウトが行われる場合、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、上記画像の探索範囲を視差が小さい領域ほど小さい範囲に制御することを特徴とするステレオ画像符号化装置。
4. 同一時刻に撮影された複数の画像を入力し、上記複数の画像における画面内の視差を算出する視差算出手段と、上記視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、上記グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、上記動き予測手段による各領域の動き予測結果を用いて、上記複数の画像の符号化を行う符号化手段とを備え、
   上記動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、上記特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、上記予測参照用の画像を用いて各領域の動きを予測し、上記グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、各領域の中で基準となる領域に対応する予測参照用の画像の探索範囲を設定する基準探索範囲設定部と、その他の領域の探索範囲係数を設定する探索範囲係数設定部とを備え、上記基準探索範囲設定部及び上記探索範囲係数設定部の設定内容から、その他の領域に対応する予測参照用の画像の探索範囲を決定することを特徴とするステレオ画像符号化装置。
5. 基準探索範囲設定部は、グルーピング手段によりグループ分けされた各領域のうち、カメラの焦点が合う領域に対応する予測参照用の画像の探索範囲を、基準となる領域に対応する予測参照用の画像の探索範囲として設定することを特徴とする請求項４記載のステレオ画像符号化装置。
6. 同一時刻に撮影された複数の画像を入力し、上記複数の画像における画面内の視差を算出する視差算出手段と、上記視差算出手段により算出された視差に応じて画面内の領域をグループ分けするグルーピング手段と、上記グルーピング手段によりグループ分けされた各領域の特性を抽出する特性抽出手段と、上記特性抽出手段により抽出された特性を考慮して、上記グルーピング手段によりグループ分けされた各領域の動きを予測する動き予測手段と、上記動き予測手段による各領域の動き予測結果を用いて、上記複数の画像の符号化を行う符号化手段とを備え、
   上記動き予測手段は、複数の画像と異なる時刻に撮影された予測参照用の画像を格納している予測参照画像メモリの中から、上記特性抽出手段により抽出された特性を考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索し、上記予測参照用の画像を用いて各領域の動きを予測し、上記動き予測手段は、予測参照用の画像が撮影された時点のカメラの動き及び位置を示す動き位置情報と、複数の画像が撮影された時点の動き及び位置を示す動き位置情報とから、予測参照用の画像が撮影された時点から複数の画像が撮影された時点までのカメラの変化を認識し、上記カメラの変化と視差算出手段により算出された視差から、みかけ動きベクトルを算出し、上記みかけ動きベクトルを考慮して、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索することを特徴とするステレオ画像符号化装置。
7. 動き予測手段は、無限遠方を基点として、上記基点が画像の中心に置かれている状態で回転しながらカメラの移動が行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、視差が小さい領域ほど、みかけ動きベクトルを小さくすることを特徴とする請求項６記載のステレオ画像符号化装置。
8. 動き予測手段は、位置を変えずにカメラの回転が行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、視差が大きい領域ほど、みかけ動きベクトルを小さくすることを特徴とする請求項６記載のステレオ画像符号化装置。
9. 動き予測手段は、カメラのズームインとズームアウトが行われる場合、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、視差が小さい領域ほど、みかけ動きベクトルを小さくすることを特徴とする請求項６記載のステレオ画像符号化装置。
10. 動き予測手段は、グルーピング手段によりグループ分けされた各領域に対応する予測参照用の画像を探索する際、各領域の中で基準となる領域のみかけ動きベクトルを設定する基準みかけ動きベクトル設定部と、その他の領域のみかけ動きベクトル係数を設定するみかけ動きベクトル係数設定部とを備え、上記基準みかけ動きベクトル設定部及び上記みかけ動きベクトル係数設定部の設定内容から、その他の領域のみかけ動きベクトルを決定することを特徴とする請求項６記載のステレオ画像符号化装置。
11. 基準みかけ動きベクトル設定部は、グルーピング手段によりグループ分けされた各領域のうち、カメラの焦点が合う領域のみかけ動きベクトルを、基準となる領域に対応するみかけ動きベクトルとして設定することを特徴とする請求項１０記載のステレオ画像符号化装置。

Images