JP4874578B2 - 画像符号化装置 - Google Patents

Description

この発明は、複数のカメラ等で撮影された多視点画像を符号化する符号化装置と、多視点画像の符号化データを復号する復号装置に関するものである。

従来の多視点画像符号化方式は、各視点で撮影された画像間の相関を利用することで情報量の削減を行っていた。具体的にはある視点の画像を参照画像として先ず符号化し、参照画像と隣接する視点の画像については、同画像の差分情報を符号化することで情報量を削減していた。更に、参照画像と参照画像に隣接する視点の画像とを用いて、別の視点の画像の差分情報を符号化していた（例えば、非特許文献１参照）。

このようにして生成された符号化データを復号する場合、先ず、参照画像の画像データを復号し、それ以降、所望の視点の画像を復号するのに必要な他の視点の画像を順に復号していき、最終的に所望の視点の画像を復号する。

岡慎也，ナ・バンチャンプリム，藤井，谷本"自由視点テレビのための動的光線空間の情報圧縮"３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４ ５−１

従来の多視点画像符号化方式は、以上のように実行されていたので、複数のカメラで撮影された多視点画像のうち、所望の視点の画像を復号する場合、その視点位置によっては不要な他の視点の画像を幾つか先に復号する必要があった。その結果、所望の視点の画像を復号するのが遅れてしまうという課題があった。

この発明は上記のような課題を解消するためになされたもので、多視点で撮影された複数の画像に対して、所望の視点の画像を容易に復号すると共に、符号化効率が高い画像符号化装置及び画像復号装置を得ること目的とする。

この発明に係る画像符号化装置は、複数の視点の入力画像に共通する情報を共通画像として生成する共通画像生成部と、前記共通画像を符号化すると共に局部復号を行い共通局部復号画像を生成する共通画像符号化部と、前記視点の入力画像と前記共通局部復号画像との間のブロックごとの視差ベクトルを決定する視差ベクトル決定部と、前記視差ベクトルに基づいて入力画像の視差補償を行い予測画像を生成する視差補償部と、前記入力画像と前記予測画像の差分データを生成して符号化する実画像符号化部とを備え、前記視差ベクトル決定部は、視差の信頼性を評価する指標に基づいて、一定以上の視差の信頼性を満たすベクトルのみを視差ベクトルとみなす。

この発明によれば、複数のカメラで撮影された多視点画像を符号化する際に、複数の多視点画像間で共通画像を生成して先ずそれを符号化し、実際に撮影された画像については、共通画像との差分データを符号化するようにしている。また、復号の際は符号化された共通画像を復号し、復号した差分データを加えることで実際に撮影された画像を復号している。従って、符号化及び復号する際の演算量を減らすことができるので、画像符号化装置及び画像復号装置を簡単に構成することができる。また、所望視点の画像を復号する際の遅延を少なくすることができる。

実施の形態１．
以下、この発明の実施の形態１について説明する。図１は、この発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。図１の構成例は、例えば、４つのカメラでそれぞれ撮影された４つの映像（視点Ａ〜Ｄの映像）を符号化する場合を想定している。

図１において、本画像符号化装置は、視点Ａ〜Ｄの映像を蓄積するバッファ１と、視点Ａ〜Ｄの画像の共通画像データを生成する共通画像生成部２と、共通画像生成部２から出力される共通画像データに対して画面内予測、または動きベクトルを検出して画面間予測を行い、共通画像データと画面間予測を行った場合には対応する動きベクトルを符号化する共通画像符号化部（画面内予測、画面間予測）と、視点Ａ〜Ｄの画像と共通画像符号化部から出力される共通画像データとの差分データと、各視点の画像と共通画像との視差ベクトルを符号化する実画像符号化部と、共通画像符号化部の出力と実画像符号化部の出力とを多重化するＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ） １８とを備えている。

共通画像符号化部は、差分器３と、ＤＣＴ／量子化器４と、エントロピー符号化器５と、逆量子化／ＩＤＣＴ器６と、加算器７と、共通画像バッファ８と、画面内予測器９と、動きベクトル検出器１０と、動き補償器１１と、切り替え器１２とを備えている。

実画像符号化部は、視差ベクトル検出器１３と、視差補償器１４と、差分器１５と、ＤＣＴ／量子化器１６と、エントロピー符号化器１７とを備えている。

次に、動作について説明する。図２は、この発明の実施の形態１における多視点での撮影方法を示す図である。図２において、例えば、視線方向と直交する方向に一列に並んだカメラＡ〜Ｄで対象物を撮影し、それぞれのカメラで撮影した映像を視点Ａ〜Ｄの映像とする。

バッファ１に４つの視点Ａ〜Ｄで撮影された映像が入力され、これ以降の装置とタイミングを合わせるため、一時的に蓄積される。バッファ１は、ノイズ除去処理等の入力画像に必要な処理も行う場合がある。

共通画像生成部２は、バッファ１から適切な画像を取り出して、共通画像となる画像データ（以下、共通画像データ）を生成する。この共通画像としては、視点Ａ〜Ｄの画像そのもの、ある１つの画像に何らかの演算を施した画像、複数の画像から変換処理された画像等がある。共通画像生成部２の詳細については後述する。

差分器３は、共通画像生成部２から出力される共通画像データと切り替え器１２の出力とから差分データを生成して、ＤＣＴ／量子化器４に出力する。

ＤＣＴ／量子化器４は、差分器３から出力される差分データ対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算を行い、更に量子化処理を行う。

エントロピー符号化器５は、ＤＣＴ／量子化器４から出力されるＤＣＴ及び量子化された差分データに対して、エントロピー符号化処理を行う。また、動きベクトル検出器１０から出力される動きベクトルに対して、エントロピー符号化処理を行う。

逆量子化／ＩＤＣＴ器６は、ＤＣＴ／量子化器４から出力されるＤＣＴ及び量子化された差分データに対して、逆量子化処理を行い、更にＩＤＣＴ（Ｉｎｖｅｒｓ ＤＣＴ）演算を行う。

加算器７は、逆量子化／ＩＤＣＴ器６から出力される逆量子化及びＩＤＣＴされた差分データと、切り換え器１２の出力とを加算して、共通画像データを共通画像バッファ８に出力する。

共通画像バッファ８は、加算器７から入力される共通画像データを、それ以降の処理に適したタイミングで出力する。また、必要に応じて遅延無く出力することもできる。

画面内予測器９は、共通画像バッファ８から出力される共通画像データを用いて、画面内予測に必要な領域の画像データを適切に処理して出力する。

動きベクトル検出器１０は、共通画像生成部２から所定のタイミングで出力される共通画像データと、それ以前に共通画像バッファ８から出力される別の共通画像データとの間で動きベクトル探索を行う。

動き補償器１１は、共通画像バッファ８から出力される共通画像に対して、それに対応した、動きベクトル検出器１０から出力される動きベクトルを用いて、動き補償処理を行う。

切り替え器１２は、共通画像符号化部（差分器３〜切り換え器１２）が画面内予測を行う場合は、画面内予測器９の出力を選択して差分器３に出力する。一方、画面間予測を行う場合は、動き保証器１１の出力を選択して差分器３に出力する。

視差ベクトル検出器１３は、バッファ１から出力される視点Ａ〜Ｄのうちいずれかの視点で撮影された画像データと、共通画像バッファ８から出力される共通画像データとから視差ベクトルを検出する。視差ベクトルの検出方法は様々あるが、動きベクトル検出器１０で使用される方法によることが多い。
共通画像バッファ８から取り出す共通画像データは、最新の共通画像データ等の、バッファ１から取り出した画像データと同じタイミングで撮影されたものでなくてもよく、共通画像バッファ８に蓄積された共通画像データであればよい。その選択方法として、後述する視差ベクトル決定部２１等で示すような、ＳＳＤ演算結果の最小値の閾値や領域間の距離等を調査して、それに応じて最適な共通画像データを使用するようにしてもよい。

視差補償器１４は、共通画像バッファ８から出力される共通画像データに対して、それに対応した、視差ベクトル検出器１３から出力される視差ベクトルを用いて、視差補償処理を行う。この時、撮影に使用したカメラの空間的な配置や方向の幾何学的な情報を利用して視差補償処理を行ってもよい。カメラの配置や方向の幾何学的な情報を用いることで、共通画像内のある部分領域の、その時に差分を行うカメラ視点からの見え方が推定できるからである。上記の場合は、カメラの配置や方向の幾何学的な情報もエントロピー符号化器１７で符号化する。

差分器１５は、バッファ１から出力される画像データと、視差補償器１４から出力される画像データ（視差補償処理された共通画像データ）との差分演算を行う。この時に用いる画像は、視差ベクトル検出器１３での視差ベクトルの検出に使用した画像である。

ＤＣＴ／量子化器１６は、差分器１５から出力される差分データに対して、ＤＣＴ演算を行った後、量子化処理を行う。

エントロピー符号化器１７は、ＤＣＴ／量子化器１６から出力されるＤＣＴ及び量子化された差分データに対して、エントロピー符号化処理を行う。また、視差ベクトル検出器１３から出力される視差ベクトルに対して、エントロピー符号化処理を行う。

ＭＵＸ １８は、エントロピー符号化器５の出力と、エントロピー符号化器１７の出力とを多重化して、符号化ストリームを生成する。

次に、共通画像生成部２について説明する。図３は、図１中の共通画像生成部２を示す構成図である。図３において、基準画増バッファ１９〜視差ベクトル決定部２１が視差ベクトル探索部を構成する。また、視差補償器２２〜共通画像演算器２４が共通領域抽出部を構成する。

基準画像バッファ１９は、図２に示す視点Ａ〜Ｄで同時に撮影された４つの画像の中から１つの画像を選択して保存する。図３では例として、基準画増バッファ１９が、視点Ａ〜Ｄの中で位置的に中央付近の視点Ｂで撮影された画像を選択保存している。

ＳＳＤ演算部２０は、基準画像バッファ１９に蓄積された視点Ｂの画像と、それと同じタイミングで撮影された視点Ａ、Ｃ、Ｄの３つの画像との間で、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）演算を行う。ＳＳＤ演算は、動きベクトル探索アルゴリズムの１つとして知られている。

視差ベクトル決定部２１では、ＳＳＤ演算部２０の演算結果を用いて、視点Ａ、Ｃ、Ｄの各画像毎に、視点Ｂの画像との視差ベクトルを決定する。この時、「一定以上の信頼性を満たす視差ベクトルのみを取り出し、それ以外は視差ベクトルと見なさない」としてもよい。この場合の「一定以上の信頼性」とは、例えば、「視点Ｂの画像のある領域と視点Ａの画像のある領域とにおいて、ＳＳＤで視差ベクトル探索する場合、ＳＳＤ演算結果の最小値が所定の閾値以下であること」等の条件により決定する。
また、別の「一定以上の信頼性」の指標として、視点Ｂの画像のある領域の画面中位置と、視点Ａの画像のある領域の画面中位置との距離を調査し、その距離が一定以内である場合のみ信頼性があるとして視差ベクトルを決定したり、前記距離に応じて先のＳＳＤ演算結果の最小値の閾値を変化させる、等の条件もありうる。

視差補償器２２は、視点Ａ、Ｃ、Ｄの各画像それぞれに対し、視差ベクトル決定部２１で決定された視差ベクトルを用いて視差補償処理を行う。その結果、例えば視点Ａ〜Ｄで共通に撮影されている物体は、視差補償処理後は、各視点の画像とも同じ位置に移動されたことになる。

画像バッファ２３は、視差補償器２２で視差補償された視点Ａ、Ｃ、Ｄの各画像と、基準画増バッファ１９から出力される視点Ｂの画像とを蓄積する。

共通画像演算器２４は、例えば画像バッファ２３に蓄積されている視点Ａ〜Ｄに由来する各画像について、視点方向のウェーブレット変換を行い、その低周波数成分の画像を出力する。例えば、ハールのウェーブレット変換（Ｈａｒｒ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を使用する場合、視点Ａ〜Ｄに由来する各画像において、同じ位置にある画素値をａ，ｂ，ｃ，ｄとすると、その低周波数成分の画像上の同じ位置の画素値は「（ａ＋ｂ＋ｃ＋ｄ）／４」となる。その他、視点方向の補間処理やローパスフィルタ処理、平均化処理等が考えられるし、これらの画面内処理と組み合わせることも考えられる。また画像バッファ２３に蓄積されている画像データのうち、例えば、視点ＢとＣに由来する各画像等、一部の画像のみを使用してもよく、また、蓄積されている画像そのものを使用してもよい。

次に、図１の画像符号化装置に対応する画像復号装置について説明する。図４は、この発明の実施の形態１に係る画像復号装置を示す構成図である。図４において、本画像復号装置は、多重化された符号化データを分離するＤＥＭＵＸ（ＤｅＭｕｌｔｉｐｌｅｘｅｒ） ２５と、符号化された共通画像データを復号する共通画像復号部（画面内予測、画面間予測）と、符号化された各視点の画像の差分データを復号する実画面復号部とを備えている。

共通画像復号部は、エントロピー復号器２６と、逆量子化／ＩＤＣＴ器２７と、加算器２８と、共通画像バッファ２９と、画面内予測器３０と、動き補償器３１と、切り替え器３２とを備えている。

実画像復号部は、エントロピー復号器３３と、逆量子化／ＩＤＣＴ器３４と、視差補償器３５と、加算器３６とを備えている。

次に、動作について説明する。ＤＥＭＵＸ ２５は、図１のＭＵＸ１８から出力される符号化ストリームを、共通画像データの復号に必要な符号化データと、所望視点の画像の復号に必要な符号化データとに分離し、それぞれエントロピー復号器２６とエントロピー復号器３３に出力する。

エントロピー復号器２６は、ＤＥＭＵＸ ２５で分離された共通画像データの復号に必要な符号化データに対して、エントロピー復号処理を行う。これらは主に、共通画像の画素値に関するものと動きベクトルである。

逆量子化／ＩＤＣＴ器２７は、エントロピー復号器２６の出力のうち、画素値に関するデータに対して逆量子化処理を行い、更にＩＤＣＴ演算を行う。

加算器２８は、逆量子化／ＩＤＣＴ器２７の出力と切り替え器３２の出力とを加算して、共通画像データを共通画像バッファ２９に出力する。

共通画像バッファ２９は、加算器２８から入力される共通画像データを、それ以降の処理に必要なタイミングで出力する。また、必要に応じて遅延なく出力することもできる。

画面内予測器３０は、共通画像バッファ２９から出力される共通画像データを用いて、画面内予測に必要な領域の画像データを適切に処理して出力する。

動き補償器３１は、エントロピー復号器２６から出力される動きベクトルについて、それに対応した共通画像データを共通画像バッファ２９から取り出し、同動きベクトルを用いて動き補償処理を行う。

切り替え器３２は、逆量子化／ＩＤＣＴ器２７から出力されるデータが画面内予測されたものである場合は、画面内予測器３０の出力を選択して加算器２８に出力する。一方、画面間予測されたものである場合は、動き補償器３１の出力を選択して加算器２８に出力する。

エントロピー復号器３３は、ＤＥＭＵＸ ２５から出力される所望視点の画像の復号に必要な符号化データに対して、エントロピー復号を行う。これらは主に、所望視点の画像の画素値に関するものと視差ベクトルである。

逆量子化／ＩＤＣＴ器３４は、エントロピー復号器３３の出力のうち、画素値に関するデータに対して逆量子化処理を行い、更にＩＤＣＴ演算を行う。

視差補償器３５は、エントロピー復号器３３から出力される視差ベクトルについて、それに対応した共通画像データを共通画像バッファ２９から取り出し、同視差ベクトルを用いて視差補償処理を行う。この時、撮影に使用したカメラの空間的な配置や方向の幾何学的な情報をエントロピー復号器３３で復号して利用し、視差補償処理を行ってもよい。これらの情報を用いることで、共通画像内のある部分領域の、差分を行うカメラ視点（所望視点）からの見え方を推定することができるからである。

加算器３６は、逆量子化／ＩＤＣＴ器３４の出力と、視差補償器３５の出力とを加算して、所望視点の画像データを出力する。

図５は、実施の形態１において、視点Ａ〜Ｄの各画像と共通画像との関係を示した図である。図５（ａ）は、視点Ａの画像が、視点Ａ〜Ｄの各画像に共通する情報と、それ以外の情報とで構成されることを示している。本発明では、共通する情報は共通画像として符号化される。図５（ｂ）〜（ｄ）は、視点Ｂ〜Ｄの各画像について、図５（ａ）と同様に示したものである。

図６は、実施の形態１において、符号化及び復号する際の、視点Ａ〜Ｄの各画像と共通画像との関係を示した図である。図６において、画像ａ〜ｄは、それぞれ視点Ａ〜Ｄで撮影された画像である。また、共通画像５４は、画像ａ〜ｄに共通する情報により作成された画像である。

差分データ５５〜５６は、それぞれ、画像ａ〜ｄと共通画像５４との差分データである。共通画像５９は、共通画像５４を符号化したデータを復号して得られた共通画像（復号画像ａ’〜ｄ’に共通する情報）である。

差分データ６０〜６３は、それぞれ、差分データ５５〜５８を符号化したデータを復号して得られた差分データである。また、復号画像ａ’〜ｄ’は、それぞれ、共通画像５９と差分データ６０〜６３とを加算して得られた画像である。

視点Ａ〜Ｄで撮影された画像ａ〜ｄの情報は、それぞれ、図１の画像符号化装置で差分情報５５〜５８と共通画像５４とに分離されて符号化され、図４の画像復号装置に伝送される。画像復号装置では、共通画像５９と画像ａ〜ｄのそれぞれの差分データ６０〜６３とを加算して、各視点Ａ〜Ｄの復号画像ａ’〜ｄ’を生成する。

以上のように、この実施の形態１によれば、複数のカメラで撮影された多視点画像を符号化する際に、複数の多視点画像間で共通画像を生成して先ずそれを符号化し、実際に撮影された画像については、共通画像との差分データを符号化するようにしている。また、復号の際は符号化された共通画像を復号し、復号した差分データを加えることで実際に撮影された画像を復号している。従って、符号化及び復号する際の演算量を減らすことができるので、画像符号化装置及び画像復号装置を簡単に構成することができる。また、所望視点の画像を復号する際の遅延を少なくすることができる。

実施の形態２．
以下、この発明の実施の形態２について説明する。実施の形態１では、実際に撮影された画像に共通画像との相関性が比較的高くない領域が存在する場合がある。一方、実際に撮影された画像に、同領域との相関性が比較的高い別領域が存在する場合がある。実施の形態２では、上記の場合に、共通画像データ以外に、該当する画像の画面内予測データを用いて、該当する視点の画像を符号化する。

図７は、この発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。図７において、バッファ１〜視差補償器１４は実施の形態１に係る画像符号化装置（図１）と同様であるので、説明を省略する。

本画像符号化装置は、上記構成に加えて、差分器６４と、ＤＣＴ／量子化器６５と、エントロピー符号化器６６と、逆量子化／ＩＤＣＴ器６７と、加算器６８と、バッファ６９と、画面内予測器７０と、切り替え器７１と、ＭＵＸ ７２とを備えている。実画像符号化部が差分器６４〜切り換え器７１を備えている。

次に、動作について説明する。差分器６４は、バッファ１から出力される画像データと、切り替え器７１の出力との差分データを生成して、ＤＣＴ／量子化器６５に出力する。差分器６４の差分データは、バッファ１から出力される画像と共通画像との画面間予測データ（実施の形態１と同様）、またはバッファ１から出力される画像の画面内予測データである。

ＤＣＴ／量子化器６５は、差分器６４の出力に対してＤＣＴ演算を行い、更に量子化処理を行う。

エントロピー符号化器６６は、ＤＣＴ／量子化器６５の出力に対して、エントロピー符号化処理を行う。

逆量子化／ＩＤＣＴ器６７は、ＤＣＴ／量子化器６５の出力のうち、画面内予測データに対して逆量子化処理を行い、更にＩＤＣＴ演算を行う。

加算器６８は、逆量子化／ＩＤＣＴ器６７の出力と画面内予測器７０の出力とを加算して、バッファ６９に出力する。

バッファ６９は、加算器６８の出力を蓄積し、画面内予測器７０が必要とするタイミングに合わせて出力する。また、必要に応じて遅延無く出力することもできる。

画面内予測器７０は、バッファ６９から出力される、画面内予測に適当な領域のデータに対して、適切な画面内予測処理を行い出力する。

切り替え器７１は、視差補償器１４の出力と画面内予測器７０の出力とを切り替えて、差分器６４に出力する。

ＭＵＸ７２は、エントロピー符号化器５の出力と、エントロピー符号化器６６の出力とを多重化して、符号化ストリームを生成する。その他の動作については、実施の形態１に係る画像符号化装置の動作と同様であるので説明を省略する。

次に、画像復号装置について説明する。図８は、この発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。図８において、ＤＥＭＵＸ ２５〜切り換え器３２、視差補償器３５は実施の形態１に係る画像復号装置（図４）と同様であるので、説明を省略する。

本画像復号装置は、上記構成に加えて、エントロピー復号器７３と、逆量子化／ＩＤＣＴ器７４と、加算器７５と、バッファ７６と、画面内予測器７７と、切り替え器７８とを実画像復号部に備えている。

次に、動作について説明する。エントロピー復号器７３は、ＤＥＭＵＸ ２５の出力データに対して、エントロピー復号処理を行う。この時にエントロピー復号されるデータは、所望視点の画像データと共通画像との画面間予測データ、または所望視点の画像データの画面内予測データである。

逆量子化／ＩＤＣＴ器７４は、エントロピー復号器７３の出力に対して、逆量子化処理を行い、更にＩＤＣＴ演算を行う。

加算器７５は、逆量子化／ＩＤＣＴ器の出力が、所望視点の画像と共通画像との画面間予測データである場合は、視差補償器３５の出力と加算する。一方、逆量子化／ＩＤＣＴ器の出力が、所望視点の画像の画面内予測データである場合は、画面内予測器７７の出力と加算する。この加算結果の画像データは、視点Ａ〜Ｄのいずれかで撮影された画像データの復号画像データである。

バッファ７６は、加算器７５の出力を蓄積し、画面内予測器７７が必要とするタイミングに合せて出力する。

画面内予測器７７は、所望視点の画像データに関して、バッファ７６から出力される、画面内予測に必要な領域データに対して、適切な画面内予測処理を行って出力する。

切り替え器７８は、視差補償器３５から出力される共通画像による画面間予測データと、画面内予測器７７から出力される画面内予測データとを切り替えて、加算器７５に出力する。その他の動作は、実施の形態１に係る画像復号装置の動作と同様であるので説明を省略する。

以上のように、この実施の形態２によれば、多視点画像を符号化する際に、実施の形態１の共通画像による画面間予測と、実際に撮影された画像の画面内予測を適応的に切り替えて符号化するので、実際に撮影された画像に共通画像との相関性があまり高くない領域がある場合でも、同領域と別領域との相関性が高い場合には、符号化効率をより上げることができる。

この発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 この発明の実施の形態１において、多視点での撮影方法を示す図である。 図１中の共通画像生成部２の構成を示すブロック図である。 この発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。 実施の形態１において、視点Ａ〜Ｄの各画像と共通画像との関係を示した図である。 実施の形態１において、符号化及び復号する際の、視点Ａ〜Ｄの各画像と共通画像との関係を示した図である。 この発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。 この発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。

符号の説明

１ バッファ、２ 共通画像生成部、３ 差分器、４ ＤＣＴ／量子化器、５ エントロピー符号化器、６ 逆量子化／ＩＤＣＴ器、７ 加算器、８ 共通画像バッファ、９ 画面内予測器、１０ 動きベクトル検出器、１１ 動き補償器、１２ 切り替え器、１３ 視差ベクトル検出器、１４ 視差補償器、１５ 差分器、１６ ＤＣＴ／量子化器、１７ エントロピー符号化器、１８ ＭＵＸ、１９ 基準画像バッファ、２０ ＳＳＤ演算部２１ 視差ベクトル決定部、２２ 視差補償器、２３ 画像バッファ、２４ 共通画像演算器、２５ ＤＥＭＵＸ、２６ エントロピー復号器、２７ 逆量子化／ＩＤＣＴ器、２８ 加算器、２９ 共通画像バッファ、３０ 画面内予測器、３１ 動き補償器、３２ 切り替え器、３３ エントロピー復号器、３４ 逆量子化／ＩＤＣＴ器、３５ 視差補償器、３６ 加算器、 ５４ 共通画像、５５〜５８ 差分データ、５９ 共通画像、６０〜６３ 差分データ、６４ 差分器、６５ ＤＣＴ／量子化器、６６ エントロピー符号化器、
６７ 逆量子化／ＩＤＣＴ器、６８ 加算器、６９ バッファ、７０ 画面内予測器、７１ 切り替え器、７２ ＭＵＸ、７３ エントロピー復号器、７４ 逆量子化／ＩＤＣＴ器、７５ 加算器、７６ バッファ、７７ 画面内予測器、７８ 切り替え器。

Claims (7)

1. 複数の視点の入力画像に共通する情報を共通画像として生成する共通画像生成部と、
   前記共通画像を符号化すると共に局部復号を行い共通局部復号画像を生成する共通画像符号化部と、
   前記視点の入力画像と前記共通局部復号画像との間のブロックごとの視差ベクトルを決定する視差ベクトル決定部と、
   前記視差ベクトルに基づいて入力画像の視差補償を行い予測画像を生成する視差補償部と、
   前記入力画像と前記予測画像の差分データを生成して符号化する実画像符号化部とを備え、
   前記視差ベクトル決定部は、視差の信頼性を評価する指標に基づいて、一定以上の視差の信頼性を満たすベクトルのみを視差ベクトルとみなすことを特徴とする画像符号化装置。
2. 前記実画像符号化部が、前記視点の入力画像を撮影するカメラの空間的な位置や方向を利用して、前記差分データの情報量を削減することを特徴とする請求項１記載の画像符号化装置。
3. 前記共通画像符号化部が、前記共通画像と時間的に前の共通画像との差分データを符号化することを特徴とする請求項１記載の画像符号化装置
4. 前記実画像符号化部が、前記視点の入力画像と時間的に前の共通画像との差分データを符号化することを特徴とする請求項１記載の画像符号化装置。
5. 前記共通画像生成部が、空間的な低周波成分を前記視点の入力画像から抽出して前記共通画像とすることを特徴とする請求項１記載の画像符号化装置。
6. 前記共通画像符号化部が、前記共通画像の符号化と、１つの前記視点の入力画像の符号化とを適応的に切り替えることを特徴とする請求項１記載の画像符号化装置。
7. 前記実画像符号化部が、前記視点の入力画像の画面内部の差分データを生成し、前記視点の入力画像と前記共通画像との差分データと、前記視点の入力画像の画面内部の差分データとを、適応的に切り替えて符号化することを特徴とする請求項１記載の画像符号化装置。

Images