JPWO2012131895A1 - 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム - Google Patents

Abstract

実施形態の画像符号化装置は、符号化対象画像における視点の第１視差画像を、視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する画像合成部と、生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う第１フィルタ処理部と、フィルタ処理後の第１視差画像を参照画像として予測画像を生成する予測画像生成部と、入力画像と予測画像とから符号化データを生成する符号化部とを備える。

Description

本発明の実施形態は、画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラムに関する。

従来の多画像符号化装置では、符号化対象の視点の視差画像を、符号化対象の視点と異なる視点の局所復号化画像から画像合成の技術により生成し、合成された視点の視差画像をそのまま復号化画像としたり、あるいは符号化の際の予測画像に用いている。

国際公開第２００６／０３８５６８号 特開２００９−９５０６６号公報

Sang-Tae Na, et al: Joint coding of multi-view and corresponding depth map, in Proc. of IEEE International Conference of Image Processing, pp.2468-2471, 2008.

しかしながら、画像合成により生成された視差画像をそのまま出力する場合には、画質が劣化し、画像合成により生成された視差画像を予測画像として用いる場合には、原画との誤差を残差情報として符号化するため、符号化効率が悪化するという問題がある。

実施形態の画像符号化装置は、画像合成部と、第１フィルタ処理部と、予測画像生成部と、符号化部とを備える。
画像合成部は、符号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する。第１フィルタ処理部は、生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う。予測画像生成部は、フィルタ処理後の第１視差画像を参照画像として予測画像を生成する。符号化部は、入力画像と前記予測画像とから符号化データを生成する。

実施の形態１の画像符号化装置の図。 実施の形態１の符号化の一例の図。 実施の形態１のカメラのパラメータの例の図。 実施の形態１の符号化処理のフローチャート。 実施の形態２の画像復号化装置の図。 実施の形態２の復号化処理のフローチャート。 実施の形態３の画像復号化部の図。 実施の形態３の多視差画像の符号化の例の図。

（実施の形態１）
実施の形態１は、符号化対象の視点の視差画像を、符号化対象の視点と異なる視点の復号化済みの視差画像から画像合成の技術により生成し、合成された視点の視差画像を符号化の際の予測画像に用いる画像符号化装置である。

図１は、実施の形態１の画像符号化装置の機能的構成を示すブロック図である。本実施の形態の画像符号化装置１００は、図１に示すように、符号化制御部１１６と、画像符号化部１１７と、プレフィルタ設計部１０８と、ポストフィルタ設計部１０７とを備える。

符号化制御部１１６は、画像符号化部１１７の全体を制御する。プレフィルタ設計部１０８は後述するプレフィルタ処理部１１０で使用するフィルタ情報の生成を行い、ポストフィルタ設計部１０７は後述するポストフィルタ処理部１０６で使用するフィルタ情報の生成を行う。なお、プレフィルタ設計部１０８、ポストフィルタ設計部１０７、フィルタ情報の詳細については後述する。

画像符号化部１１７は、符号化対象画像である入力画像を入力して、符号化対象の視点の視差画像を、符号化対象の視点と異なる視点の復号化済みの視差画像から画像合成の技術により生成し、符号化して符号化データＳ（ｖ）１０４として出力する。

画像符号化部１１７は、図１に示すように、減算器１１１と、変換・量子化部１１５と、可変長符号化部１１８と、逆変換・逆量子化部１１４と、加算器１１３と、予測画像生成部１１２と、第２フィルタ処理部としてのプレフィルタ処理部１１０と、画像合成部１０９と、第１フィルタ処理部としてのポストフィルタ処理部１０６と、参照画像バッファ１０５とを備える。

画像符号化部１１７には、入力画像信号Ｉ（ｖ）１０１が入力される。減算器１１１は、予測画像生成部１１２で生成された予測画像信号と入力画像信号Ｉ（ｖ）１０１との差分を求めて、この差分である残差信号を生成する。

変換・量子化部１１５は、残差信号を直交変換して直交変換係数を求めるとともに、直交変換係数を量子化して量子化直交変換係数情報を求める。この量子化直交変換係数情報を以下、残差情報という。ここで、直交変換としては、例えば、離散コサイン変換を用いることができる。残差情報（量子化直交変換係数情報）は、可変長符号化部１１８と逆変換・逆量子化１１４に入力される。

逆変換・逆量子化１１４は、残差情報に対して、変換・量子化部１１５の処理と逆の処理を行う。すなわち、逆変換・逆量子化１１４は、残差情報を逆量子化および逆直交変換の処理を行って局所復号化信号を再生する。加算器１１３は、再生された局所復号化信号と予測画像信号とを加算して復号画像信号を生成する。この復号画像信号は、参照画像として参照画像バッファ１０５に保存される。

ここで、参照画像バッファ１０５は、フレームメモリ等の記憶媒体である。参照画像バッファ１０５には、上述の復号画像信号が参照画像１〜３等として保存される他、後述するように、ポストフィルタ処理部１０６によるフィルタ処理が行われた合成画像（符号化対象画像における視点の視差画像）が、参照画像Ｖｉｒとして保存される。参照画像Ｖｉｒは、予測画像生成部１１２に入力され、予測画像生成部１１２は、参照画像から予測画像信号を生成する。

プレフィルタ処理部１１０は、符号化対象画像における視点と異なる他の視点の復号化済みの視差画像Ｒ（ｖ’）と、当該視差画像Ｒ（ｖ’）の視点に対応する、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）を入力し、これらの情報Ｒ（ｖ’），Ｄ（ｖ’）に対して、プレフィルタ設計部１０８で設計されたフィルタ情報（第２フィルタ情報）を用いてプレフィルタ処理を行う。ここで、フィルタ情報には、フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数が含まれる。

すなわち、プレフィルタ処理部１１０は、復号化済みの視差画像Ｒ（ｖ’）と、当該視差画像の視点に対応する、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）に対して、フィルタ情報のフィルタ係数およびフィルタに用いる画素数を用いてフィルタ処理を行う。また、プレフィルタ処理部１１０は、フィルタ情報を可変長符号化部１１８に送出する。

画像合成部１０９は、符号化対象画像における視点の視差画像を、この視点と異なる他の視点の復号化済み視差画像と当該視差画像の視点に対応する復号化済みの奥行き情報または視差情報とにフィルタ処理を施した情報から生成する。生成された符号化対象画像における視点の視差画像を合成画像という。

図２は、符号化の一例を説明するための図である。図２の例において、符号化対象画像の視点を２、他の視点を０とすると、図２に示すように、画像合成部１０９は、他の視点０の視差画像Ｒ（０）とそれに対応する奥行き情報、視差情報Ｄ（０）から、３Ｄ Ｗａｒｐｉｎｇにより符号化対象画像の視点２に対応する視差画像を生成する。

画像合成部１０９は、符号化対象画像の視点ｉにおける合成画像の（Ｘ_i，Ｙ_i）のブロックを、画像合成に用いる視点ｊの視差画像の（Ｘ_j，Ｙ_j）のブロックから合成する。なお、（Ｘ_j，Ｙ_j）については、次の（１）、（２）式により算出する。

ここで、Ｒはカメラの回転行列、Ａは内部カメラ行列、Ｔはカメラの並進行列を示す。また、ｚは奥行き値を示す。

図３は、画像合成の例を示す説明図である。図３の例では、カメラＣ_jからの視点ｊの視差画像［Ｘ_j，Ｙ_j］から、カメラＣ_iからの視点iの合成画像［Ｘ_i，Ｙ_i］が生成されることを示している。なお、［Ｘ_j，Ｙ_j］は（１）、（２）式を用いて算出する。

図２の例において、符号化対象画像の視点を１とすると、図に示すように、視差画像Ｒ（０），Ｒ（２）とそれに対応する奥行き情報、視差情報Ｄ（０），Ｄ（２）のふたつの視点の情報を用いて合成画像を生成することができるが、この場合には、Ｒ（０），Ｄ（０）を用いて生成した合成画像と、Ｒ（２），Ｄ（２）を用いて生成した合成画像の両方を参照画像として利用してもよく、また、ふたつの合成画像の重みつき平均をとった画像を合成画像としてもよい。

ここで、３Ｄ Ｗａｒｐｉｎｇによって生成した合成画像には、隠面領域等により合成できない領域（Ｈｏｌｅ）が存在する可能性がある。このような場合には、画像合成部１０９は、このＨｏｌｅについては、奥行き情報を利用して、Ｈｏｌｅに隣接する、より遠方の領域（背景の領域）の画素値でＨｏｌｅを埋める処理を施してもよい。あるいは、画像合成部１０９の処理の段階では、Ｈｏｌｅをそのままにしておき、可変長符号化部１１８により、ポストフィルタ処理部１０６で用いるフィルタ情報として、どの画素の画素値を使ってＨｏｌｅを埋めるかを指定する情報を符号化してもよい。例えば、Ｈｏｌｅに該当する画素を順にスキャンし、Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ（ＤＰＣＭ）によりＨｏｌｅに関する情報を付加するような方式を採用してもよい。あるいは、Ｈ．２６４における画面内予測のように、Ｈｏｌｅを埋める方向を指定する方式でもよい。この場合は、復号側でも同様に、ここで符号化したＨｏｌｅを埋めるフィルタの情報に従って隠面領域を埋めることができる。

図１に戻り、ポストフィルタ処理部１０６は、合成画像に対して、ポストフィルタ設計部１０７で設計されたフィルタ情報（第１フィルタ情報）を用いてポストフィルタ処理を行う。ここで、本実施の形態では、ポストフィルタ設計部１０７で生成されるフィルタ情報（第２フィルタ情報）は、フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数が含まれる。

すなわち、ポストフィルタ処理部１０６は、合成画像に対して、フィルタ情報のフィルタ係数およびフィルタに用いる画素数を用いてフィルタ処理を行う。また、ポストフィルタ処理部１０６は、フィルタ情報を可変長符号化部１１８に送出し、フィルタ処理が行われた合成画像を、参照画像Ｖｉｒとして参照画像バッファ１０５に保存する。

可変長符号化部１１８は、変換・量子化部１１５から出力される残差情報および予測信号生成部１１２から出力される予測モード情報を可変長符号化して符号化データＳ（ｖ）１０４を生成する。また、可変長符号化部１１８は、プレフィルタ処理部１１０およびポストフィルタ処理部１０６から出力されるフィルタ情報に可変長符号化の処理を施し、符号化されたフィルタ情報を符号化データに付加する。すなわち、可変長符号化部１１８は、符号化された残差情報と符号化されたフィルタ情報とを含む符号化データＳ（ｖ）１０４を生成する。そして、可変長符号化部１１８は、この符号化データＳ（ｖ）１０４を出力する。この符号化データＳ（ｖ）１０４は、ネットワークまたは蓄積メディアを介して画像復号化装置に入力される。

ここで、例えば、Ｈ．２６４におけるＳｋｉｐモードのように、残差情報を符号化せず画像合成部１０９で生成された合成画像にポストフィルタ処理部１０６によるフィルタ処理を適用した合成画像をそのまま出力する場合には、残差情報の符号化を省略することを示す情報を符号化データ１０４に付加することにより、復号化側で同じ画像を復号化することができる。

ポストフィルタ設計部１０７は、ポストフィルタを設計する。例えば、ポストフィルタ処理部１０６は、画像合成部１０９で生成した合成画像と、符号化対象画像である入力画像１０１を用いてＷｉｅｎｅｒ−Ｈｏｐｆ方程式を構成し解を求めることにより、入力画像１０１と、ポストフィルタ処理部１０６によるフィルタ適用後の合成画像の二乗誤差を最小にするフィルタを設計することができる。

ポストフィルタ設計部１０７で設計されたフィルタに関するフィルタ情報（フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数）、ポストフィルタ処理部１０６および可変長符号化部１１８に入力される。

プレフィルタ設計部１０８は、プレフィルタを設計する。例えば、プレフィルタ設計部１０８も同様に、合成画像と符号化対象画像の入力画像１０１の二乗誤差を最小化するように、画像合成に用いる他の視点の視差画像およびその視点に対応する奥行き情報あるいは視差情報の局所復号信号に適用するフィルタを設計する。

プレフィルタ設計部１０８で設計されたフィルタに関するフィルタ情報（フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数）、プレフィルタ処理部１１０および可変長符号化部１１８に入力される。

なお、フィルタの設計手法については、本実施の形態で説明した方式に限定されるｍのではなく、任意の設計方式を採用することができる。

フィルタ係数の表現方法については特に限定されるものではなく、例えば、予め１以上のフィルタ係数セットを用意しておき、実際に使用するフィルタ係数セットを指定する情報を符号化し、画像復号化装置側へ伝送する方式を採用したり、また、全てのフィルタ係数を符号化して画像復号化装置側へ伝送する方式とすることができる。この場合、フィルタ係数の値については、整数演算に合わせて整数化された値を符号化してもよい。また、フィルタ係数を予測によって伝送する方式を採用してもよい。予測の方法については、例えば、フィルタ係数の空間的相関を利用して、フィルタ係数を近傍画素の係数から予測し、その残差を符号化してもよい。あるいは、フィルタ係数の時間的相関に着目し、参照となるフィルタ係数セットからの差分を算出し、その残差を符号化してもよい。

次に、以上のように構成された本実施の形態の画像符号化装置による符号化処理について説明する。図４は、実施の形態１の符号化処理の手順を示すフローチャートである。

まず、プレフィルタ処理部１１０は、復号化済みの他の視点の視差画像Ｒ（ｖ’）、当該他の視点の復号化済みの奥行き情報または視差情報Ｄ（ｖ’）を入力し、これらの情報に、プレフィルタ設計部１０８で設計されたプレフィルタを適用する（ステップＳ１０１）。

次に、画像合成部１０９は、画像合成を行う（ステップＳ１０２）。すなわち、画像合成部１０９は、プレフィルタ適用後の、復号化済みの他の視点の視差画像Ｒ（ｖ’）、当該他の視点の復号化済みの奥行き情報または視差情報Ｄ（ｖ’）から、符号化対象画像における視点の視差画像（合成画像）を生成する。そして、ポストフィルタ処理部１０６は、この合成画像に対して、ポストフィルタ設計部１０７で設計されたポストフィルタを適用し（ステップＳ１０３）、ポストフィルタが適用された合成画像を、参照画像Ｖｉｒとして参照画像バッファ１０５に保存する（ステップＳ１０４）。

予測画像生成部１１２は、参照画像バッファ１０５から参照画像Ｖｉｒを取得して、予測画像を生成する（ステップＳ１０５）。そして、減算器１１１が、符号化対象画像である入力画像１０１とこの参照画像Ｖｉｒとの減算処理を行い、残差信号を出力する（ステップＳ１０６）。次に、変換・量子化部１１５は、残差信号を直交変換して直交変換係数を求め、直交変換係数を量子化して量子化直交変換係数情報である残差情報を求める（ステップＳ１０７）。

次に、可変長符号化部１１８は、残差情報と、プレフィルタ処理部１１０およびポストフィルタ処理部１０６から入力されてきたフィルタ情報とに可変長符号化を施して、符号化データＳ（ｖ）１０４とする（ステップＳ１０８）。そして、可変長符号化部１１８は、この符号化データＳ（ｖ）１０４を出力する（ステップＳ１０９）。

このように本実施の形態では、符号化対象画像の視点の視差画像（合成画像）を、復号化済みの他の視点の視差画像Ｒ（ｖ’）、当該他の視点の復号化済みの奥行き情報または視差情報Ｄ（ｖ’）に、プレフィルタを適用した上で生成し、生成された合成画像に、ポストフィルタを適用した上で参照画像Ｖｉｒとし、この参照画像Ｖｉｒから予測画像を生成して、符号化対象画像の視差画像を符号化しているので、画質を向上させることができるとともに、符号化効率を向上させることができる。

すなわち、本実施の形態では、復号化済みの視差画像Ｒ（ｖ’）、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）にプレフィルタを適用することにより、視差画像の視点間での色味の違いや、両者に発生する符号化歪等に起因する合成歪を低減させることができる。特に、奥行き情報については、奥行き量の推定精度そのものが十分でない場合も考えられ、さらにそこに符号化による圧縮歪が加わるため、画像合成による合成歪に与える影響は大きいと考えられる。このため、本実施の形態では、画像合成部１０９による画像合成処理の前に、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）にプレフィルタを適用することで、合成歪の発生を抑えることができる。

また、画像合成部１０９により生成される合成画像は異なる視点の視差画像から合成されるため、色味の異なる視差画像同士が合成され、合成画像の歪が大きくなる可能性がある。また、奥行き情報の推定誤差や、隠面等の影響により原画と合成画像の誤差が大きくなる可能性がある。特に隠面については画像合成では原理的に正しく再構成できないため、原画との誤差が大きくなる。このため、本実施の形態では、これらの領域をより正しく復元できるように、その視点の視差画像との誤差を低減させるためフィルタ情報でポストフィルタ処理を行い、このフィルタ情報を符号化データＳ（ｖ）１０４に付加することで、画像合成による歪を低減させることができる。

なお、実施の形態１の画像符号化装置１００の構成については、実施の形態で説明した構成に限定されるものではない、例えば、プレフィルタ処理部１１０あるいはポストフィルタ処理部１０６の何れか一方のみを有する構成としてもよい。この場合は、使用するフィルタに関するフィルタ情報のみを符号化データＳ（ｖ）１０４に付加することが必要となる。

また、実施の形態１の画像符号化装置１００における入力画像１０１についても、多視差の画像信号のみに制限されることはなく、例えば多視差の視差画像と、これらに対応する多視差の奥行き情報を符号化するＭｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ ｐｌｕｓ Ｄｅｐｔｈのように、多視差の奥行き情報を符号化する場合には、奥行き情報／視差情報を入力画像１０１として入力するように構成してもよい。

（実施の形態２）
実施の形態２は、画像符号化装置から送信されてきた符号化データＳ（ｖ）１０４を復号化する画像復号化装置である。

図５は、実施の形態２の画像復号化装置の機能的構成を示すブロック図である。本実施の形態の画像復号化装置５００は、図５に示すように、復号化制御部５０１と、画像復号化部５０２とを備える。復号化制御部５０１は、画像復号化部５０２の全体を制御する。

画像復号化部５０２は、実施の形態１の画像符号化装置から、ネットワークまたは蓄積メディアを介して、復号化対象の符号化データＳ（ｖ）１０４を入力し、復号化対象画像における視点の視差画像を、視点と異なる他の視点の視差画像に基づく情報から生成する。ここで、復号化対象の符号化データＳ（ｖ）１０４には、予測モード情報、残差情報、フィルタ情報の符号が含まれている。

画像復号化部５０２は、図５に示すように、可変長復号化部５０４と、逆変換・逆量子化部５１４と、加算器５１５と、予測画像生成部５１２と、プレフィルタ処理部５１０と、画像合成部５０９と、ポストフィルタ処理部５０６と、参照画像バッファ５０５とを備える。ここで、可変長復号化部５０４、逆変換・逆量子化部５１４、加算器５１５は復号化部として機能する。

可変長復号化部５０４は、符号化データＳ（ｖ）１０４を入力し、入力された符号化データＳ（ｖ）１０４に可変長復号化処理を行い、符号化データＳ（ｖ）１０４に含まれる予測モード情報、残差情報（量子化直交変換係数情報）とフィルタ情報とを求める。可変長復号化部５０４は、復号化された残差情報を逆変換・逆量子化部５１４に出力し、復号化されたフィルタ情報を、プレフィルタ処理部５１０とポストフィルタ処理部５０６に出力する。ここで、フィルタ情報の詳細については実施の形態１と同様であり、フィルタ情報には、フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数とが含まれる。

逆変換・逆量子化部５１４は、残差情報に逆量子化処理および逆直交変換処理を行って残差信号を出力する。加算器５１５は、残差信号と、予測画像生成部５１２で生成された予測画像信号とを加算して復号化画像信号を生成し、復号化画像信号を出力画像信号５０３として出力する。復号化画像信号は、参照画像バッファ５０５に参照画像１〜３等として保存される。

参照画像バッファ５０５は、フレームメモリ等の記憶媒体であり、上記復号化画像信号を参照画像として保存する他、後述するポストフィルタ処理部５０６から出力された合成画像を参照画像Ｖｉｒとして保存する。

予測画像生成部５１２は、参照画像バッファ５０５に保存された参照画像から予測画像信号を生成する。

ここで、例えば、Ｈ．２６４におけるＳｋｉｐモードのように、符号化データＳ（ｖ）１０４に、残差信号の符号化を省略することを示す情報が含まれている場合には、参照画像バッファ５０５へと蓄積された参照画像をそのまま出力することで、画像符号化装置１００と同じ画像を復号化することができる。

プレフィルタ処理部５１０は、復号化対象画像における視点と異なる他の視点の復号化済みの視差画像Ｒ（ｖ’）１０２と、当該視差画像Ｒ（ｖ’）の視点に対応する、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）１０３を入力し、これらの情報Ｒ（ｖ’），Ｄ（ｖ’）に対して、可変長復号化部５０４から送出されたフィルタ情報（第２フィルタ情報）を用いてプレフィルタ処理を行う。ここで、プレフィルタ処理部５１０によるフィルタ処理（プレフィルタ処理）の詳細については実施の形態１のプレフィルタ処理部１１０の処理と同様である。

画像合成部５０９は、復号化対象画像における視点の視差画像を、この視点と異なる他の視点の復号化済み視差画像Ｒ（ｖ’）１０２と当該視差画像の視点に対応する復号化済みの奥行き情報または視差情報Ｄ（ｖ’）１０２とにプレフィルタ処理を施した情報から生成する。生成された復号化対象画像における視点の視差画像を合成画像という。合成画像部５０９による合成画像の生成処理の詳細については実施の形態１の画像合成部１０９による処理と同様である。

ポストフィルタ処理部５０６は、合成画像に対して、可変長復号化部５０４から送出されたフィルタ情報（第１フィルタ情報）を用いてポストフィルタ処理を行う。ポストフィルタ処理部５０６は、フィルタ処理後の合成画像を、参照画像バッファ５０５に参照画像Ｖｉｒとして保存する。これにより、この参照画像Ｖｉｒは、予測画像生成部５１２により参照されて、予測画像の生成に使用される。

次に、以上のように構成された本実施の形態の画像復号化装置５００による復号化処理について説明する。図６は、実施の形態２の復号化処理の手順を示すフローチャートである。

まず、可変長復号化部５０４は、画像符号化装置１００から、ネットワークまたは蓄積メディアを介して、復号化対象の符号化データＳ（ｖ）１０４を入力する（ステップＳ２０１）。次に、可変長復号化部５０４は、入力された符号化データＳ（ｖ）１０４に可変長復号化処理を行い、符号化データＳ（ｖ）１０４に含まれる残差情報とフィルタ情報と抽出する（ステップＳ２０２）。そして、可変長復号化部５０４は、フィルタ情報をプレフィルタ処理部５１０とポストフィルタ処理部５０６に送出する（ステップＳ２０３）。

復号化された残差情報は、逆変換・逆量子化部５１４へ送出され、逆変換・逆量子化部５１４は、残差情報に逆量子化処理および逆直交変換処理を行って残差信号を出力する（ステップＳ２０４）。

一方、プレフィルタ処理部５１０は、復号化対象画像における視点と異なる他の視点の復号化済みの視差画像Ｒ（ｖ’）１０２と、当該視差画像Ｒ（ｖ’）の視点に対応する、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）１０３を入力し、これらの情報Ｒ（ｖ’），Ｄ（ｖ’）に、可変長復号化部５０４から送出されたフィルタ情報を用いてプレフィルタを適用する（ステップＳ２０５）。

次に、画像合成部５０９は、画像合成を行う（ステップＳ２０６）。すなわち、画像合成部５０９は、復号化対象画像における視点の視差画像を、復号化済み視差画像Ｒ（ｖ’）１０２と復号化済みの奥行き情報または視差情報Ｄ（ｖ’）１０２とにプレフィルタ処理を施した情報から生成し、合成画像とする。

次に、ポストフィルタ処理部５０６は、合成画像に、可変長復号化部５０４から送出されたフィルタ情報を用いてポストフィルタを適用する（ステップＳ２０７）。そして、ポストフィルタ処理部５０６は、ポストフィルタが適用された合成画像を、参照画像Ｖｉｒとして参照画像バッファ５０５に保存する（ステップＳ２０８）。

次に、復号化された予測モード情報は、予測画像生成部５１２へ送出され、予測画像生成部５１２は、参照画像バッファ５０５から参照画像Ｖｉｒを取得して、予測モード情報に従って予測画像信号を生成する（ステップＳ２０９）。そして、加算器５１５は、ステップＳ２０４にて逆変換・逆量子化部５１４から出力された残差信号と、予測画像生成部５１２により生成された予測画像信号とを加算して復号化画像信号を生成し、復号化画像信号を出力画像信号Ｒ（ｖ）５０３として出力する（ステップＳ２１０）。

このように本実施の形態では、復号化対象画像の視点の視差画像（合成画像）を、復号化済みの他の視点の視差画像Ｒ（ｖ’）、当該他の視点の復号化済みの奥行き情報または視差情報Ｄ（ｖ’）に、プレフィルタを適用した上で生成し、生成された合成画像に、ポストフィルタを適用した上で参照画像Ｖｉｒとし、この参照画像Ｖｉｒから予測画像を生成して、復号化対象画像の視差画像を生成しているので、画質を向上させることができるとともに、符号化効率を向上させることができる。

すなわち、本実施の形態では、実施の形態１と同様に、画像合成部５０９による画像合成処理の前に、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）にプレフィルタを適用することで、合成歪の発生を抑えることができる。

また、本実施の形態では、実施の形態１と同様に、視点の視差画像との誤差を低減させるためフィルタ情報でポストフィルタ処理を行い、このフィルタ情報を符号化データＳ（ｖ）１０４に付加することで、画像合成による歪を低減させることができる。

（実施の形態３）
実施の形態３の画像復号化装置は、Ｎ（Ｎ＞＝１）視差の多視差画像からＭ（Ｍ＞Ｎ）視差の多視差画像を復号化するものである。本実施の形態の画像復号化装置は、実施の形態２と同様に、復号化制御部と、画像復号化部とを備える（不図示）。復号化制御部は、実施の形態２と同様に、画像復号化部の全体を制御する。

図７は、実施の形態３の画像復号化装置の画像復号化部７００の機能的構成を示すブロック図である。

画像復号化部７００は、実施の形態１の画像符号化装置１００から、ネットワークまたは蓄積メディアを介して、復号化対象の符号化データＳ（ｖ）１０４を入力し、復号化対象画像における視点の視差画像を、視点と異なる他の視点の視差画像に基づく情報から生成する。ここで、復号化対象の符号化データＳ（ｖ）１０４には、実施の形態２と同様に、残差情報、フィルタ情報の符号が含まれている。

本実施の形態の画像復号化部７００は、図７に示すように、可変長復号化部７０４と、復号方法切替部７０１と、逆変換・逆量子化部７１４と、加算器７１５と、予測画像生成部７１２と、プレフィルタ処理部７１０と、画像合成部７０９と、ポストフィルタ処理部７０６と、参照画像バッファ７０３とを備える。

ここで、可変長復号化部７０４、逆変換・逆量子化部７１４、プレフィルタ処理部７１０の各機能は実施の形態２と同様である。

本実施の形態では、復号方法切替部７０１を設けており、ポストフィルタ処理部７０６によってポストフィルタが適用された合成画像が、参照画像バッファ７０３に蓄積されない。

復号方法切替部７０１は、復号化対象画像の視点に基づいて、第１復号化方法と第２復号化方法とを切り替える。第１復号化方法は、復号化対象画像における視点と異なる他の視点の復号化済みの視差画像Ｒ（ｖ’）１０２と、当該視差画像Ｒ（ｖ’）の視点に対応する、復号化済みの奥行き情報または視差情報Ｄ（ｖ’）１０３を用いて、符号化データＳ（ｖ）１０４を復号化する方法である。

第２復号化方法は、上記復号化済みの視差画像Ｒ（ｖ’）、上記復号化済みの奥行き情報または視差情報Ｄ（ｖ’）を用いずに符号化データＳ（ｖ）１０４を復号化する方法である。

画像合成部７０９は、復号方法切替部７０１によって第１復号化方法に切り替えられた場合に、合成画像（復号化対象画像の視点の視差画像）を、上記復号化済みの視差画像Ｒ（ｖ’）、上記復号化済みの奥行き情報または視差情報Ｄ（ｖ’）から生成する。

ポストフィルタ処理部７０６は、復号方法切替部７０１によって第１復号化方法に切り替えられた場合に、画像合成部７０９により生成された合成画像に対して、符号化データＳ（ｖ）１０４に含まれるフィルタ情報を用いてポストフィルタ処理を行い、ポストフィルタ処理後の合成画像を出力画像Ｄ（ｖ）７０２として出力する。

予測画像生成部７１２は、復号方法切替部７０１によって第２復号化方法に切り替えられた場合に、合成画像を参照画像として用いずに予測画像信号を生成する。

加算器７１５は、第２復号化方法に切り替えられた場合に、復号化された符号化データＳ（ｖ）１０４と予測画像信号とを加算して出力画像信号を生成する。この出力画像信号は参照画像バッファ７０３に保存される。

図８は、画像合成による多視差画像の符号化の例を示す図である。例えば、図８に示すように、左視点や右視点の視差画像を復号化する場合には、復号方法切替部７０１は第２復号化方法に切替える。そして、画像復号化部７００は、可変長復号化部７０４、逆変換・逆量子化部７１４で得られた残差信号に、予測画像生成部７１２で生成された予測画像信号を加算することで、対象視点の視差画像を復号化する。

また、図８に示すように、中央の視点の視差画像を復号化する場合には、復号方法切替部７０１は第１復号化方法に切替える。そして、画像復号化部７００は、復号化済みの左視点および右視点の視差画像から画像合成により中央の視点の視差画像を生成し、実施の形態２と同様に、可変長復号化部７０４で取得したフィルタ情報に従い、ポストフィルタ処理を施すことで中央の視点の視差画像を復号化する。

このように本実施の形態では、復号化対象画像の視点に応じて、復号化方法を切り替えているので、視点に応じて、より画質を向上させることができ、符号化効率を向上させることができる。

なお、実施の形態２の画像復号化装置５００、実施の形態３の画像復号化部７００の構成については、実施の形態で説明した構成に限定されるものではない、例えば、プレフィルタ処理部５１０、７１０あるいはポストフィルタ処理部５０６，７０６の何れか一方のみを有する構成としてもよい。この場合は、使用するフィルタに関するフィルタ情報のみを符号化データＳ（ｖ）１０４に付加すればよい。

また、実施の形態１〜３は、画像の局所領域の性質に応じて、領域ごとに複数のフィルタを切り替える、あるいは、単一のフィルタの適用／非適用を切り替えるような場合についても適用することができる。すなわち、ピクチャ、スライスまたはブロック単位で、フィルタの適用／非適用、フィルタに用いる画素数、フィルタ係数等のフィルタ情報を切り替えるように構成してもよい。

この場合、画像符号化装置１００側では、フィルタを切り替える処理単位ごとに、フィルタ情報を符号化データＳ（ｖ）１０４に付加するように構成すればよい。また、画像復号化装置５００、画像復号化部７００側では、符号化データＳ（ｖ）１０４に付加されたフィルタ情報に従い、フィルタ処理を適用するように構成すればよい。

実施の形態１〜３において、プレフィルタ処理部１１０，５１０，７１０へは、復号化済みの他の視点の視差画像とそれに対応する復号化済みの奥行き／視差情報がＮ視点分（Ｎ＞＝１）入力されるような場合についても適用することができる。この場合、プレフィルタ処理部１１０、５１０，７１０で用いるフィルタ情報は、各データに対して共通のフィルタを用いることに限定されるものではなく、例えば、視差画像と奥行き情報に対して、異なるフィルタを適用することができる。さらに、視点毎に異なるフィルタを適用するように構成してもよい。この場合、使用する各フィルタについてはフィルタ情報として符号化して、画像復号化装置５００、画像復号化部７００側へ伝送することになる。

なお、フィルタ間のフィルタ情報については、これらの相関を利用して、他のフィルタからフィルタ情報を予測するような方法を採用してもよい。また、視差画像、あるいは奥行き／視差情報に対してフィルタを適用するような構成としてもよい。

さらに、図２に示す画像符号化部１１７の構成において、各画像符号化部１１７が適用するフィルタについても共通のフィルタを用いるよう制限されることはなく、それぞれ異なるフィルタを適用してもよい。

なお、実施の形態１の画像符号化装置１００で実行される画像符号化プログラム、実施の形態２，３の画像復号化装置５００、画像復号化部７００で実行される画像復号化プログラムは、ＲＯＭ等に予め組み込まれて提供される。

実施の形態１の画像符号化装置１００で実行される画像符号化プログラム、実施の形態２の画像復号化装置５００、実施の形態３の画像復号化部７００で実行される画像復号化プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、実施の形態１の画像符号化装置１００で実行される画像符号化プログラム、実施の形態２の画像復号化装置５００、実施の形態３の画像復号化部７００で実行される画像復号化プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１の画像符号化装置１００で実行される画像符号化プログラム、実施の形態２の画像復号化装置５００、実施の形態３の画像復号化部７００で実行される画像復号化プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

実施の形態１の画像符号化装置１００で実行される画像符号化プログラムは、上述した各部（減算器、変換・量子化部、可変長符号化部、逆変換・逆量子化部、加算器、予測画像生成部、プレフィルタ処理部、画像合成部、ポストフィルタ処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像符号化プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、減算器、変換・量子化部、可変長符号化部、逆変換・逆量子化部、加算器、予測画像生成部、プレフィルタ処理部、画像合成部、ポストフィルタ処理部が主記憶装置上に生成されるようになっている。なお、画像符号化装置１００の各部を回路等のハードウェアで構成してもよい。

実施の形態２の画像復号化装置５００、実施の形態３の画像復号化部７００で実行される画像復号化プログラムは、上述した各部（可変長復号化部、逆変換・逆量子化部、加算器、予測画像生成部、プレフィルタ処理部、画像合成部、ポストフィルタ処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像復号化プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、可変長復号化部、逆変換・逆量子化部、加算器、予測画像生成部、プレフィルタ処理部、画像合成部、ポストフィルタ処理部が主記憶装置上に生成されるようになっている。なお、画像復号化装置５００、画像復号化部７００の各部を回路等のハードウェアで構成してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 画像符号化装置
１０１ 入力画像
１０４ 符号化データ
１０５，５０５，７０３ 参照画像バッファ
１０６，５０６，７０６ ポストフィルタ処理部
１０７ ポストフィルタ設計部
１０８ プレフィルタ設計部
１０９，５０９，７０９ 画像合成部
１１０，５１０，７１０ プレフィルタ処理部
１１１ 減算器
１１２，５１２，７１２ 予測画像生成部
１１３，５１５，７１５ 加算器
１１４，５１４，７１４ 逆変換・逆量子化部
１１５ 変換・量子化部
１１７ 画像符号化部
１１８ 可変長符号化部
５００ 画像復号化装置
５０１ 復号化制御部
５０２，７００ 画像復号化部
５０３，７０２ 出力画像
５０４，７０４ 可変長復号化部
７０１ 復号方法切替部

Claims (15)

1. 符号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する画像合成部と、
   生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う第１フィルタ処理部と、
   フィルタ処理後の第１視差画像を参照画像として予測画像を生成する予測画像生成部と、
   入力画像と前記予測画像とから符号化データを生成する符号化部と、
   を備える、画像符号化装置。
2. 前記符号化部は、さらに、前記第１フィルタ情報を符号化して前記符号化データに付加し、符号化された第１フィルタ情報が付加された符号化データを生成する、
   請求項１に記載の画像符号化装置。
3. 前記第２視差画像に基づく情報に対して第２フィルタ情報に基づいてフィルタ処理を行う第２フィルタ処理部をさらに備え、
   前記画像合成部は、フィルタ処理後の前記第２視差画像に基づく情報から、前記第１視差画像を生成し、
   前記符号化部は、さらに、前記第２フィルタ情報を符号化して前記符号化データに付加する、
   請求項２に記載の画像符号化装置。
4. 前記第１フィルタ情報および前記第２フィルタ情報は、フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数とを含む、
   請求項３に記載の画像符号化装置。
5. 前記画像合成部は、復号化済みの前記第２視差画像と、前記第２視差画像の視点に対応する、復号化済みの奥行き情報または復号化済みの視差情報とから、前記第１視差画像を生成する、
   請求項１〜４のいずれか一つに記載の画像符号化装置。
6. 復号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する画像合成部と、
   生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う第１フィルタ処理部と、
   フィルタ処理後の第１視差画像を参照画像として予測画像を生成する予測画像生成部と、
   入力された符号化データを復号化して、復号化された符号化データと前記予測画像とから、出力画像を生成する復号化部と、
   を備える、画像復号化装置。
7. 前記符号化データは、符号化された前記第１フィルタ情報を含み、
   前記復号化部は、さらに、画像符号化装置から前記符号化データを入力し、前記符号化データに含まれる前記第１フィルタ情報を復号化する、
   請求項６に記載の画像復号化装置。
8. 前記第２視差画像に基づく情報に対して第２フィルタ情報に基づいてフィルタ処理を行う第２フィルタ処理部をさらに備え、
   前記符号化データは、さらに、符号化された前記第２フィルタ情報を含み、
   前記復号化部は、前記符号化データに含まれる前記第２フィルタ情報を復号化し、
   前記画像合成部は、フィルタ処理後の前記第２視差画像に基づく情報から、前記第１視差画像を生成する、
   請求項７に記載の画像復号化装置。
9. 前記第１フィルタ情報および前記第２フィルタ情報は、フィルタ係数と、フィルタの適用の可否と、フィルタに用いる画素数とを含む、
   請求項８に記載の画像復号化装置。
10. 前記画像合成部は、復号化済みの前記２視差画像と、前記第２視差画像の視点に対応する、復号化済みの奥行き情報または復号化済みの視差情報とから、前記第１視差画像を生成する、
    請求項６〜９のいずれか一つに記載の画像復号化装置。
11. 復号化対象画像の視点に基づいて、前記第２の視差画像における、奥行き情報又は視差情報の少なくともいずれか１つを用いて、前記符号化データを復号化する第１復号化方法と、前記奥行き情報及び前記視差情報を用いずに前記符号化データを復号化する第２復号化方法とを切り替える切替部をさらに備え、
    前記画像合成部は、前記第１復号化方法に切り替えられた場合に、前記第１視差画像を、前記奥行き情報又は前記視差情報のうち、少なくともいずれか１つを用いて生成し、
    前記第１フィルタ処理部は、前記第１復号化方法に切り替えられた場合に、前記画像合成部により生成された第１視差画像に対して前記第１フィルタ情報に基づいてフィルタ処理を行い、フィルタ処理後の前記第１視差画像を、前記出力画像として出力し、
    前記予測画像生成部は、前記第２復号化方法に切り替えられた場合に、前記第１視差画像を参照画像として用いずに前記予測画像を生成し、
    前記復号化部は、前記第２復号化方法に切り替えられた場合に、前記復号化された符号化データと前記予測画像とから、出力画像を生成する、
    請求項６に記載の画像復号化装置。
12. 符号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成し、
    生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行い、
    フィルタ処理後の第１視差画像を参照画像として予測画像を生成し、
    入力画像と前記予測画像とから符号化データを生成する、
    画像符号化方法。
13. 復号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成し、
    生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行い、
    フィルタ処理後の第１視差画像を参照画像として予測画像を生成し、
    入力された符号化データを復号化して、復号化された符号化データと前記予測画像とから、出力画像を生成する、
    画像復号化方法。
14. コンピュータを、
    符号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する手段と、
    生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う手段と、
    フィルタ処理後の第１視差画像を参照画像として予測画像を生成する手段と、
    入力画像と前記予測画像とから符号化データを生成する手段と
    して機能させる、画像符号化プログラム。
15. コンピュータを、
    復号化対象画像における視点の第１視差画像を、前記視点と異なる他の視点の第２視差画像における、奥行き情報又は視差情報のうち、少なくともいずれか１つを用いて生成する手段と、
    生成された第１視差画像に対して第１フィルタ情報に基づいてフィルタ処理を行う手段と、
    フィルタ処理後の第１視差画像を参照画像として予測画像を生成する手段と、
    入力された符号化データを復号化して、復号化された符号化データと前記予測画像とから、出力画像を生成する手段と
    して機能させる、画像復号化プログラム。

Images