JP6310340B2

JP6310340B2 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Info

Publication number: JP6310340B2
Application number: JP2014130639A
Authority: JP
Inventors: 志織杉本; 信哉志水
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-06-25
Filing date: 2014-06-25
Publication date: 2018-04-11
Anticipated expiration: 2034-06-25
Also published as: JP2016010058A

Description

本発明は、映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムに関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを複数の処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。

また、一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間（画面間）予測を行う。

ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである（例えば、非特許文献１参照）。

また、多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測が用いられる。また、フレーム間予測により符号化対象信号を予測しその残差信号を既に符号化済みの別の視点の映像の符号化時の残差信号や新たに生成した差分画像等を参照して予測する視点間残差予測が用いられる。さらに、既に符号化済みの別の視点の映像の符号化時の予測に使用したベクトル等を参照して動き補償予測を行う視点間動き予測などの方法が用いられる。

視点間予測は、ＭＶＣ（Multi-view Video Coding）などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とすることができる。

視差補償予測、視点間残差予測やベクトル予測を行うに当たって参照すべき別の映像上の領域を特定するためには、何らかの視点間対応情報が必要となる。視点間対応情報を別途符号化し伝送することは、符号量の増大を招くため望ましくない。一般的には、動き補償予測の場合と同様に各ブロックを視差補償予測で予測符号化する際に使用した視差ベクトルを保存しておく。そして、符号化対象ブロックの周辺にそれらの視差ベクトルを持つブロックがあればこれを取得して前述のような各予測に使用するＮＢＤＶ（Neighboring Block based Disparity Vector Derivation）という方法が用いられる（例えば、非特許文献２参照）。

また、多視点映像に対応するデプスマップを得られる場合には、これを利用して視点間対応情報を得て予測に使用することができる。デプスマップは映像の各画素の奥行き値や視差値などの情報をグレースケール映像の形で記述したものであり、これを使用することで符号化映像の各画素に対応する別の映像の画素や領域を特定することができる。

デプスマップは三次元映像の表現を目的とする場合などに多視点映像と共に用いられることがあり、多視点映像と共に互いの相関を利用して符号化することで符号化効率を向上することもできる（例えば、非特許文献３参照）。

このように多視点映像とデプスマップを共に符号化する際には視点間合成予測（View synthesis prediction，ＶＳＰ）などの予測方法を使用することができる。視点間合成予測は、デプスマップを使用して符号化対象ブロックに対応する符号化済みの別の映像上の画素や領域を特定し、その画素や領域毎に画素値を取得し符号化対象領域に対する予測画像を生成する方法である。この方法では、符号化対象映像と同じ視点のデプスマップを使用できる場合には余分な視点間情報を使用せずに予測画像が生成できるために高い符号化効率を達成することができる。

しかしながら、一般的には映像の符号化順序として同じ視点のデプスマップより先に映像が符号化される場合が多く、そのような場合には映像を符号化する時点では同じ視点のデプスマップを参照することができない。このような場合に視点合成予測を行うための方法として、何らかの視点間対応情報を使用して符号化対象映像とは別の視点の符号化済みデプスマップ上の対応する領域を特定し、その領域のデプスマップを使用して視点合成予測を行うブロック単位視点合成予測（Block-based view synthesis prediction，ＢＶＳＰ）という方法がある。

この方法では、先述のＮＢＤＶなどの方法で最初の視点間対応情報を得る。またＮＢＤＶの精度を向上するために、ＮＢＤＶを使用して対応するデプスマップ上の領域を特定し、その領域のデプス値を使用して新たな視差ベクトルを生成するＤｏＮＢＤＶ（Depth-oriented NBDV）という方法もある。この方法では、符号化対象ブロックの奥行き値が隣接ブロックに比べてより奥方向に変化しておりより短い視差をもつ場合などに視差ベクトルを修正できることがある。

M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. L. Zhang, Y. Chen, and M. Karczewicz,"3D-CE5.h related: Disparity vector derivation for multiview video and 3DV,"in IISO/IEC JTC1/SC29/WG11, m24937, 2012. Y.-L. Chang, C.-L. Wu, Y. Tsai, and S. Lei,"3D-CE5.h related: Depth-oriented Neighboring Block Disparity Vector (DoNBDV) with virtual depth," in Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCT3V-B0090, 2012.

以上説明したように、多視点映像符号化においては視点間対応情報を使用して様々な予測方法を使用することが可能であるが、多くの場合に視点間対応情報としてＮＢＤＶやＤｏＮＢＤＶを使用する。ＮＢＤＶでは符号化対象ブロックと隣接ブロックが異なる奥行き値を持つ場合には正しい対応情報を得ることができない。場合によってはＤｏＮＢＤＶを使用することで対応情報を修正することができる。

しかし、符号化対象ブロックの奥行き値が隣接ブロックに比べてより手前方向に変化しておりより長い視差を持つ場合など、ＮＢＤＶによって特定された領域によい奥行き値の候補が存在せず対応情報を修正できない場合が多い。対応情報を修正できない場合は、符号化効率が低下してしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、高精度な予測画像を生成し予測残差の符号量を削減することで符号化効率を向上することができる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。

本発明は、符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化装置であって、前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定手段と、前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、前記推定視差情報は前記符号化対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、前記視差情報決定手段は、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定することを特徴とする。

本発明は、前記推定視差情報は符号化対象画像に対応するデプスマップである推定デプスマップであり、前記視差情報決定手段は、前記推定デプスマップの各画素のデプス値から変換される変換視差量と、前記変換視差量とによって示される参照視点デプスマップ上の画素の視差量との誤差に基づき前記推定デプスマップを決定することを特徴とする。

本発明は、前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を符号化する差分情報符号化手段を更に備え、前記予測画像生成手段は、前記確定視差情報に基づき予測画像を生成することを特徴とする。

本発明は、前記推定視差ベクトルを、前記参照視点デプスマップと異なる視点の参照ピクチャ上の領域を示す修正視差ベクトルに変換する視差ベクトル変換手段を更に備え、前記予測画像生成手段は、前記修正視差ベクトルに基づき予測画像を生成することを特徴とする。

本発明は、前記符号化対象映像がデプスマップである場合に、前記予測画像生成手段は、前記推定デプスマップを前記予測画像とすることを特徴とする。

本発明は、符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号装置であって、前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定手段と、前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、前記推定視差情報は前記復号対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、前記視差情報決定手段は、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定することを特徴とする。

本発明は、前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を復号する差分情報復号手段を更に備え、前記予測画像生成手段は、前記確定視差情報に基づき予測画像を生成することを特徴とする。

本発明は、前記復号対象映像がデプスマップである場合に、前記予測画像生成手段は、前記推定デプスマップを前記予測画像とすることを特徴とする。

本発明は、符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化方法であって、前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定ステップと、前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号方法であって、前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定ステップと、前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明は、コンピュータを、前記映像復号装置として機能させるための映像復号プログラムである。

本発明によれば、高精度な予測画像を生成し予測残差の符号量を削減することで符号化効率を向上することができるという効果が得られる。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置の動作を示すフローチャートである。本発明の一実施形態による映像復号装置の構成を示すブロック図である。図１に示す映像復号装置の動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による映像符号化装置、映像復号装置を説明する。なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

始めに、映像符号化装置について説明する。図１は同実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力画像メモリ１０２、参照ピクチャメモリ１０３、デプスマップ入力部１０４、デプスマップメモリ１０５、視差ベクトル導出部１０６、予測部１０７、予測画像生成部１０８、減算部１０９、変換・量子化部１１０、逆変換・逆量子化部１１１、加算部１１２、およびエントロピー符号化部１１３を備えている。

符号化対象映像入力部１０１は、符号化対象となる映像を外部から入力する。以下の説明では、この符号化対象となる映像のことを符号化対象映像と称し、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と称する。

入力画像メモリ１０２は、符号化対象映像入力部１０１によって入力された符号化対象映像を構成する複数の画像を記憶する。参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照ピクチャと称する。

デプスマップ入力部１０４は、符号化対象映像と異なる視点のデプスマップを外部から入力する。デプスマップメモリ１０５は、デプスマップ入力部１０４において入力したデプスマップを記憶する。

視差ベクトル導出部１０６は、デプスマップメモリ１０５に記憶されたデプスマップを参照して視差ベクトルを導出する。予測部１０７は、参照ピクチャメモリ１０３に記憶された参照ピクチャ上で符号化対象画像に対する画面間予測を行い、予測情報を生成する。

予測画像生成部１０８は、予測部１０７から出力する予測情報と視差ベクトルに基づき予測画像を生成する。減算部１０９は、符号化対象画像と予測画像の差分値を求め、予測残差を生成する。

変換・量子化部１１０は、生成された予測残差を変換・量子化し、量子化データを生成する。逆変換・逆量子化部１１１は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。

加算部１１２は、復号予測残差と予測画像とを加算し復号画像を生成する。エントロピー符号化部１１３は、量子化データをエントロピー符号化し符号データを生成する。

次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。ここでは、符号化対象映像は多視点映像のうちの一つの映像であることとし、この多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造とする。また、ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。

まず、符号化対象映像入力部１０１は、符号化対象映像を外部から入力し、入力画像メモリ１０２に符号化対象フレーム毎に記憶する（ステップＳ１０１）。

なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照ピクチャメモリ１０３に記憶されているとする。また、符号化対象フレームと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて、参照ピクチャメモリ１０３に記憶されていることとする。

次に、デプスマップ入力部１０４は、符号化対象映像とは異なる視点に対応するデプスマップを外部から入力し、デプスマップメモリ１０５に記憶する（ステップＳ１０１）。

符号化対象映像の入力及びデプスマップの入力の後、符号化対象フレームを符号化対象ブロックに分割し、処理ブロック毎に符号化対象フレームの映像信号を符号化する（ステップＳ１０２〜Ｓ１１０）。以下のステップＳ１０３〜Ｓ１１０の処理は、フレーム全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、視差ベクトル導出部１０６は、デプスマップメモリ１０５に記憶されたデプスマップを参照し、視差ベクトルを導出する（ステップＳ１０３）。以下ではこの入力デプスマップが属する視点を参照視点と呼び、この参照視点上の符号化対象ブロックに対応する領域を参照領域と呼び、符号化対象ブロックから参照領域への視差を示すベクトルを視差ベクトルと定義する。

視差ベクトルの決定方法はどのようなものでもよい。例えば、視差ベクトルの示す参照領域のデプス値から決定される視差量と、視差ベクトルそのものから決定される視差量との誤差が十分小さくなるように視差ベクトルを決定することで、精度の高い視差ベクトルを得るなどしてもよい。このとき、符号化対象視点で取りうる最大視差量と最小視差量の範囲でデプスマップ上の領域を走査し、誤差が最も小さくなる視差量を選択するなどしてもよい。

また、適当な初期視差ベクトルを使用して参照領域を決定し、誤差に基づいて新たな視差ベクトルを修正し、参照領域を決定するという処理を繰り返すことで視差ベクトルを求めるなどしてもよい。その他の適当な最小化問題を定義し解くことで視差ベクトルを決定してもよい。

また、視差ベクトルの示す参照領域に対応する符号化済み映像を参照し視差ベクトル決定に使用してもよい。例えば、視差ベクトルの示す参照領域の画像と、参照領域のデプスマップを使用して視点合成予測によって生成した画像との誤差が小さくなるように視差量を決定するなどしてもよい。

また、デプスマップから視差量を決定する方法はどのようなものでもよい。例えば、領域内のデプス値の最大、最小、または中間値などから決定してもよい。または領域の四隅のデプス値の中から同様に決定するなどしてもよい。

また、符号化対象ブロックと同じ大きさの領域毎にベクトルを決定してもよいし、更に小さな領域毎に決定してもよいし、画素毎に視差を決定してもよい。このとき、画素毎に視差ベクトルを持つ代わりに符号化対象視点に対応するデプスマップを新たに生成し、以降の処理ではこの符号化対象視点デプスマップを使用してもよい。

次に、予測部１０７は、符号化対象ブロックに対する異なるフレームの参照ピクチャを使用する動き補償予測または異なる視点の参照ピクチャを参照する視差補償予測、またはその他の予測を行い、予測情報を生成する（ステップＳ１０４）。

ここでいう予測情報とは予測画像を生成するための情報であり、予測方法を特定し、予測に使用する参照ピクチャや参照領域を特定するものである。また、その他の予測に必要な情報を予測情報に含めてもよい。

このときの予測情報生成に視差ベクトルや符号化対象視点デプスマップをどのように利用してもよい。例えば、予測方法が視差補償予測であり、予測情報は参照先を示す視差ベクトルである場合に、視差ベクトルを明に符号化せずに導出した視差ベクトルを予測情報として使用してもよい。

また、画像領域上での探索などの別の方法で決定された視差ベクトルを予測情報と使用する場合に、視差ベクトルそのものを符号化する代わりに、実際に使用する視差ベクトルと導出した視差ベクトルとの差分を符号化するとしてもよい。

あるいは、予測方法が視点合成予測で、予測情報として符号化対象画像に対応するデプスマップが必要である場合に、導出した視差ベクトルの示す参照領域に対応するデプスマップである参照デプスマップを取得し予測情報としてもよい。このとき、参照デプスマップの取得を予測画像生成時に行うのであれば視差ベクトル自身を予測情報としてもよい。

また、視差ベクトルの示す参照領域で符号化時に使用された動きベクトルなどの情報を取得し予測情報としてもよい。また、画像領域上での探索などの別の方法で決定された動きベクトルを予測情報と使用する場合に、実際に使用する動きベクトルと取得された動きベクトルとの差分を符号化するとしてもよい。また、導出した視差ベクトルを使用して視点間残差予測などを行ってもよい。

また、視差ベクトルを更に変換して使用してもよい。例えば視差ベクトル導出に使用したデプスマップとは異なる視点の参照ピクチャを使用して予測を行う場合に、それぞれの視点のカメラパラメータなどに基づいてベクトルの変換を行うなどしてもよい。また、視差ベクトルの示す参照領域に対応するデプスマップを取得して、そこから更に別の視点を示す情報を決定してもよい。

また、視差ベクトルの代わりに符号化対象視点デプスマップを決定した場合にも同様にどのような利用をしてもよい。例えば符号化対象視点デプスマップを使用して視点合成予測を行うようにしてもよい。また、符号化対象映像自体がデプスマップである場合には、符号化対象視点デプスマップをそのまま予測画像としてもよい。

更に、予測情報は符号化して映像の符号データと多重化しても構わないし、視差ベクトル及び周辺の予測情報から完全に導き出せる場合には符号化しなくても構わない。また、導出可能な部分以外や、導出した情報との差分を符号化することとしてもよい。

次に、予測画像生成部１０８は、予測情報に基づき参照ピクチャを参照して予測画像を生成する（ステップＳ１０５）。

次に、減算部１０９は、予測画像と符号化対象ブロックの差分を求めることにより、予測残差を生成する（ステップＳ１０６）。

次に、予測残差の生成が終了したら、変換・量子化部１１０はこの予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。

そして、変換・量子化が終了したら、逆変換・逆量子化部１１１は、量子化データを逆量子化・逆変換し、復号予測残差を生成する（ステップＳ１０８）。

次に、復号予測残差の生成が終了したら、加算部１１２は、復号予測残差と予測画像とを加算して復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１０９）。

また、必要であれば復号画像にループフィルタをかけても構わない。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１３は、量子化データをエントロピー符号化して符号データを生成し、必要であれば、予測情報やその他の付加情報も符号化して符号データと多重化し、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１０）。

次に、図１に示す映像符号化装置と対となって使用する映像復号装置について説明する。図３は同実施形態による映像復号装置の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、デプスマップ入力部２０４、デプスマップメモリ２０５、エントロピー復号部２０６、逆量子化・逆変換部２０７、視差ベクトル導出部２０８、予測部２０９、予測画像生成部２１０、および加算部２１１を備えている。

符号データ入力部２０１は、復号対象となる符号データを入力する。この符号データは、図１に示す映像符号化装置１００が出力したものである。以下の説明では、この復号対象となる映像のことを復号対象映像と呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と称する。

符号データメモリ２０２は、符号データ入力部２０１において入力した符号データを記憶する。参照ピクチャメモリ２０３は、それまでに復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照ピクチャと称する。

デプスマップ入力部２０４は、復号対象となる映像と異なる視点のデプスマップを入力する。デプスマップメモリ２０５は、デプスマップ入力部２０４において入力したデプスマップを記憶する。

エントロピー復号部２０６は、符号データをエントロピー復号し、復号量子化データを生成する。逆量子化・逆変換部２０７は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。

視差ベクトル導出部２０８は、デプスマップメモリ２０５に記憶されたデプスマップを参照して視差ベクトルを導出する。予測部２０９は、視差ベクトルを使用して予測情報を生成する。

予測画像生成部２１０は、予測情報に基づき予測画像を生成する。加算部２１１は、復号予測残差と予測画像とを加算し復号画像を生成し外部へ出力するとともに参照ピクチャメモリ２０３に記憶する。

次に、図４を参照して、図３に示す映像復号装置２００の処理動作を説明する。図４は、図３に示す映像復号装置２００の処理動作を示すフローチャートである。ここでは、復号対象映像は多視点映像のうちの一つの映像であることとし、この多視点映像はフレーム毎に１視点ずつ全視点の映像を復号する構造とする。また、ここでは復号対象映像中のある１フレームを復号する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は、外部から復号対象フレームの符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号フレームが参照ピクチャメモリ２０３に記憶されているとする。また、復号対象フレームと同じフレームまでの参照可能な別の視点の映像も既に復号されて、参照ピクチャメモリ２０３に記憶されているものとする。

次に、デプスマップ入力部２０４は、復号対象フレームとは異なる視点に対応するデプスマップを外部から入力し、デプスマップメモリ２０５に記憶する（ステップＳ２０１）。

符号データの入力及びデプスマップの入力の後、符号化対象フレームの複数の復号対象ブロック毎に復号対象フレームの映像信号を復号する（ステップＳ２０２〜Ｓ２０８）。以下のステップＳ２０３〜Ｓ２０７の処理は、フレーム全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０６は、符号データをエントロピー復号して量子化データを生成する（ステップＳ２０３）。

次に、逆量子化・逆変換部２０７は、量子化データを逆量子化・逆変換し、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成してもよい。

ステップＳ２０５、ステップＳ２０６の処理は、映像符号化装置１００におけるステップＳ１０３からステップＳ１０４までの処理と同様であるので、ここでは簡単に説明する。視差ベクトル導出部２０８は、入力デプスマップに記憶されたデプスマップを参照し、視差ベクトルを導出する（ステップＳ２０５）。

次に、予測部２０９は、復号対象ブロックに対する異なるフレームの参照ピクチャを使用する動き補償予測または異なる視点の参照ピクチャを参照する視差補償予測、またはその他の予測を行い予測情報を生成し、予測画像生成部２１０は、予測情報に基づき参照ピクチャを参照して予測画像を生成する（ステップＳ２０６）。

予測情報が符号化して映像の符号データと多重化されている場合にはそれを復号し使用してよい。また、周辺の予測情報や導出した視差ベクトル等から導き出せる場合には復号しなくてよい。また、予測情報の残差や予測情報生成に必要な付加情報が符号データに含まれる場合には、それを復号し予測情報生成に使用してよい。

次に、予測画像の生成が終了したら、加算部２１１は、復号予測残差と予測画像とを加算して復号画像を生成し、参照ピクチャメモリ２０３に記憶する（ステップＳ２０７）。また、必要であれば復号画像にループフィルタをかけても構わない。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

全てのブロックについて処理が終了したら、復号画像を出力する（ステップＳ２０８）。

このように、符号化対象映像と異なる視点のデプスマップ上の領域を参照し、その領域に対する視差とその領域のデプス値との整合性をとるように領域を特定することで高精度な視差ベクトルを導出することで、追加の視差ベクトルを符号化することなく高精度な予測画像を生成し予測残差符号化に必要な符号量を削減することができる。

以上説明したように、視差ベクトルの示す参照領域のデプス値から決定される視差量と視差ベクトルそのものから決定される視差量との誤差が十分小さくなるように視差ベクトルを決定することにより、高精度な視差ベクトルを導出することが可能になる。

この構成によれば、符号化対象ブロックと隣接ブロックが異なる奥行き値を持つため隣接ブロックから正しい対応情報を得ることができず、隣接ベクトルから得られた対応情報によって特定された領域によい奥行き値の候補が存在せず対応情報を修正できない場合に、参照視点のデプスマップのデプス値と参照領域と符号化対象領域との関係のみから視差ベクトルを導出することで符号量を低減することができる。

前述した実施形態における映像符号化装置及び映像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

符号化対象ブロックと隣接ブロックが異なる奥行き値を持つため隣接ブロックから正しい対応情報を得ることができず、隣接ベクトルから得られた対応情報によって特定された領域によい奥行き値の候補が存在せず対応情報を修正できない場合に、参照視点のデプスマップのデプス値と参照領域と符号化対象領域との関係のみから視差ベクトルを導出することで符号量を低減することが不可欠な用途に適用できる。

１００・・・映像符号化装置、１０１・・・符号化対象映像入力部、１０２・・・入力画像メモリ、１０３・・・参照ピクチャメモリ、１０４・・・デプスマップ入力部、１０５・・・デプスマップメモリ、１０６・・・視差ベクトル導出部、１０７・・・予測部、１０８・・・予測画像生成部、１０９・・・減算部、１１０・・・変換・量子化部、１１１・・・逆変換・逆量子化部、１１２・・・加算部、１１３・・・エントロピー符号化部、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照ピクチャメモリ、２０４・・・デプスマップ入力部、２０５・・・デプスマップメモリ、２０６・・・エントロピー復号部、２０７・・・逆量子化・逆変換部、２０８・・・視差ベクトル導出部、２０９・・・予測部、２１０・・・予測画像生成部、２１１・・・加算部

Claims

符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化装置であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報は前記符号化対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、
前記視差情報決定手段は、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定する
ことを特徴とする映像符号化装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化装置であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報は符号化対象画像に対応するデプスマップである推定デプスマップであり、
前記視差情報決定手段は、前記推定デプスマップの各画素のデプス値から変換される変換視差量と、前記変換視差量とによって示される参照視点デプスマップ上の画素の視差量との誤差に基づき前記推定デプスマップを決定する
ことを特徴とする映像符号化装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化装置であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を符号化する差分情報符号化手段を更に備え、
前記予測画像生成手段は、前記確定視差情報に基づき予測画像を生成する
ことを特徴とする映像符号化装置。
前記推定視差ベクトルを、前記参照視点デプスマップと異なる視点の参照ピクチャ上の領域を示す修正視差ベクトルに変換する視差ベクトル変換手段を更に備え、
前記予測画像生成手段は、前記修正視差ベクトルに基づき予測画像を生成する
ことを特徴とする請求項１に記載の映像符号化装置。
前記符号化対象映像がデプスマップである場合に、前記予測画像生成手段は、前記推定デプスマップを前記予測画像とする
ことを特徴とする請求項２に記載の映像符号化装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号装置であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報は前記復号対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、
前記視差情報決定手段は、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定する
ことを特徴とする映像復号装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号装置であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報は符号化対象画像に対応するデプスマップである推定デプスマップであり、
前記視差情報決定手段は、前記推定デプスマップの各画素のデプス値から変換される変換視差量と、前記変換視差量とによって示される参照視点デプスマップ上の画素の視差量との誤差に基づき前記推定デプスマップを決定する
ことを特徴とする映像復号装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号装置であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定手段と、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成手段と
を備え、
前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を復号する差分情報復号手段を更に備え、
前記予測画像生成手段は、前記確定視差情報に基づき予測画像を生成する
ことを特徴とする映像復号装置。
前記推定視差ベクトルを、前記参照視点デプスマップと異なる視点の参照ピクチャ上の領域を示す修正視差ベクトルに変換する視差ベクトル変換手段を更に備え、
前記予測画像生成手段は、前記修正視差ベクトルに基づき予測画像を生成する
ことを特徴とする請求項６に記載の映像復号装置。
前記復号対象画像がデプスマップである場合に、前記予測画像生成手段は、前記推定デプスマップを前記予測画像とする
ことを特徴とする請求項７に記載の映像復号装置。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化方法であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報は前記符号化対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、
前記視差情報決定ステップは、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定する
ことを特徴とする映像符号化方法。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化方法であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報は符号化対象画像に対応するデプスマップである推定デプスマップであり、
前記視差情報決定ステップは、前記推定デプスマップの各画素のデプス値から変換される変換視差量と、前記変換視差量とによって示される参照視点デプスマップ上の画素の視差量との誤差に基づき前記推定デプスマップを決定する
ことを特徴とする映像符号化方法。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、符号化対象映像を予測符号化する映像符号化方法であって、
前記参照視点デプスマップを参照して前記符号化対象映像を構成する符号化対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を符号化する差分情報符号化ステップを更に備え、
前記予測画像生成ステップは、前記確定視差情報に基づき予測画像を生成する
ことを特徴とする映像符号化方法。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号方法であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報は前記復号対象画像から前記参照視点デプスマップ上の領域である参照領域を示す視差ベクトルである推定視差ベクトルであり、
前記視差情報決定ステップは、前記推定視差ベクトルのもつ視差量と、前記参照領域のデプス値から変換される視差量との誤差に基づき前記推定視差ベクトルを決定する
ことを特徴とする映像復号方法。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号方法であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報は符号化対象画像に対応するデプスマップである推定デプスマップであり、
前記視差情報決定ステップは、前記推定デプスマップの各画素のデプス値から変換される変換視差量と、前記変換視差量とによって示される参照視点デプスマップ上の画素の視差量との誤差に基づき前記推定デプスマップを決定する
ことを特徴とする映像復号方法。
符号化対象映像と異なる視点に属する参照視点デプスマップに基づき画面間予測を行い、前記符号化対象映像を予測符号化した符号データを復号する映像復号方法であって、
前記参照視点デプスマップを参照して前記符号データを構成する復号対象画像の推定視差情報を決定する視差情報決定ステップと、
前記推定視差情報に基づいて既に復号済みの画像を参照ピクチャとして前記復号対象画像を予測して予測画像を生成する予測画像生成ステップと
を有し、
前記推定視差情報と実際に予測に使用する視差情報である確定視差情報との差分を復号する差分情報復号ステップを更に備え、
前記予測画像生成ステップは、前記確定視差情報に基づき予測画像を生成する
ことを特徴とする映像復号方法。
コンピュータを、請求項１から５のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。
コンピュータを、請求項６から１０のいずれか１項に記載の映像復号装置として機能させるための映像復号プログラム。