JP6306884B2

JP6306884B2 - 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体

Info

Publication number: JP6306884B2
Application number: JP2013273294A
Authority: JP
Inventors: 志織杉本; 信哉志水; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2018-04-04
Anticipated expiration: 2033-12-27
Also published as: JP2015128251A

Description

本発明は、予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体に関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間予測を行う。

ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである。多視点映像符号化については非特許文献１に詳しい。多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、ＭＶＣ（Multiview Video Coding）などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。このように、多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャにおいてはフレーム間予測と視点間予測による双方向予測を行うことができる。

インター予測を行う場合にはその参照先を示す参照ピクチャインデックスや動きベクトルなどの参照情報を得る必要がある。一般的には参照情報は予測情報として符号化し映像とともに多重化するが、その符号量を削減するために何らかの方法で参照情報を予測することもある。一般的な方法では、既に符号化済みの符号化対象画像の周辺ブロックが符号化時に使用した予測情報を取得し、符号化対象画像の予測に用いる参照情報とするダイレクトモードや、周辺ブロックの予測情報を候補リスト（Candidate List）としてリスト化し、リスト中から予測情報を取得する対象ブロックを識別する識別子を符号化するマージモードなどがある。

また他の方法として残差予測がある。残差予測は、高い相関を持つ２つの画像をそれぞれ予測符号化した場合にその予測残差も互いに相関を持つことを利用した、予測残差の符号量を抑えるための方法である。残差予測については非特許文献２に詳しい。多視点映像符号化において用いられる視点間残差予測では、異なる視点の映像における符号化対象画像と対応する領域の符号化時の予測残差信号を符号化対象の予測残差信号から差し引くことによって残差信号のエネルギーを低減し、符号化効率を向上することが可能である。視点間の対応関係は、例えば既に符号化済みの周辺ブロックが視差補償予測で符号化されている場合に、その視差ベクトルによって符号化対象ブロックに対応する別の視点の領域を設定するなどの方法で求められる。この方法で求められる視差ベクトルはＤｉｓｐａｒｉｔｙｖｅｃｔｏｒｆｒｏｍｎｅｉｇｈｂｏｕｒｉｎｇｂｌｏｃｋｓ（ＮＢＤＶ）と呼ばれる。

視点間残差予測は、Ｂピクチャにおいてフレーム間予測が用いられる場合に、その予測とは別に残差に対する更なる処理として用いられる。また元々の予測方法が符号化対象視点と異なる視点の参照ピクチャを使用したインター予測である場合には、符号化対象フレームと異なるフレームにおける符号化対象画像と対応する領域の符号化時の予測残差信号を使用して同様に残差予測を行う方法もある。また、いずれの場合にも対応する領域の符号化時の予測残差を参照する代わりに、対応する領域に対して符号化対象画像で使用するものと同じ動き情報を使用して予測画像を生成し、対応する領域の画像との差分を取ることで予測残差の予測値を生成する方法がある。

なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。

M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability," Communications, Control and Signal Processing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008.

多視点映像の符号化において、残差予測は有効な符号量削減方法である。しかしながら、その予測精度は視点間対応の精度に大きく依存する。視点間対応の精度が十分でない場合には予測された予測残差と予測画像の間にずれが生じるため、符号化対象の予測残差を十分低減できない、または復号画像にノイズが発生するなどにより、十分な効果が得られないという問題がある。また視点間で信号特性が大きく異なる場合や、符号化対象映像にノイズが乗っている場合、また参照ピクチャ毎に符号化に起因する歪が乗っている場合にも、同様の問題が発生するという問題もある。

本発明は、このような事情に鑑みてなされたもので、符号化効率または復号映像品質を向上することができる予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体を提供することを目的とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う予測画像生成方法であって、前記参照ピクチャから画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、異なる前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測ステップと、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、前記予測画像を更新して新たな予測画像を生成する予測画像更新ステップとを有することを特徴とする。

本発明は、前記予測画像更新ステップでは、前記予測画像に対し所定のフィルタを適用して前記予測画像を更新することを特徴とする。

本発明は、前記フィルタを選択するフィルタ選択ステップを更に有することを特徴とする。

本発明は、前記フィルタを生成するフィルタ生成ステップを更に有することを特徴とする。

本発明は、前記フィルタ生成ステップでは、前記予測予測残差に基づき前記フィルタを生成することを特徴とする。

本発明は、前記予測画像更新ステップでは、前記予測画像に対して画像復元を行うことにより前記予測画像を更新することを特徴とする。

本発明は、前記予測画像更新ステップでは、前記予測予測残差に基づき前記予測画像の部分領域ごとに適応的に更新を行うことを特徴とする。

本発明は、予測対象領域に対して予測を行い生成した予測画像と予測残差とから復号画像を再構成する際に、参照ピクチャから画面間予測によって生成された予測画像に対して更に残差予測を行う画像再構成方法であって、前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、異なる前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、前記予測画像と前記予測残差とから前記復号画像を生成する画像再構成ステップと、前記復号画像を更新して新たな復号画像を生成する復号画像更新ステップとを有することを特徴とする。

本発明は、前記復号画像更新ステップでは、前記復号画像に対して所定のフィルタを適用して前記復号画像を更新することを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う予測画像生成装置であって、前記参照ピクチャから画面間予測によって一次予測画像を生成する一次予測画像生成手段と、異なる前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測手段と、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成手段と、前記予測画像を更新して新たな予測画像を生成する予測画像更新手段とを備えることを特徴とする。

本発明は、予測対象領域に対して予測を行い生成した予測画像と予測残差とから復号画像を再構成する際に、参照ピクチャから画面間予測によって生成された予測画像に対して更に残差予測を行う画像再構成装置であって、前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成手段と、異なる前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測手段と、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成手段と、前記予測画像と前記予測残差とから前記復号画像を生成する画像再構成手段と、前記復号画像を更新して新たな復号画像を生成する復号画像更新手段とを備えることを特徴とする。

本発明は、前記予測画像生成方法をコンピュータに実行させるための予測画像生成プログラムである。

本発明は、前記画像再構成方法をコンピュータに実行させるための画像再構成プログラムである。

本発明は、前記予測画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記画像再構成プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、残差予測に由来するノイズを低減することにより符号化効率または復号映像品質を向上することができるという効果が得られる。

本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置１００の処理動作を示すフローチャートである。本発明の第１実施形態による映像復号装置の構成を示すブロック図である。図３に示す映像復号装置２００の処理動作を示すフローチャートである。本発明の第２実施形態による映像符号化装置の構成を示すブロック図である。図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。本発明の第２実施形態による映像復号装置の構成を示すブロック図である。図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による予測画像生成方法を用いた映像符号化装置を説明する。図１は、本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力映像メモリ１０２、参照ピクチャメモリ１０３、一次予測画像生成部１０４、予測予測残差生成部１０５、予測画像生成部１０６、予測画像更新部１０７、減算部１０８、変換・量子化部１０９、逆量子化・逆変換部１１０、加算部１１１、及びエントロピー符号化部１１２を備えている。

符号化対象映像入力部１０１は、符号化対象となる映像を入力する。以下の説明では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象ピクチャと呼ぶ。入力映像メモリ１０２は、入力された符号化対象映像を記憶する。参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下は、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。

一次予測画像生成部１０４は、参照ピクチャメモリ１０３に記憶された参照ピクチャを使用して符号化対象領域に対する予測を行い、一次予測画像を生成する。予測予測残差生成部１０５は、参照ピクチャメモリ１０３に記憶された参照ピクチャと一次予測画像生成時の予測情報を使用して予測予測残差を生成する。予測画像生成部１０６は、予測予測残差と一次予測画像とから予測画像を生成する。予測画像更新部１０７は、生成された予測画像を更新し新たな予測画像とする。減算部１０８は、符号化対象画像と予測画像の差分を求め、予測残差を生成する。

変換・量子化部１０９は、生成された予測残差を変換・量子化し、量子化データを生成する。逆量子化・逆変換部１１０は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。加算部１１１は、復号予測残差と予測画像とを加算し復号画像を生成する。エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成する。

次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。ここでは、符号化対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとるものとする。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ１０３に記憶されているものとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて参照ピクチャメモリ１０３に記憶されているものとする。

映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１２の繰り返しループ）。以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１１の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、一次予測画像生成部１０４は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ１０３）。予測はどのような方法で行ってもよいし、動き情報はどのようなものでもよい。参照情報として一般的なものとして、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上での参照位置を示す動きベクトルの組み合わせなどがある。

予測方法として一般的なものとしては、候補となる参照ピクチャ上でマッチングを行い参照先を決定する方法や、ダイレクトモードやマージモードと呼ばれる既に符号化済みの周辺ブロックの符号化時の予測に用いた動き情報を継承する方法などがある。その他どのような予測方法、動き情報を使用してもよい。動き情報は符号化し映像の符号データと多重化してもよいし、また動き情報を特定可能な情報を別に符号化し多重化してもよいし、前述のように周辺の動き情報や候補リストから導き出せる場合には符号化しなくてもよい。また、動き情報を予測しその残差を符号化してもよい。

次に、予測予測残差生成部１０５は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ１０４）。残差予測はどのような方法で行ってもよい。一般的な方法としては、符号化対象領域に対応する参照ピクチャメモリ内の参照ピクチャ上の別の領域を参照領域とし、参照領域における符号化時の予測残差を取得し、符号化対象領域における予測予測残差とする方法などがある。あるいは、参照領域に対して符号化対象画像で使用するものと同じ動き情報を使用して予測画像を生成し、参照領域の画像との差分を取ることで予測予測残差を生成する方法がある。また、参照領域はどのような方法で決定してもよい。一般的な方法では、符号化対象領域と異なる視点の映像における符号化対象画像と対応する領域を参照領域とする場合に、既に符号化済みの周辺ブロックの視差補償予測で使用した動きベクトルによって参照領域を決定する方法などがある。

次に、予測画像生成部１０６は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ１０５）。予測画像はどのように生成してもよい。一般的には、一次予測画像と予測予測残差とを加算することで予測画像を生成する方法などがある。

次に、予測画像更新部１０７は、生成された予測画像を更新して新たな予測画像とする（ステップＳ１０６）。更新の方法はどのような方法でもよい。例えば予測画像に対しノイズ除去フィルタを適用して更新してもよい。ノイズ除去フィルタはメディアンフィルタやローパスフィルタなど予め定められたものを使用してもよいし、予め定められたフィルタのセットの中から適応的に選択してもよい。この時にどのような方法でフィルタを選択してもよい。一般的なデブロッキングフィルタと同様に処理モードをいくつか定義し、使用する処理モードを適応的に判定してもよい。

また、予測予測残差や一次予測画像の特性からノイズモデルを推定するなどして適応的にフィルタを設計してもよい。あるいは、画像復元などの方法で尤もらしい自然画像として復元することで更新してもよい。例えば画像らしさの制約をＴＶノルムなどでおき、予測画像のノイズを低減させるような最適化問題を解くなどしてもよい。また、フィルタや復元処理に使用するパラメータ、または実施する処理を特定するパラメータなどを符号化し映像とともに多重化してもよい。

また、予測画像の画素毎あるいは部分領域ごとに適応的に更新を行うなどしてもよい。例えば、残差予測の誤差による新たに発生したノイズを低減させるために、残差予測における予測予測残差値の強度がある閾値以上であった画素だけに適応的にノイズ除去フィルタ適用や復元を行うなどしてもよい。また、ノイズの発生確率を見積もり、それによってフィルタ適用や復元を行うかどうかを判定する、あるいはフィルタ強度をコントロールするなどしてもよい。例えば、参照ピクチャの符号化歪みによるノイズを、符号化時の量子化パラメータなどに基づいて見積もってもよい。例えば、参照領域の符号化時の量子化パラメータの平均値をβとして、この値が高いほど符号化歪みによるノイズが多く発生するとして判定を行うなどしてもよい。

予測画像を更新したら、次に、減算部１０８は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０７）。次に、予測残差の生成が終了したら、変換・量子化部１０９は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。そして、変換・量子化が終了したら、逆量子化・逆変換部１１０は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０９）。

次に、復号予測残差の生成が終了したら、加算部１１１は、復号予測残差と予測画像とを加算し復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１１０）。必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成し（ステップＳ１１１）、必要であれば、予測情報や残差予測情報その他の付加情報も符号化し符号データと多重化する。そして、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１２）。

次に、本発明の第１実施形態による予測画像生成方法を用いた映像復号装置について説明する。図３は、本発明の第１実施形態による映像復号装置２００の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、エントロピー復号部２０４、逆量子化・逆変換部２０５、一次予測画像生成部２０６、予測予測残差生成部２０７、予測画像生成部２０８、予測画像更新部２０９、加算部２１０を備えている。

符号データ入力部２０１は、復号対象となる符号データを入力する。この復号対象となる符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象ピクチャと呼ぶ。符号データメモリ２０２は、入力された復号対象映像符号データを記憶する。参照ピクチャメモリ２０３は、すでに復号済みの画像を記憶する。エントロピー復号部２０４は、復号対象ピクチャの符号データをエントロピー復号し量子化データを生成する。逆量子化・逆変換部２０５は量子化データに逆量子化／逆変換を施して復号予測残差を生成する。

一次予測画像生成部２０６は、参照ピクチャメモリ２０３に記憶された参照ピクチャを使用して符号化対象領域に対する予測を行い、一次予測画像を生成する。予測予測残差生成部２０７は、参照ピクチャメモリ２０３に記憶された参照ピクチャと一次予測画像生成時の予測情報を使用して予測予測残差を生成する。予測画像生成部２０８は、予測予測残差と一次予測画像とから予測画像を生成する。予測画像更新部２０９は、生成された予測画像を更新し新たな予測画像とする。加算部２１０は、復号予測残差と予測画像とを加算し復号画像を生成する。

次に、図４を参照して、図３に示す映像復号装置２００の処理動作を説明する。図４は、図３に示す映像復号装置２００の処理動作を示すフローチャートである。復号対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を復号する構造をとるとする。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されていることとする。

次に、符号データ入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２１０の繰り返しループ）。以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップＳ２０３〜Ｓ２０９の処理はフレーム全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０４は、符号データをエントロピー復号する（ステップＳ２０３）。逆量子化・逆変換部２０５は、逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成してもよい。

ステップＳ２０５からステップＳ２０８までの処理は、映像符号化装置１００におけるステップＳ１０３からステップＳ１０６までの処理と同様であるので、ここでは簡単に説明する。一次予測画像生成部２０６は、符号化対象ブロックに対して、参照ピクチャメモリ２０３内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ２０５）。次に、予測予測残差生成部２０７は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ２０６）。次に、予測画像生成部２０８は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ２０７）。次に、予測画像更新部２０９は、生成された予測画像を更新して新たな予測画像とする（ステップＳ２０８）。

次に、予測画像の更新が終了したら、加算部２１０は、復号予測残差と予測画像を加算し、復号画像を生成し、参照ピクチャメモリ２０３に記憶する（ステップＳ２０９）。必要であれば復号画像に更にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。そして、全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２１０）。

＜第２実施形態＞
次に、本発明の第２実施形態による予測画像生成方法を用いた映像符号化装置を説明する。図５は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、予測画像更新部１０７を省き、新たにフィルタ決定部１１３、ループフィルタ部１１４を備えている点である。フィルタ決定部１１３は、予測予測残差を参照し復号画像に対してかけるフィルタを決定する。ループフィルタ部１１４は、復号画像に対して決定されたフィルタをかけて新な復号画像とする。

次に、図６を参照して、図５に示す映像符号化装置１００ａの処理動作を説明する。図６は、図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。ここでは、符号化対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとるものとする。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する（ステップＳ１０１）。映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１２の繰り返しループ）。以下のステップＳ１０３〜Ｓ１１１の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、一次予測画像生成部１０４は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ１０３）。次に、予測予測残差生成部１０５は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ１０４）。次に、予測画像生成部１０６は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ１０５）。

次に、減算部１０８は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０７）。次に、予測残差の生成が終了したら、変換・量子化部１０９は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。そして、変換・量子化が終了したら、逆量子化・逆変換部１１０は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０９）。

復号予測残差の生成が終了したら、加算部１１１は、復号予測残差と予測画像とを加算し復号画像を生成する（ステップＳ１１３）。次に、フィルタ決定部１１３は、予測予測残差や予測画像に基づいて復号画像にかけるループフィルタを生成し、ループフィルタ部１１４は、復号画像にループフィルタをかけて新たな復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１１４）。ループフィルタはどのようなものでもよい。第１実施形態で説明したようにノイズ除去フィルタを生成しても良いし、一般的なループフィルタやエッジオフセット／バンドオフセット処理（文献「大久保榮(監修)：「H.265/HEVC教科書」、インプレスジャパン、ISBN:978-4844334682」参照）で使用されるようなものとして、そのパラメータを生成してもよい。例えば、画素系列の平滑化処理を行うエッジオフセットで使用するエッジの角度を定めるクラスを符号化対象領域ごとに予測予測残差を参照して決定するなどしてもよい。

また、残差予測によって生じるノイズは予測予測残差の強度が高い角度で多く発生するとしてその角度に対して平滑化を行うこととするクラスを選択するなどしてもよい。また、具体的なオフセット演算の方法を示すカテゴリーを同様に決定するなどしてもよい。例えば、予測予測残差が正の値を持つ場合では減算処理、負の値を持つ場合では加算処理を行うなどである。またあるいは、オフセット値を予測予測残差に基づいて決定するなどしてもよい。例えば、予測予測残差値の最大値や最小値、平均値などを使用するなどである。以上のパラメータは一部をこの方法によって決定し残りを符号化し多重化するなどしてもよいし、全てをこの方法で決定してもよい。

また、パラメータを周辺の符号化済みブロックから継承する場合には、この方法によっておおまかなパラメータの推測を行い、近いパラメータを持つ周辺ブロックから継承を行うなどしてもいいし、継承したパラメータとの誤差分をこの方法で推定するなどしてもよい。また、予測予測残差の他に復号画像そのものや、量子化パラメータなどの符号化に使用した情報を使用してよい。

次に、本発明の第２実施形態による予測画像生成方法を用いた映像復号装置について説明する。図７は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図３に示す装置と異なる点は、新たにフィルタ決定部２１１、ループフィルタ部２１２を備えている点である。フィルタ決定部２１１は、予測予測残差を参照し復号画像に対してかけるフィルタを決定する。ループフィルタ部２１２は、復号画像に対して決定されたフィルタをかけて新たな復号画像とする。

次に、図８を参照して、図７に示す映像復号装置２００ａの処理動作を説明する。図８は、図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。符号データ入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２１０の繰り返しループ）。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０４は、符号データをエントロピー復号する（ステップＳ２０３）。逆量子化・逆変換部２０５は、逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。ステップＳ２０５からステップＳ２０８までの処理は、映像符号化装置１００ａにおけるステップＳ１０３からステップＳ１０６までの処理と同様であるので、ここでは簡単に説明する。一次予測画像生成部２０６は、符号化対象ブロックに対して、参照ピクチャメモリ２０３内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ２０５）。次に、予測予測残差生成部２０７は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ２０６）。次に、予測画像生成部２０８は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ２０７）。

予測画像の生成が終了したら、加算部２１０は、復号予測残差と予測画像とを加算し復号画像を生成する（ステップＳ２１１）。次に、フィルタ決定部２１１は、予測予測残差や予測画像に基づいて復号画像に掛けるループフィルタを生成し、ループフィルタ部２１２は、復号画像にループフィルタをかけ新な復号画像を生成し、参照ピクチャメモリ２０３に記憶する（ステップＳ２１２）。そして、全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２１０）。

前述した説明では符号化対象映像が多視点映像のうちの一つの映像である場合を説明したが、他にスケーラブル映像の一つの映像である場合など、互いに相関のある映像を共に符号化し多重化する場合には、同様の方法で残差予測を適用できる映像について、同様の方法で残差予測のノイズを低減させてもよい。また、前述した第１、第２実施形態における一部の処理は、その順序が前後しても構わない。

以上説明したように、残差予測により生成された予測画像を、残差予測で生じるノイズを除去するように更新あるいはフィルタリングし、残差予測に由来するノイズを低減するようにしたため符号化効率または復号映像品質を向上することができる。

前述した実施形態における映像符号化装置及び映像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

残差予測により生成された予測画像を、残差予測で生じるノイズを除去するように更新あるいはフィルタリングし、残差予測に由来するノイズを低減するようにしたため符号化効率または復号映像品質を向上することが不可欠な用途にも適用できる。

１００・・・映像符号化装置、１０１・・・符号化対象映像入力部、１０２・・・入力映像メモリ、１０３・・・参照ピクチャメモリ、１０４・・・一次予測画像生成部、１０５・・・予測予測残差生成部、１０６・・・予測画像生成部、１０７・・・予測画像更新部、１０８・・・減算部、１０９・・・変換・量子化部、１１０・・・逆量子化・逆変換部、１１１・・・加算部、１１２・・・及びエントロピー符号化部、１１３・・・フィルタ決定部、１１４・・・ループフィルタ部、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照ピクチャメモリ、２０４・・・エントロピー復号部、２０５・・・逆量子化・逆変換部、２０６・・・一次予測画像生成部、２０７・・・予測予測残差生成部、２０８・・・予測画像生成部、２０９・・・予測画像更新部、２１０・・・加算部、２１１・・・フィルタ決定部、２１２・・・ループフィルタ部

Claims

予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う予測画像生成方法であって、
前記参照ピクチャから画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
異なる前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測ステップと、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、
前記予測画像を更新して新たな予測画像を生成する予測画像更新ステップと、
フィルタを適応的に選択するフィルタ選択ステップと、
を有し、
前記予測画像更新ステップでは、前記予測画像に対し所定のフィルタを適用して前記予測画像を更新することを特徴とする予測画像生成方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う予測画像生成方法であって、
前記参照ピクチャから画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
異なる前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測ステップと、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、
前記予測画像を更新して新たな予測画像を生成する予測画像更新ステップと、
フィルタを適応的に生成するフィルタ生成ステップと、
を有し、
前記予測画像更新ステップでは、前記予測画像に対し所定のフィルタを適用して前記予測画像を更新することを特徴とする予測画像生成方法。
前記フィルタ生成ステップでは、前記予測予測残差に基づき前記フィルタを生成することを特徴とする請求項２に記載の予測画像生成方法。
前記予測画像更新ステップでは、前記予測画像に対して画像復元を行うことにより前記予測画像を更新することを特徴とする請求項１または２に記載の予測画像生成方法。
前記予測画像更新ステップでは、前記予測予測残差に基づき前記予測画像の部分領域ごとに適応的に更新を行うことを特徴とする請求項１から４のいずれか１項に記載の予測画像生成方法。
予測対象領域に対して予測を行い生成した予測画像と予測残差とから復号画像を再構成する際に、参照ピクチャから画面間予測によって生成された予測画像に対して更に残差予測を行う画像再構成方法であって、
前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
異なる前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、
前記予測画像と前記予測残差とから前記復号画像を生成する画像再構成ステップと、
前記復号画像を更新して新たな復号画像を生成する復号画像更新ステップと、
フィルタを選択するフィルタ選択ステップと、
を有し、
前記復号画像更新ステップでは、前記復号画像に対して所定のフィルタを適用して前記復号画像を更新することを特徴とする画像再構成方法。
予測対象領域に対して予測を行い生成した予測画像と予測残差とから復号画像を再構成する際に、参照ピクチャから画面間予測によって生成された予測画像に対して更に残差予測を行う画像再構成方法であって、
前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
異なる前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップと、
前記予測画像と前記予測残差とから前記復号画像を生成する画像再構成ステップと、
前記復号画像を更新して新たな復号画像を生成する復号画像更新ステップと、
フィルタを生成するフィルタ生成ステップと、
を有し、
前記復号画像更新ステップでは、前記復号画像に対して所定のフィルタを適用して前記復号画像を更新することを特徴とする画像再構成方法。
前記フィルタ生成ステップでは、前記予測予測残差に基づき前記フィルタを生成することを特徴とする請求項７に記載の画像再構成方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う予測画像生成装置であって、
前記参照ピクチャから画面間予測によって一次予測画像を生成する一次予測画像生成手段と、
異なる前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測手段と、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成手段と、
前記予測画像を更新して新たな予測画像を生成する予測画像更新手段と、
フィルタを適応的に選択するフィルタ選択手段と、
を備え、
前記予測画像更新手段では、前記予測画像に対し所定のフィルタを適用して前記予測画像を更新することを特徴とする予測画像生成装置。
予測対象領域に対して予測を行い生成した予測画像と予測残差とから復号画像を再構成する際に、参照ピクチャから画面間予測によって生成された予測画像に対して更に残差予測を行う画像再構成装置であって、
前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成手段と、
異なる前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測手段と、
前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成手段と、
前記予測画像と前記予測残差とから前記復号画像を生成する画像再構成手段と、
前記復号画像を更新して新たな復号画像を生成する復号画像更新手段と、
フィルタを適応的に選択するフィルタ選択手段と、
を備え、
前記復号画像更新手段では、前記復号画像に対し所定のフィルタを適用して前記復号画像を更新することを特徴とする画像再構成装置。
請求項１から５のいずれか１項に記載の予測画像生成方法をコンピュータに実行させるための予測画像生成プログラム。
請求項６から８のいずれか１項に記載の画像再構成方法をコンピュータに実行させるための画像再構成プログラム。
請求項１１に記載の予測画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項１２に記載の画像再構成プログラムを記録したコンピュータ読み取り可能な記録媒体。