JP7084808B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関し、特に、画像の画面内予測を行う符号化装置、復号装置、及びプログラムに関する。

動画像の予測符号化方式であるＭＰＥＧ（Moving Picture Experts Group）－２やＨ．２６４／ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）では、動画像の各フレームをブロックに分割し、それぞれのブロックを基本処理単位として予測画像を生成し、原画像と予測画像の差分（残差信号）を符号化して出力する。

予測画像の生成には画面内予測（イントラ予測）と画面間予測（インター予測、動き補償予測）の２種類の生成手法がある。画面内予測は予測対象であるブロックの周辺画素を参照画素として外挿予測し、画面間予測は前後フレームから内挿予測する。このうち、画面内予測で生成される予測画像（Ｉフレーム（Intra-coded Frame））は、画面間予測の基礎となる画像（フレーム）であるため、画面内予測には、より精度が高く、予測効率の良い予測符号化方法が求められており、様々な方式が提案されている（特許文献１～３）。

最新の動画像の予測符号化方式であるＨ．２６５／ＨＥＶＣでは、画面内予測にＤＣ予測、Ｐｌａｎａｒ予測、方向性予測の３種類の予測手法を持つ（非特許文献１）。ここで、ＤＣ予測は、参照画素の平均値をブロックの予測値とする手法であり、Ｐｌａｎａｒ予測は、予測画素値を４個の参照画素値からの線形補間によって生成する手法である。また、方向性予測は、３３通りの方向のいずれかを選択し、選択された方向にある参照画素の画素値を予測画素値とする手法である。

送信側は、この３種類（３５通り）の予測手法のうち、どれを用いたかを示す予測モード番号と残差画像を伝送することで、受信側は、伝送された情報から映像を復号することが可能となる。

特開２０１３－１７１２８号公報 特開２０１５－４６７２３号公報 特開２０１７－５５０６号公報

大久保榮（監修）、他、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、（２０１３年）、ｐｐ．１１５～１２４

画面内予測手法は様々なものが開発されており、例えばＨ．２６５／ＨＥＶＣでは、上述のようにＤＣ予測、Ｐｌａｎａｒ予測、方向性予測の３つの予測手法が用いられている。しかし、いずれも参照画素からの外挿予測であり、参照画素からの距離が遠くなると予測効率が劣化し、符号化効率も劣化するという課題がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、画像の画面内予測において、参照画素からの予測距離に依存せずに、精度の高い予測画像が生成可能となり、符号化効率が向上した符号化装置、復号装置、及びプログラムを提供することにある。

上記の課題を解決するために、本発明では、画面内予測における予測画像生成において、テンプレート画像を用いた予測画像生成手法を導入する。本予測画像生成手法では、既存の画面内予測による予測手法で生成した仮予測画像に、テンプレート画像を加算した合成予測画像を用いて、画面内予測を行う。

上記課題を解決するために本発明に係る符号化装置は、ブロック化された画像の画面内予測を行い、予測画像を生成する予測画像生成部を備えた、符号化装置において、前記予測画像生成部は、参照画素を元に生成した仮予測画像と、既に予測符号化されたブロックにおける予測残差信号又は事前に設定した固定的なパターン画像であるテンプレート画像とに基づいて、前記予測画像を生成することを特徴とする。

また、前記符号化装置は、前記予測画像生成部が、テンプレート画像生成部と、テンプレート画像蓄積部と、テンプレート画像選択部と、前記仮予測画像と前記テンプレート画像を合成する画像合成部とを備え、前記仮予測画像と前記テンプレート画像とを合成した合成予測画像と、前記仮予測画像のいずれかを、前記予測画像として出力する選択部を備えており、前記予測画像として前記合成予測画像と前記仮予測画像のいずれを選択したかを示す、テンプレート使用フラグを出力することが望ましい。

また、前記符号化装置は、前記予測画像生成部が、テンプレート画像を複数有しており、選択したテンプレート画像を示す使用テンプレート番号を出力することが望ましい。

また、前記符号化装置は、前記予測画像生成部が、前記仮予測画像と前記テンプレート画像を合成するにあたり、係数値を乗算してテンプレート画像を補正することが望ましい。

また、上記課題を解決するために本発明に係る復号装置は、ブロック化された画像の画面内予測を行い、予測画像を生成する予測画像生成部を備えた、復号装置において、前記予測画像生成部は、参照画素を元に生成した仮予測画像と、復号済みブロックにおける残差信号又は事前に設定した固定的なパターン画像であるテンプレート画像とに基づいて、前記予測画像を生成することを特徴とする。

また、前記復号装置は、前記予測画像生成部が、テンプレート画像生成部と、テンプレート画像蓄積部と、テンプレート画像選択部と、前記仮予測画像と前記テンプレート画像を合成する画像合成部とを備え、テンプレート使用フラグに基づいて、前記仮予測画像と前記テンプレート画像とを合成した合成予測画像と、前記仮予測画像のいずれを前記予測画像として出力するかを選択することが望ましい。

また、前記復号装置は、前記予測画像生成部が、テンプレート画像を複数有しており、使用テンプレート番号に基づいて、テンプレート画像を選択することが望ましい。

また、前記復号装置は、前記予測画像生成部が、係数値フラグに基づいて選択された係数値を乗算してテンプレート画像を補正することが望ましい。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の符号化装置として機能させるためのプログラムであることを特徴とする。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、上記の復号装置として機能させるためのプログラムであることを特徴とする。

本発明における符号化装置、復号装置、及びプログラムによれば、画面内予測において、従来の外挿予測のみではなく、参照画素からの予測距離に依存しない予測画像が生成可能となる。これにより参照画素からの距離が遠い画素位置での予測効率の劣化を抑制し、符号化効率を向上させることができる。また、本発明は、動画像のみならず、静止画像の符号化においても適用でき、より精度の高い予測画像が生成可能となる。

本発明の符号化装置の一例のブロック図である。 本発明の符号化装置の予測画像生成部のより詳細なブロック図である。 本発明の復号装置の一例のブロック図である。 本発明の復号装置の予測画像生成部のより詳細なブロック図である。 本発明の符号化装置の別の例のブロック図である。

以下、本発明の実施の形態について、図面を参照して説明する。

（実施の形態１）
図１は、改良された画面内予測画像生成手法に基づく、本発明の符号化装置の一例のブロック図である。

符号化装置１０は、入力画像が入力されると、これを圧縮符号化し、出力信号（出力ビットストリーム）を出力する。ここで入力画像とは、動画像の各フレーム又は静止画像である。符号化装置１０は、一例として、ブロック分割部１１、予測画像生成部１２、減算処理部１３、変換・量子化部１４、及びエントロピー符号化部１５を備える。また、予測画像生成部１２は、その内部に、仮予測画像生成部１００、テンプレート画像生成部１１０、テンプレート画像蓄積部１２０、テンプレート画像選択部１３０、及び画像合成部１４０を備える。

ブロック分割部１１は、入力された画像をブロックに分割する。分割されたそれぞれのブロック（ブロック画像）は、予測・符号化のための基本処理単位となる。ブロックのサイズは、例えば、４×４、８×８、１６×１６、又は６４×６４画素（ピクセル）である。ブロック化された画像は、予測画像生成部１２及び減算処理部１３に出力される。

予測画像生成部１２は、入力されたブロック画像（予測対象ブロック）について、参照画素の画素値とテンプレート画像を元に予測画像を生成する。ここで、テンプレート画像とは、予測符号化を行うフレーム内で既に予測符号化されたブロックにおける予測残差信号（残差信号であって、予測符号化の内部処理に用いられる信号を「予測残差信号」と言うこととする。）又は事前に設定した固定的なパターン画像であり、残差信号を減少させるために利用する画像のことをいう。生成された予測画像は、減算処理部１３に出力する。また、予測処理に用いた予測処理情報（例えば、予測モード番号等）を、エントロピー符号化部１５に出力する。

予測画像生成部１２の内部構成について、説明する。仮予測画像生成部１００は、既存の画面内予測手法によって仮予測画像を生成する。既存の画面内予測手法とは、例えば、Ｈ．２６５／ＨＥＶＣを利用するのであれば、ＤＣ予測、Ｐｌａｎａｒ予測、又は方向性予測を利用することができる。これら既存の画面内予測手法のいずれかで作成した画像を、仮予測画像として画像合成部１４０に出力する。

テンプレート画像生成部１１０は、テンプレート画像の生成を行う。テンプレート画像は、上述のとおり、当該予測対象ブロックよりも以前に画面内予測によって予測符号化されたブロックにおける予測残差信号、又は固定パターン画像であるが、ここでは固定パターン画像の生成を主に行う。予測残差信号の生成は、このテンプレート画像生成部１１０で行ってもよいが、後述の減算処理部１３の処理で代替することもできる。固定パターン画像は、予測画像生成の初期状態において、予めテンプレート画像蓄積部に蓄積しておく初期設定パターンである。固定パターン画像はブロック内を一定値の画素値とするもの、ブロック内で画素値に傾斜を設けるもの、縦方向のラインを有するもの、横方向のラインを有するもの等、任意のパターンであってよい。固定パターン画像は、後に残差信号で置き換えてもよい。テンプレート画像生成部１１０は、生成されたテンプレート画像をテンプレート画像蓄積部１２０に出力する。

テンプレート画像蓄積部１２０は、生成されたテンプレート画像を蓄積する。符号化済みブロックの予測残差信号をテンプレート画像とする場合、予測残差信号のブロックサイズの情報および適用されていた画面内予測の予測モード番号を合わせて蓄積することとしてもよい。テンプレート画像の蓄積数は限定されず、装置のハードウェア（メモリ容量）に応じて、任意の数のテンプレート画像を蓄積してよい。また、すべてのテンプレート画像を均等に蓄積しておく必要はなく、例えばブロックサイズに応じて、蓄積する数を設定してもよいし、画面内予測の予測モード番号に応じて（例えば、３５種類の予測手法ごとに）蓄積する数を設定してもよい。蓄積数を限定した場合は、テンプレート画像を順次更新することが望ましい。更新手段としては、例えばテンプレート画像の蓄積領域に番号を付与しておき、新しいテンプレート画像（予測残差信号）が生じると、蓄積領域の先頭（最も若いテンプレート番号の領域）に格納するとともに、過去分のテンプレート画像の領域を順次ずらして格納する。テンプレート画像が所定の蓄積個数より多くなった場合は、古いものから削除する。これにより、常に最新の予測残差信号が所定数の蓄積領域に保持されることとなる。テンプレート画像蓄積部１２０に蓄積されたテンプレート画像は、テンプレート画像選択部１３０からの指示により、最適なテンプレート画像が読みだされる。

テンプレート画像選択部１３０は、テンプレート画像蓄積部１２０に蓄積されたテンプレート画像から、どのテンプレートを適用するかを選択し、選択したテンプレート画像を画像合成部１４０に渡す。選択にあたっては、仮予測画像を生成する際に使用した画面内予測手法、ブロックサイズが一致する中で、一番空間的距離が近いものを選択することを基本的な選択ルールとする。この選択ルールは、符号化装置と復号装置で共通化する。ただし複数蓄積されたテンプレート画像の中から、使用テンプレート番号等を用いて明示的に選択してもよい。

画像合成部１４０は、仮予測画像生成部１００から入力された仮予測画像と、テンプレート画像選択部１３０で選択されたテンプレート画像とを加算し、その合成画像を予測画像生成部１２の出力（すなわち、当該予測対象ブロックの予測画像）として出力する。なお、後述のように、このときテンプレート画像と仮予測画像それぞれに対して係数値を乗算することで、予測画像を補正することとしてもよい。

次に、減算処理部１３は、ブロック分割部１１からのブロック画像（原画像）と、予測画像生成部１２からの予測画像とを入力とし、ブロック画像から予測画像の減算処理を行い、残差信号を生成する。減算処理部１３は、生成した残差信号を変換・量子化部１４へ出力する。

変換・量子化部１４は、残差信号（差分画像）を符号化するために必要な変換処理及び量子化を行う。例えば、入力された残差信号について、画像変換で一般に利用される離散コサイン変換等の変換処理を行い、その結果に対して、所定の量子化パラメータに基づいて量子化処理を行う。変換・量子化部１４は、変換処理及び量子化の結果を、エントロピー符号化部１５に出力する。

エントロピー符号化部１５は、変換・量子化部１４から入力された画像の符号化データとともに、予測処理情報等の画像の復号に必要なデータをエントロピー符号化（シンボル毎の出現確率に基づき異なる長さの符号語長を用いる符号化）をして、出力信号（ビットストリーム）を作成する。その後、出力信号は、必要に応じて変調処理等がなされ、伝送路への出力、又は記録媒体への記録等が行われる。

図２は、符号化装置１０の予測画像生成部１２の一例のより詳細なブロック図である。

予測画像生成部１２の仮予測画像生成部１００では、既存の符号化方法、例えば、Ｈ．２６５／ＨＥＶＣの画面内予測処理を行う。ここでは、予測対象ブロックとその周辺画素である参照画素に基づいて予測符号化をする際、まずＰｌａｎａｒ予測１０１、ＤＣ予測１０２、方向性予測１０３から、どの予測モードを選択するかを決定し、その予測モード番号を伝送する。予測モードの選択にあたっては、例えばＲＤ（Rate-Distortion）最適化等の手法を用いる。予測モードを選択した後、それぞれの予測モード番号に応じた計算式によって、仮予測画像を生成する。このときの計算式は、Ｈ．２６５／ＨＥＶＣや既存の符号化方式に準ずる。

テンプレート画像生成部１１０、テンプレート画像蓄積部１２０、及びテンプレート画像選択部１３０の構成・機能は、図１において説明したとおりである。テンプレート画像生成部１１０は、テンプレート画像の生成を行い、生成されたテンプレート画像をテンプレート画像蓄積部１２０に出力する。なお、ここでは固定パターン画像の生成のみを行っており、予測残差信号の生成は減算処理部１３で行っている。

テンプレート画像蓄積部１２０は、生成されたテンプレート画像を蓄積する。ここでは、テンプレート画像生成部１１０で生成された固定パターン画像と、減算処理部１３で算出された残差信号（予測残差信号）を蓄積しており、テンプレート画像選択部１３０により、最適なテンプレート画像が読みだされる。

テンプレート画像選択部１３０は、テンプレート画像蓄積部１２０に蓄積されたテンプレート画像から、どのテンプレートを適用するかを選択し、選択したテンプレート画像を画像合成部１４０に渡す。複数蓄積されたテンプレート画像から、使用するテンプレート画像を選択する場合、どのテンプレート画像を用いたかを示す使用テンプレート番号を、予測処理情報の一つとして伝送してもよい。なお、テンプレート画像の選択ルールが符号化装置と復号装置で共通であれば、使用テンプレート番号の伝送を省略できる。

画像合成部１４０は、仮予測画像生成部１００から入力された仮予測画像と、テンプレート画像選択部１３０で選択されたテンプレート画像とに基づいて、合成予測画像を出力する。画像合成部１４０は、係数処理部１４１と加算処理部１４２とを備えている。この係数処理部１４１は、事前に設定した複数の係数値を備えており、適切な係数値を選択してテンプレート画像に選択した係数値を乗じることにより、テンプレート画像を補正することができる。この係数値は、例えば、０．３、０．５、１、２等であって、予測対象ブロックや予測手法に応じて適切なものが選択される。例えば、画像全体にグラデーションがあり、予測対象ブロックが濃から淡に移るときは、係数値として０．５等の１より小さい係数を選択することにより、テンプレート画像の作用・効果がより適切に生じる。テンプレート画像に係数値を乗じることでテンプレート画像の補正を行った場合は、その係数値を示す係数値フラグを伝送する。なお、係数処理は仮予測画像に対して行うこともできる。加算処理部１４２は、係数処理されたテンプレート画像と仮予測画像を加算して、合成予測画像として出力する。

次に、選択部１５０は、仮予測画像と画像合成部１４０の出力画像（合成予測画像）のどちらの予測画像を用いるか選択して出力するとともに、合成予測画像を用いる場合には、Trueとして、仮予測画像を使用する場合には、Falseとしてテンプレート使用フラグ（例えば１ビット）を伝送する。この選択には、例えば、ＲＤ最適化等の手法を用いてもよいし、単に予測残差信号をより小さくする予測画像を選択してもよい。

この後、減算処理部１３にて、予測対象ブロックから生成した予測画像を減算することで得られる残差信号を算出し、これを出力する。さらに残差信号はテンプレート画像蓄積部１２０で蓄積し、次の予測対象ブロックの符号化の際に、テンプレート画像として用いる。

このように、既存の画面内予測による予測手法で生成した仮予測画像（すなわち、参照画素を元に生成した仮予測画像）に、テンプレート画像を加算するかどうかは、符号化側で判定し、判定結果をテンプレート使用フラグとして復号側に伝える。また、複数のテンプレート画像からどのテンプレートを選択するかを符号化側で判定し、その結果である使用テンプレート番号を復号側に伝えることもできる。したがって、予測画像生成部１２は、画面内予測による予測画像を出力するとともに、モード予測番号、テンプレート使用フラグ、使用テンプレート番号、係数値フラグ等を、予測処理情報として出力する。

本発明の符号化装置によれば、テンプレート画像を利用することにより、残差信号を減少させ、画面内予測の符号化効率を向上させることができる。なお、テンプレート画像の利用は、特にＤＣ予測及びＰｌａｎａｒ予測で効果が高いことが確認されている。本発明の符号化装置は、静止画像の符号化にも用いることができる。

なお、上述した符号化装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

（実施の形態２）
図３は、改良された画面内予測画像生成手法に基づく、本発明の復号装置の一例のブロック図である。

復号装置２０は、入力信号（符号化データ）が入力されると、これを復号処理し、出力画像（復号画像）を出力する。ここで出力画像は、動画像の各フレーム又は静止画像である。復号装置２０は、一例として、エントロピー復号部２１、予測画像生成部２２、逆量子化・逆変換部２３、加算処理部２４、及びブロック統合部２５を備える。

エントロピー復号部２１は、符号化側で行ったエントロピー符号化の逆変換に相当する。エントロピー符号化された信号を復号し、画像用データ（残差信号に関する情報）を逆量子化・逆変換部２３に出力し、予測処理情報を予測画像生成部２２に出力する。

予測画像生成部２２は、予測処理情報（モード予測番号、使用テンプレート番号等）の入力に基づいて画面内予測を行い、予測画像を生成し、加算処理部２４に出力する。予測画像生成部２２の構成は、基本的には符号化側の予測画像生成部１２の構成と同様であり、詳細は後述する。

逆量子化・逆変換部２３は、エントロピー復号部２１から入力された画像用データ（残差信号に関する情報）を、逆量子化及び逆変換（離散コサイン逆変換等）し、残差信号を生成する。すなわち、符号化装置１０の変換・量子化部１４で行われた処理と反対の復号処理を行い、その結果を加算処理部２４に出力する。

加算処理部２４は、逆量子化・逆変換部２３で生成された残差信号の画像と、予測画像生成部２２で生成された予測画像とを加算し、その合成画像を復号画像（復号ブロック画像）としてブロック統合部２５に出力する。

ブロック統合部２５は、加算処理部２４から入力される復号ブロック画像をブロック統合し、元の画像を復元して出力画像とする。その後、出力画像は、必要に応じて表示装置等へ出力される。

図４は、復号装置２０の予測画像生成部２２の一例のより詳細なブロック図である。予測画像生成部２２は、予測処理情報（モード予測番号、使用テンプレート番号等）の入力に基づいて、予測画像を生成する。

予測画像生成部２２の仮予測画像生成部２００は、予測モード番号と参照画素の画素値が与えられる。参照画素は、既に復号済みのブロック画像の画素が選択される。この与えられた情報を元に、Ｐｌａｎａｒ予測２０１、ＤＣ予測２０２、方向性予測２０３のどの予測が用いられたかを決定し、それぞれの計算式によって、仮予測画像を生成する。この計算式は符号化装置側と同一とする。

テンプレート画像生成部２１０、テンプレート画像蓄積部２２０、及びテンプレート画像選択部２３０の構成・機能は、図２の予測画像生成部１２における説明と基本的に同様である。テンプレート画像生成部２１０は、テンプレート画像の生成を行い、生成されたテンプレート画像をテンプレート画像蓄積部２２０に出力する。復号装置２０のテンプレート画像生成部２１０は、事前に設定した固定的なパターン画像の生成のみを行っており、予測残差信号は符号化装置１０から伝送されるものを用いる。なお、生成される固定パターン画像は、符号化装置１０の固定パターン画像と同じであり、予測画像生成の初期状態において、予めテンプレート画像蓄積部２２０に蓄積しておく初期設定パターンが、符号化装置１０と同じであるようにする。

テンプレート画像蓄積部２２０は、テンプレート画像として、テンプレート画像生成部２１０で生成された固定パターン画像と、符号化装置１０から伝送された残差信号（予測残差信号）を蓄積する。すなわち、テンプレート画像として使用されるのは、当該予測対象ブロック（復号対象ブロック）より以前に復号された、復号済みブロックにおける残差信号である。なお、テンプレート画像の蓄積領域に番号を付与しておき、新しいテンプレート画像（予測残差信号）が生じると、蓄積領域の先頭（最も若いテンプレート番号の領域）に格納するとともに、過去分のテンプレート画像の領域を順次ずらして格納するという更新手段は、送信側と同じである。これにより、送信側のテンプレート画像蓄積部１２０と受信側のテンプレート画像蓄積部２２０は、同じテンプレート番号の蓄積領域に、同じテンプレート画像が格納されることとなる。蓄積されたテンプレート画像は、テンプレート画像選択部２３０により読みだされる。

テンプレート画像選択部２３０は、符号化装置１０からどのテンプレート画像を用いたかを示す使用テンプレート番号が伝送されてきた場合は、使用テンプレート番号に基づいて、テンプレート画像蓄積部２２０からテンプレート画像を選択し、選択したテンプレート画像を画像合成部２４０に渡す。なお、前述のとおり、テンプレート画像の選択ルールが符号化装置と復号装置で共通であれば、使用テンプレート番号の伝送を省略できる。

画像合成部２４０は、仮予測画像生成部２００から入力された仮予測画像と、テンプレート画像選択部２３０で選択されたテンプレート画像に基づいて、合成予測画像を出力する。画像合成部２４０は、係数処理部２４１と加算処理部２４２とを備えている。この係数処理部２４１は、符号化装置１０と同一の事前に設定した複数の係数値を備えており、符号化装置１０から伝送された係数値を示す係数値フラグを受信する。係数値フラグが伝送されてきた場合は、受信した係数値フラグに基づいて係数値を選択し、テンプレート画像に選択した係数値を乗じることにより、テンプレート画像を補正する。加算処理部１４２は、係数処理されたテンプレート画像と仮予測画像を加算して、合成予測画像として出力する。

選択部２５１，２５２は、仮予測画像生成部２００から入力された仮予測画像と、画像合成部２４０の出力画像（合成予測画像）のどちらを予測画像とするか、選択して出力する。復号側の選択部では、伝えられたテンプレート使用フラグを元に、予測画像生成時にテンプレート画像を加算するかどうかを決定する。すなわち、テンプレート使用フラグがTrueであった場合には、画像合成部２４０において、テンプレート画像と仮予測画像を加算し、合成予測画像を予測画像生成部２２の予測画像として出力する。テンプレート使用フラグがFalseであった場合には、仮予測画像をそのまま予測画像として出力する。

最後に、予測画像と、伝送されてきた残差信号を加算処理部２４で加算し、復号画像（復号ブロック画像）を得る。

本発明の復号装置によれば、テンプレート画像を利用することにより、より精度の高い予測画像を生成することが可能となる。本発明の復号装置は、静止画像の復号にも用いることができる。

なお、上述した復号装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置２０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

（実施の形態３）
図５は、本発明の符号化装置の別の例のブロック図であり、これまで説明した予測画像生成部を、Ｈ．２６５／ＨＥＶＣの符号化装置に適用した例を示す。

符号化装置３０は、ブロック分割部３００、減算処理部３０１、変換・量子化部３０２、エントロピー符号化部３０３、逆量子化・逆変換部３０４、合成部３０５、イントラ予測部３０６、ループフィルタ３０７、フレームメモリ３０８、動き補償予測部３０９、及び切換え器３１０を備えている。このうち、イントラ予測部３０６として、図２の予測画像生成部１２を利用する。

ブロック分割部３００は、入力画像を、所定のサイズのブロックに分割する。分割された画像は減算処理部３０１に出力され、画像ブロック毎にその後の処理が行われる。

減算処理部３０１は、ブロック分割部３００から入力されるブロック化された画像から、イントラ予測部３０６又は動き補償予測部３０９から入力される予測画像の減算処理を行い、両画像の差分を求めて、残差信号（差分画像）を変換・量子化部３０２に出力する。

変換・量子化部３０２は、変換部３０２ａと量子化部３０２ｂを備えている。変換部３０２ａは、減算処理部３０１から入力された残差信号に対して、Ｈ．２６５／ＨＥＶＣで規定されている変換符号化処理（離散コサイン変換等）を行う。また、量子化部３０２ｂは、所定の量子化パラメータに基づいて量子化処理を行い、その結果をエントロピー符号化部３０３及び逆量子化・逆変換部３０４に出力する。

エントロピー符号化部３０３は、変換・量子化部３０２から入力された画像の符号化データとともに、画像の復号に必要なデータをエントロピー符号化して、出力信号（ビットストリーム）を作成し、その後、必要に応じて変調処理等を行い、伝送路への出力等を行う。

逆量子化・逆変換部３０４は、逆量子化部３０４ａと逆変換部３０４ｂを備えている。逆量子化部３０４ａは、変換・量子化部３０２から入力された符号化されたデータを逆量子化し、逆変換部３０４ｂは、逆量子化されたデータに対して逆変換（離散コサイン逆変換等）をする。すなわち、変換・量子化部３０２で行われた処理と反対の復号処理を行い、その結果を合成部３０５に出力する。

合成部３０５は、逆量子化・逆変換部３０４で逆量子化及び逆変換されたデータ、すなわち、残差信号の復号処理されたデータと、後述のイントラ予測部３０６又は動き補償予測部３０９で処理された予測画像データとを加算し、その合成画像データをイントラ予測部３０６とループフィルタ３０７に出力する。

イントラ予測部３０６は、入力された合成画像データに基づいて、イントラ予測、すなわち、画面内予測による予測画面生成を行う。本発明では、テンプレート画像を利用した予測画像生成手法を用いる。具体的には、イントラ予測部３０６を図２に示す予測画像生成部１２の構成とする。ここでは予測画像生成部１２の説明は省略する。イントラ予測部３０６は、画面内予測画像を切換え器３１０に出力する。

ループフィルタ３０７は、例えば、ブロック歪みを低減するデブロッキング・フィルタと、リンギング歪みを低減するサンプル・アダプティブ・オフセットによって構成される。合成された画像データに対して、フィルタ処理を行うことにより、符号化ループ内の量子化処理によって発生する符号化歪み（ブロック歪み，リンギング歪みなど）を低減する。ループフィルタ３０７はフィルタ処理した画像データをフレームメモリ３０８に出力する。

フレームメモリ３０８は、ループフィルタ３０７で処理された画像データを蓄積する。

動き補償予測部３０９は、フレームメモリ３０８に蓄積された画像と、図示しない動き検出部で求めた画像の動きの情報に基づいて、動き補償予測処理を行い、動き予測画像を切換え器３１０に出力する。

切換え器３１０は、減算処理部３０１に、イントラ予測部３０６からの画面内予測画像を出力するか、動き補償予測部３０９からの動き予測画像を出力するかを、選択する。

このように、Ｈ．２６５／ＨＥＶＣの符号化処理を行う符号化装置３０において、テンプレート画像を利用した画面内予測を用いることができる。同様に、画面内予測を行う次世代ＨＥＶＣの符号化装置及び復号装置においても、本発明を採用することができる。

上記の実施の形態では、符号化装置及び復号装置の構成と動作について説明したが、本発明はこれに限らず、画面内予測を行う符号化方法及び復号方法として構成されてもよい。

上述の実施の形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１０ 符号化装置
１１ ブロック分割部
１２ 予測画像生成部
１３ 減算処理部
１４ 変換・量子化部
１５ エントロピー符号化部
２０ 復号装置
２１ エントロピー復号部
２２ 予測画像生成部
２３ 逆量子化・逆変換部
２４ 加算処理部
２５ ブロック統合部
３０ 符号化装置
１００ 仮予測画像生成部
１０１ Ｐｌａｎａｒ予測
１０２ ＤＣ予測
１０３ 方向性予測
１１０ テンプレート画像生成部
１２０ テンプレート画像蓄積部
１３０ テンプレート画像選択部
１４０ 画像合成部
１４１ 係数処理部
１４２ 加算処理部
１５０ 選択部
２００ 仮予測画像生成部
２０１ Ｐｌａｎａｒ予測
２０２ ＤＣ予測
２０３ 方向性予測
２１０ テンプレート画像生成部
２２０ テンプレート画像蓄積部
２３０ テンプレート画像選択部
２４０ 画像合成部
２４１ 係数処理部
２４２ 加算処理部
２５１，２５２ 選択部
３００ ブロック分割部
３０１ 減算処理部
３０２ 変換・量子化部
３０３ エントロピー符号化部
３０４ 逆量子化・逆変換部
３０５ 合成部
３０６ イントラ予測部
３０７ ループフィルタ
３０８ フレームメモリ
３０９ 動き補償予測部
３１０ 切換え器

Claims (10)

1. ブロック化された画像の画面内予測を行い、予測画像を生成する予測画像生成部を備えた、符号化装置において、
   前記予測画像生成部は、参照画素を元に生成した仮予測画像と、既に予測符号化されたブロックにおける予測残差信号又は事前に設定した固定的なパターン画像であるテンプレート画像とに基づいて、前記予測画像を生成することを特徴とする、符号化装置。
2. 請求項１に記載の符号化装置において、
   前記予測画像生成部は、テンプレート画像生成部と、テンプレート画像蓄積部と、テンプレート画像選択部と、前記仮予測画像と前記テンプレート画像を合成する画像合成部とを備え、
   前記仮予測画像と前記テンプレート画像とを合成した合成予測画像と、前記仮予測画像のいずれかを、前記予測画像として出力する選択部を備えており、前記予測画像として前記合成予測画像と前記仮予測画像のいずれを選択したかを示す、テンプレート使用フラグを出力することを特徴とする、符号化装置。
3. 請求項１または２に記載の符号化装置において、
   前記予測画像生成部は、テンプレート画像を複数有しており、選択したテンプレート画像を示す使用テンプレート番号を出力することを特徴とする、符号化装置。
4. 請求項１乃至３のいずれか一項に記載の符号化装置において、
   前記予測画像生成部は、前記仮予測画像と前記テンプレート画像を合成するにあたり、係数値を乗算してテンプレート画像を補正することを特徴とする、符号化装置。
5. ブロック化された画像の画面内予測を行い、予測画像を生成する予測画像生成部を備えた、復号装置において、
   前記予測画像生成部は、参照画素を元に生成した仮予測画像と、復号済みブロックにおける残差信号又は事前に設定した固定的なパターン画像であるテンプレート画像とに基づいて、前記予測画像を生成することを特徴とする、復号装置。
6. 請求項５に記載の復号装置において、
   前記予測画像生成部は、テンプレート画像生成部と、テンプレート画像蓄積部と、テンプレート画像選択部と、前記仮予測画像と前記テンプレート画像を合成する画像合成部とを備え、
   テンプレート使用フラグに基づいて、前記仮予測画像と前記テンプレート画像とを合成した合成予測画像と、前記仮予測画像のいずれを前記予測画像として出力するかを選択することを特徴とする、復号装置。
7. 請求項５または６に記載の復号装置において、
   前記予測画像生成部は、テンプレート画像を複数有しており、使用テンプレート番号に基づいて、テンプレート画像を選択することを特徴とする、復号装置。
8. 請求項５乃至７のいずれか一項に記載の復号装置において、
   前記予測画像生成部は、係数値フラグに基づいて選択された係数値を乗算してテンプレート画像を補正することを特徴とする、復号装置。
9. コンピュータを、請求項１乃至４のいずれか一項に記載の符号化装置として機能させるためのプログラム。
10. コンピュータを、請求項５乃至８のいずれか一項に記載の復号装置として機能させるためのプログラム。

Images