JP5063677B2 - 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 - Google Patents

Description

本発明は、映像を符号化する映像符号化方法およびその装置と、その映像符号化方法の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像符号化方法により符号化されたデータを復号する映像復号方法およびその装置と、その映像復号方法の実現に用いられる映像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年２月２３日に出願された特願２００７−０４３１９０号に基づき優先権を主張し、その内容をここに援用する。

同一の画面内で予測を実行する画面内予測符号化は、異なる画面間で予測を実行する画面間予測符号化ほど大きな圧縮効率を達成できないため、圧縮効率の高い画面内予測符号化方式が望まれている。

空間次元で同一の画面内から予測を行う画面内予測は、映像符号化標準Ｈ.264／ＭＰＥＧ-4 ＡＶＣから取り入れられている（例えば、非特許文献１のpp.106-113参照）。

画面内予測はブロック単位で行われ、Ｈ.264／ＭＰＥＧ-4 ＡＶＣでは、輝度信号に対して３種類のブロックサイズ（４×４，８×８，１６×１６）が利用可能となっている。また、各ブロックサイズではそれぞれ複数の予測モードが選択可能である。

具体的に説明するならば、４×４のブロックサイズについては非特許文献１の第１０８頁の図５−３に、８×８のブロックサイズについては非特許文献１の第２６１頁の図１１−６に記載されるように、９種類の予測モードが用意されている。ここで、予測モード２以外の８つの予測モードについては予測方向が存在する。また、１６×１６のブロックサイズについては、非特許文献１の第１１１頁の図５−８に記載されるように４種類の予測モードが用意されている。

一方、色差信号に対しては８×８のブロックサイズのみが利用可能であり、非特許文献１の第１１２頁の図５−９に記載されるように４種類の予測モードが用意されている。予測方向に関しては輝度信号に対する１６×１６ブロックの場合と同じであるが、予測モード番号と予測方向との対応付けが異なっている。

なお、これらの点については、下記の非特許文献２のpp.118-136にも詳しく説明されている。

これら各種ブロックサイズと予測モードにおいて、どの場合でも例外なく、画面内予測に用いる参照画素は、隣接するブロック上の符号化対象ブロックに最近傍の画素のみに限定されている。

図１８に、具体的な例として、符号化対象ブロックが輝度信号の４×４ブロックで、垂直予測（予測モード０）の場合を示す。なお、以下では、特に断らない限り、輝度信号を前提として説明を行うことにする。

図１８に示されるように、符号化対象ブロックの左上にあるブロックからＸ、上にあるブロックからＡ、Ｂ、Ｃ、Ｄ、右上にあるブロックからＥ、Ｆ、Ｇ、Ｈ、そして左にあるブロックからＩ、Ｊ、Ｋ、Ｌに示す画素の値が、画面内予測において使用可能である。

これらのうち、予測モード０の場合は、垂直方向の予測のため、Ａの値をａ，ｅ，ｉ，ｍに適用し、Ｂの値をｂ，ｆ，ｊ，ｎに適用し、Ｃの値をｃ，ｇ，ｋ，ｏに適用し、Ｄの値をｄ，ｈ，ｌ，ｐに適用する。

画面内予測において、ブロックの位置によっては、参照すべきブロックがない場合が存在する。その場合には１２８の値を代入するか、もしくは隣の画素の値を代入することで予測を可能としている。
例えば、画面の一番上の行に存在するブロックでは、ＸからＨまでの９画素は常に参照することができないため、１２８という値を用いる。また、左上と上のブロックは存在するが、右上が存在しない場合には、Ｄの有する値をＥ、Ｆ、Ｇ、Ｈに代入する。
大久保榮、角野眞也、菊池義浩、鈴木輝彦： "改訂版Ｈ.264／ＡＶＣ教科書", pp. 106-112, 259-262, 2006 ITU-T Study Group16-Question 6/16: "Draft new Corrigendum 1 to H.264 "Advanced video coding for generic audiovisual services"", pp. 118-136, 2005

従来の画面内予測では、予測に利用する参照画素は全て符号化対象ブロックに隣接する位置に存在するものに限定している。予測を行う際に、なるべく高い相関性を有する対象を利用すれば効果が上がるのは明らかなことであり、例えば、画面間予測では、一般に符号化対象フレームの直前のフレームを利用すれば効率が高い。

このことから、従来の画面内予測では、予測に利用する参照画素は全て符号化対象ブロックに隣接する位置に限定している。

しかしながら、画面間予測において、例外として、直前よりも前のフレームを参照した方が効率の高くなる場合がある。例えば、
・オクルージョン（例えば、カメラで見えていなかった部分）が発生し、直前フレームではうまく参照先が見つからない場合
・物体が周期運動していて、直前以外のフレームを参照した方のが予測誤差が小さくなる場合
などが挙げられる。

これと同様の概念が画面内予測にも考えられる。すなわち、一般的には、参照先の画素が符号化対象ブロックに最近傍の位置にあれば、空間相関性の観点から、相関性が最も高い（符号化対象ブロックに近ければ近いほど相関が高い）と考えられるため、予測誤差が小さくなると思われる。

しかしながら例外として、必ずしも符号化対象ブロックに近いほど予測誤差が小さくなるとは言い切れず、逆に大きくなる可能性がある。

例えば、
・オクルージョンや雑音が符号化対象ブロックの最近傍の位置に存在する場合
・縞模様などの周期的信号が表れる場合
・参照する画素は復号画像であるため、これから符号化が行われる符号化対象ブロックに接近するほど、重畳雑音が大きいので、符号化対象画素と参照画素との間の予測誤差が非常に大きい場合
などには逆に大きくなる可能性がある。

これから、このような場合にも従来技術に従っていると、画面内予測符号化を行うときに、予測誤差が大きくなって圧縮効率が上がらないという問題がある。

本発明はかかる事情に鑑みてなされたものであって、画面内予測の符号化の圧縮効率向上を実現する新たな映像符号化技術の提供を目的とする。

〔１〕本発明の映像符号化装置の構成
前述の目的を達成するために、本発明の映像符号化装置は、画面内予測を用いて映像を符号化するときにあって、（１）符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定する設定手段と、（２）設定手段の設定した参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成する生成手段と、（３）生成手段の生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出する算出手段と、（４）算出手段の算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定する決定手段と、（５）決定手段の決定した参照画素の位置を示す情報を符号化する符号化手段とを備えるように構成する。

この構成を採るときに、設定手段は、量子化の大きさを示すパラメータ（量子化ステップサイズや量子化パラメータ）の値に応じて、量子化が粗くなる場合には、画像全体がぼけることで離れた画素を参照画素として用いても予測精度を上げることが期待できないことを考慮して、参照画素候補の設定に用いる距離範囲を小さく設定し、一方、量子化が細かくなる場合には、画像全体がシャープになることで離れた画素を参照画素として用いても予測精度を上げることが期待できることを考慮して、参照画素候補の設定に用いる距離範囲を大きく設定するというように、量子化の大きさを示すパラメータの値に応じて参照画素候補の設定に用いる距離範囲を変化させることがある。
また、予測信号を生成する場合に、選択した参照画素に対し、複数の予測モードに対応した予測方法を順次適用して各々の場合の予測信号を生成し、生成した各予測信号を用いて各々の前記符号化コストを算出するとともに、参照画素を決定させた符号化コストの算出に用いられた予測信号の予測モードを符号化するようにしても良い。

ここで、以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕本発明の映像復号装置の構成
本発明の映像復号装置は、本発明の映像符号化装置の生成した符号化データを受けて、（１）符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得する獲得手段と、（２）獲得手段の獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得する取得手段と、（３）取得手段の取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成する生成手段とを備えるように構成する。

ここで、以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

本発明によれば、従来の画面内予測では対応できなかったオクルージョンや雑音を含む画像や空間周波数の類似する信号が周期的に発生する映像などに対して、効率的な画面内予測を実行することが可能となり、圧縮効率を向上させることができるようになる。

本発明による処理の一例を示す図である。 本発明による処理の一例を示す図である。 本発明の画面内予測符号化装置の一実施形態例である。 上記実施形態例に関する参照画素の説明図である。 上記実施形態例の画面内予測符号化装置の実行するフローチャートである。 上記実施形態例に関する参照画素の説明図である。 上記実施形態例で実行する画面内予測例の説明図である。 上記実施形態例で実行可能な画面内予測例の説明図である。 上記実施形態例の画面内予測符号化装置の実行可能なフローチャートである。 図９のフローチャートに従う場合の画面内予測の説明図である。 上記実施形態例の画面内予測符号化装置の実行可能なフローチャートである。 本発明の一実施形態例である画面内予測符号化データ復号装置の構成を示す図である。 上記実施形態例の画面内予測符号化データ復号装置の実行するフローチャートである。 本発明の有効性を検証するために行った実験結果の説明図である。 同様に、本発明の有効性を検証するために行った実験結果の説明図である。 同様に、本発明の有効性を検証するために行った実験結果の説明図である。 同様に、本発明の有効性を検証するために行った実験結果の説明図である。 従来技術の説明図である。

符号の説明

１ 画面内予測符号化装置
１０ コスト計算ループ部
１１ 参照元情報符号化部
１２ 画面内符号化部
１００ 参照画素候補設定部
１０１ 参照画素候補情報記憶部
１０２ 参照元情報選択部
１０３ モード選択部
１０４ 画面内予測部
１０５ コスト判定部
１０６ 最小コスト保持部
１０７ 最小コスト初期化部
１０８ ループ終了判定部

本発明の映像符号化装置では、符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定すると、参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成する。

例えば、符号化対象ブロックの上側に位置する１つの参照ラインを構成する画素の集合と、符号化対象ブロックの左側に位置する１つの参照ラインを構成する画素の集合と、その２つの参照ラインの交点に位置する画素とを参照画素として選択して、その選択した参照画素に基づいて予測信号を生成したり、その２つの参照ラインのいずれか一方を符号化対象ブロックの最近傍のラインに固定するとともに、他方のライン位置を可変とすることで参照画素を選択して、その選択した参照画素に基づいて予測信号を生成する。

そして、生成した各々の予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出して、それらの算出した符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定して、その決定した参照画素がどの位置にあるのかを示す情報を符号化する。

この本発明の映像符号化装置の生成する符号化データを受けて、このように構成される本発明の映像復号装置では、符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得して、その獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得する。そして、その取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成する。

このように、本発明では、符号化対象ブロックに隣接する最近傍の位置の画素以外にも、所定の距離の範囲にある既に符号化済みの画素であれば、それらを全て使用可能とすることで、より予測誤差の少ない画面内予測を実現する。

これから、図１に示すことから分かるように、符号化対象ブロックに隣接する最近傍の画素に雑音やオクルージョンが含まれている場合にも、本発明によれば、距離が離れている位置から予測誤差を低減し得る画素を利用することで、画面内予測の効率向上を期待できる。ここで、図１では、垂直予測の予測モードを想定していて、実線が従来技術による予測を示し、破線が本発明を適用した予測を示す。

また、図２に示すことから分かるように、画像信号の特徴として、黒画素のラインと白画素のラインとが交互に現れるような場合にも、本発明によれば、距離が離れている位置から予測誤差を低減し得る画素を利用することで、画面内予測の効率向上を期待できる。
ここで、図２では、垂直予測の予測モードを想定していて、実線が従来技術による予測を示し、破線が本発明を適用した予測を示す。

以上説明したように、従来の画面内予測では、参照できる位置が符号化対象ブロックの最近傍に限定されていたために、予測誤差が大きくなる可能性があっても、それを回避することができなかった。

これに対して、本発明では、参照できる位置の範囲を広げることで、より予測誤差を低減できる画素を選択することが可能になり、その結果として、効率的な画面内予測を実現できるようになる。

以下、具体的な実施の形態に従って本発明を詳細に説明する。

図３に、本発明の一実施形態例である画面内予測符号化装置１の構成を図示する。

本発明の画面内予測符号化装置１は、図４に示すように、符号化対象ブロックの上側に存在する符号化済みの画素の行の集合を refline＿ｘ（０≦ refline＿ｘ＜ｍ）と定義するとともに、符号化対象ブロックの左側に存在する画素の列の集合を refline＿ｙ（０≦ refline＿ｙ＜ｎ）と定義して、この中から参照画素を取得して画面内予測を行うことで、従来技術であれば refline＿ｘ＝ refline＿ｙ＝０に限定されていた状態から、より離れた位置にある画素を参照画像として画面内予測を行うことができるように処理するものである。

本発明の画面内予測符号化装置１は、この画面内予測を実現するために、 refline＿ｘおよび refline＿ｙのとり得る各値について、その値に従って定義される参照画素に基づいて画面内予測を行ってレート歪みコストを算出することを繰り返し行うことで、最小となるレート歪みコストを実現する参照画素を提供する refline＿ｘおよび refline＿ｙの値を決定するコスト計算ループ部１０と、コスト計算ループ部１０の決定した refline＿ｘおよび refline＿ｙの値を符号化する参照元情報符号化部１１と、コスト計算ループ部１０の決定した refline＿ｘおよび refline＿ｙの値を用いて予測信号を生成し、画面内符号化を行う画面内符号化部１２とを備える。

そして、コスト計算ループ部１０は、この処理を行うために、 refline＿ｘおよび refline＿ｙのとり得る値の範囲を設定する参照画素候補設定部１００と、参照画素候補設定部１００の設定した情報を記憶する参照画素候補情報記憶部１０１と、参照画素候補情報記憶部１０１の記憶する情報に基づいて、 refline＿ｘおよび refline＿ｙの値を参照元情報として選択する参照元情報選択部１０２と、画面内符号化の予測モードを選択するモード選択部１０３と、参照元情報選択部１０２の選択した参照元情報から定められる参照信号を用いて、モード選択部１０３の選択した予測モードの予測信号を生成する画面内予測部１０４と、画面内予測部１０４の生成した予測信号に基づいてレート歪みコストを算出して、最小コスト保持部１０６に保持されるこれまでに算出したレート歪みコストの最小値（最小コスト保持部１０６はその最小値を実現した参照元情報についても保持する）と比較し、今回算出した方が小さいときには、最小コスト保持部１０６に保持されるレート歪みコストの最小値を更新するコスト判定部１０５と、処理開始時に最小コスト保持部１０６に対して大きな値を示す初期値を設定する最小コスト初期化部１０７と、参照元情報と予測モードのループが終了したのか否かを判断して、終了していない場合には、参照元情報選択部１０２に対してループ処理の続行を指示し、終了した場合には、最小コスト保持１０６に保持されるレート歪みコストの最小値を実現した参照元情報を参照元情報符号化部１１に渡すループ終了判定部１０８とを備える。

図５に、このように構成される本実施形態の画面内予測符号化装置１の実行するフローチャートの一例を図示する。

次に、このフローチャートに従って、画面内予測符号化装置１の実行する画面内予測符号化処理について詳細に説明する。

本実施形態の画面内予測符号化装置１は、図５のフローチャートの実行に先立って、図４に示すように、符号化対象ブロックの上に存在する符号化済みの画素の行の集合を refline＿ｘ（０≦ refline＿ｘ＜ｍ）と定義するとともに、左に存在する画素の列の集合を refline＿ｙ（０≦ refline＿ｙ＜ｎ）と定義する。ここで、それぞれ符号化対象ブロックに近い順に０，１，２・・・と番号付けする。

図４では、４×４ブロックを具体例にして、 refline＿ｘおよび refline＿ｙの定義例を示しており、ｍ＝ｎ＝４としている。

ここで、ｍ＝ｎ＝４に限るものではなく、また、ｍ＝ｎである必要もない。ｍとｎの数を多くとれば、それだけ予測に用いる候補点が増加するので、予測誤差の低減（すなわち、符号化効率の向上）に結びつく。ただし、離れすぎると、逆に空間相関性が低くなるため、極端に大きな数字を用いるべきではない。また、 reflineの情報は符号化するため、この本数が増加すれば、参照元情報（参照画素が符号化対象ブロックからどれ位離れているのかを示す情報）のデータ量が増えることもある。
これらｍ、ｎの値については、後述する量子化パラメータなどの、量子化の大きさを示すパラメータの値に応じて設定するようにしても良い。

本実施形態の画面内予測符号化装置１は、 refline＿ｘおよび refline＿ｙの定義を行った後、図５のフローチャートに従って、画面内予測符号化処理を実行する場合には、まず最初に、ステップＳ１０１で、レート歪みコストＪの最小値を格納する変数Ｊ_min に対して、十分大きな値であるＭＡＸcostを代入することで初期化する。

ここで、レート歪みコストＪとしては、例えば、
Ｊ＝ＳＳＤ＋λ×Ｒ
ＳＳＤ：予測誤差の絶対値の２乗和
λ：ラグランジュ定数
Ｒ：符号化対象ブロックを、設定された予測モードで符号化した場合の発生情報量
を用いる。

この発生情報量Ｒについて説明するならば、映像符号化は、基本的には、予測、変換、量子化、エントロピー符号化という流れで処理を行う。
発生情報量Ｒは実際に符号化したときの符号量を示すので、今回の場合、本発明による予測手法で予測画像を生成して、原画像との差分を取り、その残差信号を整数精度ＤＣＴ変換を用いて直交変換を施し、量子化を行い、その量子化した信号にエントロピー符号化を施して０と１のデータにする。このときの０と１の個数が発生情報量Ｒに相当する。

続いて、ステップＳ１０２で、 refline＿ｙの位置を指定するループ１を開始し、初期値として、 refline＿ｙ＝０を代入する。

続いて、ステップＳ１０３で、 refline＿ｘの位置を指定するループ２を開始し、初期値として、 refline＿ｘ＝０を代入する。

続いて、ステップＳ１０４で、 refline＿ｘ、 refline＿ｙから一意に定まる参照画素を取得する。

図４の定義例で説明するならば、 refline＿ｘ、 refline＿ｙから一意に定まるＸからＬまでの参照画素（Ｘ, Ａ〜Ｈ, Ｉ〜Ｌ）を取得するのである。例えば、 refline＿ｘ＝０、 refline＿ｙ＝０の場合には、Ｘ＝Ｘ₀₀, Ａ＝Ａ₀,Ｂ＝Ｂ₀,・・・・ ,Ｈ＝Ｈ₀,Ｉ＝Ｉ₀,Ｊ＝Ｊ₀,Ｋ＝Ｋ₀,Ｌ＝Ｌ₀ を取得する。
ここで、 refline＿ｘ＝０、 refline＿ｙ＝０以外の場合におけるＸは、 refline＿ｘと refline＿ｙとの交点に相当する位置の画素を参照する。例えば、図６に示す例で説明するならば、 refline＿ｘ＝２、 refline＿ｙ＝１であることから、Ｘ＝Ｘ₁₂とするのである（Ｘ₀₂、Ｘ₁₁、Ｘ₁₀、Ｘ₁₃、Ｘ₂₂、Ｘ₃₂は参照されない）。

続いて、ステップＳ１０５で、符号化対象ブロックが取る予測モードを指定するループ３を開始する。符号化対象ブロックは画像内に存在する位置において取り得る予測モードが異なってくるため、ここではψを符号化対象ブロックが取り得る全ての予測モードの集合と定義する。
初期値として、予測モード番号を格納する変数modeに対してｉ（ｉは取り得る予測モードで最も予測モード番号が小さい数値）を代入する。

続いて、ステップＳ１０６で、取得した参照画素とループ３で選択した予測モードとから予測信号を生成する。なお、予測信号の生成には従来の生成方法を用いる。

例えば、図６に示す例で説明するならば、 refline＿ｘ＝２、 refline＿ｙ＝１に従って参照画素を取得しているときに、ループ３で予測モード０を選択した場合には、図７に示すように、Ａ₂,Ｂ₂,Ｃ₂,Ｄ₂ を使って垂直予測を行うことで符号化対象ブロックの予測信号を生成するのである。

続いて、ステップＳ１０７で、生成した予測信号からmode＝ｉのレート歪みコストＪ_i を求める。レート歪みコストの計算は前述した従来の計算方法を用いる。

続いて、ステップＳ１０８で、
Ｊ_i ＜Ｊ_min
であるのか否かを判断することで、レート歪みコストＪ_i がこれまでに得られたものの中で最小かどうかの判定を行う。

このステップＳ１０８の判定処理に従って、「Ｊ_i ＜Ｊ_min 」という判定結果が得られた場合には、ステップＳ１０９に進んで、その際の予測モードｉに従って変数best＿modeの値を更新し、その際の refline＿ｘに従って変数best＿refline＿xの値を更新し、その際の refline＿ｙに従って変数best＿refline＿yの値を更新し、さらに、その際のＪ_i に従って変数Ｊ_min の値を更新する。

一方、ステップＳ１０８の判定処理に従って、「Ｊ_i ＜Ｊ_min 」という判定結果が得られなかった場合には、ステップＳ１０９の処理を省略する。

以上のコスト計算処理を、ループ３で、取り得る全ての予測モードについて繰り返す。そして、このループ３が終わったら、 refline＿ｘの値を１ずつ増やし、 refline＿ｘ＜ｍの範囲内でループ２を繰り返す。そして、このループ２が終わったら、 refline＿ｙの値を１ずつ増やし、 refline＿ｙ＜ｎの範囲内でループ１を繰り返す。

この３種類のループ構造を実行することで、最小のレート歪みコストを実現するbest＿mode、best＿refline＿x、best＿refline＿yが得られることになる。

これから、続いて、ステップＳ１１０で、参照元情報となるbest＿refline＿xおよびbest＿refline＿yを符号化するとともに、best＿modeを符号化する。この符号化手法については算術符号化などの一般に用いられる方法を利用する。また、この符号化した情報についてはヘッダなどに挿入する。

続いて、ステップＳ１１１で、得られたbest＿mode、best＿refline＿x、best＿refline＿yから予測信号を生成し、符号化対象ブロックを符号化する。

このようにして、本実施形態の画面内予測符号化装置１では、画面内予測を行うときに、従来技術であれば refline＿ｘ＝ refline＿ｙ＝０に限定されていた状態から、より離れた位置にある画素の参照が可能となる。

これから、本実施形態の画面内予測符号化装置１によれば、従来の画面内予測では対応できなかったオクルージョンや雑音を含む画像や空間周波数の類似する信号が周期的に発生する画像などに対して、効率的な画面内予測を実行することが可能となることで圧縮効率を向上することができるようになる。

以上の説明では、４×４ブロックに対しての適用を具体例にして説明を行ったが、本発明は４×４ブロック以外のブロックに対してもそのまま適用できるものである。例えば、図８に示すように、８×８ブロックに対してもそのまま適用できる。また、輝度信号だけでなく、色差信号に対してもそのまま適用できるものである。

図９に、本実施形態の画面内予測符号化装置１の実行するフローチャートの他の一例を図示する。

このフローチャートを実行する場合には、本実施形態の画面内予測符号化装置１は、 refline＿ｙの位置については固定にするという点が図５のフローチャートと異なっている。

すなわち、画面内予測符号化装置１は、図９のフローチャートに従って、画面内予測符号化処理を実行する場合には、まず最初に、ステップＳ２０１で、レート歪みコストＪの最小値を格納する変数Ｊ_min に対して、十分大きな値であるＭＡＸcostを代入することで初期化し、続くステップＳ２０２で、 refline＿ｙの値として固定の値を設定する。

続いて、ステップＳ２０３で、 refline＿ｘの位置を指定するループ１を開始し、初期値として、 refline＿ｘ＝０を代入する。続いて、ステップＳ２０４で、 refline＿ｘ、 refline＿ｙから一意に定まる参照画素を取得する。

続いて、ステップＳ２０５で、符号化対象ブロックが取る予測モードを指定するループ２を開始し、初期値として、予測モード番号を格納する変数modeに対してｉ（ｉは取り得る予測モードで最も予測モード番号が小さい数値）を代入する。

続いて、ステップＳ２０６で、取得した参照画素とループ２で選択した予測モードとから予測信号を生成する。
続いて、ステップＳ２０７で、生成した予測信号からmode＝ｉのレート歪みコストＪ_i を求める。続いて、ステップＳ２０８で、「Ｊ_i ＜Ｊ_min 」であるのか否かを判断することで、レート歪みコストＪ_i がこれまでに得られたものの中で最小かどうかの判定を行う。

このステップＳ２０８の判定処理に従って、「Ｊ_i ＜Ｊ_min 」という判定結果が得られた場合には、ステップＳ２０９に進んで、その際の予測モードｉに従って変数best＿modeの値を更新し、その際の refline＿ｘに従って変数best＿refline＿xの値を更新し、さらに、その際のＪ_i に従って変数Ｊ_min の値を更新する。
一方、ステップＳ２０８の判定処理に従って、「Ｊ_i ＜Ｊ_min 」という判定結果が得られなかった場合には、ステップＳ２０９の処理を省略する。

以上のコスト計算処理を、ループ２で、取り得る全ての予測モードについて繰り返す。そして、このループ２が終わったら、 refline＿ｘの値を１ずつ増やし、 refline＿ｘ＜ｍの範囲内でループ１を繰り返す。

この２種類のループ構造を実行することで、最小のレート歪みコストを実現するbest＿mode、best＿refline＿xが得られることになる。

これから、続いて、ステップＳ２１０で、参照元情報となるbest＿refline＿xおよびrefline＿yを符号化するとともに、best＿modeを符号化する。
続いて、ステップＳ２１１で、得られたbest＿mode、best＿refline＿xと、固定値に設定したrefline＿yとから予測信号を生成し、符号化対象ブロックを符号化する。

このようにして、本実施形態の画面内予測符号化装置１は、図９のフローチャートに従って画面内予測符号化処理を実行する場合には、 refline＿ｙの値を固定にして、 refline＿ｘの参照ラインを動かすことにより、例えば、図１０に示すような形で画面内予測を行うように処理するのである。

図９のフローチャートでは、 refline＿ｙの値を固定にするようにしたが、 refline＿ｘの値を固定にするようにしてもよい。この場合には、図１１のフローチャートに従って画面内予測符号化処理を実行することになる。

図９や図１１のフローチャートに従って画面内予測符号化処理を実行するようにすると、レート歪みコストＪ_i を計算するループ数が減ることから、高速な処理が望まれる場合に有効なものとなる。

次に、本実施形態の画面内予測符号化装置１により生成された符号化データを復号する画面内予測符号化データ復号装置について説明する。

図１２に、本実施形態の画面内予測符号化装置１により生成された符号化データを復号する本発明一実施形態例としての画面内予測符号化データ復号装置２の構成を図示する。

本実施形態の画面内予測符号化データ復号装置２は、画面内予測符号化装置１により生成された符号化データを復号する処理を行うために、入力した参照元情報および予測モード（best＿mode）の符号化データを復号する復号部２０と、復号した参照元情報および予測モードに基づいて予測信号を復元する予測信号復元部２１と、入力した符号化データを復号することで残差信号を復号する残差信号復号部２２と、予測信号復元部２１の復元した予測信号と残差信号復号部２２の復号した残差信号とに基づいて復号画像を生成する復号画像生成部２３とを備える。

図１３に、このように構成される本実施形態の画面内予測符号化データ復号装置２の実行するフローチャートの一例を図示する。

次に、このフローチャートに従って、画面内予測符号化データ復号装置２の実行する画面内予測符号化データの復号処理について詳細に説明する。

本実施形態の画面内予測符号化データ復号装置２は、図５のフローチャートに従って画面内予測符号化装置１により生成された符号化データを復号する場合には、図１３のフローチャートに示すように、先ず最初に、ステップＳ４０１で、入力したbest＿refline＿xおよびbest＿refline＿yの符号化データを復号するとともに、入力したbest＿modeの符号化データを復号する。

続いて、ステップＳ４０２で、復号したbest＿refline＿xおよびbest＿refline＿yの値に基づいて参照画素を取得する。

続いて、ステップＳ４０３で、取得した参照画素から、復号したbest＿modeに従って予測信号を復元する。

続いて、ステップＳ４０４で、入力した符号化データから逆量子化、逆変換を行って残差信号を復号する。

続いて、ステップＳ４０５で、復元した予測信号と復号した残差信号とを足し合わせ、クリッピング処理を経て復号画像信号を生成する。

このようにして、本実施形態の画面内予測符号化データ復号装置２は、画面内予測符号化装置１により生成された符号化データを復号する処理を行うのである。

次に、本発明の有効性を検証するために行った実験結果について説明する。

図１４において、例えば図１０のように refline＿ｘ、 refline＿ｙの片方を最近傍に固定して１つの画像を符号化した場合に、固定されなかった側のrefline＿ｘもしくは refline＿ｙがどれだけ選択されたのかについて、その選択確率分布を求めた実験結果を図示する。
ここで、画面サイズがＣＩＦサイズ（３５２×２８８）の画像（ＩＳＯ、ＩＴＵ−Ｔなどの標準化で用いられる標準画像の１つであるBusの画像）を使い、量子化パラメータＱＰ（量子化幅、すなわち量子化の粗さを示すパラメータ）を２８とし、１５枚のフレームについて実験を行った。

この実験では、１つの４×４ブロックにつき、選択される refline＿ｘと refline＿ｙの組み合わせを１つの事象とみなし、その個数を取得して、各組み合わせについて確率を算出している。括弧内の数値が確率を示す。１≦ refline＿ｘで、かつ、１≦ refline＿ｙの部分については処理を行わないため、非適用（Ｎ／Ａ：Not Applicable) とした。

この実験結果から、約６０％が従来の位置ｐ０（すなわち、 refline＿ｘ＝
refline＿ｙ＝０）を参照しているが、残りの約４０％はそれ以外の位置を参照していたことが明らかとなった。

すなわち、かなり大きな割合で、 refline＿ｘ＝ refline＿ｙ＝０以外の参照画素を用いた方がよいということが検証できた。

図１５および図１６に、量子化パラメータＱＰの値を変化させた場合に、図１４に示す選択確率がどのように推移するのかについて求めた実験結果を図示する。ただし、画像については、図１４の実験で用いた画像とは別の画像（上記標準画像の１つであるMobileの画像）を用いた。

図１５では、ｐ_０（ refline＿ｘ＝ refline＿ｙ＝０）についての選択確率の推移を示し、図１６では、ｐ_１（ refline＿ｘ＝１,refline＿ｙ＝０）と、ｐ_２（ refline＿ｘ＝０,refline＿ｙ＝１）と、ｐ_３（ refline＿ｘ＝２,refline＿ｙ＝０）と、ｐ_４（ refline＿ｘ＝０,refline＿ｙ＝２）と、ｐ_５（ refline＿ｘ＝３,refline＿ｙ＝０）と、ｐ_６（ refline＿ｘ＝０,refline＿ｙ＝３）についての選択確率の推移を示す。

この実験結果から、量子化パラメータＱＰの値が増加するとｐ０の参照確率が増加し、これに合わせて、ｐ１〜ｐ６の参照確率が減少することが明らかとなった。

これは、量子化パラメータＱＰの値が増加すると符号化結果の画像が粗くなりぼやけた感じとなるので、より離れた位置にある画素を参照画像として画面内予測を行っても、その効果が得られないことに、その理由があるものと考えられる。

この実験結果から、量子化パラメータＱＰの値が８から３６の範囲にある場合には、概ね４０から６０％近くがｐ０以外を参照しているという事実が確認できた。これから、参照元情報の符号量を考慮しない場合には、確実にレート歪み特性が向上することを検証できた。

本発明では、参照元情報を符号化する必要がある。これから、その分の符号量の増加を見込んで、従来手法と本発明との符号化性能を比較する必要がある。

図１７に、この点について行った実験結果を図示する。ここで、図中、横軸は発生符号量を示し、縦軸は画質を示す。また、図中に示すＪＭのカーブが従来手法の実験結果を示し、Ｐroposedのカーブが参照元情報の符号量を加味しない場合の本発明を適用した実験結果を示し、Ｐroposed＋ＯＨのカーブが参照元情報の符号量を加味した場合の本発明を適用した実験結果を示す。

この実験は、ＣＩＦサイズの３種類の画像（それぞれ上記標準画像であるBusの画像、Mobileの画像、Footballの画像）を使い、量子化パラメータＱＰの値を８から３６まで４つ刻みで変化させ、各画像について１５枚のフレームについて行い、各画像に対する結果を求めた。
なお、ここで求めた参照元情報の符号量については、図１５および図１６のように各符号化対象画像の選択確率分布から０次エントロピーをフレーム単位で測定して算出している。

図１７の横軸は発生符号量を示し、縦軸は画質を示している。これから、左上角に向かうことほど好ましい状態を示している。

この実験結果からわかるように、参照元情報の符号化量を加味しない場合の本発明は常に従来手法よりも性能が良い。ただし、参照元情報の符号化量を加味した場合の本発明は、従来手法よりも劣化する場合と向上する場合がある。
符号化全体の情報量が増加する場合（すなわち、高ビットレート条件下）だと、本発明の効果が大きくなる。これは、参照元情報の符号量が占める割合が相対的に小さくなるためと考えられる。

以上の実験結果より、従来手法に比べて、本発明は高ビットレート条件下で、レート歪み特性の改善が得られることを検証できた。
なお、上記の標準画像は、http://media.xiph.org/video/derf/やhttp://trace.eas.asu.edu/yuv/index.htmlなどで入手可能である。

本発明によれば、従来の画面内予測では対応できなかったオクルージョンや雑音を含む画像や空間周波数の類似する信号が周期的に発生する映像などに対して、効率的な画面内予測を実行することが可能となり、圧縮効率を向上させることができるようになる。

Claims (17)

1. 画面内予測を用いる映像符号化方法であって、
   符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定するステップと、
   前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成するステップと、
   前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出するステップと、
   前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定するステップと、
   前記決定した参照画素の位置を示す情報を符号化するステップとを備え、
   前記参照画素候補を設定するステップでは、量子化の大きさを示すパラメータの値に応じて前記参照画素候補の設定に用いる前記距離範囲を変化させることを、
   特徴とする映像符号化方法。
2. 画面内予測を用いる映像符号化方法であって、
   符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定するステップと、
   前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成するステップと、
   前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出するステップと、
   前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定するステップと、
   前記決定した参照画素の位置を示す情報を符号化するステップとを備え、
   前記予測信号を生成するステップでは、符号化対象ブロックの上側に位置する１つの参照ラインを構成する画素の集合と、符号化対象ブロックの左側に位置する１つの参照ラインを構成する画素の集合と、その２つの参照ラインの交点に位置する画素とを参照画素として選択して、その選択した参照画素に基づいて予測信号を生成することを、
   特徴とする映像符号化方法。
3. 請求項２に記載の映像符号化方法において、
   前記予測信号を生成するステップでは、前記参照ラインのいずれか一方を符号化対象ブロックの最近傍のラインに固定するとともに、他方のライン位置を可変とすることで参照画素を選択して、その選択した参照画素に基づいて予測信号を生成することを、
   特徴とする映像符号化方法。
4. 画面内予測を用いる映像符号化方法であって、
   符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定するステップと、
   前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成するステップと、
   前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出するステップと、
   前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定するステップと、
   前記決定した参照画素の位置を示す情報を符号化するステップとを備え、
   前記予測信号を生成するステップでは、選択した参照画素に対し、複数の予測モードに対応した予測方法を順次適用して各々の場合の予測信号を生成し、
   前記符号化コストを算出するステップでは、前記生成した各予測信号を用いて各々の前記符号化コストを算出し、
   参照画素を決定させた符号化コストの算出に用いられた予測信号の予測モードを符号化するステップを更に備えることを、
   特徴とする映像符号化方法。
5. 画面内予測を用いる映像復号方法であって、
   符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得するステップと、
   前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得するステップと、
   前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成するステップとを備え、
   前記参照画素は、前記符号化対象ブロックから量子化の大きさを示すパラメータの値に応じて設定された距離範囲内にある画素のうち、符号化コストに基づいて決定された画素であることを、
   特徴とする映像復号方法。
6. 画面内予測を用いる映像符号化装置であって、
   符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定する設定手段と、
   前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成する手段と、
   前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出する手段と、
   前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定する手段と、
   前記決定した参照画素の位置を示す情報を符号化する手段とを備え、
   前記設定手段は、量子化の大きさを示すパラメータの値に応じて前記参照画素候補の設定に用いる前記距離範囲を変化させることを、
   特徴とする映像符号化装置。
7. 画面内予測を用いる映像復号装置であって、
   符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得する手段と、
   前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得する手段と、
   前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成する手段とを備え、
   前記参照画素は、前記符号化対象ブロックから量子化の大きさを示すパラメータの値に応じて設定された距離範囲内にある画素のうち、符号化コストに基づいて決定された画素であることを、
   特徴とする映像復号装置。
8. 画面内予測を用いる映像復号方法であって、
   符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得するステップと、
   前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得するステップと、
   前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成するステップとを備え、
   前記予測信号は、符号化対象ブロックの上側に位置する１つの参照ラインを構成する画素の集合と、符号化対象ブロックの左側に位置する１つの参照ラインを構成する画素の集合と、その２つの参照ラインの交点に位置する画素とを参照画素として選択して、その選択した参照画素に基づいて生成された信号であることを、
   特徴とする映像復号方法。
9. 画面内予測を用いる映像符号化装置であって、
   符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定する手段と、
   前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成する手段と、
   前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出する手段と、
   前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定する手段と、
   前記決定した参照画素の位置を示す情報を符号化する手段とを備え、
   前記予測信号を生成する手段は、符号化対象ブロックの上側に位置する１つの参照ラインを構成する画素の集合と、符号化対象ブロックの左側に位置する１つの参照ラインを構成する画素の集合と、その２つの参照ラインの交点に位置する画素とを参照画素として選択して、その選択した参照画素に基づいて予測信号を生成することを、
   特徴とする映像符号化装置。
10. 画面内予測を用いる映像復号装置であって、
    符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得する手段と、
    前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得する手段と、
    前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成する手段とを備え、
    前記予測信号は、符号化対象ブロックの上側に位置する１つの参照ラインを構成する画素の集合と、符号化対象ブロックの左側に位置する１つの参照ラインを構成する画素の集合と、その２つの参照ラインの交点に位置する画素とを参照画素として選択して、その選択した参照画素に基づいて生成された信号であることを、
    特徴とする映像復号装置。
11. 画面内予測を用いる映像復号方法であって、
    符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得するステップと、
    前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得するステップと、
    前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成するステップとを備え、
    前記符号化において、
    選択した参照画素に対し、複数の予測モードに対応した予測方法を順次適用して各々の場合の予測信号を生成し、前記生成した各予測信号を用いて各々の前記符号化コストを算出し、参照画素を決定させた符号化コストの算出に用いられた予測信号の予測モードが符号化されていることを、
    特徴とする映像復号方法。
12. 画面内予測を用いる映像符号化装置であって、
    符号化対象ブロックから所定の距離範囲内にある画素を参照画素の候補として設定する手段と、
    前記参照画素候補の中から符号化対象ブロックの画面内予測に用いる参照画素を符号化対象ブロックからの距離条件を変更しながら順次選択して、その選択した参照画素に基づいて予測信号を生成する手段と、
    前記生成した予測信号を用いて符号化対象ブロックを画面内予測符号化するときの符号化コストを算出する手段と、
    前記算出した各符号化コストに基づいて、符号化対象ブロックの画面内予測に用いる参照画素を最終的に決定する手段と、
    前記決定した参照画素の位置を示す情報を符号化する手段とを備え、
    前記予測信号を生成する手段は、選択した参照画素に対し、複数の予測モードに対応した予測方法を順次適用して各々の場合の予測信号を生成し、
    前記符号化コストを算出する手段は、前記生成した各予測信号を用いて各々の前記符号化コストを算出し、
    参照画素を決定させた符号化コストの算出に用いられた予測信号の予測モードを符号化する手段を更に備えることを、
    特徴とする映像符号化装置。
13. 画面内予測を用いる映像復号装置であって、
    符号化対象ブロックからどの位離れた位置にある参照画素を用いて符号化が行われたのかを示す参照元情報の符号化データを復号することで、その参照元情報を獲得する手段と、
    前記獲得した参照元情報に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた参照画素を取得する手段と、
    前記取得した参照画素に基づいて、符号化対象ブロックの画面内予測の符号化に用いられた予測信号を復元して、それを用いて復号画像信号を生成する手段とを備え、
    前記符号化において、
    選択した参照画素に対し、複数の予測モードに対応した予測方法を順次適用して各々の場合の予測信号を生成し、前記生成した各予測信号を用いて各々の前記符号化コストを算出し、参照画素を決定させた符号化コストの算出に用いられた予測信号の予測モードが符号化されていることを、
    特徴とする映像復号装置。
14. 請求項１〜４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
15. 請求項１〜４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 請求項５、８、１１のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
17. 請求項５、８、１１のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images