JP6865870B2 - 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 - Google Patents

Description

本発明は、動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体に関する。

イントラ予測またはインター予測と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。

イントラ予測を用いることにより、画像の空間的な冗長性を減少させることができる。イントラ予測の基本的なメカニズムは以下の通りである。まず、予測ブロック（の上および左）に隣接する参照ラインを生成し、予測ブロック中の原サンプルを選択された予測方向に沿って参照ラインに投影する。その後、参照ラインのサンプルとそこに投影された原サンプルとの差分（残差、誤差）は変換、量子化される。

したがって、参照ラインはイントラ予測の確度を決める重要な要素のひとつである。例えば非特許文献２では、複数の参照サンプルラインからコスト評価に基づきひとつの参照サンプルラインを選択する技術を提案している。

ITU-T H.265 High Efficiency Video Coding. J. Li, B. Li, J. Xu, R. Xiong, and G.-J. Sullivan, "Multiple line-based intra prediction," JVET-C0071, May 2016. Liang Zhao, Li Zhang, et al. "Fast Mode Decision Algorithm for Intra Prediction in HEVC", ResearchGate, November 2011. Siwei Ma, Shiqi Wang, Shanshe Wang, Liang Zhao, Qin Yu, Wen Gao, "Low Complexity Rate Distortion Optimization for HEVC", 2013 Data Compression Conference.

しかしながら、非特許文献２に記載の技術では、複数の参照サンプルラインのそれぞれについてコスト評価を行わなければならないので、符号化側の処理の負荷は参照サンプルラインの数に比例して増大する。また、複数の参照サンプルラインからひとつを選択するという方式では自由度が低く、適切な参照サンプルラインが見つからない可能性がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、イントラ予測の確度を高めつつ、それによる処理の負荷の増大を抑えることができる技術の提供にある。

本発明のある態様は、動画像復号装置に関する。この動画像復号装置は、イントラ予測を用いて符号化されたブロックを含む動画像を表すビットストリームを復号する復号手段と、復号の結果得られるブロックのレベル値を逆量子化および逆変換してブロックの画素の差分値を生成する逆処理手段と、ブロックの周りの再構成済みブロックの画素値に基づくイントラ予測によりブロックの画素の予測値を生成するイントラ予測手段と、生成された差分値および生成された予測値に基づいてブロックを再構成する再構成手段と、を備える。イントラ予測手段は、ブロックの周りの再構成済みブロックの複数のラインを合成することにより、イントラ予測で用いられる参照ラインを生成する。

本発明の別の態様は、動画像符号化装置である。この動画像符号化装置は、動画像のブロックの周りの符号化済みブロックの画素値に基づくイントラ予測によりブロックの画素の予測値を生成するイントラ予測手段と、生成された予測値に基づいてブロックの画素の差分値を生成する差分生成手段と、生成された差分値を変換および量子化し、レベル値を生成する処理手段と、生成されたレベル値を符号化してビットストリームを生成する符号化手段と、を備える。イントラ予測手段は、ブロックの周りの符号化済みブロックの複数のラインを合成することにより、イントラ予測で用いられる参照ラインを生成する。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、イントラ予測の確度を高めつつ、それによる処理の負荷の増大を抑えることができる。

第１の実施の形態に係る配信システムの構成を示す模式図である。 図１の動画像符号化装置の機能および構成を示すブロック図である。 処理対象ブロックおよびその周りの複数の符号化済みブロックを示す模式図である。 図２のイントラ予測部における一連の処理の流れを示すフローチャートである。 図１の動画像復号装置の機能および構成を示すブロック図である。 図５に示される動画像復号装置のイントラ予測部における一連の処理の流れを示すフローチャートである。 第２の実施の形態に係るイントラ予測部の機能および構成を示すブロック図である。 図７のチェック結果保持部の一例を示すデータ構造図である。 図７のイントラ予測部における一連の処理の流れを示すフローチャートである。 ラインのオフセットを説明するための模式図である。 図１１（ａ）、（ｂ）は、オフセット値が整数の場合と小数の場合とを説明する模式図である。 第２の実施の形態に係る復号側のイントラ予測部における一連の処理の流れを示すフローチャートである。 適応的な線形結合の係数の決定を説明するための模式図である。 第３の実施の形態に係る符号化側のイントラ予測部における一連の処理の流れを示すフローチャートである。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、イントラ予測（intra-prediction、画面内予測）を採用する動画像符号化／復号（video encoding/decoding）において、符号化／復号対象のブロックの周りのブロックの複数のラインから新たな参照ラインを生成し、イントラ予測に使用する。したがって、より多くのラインの情報を反映させた参照ラインを用いることができるので、イントラ予測の確度を高めることができる。

また、符号化側で従来通りの最近接ラインを参照ラインとしたか、または新たな参照ラインを生成したかを示す識別子、例えば１ｂｉｔのフラグ（1-bit flag）が生成され、ビットストリーム（bitstream）に加えられる。したがって、本実施の形態を採用することによる符号量の増大は限定的である。さらに、符号化側でのコスト評価は、生成された参照ラインと最近接ラインとの間で行われるので、生成元の複数のラインのそれぞれについてコスト評価を行う場合と比べて、符号化側の処理の負荷を軽減できる。

（第１の実施の形態）
図１は、第１の実施の形態に係る配信システム１００の構成を示す模式図である。配信システム１００は、動画像を配信する動画像配信サービスにおいて使用されるシステムである。動画像配信サービスは例えばＶＯＤ（Video On Demand）であってもよい。配信システム１００はインターネットなどのネットワーク１０６を介して、ユーザサイトに設置されているセットトップボックスやパーソナルコンピュータなどの動画像復号装置１０２と接続される。動画像復号装置１０２は、テレビ受像機やモニタなどの表示装置１０４と接続される。動画像復号装置１０２および表示装置１０４は合わせてスマートフォンなどの携帯端末を構成してもよい。

なお、動画像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

配信システム１００は、ネットワーク１０６を介してユーザから観たい動画コンテンツの指定を受ける。配信システム１００は、指定された動画コンテンツのデータを符号化してビットストリームＢＳを生成する。配信システム１００は、生成されたビットストリームＢＳをネットワーク１０６を介して要求元のユーザの動画像復号装置１０２に送信する。動画像復号装置１０２は受信したビットストリームＢＳを復号して動画像データを生成し、表示装置１０４に送信する。表示装置１０４は、受信した動画像データを処理し、指定された動画コンテンツを出力する。

配信システム１００は、動画像ＤＢ（データベース）１０８と、動画像符号化装置１１０と、を備える。動画像ＤＢ１０８は、動画像のデータを保持する。動画像符号化装置１１０は、指定された動画コンテンツに対応する動画像データを動画像ＤＢ１０８から取得し、取得された動画像データを符号化し、ビットストリームＢＳを生成する。

図２は、図１の動画像符号化装置１１０の機能および構成を示すブロック図である。本明細書のブロック図に示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置１１０を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像符号化装置１１０は、フレームバッファ２０２と、インループフィルタ２０４と、インター予測部２０６と、イントラ予測部２０８と、変換・量子化部２１０と、エントロピー符号化部２１２と、逆量子化・逆変換部２１４と、減算部２１８と、加算部２２０と、ブロック分割部２２２と、を備える。

ブロック分割部２２２は、動画像ＤＢ１０８からの動画像データ（video data）に含まれる符号化対象のピクチャ（picture）を複数のブロック（block）に分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。ブロック分割部２２２におけるピクチャのブロックへの分割はＨＥＶＣ（High Efficiency Video Coding、非特許文献１参照）におけるピクチャのブロックへの分割に準じる。ブロック分割部２２２は処理対象ブロックを減算部２１８とインター予測部２０６とイントラ予測部２０８とに出力する。

インター予測部２０６には、フレームバッファ２０２から処理対象ブロックに対応する参照ピクチャが入力される。インター予測部２０６は、入力された参照ピクチャに基づき、インター予測（inter-prediction、画面間予測）により処理対象ブロックの動き補償画像を出力する。

イントラ予測部２０８には、処理対象ブロックの周りの符号化済みブロック（既に符号化処理されたブロック）の画像データが加算部２２０から入力される。イントラ予測部２０８は、入力された符号化済みブロックの画素値に基づくイントラ予測により、処理対象ブロックの画素の予測値を生成し、出力する。ここで、画素値は輝度値および色差値のうちの少なくともひとつを含む。処理対象ブロックにインター予測を適用するか、イントラ予測を適用するかに応じて、インター予測部２０６の出力またはイントラ予測部２０８の出力のいずれか一方が減算部２１８に出力される。

減算部２１８は、処理対象ブロックの画素の実際の画素値と、インター予測またはイントラ予測で生成される対応する予測値と、の間で減算を行い、処理対象ブロックの画素の差分値（予測残差信号）を生成する。減算部２１８は、生成された差分値を変換・量子化部２１０に出力する。

変換・量子化部２１０は、減算部２１８から取得された処理対象ブロックの画素の差分値を変換（例えば、直交変換）および量子化し、レベル値を生成する。変換・量子化部２１０は、生成されたレベル値をエントロピー符号化部２１２および逆量子化・逆変換部２１４に出力する。

エントロピー符号化部２１２は、変換・量子化部２１０によって生成されたレベル値と、インター予測部２０６やイントラ予測部２０８から取得されるサイド情報と、をエントロピー符号化して、ビットストリームＢＳを生成する。

なお、サイド情報（side information）は、復号装置において使用される画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、イントラ予測において参照ラインを生成したか否かを示す参照フラグ、インター予測における動き情報、量子化パラメータ、ブロックサイズ等の関連情報を含む。イントラ予測を示す予測モードとして、ＨＥＶＣで規定される３５種類のイントラ予測モード（intra prediction mode）を採用する。３５種類のイントラ予測モードは、Ｐｌａｎａｒモード、ＤＣモードおよび３３種類の方向性モード（directional mode）からなる。３３種類の方向性モードはそれぞれ異なる予測方向（prediction direction）を有する。参照フラグは、「１」のとき参照ラインを生成したことを示し、「０」のとき参照ラインを生成していないことを示す。

逆量子化・逆変換部２１４は、変換・量子化部２１０における処理とは逆の処理を行って処理対象ブロックの画素の差分値を生成する。
加算部２２０は、逆量子化・逆変換部２１４が出力する差分値と、インター予測またはイントラ予測で生成される対応する予測値と、を加算して処理対象ブロックの画素の画素値を再構成する。加算部２２０は、再構成されたブロックを、イントラ予測部２０８とインループフィルタ２０４とに出力する。

インループフィルタ２０４は、処理対象のフレームに対応する局所復号画像を生成してフレームバッファ２０２に出力する。フレームバッファ２０２は、局所復号画像を保持する。この局所復号画像は、インター予測部２０６におけるインター予測に使用される。

イントラ予測部２０８についてより詳細に説明する。
イントラ予測部２０８は、処理対象ブロックの周りの符号化済みブロックの複数のラインを合成することにより、イントラ予測で用いられる参照ラインを生成する。ラインは、所定の方向に沿って並ぶ画素の列であり、１画素幅を有してもよいし、２画素以上の幅を有してもよい。ラインの長さは所定の方向に沿って並ぶ画素の数であってもよい。参照ラインは、イントラ予測において参照される画素すなわち参照画素の列である。生成される参照ラインは、基本的に生成の元となる複数のラインのいずれとも異なる新たなラインであるが、ラインの画素の画素値や合成の仕方によっては生成される参照ラインが複数のラインのいずれかと偶然同じになる可能性はある。

図３は、処理対象ブロック３０２およびその周りの複数の符号化済みブロック３０４、３０６、３０８、３１０、３１２を示す模式図である。ピクチャは左上のブロックから水平方向にジグザグに符号化されていく。したがって、処理対象ブロック３０２の周りには、処理対象ブロック３０２の上に接する第２符号化済みブロック３０６と、処理対象ブロック３０２の左に接する第５符号化済みブロック３１２と、第２符号化済みブロック３０６の左に接する第１符号化済みブロック３０４と、第２符号化済みブロック３０６の右に接する第３符号化済みブロック３０８と、第３符号化済みブロック３０８の右に接する第４符号化済みブロック３１０と、がある。

処理対象ブロック３０２の上の境界３０２ａおよび左の境界３０２ｂに接するラインを第１／最近接ライン３１４と称す。第１／最近接ライン３１４の処理対象ブロック３０２とは反対側に規定されるラインを順に第２ライン３１６、第３ライン３１８、第４ライン３２０、…と称す。図３に示される例では第１／最近接ライン３１４の水平部分は符号化済みブロックに含まれているが、垂直部分の一部は符号化済みブロックからはみ出している。このはみ出している部分３１４ａの画素の画素値は、はみ出す直前の画素の画素値を複製することにより構成される。他のライン３１６、３１８、３２０についても同様である。

図４は、図２のイントラ予測部２０８における一連の処理の流れを示すフローチャートである。イントラ予測部２０８は、ブロック分割部２２２から処理対象ブロックを取得する（Ｓ４０２）。イントラ予測部２０８は、取得された処理対象ブロックの周りに利用可能な符号化済みブロックがあるか否かを判定する（Ｓ４０４）。あると判定された場合（Ｓ４０４のＹ）、イントラ予測部２０８は利用可能な符号化済みブロックから複数、例えばＫ（Ｋは２以上の自然数）本のラインを選択する（Ｓ４０６）。図３の例では、第１／最近接ライン３１４から第４ライン３２０までの４本のラインが選択されてもよい。イントラ予測部２０８は、選択されたＫ本のラインを合成することにより、新たな参照ラインを生成する（Ｓ４０８）。Ｋ本のラインの合成は例えば以下の式１で定義されるＫ本のラインの線形結合であってもよい。

…（式１）
ここで、Ａ_ｎｅｗは新たな参照ラインを表し、Ａ（１，：）、…、Ａ（Ｋ，：）は第１／最近接ライン３１４、…、第Ｋラインを表す。ａ_１、…、ａ_Ｋは線形結合の係数である。

なお、ステップＳ４０６におけるＫの値およびどのラインを選択するかの規則、ａ_１、…、ａ_Ｋの値は予め決定され、イントラ予測部２０８および対応する動画像復号装置１０２のイントラ予測部に与えられる。すなわち、基本的に、同じ処理対象ブロックに対して符号化側のイントラ予測および復号側のイントラ予測で同じ参照ラインが生成される。

イントラ予測部２０８は、生成された新たな参照ラインＡ_ｎｅｗと取得された処理対象ブロックの画素の画素値とに基づいて予測方向を決定する（Ｓ４１０）。イントラ予測部２０８は、可能な予測方向のそれぞれについてコストを算出し、算出されたコストが最小の予測方向を特定してもよい。イントラ予測部２０８は、生成された新たな参照ラインＡ_ｎｅｗと決定された予測方向とに基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ４１２）。イントラ予測部２０８は、参照フラグ＝「１」および予測モード＝「決定された予測方向に対応するイントラ予測モード」を含むサイド情報を生成し、エントロピー符号化部２１２に出力する（Ｓ４１６）。

ステップＳ４０４において利用可能な符号化済みブロックがないと判定された場合（Ｓ４０４のＮ）、イントラ予測部２０８はイントラ予測モードを、全ての参照サンプルにＤＣ値を採用する所定値モードに設定する（Ｓ４１４）。イントラ予測部２０８は、参照ラインの画素の画素値を全てＤＣ値（DC_value）すなわち２^Ｎ−１に置き換える。Ｎはサンプリングビット深度（sampling bit depth）であり、８であってもよいし、１０以上であればより高解像度が実現されうる。イントラ予測部２０８は、所定値モードの参照ラインに基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ４１２）。イントラ予測部２０８は、参照フラグ＝「０」および予測モード＝「所定値モード」を含むサイド情報を生成し、エントロピー符号化部２１２に出力する（Ｓ４１６）。ステップＳ４０４での判定結果によって新たな参照ラインが生成されるか、または所定値モードが用いられるかが決まるので、ステップＳ４０４では、イントラ予測で用いられる参照ラインを複数のラインから生成するか否かが決定されるといえる。

図５は、図１の動画像復号装置１０２の機能および構成を示すブロック図である。動画像復号装置１０２は、エントロピー復号部６０２と、逆量子化・逆変換部６０４と、加算部６０６と、インター予測部６０８と、イントラ予測部６１０と、フレームバッファ６１２と、インループフィルタ６１４と、を備える。動画像復号装置１０２は、基本的には動画像符号化装置１１０で行われる手順と逆の手順により、ビットストリームＢＳから出力動画像データを得る。

エントロピー復号部６０２は、ネットワーク１０６を介して配信システム１００からビットストリームＢＳを受信する。エントロピー復号部６０２は、受信したビットストリームをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース（ｐａｒｓｅ）処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。

逆量子化・逆変換部６０４は、処理対象ブロックのレベル値を逆量子化および逆変換して処理対象ブロックの画素の差分値を生成する。
加算部６０６は、処理対象ブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部６０８またはイントラ予測部６１０で生成される予測値を取得する。加算部６０６は、逆量子化・逆変換部６０４によって生成された差分値と、取得された対応する予測値と、を加算して処理対象ブロックの画素の画素値を再構成する。加算部６０６は、再構成された処理対象ブロックをイントラ予測部６１０とインループフィルタ６１４とに出力する。

インター予測部６０８には、フレームバッファ６１２から処理対象ブロックに対応する参照ピクチャが入力される。インター予測部６０８は、入力された参照ピクチャに基づき、インター予測により処理対象ブロックの動き補償画像を出力する。

イントラ予測部６１０には、処理対象ブロックの周りの再構成済みブロック（既に復号処理されたブロック、または既に再構成されたブロック）の画像データが加算部６０６から入力される。イントラ予測部６１０は、入力された再構成済みブロックの画素値に基づくイントラ予測により、処理対象ブロックの画素の予測値を生成し、出力する。

インループフィルタ６１４は例えばデブロックフィルタである。インループフィルタ６１４は、処理対象のフレームに対応する局所復号画像を生成してフレームバッファ６１２に出力する。この局所復号画像は、インター予測部６０８におけるインター予測に使用されると同時に、出力動画像データとして表示装置１０４に出力される。

イントラ予測部６１０についてより詳細に説明する。
図６は、イントラ予測部６１０における一連の処理の流れを示すフローチャートである。イントラ予測部６１０は、エントロピー復号部６０２で取り出されたサイド情報のうち、処理対象ブロックについてのイントラ予測モードを取得する（Ｓ６５０）。イントラ予測部６１０は図４のステップＳ４０６、Ｓ４０８と同様に再構成済みブロックから複数のラインを選択し（Ｓ６５４）、選択された複数のラインから新たな参照ラインを生成する（Ｓ６５６）。イントラ予測部６１０は、生成された新たな参照ラインと、ステップＳ６５０で取得されたイントラ予測モードが示す予測方向と、に基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ６５８）。

なお、ステップＳ６５４において利用可能な再構成済みブロックがない場合、イントラ予測部６１０は、参照ラインの画素の画素値を全てＤＣ値（DC_value）すなわち２^Ｎ−１に置き換える。

本実施の形態に係る配信システム１００によると、符号化側、復号側それぞれのイントラ予測において、符号化済み／再構成済みブロックの複数のラインから参照ラインを生成することができる。したがって、処理対象ブロックの周りのブロックの情報をより多く含む参照ラインが実現されるので、イントラ予測の確度を高めることができる。

また、本実施の形態では、符号化側で参照ラインを生成したか否かを示す１ｂｉｔの参照フラグを生成してビットストリームに含め、復号側は当該参照フラグに基づき参照ラインを生成するか否かを決定する。これに対して、処理対象ブロックの周りのブロックの複数のラインから参照ラインを選択する場合、選択されたラインのインデックス（通常２ｂｉｔ以上）をビットストリームに含める必要がある。したがって、本実施の形態の手法を採用することによる符号量の増大は、参照ラインを選択する場合よりも抑制される。

本実施の形態では、参照フラグを用いて新たな参照ラインを生成するか否かを示す場合を説明したが、これに限られない。例えば、参照フラグを用いる代わりにイントラ予測モードが所定値モードかそうでないかに基づいて新たな参照ラインを生成するか否かを決定してもよい。

本実施の形態において線形結合の係数ａ_１、…、ａ_Ｋは符号化側および復号側の両方の複雑さを考慮して決定されてもよい。例えば、処理対象ブロックから離れるほど影響が小さくなるよう、ａ_１＞ａ_２＞…＞ａ_Ｋとなるよう決定されてもよい。あるいはまた、最近接ライン付近でオクルージョンが発生している場合、処理対象ブロックから離れたラインの方がより適切となりうる。この場合、ラインと処理対象ブロックとの距離に反比例するよう係数を決定してもよい。例えば、ａ_１、ａ_２、ａ_３をそれぞれ３／１６、５／１６、８／１６に決定してもよい。

（第２の実施の形態）
第１の実施の形態ではイントラ予測における新たな参照ラインの生成の際、式１に示される線形結合を用いる場合を説明した。第２の実施の形態では、新たな参照ラインを生成するための複数のラインを、予測方向を用いて決める。これにより、生成される新たな参照ラインはより多くの有効な情報を含み、より正確なイントラ予測が可能となる。

本実施の形態に係る動画像符号化装置の構成は、イントラ予測部を除いて図２に示される動画像符号化装置１１０の構成に準じる。図７は、第２の実施の形態に係るイントラ予測部２７８の機能および構成を示すブロック図である。イントラ予測部２７８は、粗チェック部７０２と、候補決定部７０４と、フルチェック部７０６と、モード決定部７０８と、予測値生成部７１０と、チェック結果保持部７１２と、を含む。

粗チェック部７０２は、第１コスト算出方法にしたがい、処理対象ブロックに対する３３種類の方向性モードのそれぞれの粗チェックコストを算出する。第１コスト算出方法は、後述の第２コスト算出方法よりもコストの精度は低いが処理の負荷は小さい方法である。第１コスト算出方法は、例えば非特許文献３に記載されるｒｏｕｇｈ ｍｏｄｅ ｄｅｃｉｓｉｏｎ（ＲＭＤ）であってもよい。粗チェック部７０２は、算出された粗チェックコストをチェック結果保持部７１２に登録する。

候補決定部７０４は、チェック結果保持部７１２を参照し、３３種類の方向性モードのなかからＬ（Ｌは２以上３２以下の自然数）個の候補方向性モードを決定する。候補決定部７０４は、粗チェックコストが低い方からＬ個の方向性モードを候補方向性モードとして決定してもよい。

フルチェック部７０６は、第２コスト算出方法にしたがい、候補決定部７０４で決定されたＬ個の候補方向性モードのそれぞれのフルチェックコストを算出する。第２コスト算出方法は、例えば非特許文献４に記載されるｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎであってもよい。この場合、フルチェックコストはｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔ（Ｒ−Ｄコスト）である。フルチェック部７０６は、候補方向性モードのそれぞれについて、新たな参照ラインを用いる場合と最近接ラインを参照ラインとする場合とで別個にＲ−Ｄコストを算出する。フルチェック部７０６は、算出されたＲ−Ｄコストをチェック結果保持部７１２に登録する。

モード決定部７０８は、チェック結果保持部７１２を参照し、Ｌ個の候補方向性モードと参照ラインの生成有無との組み合わせのなかから、ひとつの組み合わせを決定する。モード決定部７０８は、Ｒ−Ｄコストが最小の組み合わせを決定してもよい。

予測値生成部７１０は、モード決定部７０８で決定された組み合わせに基づいて、処理対象ブロックの周りの符号化済みブロックから処理対象ブロックの画素の予測値を生成する。

図８は、チェック結果保持部７１２の一例を示すデータ構造図である。チェック結果保持部７１２は、参照ラインが最近接ラインか生成されたラインかを示す情報と、イントラ予測モードの種別と、粗チェックコストと、候補とされたか否かを示す情報と、Ｒ−Ｄコストと、を対応付けて保持する。

図９は、図７のイントラ予測部２７８における一連の処理の流れを示すフローチャートである。イントラ予測部２７８は、ブロック分割部から処理対象ブロックを取得する（Ｓ９０２）。粗チェック部７０２は、３３の予測方向のなかから、まだ選択されていない予測方向を選択する（Ｓ９０４）。粗チェック部７０２は、選択された予測方向に対して、処理対象ブロックの周りの符号化済みブロックの最近接ラインを用いた粗チェックを実行する（Ｓ９０６）。チェックされていない予測方向がある場合（Ｓ９０８のＮ）、処理はステップＳ９０４に戻る。全ての予測方向がチェックされた場合（Ｓ９０８のＹ）、候補決定部７０４は粗チェックコストに基づいてＬ個の候補予測方向を決定する（Ｓ９１０）。

フルチェック部７０６は、Ｌ個の候補予測方向のなかから、まだ選択されていない候補予測方向を選択する（Ｓ９１２）。フルチェック部７０６は、選択された候補予測方向について、処理対象ブロックの周りの符号化済みブロックの最近接ラインを用いてＲ−Ｄコストを算出する（Ｓ９１４）。フルチェック部７０６は、符号化済みブロックからＫ本のラインを選択する（Ｓ９１６）。フルチェック部７０６は、選択されたラインのそれぞれについて、選択された候補予測方向に基づいてオフセット値β_１、…、β_Ｋを算出する（Ｓ９１８）。 オフセット値β_１、…、β_Ｋは正負いずれの値をも取り得る。

図１０は、ラインのオフセットを説明するための模式図である。各ラインはそのラインが延びる方向に沿ってオフセットされる。そのオフセット値はステップＳ９１２で選択された候補予測方向３５０に応じた量となる。図１０に示される例では、第１／最近接ライン３５４はオフセットされず、したがって、そのオフセット値β_１は０である。第２ライン３５６の水平部分は水平方向右向きにオフセット値β_２だけオフセットされ、垂直部分は上下方向下向きにオフセット値β_２だけオフセットされる。なお、候補予測方向によっては同じラインでも水平方向のオフセット値と上下方向のオフセット値とが異なりうる。第３ライン３５８、第４ライン３６０については第２ライン３５６と同様である。

図１１（ａ）、（ｂ）は、オフセット値が整数の場合と小数の場合とを説明する模式図である。オフセット値β_１、…、β_Ｋの単位はインデックスであり、定数ではない。例えばβ_３＝２β_２である。図１１（ａ）は候補予測方向１５６に応じたオフセット値β_２が整数、例えば１である場合を示す。水平方向のインデックスｉｄｘにおける新たな参照ラインＡ_ｎｅｗの画素値は、第１／最近接ライン３１４（Ａ（１，：））のインデックスｉｄｘにおける画素１５０の画素値と、第２ライン３１６（Ａ（２，：））のインデックスｉｄｘ＋β_２における画素１５２の画素値と、第３ライン３１８（Ａ（３，：））のインデックスｉｄｘ＋２β_２における画素１５４の画素値と、の重み付き線形和を含む。第ｋラインＡ（ｋ，：）を図１１（ａ）に示される通りにオフセットして得られるラインＡ’（ｋ，：）は以下のように表される。

ここで、β＝β_２である。

オフセット値が小数の場合は２つの隣り合う画素の画素値の内挿が用いられる。図１１（ｂ）は候補予測方向１５８に応じたオフセット値β_２が小数である場合を示す。第ｋラインＡ（ｋ，：）を図１１（ｂ）に示される通りにオフセットして得られるラインＡ’（ｋ，：）は以下の様に表される。

Ａ’（２，ｉｄｘ）を表す式として上段のものを用いるか下段のものを用いるかは、候補予測方向の角度による。αはＡ’（ｋ，ｉｄｘ）とＡ（ｋ，ｉｄｘ）とが重なり合う部分の比率である。

図９に戻り、フルチェック部７０６は、算出されたオフセット値β_１、…、β_ＫによりそれぞれオフセットされたＫ本のラインを合成することにより、新たな参照ラインＡ_ｎｅｗを生成する（Ｓ９２０）。オフセットされたＫ本のラインの合成は例えば以下の式２で定義されるＫ本のラインの線形結合であってもよい。

…（式２）

フルチェック部７０６は、ステップＳ９１２で選択された候補予測方向について、ステップＳ９２０で生成された新たな参照ラインを用いてＲ−Ｄコストを算出する（Ｓ９２２）。まだフルチェックされていない候補予測方向がある場合（Ｓ９２４のＮ）、処理はステップＳ９１２に戻る。全ての候補予測方向がフルチェックされた場合（Ｓ９２４のＹ）、モード決定部７０８はＲ−Ｄコストが最小となる候補予測方向と最近接ライン／生成ラインの別との組を特定する（Ｓ９２６）。予測値生成部７１０は、特定された参照ライン（最近接ラインまたは新たに生成される参照ライン）と予測方向とに基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ９２８）。予測値生成部７１０は、ステップＳ９２６における決定の結果を示すサイド情報を生成し、エントロピー符号化部に出力する（Ｓ９２８）。

本実施の形態に係る動画像復号装置の構成は、イントラ予測部を除いて図５に示される動画像復号装置１０２の構成に準じる。本実施の形態に係る復号側のイントラ予測部における処理の流れと図６に示される処理の流れとの主な差異は、本実施の形態では参照フラグが「０」の場合に最近接ラインを参照ラインとすること、新たな参照ラインを生成する際に合成元の各ラインを予測方向に応じてオフセットさせること、である。

図１２は、第２の実施の形態に係る復号側のイントラ予測部における一連の処理の流れを示すフローチャートである。ステップＳ６５０で取得された参照フラグの値が「１」である場合（Ｓ６５２の「１」）、イントラ予測部は図９のステップＳ９１６、Ｓ９１８、Ｓ９２０と同様に複数のラインを選択し（Ｓ６７０）、ステップＳ６５０で取得されたイントラ予測モードが示す予測方向に基づいて各ラインのオフセット値を算出し（Ｓ６７２）、オフセットされた複数のラインから新たな参照ラインを生成する（Ｓ６７４）。イントラ予測部は、生成された新たな参照ラインと、予測方向と、に基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ６７６）。

ステップＳ６５２において取得された参照フラグの値が「０」である場合（Ｓ６５２の「０」）、イントラ予測部は処理対象ブロックの周りの再構成済みブロックの最近接ラインを参照ラインとする（Ｓ６７８）。イントラ予測部は最近接ラインと予測方向とに基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ６７６）。ステップＳ６５２での判定結果によって新たな参照ラインが生成されるか、または最近接ラインが参照ラインとして用いられるかが決まるので、ステップＳ６５２では、イントラ予測で用いられる参照ラインを複数のラインから生成するか否かが決定されるといえる。

本実施の形態に係る動画像符号化装置、動画像復号装置によると、第１の実施の形態によって奏される作用効果と同様の作用効果が奏される。加えて、予測方向に合わせて合成元のラインをオフセットさせるので、合成により得られる新たな参照ラインを用いたイントラ予測はより正確な予測値を生成することができる。

本実施の形態では、粗チェックの際に最近接ラインを用いる場合を説明したが、これに限られず、粗チェックのために、オフセットされた複数のラインから新たな参照ラインを生成してもよい。

本実施の形態では、新たな参照ラインを生成しない場合は最近接ラインを参照ラインとする場合を説明したが、これに限られず、最近接ライン以外の所定のライン、例えば第２ラインや第３ラインを参照ラインとしてもよい。

（第３の実施の形態）
第１および第２の実施の形態では、ａ_１、…、ａ_Ｋの値は予め決定され、符号化側、復号側それぞれのイントラ予測部に予め与えられる場合を説明した。第３の実施の形態では、この係数ａ_１、…、ａ_Ｋを適応的に決定する。

図１３は、適応的な線形結合の係数の決定を説明するための模式図である。符号化側のイントラ予測部は、所与の予測方向５０２に沿って処理対象ブロック５０４の画素の画素値を足し合わせて平均をとることで、理想的な参照ライン５０６を生成する。次に、イントラ予測部は、処理対象ブロックの周りの符号化済みブロックの第１ラインＡ（１，：）、第２ラインＡ（２，：）、第３ラインＡ（３，：）の線形結合と理想的な参照ライン５０６との差が小さくなるように、各ラインに掛け合わせる係数ｘ_１、ｘ_２、ｘ_３を決定する。例えば、係数ｘ_１、ｘ_２、ｘ_３は最小二乗法により決定されてもよい。

本実施の形態に係る動画像符号化装置の構成は、イントラ予測部を除いて図２に示される動画像符号化装置１１０の構成に準じる。図１４は、第３の実施の形態に係る符号化側のイントラ予測部における一連の処理の流れを示すフローチャートである。イントラ予測部は、予測方向を選択する（Ｓ４５０）。イントラ予測部は例えば第２の実施の形態で説明した粗チェックを用いて予測方向を選択してもよい。イントラ予測部は、選択された予測方向における理想的な参照ラインを、処理対象ブロックの実際の画素値から算出する（Ｓ４５２）。イントラ予測部は、利用可能な符号化済みブロックから複数のラインを選択する（Ｓ４５４）。イントラ予測部は、最小二乗法により線形結合の係数を決定する（Ｓ４５６）。図１３の例では、係数ベクトルＸ＝（ｘ_１、ｘ_２、ｘ_３）は、ｂを理想的な参照ライン、Ａを選択された複数のラインＡ（１，：）、Ａ（２，：）、Ａ（３，：）からなる行列とするとき、以下の式３で表される。

…（式３）

イントラ予測部は、決定された係数（ｘ_１、ｘ_２、ｘ_３）に基づいて生成された新たな参照ラインと予測方向とに基づいて、処理対象ブロックの画素の予測値を生成し、出力する（Ｓ４５８）。イントラ予測部は、参照フラグ＝「１」および予測モード＝「決定された予測方向に対応するイントラ予測モード」および決定された係数（ｘ_１、ｘ_２、ｘ_３）を含むサイド情報を生成し、エントロピー符号化部に出力する（Ｓ４６０）。

第３の実施の形態に係る動画像復号装置の構成は、第１または第２の実施の形態に係る動画像復号装置の構成に準じる。

本実施の形態に係る動画像符号化装置、動画像復号装置によると、第１の実施の形態によって奏される作用効果と同様の作用効果が奏される。加えて、複数のラインから生成される参照ラインは理想的な参照ラインに近いので、合成により得られる新たな参照ラインを用いたイントラ予測はより正確な予測値を生成することができる。

本実施の形態では、サイド情報に係数を入れる分符号量が増えるが、その係数は理想的な参照ラインに近い合成参照ラインを与えるので、予測残差信号の符号量は減る。したがって、予測残差信号の符号量低減効果が勝っていれば、全体の符号量を低減できる。

以上、実施の形態の構成と動作について説明した。これらの実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

１００ 配信システム、 １０２ 動画像復号装置、 １０４ 表示装置、 １０６ ネットワーク、 １１０ 動画像符号化装置。

Claims (7)

1. イントラ予測を用いて符号化されたブロックを含む動画像を表すビットストリームを復号する復号手段と、
   復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの画素の差分値を生成する逆処理手段と、
   前記ブロックの周りの再構成済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測手段と、
   生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成手段と、を備え、
   前記イントラ予測手段は、前記ブロックの周りの再構成済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成する動画像復号装置であって、
   前記イントラ予測手段が前記複数のラインを線形結合により合成する際、前記複数のラインのそれぞれはそのラインが延びる方向に沿って前記イントラ予測における予測方向に応じた量だけオフセットされる、
   動画像復号装置。
2. イントラ予測を用いて符号化されたブロックを含む動画像を表すビットストリームを復号する復号手段と、
   復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの画素の差分値を生成する逆処理手段と、
   前記ブロックの周りの再構成済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測手段と、
   生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成手段と、を備え、
   前記イントラ予測手段は、前記ブロックの周りの再構成済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成する動画像復号装置であって、
   前記イントラ予測手段が前記複数のラインを線形結合により合成する際の規則は、前記ブロックの符号化において、予測方向と実際の画素値とから得られる理想的な参照ラインと前記複数のラインを線形結合により合成することにより生成される参照ラインとの差が小さくなるよう決定される、
   動画像復号装置。
3. イントラ予測を用いて符号化されたブロックを含む動画像を表すビットストリームを復号する復号ステップと、
   復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの画素の差分値を生成する逆処理ステップと、
   前記ブロックの周りの再構成済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測ステップと、
   生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成ステップと、を含み、
   前記イントラ予測ステップは、前記ブロックの周りの再構成済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成するステップを含む動画像復号方法であって、
   前記イントラ予測ステップが前記複数のラインを線形結合により合成する際、前記複数のラインのそれぞれはそのラインが延びる方向に沿って前記イントラ予測における予測方向に応じた量だけオフセットされる、
   動画像復号方法。
4. イントラ予測を用いて符号化されたブロックを含む動画像を表すビットストリームを復号する復号ステップと、
   復号の結果得られる前記ブロックのレベル値を逆量子化および逆変換して前記ブロックの画素の差分値を生成する逆処理ステップと、
   前記ブロックの周りの再構成済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測ステップと、
   生成された前記差分値および生成された前記予測値に基づいて前記ブロックを再構成する再構成ステップと、を含み、
   前記イントラ予測ステップは、前記ブロックの周りの再構成済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成するステップを含む動画像復号方法であって、
   前記イントラ予測ステップが前記複数のラインを線形結合により合成する際の規則は、前記ブロックの符号化において、予測方向と実際の画素値とから得られる理想的な参照ラインと前記複数のラインを線形結合により合成することにより生成される参照ラインとの差が小さくなるよう決定される、
   動画像復号方法。
5. 動画像のブロックの周りの符号化済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測手段と、
   生成された前記予測値に基づいて前記ブロックの画素の差分値を生成する差分生成手段と、
   生成された前記差分値を変換および量子化し、レベル値を生成する処理手段と、
   生成されたレベル値を符号化してビットストリームを生成する符号化手段と、を備え、
   前記イントラ予測手段は、前記ブロックの周りの符号化済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成する動画像符号化装置であって、
   前記イントラ予測手段が前記複数のラインを線形結合により合成する際の規則は、予測方向と実際の画素値とから得られる理想的な参照ラインと前記複数のラインを線形結合により合成することにより生成される参照ラインとの差が小さくなるよう決定される、
   動画像符号化装置。
6. 動画像のブロックの周りの符号化済みブロックの画素値に基づくイントラ予測により前記ブロックの画素の予測値を生成するイントラ予測ステップと、
   生成された前記予測値と対応する画素値とに基づいて前記ブロックの画素の差分値を生成する差分生成ステップと、
   生成された前記差分値を変換および量子化し、レベル値を生成する処理ステップと、
   生成されたレベル値を符号化してビットストリームを生成する符号化ステップと、を含み、
   前記イントラ予測ステップは、前記ブロックの周りの符号化済みブロックの複数のラインを線形結合により合成することにより、前記イントラ予測で用いられる参照ラインを生成するステップを含む動画像符号化方法であって、
   前記イントラ予測ステップが前記複数のラインを線形結合により合成する際の規則は、予測方向と実際の画素値とから得られる理想的な参照ラインと前記複数のラインを線形結合により合成することにより生成される参照ラインとの差が小さくなるよう決定される、
   動画像符号化方法。
7. 請求項１から２のいずれか１項に記載の動画像復号装置または請求項５に記載の動画像符号化装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。

Images