JP6080077B2 - 画像符号化方法及び画像符号化装置 - Google Patents

Description

本開示は、イントラ予測を行う画像符号化方法及び画像符号化装置に関する。

動画像符号化規格として、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以降、Ｈ．２６４と呼ぶ）が知られている。このような動画像符号化規格では、複数のイントラ予測モードから一つの予測モードを選択するイントラ予測が行われる（例えば、特許文献１〜特許文献３を参照）。

また、Ｈ．２６４の次世代の動画像符号化規格としてＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）が検討されている。

特開２００５−１３０５０９号公報 特開２０１１−４１０３７号公報 特開２０１１−１４２６９９号公報

画像符号化方法では、符号化処理の高速化が望まれている。

本開示は、符号化処理の高速化を実現できる画像符号化方法及び画像符号化装置を提供する。

本開示における画像符号化方法は、動画像中のピクチャであって、輝度または色を表す第１の信号と色差または色を表す第２の信号とを含むピクチャを取得し、前記取得したピクチャを符号化する画像符号化方法であって、前記取得したピクチャを分割することにより、少なくとも１つのイントラ予測の処理単位である処理ブロックを生成し、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群の中から１つのイントラ予測モードを選択する第１のイントラ予測を行い、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群の中から１つのイントラ予測モードを選択する第２のイントラ予測を行い、前記第１のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第１の信号の成分を予測符号化する第１の符号化と、前記第２のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第２の信号の成分を予測符号化する第２の符号化とを行い、前記第２の候補群は、前記第２のイントラ予測と前記第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする前記部分集合であり、前記第１のイントラ予測と前記第２のイントラ予測とは並列に処理される。

本開示における画像符号化方法及び画像符号化装置は、符号化処理の高速化を実現できる。

実施の形態に係る画像符号化装置の構成例を示すブロック図である。 実施の形態に係る画像符号化処理の一例を示すフローチャートである。 実施の形態に係るイントラ予測処理の詳細例を示すフローチャートである。 実施の形態に係る３５種類のイントラ予測モード（モード０〜モード３４）を示す図である。 ＨＥＶＣ規格で規定されている色差イントラ予測を説明するためのテーブル図である。 実施の形態に係る色差イントラ予測の符号に対応するビット列を示す図である。 実施の形態に係るイントラ予測を説明するためのテーブル図である。 実施の形態に係るイントラ予測変形例を説明するための他のテーブル図である。 ＨＥＶＣ規格におけるイントラ予測を説明するための図である。 実施の形態に係るイントラ予測の並列処理を説明するための図である。

（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載したＨＥＶＣ規格による画像符号化方法および画像符号化装置に関し、以下の問題があることを見出した。

ＨＥＶＣ規格は、Ｈ．２６４規格に比べて、さらに高効率化（高圧縮化）をするための種々の工夫が盛り込まれている。例えば、Ｈ．２６４のイントラ予測では９種類の予測モードの中から１つを選択する。これに対して、ＨＥＶＣ規格のイントラ予測では３５種類の予測モードから１つを選択する。このような工夫によりＨＥＶＣ規格は高効率化を達成する反面、画像符号化のための演算量が増大し処理負荷が非常に重くなっている。このような、ＨＥＶＣ規格による画像符号化処理における重い処理負荷に対して、画像符号化処理の速度は、特にリアルタイム性を確保するためには、より高速化する必要がある。

そこで、本開示は、ＨＥＶＣ規格を満たす画像符号化処理を行いつつ、特にイントラ予測における画像符号化処理の高速化を実現できる画像符号化方法および画像符号化装置を提供する。

（実施の形態）
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

以下、図１〜図８Ｂを用いて、本実施の形態を説明する。説明の便宜上、ＨＥＶＣを用いて符号化する際の動作を説明する。

［画像符号化装置の構成］
図１は、本実施の形態に係る画像符号化装置１００の構成例を示すブロック図である。

画像符号化装置１００は、ピクチャ単位で入力された動画像を符号化単位ブロック（コーディングユニット：ＣＵ）に分割し、ＣＵ単位で符号化処理を行うことで、符号列を生成する。なお、ＣＵには複数のサブブロックが含まれる。画像符号化装置１００が有する構成要素は、ＣＵ単位又はサブブロック単位で処理する。

図１に示す画像符号化装置１００は、ピクチャバッファ１０１と、ピクチャ分割部１０２と、減算部１０３と、予測残差符号化部１０４と、係数符号列生成部１０５と、予測残差復号化部１０６と、加算部１０７と、イントラ予測部１０８と、量子化値決定部１１４と、ヘッダ符号列生成部１１５とを備える。

画像符号化装置１００は、入力画像をＨＥＶＣの規格に基づいて圧縮符号化し、符号列を生成して出力する。

ピクチャバッファ１０１は、入力画像を取得し、記憶媒体に一時的に記憶する。例えば、ピクチャバッファ１０１は、表示を行う順にピクチャ単位で入力される入力画像を、符号化を行う順に並び替えて蓄積する。ピクチャバッファ１０１における記憶媒体として、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）メモリなど、入力画像を記憶できる記憶媒体であればどのようなものを利用しても構わない。

ピクチャ分割部１０２は、符号化対象のピクチャを複数の符号化単位ブロック（ＣＵ）に分割し、分割された複数の符号化単位ブロックの各々をイントラ予測の処理単位である複数の処理ブロック（プレディクションユニット：ＰＵ）に分割する。ピクチャ分割部１０２は、減算部１０３又は量子化値決定部１１４からの読出し命令を受け付けた場合、ピクチャバッファ１０１から入力画像を取得する。そして、ピクチャ分割部１０２は、読出し命令に対応する画像信号を減算部１０３に出力する。

なお、ＣＵおよびＰＵのブロックサイズは、当該ＣＵおよびＰＵを利用して処理するまでに設定されていれば、どのようなタイミングで設定されても構わない。一方、ＣＵのブロックサイズが設定された後にＰＵのブロックサイズが設定されても構わない。また、ＰＵのブロックサイズが設定された後にＣＵのブロックサイズが設定されても構わない。さらに、ＣＵおよびＰＵのブロックサイズが同時に設定されても構わない。

ＣＵは、符号化単位ブロックの一例であり、例えば、６４×６４画素、３２×３２画素、１６×１６画素または８×８画素のブロックである。

減算部１０３は、ピクチャ分割部１０２から出力される処理対象となる少なくとも１つ以上のＣＵ（以下、対象ＣＵ）と、イントラ予測部１０８から出力される予測画像との差分を算出することで、残差信号を生成する。例えば、減算部１０３は、ＣＵ又はサブブロック毎に差分を算出する。減算部１０３は、残差信号を予測残差符号化部１０４に出力する。

予測残差符号化部１０４は、減算部１０３から出力される残差信号を直交変換することで、直交変換係数を生成する。予測残差符号化部１０４は、残差信号を直交変換する場合、直交変換用のサブブロック単位で処理を行う。ここで、直交変換用のサブブロックは、トランスフォームユニット（ＴＵ）と呼ばれる、複数の画素で構成される直交変換処理単位である。例えば、直交変換用のサブブロック（ＴＵ）は、３２×３２画素、１６×１６画素、８×８画素、又は４×４画素のブロックである。なお、入力信号が輝度成分および色差成分のうちいずれの信号かに依存してＴＵに利用できるブロックサイズが変わる。

予測残差符号化部１０４は、さらに、得られた直交変換係数の各周波数成分を量子化することで量子化係数を生成する。そして、予測残差符号化部１０４は、量子化係数を係数符号列生成部１０５及び予測残差復号化部１０６に出力する。なお、予測残差符号化部１０４は、量子化値決定部１１４によって決定された量子化値を用いて、直交変換係数を量子化する。

係数符号列生成部１０５は、予測残差符号化部１０４から出力される量子化係数を可変長符号化する。係数符号列生成部１０５は、可変長符号化によって生成される符号列をヘッダ符号列生成部１１５が生成した符号列に続けて追記する。これにより、係数符号列生成部１０５は、出力用の符号列信号を生成する。

予測残差復号化部１０６は、予測残差符号化部１０４から出力される量子化係数を逆量子化及び逆直交変換することで、残差復号化信号を再構成する。予測残差復号化部１０６は、得られた残差復号化信号を加算部１０７に出力する。

加算部１０７は、予測残差復号化部１０６から出力される残差復号化信号とイントラ予測部１０８から出力される予測画像とを加算することで、再構成画像信号を生成する。そして、加算部１０７は、再構成画像信号をイントラ予測部１０８に出力する。

イントラ予測部１０８は、少なくとも加算部１０７から出力される再構成画像信号に基づいて、ピクチャ分割部１０２から出力されるブロックに対する予測画像を生成する。イントラ予測部１０８は、予測画像を生成する場合、イントラ予測を用いる。

なお、イントラ予測部１０８は、予測用のサブブロック単位で予測画像を生成する。ここで、予測用のサブブロックとは、プレディクションユニット（ＰＵ）と呼ばれる、複数の画素で構成される予測処理単位である。例えば、予測用のサブブロック（ＰＵ）は、ピクチャ分割部１０２が出力する符号化単位ブロックを少なくとも１つ以上に分割して生成される領域である。例えば、ＰＵは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、又は４×４画素のブロックである。ここで、ＰＵのサイズは、ＣＵのサイズを基準にして決定される。具体的にＰＵのサイズは、ＣＵのサイズと同じまたは一辺の長さが半分のサイズである。

イントラ予測部１０８は、既に符号化済みのＣＵに含まれる、対象ＣＵの周辺に位置する画素データを用いて、対象ＣＵの予測画像をＰＵ毎に生成する。具体的には、イントラ予測部１０８は、対象ＣＵに隣接する既に符号化済みの画素データに基づいてイントラ予測を行うことで、予測画像を生成する。

イントラ予測部１０８は、画像符号化装置１００で想定している符号化規格であるＨＥＶＣに規定される３５個のイントラ予測モードから１つのイントラ予測モードを選択する。さらに、イントラ予測部１０８は、選択したイントラ予測モードに基づいてイントラ予測を行うことで、処理対象の対象ＰＵの予測画像を生成する。イントラ予測部１０８は、ＰＵ毎に予測画像を生成した結果として得られる、ピクチャ分割部１０２が出力するブロックの予測画像をＴＵ単位で減算部１０３及び加算部１０７に出力する。

なお、イントラ予測部１０８のより詳細な動作については、後で説明する。

量子化値決定部１１４は、ピクチャ分割部１０２に格納されるピクチャに基づいて、予測残差符号化部１０４において残差信号を量子化する際の量子化値（量子化幅）を設定する。量子化値決定部１１４は、設定した量子化値を予測残差符号化部１０４及びヘッダ符号列生成部１１５に出力する。なお、量子化値決定部１１４は、量子化値の設定方法に、符号列信号のビットレートが目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。

ヘッダ符号列生成部１１５は、イントラ予測部１０８が出力する予測情報と、量子化値決定部１１４が出力する量子化値と、その他の符号化制御に関する制御情報とを可変長符号化することで符号列を生成する。なお、予測情報には、例えば、イントラ予測モード、インター予測モード、動きベクトル、及び参照ピクチャを示す情報などが含まれる。また、制御情報は、係数符号列生成部１０５における処理の前までに取得可能な情報であり、ブロックの符号化時に適用した符号化条件を示す情報である。例えば、制御情報は、ピクチャ符号化タイプ又はブロック分割情報などを含む。例えば、ピクチャ符号化タイプとは、Ｉピクチャ、Ｐピクチャ又はＢピクチャを示す情報、又は、ブロックに適用された予測方法に関する情報などである。また、ブロック分割情報は、例えば、直交変換時におけるサブブロックの分割情報、又は、イントラ予測部１０８におけるサブブロックの分割情報などを含む情報である。

［画像符号化処理］
次に、画像符号化装置１００による画像符号化処理の流れを説明する。

図２は、画像符号化装置１００による画像符号化処理の一例を示すフローチャートである。

図２に示すように、ピクチャ分割部１０２は、処理対象のピクチャを複数のＣＵ（符号化単位ブロック）に分割する（Ｓ１０１）。次に、複数のＣＵのうち処理対象となる対象ＣＵが選択され減算部１０３に送出される（Ｓ１０２）。

また、ピクチャ分割部１０２は、対象ＣＵを複数のＰＵ（処理ブロック）に分割する（Ｓ１０３）。次に、処理対象となる対象ＰＵが選択されイントラ予測部１０８に送出される（Ｓ１０４）。

次に、イントラ予測部１０８は、処理対象となるＰＵに対して、所定の手順でイントラ予測処理及び符号化処理を行う（Ｓ１０５）。これにより、処理対象となるＰＵに対応する予測画像が生成される。また、処理対象となる各ＰＵに対応する量子化係数及び再構成画像信号が生成される。イントラ予測部１０８の詳細については後述する。

次に、ヘッダ符号列生成部１１５は、イントラ予測処理に関する情報を可変長符号化する。また、係数符号列生成部１０５は、量子化係数を可変長符号化し、符号列を生成する（Ｓ１０６）。

以上により、一つのＰＵに対するイントラ予測処理が完了する。画像符号化装置１００は、全てのＰＵに対して、この一連の処理を繰り返し行う（Ｓ１０７）。これにより一つのＣＵに対する符号化処理が完了する。また、画像符号化装置１００は、全てのＣＵに対して、この一連の処理を繰り返し行う（Ｓ１０７）。

［イントラ予測処理］
次に、イントラ予測部１０８によるイントラ予測処理（図２のＳ１０５）について詳細に説明する。

図３は、イントラ予測部１０８によるイントラ予測処理（図２のＳ１０５）の詳細例を示すフローチャートである。また、図４は、ＨＥＶＣ規格で規定されている３５種類のイントラ予測モード（モード０〜モード３４）を示す図である。これらのイントラ予測モードは、ＨＥＶＣ規格で規定されており、図４に示すように、モード０と呼ばれるＰｌａｎａｒ予測モードと、モード１と呼ばれるＤＣ予測モードと、モード２〜モード３４と呼ばれる３３個の予測方向モードとが定義されている。

イントラ予測部１０８は、図４に示すモード０からモード３４までの３５通りの予測モードの候補の中から適切な予測モードを選択し、符号化処理を行う。またＨＥＶＣ規格では、符号化対象となるピクチャが、例えば輝度信号と色差信号など、複数の信号成分で構成される場合、信号成分ごとに異なる予測モードを選択することができる。ここでは、説明の便宜上、符号化対象となるピクチャが、輝度信号と色差信号で構成される場合の動作を説明する。

まず、図３に示すイントラ予測処理の概要について説明する。

イントラ予測部１０８は、輝度信号に対する第１のイントラ予測（ループ１、Ｓ１１５）と、色差信号に対する第２のイントラ予測（ループ２、Ｓ２１５）と、第１および第２のイントラ予測の結果を用いた予測符号化（Ｓ１１７、Ｓ１１８）とを行う。

第１のイントラ予測（ループ１、Ｓ１１５）は、図２のＳ１０３で分割された処理ブロックの各々に対して、処理ブロックに含まれる第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群の中から１つのイントラ予測モードを選択する処理である。ここでは、第１の信号は、例えば輝度を表す輝度信号である。第１の候補群は、図４に示した３５個のイントラ予測モードの集合である。また、ループ１の制御変数Ｍ１は、第１の候補群中の３５個のイントラ予測モード（モード０〜モード３４）に対応する。

第２のイントラ処理（ループ２、Ｓ２１５）は、上記の処理ブロックの各々に対して、処理ブロックに含まれる第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群の中から１つのイントラ予測モードを選択する処理である。ここで、第２の信号は、例えば色差を表す色差信号である。第２の候補群は、第１の候補群のうちの、第２のイントラ予測と第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする部分集合である。ここでいう依存性についての詳細な説明は後述する。また、ループ２の制御変数Ｍ２は、第２の候補群中のイントラ予測モード（モード０、１、１０、２６、３４）に対応する。なお、制御変数Ｍ２から３４は除外されてもよい。

予測符号化（Ｓ１１７、Ｓ１１８）は、第１および第２のイントラ予測で選択された予測モードを用いて、処理ブロック内に含まれる前記第１および第２の信号の成分を予測符号化（つまり残差信号の生成、直交変換および量子化）することをいう。第１のイントラ予測において選択したイントラ予測モードを用いることにより処理ブロック内に含まれる第１の信号の成分を予測符号化（つまり残差信号の生成、直交変換および量子化）することを第１の符号化と呼ぶ。第２のイントラ予測において選択したイントラ予測モードを用いることにより処理ブロック内に含まれる第２の信号の成分を予測符号化（つまり残差信号の生成、直交変換および量子化）することを第２の符号化と呼ぶ。予測符号化（Ｓ１１７、Ｓ１１８）は、第１の符号化と第２の符号化とを含む処理である。

つづいて、図３に示すイントラ予測処理の詳細について説明する。

第１のイントラ予測（ループ１、Ｓ１１５）において、まず、イントラ予測部１０８は、輝度信号に対して、第１の候補群中の３５通りのイントラ予測モードの候補について評価値を算出する（Ｓ１１１〜Ｓ１１３のループ１）。評価値とは、例えば、輝度の残差信号の絶対値の総和が用いられる。次に、イントラ予測部１０８は、算出された各評価値を比較して、最も適切な予測モードを決定つまり選択する（Ｓ１１５）。評価値が残差信号の絶対値の和が用いられる場合、最も適切な予測モードは、評価値の最も小さい予測モードが選択されることが多い。

第２のイントラ予測（ループ２、Ｓ２１５）において、まず、イントラ予測部１０８は、色差信号に対して、第２の候補群中の各イントラ予測モードの候補について評価値を算出する（Ｓ２１１〜Ｓ２１３のループ２）。評価値とは、例えば、色差の残差信号の絶対値の総和が用いられる。次に、イントラ予測部１０８は、算出された各評価値を比較して、最も適切な予測モードを決定つまり選択する（Ｓ２１５）。

ステップＳ１１５、ステップＳ２１５の後、減算部１０３は、対象ＰＵと予測画像との差分である残差信号を生成する（Ｓ１１７）。次に、予測残差符号化部１０４は、残差信号に直交変換及び量子化を行うことで量子化係数を生成する（Ｓ１１８）。また、予測残差復号化部１０６は、量子化係数を逆量子化及び逆直交変換することで、残差復号化信号を生成する。次に、加算部１０７は、残差復号化信号と予測画像とを加算することで、再構成画像信号を生成する。この再構成画像信号は、以降のＰＵのイントラ予測処理に用いられる。

以上により、一つのＰＵに対するイントラ予測処理が完了する。

ここで、第２の候補群について説明する前に、ＨＥＶＣ規格で規定されている色差イントラ予測について説明する。

図５Ａは、ＨＥＶＣ規格で規定されている色差イントラ予測を説明するためのテーブル図である。図５Ａのテーブルは、小テーブル５ａ、５ｂおよび５ｃから構成される。このテーブル図に従うイントラ予測の手順は、例えば、輝度イントラ予測、小テーブル５ａ、５ｂの参照、色差イントラ予測、小テーブル５ｃの参照、符号化（残差信号の生成、直交変換および量子化）の順に逐次実行される必要がある。というのは、小テーブル５ａと小テーブル５ｂとの間に依存性があるからである。

小テーブル５ａは、輝度信号に対するイントラ予測（輝度イントラ予測）で選択され得るイントラ予測モードを表している。すなわち、選択され得るイントラ予測モードは第１の候補群中の３５個のイントラ予測モードである。小テーブル５ａでは、３５個のイントラ予測モードを、モード０、２６、１０、１、これ以外イントラ予測モードの５つに分類されている。モード０、２６、１０、１の４つのイントラ予測モードは、これ外のイントラ予測モードよりも選択される確率が特に高いと考えられる。また、小テーブル５ａの５つ目の分類中の予測モード（モードＸ）は、上記４つのイントラ予測モードよりも選択される確率が低いと考えられる。ここで、Ｘは、０以上３４以下であり、かつ、０、１、１０、２６以外の値である。つまり、Ｘは、２〜９、１１〜２５、２７〜３４のうちの何れかの値である。小テーブル５ａで５つに分けて記載しているのは、小テーブル５ａと小テーブル５ｂとを対応付けるためである。

小テーブル５ｂは、輝度イントラ予測の５分類にそれぞれに対応する、色差イントラ予測で選択可能な候補を表している。

小テーブル５ｃは、色差イントラ予測で選択可能なイントラ予測モードの候補のそれぞれに対応する符号を表している。

例えば、輝度イントラ予測（図５ＡのＩｎｔｒａＰｒｅｄＭｏｄｅＹ）において、小テーブル５ａ中のモード０が選択された場合、色差イントラ予測モードは小テーブル５ｂ中のモード３４、モード２６、モード１０、モード１、モード０の中から選択することができる。この場合、色差イントラ予測モードの符号（図５Ａのｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）は、小テーブル５ｃに示すように、色差イントラ予測モードがモード３４ならば０、モード２６ならば１、モード１０ならば２、モード１ならば３、モード０ならば４となる。

また、輝度イントラ予測においてモード２６、モード１０、モード１が選択された場合も、同様に図５Ａに示す表の値にもとづいて符号を生成する。一方、輝度イントラ予測において、モード０、モード２６、モード１０、モード１以外が選択された場合（図５ＡのモードＸが選択された場合）、色差イントラ予測モードの符号は色差イントラ予測モードがモード０ならば０、モード２６ならば１、モード１０ならば２、モード１ならば２、輝度イントラ予測と同じ予測モードならば４となる。また、小テーブル５ｃ中の各符号は、さらにビット列に変換される。

図５Ｂは、色差イントラ予測の符号に対応するビット列を示す図である。図５Ｂの「Ｖａｌｕｅ ｏｆ ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ」は、小テーブル５ｃ中の符号の値であり、「Ｂｉｎ ｓｔｒｉｎｇ」は符号に対応するビット列（ビットパターン）を表している。

次に、図５Ａにおける輝度イントラ予測と色差イントラ予測との間の依存性について説明する。

上記のように、ＨＥＶＣ規格では、図５Ａの小テーブル５ａと小テーブル５ｂとが対応付けられている。この対応付けによって、色差イントラ予測で選択可能なイントラ予測モードの候補の一部は、輝度イントラ予測で選択されたイントラ予測モードに依存性を有している。

すなわち、小テーブル５ｂ中のモードＸ（Ｘは、２〜９、１１〜２５、２７〜３４のうちの何れか）は、輝度イントラ予測においてモードＸが選択されて始めてＸの値が決まるという依存性を有している。このように、３５個のイントラ予測モードのうち３１個のモードＸは輝度イントラ予測と色差イントラ予測との間で依存性を有している。逆に、モードＸ以外のイントラ予測モード（モード０、１、１０、２６）は、このような依存性を有していない。

また、小テーブル５ｂ中のモード３４は、輝度イントラ予測でモードＸが選択され、かつ、モードＸがモード３４以外である場合に、モード３４は色差イントラ予測の候補にしてはいけないという点で、別の依存性を有している。モード３４は、輝度イントラ予測でモード０、１、１０、２６が選択されて場合に、色差イントラ予測の候補でもある。この点で、モード３４の依存性は、モード３４以外のモードＸの依存性と比べて弱いと解することができる。言い換えれば、依存性を有する３１個のモードＸのうち、モード３４以外の３０個のモードＸは、モード３４よりも強い依存性を有していると解することができる。つまり、モード３４は、モード３４以外の３０個のモードＸほど強い依存性を有していない。

このように、図５Ａに示した３５個のイントラ予測モードにおいて、３０個のイントラ予測モード（モード３４以外のモードＸ）は、輝度イントラ予測と色差イントラ予測との間で強い依存性を有し、１個のイントラ予測モード（モード３４）は、モード３４以外のモードＸよりも、輝度イントラ予測と色差イントラ予測との間で弱い依存性を有すると解される。つまり、輝度イントラ予測の選択結果がモード３４である場合にはモード３４は色差イントラ予測の候補になる。また、輝度イントラ予測の選択結果がモード０、１、１０および２６の何れかである場合にもモード３４は色差イントラ予測の候補になる。しかし、輝度イントラ予測の選択結果がモード３４以外のモードＸである場合にはモード３４は色差イントラ予測の候補にならない。このように、モード３４が色差イントラ予測における候補になるかならないかは、輝度イントラ予測の結果に依存するけれども、モード３４以外のモードＸよりも緩やかな依存とみることができる。なお、モード０、１、１０、２６は、依存性を有していない。

本実施の形態にでは、このような依存性に注目して、図３のループ２の処理のように、色差イントラ予測において、依存性を有するイントラ予測モード以外のイントラ予測モードの集合を、選択可能なイントラ予測モードの候補（第２の候補群と呼ぶ）としている。これにより、輝度イントラ予測の次に色差イントラ予測を逐次実行する必要性を解消している。つまり、図３のループ１とループ２のように、輝度イントラ予測と色差イントラ予測とを並列処理可能にし、高速化を実現できる。また、実施の形態における色差イントラ予測は、ＨＥＶＣ規格の範囲内であり、反するものではない。

次に、本実施の形態における色差イントラ予測における第２の候補群について説明する。

図６は、実施の形態に係るイントラ予測を説明するためのテーブル図である。図６におけるテーブルは、小テーブル６ａ、６ｂおよび６ｃから構成される。このテーブル図に従うイントラ予測の手順は、輝度イントラ予測と色差イントラ予測とが並列処理可能であり、その後、小テーブル５ａ〜５ｃの参照、符号化（ここでは残差信号の生成、直交変換および量子化）が実行される。

図６における小テーブル６ａ、６ｃは、図５Ａに示した小テーブル５ａ、５ｃと同じである。小テーブル６ｂは、小テーブル５ｂと比べて、二重取消し線が付加されたイントラ予測モードが第２の候補群から除外されている点が異なっている。以下、異なる点を中心に説明する。

小テーブル６ｂにおいて、３１個のモードＸのイントラ予測モードが、小テーブル５ｂと比べて除外されている。具体的には、小テーブル６ａの４つの分類（モード０、２６、１０、１）に対応する小テーブル６ｂのそれぞれの欄においてモード３４が除外され、かつ、小テーブル６ａの５つ目の分類（モードＸ）に対応する小テーブル６ｂの欄においてモードＸが除外されている。このように、小テーブル６ｂに示される第２の候補群は、色差イントラ予測と輝度イントラ予測との間で、依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする部分集合になっている。つまり、小テーブル６ｂの第２の候補群は、強い依存性と弱い依存性とを区別することなく、依存性を有するイントラ予測モードを第１の候補群（３５個のイントラ予測モード）から除外したイントラ予測モードをメンバーとしている。

このように図６の小テーブル６ｂにおける第２の候補群は、輝度イントラ予測と色差イントラ予測の間で依存性を有するイントラ予測モードが除外されている。それゆえ、イントラ予測部１０８は、輝度イントラ予測と色差イントラ予測とを並列に処理することができ、高速化を実現することができる。

次に、本実施の形態における色差イントラ予測の第２の候補群の変形例について説明する。

図７は、実施の形態に係るイントラ予測の変形例を説明するための他のテーブル図である。図７における小テーブル７ａ、７ｃは、図６に示した小テーブル６ａ、６ｃと同じである。小テーブル７ｂは、小テーブル６ｂと比べて、５分類のうち左側４つの欄におけるモード３４が除外されていない点が異なっている。以下、異なる点を中心に説明する。

モード３４は、既に説明したように、モード３４以外のモードＸほど強い依存性を有しないと考えられる。小テーブル７ｂに示される第２の候補群は、色差イントラ予測と輝度イントラ予測との間で、強い依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする部分集合になっている。つまり、小テーブル７ｂの第２の候補群は、強い依存性を有するイントラ予測モードを第１の候補群（３５個のイントラ予測モード）から除外したイントラ予測モードをメンバーとしている。

図７に示した他のテーブル図に従う色差イントラ予測において、ＨＥＶＣ規格に反しないようにするためには、図３のＳ１１５およびＳ２１５の終了後に、次のような後処理をすればよい。すなわち、イントラ予測部１０８は、輝度イントラ予測の選択結果がモードＸである場合に色差イントラ予測でモード３４を避ける後処理を実行すればよい。例えば、イントラ予測部１０８は、後処理として、まず、色差イントラ予測の選択結果がモード３４である場合は、輝度イントラ予測の選択結果がモード０、１、１０、２６の４つの何れかであるか否かを判定する。次に、イントラ予測部１０８は、輝度イントラ予測の選択結果が上記４つの何れかであると判定した場合はそのままＳ１１７に進む。一方、イントラ予測部１０８は、輝度イントラ予測の選択結果が上記４つの何れかでないと判定した場合（輝度イントラ予測の選択結果がモードＸである場合）は、色差イントラ予測の選択結果をモード３４以外のイントラ予測モードに変更（例えば、評価値が２番目に適切なイントラ予測モードを選択）し、Ｓ１１７に進ようにしてもよい。

このように、図７に示した他のテーブル図に従うイントラ予測の変形例では、ＨＥＶＣ規格に反しないためには後処理を要するけれども、図３のループ１とループ２とは並列に処理することができる点で、高速化することができる。

［本開示の効果］
以上のように、画像符号化装置１００は、図４に示す３５個のイントラ予測モードの中から１つを選択するイントラ予測を行う。ＨＥＶＣ規格では、図５Ａに示すように、Ｈ．２６４では存在しない輝度信号のイントラ予測処理の結果に依存して色差のイントラ予測モードが決定されるイントラ予測モードが存在する。このため、対象ＰＵの色差信号のイントラ予測処理を開始するまでに、対象ＰＵの輝度信号のイントラ予測処理が完了していることで、符号化効率を改善できる。

しかしながら、図５Ａに示す輝度信号のイントラ予測処理の結果に依存して色差のイントラ予測モードが決定されるイントラ予測モードで処理するには、図８Ａのように、輝度信号のイントラ予測処理と、色差信号のイントラ予測処理を順次処理する必要がある。なお、図８Ａ中の輝度イントラ予測モード判定８ａは、図３のループ１およびＳ１１５の輝度イントラ予測に相当する。また、色差イントラ予測モード判定は、図３のループ２およびＳ２１５の色差イントラ予測にモードＸの評価値算出を追加した処理に相当する。図５Ａでは、モードＸには輝度イントラ予測と色差イントラ予測との間に依存性があるため、輝度信号のイントラ予測と、色差信号のイントラ予測とを並列に処理することが困難であり、処理を高速化することができない。

一方、図３に示すイントラ予測処理では、図６に示すように色差信号のイントラ予測の選択可能な候補を定めることにより、輝度信号のイントラ予測と、色差信号のイントラ予測を図８Ｂに示すように並列に処理できる。なお、図８Ｂ中の輝度イントラ予測モード判定８ａは、図３のループ１およびＳ１１５の輝度イントラ予測に相当する。また、色差イントラ予測モード判定は、図３のループ２およびＳ２１５の色差イントラ予測に相当する。図８Ｂに示す例では、輝度イントラ予測モード判定８ａと、色差イントラ予測モード判定８ｂとが並列処理される。

なお、色差信号は、Ｃｂ、Ｃｒ成分から構成される。色差イントラ予測では、Ｃｂについて図３のループ２およびＳ２１５によりイントラ予測モードを選択し、ＣｒについてはＣｂと同じイントラ予測モードを選択するようにしてもよい。

このように、本実施の形態に係る画像符号化装置１００は、図３に示すイントラ予測処理を用いることで、色差信号のイントラ予測における予測モードの候補（第２の候補群）について、ＨＥＶＣ規格で定められている予測モードの候補群から選択的に制限することにより、並列処理が可能にする。したがって、画像符号化装置１００は、ＨＥＶＣ規格に準拠した符号列を高速に生成することができ、イントラ予測処理を高速に行うことができる。

［変形例］
本実施の形態では、第１の信号が輝度信号であり、第２の信号が色差信号である画像を符号化する例を説明したが、本発明はこれに限定されていない。例えば、色差信号をＣｂ、Ｃｒ成分に分け、輝度信号、色差Ｃｂ信号、色差Ｃｒ信号が並列処理されてもよい。また、画像を構成する信号成分がＲＧＢ成分である場合、例えば、Ｒ信号、Ｇ信号、Ｂ信号が並列処理されてもよい。

また、本実施の形態では、Ｓ１１２において、図６に示すように、評価対象とする予測モードを、モード０、モード２６、モード１０、モード１に制限し、それ以外の予測モードについては選択候補から除外する例を説明したが、本発明はこれに限定されていない。例えば、図７に示すように、輝度イントラ予測においてモード０、モード２６、モード１０、モード１以外が選択された場合は、評価対象とする予測モードを、モード０、モード２６、モード１０、モード１に制限とするが、輝度イントラ予測においてモード０、モード２６、モード１０、モード１が選択された場合は、評価対象とする予測モードを制限せず、ＨＥＶＣ規格で規定されている全ての選択候補となる予測モード、つまり、モード３４、モード０、モード２６、モード１０、モード１を選択候補としてもよい。

また、本実施の形態では、輝度信号について、選択可能な３５通りの予測モードを全て評価するとしたが、本発明はこれに限定されていない。例えば、輝度信号のイントラ予測、色差信号のイントラ予測ともに、モード２〜モード９の選択を禁止することにより、残差信号を生成する際に左下の画素値を保持しておく必要がなくなるため、よりハードウェア設計しやすい符号化処理とすることができる。

また、図８Ｂに示す例において、輝度イントラ予測と色差イントラ予測の処理が同時に開始されてもよいし、輝度イントラ予測の処理より色差イントラ予測の処理が先に開始されてもよい。つまり、上述した処理順において、並列処理を行える範囲において、一部のイントラ予測の処理順を入れ替えてもよい。

なお、図３のＳ１１２およびＳ２１２におけるイントラ予測モード毎の評価値の算出を並列に処理してもよい。例えば、イントラ予測部１０８は、１つのイントラ予測モードの評価値を算出する演算器（例えばハードウェアにより構成された演算回路）を複数個（２個〜４０個）備えることにより、ループ１およびループ２の複数回の繰り返し処理の一部または全部を複数の演算器に割り当てればよい。これによりイントラ予測モード毎の評価値の算出を並列化することができる。

また、ループ１およびループ２の繰り返し処理の一部または全部の並列化は、演算回路でなくてもソフトウェアによって実現してもよい。例えば、イントラ予測部１０８を構成するプロセッサにおいて、マルチタスク処理におけるタスクに上記の繰り返し処理を割り当ててもよいし、マルチスレッドにおけるスレッドに上記の繰り返し処理を割り当ててもよい。これによりイントラ予測モード毎の評価値の算出を実質的に並列化することができる。

また、上記説明では、ＨＥＶＣ規格が用いられる例を説明したが、複数の信号を持つ画像に対して、各々の信号ごとにイントラ予測処理を行う任意の画像符号化規格に本開示を適用できる。

また、上記では説明の便宜上、画像符号化装置１００が予測部としてイントラ予測部１０８のみを含む構成を説明したが、画像符号化装置１００は、インター予測を行う機能ブロックを含んでもよい。

また、図１では、単純に予測処理としてイントラ予測のみが用いられる場合を示したが、インターピクチャを含む入力動画像の中のイントラピクチャ、又は、インターピクチャの中で処理対象となる少なくとも１つ以上の対象イントラＣＵが集まった場合にも上記同様の処理を適用できる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

また、本開示に係る画像符号化方法は、動画像中のピクチャであって、輝度または色を表す第１の信号と色差または色を表す第２の信号とを含むピクチャを取得し、前記取得したピクチャを符号化する画像符号化方法であって、前記取得したピクチャを分割することにより、少なくとも１つのイントラ予測の処理単位である処理ブロックを生成し（図２、Ｓ１０３）、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群（図４）の中から１つのイントラ予測モードを選択する第１のイントラ予測を行い（図３、Ｓ１１１〜Ｓ１１５）、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群（６ｂ／７ｂ）の中から１つのイントラ予測モードを選択する第２のイントラ予測を行い（図３、Ｓ２１１〜Ｓ２１５）、前記第１のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第１の信号の成分を予測符号化する第１の符号化と、前記第２のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第２の信号の成分を予測符号化する第２の符号化とを行い（図３、Ｓ１１７、Ｓ１１８）、前記第２の候補群（６ｂ／７ｂ）は、前記第２のイントラ予測と前記第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする前記部分集合であり、前記第１のイントラ予測と前記第２のイントラ予測とは並列に処理される（図３、図８Ｂ）。

これにより、第１のイントラ予測と第２のイントラ予測とを並列処理することができ、イントラ予測の高速化を実現することができる。

例えば、前記第１の信号は、輝度を表し、前記第２の信号は、色差を表してもよい。

これにより、輝度イントラ予測と色差イントラ予測とを並列処理できるので、処理の高速化を実現できる。

例えば、前記第１の候補群は、ＨＥＶＣ規格で定められたモード０からモード３４までの３５個のイントラ予測モードをメンバーとし、前記依存性を持つイントラ予測モードは、前記ＨＥＶＣ規格で定められたモード２からモード９、モード１１からモード２５、および、モード２７からモード３４であり、前記第２の候補群（小テーブル６ｂ参照）は、前記ＨＥＶＣ規格で定められたモード０、モード１、モード１０、および、モード２６をメンバーとする前記部分集合であってもよい。

これにより、当該画像符号化方法は、ＨＥＶＣ規格に準拠した符号列を高速に処理できる。

例えば、前記第１の候補群は、ＨＥＶＣ規格で定められたモード０からモード３４までの３５個のイントラ予測モードをメンバーとし、前記依存性をもつイントラ予測モードは、前記ＨＥＶＣ規格で定められたモード２からモード９、モード１１からモード２５、および、モード２７からモード３３であり、前記第２の候補群（小テーブル７ｂ参照）は、前記ＨＥＶＣ規格で定められたモード０、モード１、モード１０、モード２６、および、モード３４をメンバーとする前記部分集合であってもよい。

これにより、当該画像符号化方法は、ＨＥＶＣ規格に準拠した符号列を高速に処理できる。

また、本開示に係る画像符号化装置は、動画像中のピクチャであって、輝度または色を表す第１の信号と色差または色を表す第２の信号とから構成されるピクチャを取得し、前記取得したピクチャを符号化する画像符号化装置であって、前記取得したピクチャを分割することにより、少なくとも１つのイントラ予測の処理単位である処理ブロックを生成する分割部と、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群の中から１つのイントラ予測モードを選択する第１のイントラ予測を行い、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群の中から１つのイントラ予測モードを選択する第２のイントラ予測を行うイントラ予測部とを備え、前記イントラ予測部は、前記第１のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第１の信号の成分を予測符号化する第１の符号化と、前記第２のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第２の信号の成分を予測符号化する第２の符号化とを行い、前記第２の候補群は、前記第２のイントラ予測と前記第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする前記部分集合であり、前記第１のイントラ予測と前記第２のイントラ予測とは並列に処理される。

これにより、第１のイントラ予測と第２のイントラ予測とを並列処理することができ、イントラ予測の高速化を実現することができる。

なお、これらの全般的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記のフローチャートに示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示は、画像符号化方法及び画像符号化装置に適用可能である。具体的には、レコーダ、デジタルカメラ又はタブレット端末装置などに、本開示は適用可能である。

１００ 画像符号化装置
１０１ ピクチャバッファ
１０２ ピクチャ分割部
１０３ 減算部
１０４ 予測残差符号化部
１０５ 係数符号列生成部
１０６ 予測残差復号化部
１０７ 加算部
１０８ イントラ予測部
１１４ 量子化値決定部
１１５ ヘッダ符号列生成部

Claims (5)

1. 動画像中のピクチャであって、輝度または色を表す第１の信号と色差または色を表す第２の信号とを含むピクチャを取得し、前記取得したピクチャを符号化する画像符号化方法であって、
   前記取得したピクチャを分割することにより、少なくとも１つのイントラ予測の処理単位である処理ブロックを生成し、
   前記処理ブロックの各々に対して、処理ブロックに含まれる前記第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群の中から１つのイントラ予測モードを選択する第１のイントラ予測を行い、
   前記処理ブロックの各々に対して、処理ブロックに含まれる前記第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群の中から１つのイントラ予測モードを選択する第２のイントラ予測を行い、
   前記第１のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第１の信号の成分を予測符号化する第１の符号化と、前記第２のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第２の信号の成分を予測符号化する第２の符号化とを行い、
   前記第２の候補群は、前記第２のイントラ予測と前記第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする前記部分集合であり、
   前記第１のイントラ予測と前記第２のイントラ予測とは並列に処理される
   画像符号化方法。
2. 前記第１の信号は、輝度を表し、
   前記第２の信号は、色差を表す
   請求項１に記載の画像符号化方法。
3. 前記第１の候補群は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格で定められたモード０からモード３４までの３５個のイントラ予測モードをメンバーとし、
   前記依存性を持つイントラ予測モードは、前記ＨＥＶＣ規格で定められたモード２からモード９、モード１１からモード２５、および、モード２７からモード３４であり、
   前記第２の候補群は、前記ＨＥＶＣ規格で定められたモード０、モード１、モード１０、および、モード２６をメンバーとする前記部分集合である
   請求項１または２に記載の画像符号化方法。
4. 前記第１の候補群は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格で定められたモード０からモード３４までの３５個のイントラ予測モードをメンバーとし、
   前記依存性をもつイントラ予測モードは、前記ＨＥＶＣ規格で定められたモード２からモード９、モード１１からモード２５、および、モード２７からモード３３であり、
   前記第２の候補群は、前記ＨＥＶＣ規格で定められたモード０、モード１、モード１０、モード２６、および、モード３４をメンバーとする前記部分集合である
   請求項１または２に記載の画像符号化方法。
5. 動画像中のピクチャであって、輝度または色を表す第１の信号と色差または色を表す第２の信号とから構成されるピクチャを取得し、前記取得したピクチャを符号化する画像符号化装置であって、
   前記取得したピクチャを分割することにより、少なくとも１つのイントラ予測の処理単位である処理ブロックを生成する分割部と、
   前記処理ブロックの各々に対して、処理ブロックに含まれる前記第１の信号の成分に応じて、複数のイントラ予測モードを含む第１の候補群の中から１つのイントラ予測モードを選択する第１のイントラ予測を行い、前記処理ブロックの各々に対して、処理ブロックに含まれる前記第２の信号の成分に応じて、前記複数のイントラ予測モードの部分集合である第２の候補群の中から１つのイントラ予測モードを選択する第２のイントラ予測を行うイントラ予測部とを備え、
   前記イントラ予測部は、前記第１のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第１の信号の成分を予測符号化する第１の符号化と、前記第２のイントラ予測において選択したイントラ予測モードを用いることにより前記処理ブロック内に含まれる前記第２の信号の成分を予測符号化する第２の符号化とを行い、
   前記第２の候補群は、前記第２のイントラ予測と前記第１のイントラ予測との間で依存性を持つイントラ予測モード以外のイントラ予測モードをメンバーとする前記部分集合であり、
   前記第１のイントラ予測と前記第２のイントラ予測とは並列に処理される
   画像符号化装置。

Images