JP6435822B2 - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

Description

本発明は、例えば、動画像データに含まれるピクチャを複数の領域に分割し、領域ごとに符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。

このような動画像符号化方式は、ピクチャを分割したブロックごとに、動き探索処理と、離散コサイン変換(discrete cosine transform, DCT)などの直交変換処理と、エントロピー符号化処理などを組み合わせることで、圧縮処理を実現している。そのため、動画像データを符号化するための演算量は膨大となる。特に、ISO/IECとITU-Tが共同で標準化しているHigh Efficiency Video Coding(HEVC)は、H.264/MPEG-4 AVCの２倍近い圧縮効率を達成するが、H.264/MPEG-4 AVCと比較して、動画像データを符号化するための演算量はさらに増加している。そのため、クロック周波数が低いプロセッサで、これらの動画像符号化処理を実行するには、動画像データを複数の部分データ（例えば、動画像データに含まれる各ピクチャを分割した複数のスライス）に分割し、部分データごとに符号化する並列処理が有用である。

HEVCでは、ピクチャを分割する単位として、スライスとともに、タイル（Tile）が新たに導入されている。タイルは、スライスと異なり、垂直方向にもピクチャを分割するように設定可能である。例えば、タイルは、矩形形状に設定される。

動画像データを効率的に符号化するためには、ピクチャを分割した複数の領域のそれぞれについての符号化処理に要する時間を等しくすればよい。しかし、符号化の単位となるブロックごとに符号化処理に要する時間（以下、「符号化処理時間」と呼ぶ。）が異なるため、単に各領域に含まれるブロックの数を同一にしても、各領域についての符号化処理に要する時間は等しくならない。

一方、並列処理単位に分割された各領域での統計的性質が近くなるように、ピクチャを複数の領域に分割する技術が知られている（例えば、特許文献１を参照）。

特開平７−１２３２７０号公報

符号化処理には、符号量に応じて処理時間が変動する処理のみならず、符号量に関わらず処理時間が一定となる処理が含まれている。しかし、特許文献１に記載の技術は、この点を一切考慮することなく、各領域での統計的性質のみに基づいてピクチャを複数の領域に分割しているため、各領域の符号化処理に要する時間を適切に均等化することができなかった。

そこで、本明細書は、動画像データに含まれるピクチャを分割した各領域を符号化するのに要する時間を均等化することができる動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、そのブロックを符号化したときに得られる符号量の推定値を求める符号量推定部と、複数のブロックのそれぞれごとに、そのブロックを符号化するのに要する符号化処理時間を、符号量の推定値と、符号化処理時間のうち符号量に関わらず一定の定常処理時間とに応じて推定する符号化処理時間推定部と、複数のブロックのそれぞれごとに推定した符号化処理時間に基づいて、ピクチャを、それぞれ１以上のブロックを含む複数の領域に分割する領域分割部と、複数の領域のうちの互いに異なる領域を符号化する複数の符号化部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、動画像データに含まれるピクチャを分割した各領域を符号化するのに要する時間を均等化することができる。

HEVCによる、ピクチャの分割の一例を示す図である。 一つの実施形態による動画像符号化装置の概略構成図である。 分割部の構成図である。 符号量と符号化処理時間との関係をモデル化したグラフである。 実施形態における、ピクチャの分割を例示する説明図である。 符号化部の構成図である。 動画像符号化処理の動作フローチャートである。 変形例による分割部の構成図である。 実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、動画像符号化装置について説明する。発明者は、動画像データに含まれるピクチャを分割した各ブロックの符号化処理時間のうち、符号量によらずに一定となる処理に要する時間の占める割合が、符号量に応じて変動する処理に要する時間の占める割合よりも高いことを見出した。そこで、この動画像符号化装置は、各ブロックについて符号量に応じて変動する処理の時間に換算される符号量の推定値のみならず、符号量によらずに一定となる処理の時間も考慮して、符号化処理時間を推定する。そしてこの動画像符号化装置は、各ブロックの符号化処理時間に基づいて、ピクチャを分割した複数の領域のそれぞれに含まれるブロックの符号化処理時間の合計が等しくなるように、各領域に含まれるブロックの範囲を決定する。そしてこの動画像符号化装置は、各領域を互いに異なる符号化部で符号化する。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

本実施形態において、この動画像符号化装置は、HEVCに従うが、本発明はこれに限定されるものではなく、MPEG-2、MPEG-4、あるいはH.264 MPEG-4 AVC等に従うものであってもよい。

最初に、HEVCによるピクチャ分割について説明する。図１は、HEVCによる、ピクチャの分割の一例を示す図である。

図１に示されるように、ピクチャ１００は、符号化ブロックCTU単位で分割され、各CTU１０１は、ラスタスキャン順に符号化される。CTU１０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU１０１のサイズは、シーケンス単位で一定とされる。

CTU１０１は、さらに、四分木構造で複数のCoding Unit（CU）１０２に分割される。一つのCTU１０１内の各CU１０２は、Zスキャン順に符号化される。CU１０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU１０２は、符号化モードであるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。なお、イントラ予測符号化モードでは、動画像符号化装置は、符号化対象ブロックが含まれるピクチャ内の既に符号化された領域の情報を用いて予測ブロックを生成する。そして動画像符号化装置は、生成された予測ブロックと符号化対象ブロック間の予測誤差信号を符号化する。一方、インター予測符号化モードでは、動画像符号化装置は、符号化対象ブロックが含まれるピクチャよりも前に既に符号化された他のピクチャ上で符号化対象ブロックに最も近い領域の情報を用いて予測ブロックを生成する。そして動画像符号化装置は、生成された予測ブロックと符号化対象ブロック間の予測誤差信号を符号化する。CU１０２は、Prediction Unit（PU）１０３単位またはTransform Unit（TU）１０４単位で個別に処理される。PU１０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU１０３は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU１０３のサイズは、例えば、インター予測符号化では、PU分割モードPartMode =2Nx2N, NxN, 2NxN, Nx2N, 2NxU, 2NxnD, nRx2N, nLx2Nの中から選択できる。一方、TU１０４は、直交変換の単位であり、TU１０４のサイズは、4x4画素〜32x32画素の中から選択される。TU１０４は、四分木構造で分割され、Zスキャン順に処理される。

図２は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、分割部１０と、ｎ個の符号化部１１−１〜１１−ｎ（ｎは２以上の整数）と、結合部１２と、共有メモリ１３とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、分割部１０、符号化部１１−１〜１１−ｎ、及び結合部１２は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

分割部１０には、動画像符号化装置１全体を制御する制御部（図示せず）により設定されたピクチャの順序に従って、各ピクチャが順次入力される。そして分割部１０は、ピクチャが入力される度に、各符号化部１１−１〜１１−ｎでの処理負担が均等化するように、そのピクチャをｎ個の領域に分割する。分割部１０により分割されたピクチャの各領域には、それぞれラスタスキャン順に連続した複数の符号化対象CTUが含まれている。分割部１０により分割されたピクチャの各領域は、それぞれ、各符号化部１１−１〜１１−ｎに入力される。なお、分割部１０の詳細については後述する。

符号化部１１−１〜１１−ｎは、それぞれ、互いに独立して、入力された領域を符号化することで、符号化データストリームを生成する。符号化部１１−１〜１１−ｎは、符号化データを結合部１２へ出力する。なお、符号化部１１−１〜１１−ｎの詳細については後述する。

結合部１２は、符号化部１１−１〜１１−ｎから受け取った、各領域の符号化データを、ラスタスキャン順に並べて結合するとともに、HEVCに準拠した所定のヘッダ情報を付加することで、一つのピクチャの符号化データを生成する。さらに結合部１２は、ピクチャごとの符号化順序に従って、各ピクチャの符号化データストリームを結合する。そして結合部１２は、その結合されたデータストリームに所定の符号化データのフォーマットに従ってヘッダ情報などを付加することで、符号化された動画像のデータストリームを生成し、そのデータストリームを出力する。

共有メモリ１３は、符号化部１１−１〜１１−ｎのそれぞれからアクセス可能な、読み書き可能なメモリ回路であり、複数の符号化部で共有される情報を記憶する。例えば、共有メモリ１３は、符号化したピクチャを復号して得られた参照ピクチャを記憶する。参照ピクチャは、各符号化部が復号した領域に含まれる各画素の値を共有メモリ１３に書き込むことで生成される。

共有メモリ１３は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、符号化順序が古い参照ピクチャから順に破棄する。

以下、分割部１０の詳細について説明する。図３は、分割部の構成図である。分割部１０は、符号量推定部４１と、定常処理時間記憶部４２と、符号化処理時間推定部４３と、領域分割部４４とを有する。

分割部１０は、符号化対象のピクチャをCTU単位で分割し、各CTUを符号量推定部４１と領域分割部４４とへ渡す。

符号量推定部４１は、CTUごとに、CTUを符号化したときに得られるデータ量（以下、「符号量」と呼ぶ。）の推定値を求める。ここで、CTUを符号化するのに要する処理時間（以下、「符号化処理時間」と呼ぶ。）のうち、逆量子化処理、逆直交変換処理、及び可変長符号化処理に要する処理時間は、その符号量に応じて変動する。符号量推定部４１は、このような符号量に応じて変動する処理時間（以下、「変動処理時間」と呼ぶ。）を推定するために、CTUごとに符号量の推定値を求める。

本実施形態において、符号量推定部４１は、着目するCTUを分割するCU、PU及びTUのサイズの組み合わせとして、符号化対象のピクチャの直前に符号化された参照ピクチャのサイズの組み合わせを適用する。

あるいは、符号量推定部４１は、着目するCTUを分割するCU、PU及びTUのサイズの組み合わせを、直前に符号化された参照ピクチャだけでなく、それよりも前に符号化された複数枚（例えば１０枚）の参照ピクチャを用いて決めてもよい。例えば、符号量推定部４１は、着目するCTUを分割するCU、PU及びTUのサイズの組み合わせを、そのCTUと同じ位置にある各参照ピクチャ上の領域でのCU、PU及びTUのサイズの組み合わせうち、最頻値となるCU、PU及びTUのサイズの組み合わせとする。

あるいはまた、符号量推定部４１は、着目するCTUを分割するCU、PU及びTUのサイズとして、予め決められた代表的なサイズを用いてもよい。例えばCUのサイズは、CTUのサイズ（例えば64x64画素〜32x32画素）の半分のサイズとすればよい。また、PUのサイズは、16x16画素〜32x32画素の中のいずれかのサイズとし、TUのサイズは、8x8画素〜16x16画素の中のいずれかのサイズとすればよい。

符号量推定部４１は、例えば、CTUに含まれるTUごとに、そのTUと予測ブロック間の対応画素間の予測誤差に基づいて符号量を推定する。符号量推定部４１は、図示しない制御部から取得した符号化対象ピクチャのタイプを示す情報に基づいて、そのCTU内の各TUの予測ブロックを求める。

符号化対象ピクチャのタイプがイントラ予測符号化モードのみ適用可能なIピクチャであれば、符号量推定部４１は、着目するTUと同じ位置にある参照ピクチャ上の領域を、そのTUの予測ブロックとする。

一方、符号化対象ピクチャのタイプがPピクチャまたはBピクチャであれば、符号量推定部４１は、着目するTUに対応するPUについて、そのPUと同じ位置にある参照ピクチャ上のPUに動きベクトルが作成されているか否かを判定する。符号量推定部４１は、動きベクトルが作成されていない場合、着目するTUと同じ位置にある参照ピクチャ上の領域を、そのTUの予測ブロックとする。一方、動きベクトルが作成されている場合、符号量推定部４１は、着目TUに対応するPUと同じ位置にある参照ピクチャ上のPUの動きベクトルを、着目するTUに対応するPUの動きベクトルとして参照ピクチャを動き補償することで予測ブロックを生成する。

符号量推定部４１は、着目するCTU内のTUごとに、TUに含まれる画素の値と、対応する予測ブロックに含まれる画素の値との画素差分絶対値和SADを算出する。なお、符号量推定部４１は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。そして符号量推定部４１は、各TUについて算出された画素差分絶対値和の総和ΣSADを、着目するCTUの符号量の推定値として算出する。なお、符号量推定部４１は、着目するCTU内のPUごと、あるいはCUごとに画素差分絶対値和SADを算出し、その総和ΣSADを、着目するCTUの符号量の推定値としてもよい。

なお、符号量推定部４１は、TUあるいはPUごとに複数の予測ブロックを求め、そのTUあるいはPUと、それらの予測ブロックのそれぞれについて、画素差分絶対値和SADを求めてもよい。そして符号量推定部４１は、各予測ブロックについて算出された画素差分絶対値和SADのうちの最小値を、総和ΣSADの算出に利用する、そのTUあるいはPUの画素差分絶対値和SADとしてもよい。

この場合も、符号量推定部４１は、着目するTUあるいはPUと同じ位置にある参照ピクチャ上の領域を、そのTUあるいはPUの予測ブロックの一つとする。さらに、符号量推定部４１は、着目するPUと同じ位置にある参照ピクチャ上のPUについて適用された予測モードに従い、着目するPUの左側または上側に隣接する、符号化前の画素を用いて、そのPUの予測ブロックを生成してもよい。さらに、符号量推定部４１は、着目するPUと同じ位置にある参照ピクチャ上のPUの左側または上側に隣接する画素から、そのPUの予測モードに従って予測ブロックを生成してもよい。

さらに、符号量推定部４１は、符号化対象のピクチャのタイプがPピクチャまたはBピクチャである場合、着目するPUの動きベクトルとして、そのPUと同じ位置にある参照ピクチャ上のPU及び隣接する各PUのそれぞれの動きベクトルを共有メモリ１３から読み込む。そして符号量推定部４１は、読み込んだ動きベクトルのそれぞれについて、着目するPUの動きベクトルとして参照ピクチャを動き補償することで予測ブロックを生成する。

あるいは、符号量推定部４１は、着目するPUについて、そのPUと同じ位置にある参照ピクチャ上のPUの動きベクトルを着目するPUの動きベクトルとして示される参照ピクチャ上の領域を中心とする、所定範囲を設定してもよい。そして符号量推定部４１は、着目するPUと、その所定範囲とで相対的な位置をずらしながら画素差分絶対値和SADを算出し、その最小値を求めてもよい。そして符号量推定部４１は、その最小値と、他の予測ブロックについて算出された画素差分絶対値和SADを比較して、小さい方を、総和ΣSADの算出に利用する、そのTUあるいはPUの画素差分絶対値和SADとしてもよい。

符号量推定部４１は、着目するTUあるいはPUについて、そのTUあるいはPUについて求められた複数の予測ブロックのそれぞれごとに、画素差分絶対値和SADを算出する。そして符号量推定部４１は、複数の予測ブロックのそれぞれについて算出した画素差分絶対値和SADのうち、最小となる画素差分絶対値和SADを、総和ΣSADの算出に利用する、そのTUあるいはPUの画素差分絶対値和SADとする。

そして符号量推定部４１は、各TUあるいは各PUについて最小となる画素差分絶対値和の総和ΣSADを、着目するCTUの符号量の推定値として算出すればよい。
あるいはまた、符号量推定部４１は、符号化対象ピクチャの着目するCTUについて、直前に符号化された参照ピクチャ上の着目するCTUと同一位置にあるCTUの符号量を、着目するCTUの符号量の推定値としてもよい。

符号量推定部４１は、CTUごとに求めた符号量の推定値を符号化処理時間推定部４３へ渡す。

定常処理時間記憶部４２は、符号化処理時間のうち、符号量に関わらず一定の処理時間(定常処理時間)を記憶する。この定常処理時間は、着目するCTU内のTUごとに得られるTUと対応する予測ブロック間の各画素の差分値が全て０となる場合に、CTUを符号化したときに要する符号化処理時間と等しい。

本実施形態において、定常処理時間は、符号化部の実装により決まる処理時間として、プログラムの実行ステップ数や回路等のハードウェアの実行クロック数に基づいて予め求められている。

符号化処理時間推定部４３は、符号量推定部４１がCTUごとに求めた符号量の推定値と、定常処理時間記憶部４２に記憶されている定常処理時間とから、CTUごとに符号化処理時間を推定する。

本実施形態において、符号化処理時間推定部４３は、CTUごとに求めた符号量の推定値を変動処理時間に換算するとともに、換算した変動処理時間と定常処理時間とを重み付加算する。これにより、符号化処理時間推定部４３は、各CTUの符号化処理時間AVE[i]を次式に従って推定する。
AVE[i] = A×b[i] + B×Tb （１）
ここで、iは、ピクチャの左上を先頭としてラスタスキャン順に付されたCTUのインデックスである。b[i]は、インデックスiのCTUの符号量の推定量である。Tbは、定常処理時間である。Aは、符号量の推定値b[i]を変動処理時間に換算するための係数である。すなわち、A×b[i]は、変動処理時間である。Bは、変動処理時間A×b[i]に定常処理時間Tbを重み付加算するための係数である。

係数A及びBは、符号化部１１−１〜１１−ｎの実装に依存して決まる。そのため、係数A及びBは、その実装に応じた、符号化処理時間のうちに占める変動処理時間と定常処理時間とのそれぞれの割合に基づいて予め求められている。本実施形態では、係数A=0.3であり、係数B=0.7である。

図４は、符号量b[i]と符号化処理時間AVE[i]との関係をモデル化したグラフである。図４に示すように、変動処理時間４００は、符号量の推定値b[i]に比例して増大する一方で、定常処理時間４０１は、符号量の推定値b[i]に関わらず一定となっている。そして変動処理時間４００と定常処理時間４０１とを重み付加算した符号化処理時間AVE[i]は、図４に示すように、符号量の推定値b[i]に伴って増大する。

符号化処理時間推定部４３は、CTUごとに推定した符号化処理時間AVE[i]を領域分割部４４に渡す。

領域分割部４４は、各CTUの符号化処理時間AVE[i]に基づいて、ｎ個（ｎは符号化部の数）の領域のそれぞれにごとに求められる、領域内のCTUの符号化処理時間AVE[i]の合計のうちの最大値と最小値との差が最小となるように、ピクチャをｎ個の領域に分割する。

本実施形態において、領域分割部４４は、ｎ個の領域のそれぞれにごとに求められる、領域内のCTUの符号化処理時間AVE[i]の合計のうちの最大値と最小値との差が最小となるように、各領域の開始点及び終了点となるCTUをそれぞれ選択する。そして領域分割部４４は、領域ごとに、選択したCTUに基づいて、ラスタスキャン順に連続した複数のCTUを含む範囲を決定して、ピクチャをｎ個の領域に分割する。

なお、各符号化部の処理能力が同一でない場合には、領域分割部４４は、処理能力が高い符号化部ほど、その符号化部に割り当てる領域についてのCTUの符号化処理時間AVE[i]の合計が大きくなるように、ピクチャを複数の領域に分割してもよい。

図５は、実施形態における、ピクチャの分割を例示する説明図である。領域５００−ｘ（１≦ｘ≦ｎ）では、開始点となるCTUとしてインデックスi(x-1)のCTUが、終了点となるCTUとしてインデックスix-1のCTUがそれぞれ選択されている。そして、領域５００−ｘに含まれるCTUとして、ラスタスキャン順に連続したインデックスi(x-1)〜ix-1のCTUが決定され、ピクチャがｎ個の領域５００−１〜５００−ｎに分割される。

領域分割部４４により分割されたピクチャのｎ個の領域は、それぞれ、異なる領域を互いに独立して符号化するｎ個の符号化部１１−１〜１１−ｎの何れかに入力される。

以下、符号化部１１−１〜１１−ｎの詳細について説明する。符号化部１１−１〜１１−ｎは、同一の構成及び同一の機能を有するので、以下では、符号化部１１−１についてのみ説明する。

符号化部１１−１は、入力された領域内に含まれる複数のCTUを、ラスタスキャン順でCTUごとに符号化する。

図６は、符号化部１１−１の構成図である。符号化部１１−１は、予測誤差算出部２１と、直交変換部２２と、量子化部２３と、可変長符号化部２４と、復号部２５と、記憶部２９と、動きベクトル計算部３０と、符号化モード判定部３１と、予測ブロック生成部３２と、ループフィルタ部３３とを有する。さらに、復号部２５は、逆量子化部２６と、逆直交変換部２７と、加算部２８とを有する。

予測誤差算出部２１には、符号化対象CTUに含まれる各CUが順次入力される。そして予測誤差算出部２１は、符号化対象CTU内のCUごとに、そのCU内の各TUについて、予測ブロック生成部３２により生成された予測ブロックとの差分演算を実行する。そして予測誤差算出部２１は、その差分演算により得られたTU内の各画素に対応する差分値を、そのTUの予測誤差信号とする。なお、上記では、TU単位で差分演算を行う例で説明したが、予測誤差算出部２１は、差分演算の処理をCU単位またはPU単位で実行してもよい。

直交変換部２２は、CU内のTUごとに、そのTUの予測誤差信号を直交変換することで予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す直交変換係数を求める。例えば、直交変換部２２は、予測誤差信号に対して、直交変換処理としてDiscrete Cosine Transform (DCT)を実行することにより、直交変換係数として、DCT係数を得る。

量子化部２３は、直交変換部２２により得られたTUごとの直交変換係数を量子化することにより、量子化された直交変換係数を算出する。

この量子化処理は、一定区間（量子化幅）に含まれる信号値を一つの信号値で表す処理である。量子化部２３は、量子化パラメータに基づいて決定される量子化ステップと量子化された直交変換係数の周波数ごとの重みを調整する行列とをパラメータとして決定される量子化幅で直交変換係数を量子化する。なお、量子化パラメータの値は、例えば、制御部（図示せず）により、CUに対して設定される符号量に応じて決定され、その制御部から通知される。

量子化部２３は、量子化された直交変換係数を可変長符号化部２４及び復号部２５へ出力する。

可変長符号化部２４は、量子化係数を可変長符号化する。さらに、可変長符号化部２４は、予測ブロックの作成に利用された動きベクトルなどの情報も可変長符号化する。そして可変長符号化部２４は、その可変長符号化によって得られた符号化ビットを、HEVCなどに従って所定の順序に並べたビットストリームを出力する。なお、可変長符号化部２４は、可変長符号化方式として、Context-based Adaptive Variable Length Coding (CAVLC)といったハフマン符号化処理あるいはContext-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いることができる。
可変長符号化部２４は、得られたビットストリームを結合部１２へ出力する。

復号部２５は、各TUの量子化された直交変換係数から、そのTUよりも後のCUなどを符号化するために参照される参照ブロックを生成し、その参照ブロックを記憶部２９に記憶する。
そのために、復号部２５の逆量子化部２６は、各TUの量子化された直交変換係数を逆量子化する。そして逆量子化部２６は、各TUの復元された直交変換係数を復号部２５の逆直交変換部２７へ出力する。

逆直交変換部２７は、TUごとに、復元された直交変換係数に対して逆直交変換を行う。例えば、直交変換部２２が直交変換としてDCTを用いている場合、逆直交変換部２７は、逆直交変換として逆DCT処理を実行する。これにより、逆直交変換部２７は、TUごとに、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号を復元する。
逆直交変換部２７は、TUごとの復元された予測誤差信号を復号部２５の加算部２８へ出力する。

加算部２８は、TUごとに、そのTUの予測ブロックの各画素値に、復元された予測誤差信号を加算することで、その後に符号化されるCUなどに対する予測ブロックを生成するために利用される参照ブロックを生成する。
加算部２８は、参照ブロックを生成する度に、その参照ブロックを記憶部２９に記憶させる。

記憶部２９は、加算部２８から受け取った参照ブロックを一時的に記憶する。記憶部２９は、符号化モード判定部３１、予測ブロック生成部３２及びループフィルタ部３３に、参照ブロックを供給する。また、符号化部１１−１は、復号された符号化部１１−１による符号化対象の領域に含まれる各画素の値、並びにその領域に含まれる各CTU内の各PUについて求められた動きベクトル及び予測モードを共有メモリ１３に書き出す。

動きベクトル計算部３０は、インター予測符号化用の予測ブロックを生成するために、符号化対象CU内のPUごとに、そのPUと、共有メモリ１３から読み込んだ参照ピクチャとを用いて、動きベクトルを求める。動きベクトルは、PUと、そのPUに最も類似する参照ピクチャ上の領域間の空間的な移動量を表す。

動きベクトル計算部３０は、PUと、参照ピクチャとのブロックマッチングを実行することにより、そのPUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定する。そして動きベクトル計算部３０は、符号化対象ピクチャ上のPUの位置と、そのPUに最も一致する参照ピクチャ上の領域との水平方向及び垂直方向の移動量を動きベクトルとする。
動きベクトル計算部３０は、求めた動きベクトルと、参照ピクチャの識別情報を、符号化モード判定部３１、予測ブロック生成部３２及び予測誤差算出部２１へ渡す。

符号化モード判定部３１は、符号化対象CTUを分割するCU、PU及びTUのサイズ及び予測ブロックの生成に適用する予測条件を決定する。符号化モード判定部３１は、例えば、図示しない制御部から取得した、符号化対象CUが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのCTUの予測符号化モードを決定する。符号化対象のピクチャのタイプが、イントラ予測符号化モードのみの適用が可能なIピクチャであれば、符号化モード判定部３１は、適用される符号化モードとしてイントラ予測符号化モードを選択し、符号量が最小となる予測モードを選択する。また、符号化対象のピクチャのタイプがPピクチャまたはBピクチャであれば、符号化モード判定部３１は、例えば、適用される符号化モードとして、インター予測符号化モード及びイントラ予測符号化モードの何れかを選択する。なお、Pピクチャは、片方向のインター予測符号化を適用可能なピクチャであり、Bピクチャは、双方向及び片方向のインター予測符号化を適用可能なピクチャである。

符号化モード判定部３１は、CU、PU及びTUの適用可能なサイズと適用可能な予測条件の組み合わせのそれぞれについて、符号化対象CTUの符号化されたデータ量の推定値である符号化コストを算出する。例えば、符号化モード判定部３１は、インター予測符号化モードについては、CTUを分割するCU、PU及びTUのサイズ及び動きベクトルの予測ベクトルの生成方法を規定するベクトルモードの組み合わせごとに符号化コストを算出する。また、イントラ予測符号化モードについては、符号化モード判定部３１は、CTUを分割するCU、PU及びTUのサイズ及び予測モードの組み合わせごとに符号化コストを算出する。

符号化モード判定部３１は、例えば、着目する組み合わせの符号化コストを算出するために、次式に従って、その組み合わせに含まれるTUごとに、画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、TUに含まれる画素の値であり、PredPixelは、着目するブロックに対応する予測ブロックに含まれる画素の値である。予測ブロックは、着目する組み合わせに含まれる予測条件に従って、符号化済みの参照ピクチャまたは符号化済みの他のブロックから生成される。

符号化モード判定部３１は、着目する組み合わせについて、次式に従って符号化コストCostを算出する。
Cost = ΣSAD+λR
ここで、ΣSADは、符号化対象のCTUに含まれる各TUについて算出されたSADの総和である。またRは、動きベクトル、予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλは定数である。

なお、符号化モード判定部３１は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。

そして符号化モード判定部３１は、符号化コストが最小となるように、符号化対象CTU内のCU単位でイントラ予測符号化モードとインター予測符号化モードを選択する。さらに、符号化モード判定部３１は、各CU内の各PU及びTUの組み合わせごとに符号化コストが最小となる予測モードまたはベクトルモードを選択する。

符号化モード判定部３１は、選択したCU、PU及びTUのサイズ及び予測条件の組み合わせを直交変換部２２、予測ブロック生成部３２に通知する。

予測ブロック生成部３２は、符号化モード判定部３１によって選択されたCU、PU及びTUのサイズ及び予測条件の組み合わせに従って各TUの予測ブロックを生成する。予測ブロック生成部３２は、例えば、CUがインター予測符号化される場合、そのCU内のPUごとに、共有メモリ１３から読み込んだ参照ピクチャを、動きベクトル計算部３０から提供される動きベクトルに基づいて動き補償する。そして予測ブロック生成部３２は、動き補償されたインター予測符号化用の予測ブロックを生成する。

また予測ブロック生成部３２は、符号化対象CUがイントラ予測符号化される場合、符号化対象CU内のPUごとに選択された予測モードを適用することで、各TUの予測ブロックを生成する。
予測ブロック生成部３２は、生成された予測ブロックを予測誤差算出部２１へ渡す。

ループフィルタ部３３は、記憶部２９に記憶されている参照ブロックに対して、ブロックノイズを低減するために、隣接する二つの参照ブロック間の境界を跨ぐようにデブロッキングフィルタ処理を実行することで、各参照ブロックの画素値を平滑化する。デブロッキング処理を行って得られた画素の値は、符号化対象ピクチャよりも後に符号化されるピクチャを符号化する際に参照される参照ピクチャの対応する画素の値となる。なお、ループフィルタ部３３は、参照ブロックに対して他のフィルタ処理、例えば、sample adaptive offsetフィルタ処理を行ってもよい。そしてループフィルタ部３３は、フィルタ処理された参照ブロックの各画素値を共有メモリ１３に書き込む。

図７は、動画像符号化装置１により実行される動画像符号化処理の動作フローチャートである。動画像符号化装置は１、ピクチャごとに、下記の動作フローチャートに従って動画像符号化処理を実行する。

まず分割部１０は、ピクチャをCTU単位に分割し、各CTUを符号量推定部４１と領域分割部４４とへ出力する（ステップＳ１０１）。

次に符号量推定部４１は、共有メモリ１３から読み込んだ参照ピクチャを用いて、CTUごとに符号量の推定値b[i]を求め、符号化処理時間推定部４３へ出力する（ステップＳ１０２）。

符号化処理時間推定部４３は、各CTUの符号量の推定値b[i]に係数Aを乗算した値と定常処理時間Tbに係数Bを乗算した値とを加算して、CTUごとに符号化処理時間AVE[i]を推定する（ステップＳ１０３）。

領域分割部４４は、各CTUの符号化処理時間AVE[i]に基づいて、ｎ個の領域のそれぞれにごとに求められる、領域内のCTUの符号化処理時間AVE[i]の合計のうちの最大値と最小値との差が最小となるように、ピクチャをｎ個の領域に分割する（ステップＳ１０４）。

続いて各符号化部１１−１〜１１−ｎは、それぞれ、互いに独立して、入力された領域を符号化することで、符号化データストリームを生成し、符号化データを結合部１２へ出力する（ステップＳ１０５）。

結合部１２は、各符号化部１１−１〜１１−ｎから出力された符号化データを結合して、ピクチャの符号化ビットストリームを生成する（ステップＳ１０６）。そして動画像符号化装置１は、一つのピクチャに対する動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置は、各ブロックについて変動処理時間に換算される符号量の推定値のみならず、符号化処理時間のうちに占める割合が変動処理時間よりも高い定常処理時間も考慮して、符号化処理時間を推定する。そして、この動画像符号化装置は、各ブロックの符号化処理時間に基づいて、ピクチャを分割した複数の領域のそれぞれに含まれるブロックの符号化処理時間の合計が等しくなるように、各領域に含まれるブロックの範囲を決定する。この動画像符号化装置は、各領域を互いに異なる符号化部で符号化する。これにより、この動画像符号化装置は、動画像データに含まれるピクチャを分割した各領域を符号化するのに要する時間を均等化することができる。

なお、変形例によれば、分割部は、全ての画素について0となる予測誤差信号についてCTUを符号化したときのCTUの符号化処理時間を計測してもよい。そして分割部は、計測した符号化処理時間を定常処理時間として用いて、CTUごとに符号化処理時間を推定してもよい。

図８は、変形例による分割部の構成図である。分割部１４は、符号量推定部４１と、符号化処理時間推定部４３と、領域分割部４４と、定常処理時間推定部４５とを有する。本変形例による分割部１４は、上記の実施形態による分割部１０と比較して、定常処理時間記憶部４２の代わりに定常処理時間推定部４５を有する点で異なる。そこで以下では、定常処理時間推定部４５及びその関連部分について説明する。動画像符号化装置のその他の構成要素については、上記の実施形態による対応する構成要素の説明を参照されたい。

定常処理時間推定部４５は、何れかのCTUについて、符号化部１１−１と同様の処理を行って、全ての画素について0となる予測誤差信号を符号化したときの符号化処理時間を計測し、計測した符号化処理時間を定常処理時間として推定する。

その際、定常処理時間推定部４５は、各画素の差分値が全て０となる場合にCTUを符号化したときのデブロッキングフィルタ処理の強度として、符号化対象のピクチャよりも前に既に符号化された複数枚の参照ピクチャでの強度の最頻値等を用いればよい。

そして符号化処理時間推定部４３は、符号量推定部４１がCTUごとに推定した符号量の推定値と、定常処理時間推定部４５が推定した定常処理時間とから、CTUごとに符号化処理時間を推定すればよい。

なお、CTUを符号化するときのCU、PU及びTUのサイズの組み合わせは、上記の実施形態に係る符号量推定部４１と同様、参照ピクチャを用いて決められるものであってもよく、あるいは、代表的なものが用いられてもよい。

他の変形例によれば、動画像符号化装置の分割部は、符号化対象ピクチャだけでなく、符号化対象ピクチャよりも前に既に符号化された他のピクチャをも用いて、各領域に含まれるCTUの範囲を決定してもよい。

本変形例において、分割部の領域分割部は、符号化対象のピクチャに含まれる各CTUの符号化処理時間に基づいて、各領域に含まれるCTUの範囲を仮決定する。次に領域分割部は、符号化対象のピクチャと、符号化対象のピクチャの直前に符号化された複数の参照ピクチャとの間で、各領域に含まれるCTUの範囲の平均値を求める。例えば領域分割部は、忘却係数を用いて、符号化対象のピクチャの直前に符号化された複数の参照ピクチャの各領域に含まれるCTUの範囲の平均値と、符号化対象のピクチャについて仮決定した各領域に含まれるCTUの範囲とを重み付平均する。そして領域分割部は、各領域に含まれるCTUの範囲が、重み付平均により得られた符号化対象のピクチャと複数の参照ピクチャとの間の平均値となるように、各領域に含まれるCTUの範囲を決定すればよい。

なお、この場合でも、符号化対象のピクチャと表示順でその直前のピクチャとの間でシーンチェンジがあるときなどには、領域分割部は、上記の各実施形態と同様に、符号化対象ピクチャそのものに基づいて、各領域に含まれるCTUの範囲を決定してもよい。例えば領域分割部は、符号化対象のピクチャと、表示順序で符号化対象のピクチャの直前のピクチャとの正規化相互相関値を求め、正規化相互相関値が所定の閾値（例えば、0.1）以下となるか否かを判別する。正規化相互相関値が所定の閾値未満であれば、シーンチェンジがあるとして、領域分割部は、符号化対象ピクチャに含まれる各CTUの符号化処理時間に基づいて、各領域に含まれるCTUの範囲を決定すればよい。

図９は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。

この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、それらのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。例えば、記憶部１０３は、上記の各実施形態またはその変形例における、共有メモリ、及び、各符号化部が有する記憶部として機能する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。なお、プロセッサ１０５は、複数の演算回路を有してもよい。この場合、各演算回路が、それぞれ、何れかの符号化部の処理を実行する。

なお、動画像符号化装置の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 動画像符号化装置
１０、１４ 分割部
１１−１〜１１−ｎ 符号化部
１２ 結合部
１３ 共有メモリ
２１ 予測誤差算出部
２２ 直交変換部
２３ 量子化部
２４ 可変長符号化部
２５ 復号部
２６ 逆量子化部
２７ 逆直交変換部
２８ 加算部
２９ 記憶部
３０ 動きベクトル計算部
３１ 符号化モード判定部
３２ 予測ブロック生成部
３３ ループフィルタ部
４１ 符号量推定部
４２ 定常処理時間記憶部
４３ 符号化処理時間推定部
４４ 領域分割部
４５ 定常処理時間推定部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ

Claims (8)

1. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求める符号量推定部と、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定する符号化処理時間推定部と、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割する領域分割部と、
   前記複数の領域のうちの互いに異なる領域を符号化する複数の符号化部と、
   を有し、
   前記領域分割部は、
   前記複数の領域のそれぞれにごとに求められる、該領域内の前記ブロックの符号化処理時間の合計のうちの最大値と最小値との差が最小となるように、前記ピクチャを該複数の領域に分割する動画像符号化装置。
2. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求める符号量推定部と、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定する符号化処理時間推定部と、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割する領域分割部と、
   前記複数の領域のうちの互いに異なる領域を符号化する複数の符号化部と、
   前記ブロックを分割した複数のサブブロックごとに得られる該サブブロックと対応する予測ブロック間の予測誤差信号が全て０となる場合に、前記ブロックを符号化するのに要する符号化処理時間を前記定常処理時間として記憶する定常処理時間記憶部と、
   を有する動画像符号化装置。
3. 前記符号化処理時間推定部は、
   前記符号量の推定値を、前記符号化処理時間のうち該符号量に応じて変動する変動処理時間に換算し、該変動処理時間と前記定常処理時間とに応じて前記符号化処理時間を推定する、請求項１または２に記載の動画像符号化装置。
4. 前記符号化処理時間推定部は、
   前記変動処理時間と前記定常処理時間とを重み付加算することにより、前記符号化処理時間を推定する、請求項３に記載の動画像符号化装置。
5. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求め、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定し、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割し、
   前記複数の領域のそれぞれを、複数の符号化部のうちの異なる符号化部に符号化させる、ことを含み、
   前記ピクチャを前記複数の領域に分割することは、前記複数の領域のそれぞれにごとに求められる、該領域内の前記ブロックの符号化処理時間の合計のうちの最大値と最小値との差が最小となるように、前記ピクチャを該複数の領域に分割する
   動画像符号化方法。
6. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求め、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定し、前記定常処理時間は、前記ブロックを分割した複数のサブブロックごとに得られる該サブブロックと対応する予測ブロック間の予測誤差信号が全て０となる場合に、前記ブロックを符号化するのに要する符号化処理時間であり、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割し、
   前記複数の領域のそれぞれを、複数の符号化部のうちの異なる符号化部に符号化させる、
   動画像符号化方法。
7. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求め、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定し、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割し、
   前記複数の領域のそれぞれを、複数の符号化部のうちの異なる符号化部に符号化させる、
   ことをコンピュータに実行させ、
   前記ピクチャを前記複数の領域に分割することは、前記複数の領域のそれぞれにごとに求められる、該領域内の前記ブロックの符号化処理時間の合計のうちの最大値と最小値との差が最小となるように、前記ピクチャを該複数の領域に分割する
   動画像符号化用コンピュータプログラム。
8. 動画像データに含まれるピクチャを分割した複数のブロックのそれぞれごとに、該ブロックを符号化したときに得られる符号量の推定値を求め、
   前記複数のブロックのそれぞれごとに、該ブロックを符号化するのに要する符号化処理時間を、前記符号量の推定値と、該符号化処理時間のうち該符号量に関わらず一定の定常処理時間とに応じて推定し、前記定常処理時間は、前記ブロックを分割した複数のサブブロックごとに得られる該サブブロックと対応する予測ブロック間の予測誤差信号が全て０となる場合に、前記ブロックを符号化するのに要する符号化処理時間であり、
   前記複数のブロックのそれぞれごとに推定した前記符号化処理時間に基づいて、前記ピクチャを、それぞれ１以上の該ブロックを含む複数の領域に分割し、
   前記複数の領域のそれぞれを、複数の符号化部のうちの異なる符号化部に符号化させる、
   ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。

Images