JP4908180B2

JP4908180B2 - 動画像符号化装置

Info

Publication number: JP4908180B2
Application number: JP2006342554A
Authority: JP
Inventors: 達朗藤澤; 義浩菊池; 裕司川島; 真吾鈴木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-12-20
Filing date: 2006-12-20
Publication date: 2012-04-04
Anticipated expiration: 2026-12-20
Also published as: US20080152004A1; JP2008154155A; US8275035B2

Description

本発明は、イントラ予測モードとインター予測モードを含む複数の予測モードから予測モード判定を行う動画像符号化装置，及び動画像符号化方法に関するものである。

動画像符号化の標準技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）のＨ．２６１やＨ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが開発されている。このＨ．２６１〜３、ＭＰＥＧ−１〜４などの技術を承継し、更に発展させた次世代動画像符号化方式として、ＩＳＯとＩＴＵが共同で標準化を行ったＨ．２６４がある（非特許文献１参照）。ところが、このＨ．２６４は、高い圧縮率を実現している反面、処理量の多さが課題となっている。特にエンコーダにおいては、デジタル放送の記録などでリアルタイムでのエンコード処理を行う場合には、非常に高い演算処理能力が要求される。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding"

ところが、上記Ｈ．２６４に基づく標準化仕様等の動画像符号化処理を実現する場合には、符号化処理全体に占める予測モード判定の処理量が多いため、装置全体の負荷が高い場合にはリアルタイムでの符号化処理が間に合わなくなり、符号化ストリームを再生した場合に、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。

特に、例えばＨＤＤＶＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等で採用されているＨ．２６４のHigh Profileでは，同じピクチャ内の画素を参照して予測画像を生成する。イントラ予測の詳細を図１０に示す。予測のブロックサイズとしてMain Profileにおいて使用出来る４×４画素、１６×１６画素に加え、High Profileでは８×８画素が追加された。よってイントラ予測の予測モードの数は、予測ブロックサイズ４×４画素の９モード、１６×１６画素の４モード、８×８画素の９モードで計２２モードとなっている。

また過去に符号化されたピクチャの画素を参照して予測画像を生成するインター予測の詳細を図１１に示す。予測画像の生成単位である予測ブロックサイズに対して、ＤＣＴ変換のブロックサイズであるＤＣＴブロックサイズが、Main Profileにおいて使用出来る４×４画素に加えて、８×８画素が８×８画素以上の予測ブロックサイズの場合に追加された。よって予測のブロックサイズを１６×１６画素、１６×８画素、８×１６画素、８×８画素に限定した場合、ＤＣＴのブロックサイズが２種類に増えたため、実質の予測モード数が４モードから８モードに増えている。

上記のように予測モードの選択肢が増えた事により、Ｈ．２６４ High Profileでは高解像度の動画像での画質が向上している。その一方で、予測モード判定は全ての予測モードから予測モードを選択するため、予測モードの選択肢が増加するに従って必要な処理量が増加してしまう。

特にインター予測が可能なＰピクチャ、Ｂピクチャでは、イントラ予測、インター予測の両方から予測モードを選択することが出来るため、予測モードの選択肢が多い。ここでＰピクチャとは、インター予測において過去に符号化された１枚のピクチャの画素を参照して予測画像を生成するピクチャのことを指し、Ｂピクチャとは、インター予測において過去に符号化された２枚のピクチャの画素を参照して予測画像を生成するピクチャのことを指す。

一般的にイントラ予測よりもインター予測の方が予測の精度が高い場合が多く、Ｐピクチャ、Ｂピクチャではインター予測の予測モードが選択される割合が高い。前述のようにイントラ予測の予測モードの総数は２２モード、インター予測の予測モードの総数は８モードであるため、あまり選択されないイントラ予測の予測モードの判定により多くの処理量が必要となり、非常に効率が悪い。

本発明は上記の問題を解決するためになされたもので、Pピクチャ、Bピクチャにおけるイントラ予測モードの予測モード判定に必要な処理量を、画質の劣化を抑えながら削減し、これによってリアルタイムでの動画像符号化処理を良好に行うことのできる動画像符号化装置を提供することを目的とする。

上記問題を解決するために、本発明の一実施形態に係る動画像符号化装置は、入力された動画像信号をフレーム毎に複数のブロックに分割するブロック分割部と、前記ブロック分割部において分割されたブロック毎に、イントラ予測の予測信号を生成するイントラ予測部と、インター予測の予測信号を生成するインター予測部と、イントラ予測とインター予測を含む複数の予測の予測モード候補の中から、最適な予測モードを選択する予測モード判定部とを備え、前記予測モード判定部は、インター予測の複数の予測モード候補からインター予測の最適な予測モード候補を選択するインター予測モード判定部と、前記イントラ予測の複数の予測モード候補から、前記インター予測のＤＣＴブロックサイズと同じＤＣＴブロックサイズを用いるイントラ予測の予測モードに候補を限定するか、または、前記インター予測の予測モードのブロックサイズと同じか、より小さな予測ブロックサイズを持つイントラ予測の予測モードに候補を限定するイントラ予測モード候補限定部と、前記イントラ予測モード候補限定部で限定された前記イントラ予測の予測モード候補からイントラ予測の最適な予測モード候補を選択するイントラ予測モード判定部と、前記イントラ予測の最適な予測モード候補又は前記インター予測の最適な予測モード候補のうちいずれかを前記最適な予測モードとして選択するイントラ・インター予測判定部とを備える。

以上のように、本発明によれば、Pピクチャ、Bピクチャにおけるイントラ予測モードの予測モード判定に必要な処理量を、画質の劣化を抑えながら削減し、これによってリアルタイムでの動画像符号化処理を良好に行うことのできる動画像符号化装置を提供することができる。

図１、図２は本発明に係る動画像符号化装置の一実施形態として、本発明をＨ．２６４に基づく標準化仕様のエンコーダに適用した場合の構成を示すブロック図である。図１はＨ．２６４エンコーダ全体のブロック図であり、図２はＨ．２６４エンコーダの予測モード判定部のブロック図である。

まず入力画像はブロック分割部１００において符号化の単位となるブロックへ分割される。そしてブロック毎にイントラ予測部１０５、及びインター予測部１０６において予測によって生成された予測画像、および復号する際に予測画像を生成するために必要な予測モード情報が生成され、それらは予測モード判定部１０４に入力される。なおインター予測部１０６において生成される予測画像は、動きベクトル探索部１０７で得られた動きベクトルによる動き補償によって得られる。

予測モード判定部１０４において、入力された複数の予測モード候補から1つの最適予測モードを決定し、最適予測モードの予測画像と予測モード情報を出力する。残差生成部１０１において、予測画像と入力画像の誤差である残差画像を生成する。ＤＣＴ変換部１０２において、残差画像をＤＣＴ変換しＤＣＴ係数を得、量子化部１０３においてＤＣＴ係数を量子化し、量子化ＤＣＴ係数を得る。量子化ＤＣＴ係数、最適予測モードの予測モード情報は、エントロピー符号化部１１３においてエントロピー符号化され、符号化ストリームを得る。

また次以降のブロックやフレームにおいて予測画像を生成するために、量子化ＤＣＴ係数は逆量子化部１０８で逆量子化され、逆ＤＣＴ変換部１０９において逆ＤＣＴ変換され、逆ＤＣＴ画像を得る。加算部１１０において、逆ＤＣＴ画像と最適予測モードの予測画像が加算され、加算画像を得る。加算画像は、イントラ予測部１０５において参照画像として用いられる。また加算画像はデブロッキングフィルタ部１１１においてデブロッキングフィルタ処理が行われ、ローカルデコード画像を得る。ローカルデコード画像はフレームメモリ部１１２に蓄えられ、インター予測部１０６において、入力画像とともに参照画像として用いられる。

予測モード判定部１０４の詳細を示した図が図２である。予測モード判定部１０４においては、イントラ予測部１０５、及びインター予測部１０６より複数の予測モード群である予測モード候補の、予測画像、および予測モード情報が入力される。インター予測部１０６より予測モード判定部１０４に入力されたインター予測の予測モード候補の予測画像、および予測モード情報は、インター予測モード判定部２０１に入力される。インター予測モード判定部２０１では、インター予測の予測モード候補からインター予測の最適予測モードを決定し、イントラ・インター予測モード判定部２０２にインター予測の最適予測モードの予測画像、予測モード情報を出力する。またイントラ予測モード候補限定部２０４に、インター予測の最適予測モードの予測ブロックサイズ、ＤＣＴブロックサイズを出力する。

一方、イントラ予測部１０５より予測モード判定部１０４に入力されたイントラ予測の予測モード候補の予測画像、および予測モード情報は、イントラ予測モード候補限定部２０４に入力される。イントラ予測モード候補限定部２０４では、インター予測モード判定部２０１より入力されたインター予測の最適予測モードの予測ブロックサイズ、ＤＣＴブロックサイズに従って、イントラ予測の予測モード候補を限定し、イントラ予測モード判定部２０３に、限定されたイントラ予測の予測モード候補の予測画像、および予測モード情報を出力する。イントラ予測モード判定部２０３では、イントラ予測モード候補限定部２０４において限定されたイントラ予測の予測モード候補からイントラ予測の最適予測モードを選択し、イントラ・インター予測モード判定部２０２にイントラ予測の最適予測モードの予測画像、および予測モード情報を出力する。イントラ・インター予測モード判定部２０２においては、最適予測モードとしてイントラ予測の最適予測モード、インター予測の最適予測モードのいずれかを選択し、予測画像と予測モード情報を出力する。

ここで、本実施形態では、イントラ予測モード候補限定部２０４において、イントラ予測モード判定部に入力されるイントラ予測の予測モード候補を限定することにより、イントラ予測モード判定部２０３における処理量を削減するものとする。予測モード候補を固定的に限定する場合、様々な性質の画像に対応出来なくなり、画質が著しく劣化してしまう可能性がある。そこでイントラ予測の予測モードの選択と相関のある、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズを元に、適応的にイントラ予測の予測モード候補を選択することにより、画質の劣化を抑えながら、予測モード判定の処理量を削減することが出来る。以下、上記の処理を実現するイントラ予測モード候補限定部２０４の具体的な処理動作を図３乃至図８を参照して説明する。

図３は、イントラ予測モード候補限定部２０４における基本処理動作の一例を示すものである。この基本処理動作の例では、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズから、イントラ予測モードの予測ブロックサイズ（４×４、８×８、１６×１６）を選択する（Ｓ１０１）。３種類の予測ブロックサイズの選択方法は、全てを行わない場合（全省略）と全てを行う（省略なし）の場合を含めると、２の３乗で８通りが考えられる。インター予測の予測ブロックサイズ、ＤＣＴブロックサイズから決められた条件（０〜８）に従って、イントラ予測モード判定を行うイントラ予測モード候補について、予測ブロックサイズ単位で選択する。以下に具体的な選択条件を示した第１の実施例、第２の実施例、第３の実施例について示す。

図４は、第１の実施例として、イントラ予測モード候補限定部２０４における処理動作を示すものである。また図５は、イントラ予測モード候補の選択方法について、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズとの関連を示したものである。行は予測ブロックサイズを示し、列はＤＣＴブロックサイズを示す。

この例では、図３に示した基本処理動作例と同様に、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズから、イントラ予測モードの予測ブロックサイズ（４×４、８×８、１６×１６）を選択する。インター予測のＤＣＴブロックサイズが８×８の場合は、８×８のＤＣＴ変換を行う予測ブロックサイズ８×８を選択する。インター予測のＤＣＴブロックサイズが４×４の場合は、インター予測の予測ブロックサイズに応じてイントラ予測の予測ブロックサイズを選択する。インター予測の予測ブロックサイズが１６×１６のように大きい場合は、イントラ予測の予測ブロックサイズも１６×１６のように大きいサイズを選択する。逆にインター予測の予測ブロックサイズが８×８のように小さい場合は、イントラ予測の予測ブロックサイズも４×４のように小さいサイズを選択する。中間の１６×８、８×１６については、イントラ予測の予測ブロックサイズに８×８を選択する（Ｓ２０１）。

第1の実施例では、後述の第２、第３の実施例と比較して単純な判定しか行っていないため、提案手法の導入のオーバーヘッドによる処理量の増加が最も少ない。
図６は、第２の実施例として、イントラ予測モード候補限定部２０４における処理動作を示すものである。また図７は、イントラ予測モード候補の選択方法について、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズとの関連を示したものである。行は予測ブロックサイズ、列はＤＣＴブロックサイズを示す。

この例では、図３に示した基本処理動作例と同様に、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズから、イントラ予測モードの予測ブロックサイズ（４×４、８×８、１６×１６）を選択する。まず符号化の対象となるマクロブロックが属するピクチャが、Ｐピクチャ、Ｂピクチャのどちらであるかを判定する（Ｓ３０１）。Ｐピクチャである場合は、実施例１の場合と同様の処理を行う（Ｓ３０２）。Ｂピクチャである場合は、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズによらず、イントラ予測の予測ブロックサイズとして１６×１６を選択する。

第２の実施例は、第１の実施例にＢピクチャの場合は無条件にイントラ予測の予測ブロックサイズを１６×１６とする条件を追加したものである。Ｂピクチャは２枚のピクチャからインター予測を行う双予測が可能であるため、Ｐピクチャよりもインター予測の予測が当たりやすい。よってＢピクチャでは、Ｐピクチャよりも更にイントラ予測モードが選択されにくい。よって無条件にイントラ予測の予測ブロックサイズを、最も予測モード数が少ない１６×１６にすることで、第１の実施例の場合よりも更に適応的な選択が可能となる。

図８は、第３の実施例として、イントラ予測モード候補限定部２０４における処理動作を示すものである。また図９は、イントラ予測モード候補の選択方法について、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズとの関連を示したものである。行は予測ブロックサイズ、列はＤＣＴブロックサイズを示す。

この例では、図３示した基本処理動作例と同様に、インター予測のブロックサイズ、ＤＣＴブロックサイズから、イントラ予測モードの予測ブロックサイズ（４×４、８×８、１６×１６）を選択する。なおこの実施例では、インター予測の予測ブロックサイズとして８×８が選択されない場合の、イントラ予測モード候補の選択方法について述べる。

まず符号化の対象となるマクロブロックが属するピクチャが、Ｐピクチャ、Ｂピクチャのどちらであるかを判定する（Ｓ４０１）。Ｐピクチャである場合は、インター予測の予測ブロックサイズが１６×１６の場合は、インター予測のＤＣＴブロックサイズが４×４の場合はイントラ予測のブロックサイズに１６×１６を、インター予測のＤＣＴブロックサイズが８×８の場合はイントラ予測の予測ブロックサイズに８×８を選択する。インター予測の予測ブロックサイズが１６×８、８×１６の場合は、インター予測のＤＣＴブロックサイズが４×４の場合は、イントラ予測の予測ブロックサイズに１６×１６と８×８を、インター予測のＤＣＴブロックサイズが８×８の場合は、イントラ予測の予測ブロックサイズに４×４と８×８を選択する（Ｓ４０２）。

Ｂピクチャである場合は、インター予測の予測ブロックサイズが１６×１６の場合は、イントラ予測のブロックサイズに１６×１６を選択する。インター予測の予測ブロックサイズが１６×８、８×１６の場合は、インター予測のＤＣＴブロックサイズが４×４の場合は、イントラ予測の予測ブロックサイズに１６×１６を、インター予測のＤＣＴブロックサイズが８×８の場合は、イントラ予測の予測ブロックサイズに８×８を選択する（Ｓ４０３）。

第３の実施例は、インター予測の予測ブロックサイズとして８×８を選択しない場合の選択方法を示したものである。これは、エンコーダの処理量削減方法として、インター予測の予測モード候補の数をあらかじめ固定的に限定することが考えられ、その条件での使用を考え、インター予測の予測ブロックサイズに８×８が選択されない場合の、イントラ予測の予測モード候補の限定方法について示した。

インター予測の予測ブロックサイズに８×８が選択されない場合、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズと、イントラ予測の予測ブロックサイズの選択の傾向が変化すると考えられる。よってインター予測の予測ブロックサイズ１６×１６、１６×８、８×１６の場合についても、イントラ予測の予測ブロックサイズの選択方法が第１、第２の実施例から変更となっている。

以上の処理手順を適用すれば、インター予測の予測ブロックサイズ、ＤＣＴブロックサイズから、画像の性質に応じてイントラ予測モードの候補を限定することで、イントラ予測モード判定を行う予測モード候補の数を適応的に削減可能となり、画質の劣化を抑えながら予測モード判定の処理量を削減することが出来る。

尚、第２の実施例、第３の実施例では、ピクチャがＰピクチャであるかＢピクチャであるかの情報に基づいてイントラ予測モードを切り換えていたが、これに限られるものではない。例えば、スライスの情報に基づいてイントラ予測モードを切り換えても良い。尚、マクロブロック、スライス、及びピクチャの関係については、図１２に示す。スライスとは1個以上のマクロブロックが連続した単位である。最大に連続した場合で１スライス＝１ピクチャとなるため、ピクチャは１個以上のスライスによって構成されることになる。また１つのピクチャ内にＩスライス、Ｐスライス、Ｂスライスなど異なるタイプのスライスを含むことも可能である。ピクチャ単位ではなくスライス単位で切り換えた場合には、より細かな単位で適応的に切り換えることが出来るため、ピクチャ単位で行う場合よりも更に画質劣化を抑えることが出来る、１つのピクチャ内に異なるタイプのスライスがあった場合にも、適応的に処理を行うことが出来るという効果が得られる。

本発明は、上記のような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置が含む特徴的な手段をステップとする動画像符号化方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

H.264エンコーダブロック図。 H.264エンコーダ予測モード判定部ブロック図。イントラ予測モード候補限定部の基本処理動作例のフローチャート。第１の実施例のイントラ予測モード候補限定部の処理動作のフローチャート。図４に示す第１の実施例の場合のイントラ予測モード候補の選択方法。第２の実施例のイントラ予測モード候補限定部の処理動作のフローチャート。図６に示す第２の実施例の場合のイントラ予測モード候補の選択方法。第３の実施例のイントラ予測モード候補限定部の処理動作のフローチャート。図８に示す第３の実施例の場合のイントラ予測モード候補の選択方法。 H.264におけるイントラ予測。 H.264におけるインター予測。マクロブロック、スライス、ピクチャについて説明するための図。

符号の説明

１００・・・ブロック分割部
１０１・・・残差生成部
１０２・・・ＤＣＴ変換部
１０３・・・量子化部
１０４・・・予測モード判定部
１０５・・・イントラ予測部
１０６・・・インター予測部
１０７・・・動きベクトル探索部
１０８・・・逆量子化部
１０９・・・逆ＤＴＣ変換部
１１０・・・加算部
１１１・・・デブロッキングフィルタ部
１１２・・・フレームメモリ
１１３・・・エントロピー符号化部
２０１・・・インター予測モード判定部
２０２・・・イントラ・インター予測モード判定部
２０３・・・イントラ予測モード判定部
２０４・・・イントラ予測モード候補限定部

Claims

入力された動画像信号をフレーム毎に複数のブロックに分割するブロック分割部と、
前記ブロック分割部において分割されたブロック毎に、イントラ予測の予測信号を生成するイントラ予測部と、
インター予測の予測信号を生成するインター予測部と、
イントラ予測とインター予測を含む複数の予測の予測モード候補の中から、最適な予測モードを選択する予測モード判定部とを備え、
前記予測モード判定部は、
インター予測の複数の予測モード候補からインター予測の最適な予測モード候補を選択するインター予測モード判定部と、
前記イントラ予測の複数の予測モード候補から、前記インター予測のＤＣＴブロックサイズと同じＤＣＴブロックサイズを用いるイントラ予測の予測モードに候補を限定するか、または、前記インター予測の予測モードのブロックサイズと同じか、より小さな予測ブロックサイズを持つイントラ予測の予測モードに候補を限定するイントラ予測モード候補限定部と、
前記イントラ予測モード候補限定部で限定された前記イントラ予測の予測モード候補からイントラ予測の最適な予測モード候補を選択するイントラ予測モード判定部と、
前記イントラ予測の最適な予測モード候補又は前記インター予測の最適な予測モード候補のうちいずれかを前記最適な予測モードとして選択するイントラ・インター予測判定部と
を備える動画像符号化装置。
入力された動画像信号をフレーム毎に複数のブロックに分割するブロック分割部と、
前記ブロック分割部において分割されたブロック毎に、イントラ予測の予測信号を生成するイントラ予測部と、
インター予測の予測信号を生成するインター予測部と、
イントラ予測とインター予測を含む複数の予測の予測モード候補の中から、最適な予測モードを選択する予測モード判定部とを備え、
前記予測モード判定部は、
インター予測の複数の予測モード候補からインター予測の最適な予測モード候補を選択するインター予測モード判定部と、
符号化の対象となるマクロブロックが属するピクチャのタイプを判定し、前記ピクチャのタイプがＰピクチャの場合、前記イントラ予測の複数の予測モード候補から、前記インター予測のＤＣＴブロックサイズと同じＤＣＴブロックサイズを用いるイントラ予測の予測モードに候補を限定するか、または、前記インター予測の予測モードのブロックサイズと同じか、より小さな予測ブロックサイズを持つイントラ予測の予測モードに候補を限定するイントラ予測モード候補限定部と、
前記イントラ予測モード候補限定部で限定された前記イントラ予測の予測モード候補からイントラ予測の最適な予測モード候補を選択するイントラ予測モード判定部と、
前記イントラ予測の最適な予測モード候補又は前記インター予測の最適な予測モード候補のうちいずれかを前記最適な予測モードとして選択するイントラ・インター予測判定部と
を備える動画像符号化装置。
前記イントラ予測モード候補限定部は、
前記ピクチャのタイプがＢピクチャの場合、イントラ予測の予測ブロックサイズとして１６×１６を選定する請求項２記載の動画像符号化装置。