JP6373033B2

JP6373033B2 - 符号化装置及び符号化方法

Info

Publication number: JP6373033B2
Application number: JP2014069856A
Authority: JP
Inventors: 大川　浩司; 浩司大川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-28
Filing date: 2014-03-28
Publication date: 2018-08-15
Anticipated expiration: 2034-03-28
Also published as: US20150281693A1; JP2015192403A; US9832469B2

Description

本発明は符号化装置及び符号化方法に関し、特に、ピクチャ内の量子化パラメータを適応的に制御するために用いて好適な技術に関する。

動画像の圧縮記録に用いられる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（以下Ｈ．２６４）が知られている（非特許文献１）。また、Ｈ．２６４の後継としてさらに高効率な符号化方式として、Ｈ．２６５ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化に関する提案が行われた（非特許文献２）。

Ｈ．２６４やＨＥＶＣにおいては、ピクチャ毎にピクチャタイプを切り替えて符号化することができる。ピクチャタイプには、ピクチャ内の情報のみを用いて符号化を行うイントラピクチャ（以下、Ｉピクチャ）と、ピクチャ内の情報に加えて他のピクチャ（以下、参照ピクチャ）の情報を用いて符号化を行うインターピクチャがある。

インターピクチャは、更に、再生順で前のピクチャの情報のみを用いて符号化を行うＰピクチャと、再生順で後のピクチャの情報も用いて符号化を行うＢピクチャの二種類のピクチャタイプがある。インターピクチャは、ピクチャ内でブロック毎にブロックタイプを適応的に切り替えて符号化することができる。ブロックタイプには、参照ピクチャの情報を用いて符号化を行うインターブロックと、ピクチャ内の情報を用いて符号化を行うイントラブロックがある。

インターピクチャは、参照ピクチャの情報を用いて符号化できるため、Ｉピクチャに比べてデータの圧縮効率が優れている。
一方、Ｉピクチャは、ピクチャ内の情報のみで符号化されているため、動画像の先頭のピクチャからだけでなく、任意のＩピクチャから再生したり、編集して切り出したりといった処理を行うランダムアクセスが可能となる。

エンコーダは、前述したピクチャタイプ毎に符号量を割当てて符号化することが一般的である。インターピクチャは、参照ピクチャを用いて符号化されるため、Ｉピクチャにより多くの符号量を割り当てて画質を向上させることで、Ｉピクチャを参照ピクチャとする後続のインターピクチャの画質も向上させることが可能となる。該後続のインターピクチャの画質が向上することで、それを参照ピクチャとする後続のインターピクチャの画質も向上する。

しかし、動きが非常に激しい動画像においては、参照ピクチャと符号化対象のピクチャの差分が大きくなるため、Ｉピクチャの画質を向上させることによる後続のピクチャの画質向上の効果は限定的である。それにも関わらず、Ｉピクチャに非常に大きい符号量を割当ててしまうと、後続のインターピクチャに割り当てる符号量が減少するため、後続のピクチャの画質を劣化させてしまう。

前述の課題を解決する手法として、例えば特許文献１が挙げられる。特許文献１では、ピクチャタイプ毎の複雑度を算出し、複雑度に応じて各ピクチャタイプに割り当てる符号量を適応的に制御している。動きの少ない映像では、インターピクチャの複雑度がＩピクチャに比べて相対的に小さくなるため、Ｉピクチャに多くの符号量を割当てている。

米国特許第６９８２７６２号明細書

ＩＴＵ−ＴＨ．２６４（０３／２０１０）ＡｄｖａｎｃｅｄｖｉｄｅｏｃｏｄｉｎｇｆｏｒｇｅｎｅｒｉｃａｕｄｉｏｖｉｓｕａｌｓｅｒｖｉｃｅｓＩＴＵ−ＴＨ．２６５（０４／２０１３）Ｈｉｇｈｅｆｆｉｃｉｅｎｃｙｖｉｄｅｏｃｏｄｉｎｇ

しかしながら、特許文献１に示した技術は、インターピクチャ内のブロックタイプを考慮していない。インターブロックの画質は参照ピクチャの画質を引き継ぐため、参照ピクチャの画質が高い程高くなるが、イントラブロックはピクチャ内の情報を用いて符号化されるため参照ピクチャの画質を引き継がない。

そのため、Ｉピクチャに多くの符号量を割当てたことによる画質向上の効果は、インターピクチャ内のインターブロックでは引き継がれるものの、イントラブロックでは失われて画質が劣化してしまう。

インターピクチャ内のイントラブロックの画質が劣化してしまうと、そのインターピクチャを参照ピクチャとするインターピクチャも、画質が劣化したイントラブロックを参照するため画質が劣化してしまう問題点があった。
本発明は前述の問題点に鑑み、イントラピクチャに多くの符号量を割当てたことによる画質向上の効果が、インターピクチャ内のイントラブロックで失われて画質が劣化してしまう不都合を防止できるようにすることを目的とする。

本発明の符号化装置は、入力されたピクチャを符号化する符号化装置であって、前記入力されたピクチャのピクチャタイプが、イントラピクチャもしくはインターピクチャのどちらのピクチャであるかを決定するピクチャタイプ決定手段と、前記ピクチャタイプ毎の符号化難易度を算出する難易度算出手段と、前記難易度算出手段により算出された符号化難易度に基づいて、前記ピクチャタイプ毎の目標符号量を決定する目標符号量決定手段と、前記目標符号量決定手段により決定された目標符号量から、各ピクチャの基準量子化パラメータを決定する基準量子化パラメータ決定手段と、前記インターピクチャの各ブロックのブロックタイプを決定するブロックタイプ制御手段と、前記基準量子化パラメータ及び前記ブロックタイプに基づいて、前記ピクチャの各ブロックの量子化パラメータであるブロック量子化パラメータを制御するブロック量子化パラメータ制御手段と、前記ブロックを前記ブロック量子化パラメータに基づいて量子化する量子化手段と、を有し、前記ブロック量子化パラメータ制御手段は、前記イントラピクチャの基準量子化パラメータと、前記インターピクチャの基準量子化パラメータの差分の大きさに基づいて、前記インターピクチャのブロック量子化パラメータを制御することを特徴とする。

本発明によれば、インターピクチャ内のイントラブロックに割り当てる符号量を適応的に制御することで、イントラブロックを高画質に符号化し、イントラピクチャに多くの符号量を割当てた高画質化効果を継続させることができる。

第１の実施形態における符号化装置の構成例を示すブロック図である。本発明の実施形態におけるピクチャ符号化のフローチャートである。第１の実施形態における基準量子化パラメータ計算の手順を説明するフローチャートである。第１の実施形態におけるブロック符号化の手順の一例を示すフローチャートである。第１の実施形態における量子化調整値ＱＤと符号量調整係数αの関係を示す図である。第２の実施形態における符号化装置の構成例を示すブロック図である。第２の実施形態におけるブロック符号化の手順の一例を示すフローチャートである。

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また、以下の実施形態は、ブロックのサイズとして水平１６画素、垂直１６画素を使用して符号化するＨ．２６４で符号化を行う例について述べる。しかし本発明はＨ．２６４に限定されず、ブロックのサイズとして最大で水平６４画素、垂直６４画素を使用することが可能なＨＥＶＣで符号化を行う場合も容易に適用することが可能である。

［第１の実施形態］
以下、本発明の第１の実施形態を、図面を用いて説明する。
図１は、本実施形態の符号化装置１００の構成例を示すブロック図である。
図１において、１０１は、ピクチャタイプ決定部であり、入力されたピクチャのピクチャタイプ（イントラピクチャもしくはインターピクチャ）を決定する。

１０２は、符号量制御部であり、入力されたピクチャの目標符号量を決定する。符号量制御部１０２は、後述する難易度算出部１０４によって算出される各ピクチャタイプの符号化難易度及びピクチャタイプに応じてピクチャの目標符号量を決定する。符号量制御部１０２は、ピクチャタイプに応じて目標符号量を制御するが、一定周期におけるビットレートが一定に保たれるように目標符号量を制御する。

１０３は、基準量子化パラメータ制御部であり、ピクチャの目標符号量を符号量制御部１０２より受け取り、ピクチャの基準となる量子化パラメータ（以下、基準量子化パラメータ）を決定する。
１０４は、難易度算出部であり、基準量子化パラメータ制御部１０３より基準量子化パラメータを、後述するエントロピー符号化部１１１よりピクチャの符号量を受け取り、各ピクチャタイプの符号化難易度を算出する。

１０５は、ブロック量子化パラメータ制御部であり、基準量子化パラメータ制御部１０３より基準量子化パラメータを、後述するブロックタイプ制御部１０８より処理対象ブロックのブロックタイプを受け取り、処理対象ブロックの量子化パラメータを決定する。以下、処理対象ブロックの量子化パラメータを、ブロック量子化パラメータと記す。

１０６の破線部は、入力されたピクチャをブロック単位で符号化する符号化部である。
１０７は、予測部であり、処理対象ブロックの周辺の画素による予測（イントラ予測）または他のピクチャの参照による動き補償（インター予測）を実施して予測誤差を生成する。

１０８は、ブロックタイプ制御部であり、予測部１０７よりイントラ予測、インター予測時の予測誤差を受け取って、処理対象のブロックをイントラブロックまたはインターブロックのいずれのブロックタイプで符号化するかを決定する。なお、入力されたピクチャがイントラピクチャである場合には、全てのブロックがイントラブロックであるため本処理の内容は実行されない。

１０９は、周波数変換部であり、ブロックタイプ制御部１０８によって決定されたブロックタイプに従って、予測誤差を周波数変換係数に変換する。
１１０は、量子化部であり、周波数変換部１０９によって生成された周波数変換係数を、ブロック量子化パラメータ制御部１０５で決定されたブロック量子化パラメータに従って量子化し、量子化係数を生成する。
１１１は、エントロピー符号化部であり、量子化部１１０で生成された量子化係数を可変長符号化し、符号化ストリームを生成する。尚、可変長符号化方式としては、例えば次のような方式が適応される。即ち、Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ（ＣＡＶＬＣ）又はＣｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ（ＣＡＢＡＣ）等が適用される。

本実施形態の符号化装置１００の動作を、図２のフローチャートを用いて詳細に説明する。本実施形態では、動画像データはピクチャ単位に入力され、符号化部１０６においてブロックに分割されてラスタ順に処理される。

本実施形態におけるブロックのサイズは、Ｈ．２６４のブロックサイズと同じ１６×１６画素とするが、本発明はこれに限定されるものではない。例えば、ＨＥＶＣで用いられる最大のブロックサイズである６４×６４画素や８×８画素、３２×３２画素でもよく、３２×１６画素のように非対称でもよい。本実施形態において、符号化部１０６はＨ．２６４のストリームを生成するが、本発明はこれに限定されるものではなく、例えばＨＥＶＣのストリームを生成してもよい。

図２のフローチャートにおいて、まずＳ２０１では、ピクチャタイプ決定部１０１が、入力されたピクチャのピクチャタイプを決定する。本実施形態では、動画像データの最初のピクチャをＩピクチャに決定し、以降１５ピクチャ毎にＩピクチャとして符号化するものとして、残りのピクチャは全てＰピクチャとして符号化するものとする。しかし、本発明はこれに限定されるものではなく、Ｉピクチャの間隔は１５ピクチャ毎でなくてもよいし、Ｐピクチャに加えてＢピクチャを交えてもよい。

次に、Ｓ２０２の処理では、基準量子化パラメータが計算される。基準量子化パラメータの計算方法に関して、図３のフローチャートを用いて詳細に説明する。

図３のフローチャートにおいて、Ｓ３０１の処理は難易度算出部１０４で、Ｓ３０２〜Ｓ３１０の目標符号量決定処理は符号量制御部１０２で、Ｓ３１１の処理は基準量子化パラメータ制御部１０３で夫々行われる。
Ｓ３０１の処理では、難易度算出部１０４において、ピクチャタイプ毎の符号化難易度が、過去に符号化された個々のピクチャの符号化難易度の平均値を取ることで計算される。ここで、ピクチャタイプがＩピクチャの符号化難易度をＸｉ、Ｐピクチャの符号化難易度をＸｐとする。

本実施形態では、個々のピクチャが実際に符号化された結果得られた符号量Ｒ（以下、実符号量と記載）と、そのピクチャに用いられた基準量子化ステップＱを掛け合わせることで個々のピクチャの符号化難易度を算出する。ここで、基準量子化ステップとは、基準量子化パラメータに対応する量子化ステップのことを示す。量子化パラメータと量子化ステップの関係は、Ｈ．２６４に規定されている関係に準拠するものとする。実符号量Ｒ及び基準量子化ステップＱは、エントロピー符号化部１１１及び基準量子化パラメータ制御部１０３の出力より得られる。

次に、難易度算出部１０４は、ピクチャタイプ毎の過去複数ピクチャの符号化難易度の平均値を算出し、ピクチャタイプの符号化難易度とする。本実施形態では、Ｉピクチャは過去２ピクチャの平均値、Ｐピクチャは過去５ピクチャの平均値を、ピクチャタイプの符号化難易度とする。

本実施形態では、ピクチャの実符号量と基準量子化ステップを用いて個々のピクチャの符号化難易度を計算したが、本発明はこれに限定されるものではない。例えば、基準量子化ステップではなく、後述するブロック量子化パラメータもしくはそれに対応するブロック量子化ステップを用いて計算してもよい。あるいは、入力されたピクチャの分散値や予測部１０７によって得られる画素の差分を絶対値化して積算した値（ＳｕｍｏｆＡｂｓｏｌｕｔｅＶａｌｕｅ，以下ＳＡＤ）等の指標を用いて符号化難易度を計算してもよい。

また、本実施形態ではピクチャタイプの符号化難易度を、過去の複数ピクチャの平均値として求めているが、本発明はこれに限定されるものではなく、過去に符号化されたピクチャの符号化難易度に基づいて算出される値であれば構わない。例えば、過去の符号化難易度の中央値をとってもよいし、直前または所定数前に符号化されたピクチャの符号化難易度をそのままピクチャタイプの符号化難易度としてもよい。

次に、Ｓ３０２の処理では、符号量制御部１０２において、次に符号化するピクチャがＩピクチャか否かが判定される。次に符号化されるピクチャがＩピクチャの場合は、Ｓ３０３の処理に進み、ＩピクチャとＰピクチャの目標符号量の割合を計算し、Ｉピクチャでない場合はＳ３１１の処理に進む。
次に、Ｓ３０３の処理では、Ｉピクチャの符号化難易度Ｘｉ及びＰピクチャの符号化難易度Ｘｐの比であるＸｒａｔｉｏが計算される。

次に、Ｓ３０４の処理では、符号化難易度の比Ｘｒａｔｉｏの値と閾値Ｔ１の値が比較される。これは、Ｉピクチャの符号化難易度が、Ｐピクチャの符号化難易度に比べて相対的に（閾値Ｔ１以上に）難しいか否かを比較している。符号化難易度の比Ｘｒａｔｉｏの値が閾値Ｔ１より大きい場合（Ｉピクチャの符号化難易度が高い場合）はＳ３０５の処理に進み、そうでない場合はＳ３０６の処理に進む。

次に、Ｓ３０５の処理では、量子化調整値ＱＤの値に１を足す。量子化調整値ＱＤは、ＩピクチャとＰピクチャの基準量子化パラメータの差の大きさを示す変数である。Ｉピクチャと、その直後のＰピクチャの基準量子化パラメータは、与えられた量子化調整値ＱＤの値に基づいて後述のＳ３１０において下記の関係を満たすように符号量の割り当てが計算される。
Ｐピクチャの基準量子化パラメータ＝Ｉピクチャの基準量子化パラメータ＋量子化調整値ＱＤ。

これは、量子化調整値ＱＤの値が大きくなればなるほど、Ｉピクチャの基準量子化パラメータが相対的に小さくなり、Ｉピクチャに多くの符号量が割り当てられることを意味する。ＩピクチャがＰピクチャよりも相対的に符号化難易度が高い時は、Ｐピクチャの動き予測が当たり易い（インター予測による予測誤差が小さい）ことを示している。そのため、Ｉピクチャに多くの符号量を割当てて画質を向上させることで、後続のＰピクチャの画質も向上させることができる。本実施形態では、量子化調整値ＱＤの値に１を足したが、本発明はこれに限定されるものではない。例えば２以上の正数を足してもよい。

次に、Ｓ３０６の処理では、符号化難易度の比Ｘｒａｔｉｏの値と閾値Ｔ２の値が比較される。これは、Ｐピクチャの符号化難易度が、Ｉピクチャの符号化難易度に比べて相対的に難しいか否かを比較している。符号化難易度の比Ｘｒａｔｉｏの値が閾値Ｔ２より小さい場合（Ｐピクチャの符号化難易度が高い場合）はＳ３０７の処理に進み、そうでない場合はＳ３０８の処理に進む。

Ｓ３０７の処理では、量子化調整値ＱＤの値に１を減じている。ＰピクチャがＩピクチャよりも相対的に符号化難易度が高い時は、Ｐピクチャの動き予測が当たり難い（インター予測による予測誤差が大きい）ことを示している。そのため、Ｉピクチャの符号量を増やして画質を向上させても、後続のＰピクチャに画質向上の効果が引き継がれない。

一定周期におけるビットレートは一定なので、Ｉピクチャに多く符号量を割当てると、その分Ｐピクチャの符号量は減少し、却ってＰピクチャの画質劣化を招いてしまう。Ｐピクチャの画質劣化を防ぐために、Ｐピクチャの符号化難易度が高い時は量子化調整値ＱＤの値を減少させ、Ｐピクチャに割り当てる符号量を増やしている。本実施形態では、量子化調整値ＱＤの値に１を減じたが、本発明はこれに限定されるものではない。例えば２以上の正数を減じてもよい。

次に、Ｓ３０８の処理では、量子化調整値ＱＤの値を更新しない。すなわち、ＩピクチャとＰピクチャの基準パラメータの関係を変更しないことを意味する。
次に、Ｓ３０９の処理では、量子化調整値ＱＤの値より符号量調整係数αの値が図５のテーブルを基に決定される。量子化調整値ＱＤと符号量調整係数αの関係は、Ｈ．２６４形式における量子化パラメータと量子化ステップの関係と同一である。符号量調整係数αは、後述のＳ３１０の目標符号量の計算に使用される。

次に、Ｓ３１０の処理では、α及びＸｉ、Ｘｐの値を基に、Ｉピクチャの目標符号量Ｔｉ、Ｐピクチャの目標符号量Ｔｐを下記の式（１）及び式（２）に従い計算する。
Ｔｉ＝（Ｔａ×α×Ｘｉ）／（Ｘｉ＋１４×Ｘｐ）・・・式（１）
Ｔｐ＝（Ｔａ−Ｔｉ）／１４・・・式（２）
ここで、Ｔａは、１枚のＩピクチャ及び１４枚のＰピクチャの計１５ピクチャに割り当てられる合計の目標符号量である。符号量調整係数αの値が大きくなるほど（量子化調整値ＱＤの値が大きくなるほど）、Ｉピクチャの目標符号量Ｔｉは大きくなり、反対にＰピクチャの目標符号量Ｔｐは小さくなる。

次に、Ｓ３１１の処理では、基準量子化パラメータ制御部１０３において、ピクチャ毎の基準量子化パラメータを決定する。まず、Ｉピクチャの量子化ステップＱｉ及びＰピクチャの量子化ステップＱｐを、下記の式（３）及び式（４）に従い計算する。
Ｑｉ＝Ｘｉ／Ｔｉ・・・式（３）
Ｑｐ＝Ｘｐ／Ｔｐ・・・式（４）
基準量子化ステップを計算した後、対応する量子化パラメータを基準量子化パラメータとして決定し、基準量子化パラメータ決定処理を終了する。

図２のフローチャートに戻り、Ｓ２０３のブロック符号化処理に関して、図４のフローチャートを用いて詳細に説明する。図４のフローチャートでは、Ｓ４０１の処理は予測部１０７で、Ｓ４０２の処理はブロックタイプ制御部１０８で、Ｓ４０３の処理は周波数変換部１０９で行われる。

Ｓ４０４〜Ｓ４０８の処理はブロック量子化パラメータ制御部１０５で行われる処理である。ブロック量子化パラメータ制御部１０５は、イントラピクチャのブロック量子化パラメータと、インターピクチャ内のイントラブロックのブロック量子化パラメータがほぼ等しくなるように、ブロック量子化パラメータを決定する。また、Ｓ４０９の処理は量子化部１１０で行われ、Ｓ４１０の処理はエントロピー符号化部１１１で行われる。

まず、Ｓ４０１の処理では、予測部１０７において入力された画像ブロックに対してブロック周辺の画素を利用したイントラ予測もしくは、参照ピクチャを利用したインター予測が行われ、イントラ予測誤差及びインター予測誤差が生成される。

次に、Ｓ４０２の処理では、ブロックタイプ制御部１０８により、前述したイントラ予測誤差及びインター予測誤差を基にブロックタイプが決定される。本実施形態では、各予測誤差のＳＡＤを計算し、ＳＡＤが小さいブロックタイプを選択する。なお、本実施形態ではＳＡＤを用いてブロックタイプを決定するが、本発明はこれに限定されるものではない。例えば、動きベクトルのビット数を考慮して決めてもよいし、Ｒ−Ｄ最適化手法を用いてブロックタイプを決定してもよい。

次に、Ｓ４０３の処理では、周波数変換部１０９において、決定されたブロックタイプに基づいて、前述した予測誤差に対して直交変換が行われ、変換係数が生成される。
次に、Ｓ４０４の処理では、ブロック量子化パラメータ制御部１０５において、処理対象のピクチャがＩピクチャか否かが判定される。Ｉピクチャの場合は、Ｓ４０６の処理に進み、そうでない場合はＳ４０５の処理に進む。

次に、Ｓ４０５の処理では、処理対象のブロックがイントラブロックか否かの判定が、ブロックタイプ制御部１０８から受け取るブロックタイプの情報に基づいて行われる。イントラブロックの場合はＳ４０８の処理に進み、そうでない場合はＳ４０７の処理に進む。
次に、Ｓ４０６の処理（処理対象ピクチャがＩピクチャの場合）では、ブロック量子化パラメータＱｂとして、処理対象のＩピクチャの基準量子化パラメータであるＱｉｐの値が設定される。

次に、Ｓ４０７の処理（処理対象ピクチャがＰピクチャかつインターブロックの場合）では、Ｑｂとして処理対象のＰピクチャの基準量子化パラメータであるＱｐｐの値が設定される。

次に、Ｓ４０８の処理（処理対象ピクチャがＰピクチャかつイントラブロックの場合）では、ＱｂとしてＱｐｐから前述の量子化調整値ＱＤの値を減じた値が設定される。量子化調整値ＱＤは、Ｉピクチャとその直後のＰピクチャの量子化パラメータの差を示す変数である。

Ｑｐｐから量子化調整値ＱＤの値を減じることで、ＩピクチャとＰピクチャの目標符号量の割り当てを行った際に設定した、ＩピクチャとＰピクチャの画質差の関係を、Ｐピクチャ内のイントラブロックとインターブロックにも適用することができる。すなわち、Ｉピクチャに多くの符号量を割当てることで後続のＰピクチャの高画質化を狙った際に、Ｐピクチャ内のイントラブロックでその効果が失われてしまうことを防ぐことができ、画像全体を高画質化することができる。

また、Ｐピクチャの符号化難易度が高く、インター予測において多くの予測誤差が発生する映像に関しては、量子化調整値ＱＤの値は小さくなる。これにより、Ｐピクチャ内のイントラブロックに大きい符号量を割り当てることで発生するインターブロックの画質劣化を防ぐことができる。本実施形態では、インターピクチャ内のイントラブロックのブロック量子化パラメータを、Ｑｐｐ−ＱＤとしたが、本発明はこれに限定されるものではない。
例えば、Ｉピクチャの基準量子化パラメータであるＱｉｐをそのままブロック量子化パラメータとしてもよい。

次に、Ｓ４０９の処理では、量子化部１１０においてブロック量子化パラメータＱｂを基に、Ｓ４０３の処理で生成された変換係数が量子化され、量子化係数が生成される。
次に、Ｓ４１０の処理では、エントロピー符号化部１１１において前記変換係数がエントロピー符号化され、Ｈ．２６４の符号化ストリームが生成される。本実施形態では、生成する符号化ストリームの形式をＨ．２６４としているが、本発明はこれに限定されるものではなく、例えばＨＥＶＣの符号化ストリームを生成してもよい。

図２のフローチャートに戻り、Ｓ２０４の処理では、ピクチャ内の全てのブロックを符号化したか否かが判定される。符号化していない場合はＳ２０３の処理に戻り、後続のブロックを符号化する。全てのブロックを符号化した場合はピクチャ符号化処理を終了する。

以上の構成と動作を行うことにより、ＩピクチャとＰピクチャの符号化難易度に応じて適応的に目標符号量を設定した上で、符号化難易度に応じてＰピクチャ内のイントラブロックの符号量も適応的に制御することが可能となる。そしてそれは、インター予測が当たり易い映像に関しては、Ｐピクチャ内のイントラブロックでＩピクチャの画質向上効果が失われることを防ぐことができる。
また、インター予測において、少ない予測誤差しか発生しない映像に関しては、イントラブロックに不要な符号量を割り当てることを防ぐことができる。

なお、前述の実施形態は、一定周期におけるビットレートが一定に保たれるように目標符号量を制御する際の実施形態について述べたものであるが、本発明は前述の実施形態に限定されない。すなわち、一定周期におけるビットレートが可変の場合にも、Ｉピクチャの基準量子化パラメータをＰピクチャ内のイントラブロックに適用することにより、同様の効果を得ることが可能である。

［第２の実施形態］
以下、本発明の第２の実施形態を、図面を用いて説明する。
図６は、本実施形態の符号化装置６００の構成例を示すブロック図である。図６の６０１〜６０４及び６０６〜６１１の構成は、図１の１０１〜１０４及び１０６〜１１１の構成と同一であるため説明を省略する。

図６において、６０５は、ブロック量子化パラメータ制御部であり、図１のブロック量子化パラメータ制御部１０５に加えて、後述する特徴量解析部６１２より、入力されたピクチャの特徴量を受け取り、それに基づいてブロック量子化パラメータを補正する。６１２は、特徴量解析部であり、入力されたピクチャの特徴量を解析する。

図２のフローチャートを用いて本実施形態の動作を説明する。本実施形態の動作は、図２のＳ２０３のブロック符号化処理を除いて第１の実施形態の動作と同一であるため説明を省略する。

図２において、本実施形態のＳ２０３で行うブロック符号化処理について、図７のフローチャートを用いて詳細に説明する。図７のＳ７０１〜Ｓ７０８及びＳ７１１〜Ｓ７１２の処理は、図４のＳ４０１〜Ｓ４０８及びＳ４０９〜Ｓ４１０と同一であるため説明を省略する。

Ｓ７０９の処理では、特徴量解析部６１２において、入力されたブロックの輝度のアクティビティ及び輝度の平均値が特徴量として解析される。これらの指標は、人間の視覚特性と相関が深いため、これらの指標を用いて後段のＳ７１０でブロック量子化パラメータを補正する。本実施形態におけるアクティビティの算出方法について具体的に説明する。

まず、ブロックを複数の４×４画素単位のサブブロックに分割し、サブブロックに属する各画素の輝度値と該サブブロックの輝度の平均値との差分の大きさ（絶対値）の合計値をサブブロックのアクティビティとして算出する。ブロック内の全てのサブブロックのアクティビティを算出した後、最も小さなものをブロックのアクティビティとして算出する。しかし、本発明における特徴量はアクティビティ及び輝度の平均値に限定されるものではなく、人間の視覚に与える度合いを判定できる特徴量であればよい。

例えば、輝度の分散、色差の平均値、アクティビティ、分散等を算出してもよいし、動きベクトル、予測誤差等の符号化結果を指標として用いてもよい。アクティビティの計算に４×４のサブブロックの最小値を使用したが、８×８画素のサブブロックを用いても、１６×１６画素のブロックをそのまま用いてもよいし、最小値ではなく平均値や最大値を用いてもよい。また、算出されるブロック評価値の数は２種類に限定されるものではなく、輝度の平均値とアクティビティに加えて、色差の平均値等、他の特徴量を算出することも可能である。

次に、Ｓ７１０の処理では、ブロック量子化パラメータ制御部６０５において、前記特徴量を基にブロック量子化パラメータが補正される。本実施形態では、特徴量解析部６１２で解析された、ブロックのアクティビティ及び輝度の平均値に基づいて、各ブロックをクラス分けする。そして、各クラスには予め量子化パラメータの補正値が定められていて、各クラスに属したブロックにはその補正値が適用されるものとする。該補正値は、Ｓ７０６〜７０８で計算されたブロック量子化パラメータＱｂに、単純に加算されるものとする。

例えば、あるブロックが所属するクラスの補正値が＋３であったとき、該ブロックがＰピクチャ内のイントラブロックの時はＱｂ＝Ｑｐｐ−ＱＤ＋３となる。該ブロックがＰピクチャ内のインターブロックの時はＱｂ＝Ｑｐｐ＋３となる。Ｉピクチャ内（イントラピクチャ内）のブロックの時はＱｂ＝Ｑｉｐ＋３となる。
前述の構成と動作により、本実施形態においては、第１の実施形態に加えて更に人間の視覚特性を考慮したブロック量子化パラメータの制御が可能となる。これにより、更に人間の主観画質を高めることが可能となる。

本実施形態では、人間の視覚特性を考慮してブロック量子化パラメータを補正したが、本発明はこれに限定されるものではなく他の量子化パラメータの補正方法と組み合わせてもよい。即ち、人体検知又は物体検知又は動体検知等の検知情報のうち少なくとも一つを用いて量子化パラメータを制御する処理と本実施形態とを組み合わせてもよい。尚、検知情報には、人の顔や物体等の認識情報も含まれる。ここで、検知情報及び認識情報を用いた量子化パラメータ制御では、検知及び認識された領域の量子化パラメータを小さくする。また、ピクチャ内の予め指定された領域を重要な領域として、当該領域の量子化パラメータを小さくする処理と組み合わせてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ピクチャタイプ制御部
１０２符号量制御部
１０３基準量子化パラメータ制御部
１０４難易度算出部
１０５ブロック量子化パラメータ制御部
１０６符号化部
１０７予測部
１０８ブロックタイプ制御部
１０９周波数変換部
１１０量子化部
１１１エントロピー符号化部
６１２特徴量解析部

Claims

入力されたピクチャを符号化する符号化装置であって、
前記入力されたピクチャのピクチャタイプが、イントラピクチャもしくはインターピクチャのどちらのピクチャであるかを決定するピクチャタイプ決定手段と、
前記ピクチャタイプ毎の符号化難易度を算出する難易度算出手段と、
前記難易度算出手段により算出された符号化難易度に基づいて、前記ピクチャタイプ毎の目標符号量を決定する目標符号量決定手段と、
前記目標符号量決定手段により決定された目標符号量から、各ピクチャの基準量子化パラメータを決定する基準量子化パラメータ決定手段と、
前記インターピクチャの各ブロックのブロックタイプを決定するブロックタイプ制御手段と、
前記基準量子化パラメータ及び前記ブロックタイプに基づいて、前記ピクチャの各ブロックの量子化パラメータであるブロック量子化パラメータを制御するブロック量子化パラメータ制御手段と、
前記ブロックを前記ブロック量子化パラメータに基づいて量子化する量子化手段と、を有し、
前記ブロック量子化パラメータ制御手段は、
前記イントラピクチャの基準量子化パラメータと、前記インターピクチャの基準量子化パラメータの差分の大きさに基づいて、前記インターピクチャのブロック量子化パラメータを制御することを特徴とする符号化装置。
前記ブロック量子化パラメータ制御手段は、
前記インターピクチャ内のインターブロックのブロック量子化パラメータから、前記差分を引いた値を、インターピクチャ内のイントラブロックのブロック量子化パラメータとすることを特徴とする請求項１に記載の符号化装置。
前記ブロック量子化パラメータ制御手段は、
人間の視覚特性に基づいて前記ブロック量子化パラメータを補正することを特徴とする請求項１または２に記載の符号化装置。
前記ブロック量子化パラメータ制御手段は、
人体検知又は物体検知又は動体検知に関する検知情報のうち少なくとも一つに基づいて前記ブロック量子化パラメータを補正することを特徴とする請求項１〜３の何れか１項に記載の符号化装置。
入力されたピクチャを符号化する符号化方法であって、
前記入力されたピクチャのピクチャタイプが、イントラピクチャもしくはインターピクチャのどちらのピクチャであるかを決定するピクチャタイプ決定工程と、
前記ピクチャタイプ毎の符号化難易度を算出する難易度算出工程と、
前記難易度算出工程において算出された符号化難易度に基づいて、前記ピクチャタイプ毎の目標符号量を決定する目標符号量決定工程と、
前記目標符号量決定工程において決定された目標符号量から、各ピクチャの基準量子化パラメータを決定する基準量子化パラメータ決定工程と、
前記インターピクチャの各ブロックのブロックタイプを制御するブロックタイプ制御工程と、
前記基準量子化パラメータ及び前記ブロックタイプに基づいて、前記ピクチャの各ブロックの量子化パラメータであるブロック量子化パラメータを制御するブロック量子化パラメータ制御工程と、
前記ブロックを前記ブロック量子化パラメータに基づいて量子化する量子化工程と、を有し、前記ブロック量子化パラメータ制御工程は、
前記イントラピクチャの基準量子化パラメータと、前記インターピクチャの基準量子化パラメータの差分の大きさに基づいて、前記インターピクチャのブロック量子化パラメータを制御することを特徴とする符号化方法。
入力されたピクチャを符号化する符号化方法をコンピュータに実行させるプログラムであって、
前記入力されたピクチャのピクチャタイプが、イントラピクチャもしくはインターピクチャのどちらのピクチャであるかを決定するピクチャタイプ決定工程と、
前記ピクチャタイプ毎の符号化難易度を算出する難易度算出工程と、
前記難易度算出工程において算出された符号化難易度に基づいて、前記ピクチャタイプ毎の目標符号量を決定する目標符号量決定工程と、
前記目標符号量決定工程において決定された目標符号量から、各ピクチャの基準量子化パラメータを決定する基準量子化パラメータ決定工程と、
前記インターピクチャの各ブロックのブロックタイプを制御するブロックタイプ制御工程と、
前記基準量子化パラメータ及び前記ブロックタイプに基づいて、前記ピクチャの各ブロックの量子化パラメータであるブロック量子化パラメータを制御するブロック量子化パラメータ制御工程と、
前記ブロックを前記ブロック量子化パラメータに基づいて量子化する量子化工程と、をコンピュータに実行させ、
前記ブロック量子化パラメータ制御工程は、
前記イントラピクチャの基準量子化パラメータと、前記インターピクチャの基準量子化パラメータの差分の大きさに基づいて、前記インターピクチャのブロック量子化パラメータを制御するようコンピュータを制御することを特徴とするプログラム。
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。