JP5779116B2 - 画像符号化方法、画像符号化装置及び画像符号化プログラム - Google Patents

Description

本発明は、画像を小矩形に分割して符号化を行う画像符号化方法、画像符号化装置及び画像符号化プログラムに関する。

ＩＴＵ−Ｔ標準動画像符号化方式であるＨ．２６４方式に次ぐ次世代のＩＴＵ−Ｔ標準化技術として、ＨＥＶＣ（High Efficiency Video Coding、高効率動画像圧縮符号化）方式がある。Ｈ．２６４方式およびＨＥＶＣ方式では、入力とする映像フレームを小矩形に分割して符号化処理を行なっており、この矩形領域をＨ．２６４方式ではマクロブロック、ＨＥＶＣではＬａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（以下、ＬＣＵと称する）と呼ぶ。ＨＥＶＣ方式では更に、ＬＣＵを四分木分割することで符号化対象領域Ｃｏｄｉｎｇ Ｕｎｉｔ（以下、ＣＵと称する）を規定し、このＣＵ単位で符号化を行なっている。また、Ｈ．２６４方式やＨＥＶＣ方式では、既に符号化された周辺画素を利用して、符号化対象画素データの予測信号を生成する予測符号化方式を採用している。

図５に、ＨＥＶＣ方式で採用している四分木分割に基づく取りうるＣＵの一例を示す。図５は、符号化対象領域の四分木分割例を示す図である。図５において、６４×６４画素の領域がＬＣＵであり、さらに分割された各領域がＣＵに相当する。図５に示すように、ＨＥＶＣ方式では６４×６４画素、３２×３２画素、１６×１６画素、８×８画素の４つのＣＵサイズを規定し、この中から適したＣＵを選択して符号化処理を行うことで、Ｈ．２６４よりも符号化効率を格段に向上させている。

符号化対象領域を四分木分割する処理（例えば、非特許文献１参照）について図６を参照して説明する。図６は、符号化対象領域を四分木分割する処理動作を示すフローチャートである。図６に示すように、符号化対象領域を四分木分割を繰り返しながら全ての取りうるＣＵサイズを選択し（ステップＳ４１）、選択したＣＵサイズにより予測処理を行った（ステップＳ４２）後に、符号化対象領域の四分木分割形状を決定し、この四分木分割形状に基づき、ＣＵサイズと予測モードを決定する（ステップＳ４３）。

K. McCann, S. Sekiguci, B. Bross, W.-J. Han, "HM4: High Efficiency Video Coding (HEVC) Test Model 4 Encoder Description," JCTVC-F802, Oct. 2011.

しかしながら、符号化対象領域の四分木分割数の増加は、符号化効率を向上できる反面、適切な四分木分割形状決定のために要する演算量が増加するという問題がある。非特許文献１の従来技術では、符号化を行うときには、符号化対象小矩形において、予め与えられた四分木分割数に基づいて、全てのＣＵサイズで予測処理を行なっている。このときの、小矩形の大きさと予測処理演算量の関係を図７に示す。図７は、小矩形の大きさと予測処理演算量の関係を示す図である。図７に示すように、ＬＣＵサイズ、分割数が大きくなるにつれて、予測処理に要する演算量が大きくなっている。図中の数値は演算量を表す値であり、従来法におけるイントラ予測処理演算量（４×４画素の予測ブロックサイズでイントラ予測処理を行うときの演算量を１とする）である。

本発明は、このような事情に鑑みてなされたもので、符号化対象領域を四分木分割し、得られた小領域毎に画像符号化を行う際に、演算量を削減することができる画像符号化方法、画像符号化装置及び画像符号化プログラムを提供することを目的とする。

本発明は、画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化方法であって、前記画像の所定領域の特徴量を算出する特徴量算出ステップと、符号化対象領域について前記特徴量算出ステップによって算出した前記特徴量に基づき、前記符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれについて前記特徴量算出ステップによって算出した前記特徴量に基づいて再帰的にさらに四分木で分割した分割領域を決定する四分木分割ステップと、決定された前記分割領域それぞれの符号化処理を行う符号化ステップとを有することを特徴とする。

本発明は、前記特徴量算出ステップにおいては、前記特徴量として前記符号化対象領域の複雑度を算出し、前記四分木分割ステップにおいては、前記符号化対象領域の複雑度と予め設定されたしきい値との比較を行い、前記複雑度が前記しきい値より高い前記符号化対象領域または前記分割領域の四分木分割を行うことを特徴とする。

本発明は、前記複雑度は、前記分割領域における平均値と分散値に基づいて算出することを特徴とする。

本発明は、画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化装置であって、前記画像の所定領域の特徴量を算出する特徴量算出手段と、符号化対象領域について前記特徴量算出手段によって算出した前記特徴量に基づき、前記符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれについて前記特徴量算出手段によって算出した前記特徴量に基づいて再帰的にさらに四分木で分割した分割領域を決定する四分木分割手段と、決定された前記分割領域それぞれの符号化処理を行う符号化手段とを備えることを特徴とする。

本発明は、画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化装置上のコンピュータに、前記画像の所定領域の特徴量を算出する特徴量算出ステップと、符号化対象領域について前記特徴量算出ステップによって算出した前記特徴量に基づき、前記符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれについて前記特徴量算出ステップによって算出した前記特徴量に基づいて再帰的にさらに四分木で分割した分割領域を決定する四分木分割ステップと、決定された前記分割領域それぞれの符号化処理を行う符号化ステップとを行わせることを特徴とする。

本発明によれば、原画像の符号化対象領域の特徴量に基づいて、画質を損なわずに事前にＣＵサイズを決定することができる。このため、符号化を行う際に、予測処理を行わずにＣＵサイズを決定することができるため、符号化に関わる演算量を削減することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す画像符号化装置１の動作を示すフローチャートである。 図１に示す画像符号化装置１の処理動作の詳細を示すフローチャートである。 符号化対象領域の分割の模式図である。 符号化対象領域の四分木分割例を示す説明図である。 従来技術による符号化対象領域を四分木分割する処理動作を示すフローチャートである。 従来技術による小矩形の大きさと予測処理演算量の関係を示す図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。以下の説明においては、用いる符号化方式がＨＥＶＣ画面内予測符号化方式であるものとして説明する。図１に示すように、画像符号化装置１は、画面内予測符号化部２を含むものである。さらに、画面内予測符号化部２は、符号化前に符号化処理サイズを決定する符号化処理サイズ決定部３を含む。符号化処理サイズ決定部３は、符号化処理を行う前に原画像から符号化対象領域内の複雑度を算出する符号化領域内複雑度算出部４と、算出した複雑度に応じて符号化対象領域を四分木分割するか否かを判定する符号化領域内複雑度判定部５と、符号化領域内複雑度判定部５の結果を元にＣＵを分割するか否かの比較対象となるしきい値設定部６と、符号化領域内複雑度判定部の結果からＣＵの四分木分割形状を決定する四分木分割形状決定部７と、四分木分割形状決定部７の結果に基づいて画面内符号化を行う符号化処理部８を含む。

次に、図２を参照して、図１に示す画像符号化装置の動作を説明する。図２は、図１に示す画像符号化装置の動作を示すフローチャートである。まず、符号化領域内複雑度算出部４は、符号化対象領域の複雑度合いを算出する（ステップＳ１）。符号化対象領域の複雑度合いは、領域内の画素値の平均や分散に基づいて決定する。図４は、符号化対象領域の分割の模式図である。符号化領域内複雑度算出部４は、サイズが２Ｎ×２Ｎ画素の符号化対象領域を図４に示すＮ×Ｎの４つのサブブロックに分割し、それぞれの領域をｓＣＵ＿｛ｎ｝（ｎ＝０．．３）とする。

次に、符号化領域内複雑度算出部４は、ｓＣＵ＿｛ｎ｝内の画素値をＩ＿｛ｎ｝（ｉ，ｊ）とし、Ｉ＿｛ｎ｝（ｉ，ｊ）のｓＣＵ＿｛ｎ｝内での平均値をａｖｅ（Ｉ＿｛ｎ｝）とする。続いて、算出した４つの平均値ａｖｅ（Ｉ＿｛ｎ｝）について、それらの分散ｖａｒ（ａｖｅ（Ｉ＿｛ｎ｝））を計算する。

つまり、ｖａｒ（ａｖｅ（Ｉ＿｛ｎ｝））
＝ｖａｒ（ａｖｅ（Ｉ＿｛０｝），ａｖｅ（Ｉ＿｛１｝），ａｖｅ（Ｉ＿｛２｝），ａｖｅ（Ｉ＿｛３｝））
＝（Σ＿｛ｎ＝０｝＾｛３｝（ａｖｅ（ａｖｅ（Ｉ＿｛０｝），ａｖｅ（Ｉ＿｛１｝），ａｖｅ（Ｉ＿｛２｝），ａｖｅ（Ｉ＿｛３｝））−ａｖｅ（Ｉ＿｛ｎ｝））＾２）／（４−１）
を計算する。ここで、「＾」はべき乗の演算を表す。

次に、符号化領域内複雑度判定部５は、符号化領域内複雑度算出部４が算出した複雑度合いと、しきい値設定部６により予め設定したしきい値ＴＨとの比較結果に基づいて、符号化対象領域を四分木分割するか否かの判定を行う（ステップＳ２）。この判定の結果、四分木分割形状決定部７は、ｖａｒ（ａｖｅ（Ｉ＿ｎ））≧ＴＨであれば、２Ｎ×２Ｎの符号化処理サイズをＮ×Ｎに分割すると決定し、ｖａｒ（ａｖｅ（Ｉ＿ｎ））＜ＴＨならば、符号化処理サイズは２Ｎ×２Ｎのままと決定する。

次に、符号化処理部８は、四分木分割形状決定部７が決定した符号化対象領域の四分木分割形状に基づいて、符号化対象領域の符号化処理を行う（ステップＳ３）。ここでは、符号化対象領域を四分木分割した後の各小領域毎に１度のみ符号化処理を行う。

次に、図３を参照して、図１に示す画像符号化装置１の処理動作の詳細を説明する。図３は、図１に示す画像符号化装置１の処理動作の詳細を示すフローチャートである。ここでは、符号化対象領域であるＣＵのサイズを６４×６４画素、３２×３２画素、１６×１６画素、８×８画素とし、符号化対象領域の四分木分割数を３としたときの動作を説明する。

まず、符号化領域内複雑度算出部４は、ＬＣＵサイズである６４×６４画素において、前述した計算方法により複雑度の算出を行う（ステップＳ１１）。続いて、符号化領域内複雑度判定部５は、前述した処理動作に基づきＣＵ＝６４×６４での複雑度の判定を行う（ステップＳ１２）。そして、ＣＵを分割する場合には、ステップＳ１３の処理に進み、ＣＵを分割しない場合には、ステップＳ２２の処理に進む。

次に、四分木分割形状決定部７は、ＣＵを３２×３２画素のブロックに分割し、４つのサブブロックを得る（ステップＳ１３）。続いて、分割した４つのサブブロック毎に（ステップＳ１４）、再び複雑度算出を行い（ステップＳ１５）、再び複雑度判定を行う（ステップＳ１６）。

ステップＳ１６における複雑度判定の結果、ＣＵを分割する場合には、ステップＳ１７の処理に進み、ＣＵを分割しない場合には、次のサブブロックについての処理を行う。４つのサブブロックの処理が終了したら、ステップＳ２２の処理に進む。

次に、３２×３２画素のＣＵを１６×１６画素のブロックに分割し、４つのサブブロックを得る（ステップＳ１７）。続いて、分割した４つのサブブロック毎に（ステップＳ１８）、再び複雑度算出を行い（ステップＳ１９）、再び複雑度判定を行う（ステップＳ２０）。

ステップＳ２０における複雑度判定の結果、ＣＵを分割する場合には、ステップＳ２１の処理に進み、ＣＵを分割しない場合には、次のサブブロックについての処理を行う。４つのサブブロックの処理が終了したら、ステップＳ１４の処理に戻る。

次に、１６×１６画素のＣＵを８×８画素のブロックに分割し、４つのサブブロックを得る（ステップＳ２１）。その後、ステップＳ１８の処理に戻る。

以上の処理動作により、ＣＵが６４×６４画素から８×８画素までの分割が行われ、ＣＵ分割の組み合わせが決定し（ステップＳ２２）、得られたＣＵサイズでのみ符号化を行う（ステップＳ２３）。

なお、前述した説明においては、特徴量として領域内の複雑度を用いたが、他の特徴量を算出して四分木分割形状を決定するようにしてもよい。

このように、符号化対象領域を四分木により小領域に分割し、各小領域毎に符号化を行う符号化方式において、符号化前にＣＵサイズを決定することによって余分な符号化処理を行わなくて済むようになり、結果として符号化処理に要する演算量を削減できるようになる。また、符号化対象領域を実際に符号化すること無しに、ＣＵサイズの決定を行うことができるようになる。

以上説明したように、本実施形態では、符号化を行う際に、従来法のように全てのＣＵサイズで符号化を行ったのちに一つに絞り込むのではなく、はじめにＣＵサイズを設定するようにした。これを実現するために、符号化対象領域の複雑度合いを算出する手段と、その算出した複雑度合いによって符号化対象領域を分割する手段と、それによる当該符号化対象領域のＣＵサイズの組み合わせを決定する手段と、決定されたＣＵサイズによって動画像の符号化を行う手段を備えるようにした。これにより、動画像を小矩形に分割して符号化を行う際に、符号化対象領域の複雑度に基づく処理を用いることで、小矩形への分割形状決定処理に必要な演算量の削減を実現することができる。

なお、図２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

符号化を行う際に、全てのＣＵサイズで符号化を行ったのちに一つに絞り込むのではなく、はじめにＣＵサイズを設定することにより演算量を低減することが不可欠な用途に適用できる。

１…画像符号化装置、２…画面内符号化部、３…符号化処理サイズ決定部、４…符号化領域内複雑度算出部、５…符号化領域内複雑度判定部、６…しきい値設定部、７…四分木分割形状決定部、８…符号化処理部

Claims (4)

1. 画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化方法であって、
   前記画像の符号化対象領域を仮に四分木で分割した場合における該分割によって得られた分割領域それぞれにおける画素値の平均値の分散を特徴量として算出する特徴量算出ステップと、
   符号化対象領域について前記特徴量算出ステップによって算出した前記特徴量と予め設定されたしきい値との比較を行い、前記特徴量が前記しきい値以上である場合に該符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれを新たな符号化対象領域とし、前記特徴量が前記しきい値未満である場合に該符号化対象領域に対して四分木で分割を行わないことを決定する四分木分割ステップと、
   前記四分木分割ステップにおいて符号化対象領域に対する分割が行われなくなるまで前記特徴量算出ステップと前記四分木分割ステップとを繰り返すことを決定する判定ステップと、
   前記四分木分割ステップで分割しないと決定された符号化対象領域それぞれの符号化処理を行う符号化ステップと
   を有することを特徴とする画像符号化方法。
2. 前記四分木分割ステップにおいては、符号化対象領域が所定の大きさになると四分木で分割を行わないと決定することを特徴とする請求項１に記載の画像符号化方法。
3. 画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化装置であって、
   前記画像の符号化対象領域を仮に四分木で分割した場合における該分割によって得られた分割領域それぞれにおける画素値の平均値の分散を特徴量として算出する特徴量算出手段と、
   符号化対象領域について前記特徴量算出手段によって算出した前記特徴量と予め設定されたしきい値との比較を行い、前記特徴量が前記しきい値以上である場合に該符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれを新たな符号化対象領域とし、前記特徴量が前記しきい値未満である場合に該符号化対象領域に対して四分木で分割を行わないことを決定する四分木分割手段と、
   前記四分木分割手段において符号化対象領域に対する分割が行われなくなるまで前記特徴量算出手段と前記四分木分割手段との処理を繰り返すことを決定する判定手段と、
   前記四分木分割手段で分割しないと決定された符号化対象領域それぞれの符号化処理を行う符号化手段と
   を備えることを特徴とする画像符号化装置。
4. 画像を複数の矩形に分割し、該矩形を更に小さな領域に分割して符号化する画像符号化装置上のコンピュータに、
   前記画像の符号化対象領域を仮に四分木で分割した場合における該分割によって得られた分割領域それぞれにおける画素値の平均値の分散を特徴量として算出する特徴量算出ステップと、
   符号化対象領域について前記特徴量算出ステップによって算出した前記特徴量と予め設定されたしきい値との比較を行い、前記特徴量が前記しきい値以上である場合に該符号化対象領域を四分木で分割し、該分割によって得られた分割領域それぞれを新たな符号化対象領域とし、前記特徴量が前記しきい値未満である場合に該符号化対象領域に対して四分木で分割を行わないことを決定する四分木分割ステップと、
   前記四分木分割ステップにおいて符号化対象領域に対する分割が行われなくなるまで前記特徴量算出ステップと前記四分木分割ステップとを繰り返すことを決定する判定ステップと、
   前記四分木分割ステップで分割しないと決定された符号化対象領域それぞれの符号化処理を行う符号化ステップと
   を行わせることを特徴とする画像符号化プログラム。

Images