JP6156489B2 - 画像符号化装置、画像符号化方法、及び撮像装置 - Google Patents

Description

本願開示は、画像符号化装置、画像符号化方法、及び撮像装置に関する。

デジタルカメラ等の製品では、Ｈ．２６４等の画像圧縮方式が利用される。Ｈ．２６４等の画像圧縮方式にはループ内フィルタ処理が存在する。ループ内フィルタ処理には、ブロック境界で発生するノイズのために現れるブロック状の歪みエッジに対して、歪みエッジの両側の隣接画素値を平均化することにより、歪みエッジを目立たなくさせる処理が含まれる。

デジタルカメラ等の組込み機器は、バッテリーを電源として動作するため、低消費電力化が重要である。従来、圧縮符号化処理中においてループ内フィルタ処理が必要でない場合、クロックゲーティングによりループ内フィルタ処理回路の動作周波数を下げることにより、消費電力を削減していた。

一般的に、クロックゲーティングによる消費電力削減効果よりも、リークによる消費エネルギーを大きく削減できるパワーゲーティングによる消費エネルギー削減効果の方が大きい。しかしながら、パワーゲーティングにより回路への電源を遮断しても、リークによる消費エネルギーが直ちにゼロになるのではない。電源遮断後にも、当該回路内に存在する寄生容量等に充電されている電荷がリーク電流の経路を介して放電していくために、リーク電流値は電源遮断後に徐々に減少していくことになる。従って、電源遮断期間が短いと、パワーゲーティングの効果が十分に得られる時間（リーク電流がゼロに近い期間）が短くなってしまい、パワーゲーティングによる低消費電力化の効果を十分に得ることができない。

Ｈ．２６４等の画像の圧縮符号化処理においては、参照されることのないピクチャを符号化する際には、当該ピクチャに対してループ内フィルタ処理が実行されない。従って、参照されることのないピクチャの符号化動作に一致するタイミングで、ループ内フィルタ処理への電源供給を遮断することも可能である。しかしながら、一般に、パワーゲーティングの効果が十分に得られる程の長い時間に亘りループ内フィルタ処理が実行されないことはなく、低消費電力化の効果を十分に得ることができない。

特開２００６−６７１４２号公報 特開２００６−１６５７０３号公報 特開２００８−１１３４３４号公報

以上を鑑みると、パワーゲーティングによりループ内フィルタ処理回路の低消費電力化を実現した画像符号化装置が望まれる。

画像符号化装置は、参照対象となるピクチャと参照対象とならないピクチャとを識別する情報に基づいて、１つのＧＯＰに含まれるピクチャの枚数に等しい所定の枚数のピクチャのうちの全ての前記参照対象となるピクチャを選択的に符号化及び復号化した後に、前記所定の枚数のピクチャのうちの前記参照対象とならないピクチャを符号化する符号化及び復号化部と、前記符号化及び復号化部により復号化されたピクチャをフィルタ処理するループ内フィルタと、前記符号化及び復号化部が前記参照対象とならないピクチャの符号化をするタイミングに応じて前記ループ内フィルタへの電源の供給を停止する制御部とを含むことを特徴とする。

本願開示の少なくとも１つの実施例によれば、画像符号化装置において、パワーゲーティングによりループ内フィルタ処理回路の低消費電力化を図ることができる。

画像符号化装置の構成の一例を示す図である。 フレームメモリに供給され書き込まれる入力ストリームの一例を示す図である。 画像符号化装置の動作の一例を示す図である。 従来の画像符号化装置の動作と図１の画像符号化装置の動作との比較を示す図である。 リークによる消費エネルギーをパワーゲーティングにより削減する効果を説明するための図である。 画像符号化装置の電力削減効果を比較するための図である。 全体制御部の構成の一例を示すフローチャートである。 メモリバンク情報の一例を示す図である。 ＧＯＰ情報の構成の一例を示す図である。 符号化及び復号化部の動作の一例を示すフローチャートである。 符号化及び復号化部によるピクチャ処理の一例を示すフローチャートである。 ループ内フィルタの構成の一例を示す図である。 エントロピー符号化部から出力させる符号化ストリームの構成の一例を示す図である。 図１の画像符号化装置を適用したデジタルカメラの構成の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。各図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

図１は、画像符号化装置の構成の一例を示す図である。なお図１において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。画像符号化装置は、各機能ブロックの機能を有する電子回路ブロックを組み合わせて実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより各機能ブロックの機能を実現したソフトウェア構成でもよい。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

画像符号化装置は、符号化及び復号化部１０、ループ内フィルタ１１、電源制御部１２、及び全体制御部１３を含む。画像符号化装置は、フレームメモリ１４Ａ及びフィルタ後参照フレームメモリ１４Ｂに接続されており、フレームメモリ１４Ａから読み出したピクチャデータを符号化し、符号化データを出力する。この符号化処理において、画像符号化装置は、フィルタ後参照フレームメモリ１４Ｂに格納される参照ピクチャを利用する。具体的には、参照ピクチャに対して、符号化対象ピクチャの着目ブロックの動きベクトル算出が行なわれる。検出した最適な動きベクトルに対応する参照ピクチャ中の位置のピクチャブロックを予測ピクチャとし、この予測ピクチャと着目ブロックとの差分を計算することにより、符号化データのデータ量を小さくしている。

符号化及び復号化部１０が符号化したピクチャは、符号化及び復号化部１０内で復号化され、ループ内フィルタ１１を介して、フィルタ後参照フレームメモリ１４Ｂに格納される。画像符号化装置が送出した符号化データを受け取って復号化する画像復号化装置側でも、復号化処理において参照ピクチャが必要となるが、この参照ピクチャは画像符号化装置から受け取った符号化データを復号化して生成するしかない。このような画像復号化装置側での条件に合わせるために、画像符号化装置において使用する参照ピクチャとしても、入力ストリーム中のオリジナルのピクチャではなく、一旦符号化したピクチャを復号化して得られたピクチャを用いている。なおループ内フィルタ１１は、符号化及び復号化部１０により復号化されたピクチャをフィルタ処理する。このフィルタ処理では、ブロック境界両側の隣接画素値を平均化することにより、ブロック境界で発生するブロック状の歪みエッジを低減するデブロッキングフィルタ処理等が実行される。

符号化及び復号化部１０は、動き検出部２０、動き補償部２１、フレーム内予測部２２、選択部２３、予測誤差演算部２４、変換部２５、量子化部２６、エントロピー符号化部２７、逆量子化部２８、逆変換部２９、及び加算部３０を含む。フレームメモリ１４Ａには、ビデオカメラ等の外部動ピクチャ源から順次供給される動ピクチャデータのうちの最新の数フレーム分のピクチャが格納されている。符号化及び復号化部１０は、符号化対象のピクチャをフレームメモリ１４Ａから読み出して符号化する。符号化対象ピクチャは複数のマクロブロックに分割されており、そのうちの１つが符号化対象である着目マクロブロックである。

動き検出部２０及び動き補償部２１は、参照ピクチャと符号化対象ピクチャの着目マクロブロックとから画面間予測ピクチャを生成する。フレーム内予測部２２は、着目マクロブロックが属する符号化対象ピクチャ内のピクチャデータ、即ち着目マクロブロックが属する画面と同一画面のピクチャデータから画面内予測ピクチャを生成する。選択部２３は、各マクロブロックの予測ピクチャの生成方式として、フレーム内予測方式（イントラ予測方式）とフレーム間予測方式（インター予測方式）との切り替えを行なう。なお上記参照ピクチャは、フィルタ後参照フレームメモリ１４Ｂから読み出される。

動き検出部２０の処理は、具体的には、複数の動きベクトルに対して着目マクロブロックと参照ピクチャ中の対応位置のピクチャブロックの間の誤差（例えば画素毎の差分の絶対値和）を求め、この誤差の大きさを参考にして最適な動きベクトルを検出する。予測ピクチャが着目マクロブロックと最も類似したピクチャとなるように動きベクトルを選択すれば、誤差ピクチャの情報量が最も小さくなり、最終的に符号化後のビットストリームの情報量が最も小さくなる。動き補償部２１は、検出した最適な動きベクトルに対応する参照ピクチャ中の位置のピクチャブロックを抽出し、予測ピクチャとして出力する。

選択部２３が選択した予測ピクチャは、予測誤差演算部２４に供給される。予測誤差演算部２４は、予測ピクチャと着目ブロックとの差分を計算することにより予測ピクチャと着目ブロックとから誤差ピクチャを求め、求めた誤差ピクチャを変換部２５に供給する。変換部２５は、誤差ピクチャに対して直交変換を行なう。更に、量子化部２６が直交変換後の誤差ピクチャ即ち変換係数に対して量子化処理を実行し、量子化された変換係数を求める。この量子化後変換係数は、エントロピー符号化部２７と逆量子化部２８とに供給される。エントロピー符号化部２７は、量子化後変換係数をエントロピー符号化し、情報量圧縮されたピクチャ情報である符号化データ（ビットストリーム）を生成する。なお動き検出部２０が検出した動きベクトルは、量子化後変換係数とともにエントロピー符号化され、ビットストリーム中に動きベクトルに関する情報が含まれることになる。

逆量子化部２８は、量子化後変換係数に対して逆量子化を実行して変換係数を復元する。更に逆変換部２９は、変換係数に対して逆直交変換を実行して誤差ピクチャを復元する。加算部３０は、復元された誤差ピクチャと予測誤差演算部２４で用いた予測ピクチャとから、再構成ピクチャを生成する。フィルタ部２９は、直交変換・量子化処理と逆量子化・逆直交変換処理とにより再構成ピクチャに生じたブロック歪みを減少させるデブロッキングフィルタ処理等を行う。処理後のピクチャであるローカルデコードピクチャは、フィルタ後参照フレームメモリ１４Ｂに格納される。

図２は、フレームメモリ１４Ａに供給され書き込まれる入力ストリームの一例を示す図である。図２に示されるように、例えば、ＩピクチャＩ_０、ＢピクチャＢ'_１、ＢピクチャＢ_２、ＢピクチャＢ'_３、ＰピクチャＰ_４、・・・の順番で各ピクチャが入力ストリームとしてフレームメモリ１４Ａに供給され格納される。ここで、Ｉピクチャ（Intra Picture）は、前後のフレームとは関係なく、そのフレーム内だけで独立して符号化するピクチャであり、時間方向の動き予測を行うことはなく、フレーム内の情報のみを用いて符号化処理を行うピクチャである。Ｐピクチャ（Predictive Picture）は、フレーム間の前方向予測により符号化するピクチャであり、ＩピクチャもしくはＰピクチャを予測ピクチャとして、フレーム間予測を用いて符号化処理を行うピクチャである。Ｐピクチャは、独立には復号化できない。Ｂピクチャ（Bi directional Predictive Picture）は、過去と未来の双方向からの予測符号化を行うピクチャである。Ｂピクチャは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを予測ピクチャとして、時間軸上で、処理対象のピクチャより過去もしくは未来、またはその両方からの双方向予測が可能なピクチャである。Bピクチャも、独立には復号化できないが、I、Pピクチャと比べて圧縮率の向上が期待できる。

ＧＯＰ（Group Of Picture）は、圧縮符号化の単位となる一群のピクチャである。ＧＯＰには、Iピクチャが少なくとも1枚含まれ、更にＰピクチャ及びBピクチャが含まれ得る。図２に示す例では、１枚のＩピクチャと、１枚のＰピクチャ、及び６枚のＢピクチャがＧＯＰに含まれている。１つのＧＯＰ内の各ピクチャは、０番から７番までのシーケンス番号により特定できる。

また図２では、符号化処理において参照対象となるピクチャ（以降、被参照ピクチャとも呼ぶ）はプライム記号「'」無しで示してあり、符号化処理において参照対象とならないピクチャ（以降、非被参照ピクチャとも呼ぶ）はプライム記号「'」有りで示してある。図２に示す例において、ＢピクチャＢ'_１、ＢピクチャＢ'_３、ＢピクチャＢ'_５、及びＢピクチャＢ'_７が、符号化処理による参照対象とならないピクチャである。即ち、これらのピクチャは、他のピクチャを符号化するときに参照ピクチャとして用いられることが無く、フィルタ後参照フレームメモリ１４Ｂに格納される必要がない。また上記以外のＩピクチャＩ_０、ＢピクチャＢ_２、ＰピクチャＰ_４、及びＢピクチャＢ_６が符号化処理による参照対象となるピクチャである。即ち、これらのピクチャは、他のピクチャを符号化するときに参照ピクチャとして用いられるピクチャであり、フィルタ後参照フレームメモリ１４Ｂに格納される必要がある。

図３は、画像符号化装置の動作の一例を示す図である。図３において、図１と同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。なお図３において、図１に示す電源制御部１２及び全体制御部１３は、一つの制御部１２＆１３として示してある。またフレームメモリ１４Ａに入力されるストリームは、図２に示されるストリームと同一である。

符号化及び復号化部１０は、読み出す対象のピクチャを指定する信号（アドレス信号又はバンク指定及びピクチャＩＤ指定信号等）をフレームメモリ１４Ａに供給し、フレームメモリ１４Ａから指定したピクチャを読み出す。この際、符号化及び復号化部１０は、参照対象となるピクチャと参照対象とならないピクチャとを識別する情報に基づいて、所定の枚数のピクチャのうちの参照対象となるピクチャを最初に選択的に符号化及び復号化する。その後に、符号化及び復号化部１０は、所定の枚数のピクチャのうちの参照対象とならないピクチャを符号化する。なお図３に示す例では、これら所定の枚数のピクチャは、１つのＧＯＰに含まれるピクチャの枚数に等しい枚数のピクチャである。この例ではＧＯＰは８枚のピクチャを含むので、所定の枚数は８枚となる。なおこの所定の枚数は、必ずしもＧＯＰの枚数に等しい必要はない。

図３に示されるように、フレームメモリ１４Ａに入力され格納されるストリームにおいて、ピクチャの順番はＩ_０、Ｂ_１'、Ｂ_２、Ｂ_３'、Ｐ_４、Ｂ_５'、Ｂ_６、Ｂ_７'、Ｉ_０、・・・である。それに対して、符号化及び復号化部１０がフレームメモリ１４Ａからピクチャを読み出す際には、入力ストリームのピクチャの順番とは異なる順番でピクチャを読み出す。最初に、符号化及び復号化部１０は、入力ストリームの先頭（０番目）のＩピクチャＩ_０を読み出す。それに続き、符号化及び復号化部１０は、第１番目のＧＯＰの１番目のピクチャから第２番目のＧＯＰの０番目のピクチャまでの８枚のピクチャのうち、参照対象となるピクチャであるＰ_４、Ｂ_２、Ｉ_０、及びＢ_６を選択的に読み出す。この読み出し順については後述する。符号化及び復号化部１０は、読み出したこれらのピクチャを順番に符号化及び復号化する。

符号化及び復号化部１０は更に、第１番目のＧＯＰの１番目のピクチャから第２番目のＧＯＰの０番目のピクチャまでの８枚のピクチャのうち、参照対象とならないピクチャであるＢ'_１、Ｂ'_３、Ｂ'_５、及びＢ'_７を選択的に読み出す。符号化及び復号化部１０は、読み出したこれらのピクチャを順番に符号化する。なおこれらのピクチャは参照対象とならないので復号化する必要はないが、符号化及び復号化部１０において、これらのピクチャを復号化してもよい。復号化処理の有無に関わらず、前述のように、参照対象とならないピクチャは、フィルタ後参照フレームメモリ１４Ｂに格納される必要がない。

制御部１２＆１３は、符号化及び復号化部１０が参照対象とならないピクチャの符号化をするタイミングに応じてループ内フィルタ１１への電源の供給を停止する。上記のように、参照対象とならないピクチャはフィルタ後参照フレームメモリ１４Ｂに格納される必要がなく、またループ内フィルタ１１によりフィルタ処理される必要もない、従って、符号化及び復号化部１０が参照対象とならない一連のピクチャを符号化している期間は、ループ内フィルタ１１が動作している必要はない。より厳密には、参照対象とならない一連のピクチャに続いて参照対象となる一連のピクチャが符号化及び復号化され、これらのピクチャに対するループ内フィルタ処理が必要になるまでは、ループ内フィルタ１１が動作している必要はない。またストリームの途中では、符号化及び復号化された参照対象となる一連のピクチャがループ内フィルタ処理された後、次の符号化及び復号化された参照対象となる一連のピクチャに対するループ内フィルタ処理が開始される迄、ループ内フィルタ処理は不要である。従って、このようにループ内フィルタ処理が不要である期間、制御部（電源制御部１２及び全体制御部１３）により、ループ内フィルタ１１への電源の供給を停止してよい。これにより、消費電力を削減することができる。

図４は、従来の画像符号化装置の動作と図１の画像符号化装置の動作との比較を示す図である。図４（ａ）には、従来の画像符号化装置の場合のフレームメモリに格納される入力ストリームが示される。この入力ストリームは、図２に示すストリームと同一である。図４（ｂ）には、従来の画像符号化装置がフレームメモリから読み出してループ内フィルタに入力する、参照対象となるピクチャの順番と読み出しタイミングとが示される。図４（ｂ）に示すピクチャはループ内フィルタに入力されるピクチャであり、参照対象とならないピクチャは図示されていない。

従来の画像符号化装置では、あるピクチャが処理可能になると直ちに当該ピクチャをフレームメモリから読み出す。図４（ｂ）の例では、独立で符号化可能ＩピクチャＩ_０３１は、フレームメモリに格納されたら直ちに処理可能であるので、フレームメモリから直ちに読み出される。その後のＢピクチャは、時間的に前後両方向の参照ピクチャが必要であるので処理できず、フレームメモリから直ちに読み出されることはない。その後のＰピクチャＰ_４３３は、時間的に前方向の参照ピクチャ（即ちこの場合はＩ_０）が既に処理されているので、フレームメモリに格納されたら直ちに処理可能であり、フレームメモリから直ちに読み出される。この時点で、ＢピクチャＢ_２３２が処理可能となるので、ＰピクチャＰ_４３３の読み出しの直後に読み出される。以後同様である。

図４（ｂ）において、参照対象となるピクチャの読み出し動作の間の期間Ｔ１、Ｔ２、Ｔ３においては、ループ内フィルタ処理は不要である。従って、これらの期間Ｔ１、Ｔ２、Ｔ３において、ループ内フィルタ１１への電源供給を遮断してよい。しかしこの場合、各期間Ｔ１、Ｔ２、Ｔ３が比較的短いので、十分な消費電力削減効果が得られない。

図４（ｃ）には、図１の画像符号化装置の場合のフレームメモリに格納される入力ストリームが示される。この入力ストリームは、図２に示すストリームと同一である。図４（ｄ）には、図１の画像符号化装置がフレームメモリから読み出してループ内フィルタに入力する、参照対象となるピクチャの順番と読み出しタイミングとが示される。なお図４（ｄ）に示すピクチャはループ内フィルタに入力されるピクチャであり、参照対象とならないピクチャは図示されていない。

図１の画像符号化装置では、所定の枚数のピクチャのうちの参照対象となるピクチャを選択的にフレームメモリから最初に読み出す。図４（ｄ）の例では、第１番目のＧＯＰの１番目のピクチャＢ'_１３９から第２番目のＧＯＰの０番目のピクチャＩ_０３８までの８枚のピクチャのうち、参照対象となるピクチャであるＰ_４３６、Ｂ_２３５、Ｉ_０３８、及びＢ_６３７をこの順番に纏めて選択的に読み出す。この際、これら４枚のピクチャのうちで一番遅くに到来する第２番目のＧＯＰのＩピクチャＩ_０３８がフレームメモリに格納されたら、直ちにこのＩ_０をフレームメモリから読み出すタイミングで、これら４枚のピクチャをフレームメモリから読み出す。なおこれら４枚のピクチャを読み出すときに、入力ストリームの先頭のＩ_０３４も同時に読み出している。この先頭のＩ_０３４が追加されているために、最初だけ５枚のピクチャが纏めて読み出されているが、以降のストリームでは、参照対象となる４枚のピクチャであるＰ_４、Ｂ_２、Ｉ_０、及びＢ_６が纏めて選択的に繰り返し読み出されることになる。

図４（ｄ）の例において、フレームメモリから読み出す順番は、符号化可能なピクチャであって先にフレームメモリに格納されたものを先に読み出す。具体的には、符号化可能なＩピクチャＩ_０３４は最初にフレームメモリに格納されているので、最初にフレームメモリから読み出される。その後のＢピクチャＢ_２３５は、時間的に前後両方向の参照ピクチャが必要であるので処理できず、Ｉ_０３４の直後にフレームメモリから読み出されることはない。その後のＰピクチャＰ_４３６は、時間的に前方向の参照ピクチャ（即ちこの場合はＩ_０３４）が既に処理されているので、処理可能であり、フレームメモリからＩ_０３４に続いて読み出される。この時点で、ＢピクチャＢ_２３５が処理可能となるので、ＰピクチャＰ_４３６の読み出しの直後に読み出される。以後同様である。

図４（ｄ）において、参照対象となるピクチャの読み出し動作の間の期間Ｔ４においては、ループ内フィルタ処理は不要である。従って、期間Ｔ４において、ループ内フィルタ１１への電源供給を遮断してよい。この場合、期間Ｔ４は、図４（ａ）の期間Ｔ１、Ｔ２、Ｔ３と比較して十分に長いので、十分な消費電力削減効果を得ることができる。

図５は、リークによる消費エネルギーをパワーゲーティングにより削減する効果を説明するための図である。図５において、横軸は時間であり、縦軸は、リーク電流により回路において消費されるエネルギーである。図５に示されるように、パワーゲーティングにより回路への電源を遮断しても、リークによる消費エネルギーが直ちにゼロになるのではなく、期間Ｔ_ＯＦＦにおいては電力が消費される。電源遮断後にも、当該回路内に存在する寄生容量等に充電されている電荷がリーク電流の経路を介して放電していくために、リーク電流値は電源遮断後に期間Ｔ_ＯＦＦにおいて徐々に減少していくことになる。また電源を再投入した際には、直ちに回路の処理が開始可能になるわけではなく、期間Ｔ_ＯＮかけて回路内の各信号線が所望の電圧に回復するまで待つ必要がある。従って、電源遮断期間が短いと、パワーゲーティングの効果が十分に得られる時間（リーク電流がゼロに近い期間）が短くなってしまい、パワーゲーティングによる低消費電力化の効果を十分に得ることができない。またパワーゲーティングにおける電源のＯＮ及びＯＦＦの動作のために電力を消費するので、頻繁に電源ＯＮ及びＯＦＦを繰り返す場合には、この電力消費量の増大分が、パワーゲーティングにより削減される電力消費量の減少分を上回る場合もあり得る。

前述の図４（ｂ）に示す従来の画像符号化装置の場合と比較して、図４（ｄ）に示す図１の画像符号化装置の場合には、パワーゲーティングにより電力供給を遮断している期間が長くなっている。従って、図１の画像符号化装置の場合には、より大きな消費電力削減効果を得ることができる。

図６は、画像符号化装置の電力削減効果を比較するための図である。図６（ａ）には、従来の画像符号化装置の場合のフレームメモリに格納される入力ストリームが示される。この入力ストリームでは、１５枚のピクチャからなるＧＯＰが繰り替えされる。１つのＧＯＰの１５枚のピクチャのうちで、Ｂピクチャ以外は全て参照対象となるピクチャであり、Ｂピクチャは全て参照対象とならないピクチャである。図６（ｂ）には、従来の画像符号化装置がフレームメモリから読み出すピクチャの順番と読み出しタイミングとが示される。また図６（ｂ）には、参照対象とならないＢピクチャを読み出す期間４１乃至４６が示される。これらの期間４１乃至４６において、ループ内フィルタへの電源を遮断して、電力を削減することができる。この例において、１ＧＯＰ処理におけるループ内フィルタの電源ＯＮ回数は５回、電源ＯＦＦ回数は５回となる。また、１ピクチャ処理時間をTとすると、電源遮断期間の合計期間は１０Ｔとなる。

図６（ｃ）には、図１の画像符号化装置の場合のフレームメモリに格納される入力ストリームが示される。この入力ストリームは、図６（ａ）に示されるものと同一である。図６（ｄ）には、図１の画像符号化装置がフレームメモリから読み出すピクチャの順番と読み出しタイミングとが示される。また図６（ｄ）には、参照対象とならないＢピクチャを読み出す期間４７が示される。この期間４７において、ループ内フィルタへの電源を遮断して、電力を削減することができる。この例において、１ＧＯＰ処理における電源ＯＮ回数は１回、電源ＯＦＦ回数は１回となる。また、電源遮断期間の合計期間は従来技術と同様に１０Ｔである。

電源遮断後に低リーク電流状態に達するまでの時間をＴ_ＯＦＦ、電源ＯＮから処理開始可能になるまでのスタートアップ時間をＴ_ＯＮとすると、従来技術を利用した場合のループ内フィルタ回路の低リーク電流状態の時間は、１０Ｔ−（５Ｔ_ＯＦＦ＋５Ｔ_ＯＮ）となる。これに対して、図１の画像符号化装置の場合のループ内フィルタ回路の低リーク電流状態の時間は、１０Ｔ−（Ｔ_ＯＦＦ＋Ｔ_ＯＮ）となり、従来技術の場合よりも低リーク電流状態の時間を長くすることができる。また、ループ内フィルタの電源供給をＯＮ及びＯＦＦするスイッチ回路（電源制御回路）のキャパシタ容量をＣ、電源電圧をＶとすると、１回の電源ＯＮ及びＯＦＦに発生する消費エネルギーは1／２ＣＶ^２となる。従来技術の場合に比較して図１の画像符号化装置の方が、電源ＯＮ及びＯＦＦの回数が少ないので、電源制御回路の消費エネルギーについても、従来技術の場合と比較して小さくすることができる。

図７は、全体制御部１３の構成の一例を示すフローチャートである。図７を用いて、図１に示す全体制御部１３の動作について説明する。

ステップＳ１において、全体制御部１３は、フレームメモリ１４Ａに１ＧＯＰ分のピクチャが蓄積されたか否かを判定する。判定結果がＮＯである場合、処理はステップＳ１に戻る。判定結果がＹＥＳである場合、処理はステップＳ２に進み、全体制御部１３が、符号化及び復号化部１０に対して、スタート信号、メモリバンク情報、及びＧＯＰ情報を供給する。符号化及び復号化部１０は、後述するように、スタート信号に応答して、フレームメモリからのピクチャの読み出し、並びに、ピクチャの符号化及び復号化の動作を開始する。このフレームメモリからのピクチャの読み出し、並びに、ピクチャの符号化及び復号化の動作において、符号化及び復号化部１０においてＧＯＰ情報が参照される。ステップＳ２の後、処理はステップＳ１に戻る。

図８は、メモリバンク情報の一例を示す図である。図８（ａ）には、フレームメモリ１４Ａのメモリバンク情報が示される。また図８（ｂ）には、フィルタ後参照フレームメモリ１４Ｂのメモリバンク情報が示される。これらの図８（ａ）及び図８（ｂ）に示されるように、メモリバンク情報は、バンクＩＤにより識別されるフレームメモリ内のバンク毎に、そのバンクに格納されているピクチャを、ピクチャＩＤのより特定している。

図９は、ＧＯＰ情報の構成の一例を示す図である。図９に示されるように、ＧＯＰ情報は、ピクチャＩＤにより特定される着目ＧＯＰ内のピクチャ毎に、ピクチャの種別を示す情報（即ち少なくともＩタイプ、Ｐタイプ、Ｂタイプを特定する情報）と、参照対象であるピクチャか否かを示す情報が格納されている。

図７に戻り、ステップＳ１において、全体制御部１３は、参照対象となるピクチャの処理を開始する信号（被参照ピクチャ処理開始信号）が検出されたか否かを判定する。後述するように、この被参照ピクチャ処理開始信号は、符号化及び復号化部１０から全体制御部１３に供給される信号である。判定結果がＮＯである場合、処理はステップＳ１に戻る。判定結果がＹＥＳである場合、処理はステップＳ３に進み、全体制御部１３が、電源制御部１２に対して、ループ内フィルタ１１の電源をＯＮするように通知する。この通知に応答して、電源制御部１２は、ループ内フィルタ１１に対する電源供給を開始する。このように電源制御部１２及び全体制御部１３は、符号化及び復号化部１０による参照対象となるピクチャの符号化及び復号化の動作開始を示す信号に応答して、ループ内フィルタ１１への電源の供給を開始する。ステップＳ２の後、処理はステップＳ１に戻る。

ステップＳ１において、全体制御部１３は、参照対象とならないピクチャの処理を開始する信号（非被参照ピクチャ処理開始信号）が検出されたか否かを判定する。後述するように、この非被参照ピクチャ処理開始信号は、符号化及び復号化部１０から全体制御部１３に供給される信号である。判定結果がＮＯである場合、処理はステップＳ１に戻る。判定結果がＹＥＳである場合、処理はステップＳ３に進み、全体制御部１３が、電源制御部１２に対して、ループ内フィルタ１１の電源をＯＦＦするように通知する。この通知に応答して、電源制御部１２は、ループ内フィルタ１１に対する電源供給を停止する。ステップＳ２の後、処理はステップＳ１に戻る。このように電源制御部１２及び全体制御部１３は、符号化及び復号化部１０による参照対象とならないピクチャの符号化の動作開始を示す信号に応答して、ループ内フィルタ１１への電源の供給を停止する。

図１０は、符号化及び復号化部１０の動作の一例を示すフローチャートである。図１０を用いて、図１に示す符号化及び復号化部１０の動作について説明する。なお図１０及び以降の図において、フローチャートに記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該フローチャートの処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。

図１０のステップＳ１１で、符号化及び復号化部１０が、全体制御部１３からのスタート信号を検出したか否かを判定する。スタート信号を検出するまで判定動作を繰り返し、スタート信号を検出すると、処理はステップＳ１２に進む。ステップＳ１２で、符号化及び復号化部１０は、被参照ピクチャ処理開始信号を全体制御部１３に供給する。これにより、符号化及び復号化部１０は、全体制御部１３に対して、参照対象であるピクチャの符号化及び復号化処理を開始したことを通知する。ステップＳ１３で、符号化及び復号化部１０は、ＧＯＰ情報に基づいて、着目ＧＯＰ中で参照対象であるピクチャを選択し、選択されたピクチャをフレームメモリ１４Ａから読み出す。即ち、符号化及び復号化部１０は、図９に示すＧＯＰ情報中で「被参照あり」を示す情報が「ｙｅｓ」であるピクチャを特定し、特定されたピクチャをフレームメモリ１４Ａから読み出す。符号化及び復号化部１０は更に、読み出したピクチャを符号化及び復号化する。

ステップＳ１４で、符号化及び復号化部１０は、非被参照ピクチャ処理開始信号を全体制御部１３に供給する。これにより、符号化及び復号化部１０は、全体制御部１３に対して、参照対象でないピクチャの符号化処理を開始したことを通知する。ステップＳ１５で、符号化及び復号化部１０は、ＧＯＰ情報に基づいて、着目ＧＯＰ中で参照対象でないピクチャを選択し、選択されたピクチャをフレームメモリ１４Ａから読み出す。即ち、符号化及び復号化部１０は、図９に示すＧＯＰ情報中で「被参照あり」を示す情報が「ｎｏ」であるピクチャを特定し、特定されたピクチャをフレームメモリ１４Ａから読み出す。符号化及び復号化部１０は更に、読み出したピクチャを符号化する。

ステップＳ１６で、符号化及び復号化部１０は、ストリーム中の全てのＧＯＰに対して処理を終了したか否かを判定する。判定の結果がＮｏである場合、処理はステップＳ１２に戻り、以降の処理を繰り返す。判定の結果がＹｅｓである場合、処理を終了する。

図１１は、符号化及び復号化部１０によるピクチャ処理の一例を示すフローチャートである。図１１を参照して、図１の符号化及び復号化部１０の動作について説明する。

ステップＳ２１において、動き補償部２１及びフレーム内予測部２２により、予測信号を生成する。ステップＳ２２において、符号化及び復号化部１０が、符号化対象ピクチャをフレームメモリ１４Ａの該当メモリバンクから読み出す。ステップＳ２３において、予測誤差演算部２４が、符号化対象ピクチャと予測信号との残差信号を生成する。ステップＳ２４で、変換部２５が残差信号を変換し、量子化部２６が変換後の信号（変換係数）を量子化する。ステップＳ２５で、エントロピー符号化部２７が、量子化された変換係数をエントロピー符号化し、符号化及び復号化部１０の出力信号として出力する。

またステップＳ２６で、逆量子化部２８が量子化された変換係数を逆量子化し、逆変換部２９が逆量子化により得られた変換係数を逆変換し、残差信号を求める。ステップＳ２７で、ステップＳ２６で求められた残差信号とステップＳ２１で求められた予測信号とを加算し、ピクチャを再構成して、符号化及び復号化部１０からループ内フィルタ１１への入力信号として再構成したピクチャを出力する。

図１２は、ループ内フィルタ１１の構成の一例を示す図である。図１２（ａ）に示すループ内フィルタ１１は、デブロッキングフィルタ１１Ａを含む。このデブロッキングフィルタ１１Ａは、ブロック境界で発生するノイズのために現れるブロック状の歪みエッジに対して、歪みエッジの両側の隣接画素値を平均化することにより、歪みエッジを目立たなくさせる処理を行う。この構成のループ内フィルタ１１は、Ｈ．２６４において用いられる。

図１２（ｂ）に示すループ内フィルタ１１は、デブロッキングフィルタ１１Ａ及びサンプルアダプティブオフセット１１Ｂを含む。デブロッキングフィルタ１１Ａは、ブロック境界で発生するノイズのために現れるブロック状の歪みエッジに対して、歪みエッジの両側の隣接画素値を平均化することにより、歪みエッジを目立たなくさせる処理を行う。サンプルアダプティブオフセット１１Ｂは、再構成された画素の各々を複数の異なるカテゴリの何れかに分類し、各カテゴリのピクセルにオフセットを加算することにより、歪みを低減する処理を行う。

図１３は、エントロピー符号化部２７から出力させる符号化ストリームの構成の一例を示す図である。符号化ストリームは、シーケンスヘッダＳＨは、画像の大きさ、１秒あたりの符号化フレーム数、通信速度等に関する情報を含む、このシーケンスヘッダＳＨに続き、複数のＧＯＰが並ぶ。各ＧＯＰは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ等の個々のピクチャ、及び、ＧＯＰヘッダを含む。ＧＯＰヘッダは、画像復元時に画像と音声等との時間合わせを可能にするための情報などを含む。また図９に示すＧＯＰ情報も、このＧＯＰヘッダに含まれる。但しこのＧＯＰ情報は、符号化ストリーム中のピクチャの並び順を反映させた情報となっている。各ピクチャは、ピクチャヘッダと複数のスライスとを含む。各スライスは、スライス情報と複数のマクロブロックＭＢとを含む。ここでスライス情報は、スライス内で用いられる符号化情報、量子化特性等を含む。また各マクロブロックＭＢは、ＭＢ情報と複数のマクロブロックとを含む。ＭＢ情報は、マクロブロック単位で符号化制御を行うための情報を含む。

上述のように、復号化器側に送信される符号化ストリームには、図９に示すＧＯＰ情報が含まれる。従って、従来技術と異なる順番でピクチャを符号化して符号化ストリーム中に並べても、復号化器側では正しく復号化することができる。即ち、復号化器側では、従来技術の復号化器をそのまま用いることができる。

図１４は、図１の画像符号化装置を適用したデジタルカメラの構成の一例を示す図である。図１４のデジタルカメラは、レンズ５０、シャッター５１、固体撮像素子５２、アナログ信号処理部５３、ＡＤ変換部５４、デジタル信号処理部５５、圧縮伸長処理部５６、及び表示部５７を含む。デジタルカメラは更に、駆動部５８、ＣＰＵ５９、フレームメモリ６０、記録メディアインターフェース（ＩＦ）６１、及び操作部６２を含む。記録メディアインターフェース６１には、ＳＤメモリカード等の記録メディア６３が接続されてよい。

ＣＰＵ５９の制御下で駆動部５８が、レンズ５０、シャッター５１、固体撮像素子５２、アナログ信号処理部５３、及びＡＤ変換部５４を駆動することにより、静止画像や動画像のデジタル信号が得られる。ここで、アナログ信号処理部５３は、相関二重サンプリング処理等のアナログ処理を実行する。ＡＤ変換部５４は、アナログ画像をデジタル画像に変換する。

得られたデジタル信号に対して、デジタル信号処理部５５が、補間処理やホワイトバランス補正、ＲＧＢ／ＹＣ変換処理、混色補正処理等のデジタル信号処理を実行する。デジタル信号処理後の画像データは、フレームメモリ６０に格納される。圧縮伸長処理部５６は、フレームメモリ６０に格納された画像データを圧縮したり、圧縮された画像データを伸長したりする。表示部５７は、撮像した画像を表示したり、操作のためのメニューを表示したりする。撮像された画像データは、記録メディアインターフェース６１を介して、記録メディア６３に格納される。ＣＰＵ５９は、デジタルカメラの全体の動作を制御する。

図１４に示すデジタルカメラにおいて、圧縮伸長処理部５６が図１に示される画像符号化装置に相当する。図１の画像符号化装置を適用することで、図１４に示すデジタルカメラは、所定のバッテリーの充電量に対して可動可能時間を長くすることが可能となる。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１０ 符号化及び復号化部
１１ ループ内フィルタ
１２ 電源制御部
１３ 全体制御部
１４Ａ フレームメモリ
１４Ｂ フィルタ後参照フレームメモリ

Claims (5)

1. 参照対象となるピクチャと参照対象とならないピクチャとを識別する情報に基づいて、１つのＧＯＰに含まれるピクチャの枚数に等しい所定の枚数のピクチャのうちの全ての前記参照対象となるピクチャを選択的に符号化及び復号化した後に、前記所定の枚数のピクチャのうちの前記参照対象とならないピクチャを符号化する符号化及び復号化部と、
   前記符号化及び復号化部により復号化されたピクチャをフィルタ処理するループ内フィルタと、
   前記符号化及び復号化部が前記参照対象とならないピクチャの符号化をするタイミングに応じて前記ループ内フィルタへの電源の供給を停止する制御部と
   を含むことを特徴とする画像符号化装置。
2. 前記制御部は、前記符号化及び復号化部による前記参照対象とならないピクチャの符号化の動作開始を示す信号に応答して、前記ループ内フィルタへの電源の供給を停止することを特徴とする請求項１記載の画像符号化装置。
3. 前記制御部は、前記符号化及び復号化部による前記参照対象となるピクチャの符号化及び復号化の動作開始を示す信号に応答して、前記ループ内フィルタへの電源の供給を開始することを特徴とする請求項１又は２記載の画像符号化装置。
4. 参照対象となるピクチャと参照対象とならないピクチャとを識別する情報に基づいて、１つのＧＯＰに含まれるピクチャの枚数に等しい所定の枚数のピクチャのうちの全ての前記参照対象となるピクチャを選択的に符号化及び復号化し、
   前記参照対象となるピクチャを選択的に符号化及び復号化した後に、前記所定の枚数のピクチャのうちの前記参照対象とならないピクチャを符号化し、
   前記参照対象とならないピクチャの符号化をするタイミングに応じて、符号化及び復号化されたピクチャをフィルタ処理するループ内フィルタへの電源の供給を停止する
   各段階を含むことを特徴とする画像符号化方法。
5. 撮像素子と、
   前記撮像素子で撮像した動画像のストリームを格納するフレームメモリと、
   前記フレームメモリに格納された前記ストリームを、前記フレームメモリから読み出して符号化する画像符号化装置と
   を含み、前記画像符号化装置は、
   参照対象となるピクチャと参照対象とならないピクチャとを識別する情報に基づいて、１つのＧＯＰに含まれるピクチャの枚数に等しい所定の枚数のピクチャのうちの全ての前記参照対象となるピクチャを選択的に符号化及び復号化した後に、前記所定の枚数のピクチャのうちの前記参照対象とならないピクチャを符号化する符号化及び復号化部と、
   前記符号化及び復号化部により復号化されたピクチャをフィルタ処理するループ内フィルタと、
   前記符号化及び復号化部が前記参照対象とならないピクチャの符号化をするタイミングに応じて前記ループ内フィルタへの電源の供給を停止する制御部と
   を含むことを特徴とする撮像装置。

Images