JP5087016B2 - 符号化装置及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は、符号化装置及びその制御方法、コンピュータプログラムに関する。

近年、動画像の高解像度化が進んでいる。例えば、ビデオカメラやデジタルテレビなどでは１９２０画素×１０８０画素の画素数を有するHD（High-Definition）映像を扱う製品が主流となりつつある。この高解像度化は今後も進んでいく見通しで、将来的には４０００画素×２０００画素や、８０００画素×４０００画素の画像を扱うことが予想される。このような画像データを符号化する場合には、画素数の増加に応じて処理量が増大するため、画像処理の高速化が求められる。

符号化処理において、画像を分割して複数の符号化エンジン（符号化回路）を用いて並列に符号化動作を行い、高速化を図る方法がある。例えば図２のように、画像２００を上下の２つに分割し、上部分２０１を符号化エンジン１、下部分２０２を符号化エンジン２で並列に符号化を行う。これにより、１つの符号化エンジンで符号化を行う場合に比べて２倍の高速化を図ることができる。

ＭＰＥＧ−２などの符号化方式の場合、符号化の結果生成されるローカルデコード画像が隣接する部分の符号化動作に影響を及ぼさないため、上記方法を用いて高速化を図ることができる。なお、二つの符号化エンジンを用いて、複数に分割された画像領域を並列に符号化する構成は、特許文献１に記載されている。

ところで、近年になって、ＭＰＥＧ−２よりも、より高能率に符号化できるとされる、Ｈ．２６４符号化方式が標準化された。Ｈ．２６４符号化方式の場合、局所復号画像（ローカルデコード画像）にフィルタ処理を施すことによって、動き補償予測の能率向上を図っている。このようなフィルタ処理、及びフィルタ構成は、デブロッキングフィルタと呼ばれている。

このＨ．２６４符号化方式を採用して、上記のような複数の異なる符号化エンジンによって符号化を行う場合を考える。Ｈ．２６４ではローカルデコード画像にデブロッキングフィルタをかけるため、隣接する部分の符号化動作に影響を及ぼすことになる。デブロッキングフィルタをかける順番はラスタ走査順序に規定されているため、符号化の結果生成されるローカルデコード画像がデブロッキングフィルタにより下方向のローカルデコード画像の生成に影響を及ぼしていくことになる。

図３を参照して、この現象を説明する。Ｈ．２６４規格では通常４×４ブロックの境界に対してデブロッキングフィルタをかけていく。フィルタのかけ方はパラメータや画素値により異なるが、境界から±４画素を用いて演算を行う。またＨ．２６４規格により、垂直境界のフィルタは左から順番に、水平境界のフィルタは上から順番にフィルタをかけることが規定されている。図３の水平境界１ｈにフィルタをかける場合、境界の上４画素Ｐ０（フィルタをかけることにより、４画素全てが変化する可能性があるので、ここでは４画素をまとめてＰ０と表現する）と境界の下４画素Ｐ１とがフィルタの演算に用いられる。フィルタ演算の結果、それぞれＰ０'、Ｐ１'に変化する。次の処理対象となる水平境界２ｈにフィルタをかける場合、変化したＰ１'とＰ２がフィルタ演算に用いられ、それぞれＰ１''、Ｐ２'に変化する。同様に水平境界３ｈのフィルタ演算では、Ｐ２'、Ｐ３がＰ２''、Ｐ３'に変化し、水平境界４ｈでは、Ｐ３'、Ｐ４がＰ３''、Ｐ４'に変化し、水平境界５ｈではＰ４'、Ｐ５がＰ４''、Ｐ５'に変化する。

このように、上段の符号化の結果がデブロッキングフィルタにより４画素ずつ下段に影響を及ぼし、それが伝播していくため、ある境界にデブロッキングフィルタをかけるためには、それより上の部分の符号化は全て完了している必要がある。図３の水平境界５ｈを画像の分割境界とすると、その境界のフィルタ処理に必要なＰ４'の４画素は、それより上の部分の符号化処理が完了していないと生成することができない。

このため、画像を上下に分割して複数の符号化器を用いて並列に符号化動作を行おうとしても、画像の分割境界にデブロッキングフィルタをかけるために必要な画像分割境界の上４画素が存在していない。よって、分割した下部分の画像においてはローカルデコード画像が生成できない。

すなわち、デブロッキングフィルタをかけようとすると、並列に符号化動作を行うことができない。また、Ｈ．２６４規格ではスライス境界にはデブロッキングフィルタをかけないようにすることもできるので、画像の分割境界をスライス境界に設定し、デブロッキングフィルタをかけないようにすることはできる。

この場合、並列に符号化を行うことは可能であるが、画像の分割境界にデブロッキングフィルタがかからないため、分割境界で画質の劣化が起きるという問題があった。なお画像を左右に分割した場合でも、水平境界か垂直境界か、および上下か左右かの違いだけで同様の問題がある。
特開２００６-３４０１８３号公報

このように、画像を複数の領域に分割して並列に符号化処理を行う際に画像の分割境界にデブロッキングフィルタをかけることができないという問題がある。

そこで本発明は、画像を複数の領域に分割して得られる複数の分割画像を複数の符号化手段によって符号化処理する際に、画像の分割境界にデブロッキングフィルタをかけることを可能とし、良好な画像を得られるようにすることを目的とする。

上記課題を解決するための本発明は、
画像を領域分割して複数の分割画像を生成する分割手段と、
該複数の分割画像のうち第１の分割画像を周波数変換して符号化する第１の符号化手段と、
該複数の分割画像のうち第２の分割画像を周波数変換して符号化する第２の符号化手段と
を備える符号化装置であって、
前記第１の符号化手段及び前記第２の符号化手段は、符号化対象の分割画像を第１のブロックサイズと、該第１のブロックサイズよりも大きい第２のブロックサイズとのいずれかを有するブロックに分割して周波数変換を行い、
前記第１の分割画像が前記第２の分割画像にラスタ走査順序において先行し、かつ、該第１の分割画像と該第２の分割画像が互いに隣接する場合に、前記第１の符号化手段は、前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを、前記第２のブロックサイズとする。

本発明によれば、画像を複数の領域に分割して得られる複数の分割画像を複数の符号化手段によって符号化処理する際に、画像の分割境界にデブロッキングフィルタをかけることが可能となり、良好な画像を得ることができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

図１は発明の実施形態に対応する符号化装置の構成例を説明するブロック図である。第１の符号化回路１０１はＨ．２６４規格に対応する符号化を行う回路であって、分割画像の上側の画像の符号化を行い、符号化ストリーム１、ローカルデコード画像１を生成する。符号化ストリーム１はストリームバッファ１０４へ、ローカルデコード画像１は参照フレームバッファ１０５へそれぞれ出力される。

第２の符号化回路１０２は、第１の符号化回路１０１と同様Ｈ．２６４規格の符号化を行う回路で、分割画像の下側の画像の符号化を行い、符号化ストリーム２、ローカルデコード画像２を生成し、出力する。フレームバッファ１０３には、これから符号化される画像が入力されバッファしておく。

本実施形態では、画像の領域を上下に分割し、上側の画像は第１の符号化回路１０１、下側の画像は第２の符号化回路１０２に出力される。第１の符号化回路１０１、第２の符号化回路１０２はそれぞれ、入力された画像の符号化を行い符号化ストリーム１及び符号化ストリーム２をストリームバッファ１０４に出力する。また、ローカルデコード画像１及びローカルデコード画像２を参照フレームバッファ１０５に出力する。

ストリームバッファ１０４は第１の符号化回路１０１、第２の符号化回路１０２が出力する分割された符号化ストリームを１つの符号化ストリームにまとめて出力する。参照フレームバッファ１０５は、第１の符号化回路１０１および第２の符号化回路１０２が出力する分割されたローカルデコード画像を保存しておく。また、必要に応じて第１の符号化回路１０１および第２の符号化回路１０２に、ローカルデコード画像を供給する。

次に、図４を参照して発明の実施形態に対応する各符号化回路の構成を説明する。図４は、発明の実施形態に対応する各符号化回路の構成の一例を示す図である。

図４において、入力画像が格納されているフレームバッファ１０３から、上下に分割された画像がマクロブロック単位でラスタ走査順序で動き予測部４０１に出力される。動き予測部４０１では、入力画像と参照フレームバッファ１０５から読み込んだ参照画像との間でブロックマッチングを行い、動きベクトルを算出する。算出された動きベクトル位置において入力画像と参照画像との間で差分を取り、差分画像を直交変換部４０２に送る。直交変換部４０２では、差分画像に対して離散コサイン変換を行い、変換係数を生成し、量子化部４０３に送る。量子化部４０３では、量子化制御部４０５が出力する量子化ステップサイズに従い、変換係数を量子化処理する。

量子化処理された変換係数はエントロピー符号化部４０４、ならびローカルデコード画像作成のため逆量子化部４０６に送られる。一方、エントロピー符号化部４０４では、量子化処理後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化が行われる。これに対して、動きベクトルや量子化ステップサイズ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものが付加され、符号化ストリームが生成される。また、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部４０５に送る。量子化制御部４０５では、エントロピー符号化部４０４から受け取った発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部４０３へ出力する。

逆量子化部４０６は、量子化処理後の変換係数を逆量子化処理して、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部４０７に出力される。逆直交変換部４０７では、変換係数に逆離散コサイン変換を施し、差分画像を生成する。差分画像は動き補償部４０８に出力される。動き補償部４０８では、動きベクトル位置の参照画像を参照フレームバッファ１０５から読み出し、入力された差分画像を加算することにより、ローカルデコード用の画像データを生成する。生成された画像データはデブロッキングフィルタ部４０９に出力される。デブロッキングフィルタ部４０９では、入力された画像データに対してデブロッキングフィルタ処理をかける。デブロッキングフィルタ処理後の画像が、ローカルデコード画像として参照フレームバッファ１０５に格納される。

以上の動作により、符号化ストリーム、ローカルデコード画像が作成される。なお以上の動作は、第１の符号化回路１０１及び第２の符号化回路１０２がそれぞれ実行する。

次に、図５を参照して本実施形態に対応する符号化処理方法を説明する。図５は、発明の実施形態に対応する符号化処理の方法を説明するための図である。

図５において、符号化対象の画像５００は、第１の符号化回路１０１および第２の符号化回路１０２がそれぞれ符号化を行う部分画像に分割される。即ち、画像５００は上下２つの隣接する画像に分割され、上部分の第１の分割画像５０１は第１の符号化回路１０１で符号化され、下部分の第２の分割画像５０２は第２の符号化回路１０２で符号化される。このとき、第１の分割画像５０１は、第２の分割画像５０２に対して、ラスタ走査順序において先行している。なお、以降では画像を上下に分割する場合を説明するが、画像を左右に分割した場合でも、水平境界か垂直境界か、および上下か左右かの違いだけで、本発明を同様に適用することができる。

ただし、第２の符号化回路１０２は第２の分割画像５０２の符号化を行う前に、まず第１の分割画像５０１と第２の分割画像５０２の境界部分に接する第１の分割画像５０１側のマクロブロックのローカルデコード画像を生成する。ここでローカルデコード画像の生成対象となるマクロブロックのことを、本実施形態ではマクロブロックライン５０３とよぶ。この処理は、画像分割境界にデブロッキングフィルタ処理をかけるために必要な、分割境界に接する上４画素を生成するために行う。以下、マクロブロックライン５０３のローカルデコード画像の生成方法を説明する。

Ｈ．２６４規格の符号化では、周波数変換サイズは第１のブロックサイズである４×４画素と、第２のブロックサイズである８×８画素とのいずれかを選択できる。通常の符号化時においては、符号量、画質を考慮しこれらのサイズを適応的に選択して符号化を行う。しかし本実施形態では、分割境界に接するマクロブロックライン５０３については、全て周波数変換サイズを８×８画素にして符号化を行う。Ｈ．２６４規格では、デブロッキングフィルタ処理は周波数変換ブロックの境界に対して行うことになっている。そのため、周波数変換サイズを８×８画素にした場合、４×４画素の境界にはデブロッキングフィルタはかからず、８×８画素の境界にのみデブロッキングフィルタがかかることになる。

ここで図６を参照して、周波数変換サイズを８×８画素にした場合のフィルタ処理を説明する。図６は、発明の実施形態に対応する、周波数変換サイズを８×８画素にした場合のフィルタ処理を説明するための図である。

図６において、実線部分は８×８画素の境界を、点線部分が４×４画素の境界を表す。本実施形態では、実線部分の境界にはフィルタをかけるが、点線部分の境界にはフィルタはかけない。水平境界１ｈには４画素Ｐ０と４画素Ｐ１とを用いてフィルタ演算を行うが、水平境界２ｈにはフィルタ処理を行わない。すなわち画像分割境界の上４画素であるＰ２には上方向からのフィルタ処理が行われないため、水平境界２ｈより上の符号化結果がフィルタ処理により影響されることがなくなる。

このマクロブロックがイントラ予測を行う場合には、予測画素として上マクロブロックに存在する画素は使用しない。Ｈ．２６４規格では、イントラ予測モードとして８種類用意されているが、このうち水平方向の予測画素のみを用いる予測モードを用いて符号化を行う。こうすることにより、当該マクロブロックより上の符号化結果（これらは、第１の符号化回路１０１により独立に符号化される）の影響を受けなくすることができる。

符号化を行うためには、量子化ステップサイズが必要である。通常はそれまでに発生した符合量から目標とする符号量になるように量子化ステップサイズを決定する。マクロブロックライン５０３の符号化をそれより上の部分より先に行う場合には、上の部分の発生符号量の結果に左右されないように、マクロブロックライン５０３で使用する量子化ステップサイズをあらかじめ決定しておく。

このように、マクロブロックライン５０３に対して周波数変換サイズを８×８にし、イントラ予測を行う場合には水平方向の予測画素のみを用いる予測モードを用い、かつ、量子化ステップサイズをあらかじめ決定しておく。これにより、第１の符号化回路１０１が符号化を行う前に、第２の符号化回路１０２によりこの部分の符号化を行うことができる。

次に各符号化回路の動作を、図７のフローチャートを参照して説明する。図７は、発明の実施形態に対応する符号化処理の一例を示すフローチャートである。

図７においてまず、ステップＳ７０１ではマクロブロックライン５０３の部分の量子化ステップサイズはあらかじめ決定しておき、第１の符号化回路１０１、第２の符号化回路１０２の両方に渡しておく。第１の符号化回路１０１は、ステップＳ７０２において第１の分割画像５０１の符号化を行う。画像の左上からラスタ順に通常どおりに符号化を行っていく。次いで、ステップＳ７０３において符号化を行うマクロブロック位置が、画像分割境界から８画素の位置になったか否かを判定する。もし、当該８画素の位置になった場合（ステップＳ７０３において「ＹＥＳ」）、ステップＳ７０４に移行する。一方、当該８画素の位置にならない場合（ステップＳ７０３において「ＮＯ」）、ステップＳ７０２に戻って符号化処理を継続する。ステップＳ７０４では周波数変換サイズを８×８に固定し、イントラ予測を行う場合は水平方向の予測画素のみを用いる所定の予測モードで予測する。また、量子化ステップサイズはステップＳ７０１で決定された値を用いる。

一方、第２の符号化回路１０２は、まずステップＳ７０５で、分割境界の上４画素部分のローカルデコード画像を得るため、マクロブロックライン５０３の符号化を行う。ここでも周波数変換サイズは８×８にし、イントラ予測を行う場合は水平方向の予測画素のみを用いる予測モードで予測する。量子化ステップサイズはあらかじめ決められた値を用いて符号化を行う。このようにして得られた分割境界に接する４画素のローカルデコード画像を、参照フレームバッファ１０５に格納する。次にステップＳ７０６では、分割画像５０２の左上からラスタ順に符号化を行う。その際、分割境界に接するマクロブロックについてデブロッキングフィルタをかける場合には、参照フレームバッファ１０５に格納した４×４画素のローカルデコード画像を利用する。

このように符号化を行うことで、マクロブロックライン５０３の符号化結果は、第１の符号化回路１０１と第２の符号化回路１０２で同じ結果が得られる。そのため、第１の符号化回路１０１の動作終了を待たずに第２の符号化回路１０２は動作を行うことができるので、第１の符号化回路１０１と第２の符号化回路１０２は並列に動作が可能となる。

以上のように、本実施形態では分割境界の上部分の周波数変換サイズを８×８にし、イントラ予測を行う場合には水平方向の予測画素のみを用いる予測モードで予測し、量子化ステップサイズをあらかじめ決定しておく。これにより、複数の符号化回路を並列に動作させ、かつ、分割境界にデブロッキングフィルタをかけることができる。並列動作により高速化を図りつつ、分割境界にデブロッキングフィルタをかけることができるため、良好な画像を得ることができる。

［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

発明の実施形態に対応する符号化装置の構成例を示す図である。 画像を分割して並列に符号化動作を行う場合を説明するための図である。 上段のローカルデコード画像がデブロッキングフィルタにより下段のローカルデコード画像の生成に影響を及ぼしていく様子を説明するための図である。 発明の実施形態に対応する符号化回路の構成の一例を示す図である。 発明の実施形態に対応する符号化処理の方法を説明するための図である。 発明の実施形態に対応する、周波数変換サイズを８×８画素にした場合のフィルタ処理を説明するための図である。 発明の実施形態に対応する符号化処理の一例を示すフローチャートである。

１０１ 分割画像の上部分用符号化回路
１０２ 分割画像の下部分用符号化回路
１０３ フレームバッファ
１０４ ストリームバッファ
１０５ 参照フレームバッファ

Claims (8)

1. 画像を領域分割して複数の分割画像を生成する分割手段と、
   該複数の分割画像のうち第１の分割画像を周波数変換して符号化する第１の符号化手段と、
   該複数の分割画像のうち第２の分割画像を周波数変換して符号化する第２の符号化手段と
   を備える符号化装置であって、
   前記第１の符号化手段及び前記第２の符号化手段は、符号化対象の分割画像を第１のブロックサイズと、該第１のブロックサイズよりも大きい第２のブロックサイズとのいずれかを有するブロックに分割して周波数変換を行い、
   前記第１の分割画像が前記第２の分割画像にラスタ走査順序において先行し、かつ、該第１の分割画像と該第２の分割画像が互いに隣接する場合に、前記第１の符号化手段は、前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを、前記第２のブロックサイズとすることを特徴とする符号化装置。
2. 前記第１の符号化手段は、
   前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックについてイントラ予測を行う場合、前記画像の水平方向の予測画素のみを用いる予測モードを利用することを特徴とする請求項１に記載の符号化装置。
3. 前記第１の符号化手段は、
   前記第１の分割画像に含まれるブロックについて量子化を行う場合、前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックについては、予め定められた量子化ステップサイズを用いることを特徴とする請求項１または２に記載の符号化装置。
4. 前記第２の符号化手段は、
   前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを、前記第２のブロックサイズにおいて符号化してローカルデコード画像を生成し、
   前記第２の分割画像を符号化する場合に、前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第２の分割画像に属するブロックについて行うデブロッキングフィルタ処理に、生成された前記ローカルデコード画像を利用する
   ことを特徴とする請求項１に記載の符号化装置。
5. 前記第２の符号化手段は、
   前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを前記第２のブロックサイズでイントラ予測する場合に、画像の水平方向の予測画素のみを用いる予測モードを利用することを特徴とする請求項４に記載の符号化装置。
6. 前記第２の符号化手段は、
   前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを前記第２のブロックサイズで符号化する際の量子化処理に、予め定められた量子化ステップサイズを用いることを特徴とする請求項４または５に記載の符号化装置。
7. 画像を領域分割して複数の分割画像を生成する分割手段と、
   該複数の分割画像のうち第１の分割画像を周波数変換して符号化する第１の符号化手段と、
   該複数の分割画像のうち第２の分割画像を周波数変換して符号化する第２の符号化手段と
   を備える符号化装置の制御方法であって、
   前記第１の符号化手段及び前記第２の符号化手段は、符号化対象の分割画像を第１のブロックサイズと、該第１のブロックサイズよりも大きい第２のブロックサイズとのいずれかを有するブロックに分割して周波数変換を行い、
   前記第１の分割画像が前記第２の分割画像にラスタ走査順序において先行し、かつ、該第１の分割画像と該第２の分割画像が互いに隣接する場合に、前記第１の符号化手段が、前記第１の分割画像と前記第２の分割画像との境界に接し、かつ、該第１の分割画像に属するブロックを、前記第２のブロックサイズとする工程を
   備えることを特徴とする符号化装置の制御方法。
8. コンピュータを請求項１乃至６のいずれか１項に記載の符号化装置の各手段として機能させるためのコンピュータプログラム。

Images