JP4804107B2 - 画像符号化装置、画像符号化方法及びそのプログラム - Google Patents

Description

本発明は動画像データを圧縮符号化する画像符号化装置、画像符号化方法及びそのプログラムに関するものである。

現在、数多くの製品で採用されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ｏｆ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｇｎ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、量子化、可変長符号化の各処理と、前方向の動き補償フレーム間予測及び双方向の動き補償フレーム間予測を組み合わせた符号化方式である。ＭＰＥＧは通常１５枚のフレームデータをグループ化したＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造を採用する。ＧＯＰは、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）で構成される。Ｉピクチャは画面内の情報のみで符号化され、ＰピクチャはＩまたは他のＰピクチャから前方向の予測を行うことで符号化され、ＢピクチャはＩ又はＰピクチャから双方向の予測を行うことによって符号化されるビデオデータである。

ＭＰＥＧに対応する画像符号化装置は、入力された信号を所定の画素数に分割したブロック、所謂ＤＣＴブロックに２次元直交変換を行うＤＣＴ変換回路と、変換後のＤＣＴ係数を量子化する量子化回路と、出力バッファ、所謂ＶＢＶバッファを考慮して量子化スケールコードを適当な値に制御するレート制御部とを備えて構成される。

例えば、図４に示すように、ＭＰＥＧ２に対応する画像符号化装置４００は、ＣＣＤ４０１で撮像された映像信号を保持し、かつ画面の並び替えを行うためのフレームバッファ４０２、フレームバッファ４０２から入力された映像信号とローカルデコード画像を表わす信号との差分を演算する減算回路４１３を備える。さらに、ＤＣＴ回路４０３、量子化回路４０４、可変長符号化回路４０９、逆量子化回路４０５、ＩＤＣＴ回路４０６、動き推定回路４０７、動き補償回路４０８、記録媒体４１０、レート制御を行うコントローラ４１１、及びアクティビティ算出回路４１２を備える。

ＩピクチャおよびＰピクチャの場合は、動き推定回路４０７、動き補償回路４０８において参照画面として使用されるため、量子化回路４０４の出力は、逆量子化回路４０５にも入力され、逆量子化された後にＩＤＣＴ回路４０６において逆ＤＣＴが行われる。ＩＤＣＴ回路４０６の出力は、動き補償回路４０８に入力されて順次処理される。動き推定回路４０７、動き補償回路４０８は、前方向予測、後方向予測および両方向予測を行い、ローカルデコードされた信号を減算回路４１３に出力する。

減算回路４１３は、フレームバッファ４０２の出力と動き補償回路４０８の出力との間で減算処理を行い、差分値を演算する回路である。なお、入力されるのが画面内符号化されるＩピクチャの場合は、減算回路４１３で減算処理を行わず、単にフレームバッファ４０２から映像信号が通過する。

Ｉピクチャ或いは差分値で表わされるＰ，Ｂピクチャは、ＤＣＴ回路４０３でＤＣＴされ、量子化回路４０４で量子化され、可変長符号化回路４０９で可変長符号化された後、記録媒体４１０に記録される。

一方、量子化回路４０４で使用する量子化スケールコードは、コントローラ４１１で算出された量子化スケールコードの基準値と量子化の単位であるマクロブロックの視覚特性を反映させたアクティビティを用いることで決定される。その決定方法は以下の３ステップで構成される。

第１ステップでは、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標ビット量を設定する。

第２ステップでは、マクロブロック単位に量子化スケールの基準値を設定する。つまり、第２ステップでは、第１ステップで求められた各ピクチャに対する割り当てビット量と実際の発生ビット量とを一致させるため、可変長符号化回路４０９から得られる仮想バッファの容量（ＶＢＶバッファ容量）の情報を基に、量子化スケールの基準値をマクロブロック単位のフィードバック制御で求める。

第３ステップは、視覚特性を反映させるべく、マクロブロック単位でマクロブロックのアクティビティに基づいて量子化スケール値を補正する。フレーム目標ビット量を維持しつつ、アクティビティが低いマクロブロックでは量子化スケールを基準値より小さく補正し、アクティビティが高いマクロブロックでは量子化スケールを基準値より大きく補正する。このように視覚特性、特にアクティビティを考慮した適応量子化が行われる。

このようなＭＰＥＧの基礎技術については、例えば、「総合マルチメディア選書ＭＰＥＧ」（オーム社）ならびに「ディジタル放送・インターネットのための情報圧縮技術」（共立出版社）に開示されている。また、アクティビティを算出して、レート制御に適用する技術を開示した特許文献も存在する（例えば、特許文献１参照。）。
特開２００４−１９４０７６号公報

ところで、上記したＭＰＥＧ２や、新たに標準化されたＭＰＥＧ４−ＡＶＣ（Ｈ．２６４とも称す）の符号化処理において、量子化はマクロブロック単位で行い、ＤＣＴはＤＣＴブロック単位で処理を行うことが規定されている。また、量子化スケールコードは１つのマクロブロックに対して１つだけ決定されるため、ＭＰＥＧの場合は、１つのマクロブロックに含まれる６つのＤＣＴブロック（４つの輝度成分と２つの色差成分）に対して同じ量子化スケールコードで量子化を行うことになる。そのため、１つのマクロブロックを構成するＤＣＴブロックのうち、エッジが含まれるＤＣＴブロックとエッジが含まれないＤＣＴブロックが混在した場合は、両者の電力分布が異なるのに対して同じ量子化スケールコードで量子化を行うことになる。このことは視覚特性の面から見ると決して好ましいとは言えない。

そのため、エッジが含まれるＤＣＴブロックの量子化スケールコードを小さく設定すべきであるが、マクロブロック単位でエッジ情報を算出した場合、エッジのある領域が小さいとエッジ情報がマクロブロックの大きさに対して弱く検出されてしまい、結果としてマクロブロック内にエッジが存在しないと判断されてしまう可能性がある。また、マクロブロックを単位とすると、ノイズ成分をエッジとして誤検出してしまうことも考えられる。その際、誤検出されたノイズ成分では通常大きな信号差がないので、エッジ強度が低いとみなされ、量子化スケールコードは高い値に設定され、エッジを含むＤＣＴブロックの劣化が生じてしまう。そのため、結果としてＤＣＴブロックの劣化がマクロブロックの劣化として現れ画質の低下を招くことになる。

本発明は前述の如き問題点を解決し、動画像の符号化処理においてエッジを含むブロックの画質劣化を防ぐことができる画像符号化装置、画像符号化方法及びそのプログラムを提供することを目的とする。

上記課題を解決するために、本発明の画像符号化装置は、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化手段と、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出手段と、前記算出手段により決定された最大のエッジ強度に基づいて、前記符号化手段に対して前記符号化対象の第１のブロックの量子化スケールを設定するための制御情報を出力する符号化制御手段とを備え、前記算出手段は、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする。
また、本発明の画像符号化装置は、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化手段と、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出手段と、前記算出手段により決定された最大のエッジ強度に基づいて、前記符号化手段に対して前記符号化対象の第１のブロックの量子化スケールを設定するための制御情報を出力する符号化制御手段とを備え、前記算出手段は、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロックに隣接する他の第１のブロックとの境界を跨いで隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする。

また、本発明の画像符号化方法は、符号化手段が、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化ステップと、エッジ検出手段が、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出ステップと、算出手段が、前記エッジ検出ステップで前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出ステップと、符号化制御手段が、前記算出ステップで決定された最大のエッジ強度に基づいて、前記符号化対象の第１のブロックの量子化スケールを設定する符号化制御ステップとを有し、前記算出ステップでは、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする。

さらに、本発明のプログラムは、符号化手段が、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化ステップと、エッジ検出手段が、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出ステップと、算出手段が、前記エッジ検出ステップで前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出ステップと、符号化制御手段が、前記算出ステップで決定された最大のエッジ強度に基づいて、前記符号化対象の第１のブロックの量子化スケールを設定する符号化制御ステップとを有し、前記算出ステップでは、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけする画像符号化方法をコンピュータに実行させることを特徴とする。

本発明による画像符号化装置、画像符号化方法及びそのプログラムは、動画像の符号化処理においてエッジを含むブロックの画質劣化を防ぐことができる。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態における画像符号化装置として、撮影して得た映像信号をＭＰＥＧ２で符号化して記録するディジタルビデオカメラを例にして説明する。

図１は、本発明の第１の実施形態におけるディジタルビデオカメラ（画像符号化装置）１００の概略構成を示す図である。本実施形態におけるディジタルビデオカメラ１００は、符号化処理においてマクロブロック単位で量子化を行い、その量子化スケールコードの決定にＤＣＴブロックのエッジ情報を利用する点に特徴がある。

図１において、１０１は、例えばＣＣＤ（電荷結合素子）などの撮像素子及びＡ／Ｄ変換器等を含む撮像部であり、映像信号（動画像データ）を出力する。１０２は、フレームバッファであり、入力された映像信号を一時的に格納する。１０３はＤＣＴ回路であり、１０４は量子化回路であり、１０５は逆量子化回路であり、１０６はＩＤＣＴ（逆ＤＣＴ）回路であり、１０７は動き推定回路であり、１０８は動き補償回路である。また、１０９は可変長符号化回路である。１１０は記録媒体であり、可変長符号化回路１０９で符号化された後の映像データを記録する。記録媒体１１０は、例えば着脱式のＤＶＤ等の光ディスク、半導体メモリカード、或いは磁気テープである。内蔵式のハードディスク等であっても良い。１１６は、減算回路である。尚、図１に示した符号１０２〜１１０は、図４に示した符号４０２〜４１０と、図１に示した符号１１６は、図４に示した符号４１３と、それぞれ同様の機能を有する。

また、１１１はコントローラであり、量子化回路１０４における量子化スケールコードの制御を行うほかにシステム全体の制御も行う。１１２はマクロブロックバッファであり、フレームバッファ１０２に保存されている動画像データに対して、これから符号化を行うマクロブロックデータと同じデータを保持するメモリである。１１３はＤＣＴブロックバッファであり、マクロブロックバッファ１１２に保持されているマクロブロックデータをＤＣＴブロックに分割したデータを格納する。尚、図１に示すようにＤＣＴブロックバッファ１１３は、４つある。これはＭＰＥＧ２の場合、マクロブロック内に４つのＤＣＴブロックが含まれることに対応している。１１４はエッジ検出回路であり、各ＤＣＴブロックバッファ１１３に保持されたデータに対してエッジ検出を行い、エッジ強度を求める。１１５はエッジ強度算出回路であり、エッジ検出回路１１４が求めたＤＣＴブロック別のエッジ強度を用いてマクロブロックのエッジ強度を決定する。

次に、ディジタルビデオカメラ１００の符号化動作について説明する。ＣＣＤ１０１における撮像動作によって得られた映像信号は、フレームバッファ１０２に一旦保持され、符号化ピクチャが画面内符号化（イントラ符号化）方式の時は、映像信号をマクロブロックに分割し、ＤＣＴ回路１０３においてマクロブロック内の信号に対してＤＣＴ処理を行い、コントローラ１１１で決定した量子化スケールコードを用いて量子化回路１０４でＤＣＴ係数を量子化した後、可変長符号化回路１０９で可変長符号化する。

また、符号化ピクチャが画面間符号化ピクチャ（インター符号化）方式の時は、まず、すでに符号化されたピクチャに対して逆量子化回路１０５で逆量子化を行い、ＩＤＣＴ回路１０６で逆ＤＣＴ処理を行ったローカルデコード画像を作成する。次に、フレームバッファ１０２に保持されている映像信号である符号化対象のピクチャを用いて動き推定及び動き補償を行い、動き補償が行われたローカルデコード画像を生成する。さらに減算回路１１６によって、フレームバッファ１０２に保持されている映像信号と動き補償が行われたローカルデコード画像の信号との差分値を算出する。算出された差分値を用いて、ＤＣＴ回路１０３においてマクロブロック内の信号に対してＤＣＴ処理を行い、コントローラ１１１で決定した量子化スケールコードを用いて量子化回路１０４でＤＣＴ係数を量子化した後、可変長符号化回路１０９で可変長符号化する。

以上がディジタルビデオカメラ１００の符号化動作の概要であるが、ここで、量子化回路１０４で使用する量子化スケールコードの決定に関するコントローラ部１１１の動作の詳細について説明する。

コントローラ１１１は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャごとにピクチャ目標ビット量を設定する。次に、コントローラ１１１は、各ピクチャに対する割り当てビット量と実際の発生ビット量とを一致させるため、可変長符号化回路１０９から得られる仮想バッファの容量（ＶＢＶバッファ容量）の情報を基に、量子化スケールの基準値をマクロブロック単位のフィードバック制御で求める。以上の動作は先述したステップ１、ステップ２と同様である。

さらに、フレームバッファ１０２に保持された映像信号のうち、今から符号化するマクロブロックと同じデータを画像マクロブロックバッファ１１２に保持する。なお、このマクロブロックバッファ１１２は動き補償回路１０８で使用するマクロブロックバッファと共通化しても良い。マクロブロックバッファ１１２に保持された画像データは、マクロブロックよりもサイズが小さいＤＣＴブロックに分割されて、各ＤＣＴブロックバッファ１１３に保持される。そして、各ＤＣＴブロックバッファ１１３に保持された画像データ（ＤＣＴブロックデータ）を用いて、エッジ検出回路１１４は各ＤＣＴブロックにおけるエッジ強度を検出する。さらにエッジ強度算出回路１１５は、各ＤＣＴブロックの画像データに対して検出されたエッジ強度のうち、最高のエッジ強度を算出し、算出されたエッジ強度に関する情報（エッジ強度情報）をコントローラ１１１へ出力する。このエッジ強度情報は、マクロブロックのエッジの強度を決定することに用いられる。

なお、エッジ検出及び強度の算出手段に関しては、従来から様々な手法が提案されており、任意の方法を用いてもよい。ここでは、いくつかのエッジ検出回路とそのエッジ強度算出回路の一例を挙げる。例えば、空間領域を利用するものであれば、キャニーエッジ検出器やゾーベルエッジ検出器などのエッジ検出回路によるエッジ検出処理をＤＣＴブロック内の各画素に対して行い、所定の閾値を超える画素数とＤＣＴブロックの画素数の割合をエッジ強度として算出する。周波数領域を利用するものであれば、ＤＣＴ変換やアダマール変換などの直交変換をＤＣＴブロックに対して行い、垂直エッジ成分、水平エッジ成分、対角エッジ成分に対応する直交変換係数の絶対値和または二乗和を算出して、これらの情報を用いてエッジ強度を算出することも可能である。

コントローラ１１１は、前述の計算により算出した量子化スケールコードの基準値を、エッジ強度算出回路１１５で算出されたエッジ強度情報に応じて調節することで、実際に量子化するための量子化スケールコードを算出する。またエッジ強度情報がゼロ、つまりマクロブロック内にエッジが存在しない場合ことを示す場合には、量子化スケールコードの基準値を実際に量子化するための量子化スケールコードとして利用する。

以下、図面を用いてマクロブロック毎の状況に応じたエッジ強度の算出方法の一例を示す。図２（Ａ）、（Ｂ）、（Ｃ）は、マクロブロック毎の状況に応じたエッジ強度の算出方法例を示す図である。図２（Ａ）では、マクロブロック内における各ＤＣＴブロックに対してエッジ検出回路１１４においてエッジ検出を行った結果、１つのＤＣＴブロック２０１だけにエッジが存在していると判定された場合を示している。この場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在すると判断し、エッジを含むＤＣＴブロック２０１のエッジ強度をマクロブロックのエッジ強度として出力する。これにより、コントローラ１１１は、エッジ強度算出回路１１５が出力したエッジ強度に応じて量子化スケールコードの基準値を下げて実際量子化するための量子化スケールコードを算出する。

また、図２（Ｂ）では、マクロブロック内における各ＤＣＴブロックに対してエッジ検出を行った結果、ＤＣＴブロック２０２とＤＣＴブロック２０３にエッジが存在していると判定された場合を示している。この場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在すると判断し、ＤＣＴブロック２０２のエッジ強度とＤＣＴブロック２０３のエッジ強度を比較して大きい方をマクロブロックのエッジ強度として出力する。すなわち、マクロブロック内で最大となるＤＣＴブロックのエッジ強度を採用する。これにより、コントローラ１１１は、エッジ強度算出回路１１５が出力したエッジ強度に応じて量子化スケールコードの基準値を下げて実際量子化するための量子化スケールコードを算出する。

また、図２（Ｃ）では、マクロブロック内における各ＤＣＴブロックに対してエッジ検出を行った結果、どのＤＣＴブロックにもエッジが存在しないと判定された場合を示している。この場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在しないと判断し、エッジ強度を出力しない（又は、エッジ強度＝０を出力してもよい）。これにより、コントローラ１１１は、量子化スケールコードの基準値をそのまま実際量子化するための量子化スケールコードとして利用する。

コントローラ１１１において算出された量子化スケールコードは、量子化回路１０４の量子化スケールコードとして設定され、当該マクロブロック内に含まれるＤＣＴブロックの量子化に使用される。

以上に説明したように、本実施形態の画像符号化装置においては、動画像の符号化処理において、マクロブロックよりも小さいブロックであるＤＣＴブロックにおけるエッジ情報をマクロブロックのエッジ情報として利用して、当該マクロブロックの量子化スケールコードの決定処理を行うので、部分的にエッジを含むマクロブロックの画質劣化を防ぐことが可能となる。また、マクロブロックに含まれる複数のＤＣＴブロックからエッジが検出された場合には、図２Ｂに示すように、最大のエッジ強度をマクロブロックのエッジ強度としている。これにより、例えば複数のＤＣＴブロックから検出されたエッジの一つがノイズ成分を誤検出したものであった場合でも、通常、ノイズ成分はエッジ強度が弱いので、この誤検出によるエッジ強度が弱いという誤った情報が、量子化スケールコードの決定に影響することを防ぐことができる。

（第２の実施形態）
次に、第２の実施形態として、ＤＣＴブロックのエッジ強度とエッジの方向を考慮して量子化スケールコードを決定する画像符号化装置について説明する。具体的には、当該マクロブロックに含まれる各ＤＣＴブロックのエッジ強度とエッジ方向の情報から、マクロブロックにおいてエッジが視覚的に目立つか否かを判断し、その判断に応じた係数をエッジ強度に乗算する処理を行う。尚、第２の実施形態における画像符号化装置の構成は、図１に示した第１の実施形態における符号化装置の構成と同様であり、説明を省略する。

コントローラ１１１は、第１の実施形態と同様に量子化スケールの基準値をマクロブロック単位の符号量制御で求める。さらに、フレームバッファ１０２に保持された映像信号のうち、これから符号化するマクロブロックと同じ画像データをマクロブロックバッファ１１２に保持する。マクロブロックバッファ１１２に保持された画像データは、マクロブロックよりもサイズが小さいＤＣＴブロックに分割されて、各ＤＣＴブロックバッファ１１３に保持される。そして、各ＤＣＴブロックバッファ１１３に保持された画像データ（ＤＣＴブロックデータ）を用いて、エッジ検出回路１１４は各ＤＣＴブロックにおけるエッジ強度と方向を検出する。

各ＤＣＴブロックのエッジ強度は、上述した実施形態１と同様の手法で検出することが可能である。エッジ方向は、空間領域ならびに周波数領域などを用いた様々な手法が提案されており、任意の手法を用いて検出できる。例えば、空間領域を利用するものであれば、垂直エッジ方向、水平エッジ方向、対角エッジ方向それぞれの方向を検出するエッジ検出器をＤＣＴブロック内の各画素に対して行い、最も多い方向を当該ＤＣＴブロックのエッジ方向とする。また、周波数領域を利用するものであれば、直交変換後の垂直エッジ成分、水平エッジ成分、対角エッジ成分に対応する直交変換係数の絶対値和ならびに二乗和を比較して、最も高い値をもつ方向を当該ＤＣＴブロックのエッジ方向とする。

エッジ検出回路１１４は、上記に例示した手法等により、マクロブロック内における各ＤＣＴブロックのエッジ強度ならびにエッジ方向を検出して、その検出結果をエッジ強度算出回路１１５に出力する。さらにエッジ強度算出回路１１５は、各ＤＣＴブロックの画像データに対して検出されたエッジ強度及び方向に関する情報をマクロブロック単位にまとめて、エッジが視覚的に目立つか否かを判断し、その判断結果に応じたエッジ強度情報をコントローラ１１１へ出力する。このエッジ強度情報は、マクロブロックのエッジの強度を決定することに用いられる。コントローラ１１１は、前述の計算により算出した量子化スケールコードの基準値を、エッジ強度算出回路１１５で算出されたエッジ強度情報に応じて調節することで、実際に量子化するための量子化スケールコードを算出する。

以下、第２の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例について図を用いて説明する。図３（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、第２の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例を示す図である。尚、図３（Ａ）〜（Ｄ）の例においては輝度成分のみを示しており、各マクロブロックは４つの輝度成分のＤＣＴブロックから構成されていることを示している。また、図３（Ａ）及び（Ｂ）は、エッジ方向の配置から視覚的にエッジが目立つと判断される場合を示し、図３（Ｃ）及び（Ｄ）は、エッジ方向の配置から視覚的にエッジが目立たないと判断される場合を示している。

例えば、図３（Ａ）のマクロブロックに示すように、水平方向に隣接したＤＣＴブロックがともに水平エッジであると検出されている場合、又は、図３（Ｂ）に示すように垂直方向に隣接したＤＣＴブロックがともに垂直エッジであると検出されている場合には、エッジ強度算出回路１１５は、視覚的に目立つエッジが存在すると判断し、実施の形態１と同様の方法で算出したエッジ強度に所定の重み係数を乗算した値をエッジ強度情報として出力する。コントローラ１１１は、エッジ強度算出回路１１５が出力するエッジ強度情報に応じて量子化スケールコードの基準値を下げて実際量子化するための量子化スケールコードを算出する。

また、図３（Ｃ）や図３（Ｄ）のマクロブロックに示すように、全てのＤＣＴブロックからエッジが検出されたが、各ＤＣＴブロックのエッジ方向がバラバラであることが検出されると、エッジ強度算出回路１１５は、マクロブロック内にエッジは存在するが視覚的に目立たないエッジであると判断し、マクロブロックにエッジが存在しない場合と同様の処理（図２（Ｃ）と同様の処理）を行う。これにより、コントローラ１１１は、量子化スケールコードの基準値をそのまま実際量子化するための量子化スケールコードとして利用する。

また、エッジ検出回路１１４において検出されたエッジ強度が小さいあるいはエッジがないことが検出された場合は、マクロブロックが平坦部または高周波成分を多く含んだテクスチャ部（以下、単にテクスチャ部とする）の可能性が高い。人間の視覚特性として一般的に平坦部はノイズが目立ちやすく、テクスチャ部はノイズが目立ちにくいと言われている。そのため、エッジ強度が小さいあるいはエッジがないと算出されたエッジ強度情報を受信した場合、コントローラ１１１は、エッジ検出以外の情報を利用して平坦部かテクスチャ部かの判断及び分離処理を行う。平坦部とテクスチャ部の判断及び分離処理には、空間領域であれば分散値、周波数領域であれば直交変換のＡＣ成分の絶対値和ならびに二乗和で判断し分離する方法などが好適である。

コントローラ１１１は、平坦なマクロブロックに対しては量子化スケールコードの基準値を下げて実際量子化するための量子化スケールコードを算出し、テクスチャ部に対しては量子化スケールコードの基準値を上げて実際量子化するための量子化スケールコードを算出する。コントローラ１１１は、算出した量子化スケールコードを、量子化回路１０４の量子化スケールコードとして設定する。これにより、この量子化スケールコードが、当該マクロブロック内に含まれるＤＣＴブロックの量子化に使用される。

以上に説明したように、本実施形態の画像符号化装置においては、動画像の符号化処理において、マクロブロックよりも小さいブロックであるＤＣＴブロックにおけるエッジ情報をマクロブロックのエッジ情報として利用して、当該マクロブロックの量子化スケールコードの決定処理を行うので、部分的にエッジを含むマクロブロックの画質劣化を防ぐことが可能となる。更に、エッジ情報として各ＤＣＴブロックのエッジ方向を考慮して視覚的に目立つエッジであるか否かを判断し、目立つエッジであると判断した場合には、エッジ強度に対して所定の重み係数を乗算することで、同じエッジ強度であっても視覚的に目立つエッジ程、更に大きな値のエッジ強度として出力するので、視覚的に目立つエッジに対して適切な量子化を行う量子化スケールコードを決定することができる。

（第３の実施形態）
次に、第３の実施形態として、ＤＣＴブロックのエッジ強度とエッジ方向を考慮して量子化スケールコードを決定する画像符号化装置について説明する。具体的には、当該マクロブロックに含まれる各ＤＣＴブロックと、当該マクロブロックに隣接するマクロブロックに含まれるＤＣＴブロックのエッジ強度とエッジ方向の情報から、当該マクロブロックにおいてエッジが視覚的に目立つか否かを判断し、その判断に応じた係数をエッジ強度に乗算する処理を行う。尚、第３の実施形態における画像符号化装置の構成は、図１に示した第１の実施形態における符号化装置の構成と同様であり、説明を省略する。

コントローラ１１１は、第１の実施形態のときと同様に量子化スケールの基準値をマクロブロック単位の符号量制御で求める。さらに、フレームバッファ１０２に保持された映像信号のうち、これから符号化するマクロブロックと同じ画像データをマクロブロックバッファ１１２に保持する。マクロブロックバッファ１１２に保持された画像データは、マクロブロックよりもサイズが小さいＤＣＴブロックに分割されて、各ＤＣＴブロックバッファ１１３に保持される。そして、各ＤＣＴブロックバッファ１１３に保持された画像データ（ＤＣＴブロックデータ）を用いて、エッジ検出回路１１４は各ＤＣＴブロックにおけるエッジ強度とエッジ方向を検出する。

各ＤＣＴブロックのエッジ強度は、上述した実施形態１と同様の手法で検出することが可能である。さらにエッジ方向は、上述した実施形態２と同様の手法で検出することが可能である。

エッジ検出回路１１４は、上記に例示した手法等により、１つのマクロブロック内における各ＤＣＴブロックのエッジ強度ならびにエッジ方向を検出して、その検出結果をエッジ強度算出回路１１５に出力する。そしてエッジ強度算出回路１１５は、各ＤＣＴブロックに対して検出されたエッジ強度及び方向に関する情報をマクロブロック単位にまとめて、エッジが視覚的に目立つか否かを判断する。さらに、符号化対象のマクロブロックに隣接する、既に符号化済のマクロブロックにおける各ＤＣＴブロックに対して検出されたエッジ強度及び方向に関する情報を参照して、マクロブロックを跨いでエッジが視覚的に目立つか否かを判断する。それらの判断結果に応じたエッジ強度情報をコントローラ１１１へ出力する。このエッジ強度情報は、マクロブロックのエッジの強度を決定することに用いられる。コントローラ１１１は、前述の計算により算出した量子化スケールコードの基準値を、エッジ強度算出回路１１５で算出されたエッジ強度情報に応じて調節することで、実際に量子化するための量子化スケールコードを算出する。

以下、第３の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例について図を用いて説明する。図５（Ａ）、（Ｂ）、（Ｃ）は、第３の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例を示す図である。尚、図５（Ａ）〜（Ｃ）の例においては輝度成分のみを示している。また、図５（Ａ）、（Ｂ）、（Ｃ）の符号５００は符号化対象のマクロブロックを示し、マクロブロック５００が符号５０１〜５０４で表わされる４つの輝度成分のＤＣＴブロックから構成されていることを示している。またマクロブロック５００には同じサイズのマクロブロックが隣接していることを示しており、各マクロブロックも４つの輝度成分のＤＣＴブロックから構成されている。またＤＣＴブロック５０１は符号５０２〜５０９で表わされる各ＤＣＴブロックが隣接していることを示している。

このような構成において、例えば図５（Ｂ）のように、ＤＣＴブロック５０１及び５０２が水平エッジと検出され、さらに、ＤＣＴブロック５０１に水平に隣接するＤＣＴブロック５０８も水平エッジであると検出されている場合は、エッジ強度算出回路１１５は、ＤＣＴブロック５０１、５０２には水平エッジがあり、さらにそのエッジはマクロブロック５００だけでなく複数マクロブロックに渡って継続した視覚的に目立つエッジであると判断する。そこで、実施の形態１と同様の方法で算出したエッジ強度に所定の重み係数を乗算した値をマクロブロック５００のエッジ強度情報として出力する。コントローラ１１１は、エッジ強度算出回路１１５が出力するエッジ強度情報に応じて量子化スケールコードの基準値を下げて、マクロブロック５００を実際に量子化するための量子化スケールコードを算出する。

また、図５（Ｃ）のように、ＤＣＴブロック５０１が水平エッジと検出され、ＤＣＴブロック５０１に水平に隣接するＤＣＴブロック５０２はエッジが存在せず、さらに、ＤＣＴブロック５０１に水平に隣接するＤＣＴブロック５０８が水平エッジであると検出されている場合は、エッジ強度算出回路１１５は、水平エッジがマクロブロック５００だけでなく複数マクロブロックに渡って継続してかつ、マクロブロック５００がエッジの終点となる視覚的に目立つエッジであると判断する。そこで、実施の形態１と同様の方法で算出したエッジ強度に所定の重み係数を乗算した値をマクロブロック５００のエッジ強度情報として出力する。コントローラ１１１は、エッジ強度算出回路１１５が出力するエッジ強度情報に応じて量子化スケールコードの基準値を下げて、マクロブロック５００を実際に量子化するための量子化スケールコードを算出する。

なお、図５（Ｂ）及び図５（Ｃ）は水平方向に対する説明を行ったが、垂直方向並びに対角方向に関しても同様の処理を行うことが可能である。

以上説明したように、本実施形態の画像符号化装置においては、動画像の符号化処理において、マクロブロックよりも小さいブロックであるＤＣＴブロックにおけるエッジ情報をマクロブロックのエッジ情報として利用して、さらに隣接するマクロブロック内のＤＣＴブロックにおけるエッジ情報も参照して、符号化対象のマクロブロックの量子化スケールコードの決定処理を行うので、部分的にエッジを含むマクロブロックの画質劣化を防ぐことが可能となる。更に、複数マクロブロックに渡って継続するようなエッジであると判断した場合には、エッジ強度に対して所定の重み係数を乗算することで、同じエッジ強度であっても視覚的に目立つエッジ程、更に大きな値のエッジ強度として出力するので、視覚的に目立つエッジに対して適切な量子化を行う量子化スケールコードを決定することができる。

（その他の実施形態）
次に、その他の実施形態を紹介する。上記した第１〜第３の実施形態はＭＰＥＧ符号化方式における量子化スケールコードの制御について説明したが、同様の考えをＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式に適用する例を説明する。尚、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式のブロック図は図１で代用的に説明できるので省略する。

図６はＭＰＥＧ４−ＡＶＣ／Ｈ．２６４形式におけるマクロブロックと、マクロブロックに含まれる整数変換ブロックである。ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４形式ではＭＰＥＧでのＤＣＴに相当する整数変換の単位はプロファイルによって異なっている。メインプロファイルであれば、整数変換の単位は水平方向４画素、垂直方向４画素であり、マクロブロック内に１６個の輝度成分の整数変換ブロックが存在する。またハイプロファイルであれば整数変換の単位は水平方向８画素、垂直方向８画素であり、マクロブロック内に４個の輝度成分の整数変換ブロックが存在する。

図６（Ａ）は、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式のメインプロファイルで符号化を行う際のマクロブロックと整数変換の関係を示した図であり、マクロブロックに含まれる６０１〜６１６は整数変換ブロックである。図６（Ｂ）〜（Ｄ）はエッジ強度、エッジ方向に関する情報の処理例を示す図である。

図６（Ｂ）では、マクロブロック内における各整数変換ブロックに対してエッジ検出を行った結果、１つの整数変換ブロック６１７だけにエッジが存在していると判定された場合を示している。この場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在すると判断し、その整数変換ブロック６１７のエッジ強度をマクロブロックのエッジ強度として出力する（第１の実施形態で説明した図２（Ａ）と同様の処理）。

また、図６（Ｃ）では、マクロブロック内における各整数変換ブロックに対してエッジ検出を行った結果、整数変換ブロック６１８と整数変換ブロック６１９にエッジが存在していると判定された場合を示している。この場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在すると判断し、整数変換ブロック６１８のエッジ強度と整数変換ブロック６１９のエッジ強度を比較して大きい方をマクロブロックのエッジ強度として出力する（第１の実施形態で説明した図２（Ｂ）と同様の処理）。

尚、マクロブロック内における各整数変換ブロックに対してエッジ検出を行った結果、どの整数変換ブロックにもエッジが存在しないと判定された場合には、エッジ強度算出回路１１５は、マクロブロックにエッジが存在しないと判断しエッジ強度を出力しない。（第１の実施形態で説明した図２（Ｃ）と同様の処理）。

また、図６（Ｄ）のマクロブロックに示すように、水平方向に隣接した整数変換ブロック６２０〜６２３がともに水平エッジであると判定されている場合、又は、図示していないが、垂直方向に隣接した整数変換ブロックが垂直エッジであると判定されている場合には、エッジ強度算出回路１１５は、マクロブロックには、視覚的に目立つエッジが存在すると判断し、エッジ強度に所定の重み係数を乗算した値をマクロブロックのエッジ強度として出力する（第２の実施形態で説明した図３（Ａ）、（Ｂ）と同様の処理）。

尚、マクロブロック内における各整数変換ブロックに対してエッジ検出を行った結果、全ての整数変換ブロックからエッジが検出されたが、各整数変換ブロックのエッジ方向がバラバラであると判定されると、エッジ強度算出回路１１５は、マクロブロック内にエッジは存在するが視覚的に目立たないエッジであると判断し、マクロブロックにエッジが存在しない場合と同様の処理を行うことも可能である（第２の実施形態で説明した図３（Ｃ）、（Ｄ）と同様の処理）。

更に、第３の実施形態と同様に、符号化対象のマクロブロックに隣接するマクロブロックに含まれる整数変換ブロックのエッジ強度とエッジ方向の情報から、符号化対象のマクロブロックにおいてエッジが視覚的に目立つか否かを判断し、その判断に応じた係数をエッジ強度に乗算する処理を行うことも可能である。

尚、上述した実施形態において図１に示したエッジ検出回路１１４及びエッジ強度算出回路１１５における各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ（中央演算装置）が実行することによりその機能を実現させるものであってもよい。

また、図１に示したエッジ検出回路１１４及びエッジ強度算出回路１１５における各処理の一部の機能を専用のハードウェアにより実現してもよい。また、ＣＰＵがアクセスする上記メモリとしては、ＨＤＤ、光ディスク、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、図１に示したエッジ検出回路１１４及びエッジ強度算出回路１１５における各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態におけるディジタルビデオカメラ（画像符号化装置）の概略構成を示す図である。 （Ａ）、（Ｂ）、（Ｃ）はマクロブロック毎の状況に応じたエッジ強度の算出方法例を示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は第２の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例を示す図である。 従来の画像符号化装置の構成例を示す図である。 （Ａ）、（Ｂ）、（Ｃ）は第３の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例を示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）はその他の実施形態におけるエッジ強度及びエッジ方向に関する情報の処理例を示す図である。

Claims (8)

1. 画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化手段と、
   符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出手段と、
   前記算出手段により決定された最大のエッジ強度に基づいて、前記符号化手段に対して前記符号化対象の第１のブロックの量子化スケールを設定するための制御情報を出力する符号化制御手段とを備え、
   前記算出手段は、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする画像符号化装置。
2. 前記符号化手段は、前記第２のブロック単位に分割した画像データに対して直交変換を行って直交変換係数を出力する直交変換手段と、前記直交変換手段が出力する前記直交変換係数に対して、前記制御情報に従って設定される量子化スケールにより前記第１のブロック単位で量子化を行って量子化係数を出力する量子化手段とを備えたことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１のブロックは、前記第２のブロックを４個有し、該第２のブロックを水平方向に２個、垂直方向に２個並べた形状で構成されることを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記第１のブロックは、前記第２のブロックを１６個有し、該第２のブロックを水平方向に４個、垂直方向に４個並べた形状で構成されることを特徴とする請求項１又は２に記載の画像符号化装置。
5. 前記第１のブロックはマクロブロックであり、前記第２のブロックはＤＣＴブロック又は整数変換ブロックであることを特徴とする請求項１又は２に記載の画像符号化装置。
6. 画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化手段と、
   符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出手段と、
   前記算出手段により決定された最大のエッジ強度に基づいて、前記符号化手段に対して前記符号化対象の第１のブロックの量子化スケールを設定するための制御情報を出力する符号化制御手段とを備え、
   前記算出手段は、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロックに隣接する他の第１のブロックとの境界を跨いで隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする画像符号化装置。
7. 符号化手段が、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化ステップと、
   エッジ検出手段が、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出ステップと、
   算出手段が、前記エッジ検出ステップで前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出ステップと、
   符号化制御手段が、前記算出ステップで決定された最大のエッジ強度に基づいて、前記符号化対象の第１のブロックの量子化スケールを設定する符号化制御ステップとを有し、
   前記算出ステップでは、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけすることを特徴とする画像符号化方法。
8. 符号化手段が、画像に含まれる画素配列を複数の第１のブロックに分割して、前記第１のブロック単位で量子化を含む符号化処理を行う符号化ステップと、
   エッジ検出手段が、符号化対象の第１のブロックを更に複数に分割して得られる第２のブロックに含まれるエッジを検出するエッジ検出ステップと、
   算出手段が、前記エッジ検出ステップで前記第２のブロックにエッジが検出された場合に、検出されたエッジについてエッジ強度を算出し、前記符号化対象の第１のブロック内の複数の前記第２のブロックの中で算出されたエッジ強度が最大となるものを決定する算出ステップと、
   符号化制御手段が、前記算出ステップで決定された最大のエッジ強度に基づいて、前記符号化対象の第１のブロックの量子化スケールを設定する符号化制御ステップとを有し、
   前記算出ステップでは、前記検出されたエッジの方向をさらに算出し、前記符号化対象の第１のブロック内で隣接する複数の前記第２のブロックにおいてそれぞれ算出された複数のエッジの方向が同じである場合に、前記決定された最大のエッジ強度に所定の値を付加して重みづけする画像符号化方法をコンピュータに実行させることを特徴とするプログラム。

Images