JP4704343B2

JP4704343B2 - 画像符号化装置及び方法

Info

Publication number: JP4704343B2
Application number: JP2006528347A
Authority: JP
Inventors: 秀樹黒木; 茂樹藤井; 昭彦大谷; 信生檜垣
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-07-27
Filing date: 2005-02-23
Publication date: 2011-06-15
Anticipated expiration: 2025-02-23
Also published as: JPWO2006011258A1; EP1773066A1; CN1989771A; WO2006011258A1; TW200605680A; CN100581263C; US20080267286A1

Description

本発明は動画像符号化などの画像符号化装置に関する。

従来の動画符号化方式には規格としてＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４等のＭＰＥＧ(Moving picture expert group)がある。これらは、種々の画像サイズや媒体に対応できるように規格として定められている。例えば、ＭＰＥＧ１／ＭＰＥＧ２であればＤＶＤ等の比較的画像サイズの大きな媒体に対して使用され、ＭＰＥＧ４は携帯電話等の比較的画像サイズの小さい媒体に対して使用される。

動画符号化は、動画をマクロブロック（ＭＢ）と呼ばれる処理単位に分割して処理される。ＭＢは４つの輝度成分ブロックと２つの色差成分ブロックとで構成されている。輝度成分ブロックはＹ０、Ｙ１、Ｙ２、Ｙ３の４個で成り、また色差成分ブロックはＣ０、Ｃ１の２個で成っている。各Ｙ、Ｃ成分ブロックは８×８個の画素値または成分で構成されている。

図１は従来のＭＰＥＧ１／ＭＰＥＧ２画像符号化装置の要部の構成を示すブロック図である。図１において、量子化処理部１で量子化された６４個の成分は、ＣＢＰ（Coded Block Pattern）判定部２に入力される。ＣＢＰ判定部２は、ブロック毎に６４個の成分の１成分ずつに対して零か否かを判定する。ＣＢＰ判定部２の結果はＣＢＰ生成部３に入力される。ＣＢＰ生成部３は、ＣＢＰ判定部２の判定結果において６４個の成分が全て０である場合にはＣＢＰ符号０を出力し、１つでも非零成分がある場合には符号１を可変長符号化部４に対して出力する。つまりＣＢＰ生成部３はブロック毎に符号０か符号１かを出力する。可変長符号化部４には、量子化部１の結果である量子化処理後の６４個の成分と、ＣＢＰ生成部３の結果であるＣＢＰ符号とが入力される。可変長符号化部４は、ＣＢＰ符号が０である場合は６４個の成分が全て０であることが既知であるため、符号化処理を行わず、ＣＢＰ符号０のみを符号化処理する。また、ＣＢＰ符号が１である場合は、量子化処理されたブロックに非零な成分が含まれていることが既知であるため、６４個の成分を全てとＣＢＰ符号１とを可変長符号化する。

図２は、非特許文献１などに記載されたＭＰＥＧ４画像符号化装置の要部の構成を示すブロック図である。図２おいて、量子化部１１で量子化処理された６４個の成分は、ＡＣ／ＤＣ予測部１２に入力され、６４個の成分のうち、ＡＣ／ＤＣ予測に必要とされる１５成分に関してのみＡＣ／ＤＣ予測処理が行われる。その他の４９個の成分に関しては予測処理が行われずにそのままの値が出力される。ＡＣ／ＤＣ予測処理が施された１５成分と、その他の４９成分は、ＣＢＰ判定部１３に入力される。ＣＢＰ判定部１３は、６４個の成分の１成分ずつに対して、零か否かを判定する。ＣＢＰ判定部１３の結果はＣＢＰ生成部１４に入力される。ＣＢＰ生成部１３は、ＣＢＰ判定部１３の結果において、６４個の成分が全て０である場合ＣＢＰ符号０を出力し、１つでも、非零成分がある場合は符号１を可変長符号化部１５に対して出力する。可変長符号化部１５には、前記ＡＣ／ＤＣ予測部１２の結果であるＡＣ／ＤＣ予測処理後の６４個の成分と、ＣＢＰ生成部１４の結果であるＣＢＰ符号が入力され、ＣＢＰ符号が０である場合は６４個の成分が全て０であることが既知であるため、符号化処理を行わず、ＣＢＰ符号０のみを符号化処理する。また、ＣＢＰ符号が１である場合は、量子化処理の結果に非零な成分が含まれていることが既知であるため、６４個の成分を全てとＣＢＰ符号１を可変長符号化する。

このようにＭＰＥＧでの動画符号化では、ＣＢＰ符号を使用することにより、可変長符号化を行う際、符号量の削減ができる。
「ＭＰＥＧ−４のすべて」三木弼一編著、工業調査会、1999.1.20

従来、ＭＰＥＧ規格の動画符号化処理を実現する場合、ＭＰＥＧ１／ＭＰＥＧ２ではＣＢＰ判定処理を量子化処理直後の成分に対して行うが、ＭＰＥＧ４ではＣＢＰ判定処理をＡＣ／ＤＣ予測処理後の成分に対して行うため、処理構成が異なりＭＰＥＧ１／ＭＰＥＧ２とＭＰＥＧ４では別々の画像符号化装置で実現する必要があった。

しかしながら、昨今１つの半導体集積回路で複数の動画符号化処理を実現することが要求されている。また、低コスト化も必須である。このような背景の中で、処理構成が異なる動画符号化処理毎に異なる画像符号化装置を別々に実装することは、画像符号化装置を含み動画符号化処理を実現できる半導体集積回路の面積増加に大きく影響し、低コスト化の実現が困難である。また、ＭＰＥＧ４では、ＡＣ／ＤＣ予測処理を行うため、ＡＣ／ＤＣ予測処理を行わないＭＰＥＧ１／ＭＰＥＧ２よりも処理時間が増加してしまう問題も生じる。

本発明は上記の問題を解決するものであり、ＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４処理を１つの画像符号化装置で実現することで半導体集積回路全体の面積削減を行い、低コスト化を実現することと、処理時間の短縮を実現することを目的とする。

上記目的を達成するために本発明の画像符号化装置は、量子化されたブロックを構成するＮ個の成分のうちｍ個の成分に対して予測処理を行う予測処理手段と、第１動作モードにおいてＮ個の成分のうちの（Ｎ−ｍ）個の成分に対して非零成分の有無を判定し、第２動作モードにおいてＮ個の成分のうちの（Ｎ−ｎ）個の成分に対して非零成分の有無を判定する第１判定手段と、第１動作モードにおいて予測処理手段によって予測処理が施された後のｍ個の成分に対して非零成分の有無を判定し、第２動作モードにおいてｎ個の成分に対して非零成分の有無を判定する第２判定手段と、前記第１および第２判定手段の判定結果から前記ブロックの成分が全て零であるか否かを示す符号を生成する生成手段とを有し、前記予測処理手段は、第２動作モードにおいて予測処理を禁止される。

この構成によれば、第１動作モードでは前記成分の予測処理を伴う画像符号化処理を、第２動作モードでは前記成分の予測処理を伴わない画像符号化処理を、１つの画像符号化装置で実現することができる。その結果、半導体集積回路全体の面積削減と、低コスト化を実現することができる。

しかも、２つの判定手段において、成分を一つずつ判定するのではなく、並行して非零成分の有無を判定するので、処理時間の短縮を実現できる。

ここで、前記生成手段は、ブロック毎に１ビットの符号を生成するようにしてもよい。

ここで、前記予測処理手段は、第２動作モードにおいてｎ個の成分を透過的に第２判定手段に出力するようにしてもよい。

ここで、前記予測処理は、ＡＣ／ＤＣ予測処理であってもよい。
ここで、前記Ｎは６４であり、前記ｍは１５であってもよい。

この構成によれば、ＡＣ／ＤＣ予測処理を行うＭＰＥＧ−４と、予測処理を行わないＭＰＥＧ−１／２とを１つの装置で実現することができる。

ここで、前記Ｎは６４であり、前記ｎは３２であってもよい。
この構成によれば、第１、第２判定手段は、ブロックを構成する成分を半分ずつ分担することができる。

また、本発明の画像符号化方法、プログラムについても上記と同様の手段、効果を有する。

本発明の画像符号化装置によれば、１つの画像符号化装置で、ＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４などの複数の動画符号化処理を実現することができる。また、処理時間を短縮することもできる。

(実施の形態１)
図３は本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。同図のように、この画像符号化装置は、ＤＣＴ部１０１、量子化部１０２、係数予測部１０３、可変長符号化部１０４、逆量子化部１０５、逆ＤＣＴ部１０６、加算器１０７、メモリ１０８、動き検出部１０９、動き補償部１１０、減算器１１１を備える。このうち係数予測部１０３は、画像符号化装置がＭＰＥＧ４等の予測処理を伴う画像符号化を行う場合（以下、第１モードと呼ぶ。）には、係数予測処理とＣＢＰ生成処理とを行い、画像符号化装置がＭＰＥＧ１／２による画像符号化を行う場合（以下、第２モードと呼ぶ。）には、ＣＢＰ生成処理を行うよう構成されている。その他の構成要素は、ＭＰＥＧ４にもＭＰＥＧ１／２にも兼用でき、従来とほぼ同様であるので詳細な説明は省略する。

図４は係数予測部１０２の詳細な構成を示すブロック図である。同図のように、係数予測部１０２は、予測処理部２２、第１のＣＢＰ判定部２３、第２のＣＢＰ判定部２４、ＣＢＰ生成部２５を有している。

予測処理部２２は、第１モードの場合には、量子化処理部１０２で量子化処理された結果である６４個の成分のうち、係数予測の必要な成分を入力し係数予測を行う。この係数予測は、従来技術で説明した１５成分を用いるＡＣ／ＤＣ予測処理の他に、Ｎ１個の成分を用いる予測処理などを選択的に行う。Ｎ１は、第１モードで予測処理に用いる成分の個数である。また、予測処理部２２は、第２モードの場合には、量子化処理部１０２で量子化処理された結果である６４個の成分のうち、第２のＣＢＰ判定部２４が分担するＮ２個の成分を入力し、第２のＣＢＰ判定部２４にそのまま出力する。Ｎ２は、第２モードで第２のＣＢＰ判定部２４が分担する成分の個数であり、本実施形態では３２とする。

第１モードにおいてＡＣ／ＤＣ予測処理を行う場合に、第１のＣＢＰ判定部２３と第２のＣＢＰ判定部２４が成分６４個のどの部分に関してＣＢＰ判定を行うかを図５に示す。第１のＣＢＰ判定部２３では、ＡＣ／ＤＣ予測処理には必要としない部分７×７成分からなるブロック３１に関してＣＢＰ判定を行う。第２のＣＢＰ判定部２４はＡＣ／ＤＣ予測後の結果に対して、ＡＣ／ＤＣ予測で使用した１５個の成分３２に関してＣＢＰ判定を行う。各ＣＢＰ判定部での結果をＣＢＰ生成部２５に入力し、ＣＢＰ符号を生成する。第１のＣＢＰ判定部でのＣＢＰ判定をＡＣ／ＤＣ予測処理中に先行的に行うことができるため、ＣＢＰ符号生成までの処理時間を短縮することが可能である。

第１のＣＢＰ判定部２３は、第１モードの場合には、予測処理部２２による予測処理に用いられない（６４−Ｎ１）個の成分を入力とし、各成分に対して非零成分の有無を判定し、第２モードの場合には、予測処理部２２に入力されない（６４−Ｎ２）個の成分を入力とし、各成分に対して非零成分の有無を判定する。

第２のＣＢＰ判定部２４は、第１モードの場合には、予測処理部２２から予測処理された後のＮ１個の成分を入力とし、各成分に対して非零成分の有無を判定し、第２モードの場合には、予測処理部２２に入力されそのまま出力されたＮ２個の成分を入力とし、各成分に対して非零成分の有無を判定する。

ＣＢＰ生成部２５は、ブロック単位に、第１のＣＢＰ判定部２３および第２のＣＢＰ判定部２４の判定結果が全て零であれば、ＣＢＰ符号０を生成し、１つでも非零であればＣＢＰ符号１を生成する。生成されたＣＢＰ符号は可変長符号化処理部１０４に出力される。

可変長符号化部１０４は、第１モードの場合には、予測処理された後のＮ１個の成分と、量子化処理部１０２からの（６４−Ｎ１）個の成分と、前記ＣＢＰ生成部２５からＣＢＰ符号を入力とし、可変長符号を生成する。

かかる構成によれば、第２モードでは、予測処理部２２で予測処理を行わないことで、ＭＰＥＧ１／ＭＰＥＧ２の画像符号化を行う構成を実現することできる。また、第１モードでは、前記予測処理部２２で予測処理がＡＣ／ＤＣ予測が行われた場合、ＭＰＥＧ４の画像符号化を行う構成を実現することができる。この構成により、１個の画像符号化装置でＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４の複数の動画符号化規格を実現することができる。なお、前記予測処理部２２はＡＣ／ＤＣ予測処理だけでなく、Ｎ１個の成分に対して予測処理を選択することができる。

図６は、図３に示した画像符号化装置における符号化処理を示すフローチャートである。同図のように、画像符号化装置は、ＭＰＥＧ−４画像符号化を行うかどうか（第１モードか第２モードか）を判定し（Ｓ３１）、ＭＰＥＧ−４画像符号化を行う（第１モードである）と判定された場合には、予測処理部２２を予測処理を行う予測モードにし（Ｓ３４）、ＭＰＥＧ４画像符号化処理を行う（Ｓ３５）。

一方、画像符号化装置は、ＭＰＥＧ−１／２画像符号化を行う（第２モードである）と判定された場合には、予測処理部２２を予測処理を行わない透過モードにし（Ｓ３２）、ＭＰＥＧ１／２画像符号化処理を行う（Ｓ３３）。

図７は、図６のＳ３３におけるＭＰＥＧ−４画像符号化処理を示すフローチャートである。同図のように、画像符号化装置は、量子化処理部１０２までの処理を行った後（Ｓ４１）、ＡＣ／ＤＣ予測処理に必要な１５成分を予測処理部２２に出力し（Ｓ４２ａ）、同時にその他の４９成分を第１のＣＢＰ判定部２３に出力する（Ｓ４２ｂ）。予測処理部２２は１５成分に対してＡＣ／ＤＣ予測処理を行い（Ｓ４３ａ）、さらに、第２のＣＢＰ判定部２４はＡＣ／ＤＣ予測処理後の１５成分に対して非零か否かのＣＢＰ判定を行う（Ｓ４４）。これに同時に、第１のＣＢＰ判定部２３は、４９成分に対して非零か否かのＣＢＰ判定を行う（Ｓ４３ｂ）。
さらに、ＣＢＰ生成部２５は、第１のＣＢＰ判定部２３および第２のＣＢＰ判定部２４の判定結果が全て零であれば、ＣＢＰ符号０を生成し、１つでも非零であればＣＢＰ符号１を生成する。

このように、第１モードにおいて、例えばＭＰＥＧ−４画像符号化処理のように前記予測処理部２２がＡＣ／ＤＣ予測処理を行うように選択された場合、図４のＭＰＥＧ４の処理構成を実現することが可能でありこの際、前記第１のＣＢＰ判定部２３で量子化処理された６４個の成分のうち、ＡＣ／ＤＣ予測処理で必要としない４９成分に関してＣＢＰ判定を行い、残りのＡＣ／ＤＣ予測に必要とする１５成分に関しては前記第２のＣＢＰ判定部２４でＡＣ／ＤＣ予測処理後にＣＢＰ判定を行うことにより、前記第１のＣＢＰ判定部でのＣＢＰ判定をＡＣ／ＤＣ予測処理中に先行的に行うことができるため、ＣＢＰ符号生成までの処理時間を短縮することが可能である。

図８は、図６のＳ３５におけるＭＰＥＧ−１／２画像符号化処理を示すフローチャートである。同図のように、画像符号化装置は、量子化処理部１０２までの処理を行った後（Ｓ５１）、半分の３２成分を予測処理部２２に透過させて第２のＣＢＰ判定部２４に出力し（Ｓ５２ａ）、同時にその他の３２成分を第１のＣＢＰ判定部２３に出力する（Ｓ５２ｂ）。第２のＣＢＰ判定部２４は３２成分に対して非零か否かのＣＢＰ判定を行う（Ｓ５３ａ）。これに同時に、第１のＣＢＰ判定部２３は、他の３２成分に対して非零か否かのＣＢＰ判定を行う（Ｓ５３ｂ）。
さらに、ＣＢＰ生成部２５は、第１のＣＢＰ判定部２３および第２のＣＢＰ判定部２４の判定結果が全て零であれば、ＣＢＰ符号０を生成し、１つでも非零であればＣＢＰ符号１を生成する。

このように、第２モードの場合、前記予測処理部２２で予測処理を行わないので、ＭＰＥＧ１／ＭＰＥＧ２の画像符号化を行う構成を実現することができる。この際、前記第１のＣＢＰ判定部２３では、量子化処理された６４個の成分のうち、半分の３２成分に関してＣＢＰ判定を行い、残りの３２成分に関しては前記第２のＣＢＰ判定部２４でＣＢＰ判定を行う。つまり、前記第１のＣＢＰ判定部２３と前記第２のＣＢＰ判定部２４が並行してＣＢＰ判定を行うことができるため、処理時間を短縮することができる。

なお、前記第１のＣＢＰ判定部２３と前記第２のＣＢＰ判定部２４において、ＣＢＰ判定を行う成分の個数Ｎ２は０個〜６４個の間で変更することが可能である。

本発明は、画像を符号化または復号化する符号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。

図１は従来技術におけるＭＰＥＧ１／２符号処理を行う画像符号化装置の要部の構成を示すブロック図である。図２は従来技術におけるＭＰＥＧ４符号処理を行う画像符号化装置の要部の構成を示すブロック図である。図３は本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。図４は係数予測部の詳細な構成を示すブロック図である。図５はＡＣ／ＤＣ予測処理の説明図である。図６は画像符号化処理を示すフローチャートである。図７はＭＰＥＧ４符号化処理を示すフローチャートである。図８はＭＰＥＧ１／２符号化処理を示すフローチャートである。

符号の説明

２１量子化部
２２予測処理部
２３第１のＣＢＰ判定部
２４第２のＣＢＰ判定部
２５ＣＢＰ生成部
２６可変長符号化部
１０１ＤＣＴ部
１０２量子化部
１０３係数予測部
１０４可変長符号化部
１０５逆量子化部
１０６逆ＤＣＴ部
１０７加算器
１０８メモリ
１０９動き検出部
１１０動き補償部
１１１減算器
１１２動きベクトル予測部

Claims

第１動作モードにおいて量子化されたブロックを構成するＮ個の成分のうちｍ個の成分に対して予測処理を行い、第２動作モードにおいて量子化されたブロックを構成するＮ個の成分のうちn個の成分をそのまま出力する予測処理手段と、
前記第１動作モードにおいてＮ個の成分のうちの前記予測処理手段で処理されたｍ個の成分を除く（Ｎ−ｍ）個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいてＮ個の成分のうちの前記予測処理手段からそのまま出力されたｎ個の成分を除く（Ｎ−ｎ）個の成分に対して非零成分の有無を判定する第１判定手段と、
前記第１動作モードにおいて前記予測処理手段によって予測処理が施された後のｍ個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいて前記予測処理手段からそのまま出力されたｎ個の成分に対して非零成分の有無を判定する第２判定手段と、
前記第１および第２判定手段の判定結果から前記ブロックの成分が全て零であるか否かを示す符号を生成する生成手段と
を有し、
前記予測処理手段は、前記第２動作モードにおいて予測処理を禁止される
ことを特徴とする画像符号化装置。
前記生成手段は、ブロック毎に１ビットの符号を生成する
ことを特徴とする請求項１記載の画像符号化装置。
前記予測処理手段は、第２動作モードにおいてｎ個の成分を透過的に第２判定手段に出力する
ことを特徴とする請求項１記載の画像符号化装置。
前記予測処理は、ＡＣ／ＤＣ予測処理である
ことを特徴とする請求項１記載の画像符号化装置。
前記Ｎは６４であり、前記ｍは１５である
ことを特徴とする請求項１記載の画像符号化装置。
前記Ｎは６４であり、前記ｎは３２である
ことを特徴とする請求項１記載の画像符号化装置。
前記予測処理は、ＡＣ／ＤＣ予測処理であり、
前記Ｎは６４であり、前記ｍは１５であり、前記ｎは３２である
ことを特徴とする請求項３記載の画像符号化装置。
第１動作モードにおいて、量子化されたブロックを構成するＮ個の成分のうちｍ個の成分に対して予測処理を行い、第２動作モードにおいて量子化されたブロックを構成するＮ個の成分のうちn個の成分をそのまま出力する予測処理ステップと、
前記第１動作モードにおいてＮ個の成分のうちの前記予測処理ステップで処理されたｍ個の成分を除く（Ｎ−ｍ）個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいてＮ個の成分のうちの前記予測処理ステップでそのまま出力されたｎ個の成分を除く（Ｎ−ｎ）個の成分に対して非零成分の有無を判定する第１判定ステップと、
前記第１動作モードにおいて前記予測処理ステップにおいて予測処理が施された後のｍ個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいて前記予測処理ステップでそのまま出力されたｎ個の成分に対して非零成分の有無を判定する第２判定ステップと、
前記第１および第２判定ステップの判定結果から前記ブロックの成分が全て零であるか否かを示す符号を生成する生成ステップと
を有し、
前記予測処理ステップでは、前記第２動作モードにおいて予測処理を禁止される
ことを特徴とする画像符号化方法。
第１動作モードにおいて、量子化されたブロックを構成するＮ個の成分のうちｍ個の成分に対して予測処理を行い、第２動作モードにおいて量子化されたブロックを構成するＮ個の成分のうちn個の成分をそのまま出力する予測処理ステップと、
前記第１動作モードにおいてＮ個の成分のうちの前記予測処理ステップで処理されたｍ個の成分を除く（Ｎ−ｍ）個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいてＮ個の成分のうちの前記予測処理ステップでそのまま出力されたｎ個の成分を除く（Ｎ−ｎ）個の成分に対して非零成分の有無を判定する第１判定ステップと、
前記第１動作モードにおいて前記予測処理ステップにおいて予測処理が施された後のｍ個の成分に対して非零成分の有無を判定し、前記第２動作モードにおいて前記予測処理ステップでそのまま出力されたｎ個の成分に対して非零成分の有無を判定する第２判定ステップと、
前記第１および第２判定ステップの判定結果から前記ブロックの成分が全て零であるか否かを示す符号を生成する生成ステップと
を有し、
前記予測処理ステップでは、前記第２動作モードにおいて予測処理を禁止される画像符号化方法をコンピュータに実行させることを特徴とするプログラム。