JP4034793B2 - 補完映像を生成してデブロッキング処理に用いる映像圧縮装置及び方法 - Google Patents

Description

本発明は、映像圧縮装置及びその方法に係り、特に、入力される映像データを所定の圧縮フォーマットで圧縮して出力する映像圧縮装置及びその方法に係る。

映像データは、テキストデータに比べてデータの量が莫大である。このため、映像データを保存するための広い保存スペースを要し、データの転送にも長い転送時間が要される。

前記問題を解決するための方法として、映像データの圧縮技術が開発され、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｈ．２６１、Ｈ．２６４等がその例である。このような圧縮技術を用いる場合、映像データの量が著しく減少し、データの保存及び転送を効率的に行うことができるようになる。

前記映像圧縮は、一つのチップで作製されたエンコーダーによって行われるのが一般的である。図１は、従来映像圧縮エンコーダーのブロック図である。

映像圧縮エンコーダーは、入力される元の映像に対し信号処理を行い、所定のフォーマットで圧縮して出力する。図１によれば、映像圧縮エンコーダー１０は、映像分割部１１、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１３、量子化部１５及びハフマンコーディング部１７を含んでなる。

映像圧縮エンコーダー１０に入力される元の映像は、映像分割部１１で複数個のブロックに分割される。また、分割された各ブロックは順にＤＣＴ部１３でＤＣＴされ、量子化部１５で量子化される。その後、ハフマンコーディング部１５においてハフマンコーディングされ出力されるプロセスによって圧縮される。

このように、映像圧縮のためには、入力される元の映像を所定のサイズ（一般に、８×８画素）のブロックに分割し、分割された各々のブロックに対し圧縮工程を行う必要がある。

しかし、この方法では、圧縮映像を伸長して再生する場合、映像のブロック化現象が発生する。ブロック化現象（不連続現象）とは、映像圧縮時に分割されたブロック間の境界線で不連続な値が示される現象である。その結果、再生する映像が 複数のピースのタイルを貼り付けたように表示される。該ブロック化現象は圧縮率が高いほど著しくなる。

前記問題を解決するために、ブロック化現象を防ぐためのデブロッキング処理方法が提示されている。以下、デブロッキング処理方法について説明する。

第１のデブロッキング処理法は、元の映像を圧縮する段階で適用するものであり、量子化したブロックに対しデブロッキングアルゴリズムを適用する方法である。この方法では、量子化部１５とハフマンコーディング部１７との間に、デブロッキングアルゴリズムを行うための素子を追加する必要がある。これは、映像圧縮エンコーダー１０の設計変更に繋がり、既存の汎用映像圧縮エンコーダー１０を使用できなくなるという不具合が発生する。

第２のデブロッキング処理法は、映像圧縮エンコーダー１０から出力するハフマンコーディングされた圧縮映像をハフマンデコディングし、デブロッキングアルゴリズムを適用した後に再びハフマンコーディングして圧縮映像を再生成する方法である。この方法によれば、プロセッサーは、ハフマンデコディング、デブロッキングアルゴリズムの適用、ハフマンコーディングといった３つの作業をさらに行うことになる。その結果、プロセッサーの作業量増加によるプロセッサーの過負荷、処理速度の減少、消費電力の増加等の問題点が発生する。

第３のデブロッキング処理法は、圧縮映像を伸長した後にデブロッキングアルゴリズムを適用する方法である。しかし、圧縮映像を伸長して再生する消費者の製品が前記アルゴリズムを実行できない場合、デブロッキングを実行できない不具合がある。

従って、デブロッキング処理は映像圧縮工程時に行われるべきであり、適用の際にプロセッサーに過度な負担の掛からないようにする必要がある。なお、既存の汎用映像圧縮エンコーダー１０を使用して実施できることが要求される。

本発明は、前記のような従来の問題点を解決するためになされたものであって、その目的は、汎用映像圧縮エンコーダーによる映像圧縮の際に、元の映像の補完映像を生成し、これを用いてデブロッキング処理を行う映像圧縮装置及びその方法を提供することである。

前記目的を達成するために、本発明による映像圧縮装置は、元の映像を複数のブロックに分割し、分割された前記ブロックのＡＣ係数を、対象となるブロックに隣り合うブロックのＤＣ係数を用いて推定し、前記ＡＣ係数が推定された各ブロックをＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）し、前記ＩＤＣＴされたブロックを結合することにより補完映像を生成する補完映像生成部と；前記元の映像及び生成した補完映像を複数のブロックに分割し、分割された前記ブロックを共にＤＣＴにより圧縮する映像圧縮部と；圧縮された前記元の映像のＡＣ係数情報を、圧縮された前記補完映像の対応するＡＣ係数情報に置換するデブロッキング処理部とを含む。

なお、前記ＡＣ係数情報はＡＣ係数に対するハフマンコードであり得る。

一方、本発明に係る映像圧縮方法は、（ａ）元の映像を複数のブロックに分割し、分割された前記ブロックのＡＣ係数を、対象となるブロックに隣り合うブロックのＤＣ係数を用いて推定し、前記ＡＣ係数が推定されたブロックをＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）し、前記ＩＤＣＴされたブロックを結合することにより補完映像を生成する工程と；（ｂ）前記元の映像及び生成された前記補完映像を複数のブロックに分割し、分割された前記ブロックを共にＤＣＴにより圧縮する工程と；（ｃ）圧縮された前記元の映像のＡＣ係数情報を、圧縮された前記補完映像の対応するＡＣ係数情報に置換するデブロッキング処理を行う工程とを含む。

なお、前記ＡＣ係数情報はＡＣ係数に対するハフマンコードであり得る。

前記のように、本発明は、映像圧縮の際に元の映像の補完映像を生成し、これを用いてデブロッキング処理を行うことができる。デブロッキング処理が映像圧縮の段階で実行されるため、圧縮映像を伸長して再生する消費者の製品がデブロッキング手段を持たない場合にもブロック化現象を防ぐことができる。また、既存の汎用映像圧縮エンコーダーが使用可能であり、デブロッキング処理時に要求される演算量が少ないので、プロセッサーへの負荷減少及び処理速度の増加、消費電力の減少等の効果が得られる。

以下、図面を参照して、本発明をより詳細に説明する。

（実施例）
図２は、本発明の一実施例に係わる、補完映像を生成してデブロッキング処理に用いる映像圧縮装置のブロック図である。図２に示す映像圧縮措置は、補完映像生成部１１０、映像圧縮部１２０及びデブロッキング処理部１３０を具備している。

補完映像生成部１１０は、入力される元の映像を用いて補完映像を生成する。元の映像とは、圧縮の対象となる映像、即ち圧縮すべき映像である。また、補完映像とは、圧縮された元の映像に対するデブロッキング処理に用いられる映像である。デブロッキング処理とは、圧縮された元の映像を伸長する際に発生し得るブロック化現象を防止するために圧縮工程で実施されるプロセス工程である。

補完映像生成部１１０は、所定のアルゴリズムによって作成されたプログラムを利用して補完映像を生成する。補完映像生成のためのアルゴリズムは図４に示されており、これに関する具体的な説明は後述することにする。

映像圧縮部１２０は、入力される元の映像及び補完映像生成部１１０で生成された補完映像を所定のフォーマットで圧縮する。該圧縮フォーマットとしてＪＰＥＧ、ＭＰＥＧ，Ｈ．２６１、Ｈ．２６４等がある。映像圧縮部１２０は、映像分割部１２１、ＤＣＴ部１２３、量子化部１２５及びハフマンコーディング（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）部１２７を有する。

映像分割部１２１は、入力映像を８×８画素の正方形ブロックに分割する。ＤＣＴ部１２３は、分割されたブロック各々に対してＤＣＴを行う。ＤＣＴによりブロックの画素値等は、１個のＤＣ係数及び６３個のＡＣ係数に変換される。

量子化部１２５は、ＤＣ係数及びＡＣ係数を量子化ステップで分けて切り上げ、基準値以下の係数は取り除き、基準値を超える有効係数のみを残す。ハフマンコーディング部１２７は、量子化ステップで残された有効係数をハフマンコーディングする。この結果、ハフマンコーディング部１２７では、ＤＣ係数に対するハフマンコード（以下、ＤＣハフマンコードと言う。）及び有効ＡＣ係数に対するハフマンコード（以下、ＡＣハフマンコードと言う。）が生成され出力される。

デブロッキング処理部１３０は、映像圧縮部１２０から出力される圧縮された元の映像に対しデブロッキング処理を行う。デブロッキング処理時、映像圧縮部１２０から出力される圧縮された補完映像が用いられる。このために、デブロッキング処理部１３０は置換部１３１及び保存部１３５を備える。保存部１３５は、圧縮された元の映像が保存されるバッファーである。

置換部１３１は、圧縮された補完映像を用いて保存部１３５に保存された圧縮された元の映像に対しデブロッキング処理を行う。詳細には、置換部１３１は、圧縮された元の映像のＡＣハフマンコードを、それに対応する補完映像のＡＣハフマンコードに置換する。なお、ＡＣハフマンコードの置換プロセスにより最終的に生成された新たな圧縮映像を出力する。

以下、図２に示される映像圧縮装置が映像を圧縮するプロセスについて、図３を参照して詳しく説明する。同図は、本発明の一実施例に係る、補完映像を生成してデブロッキング処理に用いる映像圧縮方法の説明に提供されるフローチャートである。

図３によるに、まず、入力される元の映像を用いて補完映像を生成する（Ｓ２００）。以下、補完映像生成工程であるＳ２００について、図４に基づき詳細に説明する。同図は、補完映像生成工程の詳細なフローチャートである。

図４によれば、補完映像生成部１１０は、入力される元の映像を８×８画素の正方形ブロックに分割し（Ｓ２１０）、分割された各ブロックのＤＣ係数を算出する（Ｓ２２０）。ここで、ＤＣ係数はブロックの平均画素値を意味する。よって、算出されるＤＣ係数の数は分割されたブロックの数と同じである。

また、補完映像生成部１１０は、算出されたＤＣ係数を利用して各ブロックのＡＣ係数を推定する（Ｓ２３０）。一ブロックには全部で６３個のＡＣ係数があるので、推定可能なＡＣ係数は６３個となる。しかし、全てのＡＣ係数を推定する場合、ＡＣ係数の推定に要される計算量の増加による過負荷や処理遅延などが発生し得る。このため、適正数のＡＣ係数のみを推定するように実現することも可能である。ここで、推定すべきＡＣ係数は、殆どの映像情報が集中されている低周波のＡＣ係数である。

以下、ＡＣ係数を推定するプロセスについて図５を参照して詳細に説明する。同図の左側にブロック１乃至ブロック９で囲まれたブロック５を斜線で表示し、右側にはブロック５のＡＣ係数のうち推定すべきＡＣ係数を斜線で表示した。図示のように、本実施例では５個の低周波のＡＣ係数のみを推定する場合を例として説明する。

ブロック５の斜線で示す５個のＡＣ係数（ＡＣ_０１、ＡＣ_１０、ＡＣ_２０，ＡＣ_１１，ＡＣ_０２）は、隣り合うブロックであるブロック１乃至ブロック９（ブロック５を除く）のＤＣ係数を利用して推定することができる。ブロック１乃至ブロック９のＤＣ係数を各々ＤＣ_１乃至ＤＣ_９とするとき、ＡＣ_０１、ＡＣ_１０、ＡＣ_２０，ＡＣ_１１，ＡＣ_０２の推定に利用される計算式は次の式（１）のとおりである。

図４によれば、ＡＣ係数の推定が完了すると、補完映像生成部１１０は、ＡＣ係数が推定されたブロックをＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）する（Ｓ２４０）。

推定工程（Ｓ２３０）及びＩＤＣＴ工程（Ｓ２４０）はブロック毎に行われる。分割された全てのブロックに対し推定及びＩＤＣＴが完了すると（Ｓ２５０）、補完映像生成部１１０は、ＩＤＴＣされたブロックを結合して出力する（Ｓ２６０）。

前記プロセスによって生成され出力される映像が補完映像である。補完映像生成の主な特徴は、分割された各ブロックのＤＣ係数を利用して各ブロックのＡＣ係数を推定することにある。かかる作業は、ブロック化現象を防ぐのに効果的であるためである。

図３は、補完映像生成工程（Ｓ２００）以降に行われる工程を示す。

映像圧縮部１２０は、入力される元の映像を所定のフォーマットで圧縮して出力し（Ｓ３１０）、出力される圧縮された元の映像は、デブロッキング処理部１３０の保存部１３５に臨時保存される（Ｓ３２０）。圧縮工程は、元の映像の分割、ＤＣＴ、量子化を経て残された有効係数をハフマンコーディングするプロセスによって行われる。従って、映像圧縮部１２０から出力されて保存部１３５に臨時保存されるものは、圧縮された元の映像のＤＣハフマンコード及びＡＣハフマンコードである。

また、映像圧縮部１２０は、補完映像生成部１１０から生成された補完映像を所定のフォーマットで圧縮して出力する（Ｓ３３０）。この時、映像圧縮部１２０から出力されるのは、圧縮された補完映像のＤＣハフマンコード及びＡＣハフマンコードである。

次に、置換部１３１は、保存部１３５に保存されている圧縮された元の映像のＡＣハフマンコードを圧縮された補完映像のＡＣハフマンコードに置換する（Ｓ３４０）。置換工程はブロック単位で行われる。図５に示すように、補完映像には各ブロック毎に５個のＡＣ係数（ＡＣ_０１、ＡＣ_１０、ＡＣ_２０，ＡＣ_１１，ＡＣ_０２）が推定され、その他の係数は０として処理される。従って、５個のＡＣ係数に対するハフマンコードが置換に利用される圧縮された補完映像のＡＣハフマンコードである。

Ｓ３４０の置換工程はブロック単位で行われるため、圧縮された元の映像の全てのブロックに対する置換工程が終了すると（Ｓ３５０）、保存部（１３５）に保存された置換が完了した圧縮された元の映像が出力される（Ｓ３６０）。この時に出力される映像がデブロッキング処理が施された圧縮映像である。

上述の説明によれば、補完映像生成部１１０は、図４に示されたアルゴリズムによって作成されたプログラムを利用して補完映像を生成するものである。図５によれば、補完映像生成部１１０は、ブロック当り１個のＤＣ係数を計算し、５個のＡＣ係数を推定すべきである。これは、通常のＤＣＴ及び量子化では６４個の係数に対し行われていることを考慮する場合、少ない処理量を要するものである。このように、補完映像生成部１１０の演算量が少ないため、ソフトウェア的に実現したものである。しかし、補完映像生成部１１０はハードウェア的に実現することも可能であり、これについて図６に示されている。

図６によるに、補完映像生成部１１０は、入力される元の映像を８×８画素の正方形ブロックに分割する映像分割部１１１、分割された各ブロックのＤＣ係数を算出するＤＣ係数算出部１１３、算出されたＤＣ係数を利用して各ブロックのＡＣ係数を推定するＡＣ係数推定部１１５、及びＡＣ係数が推定されたブロックをＩＤＣＴするＩＤＣＴ部１１７を具備している。図６に示された補完映像生成部１１０によって生成される補完映像は、既に説明した方法により生成された補完映像と同じである。

以上では、本発明の好適な実施形態について図示し説明したが、本発明は、上述した特定の実施形態に限られず、特許請求の範囲で請求している本発明の要旨を逸脱することなく当該発明の属する技術分野における通常の知識を有する者であれば誰でも種々の変形実施が可能であることはもとより、そのような変形実施が、本発明の技術的思想や展望と別のものとして理解されてはならない。

本発明は、映像圧縮装置及び方法に係り、特に、入力される映像データを所定の圧縮フォーマットで圧縮して出力する映像圧縮装置及び方法に係る。

従来の映像圧縮エンコーダーのブロック図である。 本発明の一実施例による補完映像を生成してデブロッキング処理に用いる映像圧縮装置のブロック図である。 本発明の一実施例による補完映像を生成してデブロッキング処理に用いる映像圧縮方法の説明に提供されるフローチャートである。 図３に示す補完映像生成工程の詳細なフローチャートである。 図４に示すＡＣ係数の推定工程に関する説明に提供されるものである。 図２に示す補完映像生成部の別の例を示すものである。

符号の説明

１１０ 補完映像生成部
１１１ 映像分割部
１１３ ＤＣ係数算出部
１１５ ＡＣ係数推定部
１１７ ＩＤＣＴ部
１２０ 映像圧縮部
１２１ 映像分割部
１２３ ＤＣＴ部
１２５ 量子化部
１２７ ハフマンコーディング部
１３０ デブロッキング処理部
１３１ 置換部
１３５ 保存部

Claims (4)

1. 元の映像を複数のブロックに分割し、分割された前記ブロックのＡＣ係数を、対象となるブロックに隣り合うブロックのＤＣ係数を用いて推定し、前記ＡＣ係数が推定されたブロックをＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）し、前記ＩＤＣＴされた各ブロックを結合することにより補完映像を生成する補完映像生成部と；
   前記元の映像及び生成した補完映像を複数のブロックに分割し、分割された前記ブロックを共にＤＣＴにより圧縮する映像圧縮部と；
   圧縮された前記元の映像のＡＣ係数情報を、圧縮された前記補完映像の対応するＡＣ係数情報に置換するデブロッキング処理部とを含むことを特徴とする映像圧縮装置。
2. 前記ＡＣ係数情報は、ＡＣ係数に対するハフマンコードであることを特徴とする請求項１に記載の映像圧縮装置。
3. （ａ）元の映像を複数のブロックに分割し、分割された前記ブロックのＡＣ係数を、対象となるブロックに隣り合うブロックのＤＣ係数を用いて推定し、前記ＡＣ係数が推定されたブロックをＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）し、前記ＩＤＣＴされたブロックを結合することにより補完映像を生成する工程と；
   （ｂ）前記元の映像及び生成された前記補完映像を複数のブロックに分割し、分割された前記ブロックを共にＤＣＴにより圧縮する工程と；
   （ｃ）圧縮された前記元の映像のＡＣ係数情報を、圧縮された前記補完映像の対応するＡＣ係数情報に置換するデブロッキング処理を行う工程とを含むことを特徴とする映像圧縮方法。
4. 前記ＡＣ係数情報は、ＡＣ係数に対するハフマンコードであることを特徴とする請求項３に記載の映像圧縮方法。

Images