JP4734301B2 - 量子化誤差低減装置 - Google Patents

Description

本発明は、動画像の圧縮符号化復号の画像信号処理に関し、特に、圧縮伸張信号による複数フレームの復号画像を合成し、単一のフレームを復号した画像で生じる量子化誤差を低減して画質向上を図る、動き補償型の量子化誤差低減装置に関する。

ネットワーク技術の進展によりインターネットを利用した種々のサービスやビジネスが展開されている。また、ＭＰＥＧやＪＰＥＧといった画像圧縮技術により、画像や動画像をネットワークを通じて手軽に扱うことができる環境が構築されている。このような環境の中、動画ファイルを配信するネットワークサービス（例えば、ＹｏｕＴｕｂｅなど）の普及で、同一の動画コンテンツが、符号化の方式、画像のサイズや圧縮率を異にして多数氾濫している状況が見受けられる。

一方、ネットワーク上のエラーへの耐性を強化する符号化技法の一つとしてＭＤＣ（Multiple Description Coding）と呼ばれる技術が検討されている（例えば、非特許文献１）。これは、図２に示すように、同一の情報源を複数符号化し、種々のネットワークパスを利用して配信する技法であり、映像信号にこのＭＤＣを利用する検討もなされている。

また、ＪＰＥＧ方式により圧縮符号化・復号された画像を対象に、復号後に画素シフトした複数の画像を重ね合わせることにより画質の改善を図る提案がなされている（例えば、非特許文献２参照）。或いは、ＭｏｔｉｏｎＪＰＥＧ方式で圧縮された動画像を対象に、フレーム画像ごとに画素をシフトし、復号画像をフィルタ処理することで画質改善を行う方式も提案されている（例えば、非特許文献３参照）。

さらに、ＭＤＣのコンセプトに沿って、画像を複数の符号化方式で圧縮し、それらを送信・受信した場合に画質の改善を図る不確定性符号化が提案されている（例えば、非特許文献４参照）。

V. K. Goyal、"Multiple Description Coding: Compression Meets the Network"、IEEE Signal Processing Magazine、２００１年７月、ｐ． ７４−９３ A. Nosratinia、"Denoising JPEG Images by Re-Application of JPEG"、 IEEE Multimedia Signal Proccessing、 １９９８年１２月、ｐ． ６１１−６１５ 枦山 健太郎, 荒川 薫、"非線形ディジタルフィルタと画素シフトを用いたＭｏｔｉｏｎＪＰＥＧの画質改善"、電子情報通信学会技術研究報告、Ｖｏｌ． １０６、Ｎｏ． ９５、ＳＩＳ２００６−２, ２００６年６月、ｐ． ７−１２ 石川 孝明, 渡辺 裕、"画像の不確定性符号化について"、ＰＣＳＪ２００６、 Ｐ−３．０２、 ２００６年１１月

しかしながら、ネットワークを利用したＭＤＣ技術は、主としてエラー耐性を目的とした手法である。そのため、個々のコンテンツの品質は、単一で符号化した場合と変わらないにもかかわらず、複数のパスを利用することとなり、トータルの圧縮率は低くなっている。

即ち、非特許文献１に開示されるＭＤＣを用いた技術は、同一信号を複数符号化するため、単一の符号化信号による配信と比べると圧縮の効率は劣る欠点がある。また、非特許文献２及び３に開示されるＪＰＥＧ方式及びＭｏｔｉｏｎＪＰＥＧ方式を用いた画像処理は、ブロック歪などの画質劣化を低減させることを主題としており、圧縮の効率を改善するようにＭＤＣ技術に応用するには改善する必要がある。さらに、非特許文献４に開示されるＭＤＣを用いた技術は、定常的な圧縮効率を改善することを対象としておらず、定常的な圧縮効率を改善するための具体的な手段が望まれる。

また、ＭＤＣ技術を利用し、複数の符号化された画像について、符号化時の量子化誤差を低減させる手法、或いは、符号化時に意図的に符号化の処理単位である画素ブロックの位置をシフトさせたものを複数用意し、それらを復号後に合成する手法において、特に、定常的に圧縮効率を改善する手段を設けることが望まれる。

そこで、本発明の目的は、動画像のフレーム間の相関に着目し、１つの動画像（例えば、動画ファイルなど一連のフレーム画像を含む動画像）内で符号化による量子化誤差を低減する量子化誤差低減装置を提供することにある。

本発明による量子化誤差低減装置は、動画像の圧縮符号化された所定の符号化方式のストリームを伸張し、圧縮符号化で生じた量子化誤差を低減する量子化誤差低減装置であって、動画像の圧縮符号化されたストリームを受信して、複数の圧縮符号化画像を復号する復号部と、前記複数の復号画像のうち、所定の復号画像に対して動き推定処理を行う動き推定部と、前記動き推定部による動き推定結果に基づいて、動き補償処理を行う動き補償部と、前記所定の復号画像に対して動き補償された位置に、複数の異なる復号画像の画素の位置合わせを行う位置合わせ部と、前記位置合わせ部により位置合わせされた複数の復号画像を合成する合成部と、を備え、
前記動き推定部により前記所定の復号画像に対して行なう動き推定が、順方向のみ、逆方向のみ、または順方向及び逆方向の両方向のいずれかであり、
前記所定の符号化方式が、フレーム間相関を利用した方式である場合に、
前記復号部は、複数の圧縮符号化画像を復号するとともに、前記所定の符号化方式に従う動き推定結果を受信し、
前記動き推定部の動き推定結果が前記所定の符号化方式に従う動き推定結果と異なる場合にのみ、前記合成部は前記複数の復号画像を合成することを特徴とする。

また、本発明による量子化誤差低減装置において、前記動き推定部の動き推定結果が、動きベクトルとして所定の大きさを超える場合にのみ、前記合成部は前記複数の復号画像を合成することを特徴とする。

本発明によれば、動画像内の複数の圧縮伸張されたフレーム画像を合成することにより、単一の符号化による画像の量子化誤差を低減することができ、画質の向上を図ることが可能となる。

まず、本発明による実施例１の量子化誤差低減装置について説明する。尚、後述する各実施例において、同様な構成要素には同一の参照番号を付して説明する。

（実施例１）
実施例１の量子化誤差低減装置は、フレーム間の相関を利用しない、即ち動き推定処理などの無い、ＭｏｔｉｏｎＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ２０００方式により符号化された動画像の量子化誤差を低減する。

図１は、本発明による実施例１の量子化誤差低減装置のブロック図である。動画像の圧縮符号化された所定の符号化方式のビットストリームを受信する実施例１の量子化誤差低減装置は、復号部２、フレームメモリ部３、動き推定部４、動き補償部５、位置合わせ部６、及び合成部７を備えている。

本実施例の符号化ビットストリームは、連続的なフレーム画像で構成される動画像を、所定の符号化方式（ＭｏｔｉｏｎＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ２０００方式）に従って圧縮符号化したビットストリームであり、これは伝送又は蓄積された後、復号部２に供給される。

復号部２は、圧縮符号化画像のビットストリームを前述した所定の符号化方式に対応する復号方式に従って復号する。また、復号部２は、復号された画像（以下、復号画像とも称する。）に対して動き推定による位置合わせ及び量子化誤差低減の処理を施すために、後処理に必要な復号画像を、フレームメモリ部３に蓄積しておく。

動き推定部４は、ＭｏｔｉｏｎＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ２０００方式のようなフレーム画像間の相関を利用しない方式の場合、１枚以上の他の復号画像を用いて、所定の復号画像について動き推定処理を施し、動きベクトルの情報を生成する。図３に示すように、動き推定部４は、連続的なフレーム画像としての複数の復号画像（図示する２１、２２、２３、２４）を用いて、動画像内の順方向(実線)又は逆方向(点線)の動き推定を行うように機能する。ここで、動き推定部４は、両方向の動き推定を行ってもよい。動き推定は、ブロックマッチング法や勾配法、位相相関法など、如何なる方式でもよい。尚、図３において、フレーム画像の水平方向はｘ軸で、垂直方向はｙ軸で示しており、画像領域、画像ブロック又は動きベクトルは、数値（ｘ、ｙ）で定義づけることができる。

動き補償部５は、動き推定部４により動き推定した結果により得られた動きベクトルを用いて所定の復号画像に対して動き補償を行う。尚、動き推定部４及び動き補償部５は、例えばフレームメモリ部３に蓄えられている複数のフレーム画像を用いて動き推定及び動き補償を行い、動き補償部５により複数の動き補償した復号画像を送出することができる。

位置合わせ部６は、動き補償部５により動き補償された位置に、複数の異なる復号画像の画素の位置合わせを行う。これにより、動き推定部４、動き補償部５、及び位置合わせ部６の各処理による効果として、複数の異なるフレーム画像内の画素をシフト（以下、画素シフトとも称する。）した上で異なる符号化方式を適用したことと同様な効果が得られる。

合成部７は、位置合わせ部６により位置合わせを完了した複数のフレーム画像を入力し、合成処理を施して、合成した出力画像を出力する。合成した出力画像は、静止画像でもよいし、入力される動画像を連続的に処理して新たな動画像とすることもできる。これにより、量子化誤差を低減した画像を出力画像として送出することができるようになる。尚、合成処理は、複数の画像における画素値に対して、複数の画像間の単なる平均値として合成する以外にも、複数の復号画像の画素値に重み付けを施して合成することができる。複数の復号画像の信号に対する合成時の重み付けは、例えば単位画素（又は単位画素ブロック）あたりのビットレートの高さに基づいて復号画像の信号に強い重み付け係数を加重することもできる。

動き推定部４は、さらに、合成処理下限判定手段及び合成処理上限判定手段を有することができる。

合成処理下限判定手段は、動きベクトルの値が所定の大きさ以上で在るか否かを判定し、合成部７による合成処理を制御するための手段である。例えば、動きベクトルがゼロ、即ち静止している部分については、位置合わせの結果も同一位置に揃えることとなるため、同一位置に同一符号化方式を適用しても量子化誤差の低減効果は低いことになり、処理コストを考慮すると好ましくない。そこで、動き推定部４は、合成処理下限判定手段により、動きベクトルの値として所定の大きさ以上であるか否かの判定結果を位置合わせ部６に送出する。即ち、動き推定部４は、動きベクトルの値として所定の大きさに満たない場合、フレーム画像間における動きが小さく静止している領域の画像部分であることを位置合わせ部６に示すことができる。位置合わせ部６は、動きベクトルの値が所定の大きさ以上である旨を受信した場合にのみ、位置合わせを実行し（即ち、画素シフトを実行し）、その旨を合成部７に送出する。この場合、合成部７は、動きベクトルの値が所定の大きさ以上である画像部分のみ、合成処理を実行するように機能する。

尚、動き推定部４において、動き推定に用いるフレーム画像の枚数に制限はなく、複数のフレーム画像を合成するほうが量子化誤差の低減効果は高くなる。また、動き推定部４において、順方向及び逆方向の両方向を利用するとさらに量子化誤差の低減効果が高くなる。さらに、動き推定部４において、順方向あるいは逆方向のみとすれば、処理コストを低減することができる。

合成処理上限判定手段は、動き推定が所定の拘束条件で定まる範囲内で在るか否かを判定し、合成部７による合成処理を制御するための手段である。例えば、動き推定が必ずしも正しく行われるとは限らず、大幅に推定が外れた場合には大きな画質劣化となる可能性がある。即ち、合成処理上限判定手段は、複数の異なる復号画像間の輝度差が、符号化された画像中の直流成分の定数倍以下である場合のみ、合成処理を実行する。そこで、例えば合成を実行するための判断として次式の拘束条件を課す。

動き推定にブロックマッチングを利用することと仮定する。Ｉ_ｊ（ｎ）は、第ｎフレームの第ｊマクロブロックの輝度値を表す（ｎ及びｊは、自然数）。ｑｕａｎｔ（ｊ）は、ビットストリームから得られる第ｊマクロブロックの直流成分の量子化ステップサイズを示す。αは定数であり量子化のデッドゾーンを考慮して決定できるが、ここでは例えば２とする。この拘束条件を課すことにより、合成を行う対象となるマクロブロックは、輝度の差が量子化ステップサイズ以下のもののみとなる。

即ち、合成処理上限判定手段は、動き推定が所定の拘束条件で定まる範囲内であれば、その旨を位置合わせ部６に送出する。位置合わせ部６は、動き推定が所定の拘束条件で定まる範囲内である旨を受信すると、動きベクトルに従う画素シフトを行ない、その旨を合成部７に送出する。この場合、合成部７は、動き推定が所定の拘束条件で定まる範囲内である画像部分のみ、合成処理を実行するように機能する。

尚、合成処理下限判定手段及び合成処理上限判定手段は、動き推定部４、動き補償部５、位置合わせ部６、又は合成部７のいずれに設けてもよいことは云うまでもないが、処理コストの低減を考慮すれば、前段に位置する動き推定部４に設けることが好ましい。

このように、動き推定部４が合成処理下限判定手段及び合成処理上限判定手段を有することは、量子化誤差低減処理の処理コストを低減させるという効果がある。

以上のように、実施例１の量子化誤差低減装置は、フレーム間の相関を利用しない、即ち動き推定処理などの無い、ＭｏｔｉｏｎＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ２０００方式により符号化された動画像の量子化誤差を低減することが可能となる。

次に、本発明による実施例２の量子化誤差低減装置について説明する。

（実施例２）
実施例２の量子化誤差低減装置は、フレーム間相関を利用する方式であるＭＰＥＧ−１，２，４又はＨ．２６３，Ｈ．２６４方式により符号化された動画像の量子化誤差を低減する。

本発明による実施例２の量子化誤差低減装置は、実施例１と同様の構成で実現できる。即ち、図１に示すように、符号化ビットストリームを受信する実施例２の量子化誤差低減装置は、復号部２、フレームメモリ部３、動き推定部４、動き補償部５、位置合わせ部６、及び合成部７を備えている。ただし、実施例２において、符号化ビットストリームは、ＭＰＥＧ−１，２，４又はＨ．２６３，Ｈ．２６４方式により符号化されたビットストリームである点、それら符号化方式で生成された動きベクトル及び符号化方式の情報を復号部２が受信する点、及び、動き推定部４が、それら符号化方式で生成された動きベクトルとは別の動きベクトルを生成する点で相違する。

実施例２は、ＭＰＥＧ−１，２，４やＨ．２６３，Ｈ．２６４のようなフレーム間相関を利用して動き推定処理を符号化時に行う場合であり、その符号化方式に従う動きベクトルが符号化ビットストリーム内に格納されており、既に計算されているとする。そのような符号化の処理は、当業者に知られており本発明の主題ではないため、詳細な説明は省略する。

実施例２の場合、復号部２が、符号化ビットストリームから取得した動きベクトルをそのまま用いることは、画素シフトをして同一の符号化方式を複数のフレームで適用しているのと等価であるため、量子化誤差低減の効果は低くなり、処理コストの観点から好ましくない。そこで、所定の符号化方式に従う符号化ビットストリームの予測方向が順方向のみの場合には、符号化ビットストリームにて計算していない逆方向の動き推定を復号側で行い、その新たに生成した動きベクトルを用いることで画素シフトを実行し、結果として量子化誤差低減のために異なる符号化方式を適用することと等価な態様とする。これにより量子化誤差低減の効果を得ることができる。ただし、復号側で推定した逆方向ベクトルが、符号化側で既に計算済みの順方向ベクトルと完全に一致する場合には量子化誤差の低減はそれほど大きくない。

実施例２の復号部２は、動きベクトルの情報を符号化ビットストリームから取得して所定の符号化方式に従って復号するとともに、更に、符号化ビットストリームにおける所定の符号化方式としていずれを使用したかを判定する符号化方式判定手段を有している。

具体的には、実施例２の復号部２は、符号化方式判定手段により、所定の符号化方式における動きベクトルが順方向又は逆方向のみのものであるか否か、或いは両方向のものであるか否かを判定し、その判定結果を動き推定部４に送出する。

動き推定部４は、復号部２から動きベクトルの判定結果を受信し、例えば順方向のみのものである場合には、複数の復号画像を用いて逆方向の動き推定処理を施し、新たな動きベクトルの情報を生成する。実施例１と同様に、動き推定は、ブロックマッチング法や勾配法、位相相関法など、如何なる方式でもよい。

実施例２における動き補償部５、位置合わせ部６及び合成部７は、実施例１と同様に機能する。即ち、動き補償部５により動き推定後に動き補償を行い、位置合わせ部６により位置合わせが完了した複数の復号画像は、合成部７へ供給されて合成処理がなされる。ここで、実施例２の合成部７は、実施例１と同様に動作する合成処理下限判定手段及び合成処理上限判定手段を有することができる。

尚、前述したように、復号側で推定した逆方向ベクトルが、符号化側で既に計算済みの順方向ベクトルと完全に一致する場合には量子化誤差の低減はそれほど大きくないため、実施例２の動き推定部４又は動き補償部５に、動き推定部４で新たに推定した動きベクトルと、符号化ビットストリームに格納された既に計算済みの動きベクトルとの間の差が所定の範囲内であれば、該逆方向ベクトル又は該順方向ベクトルを用いると判定する手段を設けてもよい。これにより、処理コストを低減することができる。

以上のように、実施例２の量子化誤差低減装置は、ＭＰＥＧ−１，２，４又はＨ．２６３，Ｈ．２６４方式により符号化された動画像の量子化誤差を低減することが可能となる。

図４を参照して、実施例１及び２に説明したように、符号化方式の異なる複数の画像を合成して画質向上を図ることが可能になる原理を説明する。図４は、実施例１又は２の量子化誤差低減装置において、画像合成による量子化誤差の低減を説明する図である。画像信号の圧縮は、量子化により実現されている。つまり、細かく定義されているレベル（輝度やＤＣＴ係数）を粗い代表点に置き換える処理により、情報量を減らして圧縮することが可能になる。よって、非可逆の圧縮符号化においては量子化の誤差が存在し、これが大きいと画質の劣化につながる。図４の第１の量子化及び第２の量子化は、ある画素の輝度レベルが圧縮符号化により別の輝度レベルに変化したことを示している。

図４に示す第１の量子化及び第２の量子化は、ある画素の輝度レベルが圧縮符号化により別の輝度レベルに変化したことを示している。元の輝度レベルと圧縮符号化後の輝度レベルとの間の差を量子化誤差という。図４に示す例では、第２の量子化の方が第１の量子化より量子化誤差が大きい。本発明の実施例１又は２によれば、隣接フレーム画像のような相関の高い画像どうしについて、このように別の圧縮符号化して合成することになる。

図４に示す第１の量子化と第２の量子化の合成は、第１の量子化と第２の量子化の輝度レベルを合成、即ち平均値を取ったものである。この例のように、２つの量子化値が、元の輝度レベルを挟んで上下に存在していれば、誤差が平均化され、その平均値が元の輝度レベルに近づくことが多い。さらに複数の量子化された画素を合成すれば、統計的に元の輝度レベル値に近づいていく。このように統計的には多くの画素を合成することで、１つの圧縮符号化方式に基づく複数画像の合成結果よりも画質が向上する。一方、２つの量子化値がほとんど同じ場合、或いは同一の符号化方式で同一の量子化値の場合には画素を合成しても元の輝度レベル値に近づくことはなく、効果が少ないことが分かる。

次に、本発明による実施例３の量子化誤差低減装置について説明する。

（実施例３）
図５は、本発明による実施例３の量子化誤差低減装置のブロック図である。実施例３の量子化誤差低減装置は、符号化部１、復号部２、フレームメモリ部３、動き推定部４、動き補償部５、位置合わせ部６、合成部７、符号化前動き推定部８、第１画素シフト部９及び第２画素シフト部１０を備えている。

実施例３において、実施例１又は２に対して、符号化側では符号化部１、符号化部１の前段に符号化前動き推定部８及び第１画素シフト部９を更に備える点、復号側では第２画素シフト部１０を更に備える点で相違しており、動画像の量子化誤差をより低減させることが可能となる。

符号化前動き推定部８は、連続的なフレーム画像で構成される動画像を入力し、相関関係のある他のフレーム画像を用いて動き推定処理を施し、動きベクトルの情報を生成する。

更に、符号化前動き推定部８は、前述した合成処理下限判定手段と同様の手段を有し、フレーム画像間における動きが小さく静止している領域の部分であることを示す、動きベクトルの値として所定の大きさ以下であるか否かの判定結果を、対応するフレーム画像とともに第１画素シフト部９に送出する。

第１画素シフト部９は、静止画像とみなすことができるような、動きベクトルの値として所定の大きさ以下である判定結果を受信すると、例えば図６に示すように、連続する複数のフレーム画像（図示する、３１、３２、３３、３４）のうち、予め任意に選択できるフレーム画像（例えば、図示する３２、３３）の全体を所定量だけ水平方向（ｘ軸方向）、垂直方向（ｙ軸方向）、又は斜め方向（ｘ軸及びｙ軸で定まる方向）に移動するように画素シフトを実行する。

符号化部１は、第１画素シフト部９から動画像の情報を受信し、所定の符号化方式に従って符号化処理を施す。ここで、第１画素シフト部９による画素シフトは、フレームを構成する少なくとも動きベクトルの対象領域の画像部分を構成する画素のシフトとできる。

復号部２は、符号化部１から画素シフトの情報及び符号化したフレーム画像を取得し、符号化部１の所定の符号化方式に対応する復号方式により、符号化したフレーム画像を復号する。

第２画素シフト部１０は、復号部２から復号画像を順次取得し、複数の復号画像のうち、第１画素シフト部９により画素シフトしたフレーム画像について元の画素位置に戻すように同一の所定量だけ画素シフトした上で、フレームメモリ部３に蓄える。

実施例３の動き推定部４は、フレームメモリ部３に蓄積される１枚以上の他の復号画像を用いて、所定の復号画像について動き推定処理を施し、動きベクトルの情報を生成する。尚、実施例３の動き推定部４は、合成処理下限判定手段を有していなくともよい。即ち、動き推定の結果、動き推定部４に合成処理下限判定手段を設けて静止領域と判断しても、画素シフト部８により画素シフトしているため、符号化（量子化）方法が異なっていることを意味しており、量子化誤差の低減効果が現れる。

その後の処理、即ち、動き補償部５、位置合わせ部６、及び合成部７の動作は、実施例１又は実施例２と同様であり、詳細な説明は省略する。

これにより、実施例３の構成であれば、例えば動き推定部４に合成処理下限判定手段を設けたときに静止領域と判断するような場合でも、量子化誤差の低減効果が現れることになる。ただし、実施例３では、第１画素シフト部９による画素シフト量と、動き推定部４による動き推定の量が全く同一になると、互いに相殺され、その場合には量子化低減効果は大きくは得られない。また、符号化側での画素シフト処理が必要になるため、既に符号化済みのビットストリームへの適用は不可能となる。また、画素シフトによりフレーム画像周辺部の画像情報を廃棄することになる。

しかしながら、一般に所望される画像領域はフレーム画像の中央部であること、及び、第１画素シフト部９による画素シフト量と動き推定部４による動き推定の量とが全く同一になる場合は、第１画素シフト部９の画素シフト量を調整して改めて本処理を実行できること、及び、量子化誤差低減効果の有意性を鑑みれば、極めて有用であることは理解されるべきである。

図７及び図８に、実施例１又は実施例３を適用した、或いは実施例１及び３を組み合わせてフレーム間相関を利用しないＭｏｔｉｏｎＪＰＥＧ方式に適用した実験の結果を示す。図7の実験結果の画像は、画面全体がパンしている画像であり、図８の実験結果の画像は、大部分が静止しており一部人物がゆっくり動く画像である。

図７又は図８に示す「ＭｏｔｉｏｎＪＰＥＧ」の特性値は、本発明によらない場合の特性値である。図７又は図８に示す「＋ｆｗｄＭＥ」の特性値は、さらに動き推定部４において順方向の動き推定を施した場合の特性値である。図７又は図８に示す「＋ｓｈｉｈｔ＋ｆｗｄＭＥ」の特性値は、さらに画素シフト部９による画素シフトを適用した場合の特性値である。同様に、図７又は図８に示す「＋ｂｉＭＥ」の特性値は、ＭｏｔｉｏｎＪＰＥＧ方式の符号化画像に対し、動き推定部４において両方向の動き推定を施した場合の特性値である。図７又は図８に示す「＋ｓｈｉｈｔ＋ｂｉＭＥ」の特性値は、さらに画素シフト部９による画素シフトを適用した場合の特性値である。

図7から、画面全体がパンしている画像では、フレーム画像全体が動領域とみなせるので両方向予測をする場合が有効であることが分かる。図８から、フレーム画像の大部分が静止しており一部人物がゆっくり動く画像では、画素シフトが有効であることが分かる。

図９は、様々な動画像（動画像名として名付けられたakiyo, children, Cognac&Fruit, container, flower, mobile, news, sean, weather）について、実施例２の量子化誤差低減装置を、Ｈ２６３＋方式（フレーム間相関を利用した方式である）に適用した結果である。各動画像において同様の傾向が見られる。例えば、動画像containerは、２台の船が左右から中央へと動いてくる動画像であるが、符号化ビットストリームの符号化処理が順方向のみのときに、動き推定部４において同じく順方向の動きベクトルを生成してもほとんど量子化誤差の低減効果がないことが分かる。また、符号化ビットストリームの符号化処理が順方向のみのときに、動き推定部４において逆方向の動きベクトルを生成した場合には、量子化誤差の低減効果が高くなることが分かる。

前述した各実施例の量子化誤差低減装置において、制御部及び記憶部を有するコンピュータを好適に用いることができる。例えば、復号部２、動き推定部４、動き補償部５、位置合わせ部６、合成部７及び第２画素シフト部１０を制御するための制御部を中央演算処理装置（ＣＰＵ）で構成できる（図示せず）。同様に、符号化部１、符号化前動き推定部８及び第１画素シフト部９を制御するための制御部を中央演算処理装置（ＣＰＵ）で構成できる（図示せず）。用途に応じて、１つの制御部で各構成要素を制御するように構成してもよい。また、フレームメモリ部３は、復号部２及び動き推定部４を動作させるのに必要となる画像を適宜記憶する記憶部として少なくとも１つのメモリで構成させることもでき（図示せず）、同様に各構成要素の機能を実現するために適宜所定の記憶部を設けることもできる。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、これら各構成要素の有する機能を実現させることができる。更に、これら各構成要素の有する機能を実現させるためのプログラムを、所定の記憶部に格納させることができる。そのような記憶部は、画像復号装置内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、画像復号装置としてのコンピュータで利用されるＯＳ上のソフトウェアの一部で構成させることができる。

上述の実施例については代表的な例として説明したが、各実施例を組み合わせて実現することもでき、本発明の趣旨及び範囲内で、多くの変形及び置換することができることは当業者に明らかである。例えば、符号化ビットストリームあるいは符号化部１で用いる符号化方式を検出するために、復号部２で自動的に検出すること以外に、利用者により操作可能な設定手段を設けても良い。また、上述した実施例では、連続するフレーム画像を入力動画像として説明したが、比較的相関の高い静止画像を複数連続して構成した画像群も含む。また、画像群の相関性の高さを評価するにあたって、利用者の知覚レベルで相関があると判断するものでもよく、或いは又、輝度又は色差を比較して、複数の画像間において自動的に相関が高いか低いかを判定する手段を本発明の量子化誤差低減装置に設けておくこともできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明は、動画像を扱うハードウェア又はソフトウェアアプリケーション全般に有用である。

本発明による実施例１の量子化誤差低減装置のブロック図である。 ＭＤＣ（Multiple Description Coding）のブロック図である。 本発明による実施例１の量子化誤差低減装置において動き検出の説明図である。 本発明による実施例１又は２の量子化誤差低減装置において、画像合成による量子化誤差の低減を説明する図である。 本発明による実施例３の量子化誤差低減装置のブロック図である。 本発明による実施例３の量子化誤差低減装置において、画素シフトを説明する図である。 本発明による実施例１又は２の量子化誤差低減装置の実験結果を示す図である。 本発明による実施例１又は２の量子化誤差低減装置の実験結果を示す図である。 本発明の実施例３の量子化誤差低減装置の実験結果を示す図である。

符号の説明

１ 符号化部
２ 復号部
３ フレームメモリ部
４ 動き推定部
５ 動き補償部
６ 位置合わせ部
７ 合成部
８ 符号化前動き推定部
９ 第１画素シフト部
１０ 第２画素シフト部
２１,２２,２３,２４ 一連のフレーム画像
３１,３２,３３,３４ 一連のフレーム画像

Claims (2)

1. 動画像の圧縮符号化された所定の符号化方式のストリームを伸張し、圧縮符号化で生じた量子化誤差を低減する量子化誤差低減装置であって、
   動画像の圧縮符号化されたストリームを受信して、複数の圧縮符号化画像を復号する復号部と、
   前記複数の復号画像のうち、所定の復号画像に対して動き推定処理を行う動き推定部と、
   前記動き推定部による動き推定結果に基づいて、動き補償処理を行う動き補償部と、
   前記所定の復号画像に対して動き補償された位置に、複数の異なる復号画像の画素の位置合わせを行う位置合わせ部と、
   前記位置合わせ部により位置合わせされた複数の復号画像を合成する合成部と、
   を備え、
   前記動き推定部により前記所定の復号画像に対して行なう動き推定が、順方向のみ、逆方向のみ、または順方向及び逆方向の両方向のいずれかであり、
   前記所定の符号化方式が、フレーム間相関を利用した方式である場合に、
   前記復号部は、複数の圧縮符号化画像を復号するとともに、前記所定の符号化方式に従う動き推定結果を受信し、
   前記動き推定部の動き推定結果が前記所定の符号化方式に従う動き推定結果と異なる場合にのみ、前記合成部は前記複数の復号画像を合成することを特徴とする量子化誤差低減装置。
2. 前記動き推定部の動き推定結果が、動きベクトルとして所定の大きさを超える場合にのみ、前記合成部は前記複数の復号画像を合成することを特徴とする、請求項１に記載の量子化誤差低減装置。

Images