JP3980659B2 - 動画像符号化方法及び装置、動画像復号化方法及び装置。 - Google Patents

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１７〜図２７）
発明が解決しようとする課題（図２０）
課題を解決するための手段（図１〜図１６）
作用（図１〜図１６）
実施例
（１）第１実施例（図１〜図１２）
（２）第２実施例（図１３〜図１６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動画像符号化方法及び装置、動画像復号化方法及び装置、動画像記録媒体に関し、例えば動画像信号を光デイスクや磁気テープ等の記録媒体に記録し再生して表示したり、テレビ会議システム、テレビ電話システム、放送用機器等のように動画像信号を伝送路を介して送信側から受信側に伝送し、受信側においてこれを受信して表示する場合に用いて好適なものである。
【０００３】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。図２０に、動画像信号を符号化して伝送し、これを復号化する動画像符号化／復号化装置の構成を示す。符号化装置１は、入力された映像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送する。そして復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力する。
【０００４】
符号化装置１では、入力映像信号ＶＤが前処理回路１１に入力され、ここで輝度信号と色信号（この場合、色差信号）に分離され、それぞれアナログデイジタル（Ａ／Ｄ）変換器１２、１３でアナログデイジタル変換される。Ａ／Ｄ変換器１２、１３によりアナログデイジタル変換されてデイジタル信号となつた映像信号は、プリフイルタ１９に入力されフイルタ処理された後に、フレームメモリ１４に供給されて記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【０００５】
プリフイルタ１９は符号化効率を向上させ、画質を改善する処理を行なう。これは例えばノイズ除去のフイルタであり、また例えば帯域を制限するためのフイルタである。図２６に、プリフイルタ１９の例として２次元ローパスフイルタの構成を示す。また図２７（Ａ）にこの２次元ローパスフイルタのフイルタ係数を示し、図２７（Ｂ）に入力となる３×３画素ブロツクを示す。ある対象となる画素ｅに対してその周囲の３×３画素ブロツクを抽出する。これに対して次式
【数１】

の演算の出力を画素ｅに対するフイルタの出力値とする。実際上出力ＯＵＴ１からフイルタ処理後の出力値が出力され、出力ＯＵＴ２からフイルタ処理されない原画素値が所定の遅延の後出力される。このフイルタでは入力画像信号によらず、また符号化器の状態によらず常に一様なフイルタ処理が行なわれる。
【０００６】
フオーマツト変換回路１７は、フレームメモリ１４に記憶された画像信号を、符号化器（エンコーダ）１８の入力フオーマツトに変換する。所定のフオーマツトに変換されたデータは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。この符号化アルゴリズムは任意であるが、その１例については詳細を図２２を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【０００７】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されデコードされる。デコーダ３１のデコード（復号化）アルゴリズムは任意で良いが、符号化アルゴリズムと対になつていなければならない。またその１例については詳細を、図２５を参照して後述する。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、出力フオーマツトに変換される。
【０００８】
そしてフレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて記憶され、色差信号は色差信号フレームメモリ３５に供給されて記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、ポストフイルタ３９に供給されフイルタ処理された後に、デイジタルアナログ（Ｄ／Ａ）変換器３６、３７によりそれぞれデイジタルアナログ変換され、後処理回路３８に供給されて合成される。そして出力映像信号として図示せぬ例えばＣＲＴなどのデイスプレイに出力され表示される。
【０００９】
ポストフイルタ３９は画質を改善するためのフイルタ処理を行なう。画像を符号化することにより生じた劣化を緩和するために用いられる。例えばブロツク歪みや急峻なエツジの近傍で生じたノイズ、また量子化ノイズを除去するためのフイルタである。ポストフイルタには様々な種類があるが、例えば図２６に示されるようにプリフイルタ１９に用いられたと同様の２次元ローパスフイルタを用いることが出来る。
【００１０】
次に動画像の高能率符号化について説明する。従来ビデオ信号等の動画像データは、情報量が極めて多いため、これを長時間記録再生するには、データ伝送速度が極めて高い記録媒体が必要であつた。従つて磁気テープや光デイスクは、大型のものが必要とされていた。また動画像データを伝送路を介して通信する場合や放送に用いる場合でもデータ量が多すぎるために、そのままでは既存の伝送路を用いて通信できないという問題があつた。
【００１１】
そこでより小型の記録媒体にビデオ信号を長時間記録しようとする場合、また通信や放送に用いる場合には、ビデオ信号を高能率符号化して記録すると共にその読み出し信号を能率良く復号化する手段が不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その１つにＭＰＥＧ（Moving Picture Experts Group）方式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ（Discrete Cosine Transform ））符号化を組み合わせたハイブリツド方式である。
【００１２】
動き補償予測符号化は、画像信号の時間軸方向の相関を利用した方法であり、すでに復号再生されてわかつている信号から、現在入力された画像を予測し、そのときの予測誤差だけを伝送することで、符号化に必要な情報量を圧縮する方法である。またＤＣＴ符号化は、画像信号の持つフレーム内２次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。例えば絵柄が平坦で画像信号の自己相関性が高い部分では、ＤＣＴ係数は低周波数成分へ集中分布する。従つてこの場合は低域へ集中分布した係数のみを符号化することで情報量の圧縮が可能となる。ここでは以下、符号化器としてＭＰＥＧ２方式の場合の例を詳述するが、符号化方式はＭＰＥＧ２方式に限らず、任意の符号化方式に対して同様に適用することが可能である。
【００１３】
次にＭＰＥＧ２方式について詳述する。ライン相関を利用すると、画像信号を例えばＤＣＴ処理等により圧縮することができる。またフレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１７に示すように、時刻ｔ1 、ｔ2 、ｔ3 において、フレーム画像ＰＣ1 、ＰＣ2 、ＰＣ3 がそれぞれ発生しているとき、フレーム画像ＰＣ1 とＰＣ2 の画像信号の差を演算してＰＣ12を生成し、またフレーム画像ＰＣ2 とＰＣ3 の差を演算してＰＣ23を生成する。通常時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると差分信号は小さな値のものとなる。そこでこの差分信号を符号化すれば、符号量を圧縮することができる。
【００１４】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで各フレームの画像を、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの３種類のピクチヤのいずれかのピクチヤとし、画像信号を圧縮符号化する。すなわち例えば図１８に示すように、フレームＦ１〜Ｆ１７までの17フレームの画像信号をグループオブピクチヤ（ＧＯＰ）とし処理の１単位とする。そしてその先頭のフレームＦ１の画像信号はＩピクチヤとして符号化し、２番目のフレームＦ２はＢピクチヤとして、また３番目のフレームＦ３はＰピクチヤとして、それぞれ処理する。以下４番目以降のフレームＦ４〜Ｆ１７は、Ｂピクチヤ又はＰピクチヤとして交互に処理する。
【００１５】
Ｉピクチヤの画像信号は、その１フレーム分の画像信号をそのまま伝送する。これに対してＰピクチヤの画像信号は、基本的に図１８（Ａ）に示すように、それより時間的に先行するＩピクチヤ又はＰピクチヤの画像信号からの差分を伝送する。さらにＢピクチヤの画像信号は、基本的に図１８（Ｂ）に示すように、時間的に先行するフレーム又は後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【００１６】
図１９は、このようにして動画像信号を符号化する方法の原理に示す。最初のフレームＦ１はＩピクチヤとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して第２のフレームＦ２は、Ｂピクチヤとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【００１７】
ただしこのＢピクチヤとしての処理は、さらに細かく説明すると、４種類存在する。第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチヤにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【００１８】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。なお差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、若しくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が差分データと共に伝送される。
【００１９】
またＰピクチヤのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチヤにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００２０】
次に図２２を参照して、エンコーダ１８の構成について説明する。符号化されるべき画像データＢＤは、マクロブロツク単位で動きベクトル検出回路（ＭＶーＤｅｔ）５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従つて、各フレームの画像データを、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤとして処理する。シーケンシヤルに入力される各フレームの画像を、Ｉ、Ｐ又はＢのいずれのピクチヤとして処理するかは、予め定められている（例えば、図１８に示したように、フレームＦ１〜Ｆ１７により構成されるグループオブピクチヤが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、……Ｂ、Ｐとして処理される）。
【００２１】
Ｉピクチヤとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送して記憶され、Ｂピクチヤとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送して記憶され、Ｐピクチヤとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送して記憶される。
【００２２】
また次のタイミングにおいて、さらにＢピクチヤ（フレームＦ４）又はＰピクチヤ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチヤ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチヤ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチヤ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２３】
フレームメモリ５１に記憶された各ピクチヤの信号は、そこから読み出され予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）５２において、フレーム予測モード処理又はフイールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測又は両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でも良い）を生成する。
【００２４】
ここで予測モード切り替え回路５２におけるフレーム予測モードと、フイールド予測モードについて説明する。フレーム予測モードが設定された場合、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロツクＹ［１］〜Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわちこの場合、図２３（Ａ）に示すように、各輝度ブロツクに奇数フイールドのラインのデータと、偶数フイールドのラインのデータとが混在した状態となつている。このフレーム予測モードにおいては、４個の輝度ブロツク（マクロブロツク）を単位として予測が行われ、４個の輝度ブロツクに対して１個の動きベクトルが対応される。
【００２５】
これに対して予測モード切り替え回路５２は、フイールド予測モードにおいては、図２３（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２３（Ｂ）に示すように、４個の輝度ブロツクのうち輝度ブロツクＹ［１］とＹ［２］を、例えば奇数フイールドのラインのドツトによりのみ構成させ、他の２個の輝度ブロツクＹ［３］とＹ［４］を、偶数フイールドのラインのデータにより構成させて、演算部５３に出力する。この場合２個の輝度ブロツクＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロツクＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２６】
動きベクトル検出回路５０は、フレーム予測モードでの予測誤差の絶対値和と、フイールド予測モードでの予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフイールド予測モードでの予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。ただしこの処理は、実際には動きベクトル検出回路５０で行われる。すなわち動きベクトル検出回路５０は決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２はその信号をそのまま後段の演算部５３に出力する。
【００２７】
なお色差信号はフレーム予測モードの場合、図２３（Ａ）に示すように、奇数フイールドのラインのデータと偶数フイールドのラインのデータとが混在する状態で、演算部５３に供給される。またフイールド予測モードの場合、図２３（Ｂ）に示すように、各色差ブロツクＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロツクＹ［１］、Ｙ［２］に対応する奇数フイールドの色差信号とされ、下半分（４ライン）が、輝度ブロツクＹ［３］、Ｙ［４］に対応する偶数フイールドの色差信号とされる。
【００２８】
また動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測又は両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。すなわち画像内予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロツクの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また前方予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijと、予測画像のマクロブロツクの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。
【００２９】
また後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インタ予測の予測誤差の絶対値和として選択する。さらにこのインタ予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モード（P-mode）として選択する。すなわち画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかつたモードが設定される。
【００３０】
このように動きベクトル検出回路５０は、参照画像のマクロブロツクの信号を、フレーム又はフイールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モード（P-mode）に対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路（ＶＬＣ）５８と動き補償回路（Ｍ−ｃｏｍｐ）６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３１】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチヤの画像データを読み出しているとき、予測モードとしてフレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイツチ５３ｄを接点ａ側に切り替える。これによりＩピクチヤの画像データが、ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）５５に入力される。このＤＣＴモード切り替え回路５５は、図２４（Ａ）又は（Ｂ）に示すように、４個の輝度ブロツクのデータを、奇数フイールドのラインと偶数フイールドのラインが混在する状態（フレームＤＣＴモード）、または分離された状態（フイールドＤＣＴモード）のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３２】
すなわちＤＣＴモード切り替え回路５５は、奇数フイールドと偶数フイールドのデータを混在してＤＣＴ処理した場合の符号化効率と、分離した状態でＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。例えば入力された信号を、図２４（Ａ）に示すように、奇数フイールドと偶数フイールドのラインが混在する構成とし、上下に隣接する奇数フイールドのラインの信号と偶数フイールドのラインの信号の差を演算し、さらにその絶対値の和（又は自乗和）を求める。
【００３３】
また入力された信号を、図２４（Ｂ）に示すように、奇数フイールドと偶数フイールドのラインが分離した構成とし、上下に隣接する奇数フイールドのライン同士の信号の差と、偶数フイールドのライン同士の信号の差を演算し、それぞれの絶対値の和（又は自乗和）を求める。さらに両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち前者の方が小さければフレームＤＣＴモードを設定し、後者の方が小さければフイールドＤＣＴモードを設定する。そして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力すると共に、選択したＤＣＴモードを示すＤＣＴフラグ（DCT-FLG ）を、可変長符号化回路５８と動き補償回路６４に出力する。
【００３４】
予測モード切り替え回路５２での予測モード（図２３）と、このＤＣＴモード切り替え回路５５でのＤＣＴモード（図２４）を比較して明らかなように、輝度ブロツクに関しては、両者の各モードにおけるデータ構造は実質的に同一である。予測モード切り替え回路５２でフレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５でもフレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２でフイールド予測モード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５でも、フイールドＤＣＴモード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択される可能性が高い。
【００３５】
しかしながら必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２では、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５では、符号化効率が良好となるようにモードが決定される。ＤＣＴモード切り替え回路５５より出力されたＩピクチヤの画像データは、ＤＣＴ回路５６に入力されてＤＣＴ処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は量子化回路（Ｑ）５７に入力され、送信バツフア（Ｂｕｆｆｅｒ）５９のデータ蓄積量（量子化制御信号（B-full））に対応した量子化スケール（QS）で量子化された後、可変長符号化回路５８に入力される。
【００３６】
可変長符号化回路５８は量子化回路５７より供給される量子化スケール（QS）に対応して、量子化回路５７より供給される画像データ（この場合、Ｉピクチヤのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バツフア５９に出力する。可変長符号化回路５８にはまた、量子化回路５７より量子化スケール（QS）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測又は両方向予測のいずれが設定されたかを示すモード（P-mode））、動きベクトル検出回路５０より動きベクトル（MV）、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフイールド予測モードのいずれが設定されたかを示すフラグ（P-FLG ）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフイールドＤＣＴモードのいずれが設定されたかを示すフラグ（DCT-FLG ）が入力されており、これらも可変長符号化される。
【００３７】
送信バツフア５９は入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バツフア５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を大きくすることにより、量子化データのデータ量を低下させる。またこれとは逆に、データ残量が許容下限値まで減少すると、送信バツフア５９は量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を小さくすることにより、量子化データのデータ量を増大させる。このようにして送信バツフア５９のオーバフロー又はアンダフローが防止される。そして送信バツフア５９に蓄積されたデータは、所定のタイミングで読み出されて伝送路に出力され、例えば記録媒体３に記録される。
【００３８】
一方量子化回路５７より出力されたＩピクチヤのデータは、逆量子化回路（ＩＱ）６０に入力され、量子化回路５７より供給される量子化スケール（QS）に対応して逆量子化される。逆量子化回路６０の出力は、逆ＤＣＴ（ＩＤＣＴ）回路６１に入力され逆ＤＣＴ処理された後、ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）６５により、各ＤＣＴモード（フレーム／フイールド）に対してブロツクの並び替えが行われる。ブロツク並び替え回路６５の出力は、演算器６２を介してフレームメモリ６３の前方予測画像部（Ｆ−Ｐ）６３ａに供給され記憶される。
【００３９】
動きベクトル検出回路５０は、シーケンシヤルに入力される各フレームの画像データを、例えばＩ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂ……のピクチヤとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチヤとして処理した後、次に入力されたフレームの画像をＢピクチヤとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチヤとして処理する。Ｂピクチヤは後方予測を伴うため、後方予測画像としてのＰピクチヤが先に用意されていないと、復号することができないためである。
【００４０】
そこで動きベクトル検出回路５０は、Ｉピクチヤの処理の次に、後方原画像部５１ｃに記憶されているＰピクチヤの画像データの処理を開始する。そして上述した場合と同様に、マクロブロツク単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチヤのマクロブロツクの予測誤差の絶対値和に対応して、フレーム／フイールド予測モード又は画像内予測、前方予測、後方予測若しくは両方向予測の予測モードを設定する。
【００４１】
演算部５３はフレーム内予測モードが設定されたとき、スイツチ５３ｄを上述したように接点ａ側に切り替える。従つてこのデータは、Ｉピクチヤのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこのデータは、逆量子化回路６０、逆ＤＣＴ回路６１、ブロツク並び替え回路６５、演算器６２を介してフレームメモリ６３の後方予測画像部（Ｂ−Ｐ）６３ｂに供給され記憶される。
【００４２】
前方予測モードの時、スイツチ５３ｄが接点ｂに切り替えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（この場合Ｉピクチヤの画像）データが読み出され、動き補償回路６４により動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４３】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給されたこのマクロブロツクに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこの差分データは、逆量子化回路６０、逆ＤＣＴ回路６１により局所的に復号され、ブロツク並び替え回路６５を介して演算器６２に入力される。
【００４４】
この演算器６２にはまた演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、逆ＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチヤの画像データが得られる。このＰピクチヤの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され記憶される。
【００４５】
動きベクトル検出回路５０は、このようにＩピクチヤとＰピクチヤのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチヤの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロツク単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フイールドモードを設定し、また予測モードをフレーム内予測モード、前方予測モード、後方予測モード又は両方向予測モードのいずれかに設定する。上述したように、フレーム内予測モード又は前方予測モードの時、スイツチ５３ｄは接点ａ又はｂに切り替えられる。このときＰピクチヤにおける場合と同様の処理が行われ、データが伝送される。
【００４６】
これに対して、後方予測モード又は両方向予測モードが設定された時、スイツチ５３ｄは、接点ｃ又はｄにそれぞれ切り替えられる。スイツチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４７】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データを減算しその差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００４８】
スイツチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（この場合、Ｉピクチヤの画像）データと、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４９】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは動きベクトル検出回路５０より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データはＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。Ｂピクチヤの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００５０】
なおフレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。以上の説明では、輝度ブロツクを中心として説明をしたが、色差ブロツクについても同様に、図２３及び図２４に示すマクロブロツクを単位として処理され伝送される。なお色差ブロツクを処理する場合の動きベクトルは、対応する輝度ブロツクの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００５１】
次に図２５に、図２０のデコーダ３１の構成を示す。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり再生装置で再生され、受信バツフア（Ｂｕｆｆｅｒ）８１に一時記憶された後、復号回路９０の可変長復号化回路（ＩＶＬＣ）８２に供給される。可変長復号化回路８２は、受信バツフア８１より供給されたデータを可変長復号化し、動きベクトル（MV）、予測モード（P-mode）及び予測フラグ（P-FLG ）を動き補償回路（Ｍ−ｃｏｍｐ）８７に供給する。またＤＣＴフラグ（DCT-FLG ）を逆ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）８８に、量子化スケール（QS）を逆量子化回路（ＩＱ）８３にそれぞれ出力すると共に、復号された画像データを逆量子化回路８３に出力する。
【００５２】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化スケール（QS）に従つて逆量子化し、逆ＤＣＴ回路（ＩＤＣＴ）８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路８４で逆ＤＣＴ処理され、ブロツク並べ替え回路８８を通じて演算器８５に供給される。逆ＤＣＴ回路８４より供給された画像データが、Ｉピクチヤのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（Ｐ又はＢピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部（Ｆ−Ｐ）８６ａに供給されて記憶される。またこのデータはフオーマツト変換回路３２（図２０）に出力される。
【００５３】
逆ＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチヤのデータであつて、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチヤのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして演算器８５において、逆ＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され出力される。この加算されたデータ、すなわち復号されたＰピクチヤのデータは、演算器８５に後に入力される画像データ（Ｂピクチヤ又はＰピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部（Ｂ−Ｐ）８６ｂに供給されて記憶される。
【００５４】
Ｐピクチヤのデータであつても画像内予測モードのデータは、Ｉピクチヤのデータと同様に演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。このＰピクチヤは、次のＢピクチヤの次に表示されるべき画像であるため、この時点ではまだフオーマツト変換回路３２へ出力されない（上述したように、Ｂピクチヤの後に入力されたＰピクチヤが、Ｂピクチヤより先に処理され、伝送されている）。
【００５５】
逆ＤＣＴ回路８４より供給された画像データが、Ｂピクチヤのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチヤの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データ（後方予測モードの場合）、またはその両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００５６】
このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において逆ＤＣＴ回路８４の出力と加算される。この加算出力はフオーマツト変換回路３２に出力される。ただしこの加算出力はＢピクチヤのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。Ｂピクチヤの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。ただしこのとき、動き補償は行われない。
【００５７】
なおこのデコーダ３１には、図２２のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は動き補償回路８７が実行する。また以上の説明では、輝度信号の処理について述べたが、色差信号の処理も同様に行われる。ただしこの場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に１／２にしたものが用いられる。
【００５８】
【発明が解決しようとする課題】
ところで図２０に上述したような動画像の符号化装置１において、プリフイルタ１９は入力画像信号に含まれるノイズを除去し、また符号化装置１における符号化効率を高めるために、また所定量まで情報量を削減するために用いられる。またポストフイルタ３９は復号化画像の劣化を緩和し、画質を改善するために用いられる。ここで、画像に含まれるノイズについて考える。ノイズには様々な種類がある。例えば伝送路を通過する際に生じたノイズや、映画などのフイルムソースではフイルムに特有の粒状ノイズが存在する。
【００５９】
こうした画像に含まれるノイズには意図的に含まれているノイズと、意図せずに生じ、劣化の原因となつているノイズが存在する。プリフイルタ１９ではこれらのノイズを区別なく削減する。また画像信号を符号化した場合、画像の高周波成分が削減され、これによつてノイズが削減されたり、元のノイズと異なる性質のノイズに変化してしまう。このようにしてノイズが削減される場合、過度に削減されると原画像とは異なる印象の画像となり、かえつて画像の劣化となる。これは特に意図的に含まれているノイズの場合問題となる。
【００６０】
従つてこの動画像符号化方法によれば、プリフイルタ１９や符号化装置１が過度にノイズを削減し、かえつて画像を劣化させてしまうという問題が存在する。また符号化された画像には、量子化ノイズが生じる。これは特にエツジの近傍で目立ち、画質劣化の大きな原因になつている。
【００６１】
本発明は以上の点を考慮してなされたもので、動画像を符号化し復号化する際に失われたノイズを復元し、視覚的に復号化した動画像の画質を向上し得る動画像符号化方法及び装置、動画像復号化方法及び装置、動画像記録媒体を提案しようとするものである。
【００６２】
【課題を解決するための手段】
かかる課題を解決するため本発明の動画像符号化方法においては、動画像信号をフイルタ係数に応じてフイルタ処理し、当該フイルタ処理された動画像信号を量子化すると共に量子化スケールを出力し、当該量子化された動画像信号を符号化する際、フイルタ係数及び量子化スケールに基づいてノイズ特性を決定し、符号化された動画像信号と共に当該ノイズ特性を伝送するようにした。
【００６３】
また本発明の動画像符号化装置においては、動画像信号をフイルタ係数に応じてフイルタ処理するフイルタ処理手段と、フイルタ処理された動画像信号を量子化すると共に量子化スケールを出力する量子化手段と、動画像信号を符号化する際、フイルタ係数及び量子化スケールに基づいてノイズ特性を決定するノイズ特性決定手段とを設けるようにした。
【００６４】
さらに本発明の動画像復号化方法においては、フイルタ処理及び量子化が行われて符号化された動画像信号を復号する際、符号化された際のフイルタ係数及び量子化スケールに基づいて決定されるノイズ特性をもとにノイズ量を発生し、当該ノイズ量を復号した動画像信号に加えるようにした。
【００６５】
さらに本発明の動画像復号化装置においては、フイルタ処理及び量子化が行われて符号化された動画像信号を復号する際、符号化された際のフイルタ係数及び量子化スケールに基づいて決定されるノイズ特性をもとにノイズ量を発生し、当該ノイズ量を復号した動画像信号に加えるノイズ付加手段を設けるようにした。
【００６９】
【作用】
動画像信号を符号化する際、フイルタ係数及び量子化スケールに基づいてノイズ特性を決定し、符号化された動画像信号と共にノイズ特性を伝送し、復号化装置においてビツトストリームを復号化した後にそのノイズ特性に基づいてノイズ量を発生し、当該ノイズ量を復号した動画像信号に付加する。これにより符号化によつて失われたノイズ成分を再生することが可能となる。また符号化によつて生じる量子化ノイズと同レベルのノイズを後置フイルタによつて付加することにより、量子化ノイズなどの劣化を目立たなくすることが出来る。
【００７０】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００７１】
（１）第１実施例
図２０との対応部分に同一符号を付した図１に、本発明の第１実施例による動画像符号化装置及び復号化装置を示す。この実施例の場合エンコーダ１８は符号化時の条件に応じて、またプリフイルタ１９で使用したフイルタの特性によつて、ポストフイルタ３９において付加するノイズ量を決定し、それを示す付加ノイズ特性信号ＮＡを符号化する。この付加ノイズ特性信号ＮＡを決定するノイズ特性決定方法は２通り存在する。第１のノイズ特性決定方法は外部から強制的に付加ノイズ特性信号ＮＡを入力し設定するものであり、第２のノイズ特性決定方法は符号化時に発生する各種フラグに基づいて付加ノイズ特性信号ＮＡを決定するものである。
【００７２】
第１のノイズ特性決定方法によるエンコーダ１８の構成を、図２２との対応部分に同一符号を付して図２に示す。外部から入力される付加ノイズ特性信号ＮＡは可変長符号化器５８に入力される。可変長符号化器５８では従来と同様の可変長符号化を行なうとともに、ノイズ特性信号ＮＡを可変長符号化する。付加ノイズ特性信号ＮＡはビツトストリーム中のユーザデータに記録される。ＭＰＥＧ方式やＭＰＥＧ２方式でのユーザデータは、シーケンス、ＧＯＰ、ピクチヤヘツダの後に設定可能であるから、ＰＳＴは同様にシーケンス、ＧＯＰ、ピクチヤ単位で設定可能である。
【００７３】
図３にＭＰＥＧ方式のビデオのシンタクスを示す。図中下線を付した拡張／ユーザデータextension-and-user-data(i)に拡張データextension-data又はユーザデータuser-data が記録される。図４（Ａ）及び図４（Ｂ）に拡張／ユーザデータextension-and-user-data(i)及び拡張データextension-dataを示す。拡張／ユーザデータextension-and-user-data(i)にユーザデータスタートコードuser-data-start-codeが記録されている場合、次にユーザデータuser-data が記録されていることを示している。次に図４（Ｃ）にユーザデータuser-data を示す。ユーザデータuser-data は８ビツト単位で記録される。"0000 0000 0000 0000 0000 0001" が発生するとユーザデータuser-data が終了することを示している。
【００７４】
次に付加ノイズ特性信号ＮＡについて説明する。付加ノイズ特性信号ＮＡは例えば図６に示すように８ビツトの信号である。付加ノイズ特性信号ＮＡは図３及び図４に示すユーザデータuser-data に記録される。特性０が最も小量のノイズであり、特性255 が最も多量のノイズである。この付加ノイズ特性信号ＮＡによつてノイズを付加する処理については後述する。
【００７５】
付加ノイズ特性信号ＮＡはシーケンス、ＧＯＰ、ピクチヤヘツダの後のユーザデータuser-data で設定が可能である。一度付加ノイズ特性信号ＮＡが設定されたら、次に再設定されるまでその値が用いられる。即ち再設定されるまで、同一のノイズが付加される。付加ノイズ特性信号ＮＡは、シーケンスヘツダでまず設定される。その後再設定する場合、シーケンス、ＧＯＰ、ピクチヤヘツダの後のどのユーザデータuser-data で設定しても良い。
【００７６】
次に第２のノイズ特性決定方法によるエンコーダ１８の構成を、図２との対応部分に同一符号を付した図７に示す。付加ノイズ決定回路７０は可変長符号化器５８に入力される量子化スケール（QS）及びプリフイルタ１９（図１）において使用されたフイルタ特性からポストフイルタ３９（図１）において付加するノイズ量を決定する。付加ノイズ決定回路７０はポストフイルタ３９において付加するノイズ量を示すフラグ及び付加ノイズ特性信号ＮＡを可変長符号化器５８に出力する。可変長符号化器５８では、第１のノイズ特性決定方法の場合と同様に付加ノイズ特性信号ＮＡを可変長符号化する。
【００７７】
この第２のノイズ特性決定方法における付加ノイズ特性信号ＮＡの決定方法について、その１例を説明する。エンコーダ１８においては量子化が行なわれ、その際量子化スケール（QS）が小さいほど小振幅の信号まで符号化することが出来る。従つて量子化スケール（QS）が小さいほど原画像に含まれるノイズまで伝送する。また量子化スケール（QS）が大きいとノイズを伝送することが出来なくなり、復号画像はノイズが除去された平坦な画像となる。
【００７８】
また符号化装置１においては、プリフイルタ１９によりフイルタ処理が行なわれる。このフイルタ処理には様々な処理が存在するが、ノイズ除去処理はその一例である。またノイズ除去フイルタの他に例えばローパスフイルタもノイズを減少する効果がある。こうしたフイルタによるノイズ除去の度合によつて復号画像で再現できるノイズ量が決まつてくる。すなわちプリフイルタ１９でノイズをほとんど除去しない場合には、原画像に含まれるノイズ成分を伝送することが可能であるが、プリフイルタ１９でノイズをほとんど除去した場合にはノイズを伝送することが不可能となる。
【００７９】
従つて付加ノイズ特性信号ＮＡは、量子化スケール（QS）及びプリフイルタ１９でのノイズ除去の度合によつて決定される。すなわち量子化スケール（QS）が大きいほど、またプリフイルタ１９のノイズ除去の度合いが大きいほどポストフイルタ３９で付加されるノイズ量が多くなる。ポストフイルタ３９でノイズを付加することは、符号化の際に失われたノイズを復元するだけでなく、符号化によつて生じた量子化ノイズなどの劣化を目立たなくする効果がある。
【００８０】
これを図８を用いて説明する。符号化によつて生じる劣化にはエツジ近傍に生じる劣化や、ブロツク歪みがある。図８（Ａ）は原画像であり、図８（Ｂ）はエツジ近傍に劣化が生じたことを示す。これに劣化によつて生じるノイズと同レベルのノイズを付加したのが図８（Ｃ）である。ノイズを付加することによつて目立たなくなることがわかる。
【００８１】
量子化スケール（QS）はこうした劣化の度合の目安となる。量子化スケール（QS）が小さい場合、劣化は少ないと考えられ、また量子化スケール（QS）が大きい場合、劣化が顕著になると考えられる。従つて劣化を目立たなくする観点からも量子化スケール（QS）が大きいほど付加するノイズ量が多くなり、また量子化スケール（QS）が小さいほど付加するノイズ量が少なくなる。
【００８２】
図９に量子化スケール（QS）及びプリフイルタ１９のフイルタ特性Ｆ１〜ＦＮから付加ノイズ特性信号ＮＡを決定する方法を示す。ここでプリフイルタ１９の強弱があるが、強いフイルタほどノイズを多く除去し、また弱いフイルタほどノイズを保存する。図１０にその具体例を示す。Ｆ１〜ＦＮは周波数特性が図１０に示すようなフイルタ係数である。Ｆ１が最も弱くまたＦＮが最も強いフイルタである。
【００８３】
ここでＭＰＥＧ方式やＭＰＥＧ２方式の場合の、マクロブロツクヘツダのシンタクスを図５に示す。図中下線で示すように量子化係数（quantizer-scale-code）はマクロブロツク単位で設定される。まず１フレーム符号化した後、１フレーム中の量子化係数の平均値ＭＥＡＮ-Ｑを求める。図９は量子化係数の平均値ＭＥＡＮ-Ｑとプリフイルタ１９のフイルタ特性Ｆ１〜ＦＮから付加ノイズ特性信号ＮＡを決定する方法である。このようにして、付加ノイズ特性信号ＮＡが決定される。
【００８４】
次にこの第１実施例におけるデコーダ３１（図１）の構成を、図２５との対応部分に同一符号を付した図１１に示す。第１及び第２のノイズ特性決定方法共に、図１１に示す復号回路９０で復号される。ビツトストリームがデコーダ３１に入力されると、まず可変長復号化回路８２に入力され、可変長符号化が解かれる。このときユーザデータuser-data に記録されている付加ノイズ特性信号ＮＡが復号されポストフイルタ３９（図１）に出力される。その他のデコーダ３１の動作は従来に記載されている方法と同様である。
【００８５】
ポストフイルタ３９を図１２に示す。ノイズ発生回路３９Ａはランダムなホワイトノイズを生成する。これは例えばＭ系列を発生させる回路で実現できる。デコーダ３１によつて復号された付加ノイズ特性信号ＮＡは付加ノイズ決定回路３９Ｂに入力される。付加ノイズ決定回路３９Ｂは付加ノイズ特性信号ＮＡに従つて画像信号に付加するノイズ量を決定する。入力された画像信号及び発生したノイズは加算器３９Ｃに入力されて加算される。加算器３９Ｃの出力はポストフイルタ３９の出力として、Ｄ／Ａ変換器３６、３７（図１）に入力される。
【００８６】
以上の構成によれば、動画像信号を符号化する際に、画像中に含まれるノイズ量を検出してそのノイズ量を示す付加ノイズ特性信号ＮＡを符号化して伝送し、復号化側においてビツトストリームを復号化した後にそのノイズ量を示す付加ノイズ特性信号ＮＡに従つてノイズを付加するようにしたことにより、符号化によつて失われたノイズ成分を再現することがでる。また符号化によつて生じる量子化ノイズと同レベルのノイズをポストフイルタによつて付加することにより、量子化ノイズなどの劣化を目立たなくでき、かくして視覚的に復号化した動画像の画質を向上し得る。
【００８７】
（２）第２実施例
図１との対応部分に同一符号を付した図１３に、本発明の第２実施例による動画像符号化装置及び復号化装置を示す。符号化装置１については従来と同様である。第１実施例で説明したように、付加すべきノイズ量は量子化スケール（QS）に依存する。量子化スケール（QS）はマクロブロツク単位で設定されるが、ユーザデータuser-data はシーケンス、ＧＯＰ、ピクチヤ単位でしか伝送することができない。この第２実施例ではマクロブロツク単位で付加するノイズ量を決定する。
【００８８】
第２実施例におけるデコーダ３１について、図１１との対応部分に同一符号を付した図１４を用いて説明する。ビツトストリームはデコーダ３１に入力されると可変長復号化回路８２に入力され、可変長符号が解かれる。このときユーザデータuser-data に記録されている付加ノイズ特性信号ＮＡ及び量子化スケール（QS）をポストフイルタ３９に出力する。その他のデコーダ３１の動作は従来に記載されている方法と同様である。
【００８９】
第２実施例におけるポストフイルタ３９を、図１２との対応部分に同一符号を付した図１５を用いて説明する。この実施例では、付加ノイズ特性信号ＮＡ及び量子化スケール（QS）がノイズ量決定回路３９Ｄに入力される。ノイズ量決定回路３９Ｄは付加ノイズ特性信号ＮＡ及び量子化スケール（QS）からポストフイルタ３９において付加するノイズ量を決定する。図１６にノイズ量決定方法を示す。決定されたノイズ量ＮＡ′は付加ノイズ決定回路３９Ｂに出力される。
【００９０】
付加ノイズ決定回路３９Ｂは第１実施例と同様に、画像信号に付加するノイズを決定する。入力された画像信号及び発生したノイズは加算器３９Ｃに入力され加算される。加算器３９Ｃの出力はポストフイルタ３９の出力としてＤ／Ａ変換器３６、３７（図１）に入力される。その他の動作は第１実施例と全く同様である。
【００９１】
以上の構成によれば、動画像信号を符号化する際に、画像中に含まれるノイズ量を検出してそのノイズ量を示す付加ノイズ特性信号ＮＡを符号化して伝送し、復号化側においてビツトストリームを復号化した後にそのノイズ量を示す付加ノイズ特性信号ＮＡ及び量子化スケール（QS）に従つてノイズを付加するようにしたことにより、符号化によつて失われたノイズ成分を再現することがでる。また符号化によつて生じる量子化ノイズと同レベルのノイズをポストフイルタによつて付加することにより、量子化ノイズなどの劣化を目立たなくでき、かくして視覚的に復号化した動画像の画質を向上し得る。
【００９２】
【発明の効果】
上述のように本発明によれば、動画像信号を符号化する際、フイルタ係数及び量子化スケールに基づいてノイズ特性を決定し、符号化された上記動画像信号と共にノイズ特性を伝送し、復号化装置においてビツトストリームを復号化した後にそのノイズ特性に基づいてノイズ量を発生し、当該ノイズ量を復号した動画像信号に付加することにより、符号化によつて失われたノイズ成分を再現し得、さらに符号化によつて生じる量子化ノイズと同レベルのノイズを後置フイルタによつて付加することにより、量子化ノイズなどの劣化を目立たなくし得、かくして簡易な構成でありながら視覚的に復号化した動画像の画質を向上し得る動画像符号化方法及び装置、動画像復号化方法及び装置を実現できる。
【図面の簡単な説明】
【図１】本発明による第１実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図２】図１の符号化装置のエンコーダの構成を示すブロツク図である。
【図３】ＭＰＥＧ方式のビデオのシンタクスを示す図表である。
【図４】ＭＰＥＧ方式のビデオのシンタクスの拡張／ユーザデータを示す図表である。
【図５】ＭＰＥＧ方式のビデオのマクロブロツクのシンタクスを示す図表である。
【図６】付加ノイズ特性信号ＮＡの内容を示す図表である。
【図７】図１の符号化装置のエンコーダの構成を示すブロツク図である。
【図８】ノイズ成分を再現して画質を向上する説明に供する特性曲線図である。
【図９】付加ノイズ特性信号の決定方法の説明に供する特性曲線図である。
【図１０】フイルタ係数の周波数特性の説明に供する特性曲線図である。
【図１１】図１の復号化装置のデコーダの構成を示すブロツク図である。
【図１２】図１の復号化装置のポストフイルタの構成を示すブロツク図である。
【図１３】本発明による第２実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図１４】図１３の復号化装置のデコーダの構成を示すブロツク図である。
【図１５】図１３の復号化装置のポストフイルタの構成を示すブロツク図である。
【図１６】付加ノイズ特性信号の決定方法の説明に供する特性曲線図である。
【図１７】フレーム相関を利用した動画像信号の高能率符号化の原理の説明に供する略線図である。
【図１８】動画像信号を圧縮する場合のピクチヤタイプの説明に供する略線図である。
【図１９】動画像信号符号化方法の原理の説明に供する略線図である。
【図２０】従来の動画像符号化／復号化装置の構成を示すブロツク図である。
【図２１】フオーマツト変換回路の動作の説明として画像データの構造を示す略線図である。
【図２２】図２０の動画像符号化／復号化装置におけるエンコーダの構成を示すブロツク図である。
【図２３】エンコーダの予測モード切り替え回路の動作の説明に供する略線図である。
【図２４】エンコーダのＤＣＴモード切り替え回路の動作の説明に供する略線図である。
【図２５】図２０の動画像符号化／復号化装置におけるデコーダの構成を示すブロツク図である。
【図２６】図２０の動画像符号化／復号化装置におけるプリフイルタ／ポストフイルタとして２次元ローパスフイルタの構成を示す接続図である。
【図２７】図２６の２次元ローパスフイルタの係数の説明に供する略線図である。
【符号の説明】
１……符号化装置、２……復号化装置、３……記録媒体（伝送路）、１１……前処理回路、１２、１３……アナログデイジタル（Ａ／Ｄ）変換器、１４、３３……フレームメモリ、１５、３４……輝度信号フレームメモリ、１６、３５……色差信号フレームメモリ、１７、３２……フオーマツト変換回路、１８……エンコーダ、１９……プリフイルタ、２０……記憶装置、２１……係数決定回路、２２……符号化レート決定回路、３１……デコーダ、３６、３７……デイジタルアナログ（Ｄ／Ａ）変換器、３８……後処理回路、５０……動きベクトル検出回路（ＭＶ−Ｄｅｔ）、５１……フレームメモリ、５１ａ……前方原画像部、５１ｂ……原画像部、５１ｃ……後方原画像部、５２……予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）、５３……演算部、５４……予測判定回路、５５……ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）、５６……ＤＣＴ回路、５７……量子化回路（Ｑ）、５８……可変長符号化回路（ＶＬＣ）、５９……送信バツフア（Ｂｕｆｆｅｒ）、６０、８３……逆量子化回路（ＩＱ）、６１、８４……逆ＤＣＴ回路（ＩＤＣＴ）、６２、８５……演算器、６３、８６……フレームメモリ、６３ａ、８６ａ……前方予測画像（Ｆ−Ｐ）、６３ｂ、８６ｂ……後方予測画像（Ｂ−Ｐ）、６４、８７……動き補償回路（Ｍ−ｃｏｍｐ）、６５、８８……ＤＣＴブロツク並べ替え回路、７０……付加ノイズ決定回路、８１……受信バツフア（Ｂｕｆｆｅｒ）、８２……可変長復号化回路（ＩＶＬＣ）。

Claims (4)

1. 動画像信号をフイルタ係数に応じてフイルタ処理し、当該フイルタ処理された動画像信号を量子化すると共に量子化スケールを出力し、当該量子化された動画像信号を符号化する際、上記フイルタ係数及び上記量子化スケールに基づいてノイズ特性を決定し、符号化された動画像信号と共に当該ノイズ特性を伝送する
   ことを特徴とする動画像符号化方法。
2. 動画像信号をフイルタ係数に応じてフイルタ処理するフイルタ処理手段と、
   上記フイルタ処理された動画像信号を量子化すると共に量子化スケールを出力する量子化手段と、
   上記動画像信号を符号化する際、上記フイルタ係数及び上記量子化スケールに基づいてノイズ特性を決定するノイズ特性決定手段と
   を具えることを特徴とする動画像符号化装置。
3. フイルタ処理及び量子化が行われて符号化された動画像信号を復号する際、符号化された際のフイルタ係数及び量子化スケールに基づいて決定されるノイズ特性をもとにノイズ量を発生し、当該ノイズ量を復号した動画像信号に加える
   ことを特徴とする動画像復号化方法。
4. フイルタ処理及び量子化が行われて符号化された動画像信号を復号する際、符号化された際のフイルタ係数及び量子化スケールに基づいて決定されるノイズ特性をもとにノイズ量を発生し、当該ノイズ量を復号した動画像信号に加えるノイズ付加手段
   を具えることを特徴とする動画像復号化装置。

Images