JP3911035B2 - 動画像符号化方法及び動画像符号化装置 - Google Patents
動画像符号化方法及び動画像符号化装置 Download PDFInfo
- Publication number
- JP3911035B2 JP3911035B2 JP23233494A JP23233494A JP3911035B2 JP 3911035 B2 JP3911035 B2 JP 3911035B2 JP 23233494 A JP23233494 A JP 23233494A JP 23233494 A JP23233494 A JP 23233494A JP 3911035 B2 JP3911035 B2 JP 3911035B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- signal
- frame
- moving image
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１３〜図２３）
発明が解決しようとする課題（図１６）
課題を解決するための手段（図１、図６及び図１０）
作用（図１、図６及び図１０）
実施例
（１）第１実施例（図１〜図５）
（２）第２実施例（図６〜図９）
（３）第３実施例（図１０〜図１２）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動画像符号化方法及び動画像符号化装置に関し、例えば動画像信号を光デイスクや磁気テープ等の記録媒体に記録し再生して表示したり、テレビ会議システム、テレビ電話システム、放送用機器等のように動画像信号を伝送路を介して送信側から受信側に伝送し、受信側においてこれを受信して表示する場合に用いて好適なものである。
【０００３】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。図１６に、動画像信号を符号化して伝送し、これを復号化する動画像符号化／復号化装置の構成を示す。符号化装置１は、入力された映像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送する。そして復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力する。
【０００４】
符号化装置１では、入力映像信号ＶＤが前処理回路１１に入力され、ここで輝度信号と色信号（この場合、色差信号）に分離され、それぞれアナログデイジタル（Ａ／Ｄ）変換器１２、１３でアナログデイジタル変換される。Ａ／Ｄ変換器１２、１３によりアナログデイジタル変換されてデイジタル信号となつた映像信号は、プリフイルタ１９に入力されフイルタ処理された後に、フレームメモリ１４に供給されて記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【０００５】
プリフイルタ１９は符号化効率を向上させ、画質を改善する処理を行なう。これは例えばノイズ除去のフイルタであり、また例えば帯域を制限するためのフイルタである。図２２に、プリフイルタ１９の例として２次元ローパスフイルタの構成を示す。また図２３（Ａ）にこの２次元ローパスフイルタのフイルタ係数を示し、図２３（Ｂ）に入力となる３×３画素ブロツクを示す。ある対象となる画素ｅに対してその周囲の３×３画素ブロツクを抽出する。これに対して次式
【数１】
の演算の出力を画素ｅに対するフイルタの出力値とする。実際上出力ＯＵＴ１からフイルタ処理後の出力値が出力され、出力ＯＵＴ２からフイルタ処理されない原画素値が所定の遅延の後出力される。このフイルタでは入力画像信号によらず、また符号化器の状態によらず常に一様なフイルタ処理が行なわれる。
【０００６】
フオーマツト変換回路１７は、フレームメモリ１４に記憶された画像信号を、符号化器（エンコーダ）１８の入力フオーマツトに変換する。所定のフオーマツトに変換されたデータは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。この符号化アルゴリズムは任意であるが、その１例については詳細を図１８を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【０００７】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されデコードされる。デコーダ３１のデコード（復号化）アルゴリズムは任意で良いが、符号化アルゴリズムと対になつていなければならない。またその１例については詳細を図２１を参照して後述する。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、出力フオーマツトに変換される。
【０００８】
そしてフレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて記憶され、色差信号は色差信号フレームメモリ３５に供給されて記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、ポストフイルタ３９に供給されフイルタ処理された後に、デイジタルアナログ（Ｄ／Ａ）変換器３６、３７によりそれぞれデイジタルアナログ変換され、後処理回路３８に供給されて合成される。そして出力映像信号として図示せぬ例えばＣＲＴなどのデイスプレイに出力され表示される。
【０００９】
ポストフイルタ３９は画質を改善するためのフイルタ処理を行なう。画像を符号化することにより生じた劣化を緩和するために用いられる。例えばブロツク歪みや急峻なエツジの近傍で生じたノイズ、また量子化ノイズを除去するためのフイルタである。ポストフイルタには様々な種類があるが、例えば図２２に示されるようにプリフイルタ１９に用いられたと同様の２次元ローパスフイルタを用いることが出来る。
【００１０】
次に動画像の高能率符号化について説明する。従来ビデオ信号等の動画像データは、情報量が極めて多いため、これを長時間記録再生するには、データ伝送速度が極めて高い記録媒体が必要であつた。従つて磁気テープや光デイスクは、大型のものが必要されていた。また動画像データを伝送路を介して通信する場合や放送に用いる場合でもデータ量が多すぎるために、そのままでは既存の伝送路を用いて通信できないという問題があつた。
【００１１】
そこでより小型の記録媒体にビデオ信号を長時間記録しようとする場合、また通信や放送に用いる場合には、ビデオ信号を高能率符号化して記録すると共にその読み出し信号を能率良く復号化する手段が不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その１つにＭＰＥＧ（Moving Picture Experts Group）方式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ（Discrete Cosine Transform ））符号化を組み合わせたハイブリツド方式である。
【００１２】
動き補償予測符号化は、画像信号の時間軸方向の相関を利用した方法であり、すでに復号再生されてわかつている信号から、現在入力された画像を予測し、そのときの予測誤差だけを伝送することで、符号化に必要な情報量を圧縮する方法である。またＤＣＴ符号化は、画像信号の持つフレーム内２次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。例えば絵柄が平坦で画像信号の自己相関性が高い部分では、ＤＣＴ係数は低周波数成分へ集中分布する。従つてこの場合は低域へ集中分布した係数のみを符号化することで情報量の圧縮が可能となる。ここでは以下、符号化器としてＭＰＥＧ２方式の場合の例を詳述するが、符号化方式はＭＰＥＧ２方式に限らず、任意の符号化方式に対して同様に適用することが可能である。
【００１３】
次にＭＰＥＧ２方式について詳述する。ライン相関を利用すると、画像信号を例えばＤＣＴ処理等により圧縮することができる。またフレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１３に示すように、時刻ｔ1 、ｔ2 、ｔ3 において、フレーム画像ＰＣ1 、ＰＣ2 、ＰＣ3 がそれぞれ発生しているとき、フレーム画像ＰＣ1 とＰＣ2 の画像信号の差を演算してＰＣ12を生成し、またフレーム画像ＰＣ2 とＰＣ3 の差を演算してＰＣ23を生成する。通常時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると差分信号は小さな値のものとなる。そこでこの差分信号を符号化すれば、符号量を圧縮することができる。
【００１４】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで各フレームの画像を、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの３種類のピクチヤのいずれかのピクチヤとし、画像信号を圧縮符号化する。すなわち例えば図１４に示すように、フレームＦ１〜Ｆ１７までの17フレームの画像信号をグループオブピクチヤ（ＧＯＰ）とし処理の１単位とする。そしてその先頭のフレームＦ１の画像信号はＩピクチヤとして符号化し、２番目のフレームＦ２はＢピクチヤとして、また３番目のフレームＦ３はＰピクチヤとして、それぞれ処理する。以下４番目以降のフレームＦ４〜Ｆ１７は、Ｂピクチヤ又はＰピクチヤとして交互に処理する。
【００１５】
Ｉピクチヤの画像信号は、その１フレーム分の画像信号をそのまま伝送する。これに対してＰピクチヤの画像信号は、基本的に図１４（Ａ）に示すように、それより時間的に先行するＩピクチヤ又はＰピクチヤの画像信号からの差分を伝送する。さらにＢピクチヤの画像信号は、基本的に図１４（Ｂ）に示すように、時間的に先行するフレーム又は後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【００１６】
図１５は、このようにして動画像信号を符号化する方法の原理を示す。最初のフレームＦ１はＩピクチヤとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して第２のフレームＦ２は、Ｂピクチヤとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【００１７】
ただしこのＢピクチヤとしての処理は、さらに細かく説明すると、４種類存在する。第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチヤにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【００１８】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。なお差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、若しくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が差分データと共に伝送される。
【００１９】
またＰピクチヤのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチヤにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００２０】
次に図１８を参照して、エンコーダ１８の構成について説明する。符号化されるべき画像データＢＤは、マクロブロツク単位で動きベクトル検出回路（ＭＶーＤｅｔ）５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従つて、各フレームの画像データを、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤとして処理する。シーケンシヤルに入力される各フレームの画像を、Ｉ、Ｐ又はＢのいずれのピクチヤとして処理するかは、予め定められている（例えば、図１４に示したように、フレームＦ１〜Ｆ１７により構成されるグループオブピクチヤが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、……Ｂ、Ｐとして処理される）。
【００２１】
Ｉピクチヤとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送して記憶され、Ｂピクチヤとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送して記憶され、Ｐピクチヤとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送して記憶される。
【００２２】
また次のタイミングにおいて、さらにＢピクチヤ（フレームＦ４）又はＰピクチヤ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチヤ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチヤ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチヤ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２３】
フレームメモリ５１に記憶された各ピクチヤの信号は、そこから読み出され予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）５２において、フレーム予測モード処理又はフイールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測又は両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でも良い）を生成する。
【００２４】
ここで予測モード切り替え回路５２におけるフレーム予測モードと、フイールド予測モードについて説明する。フレーム予測モードが設定された場合、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロツクＹ［１］〜Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわちこの場合、図１９（Ａ）に示すように、各輝度ブロツクに奇数フイールドのラインのデータと、偶数フイールドのラインのデータとが混在した状態となつている。このフレーム予測モードにおいては、４個の輝度ブロツク（マクロブロツク）を単位として予測が行われ、４個の輝度ブロツクに対して１個の動きベクトルが対応される。
【００２５】
これに対して予測モード切り替え回路５２は、フイールド予測モードにおいては、図１９（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図１９（Ｂ）に示すように、４個の輝度ブロツクのうち輝度ブロツクＹ［１］とＹ［２］を、例えば奇数フイールドのラインのドツトによりのみ構成させ、他の２個の輝度ブロツクＹ［３］とＹ［４］を、偶数フイールドのラインのデータにより構成させて、演算部５３に出力する。この場合２個の輝度ブロツクＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロツクＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２６】
動きベクトル検出回路５０は、フレーム予測モードでの予測誤差の絶対値和と、フイールド予測モードでの予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフイールド予測モードでの予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。ただしこの処理は、実際には動きベクトル検出回路５０で行われる。すなわち動きベクトル検出回路５０は決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２はその信号をそのまま後段の演算部５３に出力する。
【００２７】
なお色差信号はフレーム予測モードの場合、図１９（Ａ）に示すように、奇数フイールドのラインのデータと偶数フイールドのラインのデータとが混在する状態で、演算部５３に供給される。またフイールド予測モードの場合、図１９（Ｂ）に示すように、各色差ブロツクＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロツクＹ［１］、Ｙ［２］に対応する奇数フイールドの色差信号とされ、下半分（４ライン）が、輝度ブロツクＹ［３］、Ｙ［４］に対応する偶数フイールドの色差信号とされる。
【００２８】
また動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測又は両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。すなわち画像内予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロツクの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また前方予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijと、予測画像のマクロブロツクの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。
【００２９】
また後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インタ予測の予測誤差の絶対値和として選択する。さらにこのインタ予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モード（P-mode）として選択する。すなわち画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかつたモードが設定される。
【００３０】
このように動きベクトル検出回路５０は、参照画像のマクロブロツクの信号を、フレーム又はフイールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モード（P-mode）に対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路（ＶＬＣ）５８と動き補償回路（Ｍ−ｃｏｍｐ）６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３１】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチヤの画像データを読み出しているとき、予測モードとしてフレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイツチ５３ｄを接点ａ側に切り替える。これによりＩピクチヤの画像データが、ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）５５に入力される。このＤＣＴモード切り替え回路５５は、図２０（Ａ）又は（Ｂ）に示すように、４個の輝度ブロツクのデータを、奇数フイールドのラインと偶数フイールドのラインが混在する状態（フレームＤＣＴモード）、または分離された状態（フイールドＤＣＴモード）のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３２】
すなわちＤＣＴモード切り替え回路５５は、奇数フイールドと偶数フイールドのデータを混在してＤＣＴ処理した場合の符号化効率と、分離した状態でＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。例えば入力された信号を、図２０（Ａ）に示すように、奇数フイールドと偶数フイールドのラインが混在する構成とし、上下に隣接する奇数フイールドのラインの信号と偶数フイールドのラインの信号の差を演算し、さらにその絶対値の和（又は自乗和）を求める。
【００３３】
また入力された信号を、図２０（Ｂ）に示すように、奇数フイールドと偶数フイールドのラインが分離した構成とし、上下に隣接する奇数フイールドのライン同士の信号の差と、偶数フイールドのライン同士の信号の差を演算し、それぞれの絶対値の和（又は自乗和）を求める。さらに両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち前者の方が小さければフレームＤＣＴモードを設定し、後者の方が小さければフイールドＤＣＴモードを設定する。そして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力すると共に、選択したＤＣＴモードを示すＤＣＴフラグ（DCT-FLG ）を、可変長符号化回路５８と動き補償回路６４に出力する。
【００３４】
予測モード切り替え回路５２での予測モード（図１９）と、このＤＣＴモード切り替え回路５５でのＤＣＴモード（図２０）を比較して明らかなように、輝度ブロツクに関しては、両者の各モードにおけるデータ構造は実質的に同一である。予測モード切り替え回路５２でフレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５でもフレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２でフイールド予測モード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５でも、フイールドＤＣＴモード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択される可能性が高い。
【００３５】
しかしながら必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２では、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５では、符号化効率が良好となるようにモードが決定される。ＤＣＴモード切り替え回路５５より出力されたＩピクチヤの画像データは、ＤＣＴ回路５６に入力されてＤＣＴ処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は量子化回路（Ｑ）５７に入力され、送信バツフア（Ｂｕｆｆｅｒ）５９のデータ蓄積量（量子化制御信号（B-full））に対応した量子化スケール（QS）で量子化された後、可変長符号化回路５８に入力される。
【００３６】
可変長符号化回路５８は量子化回路５７より供給される量子化スケール（QS）に対応して、量子化回路５７より供給される画像データ（この場合、Ｉピクチヤのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バツフア５９に出力する。可変長符号化回路５８にはまた、量子化回路５７より量子化スケール（QS）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測又は両方向予測のいずれが設定されたかを示すモード（P-mode））、動きベクトル検出回路５０より動きベクトル（MV）、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフイールド予測モードのいずれが設定されたかを示すフラグ（P-FLG)）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフイールドＤＣＴモードのいずれが設定されたかを示すフラグ（DCT-FLG)）が入力されており、これらも可変長符号化される。
【００３７】
送信バツフア５９は入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バツフア５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を大きくすることにより、量子化データのデータ量を低下させる。またこれとは逆に、データ残量が許容下限値まで減少すると、送信バツフア５９は量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を小さくすることにより、量子化データのデータ量を増大させる。このようにして送信バツフア５９のオーバフロー又はアンダフローが防止される。そして送信バツフア５９に蓄積されたデータは、所定のタイミングで読み出されて伝送路に出力され、例えば記録媒体３に記録される。
【００３８】
一方量子化回路５７より出力されたＩピクチヤのデータは、逆量子化回路（ＩＱ）６０に入力され、量子化回路５７より供給される量子化スケール（QS）に対応して逆量子化される。逆量子化回路６０の出力は、逆ＤＣＴ（ＩＤＣＴ）回路６１に入力され逆ＤＣＴ処理された後、ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）６５により、各ＤＣＴモード（フレーム／フイールド）に対してブロツクの並び替えが行われる。ブロツク並び替え回路６５の出力は、演算器６２を介してフレームメモリ６３の前方予測画像部（Ｆ−Ｐ）６３ａに供給され記憶される。
【００３９】
動きベクトル検出回路５０は、シーケンシヤルに入力される各フレームの画像データを、例えばＩ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂ……のピクチヤとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチヤとして処理した後、次に入力されたフレームの画像をＢピクチヤとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチヤとして処理する。Ｂピクチヤは後方予測を伴うため、後方予測画像としてのＰピクチヤが先に用意されていないと、復号することができないためである。
【００４０】
そこで動きベクトル検出回路５０は、Ｉピクチヤの処理の次に、後方原画像部５１ｃに記憶されているＰピクチヤの画像データの処理を開始する。そして上述した場合と同様に、マクロブロツク単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチヤのマクロブロツクの予測誤差の絶対値和に対応して、フレーム／フイールド予測モード又は画像内予測、前方予測、後方予測若しくは両方向予測の予測モードを設定する。
【００４１】
演算部５３はフレーム内予測モードが設定されたとき、スイツチ５３ｄを上述したように接点ａ側に切り替える。従つてこのデータは、Ｉピクチヤのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこのデータは、逆量子化回路６０、逆ＤＣＴ回路６１、ブロツク並び替え回路６５、演算器６２を介してフレームメモリ６３の後方予測画像部（Ｂ−Ｐ）６３ｂに供給され記憶される。
【００４２】
前方予測モードの時、スイツチ５３ｄが接点ｂに切り替えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（この場合Ｉピクチヤの画像）データが読み出され、動き補償回路６４により動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４３】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給されたこのマクロブロツクに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこの差分データは、逆量子化回路６０、逆ＤＣＴ回路６１により局所的に復号され、ブロツク並び替え回路６５を介して演算器６２に入力される。
【００４４】
この演算器６２にはまた演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、逆ＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチヤの画像データが得られる。このＰピクチヤの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され記憶される。
【００４５】
動きベクトル検出回路５０は、このようにＩピクチヤとＰピクチヤのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチヤの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロツク単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フイールドモードを設定し、また予測モードをフレーム内予測モード、前方予測モード、後方予測モード又は両方向予測モードのいずれかに設定する。上述したように、フレーム内予測モード又は前方予測モードの時、スイツチ５３ｄは接点ａ又はｂに切り替えられる。このときＰピクチヤにおける場合と同様の処理が行われ、データが伝送される。
【００４６】
これに対して、後方予測モード又は両方向予測モードが設定された時、スイツチ５３ｄは、接点ｃ又はｄにそれぞれ切り替えられる。スイツチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４７】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データを減算しその差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００４８】
スイツチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（この場合、Ｉピクチヤの画像）データと、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４９】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは動きベクトル検出回路５０より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データはＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。Ｂピクチヤの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００５０】
なおフレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。以上の説明では、輝度ブロツクを中心として説明をしたが、色差ブロツクについても同様に、図１９及び図２０に示すマクロブロツクを単位として処理され伝送される。なお色差ブロツクを処理する場合の動きベクトルは、対応する輝度ブロツクの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００５１】
次に図２１に、図１６のデコーダ３１の構成を示す。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり再生装置で再生され、受信バツフア（Ｂｕｆｆｅｒ）８１に一時記憶された後、復号回路９０の可変長復号化回路（ＩＶＬＣ）８２に供給される。可変長復号化回路８２は、受信バツフア８１より供給されたデータを可変長復号化し、動きベクトル（MV）、予測モード（P-mode）及び予測フラグ（P-FLG ）を動き補償回路（Ｍ−ｃｏｍｐ）８７に供給する。またＤＣＴフラグ（DCT-FLG ）を逆ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）８８に、量子化スケール（QS）を逆量子化回路（ＩＱ）８３にそれぞれ出力すると共に、復号された画像データを逆量子化回路８３に出力する。
【００５２】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化スケール（QS）に従つて逆量子化し、逆ＤＣＴ回路（ＩＤＣＴ）８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路８４で逆ＤＣＴ処理され、ブロツク並べ替え回路８８を通じて演算器８５に供給される。逆ＤＣＴ回路８４より供給された画像データが、Ｉピクチヤのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（Ｐ又はＢピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部（Ｆ−Ｐ）８６ａに供給されて記憶される。またこのデータはフオーマツト変換回路３２（図１６）に出力される。
【００５３】
逆ＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチヤのデータであつて、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチヤのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして演算器８５において、逆ＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され出力される。この加算されたデータ、すなわち復号されたＰピクチヤのデータは、演算器８５に後に入力される画像データ（Ｂピクチヤ又はＰピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部（Ｂ−Ｐ）８６ｂに供給されて記憶される。
【００５４】
Ｐピクチヤのデータであつても画像内予測モードのデータは、Ｉピクチヤのデータと同様に演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。このＰピクチヤは、次のＢピクチヤの次に表示されるべき画像であるため、この時点ではまだフオーマツト変換回路３２へ出力されない（上述したように、Ｂピクチヤの後に入力されたＰピクチヤが、Ｂピクチヤより先に処理され、伝送されている）。
【００５５】
逆ＤＣＴ回路８４より供給された画像データが、Ｂピクチヤのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチヤの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データ（後方予測モードの場合）、またはその両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００５６】
このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において逆ＤＣＴ回路８４の出力と加算される。この加算出力はフオーマツト変換回路３２に出力される。ただしこの加算出力はＢピクチヤのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。Ｂピクチヤの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。ただしこのとき、動き補償は行われない。
【００５７】
なおこのデコーダ３１には、図１８のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は動き補償回路８７が実行する。また以上の説明では、輝度信号の処理について述べたが、色差信号の処理も同様に行われる。ただしこの場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。
【００５８】
【発明が解決しようとする課題】
ところで図１６に上述したような動画像の符号化装置１において、プリフイルタ１９は入力画像信号に含まれるノイズを除去し、また符号化装置１における符号化効率を高めるために、また所定量まで情報量を削減するために用いられる。プリフイルタ１９には様々な種類、特性のフイルタが存在するが、どのフイルタが最適であるかは、入力画像信号の性質や符号化時の動画像符号化装置の状態及び記録媒体、伝送路に依存する。
【００５９】
例えば符号化ビツトレートが低い場合には、復号された画像の劣化が顕著であり、これを補うために符号化効率を改善するためのフイルタを強くかける必要がある。一方符号化ビツトレートが高い場合、復号化された画像はそのままで高画質を維持しており、低ビツトレートの場合と同一のフイルタを用いると、それにより画質を劣化させることになる。こののように、従来の動画像のフイルタ処理や動画像符号化方法によれば、プリフイルタが必ずしも最適なフイルタを用いることができないという問題があつた。
【００６０】
本発明は以上の点を考慮してなされたもので、動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る動画像符号化方法を実現しようとするものである。
【００６１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、発生ビツト量測定後動画像信号に対して符号化を施す符号化ステツプと、符号化ステツプにより符号化が施される動画像信号に対して、発生ビツト量測定ステツプにより測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプとを設けるようにした。
【００６２】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、発生ビツト量測定後動画像信号に対して符号化を施す符号化ステツプと、符号化ステツプにより符号化が施される動画像信号に対して、発生ビツト量測定ステツプにより測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプとを設け、符号化ステツプでは、発生ビツト量及びフイルタ処理で使用するフイルタ特性に応じて符号化ビツトレートを決定し可変レートで動画像信号を符号化するようにした。
【００６３】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、発生ビツト量測定後動画像信号に対して符号化を施す符号化手段と、符号化手段により符号化が施される動画像信号に対して、発生ビツト量測定手段により測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段とを設けるようにした。
【００６４】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、発生ビツト量測定後動画像信号に対して符号化を施す符号化手段と、符号化手段により符号化が施される動画像信号に対して、発生ビツト量測定手段により測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段とを設け、符号化手段は、発生ビツト量及びフイルタ処理で使用するフイルタ特性に応じて符号化ビツトレートを決定し可変レートで動画像信号を符号化するようにした。
【００６６】
【作用】
測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すようにしたことにより、各フレーム又は各ＧＯＰの符号化難易度に応じて最適なフイルタ処理を施しておくことができる。
【００６７】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００６８】
（１）第１実施例
図１に本発明の第１の実施例の動画像符号化装置及び復号化装置を示す。この実施例は、符号化ビツトレートが固定の場合である（固定レート符号化）。まず符号化装置１においては、入力映像信号ＶＤが前処理回路１１に入力され、ここで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれアナログデイジタル（Ａ／Ｄ）変換器１２、１３でアナログデイジタル変換される。
【００６９】
Ａ／Ｄ変換器１２、１３によりアナログデイジタル変換されてデイジタル信号となつた映像信号は、プリフイルタ１９に入力されてフイルタ処理された後に、フレームメモリ１４に供給され記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。ここで入力画像信号が輝度信号及び色信号とに分離されたデイジタル画像信号である場合、前処理回路１１及びＡ／Ｄ変換器１２、１３は必要ない。プリフイルタ１９は符号化効率を向上させるための処理を行なう。プリフイルタ１９については後で詳述する。
【００７０】
フオーマツト変換回路１７は、フレームメモリ１４に記憶されたフレームフオーマツトの信号を、ブロツクフオーマツトの信号に変換する。すなわち、図１７に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドツトのラインがＶライン集められたフレームフオーマツトのデータとされている。フオーマツト変換回路１７は、この１フレームの信号を、16ラインを単位としてＭ個のスライスに区分する。
【００７１】
そして各スライスは、Ｍ個のマクロブロツクに分割される。各マクロブロツクは、16×16個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの16×16ドツトの輝度信号には、８×８ドツトのＣｂ信号と、８×８ドツトのＣｒ信号が対応される。このようにブロツクフオーマツトに変換されたデータは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。エンコードの詳細については、図２を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００７２】
この実施例における符号化装置１は、画像信号を符号化する際に複数回、符号化装置１に画像を入力し、最後の１回のみビツトストリームを出力する。それ以前は符号化装置は、入力画像信号の性質を測る測定装置の役割を果たすことになる。この実施例ではその１例として２回にわけて符号化を行なう場合（２パスコーデイング）を示す。３回以上の場合も全く同様である。
【００７３】
符号化装置１の外部から符号化モード信号が入力される。この信号は、１回目の符号化であるか、２回目の符号化であるかを示すフラグ信号である。この符号化モード信号は、例えば符号化装置１に付属のスイツチにより入力される。また変形としてこの符号化モード信号はパソコンなどの外部装置から入力されても良い。符号化モード信号の一例について説明する。符号化を２回行なう場合、符号化モード信号は１ビツトの信号で十分である。例えば符号化モード信号が「０」である場合、１回目の符号化であることを示し、また「１」である場合、２回目の符号化であることを示す。符号化モード信号は２ビツト以上の信号でも良いが、この場合も１ビツトの場合と同様である。
【００７４】
まず１回目の符号化について説明する。エンコーダは、符号化モード信号が１回目の符号化であることを示す場合、量子化スケール（QS）を固定にして符号化する。この時発生ビツト量difficultyを測定する。この発生ビツト量difficultyの測定は、例えばフレーム毎に行なわれる。また例えばＧＯＰ毎に行なつても良い。このとき測定された発生ビツト量difficultyは記憶装置２０に伝送され記録される。
【００７５】
量子化スケール（QS）が固定の場合の発生ビツト量difficultyは符号化（圧縮）の難易度を示すパラメータとなる。すなわち同じ量子化スケール（QS）で発生ビツト量の少ない画像は符号化（圧縮）が容易な画像であり、発生ビツト量difficultyの多い画像は符号化（圧縮）が難しい画像である。このとき符号化されたビツトストリームは出力されない。またこの時、プリフイルタ１９は処理を行なわず、入力信号をそのまま出力する。またこの変形として、常に一定のフイルタ係数を用いて処理を行なつても良い。
【００７６】
１回目の符号化が終了した後、係数決定回路２１はプリフイルタ１９で使用するフイルタの係数を決定する。係数決定回路２１は符号化ビツトレート及び発生ビツト量difficultyからフイルタの特性を決定する。フイルタ係数は予め外部で設計される。この実施例では予めＮ個のフイルタ係数が設計されている場合について説明する。
【００７７】
係数決定回路２１は予め設計されたＮ個のフイルタ係数から最適なフイルタ係数を選択し、フイルタ係数信号を出力する。フイルタ係数信号は各フレーム毎に設定される。発生ビツト量difficultyの測定がＧＯＰ毎に行なわれた場合、フイルタ係数信号はＧＯＰ毎に設定される。すなわちこの場合そのＧＯＰ中の各フレームではフイルタ係数信号は同一の値となる。フイルタ係数信号は記憶装置２０に記録される。次に述べる２回目の符号化の際に読み出され、プリフイルタ１９に出力される。
【００７８】
次にフイルタ係数決定方法を説明する。係数決定回路２１は各フレームの発生ビツト量difficulty及びそのフレームに割り当てられたビツト量alloc-bit からフイルタ係数を決定する。各フレームに割り当てられるビツト量について説明する。固定レート符号化の場合、符号化ビツトレートbit-rateは１秒あたりのビツト量を示す。フレームレートframe-rateは１秒あたりのフレーム数を示す。従つて各フレームに割り当てられるビツト量alloc-bit は、次式
【数２】
で与えられる。符号化ビツトレートbit-rate及びフレームレートframe-rateは符号化ビツトストリームのシーケンスヘツダsequence-header に記録される。
【００７９】
発生ビツト量difficultyの値が同じ場合においても、割り当てビツト量alloc-bit が異なる場合、符号化の難易度が変わつてくる。発生ビツト量difficultyが高くてもビツト量alloc-bit が十分大きいときには弱いフイルタで十分であるが、ビツト量alloc-bit が小さい場合、強いフイルタをかけなければならない。このときその閾値は発生ビツト量difficultyによつて変化する。図３に、発生ビツト量difficulty、ビツト量alloc-bit 及び選択されるフイルタ係数の例を示す。フイルタ係数はフイルタＦ１からＦＮまでのＮ個ある。このときＦ１が最も弱く、ＦＮが最も強いフイルタである。フイルタ係数Ｆ１からＦＮの周波数特性の例を図４に示す。ここで弱いフイルタとは、周波数通過域が最も広いフイルタであり、強いフイルタとは周波数通過域が最も狭いフイルタである。
【００８０】
ここで係数決定回路２１は、１回目の符号化後に処理を行なつているが、その変形として１回目の符号化を行ないながら同時に処理を行ない、フイルタ係数信号を記憶装置２０に記録しても良い。また係数決定回路２１はパソコンなどの外部装置によつて実現しても良い。フイルタ係数信号はＮ個のフイルタ係数のどれを用いるかを示すフラグである。
【００８１】
次に２回目の符号化について説明する。エンコーダは符号化モード信号が２回目の符号化であることを示す場合、符号化ビツトレートが一定になるように量子化スケール（QS）を制御しながら符号化を行なう。この時プリフイルタ１９は記憶装置２０に記憶されている各フレームのフイルタ係数信号を読み込み、その発生ビツト量に対応してフイルタ係数を変化させ、フイルタ処理を行なう。したがつて各フレームに対して常に最適なフイルタ処理が行なわれることになる。
【００８２】
次にプリフイルタ１９について、図５を用いて説明する。プリフイルタ１９は例えばフイルタ用ＤＳＰを用いて実現することができる。プリフイルタ１９の構成はフイルタ係数の制御方法の違いから、例えば次の２通りがある。まず第１のプリフイルタ構成について図５（Ａ）を用いて説明する。第１のプリフイルタ構成では各フレーム毎にフイルタ係数がフイルタ用ＤＳＰに読み込まれる。この場合、フイルタ係数は外部から入力される。
【００８３】
またこの変形として予め記憶装置２０にフイルタ係数を記録しておき、記憶装置２０からフイルタ係数信号ＦＣと共に読み込んでも良い。フイルタ用ＤＳＰはフイルタ係数信号ＦＣを受け取ると、そのフイルタ係数信号ＦＣが示すフイルタ係数を読み込む。第２のフイルタ構成を図５（Ｂ）に示す。第２のプリフイルタ構成では符号化装置全体の初期化時にフイルタ係数を外部から読み込み、メモリ（ＲＡＭ）に記憶する。この場合上述のようにＮ個のフイルタ係数が存在する場合、Ｎ個のフイルタ係数全てをＲＡＭに記憶する。フイルタ係数信号ＦＣが入力されると所定のフイルタ係数をＲＡＭから読み込む。
【００８４】
次にエンコーダ１８を、図２を用いて説明する。エンコーダの詳細は図１８について上述した従来のものと同様であるが、以下の内容が異なる。第１にこの実施例におけるエンコーダはビツトカウンタ（Ｂｉｔ−ｃｎｔ）７０を持つ。可変長符号化回路５８から出力されるビツトストリームはビツトカウンタ７０に入力される。ビツトカウンタ７０ではフレーム毎に発生ビツト量difficultyが測定される。測定された発生ビツト量difficultyは、図１における記憶装置２０に入力される。
【００８５】
第２にこの実施例におけるエンコーダは、外部より符号化モード(E-mode)が量子化回路５７及び送信バツフア５９に入力される。符号化モードが「０」の場合、符号化は１回目の符号化であることを示し、この場合量子化回路５７は量子化スケール（QS）を固定値にする。また送信バツフア５９はビツトストリームを出力しない。符号化モードが「１」の場合、符号化は２回目の符号化であることを示し、量子化回路５７は符号化ビツトレートに従つて、通常通り量子化スケール（QS）の制御を行なう。また送信バツフア５９はビツトストリームを図１における記録媒体又は伝送路に出力する。
【００８６】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されてデコードされる。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、ブロツクフオーマツトからフレームフオーマツトに変換される。そしてフレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて記憶され、色差信号は色差信号フレームメモリ３５に供給されて記憶される。
【００８７】
輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、後置フイルタによつて処理された後デイジタルアナログ（Ｄ／Ａ）変換器３６、３７によりそれぞれデイジタルアナログ変換され、後処理回路３８に供給されて合成される。そして図示せぬ例えばＣＲＴなどのデイスプレイに出力されて表示される。
【００８８】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにしたことにより、動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。
【００８９】
（２）第２実施例
図６に本発明の第２実施例の動画像符号化装置及び復号化装置の構成を示す。この第２実施例は符号化ビツトレートが可変の場合である（可変レート符号化）。この実施例では以下に述べる事項を除き、上述した第１実施例と同様である。すなわち第２実施例における符号化装置では符号化レート決定回路２２を有する。符号化レート決定回路２２は１回目の符号化の後、各フレーム又はＧＯＰに割り当てるビツト量を決定する。
【００９０】
また第１実施例においては、各フレームに割り当てられるビツト量alloc-bit は、（２）式に示すように、常に一定であつたが、この実施例では適応的に変化する。各フレームに割り当てられるビツト量alloc-bit は発生ビツト量difficulty及びシーケンス中の全フレーム数から計算される。発生ビツト量difficultyがＧＯＰ毎に計測されている場合は、ビツト量alloc-bit はＧＯＰ毎に設定され、また発生ビツト量difficultyがフレーム毎に測定されている場合には、ビツト量alloc-bit はフレーム単位で設定される。
【００９１】
ここではＧＯＰ毎に発生ビツト量difficultyが測定された場合について述べるが、フレーム単位で測定された場合も全く同様である。図７に１回目の符号化によつて測定された発生ビツト量difficultyの時間変化を示す。１つのシーケンス中でも発生ビツト量difficultyは、例えば図７のように変動する。例えば動きの早いシーンでは、フレーム間相関が低くなるため発生ビツト量difficultyは高くなり、また逆に動きの遅いシーンでは発生ビツト量difficultyは低くなる。
【００９２】
１シーケンスにわたつて発生ビツト量difficultyの頻度分布を求めたのが図８である。曲線１が頻度分布を示す。この分布は画像シーケンスによつてことなる。ここで発生ビツト量difficultyがｄである確率をｈ(d) 、発生ビツト量difficultyがｄであるＧＯＰに割り当てられるビツトレートをＲ(d) 、平均符号化ビツトレートをAVR とすると、次式
【数３】
である。このとき次式
【数４】
となるようにビツトレートＲ(d) を決定する。Ｒ(d) は任意の曲線でありうるが、発生ビツト量difficultyに比例して配分した場合、図８の曲線２のようになる。
【００９３】
ここでｉ番目のＧＯＰの発生ビツト量difficultyをｄ-iとし、シーケンス中の全ＧＯＰの発生ビツト量difficultyの和をｄ-allとする。すなわち、次式
【数５】
である。このとき、このｉ番目のＧＯＰに割り当てられるビツト量alloc-bit は次式
【数６】
で与えられる。このようにして割り当てられたビツトレートの時間変化は図９に示すようになる。ここでは線形にビツトを割り当てたが、非線形な割当を行なつても良い。係数決定回路２１は、この場合上述のようにして決定されたビツト量alloc-bit 発生ビツト量difficultyからフイルタ係数信号を決定し、記憶装置２０に記憶する。
【００９４】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにした。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。これにより、第１実施例と同様に動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。
【００９５】
（３）第３実施例
図１０に本発明の第３実施例の動画像符号化装置及び復号化装置の構成を示す。この実施例は第２実施例と同様であるが、符号化レート決定回路２２が異なる。符号化レート決定回路２２は発生ビツト量difficultyおよびフイルタ係数信号から符号化ビツトレートを決定する。画像信号にフイルタ処理を行なうと、符号化効率が向上し、同一画像であつても発生ビツト量difficultyは減少する。この減少の度合は用いたフイルタと画像信号に依存する。予め設計したＮ個のフイルタ係数Ｆ１〜ＦＮが発生ビツト量difficultyを、例えば図１１のように減少するものとする。
【００９６】
上述のようにフイルタ係数Ｆ１が最も弱いフイルタであり、フイルタ係数ＦＮが最も強いフイルタである。図１１に示す関係は予め同一画像についてフイルタ係数を変化させ、発生ビツト量difficultyを計測することで得ることができる。図１２にフイルタ処理を行なうことにより、発生ビツト量difficultyの頻度分布がどのように変化するかを示す。一般に分布は発生ビツト量difficultyが低い方向に変化する。あるフイルタを用いたときに、発生ビツト量difficultyがどれくらい減少するかは図１１より求めることができる。
【００９７】
あるフイルタＦＸを用いた時の発生ビツト量difficultyの減少度をｆ(FX)とする。ｆ(FX)はフイルタ無しの場合、１であり、０から１の値をとる。発生ビツト量difficultyがｄの画像がフイルタを用いることにより、ｄ′になつたとすると次式
【数７】
で表せる。
【００９８】
ここで、発生ビツト量difficultyがｄ′である確率をｈ′(d′) 、発生ビツト量difficultyがｄ′であるＧＯＰに割り当てられるビツトレートをＲ′(d′) 、平均符号化ビツトレートをAVR とすると、次式
【数８】
である。このとき、次式
【数９】
となるようにビツトレートを決定する。Ｒ′(d′) は任意の曲線でありうるが、ここではフイルタ後の発生ビツト量difficultyに比例して配分した場合について説明する。
【００９９】
ここでｉ番目のＧＯＰの発生ビツト量difficultyをｄ-iとし、ｉ番目のＧＯＰに用いるフイルタをＦ-i、シーケンス中の全ＧＯＰのフイルタ後の発生ビツト量difficultyの和をｄ-allとする。すなわち、次式
【数１０】
である。このとき、このｉ番目のＧＯＰに割り当てられるビツト量alloc-bit は次式
【数１１】
で与えられる。
【０１００】
このようにして割り当てられたビツトレートはフイルタ後の画像について常に最適なレートとなる。またこれにより、符号化の容易なシーンに使用されるビツトを減少させ、符号化が難しく劣化の目立つシーンにビツトを多く割り当てることが可能となる。
【０１０１】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにした。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。これにより、第２実施例と同様に動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。
【０１０２】
【発明の効果】
上述のように本発明によれば、測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すようにしたことにより、各フレーム又は各ＧＯＰの符号化難易度に応じて最適なフイルタ処理を施しておくことができる。この結果、符合化の効率を向上することができる。
【０１０３】
また、発生ビツト量及びフイルタ処理で使用されるフイルタ特性を考慮して符号化ビツトレートを決定することができ、この結果、符合化の効率を向上することができる。
【図面の簡単な説明】
【図１】本発明による第１実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図２】エンコーダの構成を示すブロツク図である。
【図３】フイルタ係数の決定方法の説明に供する特性曲線図である。
【図４】フイルタ係数の周波数特性の説明に供する特性曲線図である。
【図５】可変係数フイルタ回路の構成を示すブロツク図である。
【図６】本発明による第２実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図７】発生ビツト量の時間分布の説明に供する特性曲線図である。
【図８】発生ビツト量の頻度分布と割り当てられたビツトレートの説明に供する特性曲線図である。
【図９】符号化ビツトレートの説明に供する特性曲線図である。
【図１０】本発明による第３実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図１１】フイルタ特性と発生ビツト量の減少の説明に供する特性曲線図である。
【図１２】フイルタ処理後の発生ビツト量の頻度分布の説明に供する特性曲線図である。
【図１３】フレーム相関を利用した動画像信号の高能率符号化の原理の説明に供する略線図である。
【図１４】動画像信号を圧縮する場合のピクチヤタイプの説明に供する略線図である。
【図１５】動画像信号符号化方法の原理の説明に供する略線図である。
【図１６】従来の動画像符号化／復号化装置の構成を示すブロツク図である。
【図１７】フオーマツト変換回路の動作の説明として画像データの構造を示す略線図である。
【図１８】図１６の動画像符号化／復号化装置におけるエンコーダの構成を示すブロツク図である。
【図１９】エンコーダの予測モード切り替え回路の動作の説明に供する略線図である。
【図２０】エンコーダのＤＣＴモード切り替え回路の動作の説明に供する略線図である。
【図２１】図１６の動画像符号化／復号化装置におけるデコーダの構成を示すブロツク図である。
【図２２】図１６の動画像符号化／復号化装置におけるプリフイルタ／ポストフイルタとして２次元ローパスフイルタの構成を示す接続図である。
【図２３】図２２の２次元ローパスフイルタの係数の説明に供する略線図である。
【符号の説明】
１……符号化装置、２……復号化装置、３……記録媒体（伝送路）、１１……前処理回路、１２、１３……アナログデイジタル（Ａ／Ｄ）変換器、１４、３３……フレームメモリ、１５、３４……輝度信号フレームメモリ、１６、３５……色差信号フレームメモリ、１７、３２……フオーマツト変換回路、１８……エンコーダ、１９……プリフイルタ、２０……記憶装置、２１……係数決定回路、２２……符号化レート決定回路、３１……デコーダ、３６、３７……デイジタルアナログ（Ｄ／Ａ）変換器、３８……後処理回路、５０……動きベクトル検出回路（ＭＶ−Ｄｅｔ）、５１……フレームメモリ、５１ａ……前方原画像部、５１ｂ……原画像部、５１ｃ……後方原画像部、５２……予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）、５３……演算部、５４……予測判定回路、５５……ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）、５６……ＤＣＴ回路、５７……量子化回路（Ｑ）、５８……可変長符号化回路（ＶＬＣ）、５９……送信バツフア（Ｂｕｆｆｅｒ）、６０、８３……逆量子化回路（ＩＱ）、６１、８４……逆ＤＣＴ回路（ＩＤＣＴ）、６２、８５……演算器、６３、８６……フレームメモリ、６３ａ、８６ａ……前方予測画像（Ｆ−Ｐ）、６３ｂ、８６ｂ……後方予測画像（Ｂ−Ｐ）、６４、８７……動き補償回路（Ｍ−ｃｏｍｐ）、６５、８８……ＤＣＴブロツク並べ替え回路、７０……ビツトカウンタ、８１……受信バツフア（Ｂｕｆｆｅｒ）、８２……可変長復号化回路（ＩＶＬＣ）。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１３〜図２３）
発明が解決しようとする課題（図１６）
課題を解決するための手段（図１、図６及び図１０）
作用（図１、図６及び図１０）
実施例
（１）第１実施例（図１〜図５）
（２）第２実施例（図６〜図９）
（３）第３実施例（図１０〜図１２）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動画像符号化方法及び動画像符号化装置に関し、例えば動画像信号を光デイスクや磁気テープ等の記録媒体に記録し再生して表示したり、テレビ会議システム、テレビ電話システム、放送用機器等のように動画像信号を伝送路を介して送信側から受信側に伝送し、受信側においてこれを受信して表示する場合に用いて好適なものである。
【０００３】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。図１６に、動画像信号を符号化して伝送し、これを復号化する動画像符号化／復号化装置の構成を示す。符号化装置１は、入力された映像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送する。そして復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力する。
【０００４】
符号化装置１では、入力映像信号ＶＤが前処理回路１１に入力され、ここで輝度信号と色信号（この場合、色差信号）に分離され、それぞれアナログデイジタル（Ａ／Ｄ）変換器１２、１３でアナログデイジタル変換される。Ａ／Ｄ変換器１２、１３によりアナログデイジタル変換されてデイジタル信号となつた映像信号は、プリフイルタ１９に入力されフイルタ処理された後に、フレームメモリ１４に供給されて記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【０００５】
プリフイルタ１９は符号化効率を向上させ、画質を改善する処理を行なう。これは例えばノイズ除去のフイルタであり、また例えば帯域を制限するためのフイルタである。図２２に、プリフイルタ１９の例として２次元ローパスフイルタの構成を示す。また図２３（Ａ）にこの２次元ローパスフイルタのフイルタ係数を示し、図２３（Ｂ）に入力となる３×３画素ブロツクを示す。ある対象となる画素ｅに対してその周囲の３×３画素ブロツクを抽出する。これに対して次式
【数１】
【０００６】
フオーマツト変換回路１７は、フレームメモリ１４に記憶された画像信号を、符号化器（エンコーダ）１８の入力フオーマツトに変換する。所定のフオーマツトに変換されたデータは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。この符号化アルゴリズムは任意であるが、その１例については詳細を図１８を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【０００７】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されデコードされる。デコーダ３１のデコード（復号化）アルゴリズムは任意で良いが、符号化アルゴリズムと対になつていなければならない。またその１例については詳細を図２１を参照して後述する。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、出力フオーマツトに変換される。
【０００８】
そしてフレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて記憶され、色差信号は色差信号フレームメモリ３５に供給されて記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、ポストフイルタ３９に供給されフイルタ処理された後に、デイジタルアナログ（Ｄ／Ａ）変換器３６、３７によりそれぞれデイジタルアナログ変換され、後処理回路３８に供給されて合成される。そして出力映像信号として図示せぬ例えばＣＲＴなどのデイスプレイに出力され表示される。
【０００９】
ポストフイルタ３９は画質を改善するためのフイルタ処理を行なう。画像を符号化することにより生じた劣化を緩和するために用いられる。例えばブロツク歪みや急峻なエツジの近傍で生じたノイズ、また量子化ノイズを除去するためのフイルタである。ポストフイルタには様々な種類があるが、例えば図２２に示されるようにプリフイルタ１９に用いられたと同様の２次元ローパスフイルタを用いることが出来る。
【００１０】
次に動画像の高能率符号化について説明する。従来ビデオ信号等の動画像データは、情報量が極めて多いため、これを長時間記録再生するには、データ伝送速度が極めて高い記録媒体が必要であつた。従つて磁気テープや光デイスクは、大型のものが必要されていた。また動画像データを伝送路を介して通信する場合や放送に用いる場合でもデータ量が多すぎるために、そのままでは既存の伝送路を用いて通信できないという問題があつた。
【００１１】
そこでより小型の記録媒体にビデオ信号を長時間記録しようとする場合、また通信や放送に用いる場合には、ビデオ信号を高能率符号化して記録すると共にその読み出し信号を能率良く復号化する手段が不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その１つにＭＰＥＧ（Moving Picture Experts Group）方式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ（Discrete Cosine Transform ））符号化を組み合わせたハイブリツド方式である。
【００１２】
動き補償予測符号化は、画像信号の時間軸方向の相関を利用した方法であり、すでに復号再生されてわかつている信号から、現在入力された画像を予測し、そのときの予測誤差だけを伝送することで、符号化に必要な情報量を圧縮する方法である。またＤＣＴ符号化は、画像信号の持つフレーム内２次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。例えば絵柄が平坦で画像信号の自己相関性が高い部分では、ＤＣＴ係数は低周波数成分へ集中分布する。従つてこの場合は低域へ集中分布した係数のみを符号化することで情報量の圧縮が可能となる。ここでは以下、符号化器としてＭＰＥＧ２方式の場合の例を詳述するが、符号化方式はＭＰＥＧ２方式に限らず、任意の符号化方式に対して同様に適用することが可能である。
【００１３】
次にＭＰＥＧ２方式について詳述する。ライン相関を利用すると、画像信号を例えばＤＣＴ処理等により圧縮することができる。またフレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１３に示すように、時刻ｔ1 、ｔ2 、ｔ3 において、フレーム画像ＰＣ1 、ＰＣ2 、ＰＣ3 がそれぞれ発生しているとき、フレーム画像ＰＣ1 とＰＣ2 の画像信号の差を演算してＰＣ12を生成し、またフレーム画像ＰＣ2 とＰＣ3 の差を演算してＰＣ23を生成する。通常時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると差分信号は小さな値のものとなる。そこでこの差分信号を符号化すれば、符号量を圧縮することができる。
【００１４】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで各フレームの画像を、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤの３種類のピクチヤのいずれかのピクチヤとし、画像信号を圧縮符号化する。すなわち例えば図１４に示すように、フレームＦ１〜Ｆ１７までの17フレームの画像信号をグループオブピクチヤ（ＧＯＰ）とし処理の１単位とする。そしてその先頭のフレームＦ１の画像信号はＩピクチヤとして符号化し、２番目のフレームＦ２はＢピクチヤとして、また３番目のフレームＦ３はＰピクチヤとして、それぞれ処理する。以下４番目以降のフレームＦ４〜Ｆ１７は、Ｂピクチヤ又はＰピクチヤとして交互に処理する。
【００１５】
Ｉピクチヤの画像信号は、その１フレーム分の画像信号をそのまま伝送する。これに対してＰピクチヤの画像信号は、基本的に図１４（Ａ）に示すように、それより時間的に先行するＩピクチヤ又はＰピクチヤの画像信号からの差分を伝送する。さらにＢピクチヤの画像信号は、基本的に図１４（Ｂ）に示すように、時間的に先行するフレーム又は後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【００１６】
図１５は、このようにして動画像信号を符号化する方法の原理を示す。最初のフレームＦ１はＩピクチヤとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して第２のフレームＦ２は、Ｂピクチヤとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【００１７】
ただしこのＢピクチヤとしての処理は、さらに細かく説明すると、４種類存在する。第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチヤにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【００１８】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。なお差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、若しくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が差分データと共に伝送される。
【００１９】
またＰピクチヤのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチヤにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００２０】
次に図１８を参照して、エンコーダ１８の構成について説明する。符号化されるべき画像データＢＤは、マクロブロツク単位で動きベクトル検出回路（ＭＶーＤｅｔ）５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従つて、各フレームの画像データを、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤとして処理する。シーケンシヤルに入力される各フレームの画像を、Ｉ、Ｐ又はＢのいずれのピクチヤとして処理するかは、予め定められている（例えば、図１４に示したように、フレームＦ１〜Ｆ１７により構成されるグループオブピクチヤが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、……Ｂ、Ｐとして処理される）。
【００２１】
Ｉピクチヤとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送して記憶され、Ｂピクチヤとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送して記憶され、Ｐピクチヤとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送して記憶される。
【００２２】
また次のタイミングにおいて、さらにＢピクチヤ（フレームＦ４）又はＰピクチヤ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチヤ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチヤ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチヤ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２３】
フレームメモリ５１に記憶された各ピクチヤの信号は、そこから読み出され予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）５２において、フレーム予測モード処理又はフイールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測又は両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でも良い）を生成する。
【００２４】
ここで予測モード切り替え回路５２におけるフレーム予測モードと、フイールド予測モードについて説明する。フレーム予測モードが設定された場合、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロツクＹ［１］〜Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわちこの場合、図１９（Ａ）に示すように、各輝度ブロツクに奇数フイールドのラインのデータと、偶数フイールドのラインのデータとが混在した状態となつている。このフレーム予測モードにおいては、４個の輝度ブロツク（マクロブロツク）を単位として予測が行われ、４個の輝度ブロツクに対して１個の動きベクトルが対応される。
【００２５】
これに対して予測モード切り替え回路５２は、フイールド予測モードにおいては、図１９（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図１９（Ｂ）に示すように、４個の輝度ブロツクのうち輝度ブロツクＹ［１］とＹ［２］を、例えば奇数フイールドのラインのドツトによりのみ構成させ、他の２個の輝度ブロツクＹ［３］とＹ［４］を、偶数フイールドのラインのデータにより構成させて、演算部５３に出力する。この場合２個の輝度ブロツクＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロツクＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２６】
動きベクトル検出回路５０は、フレーム予測モードでの予測誤差の絶対値和と、フイールド予測モードでの予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフイールド予測モードでの予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。ただしこの処理は、実際には動きベクトル検出回路５０で行われる。すなわち動きベクトル検出回路５０は決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２はその信号をそのまま後段の演算部５３に出力する。
【００２７】
なお色差信号はフレーム予測モードの場合、図１９（Ａ）に示すように、奇数フイールドのラインのデータと偶数フイールドのラインのデータとが混在する状態で、演算部５３に供給される。またフイールド予測モードの場合、図１９（Ｂ）に示すように、各色差ブロツクＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロツクＹ［１］、Ｙ［２］に対応する奇数フイールドの色差信号とされ、下半分（４ライン）が、輝度ブロツクＹ［３］、Ｙ［４］に対応する偶数フイールドの色差信号とされる。
【００２８】
また動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測又は両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。すなわち画像内予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロツクの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また前方予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijと、予測画像のマクロブロツクの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。
【００２９】
また後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インタ予測の予測誤差の絶対値和として選択する。さらにこのインタ予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モード（P-mode）として選択する。すなわち画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかつたモードが設定される。
【００３０】
このように動きベクトル検出回路５０は、参照画像のマクロブロツクの信号を、フレーム又はフイールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モード（P-mode）に対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路（ＶＬＣ）５８と動き補償回路（Ｍ−ｃｏｍｐ）６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３１】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチヤの画像データを読み出しているとき、予測モードとしてフレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイツチ５３ｄを接点ａ側に切り替える。これによりＩピクチヤの画像データが、ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）５５に入力される。このＤＣＴモード切り替え回路５５は、図２０（Ａ）又は（Ｂ）に示すように、４個の輝度ブロツクのデータを、奇数フイールドのラインと偶数フイールドのラインが混在する状態（フレームＤＣＴモード）、または分離された状態（フイールドＤＣＴモード）のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３２】
すなわちＤＣＴモード切り替え回路５５は、奇数フイールドと偶数フイールドのデータを混在してＤＣＴ処理した場合の符号化効率と、分離した状態でＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。例えば入力された信号を、図２０（Ａ）に示すように、奇数フイールドと偶数フイールドのラインが混在する構成とし、上下に隣接する奇数フイールドのラインの信号と偶数フイールドのラインの信号の差を演算し、さらにその絶対値の和（又は自乗和）を求める。
【００３３】
また入力された信号を、図２０（Ｂ）に示すように、奇数フイールドと偶数フイールドのラインが分離した構成とし、上下に隣接する奇数フイールドのライン同士の信号の差と、偶数フイールドのライン同士の信号の差を演算し、それぞれの絶対値の和（又は自乗和）を求める。さらに両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち前者の方が小さければフレームＤＣＴモードを設定し、後者の方が小さければフイールドＤＣＴモードを設定する。そして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力すると共に、選択したＤＣＴモードを示すＤＣＴフラグ（DCT-FLG ）を、可変長符号化回路５８と動き補償回路６４に出力する。
【００３４】
予測モード切り替え回路５２での予測モード（図１９）と、このＤＣＴモード切り替え回路５５でのＤＣＴモード（図２０）を比較して明らかなように、輝度ブロツクに関しては、両者の各モードにおけるデータ構造は実質的に同一である。予測モード切り替え回路５２でフレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５でもフレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２でフイールド予測モード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５でも、フイールドＤＣＴモード（奇数フイールドと偶数フイールドのデータが分離されたモード）が選択される可能性が高い。
【００３５】
しかしながら必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２では、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５では、符号化効率が良好となるようにモードが決定される。ＤＣＴモード切り替え回路５５より出力されたＩピクチヤの画像データは、ＤＣＴ回路５６に入力されてＤＣＴ処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は量子化回路（Ｑ）５７に入力され、送信バツフア（Ｂｕｆｆｅｒ）５９のデータ蓄積量（量子化制御信号（B-full））に対応した量子化スケール（QS）で量子化された後、可変長符号化回路５８に入力される。
【００３６】
可変長符号化回路５８は量子化回路５７より供給される量子化スケール（QS）に対応して、量子化回路５７より供給される画像データ（この場合、Ｉピクチヤのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バツフア５９に出力する。可変長符号化回路５８にはまた、量子化回路５７より量子化スケール（QS）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測又は両方向予測のいずれが設定されたかを示すモード（P-mode））、動きベクトル検出回路５０より動きベクトル（MV）、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフイールド予測モードのいずれが設定されたかを示すフラグ（P-FLG)）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフイールドＤＣＴモードのいずれが設定されたかを示すフラグ（DCT-FLG)）が入力されており、これらも可変長符号化される。
【００３７】
送信バツフア５９は入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バツフア５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を大きくすることにより、量子化データのデータ量を低下させる。またこれとは逆に、データ残量が許容下限値まで減少すると、送信バツフア５９は量子化制御信号（B-full）によつて量子化回路５７の量子化スケール（QS）を小さくすることにより、量子化データのデータ量を増大させる。このようにして送信バツフア５９のオーバフロー又はアンダフローが防止される。そして送信バツフア５９に蓄積されたデータは、所定のタイミングで読み出されて伝送路に出力され、例えば記録媒体３に記録される。
【００３８】
一方量子化回路５７より出力されたＩピクチヤのデータは、逆量子化回路（ＩＱ）６０に入力され、量子化回路５７より供給される量子化スケール（QS）に対応して逆量子化される。逆量子化回路６０の出力は、逆ＤＣＴ（ＩＤＣＴ）回路６１に入力され逆ＤＣＴ処理された後、ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）６５により、各ＤＣＴモード（フレーム／フイールド）に対してブロツクの並び替えが行われる。ブロツク並び替え回路６５の出力は、演算器６２を介してフレームメモリ６３の前方予測画像部（Ｆ−Ｐ）６３ａに供給され記憶される。
【００３９】
動きベクトル検出回路５０は、シーケンシヤルに入力される各フレームの画像データを、例えばＩ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂ……のピクチヤとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチヤとして処理した後、次に入力されたフレームの画像をＢピクチヤとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチヤとして処理する。Ｂピクチヤは後方予測を伴うため、後方予測画像としてのＰピクチヤが先に用意されていないと、復号することができないためである。
【００４０】
そこで動きベクトル検出回路５０は、Ｉピクチヤの処理の次に、後方原画像部５１ｃに記憶されているＰピクチヤの画像データの処理を開始する。そして上述した場合と同様に、マクロブロツク単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチヤのマクロブロツクの予測誤差の絶対値和に対応して、フレーム／フイールド予測モード又は画像内予測、前方予測、後方予測若しくは両方向予測の予測モードを設定する。
【００４１】
演算部５３はフレーム内予測モードが設定されたとき、スイツチ５３ｄを上述したように接点ａ側に切り替える。従つてこのデータは、Ｉピクチヤのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこのデータは、逆量子化回路６０、逆ＤＣＴ回路６１、ブロツク並び替え回路６５、演算器６２を介してフレームメモリ６３の後方予測画像部（Ｂ−Ｐ）６３ｂに供給され記憶される。
【００４２】
前方予測モードの時、スイツチ５３ｄが接点ｂに切り替えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（この場合Ｉピクチヤの画像）データが読み出され、動き補償回路６４により動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４３】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給されたこのマクロブロツクに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。またこの差分データは、逆量子化回路６０、逆ＤＣＴ回路６１により局所的に復号され、ブロツク並び替え回路６５を介して演算器６２に入力される。
【００４４】
この演算器６２にはまた演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、逆ＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチヤの画像データが得られる。このＰピクチヤの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され記憶される。
【００４５】
動きベクトル検出回路５０は、このようにＩピクチヤとＰピクチヤのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチヤの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロツク単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フイールドモードを設定し、また予測モードをフレーム内予測モード、前方予測モード、後方予測モード又は両方向予測モードのいずれかに設定する。上述したように、フレーム内予測モード又は前方予測モードの時、スイツチ５３ｄは接点ａ又はｂに切り替えられる。このときＰピクチヤにおける場合と同様の処理が行われ、データが伝送される。
【００４６】
これに対して、後方予測モード又は両方向予測モードが設定された時、スイツチ５３ｄは、接点ｃ又はｄにそれぞれ切り替えられる。スイツチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４７】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データを減算しその差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００４８】
スイツチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（この場合、Ｉピクチヤの画像）データと、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４９】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは動きベクトル検出回路５０より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データはＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。Ｂピクチヤの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００５０】
なおフレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。以上の説明では、輝度ブロツクを中心として説明をしたが、色差ブロツクについても同様に、図１９及び図２０に示すマクロブロツクを単位として処理され伝送される。なお色差ブロツクを処理する場合の動きベクトルは、対応する輝度ブロツクの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００５１】
次に図２１に、図１６のデコーダ３１の構成を示す。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり再生装置で再生され、受信バツフア（Ｂｕｆｆｅｒ）８１に一時記憶された後、復号回路９０の可変長復号化回路（ＩＶＬＣ）８２に供給される。可変長復号化回路８２は、受信バツフア８１より供給されたデータを可変長復号化し、動きベクトル（MV）、予測モード（P-mode）及び予測フラグ（P-FLG ）を動き補償回路（Ｍ−ｃｏｍｐ）８７に供給する。またＤＣＴフラグ（DCT-FLG ）を逆ブロツク並び替え回路（Ｂｌｏｃｋ Ｃｈａｎｇｅ）８８に、量子化スケール（QS）を逆量子化回路（ＩＱ）８３にそれぞれ出力すると共に、復号された画像データを逆量子化回路８３に出力する。
【００５２】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化スケール（QS）に従つて逆量子化し、逆ＤＣＴ回路（ＩＤＣＴ）８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路８４で逆ＤＣＴ処理され、ブロツク並べ替え回路８８を通じて演算器８５に供給される。逆ＤＣＴ回路８４より供給された画像データが、Ｉピクチヤのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（Ｐ又はＢピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部（Ｆ−Ｐ）８６ａに供給されて記憶される。またこのデータはフオーマツト変換回路３２（図１６）に出力される。
【００５３】
逆ＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチヤのデータであつて、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチヤのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして演算器８５において、逆ＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され出力される。この加算されたデータ、すなわち復号されたＰピクチヤのデータは、演算器８５に後に入力される画像データ（Ｂピクチヤ又はＰピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部（Ｂ−Ｐ）８６ｂに供給されて記憶される。
【００５４】
Ｐピクチヤのデータであつても画像内予測モードのデータは、Ｉピクチヤのデータと同様に演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。このＰピクチヤは、次のＢピクチヤの次に表示されるべき画像であるため、この時点ではまだフオーマツト変換回路３２へ出力されない（上述したように、Ｂピクチヤの後に入力されたＰピクチヤが、Ｂピクチヤより先に処理され、伝送されている）。
【００５５】
逆ＤＣＴ回路８４より供給された画像データが、Ｂピクチヤのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチヤの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データ（後方予測モードの場合）、またはその両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００５６】
このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において逆ＤＣＴ回路８４の出力と加算される。この加算出力はフオーマツト変換回路３２に出力される。ただしこの加算出力はＢピクチヤのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。Ｂピクチヤの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。ただしこのとき、動き補償は行われない。
【００５７】
なおこのデコーダ３１には、図１８のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は動き補償回路８７が実行する。また以上の説明では、輝度信号の処理について述べたが、色差信号の処理も同様に行われる。ただしこの場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。
【００５８】
【発明が解決しようとする課題】
ところで図１６に上述したような動画像の符号化装置１において、プリフイルタ１９は入力画像信号に含まれるノイズを除去し、また符号化装置１における符号化効率を高めるために、また所定量まで情報量を削減するために用いられる。プリフイルタ１９には様々な種類、特性のフイルタが存在するが、どのフイルタが最適であるかは、入力画像信号の性質や符号化時の動画像符号化装置の状態及び記録媒体、伝送路に依存する。
【００５９】
例えば符号化ビツトレートが低い場合には、復号された画像の劣化が顕著であり、これを補うために符号化効率を改善するためのフイルタを強くかける必要がある。一方符号化ビツトレートが高い場合、復号化された画像はそのままで高画質を維持しており、低ビツトレートの場合と同一のフイルタを用いると、それにより画質を劣化させることになる。こののように、従来の動画像のフイルタ処理や動画像符号化方法によれば、プリフイルタが必ずしも最適なフイルタを用いることができないという問題があつた。
【００６０】
本発明は以上の点を考慮してなされたもので、動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る動画像符号化方法を実現しようとするものである。
【００６１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、発生ビツト量測定後動画像信号に対して符号化を施す符号化ステツプと、符号化ステツプにより符号化が施される動画像信号に対して、発生ビツト量測定ステツプにより測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプとを設けるようにした。
【００６２】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、発生ビツト量測定後動画像信号に対して符号化を施す符号化ステツプと、符号化ステツプにより符号化が施される動画像信号に対して、発生ビツト量測定ステツプにより測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプとを設け、符号化ステツプでは、発生ビツト量及びフイルタ処理で使用するフイルタ特性に応じて符号化ビツトレートを決定し可変レートで動画像信号を符号化するようにした。
【００６３】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、発生ビツト量測定後動画像信号に対して符号化を施す符号化手段と、符号化手段により符号化が施される動画像信号に対して、発生ビツト量測定手段により測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段とを設けるようにした。
【００６４】
また本発明においては、動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、発生ビツト量測定後動画像信号に対して符号化を施す符号化手段と、符号化手段により符号化が施される動画像信号に対して、発生ビツト量測定手段により測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段とを設け、符号化手段は、発生ビツト量及びフイルタ処理で使用するフイルタ特性に応じて符号化ビツトレートを決定し可変レートで動画像信号を符号化するようにした。
【００６６】
【作用】
測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すようにしたことにより、各フレーム又は各ＧＯＰの符号化難易度に応じて最適なフイルタ処理を施しておくことができる。
【００６７】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００６８】
（１）第１実施例
図１に本発明の第１の実施例の動画像符号化装置及び復号化装置を示す。この実施例は、符号化ビツトレートが固定の場合である（固定レート符号化）。まず符号化装置１においては、入力映像信号ＶＤが前処理回路１１に入力され、ここで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれアナログデイジタル（Ａ／Ｄ）変換器１２、１３でアナログデイジタル変換される。
【００６９】
Ａ／Ｄ変換器１２、１３によりアナログデイジタル変換されてデイジタル信号となつた映像信号は、プリフイルタ１９に入力されてフイルタ処理された後に、フレームメモリ１４に供給され記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。ここで入力画像信号が輝度信号及び色信号とに分離されたデイジタル画像信号である場合、前処理回路１１及びＡ／Ｄ変換器１２、１３は必要ない。プリフイルタ１９は符号化効率を向上させるための処理を行なう。プリフイルタ１９については後で詳述する。
【００７０】
フオーマツト変換回路１７は、フレームメモリ１４に記憶されたフレームフオーマツトの信号を、ブロツクフオーマツトの信号に変換する。すなわち、図１７に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドツトのラインがＶライン集められたフレームフオーマツトのデータとされている。フオーマツト変換回路１７は、この１フレームの信号を、16ラインを単位としてＭ個のスライスに区分する。
【００７１】
そして各スライスは、Ｍ個のマクロブロツクに分割される。各マクロブロツクは、16×16個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの16×16ドツトの輝度信号には、８×８ドツトのＣｂ信号と、８×８ドツトのＣｒ信号が対応される。このようにブロツクフオーマツトに変換されたデータは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。エンコードの詳細については、図２を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００７２】
この実施例における符号化装置１は、画像信号を符号化する際に複数回、符号化装置１に画像を入力し、最後の１回のみビツトストリームを出力する。それ以前は符号化装置は、入力画像信号の性質を測る測定装置の役割を果たすことになる。この実施例ではその１例として２回にわけて符号化を行なう場合（２パスコーデイング）を示す。３回以上の場合も全く同様である。
【００７３】
符号化装置１の外部から符号化モード信号が入力される。この信号は、１回目の符号化であるか、２回目の符号化であるかを示すフラグ信号である。この符号化モード信号は、例えば符号化装置１に付属のスイツチにより入力される。また変形としてこの符号化モード信号はパソコンなどの外部装置から入力されても良い。符号化モード信号の一例について説明する。符号化を２回行なう場合、符号化モード信号は１ビツトの信号で十分である。例えば符号化モード信号が「０」である場合、１回目の符号化であることを示し、また「１」である場合、２回目の符号化であることを示す。符号化モード信号は２ビツト以上の信号でも良いが、この場合も１ビツトの場合と同様である。
【００７４】
まず１回目の符号化について説明する。エンコーダは、符号化モード信号が１回目の符号化であることを示す場合、量子化スケール（QS）を固定にして符号化する。この時発生ビツト量difficultyを測定する。この発生ビツト量difficultyの測定は、例えばフレーム毎に行なわれる。また例えばＧＯＰ毎に行なつても良い。このとき測定された発生ビツト量difficultyは記憶装置２０に伝送され記録される。
【００７５】
量子化スケール（QS）が固定の場合の発生ビツト量difficultyは符号化（圧縮）の難易度を示すパラメータとなる。すなわち同じ量子化スケール（QS）で発生ビツト量の少ない画像は符号化（圧縮）が容易な画像であり、発生ビツト量difficultyの多い画像は符号化（圧縮）が難しい画像である。このとき符号化されたビツトストリームは出力されない。またこの時、プリフイルタ１９は処理を行なわず、入力信号をそのまま出力する。またこの変形として、常に一定のフイルタ係数を用いて処理を行なつても良い。
【００７６】
１回目の符号化が終了した後、係数決定回路２１はプリフイルタ１９で使用するフイルタの係数を決定する。係数決定回路２１は符号化ビツトレート及び発生ビツト量difficultyからフイルタの特性を決定する。フイルタ係数は予め外部で設計される。この実施例では予めＮ個のフイルタ係数が設計されている場合について説明する。
【００７７】
係数決定回路２１は予め設計されたＮ個のフイルタ係数から最適なフイルタ係数を選択し、フイルタ係数信号を出力する。フイルタ係数信号は各フレーム毎に設定される。発生ビツト量difficultyの測定がＧＯＰ毎に行なわれた場合、フイルタ係数信号はＧＯＰ毎に設定される。すなわちこの場合そのＧＯＰ中の各フレームではフイルタ係数信号は同一の値となる。フイルタ係数信号は記憶装置２０に記録される。次に述べる２回目の符号化の際に読み出され、プリフイルタ１９に出力される。
【００７８】
次にフイルタ係数決定方法を説明する。係数決定回路２１は各フレームの発生ビツト量difficulty及びそのフレームに割り当てられたビツト量alloc-bit からフイルタ係数を決定する。各フレームに割り当てられるビツト量について説明する。固定レート符号化の場合、符号化ビツトレートbit-rateは１秒あたりのビツト量を示す。フレームレートframe-rateは１秒あたりのフレーム数を示す。従つて各フレームに割り当てられるビツト量alloc-bit は、次式
【数２】
【００７９】
発生ビツト量difficultyの値が同じ場合においても、割り当てビツト量alloc-bit が異なる場合、符号化の難易度が変わつてくる。発生ビツト量difficultyが高くてもビツト量alloc-bit が十分大きいときには弱いフイルタで十分であるが、ビツト量alloc-bit が小さい場合、強いフイルタをかけなければならない。このときその閾値は発生ビツト量difficultyによつて変化する。図３に、発生ビツト量difficulty、ビツト量alloc-bit 及び選択されるフイルタ係数の例を示す。フイルタ係数はフイルタＦ１からＦＮまでのＮ個ある。このときＦ１が最も弱く、ＦＮが最も強いフイルタである。フイルタ係数Ｆ１からＦＮの周波数特性の例を図４に示す。ここで弱いフイルタとは、周波数通過域が最も広いフイルタであり、強いフイルタとは周波数通過域が最も狭いフイルタである。
【００８０】
ここで係数決定回路２１は、１回目の符号化後に処理を行なつているが、その変形として１回目の符号化を行ないながら同時に処理を行ない、フイルタ係数信号を記憶装置２０に記録しても良い。また係数決定回路２１はパソコンなどの外部装置によつて実現しても良い。フイルタ係数信号はＮ個のフイルタ係数のどれを用いるかを示すフラグである。
【００８１】
次に２回目の符号化について説明する。エンコーダは符号化モード信号が２回目の符号化であることを示す場合、符号化ビツトレートが一定になるように量子化スケール（QS）を制御しながら符号化を行なう。この時プリフイルタ１９は記憶装置２０に記憶されている各フレームのフイルタ係数信号を読み込み、その発生ビツト量に対応してフイルタ係数を変化させ、フイルタ処理を行なう。したがつて各フレームに対して常に最適なフイルタ処理が行なわれることになる。
【００８２】
次にプリフイルタ１９について、図５を用いて説明する。プリフイルタ１９は例えばフイルタ用ＤＳＰを用いて実現することができる。プリフイルタ１９の構成はフイルタ係数の制御方法の違いから、例えば次の２通りがある。まず第１のプリフイルタ構成について図５（Ａ）を用いて説明する。第１のプリフイルタ構成では各フレーム毎にフイルタ係数がフイルタ用ＤＳＰに読み込まれる。この場合、フイルタ係数は外部から入力される。
【００８３】
またこの変形として予め記憶装置２０にフイルタ係数を記録しておき、記憶装置２０からフイルタ係数信号ＦＣと共に読み込んでも良い。フイルタ用ＤＳＰはフイルタ係数信号ＦＣを受け取ると、そのフイルタ係数信号ＦＣが示すフイルタ係数を読み込む。第２のフイルタ構成を図５（Ｂ）に示す。第２のプリフイルタ構成では符号化装置全体の初期化時にフイルタ係数を外部から読み込み、メモリ（ＲＡＭ）に記憶する。この場合上述のようにＮ個のフイルタ係数が存在する場合、Ｎ個のフイルタ係数全てをＲＡＭに記憶する。フイルタ係数信号ＦＣが入力されると所定のフイルタ係数をＲＡＭから読み込む。
【００８４】
次にエンコーダ１８を、図２を用いて説明する。エンコーダの詳細は図１８について上述した従来のものと同様であるが、以下の内容が異なる。第１にこの実施例におけるエンコーダはビツトカウンタ（Ｂｉｔ−ｃｎｔ）７０を持つ。可変長符号化回路５８から出力されるビツトストリームはビツトカウンタ７０に入力される。ビツトカウンタ７０ではフレーム毎に発生ビツト量difficultyが測定される。測定された発生ビツト量difficultyは、図１における記憶装置２０に入力される。
【００８５】
第２にこの実施例におけるエンコーダは、外部より符号化モード(E-mode)が量子化回路５７及び送信バツフア５９に入力される。符号化モードが「０」の場合、符号化は１回目の符号化であることを示し、この場合量子化回路５７は量子化スケール（QS）を固定値にする。また送信バツフア５９はビツトストリームを出力しない。符号化モードが「１」の場合、符号化は２回目の符号化であることを示し、量子化回路５７は符号化ビツトレートに従つて、通常通り量子化スケール（QS）の制御を行なう。また送信バツフア５９はビツトストリームを図１における記録媒体又は伝送路に出力する。
【００８６】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されてデコードされる。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、ブロツクフオーマツトからフレームフオーマツトに変換される。そしてフレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて記憶され、色差信号は色差信号フレームメモリ３５に供給されて記憶される。
【００８７】
輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、後置フイルタによつて処理された後デイジタルアナログ（Ｄ／Ａ）変換器３６、３７によりそれぞれデイジタルアナログ変換され、後処理回路３８に供給されて合成される。そして図示せぬ例えばＣＲＴなどのデイスプレイに出力されて表示される。
【００８８】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにしたことにより、動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。
【００８９】
（２）第２実施例
図６に本発明の第２実施例の動画像符号化装置及び復号化装置の構成を示す。この第２実施例は符号化ビツトレートが可変の場合である（可変レート符号化）。この実施例では以下に述べる事項を除き、上述した第１実施例と同様である。すなわち第２実施例における符号化装置では符号化レート決定回路２２を有する。符号化レート決定回路２２は１回目の符号化の後、各フレーム又はＧＯＰに割り当てるビツト量を決定する。
【００９０】
また第１実施例においては、各フレームに割り当てられるビツト量alloc-bit は、（２）式に示すように、常に一定であつたが、この実施例では適応的に変化する。各フレームに割り当てられるビツト量alloc-bit は発生ビツト量difficulty及びシーケンス中の全フレーム数から計算される。発生ビツト量difficultyがＧＯＰ毎に計測されている場合は、ビツト量alloc-bit はＧＯＰ毎に設定され、また発生ビツト量difficultyがフレーム毎に測定されている場合には、ビツト量alloc-bit はフレーム単位で設定される。
【００９１】
ここではＧＯＰ毎に発生ビツト量difficultyが測定された場合について述べるが、フレーム単位で測定された場合も全く同様である。図７に１回目の符号化によつて測定された発生ビツト量difficultyの時間変化を示す。１つのシーケンス中でも発生ビツト量difficultyは、例えば図７のように変動する。例えば動きの早いシーンでは、フレーム間相関が低くなるため発生ビツト量difficultyは高くなり、また逆に動きの遅いシーンでは発生ビツト量difficultyは低くなる。
【００９２】
１シーケンスにわたつて発生ビツト量difficultyの頻度分布を求めたのが図８である。曲線１が頻度分布を示す。この分布は画像シーケンスによつてことなる。ここで発生ビツト量difficultyがｄである確率をｈ(d) 、発生ビツト量difficultyがｄであるＧＯＰに割り当てられるビツトレートをＲ(d) 、平均符号化ビツトレートをAVR とすると、次式
【数３】
【数４】
【００９３】
ここでｉ番目のＧＯＰの発生ビツト量difficultyをｄ-iとし、シーケンス中の全ＧＯＰの発生ビツト量difficultyの和をｄ-allとする。すなわち、次式
【数５】
【数６】
【００９４】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにした。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。これにより、第１実施例と同様に動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。
【００９５】
（３）第３実施例
図１０に本発明の第３実施例の動画像符号化装置及び復号化装置の構成を示す。この実施例は第２実施例と同様であるが、符号化レート決定回路２２が異なる。符号化レート決定回路２２は発生ビツト量difficultyおよびフイルタ係数信号から符号化ビツトレートを決定する。画像信号にフイルタ処理を行なうと、符号化効率が向上し、同一画像であつても発生ビツト量difficultyは減少する。この減少の度合は用いたフイルタと画像信号に依存する。予め設計したＮ個のフイルタ係数Ｆ１〜ＦＮが発生ビツト量difficultyを、例えば図１１のように減少するものとする。
【００９６】
上述のようにフイルタ係数Ｆ１が最も弱いフイルタであり、フイルタ係数ＦＮが最も強いフイルタである。図１１に示す関係は予め同一画像についてフイルタ係数を変化させ、発生ビツト量difficultyを計測することで得ることができる。図１２にフイルタ処理を行なうことにより、発生ビツト量difficultyの頻度分布がどのように変化するかを示す。一般に分布は発生ビツト量difficultyが低い方向に変化する。あるフイルタを用いたときに、発生ビツト量difficultyがどれくらい減少するかは図１１より求めることができる。
【００９７】
あるフイルタＦＸを用いた時の発生ビツト量difficultyの減少度をｆ(FX)とする。ｆ(FX)はフイルタ無しの場合、１であり、０から１の値をとる。発生ビツト量difficultyがｄの画像がフイルタを用いることにより、ｄ′になつたとすると次式
【数７】
【００９８】
ここで、発生ビツト量difficultyがｄ′である確率をｈ′(d′) 、発生ビツト量difficultyがｄ′であるＧＯＰに割り当てられるビツトレートをＲ′(d′) 、平均符号化ビツトレートをAVR とすると、次式
【数８】
【数９】
【００９９】
ここでｉ番目のＧＯＰの発生ビツト量difficultyをｄ-iとし、ｉ番目のＧＯＰに用いるフイルタをＦ-i、シーケンス中の全ＧＯＰのフイルタ後の発生ビツト量difficultyの和をｄ-allとする。すなわち、次式
【数１０】
【数１１】
【０１００】
このようにして割り当てられたビツトレートはフイルタ後の画像について常に最適なレートとなる。またこれにより、符号化の容易なシーンに使用されるビツトを減少させ、符号化が難しく劣化の目立つシーンにビツトを多く割り当てることが可能となる。
【０１０１】
以上の構成によれば、動画像を符号化する際に複数回符号化処理を行い符号化の際の符号化パラメータの最適化、動画像信号の性質を測定し、最終回の符号化処理のみ、符号化パラメータや測定した動画像信号の性質を用いてフイルタ特性を最適化してフイルタ処理を行ない、実際に符号化信号（ビツトストリーム）を生成し出力するようにした。また可変レートで符号化を行なう際にも、符号化ビツトレートに応じて最適なフイルタ処理を行なうようにした。これにより、第２実施例と同様に動画像の性質や符号化時の条件により適応的にフイルタを切替え、符号化の効率を向上し得る。
【０１０２】
【発明の効果】
上述のように本発明によれば、測定した発生ビツト量が多く、割り当てられる割当ビツト量が少ないフレーム又はＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、発生ビツト量が少なく、割当ビツト量が多いフレーム又はＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すようにしたことにより、各フレーム又は各ＧＯＰの符号化難易度に応じて最適なフイルタ処理を施しておくことができる。この結果、符合化の効率を向上することができる。
【０１０３】
また、発生ビツト量及びフイルタ処理で使用されるフイルタ特性を考慮して符号化ビツトレートを決定することができ、この結果、符合化の効率を向上することができる。
【図面の簡単な説明】
【図１】本発明による第１実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図２】エンコーダの構成を示すブロツク図である。
【図３】フイルタ係数の決定方法の説明に供する特性曲線図である。
【図４】フイルタ係数の周波数特性の説明に供する特性曲線図である。
【図５】可変係数フイルタ回路の構成を示すブロツク図である。
【図６】本発明による第２実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図７】発生ビツト量の時間分布の説明に供する特性曲線図である。
【図８】発生ビツト量の頻度分布と割り当てられたビツトレートの説明に供する特性曲線図である。
【図９】符号化ビツトレートの説明に供する特性曲線図である。
【図１０】本発明による第３実施例の動画像符号化／復号化装置の構成を示すブロツク図である。
【図１１】フイルタ特性と発生ビツト量の減少の説明に供する特性曲線図である。
【図１２】フイルタ処理後の発生ビツト量の頻度分布の説明に供する特性曲線図である。
【図１３】フレーム相関を利用した動画像信号の高能率符号化の原理の説明に供する略線図である。
【図１４】動画像信号を圧縮する場合のピクチヤタイプの説明に供する略線図である。
【図１５】動画像信号符号化方法の原理の説明に供する略線図である。
【図１６】従来の動画像符号化／復号化装置の構成を示すブロツク図である。
【図１７】フオーマツト変換回路の動作の説明として画像データの構造を示す略線図である。
【図１８】図１６の動画像符号化／復号化装置におけるエンコーダの構成を示すブロツク図である。
【図１９】エンコーダの予測モード切り替え回路の動作の説明に供する略線図である。
【図２０】エンコーダのＤＣＴモード切り替え回路の動作の説明に供する略線図である。
【図２１】図１６の動画像符号化／復号化装置におけるデコーダの構成を示すブロツク図である。
【図２２】図１６の動画像符号化／復号化装置におけるプリフイルタ／ポストフイルタとして２次元ローパスフイルタの構成を示す接続図である。
【図２３】図２２の２次元ローパスフイルタの係数の説明に供する略線図である。
【符号の説明】
１……符号化装置、２……復号化装置、３……記録媒体（伝送路）、１１……前処理回路、１２、１３……アナログデイジタル（Ａ／Ｄ）変換器、１４、３３……フレームメモリ、１５、３４……輝度信号フレームメモリ、１６、３５……色差信号フレームメモリ、１７、３２……フオーマツト変換回路、１８……エンコーダ、１９……プリフイルタ、２０……記憶装置、２１……係数決定回路、２２……符号化レート決定回路、３１……デコーダ、３６、３７……デイジタルアナログ（Ｄ／Ａ）変換器、３８……後処理回路、５０……動きベクトル検出回路（ＭＶ−Ｄｅｔ）、５１……フレームメモリ、５１ａ……前方原画像部、５１ｂ……原画像部、５１ｃ……後方原画像部、５２……予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）、５３……演算部、５４……予測判定回路、５５……ＤＣＴモード切り替え回路（ＤＣＴ ＣＴＬ）、５６……ＤＣＴ回路、５７……量子化回路（Ｑ）、５８……可変長符号化回路（ＶＬＣ）、５９……送信バツフア（Ｂｕｆｆｅｒ）、６０、８３……逆量子化回路（ＩＱ）、６１、８４……逆ＤＣＴ回路（ＩＤＣＴ）、６２、８５……演算器、６３、８６……フレームメモリ、６３ａ、８６ａ……前方予測画像（Ｆ−Ｐ）、６３ｂ、８６ｂ……後方予測画像（Ｂ−Ｐ）、６４、８７……動き補償回路（Ｍ−ｃｏｍｐ）、６５、８８……ＤＣＴブロツク並べ替え回路、７０……ビツトカウンタ、８１……受信バツフア（Ｂｕｆｆｅｒ）、８２……可変長復号化回路（ＩＶＬＣ）。
Claims (4)
- 動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、
上記動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、
上記発生ビツト量測定後上記動画像信号に対して符号化を施す符号化ステツプと、
上記符号化ステツプにより符号化が施される上記動画像信号に対して、上記発生ビツト量測定ステツプにより測定した上記発生ビツト量が多く、割り当てられる割当ビツト量が少ない上記フレーム又は上記ＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、上記発生ビツト量が少なく、上記割当ビツト量が多い上記フレーム又は上記ＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプと
を具えることを特徴とする動画像符号化方法。 - 動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化方法において、
上記動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定ステツプと、
上記発生ビツト量測定後上記動画像信号に対して符号化を施す符号化ステツプと、
上記符号化ステツプにより符号化が施される上記動画像信号に対して、上記発生ビツト量測定ステツプにより測定した上記発生ビツト量が多く、割り当てられる割当ビツト量が少ない上記フレーム又は上記ＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、上記発生ビツト量が少なく、上記割当ビツト量が多い上記フレーム又は上記ＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理ステツプと
を有し、
上記符号化ステツプでは、上記発生ビツト量及び上記フイルタ処理で使用する上記フイルタ特性に応じて符号化ビツトレートを決定し可変レートで上記動画像信号を符号化する
ことを特徴とする動画像符号化方法。 - 動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、
上記動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、
上記発生ビツト量測定後上記動画像信号に対して符号化を施す符号化手段と、
上記符号化手段により符号化が施される上記動画像信号に対して、上記発生ビツト量測定手段により測定した上記発生ビツト量が多く、割り当てられる割当ビツト量が少ない上記フレーム又は上記ＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、上記発生ビツト量が少なく、上記割当ビツト量が多い上記フレーム又は上記ＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段と
を具えることを特徴とする動画像符号化装置。 - 動画像信号を所定の予測画像信号を用いて符号化し、符号化された信号に所定の演算を施し、当該演算により得られた信号を量子化し、量子化した信号を可変長符号化する動画像符号化装置において、
上記動画像信号に対して量子化スケールを固定した符号化を施すことによりフレーム又はＧＯＰごとの発生ビツト量を測定する発生ビツト量測定手段と、
上記発生ビツト量測定後上記動画像信号に対して符号化を施す符号化手段と、
上記符号化手段により符号化が施される上記動画像信号に対して、上記発生ビツト量測定手段により測定した上記発生ビツト量が多く、割り当てられる割当ビツト量が少ない上記フレーム又は上記ＧＯＰは、フイルタ特性を強くしたフイルタ処理を施し、上記発生ビツト量が少なく、上記割当ビツト量が多い上記フレーム又は上記ＧＯＰは、フイルタ特性を弱くしたフイルタ処理を施すフイルタ処理手段と
を有し、
上記符号化手段は、上記発生ビツト量及び上記フイルタ処理で使用する上記フイルタ特性に応じて符号化ビツトレートを決定し可変レートで上記動画像信号を符号化する
ことを特徴とする動画像符号化装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23233494A JP3911035B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び動画像符号化装置 |
| US08/520,841 US5642165A (en) | 1994-08-31 | 1995-08-29 | Motion picture encoding method and apparatus |
| DE1995627176 DE69527176T2 (de) | 1994-08-31 | 1995-08-30 | Verfahren und Vorrichtung zur Kodierung von Laufbildern |
| EP19950306033 EP0700213B1 (en) | 1994-08-31 | 1995-08-30 | Motion picture encoding method and apparatus |
| KR1019950028879A KR100396928B1 (ko) | 1994-08-31 | 1995-08-31 | 동화상부호화방법및동화상부호화장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23233494A JP3911035B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0879766A JPH0879766A (ja) | 1996-03-22 |
| JP3911035B2 true JP3911035B2 (ja) | 2007-05-09 |
Family
ID=16937574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23233494A Expired - Fee Related JP3911035B2 (ja) | 1994-08-31 | 1994-08-31 | 動画像符号化方法及び動画像符号化装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5642165A (ja) |
| EP (1) | EP0700213B1 (ja) |
| JP (1) | JP3911035B2 (ja) |
| KR (1) | KR100396928B1 (ja) |
| DE (1) | DE69527176T2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3353604B2 (ja) * | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
| US6256068B1 (en) * | 1996-05-08 | 2001-07-03 | Matsushita Electric Industrial Co., Ltd. | Image data format conversion apparatus |
| JP3934712B2 (ja) * | 1996-09-27 | 2007-06-20 | 日本ビクター株式会社 | 映像信号符号化方法及び装置 |
| DE69630122T2 (de) * | 1996-11-04 | 2004-05-27 | Alcatel | Verfahren und Vorrichtung zur Vorfilterung von Videobildern |
| JP3588970B2 (ja) * | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
| KR100529483B1 (ko) * | 1997-05-28 | 2005-11-22 | 소니 가부시끼 가이샤 | 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치 |
| US6426975B1 (en) | 1997-07-25 | 2002-07-30 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus and data recording medium |
| DE19737835C2 (de) * | 1997-08-29 | 1999-07-15 | Siemens Ag | Verfahren zum Komprimieren von Bildinformationen |
| US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
| US6327307B1 (en) * | 1998-08-07 | 2001-12-04 | Motorola, Inc. | Device, article of manufacture, method, memory, and computer-readable memory for removing video coding errors |
| JP3611461B2 (ja) * | 1998-10-06 | 2005-01-19 | 松下電器産業株式会社 | 映像信号符号化装置 |
| US6195394B1 (en) * | 1998-11-30 | 2001-02-27 | North Shore Laboratories, Inc. | Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures |
| US20030093515A1 (en) * | 2001-11-14 | 2003-05-15 | Kauffman Marc W. | Quality of service control of streamed content delivery |
| CN100358366C (zh) * | 2002-07-11 | 2007-12-26 | 松下电器产业株式会社 | 滤波强度的决定方法、动态图像编码方法及解码方法 |
| BR112012027960A2 (ja) | 2010-05-06 | 2018-05-08 | Nippon Telegraph And Telephone Corporation | The image coding control method and a device |
| CN102986212B (zh) * | 2010-05-07 | 2015-11-25 | 日本电信电话株式会社 | 活动图像编码控制方法、活动图像编码装置 |
| RU2527740C2 (ru) | 2010-05-12 | 2014-09-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ управления кодированием видео, устройство кодирования видео и программа кодирования видео |
| US10979747B2 (en) | 2017-12-21 | 2021-04-13 | Arris Enterprises Llc | Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4189748A (en) * | 1977-08-23 | 1980-02-19 | Northrop Corporation | Video bandwidth reduction system using a two-dimensional transformation, and an adaptive filter with error correction |
| US5073821A (en) * | 1989-01-30 | 1991-12-17 | Matsushita Electric Industrial Co., Ltd. | Orthogonal transform coding apparatus for reducing the amount of coded signals to be processed and transmitted |
| US5542008A (en) * | 1990-02-28 | 1996-07-30 | Victor Company Of Japan, Ltd. | Method of and apparatus for compressing image representing signals |
| EP0444918B1 (en) * | 1990-02-28 | 1996-06-05 | Victor Company Of Japan, Limited | Data compression apparatus |
| JP3189861B2 (ja) * | 1992-11-13 | 2001-07-16 | ソニー株式会社 | 動画像符号化装置および方法 |
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
-
1994
- 1994-08-31 JP JP23233494A patent/JP3911035B2/ja not_active Expired - Fee Related
-
1995
- 1995-08-29 US US08/520,841 patent/US5642165A/en not_active Expired - Lifetime
- 1995-08-30 DE DE1995627176 patent/DE69527176T2/de not_active Expired - Lifetime
- 1995-08-30 EP EP19950306033 patent/EP0700213B1/en not_active Expired - Lifetime
- 1995-08-31 KR KR1019950028879A patent/KR100396928B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| DE69527176D1 (de) | 2002-08-01 |
| KR960009752A (ko) | 1996-03-22 |
| US5642165A (en) | 1997-06-24 |
| EP0700213B1 (en) | 2002-06-26 |
| JPH0879766A (ja) | 1996-03-22 |
| KR100396928B1 (ko) | 2003-11-13 |
| EP0700213A2 (en) | 1996-03-06 |
| EP0700213A3 (en) | 1999-07-21 |
| DE69527176T2 (de) | 2003-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3163830B2 (ja) | 画像信号伝送方法及び装置 | |
| KR100289852B1 (ko) | 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체 | |
| JP3855286B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 | |
| US6587509B1 (en) | Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal | |
| JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JPH09168148A (ja) | 動画像符号化方法及び装置、並びに記録媒体 | |
| JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| WO1996033573A1 (en) | Device and method for coding moving image | |
| JP4596277B2 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
| JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JPH06334983A (ja) | 画像信号の符号化方法、符号化装置、復号化方法及び復号化装置 | |
| JP3271091B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JP4121567B2 (ja) | 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置 | |
| JP3322376B2 (ja) | 動画像復号化方法及び動画像復号化装置 | |
| JP3481207B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
| JP3307379B2 (ja) | 復号化装置及び方法 | |
| JP3516622B2 (ja) | 復号化装置及び方法 | |
| JP3164110B2 (ja) | 符号化装置及び方法 | |
| JP3480980B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
| JP3516621B2 (ja) | 符号化装置及び方法 | |
| JP3500340B2 (ja) | コーディング装置及び方法 | |
| JP2000165870A (ja) | コ―ディング装置及び方法 | |
| JP2000156859A (ja) | 符号化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040416 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040614 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050518 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050524 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100202 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |