JP3968528B2 - 画像信号符号化方法及び装置 - Google Patents

Description

本発明は、動画像信号を記録あるいは伝送するための符号化に適用される画像信号符号化方法及び装置に関するものである。

例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。

また、動画像信号を例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示する際に、記録媒体への記録効率を高めるために、映像信号のライン相関やフレーム間相関を利用して、画像信号を高能率で圧縮符号化することが行われている。

すなわち、ディジタルビデオ信号は情報量が極めて多いため、これを小型で記憶情報量の少ない記録媒体に長時間記録しようという場合には、ビデオ信号を高能率符号化して記録するとともに、その読み出し信号を能率良く復号する手段が不可欠となり、このような要求に応えるべくビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つにＭＰＥＧ（Moving Picture Expert Group ）方式がある。

ＭＰＥＧを使った動画像符号化及び復号のシステム構成の従来例を図４６に示す。

この図４６において、ビデオテープレコーダ（ＶＴＲ）１５１から入力されるフィールド画像は、スキャンコンバータ１５２にてフレーム画像に変換され、符号化器１５３にてＭＰＥＧ方式で符号化される。ＭＰＥＧ方式は、まずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落し、その後、離散コサイン変換（ＤＣＴ：discrete cosine transform ）等の直交変換手法を用いて空間軸方向の冗長度を落し、このようにしてビデオ信号を能率良く符号化する。符号化された情報は、記録媒体１５４に記録し得るようになされている。

また、このようにして高能率符号化されたビデオ信号が記録された記録媒体を再生する場合には、再生信号について復号器１５５にて、逆直交変換等で効率良く、フレーム画像を復号し、スキャンコンバータ１５６にてフィールド画像に変換し、モニタ１５７にて表示し得るようになされている。

ここで、ＶＴＲ１５１から、フィルム画像をいわゆる２：２プルダウンによりテレシネした画像を供給する場合を説明する。

上記２：２プルダウンとは、毎秒２４コマのフィルム画像を、例えばいわゆるＰＡＬ（Phase Alternation by Line ）方式のように、毎秒２５フレーム（毎秒５０フィールド）のビデオに変換する場合に、広く用いられているテレシネ方法である。これは、フィルムの１コマをビデオの２フィールドでインターレース・スキャン（飛び越し走査）して読み出すという方法である。

ここで読み出した２フィールドは、同じ１コマから読みだしたものであるので、それらをフレーム構造に変換したものは、ノンインターレース・フレームとして扱うことができる。すなわち、このフレームは、フィルムの１コマをビデオの１フレームでノンインターレース・スキャン（順次走査）して読み出したフレームに等しい。

一般に、ノンインターレース・フレームは、インターレース・フレームに比べ、垂直方向のライン間の相関が大きいので、より冗長度が高く、フレームの符号化効率が良い。

フィルムの全コマについて、２：２プルダウンが規則的に正しく行なわれている場合、符号化器１５３へ入力されるフレームは、かならずノンインターレース・フレームとなるので、フレームの符号化効率が良く、問題はなかった。

特願平０６−３０７７２９号（特開平０８−１６３４３１号） 特開平０６−２３３１８２号公報

ところで、従来の符号化方式においては、ノンインターレース画像をいわゆるテレシネ操作等によりインターレース画像に変換した画像列を、編集などによって編集、加工した場合に、符号化効率の低下を招く場合がある。すなわち、上述した２：２プルダウンしたビデオにフィールド編集などの加工をした為に、不規則な２：２プルダウンのパターンを含むビデオをＶＴＲ１５１からの入力画像とする時、符号化器１５３へ入力されるフレームは、ノンインターレース・フレームと限らなくなるので、従来の符号化装置では、フレームの符号化効率が低下する問題がある。これを、図４７及び図４８を用いて説明する。

図４７において、（Ａ）は映画の１コマ等のノンインターレース画像ＮＦが、２：２プルダウンにより例えばいわゆるＰＡＬ（Phase Alternation by Line ）方式のようなインターレース画像にテレシネされる場合を示す。（Ａ）のノンインターレースのフィルム画像のシーケンスは、いわゆるテレシネ操作によって、図４７の（Ｂ）に示すように、各フレームが第一フィールド（top_field,トップフィールドともいう）Ｆt から始まるインターレース画像のシーケンスに変換される。この（Ｂ）のシーケンスは、第一フィールドＦt 、第二フィールドＦb の順に組み合わされたフレームＣＦのシーケンスとなっている。また、これとは逆に、図４７の（Ｃ）のノンインターレース画像ＮＦのシーケンスは、いわゆるテレシネ操作によって、図４７の（Ｄ）に示すように、各フレームが第二フィールド（bottom_field, ボトムフィールドともいう）Ｆb から始まるインターレース画像のシーケンスに変換されるとする。この（Ｄ）のシーケンスは、第二フィールドＦb 、第一フィールドＦt の順に組み合わされたフレームＣＦのシーケンスとなっている。

これら２つのシーケンスを、（Ｂ）、（Ｄ）のそれぞれ図示するような編集点ｔ_Ｅ１、ｔ_Ｅ２にて結合したとすると、図４７の（Ｅ）に示すような、原画像におけるノンインターレース画像ＮＦのシーケンスに対応するフィールド対を崩すような不規則なシーケンスが生成される。この図４７の（Ｅ）の例では、編集点ｔ_Ｅ の直後に孤立フィールドＦ_ｘ が生じている。

この図４７の（Ｅ）のようなシーケンスは、画像の符号化効率に悪影響をもたらす。これを図４８とともに説明する。

図４７の（Ｅ）に示したような不規則なシーケンスは、符号化の際には、図４８の（Ａ）の長方形の枠に示すような組み合わせＣＰのフレームとして符号化されることになる。この場合、原画像のノンインターレース画像のフレームを構成する組み合わせＣＰ_１ のまま符号化される場合は、図４８の（Ｂ）に示すように符号化効率が良い。しかし、正しく上記ノンインターレース画像ＮＦのフレームを構成する組み合わせでないような組み合わせＣＰ_２ の場合は、原画像がノンインターレース画像であるに関わらず、図４８の（Ｃ）に示すようにエッジに強い高周波を含んだ画像になってしまい、符号化効率は落ちる。これらの例（Ｂ）、（Ｃ）では、原画において真円が横方向に平行移動している画像における、符号化効率の低下の例を示している。

従来において、テレシネされた画像を効率良く符号化する技術として、２：３プルダウンされたビデオから、繰り返しフィールドを取り除いてから、入力フレームがノンインターレース・フレームとなるようにフレームを構成してから符号化する方法が提案されている。しかし、上記問題とされている不規則な２：２プルダウンから生じるノンインターレース・フレームを構成しない孤立フィールドは、２：３プルダウンによる繰り返しフィールドとは異るものであるので、問題解決のために、この技術は、適用できない。

本発明は、上述した実情に鑑みてなされたものであり、ノンインターレース・フレームのシーケンスにフィールド編集などの加工をした為に、ノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、ノンインターレース・フレームを構成しない孤立フィールドを含む、動画像を符号化する場合においても、効率の良い画像符号化を実現するものである。すなわち、本発明は、ノンインターレース画像列が編集によって不規則なパターンを生じた場合においても、効率の良い符号化が行えるような画像信号符号化方法及び画像信号符号化装置を提供することを目的とするものである。

本発明に係る画像信号符号化方法は、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される２つのフィールド画像の組に変換した第１の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される２つのフィールド画像の組に変換した第２の画像列とが結合された画像信号であって、一方の画像列は組を成す２つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化方法において、上記入力画像信号の各フィールド画像間のデータの相関を求めることにより、上記変換前のノンインターレース画像の１枚に対応するフィールド画像の１組が、第一フィールドから開始されるか、第二フィールドから開始されるかを検出する検出工程と、少なくとも上記検出工程の検出結果に基づいて検出された、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されないフィールドを除去すると共に前後のフィールドを用いて除去された位置の内挿を行い、前のフィールドが繰り返された第１のフィールド画像の組、又は後ろのフィールドが繰り返された第２のフィールド画像の組を構成する再構成工程と、上記再構成工程において処理された画像列に対して、上記第１又は第２のフィールド画像の組についてはフィールドの繰り返しを指示するフラグを用いて符号化を行う符号化工程とを有することにより、上述の課題を解決する。

また、本発明に係る画像信号符号化装置は、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される２つのフィールド画像の組に変換した第１の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される２つのフィールド画像の組に変換した第２の画像列とが結合された画像信号であって、一方の画像列は組を成す２つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化装置において、上記入力画像信号の各フィールド画像間のデータの相関を求めることにより、上記変換前のノンインターレース画像の１枚に対応するフィールド画像の１組が、第一フィールドから開始されるか、第二フィールドから開始されるかを検出する検出手段と、少なくとも上記検出手段の検出結果に基づいて検出された、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されないフィールドを除去すると共に前後のフィールドを用いて除去された位置の内挿を行い、前のフィールドが繰り返された第１のフィールド画像の組、又は後ろのフィールドが繰り返された第２のフィールド画像の組を構成する再構成手段と、上記再構成手段において処理された画像列に対して、上記第１又は第２のフィールド画像の組についてはフィールドの繰り返しを指示するフラグを用いて符号化を行う符号化手段とを有することにより、上述の課題を解決する。

上記検出の際には、上記入力画像信号の所定の１フィールドを基準フィールドとして、上記基準フィールドとその１フィールド前のフィールドとの対をなす２フィールド間の相関と、上記基準フィールドとその１フィールド後のフィールドとの対をなす２フィールド間の相関とを比較し、相関が高い方を正規のノンインターレース画像に対応するフィールド対と判断し、この判断結果を出力することが好ましい。

また、上記検出の際には、上記相関として、上記２フィールドを構成するフレームの隣接するライン間の差分の絶対値和を用い、絶対値和が小さい方を正規のノンインターレース画像に対応するフィールド対と判断することが好ましい。

本発明によれば、入力画像信号について、変換前のノンインターレース画像の１枚に対応するフィールド画像の１組が、第一フィールドから開始されるか、第二フィールドから開始されるかを検出し、この検出結果に基づき、入力画像信号を、変換前のノンインターレース画像を構成する２つのフィールド画像が同一フレーム内に含まれる画像列に再構成することにより、元のノンインターレース画像に応じたフィールド画像の組を符号化のフレームとする符号化が行える。

従って、編集によって、元のノンインターレース画像と入力画像信号のインターレース画像の組との対応関係が一致しなくなって、いわゆる不規則パターンが発生しても、符号化は元のノンインターレース画像に対応するフィールド画像の組に対して行われるため、効率の良い符号化を実現できる。

また、検出の際に、入力画像信号の所定の１フィールドを基準フィールドとして、それぞれに含むように、第一フィールドから開始される対をなす２フィールド間の相関と、第二フィールドから開始される対をなす２フィールド間の相関とを比較し、相関が高い方を正規のノンインターレース画像に対応するフィールド対と判断し、この判断結果を出力することにより、検出精度を高めることができる。

以下、本発明に係る好ましい実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態の一例として画像信号符号化及び復号のシステムの概略構成を示している。

この図１において、入力端子１７１には、例えばビデオテープレコーダ（ＶＴＲ）１６１からの入力動画像信号Ｓ１が供給されている。この入力動画像信号Ｓ１は、ノンインターレース・フレームのシーケンスにフィールド編集などの加工をした為に、ノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、ノンインターレース・フレームを構成しない孤立フィールドを含む、動画像である（図４７参照）。

入力動画像信号Ｓ１は、ノンインターレース・フレーム検出回路１７２に供給される。このノンインターレース・フレーム検出回路１７２では、ノンインターレース・フレームを構成する第一フィールドと第二フィールドとの組み合わせを検出し、またノンインターレース・フレームを構成しない孤立フィールドを検出する。ここで検出された孤立フィールドに対しては、後段の符号化器１６３において符号化処理をされないように制御する。これは例えば、上記入力動画像信号Ｓ１から上記孤立フィールドを除去するようにすればよい。このノンインターレース・フレーム検出回路１７２については後で詳細に説明する。

ノンインターレース・フレーム検出回路１７２から出力されたフィールド信号Ｓ６は、スキャンコンバータ１６２にて入力順にフレーム画像へ変換されてフレーム信号となり、符号化器１６３に送られる。符号化器１６３については後で詳細に説明する。符号化器１６３からの符号化ビットストリーム信号Ｓ２０４は、出力端子１７３を介して取り出され、例えば記憶媒体１６４に供給されて記憶される。

復号装置側の入力端子１７６には、例えば記憶媒体１６４からの符号化ビットストリーム信号が供給され、復号器１６５に送られて復号処理されてフレーム信号Ｓ２０６となる。このフレーム信号Ｓ２０６は、スキャンコンバータ１６６に送られてフィールド信号Ｓ２０７に変換され、出力コントローラ１７７に送られて出力動画像信号Ｓ２０８となる。この出力動画像信号Ｓ２０８は、出力端子１７８より取り出され、例えばモニタ１６７に送られて表示される。これらの各部の詳細については後述する。

ここで、図１のノンインターレース・フレーム検出回路１７２として、孤立フィールドを検出した後に、検出された孤立フィールドを除去するような構成の具体例について、図２を参照しながら説明する。

図２の入力端子２００には、図１の入力動画像信号Ｓ１が供給されており、この信号Ｓ１は、フィールドメモリ２０１から２０３に順次記憶される。したがって、メモリ２０２に現在フィールドが格納されると、メモリ２０１には過去フィールドが、またメモリ２０３には未来フィールドが格納される。演算器２０４では、過去フィールド信号Ｓ３０１と現在フィールド信号Ｓ３０２の１画素毎の差分値が計算される。その差分値信号Ｓ３０４は、その絶対値が絶対値回路２０６で計算され、その１フィールドあたりの累積和が累積回路２０８で計算される。同様に、演算器２０５では、未来フィールド信号Ｓ３０３と現在フィールド信号Ｓ３０２の１画素毎の差分値が計算される。その差分値信号Ｓ３０５は、その絶対値が絶対値回路２０７で計算され、その１フィールドあたりの累積和が累積回路２０９で計算される。累積和信号Ｓ３０８とＳ３０９は、比較器２１０へ入力される。比較器２１０では、信号Ｓ３０８とＳ３０９の大きさを比較し、その結果をフラグＳ２へ出力する。フラグＳ２の値は、
Ｓ３０８ ≧ Ｓ３０９の時、Ｓ２＝１
Ｓ３０８ ＜ Ｓ３０９の時、Ｓ２＝０
となる。Ｓ２が１の時、現在フィールドは未来フィールドと相関が大きいことを示し、一方、Ｓ２が０の時、現在フィールドは過去フィールドと相関が大きいことを示す。Ｓ２の値は、２フィールド過去までの値が、遅延回路２１１と２１２のレジスタに記憶される。

実際の入力動画像信号Ｓ１に対して、上記フラグＳ２を計算した例を図３から図６に示す。ここで、大文字のアルファベットは、第一フィールドあるいはtop_field を表し、小文字のアルファベットは、第二フィールドあるいはbottom_fieldを表す。そして同じアルファベットで大文字と小文字のフィールド対が、ノンインターレース・フレームを構成する。また、記号“？”は、ノンインターレース・フレームを構成しない孤立フィールドを表す。これらの図３〜図６からわかるように、ノンインターレース・フレームが、インターレース・フレームの第一フィールド（top_field ）から始まる２フィールドに変換されている時（例えば図３の｜Ａ ａ｜参照）、第一フィールド（top_field ）は、未来の第二フィールド（bottom_field）と相関が大きいので、上記フラグＳ２は１となり、一方、第二フィールド（bottom_field）は、過去の第一フィールド（top_field ）と相関が大きいので、フラグＳ２は０となる。また、ノンインターレース・フレームが、インターレース・フレームの第二フィールド（bottom_field）から始まる２フィールドに変換されている時（例えば、図３のｄ｜Ｄ参照）、第二フィールド（bottom_field）は、未来の第一フィールド（top_field ）と相関が大きいので、フラグＳ２は１となり、一方、第一フィールド（top_field）は、過去の第二フィールド（bottom_field）と相関が大きいので、フラグＳ２は０となる。

孤立フィールド“？”でのフラグＳ２について説明する。図３と図５では、孤立フィールドは、それより未来のシーケンスに含まれるので、フラグＳ２は１となる。また、図４と図６では、孤立フィールドは、それより過去のシーケンスに含まれるので、フラグＳ２は０となる。

孤立フィールドの検出は、フラグＳ２に基づいて、図２の制御回路２１５が行なう。そしてここで検出された孤立フィールドは、フィールド除去器２１８にて、入力動画像信号Ｓ１から除去される。

そのアルゴリズムのフローチャートを図７及び図８に示す。ここでｆｐは、入力動画像信号のフィールドの入力後からのフィールド時間を表し、ｆｐに対する加算は、信号Ｓ１の時間が未来へ進んでいくことを表す。例えば、
ｆｐ ＝ ｆｐ ＋ ２
は、信号Ｓ１の時間が２フィールド未来へ進んだこと、すなわちＳ１の入力が２フィールド進むことを表す。なお、Ｓ２［ｆｐ］などの添字は、フィールド時間を表す。

信号Ｓ３は、ノンインターレースフレームを構成しない孤立フィールドが検出されたフィールド時間に１となる。

信号Ｓ４は、時間ｆｐにおける現在フィールドのパリティが反映され、第一フィールド（top_field ）が１であり、第二フィールド（bottom_field）が０である。

信号Ｓ５は、時間ｆｐから２フィールド未来までにフィールドが除去されたことを表すフラグである。ここでは、Ｓ３で検出された孤立フィールドが除去される。

また信号Ｓ５は、除去フィールドは、それに隣接する過去の２フィールドまたは未来の２フィールドのうち、どちらと相関が大きいかを表すフラグと見ることもできる。相関が大きいほうで１が立つ。除去フィールドに隣接する過去の２フィールドと未来の２フィールドは、それぞれ符号化フレームを構成する。

また信号Ｓ４は、符号化フレームが、復号再生された時、第一フィールド（top_field ）または第二フィールド（bottom_field）のどちらから画面表示されなければならないかを示すフラグと見ることもできる。

図７及び図８のフローチャートを参照しながら、上記孤立フィールド検出動作を説明する。

先ず、図７の最初のステップ３０１において、信号Ｓ１のフィールド時間ｆｐを１とする（ｆｐ＝１）。

次のステップ３０２で、時間ｆｐのフィールドのパリティは、第一フィールド（top_field ）であるか否かを判別する。このステップ３０２でＹＥＳと判別されたとき、すなわちフィールドのパリティがtop_field の場合は、結合子３０３を介してステップ３０５に進み、ＮＯと判別されたときには、結合子３０４を介して図８のステップ３１６に進む。

ステップ３０５では、２フィールド未来のフラグＳ２［ｆｐ＋２］が１であるか否かを判別し、ＹＥＳのときはステップ３０６に、ＮＯのときはステップ３０９に進む。

ステップ３０６では、信号Ｓ４［ｆｐ］を１に、信号Ｓ５［ｆｐ］を０にする（Ｓ４［ｆｐ］＝１、Ｓ５［ｆｐ］＝０）。

次のステップ３０７では、信号Ｓ１の時間が２フィールド進められた後（ｆｐ＝ｆｐ＋２）、結合子３０３を介して上記ステップ３０５に戻る。

ステップ３０９では、１フィールド未来の信号Ｓ２［ｆｐ＋１］が１であるか否かを判別し、ＹＥＳのときはステップ３１０に、ＮＯのときはステップ３１１に進む。

ステップ３１０では、時間ｆｐのフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグＳ３［ｆｐ］が１となり、時間ｆｐのフィールドが信号Ｓ１から除去される。

ステップＳ３１１では、時間ｆｐ＋２のフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグＳ３［ｆｐ＋２］が１となる。時間（ｆｐ＋２）のフィールドがＳ１から除去される。

これらのステップ３１０、３１１の次のステップ３１２においては、フラグＳ４［ｆｐ］は１、フラグＳ５［ｆｐ］は１となる（Ｓ４［ｆｐ］＝１、Ｓ５［ｆｐ］＝１）。

次のステップ３１３では、Ｓ１の時間が３フィールド進められる（ｆｐ＝ｆｐ＋３）。この後、結合子３０４を介して上記図８のステップＳ３１６へ移る。

図８のステップ３１６では、２フィールド未来のフラグＳ２［ｆｐ＋２］が１であるか否かを判別し、ＹＥＳのときはステップ３１７に、ＮＯのときはステップ３２０に進む。

ステップ３１７では、フラグＳ４［ｆｐ］を０、フラグＳ５［ｆｐ］を０とする（Ｓ４［ｆｐ］＝０、Ｓ５［ｆｐ］＝０）。

次のステップ３１８では、信号Ｓ１の時間が２フィールド進められた後（ｆｐ＝ｆｐ＋２）、結合子３０４を介して上記ステップ３１６に戻る。

ステップ３２０では、１フィールド未来の信号Ｓ２［ｆｐ＋１］が１であるか否かを判別し、ＹＥＳのときはステップ３２１に、ＮＯのときはステップ３２２に進む。

ステップ３２１では、時間ｆｐのフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグＳ３［ｆｐ］が１となり、時間ｆｐのフィールドが信号Ｓ１から除去される。

ステップＳ３２２では、時間ｆｐ＋２のフィールドは、ノンインターレースフレームを構成しない孤立フィールドであり、フラグＳ３［ｆｐ＋２］が１となる。時間（ｆｐ＋２）のフィールドがＳ１から除去される。

これらのステップ３２１、３２２の次のステップ３２３においては、フラグＳ４［ｆｐ］は０、フラグＳ５［ｆｐ］は１となる（Ｓ４［ｆｐ］＝０、Ｓ５［ｆｐ］＝１）。

次のステップ３２４では、Ｓ１の時間が３フィールド進められる（ｆｐ＝ｆｐ＋３）。この後、結合子３０３を介して上記図７のステップＳ３０５へ移る。

以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。

なお、上述した図３〜図６には、フラグＳ２の他に、フラグＳ３〜Ｓ５、及び図１の孤立フィールド検出・除去回路１７２からのフィールド信号Ｓ６の例も示している。

次に、図１のノンインターレース・フレーム検出回路１７２の他の具体例について、図９を参照しながら説明する。この図９において、上記図２と対応する部分には同じ指示符号を付している。

図９の入力端子２００には、図１の入力動画像信号Ｓ１が供給されており、この信号Ｓ１は、フィールドメモリ２０１から２０３に順次記憶される。したがって、メモリ２０２に現在フィールド、例えばｎ番目のフィールドが格納されると、メモリ２０１には過去フィールドである（ｎ−１）番目のフィールドが、またメモリ２０３には未来フィールドである（ｎ＋１）番目のフィールドが格納される。

ノンインターレースフレーム計算回路２２４では、（ｎ−１）番目のフィールドＳ３２１及びｎ番目のフィールドＳ３２２が、ノンインターレースフレームの組み合わせであるか否かの計算を行い、その計算値Ｓ３２４を比較器２２６に送る。ノンインターレースフレーム計算回路２２５では、ｎ番目のフィールドＳ３２２及び（ｎ＋１）番目のフィールドＳ３２３が、ノンインターレースフレームの組み合わせであるか否かの計算を行い、その計算値Ｓ３２５を比較器２２６に送る。

これらのノンインターレースフレーム計算回路２２４、２２５におけるノンインターレースフレームの組み合わせであるか否かを計算するためのアルゴリズムについて、図１０を参照しながら説明する。この図１０は、上記アルゴリズムをいわゆるＣ言語で表したものである。

この図１０において、"F(pixel,line)" は、ノンインターレースフレーム計算回路２２４では（ｎ−１）番目のフィールドＳ３２１とｎ番目のフィールドＳ３２２とで構成されるフレーム内の画素値を示し、ノンインターレースフレーム計算回路２２５ではｎ番目のフィールドＳ３２２と（ｎ＋１）番目のフィールドＳ３２３とで構成されるフレーム内の画素値を示す。"line"はフレームのライン数のカウント値であり、最大値"frame_vertical_size" まで数え上げる。０番目のラインすなわち"line=0"は、第一フィールド（top_field ）とし、１番目のラインすなわち"line=1"は、第二フィールド（bottom_field）とする。"pix" は。各々のライン上の画素数のカウント値であり、最大値"frame_horizontal_size" まで数え上げる。０番目の画素すなわち"pix=0" は、各々のラインの左端の画素から始まる。

図１０中の式ａは、第一フィールドと第二フィールドのｉ番目のラインの間の相関度を計算するために、ライン間の差分"dif1"を計算する。ここで、１フィールドがＮラインからなるとすると、ｉは０からＮ−１までの値の全て又は一部をとる。また式ｂは、第二フィールドのｊ番目と第一フィールドの（ｊ＋１）番目のラインの間の相関度を計算するために、ライン間の差分"dif2"を計算する。ここでｊは、０からＮ−１までの値の全て又は一部をとる。そして、式ｃに示すように、ライン間の差分の絶対値和"var" を計算している。式ａと式ｂとを併用することにより、動画像が垂直方向にティルト移動しているときでも、２フィールドがノンインターレース・フレームの組み合わせであるかどうかの計算を精度良く行える。なお、式ｃの絶対値の計算の代わりに、二乗和の計算をするようにしてもよい。

この図１０に示すアルゴリズムをハードウェア的に表すときの概略構成を図１１に示す。

この図１１において、フィールドの組ＣＦ_１ 及びＣＦ_２ の両者について、各隣接ライン間の差分の絶対値和Var1, Var2をそれぞれ計算する。すなわち、フィールドの組ＣＦ_１ については、図１１の実線に示す第一フィールドの各ラインのデータと破線に示す第二フィールドの各ラインのデータとの差分、及び第二フィールドの各ラインのデータと第一フィールドの各ラインのデータとの差分を、それぞれ減算器１１１で求め、それぞれの絶対値を絶対値回路１１２で求め、これらの総和を加算回路１１３で求めることで、各隣接ライン間の差分の絶対値和Var1を得る。また、フレームＣＦ_２ については、実線に示す第一フィールドの各ラインのデータと破線に示す第二フィールドの各ラインのデータとの差分を、及び第二フィールドの各ラインのデータと第一フィールドの各ラインのデータとの差分を、それぞれ減算器１２１で求め、それぞれの絶対値を絶対値回路１２２で求め、これらの総和を加算回路１２３で求めることで、各隣接ライン間の差分の絶対値和Var2を得る。これらの各絶対値和Var1, Var2の値を比較し、小さい方が正しいノンインターレース・フレームに対応するフィールド対であると判断する。これは、正しいノンインターレース・フレームのフィールド対の場合に、エッジ周辺の高周波が少ないことに起因する。ここの例では、絶対値和を用いているが、二乗和を用いてもかまわない。すなわち、図１１の各絶対値回路１１２、１２２の代わりに、それぞれ二乗回路を用いてもよい。

上記図１０のアルゴリズムにおいて、計算値"var" としては、ノンインターレースフレーム計算回路２２４からは、信号Ｓ３２４が出力されており、またノンインターレースフレーム計算回路２２５からは、信号Ｓ３２５が出力されている。信号Ｓ３２４とＳ３２５とは、比較器２２６へ供給される。比較器２２６においては、信号Ｓ３２４とＳ３２５との大きさを比較し、その結果のフラグＳ２２を出力する。ここでは、
Ｓ３２４＜Ｓ３２５のとき、Ｓ２２＝０
Ｓ３２４≧Ｓ３２５のとき、Ｓ２２＝１
とする。フラグＳ２２が“０”のとき、ｎ番目のフィールドは、（ｎ−１）番目のフィールドとノンインターレースフレームの組合せであることを示す。一方、フラグＳ２２が“１”のとき、ｎ番目のフィールドは、（ｎ＋１）番目のフィールドとノンインターレースフレームの組合せであることを示す。このアルゴリズムは、２フィールドがノンインターレースフレームの組合せであるとき、２フィールドのライン間の相関が大きいため、ライン間の差分の絶対値和が小さくなる性質を利用している。

実際の入力動画像信号Ｓ１に対して、上記フラグＳ２２を計算した例を図１２及び図１３に示す。これらの図１２、図１３においても、上記図３から図６までの例と同様に、大文字のアルファベットは第一フィールドあるいはtop_field を表し、小文字のアルファベットは第二フィールドあるいはbottom_fieldを表す。そして同じアルファベットで大文字と小文字のフィールド対が、本来のノンインターレース・フレームを構成するものとする。また、記号“？”は、ノンインターレース・フレームを構成しない孤立フィールドを表す。

これらの図１２及び図１３からわかるように、ノンインターレース・フレームが、インターレース・フレームの第一フィールド（top_field ）から始まる２フィールドに変換されている時、例えば図１２の｜Ａ ａ｜では、第一フィールド（top_field ）の“Ａ”は、未来の第二フィールド（bottom_field）の“ａ”と相関が大きいので、上記フラグＳ２２は１となり、一方、bottom_field“ａ”は、過去のtop_field “Ａ”と相関が大きいので、フラグＳ２２は０となる。また、ノンインターレース・フレームが、インターレース・フレームのbottom_fieldから始まる２フィールドに変換されている時、例えば、図１２のｄ｜Ｄでは、bottom_field“ｄ”は、未来のtop_field “Ｄ”と相関が大きいので、フラグＳ２２は１となり、一方、top_field“Ｄ”は、過去のbottom_field“ｄ”と相関が大きいので、フラグＳ２２は０となる。

孤立フィールド“？”の発生原因は、各編集点の時刻で、ノンインターレース・フレームのシーケンスにフィールド編集をしたことによるものである。

孤立フィールド“？”でのフラグＳ２２について説明する。図１２では、各孤立フィールドは、それより未来のシーケンスに含まれるので、未来のフィールドとの相関が大きく、一般的にはフラグＳ２２は１となる。また、図１３では、各孤立フィールドは、それより過去のシーケンスに含まれるので、過去のフィールドと相関が大きく、一般的にはフラグＳ２２は０となる。

ノンインターレース・フレームの組み合わせの判定は、比較器２２６から出力されるフラグＳ２２に基づいて行われるが、誤った値のフラグＳ２２が出力される場合があり得る。そのため、時系列に数個のフラグＳ２２の値をメモリ（あるいはレジスタ）２２７に記憶し、複数のフラグＳ２２の値の並びのパターンに基づいて、最終的なノンインターレース・フレームの組み合わせの判定をすることにより、誤判定を少なくすることができる。

上記フラグＳ２２からノンインターレース・フレームの組み合わせを判定する方法の具体例についてのアルゴリズムの一例を図１４に示す。この図１４では、いわゆるＣ言語表記にてアルゴリズムを示している。

この図１４において、ｎは入力動画像信号Ｓ１のフィールドの入力後からのフィールド時間を表し、Ｓ１［ｎ］は、ｎ番目のフィールドを示し、Ｓ２２［ｎ］は、Ｓ１［ｎ］についてのフラグＳ２２を示す。ｎに対する加算は、信号Ｓ１の時間が未来へ進んでいくことを表す。例えば、
ｎ ＝ ｎ ＋ ２
は、信号Ｓ１の時間が２フィールド未来へ進んだこと、すなわちＳ１の入力が２フィールド進むことを表す。

図１４において、変数“isTop_field”は、初期値としてｎ＝０のフィールドのパリティを反映する。図１２と図１３で示す入力信号Ｓ１のフィールドシーケンスは、top_fieldから始まるので、図１４の４行目のように“isTop_field=1”とする。変数top_field_first[n] は、フィールド時間ｎにおけるパリティが反映され、それが、top_fieldの時、“１”であり、bottom_fieldの時、“０”とする。変数repeat_first_field[n]は、孤立フィールドを除去することを指示するフラグである。変数pattern[n] は、図９の画像出力コントローラ２２８からの出力をコントロールするために利用される。

図１４の７行目から１０行目までのＡＮＤ条件が満たされる時、孤立フィールド除去が指示され、repeat_first_field[n] は、１である。top_field_first[n]は、“isTop_field”の値に応じてセットされる。２９行目の n=n+3 のように、次の検査は、３フィールド後に行う。そのため、１８行目と２６行目のように、“isTop_field”が次の検査フィールドのパリティとなるように値を反転する。

上記のＡＮＤ条件が満たされない場合は、前の変数の状態と同じとする。３９行目のように、次の検査は、２フィールド後に行う。

この図１４のアルゴリズムに対応するフローチャートを図１５に示す。

この図１５において、図１４の各条件ＣＮＤ_１ 〜ＣＮＤ_５ が、図１５の各条件判別ステップＣＮＤ_１ 〜ＣＮＤ_５ に対応している。図１５の他のステップは、各変数ｎ、isTop_field、top_field_first[n] 、repeat_first_field[n] 、pattern[n] の設定をそれぞれ示している。

次に、図１２と図１３に示す入力信号Ｓ１について、図１４のアルゴリズムにより、top_field_first[n], repeat_first_field[n], pattern[n] を求めた例を示す。これらの図１２及び図１３において、Ｓ２４がtop_field_first[n]を示し、Ｓ２５がrepeat_first_field[n] を示す。

次に、図９の画像出力コントローラ２２８が遅延器２２９からの画像出力をコントロールし、Ｓ２６を出力するまでについて説明する。遅延器２２９は、（ｎ＋１）番目のフィールドより未来のフィールドを記憶するためのメモリであり、画像出力コントローラ２２８から、Ｓ１に対して指定された遅延量のフィールド画像を出力できる。図１２と図１３の例では、遅延器２２９は、７フィールドメモリ必要である。なお、遅延器２２９とフィールドメモリ２０１、２０２、２０３を構成するために、フレームメモリを使用してもよい。

画像出力Ｓ２６は、変数“pattern”に基づいて以下の（１）から（６）のようにして遅延器２２９から出力される。図１２と図１３に具体例を示す。
（１）pattern = 1 の場合
Ｓ１に対して４フレーム遅れのフィールド信号Ｓ１０４が、順に２フィールド出力される。
（２）pattern = 2 の場合
Ｓ１に対して３フレーム遅れのＳ１０３が出力され、次にＳ１０４が出力される。次いで２枚の無効フィールド ｜- -｜が出力される。
（３）pattern = 3 の場合
Ｓ１０４が、順に２フィールド出力される。次いで２枚の無効フィールドが出力される。
（４）pattern = 4 の場合
Ｓ１０４が出力され、次にＳ１に対して５フレーム遅れのＳ１０５が出力される。
（５）pattern = 5 の場合
Ｓ１０４が、順に２フィールド出力される。
（６）pattern = 6 の場合
Ｓ１０４が、出力され、順にＳ１０５が出力される。

ここで無効フィールドとは、後段の符号化器へ入力されるが有効な処理がされないフィールドであり、図１２と図１３では、記号“-”で示す。図１２と図１３に、出力Ｓ２６の入力Ｓ１に比較してのフレーム遅延量を示す。

図１２と図１３の例では、Ｓ２６は、Ｓ１と比較し、孤立フィールド“？”が除去され、かつノンインターレースフレームをつくる第一フィールドと第二フィールドは、第一フィールドが先に入力されるインターレースフレームに変化していることがわかる。さらに、無効フィールドを挿入することにより、Ｓ２６のフレーム周期は、Ｓ１のフレーム周期とロックしている。そのため、後段の符号化器は、Ｓ１のフレーム周期にロックした動作が可能となる。

説明を図１へ戻る。ノンインターレースフレーム検出器１７２から出力されたフィールド信号Ｓ２６は、スキャンコンバータ１６２にて、入力順にフレーム画像へ変換される。図１２と図１３の例では、Ｓ２６の“｜”がフレームの境界である。フレーム画像は、上述のpatternに基づいて出力された２フィールド毎に構成されることがわかる。

各入力フレームＳ２０３とそれに対応するフラグＳ２４(top_field_first) 、フラグＳ２５(repeat_first_field)、そして無効フレームフラグは、符号化器１６３へ入力される。top_field_first,repeat_first_fieldは、ＭＰＥＧ２で定義されている同名のフラグを使用して符号化できる。また無効フレームフラグが立っている入力フレームについては、符号化器は有効な処理を行わない。なお、符号化器１６３の詳細な構成については、後述する。

符号化ビットストリームＳ２０４は記憶媒体１６４へ入力される。

なお、上述実施例においては、図２０に示したノンインターレースフレームの組合わせを判定するためのアルゴリズムに、７個のＳ２２の並びのパターン(S2[n]〜S2[n+6])を使用して構成したものであるが、更に多くのＳ２２の並びのパターンを使用することで、誤ったノンインターレースフレームの組合わせを判定することを、さらに少なくすることができる。この場合、それに応じた出力Ｓ２６のフレーム遅延量が、より多く必要となる。また、逆に、この実施例より少ないＳ２２の並びのパターンを使用することにより、誤ったノンインターレースフレームの組合わせを判定する可能性は増すが、それに応じた出力Ｓ２６のフレーム遅延量を減らすことができる。

次に、本発明に係る画像信号符号化装置の他の実施の形態について、図１６を参照しながら説明する。

この図１６の入力端子１０１には、入力画像信号として、前記図４７の（Ａ）、（Ｂ）に示したように、ノンインターレース画像ＮＦをインターレース画像の第一フィールド（トップフィールドともいう）Ｆt から開始される対をなす２枚のフィールド画像の組（すなわちフレーム）ＣＦに変換した画像列と、前記図４７の（Ｃ）、（Ｄ）に示したように、ノンインターレース画像ＮＦをインターレース画像の第二フィールド（ボトムフィールドともいう）Ｆb から開始される対をなす２枚のフィールド画像の組（すなわちフレーム）ＣＦに変換した画像列とが、前記図４７の（Ｄ）に示したように、編集によって結合されて供給されている。

この入力画像信号は、前処理回路１０２の検出手段としての不規則パターン検出回路１０３に送られて、上記入力画像信号から、上記ノンインターレース画像の１枚に対応する２枚のフィールド画像が、上記第一フィールドから開始されるか、第二フィールドから開始されるかが検出される。この不規則パターン検出回路１０３からの出力信号である不規則パターン検出信号及び画像データは、再構成手段としてのノンインターレース画像の再構成回路１０４に送られており、この再構成回路１０４は、上記入力画像信号の画像列の上記ノンインターレース画像に対応するフィールド画像の対が上記第一フィールドから開始されるか上記第二フィールドから開始されるかに応じてノンインターレース画像を再構成して出力する。

このノンインターレース画像の再構成回路１０４からの出力信号が、前処理回路１０２の出力信号として、符号化器１０５に送られる。この例では、符号化器１０５として、映像信号のライン間相関やフレーム間相関を利用して圧縮符号化する符号化器が用いられており、前処理回路１０２から符号化器１０５に送られる信号として、画像データ以外に、後述するような３種類のフラグpicture_coding_type, top_field_first, repeat_first_fieldを用いている。符号化器１０５では、これらのフラグに従って符号化データを生成し、出力端子１０６より出力する。この符号化器１０５の具体例については、後に図面を参照しながら詳細に説明する。

先ず、図１６の前処理回路１０２の検出手段としての不規則パターン検出回路１０３における、正しいノンインターレース画像を構成するフィールド対あるいはフレームの検出について説明する。

図１７にはノンインターレース画像のシーケンスの組み合わせが崩れる場合の不規則なパターンを示している。問題となるシーケンスＳＱ_１ やＳＱ_２ は、第一フィールドＦt から始まるノンインターレース画像に対応するフィールド対のシーケンスと、第二フィールドＦb から始まるノンインターレース画像に対応するフィールドの組（フィールド対、フレームともいう）のシーケンスの系列を、編集によって結合した場合に生じることがわかる。

従って、図１８の（Ａ）に示すように、所定のフィールド（ここでは第二フィールドＦb_０）を含む２組のフィールドの組ＣＦ_１ 及びＣＦ_２ を作成する。ここで、一方のフィールドの組ＣＦ_１ あるいはフレームは、第一フィールドＦt_１、第二フィールドＦb_０の順のフィールド対から成り、他方のフィールドの組ＣＦ_２ あるいはフレームは、第二フィールドＦb_０、第一フィールドＦt_２の順のフィールド対から成っている。これらのフィールドの組ＣＦ_１ 及びＣＦ_２ は、一方が（Ｂ）、他方が（Ｃ）に示すように、どちらか片方は正しいノンインターレースフレームを構成する組み合わせとなる。

正しいノンインターレース画像のフレームを構成するフィールドの組を検出するには、例えば上記図１１に示すような検出回路を用いることができる。

次に、上述のように、問題となるノンインターレースシーケンスの組み合わせが崩れる場合の不規則なパターンが検出された後の、問題となるパターンの符号化方法について説明する。

図１９の（Ａ）は、上述のようにして検出された不規則なパターン、あるいは問題となるシーケンスＳＱを示している。このようなシーケンスの符号化で問題となるのが、（Ｂ）に示す孤立フィールドＦx である。孤立フィールドＦx は、編集の結果生成されたノンインターレースフレームをなす対を持たないフィールドである。フレーム相関等を利用した符号化を行うことを前提として考えた場合、このような孤立フィールドＦx を符号化する事はできない。従って、（Ｂ）に示すように、このような孤立フィールドＦx は、基本的に除去され、前後のフィールド等を用いて内挿される。

図１９の（Ｃ）においては、前のフィールドＦt_１を繰り返すことによって上記孤立フィールドＦx が除去された位置の内挿を行った例を示している。このように前フィールドＦt_１が繰り返されたフィールド画像の組をＣＦt_Ｆとする。逆に、図１９の（Ｄ）に示すように、後ろのフィールドＦt_２を繰り返すことによって上記孤立フィールドＦx の内挿を行うこともできる。この後ろのフィールドＦt_２が繰り返されたフィールド画像の組をＣＦt_Ｂとする。これらの図１９（Ｃ）、（Ｄ）において、ノンインターレース画像に対応するフィールド画像の組ＣＦあるいは符号化されるフレームの内、第一フィールドＦt から始まるフィールド画像の組あるいはフレームをＣＦt とし、第二フィールドＦb から始まるフィールド画像の組あるいはフレームをＣＦb としている。

上記（Ｃ）のパターンに対して、後述するようなフレーム相関等を利用した動画像符号化を施す場合の例を図２０に示す。この符号化では、top_field_first,repeat_first_fieldの２種類のフラグを組み合わせて、このノンインターレース画像に対応するフィールド画像の組ＣＦ、あるいはフレーム、のシーケンスを符号化できる。

これらのフラグの内、top_field_first フラグは、符号化されるフレームあるいはフィールド画像の組ＣＦが、第一フィールドＦt から開始されている組ＣＦt の場合に１、第二フィールドＦb から開始されている組ＣＦb の場合に０である。

repeat_first_fieldフラグは、符号化されるフレームあるいはフィールド画像の組ＣＦの最初のフィールドを繰り返し表示する場合に１、繰り返し表示しない場合に０である。

これによって、図２０に示すような値をフラグに指定することによって、符号化が実現される。

同様に、図１９の（Ｄ）のパターンを符号化した例が、図２１である。

これらの図２０、図２１において、第一フィールドＦt から始まり、最初のフィールドを繰り返し表示するような符号化フレームあるいはフィールド画像の組ＣＦt_Ｆ、ＣＦt_Ｂについては、２つのフラグtop_field_first, repeat_first_field のいずれもが１となっている。ここで、図２１の後ろのフィールドＦt_２が繰り返されるフィールド画像の組ＣＦt_Ｂの場合も、符号化データとしては最初のフィールドである第一フィールドＦt のデータが繰り返されることになるわけである。

図１６のノンインターレース画像の再構成回路１０４においては、後述するようなピクチャタイプのスケジューリングを含む符号化フレームあるいはフィールド画像の組ＣＦの再構成が行われ、３種類のフラグ picture_coding_type, top_field_first, repeat_first_field が出力され、画像データとともに符号化器１０５へ渡される。

符号化器１０５では、これらのフラグに従って、以下に説明するような方法で符号化データを生成し、出力端子１０６より出力する。

この出力端子１０６からの符号化出力信号を光学記録媒体等の信号記録媒体に記録することにより、効率の良い符号化が行われた信号が記録された媒体を得ることができる。

以上説明した動画像符号化方法または装置によれば、入力動画像のノンインターレース・フレームを構成するフィールド対の周期が不規則であったり、入力動画像にノンインターレース・フレームを構成しない孤立フィールドが含まれる場合でも、入力フレームがノンインターレース・フレームとなるようにフレームを構成してから符号化できるので、効率の良い画像符号化を実現できる。例えば、フィルム画像を２：２プルダウンしたフレームレート２５Ｈｚのビデオにフィールド編集などの加工をした為に、不規則な２：２プルダウンのパターンを含むビデオを符号化する時に、有効である。

次に、符号化規格としていわゆるＭＰＥＧ（Moving Picture Image Coding Experts Group ）の符号化規格を用いる場合について説明する。

このＭＰＥＧ方式による符号化においては、一つのビデオシーケンスはＧＯＰ（フレーム群）、例えば１２フレーム単位に分割されており、各フレームは、予測方式によって次の３種類に分類される。すなわち、
Ｉピクチャ：（イントラ符号化画像：Intra-coded picture ）、フレーム内符号化画像
Ｐピクチャ：（前方予測符号化画像：Predictive-coded picture）、過去及び未来のＰピクチャまたはＩピクチャから動き予測を行なうフレームの画像
Ｂピクチャ：（両方向予測符号化画像：Bidirectionally predictive coded picture）、過去及び未来のＰピクチャまたはＩピクチャから動き予測を行なうフレームの画像
である。

上記Ｉピクチャが少なくとも１枚入った画像群構造としてのＧＯＰ（グループオブピクチャ）の構成例を図２２に示す。ここでＧＯＰ中での各フレームの番号は表示順番を表す。

この例では、入力フレームをＢピクチャで符号化する時に、上述の図１〜図８と共に説明した例で説明したフラグＳ５を１としないように制御する。そのため、上述の例とは、図１のノンインターレース・フレーム検出回路１７２の制御方法が違う。それ以外は、上述の例と同じである。

このＭＰＥＧ方式の符号化の例におけるノンインターレース・フレーム検出回路での処理のアルゴリズムについて、図２３のフローチャートを参照しながら説明する。ここで、信号Ｓ７は、フレームの符号化方法を示すものであり、符号化器１６３から指定される。この図２３のアルゴリズムと上記図７及び図８のアルゴリズムとの違いは、条件分岐ステップ３０５と３１６の条件がステップ３３１と３３２のように変更された点である。この図２３の例の他の構成は図７、図８と同様であるため、変更箇所であるステップ３３１、３３２の前後のみを図示し、他の部分は図示を省略している。

すなわち、図７の条件分岐ステップ３０５は、図２３の条件分岐ステップ３３１のように変更される。このステップ３３１では、２フィールド未来のフラグＳ２［ｆｐ＋２］が１であるか、または上記信号Ｓ７がＢピクチャを示すか、が判別される。また、図８の条件分岐ステップ３１６は、図２３の条件分岐ステップ３３２のように変更される。このステップ３３２では、２フィールド未来のフラグＳ２［ｆｐ＋２］が１であるか、または上記信号Ｓ７がＢピクチャを示すか、が判別される。

このときの各部信号やフラグの具体例を図２４に示す。これは、孤立フィールドを上記top_field で除去する例である。図２４の（ａ）は、上述した図３〜図８と共に説明した方法によるものであり、図２４の（ｂ）は、この図２３に示す例の方法によるものである。

図中のフィールド“？”の時間を現在時間ｆｐとする。図２４の（ａ）では、“？”を孤立フィールドとして検出し、除去する。そしてフレーム｜ｆ Ｆ｜をＢピクチャ指定し、フラグＳ５を１としている。

一方、図２４の（ｂ）では、フィールド“？”の時間ｆｐで符号化方法がＢピクチャ指定されているので、“？”は孤立フィールドと検出されない。そしてフィールド時間が２フィールド進んだところ（ｆｐ＝ｆｐ＋２）で、符号化方法がＰピクチャ指定されており、“Ｆ”が孤立フィールドと検出され、除去される。そして、フレーム｜ｇ Ｇ｜ をＰピクチャで符号化し、フラグＳ５を１としている。図２３に示すアルゴリズムでは、フィールド“Ｆ”の時間を現在時間ｆｐとすると、それより未来のフィールドシーケンスでは、“Ｆ”はノンインターレースフレームを構成しない孤立フィールドと判断される。

もう一例を図２５に示す。これは、孤立フィールドを bottom_field で除去する例である。図２５の（ａ）は、上述した図３〜図８と共に説明した方法の例であり、図２５の（ｂ）は、図２３に示す例の方法の例である。

この図２５において、フィールド“ｃ”の時間を現在時間ｆｐとする。図２５の（ａ）では、“？”を孤立フィールドとして検出し、除去する。そしてフレーム｜ｃ Ｃ｜ をＢピクチャ指定し、フラグＳ５を１としている。

一方、図２５の（ｂ）では、フィールド“ｃ”の時間ｆｐで符号化方法がＢピクチャ指定されているので、“？”は孤立フィールドに検出されない。そしてフィールド時間が４フィールド進んだところで、符号化方法がＰピクチャ指定されており、“ｄ”が孤立フィールドと検出され、除去される。そして、図中のフレーム｜Ｅ ｅ｜ をＰピクチャで符号化し、フラグＳ５を１としている。図２３に示すアルゴリズムでは、フィールド“ｄ”の時間を現在時間ｆｐとすると、それより未来のフィールドシーケンスでは、“ｄ”はノンインターレースフレームを構成しない孤立フィールドと判断される。

以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。

このようにして孤立フィールドが除去されて、図１のフィールド検出・除去回路１７２から出力されたフィールド信号Ｓ６は、スキャンコンバータ１６２にて、入力順にフレーム画像へ変換される。信号Ｓ６の例は、上述した図２４、図２５の通りである。各入力フレーム信号Ｓ２０３とそれに対応するフラグＳ４とＳ５は、符号化器１６３へ入力される。２つのフラグＳ４とＳ５は、それぞれＭＰＥＧ２で定義されている"top_field_first" と "repeat_first_field" を使用して符号化できる。なお、符号化器１６３の詳細な構成については、後述する。符号化ビットストリームＳ２０４は記憶媒体１６４へ入力される。

ここで説明した具体例は、画像復号器側がＭＰＥＧ２のいわゆるＭＰ＠ＭＬ（メインプロファイル・アト・メインレベル）のクラスの性能を有しているときに必須とされる。すなわち、ノンインターレース・フレームを構成しない孤立フィールドを除去したことを指示するフラグをＭＰＥＧ２の"repeat_first_field"を用いて伝送するが、ＭＰＥＧ２のＭＰ＠ＭＬでは、フレームレート２５Ｈｚの時に、Ｂピクチャの"repeat_first_field"を１とすることが禁止されている。そこで、上記具体例を用いることで、この禁止事項を回避し、かつ効率の良い画像符号化を実現できる。

次に、上記フラグＳ５が１のときに、符号化方法を強制的にＩ又はＰとする例について説明する。

一般的にＧＯＰの中では、ＰピクチャまたはＩピクチャは周期的である場合が多い。例えば、図２２に示すＧＯＰ構成では、ＰピクチャまたはＩピクチャは、３フレーム毎にある。

この例では、上述の図３〜図８で説明したフラグＳ５を１とした時に、フレームの符号化方法を、強制的にＩフレームまたはＰフレームとする。そのため、上述の例とは、符号化器１６３が行なうフレームの符号化方法を示す信号Ｓ７の制御方法が違う。それ以外は、上述の図３〜図８で説明した例と同じである。

具体例を図２６と図１とで説明する。フィールド“？”の時間を現在時間ｆｐとする。そして、“？”を孤立フィールドとして検出し、除去する。そして上記フラグＳ５を１とする。それを受けて、符号化器１６３は、Ｐピクチャを３フレーム毎に使う場合ならばＢピクチャが割り当てられるところ、ここでは、信号Ｓ７によりＰピクチャ指定を行わせる。

ノンインターレース・フレーム検出回路１７２から出力されたフィールド信号Ｓ６は、スキャンコンバータ１６２にて、入力順にフレーム画像へ変換される。信号Ｓ６の例を、図２６に示す。

各入力フレーム信号Ｓ２０３とそれに対応するフラグＳ４とＳ５は、画像符号化器１６３へ入力される。２つのフラグＳ４とＳ５は、それぞれＭＰＥＧ２で定義されている"top_field_first" と "repeat_first_field" を使用して符号化できる。なお、符号化器１６３の詳細な構成については、後述する。符号化ビットストリームＳ２０４は記憶媒体１６４へ入力される。

ここで説明した具体例も、画像復号器側がＭＰＥＧ２のいわゆるＭＰ＠ＭＬのクラスの性能を有しているときに必須とされ、この具体例を用いることで、上述したＢピクチャの"repeat_first_field"を１とすることが禁止される禁止事項を回避し、かつ効率の良い画像符号化を実現できる。

ところで、いわゆるＰＡＬ方式の映像信号において、上記ＭＰＥＧ符号化規格を用いる場合には、“ＰＡＬ方式のシーケンスにおいてフィールド繰り返しはＢピクチャで禁止する”との規定がある。ここでＰＡＬ方式とは、Phase Alternation by Line の略である。前述したような不規則なテレシネパターンは、上記ＰＡＬ方式の場合に生じるため、これを考慮する必要がある。これを、図２７を参照しながら説明する。

図２７において、問題となる不規則なパターンを符号化する場合に、どこでフィールド繰り返しを行うかは、符号化器の自由である。このため、本例においては、フィールド繰り返しをＩピクチャ（イントラ符号化画像：Intra-coded picture ）もしくはＰピクチャ（前方予測符号化画像：Predictive-coded picture）において発生するように、スケジューリングを行っている。

すなわち、図２７の（Ａ）に示すような上記不規則パターンを含むシーケンスに対して、図２７の（Ｂ）のように、フィールド繰り返しを含む組ＣＦt_Ｂが上記Ｐピクチャに対応するようにスケジューリングを行うことにより、上記規定を違反することなく符号化が行える。なお、図２７の（Ｃ）のように、フィールド繰り返しを含む組ＣＦt_Ｆが符号化の際の上記Ｂピクチャに対応すると、上記規定を違反することになるから、このような符号化を回避するようなスケジューリングを行って上記図１６の符号化器１０５に送るわけである。

図１６のノンインターレース画像の再構成回路１０４においては、このようなピクチャタイプのスケジューリングを含む符号化フレームあるいはフィールド画像の組ＣＦの再構成が行われ、３種類のフラグ picture_coding_type, top_field_first, repeat_first_field が出力され、画像データとともに符号化器１０５へ渡される。

次に、上記図９に示す構成のノンインターレースフレーム検出回路を用いる場合の具体例について、詳細に説明する。

上記図９の構成を用いる場合のフラグＳ２２から、ノンインターレースフレームの組合わせを判定するアルゴリズムの一例を、図３０に示す。ここで、７行目の“picture_coding_type” は、フレームの符号化方法であり、後段の図１の符号化器１６３から指定される。このアルゴリズムと上記図１４のアルゴリズムとの違いは、７行目から１１行目のＡＮＤ条件である。ここでは、repeat_first_fieldが、１となるための条件に、“picture_coding_type”が、“B_PICTURE”以外の時という条件を加えている。

この図３０のアルゴリズムに対応するフローチャートを図３１に示す。

この図３１において、図３０の各条件ＣＮＤ_１１〜ＣＮＤ_１５が、図３１の各条件判別ステップＣＮＤ_１１〜ＣＮＤ_１５に対応している。図３１の他のステップは、各変数ｎ、isTop_field、top_field_first[n] 、repeat_first_field[n] 、pattern[n] の設定をそれぞれ示している。

具体例を図２８と図２９に示す。図２８は、上述した図１２と同じ入力Ｓ１について、図３０のアルゴリズムにより、top_field_first, repeat_first_field,pattern を判断した結果を示したものである。また、図２９は、上述の図１３と同じ入力Ｓ１について、図３０のアルゴリズムによりtop_field_first, repeat_first_field, patternを判断した結果を示したものである。

図１２と図２８の場合の違いは、図１２では、ｎ＝１５すなわち、Ｓ１の１５番目のフィールドの“？”において、repeat_first_field=1 で pattern=5 となり、孤立フィールド“？”を除去しているが、図２８では、フィールド“？”で指定されるpicture_coding_typeが、“B_PICTURE”なので、repeat_first_fieldを１としない。次に図３０のアルゴリズムにより、repeat_first_fieldが１となるのは、ｎ＝１９のフィールド“ｉ”の時であり、このとき、pattren=5となり、“ｉ”は除去される。

図１３と図２９の場合の違いは、図１３では、ｎ＝４すなわち、Ｓ１の４番目のフィールド“Ｃ”において、repeat_first_field=1 で pattern=5 となり、孤立フィールド“？”を除去しているが、図２９では、フィールド“Ｃ”で指定されるpicture_coding_type が、“B_PICTURE” なので、repeat_first_fieldを１としない。次に図３０のアルゴリズムにより、repeat_first_fieldが１となるのは、ｎ＝６のフィールド“？”の時であり、この時、pattren=2 となり、“？”は除去される。

図２８の場合、本来、フィールド“ｉ”は、フィールド“Ｉ”とノンインターレースフレームをつくる組合わせであるが、図３０のアルゴリズムでは、Ｂピクチャで、repeat_first_fieldを１としないという制限のために、結果的には、フィールド“ｉ”を除去することになる。これは、本来は正しくないがフィールド“ｈ”と“Ｉ”をノンインターレースフレームの組合わせとしたために、次に、正しくフィールド“Ｊ”と“ｊ”をノンインターレースフレームの組合わせとする場合、フィールド“ｉ”を孤立フィールドとしなければならないためである。このように本例では、Ｂピクチャで、repeat_first_fieldを１としないという制限のために、上述した図１４のアルゴリズムの例に比べ、repeat_first_fieldが１となるフレームの前後で、符号化効率が低下するフレーム（図２８のフレーム｜Ｉ ｈ｜）が発生する場合がある。このような場合、そのフレームのビットレートを上げるなどの対策が有効である。

以上のようにして、ノンインターレースフレームを構成しない孤立フィールドを検出し、除去する。

説明を図１へ戻る。ノンインターレースフレーム検出器１７２から出力されたフィールド信号Ｓ２６は、スキャンコンバータ１６２にて、入力順にフレーム画像Ｓ２０３へ変換される。図２８と図２９の例では、Ｓ２６の“｜”がフレームの境界である。フレーム画像は、上述のpattern に基づいて出力された２フィールド毎に構成されることがわかる。

各入力フレームＳ２０３とそれに対応するフラグＳ２４とＳ２５は、符号化器１６３へ入力される。２つのフラグＳ２４とＳ２５は、それぞれＭＰＥＧ２で定義されている“top_field_first” と“repeat_first_field”を使用して符号化できる。符号化器１６３からの符号化ビットストリームＳ２０４は記憶媒体１６４へ入力される。

次に、上記図１の復号装置側について説明する。

図１の記憶媒体１６４からは、符号化ビットストリーム信号Ｓ２０５が端子１７６を介して復号器１６５に供給される。復号器１６５にて、符号化ビットストリーム信号Ｓ２０５から、フレーム信号Ｓ２０６が再生される。なお復号器１６５についての詳細な説明は後述する。

フレーム信号Ｓ２０６のそれぞれのフレームついて、top_field または bottom_field のどちらから画面表示されなければならないかを示す第２のフラグＳ１０、及びフィールドを除去したことを指示する第１のフラグＳ１１が復号される。これらのフラグＳ１０、Ｓ１１は、それぞれ符号化器の例で説明したフラグＳ４、Ｓ５、あるいはＳ２４、Ｓ２５に対応するものである。

フレーム信号Ｓ２０６の各フレームは、スキャンコンバータ１６６にて、top_field と bottom_field のフィールド信号Ｓ２０７の２フィールドに変換される。出力コントローラ１７７は、フィールド信号Ｓ２０７の画像表示をフラグＳ１０、Ｓ１１によって制御する。

フラグＳ１０が１である時、top_field が先に出力され、フラグＳ１０が０である時、bottom_field が先に出力される。

またフラグＳ１１が１である時、すでに復号再生されたフィールドを使って１フィールドを内挿する。例えば、フラグＳ１０で指示される最初に出力されたフィールドを繰り返し出力する。この場合、２つのフラグＳ１０とＳ１１は、それぞれＭＰＥＧ２で定義されている”top_field_first” と "repeat_first_field" を用いて実現できる。このようにして、信号Ｓ２０７、フラグＳ１０、Ｓ１１に基づいて、信号Ｓ２０８を出力する。この信号Ｓ２０８は、モニタ１６７で表示される。

出力コントローラでの処理について、具体例を図３２、図３３、図３４、図３５に示す。これらの４例は、それぞれ順に、図３、図４、図５、図６で説明したシーケンスの符号化ビットストリームに対応する出力である。

次に、図１の符号化器１６３の具体例について、図３６を参照しながら説明する。この図３６の例では、ＭＰＥＧ２などで広く知られている動き補償フレーム間予測とＤＣＴを組み合わせたハイブリッド符号化方法で構成する。

この図３６の端子３６０からは、入力動画像信号Ｓ２０３が入力される。各フレームは、Ｉピクチャ、ＰピクチャまたはＢピクチャの３種類の方法のいずれかで、符号化される。

例えば上記図２２に示すように、１２フレームで構成されるＧＯＰの場合、Ｉ２をＩピクチャとして符号化し、フレームＢ０，Ｂ１をＢピクチャとして符号化し、フレームＰ５をＰピクチャとして符号化する。以下、Ｂ３，Ｂ４，Ｐ８，Ｂ６，Ｂ７，Ｐ１１，Ｂ９，Ｂ１０の順番で符号化する。このような画像符号化方法は、画像符号化タイプ指定回路３７１が行ない、上記信号Ｓ７を出力する。

信号Ｓ２０３は、動きベクトル推定回路３７０へ入力され、ここでフレーム間の動きベクトルが検出される。動きベクトル推定は、例えば、参照フレームと現在の１６画素×１６ラインのマクロブロックとのパターンマッチングで行なう。すなわち、現在のマクロブロックの信号Ａijと、任意の動きベクトルにより参照されるブロックの信号Ｆijの差の絶対値｜Ａij−Ｆij｜の和Ｅf 、すなわち
Ｅf ＝ Σ｜Ａij−Ｆij｜
を求める。

動きベクトル検出回路３７０は、Ｅf が最小となる動きベクトル情報Ｓ４３を出力する。動き補償フレーム間／内予測回路３６７は、動きベクトル情報Ｓ２３で読み出した予測画像信号Ｓ９０を出力する。演算器３６１は、信号Ｓ２０３と信号Ｓ９０の差分計算をし、予測残差信号Ｓ９１が取り出される。なお、信号Ｓ７がＩピクチャを示す場合、予測を行なわず、入力動画像信号Ｓ２０３がそのまま取り出される。

次に、予測残差信号Ｓ９１（予測を行なわない時は原信号）に対して、ＤＣＴ回路３６２にて２次元ＤＣＴを施す。ＤＣＴ係数は、量子化回路３６３にてスカラー量子化される。量子化出力それぞれは、ＶＬＣ（可変長符号化）回路３６８にて、ハフマン符号化される。また、それぞれのマクロブロック毎に、その量子化ステップＱと動きベクトル情報Ｓ４４は、ＶＬＣ回路３６８にて、ハフマン符号化される。また、それぞれのフレーム毎に、そのフレームの信号Ｓ７と前述のフラグＳ４とＳ５は、ＶＬＣ回路３６８にて、ハフマン符号化される。

バッファ３６９では、伝送路に出力するビットレートを平滑化するとともに、オーバーフローが起こりそうな時は、そのことをフィードバックし、量子化回路３６３の量子化ステップを大きくし、量子化回路３６３から出力される情報量を小さくする。

一方、量子化回路３６３から出力されたデータは、逆量子化回路３６４に入力され、量子化回路３６３より供給される量子化ステップＱに対応して逆量子化される。逆量子化回路３６４の出力は、逆ＤＣＴ回路３６５に入力され、逆ＤＣＴ処理され、復号された予測残差信号Ｓ９２が、演算器３６６へ入力される。

この演算器３６６にはまた、演算器３６１に供給されている予測残差信号Ｓ９０と同一のデータが供給されている。演算器３６６は、信号Ｓ９２に信号Ｓ９０を加算する。これにより、局所復号した画像データが得られる。この画像は、受信側での出力画像と同じ信号である。

ここで、上述した動画像信号の符号化及び復号の具体例について、図３７〜図４５を参照しながらさらに詳細に説明する。この具体例では、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化している。

上記ライン相関を利用する場合には、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。

また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図３７のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、図３７のＢに示すように画像ＰＣ１２を生成し、また、図３７のＡのフレーム画像ＰＣ２とＰＣ３の差を演算して、図３７のＢの画像ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。すなわち、図３７のＢに示す画像ＰＣ１２においては、図３７のＡのフレーム画像ＰＣ１とＰＣ２の画像信号の差として、図３７のＢの画像ＰＣ１２の図中斜線で示す部分の信号が得られ、また、図３７のＢに示す画像ＰＣ２３においては、図３７のＡのフレーム画像ＰＣ２とＰＣ３の画像信号の差として、図３７のＢの画像ＰＣ２３の図中斜線で示す部分の信号が得られる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。

しかしながら、上記差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ（イントラ符号化画像：Intra-coded picture)、Ｐピクチャ（前方予測符号化画像： Predictive-coded picture)またはＢピクチャ（両方向予測符号化画像：Bidirectionally-predictive-coded picture )の３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。

すなわち、例えば図３８のＡ及びＢに示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、符号化処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。

Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図３８のＡに示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を符号化して伝送する。さらにＢピクチャの画像信号としては、基本的には、図３８のＢに示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化して伝送する。

図３９のＡ及びＢは、このようにして、動画像信号を符号化する方法の原理を示している。なお、図３９のＡには動画像信号のフレームのデータを、図３９のＢには伝送されるフレームデータを模式的に示している。この図３９に示すように、最初のフレームＦ１は、Ｉピクチャすなわち非補間フレームとして処理されるため、そのまま伝送データＦ１Ｘ（伝送非補間フレームデータ）として伝送路に伝送される（イントラ符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャすなわち補間フレームとして処理されるため、時間的に先行する上記フレームＦ１と、時間的に後行するフレームＦ３（フレーム間符号化の非補間フレーム）の平均値との差分が演算され、その差分が伝送データ（伝送補間フレームデータ）Ｆ２Ｘとして伝送される。

ただし、このＢピクチャとしての処理は、さらに細かく説明すると、マクロブロック単位で切り替えが可能な４種類のモードが存在する。その第１の処理は、元のフレームＦ２のデータを図中破線の矢印ＳＰ１で示すようにそのまま伝送データＦ２Ｘとして伝送するものであり（イントラ符号化モード）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、図中破線矢印ＳＰ２で示すようにその差分を伝送するものである（後方予測モード）。第３の処理は、図中破線矢印ＳＰ３で示すように時間的に先行するフレームＦ１との差分を伝送するものである（前方予測モード）。さらに第４の処理は、図中破線矢印ＳＰ４で示すように時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測モード）。

この４つの方法のうち、伝送データが最も少なくなる方法がマクロブロック単位で採用される。

なお、差分データを伝送するときには、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（前方予測の場合のフレームＦ１とＦ２の間の動きベクトル）、もしくは動きベクトルｘ２（後方予測の場合のフレームＦ３とＦ２の間の動きベクトル）、または動きベクトルｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。

また、ＰピクチャのフレームＦ３（フレーム間符号化の非補間フレーム）は、時間的に先行するフレームＦ１を予測画像として、このフレームＦ１との差分信号（破線矢印ＳＰ３で示す）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測モード）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送（破線矢印ＳＰ１で示す）される（イントラ符号化モード）。このＰピクチャにおいて、いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様であり、伝送データがより少なくなる方がマクロブロック単位で選択される。

なお、ＢピクチャのフレームＦ４とＰピクチャのフレームＦ５も上述同様に処理され、伝送データＦ４Ｘ、Ｆ５Ｘ、動きベクトルｘ４，ｘ５，ｘ６等が得られる。

図４０は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送して記録するようになされている。そして、復号装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。

先ず、符号化装置１においては、入力端子１０を介して入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてディジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。このフレームメモリ１４では、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。

フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。すなわち、図４１の（Ａ）に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分する。そして、各スライスは、図４１の（Ｂ）に示すように、Ｍ個のマクロブロックに分割される。各マクロブロックは、図４１の（Ｃ）に示すように、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、図４１の（Ｃ）に示すように、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。

このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図４２を参照して後述する。

エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。

記録媒体３より再生されたデータは、復号装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図４５を参照して後述する。

デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。この出力映像信号は、出力端子３０から図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。

次に図４２を参照して、エンコーダ１８の構成例について説明する。

入力端子４９を介して供給された符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図３８に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。

また、次のタイミングにおいて、さらにＢピクチャ（例えば前記フレームＦ４）またはＰピクチャ（前記フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。

フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り換え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードによる演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応してマクロブロック単位で決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）及び、その予測誤差信号に対応するイントラ符号化モードの評価値をマクロブロック単位で生成する。

ここで、予測モード切り換え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。

フレーム予測モードが設定された場合においては、予測モード切り換え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわち、この場合においては、図４３のＡに示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。なお、図４３の各マクロブロック中の実線は奇数フィールド（第一フィールドのライン）のラインのデータを、破線は偶数フィールド（第二フィールドのライン）のラインのデータを示し、図４３の図中ａ及びｂは動き補償の単位を示している。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。

これに対して、予測モード切り換え回路５２は、フィールド予測モードが設定された場合、図４３のＡに示す構成で動きベクトル検出回路５０より入力される信号を、図４３のＢに示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。

なお、色差信号は、フレーム予測モードの場合、図４３のＡに示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図４３のＢに示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。

また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、各マクロブロックに対し、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれの予測を行なうか及びフレーム予測モード、フィールド予測モードのどちらで処理するかを決定するためのイントラ符号化モードの評価値及び各予測誤差の絶対値和をマクロブロック単位で生成する。

すなわち、イントラ符号化モードの評価値として、これから符号化される参照画像のマクロブロックの信号Ａijとその平均値との差の絶対値和Σ｜Ａij−（Ａijの平均値）｜を求める。また、前方予測の予測誤差の絶対値和として、フレーム予測モード及びフィールド予測モードそれぞれにおける、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）フレーム予測モード及びフィールド予測モードの場合のそれぞれに対して求める。

これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、フレーム予測モード、フィールド予測モードそれぞれにおける前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター(inter) 予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、イントラ符号化モードの評価値とを比較し、その小さい方を選択し、この選択した値に対応するモードを予測モード及びフレーム／フィールド予測モードとして選択する。すなわち、イントラ符号化モードの評価値の方が小さければ、イントラ符号化モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが予測モード及びフレーム／フィールド予測モードとして設定される。

上述したように、予測モード切り換え回路５２は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測判定回路５４により選択されたモードに対応する図４３で示したような構成で、演算部５３に供給する。また動きベクトル検出回路５０は、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像との間の動きベクトルを出力し、後述する可変長符号化回路５８と動き補償回路６４に供給する。なお、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。

予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、イントラ符号化モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り換える。これにより、Ｉピクチャの画像データがＤＣＴモード切り換え回路５５に入力される。

このＤＣＴモード切り換え回路５５は、図４４のＡまたはＢに示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。

すなわち、ＤＣＴモード切り換え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。

例えば、入力された信号を、図４４のＡに示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図４４のＢに示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。

そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８に出力する。

予測モード切り換え回路５２におけるフレーム／フィールド予測モード（図４３参照）と、このＤＣＴモード切り換え回路５５におけるＤＣＴモード（図４４参照）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。

予測モード切り換え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り換え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り換え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り換え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。

しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り換え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り換え回路５５においては、符号化効率が良好となるようにモードが決定される。

ＤＣＴモード切り換え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。

可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン(Huffman) 符号などの可変長符号に変換し、送信バッファ５９に出力する。

可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測判定回路５４より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、及びＤＣＴモード切り換え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。

送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。

送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。

そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、出力端子６９を介して伝送路に出力され、例えば記録媒体３に記録される。

一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。

ところで動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測及び両方向予測を伴う可能性があるため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。

そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測判定回路５４に供給される。予測判定回路５４は、このＰピクチャのマクロブロックのイントラ符号化モードの評価値及び予測誤差の絶対値和に対応して、フレーム予測モード、フィールド予測モードの何れか、及びイントラ符号化モード、前方予測モードのいずれの予測モードかをマクロブロック単位で設定する。

演算部５３はイントラ符号化モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り換える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。

一方、前方予測モードの時、スイッチ５３ｄが接点ｂに切り換えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。

この演算器６２には、また、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。なお、実際には、演算器６２に供給される、ＩＤＣＴ回路の出力する差分データのデータ構造と予測画像データのデータ構造とは、同じである必要があるため、フレーム／フィール予測モードとフレーム／フィールドＤＣＴモードが、異なる場合に備えてデータの並べ換えを行う回路が必要であるが、簡単のため省略する。

動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測判定回路５４は、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールド予測モードを設定し、また、予測モードをイントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。

上述したように、イントラ符号化モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り換えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。

これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り換えられる。

スイッチ５３ｄが接点ｃに切り換えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

スイッチ５３ｄが接点ｄに切り換えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、フレーム予測モードの場合、前方予測画像用と後方予測画像用の２つ、フィールド予測モードの場合は、前方予測画像用に２つ、後方予測画像用の２つの計４つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。

なお、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り換えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。

以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図４３及び図４４に示すマクロブロックを単位として処理され、伝送される。なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。

次に、図４５は、図４０のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、入力端子８０を介して受信バッファ８１に一時記憶された後、復号回路９０の可変長復号回路８２に供給される。可変長復号回路８２は、受信バッファ８１より供給されたデータを可変長復号し、動きベクトル、予測モード、予測フラグ及びＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。

逆量子化回路８３は、可変長復号回路８２より供給された画像データを、同じく可変長復号回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。

ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図４０）に出力される。

ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードで符号化されたマクロブロックのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、すなわち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。

Ｐピクチャのデータであっても、イントラ符号化モードで符号化されたマクロブロックのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。

このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。

ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし、動き補償を必要としない場合（イントラ符号化モードの場合）、予測画像は生成されない。

このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、出力端子９１を介してフォーマット変換回路３２に出力される。

ただし、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。

Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７及び演算器８５を介して再生画像として出力される。ただし、このとき、動き補償及び加算は行われない。

なお、このデコーダ３１には、図４２のエンコーダ１８における予測モード切り換え回路５２とＤＣＴモード切り換え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。

また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。ただし、この場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に１／２にしたものが用いられる。

以上のような構成の符号化／復号システムにおける符号化装置１に、上記図１の前処理回路１０２からの３種類のフラグ picture_coding_type, top_field_first, repeat_first_field が画像データと共に供給されることにより、符号化の単位となるフレームあるいはフィールドの組が制御されて、元のノンインターレース画像との対応関係に従った符号化フレームでの符号化が行われ、またＩ、Ｐ、Ｂの各ピクチャタイプが制御されて、上述したようなフィールドの繰り返しがＢピクチャとして符号化されないように制御されるわけである。

なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、不規則パターン検出回路やノンインターレース画像の再構成回路は、種々の構成を用いることができる。また、上記孤立フィールドが第二フィールドに生じる場合には、第二フィールドを繰り返すようなフィールドの組を再構成して符号化に渡すようにすればよい。さらに、記録媒体を介さずに信号を伝送する場合にも本発明を適用できることは勿論である。

本発明の実施の形態を説明するための動画像信号符号化復号装置の概略構成を示すブロック図である。 ノンインターレース画像を構成しない孤立フィールドの検出・除去回路の具体例を示すブロック図である。 孤立フィールドは第一フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 孤立フィールドは第一フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 孤立フィールドは第二フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 孤立フィールドは第二フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 本発明の実施の形態の一の具体例による孤立フィールド検出・除去動作を説明するためのフローチャートである。 図７のフローチャートの他の部分を示すフローチャートである。 ノンインターレース画像を構成しない孤立フィールドの検出・除去回路の他の具体例を示すブロック図である。 正しいノンインターレース画像に対応する組み合わせを検出するためのアルゴリズムの具体例を説明するための図である。 正しいノンインターレース画像に対応する組み合わせを検出するための回路構成の具体例を示すブロック回路図である。 図９の構成による孤立フィールド検出、除去及び入力フレームの再構成の一例を示す図である。 図９の構成による孤立フィールド検出、除去及び入力フレームの再構成の他の例を示す図である。 ノンインターレースフレームをつくる２フィールドの組み合わせを判定するアルゴリズムの一例を示す図である。 図１４のアルゴリズムに対応する処理手順を説明するためのフローチャートである。 本発明の実施の形態となる画像信号符号化装置の概略構成を示すブロック図である。 ノンインターレース画像のシーケンスの組み合わせが崩れる不規則なパターンを示す図である。 不規則なパターンの検出動作を説明するための図である。 問題となるパターンの符号化を説明するための図である。 前のフィールドを繰り返すことにより孤立フィールドを補間する例を説明するための図である。 後ろのフィールドを繰り返すことにより孤立フィールドを補間する例を説明するための図である。 グループオブピクチャの具体例を示す図である。 本発明の実施の形態の他の具体例による孤立フィールド検出・除去動作を説明するためのフローチャートである。 孤立フィールドは第一フィールドでありそれより未来のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 孤立フィールドは第二フィールドでありそれより過去のシーケンスに含まれる場合の各部の信号及びフラグを示す図である。 本発明の実施の形態のさらに他の具体例において孤立フィールドを除去したことを示すフラグが１の場合の各部の信号及びフラグを示す図である。 符号化器に対するフラグの指定方法とピクチャタイプとの関係を示す図である。 孤立フィールド検出、除去及び入力フレームの再構成の一例を示す図である。 孤立フィールド検出、除去及び入力フレームの再構成の他の例を示す図である。 ノンインターレースフレームをつくる２フィールドの組み合わせを判定するアルゴリズムの他の例を示す図である。 図３０のアルゴリズムに対応する処理手順を説明するためのフローチャートである。 図３で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。 図４で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。 図５で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。 図６で説明したシーケンスの符号化ビットストリームに対応する画像出力信号及びフラグを示す図である。 画像符号化器の具体的な構成の一例を示すブロック図である。 高能率符号化の原理を説明する図である。 画像データを圧縮する場合におけるピクチャのタイプを説明する図である。 動画像信号を符号化する原理を説明する図である。 本発明の実施の形態が適用される画像信号符号化装置と復号装置の構成例を示すブロック図である。 図４０におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。 図４０におけるエンコーダ１８の構成例を示すブロック図である。 図４２の予測モード切り替え回路５２の動作を説明する図である。 図４２のＤＣＴモード切り替え回路５５の動作を説明する図である。 図４０のデコーダ３１の構成例を示すブロック図である。 従来の動画像符号化復号システムの概略構成を示すブロック図である。 ２系列のノンインターレース画像を編集することにより不規則なシーケンスが生成されることを説明するための図である。 不規則なシーケンスパターンにより符号化効率が低下することを説明するための図である。

符号の説明

１ 符号化装置、 ２ 復号装置、 ３ 記録媒体 、 １２，１３ Ａ／Ｄ変換器、 １４ フレームメモリ、 １５ 輝度信号フレームメモリ、 １６ 色差信号フレームメモリ、 １７ フォーマット変換回路、 １８ エンコーダ、 ３１ デコーダ、 ３２ フォーマット変換回路、 ３３ フレームメモリ、 ３４ 輝度信号フレームメモリ、 ３５ 色差信号フレームメモリ、 ３６，３７ Ｄ／Ａ変換器、 １０２ 前処理回路、 １０３ 不規則パターン検出回路、 １０４ ノンインターレース画像の再構成回路、 １０５，１６３ 符号化器、 １６２，１６６ スキャンコンバータ、 １６４ 記憶媒体、 １６５ 復号器、 １７２ ノンインターレース・フレーム検出回路、 １７７ 出力コントローラ

Claims (6)

1. 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される２つのフィールド画像の組に変換した第１の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される２つのフィールド画像の組に変換した第２の画像列とが結合された画像信号であって、一方の画像列は組を成す２つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化方法において、
   上記入力画像信号の各フィールド画像間のデータの相関を求めることにより、上記変換前のノンインターレース画像の１枚に対応するフィールド画像の１組が、第一フィールドから開始されるか、第二フィールドから開始されるかを検出する検出工程と、
   少なくとも上記検出工程の検出結果に基づいて検出された、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されないフィールドを除去すると共に前後のフィールドを用いて除去された位置の内挿を行い、前のフィールドが繰り返された第１のフィールド画像の組、又は後ろのフィールドが繰り返された第２のフィールド画像の組を構成する再構成工程と、
   上記再構成工程において処理された画像列に対して、上記第１又は第２のフィールド画像の組についてはフィールドの繰り返しを指示するフラグを用いて符号化を行う符号化工程とを有すること
   を特徴とする画像信号符号化方法。
2. 上記検出工程は、上記入力画像信号の所定の１フィールドを基準フィールドとして、上記基準フィールドとその１フィールド前のフィールドとの対をなす２フィールド間の相関と、上記基準フィールドとその１フィールド後のフィールドとの対をなす２フィールド間の相関とを比較し、相関が高い方を正規のノンインターレース画像に対応するフィールド対と判断し、この判断結果を出力すること
   を特徴とする請求項１記載の画像信号符号化方法。
3. 上記検出工程は、上記相関として、上記２フィールドを構成するフレームの隣接するライン間の差分の絶対値和を用い、絶対値和が小さい方を正規のノンインターレース画像に対応するフィールド対と判断すること
   を特徴とする請求項２記載の画像信号符号化方法。
4. 複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第一フィールドから開始される２つのフィールド画像の組に変換した第１の画像列と、複数のノンインターレース画像からなる画像列の各ノンインターレース画像をインターレース画像の第二フィールドから開始される２つのフィールド画像の組に変換した第２の画像列とが結合された画像信号であって、一方の画像列は組を成す２つのフィールド画像の間を編集点として他方の画像列に結合された画像信号、を入力画像信号として符号化を行う画像信号符号化装置において、
   上記入力画像信号の各フィールド画像間のデータの相関を求めることにより、上記変換前のノンインターレース画像の１枚に対応するフィールド画像の１組が、第一フィールドから開始されるか、第二フィールドから開始されるかを検出する検出手段と、
   少なくとも上記検出手段の検出結果に基づいて検出された、隣接するフィールド画像のいずれと組み合わせることによっても変換前の上記ノンインターレース画像が構成されないフィールドを除去すると共に前後のフィールドを用いて除去された位置の内挿を行い、前のフィールドが繰り返された第１のフィールド画像の組、又は後ろのフィールドが繰り返された第２のフィールド画像の組を構成する再構成手段と、
   上記再構成手段において処理された画像列に対して、上記第１又は第２のフィールド画像の組についてはフィールドの繰り返しを指示するフラグを用いて符号化を行う符号化手段とを有すること
   を特徴とする画像信号符号化装置。
5. 上記検出手段は、上記入力画像信号の所定の１フィールドを基準フィールドとして、上記基準フィールドとその１フィールド前のフィールドとの対をなす２フィールド間の相関と、上記基準フィールドとその１フィールド後のフィールドとの対をなす２フィールド間の相関とを比較し、相関が高い方を正規のノンインターレース画像に対応するフィールド対と判断し、この判断結果を出力すること
   を特徴とする請求項４記載の画像信号符号化装置。
6. 上記検出手段は、上記相関として、上記２フィールドを構成するフレームの隣接するライン間の差分の絶対値和を用い、絶対値和が小さい方を正規のノンインターレース画像に対応するフィールド対と判断すること
   を特徴とする請求項５記載の画像信号符号化装置。

Images