JP3582195B2 - 動画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、冗長画像が含まれる動画像を処理する動画像処理方法に関し、特に、映画のフィルムのような原画像ソースを光学／電気変換して得られた動画像信号を処理するための動画像処理方法に関する。
【０００２】
【従来の技術】
動画像を扱う複数の装置を接続し、動画像処理システムを組む場合において、動画像の同期を取る必要がある。一般にシステムの１の装置を基準とし、他の装置は追従させられる。この基準になる装置はマスタと呼ばれ、他はスレーブと呼ばれる。通常、マスタは動画像の供給源であるビデオカメラ、ＶＴＲ、ビデオディスク、又はコンピュータである。これに対して、スレーブは、供給された動画像を処理する符号化装置（エンコーダ）、ＶＴＲ、又はモニタ装置である。
【０００３】
マスタから供給された同期信号は、システムの位相ロックループ（ＰＬＬ：Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）の基準クロックとして用いられる。
【０００４】
具体的な動画像符号化システムの一例を図１６に示す。
【０００５】
この動画像符号化システムは、符号化器１０１のクロック、局所復号器１０２のクロック、表示クロックといった多くのクロックを有するが、この中で、動画像の供給源である画像入力装置１０のディジタルＶＴＲ１００から供給されるフレーム同期信号Ｓ２をマスタ・クロックとしている。
【０００６】
ここで動画像符号化とは、動画像のディジタル伝送の際に、伝送コストの低減のために必須とされている技術である。
【０００７】
例えば、画像処理部２０は、符号化器１０１と局所復号器１０２よりなり、いわゆるＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などで広く知られている動き補償予測とＤＣＴを組み合わせたハイブリッド符号化方法を用いている。
【０００８】
ここで入力画像Ｓ１は、例えば図１７に示すように、３０フレーム／秒（６０フィールド／秒）や２５フレーム／秒（５０フィールド／秒）などのレートで与えられる。
【０００９】
図中、網線で示したフィールドがトップフィールド（ｔｏｐ ｆｉｅｌｄ）又は奇数フィールド（ｏｄｄ ｆｉｅｌｄ）であり、斜線で示したフィールドがボトムフィールド（ｂｏｔｔｏｍ ｆｉｅｌｄ）又は偶数フィールド（ｅｖｅｎ ｆｉｅｌｄ）である。この例では、必ず１フレームは一対のフィールドで構成される。したがって、フレーム同期信号Ｓ２は、それぞれのフレームと合致して、供給される。この場合、すべての入力画像は、図１６の画像処理部２０にて符号化され、符号化器１０１は、フレーム同期信号Ｓ２にロックして動作する。
【００１０】
このように、入力画像Ｓ１に冗長なフィールドが含まれない場合には、フレーム同期信号Ｓ２を利用することで、動画像符号化システムは破綻を来すことなく動作をしていた。
【００１１】
【発明が解決しようとする課題】
ところで図１６において、入力画像Ｓ１に冗長画像が含まれる場合がある。
【００１２】
この冗長画像とは、例えば映画フィルムを光学／電気変換してＶＴＲに記録したような動画像に含まれる。すなわち、原画像ソースとしての映画フィルムのコマ数が毎秒２４コマであるのに対して、ＮＴＳＣのテレビジョン方式では、毎秒３０フレーム（６０フィールド）である。そこで不足する毎秒６フレーム（１２フィールド）を補償するために、２コマについて１フィールドの割合で同一フィールドを繰り返すことで、２コマを５フィールドとし、２４コマを６０フィールドすなわち３０フレームに変換している。この方法は、３：２プルダウンと呼ばれ、詳細は後述する。この繰り返されたフィールドは先のフィールドと同一であり、冗長画像となる。
【００１３】
動画像符号化システムでは、冗長画像を検出し、これを符号化しないことで、データを削減する。したがって、図１６の例において、図示しないものの、符号化器１０１では、その前処理において、冗長画像の検出を行い、ただ単に冗長画像について符号化を行わないようにしている。
【００１４】
このような処理がなされる場合について、具体例を図１８に示す。
【００１５】
この例では、冗長画像は白抜きのフィールドで示され、符号化されない。
【００１６】
ここで、白抜きのフィールドが奇数フィールドの場合には直前の奇数フィールドと同じであり、白抜きのフィールドが偶数フィールドの場合には直前の偶数フィールドと同じである。したがって、前処理で５フィールド毎に１フィールドを除去し、その上で連続する２フィールドから新しい入力フレームを作っている。
【００１７】
この結果、次段の画像処理装置へ入力されるフレームのタイミングは、タイミングパルスＳ３で示すように、フレーム同期信号Ｓ２と非同期的となり、フレーム同期信号Ｓ２とロックしなくなる。そのため、フレーム同期信号Ｓ２を画像処理システムで利用する図１６の動画像符号化システムでは、フレーム同期信号Ｓ２を、画像処理部２０等で使用することができない。
【００１８】
また、図１７の通常の動画像のほかに、図１８の冗長画像を含む動画像をも扱う場合、画像処理部２０は、前処理する場合としない場合等で処理の複雑さが増すことになる。
【００１９】
さらに、編集作業の結果、冗長画像が不規則に含まれるようになった動画像では、フレームのタイミングはより複雑に不規則に変化する場合も考えられる。そのような全てのタイミングに対応する画像処理装置は知られておらず、また作ることは困難であった。
【００２０】
本発明はこのような実情に鑑みてなされたものであり、冗長画像が一定周期であるいは不規則に含まれる動画像を処理できるような動画像処理方法を提供することを目的とする。
【００２１】
また、本発明は、画像入力装置から供給される画像同期入力をマスタ・クロックとする動画像処理システムにおいて、画像入力装置から供給される原入力動画像の中から冗長画像を取り除くなどの前処理のために、次段の画像処理装置へ入力される画像列が、図１８に示すように、原入力動画像の同期入力にロック（ｌｏｃｋ）しない場合でも、原入力動画像の同期入力を、画像処理システムのマスタ・クロックにして、画像処理及び処理画像を出力できるための技術を提供することを目的とする。
【００２２】
すなわち、入力フレーム（又はフィールド）同期信号を符号化器でも使えるようにするための技術を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る動画像処理方法は、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号に符号化処理を施して、伝送する動画像処理方法において、入力されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出する第１のステップと、複数のフィールド画像から検出された冗長フィールドを除去する第２のステップと、冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入することにより処理画像信号を生成する第３のステップと、処理画像信号に対して符号化処理を施す第４のステップとを有する。
【００２４】
ここで、第４のステップは、符号化処理を処理画像信号に施すと共にサイド情報を生成し、サイド情報を処理画像信号に付加する第５のステップを有し、サイド情報は、原画像を処理する際に、トップフィールド及びボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグ、または、原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグ、または、処理画像信号のうち、どの画像信号が挿入された無効信号であるか否かを示す第３のフラグである。
【００２７】
第３のフラグが付加された処理画像信号に対しては、符号化処理は行われない。
【００３０】
また、上述の課題を解決するために、本発明に係る動画像処理方法は、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出し、複数のフィールド画像から検出された冗長フィールドを除去し、冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入し、さらにトップフィールド及びボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグ、または、原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグ、または、処理画像信号のうち、どの画像信号が挿入された無効信号であるか否かを示す第３のフラグであるサイド情報を付加して生成された処理画像信号から冗長フィールドを含むディジタル動画像信号を復元する動画像処理方法において、処理画像信号からサイド情報を分離する第１のステップと、サイド情報を用いて、処理画像信号から無効信号を除去する第２のステップと、無効信号が除去された画像信号列の一部の画像信号を繰り返すことにより、冗長フィールドを生成して所定の画像レートのディジタル動画像信号を復元する第３のステップとを有する。
【００３１】
本発明に係る動画像信号処理方法によれば、入力されたディジタル動画像信号より、冗長フィールドを検出し、冗長フィールドを除いた画像列から、圧縮符号化処理されるべきフレームをつくるトップフィールドとボトムフィールドの組合せを判定し、フレーム画像をつくり、このフレーム画像列に所定の信号を挿入して、処理画像信号を作ることにより、冗長画像が一定周期であるいは不規則に含まれる動画像を、画像同期信号に同期のとられた新たな画像列信号とすることができる。
【００３２】
この場合、上記の処理画像列に画像処理のためのサイド情報を付加することにより、画像符号化装置側で、このサイド情報に基づいて正確な処理を行うことができる。
【００３３】
また、上記入力ディジタル動画像信号が原画像の１画面、例えば映画フィルムの１コマを２フィールド又は３フィールドで読み出す３：２プルダウン法により読み出された信号であるとき、上記サイド情報として、上記原画像を読み出す際にトップフィールドが最初に読み出されたか、ボトムフィールドが先に読み出されたかを示す第１のフラグ、すなわちｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグと、上記原画像の１画面が３フィールドで読み出されたか、２フィールドで読み出されたかを示す第２のフラグ、すなわちｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグと、上記所定の信号としての無効信号であるか否かを示す第３のフラグとを含むことにより、正確な処理が行える。
【００３４】
この場合、上記の処理画像信号を動画像符号化するとき、上記無効信号に対しては、圧縮符号化処理をしないことができるので、効率の良い画像符号化ができる。
【００３５】
上記冗長フィールド検出手段は、上記入力ディジタル動画像信号が、原画像の１画面、例えば映画フィルムの１コマを２フィールド又は３フィールドで読み出す３：２プルダウン法により読み出された信号である場合には、上記入力ディジタル動画像信号の現在のフィールドと２フィールド遅延信号とのフィールド間相関度を計算し、さらに、上記入力ディジタル動画像信号の入力されるフィールド数をカウントし、冗長フィールド検出時に零クリアされるフィールドカウンタと、このフィールドカウンタからのカウント値が５以上の奇数であるか否かを判断する比較手段とを有し、この比較手段からの出力と上記フィールド間相関度とに基づいて冗長フィールドを検出することが好ましく、これによって確実な冗長フィールドの検出が行える。
【００３６】
【発明の実施の形態】
本発明に係る動画像処理方法が適用された動画像処理システムについて、図１を参照しながら説明する。
【００３７】
この図１には、いわゆる３：２プルダウンによりフレームレートを３０Ｈｚとしたフィルムソースのビデオ信号を原入力動画像信号とした場合の動画像符号化装置を含む動画像処理システムの例を示している。
【００３８】
ここで３：２プルダウンについて簡単に説明する。映画などのフィルムソースをインタレースビデオ信号に変換する場合、３：２プルダウンという手法が広く用いられている。すなわち、フィルムは毎秒２４コマであるのに対し、インタレースビデオ信号が３０フレーム／秒（６０フィールド／秒）である場合、３：２プルダウンにより、フィールド数の変換を行う。
【００３９】
すなわち、図２に示すように、フィルムの連続した２コマ、例えばコマＭＦ１、ＭＦ２の内の最初のコマＭＦ１をビデオの２フィールドで読み出し、次のコマＭＦ２は３フィールドで読み出すという方法を用いる。
【００４０】
また、逆３：２プルダウンは、３０フレーム／秒のインタレースビデオ信号から、３フィールドで読み出されたコマを検出し、冗長な繰り返しフィールドを取り除き、理想的には２４フレーム／秒のプログレッシブフレームを作り出す操作である。理想的には冗長フィールドは、５フィールド周期で現れる。
【００４１】
図１に示す動画像処理システムにおいて、画像入力装置であるディジタルＶＴＲ２０１からは、トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が先に入力される３０フレーム／秒（６０フィールド／秒）のインタレースビデオ信号が、入力動画像信号Ｓ１００として供給される。
【００４２】
ここで、入力動画像信号Ｓ１００が、フィルムソースを３：２プルダウンにより変換した動画像である場合は、３：２プルダウンソース入力フラグＳ１１５が立てられ、切換スイッチ２０９、２１０、２１１、２１２が、オン（ｏｎ）の側へ接続される。３：２プルダウンで変換されたものでない動画像の場合、これらの切換スイッチは、オフ（ｏｆｆ）の側へ接続される。オフ（ｏｆｆ）の側へ接続された場合、システム構成は基本的に、従来例と同じとなる。以下の説明では、上述の切換スイッチがオン（ｏｎ）側へ接続された場合、すなわち冗長画像を含む入力動画像である場合について、説明を進める。
【００４３】
まず切換スイッチ２０９がオン（ｏｎ）側へ接続されたとき、入力動画像信号Ｓ１００は前処理器２０２で処理されて、動画像信号Ｓ１０３となる。
【００４４】
この前処理器２０２での処理について、図３を参照しながらさらに詳細に説明する。
【００４５】
端子３０１から入力された６０Ｈｚビデオフィールドの上記入力動画像信号（以下、フィールド画像信号ともいう。）Ｓ１００は、遅延器３０２から出力される２フィールド遅れのフィールド画像信号Ｓ２００との２フィールド間の相関度が計算される。ここでは、その計算として、差分化器３０３において１画素毎に差分値が計算される。１画素毎に計算される差分値Ｓ２０１はその絶対値Ｓ２０２が絶対値器３０４で計算され、その１フィールドあたりの累積和が累積器３０５で計算される。この累積値Ｓ２０３が、適当な値に定められている閾値Ｓ２０４と比較器３０６で比較され、閾値よりも小となる場合には、フラグＳ２０５が立てられる。なお、この方法に限らず、フィールド画像信号Ｓ１００とフィールド画像信号Ｓ２００の２フィールド間の相関度が計算できる手段であれば、適用可能である。
【００４６】
一方、フィールド画像信号Ｓ１００の同期入力Ｓ１０５が、端子３０８からフィールドカウンタ３０９へ入力されている。すなわち、フィールドカウンタ３０９は、前処理器２０２へ入力されるフィールド数を数え上げる。そしてＳ２０６で示されるカウント値ｊが５以上の奇数であるとき、比較器３１０がフラグＳ２１１を立てる。フラグＳ２１１とフラグＳ２０５が共に立っているとき、ＡＮＤ演算器３１１からの出力である冗長フィールド検出フラグＳ２１２が立ち上がる、すなわち、現在入力されたフィールド画像信号Ｓ１００は３：２プルダウンによって重複している冗長フィールドであると判断される。冗長フィールド検出フラグＳ２１２が立ち上がると、フィールドカウンタ３０９は零にクリアされる。冗長フィールドと判定されたフィールドの画像信号は、入力動画像信号の中から取り除かれ、符号化されない。
【００４７】
なお、比較器３１０での判定基準を「カウント値ｊが５以上の奇数」としている理由は、以下に示す理由のために逆３：２プルダウンが常に規則的に動作することが保証されないからである。
【００４８】
すなわち第１に、３：２プルダウン後のビデオ編集などにより、５フィールド周期で冗長フィールドが現れるパターンが保証されなくなる。
【００４９】
また第２に、３：２プルダウン時に、時間軸方向、すなわちフィールド間、フレーム間で平滑化フィルタが適用されるために、絵柄によっては、冗長フィールドが検出されにくくなる。例えば、実際には冗長フィールドであっても、図３の比較器３０６でフラグＳ２０５が立たないことがある。
【００５０】
３：２プルダウンのパターンが保証されない場合でも、比較器３１０では、冗長フィールドの判定を連続して続けることが可能となる。
【００５１】
このように実際には、逆３：２プルダウンが規則的に行われるとは限らないため、入力動画像信号Ｓ１００の中から冗長フィールドを取り除いた後の動画像のフレームレートは、２４Ｈｚから３０Ｈｚの間で変動する。この周期は、同期入力Ｓ１０５にロックしないので、本実施例では、前処理として、入力フィールドの順序を並び換え、さらに無効フレームを挿入することにより、同期入力にロックする新しい入力画像列を作り出し、次段の符号化器２０３へ入力する。
【００５２】
次にそのフィールド並び換え及び無効フレームの挿入する方法について、図３を用いて説明する。ここでは、冗長フィールド検出フラグＳ２１２に基づいて、出力フィールドコントローラ３１２が、遅延器３０２から出力される２フィールド（１フレーム）遅れのフィールド画像信号Ｓ２００、４フィールド遅れのフィールド画像信号Ｓ２０８、及び無効フィールド画像信号Ｓ２０９の３つの信号を、切換スイッチ３１６で切り換えている。
【００５３】
冗長フィールドが検出された位置情報に基づいて、入力画像の表示パターンをｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄの２つのフラグにより、図２に示すように４通りに分類する。ここで、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグは、フィルムのある１コマを３：２プルダウンしたときに、トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が最初に読み出されたかどうかを表す。ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグは、フィルムの１コマが３フィールドで読み出されたかどうかを表す。ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグは、出力フィールドコントローラ３１２で発生され、そのときの少なくとも過去の２表示パターンの情報は内部に記憶されている。
【００５４】
出力フィールドコントローラ３１２で行われるｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグを求めるアルゴリズムのフローチャートを図４に示す。ここでｆｐは、入力フィールド画像信号Ｓ１００の入力後からの通しの番号を表し、ｆｐに対する加算は、フィールド画像信号Ｓ１００の時間が未来へ進んでいくことを表す。例えば、ｆｐ＝ｆｐ＋２は、フィールド画像信号Ｓ１００の時間が２フィールド未来へ進んだこと、すなわちフィールド画像信号Ｓ１００の入力が２フィールド進むことを表す。
【００５５】
図４のフローチャートの各工程（ステップ）を説明する。動作開始（ステップ１０００）した後、最初のフィールドが入力され（ステップ１００１）、そのフィールドのパリティがトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）かボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）か調べられ（ステップ１００２）、それぞれの処理へ分岐する（ステップ１００４又は１０１０）。
【００５６】
ステップ１００２でＹｅｓと判別された場合、すなわち最初のフィールドがトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）である場合、２フィールド未来のフィールドへ進み（ステップ１００４）、冗長フィールドであるかどうか調べられる（ステップ１００５）。すなわちこれは、図３の冗長フィールド検出フラグＳ２１２が立つかどうかの判定である。冗長フィールドである場合は、現在のフィールドを含めて、それ以前３フィールドの表示パターンは、上記各フラグのｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１である。
【００５７】
冗長フィールドの位置ｄｅｔｅｃｔｅｄ＿ｆｐ＝ｆｐである（ステップ１００６）。そして、フィールド画像信号Ｓ１００の時間が１フィールド進められる（ステップ１００７）。次の処理としては、ボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）の場合の工程（ステップ１０１０）へ移る。一方、上記ステップ１００５で冗長フィールドでないと判別された場合は、現在のフィールドを含めないで、その前２フィールドの表示パターンは、各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０である（ステップ１００８）。次の処理は、上記トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）の場合の工程（ステップ１００４）へ移る。
【００５８】
先の分岐（ステップ１００２）でＮｏと判別された場合、すなわち最初のフィールドがボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）の場合、２フィールド未来のフィールドへ進み（ステップ１０１０）、冗長フィールドであるかどうか調べられる（ステップ１０１１）。すなわちこれは、図３の冗長フィールド検出フラグＳ２１２が立つかどうかの判定である。
【００５９】
冗長フィールドである場合は、現在のフィールドを含めて、それ以前３フィールドの表示パターンは、各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１であり、冗長フィールドの位置ｄｅｔｅｃｔｅｄ＿ｆｐ＝ｆｐである（ステップ１０１２）。そして、フィールド画像信号Ｓ１００の時間が１フィールド進められる（ステップ１０１３）。次の処理は、上記トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）の場合のステップ１００４へ移る。一方、冗長フィールドでない場合は、現在のフィールドを含めないで、その前２フィールドの表示パターンは、各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０である（ステップ１０１４）。次の処理は、上記ボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）の場合のステップ１０１０へ移る。
【００６０】
以上のようにして、出力フィールドコントローラ３１２では、各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄがセットされる。
【００６１】
次に、出力フィールドコントローラ３１２の動作の具体例について、図５を参照しながら説明する。
【００６２】
図中、“Ａ”、“Ｂ”などの大文字は、トップフィールド（ｔｏｐ ｆｉｅｌｄ）を表し、“ａ”、“ｂ”などの小文字は、ボトムフィールド（ｂｏｔｔｏｍ ｆｉｅｌｄ）を表す。また、“｜”の間隔は入力フレーム周期である。上記冗長フィールドは、“＊”の位置で検出されたとする。
【００６３】
この図５の具体例において、Ｓ１００の最初のフィールド“Ａ”が入力され（ｆｐ＝１）、これはトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）であることがわかる（ステップ１０００〜１００４）。２フィールド未来（ｆｐ＝３）のフィールド“Ｂ”は、冗長フィールドと判定されない（ステップ１００４〜１００８）。その次の２フィールド未来（ｆｐ＝５）のフィールド“Ｂ”は、冗長フィールドと判定され、（ステップ１００５〜１００６）、時間が１フィールド進む（ｆｐ＝６）（ステップ１００７）。その次の２フィールド未来（ｆｐ＝８）のフィールド“ｄ”は、冗長フィールドと判定されない（ステップ１０１０〜１０１４）。その次の２フィールド未来（ｆｐ＝１０）のフィールド“ｄ”は、冗長フィールドと判定される（ステップ１０１０〜１０１２）。以上の処理で、表示パターンは、次のようにセットされる。
【００６４】
ｆｐ＝１〜２ ： ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０
ｆｐ＝３〜５ ： ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１
ｆｐ＝６〜７ ： ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０
ｆｐ＝８〜１０ ： ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１
次に、出力Ｓ２１０について説明する。
【００６５】
切換スイッチ３１６の出力Ｓ２１０は、入力フィールド画像信号Ｓ１００に対して、４フィールド（２フレーム）遅れで始まる。この出力Ｓ２１０は、出力フィールドコントローラ３１２にセットされている各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄに基づいて、出力フィールドコントローラ３１２が切換制御信号Ｓ２０７を切換スイッチ３１６に送ることにより、以下の（１）から（４）のようにして制御される。
【００６６】
（１）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０の場合
４フィールド遅れのフィールド画像信号Ｓ２０８が、順に２フィールド出力される。図５の例では、Ｓ２０８の１番目のフレーム｜Ａ ａ｜。
【００６７】
（２）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１の場合
４フィールド遅れのフィールド画像信号Ｓ２０８が、順に２フィールド出力される。図５の例では、Ｓ２０８の２番目のフレーム｜Ｂ ｂ｜。３番目の入力フレームのトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｂ”は、冗長フィールドであるので除去される、すなわち出力されない。
【００６８】
（３）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０の場合
２フィールド遅れのフィールド画像信号Ｓ２００が出力され、次に４フィールド遅れのフィールド画像信号Ｓ２０８が出力される。図５の例では、冗長フィールドであるので除去されたＳ２０８の３番目のフレームのトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｂ”の位置に、フィールド画像信号Ｓ２００が出力される（Ｓ２０８の４番目のフレームのトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｃ”が前詰めされて出力される）。次に、Ｓ２０８の３番目の入力フレームのボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）“ｃ”が出力される。Ｓ１００では、ボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）“ｃ”の方が、トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｃ”よりも時間的に前にあり、しかもこの２フィールドはフレームを作っていないが、出力Ｓ２１０ではトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が前に来て、出力フレーム｜Ｃ ｃ｜を作るようになる。
【００６９】
（４）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１の場合
２枚の無効フィールド（１枚の無効フレーム）が出力される。次に、４フィールド遅れのフィールド画像信号Ｓ２０８が、順に２フィールド出力される。図５の例では、ボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）で冗長フィールドが検出された場合、例えばＳ１００の５番目のフレームのボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）“ｄ”の場合、出力Ｓ２１０としては、２枚の無効フィールドが出力される。これを図５では、｜ｘ｜で図示している。その次に、Ｓ２０８から｜Ｄ ｄ｜が出力される。
【００７０】
以上の（１）から（４）のようにして、出力フィールドコントローラ３１２は切換スイッチ３１６を切り換え、出力Ｓ２１０の制御を行う。図５の「フィールド遅延量」の欄に、出力Ｓ２１０のそれぞれのフィールドのフィールド画像信号Ｓ１００に比較しての遅延量を示す。値４、値２、ｘの場合は、それぞれＳ２０８からの出力、Ｓ２００からの出力、無効フィールドの出力であることを表す。
【００７１】
出力Ｓ２１０の連続する２フィールドを出力フレームとし、それぞれのフレームに対し、フレームヘッダ多重化器３１３にて、フレームヘッダ情報を付加し、端子３１４から動画像信号Ｓ１０３として出力される。ヘッダの内容は、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグ、無効フレームフラグ（図中ではｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇと示す）を含む。それぞれのフレームに付加されるヘッダ情報の具体例を、図５の「ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグ」の欄に示す。
【００７２】
出力Ｓ２１０および動画像信号Ｓ１０３のそれぞれの出力フレームは、トップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が先に出力され、そのフレーム周期は、同期入力信号Ｓ１０５のフレーム周期とロックしている。
【００７３】
なお、上記の説明では、フレーム同期信号に同期する様に無効フレームを挿入するようにしているが、フィールド同期信号に同期するように無効フィールドを挿入しても良い。この場合は、フィールドレートが６０Ｈｚになっていれば２枚の無効フィールドの挿入位置はどこでも良く、２枚のフィールドが連続して挿入されなくても良い。
【００７４】
ところで、図１の切換スイッチ２０９、２１０がオフのときは、フィールド画像信号Ｓ１００は、３：２プルダウンされていない普通のトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が先に入力されるインタレースビデオ信号である。
【００７５】
この場合、フレームヘッダはデフォルトの内容となり、常に、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０である。
【００７６】
図１の切換スイッチ２０９、２１０のオン／オフに関係なく、フィールド画像信号Ｓ１００および動画像信号Ｓ１０３は、同期入力Ｓ１０５をマスタ・クロックとして動作する符号化器２０３への入力Ｓ１０４として問題がない。
【００７７】
入力Ｓ１０４は、動画像符号化システムのコア部分である符号化器２０３、局所復号器２０５で種々の処理がされる。ここで、入力Ｓ１０４のそれぞれのフレームヘッダで無効フレームと指示されているフレーム対しては、有効な画像処理はされない。ここでの処理についての具体例は、後述する。
【００７８】
次に局所復号器２０５からの出力である局所復号出力Ｓ１０９を画像出力装置２０７へ出力する方法を説明する。局所復号出力Ｓ１０９が入力される後処理器２０６について、図６を参照しながら説明する。
【００７９】
図６において、端子４００から入力された局所復号出力Ｓ１０９は、フレームヘッダ分離器４０１でそれぞれのフレームのヘッダ内容Ｓ３０３が読み出され、このヘッダ内容Ｓ３０３は出力フィールドコントローラ４０３へ入力される。出力フィールドコントローラ４０３には、ヘッダ内容Ｓ３０３の少なくとも過去の１表示パターンの情報は記憶される。ヘッダ内容Ｓ３０３は、各フラグｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇを含む。
【００８０】
ところで、図１の切換スイッチ２１１、２１２がオフのときは、Ｓ１１１は、３：２プルダウンされていない普通のトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）が先に入力されるインタレースビデオ信号である。
【００８１】
この場合、フレームヘッダはデフォルトの内容となり、常に、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０である。
【００８２】
図６の出力フィールドコントローラ４０３は、上記フレームヘッダ内容に基づいて、現在の入力フィールド画像信号Ｓ３００、遅延器４０２から出力される２フィールド（１フレーム）遅れのフィールド画像信号Ｓ３０１、及び４フィールド（２フレーム）遅れのフィールド画像信号Ｓ３０２の３つの信号を、切換スイッチ４０４で切り換えている。
【００８３】
次に、上記後処理器２０６の動作、特に図６の出力フィールドコントローラ４０３の動作の具体例について、図７を参照しながら説明する。
【００８４】
この図７中の各符号は上記図５の場合と同様であり、“Ａ”、“Ｂ”などの大文字は、トップフィールド（ｔｏｐ ｆｉｅｌｄ）を表し、“ａ”、“ｂ”などの小文字は、ボトムフィールド（ｂｏｔｔｏｍ ｆｉｅｌｄ）を表す。また、“｜”の間隔は入力フレーム周期である。
【００８５】
画像出力Ｓ１１０は、入力フィールド画像信号Ｓ３００に対して、２フィールド（１フレーム）遅れで始まる。出力は、出力フィールドコントローラ４０３にセットされているｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇに基づいて、以下の（１）から（５）のようにして制御される。
【００８６】
（１）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０の場合
１フレーム遅れのフィールド画像信号Ｓ３０１が、順に２フィールド出力される。図７の例では、Ｓ３０１の１番目のフレーム｜Ａ ａ｜。
【００８７】
（２）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝１、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０の場合
１フレーム遅れのフィールド画像信号Ｓ３０１が、順に２フィールド出力される。次に、２フレーム遅れのフィールド画像信号Ｓ３０２が１フィールド出力される。図７の例では、Ｓ３０１の２番目のフレーム｜Ｂ ｂ｜が出力され、次いでＳ３０２の２番目のフレームのトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｂ”が出力される。
【００８８】
（３）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝０、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０の場合
１フレーム遅れのフィールド画像信号Ｓ３０１が１フィールド出力され、次いで２フレーム遅れのフィールド画像信号Ｓ３０２が出力される。図７の例では、Ｓ３０１の３番目のフレームのボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ）“ｃ”が出力され、次いでＳ３０２の３番目のフレームのトップフィールド（ｔｏｐ＿ｆｉｅｌｄ）“Ｃ”が出力される。
【００８９】
（４）ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝１の場合
何も出力されない。
【００９０】
（５）ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ＝０、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ＝１、ｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇ＝０の場合
現在の入力フィールド画像信号Ｓ３００が１フィールド出力され、次いで１フレーム遅れのフィールド画像信号Ｓ３０１が、順に２フィールド出力される。
【００９１】
以上の（１）から（５）のようにして、出力フィールドコントローラ４０３は切換スイッチ４０４を切り換え、画像出力Ｓ１１０の制御をする。図７の「フィールド遅延量」の欄に、画像出力Ｓ１１０のそれぞれのフィールドの局所復号出力Ｓ１０９に比較しての遅延量を示す。値４、値２、値０の場合は、それぞれＳ３０２からの出力、Ｓ３０１からの出力、Ｓ３００からの出力であることを表す。
【００９２】
次に、再び図１に戻って、局所復号器２０５から切換スイッチ２１１を介し、必要に応じて後処理器２０６で処理され、切換スイッチ２１２を介して得られた出力Ｓ１１２は、画像表示装置であるモニタ２０７で表示することができる。
【００９３】
以上のようにして、図１に示す本発明の動画像処理システムの動画像の入出力部は動作する。
【００９４】
なお、以上の説明では、符号化器へ入力される画像信号へ挿入する無効信号として無効フレームを挿入し、フレームヘッダ情報に無効フレームフラグを付加する場合を説明したが、これに限らず、無効信号の単位としては、フィールドやマクロブロックや画素としてもよく、この場合、それぞれの単位に無効信号を示すフラグをサイド情報として付加することになる。
【００９５】
また、その場合、以上の説明では、入力画像の同期入力の周期として、１フレーム時間である場合を説明したが、これに限らず、１フィールド時間や１画素時間としても適用可能となる。
【００９６】
なお、以上の説明では、画像入力装置２０１及び符号化器２０３が、トップフィールドが先に入力されるインタレースビデオ信号に対応している装置である場合を説明したが、逆に画像入力装置２０１及び符号化器２０３が、ボトムフィールドが先に入力されるインタレースビデオ信号に対応している装置である場合も同様に説明できる。その場合は、以上の説明で出てきたトップフィールド（ｔｏｐ＿ｆｉｅｌｄ：奇数フィールド）とボトムフィールド（ｂｏｔｔｏｍ＿ｆｉｅｌｄ：偶数フィールド）の順序を入れ換えれば良い。
【００９７】
例えば、出力Ｓ２１０、フィールド画像信号Ｓ３００は、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグが先に入力されるインタレースビデオ信号となる。
【００９８】
次に、図１の動画像符号化システムのコア部分である動画像符号化装置を構成する符号化器２０３、局所復号器２０５での処理について、説明する。
【００９９】
動画像符号化装置は、いわゆるＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）などで広く知られている動き補償予測符号化とＤＣＴを組み合わせたハイブリッド符号化方法を用いている。ＭＰＥＧ２では、各フレームの画像を、Ｉピクチャ、Ｐピクチャ又はＢピクチャの３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０１００】
すなわち、例えば図８に示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループ・オブ・ピクチャとし、処理の１単位とする。例えば、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、Ｂピクチャ又はＰピクチャとして交互に処理する。
【０１０１】
Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図８（Ａ）に示すように、それより時間的に過去にあるＩピクチャ又はＰピクチャの画像信号からの差分を伝送する。さらにＢピクチャの画像信号としては、基本的には、図８（Ｂ）に示すように、時間的に過去にあるフレーム及び未来にあるフレームの両方の平均値からの差分を求め、その差分を伝送する。
【０１０２】
図９は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームＦ１はＩピクチャとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に送出される（画像内符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャとして処理されるため、時間的に過去にあるフレームＦ１と、時間的に未来にあるフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【０１０３】
ただし、このＢピクチャとしての処理は、さらに細かく説明すると、４種類存在する。その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に未来のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に過去のフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に過去のフレームＦ１と未来のフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【０１０４】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。
【０１０５】
なお、差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とフレームＦ２の間の動きベクトル）（前方予測の場合）、若しくは動きベクトルｘ２（フレームＦ３とフレームＦ２の間の動きベクトル）（後方予測の場合）、又は動きベクトルｘ１とｘ２の両方（両方向予測の場合）が、差分データと共に伝送される。
【０１０６】
また、ＰピクチャのフレームＦ３は、時間的に過去にあるフレームＦ１を予測画像として、このフレームとの差分（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。
【０１０７】
次に図１０を参照して、動画像符号化装置の構成例について説明する。なお、図示されていないが、本符号化装置は図１で示した画像同期入力Ｓ１０５にロックして動作している。
【０１０８】
端子７４からは、フレームヘッダ付きの入力フレームＳ１０４が、入力されており、また、端子７５からは、画像入力装置から入力される入力動画像が３：２プルダウンされたフィルムソースであるかどうかを示す３：２プルダウンソース入力フラグＳ１１５が入力される。
【０１０９】
入力画像Ｓ１０４は、画像符号化タイプ指定・画像符号化順序並び替え器７０へ入力される。ここでは、まずシーケンシャルに入力される各フレームの画像を、Ｉ、Ｐ、Ｂのいずれのピクチャとして処理するかを指定する。例えば、図８に示したように、フレームＦ１乃至Ｆ１７により構成されるグループ・オブ・ピクチャが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・Ｂ、Ｐとして処理される。指定された画像符号化タイプは、各フレームのヘッダに書き込まれる。
【０１１０】
次に、指定された画像符号化タイプに従って、符号化される順番に入力画像を並び換える。これは、Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＩピクチャ又はＰピクチャが先に用意されていないと、復号することができないからである。そのため、Ｂピクチャを符号化する前に、それより未来にあるＩピクチャ又はＰピクチャを先に符号化しなければならない。したがって、例えば、図８に示したように、画像符号化タイプを指定した場合は、画像の順番をフレームＦ１、Ｆ３、Ｆ２、Ｆ５、Ｆ４・・・と並び換える。
【０１１１】
入力画像列Ｓ１０４の中に、無効フレーム（フレームヘッダｄｉｓａｂｌｅｄ＿ｆｒａｍｅ＿ｆｌａｇにより指示される）が含まれる場合における画像符号化タイプ指定・画像符号化順序並び替え器７０での入力画像列Ｓ１０４の取扱いについて説明する。
【０１１２】
このとき図１１に示すように、フレームＦ１〜Ｆ１３からなる入力画像列Ｓ１０４が入力されるとする。ここで、”Ｘ”は、無効フレームを表す。このとき、無効フレームは無視して、Ｓ５０１のように順次、画像符号化タイプを指定する。Ｓ５０１の数字は、画像符号化タイプの指定の順序を表す。次に、画像符号化タイプに従って、符号化される順番に画像を並び換える。このとき、無効フレーム”Ｘ”は、Ｂピクチャと見なされる。したがって、Ｓ５０１は、Ｓ５０２に示すように、並び換えられる。この例では、Ｓ５０２はＳ１０４に対して、２フレーム遅延で開始する。
【０１１３】
並び換えられた画像信号Ｓ５０２は、スキャンコンバータ７１に入力される。ここでは、ラスタスキャンで入力される画像信号を、ブロックフォーマットの信号に変換する。すなわち、図１２に示すように、ラスタスキャンで入力される画像信号は、１ライン当たりＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。スキャンコンバータ７１は、この１フレームの信号を、１６ラインを単位としてＭ個のスライスに区分する。そして、各スライスは、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。
【０１１４】
また一方で、現在符号化されるフレームの画像信号Ｓ５０２の動き予測を行うため、その参照画像信号Ｓ５０４が動きベクトル検出回路５０へ入力される。動きベクトル検出回路５０は、画像符号化タイプ指定器７０からの指示に従って、各フレームの画像信号（データ）を、Ｉピクチャ、Ｐピクチャ、又はＢピクチャとして処理する。Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、参照原画像部５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。
【０１１５】
また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）又はＰピクチャ（フレームＦ５）として処理すべきフレームの画像データが入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、参照原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【０１１６】
なお、画像信号Ｓ５０２のフレームが無効フレームである場合、動きベクトル検出回路５０は、何も処理をしないで、１フレーム時間待機する。
【０１１７】
スキャンコンバータ７１から読み出されたマクロブロックは、予測モード切り替え回路５２において、フレーム予測モード処理、又はフィールド予測モード処理が行われる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、又は両方向予測の演算が行われる。これらの処理のうち、いずれの処理を行うかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。
【０１１８】
ここで、予測モード切り替え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。
【０１１９】
フレーム予測モードが設定された場合においては、予測モード切り替え回路５２は、スキャンコンバータ７１より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわち、この場合においては、図１３（Ａ）に示すように、各輝度ブロックにトップフィールドのラインのデータと、ボトムフィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【０１２０】
これに対して、予測モード切り替え回路５２は、フィールド予測モードにおいては、図１３（Ａ）に示す構成でスキャンコンバータ７１より入力される信号を、図１３（Ｂ）に示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、トップフィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、ボトムフィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【０１２１】
色差信号は、フレーム予測モードの場合、図１３（Ａ）に示すように、トップフィールドのラインのデータとボトムフィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図１３（Ｂ）に示すように、各色差ブロックＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］、Ｙ［２］に対応するトップフィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］、Ｙ［４］に対応するボトムフィールドの色差信号とされる。
【０１２２】
動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和とを予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。
【０１２３】
なお、３：２プルダウンソース入力フラグＳ１１５が立っている場合、入力フレームＳ１０４はプログレッシブ構造となるので、予測モードは、フレーム予測モードに固定される。
【０１２４】
動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測、又は両方向予測のいずれの予測を行うかを決定するための予測誤差の絶対値和を生成する。
【０１２５】
すなわち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａｉｊと、マクロブロックの信号Ａｉｊの平均値Ａａｖとの差の絶対値の和Σ｜Ａｉｊ−Ａａｖ｜を求める。また、前方予測の予測誤差の絶対値和として、入力マクロブロックの信号Ａｉｊと、予測画像のマクロブロックの信号Ｂｉｊの差の絶対値の和Σ｜Ａｉｊ−Ｂｉｊ｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【０１２６】
これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものをインター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。すなわち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。
【０１２７】
このように、動きベクトル検出回路５０は、４つの予測モードのうち、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路５８と動き補償回路６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【０１２８】
Ｉピクチャとして処理すべきフレームの画像が入力されたとき、予測モードとして、フレーム内予測モード（動き補償予測符号化を行わないモード）を設定し、演算部５３の切換スイッチ５３ｄを接点ａ側に切り換える。これにより、Ｉピクチャの画像データがＤＣＴモード切り替え回路５５に入力される。
【０１２９】
このＤＣＴモード切り替え回路５５は、図１４（Ａ）又は（Ｂ）に示すように、４個の輝度ブロックのデータを、トップフィールドのラインとボトムフィールドのラインが混在する状態（フレームＤＣＴモード）、又は、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【０１３０】
すなわち、ＤＣＴモード切り替え回路５５は、トップフィールドとボトムフィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【０１３１】
例えば、入力された信号を、図１４（Ａ）に示すように、トップフィールドとボトムフィールドのラインが混在する構成とし、上下に隣接するトップフィールドのラインの信号とボトムフィールドのラインの信号の差を演算し、さらにその絶対値の和（又は自乗和）を求める。また、入力された信号を、図１４（Ｂ）に示すように、トップフィールドとボトムフィールドのラインが分離した構成とし、上下に隣接するトップフィールドのライン同士の信号の差と、ボトムフィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（又は自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。
【０１３２】
そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力すると共に、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８と動き補償回路６４に出力する。
【０１３３】
なお、３：２プルダウンソース入力フラグＳ１１５が立っている場合、入力フレームＳ１０４は、プログレッシブ構造となるのでＤＣＴモードは、フレームＤＣＴモードに固定される。
【０１３４】
予測モード切り替え回路５２における予測モード（図１３）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図１４）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【０１３５】
ＤＣＴモード切り替え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。
【０１３６】
可変長符号化回路５８は、フレームヘッダの情報から画像符号化タイプ、ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄを伝送する。また、可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ５９に出力する。
【０１３７】
また、可変長符号化回路５８には、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、又は両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフィールド予測モードのいずれが設定されたかを示すフラグ）、及びＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【０１３８】
ただし、３：２プルダウンソース入力フラグＳ１１５が立っている場合、予測フラグ、ＤＣＴフラグは両方ともフレームモードの固定値であるので、可変長符号化回路５８から出力されない。そのかわり、３：２プルダウンソース入力フラグＳ１１５が立っているという情報（入力フレームがプログレッシブ構造であるという情報）を伝送する。
【０１３９】
送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応する量子化信号を量子化回路５７に出力する。
【０１４０】
送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバーフロー又はアンダーフローが防止される。
【０１４１】
そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力される。
【０１４２】
一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。
【０１４３】
次に、スキャンコンバータ７１からＰピクチャとして処理すべきフレームの画像が入力されたとき、上述した場合と同様に、動きベクトル検出回路５０からマクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、予測モード切り替え回路５２と予測判定回路５４に供給される。そして、マクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、又は画像内予測モード、前方予測モードを設定する。
【０１４４】
演算部５３はフレーム内予測モードが設定されたとき、切換スイッチ５３ｄを上述したように接点ａ側に切り換える。したがって、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【０１４５】
前方予測モードのとき、切換スイッチ５３ｄが接点ｂに切り換えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像信号（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。
【０１４６】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給されたこのマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に送出される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【０１４７】
ただし、３：２プルダウンソース入力フラグＳ１１５が立っている場合、予測フラグ、ＤＣＴフラグは両方ともフレームモードの固定値であるので、可変長符号化回路５８から出力されない。そのかわり、３：２プルダウンソース入力フラグＳ１１５が立っているという情報（入力フレームがプログレッシブ構造であるという情報）を伝送する。
【０１４８】
この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、局所復号したＰピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【０１４９】
次に、スキャンコンバータ７１からＢピクチャとして処理すべきフレームの画像が入力されたとき、上述した場合と同様に、動きベクトル検出回路５０からマクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、予測モード切り替え回路５２と予測判定回路５４に供給される。そして、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、又は両方向予測モードのいずれかに設定する。
【０１５０】
上述したように、フレーム内予測モード、前方予測モードのとき、切換スイッチ５３ｄは、それぞれ接点ａ、ｂに切り換えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【０１５１】
これに対して、後方予測モード、両方向予測モードが設定されたとき、切換スイッチ５３ｄは、それぞれ接点ｃ、ｄにそれぞれ切り換えられる。
【０１５２】
切換スイッチ５３ｄが接点ｃに切り換えられている後方予測モードのとき、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。
【０１５３】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された入力マクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に送出される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【０１５４】
この演算器６２にはまた、演算器５３ｂに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、局所復号したＢピクチャの画像データが得られる。
【０１５５】
切換スイッチ５３ｄが接点ｄに切り換えられている両方向予測モードのとき、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。
【０１５６】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、予測モード切り替え回路５２より供給された入力マクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に送出される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【０１５７】
この演算器６２にはまた、演算器５３ｃに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、局所復号したＢピクチャの画像データが得られる。
【０１５８】
３：２プルダウンソース入力フラグＳ１１５が立っている場合、予測フラグ、ＤＣＴフラグは両方ともフレームモードの固定値であるので、可変長符号化回路５８から出力されない。そのかわり、３：２プルダウンソース入力フラグＳ１１５が立っているという情報（入力フレームがプログレッシブ構造であるという情報）を伝送する。
【０１５９】
Ｂピクチャは、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【０１６０】
なお、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切換が行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。
【０１６１】
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図１３および図１４に示すマクロブロックを単位として処理され、伝送される。なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【０１６２】
スキャンコンバータ７１から無効フレームが入力されたときは、ＤＣＴ回路５６、量子化回路５７、逆量子化回路６０、逆ＤＣＴ回路６１、動き補償回路６４は、何も処理をしないで、演算器６２からは無意味なデータが出力される。このとき、フレームメモリ６３へは何も書き込まれない。この間、可変長符号化回路５８からは、ビットストリームは何も出力されない。
【０１６３】
上述してきたＩ、Ｐ、Ｂピクチャの符号化及び無効フレームが入力された場合において、演算器６２にて局所復号された画像データは、スキャンコンバータ７２へ入力される。ここでは、マクロブロックで入力される画像を、ラスタスキャンの画像へ変換する。ラスタスキャン画像信号Ｓ５０５は、画像表示順序並び替え器７３へ入力される。画像表示順序並び替え器７３からの出力の具体例を図１５に示す。ここでは、画像符号化タイプに基づいて、（１）から（３）のような規則で入力画像の表示順序を並び換える。
【０１６４】
（１）最初に入力されるＩピクチャは、画像表示順序並び替え器７３の中に記憶される。
【０１６５】
（２）次に入力された画像が、Ｂピクチャ又は無効フレームである場合は、その画像が即、出力される。又は、次に入力された画像が、Ｉピクチャ又はＰピクチャである場合は、画像表示順序並び替え器７３の中に記憶されているＩピクチャ又はＰピクチャが出力される。そして、現在入力されたＩピクチャ又はＰピクチャが、新たに画像表示順序並び替え器７３の中に記憶される。
【０１６６】
（３）上記（２）へ戻る。
【０１６７】
以上（１）から（３）のようにして、局所復号出力Ｓ１０９は画像表示順序並び替え器７３から出力される。
【０１６８】
局所復号出力Ｓ１０９は、先に図１で説明したようにして後処理器２０６を介して画像出力装置であるモニタ２０７へ出力される。
【０１６９】
【発明の効果】
本発明に係る動画像処理方法によれば、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号に符号化処理を施して、伝送する動画像処理方法において、入力されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出し、複数のフィールド画像から検出された冗長フィールドを除去し、冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入することにより処理画像信号を生成し、処理画像信号に対して符号化処理を施すことにより、冗長画像が一定周期であるいは不規則に含まれる動画像を、入力画像同期信号に同期のとられた新たな画像列信号とし、画像処理することができる。
【０１７０】
この場合、前記所定の画像処理を前記処理画像信号に施す際に用いられるサイド情報を前記処理画像信号に付加することにより、画像符号器側でサイド情報に基づいて正確な画像処理を行うことができる。
【０１７１】
また、入力ディジタル動画像信号が、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成された信号であるとき、前記サイド情報が、原画像を処理する際に、前記トップフィールド及び前記ボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグと、原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグと、処理画像信号のうち、どの画像信号が前記挿入された所定の信号であるか否かを示す第３のフラグを有することにより、正確な画像処理が行える。
【０１７２】
また、挿入される所定の信号は、画像信号として意味の無い無効信号であり、この無効信号に対しては符号化器側での圧縮符号化処理を行わないことがあるので、効率の良い画像処理が行える。
【０１７３】
さらに、入力ディジタル動画像信号が、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成された信号であり、入力ディジタル動画像信号の現在のフィールドの画像信号と２フィールド分遅延された画像信号とのフィールド間相関度が計算され、さらに、入力ディジタル動画像信号の入力フィールド数をカウントし、このカウント値が所定値であるかを判定し、この判定の結果とフィールド間相関度とから冗長フィールドが検出されるので、確実な冗長フィールドの検出が行える。
【０１７４】
また、本発明に係る動画像処理方法によれば、原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出し、複数のフィールド画像から検出された冗長フィールドを除去し、冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入し、さらにトップフィールド及びボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグ、または、原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグ、または、処理画像信号のうち、どの画像信号が挿入された無効信号であるか否かを示す第３のフラグであるサイド情報を付加して生成された処理画像信号から冗長フィールドを含むディジタル動画像信号を復元する動画像処理方法において、処理画像信号からサイド情報を分離し、サイド情報を用いて、処理画像信号から無効信号を除去し、無効信号が除去された画像信号列の一部の画像信号を繰り返すことにより、冗長フィールドを生成して所定の画像レートのディジタル動画像信号を復元することにより、簡単に表示用のディジタル動画像信号を得ることができる。
【０１７５】
なお、画像入力装置から供給される画像同期入力をマスタ・クロックとする動画像処理システムにおいて、画像入力装置から供給される原入力動画像の中から冗長画像を取り除く、などの前処理のために、次段の画像処理装置Ａへ入力されるべき処理画像列Ｂが、画像入力装置から供給される画像同期入力にロックしない場合に、画像同期入力にロック（ｌｏｃｋ）する新しい処理画像列Ｃを作り直してから、画像処理装置Ａへ入力することができるため、常に、画像入力装置から供給される画像同期入力を、画像処理装置のマスタ・クロックとすることができ、また、画像処理システムのコア部分である画像処理装置については、通常の入力画像列が画像同期入力にロックする場合に比べて、特に変更を必要としないので、画像処理装置の複雑さを増すことがない、等の、実用上優れた効果がある。
【図面の簡単な説明】
【図１】本発明に係る動画像処理方法の一実施例が適用された動画像処理システムの一例を示すブロック図である。
【図２】映画フィルムソースの１コマを２フィールド又は３フィールドで読み出す３：２プルダウン法を説明するための図である。
【図３】前処理器の具体例を示すブロック回路図である。
【図４】前処理器の動作の一例を説明するためのフローチャートである。
【図５】前処理器の動作の一例を説明するためのタイミングチャートである。
【図６】後処理器の具体例を示すブロック回路図である。
【図７】後処理器の動作の一例を説明するためのタイミングチャートである。
【図８】ピクチャのタイプを説明するための図である。
【図９】動画像符号化方法の一例の原理を示す図である。
【図１０】動画像符号化のためのエンコーダの一例を示すブロック回路図である。
【図１１】画像符号化タイプ指定・画像符号化順序並び換え動作を説明するための図である。
【図１２】画像データの構造を示す図である。
【図１３】フレーム／フィールド予測モードを説明するための図である。
【図１４】フレーム／フィールドＤＣＴモードを説明するための図である。
【図１５】画像表示順序並び換え動作を説明するための図である。
【図１６】従来の動画像符号化システムの一例を示すブロック図である。
【図１７】フレーム同期を説明するための図である。
【図１８】３：２プルダウンされた信号より冗長フィールドを除去する動作を説明するための図である。
【符号の説明】
２０２ 前処理器
２０３ 符号化器
２０５ 局所復号器
２０６ 後処理器
２０９、２１０、２１１、２１２ 切換スイッチ
３０２ 遅延器
３０５ 累積器
３０６ 比較器
３０７ 閾値メモリ
３０９ フィールドカウンタ
３１０ 比較器
３１１ ＡＮＤ演算器
３１２ 出力フィールドコントローラ
３１３ フレームヘッダ多重化器

Claims (5)

1. 原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号に符号化処理を施して、伝送する動画像処理方法において、
   前記入力されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出する第１のステップと、
   前記複数のフィールド画像から前記検出された冗長フィールドを除去する第２のステップと、
   前記冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入することにより処理画像信号を生成する第３のステップと、
   前記処理画像信号に対して前記符号化処理を施す第４のステップとを有する動画像処理方法。
2. 前記第４のステップは、前記符号化処理を前記処理画像信号に施すと共にサイド情報を生成し、前記サイド情報を前記処理画像信号に付加する第５のステップを有し、
   前記サイド情報は、前記原画像を処理する際に、トップフィールド及びボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグ、または、前記原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグ、または、前記処理画像信号のうち、どの画像信号が前記挿入された無効信号であるか否かを示す第３のフラグであることを特徴とする請求項１記載の動画像処理方法。
3. 前記第３のフラグが付加された処理画像信号に対しては、前記符号化処理は行われないことを特徴とする請求項２記載の動画像処理方法。
4. 前記第１のステップにおいて、さらに、前記入力ディジタル動画像信号の入力フィールド数をカウントし、このカウント値が所定値であるかを判定し、この判定の結果と前記フィールド間相関度とから前記冗長フィールドを検出することを特徴とする請求項１記載の動画像処理方法。
5. 原画像の１画面を２フィールド又は３フィールドで読み出して画像レートを変更する３：２プルダウン処理により生成されたディジタル動画像信号の現フィールド画像信号と遅延されたフィールド画像信号との相関を求めることにより冗長フィールド画像を検出し、前記複数のフィールド画像から前記検出された冗長フィールドを除去し、前記冗長フィールドが除去されたフィールド画像列の順序を並び替えると共に、無効信号を挿入し、さらにトップフィールド及びボトムフィールドのうち、どちらが先に読み出されたかを示す第１のフラグ、または、前記原画像の１画面が３フィールド又は２フィールドのどちらの画像レートで読み出されたかを示す第２のフラグ、または、前記処理画像信号のうち、どの画像信号が前記挿入された無効信号であるか否かを示す第３のフラグであるサイド情報を付加して生成された処理画像信号から前記冗長フィールドを含むディジタル動画像信号を復元する動画像処理方法において、
   前記処理画像信号から前記サイド情報を分離する第１のステップと、
   前記サイド情報を用いて、前記処理画像信号から前記無効信号を除去する第２のステップと、
   前記無効信号が除去された画像信号列の一部の画像信号を繰り返すことにより、前記冗長フィールドを生成して前記所定の画像レートのディジタル動画像信号を復元する第３のステップとを有する動画像処理方法。

Images