JPH1169227A - 画像データのシーケンス検出装置および符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 プルダウンシーケンスを入力ビデオ信号から
検出し、検出に基づいて圧縮符号化する時に、画面のブ
レが発生することを防止する。 【解決手段】 シーケンス検出の状態遷移は、状態ｆ１
から開始する。シーケンス検出がロックしている状態で
は、状態Ｆ２→Ｆ３→Ｆ４→Ｆ１のように、１／２４
（秒）の周期で順次状態が遷移する。状態Ｆ３から状態
遷移が生じる時に、シーケンス検出のロックが外れる
と、状態ｆ３に遷移する。この状態ｆ３は、直前の状態
Ｆ３とフィールドの関係を維持し、順次走査のフラグを
インターレス走査のものへ反転したものである。状態ｆ
３において、再びシーケンスが検出されるのを待機す
る。状態ｆ３を設けることによって、プルダウン素材の
途中にＣＭ等が挿入されている場合でも、画面のブレが
生じることを防止できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映画等のフィル
ム素材の画像情報をビデオ信号に変換し、さらに、ビデ
オ信号を圧縮するのに適用される画像データのシーケン
ス検出装置および符号化装置に関する。

【０００２】

【従来の技術】映画等のフィルム素材は、毎秒２４コマ
のデータであり、一方、ビデオ信号例えばＮＴＳＣ方式
のビデオ信号は、毎秒３０フレームである。従って、フ
ィルム素材をビデオ信号に変換する場合では、２４コマ
から３０フレームを生成する処理が必要とされる。この
ような処理は、所定の変換パターンで２個のフィールド
を３個のフィールドに変換する処理を含むことから、一
般に２：３プルダウンと称される。すなわち、自動的に
５フレームに２回の割合で第１フィールドの繰り返しを
発生させることにより、２４コマから３０フレームの変
換がなされる。テレシネ装置がフィルム素材をテレビジ
ョン素材に変換する装置として知られている。

【０００３】画像データは、一般的にデータ量が多いの
で、伝送、記録に際して、データ量を圧縮する圧縮処理
がなされる。上述した２：３プルダウン処理により得ら
れたビデオ信号を圧縮する時には、フレーム数を増やす
ために挿入したフィールド（繰り返しフィールド）の情
報が冗長であるため、繰り返しフィールドを除去するよ
うに圧縮符号化を行い、圧縮の効率を向上するようにな
される。このように、２：３プルダウン処理によりフレ
ーム数を毎秒３０フレームに増やした画像データの繰り
返しフィールドを検出し、繰り返しフィールドを除去
し、再びフレーム数を２４フレームに減らす処理は、逆
２：３プルダウン処理と呼ばれる。繰り返しフィールド
の検出は、フレーム間差分に基づいてなされる。

【０００４】

【発明が解決しようとする課題】しかしながら、フィル
ム素材から変換されたビデオ信号を編集した場合には、
２：３プルダウンの処理のシーケンスが乱れることがあ
る。また、映画の途中にＣＭが入るように、途中で２：
３プルダウンでない素材が混入されることがある。さら
に、撮像管を使用したテレシネ装置によりフィルム素材
をビデオ信号へ変換した場合、フレームメモリを使用し
たノイズリデューサによるノイズ処理を受けた場合で
は、フレーム間に残像が発生し、２：３プルダウンのシ
ーケンスが乱れることがある。これらの２：３プルダウ
ンでない素材が入ったり、２：３プルダウンのシーケン
スが乱れた素材が存在する場合には、繰り返しフィール
ドを正しく検出することが困難である。若し、誤った検
出に基づいて、圧縮符号化を行うと、復号画像が不自然
な動きとなる問題があった。

【０００５】このような不自然な動きを含む時でも、Ｄ
ＶＤ、磁気テープ等のストレージメディアの場合では、
検出方法および検出条件を適宜変更して検出を行うこと
によって、２：３プルダウンのシーケンスを予め探して
おき、編集等により途中でシーケンスが乱れても、圧縮
効率を高めることが可能である。しかしながら、ディジ
タル放送のような放送用のメディアでは、リアルタイム
性が要求されるために、検出方法および検出条件を変更
して予めシーケンスを探しておくことができない。この
ため、ディジタル放送では、２：３プルダウン処理され
たビデオ信号を圧縮符号化する場合、繰り返しフィール
ドの除去の処理を行わないのが普通であり、圧縮効率が
低下する問題があった。

【０００６】従って、この発明の目的は、圧縮符号化の
ために２：３プルダウンのシーケンスを検出する時に、
シーケンスが検出できない場合でも、圧縮符号化を良好
に行うことが可能な画像データのシーケンス検出装置お
よび符号化装置を提供することにある。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１の発明は、同一フィールドの画像が所定
の割合で繰り返された画像データが入力され、繰り返さ
れたフィールドを検出するシーケンス検出装置におい
て、フレーム間差分を演算し、フレーム間差分からシー
ケンスを検出するシーケンス検出部を有し、シーケンス
検出部は、インターレス走査の第１の状態からシーケン
ス検出を開始し、シーケンス検出がなされると、インタ
ーレス走査と順次走査を区別するフラグを順次走査にセ
ットする第２の状態に移り、第２の状態において、シー
ケンス検出のロックが外れると、インターレス走査と順
次走査を区別するフラグをインターレス走査にセット
し、次にシーケンス検出がなされるまで、インターレス
走査にセットした状態で待機し、フラグをビデオデータ
と共に出力することを特徴とするシーケンス検出装置で
ある。

【０００８】請求項２の発明は、順次走査で"1" とな
り、インターレス走査で"0" となる第１のフラグと、最
初のフィールドがトップで"1" となり、これがホトム
で"0" となる第２のフラグと、繰り返しフィールドが存
在する時に"1" となり、これが存在しない時に"0" とな
る第３のフラグとによって、状態遷移が規定され、シー
ケンス検出がロックしている場合では、第１のフラグ、
第２のフラグおよび第３のフラグが全て"1" の状態Ｆ２
と、第１のフラグが"1" で、第２および第３のフラグ
が"0" の状態Ｆ３と、第１および第３のフラグが"1"
で、第２のフラグが"0" の状態Ｆ４と、第１および第２
のフラグが"1" で、第３のフラグが"0"の状態Ｆ１とが
順次所定周期で遷移することを特徴とするシーケンス検
出装置である。

【０００９】好ましくは、シーケンス検出のロックが外
れるときには、状態Ｆ３から第１のフラグが"0" に反転
し、第２および第３のフラグが"0" のままの状態ｆ３に
遷移し、シーケンス検出がロックするまで待機する。

【００１０】また、この発明は、同一フィールドの画像
が所定の割合で繰り返された画像データが入力され、繰
り返されたフィールドを検出するシーケンス検出装置か
らのビデオデータとフラグとが供給される画像データ符
号化装置において、フレーム間差分を演算し、フレーム
間差分からシーケンスを検出するシーケンス検出部を有
し、シーケンス検出部は、インターレス走査の第１の状
態からシーケンス検出を開始し、シーケンス検出がなさ
れると、インターレス走査と順次走査を区別するフラグ
を順次走査にセットする第２の状態に移り、第２の状態
において、シーケンス検出のロックが外れると、インタ
ーレス走査と順次走査を区別するフラグをインターレス
走査にセットし、次にシーケンス検出がなされるまで、
インターレス走査にセットした状態で待機し、フラグを
ビデオデータと共に圧縮符号化のエンコーダに対して出
力し、エンコーダは、フラグに従って圧縮符号化を行う
ようにしたことを特徴とする画像データ符号化装置であ
る。

【００１１】２：３プルダウンの素材の場合でも、ＣＭ
の挿入、編集等によってプルダウンのシーケンスが乱れ
ることがある。その場合に、直前のフィールドの関係を
維持したまま、順次走査からインターレス走査に信号と
して扱って符号化する。それによって、画面のブレが生
じることを防止することができる。

【００１２】

【発明の実施の形態】この発明の理解を容易とするため
に、毎秒２４コマのフィルム素材を毎秒３０フレームの
ＮＴＳＣ方式のテレビジョン素材に変換する処理、すな
わち、２：３プルダウンの処理について図１を参照して
説明する。フィルム素材は、毎秒２４コマであり、同一
の画像の２フィールド（第１および第２フィールド）の
画像を各コマから形成し、毎秒４８フィールドの画像信
号を形成する。次に、フィルム素材の４コマ（８フィー
ルド）をビデオ信号例えばＮＴＳＣ方式のビデオ信号の
５フレーム（１０フィールド）へ変換する。

【００１３】そして、図１において、略三角形で囲まれ
た３フィールドの中の時間的に最後のフィールドがフィ
ールド数を増やすために繰り返されたフィールド、すな
わち、リピートファーストフィールドである。リピート
ファーストフィールドは、５フレームに２回の割合で生
じる。このように、２：３プルダウン処理がなされたビ
デオ信号に付随して、top field first （ＴＦＦと略称
する）、repeat firstfield（ＲＦＦと略称する）の二
つのフラグが伝送される。ＴＦＦは、フレームストラク
チュアの場合、最初のフィールドがトップかボトムかを
示すフラグである。ＲＦＦは、繰り返しフィールドの存
在を示すフラグである。

【００１４】画像圧縮符号化としてのＭＰＥＧ２では、
５フレームに２回の割合で発生するフラグＲＦＦを参照
して、繰り返しフィールドを除いた４フレーム分の画像
データを符号化している。それにより符号化効率を高く
することができる。しかしながら、前述したように、繰
り返しフィールドが挿入されるシーケンスが編集、ＣＭ
の挿入等により乱れるので、フラグＲＦＦのみでシーケ
ンスを検出することは検出の正確性を損なう問題があ
る。

【００１５】この発明の一実施形態においては、プルダ
ウンのシーケンスを検出するために、トップフィールド
とボトムフィールドの各フィールドに関してフレーム間
差分を求める。フレーム間差分は、時間的に連続するフ
レームにそれぞれ属するトップフィールド（またはボト
ムフィールド）の画面上の同一位置の画素値の差分の絶
対値を１画面の画素について積算したものである。フレ
ーム間差分としては、画素値の差分の自乗和を積算した
ものでも良い。さらに、１画面の全画素について積算を
行わずに、しきい値より大きな画素値の差分の絶対値を
積算しても良い。

【００１６】図２は、フレーム間差分を示すもので、Ｄ
０，Ｄ２，Ｄ４，．．．がトップフィールドに関するフ
レーム間差分であり、Ｄ１，Ｄ３，Ｄ５，．．．がボト
ムフィールドに関するフレーム間差分である。例えばＤ
０は、トップフィールドと１フレーム後のトップフィー
ルドの間で、画面上の同じ位置の画素の値の差分を計算
し、差分の絶対値を１フィールドにわたって積算した値
である。

【００１７】プルダウンのシーケンスを検出するために
は、少なくとも３．５フレーム分のフレーム間差分を必
要とする。そのため、求められたフレーム間差分をパイ
プラインレジスタにより４フレーム分記憶しておき、順
次遅延させる。一方、画像データも、プルダウン判定が
できるまで、同様にフレームメモリに蓄えられ、３フレ
ーム分遅延される。

【００１８】図２のタイミングチャート、図３の状態遷
移図および図４のフローチャートを参照してプルダウン
のシーケンスの検出処理について説明する。符号化を開
始するために、エンコーダを初期化する時、プルダウン
のシーケンスが見つかっていないので、インターレスの
状態から開始する。なお、図２および図３において、状
態については、Ｆ１，Ｆ２，Ｆ３，Ｆ４，ｆ１，ｆ３の
参照符号が使用される。また、図３において、各状態を
表す円形の領域内の３ビットは、ＭＰＥＧ２の規格で規
定されているフラグの３ビットの値を示している。すな
わち、３ビットは、（ＰＦ，ＴＦＦ，ＲＦＦ）である。

【００１９】この発明の一実施形態では、これらの３個
のフラグとそれぞれ対応する３ビットによって状態遷移
が規定される。プルダウンのシーケンス検出がロックし
ている場合では、（１１１）の状態Ｆ２→（１００）の
状態Ｆ３→（１０１）の状態Ｆ４→（１１０）の状態Ｆ
１が１／２４（秒）周期で遷移する。

【００２０】フラグＴＦＦは、上述したように、最初の
フィールドがトップの場合で、（ＴＦＦ＝"1" ）とな
り、これがボトムの場合で、（ＴＦＦ＝"0" ）となるフ
ラグである。ＲＦＦは、繰り返しフィールドの存在を示
すフラグであり、繰り返しフィールドが存在するとき
に、（ＲＦＦ＝"1" ）となり、これが存在しないとき
に、（ＲＦＦ＝"0" ）となる。ＰＦは、Progressive Fr
ame の略称であり、このピクチュアが順次（プログレッ
シブ）走査でできているか、インターレス走査でできて
いるかを示すフラグである。順次走査のフレームで（Ｐ
Ｆ＝"1" ）、インターレス走査のフレームで（ＰＦ＝"
0" ）である。映画素材の場合では、毎秒２４フレーム
の各フレーム内の画素は、全て同一時間にサンプリング
されたものであるので、順次走査のデータである。

【００２１】符号化の最初では、インターレスの状態か
ら開始し、また、最初のフィールドがトップであり、さ
らに、繰り返しフィールドがないので、（ＰＦ，ＴＦ
Ｆ，ＲＦＦ）＝（０１０）である。この状態をｆ１と表
記する。フローチャートの最初のステップＳ１では、変
数ｊの初期値が設定され、次のステップＳ２で、３個の
フラグの値と対応する、状態レジスタの内容が（０１
０）にセットされる。

【００２２】ｆ１の状態でプルダウンのシーケンスが検
出されるのを待機する。そして、次の条件を満たした場
合には、プルダウンであると判定し、次のフレームでＦ
２の状態に遷移する。状態Ｆ２は、（ＰＦ，ＴＦＦ，Ｒ
ＦＦ）＝（１１１）である。それ以外では、ｆ１の状態
のままである。図４では、ステップＳ３およびＳ４の処
理がなされ、下記の条件が満足されると、ステップＳ４
の結果が肯定となり、ステップＳ５において、状態レジ
スタの内容が（１１１）とされる。ステップＳ４で、条
件が満たされないと、ステップＳ２に処理が戻る。

【００２３】Ｄ０−Ｄ２＞Ｔｐ でかつ Ｄ４−Ｄ２＞
Ｔｐ でかつ Ｄ２＜Ｔｉ ここで、Ｔｐは、検出のためのしきい値である。フレー
ム間差分Ｄ０およびＤ２の差、フレーム間差分Ｄ４およ
びＤ２の差をしきい値Ｔｐとそれぞれ比較する。これ
は、ノイズが多い画像の場合、フレーム間差分もノイズ
の影響を受けて変動しやすいため、フレーム間差分の差
をとることによりノイズ成分をキャンセルするためであ
る。素材によって、しきい値Ｔｐを変更する必要はな
い。

【００２４】Ｔｉは、ノイズマージンを含んだ動き検出
のしきい値であり、フレーム間差分そのものと比較す
る。しきい値Ｔｐ、動き検出しきい値Ｔｉは、実験的に
求めるが、一般的なフィルム素材の場合では、ＴｐをＴ
ｉに比べて十分に大きな値とする。このように条件を厳
しくすることによって、前後のフレーム間差分が大き
く、そのフレーム自身のフレーム間差分が小さいものを
検出することができるので、シーケンスを正しく検出す
ることができる。

【００２５】状態Ｆ２では、ＰＦおよびＲＦＦが反転
し、（ＰＦ，ＴＦＦ，ＲＦＦ）＝（１１１）となる。す
なわち、順次走査であり（ＰＦ＝"1" ）、最初のフィー
ルドがトップであり（ＴＦＦ＝"1" ）、繰り返しフィー
ルドが存在する（ＲＦＦ＝"1"）。圧縮符号化において
は、この繰り返しフィールド（１フィールド）を間引い
てフレームピクチャを構成する。Ｆ２の状態からは、無
条件で次のフレームで、状態Ｆ３へ遷移する。図４で
は、ステップＳ６を経てステップＳ７に移り、状態レジ
スタの内容が（１００）とされる。

【００２６】状態Ｆ３では、ＴＦＦおよびＲＦＦが反転
し、（ＰＦ，ＴＦＦ，ＲＦＦ）＝（１００）となる。す
なわち、順次走査であり（ＰＦ＝"1" ）、最初のフィー
ルドがボトムであり（ＴＦＦ＝"0" ）、繰り返しフィー
ルドが存在しない（ＲＦＦ＝"0" ）。この状態では、既
にプルダウンのシーケンスが検出されているので、アン
ロック検出のみを行う。アンロックの検出は、プルダウ
ンのシーケンスを検出しているロック状態から、これを
検出できないアンロック状態に移行することを検出する
ことである。例えばＣＭが挿入されている場合、編集が
されている場合等では、プルダウンのシーケンスが乱
れ、インターレスフレームが連続することがある。

【００２７】そして、次の条件を満たした場合は、プル
ダウンではないと判定し、次のフレームで状態ｆ３へ遷
移する。それ以外は、プルダウンと判断し、状態Ｆ４に
遷移する。状態ｆ３では、（ＰＦ，ＴＦＦ，ＲＦＦ）＝
（０００）となる。また、状態Ｆ４では、（ＰＦ，ＴＦ
Ｆ，ＲＦＦ）＝（１０１）となる。このように、状態Ｆ
３からＰＦが"0" に反転し、ＴＦＦ，ＲＦＦが"0" のま
まの状態ｆ３に遷移し、シーケンス検出がロックするま
で待機する。

【００２８】Ｄ７≧Ｔｎ Ｔｎは、ノイズマージンを含んだ動き検出のしきい値Ｔ
ｉと同じでも良い。シーケンスが不連続になることが多
いと予想される場合は、しきい値ＴｎをＴｉと同様に小
さい値とし、不連続になることが少ないと予想される場
合は、しきい値Ｔｎを大きな値として、アンロックを検
出しにくくすることができる。

【００２９】図４のフローチャートでは、ステップＳ８
の後のステップＳ９において、上述した条件が満たされ
るかどうかが決定される。ステップＳ９では、（Ｄｋ＜
Ｔｎ？）とされているので、否定の結果でステップＳ１
０に処理が移り、状態レジスタの内容が（０００）とさ
れる。一方、ステップＳ９の肯定の結果で、処理がステ
ップＳ１３に移り、状態レジスタの内容が（１０１）と
される。

【００３０】上述した条件検出に基づいて、状態Ｆ３か
ら状態ｆ３への遷移を可能としている点がこの発明の特
徴的な部分である。すなわち、状態ｆ３では、（ＴＦＦ
＝"0" ）状態を引き継ぐが、（ＰＦ＝"0" ）として、イ
ンターレス走査の符号化を行う。なお、ＭＰＥＧ２のシ
ンタックス（符号化規則）では、（ＲＦＦ＝"1" ）の連
続を許していないので、（ＲＦＦ＝"0" ）である。この
状態ｆ３は、最初の状態ｆ１と比較すると、フィールド
が反転した対称的な状態である。状態ｆ３では、プルダ
ウンシーケンスが再び検出されるのを待機する。

【００３１】状態ｆ３において、次の条件が満たされる
場合は、プルダウンと判定し、次のフレームで状態Ｆ４
に遷移する。それ以外は、状態ｆ３のままである。

【００３２】Ｄ５−Ｄ７＞Ｔｐ 且つ Ｄ９−Ｄ７＞Ｔ
ｐ 且つ Ｄ７＜Ｔｉ 図４のフローチャートでは、ステップＳ１１の後のステ
ップＳ１２が条件判定のステップである。ステップＳ１
２の結果が肯定で、ステップＳ１３に処理移り、状態レ
ジスタの内容が（１０１）とされる。そうでないと、ス
テップＳ１０に処理が戻り、ステップＳ１１を経てステ
ップＳ１２で再び判定がなされる。

【００３３】若し、状態ｆ３を設けないと、プルダウン
のシーケンスが乱れた場合に、インターレスの状態ｆ１
に戻すには、もう一度、（ＲＦＦ＝"1" ）の状態、すな
わち、繰り返しフィールドが存在するものとして、１フ
レームの符号化を行う必要がある。その結果、この部分
で画面のブレが発生する問題が生じる。状態ｆ３によっ
てかかる問題を解決できる。

【００３４】（ＰＦ，ＴＦＦ，ＲＦＦ）＝（１０１）の
状態Ｆ４では、繰り返しフィールド（１フィールド）を
間引いてフレームピクチャを構成する。状態Ｆ４から
は、無条件で、次のフレームで状態Ｆ１に遷移する。図
４のフローチャートでは、ステップＳ１４を経て、ステ
ップＳ１５において、状態レジスタの内容が（１１０）
とされる。

【００３５】状態Ｆ１では、ＴＦＦが"1" に反転し、Ｒ
ＦＦが"0" に反転し、ＰＦは、"1"のままである。この
状態Ｆ１では、既にプルダウンのシーケンスが検出され
ているので、アンロック検出のみを行う。次の条件を満
たしている場合には、プルダウンではないと判定し、次
のフレームで状態ｆ１に遷移する。それ以外では、状態
Ｆ２へ遷移する。

【００３６】Ｄ１２≧Ｔｎ 図４のフローチャートでは、ステップＳ１６の後の決定
のステップＳ１７において、上述の条件が満たされるか
どうかが決定される。但し、ステップＳ１７では、（Ｄ
ｋ＜Ｔｎ？）とされているので、ステップＳ１７の結果
が否定の場合に、ステップＳ２（ｆ１の状態）に処理が
移り、その結果が肯定の場合に、ステップＳ５（状態Ｆ
２）に処理が移る。

【００３７】上述したように、プルダウンのシーケンス
が連続する場合では、１／２４（秒）の周期で（Ｆ１→
Ｆ２→Ｆ３→Ｆ４）の順に状態が遷移する。このプルダ
ウンのシーケンスの検出に基づいて、繰り返しフィール
ドを間引く処理を行うと、５フレームで４枚のフレーム
ピクチャが構成される。

【００３８】なお、図３の状態遷移図に存在しない他の
２つの状態、すなわち、（ＰＦ，ＴＦＦ，ＲＦＦ）＝
（００１）、（ＰＦ，ＴＦＦ，ＲＦＦ）＝（０１１）
は、ＰＦ＝"0" 、ＲＦＦ＝"1" となり、ＭＰＥＧ２のシ
ンタックスでは、禁止されている状態である。

【００３９】上述したフラグは、後述するようなフラグ
の処理を受けて、処理後のフラグがＭＰＥＧ２のエンコ
ーダに対して出力される。また、ＴＦＦおよびＲＦＦ
は、符号化前にフィールドデータからフレームピクチャ
を構成する、フィールド／フレーム変換処理のために使
用される。一方、ＰＦは、それに続くその他のフラグを
連動させることによって、圧縮効率を高めることができ
る。

【００４０】ＰＦと連動する他のフラグは、frame pred
ictive frame DCT（ＦＰＦＤと表記する）、chroma 420
type （Ｃ４２０Ｔと表記する）、alternate scan（Ａ
Ｓと表記する）である。ＦＰＦＤは、フレームストラク
チュアの場合、フレームモードＤＣＴの予測がフレーム
モードだけであることを示すフラグである。Ｃ４２０Ｔ
は、（４：２：０）の場合ではＰＦと同じ値であり、そ
うでない場合で"0" となるフラグである。ＡＳは、ジグ
ザクスキャンを使うか、オルタネートスキャンを使うか
の選択のフラグである。ＰＦとこれらのフラグの連動
は、次に示すものである。

【００４１】（ＰＦ，ＦＰＦＤ，Ｃ４２０Ｔ，ＡＳ）＝
（１，１，１，０） （ＰＦ，ＦＰＦＤ，Ｃ４２０Ｔ，ＡＳ）＝（０，０，
０，１） かかるフラグの処理によって、プルダウンのシーケンス
が検出される、プルダウン素材では、（ＰＦ＝"1" ）で
あり、インターレス素材では、（ＰＦ＝"0" ）である。
フラグＰＦに応じて符号化方法を最適なものとすること
ができる。フラグＦＰＦＤによって、プルダウン素材で
は、フレーム予測、フレームＤＣＴに固定することがで
き、インターレス素材の場合のみ、フィールド予測、フ
ィールドＤＣＴに切り換える。

【００４２】フラグＣ４２０Ｔによって、色差信号の間
引き／補間方式をインターレス素材とプルダウン素材と
で切り換えて色のにじみを防止することができる。さら
に、ＡＳによって、オルタネートスキャンは、インター
レス素材の場合に使用し、プルダウン素材では、通常の
ジグザクスキャンを使用する。オルタネートスキャンお
よびジグザクスキャンは、共にＤＣＴで発生した係数デ
ータを１次元のデータ系列に変換する手法であり、オル
タネートスキャンによって、インターレス成分を効率よ
く拾うことができる。

【００４３】なお、上述したものに対して変形したフラ
グ処理が可能である。例えばフラグＦＰＦＤは、ＰＦ
＝"0" になった場合には、同時に"0" とするが、ＰＦ
＝"0" になった場合には、予測する画像がまだ順次走査
になっていないので、次にＩピクチャが来るまで"0" の
ままとし、Ｉピクチャ以降に"1" としても良い。

【００４４】上述のようなプルダウンの検出およびフラ
グの処理を行い、次に、ＭＰＥＧ２の符号化を行うよう
にしたこの発明の一実施形態の構成について、より具体
的に説明する。図５は、一実施形態の構成の概要であ
る。図５において、１で示す入力端子から（４：２：
２）のビデオデータがビデオデータ処理部２に供給され
る。ビデオデータ処理部２において、上述したプルダウ
ンのシーケンスの検出と、フラグの処理がなされる。ビ
デオデータ処理部２からのフラグおよびビデオデータが
ＭＰＥＧ２のエンコーダ３に供給される。エンコーダ３
では、受け取ったフラグを使用してＭＰＥＧ２の符号化
を行い、符号化出力（エレメンタリーストリーム）を発
生する。フラグは、符号化出力中のヘッダとして挿入さ
れる。

【００４５】図６を参照してビデオデータ処理部２につ
いて説明する。入力端子１に供給されたビデオデータが
フレームメモリ２１およびフレーム間差分検出部２２に
供給される。フレーム間差分検出部２２では、入力デー
タとフレームメモリ２１からの前フレームのデータとが
供給され、１フレーム離れたトップフィールド同士の同
一位置の画素値の差分の絶対値と、１フレーム離れたボ
トムフィールド同士の同一位置の画素値の差分の絶対値
とが演算される。演算されたフレーム間差分がシフトレ
ジスタ２３に格納される。

【００４６】プルダウン検出部２４は、シフトレジスタ
２３に格納されているフレーム間差分を参照して、プル
ダウンのシーケンスを検出する。すなわち、図３の状態
遷移図および図４のフローチャートを参照して説明した
ように、プルダウンのシーケンスを検出し、また、フラ
グの処理を行う。

【００４７】フレームメモリ２１からのビデオデータが
フィールド／フレーム変換部２５に供給される。フィー
ルド／フレーム変換部２５では、５フレームに２回の割
合で発生する繰り返しフィールドを間引いて４フレーム
のデータに変換する。具体的には、フィールド単位で記
憶できるメモリが設けられ、繰り返しフィールドを除去
し、２４フレーム／秒のデータがメモリから読出され
る。さらに、フィールド／フレーム変換部２５では、
（４：２：２）から（４：２：０）の変換がなされる。
この場合に、色差信号の間引き処理がプルダウン素材と
インターレス素材とで切り換えられる。フィールド／フ
レーム変換部２５のこれらの処理は、プルダウン検出部
２４からの出力フラグに基づいて制御される。

【００４８】図７は、ビデオデータ処理部２の出力が供
給されるＭＰＥＧ２エンコーダ３の一例を示す。ビデオ
データ処理部２の出力端子２ａからのフラグと、出力端
子２ｂからの（４：２：０）のビデオデータがＭＰＥＧ
２エンコーダ３の入力端子３ａおよび３ｂにそれぞれ供
給される。

【００４９】ビデオデータは、動き検出部３２に供給さ
れ、動きベクトルが検出される。この場合、フラグＰ
Ｆ、ＦＰＦＤに基づいてフレーム予測とフィールド予測
の一方が動き検出部３２に対して指示される。フラグ
は、レートコントロール、モードコントロール部３１に
供給される。

【００５０】レートコントロール、モードコントロール
部３１は、符号化を制御する制御部である。フレームま
たはフィールド単位でＭＰＥＧ２のエンコーダの各構成
要素を制御し、入力画像データをＩピクチャ、Ｐピクチ
ャ、Ｂピクチャの内のいずれかのピクチャタイプに圧縮
処理を行う。さらに、量子化特性を制御し、符号化出力
のレートを制御する。

【００５１】動き検出部３２を通ったビデオデータが減
算部３３に供給される。減算部３３には、動き補償部４
０から動き補償されたローカル復号データが供給され
る。入力データとローカル復号データの差分データが減
算部３３から発生する。この差分データがＤＣＴ部３４
に供給される。ＤＣＴ部３４に対して、レートコントロ
ール、モードコントロール部３１からフィールドＤＣＴ
とフレームＤＣＴとの一方を指示するコントロール信号
が供給される。

【００５２】ＤＣＴ部３４の出力が量子化部３５に供給
される。量子化部３５には、レートコントロール、モー
ドコントロール部３１から量子化特性を指定するコント
ロール信号が供給される。量子化部３５に対して逆量子
化部３８、逆ＤＣＴ部３９および動き補償部４０からな
るローカル復号部が接続される。すなわち、逆量子化部
３８は、量子化部３５と逆の処理を行い、逆ＤＣＴ部３
９は、ＤＣＴ部３４と逆の処理を行う。動き補償部４０
からのローカル復号出力が減算部３３に供給され、予測
誤差が検出される。動き補償部４０では、順方向予測、
逆方向予測、双方向予測が可能とされている。

【００５３】量子化部３５に対してスキャン部３６が接
続される。スキャン部３６は、ＤＣＴの係数データを量
子化したデータを１次元のデータに変換する部分であ
る。スキャン部３６に対してレートコントロール、モー
ドコントロール部３１からスキャン方法を指示するコン
トロール信号が供給される。上述したように、フレーム
予測では、通常ジグザグスキャンでデータが出力され、
フィールド予測では、オルタネートスキャンでデータが
出力される。

【００５４】スキャン部３６からのデータがＶＬＣ（可
変長符号化）部３７に供給され、可変長符号化される。
また、ＶＬＣ部３７は、レートコントロール用の情報を
レートコントロール、モードコントロール部３１に対し
てフィードバックする。さらに、ＶＬＣ部３７では、伝
送される付加的な情報がピクチャヘッダとして挿入され
る。ヘッダに挿入される情報は、レートコントロール、
モードコントロール部３１からのフラグ等の情報、動き
検出部３２からの動きベクトルである。ＶＬＣ部３７か
ら出力端子４に対して、ＭＰＥＧ２の符号化出力が取り
出される。

【００５５】図７に示す構成は、一例であって、種々の
変形が可能である。例えば動き検出を動き補償部４０に
おいて行うこともできる。

【００５６】

【発明の効果】上述したこの発明は、２：３プルダウン
のシーケンスが不連続な場合でも、不自然な動きが見え
ないように符号化することができる。この発明では、
２：３プルダウンのシーケンス検出動作を常に働かせる
ことによって、素材の特性を予め調べる必要がない。従
って、リアルタイムで放送しながら、プルダウン素材が
到来したら、自動的にフラグＲＦＦを発生させ、効率良
く圧縮符号化を行うことができる。

【００５７】また、この発明は、プルダウン検出に基づ
いて生成されるフラグＰＦに対して、他のフラグを連動
させることによって、次のステップの圧縮符号化を素材
に適したものに制御することができ、効率良く符号化を
行うことが可能となる。さらに、この発明において、圧
縮符号化としてＭＰＥＧ２を採用する場合では、ＭＰＥ
Ｇ２の規格を満足することによって、デコーダに対して
一切の変更が要求されない利点がある。

【図面の簡単な説明】

【図１】この発明を適用することができる２：３プルダ
ウンを説明するための略線図である。

【図２】２：３プルダウンのシーケンスを検出するのに
使用するフレーム間差分の説明に用いる略線図である。

【図３】この発明の一実施形態における状態遷移を説明
するための略線図である。

【図４】この発明の一実施形態を説明するためのフロー
チャートである。

【図５】この発明の一実施形態の全体的構成を示すブロ
ック図である。

【図６】この発明の一実施形態におけるビデオデータ処
理部の一例の構成を示すブロック図である。

【図７】この発明の一実施形態における圧縮符号化のエ
ンコーダの一例の構成を示すブロック図である。

【符号の説明】

２・・・ビデオデータ処理部、３・・・ＭＰＥＧ２のエ
ンコーダ、２２・・・フレーム間差分検出部、２４・・
・プルダウン検出部、２５・・・フィールド／フレーム
変換部、３２・・・動き検出部、３４・・・ＤＣＴ部、
３５・・・量子化部、３６・・・スキャン部

Claims (14)

【特許請求の範囲】
1. 【請求項１】 同一フィールドの画像が所定の割合で繰
   り返された画像データが入力され、上記繰り返されたフ
   ィールドを検出するシーケンス検出装置において、 フレーム間差分を演算し、上記フレーム間差分から上記
   シーケンスを検出するシーケンス検出部を有し、 上記シーケンス検出部は、インターレス走査の第１の状
   態からシーケンス検出を開始し、シーケンス検出がなさ
   れると、インターレス走査と順次走査を区別するフラグ
   を順次走査にセットする第２の状態に移り、 上記第２の状態において、シーケンス検出のロックが外
   れると、上記インターレス走査と順次走査を区別するフ
   ラグをインターレス走査にセットし、次に上記シーケン
   ス検出がなされるまで、上記インターレス走査にセット
   した状態で待機し、 上記フラグをビデオデータと共に出力することを特徴と
   するシーケンス検出装置。
2. 【請求項２】 請求項１において、 順次走査で"1" となり、インターレス走査で"0" となる
   第１のフラグと、最初のフィールドがトップで"1" とな
   り、これがホトムで"0" となる第２のフラグと、繰り返
   しフィールドが存在する時に"1" となり、これが存在し
   ない時に"0" となる第３のフラグとによって、状態遷移
   が規定され、 シーケンス検出がロックしている場合では、上記第１の
   フラグ、上記第２のフラグおよび上記第３のフラグが全
   て"1" の状態Ｆ２と、上記第１のフラグが"1"で、上記
   第２および第３のフラグが"0" の状態Ｆ３と、上記第１
   および第３のフラグが"1" で、上記第２のフラグが"0"
   の状態Ｆ４と、上記第１および第２のフラグが"1" で、
   上記第３のフラグが"0" の状態Ｆ１とが順次所定周期で
   遷移することを特徴とするシーケンス検出装置。
3. 【請求項３】 請求項１において、 同じフィールドの組み合わせの状態を保持して、次に上
   記シーケンス検出がなされるまで待機するようにしたこ
   とを特徴とするシーケンス検出装置。
4. 【請求項４】 請求項２において、 上記シーケンス検出のロックが外れるときには、上記状
   態Ｆ３から上記第１のフラグが"0" に反転し、上記第２
   および第３のフラグが"0" のままの状態ｆ３に遷移し、
   シーケンス検出がロックするまで待機することを特徴と
   するシーケンス検出装置。
5. 【請求項５】 請求項１において、 シーケンス検出の結果に応じて制御されるフィールド／
   フレーム変換部をさらに有し、 上記フィールド／フレーム変換部において、繰り返しフ
   ィールドを間引くことを特徴とするシーケンス検出装
   置。
6. 【請求項６】 請求項１において、 シーケンス検出の結果に応じて制御されるフィールド／
   フレーム変換部をさらに有し、 上記フィールド／フレーム変換部において、（４：２：
   ２）から（４：２：０）のビデオ信号へ変換することを
   特徴とするシーケンス検出装置。
7. 【請求項７】 請求項１において、 上記インターレス走査と順次走査を区別するフラグのセ
   ットと連動して、フレーム予測とフィールド予測を区別
   するフラグをセットし、 上記フレーム予測とフィールド予測とを区別するフラグ
   を出力することを特徴とするシーケンス検出装置。
8. 【請求項８】 請求項７において、 上記インターレス走査と順次走査を区別するフラグのセ
   ットと連動して、さらに、ビデオ信号が（４：２：０）
   かどうかを区別するフラグをセットし、 上記フレーム予測とフィールド予測とを区別するフラグ
   と、上記ビデオ信号が（４：２：０）かどうかを区別す
   るフラグを出力することを特徴とするシーケンス検出装
   置。
9. 【請求項９】 請求項７において、 上記インターレス走査と順次走査を区別するフラグのセ
   ットと連動して、さらに、ＤＣＴで生成したデータの出
   力の方法を区別するフラグをセットし、 上記フレーム予測とフィールド予測とを区別するフラグ
   と、上記ＤＣＴで生成したデータの出力の方法を区別す
   るフラグを出力することを特徴とするシーケンス検出装
   置。
10. 【請求項１０】 同一フィールドの画像が所定の割合で
    繰り返された画像データが入力され、上記繰り返された
    フィールドを検出するシーケンス検出装置からのビデオ
    データとフラグとが供給される画像データ符号化装置に
    おいて、 フレーム間差分を演算し、上記フレーム間差分から上記
    シーケンスを検出するシーケンス検出部を有し、 上記シーケンス検出部は、インターレス走査の第１の状
    態からシーケンス検出を開始し、シーケンス検出がなさ
    れると、インターレス走査と順次走査を区別するフラグ
    を順次走査にセットする第２の状態に移り、 上記第２の状態において、シーケンス検出のロックが外
    れると、上記インターレス走査と順次走査を区別するフ
    ラグをインターレス走査にセットし、次に上記シーケン
    ス検出がなされるまで、上記インターレス走査にセット
    した状態で待機し、 上記フラグをビデオデータと共に圧縮符号化のエンコー
    ダに対して出力し、 上記エンコーダは、上記フラグに従って圧縮符号化を行
    うようにしたことを特徴とする画像データ符号化装置。
11. 【請求項１１】 請求項１０において、 上記シーケンス検出部がシーケンス検出の結果に応じて
    制御されるフィールド／フレーム変換部をさらに有し、 上記フィールド／フレーム変換部において、繰り返しフ
    ィールドが間引かれたビデオ信号が上記圧縮符号化のエ
    ンコーダに対して入力されることを特徴とする画像デー
    タ符号化装置。
12. 【請求項１２】 請求項１０において、 上記シーケンス検出部がシーケンス検出の結果に応じて
    制御されるフィールド／フレーム変換部をさらに有し、 上記フィールド／フレーム変換部において、（４：２：
    ２）から（４：２：０）のビデオ信号へ変換されたビデ
    オ信号が上記圧縮符号化のエンコーダに対して入力され
    ることを特徴とする画像データ符号化装置。
13. 【請求項１３】 請求項１０において、 上記シーケンス検出部が上記インターレス走査と順次走
    査を区別するフラグのセットと連動して、フレーム予測
    とフィールド予測を区別するフラグをセットし、 上記フレーム予測とフィールド予測とを区別するフラグ
    が上記圧縮符号化のエンコーダの制御部に供給され、 上記フラグにより指示される予測方式に従って、上記圧
    縮符号化のエンコーダが符号化を行うことを特徴とする
    画像データ符号化装置。
14. 【請求項１４】 請求項１０において、 上記シーケンス検出部が上記インターレス走査と順次走
    査を区別するフラグのセットと連動して、さらに、ＤＣ
    Ｔで生成したデータの出力の方法を区別するフラグをセ
    ットし、 上記フレーム予測とフィールド予測とを区別するフラグ
    と、上記ＤＣＴで生成したデータの出力の方法を区別す
    るフラグが上記圧縮符号化のエンコーダの制御部に供給
    され、 上記フラグにより指示される予測方式と上記出力の方法
    に従って、上記圧縮符号化のエンコーダが符号化を行う
    ことを特徴とする画像データ符号化装置。