JP3563422B2 - フィルム／ビデオ検出器 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ビデオ信号がビデオ処理、例えば、ビデオカメラから発生したか、それとも映画フィルムから発生したかを検出する装置に関する。以下、この検出器は“フィルム／ビデオ検出器”と呼ばれる。
【０００２】
【発明の背景】
毎秒２４コマでフィルムに撮られた番組素材は３：２プルダウン（ｐｕｌｌｄｏｗｎ）として知られている処理により、ビデオ（毎秒３０フレーム）に変換される。この処理において、フィルムは１コマおきに３つの飛越し走査されたビデオフィールドに変換される。その間にあるフィルムのコマは２つの飛越し走査されたビデオフィールドに変換される。図１のＡはビデオ処理により発生されるビデオ信号を示す。各ボックスはビデオの１フレームを示す。縦に並んだ丸の各列は１フィールドを表わす。縦に並んだ丸の連続する列は飛越し走査されたビデオフィールドを表わす。図１のＢは、３：２プルダウン処理により発生されるビデオ信号を示す。各ボックスは素材のフィルムの１コマを表わす。フィルムの１コマおきに、３つのビデオフィールドが発生され、そのうちの２つは同じ情報である。例えば、フレーム１におけるＡフィールドとＣフィールドは同じであり、フレーム３のＦフィールドとＨフィールドは同じである。ビデオ素材が３：２プルダウンにより得られたか、それともビデオ処理により得られたかを判断できることは、多くのビデオ信号処理システム（例えば、ＩＤＴＶ（Ｉｍｐｒｏｖｅｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）受像機）あるいはディジタルビデオ圧縮システムにおいて有効に利用することができる。
【０００３】
ビデオ信号の圧縮を考えてみる。映画フィルムから発生されるビデオ信号は５フィールド毎に１つの冗長フィールド、すなわち２０％の冗長度を含んでいる。もしビデオ信号がフィルムモードで発生したと判断できるならば、２０％の圧縮を達成するために圧縮処理において冗長フィールドを除去することができる。図１のＣは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｏｒｇａｎｉｚａｔｉｏｎ）（国際標準化機構の映画専門家グループ）プロトコルに従う、圧縮のために飛越し走査されたビデオフレームの形成を示す。図１のＤはＭＰＥＧ圧縮のために飛越し走査されたフィルムモードのビデオフレームの形成を示す。ここで、冗長フィールドは除去されることが分るであろう。
【０００４】
【発明の概要】
本発明は、ビデオ信号の連続するフレームにおいて対応するピクセルの値の差を発生する第１の回路を含んでいる、フィルム／ビデオ検出器である。これらの差は、それぞれのフレーム期間に亘って累積される。それぞれのフレームについて累積された値は、信号平均化回路および相関回路に供給される。信号平均化回路からの平均値は相関回路からの相関値から引かれ、この差が予め定められる値よりも大きければ、フィルムモードの信号であることが示される。
特許請求の範囲に記載された事項と実施例との対応関係を、図面で使われている参照番号で示すと次の通りである。
（請求項１）
ビデオ信号源と、
前記ビデオ信号源に結合され、前記ビデオ信号を２フィールド期間遅延した信号を供給する信号遅延手段（１０）と、
前記ビデオ信号源と前記信号遅延手段に結合され、前記ビデオ信号と前記遅延したビデオ信号の対応する画像点間の差を発生する信号差発生手段（２０）と、
累算器（２４）を含み、それぞれのフィールド期間にわたって前記画像点間の差を累積して累積値を発生する累算手段（２２〜２６）と、
平均化器（２８）、相関器（３０〜３４）と合成器（３６）を含む検出手段（２８〜４０）と、を具備し、
前記平均化器は、前記累算手段に結合され前記累積された画像点間の差の平均値を発生し、前記相関器は、前記累積手段に結合され連続する５つのフィールド期間にわたって累積された前記画像点間の差のうち最も小さい値または最も大きい値を表わす出力を発生し、前記合成器は、前記平均化器と前記相関器の出力を合成し、前記検出手段は、前記合成された出力が、所定の値より小さいかまたは大きいか、あるいは正であるか負であるかに基づいてビデオモードの信号であるかフィルムモードの信号であるかを検出する、フィルム／ビデオ検出器。
発明の効果
フィルムモードの信号（毎秒２４コマでフィルムに撮られ、それから３：２プルダウン処理により発生されるビデオ信号）とビデオモードの信号（直接ビデオ処理により発生されるビデオ信号）を高い信頼度で検出することができる。
【０００５】
【実施例】
フィルムモード検出器の目的は、直接ビデオとして（毎秒３０フレームで）作られた素材と、最初はフィルムに（毎秒２４コマで）撮られそれから３：２プルダウンでテレシネを使用してビデオに変換された素材とを見分けることである。３：２プルダウンが存在する時、５つのビデオフィールドの中の１つｆ_ｎ（ｉ，ｊ）はそれよりも２フィールド前のフィールドｆ_ｎ−２（ｉ，ｊ）と同じ画像情報を含んでいる（ｉおよびｊは画像の水平および垂直座標である）。図２は、本発明に従う、例示的３：２プルダウン検出器のブロック図である。図２で、入力ルミナンス信号はフレーム遅延回路１０に供給され、遅延回路１０は２フィールド期間に等しい期間だけルミナンス信号を遅延させる。もし現在の入力信号がフィールドｆ_ｎ（ｉ，ｊ）を表わすならば、遅延回路１０はその出力の接続部でフィールドｆ_ｎ−２（ｉ，ｊ）を表わす信号を発生する。遅延された信号と遅延されない信号は減算器２０に供給され、減算器２０は、連続するフレーム、すなわち、１フィールドだけ離れた２つのフィールド間において対応するピクセルの差を発生する。これらの差は次の式で表わされる：
ｄ_ｎ（ｉ，ｊ）＝ｆ_ｎ（ｉ，ｊ）−ｆ_ｎ−２（ｉ，ｊ）
その瞬間の雑音を無視すると、２つのフィールドで同じ画像部分は、すべてフレーム差がゼロになる。もし３：２プルダウンが存在するならば、５フィールド毎に１つは、それよりも２フィールド前のフィールドと同じ情報を含み、すなわちｆ_ｎ（ｉ，ｊ）＝ｆ_ｎ−２（ｉ，ｊ）となる。これは図５に示されている。フレーム差信号において、“０”はｄ_ｎ（ｉ，ｊ）＝０を表わし、“１”はｄ_ｎ（ｉ，ｊ）≠０を表わす。これらの２進値は説明の目的にのみ使用される。このシステムでは実際のフレーム差の値が使用される。
【０００６】
３：２プルダウンが存在する時、フレーム差は、５フィールド毎にほぼ１フィールド全体がゼロになる。その場面に動きがなく照明の変化もなければ、３：２プルダウンが存在してもしなくても、どのフィールドもゼロを含むであろう。これについてはあとで詳しく述べる。
【０００７】
入力信号にはいくらか雑音が含まれているので、差信号はコアリング回路２２に結合され、コアリング回路２２は予め定められる振幅よりも小さい値を有する差を除去する。すなわち、小さいフレーム差はゼロに設定される。コアリング処理により、雑音が画像の動きや画像の変化と間違われる可能性が効果的に除去されると共に、有効な差のみが送られて更に処理される。
【０００８】
コアリング処理された差Ｃ_ｎ（ｉ，ｊ）は累算器２４に供給され、累算器２４は各フィールドについてコアリング処理された差の信号の大きさを合計する。累算器２４は各垂直期間の初めにリセットされる。リセット動作と同時に、差の最後の合計はあとに続く回路で使用するために保持される。これらの合計は次のような関係で与えられる：

これによって、１フィールドの差の値は単一の値Ｓ_ｎとなり、その大きさは、現在のフィールドと２フィールド前に生じたフィールドとの間の差の度合あるいはは動きの程度を表わしている。
【０００９】
図４はいくつかの形式の動画像について累積されたフレーム差の性質をグラフで示す。使用される信号は４つの別々の場面から成り、各場面は６０フィールドを含んでいる。各場面は、このデータ内で、大きな２フィールド幅のスパイクで分離されている。この大きなスパイクは、予測されるように、非常に大きなＳ_ｎを通常生じる場面の遷移によるものである。第３の場面（フィールド１２０〜１８０）はフィルムに撮られたコマーシャルであり、３：２プルダウンを使用してビデオに変換されたものである。この３：２プルダウン素材は、４個の比較的大きな差の合計のあとに１個の小さな差の合計を伴なうパターンを発生するのが見られる。この小さな方は、非常に小さな差の合計（理想的には、ゼロである）を生じる、繰り返されたフィールドによるものである。
【００１０】
累算器２４からのそれぞれの合計すなわちフレーム差の合計は、５点メジアン・フィルタ２６に供給される。メジアン・フィルタ２６は場面の遷移における大きなスパイクを除去するために組み込まれている。メジアン・フィルタ２６は以下の機能を行う。もし現在の差の合計Ｓ_ｎからＳ_ｎおよび最後の４個の差の合計の中間値を引いたものが或る正の閾値よりも大きいか、或る負の閾値よりも小さいならば、現在の差の合計Ｓ_ｎは中間値に替えられる（すなわち、もしＳ_ｎ−（Ｓ_ｎ，Ｓ_ｎ−１，Ｓ_ｎ−２，Ｓ_ｎ−３，Ｓ_ｎ−４）の中間値＜Ｖ_ｔｈならば、Ｓ_ｎを（Ｓ_ｎ，Ｓ_ｎ−１，Ｓ_ｎ−２，Ｓ_ｎ−３，Ｓ_ｎ−４）の中間値に替える。もしそうでなければＳ_ｎは変更されずに通過される。３：２プルダウンにより生じる下方スパイクが除かれるのを防ぐために、上方スパイクと下方スパイクについて別々の閾値を設定することができる。
【００１１】
メジアン・フィルタ２６から供給される合計値は、平均化回路２８と相関回路３０に結合される。平均化回路２８は、現在の合計とそれ以前の４個の合計の平均を与える。これら５個の合計の平均は、その信号中に存在する動きの総量を表わす。場面が３：２プルダウンで符号化されると、５個の合計のうち１つは非常に小さくなる。従って、３：２プルダウン素材の平均は、ビデオ素材の平均の約４／５の大きさとなる。
【００１２】
相関フィルタ３０は、現在の合計と前の４個の合計について５通りの相関をとる。すなわち、以下のように５個の合計ＣＣ_ｉを計算する。

各相関値ＣＣ_ｉは、ＤＣ応答をゼロとする、フィルタの応答とするのが効果的である。従って、ビデオ処理により素材が発生した場合、５個の合計Ｓ_ｉはすべて同様な値をとり、また各相関値ＣＣ_ｉは比較的小さくなるはずである。逆に、もし素材が３：２プルダウンから発生したならば、５個の合計のうちの１つは他の４個よりも大きくなり、（−１．０）×（小さな値の合計）の積を含んでいる相関値はそれ以外の相関値より相当に大きい数となる。この特定の相関値はすべての５個の相関値ＣＣ_ｉを最大検出器３２に供給することにより決定される。３：２プルダウンを有する場面では、この相関値は、特異な情報を含んでいる４つのフィールドに亘り平均化された動き信号の大きさを表わしている。この相関値はスケーリング回路３４に供給され、ここで４／５の割合で重み付けされる。重み付けされた値は５点平均化回路２８により発生された５点平均より生じる値とほぼ同じになる。これら２つの信号は減算する（減算器３６で）ことにより、３：２プルダウンが存在する時はいつでも相殺される。その代り、もし素材がビデオで発生されるならば、減算器３６により発生された差は５点平均に近づく。従って、ビデオ素材とフィルム素材について減算器３６で発生された差には比較的大きな差があるので、３：２プルダウンにより発生された素材を検出するのは容易となる。注：別の実施例では、相関フィルタの重み付け係数の符号（極性）は交換され、また最大検出器３２の代りに最小検出器を使用してもよい。この場合、減算器３６の代りに加算器が使用される。
【００１３】
もし相関フィルタ３０の出力に利得係数８／５（上述した係数の２倍）を掛けて５点平均信号から引かれるならば、その差は２極性信号となる傾向がある。正の差はビデオモード（３：２プルダウン無し）の動きを表わし、負の信号は３：２プルダウンが存在することを示す。この２極性信号は、この３：２プルダウン検出器の特異な性質のうちの１つ（或る特定の信号が３：２プルダウンを含んでいることの信頼度を示す機能）を与える。信号が負であればあるほど、その場面は最初にフィルムに撮られてから３：２プルダウンを使用してビデオに変換されたものと思われる。信号が正であればあるほど、３：２プルダウンは存在しないと考えられる。
【００１４】
ビデオ圧縮装置にフィルム／ビデオ検出器を使用する場合、３：２プルダウンのフィルムをビデオと間違える方がその逆の場合よりも望ましいことが、主観的実験により示されている。このような間違いの発生を最少限度にするために、非対称の立上り時間と立下り時間を有する無限インパルス応答（ＩＩＲ）フィルタ３８が減算器３６の後に設けられている。ＩＩＲフィルタは以下のように実施される。
もしｉｎ（ｎ）＞ｏｕｔ（ｎ−１）ならば
ｏｕｔ（ｎ）＝ｉｎ（ｎ）ｘｕｐ＿ｓｐｅｅｄ＋ｏｕｔ（ｎ−１）ｘ（１−ｕｐ＿ｓｐｅｅｄ）
またはｏｕｔ（ｎ）＝ｉｎ（ｎ）ｘｄｏｗｎ＿ｓｐｅｅｄ＋ｏｕｔ（ｎ−１）ｘ（１−ｄｏｗｎ＿ｓｐｅｅｄ）
ここでｕｐ＿ｓｐｅｅｄとｄｏｗｎ＿ｓｐｅｅｄはスケール係数であり、フィルタ３８より正方向と負方向の出力遷移の速度を決める。もしｕｐ＿ｓｐｅｅｄがｄｏｗｎ＿ｓｐｅｅｄよりずっと大きければ、ＩＩＲフィルタの出力は、下降するよりもずっと速く上昇することができることは明らかである。従って、もし素材がフィルムからビデオに変わるならば、フィルタの出力はその変化を比較的す速く反映することができる。もし素材がビデオからフィルムに変わるならば、フィルタの出力が負の値に移り、フィルムモードを表示するのにもっと長い時間を要する。これにより、ビデオが３：２プルダウンのフィルムとして符号化されることは希であることが確かめられる。例えば、もし検出器が現在負の値（フィルムモード）を含んでいるならば、次の入力値ｉｎ（ｎ）が大きな正の数である場合、小さな正の数である場合よりも、検出器はビデオモードに速く切り替る。ｕｐ＿ｓｐｅｅｄとｄｏｗｎ＿ｓｐｅｅｄの例示的値はそれぞれ０．３と０．０５である。
【００１５】
ＩＩＲフィルタ３８の出力は閾値検出器４０に供給される。検出器４０は、入力値が予め定められる値よりも大きい時に論理１の値（ビデオモードについて）を出力し、入力値が更に予め定められる値よりも小さい時には論理０の値（３：２プルダウンを用いるフィルムモードについて）を出力する。換言すれば、閾値検出器４０はヒステリシスを持っている。入力がヒステリシスの範囲に入ると、出力は一定のままであり、信号中に動きがほとんど存在しない時に出力が２つのモード間を行ったり来たりするのを防ぐ。従って、検出器４０は、フレーム間の差が測定できる程の量である時にのみモードを切り替えることができる。
【００１６】
静止したフィルムの場面が静止したビデオの場面にゆっくり移行するならば、ビデオはフィルムとして符号化されるかも知れない。しかしながら、これは容認される。なぜならば、ビデオをフィルムとして不適当に符号化し、そのあとで復号化することにより生じる好ましくないアーティファクト（ａｒｔｉｆａｃｔ）は、画像の動いている部分にだけ現われるからである。従って、そのような状況でも、場面が静止したままである間、出力は容認されるものであり、画像中で何かが動くと直ちに出力はビデオモードにす速く切り替わるであろう。
【００１７】
図３は本発明の第２の実施例を示す。図３の要素で図２の要素と同じ番号で表わされているものは、類似したものであり、同じ様な機能を果たす。図３で、減算器２０により発生されるフレーム差はコアリング回路２２を介して累算器５０に供給される。累算器５０は、コアリング処理された差の大きさを累積するよう構成されている。しかしながら、また累算器５０は予め定められる値に達したあとは累積を停止するように構成されており、それにより制限的機能を果たす。この制限的機能は図２の５点メジアン・フィルタ２６の代りとして設けられる。累算器５０は、１５ビットの２進信号で表わされる２^１５の値で制限するように構成される、ということが実験的に見い出された。しかしながら、この１５ビット信号のうち最上位（ＭＳＢ）５ビットだけが更に処理するために転送される。
【００１８】
累算器５０からの５個のＭＳＢで表わされるサンプル値は、ディジタル／アナログ変換器（ＤＡＣ）５２において、アナログ形式のサンプルデータに変換される。これらのサンプルデータのアナログ値は、それぞれのフィールド期間に亘る差の合計を表し、サンプルデータ・アナログシフトレジスタ５６に結合される。レジスタ５６は、それぞれのサンプルをレジスタの連続する段にフィールド周波数で転送するようクロック回路５４により条件づけられる。それぞれのサンプルは、抵抗バンク（ｂａｎｋ）５８を介してレジスタ５６から取り出される。この抵抗バンク５８は、増幅器６０と共に、５個の連続的サンプルの連続的負の合計Ｓ_ｉを発生する。これら負の合計は、増幅器６０の周囲に加えられる帰還によって１／５の割合でスケール化される。アナログシフトレジスタ内に存在するそれぞれのサンプルは第２の抵抗バンク６２により取り出される。タップにより取り出された値は、それぞれ増幅器６０の出力と抵抗バンク６２のそれぞれの抵抗との間に結合されている第３の抵抗バンク６４を介して、スケール化された負の合計（−Ｓ_ｉ／５）と合成されて、５個の合計Ｓ_ｋを発生する。もし信号がビデオモードであれば、タップから取り出された各値は或る公称値に等しくなり、増幅器６０の出力はこの公称値に近づく。このようにして、合計Ｓ_ｋの各々はほぼゼロに等しくなる。代りに、もしソース信号がフィルムモードであるならば、アナログシフトレジスタ５６内の５個のサンプルのうちの１つはほぼゼロに等しくなり、残りは公称値に等しくなる。この場合、増幅器６０の出力は公称値の４／５に接近する。合計Ｓ_ｋのうち４個は公称値のほぼ１／５に等しくなり、５番目（重複する３：２プルダウンフィールドに対応する）は公称値のほぼ−４／５に等しくなる。５個の値Ｓ_ｋは最小検出器に加えられ、最小検出器は、連続する各組の５個のＳ_ｋのうち最低値のものを出力する。その後この値は閾値検出器６８に加えられる。もし、閾値検出器６８に加えられるＳ_ｋの値が予め定められる閾値を超えるならば、閾値検出器６８は論理１を出力し、ソース信号がフィルムから発生したことが分る。
【００１９】
用途によっては、素材がフィルムモードであるという知識が必要であるだけでなく、重複フィールドである特定のフィールドについの知識も必要である。この特徴を決定するには、アナログシフトレジスタ５６内の５個のサンプルを検査するかあるいは５個の合計Ｓ_ｋを位相検出器７０により検査する。もし５個の合計Ｓ_ｋのうち１個（例えば、Ｓ_ｍ）が最小値であり、残りの４個は予め定められる値（例えば、Ｓ_ｍの４倍）を超えるならば、Ｓ_ｍに対応するサンプルは、重複フィールド、すなわち３：２プルダウン位相を表わす。
【図面の簡単な説明】
【図１】本発明を説明するのに役に立つ、ビデオ信号のフィールド／フレームを示す図である。
【図２】本発明を具体化するディジタル形式のフィルム／ビデオ検出器のブロック図である。
【図３】本発明を具体化する、ディジタルおよびアナログ形式のフィルム／ビデオ検出器の部分的なブロック図と部分的な概略図である。
【図４】ビデオおよびフィルムとして発生されたビデオ信号の一部について累積されたフレーム差を示す図である。
【図５】フィルム／ビデオ検出とそれぞれの冗長フィールドとの間の対応を示す図である。
【符号の説明】
１０ フレーム遅延回路
２０ 減算器
２２ コアリング回路
２４ 累算器
２６ ５点メジアン・フィルタ
２８ ５点平均化回路
３０ ５点相関フィルタ
３２ 最大検出器
３４ スケーリング回路
３６ 減算器
３８ ＩＩＲ（無限インパルス応答）フィルタ
４０ 閾値検出器
５０ 累算器
５２ デイジタル／アナログ変換器（ＤＡＣ）
５４ クロック回路
５６ シフトレシジスタ
５８ 抵抗器バンク
６０ 増幅器
６２ 第２の抵抗バンク
６４ 第３の抵抗バンク
６８ 閾値検出器
７０ 位相検出器

Claims (1)

1. ビデオ信号源と、
   前記ビデオ信号源に結合され、前記ビデオ信号を２フィールド期間遅延した信号を供給する信号遅延手段と、
   前記ビデオ信号源と前記信号遅延手段に結合され、前記ビデオ信号と前記遅延したビデオ信号の対応する画像点間の差を発生する信号差発生手段と、
   累算器を含み、それぞれのフィールド期間にわたって前記画像点間の差を累積して累積値を発生する累算手段と、
   平均化器、相関器と合成器を含む検出手段と、を具備し、
   前記平均化器は、前記累算手段に結合され前記累積された画像点間の差の平均値を発生し、前記相関器は、前記累積手段に結合され連続する５つのフィールド期間にわたって累積された前記画像点間の差のうち最も小さい値または最も大きい値を表わす出力を発生し、前記合成器は、前記平均化器と前記相関器の出力を合成し、前記検出手段は、前記合成された出力が、所定の値より小さいかまたは大きいか、あるいは正であるか負であるかに基づいてビデオモードの信号であるかフィルムモードの信号であるかを検出する、フィルム／ビデオ検出器。

Images