JP5547464B2 - フィルムモードまたはカメラモードの検出方法 - Google Patents

Description

本発明は、ビデオ信号の処理に関し、より具体的にはビデオフレームシーケンスのフィルムモードまたはカメラモードの検出方法に関する。

現代のテレビジョンでは伝統的に、フィルムモードの検出を使用して、画質を改善するために受信した画像に適用する処理を決定している。それらの処理では、表示されるフレームの周波数が６０Ｈｚ未満のときにテレビ画面に現れるフリッカ現象（flicker effect）を抑えるために、受信したフレームシーケンスをより高い周波数を有するフレームシーケンスに変換することが特に知られている。このために、入力周波数が５０Ｈｚの場合において、フレーム周波数を２倍にして１００Ｈｚとなるようにすることが当技術分野で知られている。この周波数の変換は、例えば、図１に示されるように入力シーケンスのフレームを複製することである。この例において、変換されるべきシーケンスは、ＡＢＣとして示される３つのフレームを含む。第１のフレームは画像Ａを表し、第２のフレームは画像Ｂを表し、第３のフレームは画像Ｃを表す。複製操作は、この３フレームのシーケンスを、２倍の周波数を有する６フレームのシーケンス、ＡＡＢＢＣＣに変換することである。変換されたシーケンスの２つの第１のフレームは同一であり、画像Ａを表す。同様に、続く２つのフレームは画像Ｂを表し、最後の２つのフレームは画像Ｃを表す。この複製操作により、この新しいシーケンスを表示している間はフリッカ現象を抑えることはできるが、表示された画像に動き（motion）が含まれるときはジャダ現象（judder effect）が生じる。

このジャダ現象を除去するために、従来の技術では図２に示されるように、追加されたフレームの動きを補償することが知られている。この図で図示されている例では、入力シーケンスにおいて画像Ａを表している１つのフレームが、出力シーケンスでは、画像Ａを表すフレームと動き補償された画像Ａ’を表すフレームとに変換される。画像Ａ’を生成するために、画像Ａと、画像Ｂである次の画像との間の動きを予測し、これらの２つの画像間で予測された動きに基づいて、中間画像であるＡ’が作成される。同様に、画像Ｂを表すフレームは、出力シーケンスにおいて画像Ｂを表すフレームと動き補償された画像Ｂ’を表すフレームとに変換され、画像Ｃを表すフレームは出力シーケンスにおいて画像Ｃを表すフレームと動き補償された画像Ｃ’を表すフレームとに変換される。この動き補償を行う周波数の増大はフリッカ現象を抑えることを可能にしつつ、シーケンスにおける動きの変化を一定に保つことも可能にする。

しかしながら、このタイプの処理（動き補償を行う、または行わない周波数の増加）は、入力シーケンスが複製されたフレームを含まないときのみ、例えば、そのシーケンスがフィルム形式（１秒当たり２４または２５画像）またはカメラ形式（１秒当たり５０または６０画像）であるときのみ有効である。

特に、この処理は、元々はフィルム形式（１秒当たり２４または２５画像）の入力シーケンスが、テレビジョンに表示するために、２：２プルダウン変換型または３：２プルダウン変換型の形式変換によってテレシネストリーム（１秒当たり５０または６０画像）に変換されているときには適用できない。２：２プルダウン変換は、１秒当たり２５画像（フィルム形式）から１秒当たり５０画像（ＰＡＬ／ＳＥＣＯＭ形式）にするのに使用される。この変換では各入力フレームを複製する。３：２プルダウン変換は、１秒当たり２４画像（フィルム形式）から１秒当たり６０画像（ＮＴＳＣ形式）にするのに使用される。
連続する入力フレームの各対（pair）は、次いで５つの出力フレームに変換され、３つの第１の出力フレームはその対の第１の入力フレームに等しく、他の２つの出力フレームは、その対の第２の入力フレームに等しい。以下の説明において、フィルムモードのビデオフレームシーケンスは、このタイプのビデオフレームシーケンス、すなわち元々はフィルムモードであったがスクリーンへの表示のために変換されて現在は複製されたフレームを含んでいるビデオフレームシーケンスを指し、について言及され、ビデオモードまたはカメラモードのビデオフレームシーケンスは、複製されたフレームを含まないカメラ形式のビデオフレームシーケンスを指す。

上記に関して、（複製されたフレームを含む）フィルムモードのシーケンスに対して、フリッカを減少させるために適用される処理では、フィルムモードのフレームシーケンスが（動き補償なしで）単に複製されるとき、既に複製されたフレームの複製があるので多くのジャダを発生することが容易に理解される。このジャダの問題は、追加されたフレームが動き補償されたときにも存在する。なぜなら、それらのフレームの一部について、動き予測が、一方が他方の複製である２つの等しいフレーム間で行われるためである。このため、この動き予測は意味のないものとなり、動き補償は役に立たない。

したがって、例えば、フリッカ現象を減少させる前述のような処理を適用する前に、処理されるべきフレームシーケンスのモード、すなわちフィルムモードまたはカメラモードを検出することが重要である。シーケンスのフィルムモードのタイプ（フィルムモード２：２、またはフィルムモード３：２）を判断して、該シーケンスにおいて、フィルム形式（１秒当たり２４または２５画像）の元のシーケンスのフレームに対応するフレームであって、そのフレーム間で動き予測および動き補償が適切に実行可能なフレームを識別することも興味深い。

フィルムモードの検出方法は従来技術において知られている。それらの方法は全て、動き予測または変位フレーム差分（ＤＦＤ:Displaced Frame Difference）に基づいており、少なくとも１つのビデオフレームの完全な記憶を必要とする。フィルムモードの検出がＦＰＧＡ(Field Programmable Gate Array)タイプのプログラマブル回路によって実行されるとき、該ビデオフレームを記憶するために外部メモリをＦＰＧＡ回路に追加する必要がある。

本発明の目的は、少量のデータのみの記憶を必要とし、該データをＦＰＧＡ回路の内部メモリに記憶することが可能なビデオフレームシーケンスのフィルムモードの検出方法を提供することである。

このような目的のために、本発明は、少なくとも３つの連続するビデオフレームを含むシーケンスのフィルムモードまたはカメラモードを検出する方法に関し、その方法は、
各ビデオフレームのビデオレベルのヒストグラムを決定するステップと、
上記シーケンスのビデオフレーム毎に、該ビデオフレームのヒストグラムとその次のビデオフレームのヒストグラムとの間のヒストグラム差分（histogram difference）を表す値である、ヒストグラム差分値（histogram difference value）を計算するステップと、
上記シーケンスのビデオフレーム毎の上記ヒストグラム差分値を少なくとも１つの比較値と比較して、ビデオフレーム毎に、該ビデオフレームとその次のビデオフレームとの特性差（character difference）の有無を表す値である、差分パラメータを生成するステップと、
上記シーケンスのビデオフレーム毎の差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して、ビデオフレームの上記シーケンスについて、フィルムまたはカメラであるモードを識別する、モード情報を生成するステップと
を備える。

この方法では主に、各ビデオフレームのヒストグラム差分の計算のステップには、２つのヒストグラムの記憶が要求とされる。各ヒストグラムのサイズはキロバイト程度であり、したがって、２つのヒストグラムをＦＰＧＡタイプのプログラマブル回路にローカルに格納することができる。

有利には、上記モード情報は、シーケンスのフィルムモードのタイプ、例えば、フィルムモード２：２（最初はフィルム形式であって、２：２ブルダウン変換によって変換されたシーケンス）、またはフィルムモード３：２（最初はフィルム形式であって、３：２ブルダウン変換によって変換されたシーケンス）も識別する。

有利には、モード情報は、シーケンスのビデオフレーム毎に生成され、また、該モード情報は、考慮されるビデオフレームが、複製されたビデオフレームであるか否かも識別する。

特定の実施形態によれば、現在のビデオフレームに対する上記少なくとも１つの比較値は、
その前のビデオフレームのヒストグラム差分値と、
その次のビデオフレームのヒストグラム差分値と、
所定の閾値と
を含むグループに属する値である。

特定の実施形態によれば、現在のビデオフレームのヒストグラム差分値は、
ビデオレベル毎に、現在のビデオフレームにおける該ビデオレベルの発生値とその次のビデオフレームにおける該ビデオレベルの発生値（occurrence value）との間の差分を計算して、上記ビデオレベル各々についての発生差分を生成することと、
全てのビデオレベルの発生差分の絶対値を合計して、現在のビデオフレームについてヒストグラム差分値を生成することと
によって決定される。

変形形態によれば、現在のビデオフレームのヒストグラム差分値は、
０からＮの間のビデオレベルｉ毎、および−ｎからｎの間のオフセット値ｊ毎に、現在のビデオフレームにおけるビデオレベルｉの発生値と次のビデオフレームにおけるビデオレベルｉ＋ｊの発生値との間の差分を計算して、ビデオレベルｉ毎に最大２ｎ＋１の発生差分を生成することと、
ビデオレベルｉ毎に、上記２ｎ＋１の発生差分から、発生差分の最小の絶対値である、最小発生差分を選択することと、
全てのビデオレベルの最小発生差分を合計して、現在のビデオフレームの上記ヒストグラム差分値を生成することと
によって決定される。

この変形の実施形態は、次のビデオフレームのビデオレベルオフセットに対して現在のビデオフレームの可能なビデオレベルオフセット、またはその逆を克服することができる。

差分パラメータを生成する比較ステップを異なる方法で実現することもできる。

一実施形態によれば、ヒストグラム差分値は、ヌルでない所定の閾値と比較される。該所定の閾値は、ビデオフレームに含まれるピクセルの数と、上記ビデオフレームを割り当てる所定の最大ノイズとの関数であり、考慮されるビデオフレームのヒストグラム差分値が上記所定の閾値より大きい場合、該考慮されるビデオフレームの類似パラメータ（resemblance parameter）に第１の値、例えば値「１」が割り当てられ、そうでない場合は、第２の値、例えば値「０」が割り当てられる。その差分の第１のちは、該考慮されるビデオフレームが次のビデオフレームと異なることを示し、類似パラメータの第２の値は、該考慮されるビデオフレームが次のビデオフレームと全く同じであることを示す。この実施形態において、類似パラメータの決定は閾値に非常に依存し、閾値はその所定の最大ノイズに非常に依存している。

閾値を用いない実施形態においては、現在のビデオフレームの差分パラメータを判断するために、上記現在のビデオフレームのヒストグラム差分値を、その前のビデオフレームのヒストグラム差分値およびその次のビデオフレームのヒストグラム差分値と比較し、上記現在のビデオフレームの上記ヒストグラム差分値が、上記次のビデオフレームの上記ヒストグラム差分値より大きく、同時に上記前のビデオフレームの上記ヒストグラム差分値より大きい場合、第１の値、例えば値「１」を上記現在のビデオフレームの差分パラメータに割り当てて、そうでない場合は、第２の値、例えば値「０」を割り当てる。前述の実施形態のように、類似パラメータ値は、考慮されるビデオフレームがその次のビデオフレームと異なることを示し、第２の類似パラメータ値は、考慮されるビデオフレームがその次のビデオフレームに全く同じであることを示す。

有利には、本発明の本方法は、ビデオレベルヒストグラムの決定のステップの前に、ビデオコンテンツを平滑化（smooth）して検出におけるビデオフレーム内のノイズコンテンツの影響を減少させるために、シーケンスのビデオフレームを空間フィルタリング（spatial filtering）するステップも備える。

有利には、本発明の本方法は、差分パラメータによって形成されたパターンと所定のパターンとの比較のステップの前に、上記差分パラメータのシーケンスを時間フィルタリング（temporal filtering）するステップも備える。

特定の実施形態によれば、上記シーケンスのビデオフレーム毎に、そのビデオフレームがソースビデオフレームであるか否かを示すビットを含むモード情報を生成する。

最後に、本発明の他の目的は、前述の方法を実施する装置である。特に、本発明はまた、少なくとも３つの連続したビデオフレームを含むシーケンスのフィルムモードまたはカメラモードの検出のための装置に関し、該装置は、
ビデオフレーム毎のビデオレベルのヒストグラムを決定する第１の計算回路と、
シーケンスのビデオフレーム毎に、該ビデオフレームのヒストグラムとその次のビデオフレームのヒストグラムとの間のヒストグラム差分を表す値であるヒストグラム差分値を計算する第２の計算回路と、
シーケンスのビデオフレーム毎のヒストグラム差分値を少なくとも１つの比較値と比較して、該ビデオフレーム毎に、該ビデオフレームとその次のビデオフレームとの特性差の有無を表す値である差分パラメータを生成する、第１の比較回路と、
シーケンスのビデオフレームの差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して、ビデオフレームの上記シーケンスのフィルムモードまたはカメラモードを識別するモード情報（ＭＯＤＥ）を生成する、第２の比較回路と、
上記第１の計算回路、上記第２の計算回路、上記第１の比較回路、および上記第２の比較回路を制御する制御ユニットと
を備えることを特徴とする。

添付の図面を参照することで、本発明が良く理解され、本発明の２つの現在好適な特定の実施形態に関する以下の詳細な説明における他の目的、詳細、特性、および利点がより明確になるであろう。

表示中のフリッカ現象を減少させるためにビデオフレームのシーケンスに適用される、該シーケンスの該ビデオフレームを複製する処理を示す図である。 表示中のフリッカ現象を減少させるためにビデオフレームのシーケンスに適用される、シーケンスのビデオフレームの複製と動き補償をする処理を示す図である。 本発明の方法のステップのフローチャートである。 ４つのビデオフレームのシーケンスに適用されるときの本発明の方法のステップを示す図である。 図３の方法のヒストグラム差分の計算ステップの実施形態を示す図である。 図３の方法の発生差分パラメータの生成ステップの実施形態を示す図である。 本発明の方法を実施することができる装置を示す図である。

本説明の次の部分では、ビデオフレームという用語は、画像または画像の一部（例えば、インターレース走査の場合は半分の画像）に対応するフレームを指すように使用される。このビデオフレームは、フィルムモードまたはカメラモードに関わらず、シーケンスに属することができる。

さらに、上述のように、フィルムモードのビデオフレームのシーケンスは、２：２または３：２形式変換に続いて複製された１または複数のフレームを含む、フレームシーケンスを指す。当然、２：３または３：２：３：２：２などの他の形式変換も存在するが、ここでは、３：２または２：２のフィルムモードのシーケンスの検出に限定している。ビデオモードまたはカメラモードのビデオフレームのシーケンスは、複製されたフレームを含まないカメラ形式のビデオフレームのシーケンスを指す。

最後に、ソースビデオフレームは、フィルム（１秒当たり２４または２５画像）を形成するビデオフレームのシーケンスからの非複製ビデオフレーム、またはビデオ形式（１秒当たり５０または６０画像）の非複製ビデオフレームを指す。

本発明によると、シーケンスのフィルムモードまたはカメラモードの検出は、分析すべきシーケンスのビデオフレームに関するビデオレベルのヒストグラムの計算および比較に基づいている。

本発明の方法のステップを示すフローチャートが図３に示されている。これらのステップは、図４に表された実施形態によっても示されている。この例において、本方法は、Ｔ，Ｔ＋１，Ｔ＋２，Ｔ＋４として示される４つの連続したビデオフレームに適用されている。

Ｅ１として示される第１のステップによれば、シーケンスのビデオフレーム毎にビデオレベルのヒストグラムが決定される。したがって、ビデオレベル毎に、考慮中のビデオフレーム内におけるその発生が決定される。ビデオレベルが８ビットで符号化されるとき、特定のビデオレベルにそれぞれ関連付けられる２５６の発生値が得られる。図４の例においては、４つのビデオフレームの各々のビデオレベルのヒストグラムが計算される。Ｈ_T，Ｈ_T+1，Ｈ_T+2，Ｈ_T+3として示される４つのヒストグラムが得られる。

Ｅ２として示される第２のステップによれば、考慮中のビデオフレームと次のビデオフレームのヒストグラムとの間の差分を表す値がビデオフレーム毎に計算される。ヒストグラム差分値と呼ばれるこの値は、フレームＴについてＤ_Tと示され、例えば、以下により得られる。

ここで、Ｈ_T(i)は、ビデオフレームＴのヒストグラムＨ_Tにおけるビデオレベルｉの発生値であり、Ｈ_T+1(i)は、ビデオフレームＴ＋１のヒストグラムＨ_T+1におけるビデオレベルｉの発生値である。

本例および以下の説明においては、ビデオフレームのビデオレベルは、８ビットで符号化され、０〜２５５の間の値を有するものとする。

したがって、ビデオレベルｉ毎に、現在のビデオフレームにおけるビデオレベルｉの発生値Ｈ_T(i)と、次のビデオフレームにおける上記ビデオレベルｉの発生値Ｈ_T+1(i)との間の差分が計算される。この発生値の差分Ｈ_T(i)−Ｈ_T+1(i)を全てのビデオレベルについて計算し、次いで、その全ての発生値の差分の絶対値を加算することにより、ビデオフレームＴのヒストグラム差分の値を生成することができる。

ビデオフレームＴとビデオフレームＴ＋１のヒストグラムの内容（contents）が非常に類似する場合、または同一の場合、値Ｄ_Tは小さくなるか、またはヌル（null）となる。

図４の例では、ステップＥ２によって、ビデオフレームＴ，Ｔ＋１，Ｔ＋２について、それぞれＤ_T，Ｄ_T+1，Ｄ_T+2と示される３つのヒストグラム差分値が得られる。

変形の実施形態によれば、ヒストグラム差分の値Ｄ_Tは、ノイズを打ち消すために別の方法で計算され、あるビデオフレームのビデオレベルを別のビデオフレームに対してオフセットする。この変形形態では、ビデオレベルｉ毎に、フレームＴにおける発生値とフレームＴ＋１における発生値との間の差分だけでなく、フレームＴにおける発生値とフレームＴ＋１において隣接するビデオレベルｉ＋ｊの発生値との差分も計算し、最小の差分値のみを保持する。最近傍のビデオレベル（すなわち、レベルｉ−１とｉ＋１）に限定すると、ヒストグラム差分は次の式によって表される。

この変形形態を図５の例で示す。フレームＴのビデオレベル１０２対するヒストグラム差分を計算するために、|Ｈ_T(102)−Ｈ_T+1(102)|,|Ｈ_T(102)−Ｈ_T+1(103)|および|Ｈ_T(102)−Ｈ_T+1(101)|を計算し、最小値を選択する。ヒストグラム差分の値Ｄ_Tを計算するために、上記計算と上記選択をビデオレベル毎に行い、選択した最小値を加算する。

図３において、Ｅ３として示される第３のステップによれば、現在のビデオフレームＴの差分パラメータＰ_Tを減少させるために、ビデオフレーム毎に現在のビデオフレームのヒストグラム差分の値を、少なくとも１つの他のヒストグラム差分値または１つの所定の閾値と比較する。差分パラメータは、次のビデオフレームに関して現在のビデオフレームとの特性の差の有無を表す。２つのビデオフレームが異なる場合は、現在のビデオフレームの差分パラメータに、値「１」が割り当てられ、そうでない場合は、差分パラメータに値「０」が割り当てられる。

１つ以上の実施形態で、このステップＥ３の比較および差分パラメータの生成を行うことが可能である。

第１の実施形態によれば、ヒストグラム差分パラメータは所定の閾値Ｓ０と比較される。この値は、比較されるビデオフレームに影響を与える可能性があるノイズを考慮しなければならないので、ヌルではない。この閾値Ｓ０は考慮されるビデオフレームにおけるピクセルの数と、各ビデオフレームに影響を与える最大ノイズとの関数である。ヒストグラム差分値が閾値Ｓ０以上の場合、値「１」が差分パラメータＰ_Tに割り当てられ、ヒストグラム差分値が閾値Ｓ０より未満の場合は、値「０」が割り当てられる。この閾値Ｓ０はピクセルの数であり、例えば、ビデオフレームのピクセルの総数のパーセンテージに等しく、該パーセンテージは、そのビデオフレームにおいてノイズによって影響されるピクセルの最大数を定める。このパーセンテージは、例えば５％である。このときノイズは、そのビデオフレームのピクセルのうち最大５％に影響を与えると考えられる。ＨＤ−Ｒｅａｄｙ形式（１３６６×７６８ピクセル）の画像の場合において、閾値Ｓ０は例えば、１３６６×７６８×０．０５＝５２４２４．４ピクセルに等しい。

閾値を用いない第２の実施形態によれば、現在のビデオフレームのヒストグラム差分値は、次のビデオフレームおよび前のビデオフレームのヒストグラム差分値と比較される。例えば、現在のフレームＴについて、次の２つの条件を満たすとき、差分パラメータＰ_Tに値「１」が割り当てられる。
・Ｄ_T＞Ｄ_T-1
・Ｄ_T＞Ｄ_T+1
そうでないときは、差分パラメータＰ_Tに値「０」が割り当てられる。この比較ステップは、図６では、ヒストグラム差分Ｄ_T，Ｄ_T+1，Ｄ_T+2，Ｄ_T+3，Ｄ_T+4およびＤ_T+5が計算された３：２フィルムモードのシーケンスとして示されている。ヒストグラム差分Ｄ_T+1およびＤ_T+3は、上記の２つの条件を満たしている。したがって、差分パラメータＰ_T+1およびＰ_T+3には、値「１」が割り当てられ、他の差分パラメータには、値「０」が割り当てられる。これにより、特性シーケンス１０１００が得られる。

このステップＥ３に関する第２の実施形態は、前の実施形態において定められるような閾値を使用しないという利点を有する。

当然、ヒストグラム差分Ｄ_Tのみを、ヒストグラム差分Ｄ_T+1またはＤ_T-1の一方または他方と比較し、場合によっては閾値と比較する、ステップＥ３に関する他の実施形態も想像される。

図３および図４を再度参照すると、本発明の方法においてＥ４として示される最後のステップは、処理されるビデオフレームのシーケンスがカメラモードまたはフィルムモードにあるかどうかを推定するために、ステップＥ３で決定されたビデオフレームの差分パラメータによって形成されるパターンを、カメラモードおよび異なるフィルムモードに対応する所定のパターンと比較する。有利には、このパターン比較は、そのシーケンスのフィルムモードのタイプ、例えば、２：２フィルムモードもしくは３：２フィルムモード、およびそのシーケンスにおけるソースビデオフレーム（非複製ビデオフレーム）の位置を決定できるようにすることができる。

基本的には、２つの連続する差分パラメータＰ_TおよびＰ_T+1から形成されるパターンは、カメラモードのシーケンスとフィルムモードのシーケンスとを区別するのに十分である。パターン１１はカメラモードに対応し、パターン０１または１０はフィルムモードに対応する。好適な実施形態によれば、該パターンは、フィルムモードの異なるタイプ間の区別のために、より多くのまたは連続した差分パラメータを備える。少なくとも６つの連続する差分パラメータが、３：２フィルムモードと２：２フィルムモードとの間を明確に区別するために必要である。

下記の表では、それぞれが６つの連続する差分パラメータ値を備えた、８つの所定のパターンが定義されている。パターンＮ^o１は、カメラモードに関係する。パターンＮ^o２およびＮ^o３は、２：２フィルムモードに関係し、２：２フィルムモードを特徴付ける基本パターン０１の繰り返しから形成される。パターンＮ^o４〜Ｎ^o８は、３：２フィルムモードに関係し、３：２フィルムモードを特徴付ける基本パターン１００１０の繰り返しから形成される。

この表において、パターンＮ^o１は、カメラモードのビデオフレームのシーケンスに関連し、該シーケンスの各ビデオフレームは、異なるソースビデオフレームに関連し、差分パラメータが決定された６つのビデオフレームは、６つの異なるソースビデオフレームに関連する。したがって該シーケンスを、各文字が特定のソースビデオフレームを表すＡＢＣＤＥＦと書くことができる。

パターンＮ^o２は、第１のビデオフレームが第２のビデオフレームと等しい、２：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＡＢＢＣＣ）。
パターンＮ^o３は、第１のフレームが第２のフレームと異なる、２：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＢＢＣＣＤ）。
パターンＮ^o４は、３つの第１のビデオフレームが等しい、３：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＡＡＢＢＣ）。
パターンＮ^o５は、第２、第３、および第４のビデオフレームが等しい、３：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＢＢＢＣＣ）。
パターンＮ^o６は、第３、第４、および第５のビデオフレームが等しい、３：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＡＢＢＢＣ）。
パターンＮ^o７は、第４、第５、および第６のビデオフレームが等しい、３：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＢＢＣＣＣ）。
パターンＮ^o８は、第５の、第６、および第７のビデオフレームが等しい、３：２フィルムモードのビデオフレームのシーケンスに関連する（シーケンス：ＡＡＢＢＣＣ）。

したがって、パターンＮ^o３〜Ｎ^o８は３：２フィルムモードに関連し、このモードの基本パターン１０１００の特性は、１パターンから他のパターンに１フレームだけオフセットされている。

以上のように、カメラモードとフィルムモードとの間の区別は、３つの連続するビデオフレームからわかる。ステップＥ３の第１の実施形態が用いられる（ヒストグラム差分と閾値Ｓ０との比較）場合は、この３つのビデオフレームにより、２つのヒストグラム差分と２つの差分パラメータとを計算することが可能になる。ステップＥ３の第２の実施形態が用いられる場合は、この区別は追加のビデオフレームを必要とする。

したがって、２：２フィルムモード（シーケンスＮ^o３）と３：２フィルムモード（シーケンスＮ^o８）との間の区別は、７つの連続したビデオフレームからわかる。ステップＥ３の第１の実施形態が用いられる（ヒストグラム差分と閾値Ｓ０との比較）場合は、この７つのビデオフレームにより、６つのヒストグラム差分と、６つの差分パラメータとを計算することが可能になる。ステップＥ３の第２の実施形態が用いられる場合、この区別は追加のビデオフレームを必要とする。

好ましくは、差分パラメータの決定は、高ビデオフレーム数、すなわち少なくとも２０の連続するビデオフレームに対して実行される。次いで、時間フィルタリングを、差分パラメータによって形成されたパターンに適用して、基本パターン（２：２フィルムモードの１０、および３：２フィルムモードの１０１００）の繰り返しをさらに明確に明らかにし、ステップＥ４を実行する前にノイズによるエラーを抑えるようにシーケンスを修正することができる。

ステップＥ４の結果として、図４にモード（ＭＯＤＥ）として示されるモード情報が得られ、シーケンスのカメラモードまたはフィルムモードが識別される。有利な実施形態によれば、モード情報はフィルムモードのタイプも識別する。この情報は、例えば、２ビットで構成される。フィルムモードおよびカメラモード、並びにフィルムモードのタイプは次の方法で識別される。

好適な実施形態によれば、モード情報ＭＯＤＥは、処理されたシーケンスのビデオフレーム毎に配信され、該モード情報は、処理されたビデオフレームがソースビデオフレームであるか、または複製されたビデオフレームであるか否かを示す、追加ビットＭＯＤＥ[3]を備える。

Ｄ_TがフレームＴとフレームＴ＋１との間のヒストグラム差分である、本明細書で詳細に説明された実施形態では、ソースビデオフレーム（ＭＯＤＥ[3]＝１）は、０に等しい差分パラメータＰ_Tを有するビデオフレームＴであり、該フレームは、１に等しい差分パラメータＰ_T-1を有するビデオフレームＴ−１に先行されている。他のビデオフレームは、複製されたビデオフレーム（ＭＯＤＥ[3]＝０）である。

有利には、本方法の開始時に空間フィルタリングが、ビデオフレームに適用されて、該ビデオフレームのコンテンツを平滑化し、シーケンスのモードの判断の処理におけるノイズの影響を減少させる。

本方法は、ビデオレベルの２つのヒストグラムの記憶と所定のシーケンスの記憶のみを必要とする。２つのヒストグラムを記憶するために必要とされるメモリのリソースは、次の通りである。
・ＨＤ−Ｒｅａｄｙ形式（１３６６×７６８）
−ヒストグラムクラス当たりの最大ピクセル数＝１３６６×７６８＝１０４９０８８または２１ビット
−ヒストグラムにおいて２６５ビデオレベル、または２５６クラス
−メモリサイズ＝２×２１×２５６＝１０７５２ビット
・ＨＤ−Ｒｅａｄｙ形式（１９２０×１０８０）
−ヒストグラムクラス当たりの最大ピクセル数＝１９２０×１０８０＝２０７３６００または２１ビット
−ヒストグラムにおいて２６５ビデオレベルまたは２５６クラス
−メモリサイズ＝２×２１×２５６＝１０７５２ビット
したがって、標準ＦＰＧＡ回路のメモリリソースで十分である。

本発明は、上述の方法を実行することが可能な図７の参照符号１０で示される装置にも関連する。図７において、図示されているモジュールは機能ユニットであり、物理的に区分可能なユニットに対応するものであっても、対応しないものであってもよい。例えば、これらのモジュールまたは該モジュールの一部を、一緒に単一のコンポーネントにグループ化することができ、または同一のソフトウエアの機能を構成することもできる。反対に、一部のモジュールが別個の物理的なエンティティで構成されることもある。装置１０は、装置への入力時にビデオフレームのビデオコンテンツを平滑化する空間フィルタ１００と、本発明の方法のステップＥ１に従ってビデオフレームのヒストグラムを計算して記憶する、ヒストグラム計算および記憶回路１１０と、本発明の方法のステップＥ２に従って回路１１０に記憶されたヒストグラムから、ビデオフレーム毎にヒストグラム差分を決定する、ヒストグラム差分計算回路１２０と、本発明の方法のステップＥ３に従ってヒストグラム差分から差分パラメータを決定する第１の比較回路１３０と、回路１３０によって生成された差分パラメータのシーケンスを時間的にフィルタリングする時間フィルタ１４０と、差分パラメータを所定のパターンと比較してモード情報ＭＯＤＥを配信する第２の比較回路１５０と、回路１００〜１５０のセットを制御する制御ユニット１６０とを備える。

本発明を異なる特定の実施形態に関して説明したが、本発明は、これらに制限されることはなく、本発明の範囲内にあるときには、これらとの組合せで説明した手段の技術的な全ての等価物を備えることもできることは明らかである。
（付記１）
少なくとも３つの連続したビデオフレームを備えたシーケンスのフィルムモードまたはカメラモードの検出のための方法であって、
前記ビデオフレーム毎のビデオレベルのヒストグラムを決定するステップ（Ｅ１）と、
前記シーケンスの前記ビデオフレーム毎に、該ビデオフレームのヒストグラムと次のビデオフレームのヒストグラムとの間のヒストグラム差分を表す値である、ヒストグラム差分値を計算するステップ（Ｅ２）と、
前記シーケンスの前記ビデオフレーム毎の前記ヒストグラム差分値を少なくとも１つの比較値と比較して（Ｅ３）、前記ビデオフレーム毎に、該ビデオフレームと次のビデオフレームとの特性差の有無を表す値である差分パラメータを生成するステップと、
前記シーケンスの前記ビデオフレームの差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して（Ｅ４）、ビデオフレームの前記シーケンスについてフィルムモードまたはカメラモードを識別するモード情報（ＭＯＤＥ）を生成するステップと
を備えることを特徴とする方法。
（付記２）
現在のビデオフレームに対する前記少なくとも１つの比較値は、
その前のビデオフレームの前記ヒストグラム差分値と、
その次のビデオフレームの前記ヒストグラム差分値と、
所定の閾値と
を含むグループに属することを特徴とする付記１記載の方法。
（付記３）
現在のビデオフレームについて前記ヒストグラム差分値を計算するために（Ｅ２）、
ビデオレベル毎に、前記現在のビデオフレームにおける該ビデオレベルの発生値とその次のビデオフレームにおける該ビデオレベルの発生値との間の差分を計算して、ビデオレベル毎に発生差分を生成するステップと、
全てのビデオレベルの発生差分の絶対値を合計して、前記現在のビデオフレームの前記ヒストグラム差分値を生成するステップと
を実行することを特徴とする付記１または２記載の方法。
（付記４）
現在のビデオフレームについて前記ヒストグラム差分値を計算するために（Ｅ２）、
０とＮとの間のビデオレベルｉ毎および−ｎとｎとの間のオフセット値ｊ毎に、前記現在のビデオフレームにおける前記ビデオレベルｉの発生値と次のビデオフレームにおける前記ビデオレベルｉ＋ｊの発生値との間の差分を計算して、前記ビデオレベルｉ毎に多くとも２ｎ＋１の発生差分を生成するステップと、
ビデオレベルｉ毎に、発生差分の最小の絶対値である最小発生差分を、前記２ｎ＋１の発生差分から選択するステップと、
全てのビデオレベルの前記最小発生差分を合計して、前記現在のビデオフレームの前記ヒストグラム差分値を生成するステップと
を実行することを特徴とする付記１または２記載の方法。
（付記５）
現在のビデオフレームについて前記差分パラメータを生成するために（Ｅ３）、
前記現在のビデオフレームの前記ヒストグラム差分値を所定の非ヌル値の閾値（Ｓ０）と比較するステップと、
前記現在のビデオフレームの前記ヒストグラム差分値が前記閾値より大きい場合、第１の値（「１」）を前記現在のビデオフレームの前記差分パラメータに割り当て、そうでない場合、第２の値（「０」）を前記現在のビデオフレームの前記差分パラメータに割り当てるステップと
を実行することを特徴とする付記１乃至４のいずれかに記載の方法。
（付記６）
現在のビデオフレームについて前記差分パラメータを生成するために（Ｅ３）、
前記現在のビデオフレームの前記ヒストグラム差分値を、その前のビデオフレームのヒストグラム差分値およびその次のビデオフレームのヒストグラム差分値と比較するステップと、
前記現在のビデオフレームの前記ヒストグラム差分値が前記次のビデオフレームのヒストグラム差分値と前記前のビデオフレームのヒストグラム差分値の両方より大きい場合、第１の値（「１」）を前記現在のビデオフレームの前記差分パラメータに割り当て、そうでない場合、第２の値（「０」）を前記現在のビデオフレームの前記差分パラメータに割り当てるステップと
を実行することを特徴とする付記１乃至４のいずれかに記載の方法。
（付記７）
ビデオレベルのヒストグラムを決定するステップ（Ｅ１）の前に、前記シーケンスのビデオフレームを空間フィルタリングするステップをさらに備えることを特徴とする付記１乃至６のいずれかに記載の方法。
（付記８）
前記差分パラメータによって形成される前記パターンを前記複数の所定のパターンと比較するステップ（Ｅ４）の前に、前記差分パラメータのパターンを時間フィルタリングするステップをさらに備えることを特徴とする付記１乃至７のいずれかに記載の方法。
（付記９）
前記モード情報は、ビデオフレームの前記シーケンスのフィルムモードのタイプを識別することを特徴とする付記１乃至８のいずれかに記載の方法。
（付記１０）
モード情報（ＭＯＤＥ）が前記シーケンスのビデオフレーム毎に生成され、該モード情報は、前記ビデオフレームがソースビデオフレームであるか否かを示すビットを含むことを特徴とする付記１乃至９のいずれかに記載の方法。
（付記１１）
少なくとも３つの連続したビデオフレームを備えたシーケンスのフィルムモードまたはカメラモードの検出のための装置であって、
前記ビデオフレーム毎のビデオレベルのヒストグラムを決定する第１の計算回路（１１０）と、
前記シーケンスの前記ビデオフレーム毎に、該ビデオフレームのヒストグラムと次のビデオフレームのヒストグラムとの間のヒストグラム差分を表す値であるヒストグラム差分値を計算する第２の計算回路（１２０）と、
前記シーケンスの前記ビデオフレーム毎の前記ヒストグラム差分値を少なくとも１つの比較値と比較して、前記ビデオフレーム毎に、前記ビデオフレームと次のビデオフレームとの特性差の有無を表す値である差分パラメータを生成する、第１の比較回路（１３０）と、
前記シーケンスの前記ビデオフレーム毎の差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して、ビデオフレームの前記シーケンスのフィルムモードまたはカメラモードを識別するモード情報（ＭＯＤＥ）を生成する、第２の比較回路（１４０）と、
前記第１の計算回路、前記第２の計算回路、前記第１の比較回路、および前記第２の比較回路を制御する制御ユニット（１６０）と
を備えたことを特徴とする装置。

Claims (9)

1. 少なくとも３つの連続したビデオフレームを備えたシーケンスのフィルムモードまたはカメラモードの検出のための方法であって、
   前記ビデオフレーム毎のビデオレベルのヒストグラムを決定するステップと、
   前記シーケンスの前記ビデオフレーム毎に、該ビデオフレームのヒストグラムと次のビデオフレームのヒストグラムとの間のヒストグラム差分を表す値である、ヒストグラム差分値を計算するステップであって、
   ０とＮとの間のビデオレベルｉ毎および−ｎとｎとの間のオフセット値ｊ毎に、現在のビデオフレームにおける前記ビデオレベルｉの発生値と次のビデオフレームにおける前記ビデオレベルｉ＋ｊの発生値との間の差分を計算して、前記ビデオレベルｉ毎に多くとも２ｎ＋１の発生差分を生成するステップと、
   ビデオレベルｉ毎に、発生差分の最小の絶対値である最小発生差分を、前記２ｎ＋１の発生差分から選択するステップと、
   全てのビデオレベルの前記最小発生差分を合計して、前記現在のビデオフレームの前記ヒストグラム差分値を生成するステップとにより前記ヒストグラム差分値を計算するステップと、
   前記シーケンスの前記ビデオフレーム毎の前記ヒストグラム差分値を少なくとも１つの比較値と比較して、前記ビデオフレーム毎に、該ビデオフレームと次のビデオフレームとの特性差の有無を表す値である差分パラメータを生成するステップと、
   前記シーケンスの前記ビデオフレームの差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して、ビデオフレームの前記シーケンスについてフィルムモードまたはカメラモードを識別するモード情報を生成するステップと
   を備える、前記方法。
2. 現在のビデオフレームに対する前記少なくとも１つの比較値は、前記現在のビデオフレームに含まれるピクセルの数と前記現在のビデオフレームに関連する所定の最大ノイズとの関数である所定の閾値に対応し、前記現在のビデオフレームに関連する差分の前記パラメータは、前記現在のビデオフレームのヒストグラム差分値が前記所定の閾値よりも大きい場合に、第１の値をとり、前記現在のビデオフレームのヒストグラム差分値が前記所定の閾値よりも小さい場合に、第２の値をとる、請求項１記載の方法。
3. 現在のビデオフレームに対して、前記少なくとも１つの比較値は、前記現在のビデオフレームに先行するビデオフレームのヒストグラム差分値および前記現在のビデオフレームに続くビデオフレームのヒストグラム差分値に対応し、前記現在のビデオフレームに関連する差分のパラメータは、前記現在のビデオフレームのヒストグラム差分値が前記現在のビデオフレームに先行するビデオフレームのヒストグラム差分値および前記現在のビデオフレームに続くビデオフレームのヒストグラム差分値の両方よりも大きい場合に、第１の値をとり、他の場合は、前記現在のビデオフレームに関連する差分のパラメータは、第２の値をとる、請求項１記載の方法。
4. 現在のビデオフレームについて前記差分パラメータを生成するために、
   前記現在のビデオフレームの前記ヒストグラム差分値を所定の非ヌル値の閾値と比較するステップと、
   前記現在のビデオフレームの前記ヒストグラム差分値が前記閾値より大きい場合、第１の値を前記現在のビデオフレームの前記差分パラメータに割り当て、そうでない場合、第２の値を前記現在のビデオフレームの前記差分パラメータに割り当てるステップと
   を実行する、請求項１乃至３のいずれかに記載の方法。
5. ビデオレベルのヒストグラムを決定するステップの前に、前記シーケンスのビデオフレームを空間フィルタリングするステップをさらに備える、請求項１乃至４のいずれかに記載の方法。
6. 前記差分パラメータによって形成される前記パターンを前記複数の所定のパターンと比較するステップの前に、前記差分パラメータのパターンを時間フィルタリングするステップをさらに備える、請求項１乃至５のいずれかに記載の方法。
7. 前記モード情報は、ビデオフレームの前記シーケンスのフィルムモードのタイプを識別する、請求項１乃至６のいずれかに記載の方法。
8. モード情報が前記シーケンスのビデオフレーム毎に生成され、該モード情報は、前記ビデオフレームがソースビデオフレームであるか否かを示すビットさらにを含み、ソースビデオフレームは、前記第２の値と等しい値の差分パラメータを有するビデオフレームである、請求項２または３に記載の方法。
9. 少なくとも３つの連続したビデオフレームを備えたシーケンスのフィルムモードまたはカメラモードの検出のための装置であって、
   前記ビデオフレーム毎のビデオレベルのヒストグラムを決定する第１の計算回路と、
   前記シーケンスの前記ビデオフレーム毎に、該ビデオフレームのヒストグラムと次のビデオフレームのヒストグラムとの間のヒストグラム差分を表す値であるヒストグラム差分値を計算する第２の計算回路であって、前記ヒストグラム差分値は、
   ０とＮとの間のビデオレベルｉ毎および−ｎとｎとの間のオフセット値ｊ毎に、現在のビデオフレームにおける前記ビデオレベルｉの発生値と次のビデオフレームにおける前記ビデオレベルｉ＋ｊの発生値との間の差分を計算して、前記ビデオレベルｉ毎に多くとも２ｎ＋１の発生差分を生成することと、
   ビデオレベルｉ毎に、発生差分の最小の絶対値である最小発生差分を、前記２ｎ＋１の発生差分から選択することと、
   全てのビデオレベルの前記最小発生差分を合計して、前記現在のビデオフレームの前記ヒストグラム差分値を生成することとにより算出される、第２の計算回路と、
   前記シーケンスの前記ビデオフレーム毎の前記ヒストグラム差分値を少なくとも１つの比較値と比較して、前記ビデオフレーム毎に、前記ビデオフレームと次のビデオフレームとの特性差の有無を表す値である差分パラメータを生成する、第１の比較回路と、
   前記シーケンスの前記ビデオフレームの差分パラメータの値によって形成されるパターンを複数の所定のパターンと比較して、ビデオフレームの前記シーケンスのフィルムモードまたはカメラモードを識別するモード情報を生成する、第２の比較回路と、
   前記第１の計算回路、前記第２の計算回路、前記第１の比較回路、および前記第２の比較回路を制御する制御ユニットと、
   を備えた、前記装置。

Images