JP6133382B2

JP6133382B2 - ビデオ形式の検出

Info

Publication number: JP6133382B2
Application number: JP2015217983A
Authority: JP
Inventors: オ，ジョン，デ; チウ，イー−ジェン; リ，サン−ヒ; ルゥ，ニーン
Original assignee: インテルコーポレイション
Priority date: 2011-04-11
Filing date: 2015-11-05
Publication date: 2017-05-24
Anticipated expiration: 2032-04-11
Also published as: WO2012142118A2; CN103563354A; JP2016026460A; EP2697966A4; WO2012142118A3; US20120257104A1; EP2697966A2; CN103563354B; US9148620B2; JP2014515234A

Description

本件は概してビデオ情報の処理に関し、詳細にはビデオ形式の識別に関する。

ビデオは、最初にどのように記録されたかに基づいて、種々の形式を有する可能性がある。様々な記録装置又はイメージング装置により、種々の形式においてビデオを記録することができる。一例として、種々のビデオ形式には、トップフィールドファースト（top field first）又はボトムフィールドファースト（bottom field first）を使用する、インタレース対プログレッシブ（interlaced versus progressive）形式などを含む場合がある。

ビデオを処理するためには、ビデオが実際にどの形式であるのかを知ることが望ましい。この情報を知ることで、その形式を、利用可能なビデオディスプレイ装置が通常使用する形式により良く合うように変更できる。ビデオがディスプレイに対して適切に形式合わせされていない場合、視聴者は表示された画像においてインタレースのアーチファクトを目にする可能性がある。

ビデオを処理するために望まれることである、ビデオが実際にどの形式であるのかを知ることに関する。

いくつかの実施形態によると、テレシネ・ビデオ（telecined video）の形式を、自動的に特定することができ、別の形式に再構成することができる。

本発明の一実施形態向けのフローチャートである。本発明の一実施形態のハードウェア概要の描写である。

ビデオは、２つのフィールドに分割できる。インタレースビデオ（interlaced video）では、各フィールドからの１ラインを交互に表示する。プログレッシブビデオ（progressive video）では、２つのフィールドをインタレースしない。トップフィールドファーストビデオでは、トップフィールドを最初に表示し、ボトムフィールドファーストでは、ボトムフィールドを最初に、又は最も上に表示する。

テレシネ・ビデオは一般に６つの異なるケーデンス（cadence）を有する。さらに、混合ケーデンスビデオ（mixed cadence video）及びプログレッシブ対インタレースビデオという、２つの特別なケースがある。混合ケーデンスビデオは、同一の表示又はフレーム内に２つの異なるケーデンスを含むビデオである。プログレッシブ対インタレースビデオの検出では、２つのビデオ形式が交互に並ぶ。

いつくかの実施形態によると、２つの連続的なフレームについての、１６個のバリアンス（variance）を計算できる。そのバリアンスに起因する、３つの主要なバリアンスレコード又は変数がある。１つの主要なバリアンスは、現在のフレームと前のフレームとにおける、トップフィールドの繰り返しである。例えば、トップフィールドは同一となる可能性があり、あるいは、トップフィールドは２つの特定の連続的なフレーム間で異なる可能性がある。もう１つの主要なバリアンスとして、現在のフレームと前のフレームとにおける、ボトムフィールドの繰り返しがある。３つめの主要なバリアンスは、現在のトップフィールドとボトムフィールドとの間の差異に基づく、インタレースビデオ情報である。

こうした３つの変数又はバリアンスレコードに基づいて、信頼レベルを、現在のケーデンス又はビデオ形式について決定できる。信頼レベルが十分に高い場合、最初に現在のケーデンスを確認することができる。もしそうでなければ、システムは、新しいケーデンスのロック（lock）及び検出を試みることができる。

１６個のビデオ形式又はケーデンスを以下の表に明記する。

２４フレーム毎秒（ｆｐｓ）での２：３（トップフィールドファースト；ＴＦＦ））（偶数フィールド）を例にとると、最初のフレーム（Ｔ０Ｂ０）は、トップフィールドがゼロ（Ｔ０）、かつ、ボトムフィールドがゼロ（Ｂ０）として構成されている。したがって、これは、トップフィールドファーストのビデオ形式又はケーデンスの一例である。

次のフレーム（Ｔ０Ｂ１）は、トップフィールドがゼロ（Ｔ０）であって繰り返されており、ボトムフィールドは新しく、ボトムフィールドの数字が１（Ｂ１）である。このようにして、表１において、フレームＴ０Ｂ０の後にフレームＴ０Ｂ１が続く。表においてその次の行は、フィールド繰り返しパターン（field repetition pattern；ＦＲＰ）を示す。第１フレームＴ０Ｂ０に対するフィールド繰り返しパターンは２つの値から成り、そのどちらもがゼロであって、まだいずれのフィールドも繰り返されていないことを示す。しかし、その後、Ｔ０Ｂ０を次のフレームＴ０Ｂ１と対比して調べると、トップフィールドが両方の場合においてＴ０であるので、トップフィールドが繰り返されている。したがって、フレーム繰り返しパターンの第１ビットが（第２フレームＴ０Ｂ１の後に）１となって、トップフィールドにおいて繰り返しがあることを示し、第２ビットはゼロであって、ボトムフィールドにおいて繰り返しが無いことを示す。

その次の行は、インタレースビデオ（interlaced video；ＩＴＬ）を示す。ゼロは、フレームをインタレースしていないことを示し、１はインタレースしていることを示す。

最後の行は、起こりうるフィールドファースト（possible field first；ＰＦＦ）であり、それは、トップフィールドファーストとなりうるのかボトムフィールドファーストとなりうるのかを示す。ＰＦＦは、いずれのフレームも到着する前、最初はゼロである。ＰＦＦの行においてその次の値は１０である。１となっているビットは、現在のトップフィールドと前のボトムフィールドとがプログレッシブフレームに適合することを示す。その次のビットは、ゼロであって、前のトップフィールドと現在のボトムフィールドとがプログレッシブフレームに適合しないことを示す。

さらに、混合ケーデンス検出及びプログレッシブ対インタレースビデオ検出について、２つの特有の検出アルゴリズムが存在する。一般に、ビデオフレームの下部には、言葉の字幕又は他の情報がある。そうした字幕又は他の情報が時には、字幕とは異なるケーデンスを有するビデオに重ねられる。混合ケーデンスを検出するために、２つの新しいバリアンスを生成する。１つめの新しいバリアンスは、現在のフレームの下部４分の１と前のフレームの下部４分の１とにおけるトップフィールドの差異であり、もう１つの新しいバリアンスは、現在のフレームの下部４分の１と前のフレームの下部４分の１とにおけるボトムフィールドの差異である。画像全体とその下部４分の１との間でケーデンスの不一致がある場合、そのビデオを、混合ケーデンスビデオ向けの特有のルーチンによって処理してよく、デフォルトモードにおいてインタレース解除（de-interlacing）エンジンを用いて再構成してよい。

プログレッシブフレーム検出のため、現在のフレームと前のフレームとの間で、現在のフレームのトップフィールド間で、及び現在のフレームのボトムフィールド間で、各ピクセルについての動き情報を評価する。

いくつかの実施形態によると、信頼レベル、mtag変数とともに説明される１６個のバリアンスが存在し、３つのバリアンスレコードを最初の段階で計算できる。１６個のバリアンスのうちの初めの１４個（バリアンス[0]〜[13]）は、現在のフレーム全体及び前のフレーム全体に関する、トップフィールド及びボトムフィールドについての差異である。最後の２つのバリアンス（バリアンス[14]及び[15]）は、現在のフレームの下部４分の１と前のフレームの下部４分の１とに関する、トップフィールドの差異及びボトムフィールドの差異を示す。１６個のバリアンスを以下に明記する。

最初の２つのバリアンス（バリアンス[0]及び[1]）は、変化が大きいピクセル（high-variance pixel）のペアの数に基づいている。それらを識別して数を数える。まず、チェックにより、現在のフレームと前のフレームとの差異の合計が、一時的な閾値より大きいかどうか、及び、現在のトップフィールドと現在のボトムフィールドとが十分に異なっているかどうかを判定する。もしそうであれば、インタレース・ハイ・バリアンス・ピクセル（interlaced high variance pixel）を１だけ増やす。

擬似コードが以下のようになる。

if (Difference between Current top (cT) and Previous top (pT) plus
difference between Current bottom (cB) fields and Previous bottom
field (pB) > Temporal Threshold)
if (Difference_cT_cB > Difference_cT_cT +
Difference_cB_cB) Increase the number of interlaced high-variance
pixel pairs by 1
もしそうではなく、現在のトップフィールドと現在のボトムフィールドとが十分に異なっていない場合、プログレッシブ・ハイ・バリアンス・ピクセル（progressive high-variance pixel）のペアの数を１だけ増やす。

バリアンス[2]〜[6]はフィールドの差異に基づいている。現在のピクセルが(x,y)であり、yは現在のトップフィールドのラインであると仮定する。difference_cT_pTは(C(x,y)-P(x,y))の２乗に等しく、difference_cB_pBは(C(x,y+1)-P(x,y+1))の２乗に等しく、difference_cT_cBは(C(x,y)-C(x,y+1))の２乗に等しく、difference_cT_cTは(C(x,y)-C(x,y+2))の２乗に等しく、そしてdifference_cB_cBは(C(x,y-1)-C(x,y+1))の２乗に等しい。

バリアンス7は、動きのあるピクセルの合計に基づいている。difference_cTはABS(C(x,y-2)-C(x,y))とABS(C(x,y)-C(x,y+2))とABS(C(x,y-2)-C(x,y+2))との和に等しく、difference_cBはABS(C(x,y-1)-C(x,y+1))とABS(C(x,y+1)-C(x,y+3))とABS(C(x,y-1)-C(x,y+3))との和に等しい。したがって、現在のフレームと前のフレームとの差異が十分に大きくなり（それは、同一の場所に配置された２つのピクセルがかなり異なることを意味する）、かつ、現在のトップフィールド間での差異とボトムフィールド間での差異とが十分に小さくなる（それは、そのピクセル領域が高度なテクスチャの領域を含まないことと、現在のフレームと前のフレームとの間で大きな差異を得ることが難しいだろうということを意味する）場合、動きのあるピクセルの数を１だけ増やす。

動きのあるピクセルの合計を決定するための擬似コードは以下のようになる。
if (Difference_cT < Vertical Threshold && Difference_cB < Vertical
Threshold)
Increase the number of moving pixels by 1

バリアンス[8]〜[13]は、亀裂（tear）の存在に基づいている。３種類の亀裂が存在する。所与のピクセルが動きのあるピクセルであり、所与の２つのトップフィールドとボトムフィールドとの差異が閾値を超え、かつ、２つの異なるフィールドの差異が２つの同一フィールドの差異の和より大きい場合、亀裂ピクセルの数値を増やす。つまり亀裂では、インタレース・ハイ・バリアンス・ピクセルと同様な考え方を、異なる組み合わせのトップフィールド及びボトムフィールドを用いて、使用している。

擬似コードは以下のようになる。
if (Difference_cT_cB >= Vertical Threshold && Difference_cT_cB >
Difference_cT_cT + Difference_cB_cB) Increase Tear pixel_0 by 1;
if (Difference_cT_pB >= Vertical Threshold && Difference_cT_pB >
Difference_cT_cT + Difference_pB_pB) Increase Tear pixel_1 by 1;
if (Difference_cB_pT >= Vertical Threshold && Difference_cB_pT >
Difference_cB_cB + Difference_pT_pT) Increase Tear pixel_2 by 1;

変数mtagは、バリアンス[4]と[5]との関連性を表す。バリアンス[4]及び[5]を正規化し、閾値と比較することによって、トップフィールドの繰り返しとボトムフィールドの繰り返しとを計算することができる。バリアンス[4]がバリアンス[5]よりも十分に大きい場合、その変数に数値４を設定できる。バリアンス[5]がバリアンス[4]よりも十分に大きい場合、その変数は１となり、もしそうでなければその変数は０となる。その変数は、迅速なケーデンスのロックのため、mtagの履歴を更新する。この手法を、以下の式によって実施できる。

if ((variance[4]/α)>variance[5])
mtag=4;
else if ((variance[5]/α)>variance[4])
mtag=1;
else
mtag=0;
ここで、アルファは、バリアンス[4]とバリアンス[5]との差異の量を特定する閾値である。

こうして、図１を参照して、シーケンス１０をソフトウェア、ファームウェア又はハードウェアにおいて実装できる。ソフトウェアの実施形態において、シーケンス１０を、磁気メモリ、半導体メモリ又は光メモリなどの固定のコンピュータ読取可能媒体に保存された命令によって実施できる。命令のシーケンスを、プロセッサ又はコンピュータが実行できる。

いったんバリアンスを計算したら（ブロック１２）、ひし形１４でのチェックにより、現在のケースについて信頼レベルが十分であるのかどうかを判定する。現在の信頼レベルが十分な高さではない場合、ケーデンスの確認をひし形２０で判定する。３つのバリアンスレコードによってケーデンスをひし形２０で確認することができ、ひし形２０は現在のケーデンスが正しいか否かに基づいている。３つのバリアンスレコードを、表１のケーデンスについての固定のパターンと比較できる。その現在の可変のレコードが固定のパターンと一致しない場合、フローはひし形２２のケーデンスチェックに進む。もしそうでなければ、信頼レベルを上げてもよく、フローはブロック２４のシーン変化チェックに進む。

ひし形２２において、その可変のレコードを、新しい閾値を用いて計算する。この機能の最初のステップは、ハイ・バリアンス値及びロー・バリアンス値を定める、２つの閾値を計算することである。その後、現在のケーデンスを、その２つの閾値に基づいて計算されたページと組み合わせることができる。そのページは、現在のケーデンスの周期性を法とした、現在のフレーム番号に等しい。ケーデンスチェックの最後のステップは、推定したページの３つのバリアンスレコードが、現在のモードの固定のレコードと調和するかどうかを判定する。推定したページと固定の現在の値とがマッチする場合、フローはブロック２４のシーン変化チェックに進む。そうでなければ、フローは、新しいケーデンスを推定するために、ひし形１８のケーデンス検出に進む。ケーデンス検出は、ひし形１６でのケーデンス・ロックの後に使用されるものと同一の機能であり、それは信頼度が低い場合向けの機能である。

ケーデンス・ロック機能１６は、その３つの可変のレコードを、ケーデンスの固定のパターンと比較する。ケーデンスがマッチする場合、新しいケーデンスを、新しいページ及び信頼度とともに更新する。新たに推定したモードが前のケーデンスと一致しない場合、フローはひし形１８のケーデンス検出に進む。ケーデンス検出機能には２つのステップを含むことができる。第１ステップにおいて、３つのバリアンスレコードとともに、新しいケーデンス、ページ及び信頼度を、モード５：５、２：３：３：２、３：２：３：２：２及び８：７について推定する。マッチするものがない場合、現在の第１及び第２のバリアンスレコードを、モード２：３、３：２及び２：３：３：２について比較する。ケーデンスとマッチするものがない場合、現在のケーデンスを６０インタレース（６０ｉ）に設定する。６０インタレースは一実施形態においてデフォルトのケーデンスである。

ブロック２４のシーン変化チェックは、シーン変化を含むフレームに対して代替として使えるモードである。以下の式において、２つの総和値が存在する。

FMD_Sums[0] += variance[4] - variance[4]at previous 15 frames
FMD_Sums[1] += variance[5] - variance[5]at previous 15 frames
以前のバリアンスは、最初の１５フレームより前には存在しないため、最初の１５フレームに対するFMD_Sums[0]はバリアンス[4]の累算であり、一方、最初の１５フレームに対するFMD_Sums[1]はバリアンス[5]の累算となる。最初の１５フレーム経過後、２つの合計を新しいバリアンスを用いて更新し、古いバリアンス値を差し引く。バリアンス[4]がFMD_Sums[0]の２分の１よりも大きい場合、シーン変化を現在のフレームで検出し、現在のケーデンスに６０インタレースを設定する。さらに、バリアンス[5]がFMD_Sums[1]の２分の１よりも大きい場合、シーン変化を検出し、ケーデンスに６０ｉを設定する。

次のステップ（ブロック２６）において、ケーデンス推定が、mtag及びFMD_SeqModeに基づいている。２：３ケーデンス及び３：２ケーデンスは周期性が小さく、それは５フレームである。したがって、こうしたケーデンスを現在のケーデンスとして使用できる状態で、アルゴリズムが最後のケーデンスまで進む。mtagはトップフィールドの繰り返しとボトムフィールドの繰り返しとの関連性を表す。現在のケーデンスが２：３か３：２かのいずれかである場合、FMD_SeqModeはmtagに関するレコードとなる。前のケーデンスが３：２か２：３かのいずれかである場合、FMD_SeqModeの最後の桁を１だけ増やす。現在のケーデンスが３：２か２：３かのいずれかであって、mtagが１である場合、FMD_SeqModeの最後の桁に２を設定する。前のモードが３：２か２：３かのいずれかであって、mtagが４である場合、FMD_SeqModeの最後の桁に５を設定する。つまり、１つの行において、連続的な２：３モード及び３：２モードの２つ以上のフレームが存在する場合、ケーデンスをm_FMD_SeqModeに基づいて推定することができる。FMD_SeqModeと固定のmtagレコード値とを比較することによって、現在のケーデンスを、信頼度チェック無しで迅速に推定することができる。

次のステップ（ブロック２８）には、バリアンス[8]〜[13]に基づいて、２：２対６０ｉについての特有の検出を含むことができる。バリアンス[8]〜[13]は、現在のフレーム及び前のフレーム内の亀裂を表す。例えば、バリアンス[8]は、現在のトップフィールドとボトムフィールドとの間の、亀裂ピクセルの数である。現在のトップフィールドの行yと現在の行より２行下の行(y-2)との差異と、現在のボトム行(y-1)と現在の行より３行下の(y-3)との差異と、の合計よりも、現在のトップフィールドとボトムフィールドとの差異が大きい場合、このピクセルを亀裂ピクセルと称する。現在のトップフィールドとボトムフィールドとの間の亀裂ピクセルの数を、現在のトップフィールドと前のボトムフィールドとの間、及び現在のボトムフィールドと前のトップフィールドとの間の亀裂ピクセルの数と比較することによって、ビデオを、プログレッシブビデオ又はインタレースビデオとして識別することができる。

いったんケーデンス及びページを現在のフレームについて推定したら、フレーム復元（ブロック３０）へ真っすぐに進む。FMD機能を、あらゆる他のフィールドから呼び出すことができる。したがって、２つのページが存在する。１つのページは前のフィールドに関し、もう１つのページは現在のフィールドに関する。各ケーデンスのページは、トップフィールドの繰り返し及びボトムフィールドの繰り返しを行うための、又はそれらの繰り返しを行わないための情報を有する。このようにして、３つの組み合わせが存在する。トップフィールドが前のフレームの場合でボトムフィールドは現在のフレームの場合があり、トップフィールドが現在のフレームの場合でボトムフィールドは前のフレームの場合があり、あるいは、トップフィールドが現在のフレームの場合でボトムフィールドが前のフレームである。

いくつかの実施形態によると、１４個のバリアンスと３つのバリアンスレコードとを、現在の計算済みのパターンと固定のトップフィールドファーストのパターンとを照合することに使用できる。信頼度チェックによって、従来型のアルゴリズムがケーデンスを変更する。

いくつかの実施形態は、トップフィールドファーストだけではなく、７つの新しいケーデンスも同様に扱うことができる。その７つの新しいケーデンスのうち、６つはボトムフィールドファースト向けであり、もう１つはトップフィールドファーストの２：３：３：２向けである。ケーデンスを迅速に検出するために、いくつかの実施形態において、トップフィールドの繰り返しとボトムフィールの繰り返しとの関連性のレコードを使用する。その関連性のレコードを使用することによって、システムは、信頼度チェック無しで正しいケーデンスを検出することができる。これら２つの情報を組み合わせることによって、いくつかの実施形態において、ケーデンスを迅速かつ正確に検出することができる。

加えて、プログレッシブビデオを、現在のフレーム及び前のフレームに基づいて３つの異なる亀裂の情報を生成することによって、並びに、インタレースピクセルの、プログレッシブ的な（progressive-like）ピクセルに対する比を取得することによって、検出できる。インタレース及びプログレッシブのビデオシーケンスの特性に基づいてこれらの比を比較することによって、プログレッシブフレームを、混合されたインタレース／プログレッシブのフレームシーケンスについて分類できる。

混合ケーデンスビデオのより正確な検出のため、同じ種類のバリアンスをフレームの種々の領域において計算してよい。全体画像及び部分画像の統計を比較することによって、重ねられたテキストが全体画像についての統計に影響する前に、混合ケーデンスを検出することができる。

本書で説明しているグラフィック処理手法を、種々のハードウェア構成において実装できる。例えば、グラフィックの機能性をチップセットに組み込むことができる。代替的に、離散グラフィックプロセッサを使用してもよい。さらに別の実施形態として、グラフィック機能を、マルチコアプロセッサを含む汎用プロセッサによって実装してもよい。

本明細書にわたって「一実施形態」又は「ある実施形態」という言葉は、その実施形態に関連して説明する特定の特長、構造又は特性が、本発明が包含する少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態」又は「ある実施形態において」という語句の出現は、必ずしも同一の実施形態を参照しているものではない。さらに、その特定の特長、構造又は特性を、例示した特定の実施形態以外の、他の適切な態様において実施してよく、すべてのそうした態様を本出願の請求項の範囲に含むことができる。

本発明を限られた数の実施形態に関して説明しているが、当業者は、それらに基づく多くの変更及び変形を十分理解しているだろう。別記の請求項は本発明の真の精神及び範囲に含まれるようなすべてのそうした変更及び変形を含むことが意図される。

１０２ＣＰＵ
１１０ＭＣ
１１２メモリコントローラ
１１５メインメモリ
１４０ＩＣ
１５０グラフィックインターフェイスカード
１５５グラフィック処理装置

Claims

３つのバリアンスを計算することによって混合ケーデンスビデオを識別するステップを含む、方法であって、
第１バリアンスは、現在のフレームと前のフレームとの間でのトップフィールドの繰返しにおける相違であり、
第２バリアンスは、現在のフレームと前のフレームとの間でのボトムフィールドの繰返しにおける相違であり、
第３バリアンスは、現在のトップフィールドとボトムフィールドとの間の差異に基づくものであり、
前記混合ケーデンスビデオは、同一の表示又はフレーム内に２つの異なるケーデンスを含むビデオであり、
信頼度チェック無しで、ビデオのケーデンスを識別するために、トップフィールドとボトムフィールドとの間の関係を使用する、
方法。
一フレーム内の種々の領域のバリアンスを計算するステップを含む、
請求項１に記載の方法。
亀裂情報に基づいてプログレッシブビデオを識別するステップ、を含む、
請求項１に記載の方法。
インタレースピクセルとプログレッシブ的なピクセルとの比を決定するステップ、を含む、
請求項３に記載の方法。
動きのあるピクセルの合計値を決定するステップ、を含む、
請求項１に記載の方法。
バリアンスレコードが既知の固定のケーデンスに相当するかどうかを判定するステップ、を含む、
請求項１に記載の方法。
ストレージと；
前記ストレージに接続されるプロセッサであり、３つのバリアンスを計算することによって混合ケーデンスビデオを識別するプロセッサと、を含み、
第１バリアンスは、現在のフレームと前のフレームとの間でのトップフィールドの繰返しにおける相違であり、
第２バリアンスは、現在のフレームと前のフレームとの間でのボトムフィールドの繰返しにおける相違であり、かつ、
第３バリアンスは、現在のトップフィールドとボトムフィールドとの間の差異に基づくものであって、
前記混合ケーデンスビデオは、同一の表示又はフレーム内に２つの異なるケーデンスを含むビデオであり、
前記プロセッサは、信頼度チェック無しで、ビデオのケーデンスを識別するために、トップフィールドとボトムフィールドとの間の関係を使用する、
装置。
前記装置はグラフィック処理装置である、
請求項７に記載の装置。
前記プロセッサは、２：３：３：２のトップフィールドファーストを用いてビデオを識別し、かつ、混合ケーデンスビデオを識別する、
請求項７に記載の装置。
前記プロセッサは、一フレーム内の種々の領域のバリアンスを計算する、
請求項９に記載の装置。
前記プロセッサは、亀裂情報に基づいてプログレッシブビデオを識別する、
請求項７に記載の装置。
前記プロセッサは、インタレースピクセルとプログレッシブ的なピクセルとの比を決定する、
請求項１１に記載の装置。
前記プロセッサは、動きのあるピクセルの合計値を決定する、
請求項７に記載の装置。
前記プロセッサは、バリアンスレコードが既知の固定のケーデンスに相当するかどうかを判定する、
請求項７に記載の装置。