JP4173099B2 - シーンカットを検出する方法および装置 - Google Patents

Description

（関連出願の相互参照）
本出願は、２００１年９月２６日に出願された米国特許仮出願第６０／３２４，８９０号の利益を主張する。

本発明は、ＭＰＥＧタイプ・ビデオ、とりわけビデオ・ビットストリーム内でのシーンカット検出に関する。

ＭＰＥＧベースのビデオ・シーケンスは、１秒未満から数分以上まで様々な長さのシ―ンに分割することができる。これらの分割、すなわちシーンカットを行うことにより、広範囲の付加価値機能が可能になる。例えば、各シーンからフレームを選択して、ビデオ・レコーディングの内容を要約したストーリーボード（ｓｔｏｒｙｂｏｒｄ）を作成することができる。更に、ビデオ・エディタを用いれば、シーンを並べ直したり、１つのシーン内の各フレームに画像処理技術を適用したりするなど、シーンごとにビデオ・レコーディングを処理することができる。

ＭＰＥＧビデオ・シーケンスには、イントラフレーム（Ｉｎｔｒａ‐Ｆｒａｍｅ：Ｉ）、インターフレーム（Ｉｎｔｅｒ‐Ｆｒａｍｅ：Ｐ）、および双方向フレーム（Ｂｉ‐Ｄｉｒｅｃｔｉｏｎａｌ Ｆｒａｍｅ：Ｂ）という３種類のフレームが含まれている。Ｉフレームは、ＪＰＥＧエンコードに似た方法で静止画像をエンコードする。Ｐフレームは、前のＩまたはＰフレームから予測される。Ｂフレームは、前のＩまたはＰフレームおよび次のＩまたはＰフレームの両方から予測される。これら３種類のフレームは、フレーム間の空間的な方向における冗長度を体系化する離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）によりエンコードされる。しかし、Ｉフレームについては、ＤＣＴ情報は直接画像サンプルから導き出され、ＰおよびＢフレームについては、ＤＣＴ情報は予測後に残差から導き出される。

各フレームは、複数のマクロブロックに分割される。各マクロブロックには、Ｙ１、Ｙ２、Ｙ３、Ｙ４などの複数の輝度ブロックおよびＹＵＶシステム内の１つのＵおよび１つのＶなど複数のクロミナンス・ブロックに関連する情報が含まれる。これらのブロックのそれぞれには、８ｘ８ブロックなど複数のピクセル、すなわち画素が含まれる。

ビデオがＭＰＥＧに基づくようなビットストリームにエンコードされていると、ビットストリームを完全にデコードすることなくシーンカット検出を行うことができるため、ビデオ処理の速度が増加する。マクロブロック、エンコード・タイプ、モーション・ベクトル、ＤＣＴ係数などの追加情報も、ビットストリームを完全にデコードせずにビットストリームから抽出することができる。

シーンカット検出の或る方法は、以下のようにして実行される。
１．Ｉフレームについては、ＤＣＴ係数間の平均二乗差が判定される。
２．Ｐフレームについては、提案方法では、順方向予測マクロブロックの数が判定される。
３．Ｂフレームについては、順方向符号化マクロブロックの数と逆方向符号化マクロブロックの数のうちの小さい方が計数される。
４．これらの数とフレーム番号のグラフ内で最小値が判定される。

シーンカット検出の別の提案方法では、ＩフレームについてはＤＣ係数から形成されたカラー・ヒストグラムの差が用いられ、動き補償のないマクロブロックの数と動き補償のあるマクロブロック数との比率についての情報と組み合わされる。この提案方法では、フレーム番号に対するグラフ内でピークが探索される。Ｂフレームについては、順方向予測と逆方向予測の比率が判定される。何れの場合も、ピークを識別するために、ローカル・アダプティブ・スレッシュホールド技術が利用される。

一方、更に別の方法では、動き補償付き離散コサイン（ＤＣ）係数から形成されるすべてのフレーム（Ｉ、Ｐ、およびＢ）のヒストグラムが利用される。

しかしながら、サブ・グループ・オブ・ピクチャ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ）内の全予測の全体的な検査に基づくシーンカット検出については、現在は、知られたシステムまたは方法が存在しない。

（発明の概要）
本発明の原理に従って、シーンカットは、サブＧＯＰ内の全予測についての全体的な検査に基づいて検出される。最初に、複数の生じる可能性のあるシーンカットのそれぞれについて符号化マクロブロックの数が検出される。次に、複数の生じる可能性のあるシーンカットのそれぞれについて、予測マクロブロックの数が判定される。次に、生じる可能性のあるシーンカットに対応する複数のフレームのそれぞれについて、符号化マクロブロックの数と予測マクロブロックの数の比率が判定される。そして、所定の比率を有するフレームが選択される。この比率は、閾値と比較される。この比率が、閾値を満足すると判別された場合、シーンカットが検出される。
特許請求の範囲と実施例との対応関係を実施例で使われている参照番号を用いて示すと以下の通りである。
（請求項１）
ＭＰＥＧビデオ・ビットストリーム内のシーンカットを検出する方法であって、
（ａ）各フレームが複数のフィールドを有する複数のフレームにわたって、各フレーム内の前記複数のフィールドのそれぞれについて符号化マクロブロックの数を判定するステップであって、前記複数のフレームは複数の生じる可能性のあるシーンカットに対応する、該ステップ（３０９）と、
（ｂ）前記複数のフレームのそれぞれについて、対応するフィールドがフレーム内の１番目のフィールドであることが判定された場合に、順方向予測マクロブロックの数に等しい予測マクロブロックの数を設定するステップ（３１０）と、
（ｃ）前記複数のフレームのそれぞれについて、対応するフィールドがフレーム内の２番目のフィールドであることが判定された場合に、逆方向予測マクロブロックの数に等しい予測マクロブロックの数を設定するステップであって、前記フレームは１番目と２番目のフィールドを含む、該ステップ（３１０）と、
（ｄ）前記複数の生じる可能性のあるシーンカットに対応する複数のフレーム内の複数のフィールドのそれぞれについて、前記符号化マクロブロックの数に対する前記予測マクロブロックの数の比率を判定するステップと、
（ｅ）前記複数のフィールドの中で最低の比率を有するフィールドを選択するステップ（３１２）と、
（ｆ）前記最低の比率を閾値と比較するステップ（３１３）と、
（ｇ）前記最低の比率が閾値未満であると判定された場合にシーンカットを検出するステップ（３１４）と、を更に含み、前記シーンカットは前記選択されたフィールドに対応する、前記方法。
（請求項２）
前記複数のフレームはフレームのグループであり、各フレームが２つのフィールドを含んでおり、前記フレームのグループがサブ・グループ・オブ・ピクチャを含んでおり、前記ビデオ・ビットストリームが複数のサブ・グループ・オブ・ピクチャを含んでいる、請求項１に記載の方法。
（請求項３）
ステップ（ａ）の前に、
サブ・グループ・オブ・ピクチャの１番目のピクチャがＩピクチャであるかどうかを判定するステップと、
前のピクチャがＩピクチャまたはＰピクチャであるかどうかを判定するステップと、
前記１番目のピクチャがＩピクチャであり、かつ、前記前のピクチャがＩピクチャまたはＰピクチャであるという判定に応答して、次のサブ・グループ・オブ・ピクチャに処理を進めるステップと、
を更に含む、請求項２に記載の方法。
（請求項４）
フィ―ルドごとに前記予測マクロブロックの数をゼロに初期化するステップと、
フィールドごとに前記符号化マクロブロックの数をゼロに初期化するステップと、
を更に含む、請求項１に記載の方法。
（請求項５）
フレームのインターレースされたフィールド間に前記複数の生じる可能性のあるシーンカットのうち少なくとも１つが存在する、請求項１に記載の方法。

本発明の好ましい実施例を、添付の図面を参照して、更に詳細に説明する。
本発明の原理に従って、シーンカット検出は、各インターフレーム（Ｐ）または双方向（Ｂ）フレーム内の順方向および逆方向予測マクロブロックの数に関するデータを収集し、各フレームを個別に考えるのではなく、サブＧＯＰレベル（各アンカー・フレームおよび先行Ｂフレーム）で分析することにより実行される。本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらの組み合わせで実現されることを理解されたい。ある典型的な実施例において、本発明は、プログラム記憶装置で実際に実行されるアプリケーション・プログラムとしてソフトウェアで実現される。アプリケーション・プログラムは、適切なアーキテクチャで構成される装置にアップロードされ、実行されることもある。当該装置は、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力装置（Ｉ／Ｏ）インターフェイスなどのハードウェアを有するコンピュータ・プラットフォームで実現されることが望ましい。また、コンピュータ・プラットフォームには、オペレーティング・システムおよびマイクロ・インストラクション・コードが含まれている。ここで説明される様々な処理と機能は、オペレーティング・システムを介して実行されるマイクロ・インストラクション・コードの一部またはアプリケーション・プログラムの一部（またはその組み合わせ）であってもよい。更に、追加データ記憶装置や印刷装置など様々な他の周辺装置がコンピュータ・プラットフォームに接続されてもよい。

更に、添付図に図示される構成要素を成すシステム・コンポーネントおよび方法ステップの中にはソフトウェアで実現されるものもあるため、システム・コンポーネント（またはプロセス・ステップ）間の実際の接続、相互接続、または機能関係は、本発明がどのようにプログラミングされるかによって異なる場合があることを理解されたい。ここで提案される本発明の開示により、その技術分野において通常の技量を有する者は、本発明のこれらおよび類似の実施例または構成例を創案することができるであろう。

ＰまたはＢフレームのそれぞれについて、順方向予測を採用しているマクロブロックの数と逆方向予測を採用しているマクロブロックの数（Ｂフレームのみ）が記録される。アンカー・フレーム（ａｎｃｈｏｒ‐ｆｒａｍｅ）、イントラフレーム（Ｉ）またはＰ、およびＢフレームの直前にある全てのものがそれぞれ検査される。

マクロブロックが正しく予測されていない場合、動き補償後の差分は大きくなり、予測を補償するために、大きなＤＣＴ係数が必要となる。これらの予測については、予測が偽となる可能性が高い（約５０％超）。すなわち、予測の基準となるアンカー・フレーム・マクロブロックは、予測フレーム内のマクロブロックと真の関連性を持たないかも知れないということである。しかし、アンカー・フレームが、十分に類似しており、そこから予測できる場合もある。このため、このようなマクロブロックは、統計を収集する際には無視される。より具体的には、順方向予測または逆方向予測においてマクロブロックの数を計数する場合、ＤＣＴ係数の全エネルギー（エントロピー）が検査される。ＤＣＴ係数の全エネルギーは、非ＤＣ係数の二乗の合計である。エネルギーが閾値を超えた場合、順方向予測の数（ｎＦｗｄ）および逆方向予測の数（ｎＢｗｄ）、すなわち符号化マクロブロックの数（ｎＣｏｄｅ）は計数されない。ＭＰＥＧ−２については、ある代表的閾値は、約５００であることが分っている。

アンカー・フレームについては、サブＧＯＰ内の各フレームの予測パターンが分析される。図１について考えてみる。これは、２つのＢフレームと１つのＰフレームを含むサブＧＯＰを図示したものである。シーンカットの可能性のあるサイト（ｓｉｔｅ：場所）は、フレームＢ_１ １０２の前、フレームＢ_１ １０２とＢ_２ １０３との間、Ｂ_２ １０３フレームとフレームＰ_３ １０４との間などである。更に、フレームがインターレースしている場合、シーンカットは、１０５から１０７までの３つのフレームのうちの任意のフィールド間で発生する。

本発明の実施例によれば、シーンカットが１０８で発生した場合、フレームＢ_１ １０２、Ｂ_２ １０３、またはＰ_３ １０４には、順方向予測マクロブロックはほとんど存在しないであろう。何故なら、フレームＩ／Ｐ_０ １０１は、これらのフレームの何れとも関係がないからである。同様に、シーンカットが１０９で発生した場合、フレームＢ_１ １０２には、逆方向予測マクロブロックはほとんど存在しないであろう。何故なら、フレームＢ_１ １０２は、予測の起点となるフレームＰ_３ １０４とは関係がないからである。そして、フレームＢ_２ １０３またはＰ_３ １０４には順方向予測マクロブロックはほとんど期待されない。何故なら、フレームＩ／Ｐ_０ １０１は、これらのフレームとは関係がないからである。

このように、１０８でのシーンカットの尤度の測度は、フレームＢ_１ １０２、Ｂ_２ １０３、またはＰ_３ １０４の順方向予測マクロブロックの合計である。１０９でのシーンカットの尤度の測度は、フレームＢ_１ １０２での逆方向予測マクロブロックの合計にフレームＢ_２ １０３およびＰ_３ １０４での順方向予測マクロブロックの数を加えたものである。１１０でのシーンカットの測度についても同様である。対応する点でシーンカットが存在する測度は、順方向予測マクロブロックおよび逆方向予測マクロブロックの合計数が減少するにつれて増加する。

図２を参照する。現ピクチャ（ｐ）がＰまたはＢと判定されると（２０１）、フレームでの符号化マクロブロックの合計数（ｎＣｏｄｅ［ｐ］）は、ｅｎｅｒｇｙＴｈｒｅｓｈ未満のＡｃＥｎｅｒｇｙを有するマクロブロックの数に設定される（２０２）。フレームの順方向予測マクロブロックの合計数（ｎＦｗｄ［ｐ］）は、ｅｎｅｒｇｙＴｈｒｅｓｈ未満のＡｃＥｎｅｒｇｙを有し、方向予測のマクロブロックの数として設定される（２０３）。フレームの逆方向予測マクロブロックの合計数（ｎＢｗｄ［ｐ］）は、ｅｎｅｒｇｙＴｈｒｅｓｈ未満のＡｃＥｎｅｒｇｙを有し、逆方向予測のマクロブロックの数として設定される（２０４）。

図３を参照する。ステップ３０１に従って、ｐがＩフレームまたはＰフレームであるかが判定される。ｐがＩフレームまたはＰフレームでない場合、ステップ３０２に従って、サブＧＯＰの最後までシーンカット検出はない。ステップ３０３に従って、ｐがＩフレームなのか、そして前のピクチャがＩフレームまたはＰフレームなのかが判定される。ｐがＩフレームであり、前のピクチャがＩフレームまたはＰフレームであると判定されると、ステップ３０４に従って、このサブＧＯＰにおいては、シーンカットは検出されない。ｐがＰタイプまたは前のピクチャがＢタイプであると判定されると、ステップ３０５〜３１１の現在のサブＧＯＰに関してデータが収集される。ステップ３０５に従って、サブＧＯＰのフィールドｆごとに、フィールドｆと先行するフィールドとの間の生じる可能性のあるシーンカットと交差する予測の数（ｐｒｅｄＭＢｓ［ｆ］）および予測がこの境界と交差する可能性のあるマクロブロックの数（ｃｏｄｅｄＭＢｓ［ｆ］）は０に初期化される。

ステップ３０７に従って、サブＧＯＰ内のフィールドｆごとに、フィールドｆがＩピクチャ内にあるかどうかが判定される。フィールドｆがＩピクチャ内にある場合は、ステップ３０８に従って、プロセスは次のフィールドについて継続される。フィールドｆがＩピクチャ内にはないと判定されると、プロセスは、サブＧＯＰ内のシーンカットの可能性のあるサイト、すなわち２つのフィールド間の各サイトｆ’でループする。ステップ３０９に従って、ｃｏｄｅｄＭＢｓ［ｆ’］の値は、サブＧＯＰ内の生じる可能性のあるシーンカットｆ’ごとに、ｎＣｏｄｅ［ｆ］ずつ増分される。更に、ステップ３１０に従って、ｐｒｅｄＭＢｓ［ｆ’］の値は、ｆより前またはｆに等しい生じる可能性のあるシーンカットｆ’ごとに、ｎＦｗｄ［ｆ］ずつ増分される。

ステップ３１１に従って、最後のフィールドに到達したかどうかが判定され、到達していない場合は、ステップ３０８に従って、プロセスは次のフィールドに進む。最後のフィールドに到達したと判定されると、ステップ３１２に従って、ｐｒｅｄＭＢｓ［ｆ］とｃｏｄｅｄＭＢｓ［ｆ］の比率（例えば、ｐｒｅｄＭＢｓ［ｆ］対ｃｏｄｅｄＭＢｓ［ｆ］）が最小であるフィールドｆが判定される。最小比率を有すると判定されたフィールドｆについては、ステップ３１３に従って、ｐｒｅｄＭＢｓ［ｆ］をｃｏｄｅｄＭＢｓ［ｆ］で割った値がｐｒｅｄＲａｔｉｏＴｈｒｅｓｈ未満である場合、ステップ３１４に従って、プロセスはこのフィールドと先行フィールド間のシーンカットを検出して報告する。それ以外の場合は、ステップ３１５に従って、サブＧＯＰでシーンカットは検出されない。

予測マクロブロック（ｐｒｅｄＭＢｓ）およびフィールド符号化マクロブロック（ｃｏｄｅｄＭＢｓ）の数は、たとえピクチャがフレーム・ピクチャであってもフィールドごとに判定されることに注意されたい。何故なら、シーンカットは、（フレーム・ピクチャがインターレースしている場合）１つのフレーム・ピクチャのフィールド間で発生することがあるからである。フレーム・ピクチャのマクロブロックは、ｐｒｅｄＭＢｓおよびｃｏｄｅｄＭＢｓを計算する際に、そのフレームの各フィールドに適用される。すなわち、ｆ’が、そのフレームの何れかのフィールドを示す場合、ｎＣｏｄｅ［ｆ’］は、そのフレーム内の符号化マクロブロックの合計数である。同様に、ｎＦｗｄ［ｆ’］およびｎＢｗｄ［ｆ’］は、それぞれフィールドｆ’内の順方向予測マクロブロックおよび逆方向予測マクロブロックの数を表す。ｆ’がｆと同じフレーム・ピクチャ内にある場合、ｆがそのフレームの１番目のフィールドである場合にのみ、ｐｒｅｄＭＢｓ［ｆ］はｎＢｗｄ［ｆ］ずつ増分され、ｃｏｄｅｄＭＢｓ［ｆ］はｎＣｏｄｅ［ｆ’］ずつ増分される。２番目のフィールドのアレイ（ａｒｒａｙ）は増分されない。何故なら、順方向予測は１番目のフィールドにのみ適用され、逆方向予測は２番目のフィールドにのみ適用されると予測されるからである。これが行われないと、フレーム・ピクチャのフィールド間のシーンカットは、シーン境界を超えた予測によりマスク（ｍａｓｋ：隠す）されるであろう。

実験を通して、予測比率閾値ｐｒｅＲａｔｉｏＴｈｒｅｓｈの適正値は、０．０５であることが分っている。しかしながら、更に実験と応用が行われることにより、特定のアプリケーションでは、この値以外のある値または可変閾値がより適切であると判定されることがある。更に、ＡＣエネルギー閾値ＡｃＴｈｒｅｓｈに選択された特定の値も同様に、ここに記載される典型値以外であってもよい。本発明の効率と精度を最大限にするために、これらの値および他の値を評価して変更することは当業者にとって自明なことであり、かかる変更も、ここに記載した本発明の原理に含まれる。

上記に説明した特定の方法は、実施され試験されたものである。これは、ここに記載された開示内容または特許請求の範囲を制限するものではない。本発明の基礎となる原理は、サブＧＯＰ内での全予測の全体的な検査により、はっきりしたシーンカットを正確に検出することである。予測により入手できるすべての情報の一貫性を求めることにより、偽陽性（シーンカットの偽報告）が減少することになる。

本発明の原理を、例えばヒストグラムに基づく方法と統合することにより、Ｉフレームのみの場合およびＰピクチャの後にＩピクチャが続く場合のように、この方法ではシーンカットを検出できない場合を処理することができるかも知れない。フェード（ｆａｄｅ）、ディゾルブ（ｄｉｓｓｏｌｖｅ）、およびワイプ（ｗｉｐｅ）などの段階的シーン遷移を検出するために、ヒストグラムを含む拡張方法を実現することもできる。

サブＧＯＰ内の全予測の全体的な検査により、シーンカットを正確に検出する実施例を上記に説明してきたが、当業者であれば、上記の開示に照らして変更したり、変形させたりすることができることに注意されたい。従って、添付の特許請求の範囲により定められる本発明の範囲および趣旨内において、様々な変更および変形が、開示された発明の特定の実施例で行われることを理解されたい。本発明を詳細に、特に特許法によって要求された通りに説明してきたが、特許証によって保護される特許請求の範囲は、添付の特許請求の範囲により定められる。

本発明の原理に従って、サブＧＯＰ内の典型的シーンカットを図示したものである。 本発明の原理に従って、シーンカット検出の１番目の方法を図示するフローチャートである。 本発明の原理に従って、シーンカット検出の２番目の方法を図示するフローチャートである。

Claims (5)

1. ＭＰＥＧビデオ・ビットストリーム内のシーンカットを検出する方法であって、
   （ａ）各フレームが複数のフィールドを有する複数のフレームにわたって、各フレーム内の前記複数のフィールドのそれぞれについて符号化マクロブロックの数を判定するステップであって、前記複数のフレームは複数の生じる可能性のあるシーンカットに対応する、該ステップと、
   （ｂ）前記複数のフレームのそれぞれについて、対応するフィールドがフレーム内の１番目のフィールドであることが判定された場合に、順方向予測マクロブロックの数に等しい予測マクロブロックの数を設定するステップと、
   （ｃ）前記複数のフレームのそれぞれについて、対応するフィールドがフレーム内の２番目のフィールドであることが判定された場合に、逆方向予測マクロブロックの数に等しい予測マクロブロックの数を設定するステップであって、前記フレームは１番目と２番目のフィールドを含む、該ステップと、
   （ｄ）前記複数の生じる可能性のあるシーンカットに対応する複数のフレーム内の複数のフィールドのそれぞれについて、前記符号化マクロブロックの数に対する前記予測マクロブロックの数の比率を判定するステップと、
   （ｅ）前記複数のフィールドの中で最低の比率を有するフィールドを選択するステップと、
   （ｆ）前記最低の比率を閾値と比較するステップと、
   （ｇ）前記最低の比率が閾値未満であると判定された場合にシーンカットを検出するステップであって、前記シーンカットが前記選択されたフィールドに対応する、該ステップと、
   を含む前記方法。
2. 前記複数のフレームはフレームのグループであり、各フレームが２つのフィールドを含んでおり、前記フレームのグループがサブ・グループ・オブ・ピクチャを含んでおり、前記ビデオ・ビットストリームが複数のサブ・グループ・オブ・ピクチャを含んでいる、請求項１に記載の方法。
3. ステップ（ａ）の前に、
   サブ・グループ・オブ・ピクチャの１番目のピクチャがＩピクチャであるかどうかを判定するステップと、
   前のピクチャがＩピクチャまたはＰピクチャであるかどうかを判定するステップと、
   前記１番目のピクチャがＩピクチャであり、かつ、前記前のピクチャがＩピクチャまたはＰピクチャであるという判定に応答して、次のサブ・グループ・オブ・ピクチャに処理を進めるステップと、
   を更に含む、請求項２に記載の方法。
4. フィ―ルドごとに前記予測マクロブロックの数をゼロに初期化するステップと、
   フィールドごとに前記符号化マクロブロックの数をゼロに初期化するステップと、
   を更に含む、請求項１に記載の方法。
5. フレームのインターレースされたフィールド間に前記複数の生じる可能性のあるシーンカットのうち少なくとも１つが存在する、請求項１に記載の方法。

Images