JP3609965B2

JP3609965B2 - 圧縮形式でのデジタルビデオデータの処理方法

Info

Publication number: JP3609965B2
Application number: JP29282199A
Authority: JP
Inventors: アジェイ・ディヴァカラン; ハイファン・スン; 浩伊藤; トミー・シー・プーン
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 1999-01-14
Filing date: 1999-10-14
Publication date: 2005-01-12
Anticipated expiration: 2019-10-14
Also published as: HK1029698A1; DE69911569T2; DE69911569D1; JP2000217117A; EP1021042B1; EP1021042A1; US6449392B1; ATE250835T1

Description

【０００１】
【発明の属する技術分野】
この発明は、たとえば高精細テレビジョン（ＨＤＴＶ）放送信号、およびワールドワイドウェブビデオサービスにおいて見られるような他のビデオ配信システムにおいて見られるタイプのビデオ信号シーケンスをインデックス化するための、シーン変更検出およびフェード検出方法に関するものである。
【０００２】
【従来の技術】
デジタルカラービデオ信号の帯域幅を圧縮する基本的な方法は、ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ：動画像専門家グループ）が採用されている。
【０００３】
ＭＰＥＧ規格は、時として画像の完全フレームについての情報のみを発達させることによって、高データ圧縮率を達成する。完全画像フレーム、またはフレーム内符号化されたピクチャは「Ｉフレーム」と呼ばれ、他のフレームとは独立した、完全フレーム情報を含む。ＢフレームおよびＰフレームはＩフレーム間で符号化され、基準アンカーフレームに対する画像差分のみを格納する。
【０００４】
通常、ビデオシーケンスの各フレームは、ピクセルデータのより小さなブロックに分割され、各ブロックは、離散コサイン変換（ＤＣＴ）関数演算され、統計的に従属的な空間領域画素（ピクセル）を独立した周波数領域ＤＣＴ係数に変換する。
【０００５】
ピクセルの各８×８ブロックは、離散コサイン変換（ＤＣＴ）され、符号化信号を生成する。結果得られた係数は、通常、適応量子化され、それからランレングス符号化および可変長符号化される。このため、伝送されたデータのブロックは、通常、８×８よりも少ないコードワードを含む。フレーム内符号化データ（Ｉフレーム）のマクロブロックもまた、用いられた量子化のレベル、マクロブロックのアドレスまたはロケーション指標、および「ヘッダ」または「オーバヘッド」情報と呼ばれるマクロブロックタイプ等の情報を含む。
【０００６】
ＰまたはＢフレーム間符号化に従って符号化されたデータのブロックもまた、離散コサイン変換係数のマトリクスからなる。しかし、この例では、係数は予測される８×８ピクセルマトリクスと実際の８×８ピクセルマトリクスとの剰余または差分を表す。これらの係数もまた、量子化およびランレングス符号化および可変長符号化される。フレームシーケンスにおいて、ＩおよびＰフレームは、アンカーフレームと呼ばれる。各Ｐフレームは、最後に発生したアンカーフレームから予測される。各Ｂフレームは、それが間に配置されたアンカーフレームの一つまたは両方から予測される。予測符号化プロセスは、変位ベクトルの生成を含み、これはアンカーフレームのどのブロックが目下符号化されている予測フレームのブロックに最もよく適合するかを示す。アンカーフレームにおける適合したブロックのピクセルデータは、１ピクセルずつ、符号化フレームのブロックから差し引かれて、剰余を出す。変換した剰余およびベクトルは、予測フレームについての符号化データを含む。フレーム内符号化されたフレームのように、マクロブロックは、量子化、アドレスおよびタイプ情報を含む。
【０００７】
結果は通常、エネルギー集中的（ｅｎｅｒｇｙｃｏｎｃｅｎｔｒａｔｅｄ）であり、そのため、ブロックにおける係数の少しだけがピクチャ情報の主要部を含む。係数は、既知の方法で量子化されて、係数の一部のダイナミックレンジを効率よく制限し、次にその結果は、伝送媒体への適用のため、ランレングス符号化および可変長符号化される。
【０００８】
いわゆるＭＰＥＧ−４フォーマットは、ＡｄｈｏｃＧｒｏｕｐが、１９９６年１１月にＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ＭＰＥＧ９６／Ｎ１４６９の名称でＭＰＥＧ−４ＶｉｄｅｏＶＭＥｄｉｔｉｎｇにおいてその会員に配布した「ＭＰＥＧ−４ＶｉｄｅｏＶｅｒｉｆｉｃａｔｉｏｎＭｏｄｅｌＶｅｒｓｉｏｎ５．０」に説明されている。ＭＰＥＧ−４ビデオ符号化フォーマットは、フレームからフレームに、エンコーダにおいて可変ビットレートストリームを生成する（従来の体系と同様に）。可変ビットレートストリームは固定レートチャネル上を伝送されるため、チャネルバッファを用いて、ビットストリームを滑らかにする。バッファがオーバーフローまたはアンダーフローするのを防ぐために、符号化プロセスのレート制御が用いられる。
【０００９】
ワールドワイドウェブで配信されるビデオ等の新しいデジタルビデオサービスの出現とともに、ＭＰＥＧ−４コンテキストでのシーン変更のようなオブジェクト変更等の、ビデオシーケンスにおけるシーン変更および他の特徴を識別するための信号処理技術に対する必要性が高まっている。急激であってもまたは漸進的であっても、シーン変更の識別は、インデックス化に有用であり、たとえば、高速で簡単な画像検索およびシーン分析を容易にする。
【００１０】
将来、相当量のデジタルビデオマテリアルが、上述したように圧縮または符号化データの形態で提供されることが予期されるはずである。解凍つまり復号した形態ではなく、むしろ圧縮した形態のビデオシーケンス情報で動作することにより、通常は、データサイズの縮小および変換が避けられるため、より高速な処理が可能になる。他の処理を行う前に完全フレーム解凍を行う必要がなく、むしろ圧縮データで直接動作することが可能な方法および技術を開発することは好都合である。
【００１１】
【発明が解決しようとする課題】
ブロック（マクロブロック）がオブジェクトの縁境界を含む場合、変換後のブロックのエネルギー（ＤＣＴとして表される）は、比較的大きなＤＣ係数（マトリクスの最上段左隅）およびマトリクスにわたって無作為に分配されたＡＣ係数を含むことが知られている。一方、非縁ブロックは通常、同様に大きなＤＣ係数（最上段左隅）、および該ブロックに関連する他の係数よりも実質的に大きい、少数（たとえば２つ）の隣接ＡＣ係数によって特徴づけられる。この情報は、空間領域での画像変化に関し、連続するフレームの比較から得られる画像差分情報（すなわち、一時的な差分）と組み合わされた場合には、ビデオオブジェクト（ＶＯ）を互いに識別する要素が利用可能である。マクロブロックのＤＣ値のみが使用される場合では、結果得られる画像は、原画像のコンテントの多くを保持した、原画像がぼやけたものとなる。
【００１２】
このため、圧縮ビデオからのインデックス化における従来の作業は、大部分はＤＣ係数抽出を強調していた。「圧縮ビデオにおける高速シーン分析（ＲａｐｉｄＳｃｅｎｅＡｎａｌｙｓｉｓｏｎＣｏｍｐｒｅｓｓｅｄＶｉｄｅｏ）」と題する論文（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ｖｏｌ．５，Ｎｏ．６，１９９５年、１２月、５３３頁〜５４４頁）では、ＹｅｏおよびＬｉｕが、完全な画像データ（圧縮されていない）シーケンスに基づくシーン変更検出における初期の努力を回想するとともに、ＭＰＥＧ−２圧縮ビデオ領域におけるシーン変更検出に対するアプローチおよび他の種々の圧縮ビデオ処理技術を説明している。ＹｅｏおよびＬｉｕは、シーン分析操作を容易にするために、原画像を空間的に減じたもの、いわゆるＤＣ画像と、圧縮ビデオから抽出されたＤＣシーケンスとの使用を紹介した。彼らのＤＣ画像は、原画像のブロックにおけるピクセルの平均値であるピクセルからなり、ＤＣシーケンスは、結果得られる減少した数の、ＤＣ画像のピクセルの組み合わせである。
【００１３】
ウオン（Ｗｏｎ）等は、Ｐｒｏｃ．ＳＰＩＥＣｏｎｆ．ｏｎＳｔｏｒａｇｅａｎｄＲｅｔｒｉｅｖａｌｆｏｒＩｍａｇｅａｎｄＶｉｄｅｏＤａｔａｂａｓｅｓ（１９９８年、１月）で発表した論文において、ＤＣ係数で使われたビットを利用して、フレームにおける縁を見つけることにより、圧縮されたＭＰＥＧ−２ビデオから特徴を抽出する方法を説明している。しかし、彼らの研究はＩフレームのみに限定されている。Ｋｏｂｌａ等は、同じ会報にＹｅｏ等のＤＣ画像抽出を使用して、ビデオクリップを特徴付けるビデオトレイルを形成する方法を説明している。Ｆｅｎｇ等（ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＩＩ，ｐｐ８２１−８２４，Ｓｅｐ．１６−１９，１９９６）は、ＭＰＥＧ−２フレームのマクロブロックにわたってビット割り当てを用いて、ＤＣ画像を抽出せずに、急なシーン変更を検出する。Ｆｅｎｇ等の技術は、圧縮されたビットストリームを構文解析するのに必要な計算の他に、相当な計算を必要としないため、計算上最も単純である。
【００１４】
【課題を解決するための手段】
本発明の第１の態様によれば、Ｆｅｎｇ等のアプローチおよびＹｅｏ等のアプローチのある態様を組み合わせたものを用いて、正確および単純な急なおよび／または漸進的なシーン変更の検出を提供する、計算的に単純な方法が考案されている。本発明はまた、ビット割り当て情報を利用して特徴を抽出し、漸進的なシーン変更を検出する技術も調べており、これらはそれぞれ、同時出願された出願にさらに詳細に説明されている。
【００１５】
漸進的シーン変更検出における従来の研究は、エッジ変更比（ｅｄｇｅｃｈａｎｇｅｆｒａｃｔｉｏｎ）、ツイン比較方法、ブロックマッチングベースの動き補償予測（ｂｌｏｃｋｍａｔｃｈｉｎｇｂａｓｅｄｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎ−ｅｓｔｉｍａｔｉｏｎ）、遅延フレーム差分測定基準法（ｄｅｌａｙｅｄｆｒａｍｅｄｉｆｆｅｒｅｎｃｅｍｅｔｒｉｃ）におけるプラトー検出、およびビデオ編集モデルベースの方法（ｅｄｉｔｍｏｄｅｌｂａｓｅｄａｐｐｒｏａｃｈ）等の様々な技術を採用している。これらのなかで、プラトー検出アプローチだけが圧縮領域で演算する。
【００１６】
なお、ＤＣ画像抽出ベースの技術は、ＤＣ値のＩフレームからの抽出が比較的単純であるため、Ｉフレームに対して良好である。しかし、Ｐフレームに対しては、通常追加の計算が必要である。
【００１７】
本発明者等は、推測される（ｓｕｓｐｅｃｔｅｄ）シーン／オブジェクト変更が、一旦ＤＣ画像抽出ベースの技術の使用によって、連続したフレーム／オブジェクトの群において正確に見つけられていると、適切なビット割り当てベースの技術、および／または適切なＤＣ剰余係数処理技術を推測される変更情報付近のＰフレーム情報に適用することで、素早くかつ正確にカットポイントを見つけることができる、と判断している。この組み合わされた方法は、ＭＰＥＧ−２シーケンスまたはＭＰＥＧ−４多数オブジェクトシーケンスのいずれにも適用可能である。ＭＰＥＧ−４の場合には、各オブジェクトのエリアを重み係数として用いて、フレームの各オブジェクトにおける変更の加重和を使用することが好都合であることがわかっている。
【００１８】
また、ＰフレームのＤＣ係数に割り当てられたビットを使用して、フェードインおよびフェードアウト漸進的シーン変更を検出する。
【００１９】
本発明のこの第１の態様に従って、デジタル画像表示ビデオデータを圧縮形式で処理する方法は、圧縮形式のデジタル画像表示ビデオデータのシーケンスから、フレームのサブシーケンスを抽出するステップを含み、ビデオシーケンスは少なくともＩフレームとＩフレーム間で発生するＰフレームを含み、フレームのサブシーケンスはそれぞれ少なくとも一時的に隣接するＩフレームのセットを含む。各サブシーケンスの圧縮形式のデータを処理して、Ｉフレームそれぞれについて、対応するＤＣ画像値を抽出する。一時的に隣接するＩフレームの対についての対応するＤＣ画像値を比較して、第１の閾値を超過する差分情報のインスタンスを検出する。潜在的なシーン変更を示すＩフレームの対は、比較ステップに従って識別される。本プロセスはさらに、潜在的なシーン変更を示しているとしてＤＣ画像差分から識別されたこれらのＩフレーム間にのみ発生するＰフレームについてのビデオデータを検索すること、および検索されたＰフレームにわたるビット割り当て分配差分を決定して、急なシーン変更の発生を見つけること、および第２の閾値を超過する検索されたＰフレームにおける正および負のＤＣ剰余係数の数を決定して、フェードインおよびフェードアウトをそれぞれ見つけることのうちの少なくとも一つによってシーン変更の発生を検出することを含む。
【００２０】
【発明の実施の形態】
実施の形態１．
図面の図１の概略図を参照して、本発明の第１の態様による方法が、圧縮領域におけるＩフレーム情報のみを用いて、推測されるシーン変更を見つけることを含む予備ステップ（図のブロック２０）を利用することがわかる。このステップは、ＤＣ画像ベースの基準の使用に依存して、あるフレームの対を、漸進的なまたは急なシーン変更を示すものとして「適格（ｑｕａｌｉｆｙ）」とする。
【００２１】
その後、適格とされたフレームに関連する情報がさらに処理されて、Ｐフレームにわたるビット割り当て分布基準（ブロック３０）か、あるいは正／負のＤＣ剰余係数の数を、推測されるシーンまたはオブジェクト変更がある領域におけるＰフレームそれぞれに関して比較する基準（ブロック４０）のいずれかを使用して、急なおよび／またはフェードイン、フェードアウトシーン変更を見つける。
【００２２】
このようにして、一時的なセグメンテーションマーカーを生成することができ、これは入力されたビデオシーケンスと関連して、ビデオシーケンスの特定タイプのシーン変更を見つけ、識別する。
【００２３】
急なシーン変更およびフェードイン／フェードアウトシーン変更の検出ステップそれぞれについての具体的な好ましい配列を、ここで詳細に説明する。本発明のより一般的な態様から逸脱せずに、これらのステップの詳細を変えるかなりの機会があることが理解されるべきである。しかし、詳細な方法ステップは、当業者に可能な変形例の理解を提供するために、以下に示される。
【００２４】
簡単に説明すると、本方法の一態様は、
１．連続したＩフレームにおいて、ＤＣ画像ベースのプロセスを使用することにより、シーン変更が存在すると推測されるＧＯＰを見つけるステップと、
２．ステップ１で選択した各ＧＯＰにおけるＰフレームにビット割り当てベースの基準を適用して、カットポイントを見つけるステップと
を含む。
【００２５】
この後者の技術をＭＰＥＧ−４圧縮ビデオに適用するために、以下の詳細なステップが採用される。
【００２６】
ＭＰＥＧ−４はオブジェクトベースであるため、２つの隣接するフレームにおいて同様に見つけられたオブジェクトが比較される。各オブジェクトにおける一時的な変更は符号化のためのビット数に関して測定され、フレームのすべてのオブジェクトにおける変更（差分）の加重平均（加重はオブジェクトが占有する全フレームエリアの一部に関連する）が決定される。オブジェクト変更はまた、各ショットまたはシーンにおいて、オブジェクトレベルで手順を繰り返すことによっても検出される。閾値レベルより大きい変更は、推測されるシーン変更を示す。
【００２７】
各オブジェクトを符号化するためにとられるビット数はかなり変化するため、ＭＰＥＧ−２データでのように、固定した閾値は適切ではない。固定した閾値をＭＰＥＧ−４データに使用すると、誤った検出を引き起こす、および／またはオブジェクトレベルでのシーン変更を検出できない。したがって、検出が対象となるすべてのビットレートで機能することを保証するために、固定した閾値とスライディングウィンドウとの組み合わせが使用される。
【００２８】
フレームレートが変わるときに、フレーム複製が時として用いられることもまた考慮すべきである。この実行により、上述したようにビット割り当て技術が採用される場合には、誤ったシーン変更検出がもたらされることがある。このため、さらなる精度向上として、ビット割り当てビット画像を、一方は動きベクトルのためのビット割り当てに対応し、他方は剰余に対応する２つの画像に分割することにより、フレーム複製は、動きベクトルを符号化するのに必要なビット数の突然の急降下、ならびに剰余を符号化するのに必要なビット数の、それに伴う急降下として検出することができる。両方のパラメータの同時の急降下により、このデータはシーン変更決定について不適格となる。このため、この追加の洗練（ｒｅｆｉｎｅｍｅｎｔ）は、フレーム複製が用いられている場合の誤検出という問題をなくす。
【００２９】
急なシーン変更検出に採用される具体的なステップは以下のものである。
【００３０】
１．テストシーケンスＳをフレームＩ_０ＰＰ…Ｉ_１ＰＰ…Ｉ_３…からなるものとする。
【００３１】
２．ＩフレームＩ_０Ｉ_１…からなるサブシーケンスＳ_１を形成する。
【００３２】
３．ＤＣ画像ベースの基準を用いて、Ｓ_１のシーン変更検出を実行する。
すなわち、各マクロブロックについて、マクロブロックの各８×８ブロックのＤＣ値の和の１／４に等しい平均ＤＣ値を決定し、一時的に隣接し、対応するマクロブロックを比較して、各マクロブロックについての差分を決定する。次に、フレーム中の全てのマクロブロックについての差分の絶対値の和が計算されて、そのフレーム中のすべてのマクロブロックについてのＤＣ値の絶対値の和で除算して、マクロブロック毎の正規化された変更を提供する。それから、任意のフレームとフレームの差分（マクロブロック毎の正規化された変更）が選択された第１の閾値よりも大きいときに、潜在的なシーン変更が存在すると決定できる。閾値０．２５が適する閾値であることが、経験から決定されている。
【００３３】
ＭＰＥＧ−４の場合には、フレームを比較しながら、フレーム中の最も近い対応空間を占有するオブジェクトを比較して、比較されているオブジェクトが異なるサイズである場合、２つのオブジェクト間で最も適合するものを得て、動き予測のようなプロセスを用いて、差分基準を計算する。各オブジェクトＯ_ｉのエリアをＡ_ｉ、差分基準をｄ_ｉ、およびフレームｎに対応する差分基準をＤ_ｎとすると、全基準は、以下の数式となる。
【００３４】
Ｄ_ｎ＝ΣＡ_ｉ＊ｄ_ｉ／ΣＡ_ｉ
【００３５】
４．先のステップから、推測されるシーン変更を有するＩ_ｍ、Ｉ_ｍ＋１の対を識別する。対応するＧＯＰをＧ_{ｔｅｓｔ（１）}、Ｇ_{ｔｅｓｔ（２）}…とする。
【００３６】
５．先のステップからの各ＧＯＰについて、以下を用いてシーン変更検出を実行する。
【００３７】
（ａ）ビット割り当て（マクロブロック毎のビット）基準を用いたＰフレームとＰフレームの比較、
（ｂ）先のステップでシーン変更が検出されない場合、テストされたＧＯＰに先行するＧＯＰをＧＯＰ_ｐｒｅｖとし、またテストされたＧＯＰに後続するＧＯＰをＧＯＰ_ｎｅｘｔとする。それから、ＧＯＰ_ｐｒｅｖの最後のＰフレームをとり、マクロブロック毎ビット基準を用いて、それをＧＯＰ_ｔｅｓｔの最初のＰフレームと比較し、また同様に、テストされたＧＯＰの最後のＰフレームをとり、それをＧＯＰ_ｎｅｘｔの最初のＰフレームと比較する。そして、シーン変更が検出されると、対応するＩフレームでのシーン変更発生を表明し、そうでなければ、ビット割り当てベースのアルゴリズムの失敗を表明する。アルゴリズムが失敗した場合には、次のシーケンスにＤＣ画像ベースのアルゴリズムを使用する。
【００３８】
６．上記シーン変更検出に基づいて、テストシーケンスＳをショットに分割する。
【００３９】
７．ＭＰＥＧ−４の場合、各ショット内で同じ手順を繰り返して、急なオブジェクト変更を検出する。
【００４０】
また、シーン変更が、Ｉフレーム、またはＩフレームのすぐ後のＰフレームのいずれかで見つかる場合、曖昧さが生じ得ることが観察されている。Ｉフレーム情報を検査することにより推測されるシーン変更を識別した後に、明確なシーン変更処理ステップがＰフレーム情報に対して行われることを思い出してみると、ＧＯＰシーケンスがＩ_１Ｐ_１Ｐ_２Ｐ_３−Ｉ_２としてとられ、スパイクが、上述したフェング（Ｆｅｎｇ）等の従来のアプローチに従って、Ｐ_１とＰ_２との比較においてビットレート差分関数で検出される場合、シーン変更はＰ_１とＰ_２との間で表明される。しかし、変更は実際、Ｉ_１とＰ_１の間、またはＰ_２で発生したのかもしれない。
【００４１】
シーン変更が実際にＩ_１とＰ_１との間で発生したのであれば、隣接する２つのＰフレームは実際にコンテントが同様であっても、後者のフレームのビット割り当ては、Ｐ_２のビット割り当てとかなり異なり、そのポイントでのシーン変更の発生を暗示する。実際、２つにおけるビット割り当てでの差分を生じさせるのは、Ｐ_１とＰ_２との類似性である。シーン変更のタイミングにおける曖昧さは、隣接する２つのＰフレームにおける動きベクトルに費やされたビットを参照することによって、解決され得る。すなわち、動きベクトルに費やされたビットの総和が、曖昧さの可能性が生じる毎（すなわち、以下に説明するビット割り当て基準がＰ_１とＰ_２フレームとの間でのシーン変更の発生を示すとき）に、各フレームについて計算される。Ｉ_１およびＰ_１との間のシーン変更は、Ｐ_１に費やされた動きベクトルにおいてスパイクを引き起こす。シーンがそのようなスパイクのすぐ後で変更しない場合、後続するフレームの動きベクトルに費やされたビットの数は、Ｐ_１の動きベクトルに費やされたビットによって共有されない大きさの連続性を示す。Ｐ_１の動きベクトルに費やされたビットを後続するフレームと比較することにより、シーン変更はＩ_１とＰ_１との間で発生していると明確に定義できる。シーン変更が実際にＰ_２で発生した場合、Ｐ_２で特異な動きベクトル割り当てが見られる。上述したようにこの動きベクトル情報を解析するのは、計算上簡単なプロセスである。
【００４２】
ビット割り当て方式の基準
各オブジェクトについて、各マクロブロックを符号化するのに必要とされるビット数からなる「ビットレートマトリクス（ｂｉｔｒａｔｅｍａｔｒｉｘ）」を構築する。Ｒ＝｛ｒ（ｉ，ｊ）｝およびＳ＝｛ｓ（ｉ，ｊ）｝を２つのレートマトリクスとすると、ＲとＳとの間のレート差分は、以下の数式である。
【００４３】
ｄ（Ｒ，Ｓ）＝Σ｜ｒ（ｉ，ｊ）−ｓ（ｉ，ｊ）｜
【００４４】
式中、ｒ（ｉ，ｊ）は一つのＰフレームにおけるオブジェクトの（ｉ，ｊ）番目のマクロブロックが必要とするビットの数であり、ｓ（ｉ，ｊ）は次のＰフレームにおける対応するブロックが必要とするビットの数である。レートマトリクスＲ_ｍ（ｍ＝１、２、…、Ｎ＋１）のシーケンスが与えられると、下記の数式として正規化されたレート差分シーケンスＲＰ_ｍ（ｍ＝１、２、…、Ｎ）を得ることができる。
【００４５】
ＲＰ_ｍ＝ｄ（Ｒ_ｍ，Ｒ_ｍ＋１）／Ｔ_ｍ
【００４６】
式中、Ｔ_ｍはシーケンスＲＰ_ｍのｍ番目のオブジェクトが必要とするビットの総数である。スライディングウィンドウ（すなわち、対象であるフレームの前後の所定数のフレーム）を使用して、レート差分シーケンスＲＰ_ｍを処理して、局所変動（ｌｏｃａｌｖａｒｉａｔｉｏｎ）を獲得する。
１．差分ＲＰ_１が２ｋ−１フレームサイズの対称なスライディングウィンドウ内で最大であり、かつ
２．差分ＲＰ_１が、そのスライディングウィンドウにおいて２番目に大きな最大値のｎ倍でもある場合には、Ｒ_ｉ〜Ｒ_ｉ＋１からのシーン変更を表明する。テストされた例では、ｋ＝３およびｎ＝２が用いられている。これらパラメータの選択は、経験的データ、ならびにフレームレート、周期的なＩフレームの周波数、および付加的要因に依存する。なお、レート差分は２つのＩフレーム間／オブジェクト間または２つのＰフレーム間／オブジェクト間のみで計算され得る。言い換えると、シーケンスＲ_ｉ内のすべてのフレームはすべてＩまたはＰフレーム（オブジェクト）のいずれかであるはずである。また、ＭＰＥＧ−４シーケンスにおいて、すべてのオブジェクトが同時にフレーム内符号化で「リフレッシュ（ｒｅｆｒｅｓｈｅｄ）」される必要はない。
【００４７】
ＤＣシーケンス方式の基準
このアプローチでは、ＤＣ画像（オブジェクト）Ｘ−｛ｄｃ（ｉ，ｊ）｝のシーケンスが、ｄｃ（ｉ，ｊ）がその画像（オブジェクト）の（ｉ，ｊ）番目のマクロブロックのＤＣ値である場合に、構築される。フレーム内符号化されたフレームまたはオブジェクトからのＤＣ値の抽出は、上述したようにエントロピ復号のみが必要であるため、簡単であるが、予測されたつまりＰフレーム（オブジェクト）からのＤＣ値の抽出は、より多くの計算およびメモリを必要とする。その後、差分シーケンスが、いくつかの可能な測定基準（ｍｅｔｒｉｃｓ）の１つを使用して先のシーケンスのように構築される。以下に記載するように、測定基準ｄ_ｃ（Ｘ，Ｙ）が２つのフレームＸとＹ間で以下に定義されるように使用される。
【００４８】
ｄ_ｃ（Ｘ，Ｙ）＝Σ（｜ｘ_ｉｊ−ｙ_ｉｊ｜）
【００４９】
したがって、そのシーケンスのためのシーケンスｄ_ｃ（Ｘ_ｉ，Ｘ_ｉ＋１）を構築し、上述したスライディングウィンドウアプローチを使用してシーン変更を検出することができる。
【００５０】
剰余のＤＣ成分を符号化するためにとられるビットにおける変化を使用したフェード検出
漸進的なシーン変更がある場合、画像が完全な黒色フレームからフェードイン、または完全な黒色フレームにフェードアウトしているため、画像のブロック毎にＤＣ修正項を含むことが観察されている。これを念頭において、剰余ブロックのＤＣ成分についてのビット割り当てプロファイルは、フェード検出の指標を提供することがわかっている。本発明の一態様によれば、フェード検出方法は、以下のステップを含む。
【００５１】
１．連続したＩフレームのＤＣ画像を比較して、推測されるシーン変更を見つけるステップ。これは、上述した急なシーン変更を検出する方法に必要であることがわかっている。このステップは、連続したＩフレームが大きく異なる信号セグメントにおいてのみシーン変更のサーチがその後で行われ、したがって信号シーケンス全体を処理することが回避されるため、計算を省く助けとなる。
【００５２】
２．推測されるシーン変更がある領域の各Ｐフレームについて、負のＤＣ成分を有するブロックの数、ならびに正のＤＣ成分を有するブロックの数をカウントするステップ。ＭＰＥＧ−２ならびにＭＰＥＧ−４の場合について、あらゆる非ゼロＤＣ成分は非ゼロのビット数およびその成分が正か負かを示す符号ビットが割り当てられるため、このステップはＶＬＣ構文解析から明快である。ゼロＤＣ成分はランレングスによって示されるため、容易にスキップできる。
【００５３】
３．上記で得られた２つの数の、フレーム数に対する特性を決定し、推測されるシーン変更が上記ステップ１に従って見つけられた領域を決定するステップ。
【００５４】
４．負の推移の数が、通常のシーン変更間隔（約１秒）に実質的に相当する期間（フレーム数）にわたって一貫して非ゼロ推移の総数の６０％以上である場合に、フェードアウトを表明するステップ。逆に、正の推移の数が上述した閾値を満足する場合に、フェードインを表明するステップ。
【００５５】
このフェード検出技術は、エンコーダが実行するモーションサーチを活用する。モーションサーチは特定のマクロブロックと先行フレームにおける最も適合したものとのＤＣ差分を符号化するのに費やされたレートを測定する。
【００５６】
シーン変更検出のさらなる精度向上として、２つの特定のＰフレームがシーン変更が示される２つのＩフレーム間にあることが一旦決定されると、２つのＰフレーム間のＢフレームで発生しているシーン変更の可能性も検出し得る。そうしてシーン変更間隔を定義することで、シーン変更がその間隔における最後のＰフレームよりも後に発生したのではないことが分かる。しかし、そのシーン変更は、最初のＰフレームまたは２つのＰフレームの中間にあるＢフレームで発生したのかもしれない。さらなる決定を行うために、Ｂフレーム情報の一部として符号化されたビットは、先行または後続するフレームのいずれが、問題となっているＢフレームを構築するための基準フレームとして機能しているかを識別するフラグを含む。Ｂフレームは、隣接するＰフレーム情報との、順方向、逆方向、あるいは双方向比較のいずれかを用いて構築される。フラグは採用された特定の比較を識別する。
【００５７】
フラグを検査することにより、以下を決定できる。
１．Ｂフレームが基準として先行するＰフレームに依っている場合、その方向には最小の差分が存在し、シーン変更は後のＰフレームで発生していると識別すべきである。
２．Ｂフレームが基準として後続する（後の）Ｐフレームに依っている場合、その方向には最小の差分が存在し、シーン変更はＢフレームで発生していると識別すべきである。
３．Ｂフレームが基準として双方向比較に依っている場合、Ｐフレーム間ではシーン変更は発生しない。したがって、シーン変更は最初（より先の）のＰフレームで発生していると識別すべきである。
【００５８】
本発明を好ましい実施の形態に関して説明したが、添付の特許請求の範囲に記載される本発明の範囲から逸脱せずに、様々な変形を採用しうる。
【００５９】
【発明の効果】
本発明は、ＭＰＥＧ−２およびＭＰＥＧ−４圧縮ビデオシーケンスのインデックス化のための急なシーン変更検出およびフェード検出方法に関する。圧縮した形態の信号に適用される急なシーン変更およびフェード検出技術は、エントロピ符号化に基づき、計算的に高価な逆離散コサイン変換（ＤＣＴ）を必要としないため、妥当な精度があり、高い平易性という利点を有する。
【図面の簡単な説明】
【図１】本発明のある態様を示す概略的なブロック図である。
【符号の説明】
２０圧縮領域におけるＩフレームのみを使用して推測されるシーン変更を見つけるステップ、３０Ｐフレームにわたるビット割り当て分布を使用して、先行ステップで識別された領域における急なシーン変更を見つけるステップ、４０正／負ＤＣ剰余係数の数を使用して、先行ステップで識別された領域におけるフェードイン／フェードアウトシーン変更を見つけるステップ。

Claims

圧縮形式でのデジタル画像表現ビデオデータの処理方法であって、
少なくともＩフレームとＩフレーム間で発生するＰフレームとを有する圧縮形式のデジタル画像表現ビデオデータのシーケンスから、一時的に隣接するＩフレームのセットを含むフレームのサブシーケンスを抽出するステップと、
前記サブシーケンスにおける各フレームについて、前記圧縮形式のデータを処理して、前記Ｉフレームそれぞれにおける対応するＤＣ画像値を抽出するステップと、
前記Ｉフレームの一時的に隣接する対について、前記対応するＤＣ画像値を比較して、第１の閾値を超過する差分情報のインスタンスを検出するステップと、
前記比較ステップにしたがって、潜在的なシーン変更を示すＩフレームの対を識別するステップと、
潜在的なシーン変更を示すとしてＤＣ画像差分から識別されたＩフレーム間で発生するＰフレームのみについてのビデオデータを検索するステップと、
検索されたＰフレームにわたってビット割り当て分布差分を決定し、急なシーン変更の発生を見つけるステップと、前記検索されたＰフレームにおける、第２の閾値を超過する正および負のＤＣ剰余係数の数を決定し、フェードインおよびフェードアウトのシーン変更それぞれを見つけるステップとにより、シーン変更の発生を検出するステップと
を含む圧縮形式でのデジタル画像表現ビデオデータの処理方法。
前記圧縮形式のビデオデータは、前記Ｉフレームそれぞれの各マクロブロックの各ブロックに関連する第１の離散コサイン変換（ＤＣＴ）係数を少なくとも含み、
処理して前記ＩフレームそれぞれにおいてＤＣ画像値を抽出する前記ステップは、前記マクロブロックそれぞれの各ブロックについて前記第１のＤＣＴ係数を平均化して、各ＩフレームについてＤＣ画像値のセットを形成することを含み、
前記比較ステップは、一時的に隣接するＩフレームについて対応するＤＣ画像値のセットを比較し、前記差分情報を生成することを含む、請求項１記載の方法。
前記圧縮形式のビデオデータは、前記Ｉフレームにおける各オブジェクトの各マクロブロックの各ブロックに関連した第１の離散コサイン変換（ＤＣＴ）係数を少なくとも含み、
処理して前記ＩフレームそれぞれにおいてＤＣ画像値を抽出する前記ステップは、前記オブジェクトそれぞれの前記各マクロブロックの各ブロックについての前記第１のＤＣＴ係数を平均化して、前記Ｉフレームそれぞれにおける各オブジェクトについてＤＣ画像値のセットを形成することを含み、
前記比較ステップは、前記一時的に隣接するＩフレームにおける対応するオブジェクトについてのＤＣ画像値のセットを比較して、前記差分情報を生成することを含む、請求項１記載の方法。
前記対応するオブジェクトは、一時的に隣接するＩフレームにおいて最も近い対応空間を占有するオブジェクトである、請求項３記載の方法。
検索されたＰフレームにわたるビット割り当て分布差分を決定する前記ステップは、
検索されたフレームそれぞれにおける各オブジェクトについて、そのそれぞれのフレームにおける各マクロブロックを符号化するのに必要なビット数からなるビットレートマトリクスを構築することと、
検索されたＰフレームの一時的に隣接する対それぞれにおける各オブジェクトの前記ビットレートマトリクスを比較して、マクロブロックビット差分によりマクロブロックの絶対値の和を含むレート差分を決定することと、
前記対のフレームそれぞれにおける各オブジェクトについて、前記フレームにおける前記オブジェクトを符号化するのに使用されるビットの総数で除算することにより、前記レート差分を正規化することと
を含む、請求項３記載の方法。
シーン変更を検出して急なシーン変更の発生を見つける前記ステップはさらに、
第１の所定数の隣接フレーム上の前記ビットレート差分を互いに比較することにより、急なシーン変更を示す正規化されたビットレート差分の発生を決定し、その隣接フレームのいずれかに関連するものより実質的に２倍よりも大きい任意の正規化ビットレート差分を識別することを含む、請求項５記載の方法。
前記第１の所定数は少なくとも５である、請求項６記載の方法。
ＤＣ画像値を比較する前記ステップは、
前記一時的に隣接するＩフレームの対における対応するマクロブロックのＤＣ値を比較して、前記ＤＣ値間の差分を決定することと、
前記Ｉフレームの対におけるすべてのマクロブロックについての前記差分すべての絶対値を合計することと、
前記絶対値の和をＩフレームにおけるマクロブロックの数で除算して、マクロブロック当たりの平均差分を決定することと、
前記平均差分と前記第１の閾値とを比較して、前記平均差分が前記第１の閾値よりも大きい場合に可能なシーン変更を表明することと
を含む、請求項１記載の方法。
前記第１の閾値は約０．２５である、請求項８記載の方法。
検索したＰフレームにわたるビット割り当て分布差分を決定する前記ステップは、
検索されたフレームそれぞれにおける各オブジェクトについて、そのそれぞれのフレームの各マクロブロックを符号化するのに必要なビット数からなるビットレートマトリクスを構築することと、
検索されたＰフレームの一時的に隣接する対それぞれにおける各オブジェクトについて前記ビットレートマトリクスを比較して、マクロブロックビット差分によりマクロブロックの絶対値の和を含むビットレート差分を決定することと、
前記対のフレームそれぞれにおける各オブジェクトについて、前記オブジェクトを符号化するのに使用されるビットの総数によって除算することにより、前記ビットレート差分を正規化することと、
を含む、請求項３記載の方法。
シーン変更を検出して急なシーン変更の発生を見つける前記ステップはさらに、
第１の所定数の隣接フレーム上の前記ビットレート差分を互いに比較することにより、急なシーン変更を示す正規化されたビットレート差分の発生を決定し、その隣接フレームに関連するものより実質的に２倍よりも大きい正規化ビットレート差分を識別することを含む、請求項１０記載の方法。
前記第１の所定数は少なくとも５である、請求項１１記載の方法。
検索したＰフレームにわたるビット割り当て分布差分を決定する前記ステップは、
検索されたフレームそれぞれにおける各オブジェクトについて、そのそれぞれのフレームの各マクロブロックを符号化するのに必要なビット数からなるビットレートマトリクスを構築することと、
検索されたＰフレームの一時的に隣接する対それぞれにおける各オブジェクトについて前記ビットレートマトリクスを比較して、マクロブロックビット差分によりマクロブロックの絶対値の和を含むレート差分を決定することと、
前記対のフレームそれぞれにおける各オブジェクトについて、前記フレームの前記オブジェクトを符号化するのに使用されるビットの総数によって除算することにより、前記レート差分を正規化することと
を含む、請求項１記載の方法。
シーン変更を検出して急なシーン変更の発生を見つける前記ステップはさらに、
第１の所定数の隣接フレーム上の前記ビットレート差分を互いに比較することにより、急なシーン変更を示す正規化されたビットレート差分の発生を決定し、その隣接フレームのいずれかに関連するものより実質的に２倍よりも大きい正規化ビットレート差分を識別することを含む、請求項１３記載の方法。
前記第１の所定数は少なくとも５である、請求項１４記載の方法。
前記検索されたＰフレームにおける正および負のＤＣ剰余係数の数を決定する前記ステップは、
潜在的なシーン変更を示すとして識別されるＩフレームの対間の各サブシーケンスに含まれる各Ｐフレームの前記圧縮されたフレームデータを処理して、前記含まれているＰフレームそれぞれについての符号情報を含む、対応するＤＣ剰余係数を抽出することと、
前記含まれているＰフレームにおける、第２の閾値を超過する正および負のＤＣ剰余係数の数を決定して、フェードインおよびフェードアウトのシーン変更をそれぞれ見つけることと
を含む、請求項１記載の方法。
前記決定ステップは、
前記Ｐフレームそれぞれにおける正のＤＣ成分を有するブロックの数と負のＤＣ成分を有するブロックの数をカウントすることと、
どちらのカウントが大きいかを決定して、前記Ｐフレームそれぞれについて大きいほうの符号を保存することと、
前記大きいほうのカウントが前記フレームの非ゼロＤＣ成分の所定の大部分以上である、各Ｐフレームを識別することと、
特定符号のＤＣ成分が一貫して反対符号のＤＣ成分を超過するピクチャの各群を識別することと、
前記識別されたピクチャの各群における前記大きいほうのカウントが正の符号に関連する場合にフェードインのシーン変更を示すことと、
前記識別されたピクチャの各群における前記大きいほうのカウントが負の符号に関連する場合にフェードアウトのシーン変更を示すことと
を含む、請求項１６記載の方法。
各Ｐフレームを識別する前記ステップはさらに、前記大きいほうのカウントが前記フレームにおける非ゼロＤＣ成分の６０％以上である各Ｐフレームを識別することを含む、請求項１７記載の方法。
検索したＰフレームにわたるビット割り当て分布差分を決定する前記ステップは、
検索されたフレームそれぞれにおける各オブジェクトについて、それぞれのフレームの各マクロブロックを符号化するのに必要なビット数からなるビットレートマトリクスを構築することと、
検索されたＰフレームの一時的に隣接する対それぞれにおける各オブジェクトについて前記ビットレートマトリクスを比較して、マクロブロックの絶対値の和を含むレート差分をマクロブロックビット差分により決定することと、
前記対のフレームそれぞれにおける各オブジェクトについて、前記フレームの前記オブジェクトを符号化するのに使用されるビットの総数によって除算することにより、前記レート差分を正規化することと
を含む、請求項１６記載の方法。
シーン変更を検出して急なシーン変更の発生を見つける前記ステップはさらに、
隣接フレームの第１の所定数における前記ビットレート差分を互いに比較することにより、急なシーン変更を示す正規化されたビットレート差分の発生を決定し、その隣接フレームのいずれかに関連するものより実質的に２倍よりも大きい任意の正規化ビットレート差分を識別することを含む、請求項１９記載の方法。