JP4928451B2 - ビデオデータを処理する装置および方法 - Google Patents

Description

関連出願

本出願は2004年7月30日出願の米国特許仮出願第60/598,085号「主成分分析を利用するビデオ圧縮システムおよび方法（System And Method For Video Compression Employing Principal Component Analysis）」の優先権を主張する。

本発明は一般にディジタル信号処理の分野、さらに詳細には、信号または画像データ、最も詳細には、ビデオデータの効果的な表現および処理のための装置および方法に関する。

本発明が属する従来技術の一般的なシステムの説明が図１に示されている。ここで、ブロックダイヤグラムは典型的な従来技術のビデオ処理システムを示している。このようなシステムは一般に、以下のステージ、すなわち入力ステージ１０２、処理ステージ１０４、出力ステージ１０６、および１つまたは複数のデータ記憶機構１０８を有する。

入力ステージ１０２は、カメラセンサ、カメラセンサアレイ、距離計測（range finding）センサといった構成要素、または記憶機構からデータを読み出す手段を有する。入力ステージは、人工および／または自然発生の現象の時間相関のあるシーケンスを表すビデオデータを提供する。データの顕著な要素はノイズまたは他の望ましくない信号によってマスクまたは汚染されているかもしれない。

データストリーム、アレイまたはパケットの形式のビデオデータが、予め定義された転送プロトコルに従って、直接に、または中間記憶要素１０８を介して処理ステージ１０４に提供される。処理ステージ１０４は、専用のアナログもしくはディジタルデバイス、または中央処理装置（ＣＰＵ）、ディジタル信号プロセッサ（ＤＳＰ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブル装置の形式をとり、所望の一連のビデオデータ処理操作を実行する。処理ステージ１０４は通常１つまたは複数のＣＯＤＥＣ（符号器／復号器）を有する。

出力ステージ１０６は、信号、表示、またはユーザもしくは外部装置に影響を与えることが可能な他の応答を生成する。一般に、出力装置は、インジケータ信号（表示信号）、表示、ハードコピー、記憶装置において処理される処理データ表現を生成するために、または遠隔地にデータ伝送を開始するために用いられる。さらに、後続の処理操作における使用のために、中間信号または制御パラメータを提供するように用いられてもよい。

記憶装置はこのシステムにおいて随意の要素として提示されている。用いられる場合、記憶要素１０８は、読取専用記憶媒体のような不揮発性、または動的ランダムアクセスメモリ（ＲＡＭ）のような揮発性であってもよい。単一のビデオ処理システムが、入力ステージ、処理ステージおよび出力ステージに対して様々な関係を有する、複数タイプの記憶要素を有することは珍しいことではない。このような記憶要素の例は、入力バッファ、出力バッファおよび処理キャッシュである。

図１のビデオ処理システムの主な目的は、入力データを処理して特定の用途に対して有意義な出力を生成することである。この目的を達成するために、ノイズ低減もしくは除去、特徴抽出、オブジェクトのセグメント化および／もしくは正規化、データのカテゴリー分類、イベントの検出、編集、データの選択、データの再コード化、ならびにトランスコーディングなどの処理操作が利用される。

ほとんど制約されていないデータを生成する多くのデータソースは、人々、特に音響および視覚映像にとって重大な問題である。ほとんどの場合、これらのソース信号の基本的特性が、効率的なデータ処理目的に悪影響を与える。技術的仮定を導く際に用いられる単純な経験的および発見的方法から生じるエラーを持ち込むことなく信頼性の高い効率的な方法でデータを処理するには、ソースデータの本質的な変動性が障害となる。入力データが、狭く定義された特性セット（例えば、限定された記号値のセットまたは狭い帯域幅）に自然または故意に制限される場合、この変動性は用途に応じて減少される。これらの全ての制約は、ほとんどの場合、商業価値の低い処理技術をもたらす。

信号処理システムの設計は、システムの意図する用途および入力として使用されるソース信号の期待される特性によって影響される。ほとんどの場合、要求される性能効率もまた重要な設計因子である。すなわち、性能効率は、利用可能なデータ記憶と比較した処理データ量、ならびに利用可能な計算能力と比較したアプリケーションの計算の複雑性によって影響される。

従来のビデオ処理方法では、遅いデータ通信速度、大きな記憶容量条件、および妨害となる知覚呈示（知覚を刺激するもの（perceptual artifact））の形態で現れる、多くの非効率に苦しんでいる。ユーザが所望するビデオデータの使用および操作の方法は様々であり、また、特定の形式の視覚情報に対してユーザが生得的感受性を有するため、これらは重大な問題となる可能性がある。

「最適な」ビデオ処理システムは、所望の一連の処理操作の実行において、効率的であり、信頼性が高く、頑健である。このような操作には、データの記憶、伝送、表示、圧縮、編集、暗号化、強調、カテゴリー分類、特徴検出および認識が含まれる。２次的操作は、他の情報源とこのように処理されたデータの統合を含む。このような処理システムの場合において同様に重要なのは、知覚呈示の混入を回避することによって、出力が人間の視覚に対応していなければならない。

ビデオ処理システムの速度、効率および品質が入力データのいずれかの特定の特性の特異性に強く依存しない場合、ビデオ処理は「頑健（ロバスト）である」と説明される。頑健性はまた、入力のいくつかにエラーがあるときに操作を実行する能力に関係する。多くのビデオ処理システムは、アプリケーションの汎用的な集合への適用を可能にするだけの十分な頑健性を有しない。これらシステムは、システムの開発に使用された同一の狭く制約されたデータへの適用のみを提供する。

入力要素のサンプリングレートが検出現象の信号特性に適合しないことによって、顕著な情報が、連続値のデータソースの離散化において失われる可能性がある。また、信号強度がセンサの限界を超える場合も損失が発生し、飽和を生じさせる。同様に、入力データの全範囲の値が一連の離散値によって表現される場合、任意の量子化プロセスが実行されて入力データの精度が低下する際に情報が失われ、これによりデータの表現の精度が低下する。

集合体多様性は、データまたは情報ソースの集合におけるあらゆる不確定要素に触れる。視覚情報は一般に制限がないため、視覚情報のデータ表現は極めて大きい集合体多様性を有する。視覚データは、センサアレイ上に入射する光によって形成される、空間アレイシーケンスまたは時空間シーケンスを表現する。

視覚現象のモデル化において、ビデオプロセッサは、一般に、データの表現または読取りに、いくつかの一連の制限および／または構造を課す。この結果、このような方法は、出力の品質、出力に関する信頼性、およびデータに確実に実行される後続の処理タスクの種類に影響を与える、系統的エラーを発生させる可能性がある。

量子化方法は、そのデータの統計的変動を保持することを試みる一方、ビデオフレーム内のデータ精度を低下させる。一般に、ビデオデータは、データ値の分布が確率分布に収集されるように解析される。また、データを空間周波数の混合データとして特徴付けるためにデータを位相空間に射影する方法もあり、これにより、精度の低下が拡散され、好ましい状態になる。これら量子化が集中的に利用されると、しばしば、知覚的に信じがたい色を発生させ、ビデオフレームの元の滑らかな領域に急峻な画素データを発生させる。

また、一般に、データの局所的な空間類似性を利用するために、差分コード化が用いられる。フレームの一部分におけるデータが、このフレームにおいて類似データの周辺で塊となっている傾向がある。また、後続のフレームにおいて同様の位置で塊となっている傾向がある。したがって、空間的に近接するデータに関するデータ表現は、量子化と組み合わせることができ、最終結果は、所定の精度に対して、差分表現がデータの絶対値を使用するよりも正確になる。例えば、白黒ビデオまたは低水準のカラービデオなどのように元のビデオデータのスペクトル解像度が制限される場合、この仮定はよく当てはまる。ビデオのスペクトル解像度が高くなると、同様の仮定が成り立たなくなる。これは、ビデオデータの精度を選択的に保護できないことに起因する。

残差のコード化は、表現のエラーをさらに差分コード化して、元のデータの精度を所望のレベルの正確度に復元する点で、差分コード化に類似する。

これらの方法の多様性は、空間位相および空間スケールにおけるデータの相関関係を明らかにする別の表現にビデオデータを変換することを試みる。ビデオデータがこれらの方法で変換されると、量子化および差分コード化の方法が変換データに適用されて、顕著な画像特徴の保持性の増加をもたらす。これら変換ビデオ圧縮技術のもっとも普及している２つの方法は、離散コサイン変換（ＤＣＴ）および離散ウェーブレット変換（ＤＷＴ）である。ＤＣＴにおけるエラーはビデオデータ値の広範な変動として現れ、したがって、これらの誤った相関を局所化するために、ＤＣＴは一般にビデオデータのブロックにおいて使用される。この局所化による呈示（artifact）はブロックの境界に沿って現れることが多い。ＤＷＴについては、基本関数と特定のテクスチャの間に不一致が存在すると、より複雑な呈示が発生し、これにより「ぼけ」が引き起こされる。ＤＣＴおよびＤＷＴの悪影響を打ち消すために、表現の精度を上げて、重要な帯域幅を犠牲にして歪みを低減している。

本発明は、既存の最新のビデオ処理方法に、計算および解析の両方における利点を提供するビデオ処理方法である。発明の方法の原理は、線形分解方法、空間セグメント化方法および空間正規化方法の統合である。ビデオデータを空間的に制約することにより、線形分解方法の頑健性および適用性を大幅に向上する。これに加えて、データの空間セグメント化は、高変化データが解析データに空間的に近接する場合、誘引される非線形性を軽減する。

詳細には、本発明は、信号データを効率的に処理して１つまたは複数の有益な表現を得る手段を提供する。本発明は、多くの一般に発生するデータセットの処理において有効であり、特に、ビデオおよび画像データの処理において有効である。本発明の方法は、データを解析し、このデータの１つまたは複数のコンパクトな表現を提供することによって、この処理およびコード化を容易にする。新しい、よりコンパクトなデータ表現のそれぞれは、ビデオデータのコード化、圧縮、伝送、解析、記憶および表示（これらに限定されない）を含む、多数の用途に対する、計算処理、伝送帯域幅および記憶容量の条件の低減を可能にする。本発明は、ビデオデータの顕著なコンポーネントを識別および抽出する方法を含み、データの処理および表現における優先順位付けを可能にする。信号のノイズおよび他の望ましくない部分は優先順位がより低いと識別され、したがって、さらなる処理は、より高い優先順位のビデオ信号の部分の解析および表現に焦点が合わされる。その結果、ビデオ信号は、以前に可能であったものよりも、よりコンパクトに表現される。正確度における損失は、知覚的に重要ではないビデオ信号の部分に集中する。

ビデオ信号データでは、通常３次元シーンを２次元画像面への射影として描く画像シーケンスに、ビデオフレームが組み立てられる。各フレームすなわち画像は、サンプル信号に対する画像センサ応答を表現する画素（pel）から構成される。多くの場合、サンプル信号は、２次元センサアレイによってサンプル化される特定の反射、屈折または放射された電磁エネルギに相当する。連続的な逐次サンプリングによって、フレーム当たりの空間２次元と、ビデオシーケンスにおけるフレーム順序に対応する時間次元とを備える、時空間データストリームを得ることができる。

本発明は、図２に示されているとおり、信号データを解析して顕著なコンポーネントを識別する。信号がビデオデータから構成される場合、時空間ストリームの解析により、顔のような特定のオブジェクトであることが多い、顕著なコンポーネントを明らかにする。識別処理は、顕著なコンポーネントの存在および重要度を限定し、これら限定した顕著なコンポーネントの１つまたは複数の最重要部分を選択する。これは、ここで説明されている処理後または処理と同時に行われる、顕著性がより小さい他の顕著なコンポーネントの識別および処理を制限するわけではない。上述の顕著なコンポーネントはその後さらに解析され、変化するサブコンポーネントおよび不変のサブコンポーネントを識別する。不変サブコンポーネントの識別は、コンポーネントの特定の外観のモデル化処理である。これにより、コンポーネントを所望の正確度に合成できるモデルのパラメータ化が明らかになる。

本発明の一実施形態では、前景のオブジェクトが検出され追跡される。オブジェクトの画素はビデオの各フレームから識別されてセグメント化される。ブロックに基づく動き検出（動きベクトル探索）が、複数フレーム中のセグメント化されたオブジェクトに適用される。次に、これらの動き検出は高次の動きモデルに統合される。動きモデルを利用して、オブジェクトのインスタンスを共通の空間構成に包み込む。この構成において、特定のデータに対しては、オブジェクトのより多くの特徴が一つにまとめられる。この正規化によって、複数フレームにわたってオブジェクトの画素値の線形分解が可能になり、コンパクトに表現される。オブジェクトの外観（アピアランス）に関係する顕著な情報は、このコンパクトな表現に包含されている。

本発明の好ましい実施形態は、前景のビデオオブジェクトの線形分解を詳述する。オブジェクトは空間的に正規化され、これによりコンパクトな線形外観モデルを生成する。別の好ましい実施形態はさらに、空間的正規化の前に、ビデオフレームの背景から前景のオブジェクトを分割する。

本発明の好ましい実施形態は、少しだけ動いてカメラに向かって話す人物のビデオに本発明を適用する。

本発明の好ましい実施形態は、空間的変換によって、鮮明に表現されるビデオ内の任意のオブジェクトに本発明を適用する。

本発明の好ましい実施形態は、特に、ブロックに基づく動き検出を用いて、ビデオの２または３以上のフレーム間での有限差分を求める。高次の動きモデルが、より効率的な線形分解を提供するために、有限差分から因子分解される。

＜検出および追跡＞
信号の構成要素の顕著なコンポーネントが決定されると、これらのコンポーネントは保持され、他のすべての信号コンポーネントは減少または除去される。保持されるコンポーネントはビデオデータの中間的な形式を表現する。この中間データは、通常は既存のビデオ処理方法には利用されない方法を用いて、コード化される。中間データが複数の形式で存在するので、これらの中間的形式のいくつかをコード化するのに、標準のビデオコード化技術が用いられる。それぞれの例について、本発明は、もっとも効率的なコード化技法を決定して採用する。

顕著なコンポーネントの解析処理は、顕著な信号モードを検出して分類する。この処理の一実施形態は、強度がビデオフレーム内のオブジェクトの検出された顕著なコンポーネントに関連する応答信号を生成するように特に設計された空間フィルタの組み合わせを用いる。識別器が、ビデオフレームの異なる空間スケールで、異なる位置に、適用される。識別器からの応答強度が、顕著な信号モードの存在の可能性を示す。顕著性が強いオブジェクトが集中している場合、処理はそれを強い応答と識別する。顕著な信号モードの検出は、ビデオシーケンス内の顕著な情報に関する後続の処理および解析を可能にすることによって、本発明を特徴付ける。

１つまたは複数のビデオフレーム内の顕著な信号モードの検出位置が与えられると、本発明は、顕著な信号モードの不変の特徴を解析する。加えて、本発明は、不変の特徴について、残差信号、すなわち「突出性の小さい」信号モードを解析する。不変の特徴の識別が、冗長な情報の低減および信号モードのセグメント化（すなわち分離）の基礎となる。

＜特徴点の追跡＞
本発明の一実施形態では、１つまたは複数のフレーム内の空間位置が、空間強度フィールドの勾配解析を通して決定される。これらの特徴は、「コーナー」として大まかに記載できる「線」の交点に対応する。このような実施形態はさらに、両方とも強いコーナーで相互に空間的に異なるコーナー（ここでは特徴点と称する）の一連を選択する。さらに、オプティカルフロー推定の階層的な多重解像度を用いて、特徴点の時間的な並進変位を求めることができる。

特徴点追跡の限定されない実施形態を利用することによって、ブロックに基づく動き検出などのより一般的な勾配解析を行うために、特徴点を用いることができる。

別の実施形態は、特徴点追跡を基礎とする動き検出の予測を前もって処理する。

＜オブジェクトを基礎とする検出および追跡＞
本発明の限定されない一実施形態では、頑健なオブジェクト識別器を用いてビデオフレーム内の顔を追跡する。このような識別器は顔に向けられた方位エッジに対するカスケード応答を基礎とする。この識別器では、エッジは一連の基本的なＨａａｒ特徴として定義され、これら特徴の回転は４５°ごとである。カスケード識別器はＡｄａＢｏｏｓｔアルゴリズムの変形形態である。さらに、応答計算は、エリア総和テーブルを使用して最適化される。

＜局所的位置合わせ＞
位置合わせは、２つまたはこれ以上のビデオフレーム内で識別されるオブジェクトの要素間の相関関係の指定を伴う。これらの相関関係は、ビデオデータ内の時間的に別個の点におけるビデオデータ間の空間関係のモデル化の基礎となる。

特定の実施形態を説明し、これら実施形態に関連する、公知のアルゴリズムおよびこれらのアルゴリズムの発明派生物に関して、実行作業の低減を説明するために、本発明では、位置合わせの様々な限定されない手段が記述される。

時空シーケンス内の明白なオプティカルフローのモデル化の１つの手段は、２つまたはそれ以上のビデオデータのフレームから有限の場の生成を通して達成される。相関関係が空間および強度感知の両方において特定の一定の制約条件に適合する場合、オプティカルフロー場をわずかに予測できる。

＜ダイアモンド探索＞
ビデオフレームを重複しないようにブロックに分割すると仮定して、各ブロックに対する一致について前のビデオフレームを探索する。全域探索ブロックベース（ＦＳＢＢ）の動き検出によって、現在のフレーム内のブロックと比較する際、前のビデオフレーム内の最小エラーを有する位置を見出す。ＦＳＢＢの実行は計算的に極めて負荷が大きく、多くの場合、局所的動きの仮定に基づいた他の動き検出方式に比べて優れた一致を得るとは限らない。ダイアモンド検索ブロックベース（ＤＳＢＢ）の勾配降下動き検出は、各種サイズのダイアモンド形状の探索パターンを用いて、ブロックの最高一致の方向にエラー勾配を反復的に移動するものであって、ＦＳＢＢに対する一般的な代替方法である。

本発明の一実施形態では、ＤＳＢＢは、１つまたは複数のビデオフレームの間の画像勾配場の解析に用いられ、その値が後に高次動きモデルに因子分解される有限差分を生成する。

ブロックベースの動き検出が規則的メッシュの頂点の解析の同等物と捉えることができることを、当業者は認識するであろう。

＜位相ベースの動き検出＞
従来技術では、ブロックベースの動き検出は一般に、１つまたは複数の空間一致をもたらす空間探索として実現されていた。位相ベースの正規化相互相関（ＰＮＣＣ）は、図３に示されているとおり、現在のフレームおよび前のフレームからのブロックを「位相空間」に変換し、これらの２つのブロックの相互相関を見出す。相互相関は、値の位置が２つのブロック間のエッジの「位相シフト」に対応する、値の場として表現される。これらの位置はしきい値化によって分離され、その後、空間座標に変換して戻される。空間座標は別個のエッジ変位であり、動きベクトルに対応する。

ＰＮＣＣの利点は、ビデオストリームにおける利得／露出調整の許容差を可能にするコントラストマスキングを含むことである。また、ＰＮＣＣは、空間ベースの動き検出量から多くの反復値を取得する単一ステップからの結果を可能にする。さらに、動き検出はサブピクセル精度である。

本発明の一実施形態は、１つまたは複数のフレーム間の画像勾配場の解析にＰＮＣＣを利用することにより、その値が後に高次の動きモデルに因子分解される有限差分を生成する。

＜全体位置合わせ＞
一実施形態では、本発明は、有限差分予測値の場から１つまたは複数の線形モデルを因子分解する。このようなサンプリングが発生する場を、ここでは、有限差分の母集団と称する。ここで説明される方法はＲＡＮＳＡＣアルゴリズムの予測値と同様な頑健な予測値を用いる。

線形モデル予測アルゴリズムの一実施形態では、動きモデルの推定量は線形の最小２乗解に基づいている。この依存性により、推定量は異常値データによって狂わされてしまう。ＲＡＮＳＡＣに基づいて、ここで開示されている方法は、データの部分集合の反復的な予測によって異常値の影響に対抗し、データの重要な部分集合を記述する動きモデルを探求する、頑健な方法である。各探求によって生成されるモデルは、モデルを表すデータのパーセンテージについて試験される。十分な数の反復が行われている場合、モデルはデータの最大の部分集合に適合すると見なされる。

図４において考察され示されているとおり、本発明は有限差分の初期サンプリング（サンプル）および線形モデルの最小２乗予測を含む代替アルゴリズムの形態で、ＲＡＮＳＡＣアルゴリズムを超える革新的方法を開示する。総合エラーが、解明された線形モデルを用いて母集団内の全サンプルに対して査定される。サンプルの残差が事前設定のしきい値に一致するサンプル数に基づいて、線形モデルにランク（順位）が割り当てられ、このランクは「候補コンセンサス」とみなされる。

最終基準が満たされるまで、初期サンプリング、解明およびランク付けが反復的に実行される。基準が満たされると、最大ランクの線形モデルが集団の最終コンセンサスとみなされる。

随意の改良工程では、候補モデルに最適適合する順に、サンプルの部分集合を反復的に解析し、１つまたは複数のサンプルの追加が部分集合全体に対する残差エラーのしきい値を超えるまで部分集合サイズを増加する。

本発明の開示された限定されない実施形態はさらに、有限差分ベクトルの場として上述したベクトル空間のサンプリングの一般方法として一般化され、これにより、特定の線形モデルに対応する別のパラメータベクトル空間における部分空間の多様体を求めることができる。

全体位置合わせ処理の別の結果は、この処理と局所的位置合わせ処理との間の差が局所的位置合わせの残差を生じることである。この残差は局所モデルへの近似における全体モデルのエラーである。

＜正規化＞
正規化は、標準または共通の空間構成のために空間強度場を再サンプリングすることを意味する。これら相対的な空間構成がこのような構成の間で可逆空間変換である場合、画素の再サンプリングおよびこれに伴う補間もまた位相限界まで可逆性を有する。本発明の正規化方法は図５に示されている。

３つ以上の空間強度場が正規化されるとき、中間の正規化の計算を保存することによって、計算効率が向上する。

位置合わせの目的、すなわち正規化のために画像を再サンプルするのに使用される空間変換モデルは、全体モデルおよび局所モデルを含む。全体モデルは、並進から射影への増加分である。局所モデルは、基本的にはブロックによって、またはより複雑には区分線形メッシュによって決定される、隣接画素の補間を暗示する有限差分である。

オリジナルの強度場の正規化強度場への補間は、強度場の部分集合に基づいたＰＣＡ外観モデルの線形性を向上する。

＜セグメント化＞
詳述するセグメント化処理によって識別される空間不連続性は、不連続のそれぞれの境界の幾何パラメータ化によって効率的にコード化され、これらを空間不連続モデルと称する。これらの空間不連続モデルは進化した方法でコード化され、コード化の部分集合に対応するより簡潔な境界記述を可能にする。進化したコード化は、空間不連続の顕著な様相の大部分を保持しながら、空間形状の優先順位付けの頑健な方法を提供する。

本発明の好ましい実施形態は多重解像度のセグメント化解析と空間輝度場の勾配解析とを組み合わせて、頑健なセグメント化を達成するためにさらに時間安定性の制約を用いる。

本発明により利用される不変の特徴の解析の一形態は、空間不連続の識別に焦点が当てられる。これらの不連続は、エッジ、影、遮蔽、線、コーナー、または、１つもしくは複数のビデオの画像フレーム内の画素間の急激で識別可能な分離を発生させる、その他の可視特徴物として現れる。さらに、ビデオフレーム内のオブジェクトの画素が、互いに異なる動きではなく、オブジェクト自体に対してコヒーレントな動きを受ける場合にのみ、類似の色および／またはテクスチャのオブジェクト間の微細な空間不連続が現れる。本発明は、空間、テクスチャ（強度勾配）および動きのセグメント化の組み合わせを利用して、顕著な信号モードに関連する空間不連続を頑健に識別する。

＜時間セグメント化＞
並進動きベクトルの時間積分、すなわち高次動きモデルへの、空間強度場における有限差分の測定は、従来技術で説明されている動きセグメント化の形式である。

本発明の一実施形態では、動きベクトルの高密度場を生成して、ビデオ内のオブジェクト動きの有限差分を表現する。これらの導関数は、タイルの規則的分割によって、または空間セグメント化などの特定の初期化手順によって、空間的に一体にグループ化される。各グループの「導関数」は、線形の最小２乗推定量を使用して高次の動きモデルに統合される。次に、結果として生じた動きモデルが、ｋ平均法クラスタ化技法を用いて動きモデル空間内のベクトルとしてクラスタ化される。導関数は、いずれのクラスタがそれら導関数に最も適合するかに基づいて分類される。次に、クラスタラベルが、空間分割の発現として空間的にクラスタ化される。この処理は空間分割が安定するまで続けられる。

本発明の別の実施形態では、所定の開口の動きベクトルが開口に対応する一連の画素位置に対して補間される。この補間によって定義されたブロックが、オブジェクト境界に対応する画素間を橋渡しする場合、結果として生じる分類はブロックの特定の特異な対角領域分割（anomalous diagonal partitioning）である。

従来技術では、導関数を統合するのに用いられる最小２乗推定量は異常値に極めて敏感である。この敏感のために、反復が広範囲に発散する点に動きモデルのクラスタ化方法を大きく偏らせる、動きモデルを生成する。

本発明においては、動きセグメント化の方法は、２つまたはそれ以上のビデオフレーム全体にわたる明らかな（目に見える）画素動きの解析によって空間不連続を識別する。この明らかな動きは、ビデオフレーム全体にわたる一貫性に関して解析され、パラメータの動きモデルに組み込まれる。このような一貫した動きに関連する空間不連続が識別される。時間変化は動きによって発生するため、動きセグメント化はまた、時間セグメント化と称することもできる。しかし、時間変化はまた、局所変形、明るさの変化などといった、いくつかの他の現象により発生する可能性がある。

ここで説明された方法によって、正規化方法に対応する顕著な信号モードは、複数の背景差分法の１つによって、周囲信号のモード（背景すなわち非オブジェクト）から識別でき、かつ分離できる。多くの場合、これらの方法は、各時刻において最小量の変化を示す画素として背景を統計的にモデル化する。変化は画素値の差として特徴付けられる。代わりに、動きセグメント化が、顕著な画像モードの検出された位置およびスケールを与えることによって達成される。距離変換を用いて、検出された位置からの各画素の距離を求めることができる。最大距離に対応する画素値が保持されている場合、背景の妥当なモデルを解明できる。言い換えれば、周囲信号は、信号差の測定を利用して時間的に再サンプル化される。

周囲信号のモデルを前提として、各時刻における完全な顕著信号モードの差を計算できる。これらの差のそれぞれを再サンプル化して、空間的な正規化信号差（絶対差）を得ることができる。次に、これらの差は相互に整列されて積算される。これらの差は顕著信号モードに対して空間的に正規化されているため、差のピークは、顕著信号モードの画素の位置にほぼ対応する。

＜勾配セグメント化＞
テクスチャのセグメント化方法、すなわち強度勾配セグメント化は、１つまたは複数のビデオフレーム内の画素の局所勾配を解析する。勾配応答はビデオフレーム内の画素位置近傍の空間不連続を特徴付ける、統計的測定値である。次に、いくつかの空間的クラスタ化方法の１つを用いて、勾配応答同士を組み合わせて空間領域を生成する。これらの領域の境界が、１つまたは複数のビデオフレームにおける空間不連続の識別に有効である。

本発明の一実施形態では、コンピュータグラフィックのテクスチャ生成からのエリア総和テーブルの概念が、強度場の勾配の計算を促進するために用いられる。連続的に合計された値の場を生成して、４つの追加操作と組み合わされる４つの参照を通してオリジナル場の任意の長方形の加算を促進する。

別の実施形態は、画像に対して生成されるHａｒｒｉｓ応答を用いて、各画素の近辺は均質なエッジまたは均質なコーナーのいずれかとして識別される。応答値はこの情報から生成され、フレーム内の各要素についてエッジまたはコーナーの度合いを示す。

＜スペクトルセグメント化＞
スペクトルセグメント化の方法は、ビデオ信号における白黒、グレースケールまたは色の画素の統計的確率分布を解析する。スペクトル識別器は、これらの画素の確率分布に対してクラスタ化操作を実行することにより構成される。次に、識別器を用いて、１つまたは複数の画素を確率クラスに属するとして分類する。次に、結果として得られた確率クラスおよびその画素はクラスラベルを与えられる。その後、これらのクラスラベルは明確な境界を有する画素の領域に空間的に関連付けられる。これらの境界は１つまたは複数のビデオフレーム内の空間不連続を識別する。

本発明は、空間分類に基づく空間セグメント化を利用して、ビデオフレーム内の画素をセグメント化する。さらに、領域間の対応は、空間領域と前のセグメント化における領域との重ね合わせに基づいて求められる。

ビデオフレーム内のオブジェクトに対応するより大きな領域に空間的に結合される連続的な色領域からビデオフレームが大まかに構成される場合、色付けされた（またはスペクトルの）領域の識別および追跡によって、ビデオシーケンス内のオブジェクトの後続のセグメント化が容易になることが観測されている。

＜外観モデル＞
ビデオ処理の共通の目的は、多くの場合、ビデオフレームのシーケンスの外観をモデル化して保存することである。本発明は、前処理を利用して、頑健で広範囲に利用可能な方法で適用される制限された外観のモデル化方法を実現することを目的としている。前述の位置合わせ、セグメント化および正規化は明からにこの目的のためのものである。

本発明は外観変化（appearance variance）モデル化の手段を開示している。線形モデルの場合における主要な基本は、線形相関を利用するコンパクトな基準を示す特徴ベクトルの解析である。空間強度場の画素を表現する特徴ベクトルは外観変化モデルにまとめられることができる。

別の実施形態においては、外観変化モデルは画素のセグメント化された部分集合から計算される。さらに、特徴ベクトルは、空間的に重複しない特徴ベクトルに分離される。このような空間分解は空間的タイル法を用いて達成される。計算効率は、より全体的なＰＣＡ方法の次元数減少を犠牲にすることなく、これらの時間集合の処理によって達成される。

外観変化モデルを生成すると、空間強度場の正規化を用いて、空間変換のＰＣＡモデル化を減少することができる。

＜ＰＣＡ＞
外観変化モデルを生成する好ましい手段は、ビデオフレームをパターンベクトルと組み合わせて訓練マトリックスとするか、または訓練マトリックスに主成分分析（ＰＣＡ）を組み合わせるかもしくは適用することである。このような展開が打ち切られると、結果として得られるＰＣＡ変換マトリックスは、ビデオの後続のフレームの解析および合成に用いられる。打ち切りレベルに基づいて、画素のオリジナルの外観の品質レベルの変更が達成される。

パターンベクトルの構成および分解の特定の手段が当業者には公知である。

顕著信号モードの周囲信号および空間正規化からの顕著信号モードの空間セグメント化を条件として、画素自体、すなわち結果として得られる正規化信号の外観は、画素の外観の表現の近似エラーとビットレートとの間の直接トレードオフを可能にする低ランクのパラメータ化を用いて線形相関性があるコンポーネントに含められることができる。

＜逐次（シーケンシャル）ＰＣＡ＞
ＰＣＡは、ＰＣＡ変換を用いて、パターンをＰＣＡ係数にコード化する。ＰＣＡ変換によって、より優れたパターンが表現されると、パターンをコード化するのに必要な係数がより少なくなる。訓練パターンの取得とコード化されるパターンとの間の時間の経過に伴ってパターンベクトルが劣化することを認識して、変換を更新することにより劣化に対抗する作用を助けることができる。新しい変換の生成に対する代わりとして、既存パターンの逐次更新が、特定の場合において計算的により有効である。

多くの最先端のビデオ圧縮アルゴリズムは、１つまたは複数の他のフレームから１つのビデオフレームを予測する。予測モデルは一般的に、重ならないタイルへの各予測フレームの分割に基づいている。この重ならないタイルは、別のフレーム内の対応するパッチおよびオフセット動きベクトルによってパラメータ化される関連の並進変位に一致する。随意にフレームインデックスと結合されるこの空間的変位が、タイルの「動き予測」の変形を提供する。予測エラーが特定のしきい値を下回る場合、タイルの画素は残差のコード化に適し、圧縮効率における対応する利得が存在する。そうでなければ、タイルの画素は直接コード化される。この種類のタイルに基づく（代わりとして、ブロックに基づく）動き予測方法は画素を含むタイルを並進させることによりビデオをモデル化する。ビデオの画像化現象がこの種類のモデル化に準拠する場合、対応するコード化の効率が向上する。このモデル化の制約は、ブロックに基づく予測に固有である並進条件に適合させるために、特定レベルの時間解像度すなわち１秒当たりのフレーム数が、動きのある画像化されるオブジェクトに持続すると仮定する。この並進モデルに関する別の必要条件は、特定の時間解像度に対する空間的変位が制限されていることである。すなわち、予測が導き出されるフレームと予測されるフレームとの間の時間差が、比較的短い絶対時間量でなければならない。これらの時間解像度および動き制限は、ビデオストリーム内に存在する、ある一定の冗長ビデオ信号コンポーネントの識別およびモデル化を促進する。

＜残差ベースの分解＞
MＰＥＧビデオ圧縮では、現在のフレームは動きベクトルを使用して前のフレームの動き補償によって形成され、次いで補償ブロックに対して残差の更新を適用し、最終的に十分な一致を有しないいずれかのブロックが新しいブロックとしてコード化される。

残差のブロックに対応する画素は、動きベクトルによって前のフレーム内の画素にマッピングされる。この結果は、残差の値を連続して適用することによって合成できるビデオを通る画素の時間経路である。これらの画素はＰＣＡを用いて最適に表現される画素として識別される。

＜遮蔽ベースの分解＞
本発明の別の改良は、ブロックに適用される動きベクトルが、画素を移動させることによって前のフレームからのいずれかの画素を遮蔽する（覆う）のか否かを決定する。各遮蔽の発生に対して、遮蔽画素を新しい層に分割する。また、履歴なしに出現する画素も存在する。出現した画素は現在のフレーム内のそれら出現画素に適合するいずれかの層に配置され、履歴の適合はその層に対して実施される。

画素の時間連続性は様々な層への画素の接続および接合によって維持される。安定した層モデルが得られると、各層内の画素はコヒーレント動きモデルとの帰属関係に基づいてグループ化される。

＜サブバンドの時間量子化＞
本発明の別の実施形態は、離散コサイン変換（ＤＣＴ）または離散ウェーブレット変換（ＤＷＴ）を用いて、各フレームをサブバンド画像に分解する。次に、主成分分析（ＰＣＡ）がこれらの「サブバンド」ビデオのそれぞれに適用される。この概念は、ビデオフレームのサブバンド分解がオリジナルのビデオフレームと比較して、サブバンドのいずれか１つにおける空間分散を減少することである。

動きのあるオブジェクト（人物）のビデオについては、空間分散がＰＣＡによってモデル化される分散を左右する傾向がある。サブバンド分解は、いずれの分解ビデオにおける空間分散も減少させる。

ＤＣＴについては、いずれのサブバンドに対する分解係数も、サブバンドのビデオに空間的に配置される。例えば、ＤＣ係数は各ブロックから取得され、オリジナルのビデオの郵便切手の変形ように見える、サブバンドのビデオに配置される。これは他のサブバンドのすべてに対して反復され、結果として得られるサブバンドビデオのそれぞれはＰＣＡを使用して処理される。

ＤＷＴでは、サブバンドはすでにＤＣＴに対して説明されている方法で配置される。限定されない実施形態において、ＰＣＡ係数の打ち切りは変化する。

＜ウェーブレット＞
データが離散ウェーブレット変換（ＤＷＴ）を用いて分解されると、多重帯域通過データセットが低い空間解像度になる。この変換処理は、単一のスカラー値を得るまで、導き出されたデータに再帰的に適用される。分解された構造におけるスカラー要素は一般に、階層的な親／子方式で関連付けられる。結果として得られるデータは多重解像度の階層的な構造および有限差分を含む。

ＤＷＴが空間強度場に適用されると、自然発生する画像現象の多くは、低い空間周波数のために、第１または第２の低帯域通過生成データ構造によってほとんど知覚損失なく表現される。階層構造の打ち切りは、高い周波数の空間データは、存在しないかノイズと見なされるかのいずれかである場合、コンパクトな表現を提供する。

ＰＣＡを用いることによって小数の係数で正確な再構築を達成できるが、変換自体は極めて大きい。この「初期」変換の大きさを低減するために、ウェーブレット分解の組込みゼロ・ツリー（ＥＺＴ）構造を用いて変換マトリックスのより正確な変形を連続的に形成することができる。

従来技術のビデオ処理システムを示したブロック図である。 ビデオ処理の主要なモジュールを示す、本発明の全体を提供するブロック図である。 本発明の動き検出方法を示したブロック図である。 本発明の全体の位置合わせ方法を示したブロック図である。 本発明の正規化方法を示したブロック図である。

Claims (10)

1. 複数のビデオフレームからビデオ信号データのコード化形式を生成するディジタルプロセッサ装置であって、
   ビデオフレームシーケンス内のオブジェクトを検出する手段と、
   前記ビデオフレームシーケンスの２またはそれ以上のフレームを通して前記オブジェクトを追跡する手段と、
   ２またはそれ以上のフレームにおける前記オブジェクトの対応する顕著なコンポーネントを識別する手段と、
   前記オブジェクトの対応する顕著なコンポーネントをモデル化して、２つ以上のビデオフレームにおけるブロックに基づく動き検出から生成される有限差分に基づくサンプリング母集団を識別するように、前記オブジェクトの対応する顕著なコンポーネントを解析することにより相関関係モデルを生成する、モデル化手段と、
   前記オブジェクトに対応する前記画素データを前記ビデオフレームシーケンス内の他の画素データからセグメント化して、セグメント化されたオブジェクト画素データを取得する、セグメント化手段であって、時間的なセグメント化を行うセグメント化手段と、
   前記相関関係モデルを利用して、前記ビデオフレーム内の前記オブジェクトに対応する前記セグメント化された画素データを再サンプリングする手段であって、前記再サンプリングされた画素データは前記ビデオフレームにおけるオブジェクトの中間形式である、再サンプリング手段と、
   主成分分析を適用することにより、前記再サンプリングされたオブジェクト画素データを分解する、分解手段とを備えた、ディジタルプロセッサ装置。
2. 請求項１において、前記再サンプリング手段および前記セグメント化手段が、さらに、前記オブジェクトに対応する画素データを前記ビデオフレームシーケンスにおける他の画素データから空間的にセグメント化して、誘引された非線形性を軽減する、ディジタルプロセッサ装置。
3. 請求項１において、前記セグメント化手段が、スペクトル、テクスチャおよび動きセグメント化の組み合わせを利用する、ディジタルプロセッサ装置。
4. 請求項１において、相関関係モデルが、（a）前記オブジェクトの多数の特徴点が整列される共通の空間構成としての機能を果たし、（b）コンパクトに表現される複数ビデオフレーム全体にわたる前記分解を可能にする、ディジタルプロセッサ装置。
5. 請求項１において、前記分解手段が、前記ビデオフレームシーケンスのコンパクトな線形外観モデルを生成する、ディジタル処理装置。
6. ビデオフレームシーケンスを有するビデオ信号データを処理する方法であって、ディジタル処理を備え、このディジタル処理は、
   対象のビデオ信号データから得られるビデオフレームシーケンス内のオブジェクトを検出する工程と、
   前記ビデオフレームシーケンスの２またはそれ以上のフレームを通して前記オブジェクトを追跡する工程と、
   ２またはそれ以上のビデオフレームにおける前記オブジェクトの対応する顕著なコンポーネントを識別する工程と、
   前記オブジェクトの対応する顕著なコンポーネントをモデル化して、２つ以上のビデオフレームにおけるブロックに基づく動き検出から生成される有限差分に基づくサンプリング母集団を識別するように、前記オブジェクトの対応する顕著なコンポーネントを解析することにより相関関係モデルを生成する、モデル化工程と、
   前記オブジェクトに対応する前記画素データを前記ビデオフレームシーケンス内の他の画素データからセグメント化して、セグメント化されたオブジェクト画素データを取得する工程であって、時間的なセグメント化を行うセグメント化工程と、
   前記相関関係モデルを利用して、前記ビデオフレーム内の前記オブジェクトに対応する前記セグメント化された画素データを再サンプリングする工程であって、前記再サンプリングされた画素データは前記ビデオフレームにおけるオブジェクトの中間形式である、再サンプリング工程と、
   主成分分析を適用することにより、前記再サンプリングされたオブジェクト画素データを分解する、分解工程とを有する、ビデオ信号データ処理方法。
7. 請求項６において、前記再サンプリング工程および前記セグメント化工程が、さらに、前記オブジェクトに対応する画素データを前記ビデオフレームシーケンスにおける他の画素データから空間的にセグメント化して、誘引された非線形性を軽減する、ビデオ信号データ処理方法。
8. 請求項６において、前記セグメント化工程が、スペクトル、テクスチャおよび動きセグメント化の組み合わせを利用する、ビデオ信号データ処理方法。
9. 請求項６において、前記相関関係モデルが、（a）前記オブジェクトの多数の特徴点が整列される共通の空間構成としての機能を果たし、（b）コンパクトに表現される複数ビデオフレーム全体にわたる前記分解を可能にする、ビデオ信号データ処理方法。
10. 請求項６において、前記分解工程が、前記ビデオフレームシーケンスのコンパクトな線形外観モデルを生成する、ビデオ信号データ処理方法。

Images