JP5236062B2 - 相互計算を実行するための方法及び装置 - Google Patents

Description

本発明は、第１の信号と第２の信号との間の相互計算を実行するための方法及び装置に関する。

相互相関は信号処理における標準的なツールであり、電気通信から画像処理に及ぶ数多くの応用形態を有する。その基本的な目的は、相互相関を用いなければ雑音、部分的な遮断等のような悪影響によって覆い隠される、２つの信号間の根本的な類似性を取り出すことである。２つの一次元の離散時間、かつ実数値の信号の相互相関関数は以下のように定義される。
ここで、Ｔは１組のサンプルインデックスであり、ａ（ｔ＋Δｔ）及びｂ（ｔ）はいずれも０に等しくない。オフセットΔＴ毎に、相互相関関数が、第１の信号と、第２の、それゆえ、シフトされた信号との間の類似性を測定する。２つの信号間に統計的な相関がある場合には、相互相関関数が、オフセット毎に高い値に達することになる。これが図１に示されており、図１は、左側部分において信号ａ及びｂからのサンプルを示しており、それらのサンプルは一単位だけ離れており、かつ明らかに大きく相関する。雑音成分を無視すると、この例では個々のサンプルは全く同じである。右側部分において示される対応する相互相関関数ｃはこれを反映しており、オフセットΔｔ＝１において最大値を有する。より正確には、ａ及びｂのサンプルを生成するランダムプロセスが、合わせてエルゴード的であり、かつゼロ平均である場合には、ｃ（Δｔ）は互いに対してΔｔだけシフトした２つのプロセスの共分散のための推定値である。

相互相関は種々の分野において重要な役割を果たす。一般的に言うと、相互相関は、或る信号内で或る一定のパターンを検出する必要があるときにいつでも用いられるか、又は２つの一致する信号間のシフトを求めることになるときに用いられる。例えば、電気通信では、相互相関を用いて、雑音がある受信信号内の既知の形状のテンプレート信号を検出する。これは、整合フィルターの概念とされる（例えば、G. Turin著「An introduction to matched filters」、Information Theory, IRE Transactions on, 6(3): 311-329, 1960を参照）。別の応用形態は、例えば、距離又は速度を測定するために、信号の到着時間差を求めることである（例えば、米国特許出願公開第２０１０／００２７６０２ Ａ１号を参照）。画像処理では、例えば、画像内の既知の形状を特定するために、又は２つの画像間の或る特定のピクセル領域の変位を求めるために、二次元相互相関関数がパターンマッチングに用いられる（例えば、Brunelli著、「Template matching techniques in computer vision」、2008を参照）。

相互相関は、電気通信又は画像処理のような広範な技術分野において適用されるが、信号が過度に破損している場合には、失敗する傾向がある。加法性白色雑音の影響は比較的受けにくいが、非定常的な外乱の影響はそれよりも深刻である。信号が、例えば、支配的なクロストーク成分を含む場合、又はバースト状誤りが測定値を一時的に劣化させる場合には、相互相関関数は、真のオフセットにおけるピークと同じ大きさの副次的な最大値を含む可能性がある。画像処理の応用形態では、これは、例えば、空間的な遮蔽によって引き起こされる可能性がある。図２は、この影響を概略的に示す。この例では、例えば、クロストークに起因して、時点４において信号ｂ（ｔ）に局所的な外乱がある場合の例が示される（左側部分、下側グラフを参照）。これにより、図２の右側部分にあるグラフ内に示されるように、相互相関関数内に著しい副次的なピークが生じる可能性がある。

式（１）において定義されるような相互相関の最も平易な形は、より一般的な場合に容易に拡張される。上記の画像処理の応用形態の場合、例えば、二次元以上の信号が考慮される必要がある。式（２）は一般的なｎ次元バージョンを与え、それは複素数値の入力信号にも対応する。

相互相関の特殊な事例が自己相関であり、或る信号が自身と相関される。すなわち、ａ≡ｂである。自己相関は、例えば、或る信号内の周期的なパターンを特定するのに有用である。

画像処理において一般的に用いられる別の変形形態は、式（３）において定義されるような正規化された相互相関である。
ここで、ｘ⁻及びσ_ｘは、Δｔだけシフトしたａ及びｂの重複領域内の信号ｘの平均及び標準偏差を示す。正規化された相互相関は、相応にシフトした信号間の相関係数に等しい。その利点は、全体的なレベルが異なる場合に信号を公平に比較することができるようにすることである。

更に別の変形形態は順位相関であり、それは、入力信号の実際の値について考えるのではなく、その序列を考える。これは、孤立した誤りに対する頑健性を高め、通常の平均よりも優れたメジアンフィルターの利点に相当する。２つの広く用いられる順位相関法は、いわゆる、スピアマンのρ及びケンドールのτである（例えば、G. Kendall及びJ. D. Gibbons著、「Rank correlation methods」、1990を参照）。

一実施の形態によれば、第１の信号と第２の信号との間の相互計算を実行するためのコンピューター実施信号処理方法であって、該方法は、
前記第１の信号を長さＭのより短いセグメントに分割するステップと、
前記第１の信号の前記セグメントと前記第２の信号との相互相関を実行するステップであって、複数の部分相互相関関数を得る、実行するステップと、
前記部分相互相関関数を合成して合成相互相関関数を得るステップによって、合成相互相関関数を得るステップと、
異常値検出手法又は異常値除去手法を適用するステップであって、乱れているか若しくは破損した前記セグメントを特定又は除去する、適用するステップとを含み、
前記異常値検出手法は、前記部分相互相関が前記合成相互相関関数とコンセンサスしているか否かをチェックするために、前記個々の部分相互相関関数を前記合成部分相互相関関数と比較して、コンセンサスチェックを実行するステップを含み、
該方法は、前記セグメントに基づいて、乱れているか若しくは破損したと特定されたものを用いることなく、前記部分相互相関関数を再合成するステップであって、乱れの少ない又は破損の少ない最終的な相互相関結果を得る、再合成するステップを更に含む、第１の信号と第２の信号との間の相互計算を実行するためのコンピューター実施信号処理方法が提供される。

コンセンサスチェックを実行することに基づいて、部分相互相関関数の中の異常値を特定することにより、歪みのない、より良好な合成相互相関関数を得ることが可能である。

一実施の形態によれば、この方法は、前記合成部分相互相関に基づいて候補オフセットとして合成相互相関結果を計算するステップを更に含み、
前記コンセンサスチェックの結果として、コンセンサスが得られていない場合には、前記部分相互相関関数を異常値として処理する。

一実施の形態によれば、この方法は、
長さＭのより短い１組のセグメントを選択するステップと、
前記選択された１組のセグメントの部分相互相関関数に基づいて前記合成相互相関を計算するステップと、
前記コンセンサスチェックを実行するステップであって、前記１組のセグメントの前記部分相互相関関数の中の異常値を特定する、実行するステップと、
１組のセグメントを選択する前記ステップ、合成相互相関を計算する前記ステップ及び前記セグメントに対応する前記個々の部分相互相関のための前記コンセンサスチェックを実行する前記ステップを、異常値がないか、又は異常値の数が最も少ない、少なくとも１組のセグメントが見つかるまで繰り返すステップと、
異常値がないか、又は異常値の数が最も少ない１組のセグメントに基づいて、前記最終的な合成相互相関関数を計算するステップとを更に含む。

このようにして、その実施の形態は、ＰＣＣＦの可能な組み合わせの中から、異常値がないか、又は異常値の数が最も少ないものを特定し、それにより、最も良好な最終的な合成相互相関関数を特定する。

一実施の形態によれば、前記合成相互相関は、異なる数のセグメントを有することができる複数組のセグメントに基づいて計算され、前記最終的な合成相互相関関数は、異常値が見つからなかった前記複数組のセグメントの中の最も多くの数のセグメントを有する１組のセグメントに基づいて計算される。

このようにして、異なる数のセグメントを有する異なるサンプルを検討して、最終的な合成相互相関関数を得るためのセグメントの最適な組み合わせを見つけることができる。

一実施の形態によれば、合成部分相互相関関数は候補オフセットを生成し、前記異常値検出又は除去手法は、
前記候補オフセットにおける部分相互相関関数の絶対値又は相対値を前記候補オフセットにおける前記合成部分相互相関値と比較するステップと、
前記候補オフセットにおける前記部分相互相関関数の曲率を或る一定のしきい値と比較するステップと、
前記候補オフセットから、前記部分相互相関関数の最も近い著しい極大値までのサンプル内での距離を、該距離が或る一定のしきい値を超えているか否かに関して比較するステップと、
のうちの１つを含む。

これらは、個々の相互相関関数のためのコンセンサスチェックを実行するための具体的な方法である。

一実施の形態によれば、前記異常値検出又は除去手法は、
ＲＡＮＳＡＣアルゴリズムと、
最小二乗メジアン推定アルゴリズムと、
Ｍ−推定器と
のうちの１つを含む。

これらは異常値検出手法の例である。

一実施の形態によれば、前記異常値検出手法はＲＡＮＳＡＣアルゴリズムであり、当てはめられるモデルは前記第１の信号と前記第２の信号との間の相互相関値のピークであり、前記当てはめにおいて用いられるデータ点は、前記部分相互相関関数のそれぞれのピークであり、前記乱れている部分相互相関関数を除去した後に、前記部分相互相関関数の値を合成して全相互相関関数を得る。

これは、ＲＡＮＳＡＣアルゴリズムを実施するのに特有の好ましい実施の形態である。

一実施の形態によれば、前記コンセンサスチェックは、
前記部分相互相関関数のピークと前記合成相互相関関数のピークとの間の偏差が、異常値を特定するための或る一定のしきい値内にあるか否かに関して、部分相互相関関数毎にチェックすることを含む。

これは、コンセンサスチェックの好ましい実施態様の特定の例である。

一実施の形態によれば、前記方法は、同じ事象であるが、異なる視点から撮影された可能性がある２つのビデオシーケンス間の時間的なオフセットを見つけるために適用され、前記方法は、
前記２つのシーンのビデオデータをそれぞれの一次元の時系列に変換するステップと、
先行する請求項のいずれか一項に記載されるように、前記２つの時系列の相互相関を得るステップであって、該得られた相互相関に基づいて、前記２つのビデオシーケンス間の時間的なオフセットを求める、得るステップと
を含む。

このようにして、この方法は、ビデオ間の時間的な関係を判断するために適用することができる。

一実施の形態によれば、この方法は、前記得られた一次元信号を準定常的として扱い、かつ／又は前記信号を全体平均及び標準偏差を用いて正規化するステップを更に含む。

このようにして、信号を相互相関のために準備することができる。

一実施の形態によれば、この方法は、
前記部分相互相関関数においてピーク候補を見つけるために、
雑音を軽減するための手法を適用するステップを更に含み、
該手法は、
形態学的な遮蔽を適用するステップ、又は
その意味のあるピークだけを保存するために、結果として生成された相互相関関数の凸閉包を繰返し計算するステップ
を含む、請求項１〜１０のいずれか一項に記載の方法。

このようにして、雑音の影響を低減することができる。

一実施の形態によれば、第１の信号と第２の信号との間の相互計算を実行するための信号処理装置であって、該装置は、
前記第１の信号を長さＭのより短いセグメントに分割するためのモジュールと、
前記第１の信号の前記セグメントと前記第２の信号との相互相関を実行することであって、複数の部分相互相関関数を得る、実行することと、
前記部分相互相関関数を合成して合成相互相関関数を得ることによって、合成相互相関関数を得るためのモジュールと、
異常値検出又は異常値除去手法を適用するためのモジュールであって、乱れているか若しくは破損した前記セグメントを特定又は除去する、適用するためのモジュールと
を備え、
前記異常値検出手法は、前記部分相互相関が前記合成相互相関関数とコンセンサスしているか否かをチェックするために、前記個々の部分相互相関関数を前記合成部分相互相関関数と比較して、コンセンサスチェックを実行するステップを含み、
該装置は、前記セグメントに基づいて、乱れているか若しくは破損したと特定されたものを用いることなく、前記部分相互相関関数を再合成するためのモジュールであって、乱れの少ない又は破損の少ない最終的な相互相関結果を得る、再合成するためのモジュールを更に備える、
第１の信号と第２の信号との間の相互計算を実行するための信号処理装置が提供される。

このようにして、本発明の一実施の形態を実行するための装置を実現することができる。

一実施の形態によれば、この装置は、候補オフセットとして前記合成部分相互相関及び合成相互相関結果を計算するためのモジュールを更に備え、
前記コンセンサスチェックの結果として、コンセンサスが得られていない場合には、前記部分相互相関関数を異常値として処理する。

一実施の形態によれば、この装置は、
長さＭのより短い１組のセグメントを選択するためのモジュールと、
前記選択された１組のセグメントの部分相互相関関数に基づいて前記合成相互相関を計算するためのモジュールと、
前記コンセンサスチェックを実行するためのモジュールであって、前記１組のセグメントの前記部分相互相関関数の中の異常値を特定する、実行するためのモジュールと、
１組のセグメントを選択する前記ステップ、合成相互相関を計算する前記ステップ及び前記セグメントに対応する前記個々の部分相互相関のための前記コンセンサスチェックを実行する前記ステップを、異常値がない少なくとも１組のセグメントが見つかるまで繰り返すためのモジュールと、
異常値がないか１組のセグメントに基づいて、前記最終的な合成相互相関関数を計算するためのモジュールと
を更に備える。

一実施の形態によれば、コンピュータープログラムであって、
コンピューター上で実行されるときに、該コンピューターが本発明の実施の形態のいずれか一つに記載の方法を実行することができるようにするコンピュータープログラムコードを含む、コンピュータープログラムが提供される。

２つの信号の相互相関を示す概略図である。 局所的な外乱、及びその外乱が相互相関に及ぼす影響を示す概略図である。 当てはめのためのＲＡＮＳＡＣ手法を示す概略図である。 図５に示される一例のビデオの場合の部分相互相関関数を示す概略図である。 本発明の一実施形態において用いられる２つのビデオを示す概略図である。 図５に示されるビデオの場合の従来の相互相関を示す概略図である。 図５に示されるビデオの場合のコンセンサスベース相互相関を示す概略図である。

以下では、本発明の実施形態が説明される。しかしながら、まず第一に、いくつかの用語が定義される。
ＰＣＣＦ−部分相互相関関数
ＲＡＮＳＡＣ−ランダムサンプルコンセンサス
Ｍ−推定器−広範な種類の推定器であり、データの関数の和の最小値として得られる
ＬＭｅｄＳ−最小二乗メジアン

一実施形態によれば、上記のような散発性の外乱に対して相互相関を頑健にする新規の手法を提供する。その手法は、信号の大部分にはそのような誤りはなく、いくつかの局所的な限られた部分だけが破損される場合に特に適している。それゆえ、そのような事例では、入力データを良好なセグメント及び不良のセグメントに分割することができ、この分離を行なうために、例えば、ｒａｎｓａｃアルゴリズムのような確立された異常値除去方法を用いることができる。

ランダムサンプルコンセンサス（ｒａｎｓａｃ）は、１組の測定値又はデータ点に対してモデルを頑健に当てはめる反復アルゴリズムである（例えば、M. A . Fichler及びR. C. Bolles著、「Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography」、Communications of the ACM, 24(6):381-395, 1981を参照）。例えば、最小二乗当てはめとの根本的な違いは、最初に、モデルを確立するために必要とされる最小数のデータ点だけが用いられることである。これらのデータ点はランダムに選択される。この段階では、効率的にするために、測定値内の小さな誤りは平均されない。しかしながら、主な関心は、最初に著しく外れたデータ点（異常値と呼ばれる）を特定及び除去することである。これは、最初に確立されたモデルに対して全ての測定値を試験することによって達成される。モデルに適合する点は正常値と分類され、他の点は異常値と見なされる。このプロセスは、異なる１組のランダムに選ばれた点を用いて繰り返され、少なくとも一度、異常値のない１組を選択したことを確信するために必要に応じて何度も繰り返される。最終的に、最も高いコンセンサスを有する、すなわち、最も少ない異常値を有するモデルが受け入れられ、その正常値に基づいて、最終的な最小二乗当てはめが実行される。

図３は、２Ｄライン当てはめの典型的な例の場合の、ｒａｎｓａｃ法と標準的な最小二乗法とを比較する。図３に示される例では、所与の２Ｄ点の大部分は、直線によって一貫してモデル化することができる。しかしながら、２つの偽りの点が、最小二乗当てはめを劣化させる。一方、ｒａｎｓａｃは、２つの異常値を特定することができ、検討対象から除外する。

提案される相互相関法は、入力信号内のバースト誤りへの頑健性を達成するための多用途の拡張を提供することができる。さらに、その相関法は、実際の応用形態に関係なく、従来の相互相関手法の代わりに用いることができる。

以下では、その手法のいくつかの更に具体的な実施形態が説明される。しかしながら、セグメント長、合成ＰＣＣＦの数及び異常値分類法のような、具体的に関連するパラメーターを特定の信号クラスに個々に適合させることができることが、この時点で既に言及されるべきである。

これは、異常値分類法にも特に当てはまる。以下に説明される実施形態は主にｒａｎｓａｃに基づくが、その基本概念は、同様に、Ｍ−推定器又はＬＭｅｄＳのような、任意の他の異常値除去法に基づくこともできる。

一実施形態によれば、例えば、バースト誤りに起因して部分的に破損している可能性がある２つの元の信号間の相互相関を実行する方法は、以下のように動作する。
ａ．）元の信号のうちの一方を長さＭのより短いセグメントに分割し、
ｂ．）それらの信号のそれぞれを第２の信号と相互相関させて、部分相互相関関数（ＰＣＣＦ）を得て、
ｃ．）破損したセグメントを有効なセグメントから分離するために、適切な異常値分離法を用いてＰＣＣＦを（再）合成する。

１つの更なる実施形態によれば、例えば、バースト誤りに起因して部分的に破損している可能性がある２つの信号間の相互相関を実行する方法は、以下のように動作する。

第１のステップにおいて、元の信号のうちの一方（第１の信号）が、長さＭのより短い（元の長さＬよりも短い）セグメントに分割される。

第２のステップにおいて、これらのより短いセグメントのそれぞれを第２の信号と相互相関させて、部分相互相関関数（ＰＣＣＦ）を得る。

第３のステップにおいて、部分相互相関関数を合成して、合成相互相関関数を得る。

その後、第４のステップにおいて、部分相互相関関数を合成相互相関関数と比較し、コンセンサスチェックを実行して、それらのＰＣＣＦが合成相互相関関数とコンセンサスしているか否かをチェックすることによって異常値を特定する。

その後、異常値と特定されたＰＣＣＦは除去され、残りのＰＣＣＦを再合成して、最終的な合成相互相関関数を得る。

一実施形態において、コンセンサスチェックを実行するステップは、異常値検出又は異常値除去手法を適用して、乱れているか若しくは破損したセグメントを特定又は除去するステップを含むことができる。このステップでは、種々の異常値検出手法を用いることができ、そのうちの１つがＲＡＮＳＡＣ手法である。

その後、乱れているか若しくは破損したと特定された上記セグメントに基づく部分相互相関関数を用いることなく、部分相互相関関数の再合成を実行し、乱れの少ない又は破損の少ない（最終的な）相互相関結果を得ることができる。

一実施形態では、異常値検出手法はｒａｎｓａｃであり、当てはめられるモデルはオフセット、したがって、相互相関関数のピークの場所である単一のスカラー値である。データ点はＰＣＣＦであり、それらのＰＣＣＦは、潜在的な候補オフセットを求めるために、合成、すなわち、合計される。その際、全てのＰＣＣＦの和が、元の信号の相互相関関数を生成する。

一実施形態によれば、その手法を用いて、以下の２つを実施することによって、同じ事象であるが、視点が異なる２つのビデオシーケンス間の時間的なオフセットを見つけることができる。
ａ．）そのビデオデータを、特徴的なシーンの経時的な変化を反映する一次元の時系列に変形する（reduce）。例えば、この目的を果たすために、そのような時系列を生成するために、例えば欧州特許出願第０９１７５９１７．５号において記述されているように、符号器によって生成されるようなビデオデータのビットレートを用いることができる。
ｂ．）本発明の実施形態のうちの１つにおいて記述されるような相関機構を適用して、２つのビデオシーケンス間の時間的なオフセットを検出する。

オプションでは、その方法は更に、導出された１Ｄ信号を準定常的として扱うこと、及び相互相関を実行する前に、その全体平均及び標準偏差を用いて、それらの信号を正規化することを含むことができる。

以下では、いくつかの更なる実施形態が、やや詳しく説明される。

一実施形態によれば、上記の相互相関手法の背後にある基本的な発想は、元の信号のうちの一方を長さＭのより短い（元の信号長Ｌよりも短い）セグメントに分割すること、及びそれらのセグメントのそれぞれを第２の信号と相互相関させることであると考えることができる。その後、破損したセグメントを有効なセグメントから分離するために、そのようにして得られた部分相互相関関数（ＰＣＣＦ）が、ｒａｎｓａｃ手法と同じようにして合成される。ｒａｎｓａｃの観点から、当てはめられるモデルはオフセット、それゆえ、単一のスカラー値である。データ点はＰＣＣＦであり、これらは、潜在的な候補オフセットを求めるために合成、すなわち、合計される。実際には、全てのＰＣＣＦの和ｃ_ｉが元の信号の相互相関関数を生成する。

上記の総和内の異常値ＰＣＣＦを省くことによって、結果として生成される相互相関関数にそれらの異常値が及ぼす影響を排除することが可能になる。

ｒａｎｓａｃステップ毎に合成されることになるＰＣＣＦの数を選択する際にトレードオフがある。原理的には、結果として生成される相互相関関数において最大限に決定的なピークを得るために、できる限り多くのＰＣＣＦを用いることが望ましい。しかしながら、数を増やすと、異常値ＰＣＣＦを含む危険性も大きくなる。この決定は、予想されるバースト誤り分布に依存し、応用形態に特有である。

セグメント長Ｍに関しても、同様の選択がなされるべきである。用いるサンプル数が少なすぎると、特異というほどではないセグメントを除外する危険性が増す。一方、セグメントが長すぎると、破損したサンプルを含む傾向がある。

以下のアルゴリズムは、２つの入力信号ａ（ｔ）及びｂ（ｔ）を与える場合の一実施形態による、提案される相互相関を要約する。
１．信号ｂ（ｔ）を長さＭのセグメントｂｉ（ｔ）に切断する
２．ＰＣＣＦｓｃｉ（Δｔ）＝（ａ★ｂｉ）（Δｔ）を計算する
３．［異常値のない１組のＰＣＣＦが選択されたという確信に達するまで、３ａ／ｂ／ｃを繰り返す］
ａ．ＰＣＣＦのランダムな選択を実施し、その和を計算する
ｂ．その和から候補オフセットを抽出する
ｃ．オフセット候補毎に、ＰＣＣＦの中の正常値の数を評価する
４．大部分の正常値ＰＣＣＦを用いてオフセットを選択する
５．オプションで、正常値ＰＣＣＦの合成（和）からオフセットを再計算する

ステップ３ｃを実施する特定の方法は選択の余地があり、当業者は適切に選択することができる。例えば、異常値の数及び正常値の数を求めるために、ＰＣＣＦのオフセットが、合成されたオフセット値の或る一定のしきい値内にあるか否かをチェックすることができる。しきい値は、例えば、ＰＣＣＦオフセット値のサンプルの標準偏差として選択することができるが、他の選択も可能である。選択された１組のＰＣＣＦが、それ以上異常値を含まなくなるのではなく、代わりに、或る特定の１組のＰＣＣＦの場合に正常値のみを含むようになるまで、ステップ３の手順全体を繰り返すことができる。

その後、ステップ４において、ステップ３において見つけられた、正常値のみを有する複数組のＰＣＣＦの中で最も多くの数の正常値を有する１組のＰＣＣＦを選択することができる。

応用形態によっては、ＰＣＣＦ及びそれらの合成は必ずしも単一の決定的なピークを示すとは限らない。代わりに、それらは、同等の強さのいくつかの極大値を含むことができ、結果として、２つ以上の候補オフセットが生成される。この効果が図４に示されており、図４は、図５に示される２つのビデオ信号ａ（ｔ）及びｂ（ｔ）の場合の部分相互相関を示す。図５は、左側において、２つの入力信号ａ及びｂを示し、右側において、信号ａ（ｔ）及びｂ（ｔ）が導出されたビデオシーケンスの２つの同期したフレームを示す。それらのフレームから、明らかに２つのビデオシーケンスが異なる角度から撮影されたことがわかる。本発明の手法において用いられる信号ｂのセグメンテーションが、図５において破線の垂直線によって示されており、その線は１００フレームの間隔で示される。２つ以上の候補オフセットが存在するという効果（図４を参照）は、少数のＰＣＣＦだけが合成されるときに、又はＰＣＣＦのそれぞれが非常に少ないサンプルから計算されたときに、より顕著である。

ランダムに選択されたＰＣＣＦの合成において候補オフセットを見つけるために、第１のステップにおいて、雑音の影響を軽減することができる。そのために、一実施形態によれば、形態学的な遮蔽を適用することができるか、又は意味のあるピークのみを保存するために、結果として生成された相互相関関数の凸閉包を繰返し計算することができる。対応するオフセット候補に対して、その後、単一のＰＣＣＦのうちのいくつが、それらの候補のそれぞれを対応するかがチェックされる。候補オフセットが個々のＰＣＣＦの個々のオフセットとコンセンサスしているか否かをチェックするという意味において、これは「コンセンサスチェック」と見なすことができる。このコンセンサスチェックを実施するために、いくつかの態様を考慮に入れることができる。
・調べられるオフセットにおける絶対又は相対ＰＣＣＦ値
・調べられるオフセットにおけるＰＣＣＦの曲率
・調べられるオフセットからＰＣＣＦの最も近い著しい極大値までのサンプル内での距離、
又はこれらのいずれかの組み合わせ及び可能であるなら、他の判定基準。

候補オフセットにおける個々のＰＣＣＦの絶対（又は相対）ＰＣＣＦ値を、合成された候補値と比較することができる。その差が（所定の）しきい値よりも大きい場合には、個々のＰＣＣＦは、合成ＰＣＣＦ（＝候補値）とコンセンサスが得られていないと見なすことができる。それゆえ、そのＰＣＣＦは、その際「異常値」と見なすことができる。

調べられたオフセットにおけるＰＣＣＦの曲率も考慮することができる。例えば、候補オフセット値では、個々のＰＣＣＦが最大値を指示する曲率（すなわち、０の曲率）を有するはずであるので、その曲率が０とは大きく異なる場合、例えば、或る一定のしきい値を超える場合には、これは、個々のＰＣＣＦが「異常値」であることを指示すると見なすことができる。

別の手法は、合成されたＰＣＣＦの調べられた候補オフセットから、候補ＰＣＣＦの最も近い著しい極大値までのサンプル内での距離を考えることとすることができる。この距離が、或る一定の（例えば、所定の）しきい値を超える場合には、そのＰＣＣＦは「異常値」、すなわち、候補オフセットとのコンセンサスが得られていないと見なすことができる。

以下の実施形態の説明は、より具体的な例を用いて種々のステップを例示するであろう。

以下において検討される応用形態例は、２つのビデオからフレーム毎に抽出された一次元の時系列に基づいてビデオ同期の問題を取り扱う。これは単に、例えば、時間の関数としてのビットレートとすることができるか（例えば、「Method and apparatus to synchronize video data」と題する欧州特許出願第０９１７５９１７．５号において記述されている）、又は任意の他の一次元の時間依存関数とすることができる。そのような事例では、相互相関を用いて、２つのビデオを表す２つの異なる時系列間の、それゆえ、２つのビデオ間の時間的なオフセットを見つけることができる。

２つのビデオシーケンス間の時間的なオフセットを見つけるために、１つの手法は、ビデオデータを、特徴的なシーンの経時的な変化を反映する一次元の時系列に変形することである。そのために、先に言及されたように、「Method and apparatus to synchronize video data」と題する欧州特許出願第０９１７５９１７．５号において記述されている方法を用いて、そのような時系列を生成することができる。用いられるビデオは、固定状態のカメラを用いて取り込まれ、静止した背景の前で動いている人に関する同じシーンを示す。導出された１Ｄ信号を準定常的として扱い、それらの信号の全体平均及び標準偏差を用いて、それらの信号を正規化することができる。これは、式（３）において定義されるような正規化された相互相関を用いることと同様の有益な効果を有する。

図５には、そのようにして得られた２つの入力信号が左側に示されており、それとともに右側に、それぞれのビデオからの２つの同期した例示的なフレームが示される。それらの通常の相互相関関数が図６の左側にプロットされており、１フレームのオフセットが生じる。図６の右側は、「標準的な」従来の相互相関によって得られるような１フレームのオフセットにおいて重ね合わせられる信号ａ及びｂを示す。グラウンドトルースオフセット（＝２つのビデオ間の「実際の」オフセット）からの偏差は、画像境界における影響によって引き起こされる。関与するカメラの視点が異なることに起因して、そのシーンを行き来する人々が変動を引き起こし、それらの変動は１Ｄ信号においてわずかに遅れて生じる。両方の信号ａ及びｂ内のフレーム７００付近のかなり強いピークは、例えば、そのような通りがかりの人の影響によって引き起こされる。通常の従来の相互相関は、それらの信号のうちのより小さいが、それでも一貫した部分を無視して、そのような支配的な信号部分の位置合わせをする傾向がある。この図６において示されるように、信号ａ及びｂの従来の相互相関は、オフセットΔｔ_{ｘｃｏｒｒ}＝１フレームを生成する。これは、フレーム６００と７００との間に誤ったピークがあり、そのピークの位置合わせが強制的に行われることに起因する。

一実施形態による、提案される相互相関手法は、図７に示されるように、これらの特異なセグメントを除外することによって、この問題に対処する。本発明の一実施形態による相互相関手法は、正しいオフセットΔｔ_ｃｏｒ＝５０フレームを生成する。詳細には、その相互相関手法は、図７の右側にある丸数字によって指示されるセグメントｂ_ｉを破棄しており、それらのセグメントは、（１）人々が右からそのシーンの中に歩いてくる部分、（２）人々が左から歩いて入ってくる部分、及び（３）両方のビデオ間の時間的な関係を合理的に確立するのに十分なシーンの動きがない部分のような、歪みによって極大値が引き起こされる部分である。これらの部分（１）、（２）及び（３）は、本発明の実施形態において「異常値」と特定される。なぜなら、コンセンサスベース手法が、これらの歪んだ部分に対応する部分相互相関関数を、結果として生成される合成ＰＣＣＦとのコンセンサスが得られていないと指示するためである。それゆえ、これらの部分に対応するＰＣＣＦは除外され、結果として生成される合成ＰＣＣＦは、５０フレームの「真の」オフセットを生成する。図７の右側部分は、信号ａ及びｂを示しており、ｂは、図７の左側において示されるコンセンサスベース相互相関関数によって得られるように５０フレームの「真のオフセット」だけシフトされている。

この実施形態における実際の手法に関して、本明細書において提示される手法の性能のこの評価実験のために、第２の信号をＭ＝１００フレームを用いて小片にセグメント化した（上記のアルゴリズムのステップ１）。ランダム選択ステップ（３ａ）中に、セグメントのｓ＝３を合成し、潜在的なオフセットを求めた。極大値抽出（３ｂ）の前に、かつ検証ステップ（３ｃ）のために、幅５１フレームの構造化要素で遮蔽することよってそれぞれの信号をフィルタリングした。この実施態様では、その最も近い極大値が１０フレーム以内しか離れていない場合には、ＰＣＣＦが所与のオフセット候補に賛成票を投じる（＝「正常値」であると見なされる）。しかし、この値は選択の余地があり、当業者は適切に選択することができる。ＯＣＣＦが、合成されたＰＣＣＦと「コンセンサス」しているか否かをいかに判断するかという問題は、種々の方法で解決することができる。

本発明の複数の実施形態との関連で説明された方法、構成要素、ユニット及び装置は、ハードウェア、ソフトウェア、又はその両方の組み合わせで実現することができることは当業者には容易に明らかになるであろう。詳細には、本発明の実施形態、及びその関連で説明されたモジュールの構成要素は、コンピューター上で実行されるか又はマイクロプロセッサーによって実行される１つ又は複数のコンピュータープログラムによって実施することができることは理解されよう。本発明を実現する任意の装置は、詳細には、ネットワーク内で動作するルーター、サーバー、モジュールのようなネットワークエンティティー、又は移動電話、スマートフォン、ＰＤＡ若しくはその類似物のような移動デバイスの形をとることができる。

Claims (15)

1. 第１の信号と第２の信号との間の相互計算を実行するためのコンピューター実施信号処理方法であって、該方法は、
   前記第１の信号を元の信号長Ｌより短い長さＭのセグメントに分割するステップと、
   前記第１の信号の前記セグメントと前記第２の信号との相互相関を実行するステップであって、複数の部分相互相関関数を得る、実行するステップと、
   前記部分相互相関関数を合成して合成相互相関関数を得るステップによって、合成相互相関関数を得るステップと、
   異常値検出手法又は異常値除去手法を適用するステップであって、乱れているか若しくは破損した前記セグメントを特定又は除去する、適用するステップと、
   を含み、
   前記異常値検出手法又は異常値除去手法は、前記部分相互相関が前記合成相互相関関数とコンセンサスしているか否かをチェックするために、前記個々の部分相互相関関数を前記合成相互相関関数と比較して、コンセンサスチェックを実行するステップを含み、
   該方法は、前記コンセンサスチェックに基づいて、乱れているか若しくは破損したと特定されたものを用いることなく、前記部分相互相関関数を再合成するステップであって、
   最終的な相互相関関数を得る、再合成するステップを更に含む、
   第１の信号と第２の信号との間の相互計算を実行するためのコンピューター実施信号処理方法。
2. 候補オフセットとして前記合成相互相関関数を計算するステップを更に含み、
   前記コンセンサスチェックの結果として、コンセンサスが得られていない場合には、前記部分相互相関関数を異常値として処理する、請求項１に記載の方法。
3. 元の信号長Ｌより短い長さＭの前記セグメントの１組を選択するステップと、
   前記選択された１組のセグメントの部分相互相関関数に基づいて前記合成相互相関関数を計算するステップと、
   前記コンセンサスチェックを実行するステップであって、前記１組のセグメントの前記部分相互相関関数の中の異常値を特定する、実行するステップと、
   １組のセグメントを選択する前記ステップ、合成相互相関関数を計算する前記ステップ及び前記セグメントに対応する前記個々の部分相互相関のための前記コンセンサスチェックを実行する前記ステップを、異常値がないか、又は異常値の数が最も少ない、少なくとも１組のセグメントが見つかるまで繰り返すステップと、
   異常値がないか、又は異常値の数が最も少ない１組のセグメントに基づいて、前記最終的な合成相互相関関数を計算するステップと、
   を更に含む、請求項１又は２に記載の方法。
4. 前記合成相互相関関数は、異なる数のセグメントを有することができる複数組のセグメントに基づいて計算され、前記最終的な合成相互相関関数は、異常値が見つからなかった前記複数組のセグメントの中の最も多くの数のセグメントを有する１組のセグメントに基づいて計算される、請求項３に記載の方法。
5. 前記合成相互相関関数は候補オフセットを生成し、前記異常値検出又は除去手法は、
   前記候補オフセットにおける部分相互相関関数の絶対値又は相対値を前記候補オフセットにおける前記合成相互相関値と比較するステップと、
   前記候補オフセットにおける前記部分相互相関関数の曲率を或る一定のしきい値と比較するステップと、
   前記候補オフセットから、前記部分相互相関関数の最も近い著しい極大値までのサンプル内での距離を、該距離が或る一定のしきい値を超えているか否かに関して比較するステップと
   のうちの１つを含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記異常値検出又は除去手法は、
   ＲＡＮＳＡＣアルゴリズムと、
   最小二乗メジアン推定アルゴリズムと、
   Ｍ−推定器と
   のうちの１つを含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記異常値検出手法はＲＡＮＳＡＣアルゴリズムであり、当てはめられるモデルは前記第１の信号と前記第２の信号との間の相互相関値のピークであり、前記当てはめにおいて用いられるデータ点は、前記部分相互相関関数のそれぞれのピークであり、前記乱れている部分相互相関関数を除去した後に、前記部分相互相関関数の値を合成して全相互相関関数を得る、請求項１〜６のいずれか一項に記載の方法。
8. 前記コンセンサスチェックは、
   前記部分相互相関関数のピークと前記合成相互相関関数のピークとの間の偏差が、異常値を特定するための或る一定のしきい値内にあるか否かに関して、部分相互相関関数毎にチェックすることを含む、請求項７に記載の方法。
9. 前記方法は、同じ事象であるが、異なる視点から撮影された可能性がある２つのビデオシーケンス間の時間的なオフセットを見つけるために適用され、前記方法は、
   前記２つのシーンのビデオデータをそれぞれの一次元の時系列に変換するステップと、
   請求項１〜８のいずれか一項に記載されるように、前記２つの時系列の相互相関を得るステップであって、該得られた相互相関に基づいて、前記２つのビデオシーケンス間の時間的なオフセットを求める、得るステップと、
   を含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記得られた一次元信号を準定常的として扱い、かつ／又は前記信号を全体平均及び標準偏差を用いて正規化することを更に含む、請求項９に記載の方法。
11. 前記部分相互相関関数においてピーク候補を見つけるために、
    雑音を軽減するための手法を適用するステップを更に含み、該手法は、
    形態学的な遮蔽を適用するステップ、又は
    その意味のあるピークだけを保存するために、結果として生成された相互相関関数の凸閉包を繰返し計算するステップ、
    を含む、請求項１〜１０のいずれか一項に記載の方法。
12. 第１の信号と第２の信号との間の相互計算を実行するための信号処理装置であって、該装置は、
    前記第１の信号を元の信号長Ｌより短い長さＭのセグメントに分割するためのモジュールと、
    前記第１の信号の前記セグメントと前記第２の信号との相互相関を実行することであって、複数の部分相互相関関数を得る、実行することと、
    前記部分相互相関関数を合成して合成相互相関関数を得ることによって、合成相互相関関数を得るためのモジュールと、
    異常値検出又は異常値除去手法を適用するためのモジュールであって、乱れているか若しくは破損した前記セグメントを特定又は除去する、適用するためのモジュールと
    を備え、
    前記異常値検出手法は、前記部分相互相関が前記合成相互相関関数とコンセンサスしているか否かをチェックするために、前記個々の部分相互相関関数を前記合成部分相互相関関数と比較して、コンセンサスチェックを実行するステップを含み、
    該装置は、前記コンセンサスチェックに基づいて、乱れているか若しくは破損したと特定されたものを用いることなく、前記部分相互相関関数を再合成するためのモジュールであって、最終的な相互相関関数を得る、再合成するためのモジュールを更に備える、第１の信号と第２の信号との間の相互計算を実行するための信号処理装置。
13. 候補オフセットとして前記合成相互相関関数を計算するためのモジュールを更に備え、
    前記コンセンサスチェックの結果として、コンセンサスが得られていない場合には、前記部分相互相関関数を異常値として処理する、請求項１２に記載の装置。
14. 元の信号長Ｌより短い長さＭの前記セグメントの１組を選択するためのモジュールと、
    前記選択された１組のセグメントの部分相互相関関数に基づいて前記合成相互相関関数を計算するためのモジュールと、
    前記コンセンサスチェックを実行するためのモジュールであって、前記１組のセグメントの前記部分相互相関関数の中の異常値を特定する、実行するためのモジュールと、
    １組のセグメントを選択する前記ステップ、合成相互相関関数を計算する前記ステップ及び前記セグメントに対応する前記個々の部分相互相関のための前記コンセンサスチェックを実行する前記ステップを、異常値がないか、又は異常値の数が最も少ない、少なくとも１組のセグメントが見つかるまで繰り返すためのモジュールと、
    異常値がないか、又は異常値の数が最も少ない１組のセグメントに基づいて、前記最終的な合成相互相関関数を計算するためのモジュールと、
    を更に備える、請求項１２又は１３に記載の装置。
15. コンピュータープログラムであって、
    コンピューター上で実行されるときに、該コンピューターが請求項１〜１１のいずれか一項に記載の方法を実行することができるようにするコンピュータープログラムコードを含む、コンピュータープログラム。