JP5602301B2 - ビデオシーケンスにおけるショットチェンジ検出のためのシステム及び方法 - Google Patents

Description

本発明は、包括的には、デジタル画像処理システムに関し、より詳細には、ビデオフレームシーケンス内に見られるような、画像のシーケンスにおけるショットチェンジのリアルタイム又は準リアルタイムの自動検出のための方法及びデジタル画像処理システムに関する。

［関連出願の相互参照］
本願は、２０１０年７月８日に出願された米国仮特許出願第６１／３６２，４５５号の利益を主張し、この米国仮特許出願の開示内容は引用することによりその全体が本明細書の一部をなすものとする。

画像のシーケンス、例えばビデオシーケンス内のショットチェンジの信頼性の高い検出及び通知は、本技術分野において困難であるが十分に研究されている問題である。ショットチェンジの信頼性の高い検出及び通知は、ケイデンス検出、デインターレース処理、フォーマット変換、圧縮符号化並びにビデオのインデックス付け及び検索を含むビデオ信号処理の分野において多くの応用形態を見出してきた。ショットチェンジは、人間の視聴者によって容易に識別され、すなわち、こうしたイベントは、挿話的なテレビ番組から広告スポットへの切替え、又は、生放送のニュースのスタジオ放送が同じセットで１つのカメラアングルから別のカメラアングルに切り替わるとき等のカメラチェンジを含む。

不都合なことに、機械による信頼性の高いショットチェンジ検出は、何が機械検出可能な「ショットチェンジ」（時間的）又は「ショット境界」（局所性）を構成するのかの厳密な定義がないため、達成しにくいことがわかっている。本明細書において用いるとき、機械検出可能な「ショットチェンジ」を、所与の「単一のカメラ取込みによって取り込まれた連続の画像シーケンス」が別の異なる「単一のカメラによって取り込まれた連続の画像シーケンス」に変化したか又は変化しているという明確な表示として定義することができる。さらに、フェード遷移中等、１つのショットから次のショットへの平滑な遷移がある場合、表示はショットチェンジ遷移の最後に発生すると想定される。

多くのビデオ処理システムの正常な動作のために有効な自動ショットチェンジ検出方法があることが望ましい。例えば、多くの動き補償ビデオデインターレース処理システムは、何らかの形態の自動ショットチェンジ検出を使用して、それらの動き補償バッファーをいつリセットするかすなわちゼロにするかを判断する。そうした検出はまた、ビデオ分割境界が提供されないと機械支援なしに生成するには法外に時間がかかる後の作業に対してビデオ分割境界を提供する自動前処理ステップとして、自動ステップにおける誤りを修正する人間の介入を伴って使用される。ショットチェンジ検出は、低速である場合、人間の解析によって容易に提供される。そうした検出は、大部分の場合、内容に極めて影響を受けやすい。

ショットチェンジは多くの形態をとり、最も重要なのは、急なショットチェンジである。ショットチェンジの他の形態は、黒からのフェードイン、黒へのフェードアウト及び１つのショットから別のショットへの混合フェードを含む、多数のビデオフレームにわたる可能性があるフェード遷移を含む。ショットチェンジの別の形態は「ワイプ」であり、その場合、新たなショット（すなわち、ビデオにおける取り込まれた画像又は画像のシーケンス）が、その新たなショット及び古いショットの重ね合わされたオーバーレイ（又は部分的混合）として導入され、複数のフレームにわたって遷移が発生する。一例は、右から左へのワイプであり、その場合、新たなショットは、半秒間にわたって、例えば１５のビデオフレームにわたって右から左に徐々に導入される。

ショットチェンジ検出方法の性能は、主に、システム及びシステムを使用している用途（複数の場合もある）の要件によって決まる。これらの要件は、最も簡潔に、適合率（precision）及び再現率（recall）の組合せによって表される。本明細書において用いるとき、「適合率」とは、誤検出率の表示を指し（値が１００パーセントに近づくほど、誤検出されたショットチェンジ表示が少ないことを指す）、「再現率」とは、検出漏れ率の表示を指す（値が１００パーセントに近づくほど、見逃されたショットチェンジが少ないことを指す）。

オフライン評価のために莫大な計算資源を必要とする最先端技術の学術研究コンピュータービジョン研究システムを含む、従来技術によるショットチェンジ検出方法及びショットチェンジ検出システムで、１００％の適合率及び再現率に近づいたものはない。しかしながら、ショットチェンジ検出を利用するシステムによっては、検出漏れよりも誤検出に対して感度が高い場合もあれば、その逆の場合もある。一例は、動き補償デインターレース処理システムである。過剰な誤検出により、デインターレース処理システムは、時間的方法の代りに空間的方法に戻る可能性があり、それにより、ショットチェンジの期間に出力の有効な解像度が一時的に下がる可能性がある。過剰な検出漏れにより、動き補償が不良となる可能性があり、それにより、大部分の視聴者が不快であると感じる非常に目立つ視覚的アーチファクト及び不連続性がもたらされる。こうした環境では、最良のトレードオフは、ショットチェンジ検出システムが、目に見えるアーチファクトをもたらす可能性があるショットチェンジの最低限の表示を報告し損なうよりも、誤検出に対して非常に感度が高く、誤検出が非常に起きやすくなるようにすることである。

誤検出が望ましくない状態の一例は、システムが、ショットチェンジ検出を利用して単一カメラによる深度マップ抽出統計モデルへの動き推定の寄与を調整する場合である。こうした環境では、動き推定は、モデル全体の僅かな部分にしか寄与しない可能性があるが、過剰な誤検出ショットチェンジ表示によって深刻なモデル不安定性がもたらされ、その結果、深度モデルに対する時間的変化が急速になる。これにより、人間の視聴者が観る際に経時的に深度の眼に見える変化がもたらされる。

自動システムによってショットチェンジを特定することには問題があり、本技術分野において既知である方法には以下の２つの主な欠陥がある。すなわち、（１）ビデオの単一フレーム又は単一フィールドに対してフラッシュバルブが競技場を一時的に点灯する場合等の、誤検出ショットチェンジ検出（すなわち低適合率）、及び（２）ディレクターが、第１のカメラから、第１のカメラと同じシーン及び対象に向いているが僅かに異なる角度からの別のカメラに切り替える場合等の、検出漏れすなわち「見逃した」ショットチェンジ検出（すなわち低再現率）である。他の従来技術によるシステムは、信頼性が高いことが分かっているが、非常に費用がかかりかつ大規模な計算と付随するハードウェアとが必要であるために複雑である。結果として、こうしたシステムは、リアルタイムの用途に対して経済的に実現可能ではない。

ショットチェンジを検出する幾つかの従来技術による方法及びそれらの限界は、Smeaton, A.F.、Over, P.及びDoherty, A.R.著「Video shot boundary detection: Seven years of TRECVid activity」（Comput. Vis. Image Underst. 114，4（Apr.2010），411〜418）（以下「Smeaton他」）において十分に述べられかつ評価されている。Smeaton他の学術用語及び分類法は、引用することによりその全体が本明細書の一部をなすものとし、本明細書の残りの部分で使用されるものとする。

既存のショットチェンジ検出方法は、画像間の全体的な色値の変化等、連続性尺度を使用することを含む。連続性尺度は、画像の平均明度等の統計的測定値、又はマルチチャネルヒストグラムベースの方法を含むことができる。単に、こうした連続性尺度は、通常、誤ったショットチェンジ検出（誤検出及び検出漏れ）をもたらす。他の方法は、圧縮ビデオデータからの動きベクトルデータを組み込むことによる連続性の概念に基づく。しかしながら、こうした方法は、符号化された動きベクトルの精度及びロバスト性に頼る。これらの動きベクトルは、ショットチェンジ検出の目的では計算及び符号化されない。動きベクトルは、通常、残留予測信号を符号化するために使用され、ロバスト性及び精度は最も重要なことではない。不都合なことに、ショットチェンジを検出する主な特徴として動きベクトルを使用する方法では、誤検出及び検出漏れが同様に頻繁に起こる。

他の方法は、ベイズの統計的定式化を使用して、ショットチェンジを検出するために尤度値を推定するが、ベイズの統計的定式化は複雑であり、リアルタイムの用途又は準リアルタイムの用途には適用可能ではない。

更に他の方法は、入ってくる画像の全て又は幾つかの部分に対して計算される特徴ベクトル手法の何らかの変形を利用するが、こうした手法では、幾つかの種類のビデオ（例えばテニスの試合）には十分に機能するが他の種類のビデオ（例えば挿話的なＴＶドラマ）には十分機能しない、何らかの発見的方法を必要とし、その結果、精度を確保するために何らかの人間の介入が必要であり、したがって、自動ショットチェンジ検出には適していない。

さらに、多くの既存のショットチェンジ検出方法は、ショット境界が、同様の輝度、色、シーンの内容の特徴を有する２つのシーンにまたがる場合又は他の異常な場合、ショットチェンジを確実に特定することができない。さらに、従来技術の方法の大部分は、単純な発見的閾値に頼り、したがって、普通でないビデオシーケンスに直面した場合又は境界の場合、信頼性が低い。さらに、これらの方法は、再現率及び適合率に関して、ショットチェンジ検出のロバスト性が、容易に交換可能なものではなく、選択可能でないという意味で、全て「固定されて変更できない（hard-wired）」。

したがって、望ましいが未だに提供されていないものは、誤検出及び検出漏れが最小限の、画像シーケンス内のショットチェンジのリアルタイム又は準リアルタイムの自動の無人検出のためのシステム及び方法である。こうしたシステム及び方法により、外部システムは、ショットチェンジ検出を必要とする外部システムにおいてどの程度の再現率、適合率又は両方が最も重要であるかを確実に選択することができる。

調整可能な適合率及び／又は再現率は、費用のかかる独立したショットチェンジ検出システムを必要とすることなく、初期のステップとして動き補償デインターレース処理、後期のステップとして動き補償フレームレート変換を実行する必要がある可能性があり、各々が特定の適合率要件及び再現率要件に対して調整される、リアルタイム又は準リアルタイムの結合されたシステムに対して重要である。こうしたシステムは例示的なものであり、決して限定するものではない。例として、フィルムプルダウンケイデンス検出のタスク、及び後に動き補償ノイズ除去のタスクを実行するシステムは、これらのステップの各々の適合率及び再現率に対し異なる要件を有している可能性があるが、本発明の幾つかの実施形態によって、等しく十分に目的がかなえられる。

ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法であって、
少なくとも一対のフレームを含む前記ビデオシーケンスを受信するステップと、
前記少なくとも一対のフレームに基づいて画像類似性測定基準を求めるステップと、
前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求めるステップと、
前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、ショットチェンジを検出するステップと、
を含む、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。前記画像類似性測定基準は、
オプティカルフロー補償フレーム間の差分二乗和尺度（ＳＳＤＭ）と、
オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度（ＯＦＥＤＭ）と、
色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度（ＨＨＥＤＭ）と、
の組合せを含む。前記ＳＳＤＭは、差分二乗和（ＳＳＤ）、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも１つによって構成することができる。

本発明の一実施の形態によれば、ＳＳＤＭを求めるために、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場が計算される。計算されたオプティカルフロー場を用いて先行するフレームが現フレームに向かって動き補償され、動き補償画像が生成される。動き補償フレームの各画素と現フレームの各画素との間の複数の色差分二乗和の平均が計算され、ＳＳＤＭに達する。

本発明の一実施の形態によれば、ＯＦＥＤＭを求めるために、現フレームと先行するフレームとの間の第１のオプティカルフロー場と、先行するフレームと先行する第３のフレームとの間の第２のオプティカルフロー場とが計算される。第１のオプティカルフロー場及び第２のオプティカルフロー場は極座標に変換される。第１の変換されたオプティカルフロー場は、各画素の方向及び大きさに関して第２の変換されたオプティカルフロー場と比較され、各画素の類似性スカラー値に達する。類似性スカラー値の各々の平均値がＯＦＥＤＭとして計算される。

本発明の一実施の形態によれば、ＨＨＥＤＭを求めるために、現フレーム及び先行するフレームが色相−彩度−輝度色空間に変換される。現フレーム及び先行するフレームについて色相チャネル値のヒストグラムが計算される。ヒストグラム交差関数により、現フレームの色相ヒストグラムが先行するフレームの色相ヒストグラムと比較され、ＨＨＥＤＭを表す単一スカラー値が求められる。

本発明の一実施の形態によれば、ＳＳＤＭ、ＯＦＥＤＭ及びＨＨＥＤＭのうちの少なくとも１つはラプラシアン二次導関数とすることができる。ＳＳＤＭ、ＯＦＥＤＭ及びＨＨＥＤＭのうちの少なくとも１つは後ろ向きの（backward-looking）二次導関数とすることができる。後ろ向きの二次導関数は２フレーム遅延を使用することができる。

本発明の一実施の形態によれば、前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である。前記特徴ベクトル閾値面は、適合率及び再現率に基づくことができ、この特徴ベクトル閾値面は、システム用途に適合するようにユーザーによって選択された、適合率と再現率との間のパラメーター関係に更に基づくことができる。

本発明は、同様の参照数字が同様の要素を指す添付図面に関連して考慮される、以下に提示する例示的な実施形態の詳細な説明からより容易に理解されるであろう。

本発明の一実施形態による、ショットチェンジを検出する例示的なデジタル処理システムのハードウェアブロック図である。 本発明の一実施形態による、ビデオシーケンスにおいてショットチェンジを検出する例示的なステップを示す高レベルプロセスフロー図である。 本発明の一実施形態による、ショットチェンジを検出する方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、ショットチェンジを検出する方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、ショットチェンジを検出する方法の例示的なステップを示すブロック図である。 本発明の一実施形態による、図３Ａ〜図３Ｃに示す方法を実行するモジュールのブロック図である。 本発明の一実施形態による、出力フレームを遅延させ、ユーザーが適合率／再現率の選好を提供することを可能にする追加のモジュールを示す、図４Ａのブロック図に類似するブロック図である。 カメラがズームアウトしているビデオシーケンスにおける２つの隣接するフレームの例のうちの１つの図である。 カメラがズームアウトしているビデオシーケンスにおける２つの隣接するフレームの例のうちの１つの図である。 図５Ｂ及び図５Ａにおけるフレーム間のオプティカルフローの方向場を示す図である。 図５Ｂ及び図５Ａにおけるフレーム間のオプティカルフローの大きさ場を示す図である。 図５Ｂ及び図５Ａのフレームに対してオプティカルフローによって計算された全体的なベクトル場の粗い詳細を示す図である。 極座標比較されたオプティカルフローベクトルの関係と、スカラーオプティカルフローエネルギー差分尺度（optical flow energy differences measure）（ＯＦＥＤＭ）を生成するために使用される大きさの差分の幾何学的表現とを示すベクトル図である。 スカラーＯＦＥＤＭを生成するために使用される比較されたオプティカルフローベクトルの間の対数θ差分尺度の幾何学的表現を示す図である。 非常に異なるシーンの内容を含むフレーム間の例示的なショットチェンジに対する差分二乗和尺度（sum of square differences measure）（ＳＳＤＭ’’）及びオプティカルフローエネルギー差分尺度（ＯＦＥＤＭ’’）のグラフである。 非常に異なるシーンの内容を含むフレーム間の例示的なショットチェンジに対する色相ヒストグラムエネルギー差分尺度（hue histogram energy differences measure）（ＨＨＥＤＭ’’）のグラフである。 非常に類似するシーンの内容を含むフレーム間の例示的なショットチェンジに対するＳＳＤＭ’’及びＯＦＥＤＭ’’のグラフである。 非常に類似するシーンの内容を含むフレーム間の例示的なショットチェンジに対するＨＨＥＤＭ’’のグラフである。 フェード遷移からもたらされる例示的なショットチェンジに対するＳＳＤＭ’’及びＯＦＥＤＭ’’のグラフである。 フェード遷移からもたらされる例示的なショットチェンジに対するＨＨＥＤＭ’’のグラフである。 長い黒からのフェードアウト遷移からもたらされる例示的なショットチェンジに対するＳＳＤＭ’’及びＯＦＥＤＭ’’のグラフである。 長い黒からのフェードアウト遷移からもたらされる例示的なショットチェンジに対するＨＨＥＤＭ’’のグラフである。 ＳＳＤＭ’’、−ＯＦＥＤＭ’’、−ＨＨＥＤＭ’’特徴ベクトルの３次元グラフであり、急なショットチェンジの手動表示に大きい円がマークされている。 特徴ベクトル候補を含むＳＳＤＭ’’−ＯＦＥＤＭ’’−ＨＨＥＤＭ’’閾値面の３次元グラフである。 特徴ベクトル候補を含むＳＳＤＭ’’−ＯＦＥＤＭ’’−ＨＨＥＤＭ’’閾値面の３次元グラフである。 特徴ベクトル候補を含むＳＳＤＭ’’−ＯＦＥＤＭ’’−ＨＨＥＤＭ’’閾値面の３次元グラフである。 特徴ベクトル候補を含むＳＳＤＭ’’−ＯＦＥＤＭ’’−ＨＨＥＤＭ’’閾値面の３次元グラフである。

添付図面は、本発明の概念を例示する目的のものであり、比例尺で描かれていない可能性があることが理解されるべきである。

本発明の実施形態は、外部システム又はユーザーが適合率及び再現率に対する感度を指定することを可能にする、ショットチェンジを確実に検出する例示的なシステム及び方法を使用する。結果として、ショットチェンジ検出を実行する計算コスト及び処理コストを複数のシステムにわたって共有することができ、各システムは、計算コストのかかる可能性がある適合率要件及び再現率要件にも関らず、莫大な追加の計算コストを負うことなしに本発明の実施形態を利用する。適合率及び再現率に対する調整可能な感度が与えられると、外部システムに対する最終的な結果は、ショットチェンジ認識の特異の陽性（positive）又は陰性（negative）の表示である。

「コンピューター」又は「コンピュータープラットフォーム」という用語は、デスクトップコンピューター、ラップトップコンピューター、メインフレームコンピューター、サーバー、ハンドヘルドデバイス、デジタル信号プロセッサ（ＤＳＰ）、組込みプロセッサ（その例を、図１に関連して後に説明する）、又はデータを処理することができる任意の他のデバイス等、任意のデータ処理デバイスを含むように意図されている。「通信可能に接続された」という用語は、有線であっても無線であっても、データを通信することができる、任意のタイプの接続を含むように意図されている。「通信可能に接続された」という用語は、限定されないが、単一コンピューター内のデバイス及び／又はプログラム間、又はネットワークを介するデバイス及び／又は別個のコンピューター間の接続を含むように意図されている。「ネットワーク」という用語は、限定されないが、ＯＴＡ伝送システム（無線伝送、ＡＴＳＣ、ＤＶＢ−Ｔ）、パケット交換網を介するビデオ伝送システム（ＴＣＰ／ＩＰ、例えばインターネット）、衛星伝送システム（マイクロ波、ＭＰＥＧトランスポートストリーム又はＩＰ）、直接放送衛星伝送システム、アナログケーブル伝送システム（ＲＦ）、デジタルビデオ伝送システム（ＡＴＳＣ、ＨＤ−ＳＤＩ、ＨＤＭＩ、ＤＶＩ、ＶＧＡ）等を含むように意図されている。

図１は、本発明の一実施形態による、ショットチェンジ１００を検出する例示的なコンピューター実装画像処理システムのブロック図を示す。
システム１００は、任意の適切なビデオ受信デバイス及び／又はビデオ送信デバイスを含むことができる。適切なビデオ送信デバイスは、例えば、送信機能が組み込まれたカメラ、カメラ送受信機システム、ビデオ符号化機器、ビデオの統計多重化機器（スタットマックス）、ビデオキャプチャカードを備えたコンピューター、ビデオファイルをスプーリング／ストリーミングするカメラメディアサーバーが取り付けられたコンピューター、ビデオファイルをスプーリング／ストリーミングするＰＣ等を含むことができる。適切なビデオ受信デバイスは、例えば、ＰＣ、タブレット、携帯電話、ＰＤＡ、ビデオ復号化機器、ビデオ多重分離機器、テレビ、テレビ配信デバイス（例えば、ＡｐｐｌｅＴＶ（商標））、テレビセットトップボックス及びＤＶＲを含むことができる。

限定しない例として、システム１００は、１つ若しくは複数のデータ記憶システム１０２及び／又は１つ若しくは複数の画像取込みデバイス１０４（例えば、１つ若しくは複数のスチールカメラ又はビデオカメラ、シェイプカメラ、ＬＩＤＡＲ又はＩＲ写真測量法生成レンジデデータ）から、デジタル化されたビデオ又は静止画像を受信する。任意選択的に、デジタル化されたビデオ又は静止画像を、インターネット等のネットワーク１０６から受信することができる。本発明の一実施形態によれば、システム１００は、コンピューティングプラットフォーム１０８を備えており、デジタルビデオ取込みシステム１１０を任意選択的に備えることができる。デジタルビデオ取込みシステム１１０は、デジタルビデオのストリームを処理するか、又はアナログビデオをデジタルビデオに変換して、コンピューティングプラットフォーム１０８が処理することができる形態にする。デジタルビデオ取込みシステム１１０を、独立型ハードウェアか、又はコンピューティングプラットフォーム１０８内に直接差し込むことができるファイヤワイヤカード等のカードとすることができる。本発明の一実施形態によれば、画像取込みデバイス１０４は、無線リンク（例えば衛星と地上局との間）及びデジタルデータリンク（例えば、イーサネット（登録商標）、地上局とコンピューティングプラットフォーム１０８との間）等、異種のデータリンクにより、ビデオ取込みシステム１１０／コンピューティングプラットフォーム１０８とインターフェースすることができる。コンピューティングプラットフォーム１０８は、１つ若しくは複数のプロセッサ１１２を備えた、パーソナルコンピューター又はワークステーション（例えば、Ｐｅｎｔｉｕｍ（登録商標）−Ｍ１．８ＧＨｚ ＰＣ−１０４以上）を含むことができ、プロセッサ１１２は、ビデオデータストリーム１１６によって１つ若しくは複数のプロセッサ１１１２を介して又は直接コンピューター可読媒体１１８に提供されるバスシステム１２２を含む。代替的に、コンピューティングプラットフォーム１０８を、ＦＰＧＡ又はＡＳＩＣに実装されるグラフィック処理ユニット（ＧＰＵ）又はデジタル信号プロセッサ（ＤＳＰ）等、集積回路として実装するか、又はその一部として実装することができる。

コンピューター可読媒体１１８を、Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム又はＬｉｎｕｘ（登録商標）オペレーティングシステム等、任意選択的なオペレーティングシステムを含む、１つ又は複数のプロセッサ１１２によって実行されるシステム１００の命令を格納するために使用することもできる。コンピューター可読媒体１１６を、１つ又は複数のデータベースにおいて本発明の処理されたビデオクリップを格納し取出すために更に使用することができる。コンピューター可読媒体１１８は、ＲＡＭメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク（複数の場合もある）及び／又はハードディスク（複数の場合もある）等の不揮発性メモリとの組合せを含むことができる。処理されたビデオデータストリーム１２０の一部を、モニター１２２に後に出力するために、コンピューター可読媒体１１８に一時的に格納することができる。モニター１２２は、処理されたビデオデータストリーム／静止画像を表示することができる。モニター１２２に、解析者又は視聴者が興味のあるオブジェクトを選択するためのキーボード１２４及びマウス１２６を備えることができる。任意選択的に、処理されたビデオデータストリーム１２２の一部を、インターネット等のネットワーク１０６に、又は送信機１２８を介して衛星システムに後に出力するために、コンピューター可読媒体１１８に一時的に格納することができる。

図２は、本発明の一実施形態による、ビデオシーケンスにおいてショットチェンジを検出する例示的なステップを示す高レベルプロセスフロー図２００である。ここで図１及び図２を参照すると、ステップ２０２において、少なくとも一対のフレームを含むビデオシーケンスが、１つ又は複数の画像取込みデバイス１０４から１つ又は複数のプロセッサ１１２によって受信される。ステップ２０４において、少なくとも一対の受信されたフレームに基づいて、１つ又は複数のプロセッサ１１２により、１つ又は複数の画像類似性測定基準が求められる。本明細書において用いるとき、「画像類似性測定基準」は、一対の連続したフレームにおける画素の幾つかの特性又は特徴の変化の直接の又は計算された尺度である。本発明の幾つかの実施形態において使用される特定のタイプの画像類似性測定基準（複数の場合もある）は、オプティカルフロー補償されたフレームの間の差分二乗和尺度（ＳＳＤＭ）と、オプティカルフロー場の間のオプティカルフローエネルギー変化差分尺度（ＯＦＥＤＭ）と、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度（ＨＨＥＤＭ）とであり、それらの全てについて以下詳細に説明する。差分二乗和尺度（ＳＳＤＭ）を、好ましい実施形態では差分二乗和（ＳＳＤ）によって構成することができ、又は、正規化された相互相関、差分絶対値和又はハミング距離の和によって構成することができる。これらの全ては、画像間の類似性を測定する種々の方法を表す。ステップ２０６において、画像類似性測定基準の二次導関数に基づく特徴ベクトルを計算することができる。２つの連続したフレームにおける上述した差分尺度間の急速な変化は、シーンの変化、すなわちショットチェンジを示すことができる。当業者は、１つ又は複数の測定基準の急速な変化を、使用されている画像類似性測定基準（複数の場合もある）の二次導関数によって示すことができることを理解するであろう。フレームの対の特徴に基づくこれらの二次導関数値を、値のベクトル、すなわち特徴ベクトルに集めることができる。ステップ２０８において、ビデオシーケンスにおけるショットチェンジを、特徴ベクトルが特徴ベクトル閾値外であると判断した時に検出することができる。一組の値を含む特徴ベクトルは、座標系、例えばデカルト座標又は極座標の軸とともにｎ＋１次元体積を形成するｎ次元面として表わすことができるベクトルを形成する。ショットチェンジを、計算された特徴ベクトルによって形成されるｎ次元面がこの体積の外側に又は「外部に」位置するときに検出又は宣言することができる。体積を、閾値のベクトルの値の所定の選択によって事前に求めることができ、又は、後述するように、好ましい実施形態では、閾値を、ユーザーが選択した適合率と再現率とのトレードオフに基づかせることができる。

図３Ａ〜図３Ｃは、本発明の一実施形態による、図２に対してより詳細に上述したようにフレームのシーケンスにおけるショットチェンジを検出する例示的なステップを示すプロセスフローブロック図を形成している。図３Ａは、本発明の一実施形態による、図３Ａ〜図３Ｃに示す方法を実行するモジュールのブロック図である。図４Ｂは、出力フレームを遅延させ、ユーザーが後述する適合率／再現率の選好を提供することを可能にする追加のモジュールを示す、図４Ａに類似するブロック図である。

ここで図１及び図２Ａ〜図４Ｂを参照すると、ステップＳ１において、システム１００によって複数のフレームが受信され、ファーストインファーストアウト（ＦＩＦＯ）フレームバッファー３０２に格納される。入ってくるフレームは、デジタル化されており、ＲＧＢ色空間又はＹＵＶ色空間等の適切な表現に変換されているものと想定される。このＦＩＦＯフレームバッファー３０２は、幾つかの後続するステップで使用される。図５Ａ及び図５Ｂは、カメラがズームアウトしているシーケンスの２つの連続したビデオフレームの一例を示す。

ステップＳ２において、オプティカルフローエンジン３０４が、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算する。計算されたオプティカルフロー場は、ＦＩＦＯオプティカルフローバッファー３０６に格納される。各画素に対して、サブピクセルの大きさの精度のｘ変位及びｙ変位を含む動きベクトルが割り当てられる。本発明の一実施形態によれば、任意の適切なオプティカルフローエンジンを使用することができる。好ましい実施形態では、引用することによりその全体が本明細書の一部をなすものとする、２００９年９月８日に出願され、「System and Method for Determination of Optical Flow」という発明の名称の同時係属中の米国特許出願第１２／５５５，４７２号（以下、‘４７２出願）に教示されているもの等、画素毎のオプティカルフロー計算方法を使用するオプティカルフローエンジンが好ましい。

ショットチェンジの検出の精度は、オプティカルフローエンジンによって実行される計算、すなわち、前方動き補償フレーム及びオプティカルフローのエネルギー尺度の精度に大きく依存する。図５Ｃ及び図４５Ｄは、図５Ｂ及び図５Ａにおけるフレーム間のオプティカルフローの方向場及び大きさ場をそれぞれ示す。図６は、図５Ｂ及び図５Ａのフレームに対して、ステップＳ２においてオプティカルフローエンジン３０４によって計算された全体的なベクトル場の粗い詳細をそれぞれ示す。

ステップＳ３において、ＦＩＦＯオプティカルフローバッファー３０６における最新のオプティカルフロー場を使用して、動き補償エンジン３０８は、先行するフレームを現フレームに向かって動き補償して、動き補償画像を生成する。従来技術には、多くの適切な動き補償方法があるが、好ましい実施形態では、オブジェクト及び画素の背景暴露（reveal）すなわち「ディスオクルージョン（disocclusion）」を考慮する動き補償方法を使用することができる。本明細書において用いるとき、暴露又はディスオクルージョンは、フレーム毎に以前は見えなかった背景情報を「暴露した」、動いている前景オブジェクトを指す。これらの領域（以下、「ディスオクルージョン」）は、これらの暴露された背景領域に対して現実のグラウンドトゥルース前方動きベクトルがないため、動き推定システムに対し問題を与える。

本発明の一実施形態によれば、少なくとも１つの画像類似性測定基準を、複数のフレームに基づいて求めることができる。より詳細には、ステップＳ４において、好ましい実施形態では、ＦＩＦＯフレームバッファー３０２からの最新画像と動き補償画像との間で、差分二乗和尺度（ＳＳＤＭ）３１０が計算される。そして、ＳＳＤＭ３１０を、好ましい実施形態では差分二乗和（ＳＳＤ）で構成することができ、又は、正規化された相互相関、差分絶対値和又はハミング距離の和で構成することができる。別の好ましい実施形態では、ＳＳＤＭ３１０を、動き補償フレームの各画素と現フレームの各画素との間の色差分二乗和として計算することができる。この値は、ＦＩＦＯ ＳＳＤＭバッファー３１２に押し込まれる。

差分二乗和尺度（ＳＳＤＭ）計算を式１に示す。

ステップＳ５において、ＦＩＦＯ ＳＳＤＭバッファー３１２の全ての値に対して近似ラプラシアン二次導関数が計算され、ＳＳＤＭラプラシアン二次導関数近似バッファー３１４に格納される。より詳細には、オプティカルフローエンジン３０４が、正確な動きベクトルに収束するのが困難となった場合、ＳＳＤＭ（ｔ）の値が上昇する。また、ショットチェンジイベントがある場合もまた、ＳＳＤＭ（ｔ）の値は上昇し、その後急速に降下する。フレーム遅延が許容できない環境においてショットチェンジイベントを検出するために、式２ａにおけるように、後ろ向きの二次導関数近似が使用される。

急速な上昇（又は極大値）を検出するために、より正確な二次導関数近似を、式２ｂにおけるように２フレーム遅延で実行することができ、図４Ｂのフレーム遅延プレイアウトブロック３１６として示すことができる。

図８Ａは、非常に異なる色、オブジェクト及び画像特性を含む２つのフレームの間の明確なショット境界に対して、時間に対するＳＳＤＭ’’（ｔ）のグラフを示す。ＳＳＤＭ’’（ｔ）を、良好な挙動の境界に対する幾分か信頼性の高い指標として単独で使用することができる。図９Ａは、明確なショット境界について時間に対するＳＳＤＭ’’（ｔ）のグラフを示すが、ただし、２つのショットはともに大量の同じ色及び同様の彩度の背景を有しており、前景オブジェクトは明るい白である。これは、困難な場合であり、結果として、ＳＳＤＭ’’（ｔ）は単独で、ショットチェンジを確実に知らせるために著しく識別可能な信号を生成することができない。

ステップＳ６において、ビデオの現フレームと最後のフレームとの間のオプティカルフロー場が、オプティカルフローエンジン３０４によってビデオの最後のフレームと最後から２番目のフレームとの間のオプティカルフロー場と比較され、ＦＩＦＯオプティカルフローバッファー３０６に格納される。好ましい実施形態では、各オプティカルフロー場は、ディスオクルージョンアーチファクトを観察し補償している間に、現フレームと一致させるように各画素を動き補償するために必要な最後のフレームのオフセットを画素で表す固定小数点値又は浮動小数点値を含むバッファーを含む。

ステップＳ７において、ＦＩＦＯオプティカルフローバッファー３０６からの最新のオプティカルフロー場及び次に最新のオプティカルフロー場が、極座標変換モジュール３１８においてデカルト｛ｘ，ｙ｝座標から極｛θ，ｒ｝座標に変換される。より詳細には、オプティカルフロー場を、デカルト座標で表現される２つの次元におけるベクトル場として概念化することができる。本発明の幾つかの実施形態では、上で計算した２つのオプティカルフロー場の２つの特徴を利用する。全ての画素に対する２ベクトルの場として、各画素の動きを、方向及び大きさによって特徴付けることができる。こうした環境では、極座標変換が利用され、各画素に対する各デカルトオプティカルフローベクトルは、式３に示すように、現フレーム及び先行するフレームの各々に対する方向及び大きさに変換される。

フレームからフレームのオプティカルフローベクトル間の方向差分の尺度として、式４に示すように、互いに反対を向く（１８０度対向して配置された）動きベクトルが最も異なるものとみなされる。こうした２つのベクトルを、図６Ａ及び図６Ｂに、方向（θ）及び大きさ（距離すなわちｄ）の差分とともに示す。

オプティカルフローベクトルの角度差分を数値的に強調するために、角度の差分は対数目盛に変換される。特定の空間位置に対するオプティカルフローベクトルが所定量方向を変化させる場合、それらの差分は、式５におけるように対数重み付け目盛において計算される。

各空間位置に対するそれぞれのオプティカルフローベクトルの大きさの差分（ｄ）が、対数目盛に変換される。これにより、「ｄ」における大きい差分が強調される。図６Ｂはこうした関係を示し、あり得るベクトル方向の対数の大きさを論証している。これらに対する値は、式６におけるように計算される。

ステップＳ８において、結果として得られる２つの極オプティカルフロー場が、各画素の方向及び大きさに対して比較され、各画素の類似性スカラー値に達する。２つの所与のフレームに対する全てのこうした類似性スカラー値の平均値が、オプティカルフローエネルギー差分尺度（ＯＦＥＤＭ）３２０として計算される。より詳細には、各画素位置に対するＯＦＥＤＭ３２０が、スケーリングされた大きさ差分にスケーリングされた角度差分を乗ずることにより計算され、それにより、大きさ又は方向における大きい変化の重み付けが大きいほど、式７におけるように画素毎のＯＦＥＤＭ値に寄与することが確実になる。

画素毎のＯＦＥＤＭ値の和が、ビデオフレームの幅×高さによって除算され、現ビデオフレームのＯＦＥＤＭ（ｔ）に達する。当業者は、優れたオプティカルフロー系が、ほとんどの場合、連続したフレームが光学的に関連することを示すことを理解するであろう。急なショットチェンジは、連続したフレームが光学的に相関していないということを特徴とする。フレーム毎のオプティカルフローエネルギー変化を用いて、式８におけるように画素毎のＯＦＥＤＭの平均をとることにより、特異点、したがってショットチェンジを検出することができる。

ステップＳ９において、近似ラプラシアン二次導関数が、ＦＩＦＯ ＯＦＥＤＭバッファー３２２の全ての値に対して計算され、ＯＦＥＤＭラプラシアン二次導関数近似バッファー３２４に格納される。より詳細には、ＳＳＤＭと同様に、二次導関数近似を使用して、ＯＦＥＤＭ値によって急速な変化のイベントを検出することができる。この場合もまた、ユーザーは、図４Ｂのフレーム遅延ペイアウトブロック３１６において示すように、精度又はゼロフレーム遅延のいずれがより価値があるかを示すことができる。式９ａは、ゼロフレーム遅延の場合に使用される後ろ向き二次導関数近似を示す。

２フレーム遅延の場合、以下の式９ｂが使用される。

図８Ａは、明確なショット境界について時間に対するＯＦＥＤＭ’’（ｔ）のグラフを示し、ここでは、２つのフレームの各々が、大量の同じ色及び同じ彩度の背景を有しており、前景オブジェクトは明るい白である。図９Ａは、非常に異なる色、オブジェクト及び画像特性を含む２つのショットの間の明確なショット境界について、時間に対するＯＦＥＤＭ’’（ｔ）のグラフを示す。ＯＦＥＤＭ’’（ｔ）を、良好な挙動の境界に対して信頼性の高い指標として単独で使用することができる。単独では、ショットチェンジ境界の局所化は問題をもたらす可能性があるが、ＳＳＤＭ’’（ｔ）と協働して、ＯＦＥＤＭ’’（ｔ）を用いることにより大部分の場合においてショットチェンジを確実に知らせることができる。

不都合なことに、ＳＳＤＭ及びＯＦＥＤＭは、使用される動き検出方法のロバスト性に完全に頼る。当業者は、オプティカルフローエンジンは、既知の窓問題及びフレーム間オブジェクトディスオクルージョン等の問題により１００％信頼できるものではないことを理解するであろう。本明細書において用いるとき、「窓問題」は、ブロックマッチング法が、勾配に沿ったテクスチャ又はエッジの差分のないブロック間に十分な差分がないために間違った動きベクトルを推定する場合に発生し、それにより、最小値（global minimum）の代りに極小値（local minimum）での動きベクトルがもたらされる。ショットチェンジ検出のために追加の適合率特性及び再現率特性を確保するために、更なる精緻化が必要である。

ビデオ内のショットチェンジの既知の特性は、ヒストグラムの形状、歪み及び最頻値が１つのシーンから次のシーンに大きい割合で変化する可能性があり、ショットチェンジの識別に向かって主信号又は寄与信号のいずれかを形成することができる、というものである。ヒストグラムの形状、歪み及び最頻値の変化は、ショットチェンジの優れた視覚的表示を提供することができるが、こうした変化を自動システムによって容易にかつ経済的に識別される形態でもたらすことは困難である。

当業者は、照明、鏡面ハイライト及び陰影が、フレーム間でビデオの明度値又は輝度値を激しく変化させる可能性があるが、大部分のオブジェクトはそれらの固有の配色を変化させないことを理解するであろう、その結果、本発明の幾つかの実施形態は、大規模な統計的変化を測定するため、画像間の明度又は輝度の変化ではなく色の変化を使用する。

ステップＳ１０において、最新の画像が、ＨＳＶ色空間変換モジュール３２６によって任意の所与の入力チャネルフォーマットから色相−彩度−輝度色空間に変換される。より詳細には、この変換の色相値が使用される。これは、一般に、周囲照明の配色が画像における全体的な色相値を変化させる場合であっても、オブジェクトが、それら自体で色を変化させないためである。レティネックス（Retinex）理論は、これらの変化を認識しかつ補償する方法を提供する。レティネックス補正がＲＧＢ色空間において数学的に実行された後、色相は、シーン差分の優れた鏡面不変、陰影不変尺度を提供する。ＲＧＢ色空間における補償の後、入力画像の全ての画素が式１０により色相値に変換される。

ステップＳ１１において、色相チャネル値のヒストグラムが、ヒストグラムブロック３２７において計算され、１インデックス（ピンポン）バッファー（すなわち、ＦＩＦＯヒストグラムバッファー３２８）に格納される。このステップを２度目に通過する際、ＦＩＦＯヒストグラムバッファー３２８は、先行するフレームからの最後のヒストグラム計算を含んでいる。

ステップＳ１２において、先行するフレームの色相ヒストグラムが現フレームのヒストグラムと比較される。現フレームのヒストグラム及び先行するフレームのヒストグラムは、効率的なヒストグラム交差関数の手段によって比較されて、色相ヒストグラムエネルギー差分尺度（ＨＨＥＤＭ）３３０を表す単一のスカラー値が求められる。この値は、ＦＩＦＯ ＨＨＥＤＭバッファー３３２に押し込まれる。

より詳細には、式１１に従って、窓処理された最小局所距離尺度が使用される。

この距離尺度には、並列プロセスとして実施可能である一方で、十分に異なる形状、平均、歪度及び最頻値を有するヒストグラムを確実に特定するという利点があり、すなわち、各外部演算が、他の演算から独立しており、各々を、別個のスレッドパイプライン又は処理パイプラインによって実行することができる。

ＳＳＤＭと同様に、ステップＳ１３において、近似された二次導関数が、ＦＩＦＯ ＨＨＥＤＭバッファー３３２の全ての値に対して計算され、ＨＨＥＤＭ値に対する急速な変化イベントを指摘するのに役立つように、ＨＨＥＤＭ二次導関数近似バッファー３３４に格納される。この場合もまた、ユーザーは、精度がより価値があるか、又はゼロフレーム遅延がより価値があるかを示すことができる。式１２ａは、ゼロフレーム遅延の場合に使用される後ろ向きの二次導関数近似を示す。

２フレーム遅延の場合、以下の式１２ｂが使用される。

ステップＳ１４において、最新のＳＳＤ’’、ＯＦＥＤＭ’’及びＨＨＥＤＭ’’に対する値が、３次元特徴ベクトルに形成され、それは、特徴ベクトル面境界マッチングモジュール３３６において３次元特徴ベクトル閾値面に対して比較される。本発明の一実施形態によれば、特徴ベクトルが特徴ベクトル閾値外にあるとき、ショットチェンジが確定される。より詳細には、ステップＳ１５において、特徴ベクトルが３次元面境界内に内在していない場合、ステップＳ１６において、ショットチェンジが暫定的に特定され、そうでない場合、ステップＳ１７において、ショットチェンジは宣言されない。

ＳＳＤＭ’’、ＯＦＥＤＭ’’及びＨＨＥＤＭ’’のうちの１つ又は複数を使用して、ショットチェンジを示すことができる。最も単純な技法は、ユーザーが提供した所定の閾値に対して各二次導関数を比較するというものであり、すなわち、ＳＳＤＭ’’が或る特定の発見的閾値を超え、ＯＦＥＤＭ’’が第２の閾値を超え、ＨＨＥＤＭ’’が更に第３の閾値を超えた場合、ショットチェンジが示される。

図１２は、ショットチェンジを示すために使用することができるＳＳＤＭ’’、ＯＦＥＤＭ’’及びＨＥＥＤＭ’’間のより複雑な関係が明らかになることを示す。３つの指標が
に対する特徴ベクトルとして扱われる場合、シーン変化のないフレームは、原点に向かうだけではなく３つのそれぞれの軸に向かって集中することを観察することができる。特徴ベクトルを、任意の評価面が適用される幾何学的距離尺度として扱うことにより、ショットチェンジを示すために、ＳＳＤＭ’’、ＯＦＥＤＭ’’及びＨＨＥＤＭ’’間の任意の数の複雑な関係を使用することができる。

好ましい実施形態では、数１００万のビデオフレームの観察の過程にわたり、逆双曲面が最良適合閾値として現れた。さらに、この面の幾つかのパラメーターにより、ユーザーは、ショットチェンジ検出の適合率及び再現率の特性に対してきめ細かい制御を行うことができる可能性がある。図１３Ａは、こうした面を、簡略に（mnemonically）示す。配置されている特徴ベクトル（ＳＳＤＭ’’、ＯＦＥＤＭ’’、ＨＨＤＥＭ’’）とともに逆双極面が示されている。こうした特徴ベクトルが閾値面の体積内に内在していない場合、確実なショットチェンジイベントが発生したとみなされる。図１３Ｂは、適合率が再現率より重要である場合に、動き補償デインターレース処理に使用することができる特徴ベクトル閾値面を示す。図１３Ｃは、動き補償雑音除去システムのように、適合率及び再現率が互いに対して平衡している特徴閾値面を示す。図１３Ｄは、動き視差抽出システムのように、適合率が再現率に対して二次的であるとみなされる特徴閾値面を示す。

ステップＳ１８において、パラメーターに関する関係を用いて、特徴ベクトル閾値面が構築され、それにより、適合率挙動と再現率挙動との間の所望の関係を、図４Ｂにおいてユーザーが提供する適合率／再現率選好３３８によって示すように、特定のシステム用途に適合するように変更することができる。ステップＳ１９において、特徴ベクトルが、ユーザーが定義した適合率／再現率選好に基づく閾値面の体積内に内在していない場合、ステップＳ２０において、確実なショットチェンジイベントが発生したとみなされ、そうでない場合、ステップＳ２１において、ショットチェンジは発生したとみなされない。

より詳細には、図１３Ａ〜図１３Ｄにおいて説明した面を、適合率と再現率との間の平衡の好ましい重み付けを指定する単一のユーザー入力によって表現することができ、そこでは、ユーザー入力は０から１．０までの範囲であり、０．０は適合率の重い重み付けを示し、１．０は再現率の重い重み付けを示し、０．５は２つの均一な平衡を示す。面は、式１３においてパラメーターによって定義されており、ここで、Ｕは適合率／再現率の選好を指定するユーザー入力である。ＳＳＤＭ’’及びＨＨＥＤＭ’’の現値が与えられると、ＯＦＥＤＭ’’が満足させる必要がある単一の閾値は、式１３によって提供される。

続いて、式１４におけるように単一閾値を用いて、確実なショットチェンジ表示が評価される。

例示的な実施形態は、単に本発明を例示するものであるということ、及び当業者により、本発明の範囲から逸脱することなく、上述した実施形態の多くの変形を考案することができるということが理解されるべきである。したがって、こうした変形の全てが、添付の特許請求の範囲及びそれらの均等物の範囲に含まれることが意図されている。

Claims (24)

1. ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法であって、
   少なくとも一対のフレームを含む前記ビデオシーケンスを受信するステップと、
   前記少なくとも一対のフレームに基づいて画像類似性測定基準を求めるステップと、
   前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求めるステップと、
   前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出するステップと、
   を含み、
   前記画像類似性測定基準は、
   オプティカルフロー補償フレーム間の差分二乗和尺度（ＳＳＤＭ）と、
   オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度（ＯＦＥＤＭ）と、
   色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度（ＨＨＥＤＭ）と、
   の組合せを含む、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法。
   
2. 前記ＳＳＤＭは、差分二乗和（ＳＳＤ）、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも１つによって構成される、請求項１に記載の方法。
   
3. 前記ＳＳＤＭは、
   現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、
   前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、
   前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記ＳＳＤＭに達する
   ことによって求められる、請求項１に記載の方法。
   
4. 前記ＯＦＥＤＭは、
   現フレームと先行するフレームとの間の第１のオプティカルフロー場と、前記先行するフレームと先行する第３のフレームとの間の第２のオプティカルフロー場とを計算し、
   前記第１のオプティカルフロー場及び前記第２のオプティカルフロー場を極座標に変換し、
   前記第１の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第２の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、
   前記類似性スカラー値の各々の平均値を前記ＯＦＥＤＭとして計算する
   ことによって求められる、前記請求項１に記載の方法。
   
5. 前記ＨＨＥＤＭは、
   現フレーム及び先行するフレームを色相−彩度−輝度色空間に変換し、
   前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、
   ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記ＨＨＥＤＭを表す単一スカラー値を求める
   ことによって求められる、請求項１に記載の方法。
   
6. 少なくとも１つの二次導関数はラプラシアン二次導関数である、請求項１に記載の方法。
   
7. 少なくとも１つの二次導関数は後ろ向きの二次導関数である、請求項１に記載の方法。
   
8. 前記後ろ向きの二次導関数は２フレーム遅延を使用する、請求項７に記載の方法。
   
9. 前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項１に記載の方法。
   
10. 前記特徴ベクトル閾値面は、適合率及び再現率に基づく、請求項９に記載の方法。
    
11. 適合率及び再現率に基づく前記特徴ベクトル閾値面は、システム用途に適合するようにユーザーによって選択された、適合率と再現率との間のパラメーター関係に基づく、請求項１０に記載の方法。
    
12. ビデオシーケンスにおいてショットチェンジを検出する装置であって、
    少なくとも一対のフレームを含む前記ビデオシーケンスを受信し、
    前記少なくとも一対のフレームに基づいて画像類似性測定基準を求め、
    前記画像類似性測定基準は、
    オプティカルフロー補償フレーム間の差分二乗和尺度（ＳＳＤＭ）と、
    オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度（ＯＦＥＤＭ）と、
    色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度（ＨＨＥＤＭ）と、
    の組合せを含み、
    前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求め、
    前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出する
    ように構成された少なくとも１つのプロセッサを具備する、ビデオシーケンスにおいてショットチェンジを検出する装置。
    
13. 前記ＳＳＤＭは、差分二乗和（ＳＳＤ）、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも１つによって構成される、請求項１２に記載のシステム。
    
14. 前記ＳＳＤＭは、
    現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、
    前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、
    前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記ＳＳＤＭに達する
    ことによって求められる、請求項１２に記載のシステム。
    
15. 前記ＯＦＥＤＭは、
    現フレームと先行するフレームとの間の第１のオプティカルフロー場と、前記先行するフレームと先行する第３のフレームとの間の第２のオプティカルフロー場とを計算し、
    前記第１のオプティカルフロー場及び前記第２のオプティカルフロー場を極座標に変換し、
    前記第１の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第２の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、
    前記類似性スカラー値の各々の平均値を前記ＯＦＥＤＭとして計算する
    ことによって求められる、前記請求項１２に記載のシステム。
    
16. 前記ＨＨＥＤＭは、
    現フレーム及び先行するフレームを色相−彩度−輝度色空間に変換し、
    前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、
    ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記ＨＨＥＤＭを表す単一スカラー値を求める
    ことによって求められる、請求項１２に記載のシステム。
    
17. 前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項１２に記載のシステム。
    
18. 前記複数のフレームと、前記ＳＳＤＭ、前記ＯＦＥＤＭ及び前記ＨＨＥＤＭのうちの前記少なくとも１つとを格納する複数のファーストインファーストアウト（ＦＩＦＯ）フレームバッファーを更に具備する、請求項１２に記載のシステム。
    
19. ビデオシーケンスにおいてショットチェンジを検出するコンピューター実行可能命令を含むコンピューター可読媒体であって、前記命令は、
    少なくとも一対のフレームを含む前記ビデオシーケンスを受信し、
    前記少なくとも一対のフレームに基づいて画像類似性測定基準を求め、
    前記画像類似性測定基準は、
    オプティカルフロー補償フレーム間の差分二乗和尺度（ＳＳＤＭ）と、
    オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度（ＯＦＥＤＭ）と、
    色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度（ＨＨＥＤＭ）と、
    の組合せを含み、
    前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求め、
    前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出する
    ように構成される、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実行可能命令を含むコンピューター可読媒体。
    
20. 前記ＳＳＤＭは、差分二乗和（ＳＳＤ）、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも１つによって構成される、請求項１９に記載のコンピューター可読媒体。
    
21. 前記ＳＳＤＭは、
    現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、
    前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、
    前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記ＳＳＤＭに達する
    ことによって求められる、請求項１９に記載のコンピューター可読媒体。
    
22. 前記ＯＦＥＤＭは、
    現フレームと先行するフレームとの間の第１のオプティカルフロー場と、前記先行するフレームと先行する第３のフレームとの間の第２のオプティカルフロー場とを計算し、
    前記第１のオプティカルフロー場及び前記第２のオプティカルフロー場を極座標に変換し、
    前記第１の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第２の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、
    前記類似性スカラー値の各々の平均値を前記ＯＦＥＤＭとしてとる
    ことによって求められる、前記請求項１９に記載のコンピューター可読媒体。
    
23. 前記ＨＨＥＤＭは、
    現フレーム及び先行するフレームを色相−彩度−輝度色空間に変換し、
    前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、
    ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記ＨＨＥＤＭを表す単一スカラー値を求める
    ことによって求められる、請求項１９に記載のコンピューター可読媒体。
    
24. 前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項１９に記載のコンピューター可読媒体。