JP4098551B2 - 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、一般的にビデオ分析の分野に関し、特にドメイン固有ビデオの分析に関する。
【０００２】
【従来の技術】
ディジタル・ビデオが普及するのに従って、ビデオの内容を効率よく分析する方法が必要で且つ重要となってくる。ビデオは大量のデータと複雑さとを包含しており、これが分析を非常に難しくしている。第１の最も重要な分析はビデオの構造を理解することであり、それは更なる詳細な分析のための根拠を提供することができる。
【０００３】
幾つもの分析方法が知られている。“圧縮されているシーケンスに対してクラスタリング及びシーン遷移を使用するビデオ走査”(M.M. Yeung, B.L. Yeo, W. Wolf, and B. Liu, "Video Browsing using Clustering and Scene Transitions on Compressed Sequences," Multimedia Computing and Networking 1995, Vol. SPIE 2417, pp. 399-413, Feb. 1995, "ビデオからストーリー・ユニットへの分割のための時間制約付きクラスタリング”(M.J. Yeung and B.L. Yeo, "Time-constrained Clustering for Segmentation of Video into Story Units", ICPR, Vol. C. pp.375-380 Aug. 1996)、“ビデオ走査及び注釈のためのクラスタリング方法”(D. Zhong, H. J. Zhang and S. F. Chang, "Clustering Methods for Video Browsing and Annotation," SPIE Conference on Storage and Retrieval for Image and Video Databases, Vol. 2670, Feb. 1996)、“ＶｉＢＥ：ビデオ・データベース走査及び検索のための新しいパラダイム”(J. Y. Chen, C. Taskiran, E. J. Delp and C. A. Bouman, "ViBE: A New Paradigm for Video Database Browsing and Search. In Proc. IEEE Workshop on Content-Based Access of Image and Video Databases, 1998)、及び“ＴＶサッカー番組の自動分析”(Gong, Sin, Chuan, Zhang and Sakauchi, "Automatic Parsing of TV Soccer Programs," Proceedings of the International Conference on Multimedia Computing and systgems (ICMCS), May 1995)を参照されたい。
【０００４】
ゴン等(Gong et al.)は、サッカー・ビデオの構造を分析するのにドメイン知識とドメイン固有モデルとを使用するシステムを記述している。他の従来技術システムと同じく、ビデオは始めにショットに分割される。各ショット内のフレームから抽出されたビデオ特徴が各ショットをいろいろなカテゴリー例えば、ペナルティーエリア、ミッドフィールド、コーナーエリア、コーナーキック、及びゴールへのショットなど、に分類するために使用される。この研究は、特徴が抽出される前のビデオ・ショットの正確な分析に大きく依存することに留意しなければならない。
【０００５】
ツォン等(Zhong et al.)も、スポーツ・ビデオを分析するためのシステムを記述している。このシステムは、例えば野球における投球、テニスにおけるサーブなどの高レベル意味論的単位の境界を提供検出する。各意味論的単位は、例えばストローク数、プレーの種類−テニスにおけるネット内へのリターン或いはベースライン・リターンなどの興味ある事象を抽出するために更に分析される。特定の視野を検出するために、色に基づく適応フィルタリング方法が各ショットのキー・フレームに適用される。検出結果を確認し洗練するために、縁や動いている物体などの複雑な特徴が使用される。この研究も、特徴抽出の前のビデオのショットへの正確な分割に大きく依存していることに留意しなければならない。要するに、ゴン及びツォンは、共に、ビデオが基本単位の連鎖であると見なしており、そこでは各単位はショットである。特徴分析の解像度はショット・レベルより微細にはならない。
【０００６】
一般に、従来技術は次の通りである：即ち、始めにビデオがショットに分割される。その後、各ショットからキー・フレームが抽出され、シーンにグループ分けされる。これらのデータ構造を表現するためにシーン遷移グラフと階層ツリーが使用される。これらのアプローチに伴う問題は、低レベルのショット情報と高レベルのシーン情報とが釣り合わないことである。それらは、興味ある内容変化がショット変化に対応するときにだけ働くことができるに過ぎない。サッカー・ビデオなどの多くのアプリケーションでは、“プレー”などの興味ある事象をショット変化により定めることはできない。各プレーは、類似する色分布を有する多数のショットを包含することがある。ショット特徴の単純なクラスタリングによってプレー間の遷移を発見することは困難である。
【０００７】
多くの場合に、カメラが多数の運動を有するとき、この種の分割はビデオのドメイン固有シンタックス及び内容モデルを考慮しない低レベル特徴からのものであるので、ショット検出プロセスは多数の誤った警報を有しがちである。従って、ショット・レベル分割に基づいて低レベル特徴と高レベル特徴との間のギャップを塞ぐことは困難である。更に、ショット分割プロセス中にあまりにも多くの情報が失われる。
【０００８】
異なるドメイン中のビデオは非常に異なる特色及び構造を有する。ドメイン知識は分析プロセスを多いに容易にすることができる。例えば、スポーツ・ビデオでは、普通は一定の数のカメラ、視野、カメラ制御規則、例えばサッカーにおけるプレー・バイ・プレー、テニスにおけるサーブ・バイ・サーブ、野球におけるイニング・バイ・イニングなどの、ゲームの規則により課される遷移シンタックスがある。
【０００９】
“ビデオ注釈への応用を伴う圧縮されたビデオからのカメラ運動の急速推定”(Y. P. Tan, D. D. Saur, S. R. Kulkarni and P. J. Ramadge in "Rapid estimation of camera motion from compressed video with application to video annotation, " IEEE Trans. on Circuits and Systems for Video Technology, 1999)と、“ニュース・ビデオの自動分析及び索引付け”(H. J. Zhang, S. Y. Tan, S. W. Smoliar and Y. H. Gong, in "Automatic Parsing and Indexing of News Video," Multimedia Systems, Vol. 2, pp. 256-266, 1995)とは、ニュース及び野球のためのビデオ分析を記述している。しかし、サッカー・ビデオなどの複雑なビデオにおいて高レベル構造を考察するシステムは非常に僅かである。
【００１０】
【発明が解決しようとする課題】
問題は、ニュース及び野球などの他のビデオに比べてサッカー・ゲームが割合に緩い(loose)構造を有することである。プレー・バイ・プレー構造を除いて、内容フローは極めて予想不能で且つ無秩序に生じる。サッカーには大量の運動と視野変化とがある。
【００１１】
従って、ビデオの低レベル特徴の全ての情報が維持され、特徴シーケンスがより良く表現されるようになっている枠組みが必要である。すると、ドメイン固有シンタックス及び内容モデル、事象検出を可能にする高レベル構造、及び統計的分析を組み入れることが可能となる。
【００１２】
【課題を解決するための手段】
この発明は、ビデオ構造の開示と内容分析とのための一般的枠組みを提供する。この発明の方法及びシステムでは、フレームに基づく低レベル特徴がビデオから抽出される。各フレームは、ビデオを多数の標識シーケンス又は実数シーケンスに変換するために特徴から変換された標識又は特徴の値により表現される。その様なシーケンスの各々は、抽出された低レベル特徴のうちの１つと関連づけられる。特徴シーケンスは、高レベル意味論的特徴(semantic features)を抽出するために一緒に分析される。
【００１３】
この発明は、ビデオを索引付けし要約するためにサッカー・ゲーム等のスポーツ活動のビデオに応用されることができる。この発明は、例えば活動境界などの、サッカー・ビデオの高レベル構造を捉えるために弁別的な特徴を使用し、ゲーム戦略等の興味ある事象を検出するために例えば草の向きなどの独特の特徴をカメラの動きと共に使用する。該システムの独特な面は、実時間パフォーマンスのための被圧縮ドメイン特徴抽出と、高レベル事象を検出するためのドメインの固有の特徴の使用と、内容理解のための多数の特徴の統合とを含んでいる。
【００１４】
特に、この発明のシステム及び方法はフレームのシーケンスを含む被圧縮ビデオを分析する。被圧縮ビデオの各フレーム中の優勢な特徴が測定される。優勢な特徴の測定された量に従って各フレームに標識が関連づけられる。ビデオ中の視野はその標識に従って特定され、ビデオはその視野に従って動きに分割される。その後、ビデオは、ビデオ中の重要な事象を決定するために動きに従って分析されることができる。
【００１５】
優勢な特徴、標識、視野、動き、及び重要な事象はドメイン知識データベースに蓄積される。１つの実施の形態では、優勢な特徴は色であり、優勢な特徴を特定するために色ヒストグラムが構築される。
【００１６】
【発明の実施の形態】
システム概観
図１は、この発明のシステム及び方法１００を示している。該システムは、入力としてビデオ１０１を入手して高レベルの特徴１０９を作る。ドメイン知識データベース１０２に基づいて、適当なフレームに基づく特徴が選択され抽出され１１０、特徴ライブラリー１０３に蓄積される。抽出された特徴は標識シーケンスに転用され１２０、それもライブラリー１０３に蓄積される。個々の標識は、特徴のクラス、量子化された離散数、又は特徴自体であって良い。その後、多数の標識シーケンスが統合され分析される１３０。ドメイン知識データベース１０２に従って重要な事象を検出１３２するために、事象境界１３１とカテゴリー化された分類１３３とを使用することができる。
【００１７】
いろいろな標識シーケンスからの事象境界は同期していても良いし非同期であっても良い。同期境界は重要な内容変化を示すことができ、非同期境界は相補的情報を示すことができる。事象遷移は隠れマルコフ・モデル(ＨＭＭ)１３４又はその他の機械学習技術を用いてモデリングされることができる。特別の事象を検出するために多数の隠れマルコフ・モデルを結合することができる。ニュース、気象、コマーシャル、及びサッカー・ゲームのそれなどの緩い構造の様なビデオのクラスを分けて識別するためにドメイン固有の隠れマルコフ・モデルを仕立てることができる。
【００１８】
ドメイン固有ビデオ分析システム
例えばスポーツ・ビデオなどのドメイン固有アプリケーションのためのこの発明のシステム及び方法１００の使用を記述する。始めに、特定のドメイン知識データベース１０２における構造及びシンタックスについての所見を記述する。その後、事象境界を決定し、ビデオ中の活動を分類し、興味ある事象を検出するためにその様な特徴を抽出するための独特の特徴と効率的方法とを記述する。
【００１９】
ドメイン知識データベースの構造
３つの主要な特徴、即ち色１４１，視野１４２，及び動き１４３に従ってビデオ１０１のドメイン知識データベース１０２を定義する。抽出された色は視野を特定するために使用され、標識付けされた視野はビデオ中の動きを区分するために使用される。
【００２０】
特徴抽出
スポーツ事象のプレー領域は普通は優勢な色特徴を有するので、視野分類を実行するためにこの特徴を使用する。圧縮されているビデオでは、Ｉフレームだけを使用し、色抽出は、ビデオのフレームを復号化せずにＩフレームの色小画像(color thumbnail images)に対してそのＤＣ係数から実行される。
【００２１】
サッカー場はその独特の優勢な緑色により特定され、知覚される緑はその色相値即ち０．２と０．３との間の値により最も良く特定される。そこで、場に草(芝)の緑の色相を検出する。ＹＣｂＣｒからＲＧＢへ、更にＨＳＶへの色空間変換により小画像内のピクセルの色相を計算することができる。もちろん、アイスホッケーなどの他の緩い構造のゲームではプレー領域は白い優勢な色を有し、バスケットボールでは寄せ木細工の床は普通は黄褐色である。
【００２２】
通常、プレー領域の色相はいろいろなビデオで極めて一貫している。しかし、もしより高い精度を達成したければ、この値をいろいろなビデオについて校正することができる。統計によれば、サッカー・ビデオのフレームの８０％以上は草の領域を含む始めの２つの種類の視野に属する。幾つかのプレーを含むのに充分な長さを有するセグメントから沢山のフレームがランダムに選択される。
【００２３】
図２に示されているように、色相に関する累積ヒストグラムは、選択されたフレームの色を測定することによって決定される。０．２と０．３との間のヒストグラムのピークは色相値ｈｇを与える。小画像では、[ｈ_ｇ−０.０５，ｈ_ｇ＋０.０５]の範囲の色相を有するピクセルだけが緑と見なされる。ｘ軸上に示されているようにフレームは、ｙ軸上の緑色のピクセルの数に従って分類される。緑色のピクセルの数は、３つのクラスについて非常に特色がある。従って、追跡することによってスレショルドを容易に見つけ出していろいろなビデオで使用することができる。
【００２４】
色分析及び視野特定
図３に示されているように、スポーツ・ビデオにおいて３種類の優勢な視野、即ち大域的視野３０１、ズームイン３０２、或いはクローズアップ３０３、を特定する。大域的視野は上及び側から撮影される。それは、ゲームの現在のプレーの全体画像を与える。この視野では、緑の場は大きな領域３１１を包含し、プレーヤーは小さく見える。従って、フレーム内の優勢な色の量が大きいならば、そのフレームは大域的視野の一部分である。
【００２５】
ズームイン視野では、カメラはゲームの焦点である場内の小さな領域をズームレンズで撮影する。それは、一人又は数人のプレーヤーによるボールのコントロールを明瞭に示す。この視野では、草により占められるいくらかの領域３１２が依然として存在する。最後の１つはクローズアップ視野である。それは、プレーヤー、コーチ、レフェリー、観客などを示す。この種の視野では、草の領域で占められる領域３１１は殆どない。それは休憩中の殆どの時間に生じる。従って、クロ−ズアップ視野では優勢な色の量は小さい。
【００２６】
もしフレームを覆う優勢な色の量が第１スレショルド、例えばフレームの５０％、より多ければ、それは大域的視野として分類される。もし優勢な色の量が第２スレショルド、例えばフレームの１０％、より小さければ、該フレームはクローズアップ視野として分類される。その他の場合には、フレームはズームイン視野として分類される。
【００２７】
分類後、各Ｉフレームは、図４に示されているように、３つの視野に対応して０，１及び２として標識付けされる３２０。図５に示されているように分類された視野が動きを標識シーケンスに分割するために使用される前に更にノイズ除去及び標識併合を実行することができる。
【００２８】
図６ａ〜６ｃは、大域的視野、ズーム視野、クローズアップ視野での色及び視野分析の例をそれぞれ示している。
【００２９】
動き分割
サッカー、アイスホッケー及びバスケットボールのゲームは、ニュース、野球などの他の種類のビデオと比べて割合に緩い構造を有する。現実の構造は等しい長さの期間だけであり、試合中、ボール又はパックは生きている(ライン内にある)か或いは死んで(ラインを割って)いるかである。ボールがプレー領域即ち競技場、リンク又はコートの外にあるとき、或いはプレーがレフェリーにより停止されているときにはボールは死んで(ボールデッド)おり、その他の場合には野球とは異なってプレーは続行されている。
【００３０】
この特性により、ゲームのドメイン構造の一部分をプレーと休憩とのシーケンスとしてモデリングすることができる。プレーはボール又はパックが生きている間の期間として定義され、ボールデッドである間の期間として休憩を定義する。プレーを開始させる事象は、キックオフ又はフェースオフ、スローイン、フリーキック、ゴールキーパー・キック、コーナーキック、或いはペナルティーキック、ショット、或いはフリースローを含むことができる。プレーを停止させる事象は、ゴール、ボールデッド(ball out of play)、またフォールト、不法行為、或いは時間外(out of time)を指摘するレフェリーのホイッスルを含む。プレーとプレーとの間に休憩がある。休憩中、プレーヤーは準備をしたり、自分たちのゴールを祝い、或いはレフェリーから警告を受けたりけがをしていたりする。見物人にとっては、例えば国内或いは国際の勝利祝賀などの例外はあるけれども、休憩よりはプレー中の活動の方が重要である。
【００３１】
視野による動きの分割
これら３つの視野に基づいてプレー−休憩の分割を実行する。クローズアップ視野は通常は休憩３３１に対応する。ズームイン視野はプレーの中で或いはプレーとプレーとの間に生じることがあり３３２、これら２つの場合は異なる。プレー中、ズームイン視野はゲームの進行中の視野を与え、プレーとプレーとの間は、通常それらはリプレーであり、それは前のプレー中に生じた興味ある部分をリプレーする。そこで、１つのアプローチは、プレー−休憩分割を達成するために視野分類技術をリプレー検出技術と組み合わせて使用することである。大域的視野は普通は展開するプレーを示す３３３。
【００３２】
分析
前述したようにビデオを標識付シーケンスに分割した後、該シーケンスがプレーとして標識付けされたか休憩として標識付けされたかによりいろいろな分析プロセスを実行することができる。休憩中、クローズアップはプレーヤー、コーチ或いは観客の非常に接近した視野を与える。ピクセル−ドメイン技術を使用して、より詳しい分析を行うことができる。例えば、視野の中の人を特定するために顔認識或いは文字認識を行うことができる。従って、最後のプレーのセンターが誰なのか推測することができる。サイド変更、戦いの熱烈さなどに関する情報を分析するために、標識のプレー・シーケンスの間、草の向き、動きの大きさ、カメラの動きなどの他の特徴を使用することができる。
【００３３】
プレー領域方位
プレー領域の方位１４４もドメイン知識の一部分であり得る。普通、プレー領域は優勢な色と対照する色の線で描かれるが、その色は、サッカーでは白であり、他のスポーツ・ゲームの場合には他の色も可能であり、アイスホッケーでは氷の上の赤及び青の線とボードの底に沿う黄色の線である。
【００３４】
大域的視野では、線は非常に明瞭であって、カメラの視野アングルによりいろいろな方位を有する。カメラの視野アングルはプレー領域の相対的位置による。そこで、プレーの位置を線の方位から推測することができる。
【００３５】
カメラがフィールドの右サイドを撮影するとき、線の角度３４１は９０°より大きく、それがフィールドの中央を撮影するとき、アングルは約９０°であり、それが左サイドを撮影するとき、アングルは９０°より小さい。アングルの変化３４２は動きの位置の変化を示す。サイドチェンジがあるとき、９０°より大きいアングルから９０°未満へのアングル変化或いはその逆のアングル変化がある。サイドチェンジの回数によりプレーをグループ分けすることができる。
【００３６】
線の方位を決定するために次のプロセスを使用する。最初に、小画像の強度から勾配ベクトル(ｇ_ｘ,ｇ_ｙ)を得るためにソベル勾配マスクＳ_{ｘ ,} Ｓ_ｙ：
【００３７】
【数１】

【００３８】
を使用する。スレショルドより大きな勾配を有するピクセルは端点として維持される。端点についての勾配方位は：
【００３９】
β＝arctan(ｇ_ｙ／ｇ_ｘ)
【００４０】
により計算される。次に図７に示されているように、プレー領域内の全ての端点の線方位により線方位ヒストグラムが決定される。端点における線方位は：
【００４１】
β＝９０°−α
【００４２】
であり、このβは０から１８０°までである。ヒストグラムのピークに対応するアングルは線の方位についてのアングルである。この決定は、現在のプレーの位置を近似するのに充分である。
【００４３】
カメラ運動見積もり
大域的視野では、カメラの運動は画像フレームの大域的運動を生じさせる。カメラはボール又はパックの動きを追う傾向があるので、カメラの運動は通常は動きの運動を示す。大域的視野ではプレーヤーは比較的小さいので、大きな局所的運動はない。この場合、カメラの運動を見積もるために運動ベクトルが使用される。
【００４４】
色及び方位特徴を決定するためにＩフレームだけを使用するので、ここでＩフレームの直ぐ次に続くＰフレームに対する計算も減少させる。従って、各Ｉフレームについて、Ｉフレームで生じたカメラ運動を見積もるために、次に続くＰフレームの運動ベクトルを使用する。大域的視野では、カメラ運動は非常に単純である。殆どの時間、それは並進運動を有する(パン(pan)／ティルティング(tile))。場合によってそれはズームを有する(ズームイン／ズームアウト)。カメラ運動の見積もりのためにいろいろなモデルを使用することができる。ここでは単純な３パラメータ{k, p_ｘ, p_ｙ}カメラ運動モデルを選ぶ。
【００４５】
カメラ運動見積もりは２ステップ操作と見なされることができる。第１に、カメラは新しい中心に並進する。第２に、カメラは中心でズームする。中心の座標(x'_ｃ, y'_ｃ)は常に同じであり、(x'_ｃ, y'_ｃ) = (w/2, h/2)であり、w、hはフレームの幅及び高さであり、従って運動ベクトルの定義
【００４６】
【数２】

【００４７】
に従って
【００４８】
【数３】

【００４９】
であり、ここで(x, y)は基準フレーム(Ｉフレーム)内の点の座標であり、(x', y')は現在のフレーム(Ｐフレーム)内の対応する位置であり、kはズーム比であり、(p_ｘ, p_ｙ)は並進因子である。最少二乗法を使用して、見積もられた運動ベクトルとＭＰＥＧストリームから得られた現実の運動ベクトルとの間の二乗誤差を最小にする最良の{k, p_ｘ, p_ｙ}を見つけ出す。即ち、{k, p_ｘ, p_ｙ}を見つけ出すために、S{k, p_ｘ, p_ｙ}は
【００５０】
【数４】

【００５１】
により最小にされ、ここで(x', y')は全てのマクロブロックの座標であり、
【００５２】
【数５】

【００５３】
は(x', y')のマクロブロックについての見積もられた運動ベクトルであり、
【００５４】
【数６】

【００５５】
はストリームからの対応する運動ベクトルである。
【００５６】
見積もり後、見積もられた運動ベクトルから大きな距離を有する実際の運動ベクトルはフィルタリングされ取り除かれる。見積もりは残りの運動ベクトルに対して反復される。精度を高めるために見積もりが数回繰り返される。最後の繰り返しで、最終見積もりのために使用された運動ベクトルから平均運動ベクトルの大きさを計算することができる。見積もりはＩフレームに続くＰフレームの運動ベクトルに対して実行され、全てのＩフレームは大域的視野を有するプレーのセグメントからのものであるので、Ｐフレームの運動ベクトルの殆どは大域的運動と調和する。
【００５７】
カメラ運動見積もり後、各プレーにおいて、プレーの始まりから開始して、各Ｉフレームにおいて、累積されたp_ｘを計算することができる。この値は、水平方向に沿ったカメラの総運動を表し、フィールドにおける水平方向に沿ったボールの位置変化を反映する。この情報は、方位特徴と共に、各プレー内における活動に関するより正確な情報を与えることができる。又各プレーについて、平均運動ベクトルの大きさはこのプレーにおける運動活動のレベルを与え、それは該プレーにおける動きの強度を示す。
【００５８】
図８は、ビデオ中の１つのプレーの線方位８０１とｘ沿いの累積パン８０２とを示している。それは、３つのサイドチェンジを明らかに示している。
システム・アーキテクチャ
【００５９】
図９に示されているように、この発明のシステム及び方法は、スポーツ・ビデオ９０１を走査し分析するために使用することのできる自動構造分析及び要約システムを提供する。色特徴９２１、草特徴９２３、及び端特徴９２２を決定するためにＩフレームからＤＣ係数が抽出される９２０。これらの特徴は、視野及び視野方位９２４を特定するために使用される。カメラ運動９３２，及び運動活動９２４を決定するために運動ベクトルが抽出される９３０。この情報は、全て、ユーザーインターフェース９５０によりアクセスすることのできるライブラリー９４０に蓄積される。
【００６０】
好ましい実施の形態の例によりこの発明を記述したけれども、この発明の範囲内でいろいろな他の改造や修正をなし得ることが理解されなければならない。従って、添付されている請求項の目的は、この発明の真の範囲に属する全ての変化形及び修正形を包含することである。
【図面の簡単な説明】
【図１】 ドメイン固有ビデオ中の高レベル構造及び事象を分析するためのシステム及び方法のブロック図である。
【図２】 ビデオの選択されたフレーム中の色を測定することにより決定される色相の累積ヒストグラムである。
【図３】 構造及び事象を決定するためのドメイン知識の応用の流れ図である。
【図４】 この発明により使用される標識シーケンスのグラフである。
【図５】 ノイズ除去及び標識併合の後の図４の標識シーケンスのグラフである。
【図６ａ】 スポーツ・ビデオ中のいろいろな視野の画像である。
【図６ｂ】 スポーツ・ビデオ中のいろいろな視野の画像である。
【図６ｃ】 スポーツ・ビデオ中のいろいろな視野の画像である。
【図７】 プレー領域内の全ての端点の線方位ヒストグラムである。
【図８】 スポーツ・ビデオにおける線方位と累積パンとのグラフである。
【図９】 この発明に従ってスポーツ・ビデオを走査し分析するために使用されることのできる自動構造分析の流れ図である。

Claims (12)

1. 複数のフレームを含む圧縮されているビデオを分析する方法であって、
   その圧縮されているビデオの各フレーム内の優勢な特徴の量を測定し、
   その優勢な特徴の測定された量により各フレームに標識を関連づけ、
   該標識により該ビデオ内の視野を特定し、
   該視野により該ビデオを動きに分割し、
   該動きにより該ビデオを分析して該ビデオ内の顕著な事象を決定する、
   ステップを含むことを特徴とする方法。
2. 前記の優勢な特徴、標識、視野、動き及び顕著な事象はドメイン知識データベースに蓄積されることを特徴とする請求項１に記載の方法。
3. 前記の優勢な特徴は色であり、更に、前記の優勢な特徴を特定するために色ヒストグラムを構築するステップを含むことを特徴とする請求項１に記載の方法。
4. 前記の優勢な特徴の量が第１スレショルドより大きい多ければ特定のフレームを大域的視野として特定し、
   前記の優勢な特徴の量が第２スレショルドより少なければ前記の特定のフレームをクローズアップ視野として特定し、
   それ以外の場合には前記の特定のフレームをズームイン視野として特定する、
   ステップを更に含むことを特徴とする請求項１に記載の方法。
5. 該第１スレショルドはフレームの５０％であり、該第２スレショルドはフレームの１０％であることを特徴とする請求項４に記載の方法。
6. 該標識からノイズを除去し、
   実質的に類似する標識を併合する、
   ステップを更に含むことを特徴とする請求項１に記載の方法。
7. 該動きは、クローズアップ視野の間は休憩であり、大域的視野の間は展開するプレーであることを特徴とする請求項４に記載の方法。
8. もしズームイン視野がリプレーであるならば該動きは休憩であり、その他の場合には展開するプレーであることを特徴とする請求項４に記載の方法。
9. 該ビデオのシーンはプレー領域を含み、該プレー領域は線を含み、更に、
   該線の方位を決定するステップを含むことを特徴とする請求項１に記載の方法。
10. 該線の方位の角度の変化によりサイドチェンジを決定するステップを更に含むことを特徴とする請求項９に記載の方法。
11. 該動きの強度を決定するために該ビデオにおけるカメラ運動を見積もるステップを更に含むことを特徴とする請求項１に記載の方法。
12. 複数のフレームを含む圧縮されているビデオを分析するためのシステムであって、
    優勢な特徴、標識、視野分類、動き、及び顕著な事象を蓄積するドメイン知識データベースと、
    前記の圧縮されているビデオの各フレームにおける優勢な特徴の量を測定するための手段と、
    前記の優勢な特徴の測定された量により特定の標識を各フレームに関連づけるための手段と、
    概標識により該ビデオ中の特定の視野を特定するための手段と、
    該視野により該ビデオを動きに分割するための手段と、
    該動きにより該ビデオを分析して該ビデオ中の顕著な事象を決定する手段と、
    を備えたことを特徴とするシステム。

Images