JP4764332B2 - パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム - Google Patents

Description

本発明は、映像データからイベントを検出する際に用いるパラメータ情報を作成するパラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、作成したパラメータ情報を用いてイベントを検出するイベント検出装置及びイベント検出プログラムに関する。

従来、映像データ（特に、スポーツを取り扱ったスポーツ映像データ）からイベントを検出する手法として、当該映像データを取得した際に用いたカメラのパン、チルト、ズーム操作等やカメラワークの遷移等による画角・構図の変化、撮影方向の変化を、当該映像データから検出し、この検出した結果からイベントを検出する手法がある（例えば、非特許文献１参照）。

また、イベントを検出する従来の手法には、これら画角・構図の変化、撮影方向の変化に加え、映像データに含まれる色彩、映像データのカット点等に基づいて、映像データの重要性を判別したり、映像データの分野（ニュース、スポーツ中継等の分野）を判別したりするものがある（例えば、特許文献１、２参照）。

なお、ここでいうイベントとは、例えば、映像データがスポーツ映像データであり、サッカーに関するものであった場合、コーナーキック、ゴールキック等を指すものであり、スポーツ固有のものである。また、映像データが、スポーツ映像データ以外のものである場合、特定のシーン等を指すものである。

さらに、スポーツ映像データからイベントを検出する従来の手法には、選手に関する特徴量からイベントの種別及びタイミングを検出する手法があり、選手位置及び選手の移動速度から、瞬時の状況（フォーメーション）を解析する手法がある（例えば、特許文献３参照）。

さらにまた、イベントを検出する従来の手法には、イベントを推測するルールベースとなるイベント推測手段をモジュール化し、このモジュール化したイベント推測手段を使い分けることにより、様々な分野のイベント検出に対応可能な手法もある（例えば、特許文献４）。
「スポーツ中継映像データベースのカメラワーク情報による特徴解析手法」、日本データベース学会Ｌｅｔｔｅｒｓ Ｖｏｌ．１，Ｎｏ．２，ｐｐ．３２−３５． 特開平９−６５２８７号公報 特開２００６−２５１８８５号公報 特開２００６−２８５８７８号公報 特開２０００−１２３１８４号公報

しかしながら、非特許文献１、特許文献１及び特許文献２に開示されている手法は、カメラのカメラワークに基づいて間接的にシーンを判別するものであるため、カメラを取り扱っているカメラマンの技量差や演出上の意図によって、意に反したイベント検出結果が出力されてしまうという問題がある。

例えば、特許文献１に開示されている手法では、イベントを検出する際に、映像データに含まれる色彩や映像データのカット点による映像スイッチング（切り替え）を参照することもできるが、映像データに含まれる被写体単位の動きを解析するものではないため、スポーツの詳細なイベントの判別には向かないと言え、最適なイベント検出結果が得られない。

また、特許文献３に開示されている手法は、選手位置及び選手の移動速度から、瞬時の状況（フォーメーション）を解析することで、特徴量とイベントとの間の依存関係を考慮することができるが、イベント相互の時間的な依存関係を考慮することができないため、時間遷移に注目したイベントの検出を行うことができないという問題がある。この特許文献３に開示されている手法は、イベントを検出する際に用いるルールやモデルに付随するパラメータを主観的に与える必要があり、場合によっては意に反したイベント検出結果が出力されてしまうという問題がある。

さらに、特許文献４に開示されている手法は、イベントを推測するルールベースとなるイベント推測手段をモジュール化することで汎用化を図っているが、このルールベースの構築法自体が主観的であるため、場合によっては意に反したイベント検出結果が出力されてしまうという問題がある

そこで、本発明では、前記した問題を解決し、客観的に、最適なイベント検出結果を得ることができるイベント検出装置及びイベント検出プログラム、並びに、これらに用いるパラメータ情報を作成するパラメータ情報作成装置及びパラメータ情報作成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載のパラメータ情報作成装置は、映像データから検出するイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成するパラメータ情報作成装置であって、被写体位置情報作成手段と、特徴量情報作成手段と、パラメータ情報作成手段と、を備える構成とした。

かかる構成によれば、パラメータ情報作成装置は、被写体位置情報作成手段によって、映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、パラメータ情報作成装置は、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、パラメータ情報作成装置は、パラメータ情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて、統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとにパラメータ情報を複数個作成する。
また、パラメータ情報作成装置は、パラメータのサンプリングを、隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う。
かかる構成によれば、パラメータ情報作成装置は、マルコフ連鎖モンテカルロ法を、パラメータをサンプリングする際の学習方法に設定しておくことで、確率・統計的に最も確からしいパラメータ情報を得ることができる。

請求項２に記載のパラメータ情報作成装置は、請求項１に記載のパラメータ情報作成装置において、前記映像データがスポーツに関する映像データであり、前記被写体が当該スポーツの選手であることを特徴とする。

かかる構成によれば、パラメータ情報作成装置は、映像データがスポーツに関する映像データ、すなわち、サッカーや野球等のスポーツ番組等であった場合に、被写体である選手の位置情報等によって、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成する。

請求項３に記載のパラメータ情報作成プログラムは、映像データから検出するイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成するために、コンピュータを、被写体位置情報作成手段、特徴量情報作成手段、パラメータ情報作成手段、として機能させる構成とした。

かかる構成によれば、パラメータ情報作成プログラムは、被写体位置情報作成手段によって、映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、パラメータ情報作成プログラムは、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、パラメータ情報作成プログラムは、パラメータ情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて、統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、パラメータ情報を複数個作成する。
また、パラメータ情報作成装置は、パラメータのサンプリングを、隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う。

請求項４に記載のイベント検出装置は、入力された映像データから映像イベントを検出するために、請求項１又は２に記載のパラメータ情報作成装置で作成されたパラメータ情報を用いて、前記イベントの生起確率を算出するイベント検出装置であって、被写体位置情報作成手段と、特徴量情報作成手段と、イベント生起確率情報作成手段と、検出処理手段と、を備える構成とした。

かかる構成によれば、イベント検出装置は、被写体位置情報作成手段によって、入力された映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、イベント検出装置は、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、イベント検出装置は、イベント生起確率情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、パラメータ情報作成装置で作成された複数個のパラメータ情報の全てに対応するイベントの生起確率の時系列を用いて、各イベントの種類について時刻ごとに平均値をとって各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成する。その後、イベント検出装置は、検出処理手段によって、イベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、イベントを検出する。

請求項５に記載のイベント検出プログラムは、請求項３に記載のパラメータ情報作成プログラムで作成されたパラメータ情報を用いて、前記イベントの生起確率を算出して、入力された映像データからイベントを検出するために、コンピュータを、被写体位置情報作成手段、特徴量情報作成手段、イベント生起確率情報作成手段、検出処理手段、として機能させる構成とした。

かかる構成によれば、イベント検出プログラムは、被写体位置情報作成手段によって、入力された映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成し、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、イベント検出プログラムは、イベント生起確率情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、パラメータ情報作成プログラムで作成された複数個のパラメータ情報の全てに対応するイベントの生起確率の時系列を用いて、各イベントの種類について時刻ごとに平均値をとって各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成する。

請求項１、３に記載の発明によれば、映像データに含まれる被写体の位置情報から、被写体の平均位置や速度等の特徴量情報を作成し、この特徴量情報を用いて予め設定したパラメータ学習方法により、パラメータ情報を作成しているので、統計モデルに付随する客観的なパラメータ情報を得ることができる。そして、このパラメータ情報をイベント検出装置に利用することで、客観的に、最適なイベント検出結果を得ることができる。また、マルコフ連鎖モンテカルロ法を用いることで、高次元、且つ、複雑な統計モデルに付随するパラメータ情報を、適切に、複数個、得ることができる。

請求項２に記載の発明によれば、映像データがサッカーや野球等のスポーツ番組等であった場合に、被写体である選手の位置情報等によって、特徴量情報を作成し、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成することができる。

請求項４、５に記載の発明によれば、統計モデルに付随する客観的なパラメータ情報を用いているので、客観的に、最適なイベント検出結果を得ることができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（イベント検出システムの構成）
図１はイベント検出システムのブロック図である。この図１に示すように、イベント検出システムＳは、パラメータ自動獲得装置（パラメータ情報作成装置）１と、スポーツ映像入力装置３と、イベント生起確率算出装置（イベント検出装置）５と、検出イベント出力装置７とを備えている。

このイベント検出システムＳは、スポーツ映像情報（スポーツ映像データ）として、サッカー試合映像情報を用いて、サッカーにおける、ゴールキック、コーナーキック、キックオフ、フリーキック、スローインの５種類のイベントと、これら以外のイベント無し（これもイベントの一つとする）との６種類について、イベントの検出を行うものである。

スポーツ映像情報は、単一又は複数台の撮影装置で撮影されたスポーツ試合の映像情報であり、ここでは、特定の試合（例えば、日本のチーム対外国のチームによるサッカーの国際試合について数年分の試合）を撮影した単一又は複数の動画像の情報で構成されている。

パラメータ自動獲得装置１は、スポーツ映像情報（スポーツ映像データ）からイベントを検出する場合に、当該イベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を自動的に作成するもので、スポーツ映像記録部９と、選手位置追跡部（被写体位置情報作成手段）１１と、特徴量加工部（特徴量情報作成手段）１３と、パラメータ獲得部（パラメータ情報作成手段）１５と、パラメータ記録部１７とを備えている。ちなみに、このパラメータ自動獲得装置１では、パラメータ情報を自動的に作成して、イベント生起確率算出装置５に適宜出力しているので、「獲得」という文言を使用している。なお、このパラメータ自動獲得装置１は、パーソナルコンピュータやサーバといったコンピュータで構成することができる。

スポーツ映像記録部９は、単数又は複数のスポーツ映像情報を予め記録しているもので、一般的なハードディスク等によって構成されている。このスポーツ映像記録部９は、記録している単数又は複数のスポーツ映像情報を選手位置追跡部１１に出力する。

選手位置追跡部１１は、スポーツ映像記録部９から出力された単数又は複数のスポーツ映像情報を、読み取り、読み取ったすべてのスポーツ映像情報から、各スポーツ映像情報を構成するフレームに含まれる選手の選手位置情報（位置情報）を作成し、作成した選手位置情報を特徴量加工部１３に出力するものである。この選手位置追跡部１１は、スポーツ映像情報を用いて、選手位置情報を高精度に推定可能な手法を採用しており、例えば、特開２００５−２０９１４８号公報に開示されている手法を用いることができる。

選手位置情報は、スポーツ映像情報から作成した情報であり、当該スポーツ映像情報に含まれる全参加選手の時系列情報の集合である。つまり、時刻ｔにおけるフレームに含まれている選手Ａがどの位置（フレームにおける座標）にいて、連続する時刻ｔ＋１におけるフレームには、選手Ａがどの位置にいる（当然、次のフレームには含まれていない場合もある）といった情報の集合である。スポーツ映像情報に審判等が含まれている場合、当該審判等の時系列情報を含んでもよく、球技である場合、ボールの位置の時系列情報を含んでもよい。なお、選手位置追跡部１１は、一つのスポーツ映像情報に対し、一つの選手位置情報を作成する。

特徴量加工部１３は、選手位置追跡部１１から出力された選手位置情報を用いて、各選手位置情報に対応する特徴量情報を作成し、作成したすべての特徴量情報をパラメータ獲得部１５に出力するものである。

特徴量情報は、選手位置情報から作成した情報であり、選手が所属し対戦しているチーム別に又はチームとは関わりなく両チームについて作成した時系列情報である。
例えば、特徴量情報は、すべての選手の人数（個数）と、すべての選手の位置の平均値（平均位置）と、すべての選手の位置の共分散行列と、すべての選手の速度の平均値（平均速度）と、すべての選手の速度の共分散行列と、特定チーム所属選手（特定種別の被写体）の人数（個数）と、特定チーム所属選手の位置の平均値（平均位置）と、特定チーム所属選手の速度の平均値（平均速度）と、特定チーム所属選手の位置の共分散行列と、特定チーム所属選手の速度の共分散行列と、特定箇所（特定領域）にいる選手人数と、特定箇所にいる選手の有無を表すフラグと、特定箇所に存在する選手人数をチーム区別せずに集計した人数と、特定箇所に存在する選手人数をチームごとに集計した人数と、の少なくとも１つを含んだものである。

なお、この特徴量情報に、選手の種別情報を付加してもよい。この選手の種別情報とは、例えば、所属チームのチーム名や、ゴールキーパーとフィールド上の選手とを区別する情報であり、例えば、左側ゴールキーパーに“０”を割り当て、左側チームフィールド選手に“１”を割り当て、右側ゴールキーパーに“２”を割り当て、右側チームフィールド選手に“３”を割り当てたものでよい。

なお、特定箇所（特定領域）とは、前記したようにスポーツ映像情報がサッカー試合映像情報であり、フレームが長方形であるので、当該フレームに対し、例えば、右側フィールド内、左側フィールド内、ペナルティエリア内、ゴールエリア内、上側タッチライン周辺、下側タッチライン周辺、右上コーナー周辺、右下コーナー周辺、左上コーナー周辺、左下コーナー周辺、センターライン周辺である。その他に、特定箇所とは、センターマーク、ペナルティマーク、ペナルティアーク、センターサークル、ゴールポスト、ゴールライン、ハーフウェイライン、タッチラインとハーフウェイラインとの交点等の局所領域であってもよい。

また、特定箇所にいる選手の有無を表すフラグとは、すべての選手位置情報から、競技場内の特定箇所に特定チーム（攻撃側チーム又は守備側チーム）又は任意チーム（攻撃側チーム及び守備側チーム）の選手が存在するか否かを判定したものである。フラグの具体的な例としては、いずれかのコーナー周辺に攻撃側チームの選手がいるか否かを示すフラグが挙げられる。また、タッチライン付近に特定チーム又は任意チームの選手がいるか否か否かを示すフラグが挙げられる。

そして、特徴量情報は、サッカーが行われているフィールドを、特定箇所群に分割し、それぞれの特定箇所に存在する特定チーム（特定種別）又は任意チーム（任意種別）の選手が何人いるかといった情報を含めてもよい。例えば、当該フィールドを格子状に分割し、各格子の領域内に存在する選手数を特徴量情報に含めることができる。なお、特定箇所群は、クリスプ集合としてもよいし、ファジィ集合としてもよい。

この特徴量加工部１３は、種々の手法により求めた特徴量情報の組（特徴ベクトル）を求め、この特徴量情報の組に対し、予め設定した線形変換を施した結果を、新たな特徴量情報として出力することもできる。例えば、特定チーム（例えば、攻撃側チーム）の選手に関する平均位置をＸ_１とし、他方のチーム（この場合、守備側チーム）の選手に関する平均位置Ｘ_２とし、新たな特徴量情報をＸとすると、次に示す数式（１）のように求めることができる。

この数式（１）において、Ａ及びＢは定数として、例えば、Ａ＝−１及びＢ＝１とすることができる。なお、特徴量加工部１３は、一つの選手位置情報に対し、一つの特徴量情報を作成する。

パラメータ獲得部１５は、特徴量加工部１３から出力された特徴量情報を用いて、予め設定したパラメータ学習方法により、単数又は複数のパラメータ情報を作成し、作成したすべてのパラメータ情報をパラメータ記録部１７に出力するものである。つまり、このパラメータ獲得部１５は、特徴量情報を用いて、単数回又は複数回、パラメータを学習し、学習したすべてのパラメータに対応するパラメータ情報を作成するものである。

このパラメータ獲得部１５は、統計モデルに対応したパラメータの候補をサンプリングすることで、パラメータ情報を作成する。なお、パラメータ獲得部１５では、パラメータの候補をサンプリングする際に、学習するのに要する時間や回数を、有限時間や有限回数（後記する規定の回数）として予め設定しておくか、又は、収束していく状態を予め設定しておく（例えば、予めパラメータの個数を規定しておく）必要がある。

予め設定したパラメータ学習方法は、入力された情報（ここでは、特徴量情報）を用いた統計的学習法であり、パラメータを単数又は複数学習する方法である。なお、このパラメータ学習方法は、パラメータを効果的に学習できる方法であれば、どの様な方法を採用してもよく、この実施の形態では、マルコフ連鎖モンテカルロ法を採用している。また、このマルコフ連鎖モンテカルロ法に限定されず、事後確率最大化法を採用してもよい。

ちなみに、マルコフ連鎖モンテカルロ法は、Ｓ．Ｌ．Ｓｃｏｔｔ，“Ｂａｙｅｓｉａｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ：Ｒｅｃｕｒｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ ｉｎ ｔｈｅ ２１ｓｔ Ｃｅｎｔｕｒｙ”，Ｊ．Ａｍ．Ｓｔａｔ．Ａｓｓｏｃ．，ｖｏｌ．９７，ｐｐ．３３７−３５１，２００２．に開示されている手法でよい。
また、事後確率最大化法は、Ｑ．Ｈｕｏ ａｎｄ Ｃ．Ｃｈａｎ，“Ｂａｙｅｓｉａｎ Ａｄａｐｔｉｖｅ Ｌｅａｒｎｉｎｇ ｏｆ ｔｈｅ Ｐａｒａｍｅｔｅｒｓ ｏｆ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｆｏｒ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，ｐｐ．３３４−３４５，１９９５に開示されている手法でよい。

パラメータ情報は、イベント生起確率算出装置５においてイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータそれぞれの情報である。
統計モデルは、状態遷移の機構を内包するもので、具体的には、隠れマルコフモデルや、隠れセミマルコフモデル、動的ベイズネットワークモデルである。

例えば、統計モデルとして、隠れマルコフモデルを用いた場合、パラメータ情報は、遷移確率パラメータ（行列）と、出力確率パラメータ（行列）と、初期状態確率パラメータ（ベクトル）とから構成される。

ここで、図２を参照して、隠れマルコフモデルにおける状態遷移の一例について説明する。この図２に示したように、隠れマルコフモデルでは、状態３０１と、状態３０２と、状態３０３との３つの状態を持っており、これら３つの状態が一定の確率で遷移していく。ある状態から次の状態に遷移する確率値の合計は“１”であり、例えば、状態３０１から状態３０１に遷移（矢印ア）する確率の確率値と、状態３０１から状態３０２に遷移（矢印イ）する確率の確率値と、状態３０１から状態３０３に遷移（矢印ウ）する確率の確率値との合計は“１”である。

なお、状態の数は、この例では３つであるが、３つに限定されず、１以上の任意の数でよく、予め設定しておくこととしている。図１に戻る。

パラメータ記録部１７は、パラメータ獲得部１５から出力された、単数又は複数のパラメータ情報を記録するもので、一般的なハードディスク等によって構成されている。このパラメータ記録部１７は、記録している単数又は複数のパラメータ情報をイベント生起確率算出装置５に適宜出力する。

このパラメータ自動獲得装置１によれば、選手位置追跡部１１によって、スポーツ映像情報（映像データ）に含まれる選手位置情報（被写体の位置情報）を作成し、特徴量加工部１３によって、選手位置情報から、選手の平均位置や速度等の特徴量情報を作成し、パラメータ獲得部１５によって、特徴量情報を用いて予め設定したパラメータ学習方法により、パラメータ情報を作成しているので、統計モデルに付随する客観的なパラメータ情報を得ることができる。そして、このパラメータ情報をイベント生起確率算出装置５に利用することで、客観的に、最適なイベント検出結果を得ることができる。

また、このパラメータ自動獲得装置１によれば、スポーツ映像情報がサッカーや野球等のスポーツ番組等であるので、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成することができる。

さらに、このパラメータ自動獲得装置１によれば、パラメータ獲得部１５において、パラメータ学習方法にマルコフ連鎖モンテカルロ法を用いることで、高次元、且つ、複雑な統計モデルに付随するパラメータ情報を、適切に、複数個、得ることができる。

スポーツ映像入力装置３は、スポーツ映像情報（映像データ）を作成して、イベント生起確率算出装置５に出力するものである。このスポーツ映像入力装置３は、スポーツ映像情報をイベント生起確率算出装置５に出力するものであれば、何でもよく、例えば、単数又は複数の撮影装置（図示せず）と、パーソナルコンピュータやサーバ等のコンピュータとで構成したものでよい。

イベント生起確率算出装置５は、パラメータ自動獲得装置１から出力されたパラメータ情報を用いて、スポーツ映像入力装置３から出力されたスポーツ映像情報（映像データ）について、イベントの生起確率を算出するもので、選手位置追跡部（被写体位置情報作成手段）１９と、特徴量加工部（特徴量情報作成手段）２１と、確率値算出部（イベント生起確率情報作成手段）２３と、検出処理部（検出処理手段）２５とを備えている。なお、このイベント生起確率算出装置５は、パーソナルコンピュータやサーバといったコンピュータで構成することができる。

選手位置追跡部１９は、スポーツ映像入力装置３から出力された単数又は複数のスポーツ映像情報から、各スポーツ映像情報を構成するフレームに含まれる選手の選手位置情報（位置情報）を作成し、作成した選手位置情報を特徴量加工部２１に出力するものである。なお、この選手位置情報は、選手位置追跡部１１で用いた手法と同様の手法によって求められる。

特徴量加工部２１は、選手位置追跡部１９から出力された選手位置情報を用いて、各選手位置情報に対応する特徴量情報を作成し、作成したすべての特徴量情報を確率値算出部２３に出力するものである。なお、この特徴量情報は、特徴量加工部１３で用いた手法と同様の手法によって求められる。

確率値算出部２３は、パラメータ自動獲得装置１から出力されたパラメータ情報を用いて、特徴量加工部２１から出力された特徴量情報に対応するイベント生起確率情報を作成し、検出処理部２５に出力するものである。

イベント生起確率情報は、イベントの種類ごとに算出された、当該イベントが生じ得る確率値の時系列情報である。イベントの種類は、前記したようにスポーツ映像情報がサッカー試合映像情報であるので、サッカーにおける、ゴールキック、コーナーキック、キックオフ、フリーキック、スローインの５種類のイベントと、これら以外のイベント無し（これもイベントの一つとする）との６種類である。

この確率値算出部２３は、まず、特徴量加工部２１から出力された特徴量情報を用いて、各イベントの種類について、各時刻におけるイベント生起確率値を時系列に従って算出する。続いて、確率値算出部２３は、パラメータ自動獲得装置１からパラメータ情報を複数読み取った場合には、すべてのパラメータ情報に対応するイベント生起確率値を用いて、各イベントの種類について時刻ごとに平均値をとる。そして、確率値算出部２３は、各イベントの種類について、時刻ごとに平均値をとったイベント生起確率値を用いて、イベント生起確率情報を作成する。

なお、確率算出部２３は、パラメータ自動獲得装置１からパラメータ情報が単数であった場合には、当該単数のパラメータ情報を用いて算出されたイベント生起確率値により、イベント生起確率情報を作成してもよい。

この確率値算出部２３は、イベント生起確率情報を、次に示す数式（２）を用いて作成する。

この数式（２）は、特定のパラメータ情報に対応するパラメータθと、特定の特徴量情報に対応する特徴量の時系列情報ｆ_１：Ｔ＝（ｆ_１，ｆ_２，・・・，ｆ_Ｔ）とが与えられたときに、特定の時刻ｔにおけるイベントｅ_ｔが、特定のイベントの種類ε_ｉである確率値を表している。なお、特徴量の時系列情報ｆ_１：Ｔ＝（ｆ_１，ｆ_２，・・・，ｆ_Ｔ）は、スポーツの試合が開始された試合開始時（時刻１）から特定の時刻Ｔまでの特徴量の時系列情報を表している。

なお、この数式（２）が表すイベント生起確率値の算出に用いる具体的な手法は、例えば、確率伝播法でよい。ちなみに、確率伝播法については、「甘利 俊一ほか、統計科学のフロンティア６“パターン認識と学習の統計学−新しい概念と手法” 岩波書店、ｐｐ．４５−５４」に開示されている手法でよい。

ここで、図３を参照して、イベント生起確率情報の一例をグラフ化した場合について説明する。図３（ａ）は、イベント「ゴールキック」について、図３（ｂ）は、イベント「コーナーキック」について、横軸に時刻（経過時刻）、縦軸に生起確率値をとってグラフ化した図である。これら図３（ａ）、（ｂ）において、微小な点を付した領域が該当するイベントの発生した時間帯を示している。図１に戻る。

検出処理部２５は、確率値算出部２３から出力されたイベント生起確率情報に対応する検出イベント情報（入力映像イベント）を作成し、作成した検出イベント情報を、検出イベント出力装置７に出力するものである。この検出処理部２５では、確率値算出部２３から出力されたイベント生起確率情報に基づいて、各時刻において、イベント生起確率値が最も高いイベントの種類を選択し、この選択したイベントの種類を、検出イベント情報として出力している。

検出イベント情報は、各時刻で検出されたイベントを示す時系列情報である。例えば、図３に示した例では、検出イベント情報は、図３（ａ）より、「時刻約１４９０から時刻約１５００までの時間帯にイベント「ゴールキック」が発生」となり、図３（ｂ）より、「時刻約７４５から時刻約７５５までの時間帯にイベント「コーナーキック」が発生」となる。

このイベント生起確率算出装置５によれば、パラメータ自動獲得装置１から出力された、統計モデルに付随する客観的なパラメータ情報を用いているので、客観的に、最適なイベント検出結果を得ることができる。

検出イベント出力装置７は、イベント生起確率算出装置５から出力された検出イベント情報を出力（表示）するものである。この検出イベント出力装置７は、検出イベント情報を出力（表示）するものであれば、何でもよく、例えば、一般的な液晶等のディスプレイでよい。なお、検出イベント情報を表示する場合に、各時刻において検出したイベントの種類の名称（コーナーキック、ゴールキック等）を併せて表示するようにしてもよい。

（パラメータ自動獲得装置の動作）
次に、図４に示すフローチャートを参照して、パラメータ自動獲得装置１の動作について説明する（適宜、図１参照）。
まず、パラメータ自動獲得装置１は、選手位置追跡部１１によって、スポーツ映像記録部９から読み出されたスポーツ映像情報に含まれる各フレームから選手位置情報を作成する（ステップＳ１）。

続いて、パラメータ自動獲得装置１は、特徴量加工部１３によって、選手位置追跡部１１から出力された選手位置情報を用いて、特徴量情報を作成する（ステップＳ２）。そして、パラメータ自動獲得装置１は、パラメータ獲得部１５によって、パラメータを初期化し（ステップＳ３）、パラメータのサンプリングを規定回数行ったか否かに関する判定を行う（ステップＳ４）。

そして、パラメータ自動獲得装置１は、サンプリングを規定回数行ったと判定しなかった場合（ステップＳ４、Ｎｏ）、パラメータ獲得部１５によって、初期化したパラメータ（又は、ステップＳ６で求められたパラメータ）と特徴量加工部１３から出力された特徴量情報とを用いて、各特徴量情報に対する状態列をサンプリングする（ステップＳ５）。

そして、パラメータ自動獲得装置１は、パラメータ獲得部１５によって、ステップＳ５でサンプリングされた状態列と特徴量情報とを用いて、パラメータをサンプリングする（ステップＳ６）。そして、ステップＳ４に戻る。

そして、パラメータ自動獲得装置１は、サンプリングを規定回数行ったと判定した場合（ステップＳ４、Ｙｅｓ）、パラメータ獲得部１５によって、サンプリングしたパラメータを用いて、パラメータ情報を作成して出力する（ステップＳ７）。

なお、ステップＳ３にて、パラメータを初期化する手法は、パラメータの事前分布と呼ばれる確率分布から、パラメータをサンプリングする処理を採用している。なお、この処理に限定されず、パラメータを定められた値とする手法であってもよい。

また、ステップＳ４にて、サンプリングの回数を規定回数と設定しているが、このサンプリングの回数は、１以上の任意数を予め設定しておいたものである。

さらに、ステップＳ５では、既に１回以上、ステップＳ６を実施していれば、最後に実施されたステップＳ６で得られたパラメータを用いて、１回以上実施されていない場合、初期化されたパラメータを用いて、特徴加工部１３から出力されたすべての特徴量情報に対する状態列をサンプリングして、ステップＳ６に進む。なお、このステップＳ５にて、各状態列のサンプリングに用いる確率分布は、対象とする状態列に対応する特徴量情報と、ステップＳ３又はステップＳ６で得られたパラメータとが与えられた下での条件付確率分布でよい。

そして、ステップＳ６では、ステップＳ５で得たすべての状態列と、特徴加工部１３から出力されたすべての特徴量情報とを用いて、パラメータをサンプリングし、ステップＳ４に戻る。なお、このとき、パラメータのサンプリングに用いる確率分布は、ステップＳ５で得たすべての状態列と、特徴加工部１３から出力されたすべての特徴量情報とが与えられた下での条件付確率分布でよい。

そして、ステップＳ７では、ステップＳ６で得たパラメータを用いて、パラメータ情報を作成する。このとき、ステップＳ６の一回の処理で得られたパラメータに対し、パラメータ情報を一つ作成する。また、ステップＳ６で得たパラメータのすべてについて、パラメータ情報を作成してもよいし、ステップＳ６で得たパラメータから任意数のパラメータを選び出し、選び出したパラメータに対応するパラメータ情報を作成してもよい。

（イベント生起確率算出装置の動作）
次に、図５に示すフローチャートを参照して、イベント生起確率算出装置５の動作について説明する（適宜、図１参照）。
まず、イベント生起確率算出装置５は、選手位置追跡部１９によって、スポーツ映像入力装置３から出力されたスポーツ映像情報（入力映像データ）から選手位置情報を作成する（ステップＳ１１）。

続いて、イベント生起確率算出装置５は、特徴加工部２１によって、選手位置追跡部１９から出力された選手位置情報を用いて、特徴量情報を作成する（ステップＳ１２）。そして、イベント生起確率算出装置５は、確率値算出部２３によって、特徴加工部２１から出力された特徴量情報と、パラメータ自動獲得装置１から出力されたパラメータ情報とを用いて、イベント生起確率情報を作成する（ステップＳ１３）。その後、イベント生起確率算出装置５は、検出処理部２５によって、入力映像イベントを検出する（ステップＳ１４）。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、パラメータ自動獲得装置１及びイベント生起確率算出装置５として説明したが、これらの構成の処理を行えるように、コンピュータ言語で記述したパラメータ情報作成プログラム及びイベント検出プログラムとすることも可能である。これらは、当該装置１及び当該装置５のそれぞれと同様の効果を奏する。

また、パラメータ自動獲得装置１において、パラメータ情報を作成する際に、サンプリングを規定の回数繰り返した後に、当該パラメータ情報を作成することとしているが、規定の回数に限らず、規定の時間繰り返した後に、パラメータをサンプリングすることによって、当該パラメータ情報を作成してもよい。また、パラメータ情報を作成する際に、予め、パラメータの個数を規定しておいた場合には、規定しておいた個数に達するまでサンプリングを行ってもよい。

本発明の実施形態に係るイベント検出システムのブロック図である。 隠れマルコフモデルの一例を示した図である。 イベント生起確率の一例をグラフ化した図である。 パラメータ自動獲得装置の動作を示したフローチャートである。 イベント生起確率算出装置の動作を示したフローチャートである。

符号の説明

１ パラメータ自動獲得装置（パラメータ情報作成装置）
３ スポーツ映像入力装置
５ イベント生起確率算出装置（イベント検出装置）
７ 検出イベント出力装置
９ スポーツ映像記録部
１１、１９ 選手位置追跡部（被写体位置情報作成手段）
１３、２１ 特徴量加工部（特徴量情報作成手段）
１５ パラメータ獲得部（パラメータ情報作成手段）
１７ パラメータ記録部
２３ 確率値算出部（イベント生起確率情報作成手段）
２５ 検出処理部（検出処理手段）

Claims (5)

1. 映像データから検出するイベントの生起確率を算出する際に用いる隠れマルコフモデルによる統計モデルに付随するパラメータ情報を作成するパラメータ情報作成装置であって、
   前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
   この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段と、
   この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を複数個作成するパラメータ情報作成手段と、
   を備え、
   前記パラメータ情報作成手段は、前記パラメータのサンプリングを、前記隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う
   ことを特徴とするパラメータ情報作成装置。
2. 前記映像データがスポーツに関する映像データであり、前記被写体が当該スポーツの選手であることを特徴とする請求項１に記載のパラメータ情報作成装置。
3. 映像データから検出するイベントの生起確率を算出する際に用いる隠れマルコフモデルによる統計モデルに付随するパラメータ情報を作成するために、コンピュータを、
   前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
   この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段、
   この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を複数個作成するパラメータ情報作成手段、
   として機能させ、
   前記パラメータ情報作成手段は、前記パラメータのサンプリングを、前記隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法によって行う
   ことを特徴とするパラメータ情報作成プログラム。
4. 入力された映像データからイベントを検出するために、請求項１または２に記載のパラメータ情報作成装置で作成されたパラメータ情報を用いて、前記イベントの生起確率を算出するイベント検出装置であって、
   前記入力された映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
   この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段と、
   この特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、前記パラメータ情報作成装置で作成された複数個のパラメータ情報の全てに対応する前記イベントの生起確率の時系列を用いて、前記各イベントの種類について時刻ごとに平均値をとって前記各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段と、
   このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力された映像データのイベントを検出する検出処理手段と、
   を備えることを特徴とするイベント検出装置。
5. 請求項３に記載のパラメータ情報作成プログラムで作成されたパラメータ情報を用いて、前記イベントの生起確率を算出して、入力された映像データからイベントを検出するために、コンピュータを、
   入力された入力映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
   この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段、
   この特徴量情報作成手段で作成された特徴量情報を用いて各イベントの種類について、各時刻におけるイベントの生起確率を時系列に沿って算出し、前記パラメータ情報作成プログラムで作成された複数個のパラメータ情報の全てに対応する前記イベントの生起確率の時系列を用いて、前記各イベントの種類について時刻ごとに平均値をとって前記各イベントの種類の時刻ごとのイベント生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段、
   このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力映像イベントを検出する検出処理手段、
   として機能させることを特徴とするイベント検出プログラム。

Images