JP4621910B2 - 優勢度判定装置及び優勢度判定方法 - Google Patents

Description

本発明は、ボールを使用してチームで競うスポーツ（以下、「チームスポーツ」と記す）の映像から選手の行動をモデル化し、チーム優勢度を判定する優勢度判定装置及び優勢度判定方法に関する。

チームスポーツ、例えば、サッカーなどは、多様な試合展開が存在し、視聴者によっては試合展開を理解するのが困難な場合がある。従って、視聴者に試合展開を表現したスポーツ映像を提供する技術が望まれる。

従来、試合展開の解析に必要となる選手とボールのフィールド上での位置が推定できる手法として、カメラの撮像領域を検出する手法（非特許文献１）や、選手の位置を検出する手法（非特許文献２）が提案されている。また、チームスポーツにおける集団での協調行動、すなわちチームワークを分析することによって、一方のチームが優勢である度合を示す優勢度を評価する手法（非特許文献３）が提案されている。非特許文献３では、選手が他の選手よりも先に到達できる領域を優勢領域と定め、優勢領域の面積を用いてチームの優勢度を評価する手法が提案されている。
Ｔ．Ｗａｔａｎａｂｅ， Ｍ．Ｈａｓｅｙａｍａ ａｎｄ Ｈ．Ｋｉｔａｊｉｍａ，"Ａ ｓｏｃｃｏｒ ｆｉｅｌｄ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｗｉｔｈ ｗｉｒｅ ｆｒａｍｅ ｍｏｄｅｌ ｆｒｏｍ ＴＶ Ｉｍａｇｅｓ"，ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００４ Ｙ．Ｏｈｎｏ， Ｊ．Ｍｉｕｒａ，Ｉ．Ｉｄｅ， Ｓ．Ｓａｋａｉ ａｎｄ Ｈ．Ｔａｎａｋａ，"Ｔｒａｃｋｉｎｇ ｐｌａｙｅｒｓ ａｎｄ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｅ ３Ｄ ｐｏｓｉｔｉｏｎ ｏｆ ａ ｂａｌｌ ｉｎ ｓｏｃｃｅｒ ｇａｍｅｓ"，Ｐｒｏｃ．１５ｔｈ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．１，Ｓｅｐ．２０００，ｐｐ．１４５−１４８ 瀧剛志、長谷川純一、「チームスポーツにおける集団行動解析のための特徴量とその応用」、電子情報通信学会論文誌（Ｄ−ＩＩ）、ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、ｎｏ．８、Ａｕｇ．１９９８、ｐｐ．１８０２−１８１１

しかしながら、優勢領域の面積が等しい場面でも、ボールと選手の位置関係や、ボールの移動の様子が異なれば、チームの優勢度が等しいとは限らない。そのため、選手の位置情報だけでなく、選手の行動も用いてチームの優勢度を判定する必要がある。

本発明は、かかる点に鑑みてなされたものであり、チームスポーツの映像を用いて、選手の行動をモデル化し、選手の位置情報と選手の行動情報とを利用してチームの優勢度を判定する優勢度判定装置及び優勢度判定方法を提供することを目的とする。

本発明の優勢度判定装置は、ボールを使用して、複数の選手が複数のチームに分かれて競技するチームスポーツの映像から、前記複数の選手の位置を示す選手位置情報と、ボールの位置を示すボール位置情報とを抽出する抽出手段と、前記選手位置情報と前記ボール位置情報から、ボール保持者を特定し、ボール保持者位置情報を取得する特定手段と、前記ボール保持者が取りうる複数の行動をモデル化する行動モデルと、前記複数の行動によって生じる複数の結果をモデル化する結果モデルを記憶する記憶領域であるモデル記憶手段と、前記行動モデルを読み出し、前記ボール保持者の初期状態が、前記行動モデルそれぞれである場合の初期確率を推定し、初期状態を示す確率分布を決定する推定手段と、前記行動モデルと結果モデルを読み出し、前記選手位置情報、及び、前記行動モデルを利用して、前記結果モデルそれぞれへ推移する複数の推移確率を算出する算出手段と、前記結果モデルそれぞれが得点につながる度合いを示す評価値を設定する設定手段と、前記確率分布と前記推移確率から前記結果モデルそれぞれが起こる確率を算出し、算出した確率へ対応する前記評価値を乗じて、ボール保持者の所属するチームの優勢度を判定する判定手段と、を備える構成を採る。

本発明によれば、チームスポーツの映像を用いて、選手の行動をモデル化し、選手の位置情報と選手の行動情報とを利用してチームの優勢度を判定する優勢度判定装置及び優勢度判定方法を提供することができる。

チームスポーツは、ボールを使用して、複数の選手が複数のチームに分かれて、所定のフィールド内で競技するスポーツを対象とする。ここでは、サッカーをチームスポーツの一例として説明する。

優勢度判定装置（優勢度判定方法）は、チームスポーツの映像を用いて、選手の行動をモデル化し、選手の位置情報と選手の行動情報とを利用してチームの優勢度を判定する。チームの優勢度は言い換えれば、得点できる可能性の高さを表す指標である。そのため、得点することを目的としているボール保持者の行動とその周囲の選手の位置関係が特に重要である。そこで、優勢度判定装置は、ボール保持者に注目し、その行動を単純マルコフ連鎖の状態空間に対応させ、周囲の選手との位置関係から推移確率を求める。これにより、ボール保持者の行動と周囲の選手の位置関係を利用したモデルが作成され、モデルの状態空間と推移確率からチーム優勢度を判定する。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る優勢度判定装置の構成の一例を示すブロック図である。図１に示す優勢度判定装置は、映像入力部１１０、抽出部１２０、特定部１３０、モデル記憶部１４０、推定部１５０、算出部１６０、設定部１７０、判定部１８０、計算値記憶部１９０、並びに、表示部２００を備える。

映像入力部１１０は、チームスポーツの映像を抽出部１２０へ供給する（映像入力工程）。映像入力部１１０は、通信回線、あるいは、ケーブル等を用いて、外部から入力（受信）した映像を抽出部１２０へ供給してもよいし、予め入力した映像を記憶領域へ記憶しておき、記憶した映像を抽出部１２０へ供給してもよい。また、映像入力部１１０は、少なくとも三つの時点の画像を含む映像を抽出部１２０へ供給する。

抽出部１２０は、映像入力部１１０から供給された映像から、複数の選手それぞれの位置を示す選手位置情報と、ボールの位置を示すボール位置情報とを抽出する（位置情報抽出工程）。抽出部１２０は、対象となる時点の画像である対象フレームと、対象フレームと異なる時点の画像である比較フレームとの、少なくとも三つのフレームについて、選手位置情報とボール位置情報とを抽出する。比較フレームは、対象フレームより前の時点の前フレーム（一つまたは複数）、対象フレームより後の時点の次フレーム（一つまたは複数）、あるいは、前フレームと次フレームの両方であってもよい。

特定部１３０は、選手位置情報とボール位置情報とから、ボール保持者を特定し、ボール保持者位置情報を取得する（ボール保持者の特定工程）。ボールの位置によって、ボール保持者がいない場合、特定部１３０は、ボール保持者が無いと判断する。

モデル記憶部１４０は、ボール保持者が取りうる複数の行動をモデル化する行動モデルと、複数の行動によって生じる複数の結果をモデル化する結果モデルを記憶する記憶領域である。モデル記憶部１４０に記憶するモデル（行動モデル、結果モデル）については、後述する。

推定部１５０は、モデル記憶部１４０から行動モデルを読み出し、ボール保持者の初期状態が、行動モデルそれぞれである場合の初期確率を推定し、各フレームにおける初期状態を示す確率分布を決定する（初期状態の推定工程）。

算出部１６０は、モデル記憶部１４０から行動モデルと結果モデルとを読み出し、選手位置情報と行動モデルとを利用して、複数の結果それぞれへ推移する複数の推移確率を算出する（推移確率算出工程）。

設定部１７０は、結果モデルに含まれる複数の結果それぞれが得点につながる度合いを示す評価値を設定する（評価値設定工程）。

判定部１８０は、確率分布と推移確率から結果モデルそれぞれが起こる確率を算出し、算出した確率へ対応する評価値を乗じて、ボール保持者の所属するチームの優勢度を判定する（優勢度判定工程）。

計算値記憶部１９０は、確率分布、推移確率、評価値などの計算値を記憶する記憶領域である。確率分布、推移確率、評価値それぞれは、各構成要素（推定部１５０、算出部１６０、設定部１７０）によって計算値記憶部１９０へ書き込まれる。

表示部２００は、判定部１８０が判定した優勢度の結果を表示する。

図１には明記していないが、図１に示した各構成要素の機能は、コンピュータ上で、ＣＰＵ（Central Processing Unit）の制御のもとに実行される。また、モデル記憶部１４０は、コンピュータ内あるいはコンピュータに接続された記憶領域であり、各構成要素は、モデルを用いる場合、モデル記憶部１４０からモデルを読み出して用いる。

次に、モデル記憶部１４０に記憶するモデルについて、具体的に説明する。優勢度判定装置は、モデルの作成にあたって、サッカー映像からゲーム展開を知るために、選手の位置情報だけでなく、選手の行動も用いてチームの優勢度を判定する。従って、優勢度の判定のために、選手の行動を抽出するためのモデルが必要となる。チームの優勢度は、得点できる可能性の高さを表すと考えられる。従って、直接得点する行動を起こす選手、つまり、ボール保持者の行動に注目したモデルを実現する。ここでは、ボール保持者は、常に一人と考え、ボールの移動はボール保持者の行動によって生じるものとする。

そこで、ボールを移動させる行動を事象と考え、ある事象はその直前の事象にのみ依存する性質を持ち、連続的な事象の発生を表現するモデルとしてよく知られている、単純マルコフ連鎖を用いてボール保持者の行動をモデル化する。

図２は、ボール保持者の行動をモデル化した行動モデルの一例を示す図である。なお、図２では、石井義信、岡村新太郎著「基本レッスン サッカー」大修館書店、１９９０年、で使用されている用語を用いた。図２では、ボール保持者の行動を、単純マルコフ連鎖における状態として表現するため、（１）ドリブル、（２）シュート、（３）パス、の三つに大別した行動モデルとした。ドリブルは、ボールを保持し続ける状態であり、シュートは、ボールをゴールに向かって蹴る状態であり、パスは、ボールを味方の選手に向かって蹴る状態である。図２は、上記三種類の行動モデルの主な選手の動きを示している。ドリブルは、ボール保持者が変わらない場合を表し、シュート及びパスは、ボール保持者が変わる場合を表している。また、シュート及びパスは、ボールの移動先の差異によって区別している。これにより、ボール保持者が決まれば、ボールを所持する選手とボールの位置関係、さらに、ボールの移動先を知ることによって、行動の状態が決まる。ボール保持者の判定については、後述する。

上記で説明した行動の定義により、単純マルコフ連鎖の状態として、行動が表現できる。さらに、優勢度判定装置は、チームの優勢度を判定することであり、そのためには、ボール保持者の行動を評価する必要がある。この評価は、ボール保持者の行動によって生じ
る結果、つまり、得点に結びつくか否かに基づいて行われるべきである。そのため、先のボール保持者の行動を表す状態に対応する結果を表す状態を定義する。

一般に、サッカーではボール保持者の行動によって、次に示す結果が生じる。（４）ドリブル継続：ドリブルを続ける。（５）得点：得点する。（６）パス成功：パスが成功し、ボール保持者が変化する。（７）アウトオブプレイ：アウトオブプレイとなる。（８）相手ボール：ボールを相手チームに奪われる。これらの結果を結果モデルとする。ドリブル継続、得点、パス成功はそれぞれ、ドリブル、シュート、パスの行動に対して望まれる結果、すなわち行動が成功した場合の結果である。また、アウトオブプレイ、相手ボールは行動が失敗した場合の結果である。また、ドリブルは、ドリブル継続、アウトオブプレイ、相手ボールの結果を、シュートは、得点、アウトオブプレイ、相手ボールの結果を、パスは、パス成功、アウトオブプレイ、相手ボールの結果を生じさせることになる。

次に、行動モデル及び結果モデルを用いて、状態空間を設定する場合について説明する。図３は、行動モデルと結果モデルとを対応づける図である。ボール保持者の行動と、その後に得られる結果を単純マルコフ連鎖の状態に対応させ、状態空間を定める。

まず、行動モデルから、状態空間τ_１＝｛Ｓ_１，Ｓ_２，Ｓ_３｝を定め、Ｓ_１，Ｓ_２，Ｓ_３をそれぞれ、ドリブル、シュート、パスとする。次に、結果モデルから、状態空間τ_２＝｛Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８｝を定め、Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８をそれぞれ、ドリブルの継続、得点、パス成功、アウトオブプレイ、相手ボールとする。そして、マルコフ連鎖の状態空間を行動と結果の状態空間の和集合とし、Ｓ＝｛Ｓ_１，Ｓ_２，・・・・・，Ｓ_８｝とする。

このようにして作成した行動モデル、並びに、結果モデルは、予めモデル記憶部１４０へ格納される。

次いで、図１に示す構成を有する優勢度判定装置の動作について、図面を用いて説明する。図４は、本実施の形態の優勢度判定装置の動作の一例を示すフローチャートである。また、以下の説明において、ボール保持者、選手、ボール等の名称を用いるが、図１の各構成要素は、ボール保持者、選手、ボール等それぞれの位置情報を用いて算出等の処理を実施する。

映像入力部１１０が、抽出部１２０へ映像を供給すると、抽出部１２０は、供給された映像を用いて、選手位置情報とボール位置情報とを抽出する（Ｓ１１）。所定のフィールドで競技するチームスポーツの映像から、選手とボールの位置を推定する手法は各種提案されている。ここでは、Ｙ． Ｏｈｎｏ， Ｊ． Ｍｉｕｒａ ａｎｄ Ｙ．Ｓｈｉｒａｉ，”Ｔｒａｃｋｉｎｇ ｐｌａｙｅｒｓ ａｎｄ ａ ｂａｌｌ ｉｎ ｓｏｃｃｅｒ ｇａｍｅｓ”，Ｐｒｏｃ． Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｍｕｌｔｉｓｅｎｓｏｒ Ｆｕｓｉｏｎ ａｎｄ Ｉｎｔｅｇｒａｔｉｏｎ ｆｏｒ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，２０００，ｐ．１４５−１４８、で開示されている技術を使用して、位置情報を抽出する手法を取ることを前提とし、詳細な説明を省略する。また、以下の説明では、抽出部１２０は、対象フレーム、前フレーム、次フレームの三時点の位置情報を抽出したことを前提として説明する。

次に、ボール保持者の特定について説明する。特定部１３０は、抽出部１２０が抽出した位置情報を用いて、ボール保持者を特定する（Ｓ１２）。優勢度判定装置は、ボール保持者の行動を用いてチーム優勢度を判定するため、ボール保持者を推定する必要がある。サッカーではボール保持者とボールが常に接触していると限らないため、特定部１３０は、ボール保持者は次の二つの条件を満足すると定義する。第一の条件は、全ての選手の中で、最もボールに近いこと。第二の条件は、ボールとの距離が一定の距離ｄメートル以内である。ここでは、ｄ＝１．５とし、第一の条件及び第二の条件を満たす選手をボール保持者候補とする。ただし、上記条件だけでは、選手の横をボールが通過した場合でもボール保持者と判定してしまう。そのため、特定部１３０は、上記条件を満たし、かつ、次の（式１）（式２）の条件の少なくともいずれかを満たす選手位置情報を検出したとき、検出した選手をボール保持者であると特定する。

ただし、ｖ１，ｖ２はそれぞれ、対象フレームと次フレーム、及び、前フレームと対象フレームにおけるボールの位置の差分で定義されるベクトルである。Ｔｈｓ、Ｔｈａは閾値である。（式１）（式２）の条件に従いボール保持者が定まらない場合、特定部１３０は、ボール保持者は存在しないものと決定する。

次に、状態の推定について説明する。推定部１５０は、モデル記憶部１４０に記憶した行動モデルの各行動が初期状態であることを推定する初期確率を決定する（Ｓ１３）。図５は、初期確率を決定する動作の一例を示すフローチャートである。推定部１５０は、対象フレームにおいて状態Ｓ_ｉ（ｉ＝１，２，・・・，８）が生じている初期確率を各々ｗ_ｉ（ｉ＝１，２，・・・，８）で表す。また、ｗ_ｉを要素とし、対象フレームにおける初期状態を表現する確率分布Ｗ＝［ｗ_１ｗ_２・・・ｗ_８］を初期分布とする。

以下に、推定部１５０が初期確率ｗ_ｉを推定し、初期状態の初期確率分布を決定する方法を説明する。推定部１５０は、ボールがフィールドの内側に存在している場合のみを、チームの優勢度の判定対象とする。推定部１５０は、予めフィールドの範囲を示すフィールド位置情報を保持する。ボール位置情報がフィールド位置情報の範囲内に存在する場合、推定部１５０は、対象フレームが、ドリブル、パス、シュートのいずれかの行動の状態（Ｓ２１でＹＥＳ）を初期状態の対象とし、結果の状態（Ｓ２１でＮＯ）を、初期状態の対象としない。従って、推定部１５０は、結果の状態の確率として、ｗ_ｉ＝０（ｉ＝４，５，・・・，８）を決定する（Ｓ２２）。

次に、推定部１５０は、ｗ_１，ｗ_２，ｗ_３の初期確率を次のように定める。ボール保持者が存在する場合（Ｓ２３でＹＥＳ）、ドリブルの状態であると推定し、ｗ_１＝１．０，ｗ_２＝ｗ_３＝０．０と決定する（Ｓ２４）。次に、ボール保持者が存在しない場合（Ｓ２３でＮＯ）、ドリブルの状態ではないため、ｗ_１＝０．０であり、シュートかパスのいずれかの状態となる。ここでは、推定部１５０は、対象フレーム、前フレーム、並びに次フレームの三つのフレームの位置情報から判断する。ボールがゴールに向かっていない場合（Ｓ２５でＮＯ）、パスである確率は、ｗ_２＝１．０となる（Ｓ２６）。また、ボールがゴールに向かっている場合（Ｓ２５でＹＥＳ）、ボールとゴールの距離が所定の範囲以内（例えば、３０メートル）（Ｓ２７）、ボールの速さが閾値より大きい（例えば、９５ｋｍ／ｈ）（Ｓ２８）に注目し、対象フレームの状態がパスである初期確率ｗ_２とシュートである初期確率ｗ_３を図５に従い決定する（Ｓ２９、Ｓ３０）。すなわち、推定部１５０は、シュートとパスとを、ボールがゴールに向かっているか、ボールとゴールの距離、ボールの速さの三つに注目して初期状態を推定する。

推定部１５０は、推定した初期確率ｗ_ｉから初期状態を示す初期確率分布Ｗを決定し、決定した初期確率分布Ｗを計算値記憶部１９０へ、書き込む。

次に、推移確率の算出について説明する。算出部１６０は、単純マルコフ連鎖の推移確率を算出する（Ｓ１４）。推移確率は、ボール保持者がパス、ドリブル、シュートの行動を選択する確率、及び、これらの行動が成功あるいは失敗する確率である。ところで、ボール保持者は、当然ながら、成功に結びつく可能性が高く、得点するために必要である行動を選択する。ここでは、ボール保持者とボールに対するその他の選手の位置関係、及び、サッカーの試合戦略における知識から推定される、行動が成功する可能性に基づき、選手が起こす行動及びその結果の生起確率を算出する。以下に、選手の各々の行動に分けて算出方法を説明する。

まず、ドリブルが成功する確率Ｓ_{ｄｒｉｂｂｌｅ}について説明する。ドリブルが成功する確率は、ボール保持者とその近くにいる相手チームの選手（以下、「相手選手」と記す）の位置関係によって決まる。ここでは、ボール保持者を中心とした所定の距離（ここでは、半径５メートルの円の内部）にいる相手選手だけがボール保持者のドリブルが成功する確率に影響を与えるものとする。さらに、このとき、ボール保持者に対して相手選手が存在している位置の分布も重要である。例えば、ボール保持者の近傍５メートル内に相手選手が複数いたとしても、全員が同じ方向にいるよりも、様々な方向に相手選手が存在している方がドリブルを失敗する確率が高くなることは明らかである。

そこで、算出部１６０は、ボール保持者と半径５メートルの円の内部にいる相手選手で三角形分割を行い、得られた三角形について、ボール保持者を中心とする角の総和である角度α（０≦α≦２π）を求める。図６は、ボール保持者と相手選手との配置へ三角形分割をした一例を示す図である。また、相手選手との距離も重要であるため、三角形分割によって得られた三角形のうち、ボール保持者を含む三角形の総数をｎとし、その面積ａ_ｉ（ｉ＝１，２，・・・，ｎ）を用いて、（式３）によりドリブルが成功する確率を求める。図６では、ａ_１、ａ_２、ａ_３の三つの三角形を示している。

（式３）において、第二項で、角度αが小さくなれば、相手選手がボール保持者の特定の方向に集中して存在することを示し、ドリブルが成功する確率が低下する。さらに、（式３）の第三項で、面積ａ_ｉが小さくなれば、相手選手との距離が近いことを示し、ドリブルが成功する確率が低下する。また、ボール保持者が存在しない場合、ドリブルが起こることはないので、Ｓ_{ｄｒｉｂｂｌｅ}＝０．０とする。

次に、シュートが成功する確率Ｓ_{ｓｈｏｏｔ}について説明する。ボール保持者が存在する場合、シュートが成功する確率はゴールとボール保持者の位置関係、及び、両者の間に存在する相手選手の位置によって決まる。図７は、ゴールとボール保持者の位置関係の一例を示す図である。まず、ボール保持者のゴールに対する位置を評価するため、図７に示す、ボール保持者とゴールの左右両端が成す角度β（０＜β≦π）を算出する。角度βは、ボール保持者がゴールの正面に近く、かつ、ボール保持者とゴールとの距離が近い程大きな値をとなる。この角度βを用いてシュートが成功する確率β_Ｐを（式４）を用いて算出する。

（式４）において、β_Ｐが図７に示されるペナルティーマークの位置で与えられるβ_ｍａｘ以上のとき、シュートが成功する確率が極めて高いと考え、β_Ｐ＝１．０としている。また、ゴール正面で３０メートル離れている位置に対応するβ_ｍｉｎ以下のとき、シュートが成功する確率は極めて低いと考え、β_Ｐ＝０．０とした。次に、相手選手の守備による影響を考える。ボール保持者とゴールの左右両端の三点で囲まれた三角形の中に選手がいた場合、これらの選手はシュート時のボールの軌跡上に存在する可能性があり、得点を防ぐことができる。さらに、ボール保持者の近く（所定の距離の範囲内）に相手選手がいる場合、シュートを阻止することが可能であり、シュートが成功する確率が低下する。そこで、三角形の中にいる選手の数をｎ、ボール保持者の近くにいる相手選手の数をｍとして、シュートが成功する確率を（式５）のように設定する。

ただし、（式５）の定数０．７及び０．５は、相手選手によってシュートが成功する確率が低下する割合として定めた値である。また、ボール保持者が存在しない場合は、ボール位置情報をボール保持者の位置情報として、ボール保持者が存在する場合と同様に、Ｓ_{ｓｈｏｏｔ}を算出する。ただし、ボールの動きから、ボールがゴールに向かって動いていない場合には、ボールがゴールに入ることはないので、Ｓ_{ｓｈｏｏｔ}＝０．０とする。

次に、パスが成功する確率Ｓ_ｐａｓｓについて説明する。ボール保持者がパスをする対象となる味方選手の各々についてそれが成功する確率を算出するのは困難である。そこで、ボール保持者のパスの目的を次に二種類と考える。（１）相手ボールにならないこと。この目的に最も適する選手をＨ_１で表す。（２）得点につなげること。この目的に最も適する選手をＨ_２で表す。ここでは、ボール保持者は、味方の選手であるＨ_１とＨ_２に等確率でパスを出すものと仮定する。これにより、パスが成功する確率Ｓ_ｐａｓｓは、Ｈ_１、Ｈ_２に対するパスが成功する確率ｇ_ｉ（ｉ＝１，２）の和によって求まる。ここで、ｇ_ｉはボール保持者と味方選手Ｈ_ｉ（ｉ＝１，２）の間にいる相手選手の位置関係によって決まる。図８は、ボール保持者と味方選手Ｈ_ｉと相手選手との関係の一例を示す図である。相手選手が味方選手Ｈ_ｉに対するパスに影響を与える度合を（式６）により評価する。

相手選手の数をｎとすると、ｊは、１≦ｊ≦ｎの範囲の整数値をとり、λ_ｊは、ボール保持者、味方選手Ｈ_ｉ、相手選手の三点によって定められる角度、ｂ_ｊは、前記三点により囲まれる面積、ｄ_ｊは、ボール保持者と味方選手Ｈ_ｉの距離である。（式６）により、ｂとλが小さい、すなわち相手選手がパスを奪いやすい位置に存在する程、ｆ_ｊは大きな値となることが確認できる。さらに、このｆ_ｊを用いて、ｇ_ｉを、（式７）によって算出する。

（式７）において、Ｐ_ｐａｓｓは、味方選手Ｈ_ｉに対してボール保持者がパスを行う確率である。ここでは、Ｈ_１、Ｈ_２に等確率でパスを行うと仮定していることから、Ｐ_ｐａｓｓの値は、１／２となる。また、ｎは相手選手の数とする。（式７）によって求められる、ｇ_ｉの和をＳ_ｐａｓｓとする。ここでは、味方選手Ｈ_ｉは、二人であることより、Ｓ_ｐａｓｓ＝ｇ_１＋ｇ_２により、算出できる。また、ボール保持者が存在しない場合は、ボールが動く方向に存在する選手に対してパスが出されたと考え、パスが出された選手とボール及び相手選手の位置から上で示したのと同様にｇ_ｉを算出し、算出したｇ_ｉをＳ_ｐａｓｓとする。

次に、ボール保持者の各行動が起こる確率を設定する。先に述べたように、ボール保持者は得点するための行動、つまり、シュートをすることを最優先に考える。そこで、ボール保持者がシュートを行う可能性を上で求めたＳ_{ｓｈｏｏｔ}を用いて設定し、シュートを行わない場合は、ドリブルとパスを等確率で選択するものとする。また、各行動が失敗したときにアウトオブプレイおよび相手ボールになる確率は、明確な指標が得られないため、等確率で発生すると仮定する。ただし、ドリブルからアウトオブプレイになる場合は、必ずボール保持者はフィールドの端に位置しているため、フィールドラインとの距離をＤ_ｌｉｎｅとして、（式８）を用いて、ドリブルからアウトオブプレイになる確率Ｓ_ｏｕｔを定める。

このようにして求められた各々の行動の結果の確率を用いて、ここでは、図９で示す状態推移図で表される推移確率行列Ｐを設定する。図９は、行動の状態空間と結果の状態空間の状態推移の一例を示す図である。図９中、ｔ、ｕ、ｖは、算出した確率を用いて、ｔ＝（１−Ｓ_{ｄｒｉｂｂｌｅ}）／２、ｕ＝（１−Ｓ_ｐａｓｓ）／２、ｖ＝１−Ｓ_{ｄｒｉｂｂｌｅ}−Ｓ_ｏｕｔのように定める。また、（＊１）を付した値は、ボール保持者が存在するか否かによって異なる値であり、ボール保持者が存在しない場合は、０（零）となる。図９では、行動の状態空間として、ドリブル、シュート、パス、並びに、ドリブルからシュート、ドリブルからパスの行動の場合を示している。また、結果の状態空間として、ゴール、ドリブル継続、パス成功、相手ボール、アウトオブプレイの結果の場合を示している。

算出部１６０は、算出した確率（Ｓ_{ｄｒｉｂｂｌｅ}、Ｓ_{ｓｈｏｏｔ}、Ｓ_ｐａｓｓ、Ｓ_ｏｕｔ）並びに、ｔ、ｕ、ｖを用いて推移確率行列Ｐを設定する。

推移確率行列Ｐは、次のような行列となる。
０ Ｓ_{ｓｈｏｏｔ} ｔ ｔ＊Ｓ_{ｄｒｉｂｂｌｅ} ０ ０ ｔ＊ｖ ｔ＊Ｓ_ｏｕｔ
０ ０ ０ ０ Ｓ_{ｓｈｏｏｔ} ０ ｔ ｔ
０ ０ ０ ０ ０ Ｓ_ｐａｓｓ ｕ ｕ
０ ０ ０ １ ０ ０ ０ ０
０ ０ ０ ０ １ ０ ０ ０
０ ０ ０ ０ ０ １ ０ ０
０ ０ ０ ０ ０ ０ １ ０
０ ０ ０ ０ ０ ０ ０ １

このようにして、算出部１６０は、図９に示す行動の状態空間、結果の状態空間から、８×８の推移確率行列Ｐを作成する。なお、推移確率行列Ｐは、推移確率Ｐ_ｉｋ（ｉ＝１，・・・，８，ｋ＝１，・・・，８）と表現することもできる。算出部１６０は、推移確率行列Ｐを計算値記憶部１９０へ書き込む。

次に、結果に対する評価値の設定について説明する。設定部１７０は、ボール保持者の行動によって起こる結果がどの程度得点に結びつく可能性があるのかを表す定量値（以下、「評価値」と記す）を設定する（Ｓ１５）。ボール保持者の行動の結果が成功となる位置が相手チームのゴールに近いほど、得点の可能性は高くなる。そのため、ペナルティーエリアが最も得点の可能性が高く、そこから離れるに従って、得点の可能性が低くなると考え、サッカーフィールドの位置において重みづけをする。図１０は、サッカーフィールドの位置へ得点の可能性による重みづけの一例を示した図である。図１０に示すような重みづけの値μを定め、これを利用して結果Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８に対して、評価値Ｅ_ｉ（−１．０＜Ｅ_ｉ≦１．０，ｉ＝４，５，６，７，８）を定める。以下に、結果モデルそれぞれについて、説明する。

ドリブル継続の場合、ドリブルはボール保持者の位置が、対象フレームと前フレームまたは次フレームとの間で大幅に変化することがない。このため、ボール保持者の位置により図１０に従って評価値をＥ_４＝μと定める。

得点した場合、得点は最も望ましい結果であるため評価値をＥ_５＝１．０とする。

パス成功の場合、推移確率の算出（図４のＳ１４）において、パスの相手をＨ_１、Ｈ_２の二選手に限定したので、この二選手の位置を用いて、図１０に定めるそれぞれの位置の重みづけの値μ_１，μ_２を算出する。そして、μ_１，μ_２の平均をパス成功の評価値とし、Ｅ_６＝（μ_１＋μ_２）／２とする。

アウトオブプレイの場合、一度試合が中断されるため、評価値をＥ_７＝０．０とする。

相手ボールの場合、相手ボールになった位置がボール保持者が所属するチームのゴールに近い程、相手が得点しやすくなるため、図１０における重みμを用いて、Ｅ_８＝−（１．０−μ）とする。

このようにして、設定部１７０は、設定した評価値Ｅ_ｉを、計算値記憶部１９０へ書き込む。

次に、チーム優勢度の算出について説明する。判定部１８０は、初期状態を示す確率分布Ｗ、推移確率行列Ｐ、評価値Ｅ_ｉを用いてチームの優勢度を判定する（Ｓ１６）。判定部１８０は、計算値記憶部１９０から、確率分布Ｗ、推移確率行列Ｐ、評価値Ｅ_ｉを読み出して用いる。ここでは、チームが得点できる可能性の高さをチーム優勢度とする。まず、判定部１８０は、一つのフレーム（例えば、対象フレーム）内において推移確率行列Ｐが一様なマルコフ連鎖と仮定し、（式９）により単純マルコフ連鎖における極限分布Ｗ’＝［ｗ’_１ｗ’_２・・・ｗ’_８］を算出する。

これにより各結果が起こる確率ｗ’_４，ｗ’_５，・・・，ｗ’_８が求められる。得られたｗ’_ｉに対して、（式１０）を用いて、各々Ｅ_ｉを乗じて総和をとれば、評価値の期待値Ｔが得られる。期待値をチーム優勢度Ｔとする。表示部２００は、判定部１８０が判定したチーム優勢度を表示画面に表示する。

このように、本実施の形態の優勢度判定装置は、サッカー映像を用いて、選手の位置情報に加え、ボール保持者の行動を用いてチーム優勢度を判定することができる。

なお、図２に示した行動モデルは、三種類に限られることはなく、また、図３に示した結果モデルも五種類にかぎられることはない。また、図９に示した状態推移モデルは、一例であり、その他の状態推移モデルであってもよい。また、上記実施の形態では、単純マルコフ連鎖を用いて、状態推移等を決定したが、他の手法を用いる場合であってもよい。「ある事象が起こる確率は、一つ前の事象にのみ依存する。」という特徴を有するものを用いることが可能である。例えば、ｎ重マルコフ連鎖、ペトリネットなどを用いることが考えられる。ｎ重マルコフ連鎖は、より詳細な行動や、複数人でのグループ戦術のモデルを作成する際に有効である。また、ペトリネットは、過去に実際に生起した結果に対する評価を反映させることが可能である。

さらに、本実施の形態では、映像入力部１１０が抽出部１２０へ映像を供給する例を説明したが、抽出部へ複数の時系列の静止画像を供給する場合であってもよい。また、特定部へ、複数の選手位置情報とボール位置情報を入力することが可能であれば、映像入力部１１０、抽出部１２０の構成に限定されることはない。

また、推移確率算出工程において、パスの推移確率を算出する場合に、味方の選手を二人として説明したが、二人以上であってもよい。算出部１６０は、Ｈ_ｉ（ｉは、味方選手の数）として、ｇ_ｉ並びに、Ｓ_ｐａｓｓを算出する。

本実施の形態では、優勢度判定装置の各構成要素の機能は、ソフトウェアで実現することも可能であるし、ソフトウェアとハードウェアの組み合わせであってもよい。また、各構成要素の機能を実現するプログラムは、コンピュータのＣＰＵの制御のもとに実行される。また、プログラムは、コンピュータで読み取り可能な記録媒体へ書き込むことができる。

（実施の形態２）
実施の形態１で示した優勢度判定装置の構成に加え、、モデルを入力、または、更新する画面（ユーザインタフェース）を提供し、ユーザにモデルの入力を促し、入力されたモデルを、優勢度判定装置が受けつけ、モデル記憶部１４０に記憶させる機能（例えば、情報入力部）を備える構成にしてもよい。また、情報入力部は、モデルに限られることなく、他の情報、例えば、図９に示した状態推移の情報を入力する画面を提供することも可能である。

このような情報入力部を備えることによって、映像の解析のもとになるモデル等のデータを、映像にあわせて柔軟に変更することが可能になる。また、新たな試合戦法等が生じた場合にも、柔軟に対応することが可能となる。

（実施の形態３）
実施の形態１では、サッカーを一例として、モデル記憶部１４０に記憶するモデルの一例として行動モデル、結果モデルを提示したが、これらに限られるわけではない。他のモデル、あるいは、他のスポーツを用いることも可能である。例えば、バスケットボール、バレーボール、ラグビー、アメリカンフットボールなどのチームスポーツを用いることも考えられる。

さらに、この優勢度判定装置は、選手の動きの可能性を提示して、チームの戦術を練るための情報を提供する装置へ改良することも考えられる。

上記実施の形態で説明した優勢度判定装置を用い、サッカーの映像を用いて実験を行った。ここでは、Ｔｈｓ＝０．３、Ｔｈａ＝ｃｏｓπ／６、とした。テレビ放送から得た２０秒間のサッカー映像から５ｆｐｓ（frame per second）でサンプリングして得られる１００フレームの画像を用いた。図１１から図１８は、実験に用いた１００フレームの画像の一部分を示す写真である。また、図１９は、優勢度判定装置の実験結果を示す図である。図１１から図１８は、それぞれフレーム１４、フレーム２２、フレーム２８、フレーム４８、フレーム６４、フレーム６８、フレーム８７、フレーム８９の画像を示す。実験に用いた映像は、一方のチームがフィールド中央付近から、パスとドリブルによりペナルティーエリアまでボールを運びシュートに至る場面であった。

図１９においてチーム優勢度が０（零）となるフレームは、ボールがフィールドの外にあるフレームと、選手にズームしているため選手の位置が推定できないフレームとなった。また、図１９中、矢印を用いてＦ１４と記した優勢度は、フレーム１４の優勢度を示す。同様に他のフレームについても、それぞれ、Ｆ２２、Ｆ２８、Ｆ４８、Ｆ６４、Ｆ６８、Ｆ８７、Ｆ８９の優勢度を示している。

実験結果から、ボール保持者が相手選手に囲まれ、相手にボールを奪われる可能性が高い展開（フレーム２２、２８、６４、８７、それぞれ、図１２、１３、１５、１７）においてチームの優勢度は低くなった。また、ボール保持者の周りに相手選手が存在せず、相手にボールを奪われる可能性が低い展開（フレーム１４、４８、６８、８９）においてチームの優勢度は高い値を示すことが確認できる。

これにより、優勢度判定装置が選手の位置関係を評価していることが確認できる。また、フレーム８７でボール保持者がペナルティーエリア中に位置していてもチームの優勢度が低い値を示していることや、フレーム８９において、ボール保持者の位置があまり変化していないにも関わらず、チーム優勢度が実験映像の中で最大の値を示すことから、優勢度判定装置が選手の位置だけではなく、選手同士の位置関係とボール保持者の行動を評価していることが確認できる。

このように、本発明に係る優勢度判定装置は、サッカー映像に対し、選手の位置情報だけでなく、ボール保持者の行動を用いてチームの優勢度を判定する手法を開示した。また、実際にテレビ放送映像に適用した実験を行い、実施例に記載したとおり、優勢度判定装置の有効性を確認した。実験結果より、チームが得点できる可能性が高い場面では、その優勢度が高くなり、ボールを相手に奪われる可能性が高い場面ではチームの優勢度が低くなることが確認できた。しかしながら、サッカーでは、今回の実験で示した場面の他にも様々なゲーム展開が存在する。このため、ゲーム展開の詳細な分析やチームの戦術解析のためには、ボール保持者の行動だけでなく、他の選手の動きや行動についても表現可能なモデルに拡張する必要があると考える。

本発明に係る優勢度判定装置は、選手の位置情報と選手の行動情報とを利用してチームの優勢度を判定するため、視聴者へサッカー映像を解説する映像データの提供として、好適であり、得られるチーム優勢度により、多様なゲーム展開を視聴者が把握できるようになる。

本発明の実施の形態１に係る優勢度判定装置の構成の一例を示すブロック図 ボール保持者の行動をモデル化した行動モデルの一例を示す図 行動モデルと結果モデルとを対応づける図 本実施の形態の優勢度判定装置の動作の一例を示すフローチャート 初期確率を決定する動作の一例を示すフローチャート ボール保持者と相手選手との配置へ三角形分割をした一例を示す図 ゴールとボール保持者の位置関係の一例を示す図 ボール保持者と味方選手と相手選手との関係の一例を示す図 行動の状態空間と結果の状態空間の状態推移の一例を示す図 サッカーフィールドの位置へ得点の可能性による重みづけの一例を示した図 実験に用いた画像（フレーム１４）を示す写真 実験に用いた画像（フレーム２２）を示す写真 実験に用いた画像（フレーム２８）を示す写真 実験に用いた画像（フレーム４８）を示す写真 実験に用いた画像（フレーム６４）を示す写真 実験に用いた画像（フレーム６８）を示す写真 実験に用いた画像（フレーム８７）を示す写真 実験に用いた画像（フレーム８９）を示す写真 優勢度判定装置の実験結果を示す図

符号の説明

１１０ 映像入力部
１２０ 抽出部
１３０ 特定部
１４０ モデル記憶部
１５０ 推定部
１６０ 算出部
１７０ 設定部
１８０ 判定部
１９０ 計算値記憶部
２００ 表示部

Claims (5)

1. ボールを使用して、複数の選手が複数のチームに分かれて競技するチームスポーツの映像から、前記複数の選手の位置を示す選手位置情報と、ボールの位置を示すボール位置情報とを抽出する抽出手段と、
   前記選手位置情報と前記ボール位置情報から、ボール保持者を特定し、ボール保持者位置情報を取得する特定手段と、
   前記ボール保持者が取りうる複数の行動を、単純マルコフ連鎖における状態として表現するためドリブル、シュート、パスの三種類に分けてモデル化する行動モデルと、前記複数の行動によって生じる複数の結果を、単純マルコフ連鎖における状態として表現するためドリブル継続、得点、パス成功、アウトオブプレイ、相手ボールの五種類に分けてモデル化する結果モデルを記憶する記憶領域であるモデル記憶手段と、
   前記行動モデルを読み出し、対象となる時点の前記ボール保持者の前記行動モデルにおける初期状態が、前記行動モデルにおける各行動となる確率として設定される初期確率を前記ボール保持者の有無、ボールがゴールに向かっているか、前記ボールと前記ゴールの距離、および、前記ボールの速さに基づいて推定し、推定した前記初期確率から初期状態を示す確率分布を決定する推定手段と、
   前記行動モデルと結果モデルを読み出し、前記選手位置情報、及び、前記行動モデルを利用して、前記複数の行動のそれぞれから前記複数の結果それぞれへ推移する複数の推移確率を、前記ボール保持者と相手選手との位置関係、前記ゴールと前記ボール保持者との位置関係および前記ゴールと前記ボール保持者の間に存在する前記相手選手の位置、ならびに前記ボール保持者と味方選手と前記相手選手との位置関係から推定される各行動が成功する可能性に基づき前記ボール保持者が起こす行動及びその結果の生起確率に基づいて算出する算出手段と、
   前記結果モデルにおける各結果が得点につながる度合いを示す評価値を設定する設定手段と、
   前記確率分布と前記推移確率から前記結果モデルにおける各結果が起こる確率を算出し、算出した確率へ対応する前記評価値を乗じて、ボール保持者の所属するチームの優勢度を判定する判定手段と、
   を備えることを特徴とする優勢度判定装置。
2. 前記算出手段は、行動モデルと結果モデルとを単純マルコフ連鎖の状態空間に対応させ、行動の状態空間から結果の状態空間への推移を生成して推移確率を算出することを特徴とする請求項１記載の優勢度判定装置。
3. 前記抽出手段は、チームスポーツの映像としてサッカーの映像を用いることを特徴とする請求項１または請求項２記載の優勢度判定装置。
4. 抽出手段が、ボールを使用して、複数の選手が複数のチームに分かれて競技するチームスポーツの映像から、前記複数の選手の位置を示す選手位置情報と、ボールの位置を示すボール位置情報とを抽出する抽出工程と、
   特定手段が、前記選手位置情報と前記ボール位置情報から、ボール保持者を特定し、ボール保持者位置情報を取得する特定工程と、
   モデル記憶手段が、前記ボール保持者が取りうる複数の行動を、単純マルコフ連鎖における状態として表現するためドリブル、シュート、パスの三種類に分けてモデル化する行動モデルと、前記複数の行動によって生じる複数の結果を、単純マルコフ連鎖における状態として表現するためドリブル継続、得点、パス成功、アウトオブプレイ、相手ボールの五種類に分けてモデル化する結果モデルとを前記モデル記憶手段の記憶領域へ記憶するモデル記憶工程と、
   推定手段が、前記行動モデルを読み出し、対象となる時点の前記ボール保持者の前記行動モデルにおける初期状態が、前記行動モデルにおける各行動となる確率として設定される初期確率を前記ボール保持者の有無、ボールがゴールに向かっているか、前記ボールと前記ゴールの距離、および、前記ボールの速さに基づいて推定し、推定した前記初期確率から初期状態を示す確率分布を決定する推定工程と、
   算出手段が、前記行動モデルと結果モデルを読み出し、前記選手位置情報、及び、前記行動モデルを利用して、前記複数の行動のそれぞれから前記複数の結果それぞれへ推移する複数の推移確率を、前記ボール保持者と相手選手との位置関係、前記ゴールと前記ボール保持者との位置関係および前記ゴールと前記ボール保持者の間に存在する前記相手選手の位置、ならびに前記ボール保持者と味方選手と前記相手選手との位置関係から推定される各行動が成功する可能性に基づき前記ボール保持者が起こす行動及びその結果の生起確率に基づいて算出する算出工程と、
   設定手段が、前記結果モデルにおける各結果が得点につながる度合いを示す評価値を設定する設定工程と、
   判定手段が、前記確率分布と前記推移確率から前記結果モデルにおける各結果が起こる確率を算出し、算出した確率へ対応する前記評価値を乗じて、ボール保持者の所属するチームの優勢度を判定する判定工程と、
   を備えることを特徴とする優勢度判定方法。
5. ボールを使用して、複数の選手が複数のチームに分かれて競技するチームスポーツの映像から、前記複数の選手の位置を示す選手位置情報と、ボールの位置を示すボール位置情報とを抽出する抽出手段と、
   前記選手位置情報と前記ボール位置情報から、ボール保持者を特定し、ボール保持者位置情報を取得する特定手段と、
   前記ボール保持者が取りうる複数の行動を、単純マルコフ連鎖における状態として表現するためドリブル、シュート、パスの三種類に分けてモデル化する行動モデルと、前記複数の行動によって生じる複数の結果を、単純マルコフ連鎖における状態として表現するため、ドリブル継続、得点、パス成功、アウトオブプレイ、相手ボールの五種類に分けてモデル化する結果モデルを記憶する記憶領域であるモデル記憶手段と、
   前記行動モデルを読み出し、対象となる時点の前記ボール保持者の前記行動モデルにおける初期状態が、前記行動モデルにおける各行動となる確率として設定される初期確率を前記ボール保持者の有無、ボールがゴールに向かっているか、前記ボールと前記ゴールの距離、および、前記ボールの速さに基づいて推定し、推定した前記初期確率から初期状態を示す確率分布を決定する推定手段と、
   前記行動モデルと結果モデルを読み出し、前記選手位置情報、及び、前記行動モデルを利用して、前記複数の行動のそれぞれから前記複数の結果それぞれへ推移する複数の推移確率を、前記ボール保持者と相手選手との位置関係、ゴールと前記ボール保持者との位置関係および前記ゴールと前記ボール保持者の間に存在する前記相手選手の位置、ならびに前記ボール保持者と味方選手と前記相手選手との位置関係から推定される各行動が成功する可能性に基づき前記ボール保持者が起こす行動及びその結果の生起確率に基づいて算出する算出手段と、
   前記結果モデルにおける各結果が得点につながる度合いを示す評価値を設定する設定手段と、
   前記確率分布と前記推移確率から前記結果モデルにおける各結果が起こる確率を算出し、算出した確率へ対応する前記評価値を乗じて、ボール保持者の所属するチームの優勢度を判定する判定手段と、
   を備える優勢度判定装置としてコンピュータを機能させるためのプログラム。