JP4533037B2 - オフサイドライン検出装置及びそのプログラム - Google Patents

Description

本発明は、スポーツ映像用のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）合成技術に関し、より詳細には、サッカー競技映像から、ＣＧ合成に使用するためのオフサイドラインの位置を検出するオフサイドライン検出装置及びそのプログラムに関する。

従来、スポーツ映像用のＣＧ合成技術としては、アメリカンフットボールにおける攻撃の単位となる１０ヤードラインを、映像上に仮想的に重畳して可視化する装置が実用化されている。また、ゴルフにおけるティーショットの飛距離を見やすくするために、特定の距離に直線等の図形をスケールとして映像上に仮想的に重畳する装置が存在する。また、競泳やスピードスケートにおいて、過去の泳者又は走者の実映像を、現在の競技映像に重畳して視覚化する技術が存在する。
さらに、スポーツ競技者に電磁読み取り用のタグを取り付けることで、スポーツ競技者（選手）の位置を検出し、その位置によって、サーカー競技のオフサイドライン等を可視化する技術が開示されている（特許文献１、特許文献２参照）。
特開平７−５６９９０号公報（段落００１６〜００２８、図１〜３） 特開２００１−１０４５３３号公報（段落００１７〜００２７、図１）

しかし、従来のスポーツ映像用ＣＧ合成技術では、例えば、アメリカンフットボールにおける１０ヤードラインを映像に重畳する場合、その１０ヤードラインは一方のチームの攻撃期間中、静的な物理量であって、その期間中、１０ヤードラインを示すＣＧを映像上に固定的に重畳するだけでよい。また、ゴルフの飛距離をスケールとして映像に重畳する場合、そのスケールは完全に静的な物理量であって、例えば、１０ヤード間隔、５０ヤード間隔等の固定的なスケールをＣＧとして映像上に重畳すればよい。

一方、競泳やスピードスケートの例のように、過去の泳者又は走者の実映像を、現在の競技映像に重畳する場合、扱うＣＧのデータ（過去の泳者又は走者の実映像）は、動的なものであるが、予め蓄積された過去の物理量である。
すなわち、従来のスポーツ映像用ＣＧ合成技術では、例えば、サッカー競技のオフサイドラインのように、実時間で変化する物理量を映像に重畳することができないという問題がある。

また、スポーツ競技者に電磁読み取り用のタグを取り付けることで、サッカー競技のオフサイドライン等を可視化する技術では、スポーツ競技者（選手）にタグを取り付けなければならず、取り扱いが面倒であるとともに、ユニフォームの材質感に対して異物感を与えることとなり、選手に負担をかけてしまうという問題がある。さらに、選手の転倒等による衝撃によっては、タグが損傷して誤作動を起こしてしまうという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、スポーツ競技を撮影した映像から、電磁読み取り用のタグを取り付けることなく、チーム別に選手の位置を検出することで、サッカー競技のオフサイドラインの位置を動的に検出することが可能なオフサイドライン検出装置及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のオフサイドライン検出装置は、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、シルエット映像生成手段と、３次元選手座標推定手段と、２次元選手領域設定手段と、色統計量測定手段と、色統計量記憶手段と、分類手段と、オフサイドライン位置出力手段とを備える構成とした。

かかる構成によれば、オフサイドライン検出装置は、シルエット映像生成手段によって、入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成する。例えば、入力映像の色情報（色ベクトル等）によって、入力映像を２値化する。あるいは、フレーム毎に動きのある領域を選手領域として検出することで、入力映像を２値化することとしてもよい。これによって、入力映像から、選手領域の候補となる領域が抽出される。

そして、オフサイドライン検出装置は、３次元選手座標推定手段によって、シルエット映像における選手領域の位置（例えば、重心位置）と、カメラが設置された位置及び撮影時の焦点距離とに基づいて、選手領域の位置を３次元座標上で追跡することで、前記選手の位置を推定する。すなわち、３次元選手座標推定手段は、カメラで撮影した２次元画像を、カメラの位置及び焦点距離に基づいて、実空間（３次元座標）上に逆投影し、その３次元座標上で選手領域の位置を追跡することで、選手の位置を３次元推定選手座標として推定する。これによって、入力映像上に映っている選手の実空間上の位置が特定される。また、選手が重なって同一のシルエットとなった選手領域であっても、その重なり（隠蔽）を検出することができる。なお、この段階では、選手のチーム等の区別は行われていない。

さらに、オフサイドライン検出装置は、２次元選手領域設定手段によって、３次元選手座標推定手段で推定された選手領域毎の３次元推定選手座標を、カメラの位置及び焦点距離に基づいて投影変換することで、２次元座標に変換し、予め定めた選手の大きさにより、入力映像内における、選手が存在する２次元選手領域、例えば、矩形領域を設定する。これによって、個々の３次元推定選手座標で特定された選手領域と、２次元の選手領域とを対応付ける。
そして、オフサイドライン検出装置は、色統計量測定手段によって、２次元選手領域設定手段で設定された２次元選手領域と、シルエット映像内の選手領域との共通する領域内で、入力映像の色の統計量を測定する。このように、色の統計量を、２次元選手領域と、シルエット映像内の選手領域との共通する領域内で測定することで、シルエットとして重なっている選手であっても、別々の選手として色の統計量を測定することが可能になる。

また、オフサイドライン検出装置は、少なくともチーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを記憶した色統計量記憶手段を備えている。このため、オフサイドライン検出装置は、分類手段によって、色統計量記憶手段に記憶されている色の統計量と、色統計量測定手段で測定された色の統計量とに基づいて、選手をその選手が属するチーム別にゴールキーパと非ゴールキーパとに分類することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、分類手段で分類された選手毎のチームと、３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を特定して出力する。
このとき、オフサイドライン位置出力手段は、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置をオフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置をオフサイドラインの位置として特定する。

さらに、請求項２に記載のオフサイドライン検出装置は、請求項１に記載のオフサイドライン検出装置において、前記３次元選手座標推定手段が、面積判定手段を備え、この面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする。

かかる構成によれば、オフサイドライン検出装置は、３次元選手座標推定手段において、面積判定手段によって、予め定めた選手の大きさに基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定する。すなわち、面積判定手段は、シルエット映像生成手段による２値化の際に、選手の色に類似した領域を選手領域として抽出してしまっても、その領域の大きさ（面積）が予め定めた選手の大きさの範囲に含まれない場合は、当該領域を選手領域ではないと判定する。

また、請求項３に記載のオフサイドライン検出装置は、請求項１に記載の選手位置検出装置において、前記３次元選手座標推定手段が、３次元座標変換手段と、第二の２次元選手領域設定手段と、面積閾値生成手段と、可変面積判定手段とを備え、この可変面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする。

かかる構成によれば、オフサイドライン検出装置は、３次元座標変換手段によって、カメラの位置及び焦点距離に基づいて、シルエット映像における選手領域毎の２次元座標を３次元座標に変換する。そして、オフサイドライン検出装置は、第二の２次元選手領域設定手段によって、３次元座標変換手段で変換された３次元座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定する。さらに、面積閾値生成手段によって、２次元選手領域の大きさを基準として、選手領域が、選手の領域として有効かどうかを判定する閾値を生成する。すなわち、２次元選手領域の大きさに対して、予め定めた幅を持たせることで、閾値の上限値及び下限値とする。

これによって、選手領域が選手の領域として有効か否かを判定する際の閾値が、映像上で選手の大きさが変化した場合であっても、その大きさに適応して変化するため、最適な閾値を設定することができる。
そして、オフサイドライン検出装置は、可変面積判定手段によって、面積閾値生成手段で生成された閾値に基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定する。これによって、選手領域の中で有効な領域を精度よく抽出することができる。

さらに、請求項４に記載のオフサイドライン検出装置は、請求項１乃至請求項３のいずれか一項に記載のオフサイドライン検出装置において、前記３次元選手座標推定手段が、検出・追跡手段と、予測・推定手段と、遅延手段とを備えていることを特徴とする。

かかる構成によれば、オフサイドライン検出装置は、検出・追跡手段によって、１単位時間過去に予測された選手領域の３次元座標である３次元予測選手座標と、現在の選手領域の３次元座標である３次元選手座標との距離に基づいて、選手領域を選手毎に検出し、追跡する。例えば、検出・追跡手段は、３次元予測選手座標と３次元選手座標との距離が最も短いものが、同一の選手領域であると判定することで、選手を追跡することができる。また、当該距離が長い場合は、その映像内に新規に選手が映ったと判定することで、新たな選手領域を検出することができる。

そして、オフサイドライン検出装置は、予測・推定手段によって、選手追跡手段で検出し、追跡された選手毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の選手領域の３次元座標を３次元予測選手座標として予測する。ここで時間方向の平滑化とは、時間毎に入力される３次元選手座標を、雑音等を考慮した滑らかな移動軌跡に変換することである。例えば、予測・推定手段をカルマンフィルタとして機能させることで、雑音等を考慮した滑らかな移動軌跡に変換することである。

そして、オフサイドライン検出装置は、遅延手段によって、予測・推定手段で予測された３次元予測選手座標を１単位時間遅延させる。ここで、遅延された３次元予測選手座標は、予測・推定手段で用いられる。これによって、オフサイドライン検出装置は、選手を追跡することが可能になり、選手領域が重なった場合であっても、精度よく選手位置を特定することができる。

また、請求項５に記載のオフサイドライン検出装置は、請求項１乃至請求項４のいずれか一項に記載のオフサイドライン検出装置において、前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とすることを特徴とする。

かかる構成によれば、オフサイドライン検出装置は、統計量記憶手段に、審判の服色の統計量を記憶しておくことで、審判を選手と区別して認識することが可能になる。これによって、映像内において、選手だけでなく、審判の位置を検出することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、分類手段で審判が分類されている場合、審判の中でゴールラインに最も近い位置が、ゴールキーパの分類の有無によって特定したオフサイドラインの位置よりも、予め定めた閾値を超えてゴールラインに近いときは、審判の位置の中でゴールラインに最も近い位置をオフサイドラインの位置として特定する。

また、請求項６に記載のオフサイドライン検出装置は、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、シルエット映像生成手段と、３次元オブジェクト座標推定手段と、２次元人物領域設定手段と、色統計量測定手段と、色統計量記憶手段と、分類手段と、オフサイドライン位置出力手段とを備えていることを特徴とする。

かかる構成によれば、オフサイドライン検出装置は、シルエット映像生成手段によって、入力映像から、時系列にオブジェクト領域と背景領域とに分割したシルエット映像を生成する。
そして、オフサイドライン検出装置は、３次元オブジェクト座標推定手段によって、シルエット映像におけるオブジェクト領域の大きさに基づいて当該オブジェクトを人物又はボールと判定しつつ、オブジェクト領域の位置（例えば、重心位置）と、カメラが設置された位置及び撮影時の焦点距離とに基づいて、オブジェクト領域の位置を３次元座標上で追跡することで、前記人物又はボールの位置を推定する。
さらに、オフサイドライン検出装置は、２次元人物領域設定手段によって、３次元オブジェクト座標推定手段で推定された人物の３次元推定選手座標を、カメラの位置及び焦点距離に基づいて投影変換することで、２次元座標に変換し、予め定めた人物の大きさにより、入力映像内における、人物が存在する２次元人物領域、例えば、矩形領域を設定する。そして、オフサイドライン検出装置は、色統計量測定手段によって、２次元人物領域設定手段で設定された２次元人物領域と、シルエット映像内のオブジェクト領域との共通する領域内で、入力映像の色の統計量を測定する。

また、オフサイドライン検出装置は、少なくとも審判の服色に基づく色の統計量と、チーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを記憶した色統計量記憶手段を備えている。このため、オフサイドライン検出装置は、分類手段によって、色統計量記憶手段に記憶されている色の統計量と、色統計量測定手段で測定された色の統計量とに基づいて、人物を審判、並びに、チーム別のゴールキーパと非ゴールキーパとに分類することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、入力映像における個々の人物（選手、審判）の３次元推定人物座標及びその選手が属するチームと、ボールの位置座標とに基づいて、オフサイドラインの位置を特定することができる。
このとき、オフサイドライン位置出力手段は、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置をオフサイドラインの位置として特定する。
さらに、オフサイドライン位置出力手段は、分類手段で審判が分類されている場合、審判の中でゴールラインに最も近い位置が、ゴールキーパの分類の有無によって特定したオフサイドラインの位置よりも、予め定めた閾値を超えてゴールラインに近いときは、審判の位置の中でゴールラインに最も近い位置をオフサイドラインの位置として特定する。
また、さらに、オフサイドライン位置出力手段は、３次元オブジェクト座標推定手段によって３次元推定ボール座標としてボールが検出されている場合、ボールの位置が、さきに特定したオフサイドラインの位置よりも、ゴールラインに近いときは、ボールの位置をオフサイドラインの位置として特定する。

さらに、請求項７に記載のオフサイドライン検出プログラムは、サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するために、コンピュータを、シルエット映像生成手段、３次元選手座標推定手段、２次元選手領域設定手段、色統計量測定手段、分類手段、オフサイドライン位置出力手段として機能させることを特徴とする。

このようにコンピュータを機能させることで、オフサイドライン検出プログラムは、シルエット映像生成手段によって、入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成する。
そして、オフサイドライン検出プログラムは、３次元選手座標推定手段によって、シルエット映像における選手領域の位置（例えば、重心位置）と、カメラの位置及び焦点距離とに基づいて、選手領域の位置を３次元座標上で追跡することで、前記選手の位置を推定する。
さらに、オフサイドライン検出プログラムは、２次元選手領域設定手段によって、３次元選手座標推定手段で算出された選手領域毎の３次元推定選手座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定する。

そして、オフサイドライン検出プログラムは、色統計量測定手段によって、２次元選手領域設定手段で設定された２次元選手領域と、シルエット映像内の選手領域との共通する領域内で、入力映像の色の統計量を測定する。
そして、オフサイドライン検出プログラムは、分類手段によって、少なくともチーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを記憶した色統計量記憶手段に記憶されている色の統計量と、色統計量測定ステップにおいて測定された色の統計量とに基づいて、選手をチーム毎のゴールキーパと非ゴールキーパとに分類する。
また、オフサイドライン検出プログラムは、オフサイドライン位置出力手段によって、分類手段で分類された選手毎のチームと、３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を特定する。
このとき、オフサイドライン検出プログラムは、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置をオフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置をオフサイドラインの位置として特定する。

請求項１又は請求項７に記載の発明によれば、サッカー競技をカメラで撮影した入力映像から、サッカー競技のフィールド内におけるチーム別の選手の３次元空間上の位置により、時々刻々と変化するオフサイドラインの位置（座標）を推定することができる。これによって、このオフサイドラインの位置（座標）を、入力映像に対してコンピュータグラフィックスにより合成することで、オフサイドラインを視覚化して提示することが可能になる。

請求項２に記載の発明によれば、シルエット映像として抽出した領域の大きさ（面積）が、予め定めた選手の大きさの範囲に含まれない場合は、当該領域を選手領域ではないと判定するため、ノイズや誤検出による領域を排除することができ、精度よく選手を検出することができる。

請求項３に記載の発明によれば、シルエット映像として抽出した領域の大きさ（面積）が、選手の動きによって大きく変化する場合であっても、その選手の大きさによって、シルエット映像として抽出した領域が、選手の領域として有効かどうかを判定する閾値を変化させることができるので、選手領域の有効性を正確に判定することができる。

請求項４に記載の発明によれば、選手領域を３次元座標上で検出、追跡することができるので、選手がシルエット映像において重なっている場合であっても、個々の選手を追跡することが可能になる。このように、映像上の選手を区別することができるため、オフサイドラインの位置を精度よく検出することが可能になる。

請求項５に記載の発明によれば、選手と同様に、審判の位置を３次元座標上で検出、追跡することができ、時系列の映像（フレーム等）毎に、その映像内に映っている選手や審判を分類して記憶しておくため、選手のみでオフサイドラインの位置を推定する場合に比べ、精度よくオフサイドラインの位置を推定することができる。

請求項６に記載の発明によれば、選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定するため、精度よくオフサイドラインの位置を推定することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［オフサイドライン検出装置の概要］
まず、図１を参照して、本発明に係るオフサイドライン検出装置の概要について説明する。図１は、サッカー競技のルールに規定されたオフサイドラインを検出するオフサイドライン検出装置の概要を説明するための説明図である。
図１に示すように、オフサイドライン検出装置１は、サッカー競技場Ｆを撮影するカメラＣから出力される映像と、そのカメラＣが設置された位置及び撮影時の焦点距離とに基づいて、オフサイドラインの位置を検出するものである。ここで、オフサイドラインとは、ハーフウェイラインＨＬとゴールラインＧＬとの間において、ゴールキーパを含む守備側の後方から２人目の選手を通る、ゴールラインＧＬに平行なラインである。
ここでは、オフサイドライン検出装置１は、サッカー競技場ＦにおけるタッチラインＴＬ方向をｘ（ｘ_W）軸、ハーフウェイラインＨＬ方向をｙ（ｙ_W）軸、天頂方向をｚ（ｚ_W）軸とするワールド座標系（ｘ_W，ｙ_W，ｚ_W）としたときのオフサイドラインの位置、すなわち、ｘ座標を出力する。

なお、カメラＣは、ワールド座標系（ｘ_W，ｙ_W，ｚ_W）において、カメラの位置Ｔ（ｔ_x，ｔ_y，ｔ_z）に配置されているものとし、カメラＣの座標系は、ワールド座標系（ｘ_W，ｙ_W，ｚ_W）とは異なるカメラ座標系（ｘ_C，ｙ_C，ｚ_C）となっているものとする。ここで、カメラ座標系とは、ワールド座標に対し、入力映像を見たときの視点となる位置を原点とした座標系である。また、カメラＣは固定カメラである必要はなく、移動カメラでサッカー競技場Ｆを撮影してもよい。

＜第一の実施の形態］＞
［オフサイドライン検出装置の構成］
次に、図２を参照して、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成について説明する。図２は、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。
図２に示すように、オフサイドライン検出装置１は、サッカー競技を撮影した映像（入力映像）から、チーム毎の選手の位置を検出することで、オフサイドラインの位置（座標）を検出するものである。ここでは、オフサイドライン検出装置１は、選手位置検出手段１０と、オフサイドライン位置出力手段２０とを備えて構成している。

選手位置検出手段（選手位置検出装置）１０は、入力されたスポーツ映像（ここではサッカー競技を撮影した入力映像）から、その入力映像内におけるチーム毎の選手の位置を検出するものである。ここでは、選手位置検出手段１０は、シルエット映像生成手段１１と、３次元選手座標推定手段１２と、２次元選手領域設定手段１３と、色統計量測定手段１４と、色統計量記憶手段１５と、分類手段１６とを備えて構成している。

シルエット映像生成手段１１は、入力映像として時系列に入力されるフレーム毎に、そのフレームを複数の選手領域と背景領域とに分割することでシルエット映像を生成するものである。ここでは、シルエット映像生成手段１１は、選手領域を画素値「１」、背景領域を画素値「０」としてフレームを２値化する。例えば、図３に示した入力映像（ある時刻におけるフレーム）を２値化することで、図４に示したシルエット映像を生成する。この図４では、選手領域を「黒色」、背景領域を「白色」で示している。また、この図４では、選手領域の中に、選手とは関係のない領域Ｈが、誤検出された例を示している。なお、ここで生成されたシルエット映像は、図示していない記憶手段に一時的に記憶され、３次元選手座標推定手段１２及び色統計量測定手段１４によって参照される。

このシルエット映像生成手段１１は、例えば、一般的なハードクロマキーによって実現することができる。ここで入力映像をカラー映像としたとき、入力映像の（ｘ，ｙ）座標位置の画素値Ｉ（ｘ，ｙ）は、色空間内におけるベクトル値（色ベクトル）をとる。そこで、ここでは、ハードクロマキーとして、入力された色ベクトルを｛０，１｝の２値に変換するものとする。すなわち、ハードクロマキーは、以下の（１）式に示すように、入力映像Ｉ（ｘ，ｙ）をシルエット映像（２値画像）Ｓ（ｘ，ｙ）に変換する関数ｃとすることができる。

例えば、背景となる芝生や、土の領域における色ベクトルの平均値、共分散等の統計量を予め求めておき、入力映像の画素の色ベクトルが、その統計量に近い場合には「０」、それ以外の場合に「１」を出力する関数ｃを、ハードクロマキーとする。ここで、色ベクトルと統計量との距離は、マハラノビス距離を用いることができる。このマハラノビス距離が予め定めた閾値以下の場合には、前記（１）式の関数ｃは「０」を出力し、閾値を超える場合には、関数ｃは「１」を出力するものとする。

また、シルエット映像生成手段１１は、背景差分法によって実現することも可能である。例えば、選手が映っていない、若しくは選手を除去した背景画像Ｂ（ｘ，ｙ）を予め準備しておき、以下に示す（２）式に示すように、入力映像Ｉ（ｘ，ｙ）と、予め準備した背景画像Ｂ（ｘ，ｙ）との色ベクトルの大きさの差分が、予め定めた閾値θ以下の場合は「０」、それ以外の場合は「１」とすることで、シルエット映像（２値画像）Ｓ（ｘ，ｙ）としてもよい。

なお、シルエット映像生成手段１１は、フレーム毎に動きのある領域を検出し、その動きのある領域を選手領域としてもよい。

３次元選手座標推定手段１２は、シルエット映像生成手段１１で生成されたシルエット映像における選手領域の位置と、入力映像を撮影したカメラが設置された位置及び撮影時の焦点距離とに基づいて、それぞれの選手領域の３次元座標を推定した３次元推定選手座標を算出するものである。この３次元選手座標推定手段１２では、個々の選手領域内における特定の一点である重心位置を基準に３次元推定選手座標を求めることとする。なお、重心座標以外で、選手領域内の特定の一点、例えば、最上位点等を用いることもできるが、選手領域全体の位置を特徴付ける重心座標を用いることが好ましい。この３次元選手座標推定手段１２で推定された３次元推定選手座標は、選手領域毎に識別番号が付与されて２次元選手領域設定手段１３に出力される。なお、ここでは、３次元選手座標推定手段１２は、ラベリング手段１２ａと、面積判定手段１２ｂと、逆投影変換手段１２ｃと、検出・追跡手段１２ｄと、予測・推定手段１２ｅと、遅延手段１２ｆとを備えて構成している。

ラベリング手段１２ａは、シルエット映像生成手段１１で生成されたシルエット映像における選手領域に対して、番号付け（ラベル付け）を行うものである。例えば、図４に示したシルエット映像に対してラベル付けを行うことで、図５に示すように、単連結領域である選手領域毎に、ラベル番号（ここでは、Ｌ１〜Ｌ９）が付与される。このラベル付けは、一般的な２値画像のラベリングアルゴリズムにより行うことができる。なお、ここでは、ラベリング手段１２ａは、ラベル付けされたラベル番号毎に、単連結領域（選手領域）の面積及び重心座標も算出するものとする。以下、このラベル番号、面積及び重心座標を領域情報と呼ぶ。このラベリング手段１２ａで生成された情報である領域情報は、面積判定手段１２ｂに出力される。

面積判定手段１２ｂは、ラベリング手段１２ａで生成された領域情報内の面積が、特定の範囲内であるかどうかを判定し、面積が特定の範囲にある領域情報のみを出力する面積フィルタとして機能するものである。例えば、予め選手の大きさに相当する面積の下限値Ａ_min及び上限値Ａ_maxを、閾値として定めておく。そして、面積判定手段１２ｂは、ラベル番号ｍ（１≦ｍ≦Ｍ）（Ｍは単連結領域の数）に対応する領域情報の面積Ａ_mが、閉区間［Ａ_min，Ａ_max］に含まれるかどうかを判定し、Ａ_m∈［Ａ_min，Ａ_max］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。
これによって、図４に示した、選手とは関係のない領域Ｈの領域情報は、出力されないことになる。

逆投影変換手段１２ｃは、面積判定手段１２ｂから出力される領域情報に含まれる選手領域毎の２次元座標である重心座標を、図１で説明したワールド座標系における３次元座標（３次元選手座標）に変換するものである。ここで、重心座標を（ｇ_x，ｇ_y）、ワールド座標系におけるカメラの位置を（ｔ_x，ｔ_y，ｔ_z）、カメラ座標系からワールド座標系への回転行列をＲ、カメラの焦点距離をｆ、ワールド座標系における選手の仮想身長をｈとすると、ワールド座標系における、重心座標に対応する３次元選手座標（ｗ_x，ｗ_y，ｗ_z）は、以下の（３）式により求めることができる。

この（３）式によって、算出された３次元選手座標（ｗ_x，ｗ_y，ｗ_z）は、選手領域、すなわち、ラベル番号に対応付けられて検出・追跡手段１２ｄに出力される。

検出・追跡手段１２ｄは、逆投影変換手段１２ｃでワールド座標系の座標位置に変換された選手領域毎の３次元選手座標と、後記する遅延手段１２ｆで遅延されて出力される選手領域毎の３次元予測選手座標との距離（例えば、ユークリッド距離）に基づいて、選手領域を選手毎に対応付けて追跡するものである。
この検出・追跡手段１２ｄでは、選手領域毎の３次元選手座標と３次元予測選手座標との距離を、全ての組み合わせで算出し、３次元予測選手座標との距離が最も近い３次元選手座標の選手領域を、３次元予測選手座標と同じ選手の領域であると判定し、同一の識別番号を付与する。
すなわち、検出・追跡手段１２ｄは、まず、遅延手段１２ｆで遅延された識別番号ｉの選手領域の３次元予測選手座標ｐ_iに最も近い３次元選手座標ｗ_m（ｗ_x，ｗ_y，ｗ_z）のラベル番号ｋ（ｉ）を、以下の（４）式により求める。なお、Ｍ_fは、面積判定手段１２ｂで条件を満たした（フィルタリングされた）領域情報のラベル番号ｍの集合である。

ここで、以下の（５）式に示す、ラベル番号ｋ（ｉ）の３次元選手座標ｗ_k(i)と、識別番号ｉの選手領域の３次元予測選手座標ｐ_iとの距離ｄ（ｉ）が、予め定めた閾値以下であった場合、検出・追跡手段１２ｄは、追跡が成功したものと判断し、識別番号ｉと３次元選手座標ｗ_k(i)とを対として予測・推定手段１２ｅに出力する。これによって、映像上の同一の選手の領域（選手領域）は、同一の識別番号を付与されて、追跡されることになる。

一方、検出・追跡手段１２ｄは、距離ｄ（ｉ）が予め定めた閾値以下となる識別番号ｉの集合をＪとし、遅延手段１２ｆから出力される全ての識別番号ｉに関して、前記（４）式により最近傍のラベル番号ｋ（ｉ）を求めた後、いずれの識別番号ｉ（∈Ｊ）の最近傍とはならなかったラベル番号の集合Ｎを以下の（６）式により求める。

ここで（６）式の集合Ｎが空集合でない場合、検出・追跡手段１２ｄは、集合Ｎを構成する全てのラベル番号ｎ（∈Ｎ）に対し、集合Ｊに含まれない新規の識別番号を割り当て、その新規の識別番号とラベル番号ｎの３次元選手座標ｗ_nとを対として予測・推定手段１２ｅに出力する。これによって、新しく映像上に出現した選手が検出され、その選手の領域（選手領域）に新規の識別番号が付与されることになる。

予測・推定手段１２ｅは、検出・追跡手段１２ｄで新規に検出された、あるいは、追跡された選手（選手領域）毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の選手領域の３次元座標を３次元予測選手座標として予測するものである。ここで時間方向の平滑化とは、時間毎に入力される３次元選手座標を、フィルタリングにより、雑音等を考慮した滑らかな移動軌跡に変換することである。この予測・推定手段１２ｅで予測された３次元予測選手座標は、選手領域を特定する識別番号とともに遅延手段１２ｆに出力される。また、ここで推定された３次元推定選手座標は、選手領域を特定する識別番号とともに２次元選手領域設定手段１３及びオフサイドライン位置出力手段２０に出力される。

この予測・推定手段１２ｅは、例えば、カルマンフィルタとして構成することができる。ここで、数式を参照して、予測・推定手段１２ｅが行う、カルマンフィルタによる予測及び推定の手法について説明する。なお、ここでは、予測・推定手段１２ｅに入力される３次元選手座標の中で、１つの識別番号ｉの選手に注目して説明を行うこととする。また、以下の説明では、３次元座標系は、図１に示したように、サッカー競技場ＦにおけるタッチラインＴＬ方向をｘ軸、ハーフウェイラインＨＬ方向をｙ軸、天頂方向をｚ軸とする右手系を構成しているものとする。さらに、カルマンフィルタでは、３次元座標の内、ｘ、ｙの両成分、及びｘ、ｙの単位時間差分を内部状態にとり、等速運動モデルによるモデル化を行うこととする。

ここで、内部状態とシステム雑音の共分散である状態共分散をＰ、観測時に混入する観測雑音の共分散である観測雑音共分散行列をＲ、プロセス雑音の共分散であるプロセス雑音共分散行列をＱ、内部状態と観測状態との関係を表す観測行列をＨ、状態遷移行列をＦとすると、時刻ｊにおけるカルマンゲインＫ_jは、以下の（７）式により算出される。なお、Ｔは転置を示す。

そして、予測・推定手段１２ｅは、以下の（８）式及び（９）式により、内部状態の更新及び伝搬の演算を順次実行する。なお、ｗ_jは時刻ｊにおける３次元選手座標を示す。

そして、予測・推定手段１２ｅは、以下の（１０）式により、時刻ｊにおける３次元推定選手座標ｓ_j、及び、３次元予測選手座標ｐ_jを算出する。なお、Ｉは単位行列、Ｏは零行列を示す。

なお、前記（７）式乃至（１０）式に示したｘ_j|j及びＰ_j|j等は、予測・推定手段１２ｅ（カルマンフィルタ）の内部状態を示し、以下の手順で初期化を行うものとする。
まず、予測・推定手段１２ｅに、時刻ｊ₀において、初めて３次元選手座標ｗ_j0が入力されたとする。このとき、予測・推定手段１２ｅは、以下の（１１）式によって、ｘ_j0|j0-1を設定する。

一方、状態共分散Ｐは、例えば、以下の（１２）式に示すような対角行列を用いることができる。なお、σ_x、σ_y、σ_u、σ_vは、正の整数とする。

そして、予測・推定手段１２ｅは、時刻（ｊ₀＋１）以降は、前記（７）式乃至（１０）式の演算を逐次実行し、３次元推定選手座標ｓ_j、及び、３次元予測選手座標ｐ_jを算出する。
なお、前記（７）式乃至（９）式において、観測行列Ｈ、状態遷移行列Ｆ、プロセス雑音共分散行列Ｑ及び観測雑音共分散行列Ｒは、以下の（１３）式乃至（１６）式とする。

なお、（１６）式のλを、正の値をとる変数とし、選手の位置に応じて値を変化させることとしてもよい。例えば、前記（４）式のラベル番号ｋ（ｉ）に注目し、ｋ（ｉ）＝ｋ（ｊ）を満たすｊがｊ＝ｉの他にも存在する場合、予測・推定手段１２ｅは、選手同士の隠蔽が発生していると判断し、λの値を大きくする。また、ｊがｊ＝ｉのみの場合、予測・推定手段１２ｅは、選手同士の隠蔽が発生していないと判断し、λの値を小さくする。これによって、予測・推定手段１２ｅは、選手同士の隠蔽を考慮して、精度よく選手を追跡することが可能になる。
このように、予測・推定手段１２ｅをカルマンフィルタで構成することで、選手を滑らかに追跡することが可能になる。
図２のオフサイドライン検出装置１の構成について、説明を続ける。

遅延手段１２ｆは、予測・推定手段１２ｅで予測された１単位時間後の選手領域毎の３次元予測選手座標を、１単位時間、すなわち、１フレーム分遅延させるものである。ここで遅延された３次元予測選手座標は、選手領域を特定する識別番号とともに検出・追跡手段１２ｄに出力される。

２次元選手領域設定手段（投影変換手段、２次元人物領域設定手段）１３は、３次元選手座標推定手段１２で算出された３次元推定選手座標と、入力映像を撮影したカメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元領域である２次元選手領域を設定するものである。
この２次元選手領域設定手段１３は、ワールド座標系における３次元座標（３次元選手座標）を基準とした選手の領域を、入力映像内の２次元座標の領域（２次元選手領域）に変換するものである。なお、２次元選手領域設定手段１３は、３次元選手座標を基準とした一人一人の選手の領域を円柱近似し、その円柱を２次元座標に投影し、その投影された領域を含む矩形領域（以下、バウンディングボックスという）を選手の２次元選手領域として設定する。ここで設定された２次元選手領域（バウンディングボックス）は、識別番号とともに色統計量測定手段１４に出力される。

以下、数式を参照して、２次元選手領域設定手段１３におけるバウンディングボックスの設定手法について説明する。ここでは、ワールド座標系における３次元選手座標をｗ＝（ｗ_x，ｗ_y，ｗ_z）、ワールド座標系におけるカメラの位置をｔ＝（ｔ_x，ｔ_y，ｔ_z）、ワールド座標系からカメラ座標系への回転行列をＲ^T、カメラの焦点距離をｆ、ワールド座標系における予め定めた選手の大きさとして、円柱近似した選手の仮想身長をｈ、その円柱の半径をｒとする。
このとき、ワールド座標系における３次元選手座標ｗを２次元座標に変換する透視投影式Ｔ（ｗ）は、以下の（１７）式で表すことができる。

そこで、２次元選手領域設定手段１３は、３次元選手座標ｗに対して、ｘ軸方向に半径ｒずらした座標ｗ₁，ｗ₂、ｙ軸方向に半径ｒずらした座標ｗ₃，ｗ₄、及びｚ軸方向に仮想身長ｈの１／２ずらした座標ｗ₅，ｗ₆を、以下の（１８）式乃至（２３）式により算出する。

また、２次元選手領域設定手段１３は、（２４）式に示すように、前記（１８）式乃至（２３）式で算出した各座標ｗ₁〜ｗ₆を、前記（１７）式のｗへ代入することで、各座標ｗ₁〜ｗ₆を２次元座標に投影変換する。

そして、２次元選手領域設定手段１３は、（２５）式に示すように、前記（２４）式で算出された２次元座標の中で、ｘ軸方向の最小値から最大値までの範囲と、ｙ軸方向の最小値から最大値までの範囲とに含まれる領域をバウンディングボックスＤとする。

図２のオフサイドライン検出装置１の構成について、説明を続ける。
色統計量測定手段１４は、２次元選手領域設定手段１３で設定されたバウンディングボックス（２次元選手領域）と、シルエット映像生成手段１１で生成されたシルエット映像の選手領域（例えば、画素値「１」の領域）との共通する領域内で、入力映像の色の統計量を測定するものである。ここで、測定された色の統計量は、識別番号とともに分類手段１６に出力される。
なお、色の統計量としては、例えば、色ベクトルを領域内で平均化した平均色ベクトルを用いることができる。すなわち、バウンディングボックスとシルエット映像の選手領域（画素値「１」）との共通する領域をＥとし、（ｘ，ｙ）座標における色ベクトルをＩ（ｘ，ｙ）とすると、平均色ベクトルμは、（２６）式で求めることができる。

これによって、各バウンディングボックスは、色の統計量によって特徴付けされることになる。

色統計量記憶手段１５は、少なくとも選手が属するチームの服色に基づく色の統計量を予め記憶したデータベースである。ここでは、色統計量記憶手段１５に、オブジェクト種別（種別情報）と、色の統計量とを対にして記憶しておく。ここで、オブジェクト種別とは、人物がどのチームに所属するか、ゴールキーパであるか、審判であるか等を表す識別子とする。この色統計量記憶手段１５に記憶されているオブジェクト種別及び色の統計量は、分類手段１６によって参照される。

ここで、図６を参照して、色統計量記憶手段１５に記憶されているデータベースについて説明する。図６は、色統計量記憶手段１５に記憶されているデータベースの内容の一例を示す図である。このデータベースＤＢには、人物を６つのオブジェクト種別１００（ゴールキーパ以外のホームチーム選手、ホームチーム側ゴールキーパ、ゴールキーパ以外のアウェイチーム選手、アウェイチーム側ゴールキーパ、審判、その他）に分類し、識別子１〜６を付している。また、このデータベースＤＢには、色の統計量として、選手の平均色ベクトル１０１と、色共分散行列１０２とを、オブジェクト種別１００に対応付けて記憶している。なお、平均色ベクトル１０１及び色共分散行列１０２は、選手のユニフォームの色（服色）、あるいは、選手全身の色を予め測定することで求めておく。
図２に戻って説明を続ける。

分類手段１６は、色統計量測定手段１４で測定された識別番号毎の色の統計量と、色統計量記憶手段１５に記憶されている色の統計量とに基づいて、選手をチーム毎に分類するものである。ここでは、分類手段１６は、色統計量記憶手段１５において、色統計量測定手段１４で測定された色の統計量と最も近いオブジェクト種別を検索し、該当するオブジェクト種別を、識別番号とともにオフサイドライン位置出力手段２０に出力する。
例えば、色統計量測定手段１４で測定された色の統計量をμ、色統計量記憶手段１５に記憶されている色の統計量である平均色ベクトル及び色共分散行列を（μ_n，Σ_n）（ｎ
＝１，２，…）とすると、統計量の距離Ｃは、（２７）式に示すように、マハラノビス距離を用いて算出することができる。

なお、ここでは、分類手段１６が、映像の一単位（例えば、フレーム）毎の分類作業が終了した段階で、オフサイドライン位置出力手段２０に対して、オフサイドラインを検出するタイミングを示すオフサイドライン出力指示を通知するものとする。
以上説明したように、選手位置検出手段１０は、入力映像から、個々の選手の３次元座標（３次元推定選手座標）と、その選手のオブジェクト種別とを認識し、出力することができる。
ここでは、この選手位置検出手段１０に、オフサイドライン位置出力手段２０を付加することで、選手の位置に基づいて、オフサイドラインの位置を検出するオフサイドライン検出装置１を構成している。

オフサイドライン位置出力手段２０は、分類手段１６で分類された選手毎のオブジェクト種別（所属チーム等の種別情報）と、３次元選手座標推定手段１２で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を特定（推定）して出力するものである。
例えば、オフサイドライン位置出力手段２０は、３次元推定選手座標の中で、サッカー競技におけるホームチーム又はアウェイチームの注目するチームの、守備側の後方から数えて２番目の選手の位置を探索する。

そして、ホームチームに注目する場合、オフサイドライン位置出力手段２０は、オブジェクト種別（オブジェクトの識別子）がゴールキーパ以外のホームチームの選手を示す“１（ホーム側非ゴールキーパ選手）”、又は、ホームチームのゴールキーパを示す“２（ホーム側ゴールキーパ）”（図６参照）に分類されている識別番号の選手のみに注目し、守備側の後方から数えて２番目の選手の位置を探索する。
また、アウェイチームに注目する場合、オフサイドライン位置出力手段２０は、オブジェクト種別（オブジェクトの識別子）がゴールキーパ以外のアウェイチームの選手を示す“３（アウェイ側非ゴールキーパ選手）”、又は、アウェイチームのゴールキーパを示す“４（アウェイ側ゴールキーパ）”（図６参照）に分類されている識別番号の選手のみに注目し、守備側の後方から数えて２番目の選手の位置を探索する。
なお、選手の３次元座標（３次元推定選手座標）で、守備側の後方からの人数を求めるには、３次元座標のタッチライン方向成分（ｘ座標）の大小を判定することで行う。すなわち、ゴールがｘ軸正方向にある場合、ｘ座標が２番目に大きい位置を探索する。逆に、ゴールがｘ軸負方向にある場合、ｘ座標が２番目に小さい位置を探索する。オフサイドラインの基準となるタッチラインに対する位置（座標）が特定されることになる。

ここで、図７を参照（適宜図２参照）して、オフサイドライン位置出力手段２０の詳細な構成について説明する。図７は、オフサイドライン位置出力手段の構成を示したブロック図である。ここでは、オフサイドライン位置出力手段２０は、座標記憶手段２１と、オフサイドライン座標推定手段２２とを備えて構成している。

座標記憶手段２１は、選手位置検出手段１０で検出された３次元推定選手座標と、オブジェクト種別とを、識別番号に対応付けて記憶するものである。例えば、図９に示すように、識別番号に対応付けて、オブジェクト種別ｃ_i、３次元推定選手座標（ｘ座標ｘ_i、ｙ座標ｙ_i、ｚ座標ｚ_i）を記憶する。

オフサイドライン座標推定手段２２は、座標記憶手段２１に記憶されている３次元推定選手座標と、オブジェクト種別とに基づいて、オフサイドラインの座標を推定するものである。ここでは、オフサイドライン座標推定手段２２は、座標探索手段２２ａと、座標特定手段２２ｂとを備えて構成している。

座標探索手段２２ａは、後記する座標特定手段２２ｂから、オブジェクト種別を通知されることで、座標記憶手段２１から、該当する座標を検索するものである。なお、座標探索手段２２ａは、オブジェクト種別に加え、特定の座標成分（例えば、ｘ座標）の大きさの順番を通知された場合は、座標記憶手段２１から、該当する座標のみを検索する。この座標探索手段２２ａで検索された座標は、座標特定手段２２ｂに出力される。
なお、座標探索手段２２ａは、座標特定手段２２ｂから要求のあった段階で、該当する座標を全検索するのではなく、座標記憶手段２１に、例えば、１フレーム分のデータ（３次元推定選手座標及びオブジェクト種別）が記憶された段階で、データをオブジェクト種別毎に、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることとしてもよい。これによって、例えば、図９に示した座標記憶手段２１の内容は、図１０の（ａ）〜（ｅ）に示すように、オブジェクトの種別毎に、ｘ座標の大きさの順番（ここでは、降順）で配列したデータ構造となる。

座標特定手段２２ｂは、選手、あるいは、選手と審判との位置関係に基づいて、オフサイドラインを特定（推定）するものである。なお、ここでは、座標特定手段２２ｂは、分類手段１６からオフサイドライン出力指示が通知された段階で起動するものとする。起動後、座標特定手段２２ｂは、座標探索手段２２ａに対して、オブジェクト種別により選手あるいは審判の位置座標を要求し、その位置座標を取得することで、オフサイドラインを特定する。この選手、あるいは、選手と審判との位置関係に基づいて、オフサイドラインを特定する手法の説明は、オフサイドライン検出装置１の動作の説明で行うこととする。
なお、オフサイドライン位置出力手段２０は、図８に示すように、フィルタ手段２３を付加して、オフサイドライン位置出力手段２０₂として構成してもよい。

フィルタ手段２３は、選手位置検出手段１０で検出された３次元推定選手座標の中で、オブジェクト種別の人物（選手、審判）が、その存在位置として妥当であるかどうかを判定するものである。そして、フィルタ手段２３は、妥当であると判断した場合に限って、座標記憶手段２１に３次元推定選手座標とオブジェクト種別とを、識別番号に対応付けて記憶する。
例えば、フィルタ手段２３は、以下に示す種々の判定条件を設けて、入力されたデータが妥当であるかどうかを判定する。

（判定条件 例１）
一般に、サッカー競技において、線審は、オフサイドラインの近傍に位置している。すなわち、審判のうちでオフサイドラインの推定に有効な審判は、線審であるといえる。そこで、フィルタ手段２３は、入力されたオブジェクト種別ｃが、審判を示す“５”（図６参照）である場合に限り、その審判が所定の範囲以外に存在する場合（例えば、以下の（２８）式で示したように、ｙ座標が３３メートル未満又は３５メートルを超える場合）は、当該審判を線審ではないと判定し、入力されたデータを破棄する（座標記憶手段２１に記憶しない）。

（判定条件 例２）
また、一般に、ゴールキーパは、ゴールライン付近に存在することが多い。そこで、フィルタ手段２４は、入力されたオブジェクト種別ｃが、ゴールキーパを示す“２”又は“４”（図６参照）である場合に限り、そのゴールキーパがゴールラインから所定距離より離れた位置に存在する場合（例えば、以下の（２９）式で示したように、各ゴールキーパのｘ座標が自ゴールから３０ｍを超える場合）は、当該ゴールキーパの座標は誤りであると判定し、入力されたデータを破棄する（座標記憶手段２１に記憶しない）。

このように、オフサイドライン位置出力手段２０₂内に、フィルタ手段２３を備えることで、オフサイドラインの推定精度を高めることができる。
以上説明したように、オフサイドライン検出装置１は、サッカー競技を撮影した映像（入力映像）から、チーム毎の選手や、審判の位置を検出することで、オフサイドラインの座標を検出することができる。このように検出されたオフサイドラインの座標は、ワールド座標系における座標であるため、従来のＣＧ合成技術によって、サーカー競技のオフサイドラインを画面上に可視化することが可能になる。

以上、オフサイドライン検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、オフサイドライン検出装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（オフサイドライン検出プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
また、ここでは、面積判定手段１２ｂは、予め定めた２次元座標上の選手の大きさに相当する領域情報のみを出力するものとして構成したが、面積判定手段１２ｂの代わりに、映像上に出現する３次元座標上の選手の大きさに適応させて、判定するための面積を変化させる適応面積判定手段を組み込むこととしてもよい。

ここで、図１１を参照（他の構成については適宜図２参照）して、適応面積判定手段について説明する。図１１は、適応面積判定手段の詳細な構成を示したブロック図である。ここでは、適応面積判定手段１７は、３次元座標変換手段１７ａと、２次元選手領域設定手段１７ｂと、面積閾値生成手段１７ｃと、可変面積判定手段１７ｄとを備えて構成している。

３次元座標変換手段（逆投影変換手段）１７ａは、カメラの位置及び焦点距離に基づいて、ラベリング手段１２ａで生成された領域情報に含まれる選手領域毎の２次元座標である重心座標を、ワールド座標系における３次元座標に変換するものである。なお、３次元座標変換手段１７ａは、図２で説明した逆投影変換手段１２ｃと同一のものとして実現することができる。すなわち、前記（３）式により、重心座標を３次元座標に変換する。ここで変換し、算出された３次元座標は、２次元選手領域設定手段１７ｂに出力される。また、前記（３）式で「無効」となった場合は、その旨２次元選手領域設定手段１７ｂに通知される。

２次元選手領域設定手段（投影変換手段）１７ｂは、３次元座標変換手段１７ａで変換された３次元座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元選手領域を設定するものである。この２次元選手領域設定手段１７ｂは、図２で説明した２次元選手領域設定手段１３と同一のものとして実現することができる。すなわち、２次元選手領域設定手段１７ｂは、３次元座標を基準とした選手の領域を円柱近似し、その円柱を２次元座標に投影し、その投影された領域を含むバウンディングボックス（前記（２５）式参照）を選手の２次元選手領域として設定する。ここで設定された２次元選手領域（バウンディングボックス）は、面積閾値生成手段１７ｃに出力される。なお、２次元選手領域設定手段１７ｂは、３次元座標変換手段１７ａから、「無効」が通知された場合には、当該ラベル番号に対応付けて、面積閾値生成手段１７ｃに「無効」を通知する。

面積閾値生成手段１７ｃは、２次元選手領域設定手段１７ｂで設定されたバウンディングボックスの大きさに基づいて、選手領域が、選手の領域として有効かどうかを判定する閾値を生成するものである。この面積閾値生成手段１７ｃは、可変面積判定手段１７ｄで用いる選手領域の有効な範囲を示す閾値を、下限値Ａ_min及び上限値Ａ_maxとして算出する。例えば、バウンディングボックスＤの面積をＤ_Sとし、予め定めた定数ρ_min及びρ_maxを面積Ｄ_Sにすることで、（３０）式に示すように、下限値Ａ_min及び上限値Ａ_maxを算出する。

なお、面積閾値生成手段１７ｃは、２次元選手領域設定手段１７ｂから「無効」を通知された場合、ラベル番号に対応付けて、可変面積判定手段１７ｄに「無効」を通知する。

可変面積判定手段１７ｄは、面積閾値生成手段１７ｃで生成された閾値に基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定するものである。この可変面積判定手段１７ｄは、面積閾値生成手段１７ｃで生成された選手領域の有効な範囲を示す下限値Ａ_min及び上限値Ａ_maxを閾値として、ラベル番号ｍ（１≦ｍ≦Ｍ）に対応する領域情報の面積Ａ_mが、閉区間［Ａ_min，Ａ_max］に含まれるかどうかを判定し、Ａ_m∈［Ａ_min，Ａ_max］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。なお、可変面積判定手段１７ｄは、面積閾値生成手段１７ｃから「無効」を通知された場合、そのラベル番号に対応する領域情報を出力しない。

以上説明したように、面積判定手段１２ｂを適応面積判定手段１７とすることで、３次元座標における選手の大きさに基づいて、シルエット映像における選手領域が有効であるかどうかを判定することができる。これによって、選手の動きによって、映像上に映っている選手の大きさが変わっても、選手の領域であるかどうかを判断でき、より正確に選手の領域を特定することができる。
なお、面積判定手段１２ｂの代わりに適応面積判定手段１７を用いる場合、逆投影変換手段１２ｃを省略して、３次元座標変換手段１７ａの出力を再利用することとしてもよい。すなわち、可変面積判定手段１７ｄは、３次元座標変換手段１７ａで出力される３次元座標の中で、Ａ_m∈［Ａ_min，Ａ_max］を満たす領域情報に対応する３次元座標を、ラベル番号とともに、３次元選手座標として、検出・追跡手段１２ｄに出力する。

［オフサイドライン検出装置の動作］
次に、図１２を参照（適宜図２参照）して、オフサイドライン検出装置の動作について説明する。図１２は、本発明の第一の実施の形態に係るオフサイドライン検出装置の動作を示すフローチャートである。なお、図１２のフローチャートは、入力映像における１フレーム分の動作を示したものであって、逐次入力されるフレーム毎に、本動作が繰り返して実行される。

（シルエット映像生成ステップ）
まず、オフサイドライン検出装置１は、シルエット映像生成手段１１によって、入力されるフレーム毎に、そのフレームを選手領域と背景領域とに分割してシルエット映像を生成する（ステップＳ１）。ここでは、シルエット映像生成手段１１は、選手領域を画素値「１」、背景領域を画素値「０」としてフレームを２値化する。

（３次元選手座標推定ステップ）
そして、オフサイドライン検出装置１は、ラベリング手段１２ａによって、シルエット映像の選手領域（画素値「１」の領域）に対して、ラベル番号を付与する（ステップＳ２）。なお、ラベリング手段１２ａでは、ラベリング処理実行時に、選手領域（単連結領域）の面積及び重心座標を算出しておく。
そして、オフサイドライン検出装置１は、面積判定手段１２ｂによって、ラベル番号が付与された選手領域の中から、その選手領域の面積が、予め定めた選手の大きさに相当する面積の範囲内となる領域のみをフィルタリングする（ステップＳ３）。これによって、選手の大きさに相当しない領域を削除することができる。

さらに、オフサイドライン検出装置１は、逆投影変換手段１２ｃによって、ステップＳ３でフィルタリングされた選手領域毎の重心座標を逆投影変換することで、３次元選手座標を算出する（ステップＳ４）。ここで、重心座標は２次元座標であり、算出される３次元選手座標は、ワールド座標系における３次元座標である。
そして、オフサイドライン検出装置１は、検出・追跡手段１２ｄによって、ステップＳ４で算出された３次元選手座標と、後記するステップＳ９で１単位時間（１フレーム）前に遅延された３次元予測選手座標との距離を、全ての組み合わせで算出し（ステップＳ５）、その距離に基づいて、３次元選手座標に識別番号を付与する（ステップＳ６）。

すなわち、検出・追跡手段１２ｄは、ステップＳ５で算出された距離が、予め定めた閾値以下で、かつ、最も短い３次元予測選手座標に対応付けられている識別番号を、３次元選手座標に対して設定する。また、検出・追跡手段１２ｄは、識別番号が設定されなかった３次元選手座標に対して、新規の識別番号を付与する。
これによって、検出・追跡手段１２ｄは、同一の選手の領域（選手領域）を、追跡することができる。

そして、オフサイドライン検出装置１は、予測・推定手段１２ｅによって、３次元選手座標を、時間方向に平滑化して、３次元推定選手座標を推定するとともに、１単位時間（１フレーム）後の選手領域の３次元座標を３次元予測選手座標として予測する（ステップＳ８）。ここでは、予測・推定手段１２ｅをカルマンフィルタとして機能させることで、オフサイドライン検出装置１は、選手を滑らかに追跡することが可能になる。
そして、オフサイドライン検出装置１は、遅延手段１２ｆによって、ステップＳ８で予測された３次元予測選手座標を、１単位時間遅延させる（ステップＳ９）。なお、ここで遅延された３次元予測選手座標は、１フレーム後の動作におけるステップＳ５において使用される。

（２次元選手領域設定ステップ）
また、オフサイドライン検出装置１は、２次元選手領域設定手段１３によって、ステップＳ８で推定された３次元推定選手座標を、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する２次元領域である２次元選手領域を設定する（ステップＳ１０）。

（色統計量測定ステップ）
そして、オフサイドライン検出装置１は、色統計量測定手段１４によって、ステップＳ１０で設定された２次元選手領域と、シルエット映像生成手段１１で生成されたシルエット映像の選手領域との共通する領域内で、入力映像の色の統計量を測定する（ステップＳ１１）。ここでは、例えば、色の統計量としては、色ベクトルを領域内で平均化した平均色ベクトルを用いる

（分類ステップ）
さらに、オフサイドライン検出装置１は、分類手段１６によって、ステップＳ１１で測定された識別番号毎の色の統計量と、色統計量記憶手段１５に記憶されている色の統計量とに基づいて、選手をチーム毎に分類する（ステップＳ１２）。
これによって、分類手段１６は、入力映像に映っている選手がどのオブジェクト種別に属しているかを分類することができ、サッカー競技のホームチーム側の選手、アウェイチーム側の選手の区別をつけることができる。

（オフサイドライン位置出力ステップ）
そして、オフサイドライン検出装置１は、オフサイドライン位置出力手段２０によって、分類手段１６で分類された選手毎のオブジェクト種別（所属チーム等）と、３次元選手座標推定手段１２で推定された３次元推定選手座標とに基づいて、オフサイドラインの位置を推定して出力する（ステップＳ１３）。

《オフサイドライン位置出力手段の動作》
ここで、図１３及び図１４を参照（適宜図７参照）して、図１２におけるステップＳ１３の動作（オフサイドライン位置出力手段２０の動作）について、具体的に説明する。図１３は、ホームチームの選手（ゴールキーパ及び非ゴールキーパ選手）の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。図１４は、ホームチームの選手並びに審判の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。なお、図１３及び図１４中、「ｍａｘ｛…｝」は、集合｛…｝の中で最大値を求める関数、「ｍａｘ２｛…｝」は、集合｛…｝の中で２番目に大きな値を求める関数とする。また、集合｛…｝の中に最大値を持つ要素が複数存在する場合は、ｍａｘ｛…｝＝ｍａｘ２｛…｝＝「集合｛…｝の中の最大値」とする。
また、ここでは、ステップＳ８において推定された３次元推定選手座標、及び、ステップＳ１２において分類されたオブジェクト種別は、それぞれ、識別番号に対応付けられて、オフサイドライン位置出力手段２０の座標記憶手段２１に記憶されているものとする。

（オフサイドライン位置出力手段の動作〔ホーム側選手による推定〕）
最初に、図１３を参照（適宜図７参照）して、オフサイドライン位置出力手段２０におけるホームチームの選手の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段２０は、座標記憶手段２１にホームチームのゴールキーパ（ホーム側ゴールキーパ）の座標が記憶されているかどうかを検索することで、ホーム側ゴールキーパの人数が“０”であるかどうかを判定する（ステップＳ２０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“２” 〔ホーム側ゴールキーパ〕）を通知し、ホーム側ゴールキーパの座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ホーム側ゴールキーパの座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、ホーム側ゴールキーパの人数が“０”であるかどうかを判定する。

ここで、ホーム側ゴールキーパの人数が“０”である場合（ステップＳ２０でＹｅｓ）、座標特定手段２２ｂは、ホームチームのゴールキーパ以外の選手であるホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を変数Ｘ_dに代入する（ステップＳ２１）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“１”〔ホーム側非ゴールキーパ選手〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、ホーム側非ゴールキーパ選手の位置で最も大きいｘ座標の値を得ることができる。そして、ステップＳ２４に進む。

一方、ホーム側ゴールキーパの人数が“０”でない場合（ステップＳ２０でＮｏ）、座標特定手段２２ｂは、座標探索手段２２ａに対して、ホーム側非ゴールキーパ選手（オブジェクト種別“１”）の位置で最も大きいｘ座標及び２番目に大きいｘ座標と、ホーム側ゴールキーパ（オブジェクト種別“２”）の位置で最も大きいｘ座標との探索を要求し、それぞれの値を、変数Ｘ_d1，Ｘ_d2及びＸ_gに代入する（ステップＳ２２）。なお、最も大きいｘ座標が複数存在する場合は、「最も大きいｘ座標」と「２番目に大きいｘ座標」とは、ともに同じ値（最大値）を指すこととする。

そして、座標特定手段２２ｂは、変数Ｘ_d1，Ｘ_d2及びＸ_gの中で２番目に大きい値を変数Ｘ_dに代入する（ステップＳ２３）。なお、ホーム側非ゴールキーパ選手の２番目に大きいｘ座標、すなわち、変数Ｘ_d2の値が存在しない場合は、変数Ｘ_d1及びＸ_gの小さい方の値を変数Ｘ_dに代入するものとする。この段階で、座標特定手段２２ｂは、変数Ｘ_dをオフサイドライン位置と推定する。
そして、座標特定手段２２ｂは、変数Ｘ_dの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ２４）。

（オフサイドライン位置出力手段の動作〔ホーム側選手＋審判による推定〕）
次に、図１４を参照（適宜図７参照）して、オフサイドライン位置出力手段２０におけるホームチームの選手並びに審判の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段２０は、ホーム側選手の位置に基づいて、オフサイドラインの位置を推定する（ステップＳＡ１）。なお、このステップＳＡ１は、図１３で説明した、ステップＳ２０〜ステップＳ２３の動作と同じ動作であるため、説明を省略する。

そして、オフサイドライン位置出力手段２０は、座標記憶手段２１に審判の座標が記憶されているかどうかを検索することで、審判の人数が“０”であるかどうかを判定する（ステップＳ３０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“５”〔審判〕）を通知し、審判の座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、審判の座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、審判の人数が“０”であるかどうかを判定する。

ここで、審判の人数が“０”である場合（ステップＳ３０でＹｅｓ）、座標特定手段２２ｂは、ステップＳＡ１で推定したオフサイドライン位置のｘ座標（変数Ｘ_dの値）を変数Ｘ_pに代入する（ステップＳ３１）。この段階では、審判が映像上に存在しないため、座標特定手段２２ｂは、ステップＳＡ１で推定した、ホーム側選手の位置から推定したオフサイドラインの位置をそのまま使用する。そして、ステップＳ３５に進む。

一方、審判の人数が“０”でない場合（ステップＳ３０でＮｏ）、座標特定手段２２ｂは、審判の位置で最も大きいｘ座標の値を持つ審判をホーム側オフサイドライン上の線審とみなし、そのｘ座標を変数Ｘ_rに代入する（ステップＳ３２）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“５”〔審判〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、審判の位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、審判の位置で最も大きいｘ座標の値を得ることができる。

続けて、座標特定手段２２ｂは、ステップＳ３２で得た審判の位置で最も大きいｘ座標（変数Ｘ_r）と、ステップＳＡ１でホーム側選手から推定したオフサイドラインのｘ座標（変数Ｘ_d）とを比較する。なお、審判の位置が、ホーム側の選手の位置に対して、ホーム側のゴールライン（ゴールポスト）に、より大きく近づいている場合は、審判の位置の方がオフサイドラインの位置に近いといえる。そこで、ここでは、座標特定手段２２ｂは、ホーム側選手から推定したオフサイドラインの位置のｘ座標（変数Ｘ_d）に予め定めた閾値θ（例えば、１ｍ）を加算し、審判の位置のｘ座標（変数Ｘ_r）と比較する（ステップＳ３３）。

ここで、審判の位置のｘ座標（変数Ｘ_r）が、ステップＳＡ１で推定したオフサイドライン位置のｘ座標よりも十分大きい場合（ステップＳ３３でＹｅｓ）、座標特定手段２２ｂは、審判の位置をオフサイドラインの位置と推定し、変数Ｘ_pに変数Ｘ_rの値を代入する（ステップＳ３４）。なお、座標特定手段２２ｂは、ステップＳ３４において、Ｘ_p＝（Ｘ_d＋Ｘ_r）／２の演算を行うことで、選手の位置から得られたオフサイドライン位置（Ｘ_d）と、審判の位置から得られたオフサイドライン位置（Ｘ_r）との相加平均値を、オフサイドライン位置（Ｘ_p）と推定することとしてもよい。

一方、審判の位置のｘ座標（変数Ｘ_r）が、ステップＳＡ１で推定したオフサイドライン位置のｘ座標よりも十分大きくない場合（ステップＳ３３でＮｏ）、ステップＳ３１の動作を実行する。
そして、座標特定手段２２ｂは、変数Ｘ_pの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ３５）。
このように、オフサイドライン位置出力手段２０は、選手の位置だけでなく、審判の位置を加味することで、精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、ｘ座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。

以上の動作によって、オフサイドライン検出装置１は、サッカー競技を撮影した入力映像から、選手の動きに応じて変化するオフサイドラインの位置（座標）を、逐次出力することができる。これによって、このオフサイドライン検出装置１から出力されるオフサイドラインの位置（座標）を、従来のＣＧ合成技術で使用することで、リアルタイムでサーカー競技のオフサイドラインを画面上に可視化することが可能になる。

＜第二の実施の形態］＞
［オフサイドライン検出装置の構成］
次に、図１５を参照して、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成について説明する。図１５は、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。図１５に示すように、オフサイドライン検出装置１Ｂは、オブジェクト位置検出手段１０Ｂと、オフサイドライン位置出力手段２０Ｂとを備えて構成している。

オブジェクト位置検出手段１０Ｂは、入力されたスポーツ映像（ここではサッカー競技を撮影した入力映像）から、その入力映像内におけるチーム毎の選手、審判、あるいはボールの位置を検出するものである。ここでは、オブジェクト位置検出手段１０Ｂは、シルエット映像生成手段１１と、３次元オブジェクト座標推定手段１２Ｂと、２次元選手領域設定手段１３と、色統計量測定手段１４と、色統計量記憶手段１５と、分類手段１６とを備えて構成している。なお、３次元オブジェクト座標推定手段１２Ｂ以外の構成は、図２で説明した選手位置検出手段１０の構成と同じものであるため、同一の符号を付し、説明を省略する。

３次元オブジェクト座標推定手段１２Ｂは、シルエット映像生成手段１１で生成されたシルエット映像から、人物である選手（審判を含む）及びボールの各オブジェクトの３次元座標を推定するものである。なお、３次元オブジェクト座標推定手段１２Ｂは、図２で説明した３次元選手座標推定手段１２に、ボールの３次元座標を推定する機能を付加したものであって、選手（審判を含む）の３次元座標の推定は、３次元選手座標推定手段１２と同一の構成で実現できる。ここでは、３次元選手座標推定手段１２に、ボールの３次元座標を推定する機能を付加することで異なった構成となる面積判定手段１２Ｂｂ及び予測・推定手段１２Ｂｅのみについて説明を行う。

面積判定手段１２Ｂｂは、ラベリング手段１２ａで生成された領域情報内の面積が、特定の範囲内であるかどうかを判定し、面積が特定の範囲にある領域情報のみを出力する面積フィルタとして機能するものである。ここでは、予め選手（審判を含む）の大きさに相当する面積の下限値Ａ_min及び上限値Ａ_maxと、ボールの大きさに相当する面積の下限値Ｂ_min及び上限値Ｂ_maxとを、閾値として定めておく。

そして、面積判定手段１２Ｂｂは、ラベル番号ｍ（１≦ｍ≦Ｍ）（Ｍは単連結領域の数）に対応する領域情報の面積Ａ_mが、閉区間［Ａ_min，Ａ_max］又は閉区間［Ｂ_min，Ｂ_max］に含まれるかどうかを判定し、Ａ_m∈［Ａ_min，Ａ_max］又はＡ_m∈［Ｂ_min，Ｂ_max］を満たす場合にのみ、領域情報を出力する。ここで条件を満たした領域情報は、逆投影変換手段１２ｃに出力される。また、面積判定手段１２Ｂｂは、領域が選手（審判を含む）として判定されたものか、ボールとして判定されたものかを示す人物・ボール判定情報を、逆投影変換手段１２ｃに出力し、その情報は、さらに、検出・追跡手段１２ｄ、予測・推定手段１２Ｂｅに順次通知されるものとする。
なお、面積判定手段１２Ｂｂは、ボールの領域の面積をＳ、周囲長をｌとしたとき、以下の（３１）式に示すような円形度ｅを算出し、より円形に近いもののみをボールの領域として選択することとしてもよい。

これによって、図４に示した、ボールの大きさに近似するような領域Ｈを、ボールとして判定することがなくなる。

予測・推定手段１２Ｂｅは、検出・追跡手段１２ｄで新規に検出された、あるいは、追跡された選手、ボールといったオブジェクトの３次元座標（３次元オブジェクト座標）を、時間方向に平滑化して、３次元推定オブジェクト座標とするとともに、１単位時間後のオブジェクトの３次元座標を３次元予測オブジェクト座標として予測するものである。
この予測・推定手段１２Ｂｅで予測された３次元予測オブジェクト座標は、オブジェクトを特定する識別番号とともに遅延手段１２ｆに出力される。また、予測・推定手段１２Ｂｅは、人物・ボール判定情報に基づいて、３次元推定オブジェクト座標が選手の座標であるのかボールの座標であるのかを判定し、選手の座標である場合は、３次元推定オブジェクト座標を３次元推定選手座標として２次元選手領域設定手段１３及びオフサイドライン位置出力手段２０Ｂに出力し、ボールの座標である場合は、３次元推定オブジェクト座標を３次元推定ボール座標として、オフサイドライン位置出力手段２０Ｂに出力する。

なお、予測・推定手段１２Ｂｅは、３次元推定ボール座標をオフサイドライン位置出力手段２０Ｂに出力する場合には、識別番号と、オブジェクトがボールであることを示すオブジェクト種別とを合わせて出力することとする。
これによって、オブジェクト位置検出手段１０Ｂは、入力映像から、選手（審判を含む）、ボールといったオブジェクトの３次元座標（３次元推定選手座標）を検出することができる。

オフサイドライン位置出力手段２０Ｂは、３次元オブジェクト座標推定手段１２Ｂで推定された３次元推定選手座標及び３次元推定ボール座標とに基づいて、オフサイドラインの位置を推定して出力するものである。また、選手のオブジェクト種別は、分類手段１６から通知され、ボールのオブジェクト種別は、３次元オブジェクト座標推定手段１２Ｂの予測・推定手段１２Ｂｅから通知されるものとする。
なお、オフサイドライン位置出力手段２０Ｂの詳細な構成については、図７及び図８で説明したオフサイドライン位置出力手段２０と同様の構成とすることができる。ただし、オフサイドライン位置出力手段２０Ｂの座標記憶手段２１には、選手、審判の位置情報に加え、ボールの位置情報（３次元推定ボール座標）が記憶される。

例えば、座標記憶手段２１には、図１６（ａ）に示すように、３次元推定ボール座標（ここでは、オブジェクト種別＝“７”の座標）を含んだ、識別番号に対応付けられた、オブジェクト種別ｃ_i、座標（ｘ座標ｘ_i、ｙ座標ｙ_i、ｚ座標ｚ_i）が記憶される。
さらに、オブジェクト座標推定手段２２の座標探索手段２２ａが、座標記憶手段２１に記憶されているデータをオブジェクト種別毎に、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることも可能である。この場合、座標探索手段２２ａは、図１４に示した各オブジェクト種別以外に、図１６（ｂ）に示すように、ボールのオブジェクト種別（ここでは“７”）の座標を、特定座標成分（例えば、ｘ座標）の大きさの昇順又は降順に配列して、座標記憶手段２１に記憶することとしてもよい。

［オフサイドライン検出装置の動作］
次に、オフサイドライン検出装置１Ｂの動作について説明する。なお、オブジェクト位置検出手段１０Ｂの動作については、図１２で説明した選手位置検出動作に、ボールの検出を付加したことのみが異なっているため、全体の動作については説明を省略し、オフサイドライン位置出力手段２０Ｂの動作について、具体的に説明する。

（オフサイドライン位置出力手段の動作〔ホーム側選手＋審判＋ボールによる推定〕）
ここでは、図１７を参照（適宜図７参照）して、オフサイドライン位置出力手段２０Ｂの動作について説明する。図１７は、オフサイドライン位置出力手段におけるホームチームの選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定する動作を示すフローチャートである。

まず、オフサイドライン位置出力手段２０Ｂは、ホーム側選手及び審判の位置に基づいて、オフサイドラインの位置を推定する（ステップＳＡ２）。なお、このステップＳＡ２は、図１４で説明した、ステップＳＡ１及びステップＳ３０〜ステップＳ３４の動作と同じ動作であるため、説明を省略する。
そして、オフサイドライン位置出力手段２０Ｂは、座標記憶手段２１にボールの座標が記憶されているかどうかを検索することで、ボールの個数が“０”であるかどうかを判定する（ステップＳ４０）。ここでは、オフサイドライン座標推定手段２２の座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“７”〔ボール〕）を通知し、ボールの座標の検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ボールの座標を検索し、その結果を座標特定手段２２ｂに通知する。すなわち、座標特定手段２２ｂは、座標探索手段２２ａからの検索結果に基づいて、ボールの個数が“０”であるかどうかを判定する。

ここで、ボールの個数が“０”である場合（ステップＳ４０でＹｅｓ）、座標特定手段２２ｂは、ステップＳＡ２で推定したオフサイドライン位置のｘ座標（変数Ｘ_pの値）を変数Ｘに代入する（ステップＳ４１）。この段階では、ボールが映像上に存在しないため、座標特定手段２２ｂは、ステップＳＡ２で推定した、ホーム側選手及び審判の位置から推定したオフサイドラインの位置をそのまま使用する。そして、ステップＳ４５に進む。

一方、ボールの個数が“０”でない場合（ステップＳ４０でＮｏ）、座標特定手段２２ｂは、ボールの位置で最も大きいｘ座標の値を変数Ｘ_bに代入する（ステップＳ４２）。すなわち、座標特定手段２２ｂが、座標探索手段２２ａに対して、オブジェクト種別（ここでは、値“７”〔ボール〕）と、座標の大きさの順番（ここでは、１番目〔最大値〕）を通知し、検索を指示する。そして、座標探索手段２２ａが、座標記憶手段２１から、ボールの位置で最も大きいｘ座標の値を検索し、その結果を座標特定手段２２ｂに通知する。これによって、座標特定手段２２ｂは、ボールの位置で最も大きいｘ座標の値を得ることができる。

続けて、座標特定手段２２ｂは、ステップＳ４２で得たボールの位置で最も大きいｘ座標（変数Ｘ_b）と、ステップＳＡ２でホーム側選手及び審判から推定したオフサイドラインのｘ座標（変数Ｘ_p）とを比較する（ステップＳ４３）。
ここで、ボールの位置のｘ座標（変数Ｘ_b）が、ステップＳＡ２で推定したオフサイドライン位置のｘ座標よりも大きい場合（ステップＳ４３でＹｅｓ）、座標特定手段２２ｂは、ボールの位置をオフサイドラインの位置と推定し、変数Ｘに変数Ｘ_bの値を代入する（ステップＳ４４）。
一方、ボールの位置のｘ座標（変数Ｘ_b）が、ステップＳＡ２で推定したオフサイドライン位置のｘ座標以下の場合（ステップＳ４３でＮｏ）、ステップＳ４１の動作を実行する。

そして、座標特定手段２２ｂは、変数Ｘの値をオフサイドライン位置（ｘ座標）として出力する（ステップＳ４５）。
このように、オフサイドライン位置出力手段２０Ｂは、選手及び審判の位置だけでなく、ボールの位置を加味することで、さらに精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、ｘ座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。

本発明に係るオフサイドライン検出装置の概要を説明するための説明図である。 本発明の第一の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。 本発明に係るオフサイドライン検出装置に入力される入力映像の一例を示す図である。 図３の入力映像を２値化したシルエット映像を示す図である。 図４のシルエット映像の選手領域にラベル番号を付与した概念を示す図である。 色統計量記憶手段に記憶されているデータベースのデータの一例を示す図である。 オフサイドライン位置出力手段の構成を示したブロック図である。 オフサイドライン位置出力手段の他の構成を示したブロック図である。 座標記憶手段の記憶内容の一例を示すデータ構造図である。 特定座標成分でオブジェクト種別毎にソートした座標記憶手段の記憶内容の一例を示すデータ構造図である。 適応面積判定手段の構成を示すブロック図である。 本発明の第一の実施の形態に係るオフサイドライン検出装置の動作を示すフローチャートである。 オフサイドライン位置出力手段がホームチームの選手の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。 オフサイドライン位置出力手段がホームチームの選手並びに審判の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。 本発明の第二の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。 本発明の第二の実施の形態に係るオフサイドライン検出装置の座標記憶手段の記憶内容を示し、（ａ）はその記憶内容の一例を示すデータ構造図、（ｂ）はボールの座標のみを抽出した例を示すデータ構造図である。 オフサイドライン位置出力手段におけるホームチームの選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定する動作を示すフローチャートである。

符号の説明

１、１Ｂ オフサイドライン検出装置
１０ 選手位置検出手段（選手位置検出装置）
１０Ｂ オブジェクト位置検出手段
１１ シルエット映像生成手段
１２ ３次元選手座標推定手段
１２Ｂ ３次元オブジェクト座標推定手段
１２ａ ラベリング手段
１２ｂ 面積判定手段
１２ｃ 逆投影変換手段
１２ｄ 検出・追跡手段
１２ｅ 予測・推定手段
１２ｆ 遅延手段
１３ ２次元選手領域設定手段
１４ 色統計量測定手段
１５ 色統計量記憶手段
１６ 分類手段
１７ 適応面積判定手段
１７ａ ３次元座標変換手段
１７ｂ ２次元選手領域設定手段（第二の２次元選手領域設定手段）
１７ｃ 面積閾値生成手段
１７ｄ 可変面積判定手段
２０、２０Ｂ オフサイドライン位置出力手段
２１ 座標記憶手段
２２ オフサイド座標推定手段
２２ａ 座標探索手段
２２ｂ 座標特定手段
２３ フィルタ手段

Claims (7)

1. サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
   前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
   このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を３次元座標上で追跡することで、前記選手の位置を３次元推定選手座標として推定する３次元選手座標推定手段と、
   この３次元選手座標推定手段で推定された３次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する２次元選手領域設定手段と、
   この２次元選手領域設定手段で設定された２次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
   チーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを少なくとも記憶した色統計量記憶手段と、
   この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別に前記ゴールキーパと前記非ゴールキーパとに分類する分類手段と、
   この分類手段で分類された選手毎のチームと、前記３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、を備え、
   前記オフサイドライン位置出力手段は、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出装置。
2. 前記３次元選手座標推定手段は、
   予め定めた前記選手の大きさに基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する面積判定手段を備え、
   この面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする請求項１に記載のオフサイドライン検出装置。
3. 前記３次元選手座標推定手段は、
   前記カメラの位置及び焦点距離に基づいて、前記シルエット映像における前記選手領域毎の２次元座標を３次元座標に変換する３次元座標変換手段と、
   この３次元座標変換手段で変換された３次元座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する第二の２次元選手領域設定手段と、
   この第二の２次元選手領域設定手段で設定された２次元選手領域の大きさに基づいて、前記選手領域が、前記選手の領域として有効かどうかを判定する閾値を生成する面積閾値生成手段と、
   この面積閾値生成手段で生成された閾値に基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する可変面積判定手段とを備え、
   この可変面積判定手段によって有効と判定された選手領域について、前記３次元推定選手座標を推定することを特徴とする請求項１に記載のオフサイドライン検出装置。
4. 前記３次元選手座標推定手段は、
   １単位時間過去に予測された前記選手領域の３次元座標である３次元予測選手座標と、現在の前記選手領域の３次元座標である３次元選手座標との距離に基づいて、前記選手領域を前記選手毎に検出し、追跡する検出・追跡手段と、
   この検出・追跡手段で検出し、追跡された前記選手毎の３次元選手座標を、時間方向に平滑化して、３次元推定選手座標とするとともに、１単位時間後の前記選手領域の３次元座標を前記３次元予測選手座標として予測する予測・推定手段と、
   この予測・推定手段で予測された３次元予測選手座標を１単位時間遅延させる遅延手段と、
   を備えていることを特徴とする請求項１乃至請求項３のいずれか一項に記載のオフサイドライン検出装置。
5. 前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とし、
   前記オフサイドライン位置出力手段は、
   前記分類手段で審判が分類されている場合、前記審判の中で前記ゴールラインに最も近い位置が、前記特定したオフサイドラインの位置よりも、予め定めた閾値を超えて前記ゴールラインに近いときは、前記審判の位置の中でゴールラインに最も近い位置を前記オフサイドラインの位置として特定することを特徴とする請求項１乃至請求項４のいずれか一項に記載のオフサイドライン検出装置。
6. サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
   前記入力映像から、時系列にオブジェクト領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
   このシルエット映像生成手段で生成されたシルエット映像における前記オブジェクト領域の大きさに基づいて当該オブジェクトを人物又はボールと判定しつつ、前記オブジェクト領域の位置及び大きさと、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記オブジェクト領域の位置を３次元座標上で追跡することで、前記人物及び前記ボールの位置を３次元推定人物座標及び３次元推定ボール座標として推定する３次元オブジェクト座標推定手段と、
   この３次元オブジェクト座標推定手段で推定された３次元推定人物座標と、前記カメラの位置及び焦点距離と、予め定めた人物の大きさとに基づいて、前記入力映像内における、前記人物が存在する２次元選手領域を設定する２次元人物領域設定手段と、
   この２次元人物領域設定手段で設定された２次元人物領域と、前記シルエット映像内の前記オブジェクト領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
   審判の服色に基づく色の統計量と、チーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを少なくとも記憶した色統計量記憶手段と、
   この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記人物を審判、並びに、チーム別の前記ゴールキーパと前記非ゴールキーパとに分類する分類手段と、
   この分類手段で分類された選手毎のチームと、前記３次元推定人物座標及び３次元推定ボール座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、を備え、
   前記オフサイドライン位置出力手段は、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置を前記オフサイドラインの位置として特定し、
   さらに、前記分類手段で審判が分類されている場合、前記審判の中で前記ゴールラインに最も近い位置が、前記特定したオフサイドラインの位置よりも、予め定めた閾値を超えて前記ゴールラインに近いときは、前記審判の位置の中でゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
   また、さらに、前記３次元オブジェクト座標推定手段によって前記３次元推定ボール座標としてボールが検出されている場合、前記ボールの位置が、前記特定したオフサイドラインの位置よりも、前記ゴールラインに近いときは、前記ボールの位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出装置。
7. サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するために、コンピュータを、
   前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段、
   このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を３次元座標上で追跡することで、前記選手の位置を３次元推定選手座標として推定する３次元選手座標推定手段、
   この３次元選手座標推定手段で推定された３次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する２次元選手領域を設定する２次元選手領域設定手段、
   この２次元選手領域設定手段で設定された２次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段、
   色統計量記憶手段に記憶されているチーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別の前記ゴールキーパと前記非ゴールキーパとに分類する分類手段、
   この分類手段で分類された選手毎のチームと、前記３次元選手座標推定手段で推定された３次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段、として機能させ、
   前記オフサイドライン位置出力手段は、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
   現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに２番目に近い位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出プログラム。

Images