JP5442261B2 - スポーツ競技場におけるイベントの自動検出方法とシステム - Google Patents

Description

本発明は、映像を取得し、記録、表示、処理を行うハードウェア並びにソフトウェアを用いた方法、システムに関する。
説明
本発明は、ゴールあるいはノーゴールというイベントが起きた時に、そのイベントについて最終判断を自律的に行うことができる試合管理者に信号を送ることにより自動検出の問題を解決することを目的としている。

このような問題は、請求項２６に詳述したようなシステムによっては勿論解決されるし、請求項２６に詳述したような方法を実行することによっても解決される。

特に、本発明における方法は、請求項３４、３５で定義したように１つ以上の記憶手段に保存された1つ以上のコンピュータ用のプログラムによって実行される。

本システムは、（ゲームを行う）フィールドの諸構造への介入性を排しており、ゲームを中断する必要もなく、ルールを修正する必要もなく、上記イベントの発生を客観的に検出し、検出されたイベントの特定信号（無線および／または映像音声信号）によってレフリーの判定を支援することだけを目的としている。

この特定のケースを解決するため、１つ以上の固定された参照物体（例を挙げれば、ポスト、水平バー、水平の白いラインであるが、これらに限定するのが目的ではない）に対する移動体（例をあげれば、ボールであるが、これに限定するのが目的ではない）の空間位置と移動体に関連する動きの推定という一般的問題に関わるパラダイムが使用される。そしてそれは移動体あるいは移動体が移動する環境を変更することはない（前記介入性をもたないソリューション）。

前記介入性をもたないとの条件に従うため、遠隔検出方式（物理的に非接触の遠隔検出）が、リアルタイムで映像の取得、記録、表示、処理を行うためのハードウェアとソフトウェア両方の構成要素を含む４台のインテリジェント取得ユニットによって実施される。

以下で本システムの「映像マシン」あるいは「ノード」と称する上記の取得ユニットは、さらに可視カメラであって、赤外線に近い高時間解像度（２００映像／秒）の複数のディジタル・カメラ（受動センサ）を有する。

（図の詳細な説明）
図１は、スタジアムにおける複数のカメラの位置を示しており、各ゴールを挟んで反対側にある２つのカメラは、それぞれ、その光軸がゴールの内側の平面と同じ平面にあって、ゴール・ラインの中心点に向かって収束するように配置されている。このようなカメラの装備によってボールの全体がゴールの内側ラインを通過したか否かを評価することが可能であり、したがって、ゴール・イベントが本当に起きたかを検証することができる。

各映像マシンは、２時間のディジタル録画（正規の試合、延長時間、ペナルティ・キック）を含むメモリを有する適切に構成された基本処理装置としての（ＰＣがベースの）サーバと、高いフレーム・レート（２００フレーム／秒、標準的カメラよりも８倍の速さ）でのリアルタイム・映像シーケンスにおける処理に特化したダブル・プロセッサを利用している。個々のサーバは、異なったソフトウェア要素を有し、下記の操作を行う。
・映像の取得とディジタル保存
・映像上の（ｐｈａｎｔｏｍ）ゴール・イベントを自動的に検出（以下に詳述するボールを認識・追跡するアルゴリズム）
・カメラの遠隔制御および校正（パン撮り（カメラを回すこと）、チルト（カメラを傾ける）、ズーム、絞り）

複数の映像マシンは、すべてローカル・ネットワーク（保護されたネットワーク）で接続されており、「スーパバイザ」とも呼ばれる（ＰＣがベースの）システムの操作により同報（放送）通信を行う、本システムは、以下の機能を行う。
・マン−マシン・マルチメディア・インタフェース、すなわち、映像マシンのオペレーション・モードを設定し、
・本システムは、１つのペアになった映像マシンによって生成される情報を処理し、ゴール・イベント（ゴール判定）の発生を評価し、
・本システムは、ＦＩＦＡ−ＦＩＧＣ（国際サッカー連盟−イタリア・サッカー競技連盟）の決定に基づいてゴールあるいはノーゴール・イベントの発生を審判および／またはアシスタントに信号を送る。

ディジタル・カメラと関連サーバとの間の接続手段は、データ保護を目的として適切に結集され、スタジアムのインフラ内に集積された銅・光ファイバ・ワイヤを配線することにより実施される。図２に示すように、本システムを起動するマン−マシン・インタフェースによってシステム全体が操作され、さらにオンライン（ライブ状態）あるいはオフライン（再生状態）の２つのモードで動作することができる。

ライブ状態では、各ペアの映像マシンは、連続した複数のディジタル映像を、その内部に初期サーチ・エリアを定義することによって、連続して、自主的に、独立して取得し、取得された各映像において、すべての移動体を認識する。各ペアの映像マシンは、移動していると認識された物体だけを含む、フィルタ処理された映像を抽出し（バックグラウンド除去法）、前記フィルタ処理された映像をサーチする前記（サーチ・）エリアにおいて、移動していると認識された物体とあらかじめ定義された類型（例えばボール、ただし、これに限定せず）に属する物体を選び出し、前記サーチ・エリア内の前記物体の空間位置を計算する。したがって、ボール検出処理（インテリジェント・ソフトウェア構成要素）によって、ボールがカメラの視野に入ると直ちに認識され、場所が特定され、ボール追跡処理が始動される（ボール追跡）。ボール追跡処理は、映像平面内のボールの位置がフレームごとに確定されることにより行われる。続いて、データは各ペアの映像マシンから送られてくる情報を統合することにより（データ統合）前記イベントの発生を評価する。このようなイベントの発生をユーザに信号で送り、ゴールあるいはノーゴールの判定が行われる（判定）。映像に対して前記イベントの発生が確定されないとき、各ペアの映像マシンは前記映像サーチ・エリアにおいて計算し、その結果、発生していないと確認されると、次の映像を選ぶための新たなサーチ・エリアを評価するために、１つ以上のパラメータが用いられる。それらのパラメータはボールの動き（ダイナミクス）を明らかにするものであり、評価はそれらのパラメータに基づいて行われる。

システムの反応性は、観察されたシーンの複雑さ（カメラの視野にあるプレーヤの数、ボールの可視性）に依存する。通常の状態（孤立したボールと数人のプレーヤが存在する）では、ゴールのイベントの信号は５０ミリ秒単位で（実際には、リアルタイムで）発生する。一方、複雑なシーン（数名のプレーヤが関わり、妨害を受けて時々ボールの追跡が中断される）では、必要な時間はもっと長く、１０００ミリ秒単位にも達する。リアルタイムで実行する機能の特徴は、ボール検出前に行われる映像シーケンスの前処理という手段によって実現される。映像シーケンスの前処理は、シーンが動く物体（ボール、プレーヤ、レフリー）に対応する映像領域を自動的に抽出することによって得られる、シーンの静止状態の要素からなるバックグラウンド（プレーのフィールド）をフィルタ処理する工程で構成される。この活動は、バックグラウンド除去と呼ばれる処理によって実行される。本システムの開始フェーズにおいて、各映像マシン用のバックグラウンド映像は、自動的に計算され、ライブ状態では、画像は、連続的に変化する環境状態に適応するように（バックグラウンド更新処理によって）自動的に更新される。

本システムがライブ状態である場合（すなわち、アクティブ記録・処理を行う）、記録されるゲームのどの瞬間の映像にも直接アクセスすることにより、記録したばかりの重要なイベントを客観的にチェックするため、図３に例として示されたように、再生機能を同時に起動することが可能である。本システムは、ユーザが再生モードで表示できる興味を引きそうなイベントのリストを自動的に作成し、保存する。特に、これらのイベントは、同じレフリーとアシスタントが専ら教育を目的として使用し、調べることができる。

進化したインタフェースは、様々な表示モード（可変ラレンティ（だんだん遅くなる）効果、早送り、早巻き戻しなどと組み合わせた可変フレーム・レート）によりビデオクリップへの高速アクセス、表示を可能にする。

本システムでは、下記のような追加機能が、試合後のオフライン状態において進化したインタフェースを使用することによって利用することができる。
・オフライン・インテリジェント再生
試合の記録が行われていないとき、ゴールあるいはノーゴールのイベントの自動サーチを行うための各処理を再起動することが可能である。
・インタラクティブ表示
ナビゲーション・バーを使って、ユーザは、いずれの記録領域も表示し、点検することができる。記録された映像を直接アクセスでき、４つの映像の同時表示（４台のカメラに対応）では、（記録）時間バーを所望の点に位置させることによって迅速に行うことができる。映像の膨大な量（４５分間に３２，４００，０００）、前記進化したインタフェースは、自由に使えるスピード・バーを備えており、ユーザは、表示されているフレームから始めて能率的に時間的に前にも、後にも行くことができる。その内容は、ビデオの連続映像を様々な速度で（ラレンティ、高速）、さらに例えば標準的カメラ（２５フレーム／秒）によって生成されたビデオクリップの映像をシミュレートするディレイ・バーを使って、異なったサンプリング周波数で表示することが可能である。モーション・インバータ・キーを使えば、興味のある試合のエリアの映像を前に進めたり、後に移行したりして再生することができる。或る試合の特定のイベントを、ディレイ・バーとモーション・インバータ・キーの操作を組み合わせることにより、オンラインあるいは再生モードで効率的に調べることができる。
・チューニング処理パラメータ
処理パラメータ(バックグラウンドの静的および動的閾値、バックグラウンド更新頻度、ニューラル・ネットワークなど)の設定は、ライブ状態やオフライン状態においてユーザがこれを修正することができる。４台のカメラからの連続映像の表示モードは、記録中には同期しておらず、また処理中にも同期していないが、処理中でもひとつのゴールに関わるペアのカメラでは同期している。
・カメラの校正
オフライン状態（処理や記録は行われていない）で、ゴールの情景に対してカメラ装備の位置を調整することができる。この機能は、パン撮りやチルト動作を遠隔で制御することにより、自動的にも、あるいは手動でも行うことができる。光学的校正および放射量測定による校正をズームと絞りを遠隔制御することにより行うことができる。絞りの自動制御は、輝度状態の自動制御のためのライブ状態でも実行できる。
・各種サービス（ビデオクリップの抽出、サーバ起動およびスイッチ・オフなど）、オフライン状態では、本システムにより自動的に生成されたか、あるいはオペレータによって選択された重要なイベントに関連するビデオクリップのセットを、自動的に抽出することができる。ＲＡＷ映像データ・フォーマット（圧縮映像を除く）の異なったモードと、ユーザが選択した異なった圧縮モード（ＤｉｖＸ，Ｍｐｅｇ２，Ｍｐｅｇ４など）のＡＶＩが使用される。ＲＡＷ映像を表示する処理装置は、各ゴールについての単一のあるいはペアになった映像のビデオクリップを表示する高機能モードを装備して提供される。最後に、システム全体をスイッチ・オン、スイッチ・オフするための自動化手順および試合の記録を保存するバックアップ手順が利用できる。フロントエンド・システムとして動作する（ＰＣベースの）局によってファントム・ゴール・システム（Ｐｈａｎｔｏｍ Ｇｏａｌ ｓｙｓｔｅｍ）全体を遠隔アクセスためのサービスが提供される。

取得用光学デバイスの校正
カメラの校正はデリケートな操作であり、これを正確に実施することが、ゴール検出システム全体の結果に直接的に大きく影響する。

カメラ校正手段は、すでに利用されてきたが、本発明では、ユーザとのインタラクションの必要とされるレベルによって２つの異なった使用シナリオが提供される。
・マニュアル校正
この使用状況では、実行システムは、タスクを迅速化する適切なグラフィック−絵表示ツールを利用することにより、ユーザはパン・チルト・ズーム・ヘッドの複数のコントローラを直接操作することができる。実施されたソフトウェアは、前記ヘッドの自由度レベルの各項目に個別に独立して働きかけることが、すなわち、水平・垂直動作、前方移動（望遠)ズーム、後方移動（広角）ズームが可能である。これらの操作は連続して、すなわち、次の命令が出るまでヘッドに或る動作を行わせる、つまり段階的に命令することによって、より正確に行うためにはミリ秒単位のパルス長を設定し、個別ストロークで動かすことによって、実行させることができる。シーンの焦点調節は同様な操作で行われる。露出は、個々に説明する必要がある。いずれの場合も、露出は特定コマンドによって自動的に設定され、シーンの輝度に影響を与える。実際には、本システムでは、カメラから送られてくる輝度に関する情報を検証し、そのシーンで光が少な過ぎるか、多過ぎる場合には、絞りを開閉することによって自動的に校正する。シーンの輝度は、取得過程において映像のディジタル処理の積分時間を適切にソフトウェアに設定することにより（絞り調節という物理的機能とは別に）さらに制御することができる。
・自動校正
手動校正用に設けられ、すでに説明したすべての操作は、本システムに送信することができる。この場合、ソフトウェアは、正しい位置に自動的に設定するため、シーンにおける基準を、特にゴール・エリアのライン（水平基準）およびポスト（垂直基準）を抽出して、使用する。いくつかの数学演算器が、カメラで捉えた映像に適用される。これらの演算器は、シーン中にある（既知の）物体のエッジを抽出することを可能にし、これらのエッジから、ユーザが文献でよく知られたハフ変換によって水平および垂直構造物を検出する。このようにして、ユーザは、ゴール・エリアのポストおよびラインを検出することができ、この情報から、システムインストールの際に設定される映像中のそれらの位置に関する基準を参照して、カメラを正しく校正することができる。

映像処理の流れ（複数のノードのソフトウェア要素）
４つのノードのそれぞれについて、３つの操作ステップを実施する。
・動作検出ステップ
・ボール検出ステップ
・ボール追跡ステップ

動作検出ステップにおいては、ボールを確実に除かれた静的エリアから取得した映像が除外される。

ボール検出ステップでは、本システムは、トレーニング（教え込み）の予備的フェーズを過ぎると、最初に、ボール認識の学習をする。この中で、異なった視点や照明の状態において、ボールが映るいくつかの情景が観察される。次に、学習アルゴリズムを一般化する能力があるため、本システムは、従来、高い認識率では見られなかった連続映像において、ボールを検出することができる。

最後の、ボール追跡ステップでは、ボール検出処理が促進され、ボールそのものが部分的に、あるいは一時的に消えることがないように、ボールのダイナミクスパラメータ（軌跡と速度）が決定される。

図４は、連続入力としてのゴールに関する２００ｆｐｓの連続映像を有する各ノードを処理するソフトウェアの機能ブロック図であり、これらのノードは、適切な処理を経てから、ゴールあるいはノーゴールのイベントを自動的に評価し送信するスーパバイザに対し、抽出されたデータを送る。

（動いている領域の検出）
演算時間の面と、実際の性能の面の両方に関して、取得された映像内のボール・サーチを最適化するため、ボール以外のすべてが抹消されたフィルタ処理が施された映像の取得を目的として、導入すべきと考える準備処理フェーズが行われる。

これを行うために、バックグラウンド除去法に基づいた動作検出アルゴリズムが実施されている。これによって、その後のすべての操作を動的領域だけに限定することにより、静的領域は除外される。

図５は、イタリア選手権のセリエＡの試合で取得された映像および移動体だけを含む関連映像を示す。

バックグラウンド除去テクニックは、現在の映像と画素ごとに比較される参照映像（バックグラウンド映像と呼ばれる。その名の通りである。）の使用に基づく。この比較によって、２つの映像の差として移動体が現れる。一方、静的物体は無視される。したがって、そのフェーズの出力は、実際に移動している被写体（ボールとプレーヤ）だけを含む「フィルタ処理された」映像である。

このテクニックで最善の結果を得るには、２つの主要な点、すなわちバックグラウンド映像を作り出すフェーズとその映像を更新するフェーズに特に注意することが必要である。

バックグラウンド映像を作り出すフェーズに対しては、連続した約１０００フレーム（観察時間５秒に相当）上における時間平均と各映像画素の変化の計算を基にして、（バックグラウンド映像を）監視しない方式が選択された。

このようにして、５秒の観察時にシーンの中で動く被写体が存在する場合にもバックグラウンドの構築を能率的に完了することができる。

各シーンの画素に対する観察期間の終了時に、平均値およびシーンの静的領域を決定するための基準として使用できる相対標準偏差に相当する１対の値が得られる。

実際には、ユーザは、バックグラウンド画素の確率分布に含まれない現在の映像の画素をゼロにすることによって得られるバックグラウンド映像と現在の映像との差分映像の構築を促進することができる。

現在の映像における画素（ｘ、ｙ）に対する強度値を、Ｉ（ｘ、ｙ）と称し、同じ点の平均と標準偏差を、Ｂ（ｘ、ｙ）およびＳ（ｘ、ｙ）と称する。したがって、ある点は、動的点と名付けられ、以下の式を満足するならば、現在の映像に関連する点と等しい値を取る。

その値が標準偏差の２倍と期待される値と異なるならば、また上記の条件を満たさないならば、その点は、ゼロに設定される。

基準モデルは、セグメンテーション（分割処理、ｓｅｇｍｅｎｔａｔｉｏｎ）の結果が悪くなることを避けるため常に更新される。

このような定期的な更新作業において、最も短い時間内に発生する変化をバックグラウンド映像に含める必要がある。しかし、プレーヤとボールが同じ映像領域にあるときに、このような更新速度は、プレーヤとボールを常に表示するという条件とのバランスをとることが要求される。

妥協策としては、映像の静的領域（より早く更新される）と動的領域（よりゆっくり更新される）を異なった重み付けによって更新するというものがある。このようにして、フィールドで実験的に発生した妥協策ではあるが、それにより、あらかじめ指摘されたニーズは理想的にバランスが取られる。

正式には、更新手順は以下の通りである。

ここで実際のバックグラウンド値と現在の映像の相対値に異なった重み付けを行うために、パラメータαとβが使用される。我々の実験で選んだ値は、αに対しては０．５であり、βに対しては０．９５であった。

シーンの中に存在する動きのある点が検出されると、接続性調査が行われる。その目的は、いろいろな領域にある隣接した画素を凝集（ａｇｇｌｏｍｅｒａｔｅ）させるため（引き続きボールのサイズに対応しない画素を除くことにより）であり、その処理に使われる方法論の制限はさておき、映像を取得するために使われるハイテク・デバイスが発生するノイズをシーンから除去するためである。さらに、このフェーズでは、後続のフェーズでの使用が期待される各々の領域のためのその他の情報（面積、重心の座標、幅、高さなど）が計算される。

反復アルゴリズムを実行すると、動きがあると分類された画素から始めてすべての隣接画素が検査され、単一の物体に属する画素として区分けされ、難しい作業の土台を形成する。

前記反復アルゴリズムのベース命令を一例として以下に示す。ただし、この例に限定することが目的ではない。
１ 座標（ｘ、ｙ）を用いて全映像Ｉを回転する
｛
２ IfＩ(x、ｙ）は動的点である
｛
３ if（ｘ、ｙ）に隣接する１画素が動的であり、まだ検査されていない
then, その画素を「検査された」とマークし、新たな（ｘ、ｙ）とする
3に戻る
｝
／／私は１領域の各点を検査した
４ １に戻る
｝
／／私はすべての領域を検査した

（ボール検出）
図６を参照して、複雑なボール検出処理の機能的スキームを示す。実際に、ボールを判断する２つのフェーズに注目されたい。最初の前処理フェーズ(以下では、形状検出と呼ぶ)では、形状情報を基にして、ボールを含む有望な領域が検出される。一方、第２のフェーズでは、識別器は、ボール認識（ボール認識フェーズと呼ぶ）の確認または未確認を行う。

実施されたシステムにおいて、形状検出フェーズは、現在の映像内に存在する被写体のエッジを抽出することにより、固定半径ｒばかりではなく［Ｒｍｉｎ、Ｒｍａｘ］タイプの一定の間隔における半径の円周を探すことができる演算子によって実行される。

演算子は、以下のように定義できる。

ここでドメインＤ（ｘ，ｙ）は


は、傾き回転である。

また、

は、固定半径［Ｒｍｉｎ、Ｒｍａｘ］におけるすべての円周のサーチを保証するため、動いている被写体を空間的に特性付けるのに適したフィルタである正規化要因を含む畳み込みの要点を説明するベクトルである。

傾きの回転の使用は、演算結果が求める円周の輪郭とバックグラウンドとの間にあるコントラストから独立している演算子を得るために導入された。この選択は、ボール検出問題にすぐれた適応性が得られるので、このアルゴリズムは、照明の状態および取得状態からの影響を低くしている。

上記フィルタは、図７のマスクによって例示されているが、これに限定するものではなく、ｘ軸とｙ軸の中核となるベクトルを形成している。

マスクのサイズは、（２Ｒｍａｘ＋１）（２Ｒｍａｘ＋１）であり、実質的に各点において、中心からの距離で変化する半径方向ベクトルを表している。シーンの中の物体のエッジを含む映像とマスクとの畳み込みによって、どれだけ多くの映像ドットが、マスクで表される１組の円周の傾き方向と一致した傾き方向を有しているかを評価できる。

累積スペースのピークは、ボールを含む候補領域の中心を表す。このテクニックの大きな利点は、単に畳み込みマスクを修正するだけで、いかなる形状の被写体も探すことができることである。これまでボールが一定のアスペクト（様相、ａｓｐｅｃｔ）を有することが不可能と言われてきたことを考えると大きな利点である。

前記のテクニックによって検出される領域は、ボールの形状ばかりではなく、ウィービング（ｗｅａｖｉｎｇ）をはじめとする他の特性を考慮することにより、続いて検証される（ボール認識）。

ボール認識を実行するために、諸特徴に基づいて先行フェーズの他のすべての候補物体からボールを選び出す管理された識別器を利用することをここでは選択した。

一般に、映像の中で認識されるパターンの特徴（識別方法とは別の）は、空間ドメインあるいは周波数ドメインに表示できる。

空間ドメインにおける従来からの表示は、カメラで取得されるグレイ・レベルで直接得られるものである。それに対して、周波数ドメインの表示では、フランスの数学者ジャン・バチステ・ジョセフ・フーリエが導入して、よく知られたフーリエ変換の延長であり、後者と対称的である、周波数の空間ローカライズ（限定、ｌｏｃａｌｉｚａｔｉｏｎ）に関する情報を保持することを可能にするウェイブレット変換（ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ：画像データを周波数成分に変換する変換の一つ）のような適切な「変換」をユーザは使うことができる。

一般に、周波数ドメインにおけるパターンの表示は、周囲の状態（照明、部分的な消失、形状あるはウィービングの変化）の変化にあまり影響を受けず、ボールまたはその一部を含む候補においてボールが確認されないケースを最小にすることができる。ウェイブレット表示におけるこの特性により、特定状況において形状、色、ウィービングがボールときわめて似てはいるが、ボールではない物体を誤って確認するケースを判定する。

確認エラーが発生することなく、周波数表示特性を活用するため、空間表示および周波数表示の双方を利用することが考えられた。

監視（管理）された識別器に関する限り、ウェイブレット係数に基づいて、あるいは空間情報を直接に参照して先行フェーズから抽出された領域の検証のために人工のニューラルネットワークが選択された。

実際には、２つの異なったニューラル・ネットワークが導入された。一方は、ウェイブレット係数によって教え込まれ、他方は、空間情報（０と１との間で正規化された）によって教え込まれたものである。

しかし、フィールドのどの領域にあるか、あるいはゴール領域にあるか（したがってネットによって一部が覆われている）によって、同じボールが実質的に見かけを変えることを考慮すると、すべての状態において本システムが正しく動作できるようにするためには、たった２つのニューラル・ネットワークを導入しても十分ではない。撮影される領域の照明の状態が、さらに識別に影響を与える可能性がある。

このような問題をなくすために、ニューラル・ネットワークのライブラリ（ｌｉｂｒａｒｙ）が生成された。それぞれの照明状況（たとえば、日光、暗さ、曇天）について、４つの異なったシナリオが考えられる。
１）ゴールの外(ウェイブレット)
２）ゴールの外（空間情報）
３）ゴールの中（ウェイブレット）
４）ゴールの中（空間情報）

ハフ変換から抽出した候補のそれぞれについて、２つのネットワークが使用され、選択される１組のネットワークは、候補のボールの映像平面の第２の位置（カメラの校正時に定義されるポストの位置に対して右か左）、さらに何時でもコンソール上でオペレータが設定できるノードの視野における大気の状況によって決まる。

（ボール追跡）
ボールのダイナミクスの研究は、ボール検出で説明した方法論を強化するために導入した３番目の最後に説明する処理ステップであり、これは、とりわけ１秒当たりの膨大な映像の処理（リアルタイム処理）を可能にするアプリケーションを迅速化するために行う。後者の要求（膨大な映像の処理）は、サッカーの試合の重要なイベントの検出システムにとって避けられないものである。

ボールダイナミクスの研究は、実質的に予測手順によって映像平面上の速度と軌跡の計算に基づくものである。

実際、時間ｔにおいて計算された動きの速度と方向と、最新のボールの位置の情報を使用して時間ｔ＋１（追跡）におけるボールの位置を予測する。

時間ｔ＋１に取得された映像の領域を計算するために、１つの関係が導入された。このなかで、ボールを見つける確率は、先行する映像によって得られた可能な情報に基づいて最大となっている。時間ｔ＋１で得られた映像では、検索ウィンドウは中央に位置しており（ボールの半径の２倍に等しい）、その点の横座標と縦座標がそれぞれ下記のように与えられる。
Ｐｘ_ｔ＋１＝Ｐｘ_ｔ＋Ｖ_ｘ・ｅ・Ｐｙ_ｔ＋１＝Ｐｙ_ｔ＋Ｖ_ｙ．

ボールの動きを予測することにより検出される領域にボールが検出されなければ、前記式によって得られる点に中心が置かれたサーチ・エリアを次第に拡大していく。

特に、ウィンドウは、１２０Ｋｍ／ｈの速度で進んでいるボールが映っている２つの連続したフレームのシフト量に等しい値によって説明する正方形の辺を伸ばすことによって拡大される（映像の周縁に達するまで）。

前記シフトは、撮像システムに依存し、したがって常に変化できる。

いうまでもなく、ボールの非検出が長くなってサーチ・エリアが映像全面と等しくなると、シーンのダイナミクスについての情報が得られなくなる状態に戻る。

ボール動作情報を知ることから得られる別の利点は、すべての得られたフレームを分析し、処理を高速化するためフレームから詳細サンプルをとることが必要か否かを毎回評価する（ゴールの距離さえも拠り所にして）ことが可能である。

この論理は、ボールがスローな動きをしているときや、ゴールから少なくとも１ｍ離れているときに、フレームごとに分析することを避けるため用いられてきた。またシステムの不要なスローダウンを回避することを可能にし、重要なイベントの検出が不十分にならざるを得ないシステムの混雑フェーズを回避することを可能にした。さらに、この対策のおかげで、ボール検出アルゴリズムは、現れた形状がボールと同様なものと受け取り、その形状の一部分を静的に観察すると、人間の目でも混同しがちな動きのある領域（ショーツ、Ｔシャツなど）に積極的に反応をみせる散発的なケースでは、本システムに追跡を開始させることができる。

データ統合およびゴール／ノーゴール判定−スーパバイザのソフトウェア（コンソール）
フレームごとに、４つのノードのそれぞれが、ボール検出とボール追跡のソフトウェア処理装置によって抽出することができたすべての情報を、スーパバイザに送信する。

図８は、ゴール・イベントを自動的に検出することを目的とするデータ統合、検証用システム・オペレーティング・スキームの限定を目的としない例を示すものである。前記スーパバイザは、情報を統合し、検証するタスクを行い、情報に基づき、ゴール・イベントを送信すべきか否かの評価を行う。

コンソール（操作盤）上で操作する複数のソフトウェア処理装置と相互のやり取りの論理スキームを図９に示し、以下で詳細に説明する。

コンソールが所定のフレームに関連するデータ・セットを受信すると、最初に、送信者に接続されたノードに対する類似フレームのデータ・セットが待ち行列（ｑｕｅｕｅ）にあるか否かを検証する。ＹＥＳの場合、或るフレームに対する２箇所のノードから送信されてきたデータの処理を直ちに行う。ＮＯ場合、コンソール段階のフレーム処理を先送りして、データを待ち行列に入れ、欠けていた情報が届いたとき、あるいは所定の待ち時間が経過した後、取り出される。逆に、反対側のカメラの同じフレームの情報が着信しない場合、各ノードの処理の連続性および現在の処理されたフレームを考えれば（すなわち、反対側のカメラで処理された最後のフレームが、期待されたフレームより大きければ）、そのフレームに関する単一のノードから送られてきたデータを直ちに処理する。

勿論、前記２つの内の第１あるいは第２の状態が起こるかによって、イベントの異なった計算および分析の手順が起動される。

第１のケースでは、１対の両方のノードからの情報があれば、立体的三角測量により、ホモグラフィックおよび３Ｄ再構築テクニックに基づいて、ボールのローカライズ手順が開始される。

ボールの位置に関するすべての情報がコーヒレント（ｃｏｈｅｒｅｎｔ）であれば、前記したローカライズ手順によってきわめて低いエラーマージンでボールの質量中心の３Ｄ位置を検出することができる。

ホモグラフィック・テクニックは文献ではよく知られていても、ボールの質量中心の３Ｄ位置決定の基礎となる幾何学原理をよりよく説明するために、そのテクニックを多少述べることは有益と考えられる。

ホモグラフィック・テクニックは、以下のコセプトに基づいている。すなわち、開始空間と到達空間（開始空間と同じサイズ）には共面の点があり、より複雑もしくは簡単な変換を用いて一方の空間のすべての点を別の空間にマップすることが、また、この逆の仕方でマップすることが可能であるという考えである。

前記実施されたシステムの場合、この特性は、２つの二次元空間の間で、すなわち、２つの平面の間でホモグラフィを挿入することにより、利用された。第１の平面は、プレイ・フィールドで構成され、第２の平面は、カメラの映像の平面で構成されている。詳細に眺めれば、これらの２つの平面の間でホモグラフィック変換を構築するには、少なくとも４つの点の関連位置を知る必要があり、次に映像平面の各点をプレイ・フィールドにマップすることが可能である（この逆も可能、ただしこのアプリケーションでは興味は低い）。

上記の処理は、４台すべてのカメラで繰り返される。最後は、それぞれペアになった同種のカメラで得られた情報の分析から、ボールの３Ｄ位置を推定することが可能である。

理論的原理
利用されたホモグラフィック・テクニックの理論的原理を、以下に説明する。

図１０において、空間の平面αの一般的ドットをＰで表し、映像平面πへの投影をｐで表す。

これら２つの平面間のマッピングは、下記のタイプのホモグラフィック関係によって求められる。
Ｐ＝Ｍｐ （１）
ここでＭは、行列であり、その大きさは２つの平面の原点空間に依存する。ただし、映像平面の各ドットｐは、Ｍを介して投影されて平面αのドットＰに対応する。

このようなマッピングは、サイズ４×３のホモグラフィによって決定される。

このようなケースでは、行列Ｍのドットｍ_ｉｊを計算するのに十分な平面αのドットＰの最小数は４である。実際、１１の未知の量を含んだ１１の方程式のシステムが得られる（１つは予め固定される）。したがって、空間の１つの平面に４つのドットＰｉと映像平面に投影されたそれぞれのドットｐ_ｉが与えられると、ホモグラフィＭを計算することができる。（ｉ＝１...４）とする。
・（ｋｘ_ｉ、ｋｙ_ｉ、ｋｚ_ｉ、ｋ）平面αのドットＰｉの同次座標
・（u_ｉ、ｖ_ｉ、１）映像平面上の対応投影ドットｐｉの同次座標

式（１）は、以下のように書くことができる。

決定すべき成分は、行列Ｍの未知の量ｍ_ｉｊである。（２）の４番目の方程式から得られたｋの値を置き換えて、
ｋ＝ｍ_４１ｕｉ＋ｍ_４２ｖｉ＋ｍ_４３，
はじめの３つの式で、以下のシステムが得られる。

ｍ４３＝１を固定して、以下が得られる。

ドットの各ペア（Ｐｉ、ｐｉ）から３つの式が得られることが分かる。
したがって未知である行列Ｍの成分ｍｉｊを決定するためには、少なくとも対応するドットの４つのペアが必要ある。最後の同次ではない一次方程式のシステムは、以下のようになる。

行列Ｍが得られると、単に式（１）を用いて映像平面πの各ドットを平面αに投影できる。述べておきたいのは、平面αに投影されたドットの３つすべての成分（ｘ、ｙ、ｚ）は、式（３）によって一義的に決定されることである。さらに付け加えて置きたいことは、これらの成分（ｘ、ｙ、ｚ）は、空間のいかなる位置にあってもよい平面α上の実際の座標であることである。

（ボールの３Ｄ位置の決定）
前のパラグラフで数学的に説明されたテクニックをプレイ・フィールド(平面α)およびカメラの映像平面（平面π）によって構成される２つの平面に適用すれば、何時でも１つの平面上のドットと他の平面上のドットとの対応を決定することができる。

ボールの３Ｄ位置が１つの平面にあるとすれば、今まで述べてきたことで、映像平面に上のその位置をから始めてボールがシーンのどこにあるかを十分判定することができるであろう。実際に、ボールは３Ｄ空間のどこかにあるので、その実際の位置を判定するには、同じフィールド部分に向けられた２つのカメラからくる情報の組み合わせをベースにして、さらに一連の数学的処理をする必要がある。

実際に、ホモグラフィック変換の行列Ｍを説明した２つの同種のカメラの各々においてボールがシーン中にあれば、ホモグラフィック変換によって決定されたカメラの光学中心点およびフィールドの点を通る視線を定める直線が構築される。２つの上記のように構築された直線の交差によってボールの３Ｄ位置が表現される。前記交差を分析的に示すため、たとえば、カメラ１による大地に対する垂直線と大地とでなる交点にある参照システムを固定する必要がある。

ボール位置ｐ１とｐ２から始めてカメラの２つの映像平面に至る変換ホモグラフィック行列Ｍ１とＭ２を用いることにより、対応する点のプレイ・フィールド上の座標を求めることができる。
実際、次の式がある。
Ｐ_１（ｘ₁，ｙ_１，０）＝Ｍ１ｐ_１（ｕ_１、ｖ_１）
および
Ｐ_２（ｘ_２，ｙ_２，０）＝Ｍ１ｐ_２（ｕ_２、ｖ_２）
ここで、ｐ₁(u₁、ｖ₁)とｐ_２（u_２、ｖ_２）は、２つのカメラの映像平面のボール質量中心の座標を検出する。カメラ１の光学中心Ｏ１の座標は（０，０、Ｈ１）であり、それに対しカメラ２の光学中心Ｏ２の座標は、（Ｘ２、０、Ｈ２）であり、前記点および対応する光学中心を通る直線ｒ１とｒ２の式は以下のように書くことができる。

ここにおいて、図１１に示すように、ボールの３Ｄ位置は、直線ｒ１とｒ２の交差によって得ることができる。

ノード（ここでは、交差点）についての情報がコーヒレントであれば、スーパバイザは、ノードがボールと映像平面上で検出した点と行列Ｍの一次ホモグラフィック変換によりプレイ・フィールドに投影された同じ点を結合する２つの直線の間の距離を制御する専用手順を起動する。

理想的には、２つの直線は接触すべきである。しかし実際には、測定および近似におけるエラーのため、前記直線は常にきわめて接近するという（数センチのオーダの距離）結果に終わる。ボールの位置は、これら２つの直線の間の最小距離であるセグメントの平均点として検出される。この距離が大きければ（５０センチ以上）、ノードからのデータは、そのシーンの同じ物体に関するものではない。したがって、データ操作には別の手順を開始する必要がある。

その手順は、２台のカメラで検出した２つの異なった物体の空間軌跡を時間の経過において評価し、より線形軌跡の物体を追跡するカメラの解釈が正しいと想定する。この手順は、非線形軌跡が、ノードのボール検出アルゴリズムにより判明する誤判定と関連付けされる可能性も考えることを含む。

１つのフレームについての情報が、２つのペアになったノードの一方のペアだけに利用できる場合（すなわち、ホモグラフィック・コーヒレンスの制御に基づいて上記の手順の後で他のノードのデータが破棄された場合）、コンソールは、ボールの３Ｄ位置に戻ることができず、前記手順によってノードの正しい動作を検証できない。

この問題を回避するために、ここでは、アクティブなカメラによって検出された物体の２Ｄ平面上の動作の直線性を検証し、線形軌跡でないために信頼性が劣るときには、前処理ウェイブレットに基づくニュウラル・ネットワークおよびグレイ・レベルの直接分析に基づくニュウラル・ネットワークを使ってボールの例が確認されるときにのみ、コンソールは、データを信頼性ありと考え続ける。

以上述べたことから、１つや２つの映像ビューだけではなく、コーヒレントなデータが得られるか否かによって、ゴール・イベントを検出するための特定手順（判定）を起動する必要になろう。

２つのノードからのデータがコーヒレントであれば、イベントの検出は、ボールの３Ｄ位置に基づいて行う。３Ｄ位置の推定においてエラー・マージンがあるので、ボールの位置が、ポストに対してゴール・エリアの内側にあり、バーまで少なくとも２０センチであれば、ゴール・イベントは確実に検出される。実際には、不確実なエリアは検討され、本システムはゴールの可能性のあるメッセージを出してユーザに注意を促す。図１２では、ゴール周囲の不確実エリアが略図で描かれている。

注意を促したいのは、ゴール平面に直角な方向には不確実エリアはないことである。その理由は、その方向に沿ったボールの位置の推定に対しては、ホモグラフィック手順の反応は常に信頼できると考えられるほど十分に正確であるからである。

２台のカメラのうちの一方に関するデータだけしか使えない場合、ボールの３Ｄ再構築は不可能である。そのようなケースでは、ボール（前記手順によって検証される）がカメラの２Ｄ映像平面内でポストを過ぎたとき、本システムはオペレータに注意を促す。勿論、２つのシーンがあって、そのうちの１つのシーンを本システムが信頼できないと見なすというケースでは、この状況に立ち戻ることになる。ここで明らかにしておきたいことは、ゴールを検出するためには、基本となる測定基準は、ゴール（ライン）の内側のエッジを通る垂直平面からのボールの距離である。このような２Ｄおよび３Ｄの測定基準は、ボールの全体がボールの内側平面を通り過ぎるとき警報信号が出され、システムによって常に計算される。

（ノードのソフトウェアの動作原理）
このパラグラフは、先行パラグラフで説明された処理装置が全システム内にあるスーパバイザとやり取り、ならびにインタフェースをとるときに使うロジックを詳細に説明することを目的としている。

すでに説明したように、きわめてダイナミックなイベント（ボールが最高１２０Ｋｍ／ｈという高速で移動できることを想起されたい。）を判定することができるように、本システムは、１秒当たり２００フレームを取得し、あるいは処理しなければならない。

さらに、考えねばならないのは、空間分解能をよくするには、６４０＊４８０（０．３Ｍｐｅｌ）に等しい最小サイズの映像を使用することが必要である。

これらの動作上の事柄からはじめて、すべての獲得したフレームの処理を保証するためには、各ノードが１／２００＝０．００５ｓの最大時間内に１つのフレームの処理を完了することが必要であろう。

実際には、１つのフレームを処理する時間は、決定パラメータではなく、いくつかの要素に依存しており、その一番目が、処理すべき動きのある画素の数（１画素に対し、畳み込みと加算演算を行う必要がある）、そしてシーンの変化（ダイナミックス）についての以前の情報の存否（フレームｔ内のボールの位置およびその速度と移動方向が分かっていれば、フレームｔ＋１内のサーチ・エリアは縮小できる。）

フレーム処理時間の変化を扱うために、各ノードに記憶領域(バッファ)が導入された。実際に、本システムは、この領域に、取得した複数の映像を蓄積し、そのコンテンツを順番に処理する。勿論、バッファの容量は限りがあり、したがって、待ち行列がバッファのサイズを越えることを避けるため、本システムがいかなる状況にも対処できるように、いくつかの動作原理、や特定の管理・回復手順が導入された。

前記動作原理および手順は、ゴール・イベントの検出性能に妥協せずとも、システム・コストの増加が避けられない特殊ハードウェアを使用することなしに、演算負荷を減らすことを可能にする。

まず最初に、すべての取得したフレームを連続して処理するのを避けることが考えられた。カメラの制限された視野（幅はゴール・ラインの前約２メートル、１メートル後ろ、高さはゴール・エリアよりも少し高い）を考慮し、以下の事実が活用された。すなわち、ほとんど常に映像は、ジャンプ機構（以下Ｊｕｍｐという）を利用する目的で、取得した一連の映像にボールを含んでいない。そのため演算システムはバッファを正しく運用することができる。

実際に、通常の状態では、取得された各２０フレームの映像につき１フレームだけが本システムによって処理される（Ｊｕｍｐ２０）。ところが、そのうちの１フレームにおいてボールの存在が検出されると、各フレームが分析される（Ｊｕｍｐ１）。この分析は、前に処理されたフレームの次のフレーム（Ｊｕｍｐ−１９）から始める。これは時間的に過去へ戻る結果となるが（ｎｅｇａｔｉｖｅ ｒｅｓｕｌｔ）、シーンにボールが現れた瞬間にボールをロックすることを可能にするための処理である。

本システムが、Ｊｕｍｐ１を行い、３枚の後続のフレームでボールの存在が判定されると、追跡手順が起動される。上述したように、追跡手順は、先行フレームで得た位置の周囲のエリアで次のフレームでボールをサーチすることを含む。前記周囲のエリアは、プレーヤあるいはゴール・ポストによって（ボールが）逸れるか、退けられたとき、ボールがルースになるのを避けるため方向を考慮せず（最初のサーチ命令に対するものでないにせよ）、１２０Ｋｍ／ｈで移動しているボールが進むことができる最大距離に等しいと想定される。この解決策は、サーチ時間を縮小し、後続の検出が先行の検出と両立することを可能にする。追跡フェーズおよび後続のフレームにボールがあるときには、ボールはこれ以上検出されず、最大の映像になるまで、サーチ周囲エリアは徐々に拡大される。予め定めた待ち時間が過ぎると、その時点でボールはシーンの外にあると想定されるため、Ｊｕｍｐ２０の状態が回復される。

ボールが映像のエッジに近くシーンの外に出ようとしているようなとき、あるいは計算された速度が非常に遅く（ボールが静止しており重要なイベントが観察される可能性が低い）あるいはボールの動作が直線の軌跡を成していない（本システムがボールに似た物体を誤ってボールとして認識するシチュエーションに典型的な）ときに、Ｊｕｍｐ２０の状態に戻る。

バッファの最大サイズに対して適切な処理時間を可能にする戦略は、バックグラウンド除去法を導入する戦略で、運動エリアのラベル付けを行いボールのサイズに不適合な運動エリアを削除することを可能にする（映像データの）接続性を分析する手順である。

この手順は、本システムがｊｕｍｐ２０の状態のとき常にアクティブであって、それ以外のケースでは、シーンをよりよく解釈することを可能にするため、動作を停止する（ボールがプレーヤに接近しているか、その影に入っているときに、前記接続性を分析する手順を用いるとボールはフィルタ処理されてしまうので）。

連続映像のリアルタイム処理を支援するため、追跡フェーズにおいてボールがゴールから遠いとき、一連の取得された映像（Ｊｕｍｐ＝２）をサンプリングする第４のステップの導入が決定された。

しかし、特別な異常な動作状態のためバッファが満杯になる可能性を除外できないため、本システムが関連するノードの通常の動作状態を約２秒で回復させることができる特殊な操作手順が導入された（ノード・タイム・ドリフト正常化手順）。実際には、取得された各フレームについて、ノードは、バッファが保存しているレコードの数を検証し、その数が９０％以上（すなわち、バッファがほとんど満杯）であれば、本システムは、バッファのレコードの制御部が利用可能な全スペースの１０％に等しい値を返す（バッファがほとんど空になる）まで、ノードのソフトウェアを特定のフレームの処理に制限する特別な手順を起動する。

ノード・タイム・ドリフトの正常化手順が動作中に、映像が常に取得され保存される（１つもフレームは失われない）ことを明確にすることは重要である。しかし、バックグラウンド除去法のための基準モデルのみを更新するため処理が主要なものに縮小される。この他の手順が、起動されないため、この状態では、ゴール・イベントをリアルタイムで検出することは、不可能である。手順が終了すると、すべてのソフトウェア手順は、元の状態に戻され、現在のフレームについて動作する。ユーザによるオフライン・インテリジェント・プレイバックという次の明示的要求がある場合を除いては、予め部分的に処理されたフレームは、これ以上処理されない。

（約定と特性）
１． ＦＩＧＣ−ＦＩＦＡ（イタリア・サッカー競技連盟−国際サッカー連盟）の全面的管理下にある本システムのオペレーティング・モードに関するソフトウェア保有についての約定および透明性
本システムが外からアクセスもコントロールもできないスタジアムの下部構造に統合されているため、ファントム・ゴール・システムのすべてのハードウェア・コンポーネント、配線、およびソフトウェアは、
ＦＩＧＣ−ＦＩＦＡの全面的管理下にある。サーバ、カメラ、コンソール、および各種のサポート・デバイスの間の相互接続は、光ファイバと銅配線を介して、アドホック・ネットワーク下部構造において実施される。本システムは、遠隔でアクセスはできず、サーバ・ルーム（コントロール・ルーム）に物理的にアクセスすることによってのみ使用が可能である。
２． 非独占テクノロジーの利用および実施されたアルゴリズムに対するアクセス容易さ
３． プレーヤ、レフリー、アシスタント、ならびに下部構造（フィールド、ボール）へ介入性のないテクノロジー
光学的遠隔検出システムは、スタジアムの下部構造の上に、フィールドからかなり離れて、スタンドからのゲームの見易さを妨げないように構築される。
４． ゲームの進行を妨げない
試合の変化（ダイナミックス）にリアルタイムで適合するように送られてくる信号に基づいて、ゴール／ノーゴール・イベントについての判定を行うファントム・ゴール・テクノロジーがレフリーをサポートする。
５． ゴール（ライン）の内側平面を通る垂直平面に対するボールの位置の判定は１センチの精度
６． 高いセキュリティと整合性
システムの動作を変えることは、全く不可能である。いかなる不具合も指定されたチェック手段による取得映像の客観的評価に基づいて常にチェックされる。
７． 異なった大気状態下の操作性
本システムは、異なった大気状態でテストされた。光学的センサは、人間にとってすでに重大である可視性条件を十分に維持する赤外線スペクトル成分を感知することが確認される。
８． 高い保全性レベル
本システムは、異なったプロバイダによって提案された技術的解決策を受け入れることができる。すべてのハードウェア・コンポーネントはスタンダードなものである。特許された「インテリジェント・ソフトウェア」のコンポーネントについても、国際レベルの特許保護のために発効しているルールにしたがって運用する限りは使用することができる。

本発明の演算システム主題を実施するために利用されたシステム・アーキテクチャを、例を挙げて以下に説明する。

図１３と図１４に示すファントム・ゴール・システムは、以下のように構成された主もしくは従のアーキテクチャにおけるハードウェアとソフトウェアのコンポーネントを含んでいる。
１． コンソールあるいは監視装置と呼ばれるマスタ・ユニット：すべてのオペレーションを初期化し、オペレータとシステムのすべてのコンポーネントのやり取りを処理する
２． サーバあるいは取得ユニットと呼ばれる４つのツイン・スレーブ（スレーブは、ここでは従属的装置と解す）：取得した映像を記録、表示、処理する

コンソールとサーバとのやり取りは、接続手段、たとえば、ＬＡＮ(ローカル・エリア・ネットワーク)によって行われる。主・従ソフトウェア戦略に基づいて行われる。

（マスタ・コンソール）
コンソール（図１５）は、複数のサーバに取得、記録、処理を開始させる。ゴール・イベントを取り扱い、映像を表示する。正しい判定を得るためサーバが生成した処理結果を監視し、統合する。コンソールは、私設ＬＡＮを介してサーバに接続される。

コンソールは、５つのセクションからなるユーザに使い勝手のよいソフトウェアのマン−マシン・インタフェースを基盤としている。５つのセクションは以下の通り：
１．コマンド・セクション
自動的にゴール・イベントを検出し、標準フォーマットおよび圧縮フォーマットで重要なイベントのビデオクリップを抽出するため、コマンド・セクションはオペレータに画像の取得と記録を行わせる。
２．ビジュアライズ・セクション
このセクションは、ビデオ・レコーダに似た仮想キーを用いて、オペレータに記録された映像を異なったスピードで表示させることができる。すなわち、早送り（たとえば、ノーマル、２×、４×など）あるいは減速（たとえば、１／２×、１／４×など）を指示したり、表示された連続映像を巻き戻したり、あるいは前に進めたり、ある時刻にジャンプさせることができる。
３．ログ・セクション
サーバが検出したすべての重要なイベントは、コンソールへ送信される。ログ・セクションは、これを記録し、オペレータに見せて判定を検証させる。
４．チューニング・セクション
必要があれば、取得中にノードが使用する処理パラメータを調整させるセクションである。試合中に観察された大気状態（たとえば、影、太陽、曇天、降雨）に基づいて予め用意されたセッティングを選択して行う。
５．ウォッチ（検査）セクション

このセクションは、各スレーブ・サーバ(ノード)が得た映像の各種処理フェーズの中間結果を検査することができる。

さらに、コンソールは、サーバ間の同期を行う。実際には、取得動作の同期をとるため、すべてのサーバが同時に受信するトリガ信号を発信する。

コンソールに委ねられたもう１つのタスクは、スレーブ・サーバから来る返答を統合することである。

スレーブ・サーバは、２つの別個のグループに分けて論理的に取り扱われる。各グループは、特定のゴールの判定処理を統括し、特定の検出待ち行列によって処理される。

トリガ信号によって同期が達成されるので、ある時刻においてカメラが同時に行った検出にフレーム番号を割り当てることができる。フレーム番号は、検出の待ち行列の順序付けをするキーとして使われる。

行列作業は、以下の前提に基づいて行われる。
・１つのノードが取得したすべてのフレームを処理することはできない。
・ゴールの判定されたフレームは、ノードの数が、ゼロ、１あるいは２のノードで処理される可能性がある。
・「ライブ」動作中、各ノードが観察した処理順序は、正確に順次的であること。
・スレーブ・サーバから通信は、順次受信されること。

これらの約束ごとによって、２つの映像ビューの情報が得られなくなるまで、あるいは、あるフレームにおいてペア情報が実施できなくなったと推定できなくなるまで、フレームの処理を先延ばし可能である待ち行列の処理中の動作を判断できる。

（スレーブ・サーバ）
各サーバは、映像取得、記録、表示、処理を自動的に実行することができ、その結果をコンソールに送信する。マスタ・コンソールが各サーバを直接に使用可能にする。各サーバは、以下の論理装置で構成される。
１．取得ユニット
２．記録ユニット
３．表示ユニット
４．処理ユニット

各サブ・システムのハードウェア・ソフトウェアのコンポーネントを以下に詳細に説明する。図１６は、例として、演算アーキテクチャのハードウェアの詳細を示す。

（取得サブ・システム）
各サーバは、１台のカメラで２００ｆｐｓ（１秒当たりのフレーム数）の速度で映像を取得する。各ＴＶカメラは、図１７に示すようにＩＰ６６ケーシングに設置される。各ケーシングは、ＴＶカメラの動作に正しい環境条件を保証するため温度調節システムと、ウィンドスクリーン・ワイパを装備している。この調節装置は、２つの温冷校正温度センサによって自動的に運転される。温度が３５℃を越える場合、複数のファンが起動される。６℃を下回れば、温度抵抗が働く。

ＴＶカメラの正しい位置決めと校正が行えるように、ケーシングは、パン・チルト装置の上に組み立てられる。採用された光学装置は、２２×ズームである。パン・チルト装置、ウィンドスクリーン・ワイパ、および光学装置は、ＲＳ２３２ラインを介してコンピュータに接続された制御装置によって遠隔制御される。ＴＶカメラで取得された映像は、ディジタル・フォーマットで形成され、ＣＡＭＥＲＡＬＩＮＫ標準規格にしたがって送信される。

ＴＶカメラとコンピュータとの距離が２００ｍｔ以上であれば、すべての電気信号は、特殊コンバータで光学信号に変換され、コンピュータまで光ファイバで送られる。制御装置、光学コンバータ、およびＴＶカメラ電源は、図１８に示されるＩＰ６６ケーシングに搭載され、ＴＶカメラの近辺に設置される。

コンピュータ・ステーションでは、ツウィン・オプティカル・コンバータが、光学信号をコンピュータに直接送られる電気信号に変換する。コンピュ−タ内に設置された結像システムは、送信された映像を取得するため、ＣＡＭＥＲＡＬＩＮＫインタフェースを有するディジタルフレーム取り込み器である。ＣＮＲ−ＩＳＳＩＡが開発した取得プログラムは、映像を後段のサブ・システム（記録、表示その他）に利用できるように提供する。

（記録ユニット）
２００ｆｐｓの速度でＴＶカメラから送信される映像をＳＣＳＩディスクに直接記録するＣＮＲ−ＩＳＳＩＡが開発したソフトウェア・プログラムを有している。このサブ・システム記憶容量は、サッカー試合の全体、延長時間、ペナルティ・キックを含む。

処理装置は、書き込みで動作可能で、オンライン再生時に同時に読み取りが可能にするバッファを使用しない非同期モードで、ディスクに直接アクセスするシステムを取り扱う。適切な保護と同期の機構が、すべての取得されたフレームの記録を保証するために設けられている。

（表示ユニット）
ＣＮＲ−ＩＳＳＩＡが開発したソフトウェア・プログラムは、各サーバの図形機能を用いてモニタ上で２５ｆｐｓの速度で映像を表示する。図１９は、ビデオ・スプリッタで多重化された全サーバの表示出力を、単一の２１インチＬＣＤモニタに映したものである。この表示装置は、ＴＶカメラから直接送られてきた映像(オンライン・モード)、あるいはディスクに保存された映像（再生モード）を表示できる。

（処理ユニット）
ＣＮＲ−ＩＳＳＩＡが開発したソフトウェア・プログラムは、２００ｆｐｓの平均処理速度でボールを検出し、追跡するため処理装置を使用する。映像の処理時間の起こりうる変化を吸収するため取得ユニットと処理ユニットの間にバッファ・メモリが設置される。適切な保護と同期の機構が、前記メモリを正しく運用するために設けられる。処理結果は、蓄積の遅れを生じることなくコンソールに送信される。

（結論）
本発明は、独占状態のものに関与しないテクノロジーの使用に限り、現在有効な国際スポーツ・ルールならびにマッチ・マネージャにも違背せず、ＦＩＧＣが課した約定を遵守してプレーヤ、およびプレイ・フィールドに関する下部構造に対して介入性のないテクノロジーを利用している。

ＣＮＲおよびＦＩＧＣは、試合自体の進行に衝撃や干渉をもたらすことなしに、セリエＡの公式試合において、本システムの全体テストに向けて実験フェーズをきわめて限定的な形で開始した。

２００６年３月４日に本システムを示し、ＦＩＦＡによって承認されており、２００７年３月にいずれのかの国際ショーにおいて、本システムの最終実験を開始する計画を練ることになろう。

本発明は、これまで好ましい実施例に言及しながら説明した。同発明上の中核に属する他の実施例がありえること、それらはすべて添付する請求項の保護範囲で構成されることを意味する。

本発明の方法を実施するシステムの全体図である。 本発明のシステムの詳細を示す。 本発明のシステムの特定利用モードを図解する。 本発明の方法論を実施するブロック図である。 本発明の方法論を用いて得た結果の１例を示す。 本発明の方法論を実施するブロック図を１例を、限定を目的とせずに、示す。 本発明の方法論の詳細図である。 本発明の方法論を実施するブロック図の１例を示す。 本発明の方法論を実施するブロック図の１例を示す。 本発明の方法論が準拠する幾何学的原理を三次元図で示す。 本発明の方法論が準拠する幾何学的原理の実施例を定性的映像で示す図である。 本発明の方法論の正確さを概略映像で示す。 本発明のシステムの各種ハードウェア構成要素を接続する例を概略的に示すが、これに限定するものではない。 本発明のシステムの各種ハードウェア構成要素を接続する例を概略的に示すが、これに限定するものではない。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。

Claims (35)

1. あるエリアにおいてイベントが発生したことを検出し、信号で知らせる方法であって、前記発生は、１つあるいはそれ以上の基準の空間位置に対する予め定めた類型に属する１つあるいはそれ以上の動いている被写体の互いの空間位置に依存し、前記方法は、
   前記エリアの複数の時系列的に連続したディジタル映像を取得し；
   前記取得した映像のそれぞれについて、
   ・ 前記取得した映像内にサーチ・エリアを定め；
   ・ 前記映像内のすべての動いている被写体を認識し；
   ・ 前記取得した映像から動いていると認識された被写体だけを含んでいるフィルタ処理をした映像を抽出し；
   ・ 前記フィルタ処理をした映像のサーチ・エリア内の動いていると認識され、前記予め定めた類型に属している被写体を選択し；
   ・ 前記サーチ・エリア内の被写体の空間位置を計算し；
   ・ イベント発生を評価し；
   ・ イベントが発生したことが確認されたときは、前記発生を信号で送信し；イベントが発生していないと確認されたときは、
   前記サーチ・エリア内の被写体の変化（ダイナミックス）を特定する１つあるいはそれ以上のパラメータを計算し；
   前記パラメータに基づいて、次の映像上でイベント発生を評価するための新たなサーチ・エリアを推定することを含む、イベント発生を検出し、信号で知らせる方法。
2. 請求項１に記載の方法であって、前記フィルタ処理をした映像を抽出するフェーズは、予め記憶された参照映像に基づいて行われる方法。
3. 請求項２に記載の方法であって、前記フィルタ処理をした映像を抽出するフェーズは、現在の映像を参照映像と比較する別のサブ・フェーズを含む方法。
4. 請求項２あるいは３に記載の方法であって、前記参照映像は常に現在の参照映像を使用するため遅れずに更新されることを含む方法。
5. 請求項１〜４のいずれかに記載の方法であって、前記選択ステップは、前記映像のそれぞれを前処理するステップを含む方法。
6. 請求項５に記載の方法であって、前記前処理ステップは、縁のある映像を取得することにより、映像内にある被写体のエッジを抽出することを含む方法。
7. 請求項６記載の方法であって、前記被写体のエッジを抽出するステップは、前記動いている被写体を空間的に特性化するようなフィルタによって前記縁のある映像の畳み込み演算によって相関マップを形成するステップを含む方法。
8. 請求項７記載の方法であって、前記フィルタは、被写体のサーチされた予め定めた類型のサイズと空間に特徴がある二次元畳み込みマスクによって形成される方法。
9. 請求項１〜８のいずれかに記載の方法であって、前記選択のステップは、サーチされた前記動いている被写体の特性パラメータを計算する別のステップを含む方法。
10. 請求項９に記載の方法であって、前記計算するステップは、グレイ・レベルの分析によって実行される方法。
11. 請求項９あるいは１０記載の方法であって、前記計算するステップは、ウェイブレット型の変換演算によって実行される。
12. 請求項１〜１１のいずれかに記載の方法であって、前記選択のステップは、予め定義された種類に属する被写体を選択するステップは、識別器によって実行される方法。
13. 請求項１２記載の方法であって、前記識別器は、ニューラル・ネットワークに基づいている方法。
14. 請求項１３記載の方法であって、前記ニューラル・ネットワークは、空間タイプの情報によって教え込まれる方法。
15. 請求項１４に記載の方法であって、前記空間タイプの情報は、カメラが取得したグレイ・レベルの分析に基づいて得られる方法。
16. 請求項１３〜１５のいずれかに記載の方法であって、前記ニューラル・ネットワークは、ウェイブレット係数によって教え込まれる方法。
17. 請求項１６に記載の方法であって、前記ニューラル・ネットワークは、前記検出された被写体の空間位置および可視性付帯条件に基づいて得られるニューラル・ネットワーク・ライブラリの中で選択できる方法。
18. 請求項１２〜１７のいずれかに記載の方法は、前記識別器の構成に適した、例を使って教え込むステップを含む方法。
19. 請求項１〜１８のいずれかに記載の方法であって、サーチ・エリアにおける前記被写体の変化（ダイナミックス）を明らかにする１つあるいはそれ以上のパラメータを計算するサブ・ステップは、予測タイプの手順に基づいている方法。
20. 請求項１〜１９のいずれかに記載の方法であって、被写体の空間位置を計算するステップは、さらに前記被写体の質量中心の三次元位置を測定するステップを含む方法。
21. 請求項２０に記載の方法であって,前記測定ステップは、２つの観察点から生成される視線の交点を計算するステップを含む方法。
22. 請求項２１に記載の方法であって、異なった前記２つの観察点によって生成される線は、ホモグラフィック・テクニックによって構築される方法。
23. 請求項１〜２２のいずれかに記載の方法であって、前記イベント発生を評価するステップは、カメラの映像平面内の被写体の二次元位置の推定に基づいている方法。
24. 請求項１〜２３のいずれかに記載の方法であって、前記イベント発生を評価するステップは、そのあとにメートル法タイプの判定システムが設けられる方法。
25. 請求項１〜２４のいずれかに記載の方法は、前記取得された映像をそれぞれ記憶するステップを含む方法。
26. あるエリアにおいてイベントが発生したことを検出し、信号で知らせるシステムであって、前記発生は、１つあるいはそれ以上の固定基準の空間位置に対する予め定めた類型に属する１つあるいはそれ以上の動いている被写体の相互空間位置に依存し、前記システムは、前記エリアの複数のディジタル映像の１つあるいはそれ以上の取得装置を有し、それぞれの前記装置は、１つあるいはそれ以上の固定基準に対する１つあるいはそれ以上の前記被写体の空間位置を定義するのに適した１つあるいはそれ以上の処理装置を有しており；前記システムは、前記空間位置に基づいて前記イベントの発生を評価する監視装置を有し、前記システムは、前記処理装置および前記監視装置が請求項１から２５のいずれかに記載の方法を実行することを特徴とするシステム。
27. 請求項２６に記載のシステムであって、前記取得装置は、少なくともカメラを有するシステム。
28. 請求項２７に記載のシステムであって、前記カメラは、２００映像／秒の時間分解能で動作するディジタル・タイプであるシステム。
29. 請求項２７と２８に記載のシステムは、さらに前記カメラを校正するための手段を有するシステム。
30. 請求項２６〜２９のいずれかに記載のシステムであって、各取得装置は、さらに取得した映像をリアルタイムで記録する装置を有するシステム。
31. 請求項２６〜３０のいずれかに記載のシステムであって、前記システムは、さらに前記取得装置を監視装置に接続する手段を有するシステム。
32. 請求項２６〜３１のいずれかに記載のシステムであって、前記監視装置は、マン−マシン・インタフェース手段を有するシステム。
33. 請求項３２に記載のシステムであって、前記インタフェース手段は、結果の表示および／または分析を可能にするシステム。
34. 格納手段に格納された、コンピュータ用プログラムであって、前記プログラムは、コンピュータで実行されるとき、請求項１から２５のいずれかに記載の方法を実行するプログラム。
35. コンピュータ用プログラムであって、前記プログラムがコンピュータで実行されるとき、請求項１から２５のいずれかに記載の方法を実行するプログラム。