JP6412998B1 - 動体追跡装置、動体追跡方法、動体追跡プログラム - Google Patents

Abstract

【課題】
画像データを用いた動体の追跡であって、目的とする動体に外観的な際立った特徴が少なく、また、フレーム画像中に目的とする動体と同様の画像が複数存在するような場合であっても、高精度に動体を追跡する。
【解決手段】
所与の環境（例えば、卓球）における特定の特徴（例えば、ボールの動きは運動法則に従う、ボールは卓球台よりも上に位置する場合が多い、等）を画像データから評価して、目的とする動体に外観的な際立った特徴が少なく、また、フレーム画像中に目的とする動体と同様の画像が複数存在するような場合であっても、高精度に動体を追跡する。
【選択図】図１

Description

本発明は、動体追跡装置、動体追跡方法、動体追跡プログラムに関するものである。

従来、画像を用いて動体を追跡する装置が知られている。例えば、特許文献１には、色の動き度合いを評価することによって動体を検出し、追跡する装置が記載されている。

また、特許文献２には、フレーム画像間における画素の移動量を検出し、移動量が最大となる画素の位置を示す画像を重畳することで動体の軌跡を検出して動体追跡する装置が記載されている。

国際公表第２０１２／１２７６１８号公報 国際公表第２０１６／０２１１４３号公報

しかしながら、特許文献１に記載の装置にあっては、色の動き度合いを評価することによって動体を検出し、追跡することから、例えば、卓球のボールやゴルフのボール等のように、色彩や形状等の外観的に際立った特徴が少ない動体をそれら特徴に頼ることなく追跡することが難しい。

また、例えば、バレーボールやサッカーのボール等のように、色彩や形状等の外観的に特徴がある動体であったとしても、候補が複数検出されるような場合は目標物をひとつに特定することができなければ追跡が難しい。

特許文献２に記載の装置にあっては、フレーム画像間における画素の移動量から動体の軌跡を検出して動体追跡するが、例えば卓球等では、競技に使用中のボールの他にも、練習時に使用して床に転がっているボールや審判等が持つ予備のボール等、複数のフレーム画像中に追跡の目的とするボールと同様の画像が複数存在する場合も多く、また、ボール以外の類似の特徴をもつ物体を追跡対象として誤検出してしまう恐れもある。このような場合において高精度に動体追跡することが難しい。

本発明に係る動体追跡装置は、画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡する動体追跡装置であって、画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成部と、前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持部と、前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境から定まる運動モデルに基づいて、前記第１画像フレームと連続する第２画像フレームでの予測位置情報を算出する位置予測部と、前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し、前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出部と、前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定部と、前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡部と、を備えることを特徴とする。

本発明に係る動体追跡装置では、前記候補抽出部は、前記位置予測部が前記予測位置情報の算出の基礎とした前記第１画像フレームの前記候補が同じである前記第２画像フレームでの前記物体の候補の数に上限を定めることができる。

本発明に係る動体追跡装置では、前記候補抽出部は、前記第１画像フレームの前記候補のすべてについて各々を基礎とした少なくとも一つの前記第２画像フレームでの前記候補を抽出することができる。

本発明に係る動体追跡装置では、前記候補抽出部は、前記尤度スコアが閾値以上でない前記第２画像フレームでの前記候補については前記候補から除外することができる。

本発明に係る動体追跡装置では、前記位置予測部は、前記運動モデルとして前記第１画像フレームでの物体の位置と速度に基づいて前記第２画像フレームでの予測位置情報を算出することができる。

本発明に係る動体追跡装置では、目標位置特定部は、前記評価スコアを目標物体の存在確率分布に基づく位置スコアと前記目標物体の速度に基づく運動スコアから求めて前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定することができる。

また、本発明に係る動体追跡方法では、画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡する動体追跡方法であって、画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成ステップと、前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持ステップと、前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境から定まる運動モデルに基づいて、前記第１画像フレームと連続する第２画像フレームでの予測位置情報を算出する位置予測ステップと、前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し、前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出ステップと、前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定ステップと、前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡ステップと、備えることを特徴とする。

また、本発明に係る動体追跡プログラムでは、コンピュータを、画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡ように機能させる動体追跡プログラムであって、画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成部、前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持部、前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境から定まる運動モデルに基づいて、前記第１画像フレームと連続する第２画像フレームでの予測位置情報を算出する位置予測部、前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出部、前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定部、前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡部、として機能させることを特徴とする。

以上のように本発明によれば、前述の課題を解決しつつ、高精度に動体を追跡することができる。

動体追跡装置を備える装置のブロック図である。 図１に示す装置のハードウェア構成図である。 カメラで撮像した卓球での画像を模式的に表した図である。 動体追跡装置の動作を示すフローチャートである。 動体追跡装置の動作を説明するにあたって使用する記号を模式的に示した図である。 動体追跡装置の候補抽出部の動作を示すフローチャートである。 動体追跡装置の目標位置特定部の動作を示すフローチャートである。 第２実施形態に係る尤度スコアによる候補抽出処理について示すフローチャートである。 第２実施形態に係る候補抽出部が行う尤度スコアによる候補抽出処理を模式的に示した図である。 第３実施形態に係る尤度スコアによる候補抽出処理について示すフローチャート（前半）である。 第３実施形態に係る尤度スコアによる候補抽出処理について示すフローチャート（後半）である。 第３実施形態に係る候補抽出部が行う尤度スコアによる候補抽出処理を模式的に示した図である。

本発明の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

（第１実施形態）
本実施形態に係る動体追跡装置は、画像を用いて動体を追跡する装置である。本実施形態に係る動体追跡装置は、例えば、卓球、ゴルフ、野球、バレーボール等の球技等においてボールの動きを追跡するような、定められたフィールド内において運動法則に従って運動する色彩や形状等の外観的に際立った特徴が少ない動体を高精度に追跡する装置に好適に採用されるものである。これは例示であって、運動競技のみに適用を限るものではない。

図１は、動体追跡装置１を備える装置２のブロック図である。図１に示す装置２は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であって、図２に示すハードウェア構成を有する。図２に示すように、装置２は、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５等を含むコンピュータシステムとして構成される。入力装置２０２としては、カメラ、タッチスクリーン、キーボード等、出力装置２０３としては、ディスプレイ、プリンタ等で具体的には構成される。装置２は、通信モジュール等を備えてネットワークに接続する構成でもよい。また、動体追跡装置１が、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５等を含むコンピュータシステムとして構成されてもよい。

動体追跡装置１及び装置２の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に所定のコンピュータソフトウェアを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

図１に示すように、装置２は、カメラ２１、検出部２２、動体追跡装置１及び表示部２３を備えている。また、動体追跡装置１は、情報入力部１０、位置情報生成部１１、候補位置保持部１２、位置予測部１３、候補抽出部１４、目標位置特定部１５及び動体追跡部１６を備えている。

カメラ２１は、例えば、撮像素子等が用いられ、画像又は動画を撮像する機能を有している。カメラ２１は、単眼であっても、複眼であってもよい。カメラ２１は、撮像した複数の画像又は動画を画像フレームとして検出部へ出力する機能を有している。

検出部２２は、カメラ２１から入力された画像フレーム内の画像データから目標物体の特徴と一致する候補をすべて検出する機能を有している。例えば、パターンマッチングや統計的学習手法等を利用して候補を検出する。検出部２２は、画像フレーム内の画像データから検出された候補についての情報を動体追跡装置１の情報入力部１０に出力する機能を有している。

動体追跡装置１は、検出部２２から入力された画像フレーム内の画像データから検出された候補についての情報から目標物体の画像フレームでの位置情報を特定してトレースすることで目標物体を追跡する機能を有している。動体追跡装置１は、特定した目標物体の各フレームでの位置情報を表示部２３に出力する機能を有している。

情報入力部１０は、検出部２２から入力された画像フレーム内の画像データから検出された候補についての情報から必要な情報を位置情報生成部１１に出力する機能を有している。必要な情報として、少なくとも、画像フレームを特定するための情報（以下、画像フレーム番号）、候補の位置を特定するための情報（以下、位置情報）がある。情報入力部１０は、画像フレーム番号を位置予測部１３に出力する機能を有している。また、情報入力部１０は、一定の間隔で画像フレームを抽出（以下、コマ落とし）して必要な情報を位置情報生成部１１に出力する機能を有していてもよい。

位置情報生成部１１は、情報入力部１０から入力された画像フレーム内の画像データから検出された候補についての情報から各々の候補の位置情報を生成する機能を有している。例えば、カメラ２１が単眼である場合は２次元の、カメラ２１が複眼である場合には３次元の座標軸を設定して各々の候補の位置情報（座標）を生成する。位置情報生成部１１は、動体の追跡に影響を与える位置に関する条件を候補の位置情報に反映する機能を有している。例えば、卓球のボールの追跡における卓球台の座標領域などである。位置情報生成部１１は、生成した位置情報を候補抽出部１４に出力する機能を有している。

候補位置保持部１２は、候補抽出部１４から入力された上位候補についての情報を保持する機能を有している。候補抽出部１４の機能及び上位候補の定義については後述する。候補位置保持部１２は、上位候補についての情報として、少なくとも、画像フレーム番号、上位候補の位置情報及び尤度スコアを保持する機能を有している。尤度スコアについては後述する。

位置予測部１３は、情報入力部１０から入力された画像フレーム番号で指定される画像フレーム（第２画像フレーム）と連続する画像フレーム（第１画像フレーム）における上位候補についての情報を候補位置保持部１２に問い合わせて取得する機能を有している。

ここで、連続する画像フレームとは、２つの画像フレームの間に別の画像フレームが存在しない状態であって、必ずしも画像フレーム番号が連続である必要はない。例えば、２つの画像フレームが連続であっても、もともと間に存在した画像フレームがコマ落とし処理されたために画像フレーム番号が連続でない場合などがある。また、連続する画像フレームとは、時刻が前の連続する画像フレームであっても、時刻が後の連続する画像フレームであってもよい。時間の流れに沿っての動体追跡を行う場合には時刻が前の連続する画像フレーム、時間の流れを遡っての動体追跡を行う場合には時刻が後の連続する画像フレームとなる。なお、連続する画像フレームについては、本特許出願に係る書面においては他も同様である。

位置予測部１３は、候補位置保持部１２から取得した情報に基づいて連続する画像フレーム（第１画像フレーム）の各々の上位候補について、当該画像フレーム（第２画像フレーム）での予測位置情報を算出する機能を有している。予測位置情報は、例えば、上位候補の位置と速度から算出する。また、例えば、卓球のボールであれば卓球台でバウンドすることにより速度が変化するなどの環境による特有の情報を算出において考慮する運動モデルを定義する。位置予測部１３は、算出した予測位置情報を候補抽出部１４に出力する機能を有している。

候補抽出部１４は、位置情報生成部１１から入力された画像フレーム（第２画像フレーム）内の画像データから検出された候補について位置情報と、位置予測部１３から入力された同じ画像フレーム（第２画像フレーム）での予測位置情報から尤度スコアを算出する機能を有している。ここで、尤度スコアとは、候補についての位置情報と予測位置情報の各々の組合せについて位置の一致度を示すスコアであって、例えば、各々の距離が小さいほどスコアが大きい。候補抽出部１４は、尤度スコアの算出に必要な予測位置情報を位置予測部１３に問い合わせて取得する機能を有している。候補抽出部１４は、尤度スコアの上位から定めた数の候補を上位候補として、その位置情報を目標位置特定部１５に出力する機能を有している。また、候補抽出部１４は、上位候補の位置情報等を候補位置保持部１２に出力する機能を有している。

目標位置特定部１５は、候補抽出部１４から入力された上位候補の位置情報から評価スコアを算出する機能を有している。ここで、評価スコアとは追跡目標としての尤もらしさを示すスコアである。評価スコアは、例えば、位置スコアと運動スコアの組合せによって定義する。ここで、位置スコアとは、目標物体の存在確率分布に基づいてスコア化したものである。例えば、目標物体が卓球のボールである場合、卓球台の上部はボールの存在確率が高いため位置スコアは大きく、卓球台の下部はボールの存在確率が低いため位置スコアは小さくなる。また、ここで、運動スコアとは、目標物体の速度に基づいてスコア化したものである。例えば、目標物体が卓球のボールである場合、速度の大きさが一定以下の場合には運動スコアは小さく、卓球台の付近で反射運動をした場合には運動スコアが高くなる。評価スコアの定義として、位置スコアと運動スコアを単純に加算してもよいし、重みづけをして加算する、乗算する等で定義してもよい。目標位置特定部１５は、評価スコアが最も上位の候補位置をその画像フレームにおける目標物体の位置として特定する機能を有している。目標位置特定部１５は、特定した目標物体の位置情報を動体追跡部１６に出力する機能を有している。

動体追跡部１６は、目標位置特定部１５から入力された各々の画像フレームにおける特定した目標物体の位置情報をトレースして追跡する機能を有している。動体追跡部１６は、トレースした目標物体の各フレームでの位置情報を表示部２３に出力する機能を有している。

表示部２３は、動体追跡装置１の動体追跡部１６から入力された目標物体の各フレームでの位置情報を、例えば、ディスプレイ等に連続的に表示することで目標物体の軌跡を表示する機能を有している。

次に、本実施形態に係る動体追跡装置１の動作について説明する。なお、説明理解の容易性を考慮して、本発明に係る動体追跡装置の動作の例として、卓球におけるボールを追跡する動体追跡装置を説明する。

卓球を所与の環境とする場合に考慮すべき特徴を説明する。図３は、カメラ２１で撮像した卓球での画像を模式的に表した図である。ボールには色彩や形状等の外観的に際立った特徴が少ないことから、画像内のボールを検出する場合には、検出部２２の検出精度によって例えば観客の顔等のボール以外のもの（３０４）が誤検出される可能性があるとの特徴を有している。また、目標物体である競技に使用されているボール（３０１）以外にも予備のボール（３０２）や床に転がっているボール（３０３）など目標物体以外が検出されるとの特徴を有している。このため、競技に使用されているボール（３０１）以外であって誤検出された候補（３０４）や、ボールであっても目標物体ではない候補（３０２、３０３）を排除して目標物体を追跡する事が求められる。

卓球を所与の環境とする場合に考慮すべき特徴として、例えば、プレイヤーの使用するボールの変更等によって、これまでとは別のボールへの目標物体の変更に対応する必要があるとの特徴を有している。

卓球を所与の環境とする場合に考慮すべき特徴として、図３に示すように、目標物体であるボールは卓球台の上部に存在する確率が高いとの特徴を有している。また、ボールの運動は運動法則に従うとの特徴を有しているが、放物運動や卓球台への衝突時に向きを変える（跳ね返る）運動（３０１）を頻繁に行う一方で、停止（３０２）や低速での直進（転がる）運動（３０３）は発生しにくいとの特徴を有している。目標物体の特定にあたりこれら特徴を考慮することで精度が上がる。

図４は、本実施形態に係る動体追跡装置１の動作を示すフローチャートである。なお、説明理解の容易性を考慮して、図４の実行前に動体追跡装置１の候補位置保持部１２は第１画像フレームにおける上位候補についての情報を保持しているものとして説明する。

図５は、本実施形態に係る動体追跡装置１の動作を説明するにあたって使用する記号を模式的に示した図である。ｔ０フレームとｔフレームは連続した画像フレームである。Ｐｎ（ｔ０）は、ｔ０フレームでの上位候補のｎ番目である。Ｖｎ（ｔ０）は、Ｐｎ（ｔ０）の速度である。Ｑｎ（ｔ）は、ｔフレームでの予測候補のｎ番目であって、Ｐｎ（ｔ０）を基礎としたｔフレームでの位置として予測される。Ａｍ（ｔ）は、ｔフレームで検出された全候補のｍ番目である。Ｄｍｎ（ｔ）は、Ｑｎ（ｔ）とＡｍ（ｔ）の距離である。これら記号の意味は、本特許出願に係る書面においては他も同様である。

図４に示すように、まず情報入力部１０が、画像フレーム（第２画像フレーム）内の画像データから検出された候補についての情報を入力した後、入力した情報から必要な情報（少なくとも、画像フレーム番号と位置情報）を抽出して位置情報生成部１１と位置予測部１３に出力する処理を行う（Ｓ４０１）。この際、あわせてコマ落とし処理を行ってもよい（Ｓ４０１）。Ｓ４０１の処理が終了すると、位置情報生成処理（Ｓ４０３）及び位置予測処理（Ｓ４０７）に移行する。

Ｓ４０３の処理では、位置情報生成部１１が情報入力部１０から入力された候補についての位置情報を以降の処理に適した座標系での位置情報に変換する処理を行う。本実施形態での卓球におけるボールを追跡する例では、カメラ２１が複眼であるとして、原点を卓球台の中心から下した垂線と床面との交点、Ｘ軸を卓球台の長辺方向、Ｙ軸を卓球台の短辺方向、Ｚ軸を卓球台に対して垂直方向とし、上方に向かってを正、下方に向かってを負とする３次元の座標系で説明する。また、競技に使用される卓球台の領域は、座標系に従うと、−１．３７０≦Ｘ≦１．３７０、−０．７６２５≦Ｙ≦０．７６２５、Ｚ＝０．７６となる。Ｓ４０３の処理が終了すると、候補検出処理（Ｓ４０９）に移行する。

Ｓ４０７の処理では、位置予測部１３が情報入力部１０から入力された画像フレーム番号で指定される画像フレーム（第２画像フレーム）と連続する画像フレーム（第１画像フレーム）における上位候補についての位置情報を候補位置情報（Ｄ４０５）取得する処理を行う。次に、第１画像フレームの各々の上位候補についての第２画像フレームでの予測位置情報を算出する処理を行う。第１画像フレームをｔ０フレーム、第２画像フレームをｔフレームとすると、本実施形態での卓球におけるボールを追跡する例では予測位置Ｑｎ（ｔ）は次の数式で求められる。ここで、数式における単位系はＭＫＳ単位系をとり、以下において同様である。
Ｑｎ（ｔ）＝Ｐｎ（ｔ０）＋Ｖｎ（ｔ０）
ただし、以下の条件をすべて満たす場合はボールが卓球台の上方に位置する場合であり、バウンドを考慮して予測位置Ｑｎ（ｔ）は次の数式で求められる。なお、Ｑｎ（ｔ）．ＸはＱｎ（ｔ）のＸ座標を、Ｑｎ（ｔ）．ＹはＱｎ（ｔ）のＹ座標を、Ｑｎ（ｔ）．ＺはＱｎ（ｔ）のＺ座標を、それぞれ表しており、以下において同様の表記法をとる。
Ｐｎ（ｔ０）．Ｚ＞０．７６、かつ
−１．３７０≦Ｑｎ（ｔ）．Ｘ≦１．３７０、かつ
−０．７６２５≦Ｑｎ（ｔ）．Ｙ≦０．７６２５、の場合
Ｑｎ（ｔ）＝（Ｑｎ（ｔ）．Ｘ，Ｑｎ（ｔ）．Ｙ，｜Ｑｎ（ｔ）．Ｚ−０．７６｜＋０．７６）
Ｓ４０７の処理が終了すると、候補抽出処理（Ｓ４０９）に移行する。

Ｓ４０９の処理では、候補抽出部１４が位置情報生成部１１から入力された第２画像フレーム内の画像データから検出された候補についての位置情報と、位置予測部１３から入力された同じ第２画像フレームでの予測位置情報から尤度スコアを算出して、第２画像フレームでの上位候補を抽出するとともに、候補位置情報（Ｄ４０５）として出力する処理を行う。この処理の詳細は後述する。Ｓ４０９の処理が終了すると、目標位置特定処理（Ｓ４１１）に移行する。

Ｓ４１１の処理では、目標位置特定部１５が候補抽出部１４から入力された上位候補の位置情報から評価スコアを算出して、評価スコアが最も上位の候補位置をその画像フレームにおける目標物体の位置として特定する処理を行う。この処理の詳細は後述する。Ｓ４１１の処理が終了すると動体追跡処理（Ｓ４１３）に移行する。

Ｓ４１３の処理では、動体追跡部１６が目標位置特定部１５から入力された各々の画像フレームにおける特定した目標物体の位置情報をトレースして追跡する処理を行う。Ｓ４１３の処理が終了すると、表示処理（Ｓ４１５）に移行する。

Ｓ４１５の処理では、表示部２３が動体追跡部１６から入力された目標物体の各フレームでの位置情報を連続的に表示することで目標物体の軌跡を表示する処理を行う。Ｓ４１５の処理が終了すると、終了判定処理（Ｓ４１７）に移行する。

Ｓ４１７の処理では、検出部２２から情報入力部１０に入力されたすべての画像フレームについて処理を実行したか否かを判定する。Ｓ４１７の処理において、すべての画像フレームについて処理を実行していないと判定した場合には、Ｓ４０１の処理に再度移行する。Ｓ４０１の処理では、次の未処理画像フレーム内の画像データから検出された候補についての情報を入力した後、Ｓ４０１からＳ４１７の処理を実行する。このように、すべての画像フレームについて処理を実行するまで、Ｓ４０１からＳ４１７の処理を繰り返し実行する。一方、Ｓ４１７の処理において、すべての画像フレームについて処理を実行したと判定した場合には、図４に示す制御処理を終了する。

次に、図４に示すサブルーティンの各処理について詳細を説明する。まず、図６を用いて候補抽出処理（Ｓ４０９）の詳細を説明する。図６は、本実施形態に係る動体追跡装置１の候補抽出部１４の動作を示すフローチャートである。

前述の通り、候補抽出処理（Ｓ４０９）では、候補抽出部１４が位置情報生成部１１から入力された第２画像フレーム内の画像データから検出された候補についての位置情報と、位置予測部１３から入力された同じ第２画像フレームでの予測位置情報から尤度スコアを算出して、第２画像フレームでの上位候補を抽出する。本実施例では、抽出する上位候補の数を自然数Ｎとして説明する。

図６に示すように、まず、候補抽出部１４が、初期値としてｍ＝１、ｎ＝１を設定する（Ｓ６０１）。

Ｓ６０３の処理では、候補抽出部１４が、Ｓ４０３の処理で得られた全候補のｍ番目のＡｍ（ｔ）を取得する。

Ｓ６０５の処理では、候補抽出部１４が、Ｓ４０７の処理で得られた予測候補からｎ番目のＱｎ（ｔ）を取得する。

Ｓ６０７の処理では、候補抽出部１４が、Ａｍ（ｔ）とＱｎ（ｔ）の組合せの尤度スコアＬｍｎ（ｔ）（以下、本特許出願に係る書面において、尤度スコアを同様にＬｍｎ（ｔ）と表記）を計算して、結果を保持する（Ｄ６１９）。Ｌｍｎ（ｔ）は、Ａｍ（ｔ）とＱｎ（ｔ）の距離Ｄｍｎ（ｔ）から次の数式で求められる。
Ｌｍｎ（ｔ）＝ｅｘｐ（−Ｄｍｎ（ｔ）^２）

Ｓ６０９の処理では、候補抽出部１４が、Ｑｎ（ｔ）がＳ４０７の処理で得られた予測候補の最後であるか否かを判定する。予測候補の最後ではないと判定した場合には、ｎに１加算する処理（Ｓ６１１）の後、Ｓ６０５の処理に再度移行する。このようにすべての予測候補について処理を実行するまで、Ｓ６０５からＳ６０９の処理を繰り返し実行する。一方、Ｓ６０９の処理において、予測候補の最後であると判定した場合には、Ｓ６１３の処理に移行する。

Ｓ６１３の処理では、候補抽出部１４が、Ａｍ（ｔ）がＳ４０９の処理で得られた候補の最後であるか否かを判定する。候補の最後ではないと判定した場合には、ｍに１加算する処理（Ｓ６１５）の後、Ｓ６０３の処理に再度移行する。このようにすべての候補について処理を実行するまで、Ｓ６０３からＳ６１３の処理を繰り返し実行する。一方、Ｓ６１３の処理において、予測候補の最後であると判定した場合には、尤度スコアによる候補抽出処理（Ｓ６１７）に移行する。

尤度スコアによる候補抽出処理（Ｓ６１７）では、候補抽出部１４が、尤度スコアで上位Ｎ組のＡｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せを候補として抽出する。候補抽出部１４は、候補抽出処理を終了してメインルーティンに移行する。

次に、図７を用いて目標位置特定処理（Ｓ４１１）の詳細を説明する。図７は、本実施形態に係る動体追跡装置１の目標位置特定部１５の動作を示すフローチャートである。

Ｓ７０１の処理では、目標位置特定部１５が、Ｓ４０９の処理で得られた候補を順に取得する。

Ｓ７０３の処理では、目標位置特定部１５が、位置スコア（Ｓｐ）を算出する。本実施形態での卓球におけるボールを追跡する例では、座標が次に示すそれぞれの場合において、位置スコア（Ｓｐ）は次の数式で求められる。

−１．３７０≦Ｘ≦１．３７０、かつ
−０．７６２５≦Ｙ≦０．７６２５、かつ
Ｚ≧０．７６、の場合
Ｓｐ＝１．０

−１．３７０≦Ｘ≦１．３７０、かつ
−０．７６２５≦Ｙ≦０．７６２５、かつ
Ｚ≦０．７６、の場合
Ｓｐ＝０．０

上記の場合以外であって、−０．７６２５≦Ｙ≦０．７６２５、の場合
Ｓｐ＝ｅｘｐ（−（｜Ｘ｜−１．３７０）^２）

上記いずれの場合以外の場合
Ｓｐ＝ｅｘｐ（−（２（｜Ｙ｜−０．７６２５）（｜Ｘ｜−１．３７０））^２）

Ｓ７０５の処理では、目標位置特定部１５が、運動スコア（Ｓｍ）を算出する。本実施形態での卓球におけるボールを追跡する例では、座標が次に示すそれぞれの場合において、運動スコア（Ｓｍ）は次の数式で求められる。

Ｖｚ＝０．０、の場合、Ｓｍ＝０．００１
上記以外の場合、Ｓｍ＝ｍｉｎ｛１．０，１−｜Ｖ／３０−１｜｝

Ｓ７０７の処理では、目標位置特定部１５が、位置スコアと運動スコアから評価スコアを算出する。本実施形態での卓球におけるボールを追跡する例では、位置スコアと運動スコアを加算することで評価スコアを算出する。

Ｓ７０９の処理では、目標位置特定部１５が、Ｓ７０７の処理で算出された評価スコアがこれまでの評価スコアと比べて最大かどうかを判定する。最大であると判定した場合には、Ｓ７１１の処理に移行して目標位置Ｄ７１５を評価スコアが最大であると判定したＡｍ（ｔ）に置き換える。最大ではないと判定した場合には、Ｓ７１３の処理に移行する。

Ｓ７１３の処理では、目標位置特定部１５が、候補が最後かどうかを判定する。最後ではないと判定した場合には、Ｓ７０１の処理に再度移行する。このようにすべての候補について処理を実行するまで、Ｓ７０１からＳ７１３の処理を繰り返し実行する。一方、最後であると判定した場合には、評価スコアが最大であると判定したＡｍ（ｔ）を目標位置Ｄ７１５と特定し、目標位置特定処理を終了してメインルーティンに移行する。

次に、コンピュータシステムを動体追跡装置１として機能させるための動体追跡プログラムについて説明する。コンピュータシステムの構成は、図２に示す通りである。

動体追跡プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備える。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、画像フレーム内の画像データを取得するようにコンピュータシステムを動作させる。演算処理モジュールは、位置情報生成モジュール、候補位置保持モジュール、位置予測モジュール、候補抽出モジュール、目標位置特定モジュール及び動体追跡モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、動体追跡装置１の情報入力部１０、位置情報生成部１１、候補位置保持部１２、位置予測部１３、候補抽出部１４、目標位置特定部１５及び動体追跡部１６の機能とそれぞれ同様である。

動体追跡プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、動体追跡プログラムは、ネットワークを介して提供されてもよい。

以上、本実施形態に係る動体追跡装置１では、位置情報生成部１１により、情報入力部１０から入力された画像フレーム（第２画像フレーム）内の画像データから検出された候補についての情報から各々の候補の位置情報が生成され、位置予測部１３により、当該画像フレーム（第２画像フレーム）での予測位置が算出され、候補抽出部１４により、前記予測位置と候補位置保持部１２から取得された第１画像フレームでの上位候補とから第２画像フレームでの定められた数の複数の上位候補が算出され、候補位置保持部１２に出力されて保持される。このように、各々の画像フレームについて定められた数の複数の上位候補を候補位置保持部１２に保持することで、目標物体である競技に使用されているボール以外にも予備のボールや床に転がっているボールなど目標物体以外が検出されるとの特徴を有している環境の下で適切な目標物体の判別が可能となる。

また、本実施形態に係る動体追跡装置１では、目標位置特定部１５により、評価スコアに基づいて前記画像フレームにおける前記追跡目標である物体の位置情報が特定され、評価スコアは位置スコアと運動スコアの組合せによって定義される。動体追跡部１６により、特定された物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きが追跡される。このように所与の環境（例えば、卓球）での位置スコアと運動スコアの組合せによって評価スコアを算出することで、色彩や形状等の外観的に際立った特徴が少ないことから複数の候補が検出される場合にあって、目標物体を高精度に特定することが可能となる。

本実施形態に係る動体追跡装置１の動作について説明において、説明理解の容易性を考慮して、本発明に係る動体追跡装置の動作の例として、卓球におけるボールを追跡する動体追跡装置を説明したが、これを実施例１として、実施例１に対比する形で、バレーボールにおけるボール追跡の例（実施例２）、野球の投球におけるボール追跡の例（実施例３）、ゴルフにおけるボール追跡の例（実施例４）を説明する。

実施例１と実施例２ないし実施例４とは、本実施形態に係る動体追跡装置１の図１に示す構成は同じであり、図２に示す装置２として実現される点も同様である。所与の環境による条件が異なるため処理の内容が相違する。具体的には、次の点が異なる。

位置情報生成部１１が入力情報部１０から入力された位置情報を変換する処理に適した座標系が異なる。

位置情報生成部１１が位置情報を生成に反映する動体の追跡に影響を与える位置に関する条件が異なる。

位置予測部１３が予測位置を算出する数式が異なる。

目標位置特定部１５が位置スコアを算出する数式が異なる。

目標位置特定部１５が運動スコアを算出する数式が異なる。

前記相違点について、実施例１ないし実施例４について表にまとめた。実施例１を表１に、実施例２を表２に、実施例３を表３に、実施例４を表４に示す。

（第２実施形態）
第２実施形態に係る動体追跡装置は、第１実施形態に係る動体検出装置１と図１に示す構成は同じであり、図２に示す装置２として実現される点も同様である。機能において、第１実施形態に係る動体検出装置１と候補抽出部１４の機能が相違するものである。従って、候補抽出部１４を中心に説明し、第１実施形態との重複する説明は省略する。

第２実施形態に係る候補抽出部１４は、位置情報生成部１１から入力された画像フレーム（第２画像フレーム）内の画像データから検出された候補について位置情報と、位置予測部１３から入力された同じ画像フレーム（第２画像フレーム）での予測位置情報から尤度スコアを算出する機能を有している。候補抽出部１４は、尤度スコアの算出に必要な予測位置情報を位置予測部１３に問い合わせて取得する機能を有している。候補抽出部１４は、尤度スコアの上位から定めた数の候補を上位候補として、その位置情報を目標位置特定部１５に出力する機能を有している。また、候補抽出部１４は、上位候補の位置情報等を候補位置保持部１２に出力する機能を有している。これらの機能を有する点は、第１実施形態に係る候補抽出部１４と同様である。

第２実施形態に係る候補抽出部１４は、上位候補を抽出する際に、位置予測部１３が予測位置情報の算出の基礎とした画像フレーム（第１画像フレーム）での候補が同じである予測位置情報に基づく候補の数に上限を定める機能を有している。この点は、第１実施形態に係る候補抽出部１４と相違する。

前述の相違点は、図６に示される尤度スコアによる候補抽出処理（Ｓ６１７）の相違による。図８は、第２実施形態に係る尤度スコアによる候補抽出処理（Ｓ６１７）について示すフローチャートである。

図８に示すように、まず、候補抽出部１４が、初期値としてｎ＝１を設定する（Ｓ８０１）。

Ｓ８０３の処理では、候補抽出部１４が、Ａｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せをデータとして取得する。候補抽出部１４は、尤度スコアＬｍｎ（ｔ）の降順にデータをソートして、Ｑｎ（ｔ）を算出の基礎とするデータをＬｍｎ（ｔ）の降順に配列する。

Ｓ８０５の処理では、候補抽出部１４が、尤度スコアで上位から自然数でＳ個までをＱｎ（ｔ）を基礎とする候補として残す。

Ｓ８０７の処理では、候補抽出部１４が、Ｑｎ（ｔ）がＳ４０７の処理で得られた予測候補の最後であるか否かを判定する。予測候補の最後ではないと判定した場合には、ｎに１加算する処理（Ｓ８０９）の後、Ｓ８０３の処理に再度移行する。このようにすべての予測候補について処理を実行するまで、Ｓ８０３からＳ８０７の処理を繰り返し実行する。一方、Ｓ８０７の処理において、予測候補の最後であると判定した場合には、Ｓ８１１の処理に移行する。

Ｓ８１１の処理では、候補抽出部１４が、Ｓ８０５の処理で残された候補から尤度スコアが上位Ｎ個のＡｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せを上位候補として抽出した後、尤度スコアによる候補抽出処理を終了してメインルーティンに移行する。

図９は、第２実施形態に係る候補抽出部１４が行う尤度スコアによる候補抽出処理（Ｓ６１７）を模式的に示した図である。図９では、予測候補Ｑｎ（ｔ）ごと各列に左から右へ尤度スコアＬｍｎ（ｔ）の降順にデータが配列されている。Ｓ８０５の処理では、候補抽出部１４が、尤度スコアで上位から自然数でＳ個までをＱｎ（ｔ）を基礎とする候補として残すが、図９では、Ｓ＝４の場合の例示であって、網掛けされた部分のデータを候補から除外することを示している。Ｓ８１１の処理では、候補抽出部１４が、Ｓ８０５の処理で残された候補から尤度スコアが上位Ｎ個の上位候補を抽出するが、図９では、網掛けされていない部分のデータ候補から尤度スコアが上位Ｎ個の上位候補を抽出することに相当する。

第２実施形態に係る候補抽出部１４は、図９の説明の通り、各々の予測候補Ｑｎ（ｔ）について均等に残した候補から上位候補を抽出するために、特定の予測候補Ｑｎ（ｔ）への偏りが少なくなる。これにより、有力な候補の付近に存在する候補以外も上位候補が残ることになる。このため、例えば、プレイヤーの使用するボールの変更等によってこれまでとは別のボールへの目標物体が変更した場合や、一時的に誤って検出したボール以外の物体を追跡した場合などに、適正な目標物体に戻って追跡を続けることが可能となる。

（第３実施形態）
第３実施形態に係る動体追跡装置は、第１実施形態に係る動体検出装置１と図１に示す構成は同じであり、図２に示す装置２として実現される点も同様である。機能において、第１実施形態に係る動体検出装置１と候補抽出部１４の機能が相違するものである。従って、候補抽出部１４を中心に説明し、第１実施形態との重複する説明は省略する。

第３実施形態に係る候補抽出部１４は、位置情報生成部１１から入力された画像フレーム（第２画像フレーム）内の画像データから検出された候補について位置情報と、位置予測部１３から入力された同じ画像フレーム（第２画像フレーム）での予測位置情報から尤度スコアを算出する機能を有している。候補抽出部１４は、尤度スコアの算出に必要な予測位置情報を位置予測部１３に問い合わせて取得する機能を有している。候補抽出部１４は、尤度スコアの上位から定めた数の候補を上位候補として、その位置情報を目標位置特定部１５に出力する機能を有している。また、候補抽出部１４は、上位候補の位置情報等を候補位置保持部１２に出力する機能を有している。これらの機能を有する点は、第１実施形態に係る候補抽出部１４と同様である。

第３実施形態に係る候補抽出部１４は、上位候補を抽出する際に、位置予測部１３が予測位置情報の算出の基礎とした画像フレーム（第１画像フレーム）の候補のすべてについて、尤度スコアが閾値以上であるとの条件のもとで、各々を基礎とした少なくとも一つの第２画像フレームでの候補を抽出する機能を有している。この点は、第１実施形態に係る候補抽出部１４と相違する。

前述の相違点は、図６に示される尤度スコアによる候補抽出処理（Ｓ６１７）の相違による。図１０Ａ及び図１０Ｂは、第３実施形態に係る尤度スコアによる候補抽出処理（Ｓ６１７）について示すフローチャートである。

図１０Ａに示すように、まず、候補抽出部１４が、初期値としてｎ＝１を設定する（Ｓ１００１）。

Ｓ１００３の処理では、候補抽出部１４が、Ａｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せをデータとして取得する。候補抽出部１４は、尤度スコアＬｍｎ（ｔ）の降順にデータをソートして、Ｑｎ（ｔ）を算出の基礎とするデータをＬｍｎ（ｔ）の降順に配列する。

Ｓ１００５の処理では、候補抽出部１４が、Ｓ１００３の処理で生成されたＡｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せのデータ配列（Ｄ１００７）を出力する。

Ｓ１００９の処理では、候補抽出部１４が、Ｑｎ（ｔ）がＳ４０７の処理で得られた予測候補の最後であるか否かを判定する。予測候補の最後ではないと判定した場合には、ｎに１加算する処理（Ｓ１０１１）の後、Ｓ１００３の処理に再度移行する。このようにすべての予測候補について処理を実行するまで、Ｓ１００３からＳ１００９の処理を繰り返し実行する。一方、Ｓ１００９の処理において、予測候補の最後であると判定した場合には、図１０Ｂに示すＳ１０１３の処理に移行する。

図１０Ｂに示すように、あらためて候補抽出部１４が、初期値としてｎ＝１、ｊ＝１を設定する（Ｓ１０１３）。

Ｓ１０１５の処理では、候補抽出部１４が、データ配列（Ｄ１００７）から予測候補Ｑｎ（ｔ）について尤度スコアＬｍｎ（ｔ）の降順でｊ番目のＡｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せのデータを取得する。

Ｓ１０１７の処理では、候補抽出部１４が、Ｓ１０１５の処理で取得したデータについてＬｍｎ（ｔ）が閾値以上であるか否かを判定する。閾値以上であると判定した場合には、Ｓ１０１５の処理で取得したＡｍ（ｔ）、Ｑｎ（ｔ）、Ｌｍｎ（ｔ）の組合せを上位候補として抽出（Ｓ１０１９）した後、ｓ１０２１の処理に移行する。一方、閾値以上でないと判定した場合には、ｓ１０２１の処理に移行する。

Ｓ１０２１の処理では、候補抽出部１４が、これまでに抽出した上位候補の数がＮよりも小さいか否かを判定する。上位候補の数がＮよりも小さいと判定した場合には、ｓ１０２３の処理に移行する。一方、上位候補の数がＮよりも小さくないと判定した場合には、尤度スコアによる候補抽出処理を終了してメインルーティンに移行する。

Ｓ１０２３の処理では、候補抽出部１４が、Ｑｎ（ｔ）がＳ４０７の処理で得られた予測候補の最後であるか否かを判定する。予測候補の最後ではないと判定した場合には、ｎに１加算する処理（Ｓ１０２５）の後、Ｓ１０１７の処理に再度移行する。このようにすべての予測候補について処理を実行するまで、Ｓ１０１７からＳ１０２３の処理を繰り返し実行する。一方、Ｓ１０１３の処理において、予測候補の最後であると判定した場合には、Ｓ１０２７の処理に移行する。

Ｓ１０２７の処理では、候補抽出部１４が、ｊがデータ配列（Ｄ１００７）の予測候補Ｑｎ（ｔ）について最後尾であるか否かを判定する。ｊが予測候補Ｑｎ（ｔ）について最後尾ではないと判定した場合には、ｊに１加算する処理（Ｓ１０２９）の後、Ｓ１０１７の処理に再度移行する。このようにｊが予測候補Ｑｎ（ｔ）についてデータ配列の最後尾に至るまで、Ｓ１０１７からＳ１０２７の処理を繰り返し実行する。一方、Ｓ１０２７の処理において、ｊが予測候補Ｑｎ（ｔ）について最後尾であると判定した場合には、尤度スコアによる候補抽出処理を終了してメインルーティンに移行する。

図１１は、第３実施形態に係る候補抽出部１４が行う尤度スコアによる候補抽出処理（Ｓ６１７）を模式的に示した図である。図１１では、予測候補Ｑｎ（ｔ）ごと各列に左から右へ尤度スコアＬｍｎ（ｔ）の降順にデータが配列されている。図１０Ａに示すＳ１００１からＳ１０１１の処理で生成されるデータ配列（Ｄ１００７）は、図１１で模式的に示される。Ｓ１０２３の処理では図１１の各列について１行目から下方に、Ｓ１０２７の処理では図１１の各行について１列目から左方に順に移動しつつＳ１０１７の処理で尤度スコアが閾値以上であるかの判定を行う。図１１では、網掛けされていない部分が、尤度スコアが閾値以上に相当する。

第３実施形態に係る候補抽出部１４は、図１１の説明の通り、各々の予測候補Ｑｎ（ｔ）について均等に残した候補から上位候補を抽出するために、特定の予測候補Ｑｎ（ｔ）への偏りが少なくなる。また、閾値より尤度スコアが小さい候補は上位候補としないため、可能性の低い候補（例えば、図１１のＱ３（ｔ））を排除することができる点で第２実施形態よりも優れている。これにより、有力な候補の付近に存在する候補以外も上位候補が残ることになる。このため、例えば、プレイヤーの使用するボールの変更等によってこれまでとは別のボールへの目標物体が変更した場合や、一時的に誤って検出したボール以外の物体を追跡した場合などに、適正な目標物体に戻って追跡を続けることがより精度高く可能となる。

１ 動体追跡装置
１０ 情報入力部
１１ 位置情報生成部
１２ 候補位置保持部
１３ 位置予測部
１４ 候補抽出部
１５ 目標位置特定部
１６ 動体検出部
２ 動体追跡装置を備える装置
２１ カメラ
２２ 検出部
２３ 表示部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ 目標物体（競技に使用されているボール）
３０２ 目標ではない物体（予備のボール）
３０３ 目標ではない物体（床に転がっているボール）
３０４ 目標ではない物体（観客の顔）

Claims (7)

1. 画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡する動体追跡装置であって、
   画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成部と、
   前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持部と、
   前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境による特有の情報であって座標系、前記追跡目標が存在する位置条件、前記第１画像フレームと連続する第２画像フレームでの予測位置算出式、前記追跡目標の存在確率分布に基づく位置スコア算出式及び前記追跡目標の速度に基づく運動スコア算出式から定まる運動モデルに基づいて、前記第２画像フレームでの予測位置情報を算出する位置予測部と、
   前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し、前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出部と、
   前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記運動モデルに基づいて算出された位置スコアと運動スコアの組み合わせから求められる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定部と、
   前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡部と、
   を備えることを特徴とする動体追跡装置。
2. 前記候補抽出部は、前記位置予測部が前記予測位置情報の算出の基礎とした前記第１画像フレームの前記候補が同じである前記第２画像フレームでの前記物体の候補の数に上限を定める請求項１に記載の動体追跡装置。
3. 前記候補抽出部は、前記第１画像フレームの前記候補のすべてについて各々を基礎とした少なくとも一つの前記第２画像フレームでの前記候補を抽出する請求項１に記載の動体追跡装置。
4. 前記候補抽出部は、前記尤度スコアが閾値以上でない前記第２画像フレームでの前記候補については前記候補から除外する請求項３に記載の動体追跡装置。
5. 追跡の目標である前記物体が球技におけるボールである請求項１ないし請求項４のいずれか１項に記載の動体追跡装置。
6. 画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡する動体追跡方法であって、
   画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成ステップと、
   前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持ステップと、
   前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境による特有の情報であって座標系、前記追跡目標が存在する位置条件、前記第１画像フレームと連続する第２画像フレームでの予測位置算出式、前記追跡目標の存在確率分布に基づく位置スコア算出式及び前記追跡目標の速度に基づく運動スコア算出式から定まる運動モデルに基づいて、前記第２画像フレームでの予測位置情報を算出する位置予測ステップと、
   前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し、前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出ステップと、
   前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記運動モデルに基づいて算出された位置スコアと運動スコアの組み合わせから求められる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定ステップと、
   前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡ステップと、
   を備えることを特徴とする動体追跡方法。
7. コンピュータを、画像データを用いて特定の特徴を持つ物体の所与の環境での動きを追跡ように機能させる動体追跡プログラムであって、
   画像フレーム内の前記画像データから検出された前記特定の特徴を持つすべての物体の位置情報を生成する位置情報生成部、
   前記画像フレームごとに追跡目標として尤もらしい前記物体の複数の候補の前記位置情報を保持する候補位置保持部、
   前記候補位置保持部が前記位置情報を保持する第１画像フレームの前記候補について、前記所与の環境による特有の情報であって座標系、前記追跡目標が存在する位置条件、前記第１画像フレームと連続する第２画像フレームでの予測位置算出式、前記追跡目標の存在確率分布に基づく位置スコア算出式及び前記追跡目標の速度に基づく運動スコア算出式から定まる運動モデルに基づいて、前記第２画像フレームでの予測位置情報を算出する位置予測部、
   前記第２画像フレーム内の前記画像データから前記位置情報生成部によって生成された前記位置情報と、前記位置予測部が算出した前記第２画像フレームでの前記予測位置情報と、から各々の組合せについて位置の一致度を示す尤度スコアを算出し、前記尤度スコアに基づいて前記第２画像フレームでの１ないし２以上の前記候補を抽出し、抽出された前記候補の位置情報を前記候補位置保持部に出力する候補抽出部、
   前記候補抽出部が抽出した前記候補の位置情報から、前記所与の環境から定まる前記運動モデルに基づいて算出された位置スコアと運動スコアの組み合わせから求められる前記追跡目標としての尤もらしさを示す評価スコアに基づいて、前記画像フレームにおける前記追跡目標である前記物体の位置情報を特定する目標位置特定部、
   前記目標位置特定部によって特定された前記物体の位置情報を、連続する前記画像フレームにおいてトレースすることで前記物体の動きを追跡する動体追跡部、
   として機能させることを特徴とする動体追跡プログラム。