JP4490752B2 - 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム - Google Patents

Description

本発明は、入力される映像に含まれる映像オブジェクトを抽出し、映像オブジェクトの移動軌跡を映像上に合成する映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラムに関する。

従来、映像に含まれるオブジェクト（映像オブジェクト）を抽出し、追跡する映像オブジェクト抽出技術は種々存在している（例えば、特許文献１参照）。
そして、その映像オブジェクト抽出技術によって抽出した映像オブジェクトの位置情報を利用して、映像に特殊な効果を持たせることで、映像制作の幅を広げる試みが行われている。映像に特殊効果を持たせる一例としては、野球中継等で、ピッチャーが投げたボール（映像オブジェクト）を追跡し、その後に、ピッチャーの投球映像にボールの移動軌跡をＣＧ（コンピュータ・グラフィックス）により合成するものがある。これによって、視聴者は、ピッチャーがボールを離した瞬間からキャッチャーがボールの捕球を完了するまでのボールの軌跡を視認することができる。

特許文献１の映像オブジェクト追跡装置は、入力された映像信号を前景画像と背景画像とに二値化したシルエット画像を生成し、映像オブジェクトの動き予測を、過去２フレームの映像オブジェクト領域から推定するものである。この従来の映像オブジェクト追跡装置は、２枚の連続画像から輝度差分抽出処理を行うことにより、映像から映像オブジェクトを抽出し、追跡するものであり、一旦記憶した映像を処理するものであった。つまり、抽出した映像オブジェクトの位置情報に基づいて、リアルタイムで映像オブジェクトの移動軌跡を合成するものではなかった。

そのため、本願出願人は、リアルタイムで映像オブジェクトの移動軌跡を合成する映像オブジェクト軌跡合成装置（特願２００３−３５５６２０号）を先に出願している。この映像オブジェクト軌跡合成装置では、移動する映像オブジェクトを追跡する際には、初めに入力画像全体を探索範囲として映像オブジェクトを抽出し、続いて次画像での映像オブジェクトの位置座標を予測し、予測点周辺を小面積の探索領域として、次画像での映像オブジェクトの抽出を行っている。また、この映像オブジェクト軌跡合成装置は、映像オブジェクトを抽出する際に、予め設定された映像オブジェクトの輝度、色、面積等様々な特徴量（パラメータ）の目標値を利用し、フィルタ処理により候補を絞ってゆくことにより、リアルタイムで映像オブジェクトの移動軌跡を合成するものである。
特開２００３−４４８６０号公報（段落００１８〜００２７、図１）

しかしながら、従来の映像オブジェクト軌跡合成装置では、以下に示す改良する余地があった。抽出すべき映像オブジェクトを、例えば、野球中継の投球シーンのボールとした場合を想定すると、従来、図８に示すような画面が表示される。そして、ピッチャーＰＴ、バッターＢＴ、キャッチャーＣＴを含む入力画面全体が当初の探索範囲として設定されるため、処理負荷が大きくなってしまう。そこで、処理負荷を軽減してボールを探索するために、小面積の探索領域を初期設定することが考えられる。図８に示すように、一例として、アスペクト比（横／縦）２：１の横長の探索領域８０１を設定すると、この探索領域８０１は、ボールの移動方向（水平方向）に広がっているので、速度の速いボールに対応できるという利点がある。しかしながら、ピッチャーによってまたは投球によってボールのリリースポイントが上下に移動すると、探索領域８０１内にボールが収まらずに抽出に失敗する可能性が高い。

また、野球中継では、球場の照明や日光の影響でボールの輝度や色が変動したり、カメラのズーム量によってボールの面積が変動したりする。しかしながら、従来、これらパラメータ（輝度、色、面積等）の目標値は装置起動時に固定されているため、各パラメータの変化に対応できずにボールの抽出に失敗することがあった。また、投球シーンでは左バッターのヘルメット部分等ノイズの発生頻度が高い部分で、抽出対象とする映像オブジェクト（ボール）に似た動オブジェクトが恒常的に発生するため、このような動オブジェクトが誤抽出されることがあった。

本発明は、以上のような問題点に鑑みてなされたものであり、処理負荷を軽減して映像オブジェクトを安定に抽出・追跡することが可能な映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１記載の映像オブジェクト抽出装置は、時系列に入力される画像から構成される映像に含まれる映像オブジェクトの位置を抽出する映像オブジェクト抽出装置であって、オブジェクト候補画像生成手段と、マスク領域設定手段と、オブジェクト抽出手段と、記憶手段と、を有し、前記オブジェクト抽出手段が、フィルタ処理手段と、マスク領域判定手段と、オブジェクト選択手段と、を備える構成とした。

かかる構成によれば、映像オブジェクト抽出装置は、オブジェクト候補画像生成手段によって、入力された画像から、映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、映像オブジェクト抽出装置は、マスク領域設定手段によって、映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、入力された画像上に、マスク領域を少なくとも１つ設定する。ここで、マスク領域は、例えばノイズが発生しやすい部分や映像オブジェクトが存在し得ない部分に設定される。そして、オブジェクト抽出装置は、オブジェクト抽出手段によって、生成されたオブジェクト候補画像の中から、抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す所定の抽出条件に基づいて、抽出すべき映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出する。なお、所定の抽出条件を、例えば、記憶手段に予め記憶しておくことで、複数の映像オブジェクトの候補から１つの映像オブジェクトを特定することが可能になる。そして、オブジェクト抽出装置は、記憶手段に、追跡中の映像オブジェクトの位置としてその重心座標を記憶する。そして、オブジェクト抽出装置は、オブジェクト抽出手段のフィルタ処理手段によって、オブジェクト候補画像が抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込む。そして、このオブジェクト抽出手段のマスク領域判定手段は、絞り込まれたオブジェクト候補画像のうち、その重心座標がマスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力する。そして、このオブジェクト抽出手段のオブジェクト選択手段は、出力されたオブジェクト候補画像の情報を取得し、記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、追跡対象の映像オブジェクトとして選択し、選択した映像オブジェクトの位置を抽出し、記憶手段に書き込む。これによって、抽出すべき映像オブジェクトの画像内における位置が特定される。

請求項２記載の映像オブジェクト抽出装置は、請求項１に記載の映像オブジェクト抽出装置において、探索領域設定手段と、位置予測手段と、をさらに備え、探索領域設定手段が、第１の探索領域設定手段と、第２の探索領域設定手段と、探索領域移動手段と、を備えることを特徴とする。

かかる構成によれば、映像オブジェクト抽出装置は、探索領域設定手段によって、入力画像中に、抽出すべき映像オブジェクトを探索するための探索領域を設定し、設定された探索領域の位置及び形状を、探索領域情報としてオブジェクト候補画像生成手段へ出力する。そして、映像オブジェクト抽出装置は、位置予測手段によって、オブジェクト選択手段によって過去に抽出され記憶手段に記憶された映像オブジェクトの位置およびその位置座標の個数に基づいて、動きベクトルを利用した線形予測、または、最小自乗法で求めた２次曲線による曲線予測を実行することで、次に入力される画像内における前記映像オブジェクトの位置を予測する。例えば、カルマンフィルタを用いることで、逐次移動する映像オブジェクトの位置を推定し、探索領域を限定することができる。そして、映像オブジェクト抽出装置は、第１の探索領域設定手段によって、映像オブジェクトの最初の抽出位置を探索するために入力手段により位置及び形状が入力された第１の探索領域を入力画像上に設定する。そして、映像オブジェクト抽出装置は、第２の探索領域設定手段によって、オブジェクト選択手段によって第１の探索領域内で映像オブジェクトの抽出に成功した場合に、位置予測手段により予測される位置を含むように第２の探索領域を入力画像上に設定する。ここで、第１の探索領域は、映像オブジェクトの予想進路を確実に含むように位置及び形状が手動設定され、第２の探索領域は、高速で移動する映像オブジェクトを確実に含むように位置及び形状が自動設定される。さらに、映像オブジェクト抽出装置は、探索領域移動手段によって、第２の探索領域内で映像オブジェクトの抽出に成功した場合に、第２の探索領域を設定した入力画像の後に時系列に入力される画像において、オブジェクト選択手段によって過去に抽出された映像オブジェクトの抽出位置に基づいて位置予測手段により予測される位置に、第２の探索領域を移動させる。つまり、映像オブジェクトの動きに追従して、位置予測手段により予測される位置に、第２の探索領域を随時移動させる。

請求項３記載の映像オブジェクト抽出装置は、請求項１または請求項２に記載の映像オブジェクト抽出装置において、前記所定の抽出条件を記憶する抽出条件記憶手段と、前記所定の抽出条件として、入力手段により入力された輝度差分閾値、面積、円形度、輝度及び色の少なくとも１つ以上の抽出条件を前記抽出条件記憶手段に設定する抽出条件設前記抽出条件記憶手段に記憶された抽出条件を表示する抽出条件表示手段と、をさらに備え、前記オブジェクト抽出手段が、前記生成されたオブジェクト候補画像の中から、前記抽出条件記憶手段に記憶されている抽出条件に基づいて、抽出すべき映像オブジェクトの位置及び前記映像オブジェクトを特徴付ける特徴量を抽出することを特徴とする。

かかる構成によれば、映像オブジェクト抽出装置は、抽出条件設定手段によって、抽出条件記憶手段に記憶された抽出条件を適宜変更することができる。そして、この抽出条件が抽出条件表示手段に表示されるので、映像オブジェクト抽出装置の操作者は、入力映像の輝度や、入力映像を撮影する撮影手段のズーム量等の撮影条件の変化に対応して、映像オブジェクトの抽出条件を確認しながら抽出条件の変更を適宜成し得る。ここで、抽出条件を決定するパラメータは、映像オブジェクトの輝度、面積、色、円形度等の少なくとも１つから構成される。これらパラメータの目標値または目標範囲が抽出条件記憶手段に記憶される。

請求項４記載の映像オブジェクト軌跡合成装置は、時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置であって、請求項１乃至請求項３のいずれか１項に記載の映像オブジェクト抽出装置と、前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を描画した軌跡画像を生成する作画手段と、前記軌跡画像と前記時系列に入力される画像とを合成する画像合成手段と、を備えている構成とした。

かかる構成によれば、映像オブジェクト軌跡合成装置は、作画手段によって、オブジェクト抽出手段で抽出した映像オブジェクトの位置から、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。なお、この軌跡画像は、入力画像毎に抽出した映像オブジェクトを時系列に順次上書きすることで、生成することができる。このようにして生成された軌跡画像を、画像合成手段によって、逐次入力画像と合成することで、映像に抽出対象となる映像オブジェクトの移動軌跡を合成した合成映像が生成される。

請求項５記載の映像オブジェクト軌跡合成方法は、時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置による映像オブジェクト軌跡合成方法であって、前記映像オブジェクト軌跡合成装置が、追跡中の映像オブジェクトの位置としてその重心座標を記憶する記憶手段と、オブジェクト候補画像生成手段と、マスク領域設定手段と、フィルタ処理手段と、マスク領域判定手段と、オブジェクト選択手段と、作画手段と、画像合成手段とを備え、オブジェクト候補画像生成ステップと、
マスク領域設定ステップと、フィルタリングステップと、マスク領域判定ステップと、オブジェクト選択ステップと、作画ステップと、画像合成ステップと、を含んで実行することを特徴とする。

この手順によれば、映像オブジェクト軌跡合成方法は、オブジェクト候補画像生成ステップにて、オブジェクト候補画像生成手段によって、入力された画像から、映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、映像オブジェクト軌跡合成方法は、マスク領域設定ステップにて、マスク領域設定手段によって、映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、入力された画像上に、マスク領域を少なくとも１つ設定する。そして、映像オブジェクト軌跡合成方法は、フィルタリングステップにて、フィルタ処理手段によって、オブジェクト候補画像が、抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込む。ここで、抽出条件には、抽出すべき映像オブジェクトの位置、面積、輝度、色及び円形度の少なくとも１つ以上を用いる。そして、映像オブジェクト軌跡合成方法は、マスク領域判定ステップにて、マスク領域判定手段によって、絞り込まれたオブジェクト候補画像のうち、その重心座標がマスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力する。そして、映像オブジェクト軌跡合成方法は、オブジェクト選択ステップにて、オブジェクト選択手段によって、出力されたオブジェクト候補画像の情報を取得し、記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、追跡対象の映像オブジェクトとして選択し、選択した映像オブジェクトの位置を抽出し、記憶手段に書き込む。そして、映像オブジェクト軌跡合成方法は、作画ステップにて、作画手段によって、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。このようにして生成された軌跡画像を、画像合成ステップにて、画像合成手段によって、逐次入力画像と合成することで、抽出対象となる映像オブジェクトの移動軌跡を映像に合成した合成映像が生成される。

さらに、請求項６に記載の映像オブジェクト軌跡合成プログラムは、時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成するために、追跡中の映像オブジェクトの位置としてその重心座標を記憶する記憶手段を備えたコンピュータを、オブジェクト候補画像生成手段、マスク領域設定手段、フィルタ処理手段、マスク領域判定手段、オブジェクト選択手段、作画手段、画像合成手段、として機能させることを特徴とする。

かかる構成によれば、映像オブジェクト軌跡合成プログラムは、オブジェクト候補画像生成手段によって、入力された画像から、映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、マスク領域設定手段によって、映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、入力された画像上に、マスク領域を少なくとも１つ設定する。そして、フィルタ処理手段によって、オブジェクト候補画像が、抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込む。ここで、抽出条件には、抽出すべき映像オブジェクトの位置、面積、輝度、色及び円形度の少なくとも１つ以上を用いる。そして、マスク領域判定手段によって、絞り込まれたオブジェクト候補画像のうち、その重心座標がマスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力する。そして、オブジェクト選択手段によって、出力されたオブジェクト候補画像の情報を取得し、記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、追跡対象の映像オブジェクトとして選択し、選択した映像オブジェクトの位置を抽出し、記憶手段に書き込む。そして、映像オブジェクト軌跡合成プログラムは、作画手段によって、オブジェクト選択手段によって抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に映像オブジェクトを示す画像を作画することで、映像オブジェクトの移動軌跡を描画した軌跡画像を生成する。このようにして生成された軌跡画像を、画像合成手段によって、逐次入力される画像と合成することで、抽出対象となる映像オブジェクトの移動軌跡を映像に合成した合成映像が生成される。

請求項１記載の発明によれば、マスク領域設定手段によって、映像オブジェクトの抽出を行わない領域をマスク領域として設定することにより、マスク領域をマスク領域判定手段によって映像オブジェクトの候補から除外することができるので、抽出処理の負荷を軽減すると共に、予め設定したマスク領域での映像オブジェクトの誤抽出を防止することができる。

請求項２記載の発明によれば、映像オブジェクトの抽出位置を確実に探索することができると共に、入力画像内において、逐次移動する映像オブジェクトの位置を推定することができるので、その位置に基づいて、映像オブジェクトの探索領域が限定され、映像オブジェクトを抽出する際の演算量を抑えることができる。

請求項３記載の発明によれば、抽出条件設定手段によって抽出条件を変更できるので、抽出条件の目標パラメータ値を現実の環境変化に対応させたパラメータに適宜更新することができ、操作性および信頼性の向上を図ることができる。

請求項４、請求項５または請求項６に記載の発明によれば、映像から抽出対象となる映像オブジェクトを抽出、追跡し、その映像オブジェクトの移動軌跡を、人手を介さず映像に合成することができる。これによって、新たな特殊効果を持った映像を提供することが可能になる。

次に、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、図１を参照して、本発明に係る映像オブジェクト軌跡合成装置の構成について説明する。図１は、映像オブジェクト軌跡合成装置の構成を示したブロック図である。
図１に示すように、映像オブジェクト軌跡合成装置１は、入力された映像から、追跡対象となる動きを伴うオブジェクト（映像オブジェクト）を抽出し、追跡するとともに、その映像オブジェクトの移動軌跡を映像上に合成するものである。なお、映像は、例えば１秒間に６０枚のフィールド画像から構成されている。また、追跡対象の映像オブジェクトは例えばボールを前提としている。ここでは、映像オブジェクト軌跡合成装置１は、映像オブジェクト抽出装置１０と、映像遅延手段２０と、作画・画像合成手段３０とを備えて構成されている。

映像オブジェクト抽出装置１０は、入力された映像からボールの位置座標及び特徴量を抽出し、抽出した位置座標及び特徴量を作画・画像合成手段３０に出力するものである。なお、この映像オブジェクト抽出装置１０は、位置座標のみを抽出、出力するように構成してもよい。
映像遅延手段２０は、入力された映像を遅延させて作画・画像合成手段３０に出力するものである。
作画・画像合成手段３０は、映像オブジェクト抽出装置１０により抽出されたボールの位置に相当する場所に、ＣＧ（コンピュータ・グラフィックス）によりボールの軌跡を作画する作画手段３１と、作画したボールの軌跡画像と映像遅延手段２０により遅延された映像を構成する入力画像とを合成し合成画像を出力する画像合成手段３２とを備えている。なお、作画・画像合成手段３０は、映像オブジェクト抽出装置１０がボールの抽出に失敗した場合に、ボールの軌跡を内挿により補間する補間手段（図示せず）を備えている。

映像オブジェクト抽出装置１０は、図１に示すように、マスク領域設定手段１１と、探索領域設定手段１２と、オブジェクト候補画像生成手段１３と、抽出条件記憶手段１４と、抽出条件設定手段１５と、ボール選定手段１６と、位置予測手段１７と、抽出条件表示手段１８とを備えている。
マスク領域設定手段１１は、図示しないマウス、キーボード等から入力されるマスク領域設定情報に基づいて、映像オブジェクトの抽出を実行しない領域であるマスク領域を入力画像（映像）上に設定するものである。このマスク領域設定情報は、マスク領域の位置及び形状に関するものである。なお、設定されるマスク領域の位置、形状、面積、個数は任意である。

探索領域設定手段１２は、入力画像中に、抽出すべき映像オブジェクトを探索するための探索領域を設定し、設定された探索領域の位置及び形状を、探索領域情報としてオブジェクト候補画像生成手段１３へ出力するものである。この探索領域設定手段１２は、初期探索領域設定手段１２１と、次期探索領域設定手段１２２と、探索領域移動手段１２３とを備えて構成されている。

初期探索領域設定手段１２１（第１の探索領域設定手段）は、抽出すべき映像オブジェクトの最初の抽出位置を探索するための第１の探索領域を入力画像上に設定するものである。なお、第１の探索領域の位置及び形状に関する情報（探索領域設定情報）は、図示していないマウス、キーボード等の入力手段によって入力される。この第１の探索領域は、映像オブジェクト（ボール）の予想進路を確実に含む位置に手動設定される。第１の探索領域の形状は任意形状に設定することができる。

次期探索領域設定手段１２２（第２の探索領域設定手段）は、第１の探索領域で抽出された映像オブジェクトの最初の抽出位置に基づいて、それ以降の位置を探索するための第２の探索領域を入力画像上に設定するものである。この第２の探索領域は、高速で移動する映像オブジェクトを確実に含むように位置及び形状が自動設定される。この第２の探索領域は、映像オブジェクトの移動方向（水平方向）に幅広の形状、例えばアスペクト比２：１の長方形の形状に設定される。
探索領域移動手段１２３は、第２の探索領域を映像オブジェクトの動きに追従するように移動させるものであり、後記する位置予測手段１７によって算出された次フィールド（次フレーム）でのボールの予測位置に、第２の探索領域を移動させる。

オブジェクト候補画像生成手段１３は、入力された映像から、その映像を構成するフィールド画像毎に探索領域を切り出し、追跡対象となる映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。そこで、オブジェクト候補画像生成手段１３は、このフィールド画像の中から映像オブジェクトの候補を抽出し、２値化することで、その映像オブジェクトの候補だけからなる画像（オブジェクト候補画像）を生成している。このオブジェクト候補画像は、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像である。例えば、オブジェクト候補画像は、動きを伴った映像オブジェクト等、追跡対象となる映像オブジェクトを大まかに抽出した画像である。

このオブジェクト候補画像生成手段１３は、画像記憶部１３１，１３２と、差分画像生成手段１３３，１３４と、候補画像生成手段１３５とを備えて構成されている。
画像記憶部１３１，１３２は、例えば映像信号を１フィールド単位でデジタルデータとして記録し、各種の信号／画像処理をするためのメモリである。
画像記憶部１３１は、連続する３枚の入力画像のうち中間の位置（現在）の入力画像（奇数フィールドおよび偶数フィールド）を記憶する。ここで記憶される現在の入力画像はボール選定手段１６（オブジェクト抽出手段）に出力される。
画像記憶部１３２は、連続する３枚の入力画像のうち最初の位置（過去）の入力画像（奇数フィールドおよび偶数フィールド）を記憶する。

差分画像生成手段１３３は、現在の入力画像を遅延させ、遅延させた現在の入力画像の輝度から、新たに入力した入力画像（未来）の輝度を差し引くことによって差分画像１を生成し、生成した差分画像１を候補画像生成手段１３５に出力するものである。
差分画像生成手段１３４は、過去の入力画像を遅延させ、遅延させた過去の入力画像の輝度から、現在の入力画像の輝度を差し引くことによって差分画像２を生成し、生成した差分画像２を候補画像生成手段１３５に出力するものである。

候補画像生成手段１３５は、探索領域の全画素に対して差分画像１及び差分画像２を所定の輝度閾値と比較して、例えば、画像の画素値が予め定めた所定の条件を満たす場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”と判別することで２値化画像を生成するものである。候補画像生成手段１３５は、これによって、例えば、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成された２値化画像は、映像オブジェクトの候補を抽出したオブジェクト候補画像として、ボール選定手段１６（オブジェクト抽出手段）に出力される。

抽出条件記憶手段１４は、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶媒体である。この抽出条件記憶手段１４は、種々の抽出条件を示す抽出条件情報（パラメータ目標値）と、映像オブジェクトの位置を示す位置情報とを記憶している。

抽出条件情報は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報は、後記するボール選定手段１６（オブジェクト抽出手段）がオブジェクト候補画像から抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。
なお、抽出条件情報には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを含めておく。これによって、各フィルタは閾値外の値（特徴）を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

ここで、“面積”は、例えば、映像オブジェクトの画素数を示す。また、“輝度”は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、“色”は、映像オブジェクトにおける各画素のＲＧＢ値の平均値を示す。また、“円形度”は、映像オブジェクトの円形の度合いを示すものであって、円形に近いほど大きな値を有するものである。例えば、抽出対象の映像オブジェクトがボールのような円形の形状を有するものの場合は、抽出条件の円形度は円形に近いほど１に近い値になる。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、以下の（１）式で表される。

ｅ＝４πＳ／Ｌ²…（１）

この抽出条件記憶手段１４に記憶される位置情報は、現在追跡している映像オブジェクトの位置を示す情報である。この位置情報は、例えば、映像オブジェクトの重心座標とする。この重心座標は、ボール選定手段１６の特徴量解析部１６２によって算出される。なお、この位置情報は、抽出条件情報に合致する映像オブジェクトが複数存在する場合に、位置情報で示した座標に最も近い映像オブジェクトを、抽出すべき映像オブジェクトとして決定するための抽出条件としても利用される。

抽出条件設定手段１５は、図示しないマウス、キーボード等から入力される抽出条件情報に基づいて、抽出条件（パラメータ目標値）を抽出条件記憶手段１４に設定するものである。抽出条件の特徴量（パラメータ）は、例えば、抽出すべきボールの輝度差分閾値、面積、円形度、輝度、色等である。
なお、抽出条件記憶手段１４に設定されたパラメータ目標値は、抽出条件表示手段１８に表示される。この抽出条件表示手段１８は、パラメータ目標値を表示する以外に、入力映像、マスク領域設定手段１１により設定されるマスク領域、探索領域設定手段１２により設定される第１の探索領域及び第２の探索領域、抽出した映像オブジェクトの各パラメータの平均値等を表示する。

ボール選定手段１６（オブジェクト抽出手段）は、オブジェクト候補画像生成手段１３で生成されたオブジェクト候補画像の中から、抽出条件記憶手段１４に記憶されている抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクト（ボール）を選択し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここでは、ボール選定手段１６は、ラベリング部１６１と、特徴量解析部１６２と、フィルタ処理部１６３と、マスク領域判定部１６４と、オブジェクト選択部１６５とを備えて構成されている。

ラベリング部１６１は、オブジェクト候補画像生成手段１３で生成されたオブジェクト候補画像（２値化画像）の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部１６１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされたことになる。
特徴量解析部１６２は、ラベリング部１６１で番号付けされた映像オブジェクトの候補毎に、映像オブジェクトの候補の位置座標や、映像オブジェクトの“面積、輝度、色及び円形度”等のパラメータの値を算出する。

フィルタ処理部１６３は、特徴量解析部１６２が算出したパラメータの値を用いて、抽出条件記憶手段１４に記憶されている抽出条件（パラメータ目標値）や後記する位置予測手段１７による予測位置に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。すなわち、このフィルタ処理部１６３は、映像オブジェクトの候補毎に、抽出条件記憶手段１４に記憶されている抽出条件（例えば、面積、輝度、色及び円形度）や位置情報に基づいて、特徴量解析部１６２で解析された特徴量をフィルタ（位置フィルタ、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）にかけることで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトとして選択する。
なお、画像記憶部１３１に記憶された現在のフィールド画像（奇数フィールドおよび偶数フィールド）はボール選定手段１６に出力されており、フィルタ処理部１６３は、入力画像を１フレーム（２フィールド）分遅らせた画像を参照画像としてフィルタ処理を「現在」のタイミングで行う。

マスク領域判定部１６４（マスク領域判定手段）は、マスク領域設定手段１１によって設定されたマスク領域内に映像オブジェクトが存在するか否かを判別し、このマスク領域内に映像オブジェクトが存在する場合に当該映像オブジェクトを、抽出すべき映像オブジェクトから除外するものである。このマスク領域判定部１６４は、フィルタ処理部１６３によりフィルタ処理されて絞り込まれたオブジェクト候補画像のうち、その重心座標がマスク領域内に存在するものを除いたオブジェクト候補画像の情報をオブジェクト選択部１６５に出力する。

オブジェクト選択部１６５は、マスク領域判定部１６４から、重心座標がマスク領域に存在せず、かつ、全てのフィルタを通過したオブジェクトの情報を取得し、このオブジェクトの中で、ボールの予測位置座標に最も近いオブジェクト候補をボールとして選択するものである。ここで選択した映像オブジェクトの位置は、現在の映像オブジェクトの位置情報として、抽出条件記憶手段１４に書き込まれる。ここで映像オブジェクトの位置としては、映像オブジェクトの重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。なお、オブジェクト選択部１６５は、抽出条件に適合した映像オブジェクトを選択できなかった場合は、その旨（抽出失敗）を作画・画像合成手段３０に通知する。

位置予測手段１７は、ボール選定手段１６で選定されたボールの位置（重心座標等）に基づいて、次に入力されるフィールド画像における、ボールの予測位置を推定し、推定した予測位置情報を探索領域設定手段１２に出力するものである。この位置予測手段１７は、過去に抽出したボールの位置座標の個数等に基づいて、動きベクトルを利用した線形予測、または、最小自乗法で求めた２次曲線による曲線予測を実行する。すなわち、ボールの位置座標の個数が所定数以上の場合に曲線予測を実行し、所定数よりも少ない場合に線形予測を実行する。ここで、所定数は例えば３個であり、より正確な曲線を求めるためには５個以上であることが好適である。また、位置予測手段１７は、曲線予測を実行しているときに、２次曲線（ｙ＝ａｘ²＋ｂｘ＋ｃ）の係数ａ，ｂの符号が変化したり、係数ａ，ｂが所定値を超えたりした場合には、曲線予測から線形予測に切り替える。
この位置予測手段１７は、線形予測としては、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を適用することで、次フィールド画像（次フレーム）におけるボールの位置を予測し、探索領域を推定する。カルマンフィルタは、時系列に観測される観測量に基づいて現在の状態を推定する「濾波」と、未来の状態を推定する「予測」とを行う漸化式を適用することで、時々刻々と変化する状態を推定するものである。

以上説明した映像オブジェクト軌跡合成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像オブジェクト軌跡合成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

次に、図２乃至図５を参照して、映像オブジェクト軌跡合成装置１の動作について説明する。図２は、映像オブジェクト軌跡合成装置の全体動作を示すフローチャートである。図３は、映像オブジェクト軌跡合成装置の動作モード処理を示すフローチャートである。図４は、ボール選定手段におけるボール選定処理の動作を示すフローチャートである。図５は、マスク領域判定部におけるマスク判定処理の動作を示すフローチャートである。なお、ここでは、映像オブジェクト軌跡合成装置１は、野球中継における投球シーンの映像においてボールを抽出・追跡してボールの軌跡画像を映像に合成する操作に適用される。
まず、図２を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の全体動作について説明する。

映像オブジェクト軌跡合成装置１は、図示しない入力手段から入力される命令を受け付け、受け付けた命令を読込み（ステップＳ２０１）、読込んだ命令が「設定モード」であるか否かを判別する（ステップＳ２０２）。なお、ここでは、命令のモードとして、「設定モード」、「終了モード」及び「動作モード」が用意されている。
映像オブジェクト軌跡合成装置１は、ステップＳ２０２において、読込んだ命令が「設定モード」ではないと判別した場合には（ステップＳ２０２；ＮＯ）、続けて、読込んだ命令が「終了モード」であるか否かを判別する（ステップＳ２０３）。映像オブジェクト軌跡合成装置１は、「終了モード」であると判別した場合には（ステップＳ２０３；ＹＥＳ）、動作を終了する。一方、「終了モード」ではないと判別した場合には（ステップＳ２０３；ＮＯ）、読込んだ命令は「動作モード」なので、ボールの抽出、追跡及び画像合成処理である動作モード処理を実行し（ステップＳ２０４）、ステップＳ２０１に戻る。なお、このステップＳ２０４における動作モード処理の詳細な動作については、図３を参照して後で説明することとする。

映像オブジェクト軌跡合成装置１は、ステップＳ２０２において、読込んだ命令が「設定モード」であると判別した場合には（ステップＳ２０２；ＹＥＳ）、続けて、読込んだ命令が「マスク領域の設定」であるか否かを判別する（ステップＳ２０５）。なお、ここでは、設定モードの内容として、「マスク領域の設定」、「探索領域の設定」及び「パラメータ目標値の設定」が用意されている。
映像オブジェクト軌跡合成装置１は、読込んだ命令が「マスク領域の設定」であると判別した場合には（ステップＳ２０５；ＹＥＳ）、図示しない入力手段によってマスク領域設定情報の入力を受け付け、マスク領域設定手段１１によって、マスク領域を作成し（ステップＳ２０９）、ステップＳ２０１に戻る。一方、読込んだ命令が「マスク領域の設定」ではないと判別した場合には（ステップＳ２０５；ＮＯ）、続けて、読込んだ命令が「探索領域の設定」であるか否かを判別する（ステップＳ２０６）。

ステップＳ２０６において、映像オブジェクト軌跡合成装置１は、読込んだ命令が、「探索領域の設定」であると判別した場合には（ステップＳ２０６；ＹＥＳ）、図示しない入力手段によって、探索領域設定情報の入力を受け付け、初期探索領域設定手段１２１によって、第１の探索領域の位置及び形状を設定し（ステップＳ２０８）、ステップＳ２０１に戻る。一方、映像オブジェクト軌跡合成装置１は、読込んだ命令が「探索領域の設定」ではないと判別した場合には（ステップＳ２０６；ＮＯ）、設定モードの内容が「パラメータ目標値の設定」なので、図示しない入力手段によって、抽出条件情報の入力を受け付け、抽出条件設定手段１５によって、抽出条件（パラメータ目標値）を抽出条件記憶手段１４に設定し（ステップＳ２０７）、ステップＳ２０１に戻る。なお、抽出条件記憶手段１４に設定されたパラメータ目標値は、抽出条件表示手段１８に表示される。

次に、図３を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の動作モード処理（ステップＳ２０４）について説明する。この動作モード処理は、映像オブジェクトが移動を開始して停止するまで、具体的には、ピッチャーにより投球が開始されてキャッチャーが捕球を完了するまでに、映像オブジェクト軌跡合成装置１が実行する処理である。

まず、映像オブジェクト軌跡合成装置１は、フラグflgとカウントcntの初期値をそれぞれ０に設定する（ステップＳ３０１）。なお、フラグflgは、ボールの抽出を開始してから現時点までの抽出成功の有無を表すものであり、flg＝０は一度も抽出に成功していないことを表し、flg＝１は一度でも抽出に成功したことを表す。また、カウントcntは、最後に抽出に成功した時点から現在までのフィールド数、すなわち、現時点までに連続して抽出に失敗した回数を表す。
次に、映像オブジェクト軌跡合成装置１は、オブジェクト候補画像生成手段１３に入力される画像を最新の入力画面に更新する（ステップＳ３０２）。続いて、映像オブジェクト軌跡合成装置１は、オブジェクト候補画像生成手段１３によって、オブジェクト候補画像を生成する（ステップＳ３０３）。

ここで、オブジェクト候補画像生成手段１３には、３枚の連続した入力画像（過去、現在、未来）が入力される。オブジェクト候補画像生成手段１３は、差分画像生成手段１３３によって、現在の入力画像（画像記憶部１３１に記憶された画像：例えば奇数フィールド）の輝度から未来の入力画像（最新の入力画像：例えば奇数フィールド）の輝度を差し引いた輝度差を画素値とした差分画像１を生成する。また、オブジェクト候補画像生成手段１３は、差分画像生成手段１３４によって、現在の入力画像（画像記憶部１３１に記憶された画像：例えば奇数フィールド）の輝度から過去の入力画像（画像記憶部１３２に記憶された画像：例えば奇数フィールド）の輝度を差し引いた輝度差を画素値とした差分画像２を生成する。さらに、オブジェクト候補画像生成手段１３は、候補画像生成手段１３５によって、差分画像１，２が以下の条件を満たす領域を判別し、オブジェクト候補画像として抽出する。本実施形態では、抽出（追跡）対象とする映像オブジェクトがボールであり、ボールの輝度が背景画像の輝度よりも一般に高いので、式（２）と式（３）とが同時に満たされることがこのときの条件となる。

Ｉｍａｇｅ１（ｘ，ｙ）＞ Ｔ…（２）
Ｉｍａｇｅ２（ｘ，ｙ）＜ −Ｔ…（３）

ここで、前記式（２）及び（３）におけるＩｍａｇｅ１（ｘ，ｙ）を差分画像１の座標（ｘ，ｙ）に位置する画素の輝度値、Ｉｍａｇｅ２（ｘ，ｙ）を差分画像２の座標（ｘ，ｙ）に位置する画素の輝度値、Ｔを輝度閾値としている。
なお、対象とする映像オブジェクトの輝度が背景画像の輝度よりも低い場合には、式（４）と式（５）とを同時に満たすことを条件とする。

Ｉｍａｇｅ１（ｘ，ｙ）＜ −Ｔ…（４）
Ｉｍａｇｅ２（ｘ，ｙ）＞ Ｔ…（５）

映像オブジェクト軌跡合成装置１の動作について説明を続ける。
映像オブジェクト軌跡合成装置１は、ステップＳ３０３に続いて、ボール選定手段１６によって、オブジェクト候補画像から、ボールを選定するボール選定処理を実行する（ステップ３０４）。なお、このステップＳ３０４におけるボール選定処理の詳細な動作については、図４を参照して後で説明することとする。

映像オブジェクト軌跡合成装置１は、ステップＳ３０４に続いて、作画手段３１によって、映像オブジェクト（ボール）を示す画像（軌跡画像）を作画する（ステップＳ３０５）。このステップＳ３０５では、ステップＳ３０４で抽出したボールの位置（例えば、重心座標）に、ＣＧ（コンピュータ・グラフィックス）によりボールの軌跡を作画する。

そして、映像オブジェクト軌跡合成装置１は、画像合成手段３２によって、軌跡画像と、映像遅延手段２０により遅延された映像を構成する入力画像とを合成し、合成画像を生成する（ステップＳ３０６）。なお、画像合成手段３２が、この合成画像を連続して出力することで、映像オブジェクトの移動軌跡を映像に合成した合成映像が生成されることになる。

続いて、映像オブジェクト軌跡合成装置１は、現在のフィールド画像で映像オブジェクト（ボール）の抽出に成功したか否かを判別する（ステップＳ３０７）。映像オブジェクト（ボール）の抽出に成功したと判別した場合には、フラグflgを１に設定すると共に、カウントcntを０に設定する（ステップＳ３０８）。ステップＳ３０８に続いて、映像オブジェクト軌跡合成装置１は、ステップＳ３０４にて抽出したボールの位置（重心座標等）に基づいて、位置予測手段１７により、次に入力される画像におけるボールの位置を推定する（ステップＳ３０９）。そして、探索領域設定手段１２によって、第２の探索領域を設定若しくは移動させる。続いて、ステップＳ３０２に戻って、入力画面を更新し、推定した第２の探索領域内でボールの抽出を行う。この探索領域の推定には、最小自乗法及びカルマンフィルタを用いることができる。

映像オブジェクト軌跡合成装置１は、ステップ３０７において、映像オブジェクト（ボール）の抽出に失敗したと判別した場合には（ステップＳ３０７；ＮＯ）、続いて、フラグflgが１であるか否かを判別する（ステップＳ３１０）。フラグflgが１ではない（flg＝０）場合には（ステップＳ３１０；ＮＯ）、ステップＳ３０２に戻って、入力画面を更新する。この処理は、映像オブジェクト軌跡合成装置１が、ボールの最初の抽出に成功するまではボールの位置予測を実行せずに、現在の探索領域（第１の探索領域）においてボールを探索することを表している。

一方、フラグflgが１である場合には（ステップＳ３１０；ＹＥＳ）、カウントcntを＋１歩進する（インクリメントする）（ステップＳ３１１）。続いて、映像オブジェクト軌跡合成装置１は、カウントcntが所定の閾値thresよりも大きな値か否かを判別する（ステップＳ３１２）。閾値thresは抽出失敗限界数であり、カウントcntがこの閾値thresを超えた場合には（ステップＳ３１２；ＹＥＳ）、入力画面上からボールが消失している（ボールが捕球されてしまっている）として、映像オブジェクト軌跡合成装置１は、ボール追跡動作を終了する。そして、ボール追跡動作の終了後、映像オブジェクト軌跡合成装置１は、抽出したボールの各パラメータの平均値（輝度、面積、色、円形度）を算出し、抽出条件表示手段１８に表示する。映像オブジェクト軌跡合成装置１の操作者は、次の投球に備え、各パラメータの平均値を参考にして、次回のパラメータ目標値を適宜変更して、変更したパラメータ目標値を図示しない入力手段によって入力する。

一方、ステップＳ３１２において、カウントcntが所定の閾値thres以下の値である場合には（ステップＳ３１２；ＮＯ）、ステップＳ３０９に進む。この場合、過去に一度でもボールの抽出に成功しているので、位置予測手段１７で算出される予測位置に基づき、探索領域（第２の探索領域）が現時点の抽出の失敗に拘わらず移動されてゆく。したがって、ボールを見失った場合でも、この位置予測手段１７によりボールの再捕捉が可能となる。
以上の動作によって、映像オブジェクト軌跡合成装置１は、映像として時系列に入力されるフィールド画像から、追跡対象となる映像オブジェクト（ボール）を逐次抽出、追跡し、映像オブジェクトの移動軌跡を入力画像に合成した合成画像を出力することができる。

次に、図４を参照（適宜図１参照）して、映像オブジェクト抽出装置１０のボール選定手段１６におけるボール選定処理（図３のステップＳ３０４）の動作について説明する。
ボール選定手段１６は、ラベリング部１６１によって、オブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付す（ステップＳ４０１）。なお、以降の動作は、映像オブジェクトの候補に付された番号に基づいて、映像オブジェクトの単位で処理される。

ボール選定手段１６は、特徴量解析部１６２によって、ステップＳ４０１で番号付けされた映像オブジェクト毎に、オブジェクト候補画像の中から、抽出条件記憶手段１４に記憶されている抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、選択した映像オブジェクトの特徴量を解析（算出）して、映像オブジェクトの位置及び特徴量を抽出する（ステップＳ４０２）。映像オブジェクトの位置としては、例えば、映像オブジェクトの重心座標を用いる。また、映像オブジェクトの特徴量としては、映像オブジェクトの面積、輝度、色、円形度等を用いる。

ボール選定手段１６は、フィルタ処理部１６３によって、オブジェクト候補画像の中から、番号（ラベル）に基づいて、映像オブジェクトを選択し、フィルタ処理を行う（ステップＳ４０３）。すなわち、フィルタ処理部１６３は、選択された映像オブジェクトの「位置」が、位置予測手段１７により予測される範囲に適合するかどうかを判定する。ここで、「位置」による適合条件に合致する場合、フィルタ処理部１６３は、選択された映像オブジェクトの「面積」が、抽出条件記憶手段１４に記憶されている抽出条件に適合するかどうかを判定する。ここで、「面積」による適合条件に合致する場合、フィルタ処理部１６３は、映像オブジェクトの「色」が、抽出条件に適合するかどうかを判定する。また、「色」による適合条件に合致する場合、フィルタ処理部１６３は、映像オブジェクトの「輝度」が、抽出条件に適合するかどうかを判定する。また、「輝度」による適合条件に合致する場合、フィルタ処理部１６３は、映像オブジェクトの「円形度」が、抽出条件に適合するかどうかを判定する。さらに、「円形度」による適合条件に合致する場合、すなわち、すべて抽出条件に適合した場合、フィルタ処理部１６３は、先に選択した映像オブジェクトを、追跡対象の映像オブジェクトとして選択する。
ボール選定手段１６は、ステップＳ４０３に続いて、マスク領域判定部１６４によって、マスク判定処理を実行する（ステップＳ４０４）。なお、このステップＳ４０４におけるマスク判定処理の詳細な動作については、図５を参照して後で説明することとする。

ステップＳ４０４に続いて、ボール選定手段１６は、オブジェクト選択部１６５によって、予測位置座標に最も近い映像オブジェクトを追跡対象のボールとして選択する処理を行う（ステップＳ４０５）。これにより、すべてのフィルタを通過した映像オブジェクトが複数存在する場合にもボールを選定することができる。以上の動作によって、映像オブジェクト抽出装置１０は、ボール選定手段１６によって、オブジェクト候補画像の中から抽出条件に適した映像オブジェクト（ボール）を選択することができる。

次に、図５を参照（適宜図１参照）して、マスク領域判定部１６４のマスク判定処理（ステップＳ４０４）について説明する。
まず、マスク領域判定部１６４は、ラベル（番号）ｉの初期値を０に設定する（ステップＳ５０１）。次に、ラベルｉを＋１歩進する（インクリメントする）（ステップＳ５０２）。続いて、マスク領域判定部１６４は、ラベルｉがオブジェクト候補画像の数以下の値であるか否かを判別する（ステップＳ５０３）。ラベルｉがオブジェクト候補画像の数以下の値であると判定した場合には（ステップＳ５０３；ＹＥＳ）、続いて、ｉ番目のオブジェクト候補画像の重心がマスク領域内に存在するか否かを判別する（ステップＳ５０４）。ｉ番目のオブジェクト候補画像の重心がマスク領域内に存在すると判定した場合には（ステップＳ５０４；ＹＥＳ）、ｉ番目のオブジェクト候補画像をボールの候補から除外し（ステップＳ５０５）、ステップＳ５０２に戻る。
一方、ｉ番目のオブジェクト候補画像の重心がマスク領域内に存在しないと判定した場合には（ステップＳ５０４；ＮＯ）、マスク領域判定部１６４は、ステップＳ５０２に戻り、ラベルｉをインクリメントする。また、ラベルｉがオブジェクト候補画像の数を超えたと判定した場合には（ステップＳ５０３；ＮＯ）、処理を終了する。

次に、図６を参照して、設定モードの操作画面の表示例について説明する。図６は、操作画面の表示例を説明するための説明図である。図中、６０１で示す六角形の枠は、第１の探索領域を表している。この第１の探索領域６０１は、ピッチャーＰＴの前方やや上方に縦長に設定されている。これによれば、ピッチャーＰＴによって、ボールをリリースする地点が上下に変動するようなことがあったとしてもボールをリリースする地点が第１の探索領域６０１内に収まるので、ボールを安定に抽出することができる。なお、第１の探索領域６０１の形状は六角形に限らず、他の図形であってもよい。また、第１の探索領域６０１の大きさは任意の大きさに変わることが可能である。第１の探索領域６０１は、投球の前に、映像オブジェクト軌跡合成装置１の操作者により、予測されるボール出現位置へ設定される。これによれば、ピッチャーＰＴの投球フォームに柔軟に対応でき、確実な抽出が可能となる。
なお、投球が開始されて、第１の探索領域６０１内でボールの抽出に成功すると、位置予測手段１７によって予測されるボール位置を含むように第２の探索領域６０６が自動設定される。この第２の探索領域６０６の位置は、ボールに追従して移動され、自動更新される。第２の探索領域６０６は、第１の探索領域６０１と略同じ大きさであり、かつ、水平方向に高速で移動するボールに対応できるように横長（例えばアスペクト比２：１）の長方形の領域である。また、第２の探索領域を第１の探索領域６０１と同一の大きさ及び形状を有するものとしてもよい。

図６において、６０２〜６０４で示される枠は、それぞれマスク領域を表している。すなわち、この例では、マスク領域は３箇所設定されている。マスク領域６０２〜６０４は、投球の前に、映像オブジェクト軌跡合成装置１の操作者により、映像オブジェクトを抽出したくない位置（ノイズの発生頻度が高い部分、またボールが存在し得ない部分）に設定される。これによれば、マスク領域内で映像オブジェクトが抽出されても、ボールの候補からは除外される。

図６に示すマスク領域６０２は、バッターＢＴのヘルメットを中心にして設けられているので、この領域に移動する映像オブジェクトが存在していてもボールの候補からは除外される。その結果、ヘルメットの輝度が光の反射によって高くなったときに、ヘルメットがボールとして誤って検出されることを防ぐことができる。
また、マスク領域６０３は、キャッチャーＣＴを中心に設定されており、キャッチャーＣＴの動きは抽出すべき映像オブジェクトの候補から除外される。また、マスク領域６０４は、ピッチャーＰＴの腕を中心に設定されており、ピッチャーＰＴの腕の動きは抽出すべき映像オブジェクトの候補から除外される。このマスク領域６０３，６０４によれば、合成映像にピッチャーＰＴおよびキャッチャーＣＴの腕の動き等の残像が表示されることを防止することができる。

図６に示す６０５は、パラメータ目標値表示領域である。パラメータ目標値表示領域６０５には、パラメータ目標値が表示される。図示された表示例では、映像オブジェクト（ボール）のパラメータとして、輝度差分の閾値Ｔ、面積Ｓ、円形度Ｅ、赤の色相の値Ｒ、緑の色相の値Ｇ，青の色相の値Ｂの各目標値または目標範囲が表示されている。これによれば、映像オブジェクト軌跡合成装置１の操作者は、投球シーンの抽出条件を確認できるので、例えば、球場の天候やカメラのズーム量の変化に応じて各パラメータ目標値の設定を適宜変更することができる。その結果、ボールの抽出に失敗する確率を低減することができる。
なお、パラメータ目標値の表示方法は図６に示される文字表示に限定されずグラフによる表示でもよい。また、パラメータ目標値を音声で操作者に通知するようにしてもよい。

次に、図７を参照して映像オブジェクト軌跡合成装置１が、映像オブジェクトの軌跡を合成する例について説明する。図７は、映像オブジェクト（ボール）の移動軌跡を映像上に合成した例を説明するための説明図である。
ピッチャーＰＴがキャッチャーＣＴに向けて投げたボールは、所定のタイミングで位置座標（図では１０点）を抽出され、ボールＭ１乃至Ｍ１０の位置を経てキャッチャーＣＴのミットに収められる。このとき、映像オブジェクト軌跡合成装置１は、位置予測手段１７によって、当初は線形予測により、ボールの位置座標を予測する。曲線予測に十分な点数（例えば５点）の軌跡が抽出されると、位置予測手段１７は線形予測から曲線予測に切り替える。ここで、図８に示すボールＭ６とボールＭ７の間には、左バッターＢＴが介在している。ボールが左バッターＢＴのユニフォームにかかると、ボールの輝度とユニフォームの輝度との差が僅少なためにボールがブラインドされ、ボールの抽出に失敗することがある。このような場合にも、映像オブジェクト軌跡合成装置１は、位置予測手段１７により曲線予測を実行することによって、ボールＭ６から過去数点遡ったボールの移動軌跡によりボールＭ７の位置を予測することができる。したがって、動オブジェクト（左バッターＢＴ）によりブラインドされてボールの抽出に失敗した場合であっても、左バッターＢＴを越えた後のボールの予測位置が、線形予測のみで行う場合に比べて前フィールド（前フレーム）から滑らかに接続されて正確なものになる。

また、映像オブジェクト軌跡合成装置１では、前記のように、ボールの抽出に失敗した場合に、ボール選定手段１６が作画・画像合成手段３０にその旨を通知する。この場合、作画・画像合成手段３０は、図示しない補間手段によって、軌跡画像上にボールＭ６とボールＭ７との位置（例えば重心位置）から内挿によりボール位置を計算するので、作画手段３１によってボールＮ１を作画することができる。

以上説明したように、本実施形態の映像オブジェクト軌跡合成装置１により、野球中継の投球シーンの映像からボールを抽出し、ボールの軌跡を合成する合成映像を出力する場合、抽出を行いたくない部分にマスク領域を設定することにより、左バッターのヘルメット部分等、ノイズが発生しやすいシーンにおける誤抽出や、ボールが存在し得ない部分での誤抽出を無くすことができる。また、第１の探索領域６０１の形状を自由に変更することができるので、長身のピッチャーやピッチャーの投球姿勢の変化へ対応でき、抽出の失敗する確率を軽減できる。さらに、抽出条件の各パラメータ目標値を自由に変更することができるので、球場の明るさの変化やカメラ画角のズレ等に柔軟に対応でき、安定したボール追跡が可能となる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、ボール選定手段１６がフィルタ処理部１６３によって、オブジェクト候補を絞り込んだ後でマスク領域判定部１６４による処理を実行するものとしたが、マスク領域判定部１６４によってオブジェクト候補を除外した後にフィルタ処理部１６３による処理を実行するようにしてもよい。この場合には、オブジェクト候補画像生成手段１３によって生成されたオブジェクト候補画像のうち、マスク領域に重心が存在するものがオブジェクト候補から除外されるので、フィルタ処理部１６３の演算処理を低減することができる。

また、パラメータ目標値の変更は手動で行うものとして説明したが、自動更新するように構成してもよい。この場合には、例えば、１回の投球で抽出された“輝度、面積、色、円形度”についてのそれぞれの複数個のパラメータ値を平均したものを次の投球時の各パラメータ目標値として、抽出条件記憶手段１４に記憶された抽出条件を変更する。なお、本実施形態のように手動設定した場合には、操作者が操作画面でボールを確認することができるので、自動設定の場合に誤抽出した映像オブジェクト（ボール以外）をいつまでも追跡するような虞がないので好ましい。

また、本実施形態では、映像オブジェクトを野球のボールとして説明したが、例えばサッカーボール、テニスボール、ゴルフボール等他のスポーツで用いるボールであってもよい。更には、フィールド画像毎の重なりが生じない程度の高速で移動するものであればボールに限定されない。また、本実施形態では、入力画像の単位時間としてフィールドを用いたが、フレーム等、他の時間単位であってもよい。

本発明に係る映像オブジェクト軌跡合成装置の構成を示したブロック図である。 本発明に係る映像オブジェクト軌跡合成装置の全体動作を示すフローチャートである。 本発明に係る映像オブジェクト軌跡合成装置の動作モード処理を示すフローチャートである。 ボール選定手段におけるボール選定処理の動作を示すフローチャートである。 マスク領域判定部におけるマスク判定処理の動作を示すフローチャートである。 設定モードの操作画面の表示例を説明するための説明図である。 映像オブジェクトの移動軌跡を映像上に合成した例を説明するための説明図である。 従来の抽出操作画面の表示例を説明するための説明図である。

符号の説明

１ 映像オブジェクト軌跡合成装置
１０ 映像オブジェクト抽出装置
１１ マスク領域設定手段
１２ 探索領域設定手段
１３ オブジェクト候補画像生成手段
１４ 抽出条件記憶手段
１５ 抽出条件設定手段
１６ ボール選定手段（オブジェクト抽出手段）
１７ 位置予測手段
１８ 抽出条件表示手段
２０ 映像遅延手段
３０ 作画・画像合成手段
１２１ 初期探索領域設定手段（第１の探索領域）
１２２ 次期探索領域設定手段（第２の探索領域）
１２３ 探索領域移動手段
１６１ ラベリング部
１６２ 特徴量解析部
１６３ フィルタ処理部
１６４ マスク領域判定部
１６５ オブジェクト選択部
６０１ 第１の探索領域
６０２〜６０４ マスク領域
６０５ パラメータ目標値表示領域
６０６ 第２の探索領域

Claims (6)

1. 時系列に入力される画像から構成される映像に含まれる映像オブジェクトの位置を抽出する映像オブジェクト抽出装置であって、
   入力された画像から、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
   前記映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、前記入力された画像上に、前記マスク領域を少なくとも１つ設定するマスク領域設定手段と、
   前記生成されたオブジェクト候補画像の中から、前記抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す所定の抽出条件に基づいて、抽出すべき映像オブジェクトの位置及び前記映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト抽出手段と、
   追跡中の映像オブジェクトの位置としてその重心座標を記憶する記憶手段と、を有し、
   前記オブジェクト抽出手段は、
   前記オブジェクト候補画像が前記抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込むフィルタ処理手段と、
   前記絞り込まれたオブジェクト候補画像のうち、その重心座標が前記マスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力するマスク領域判定手段と、
   前記出力されたオブジェクト候補画像の情報を取得し、前記記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、前記追跡対象の映像オブジェクトとして選択し、前記選択した映像オブジェクトの位置を抽出し、前記記憶手段に書き込むオブジェクト選択手段と、
   を備えることを特徴とする映像オブジェクト抽出装置。
2. 前記入力画像中に、抽出すべき映像オブジェクトを探索するための探索領域を設定し、前記設定された探索領域の位置及び形状を、探索領域情報として前記オブジェクト候補画像生成手段へ出力する探索領域設定手段と、
   前記オブジェクト選択手段によって過去に抽出され前記記憶手段に記憶された映像オブジェクトの位置およびその位置座標の個数に基づいて、動きベクトルを利用した線形予測、または、最小自乗法で求めた２次曲線による曲線予測を実行することで、次に入力される画像内における前記映像オブジェクトの位置を予測する位置予測手段と、をさらに備え、
   前記探索領域設定手段は、
   前記映像オブジェクトの最初の抽出位置を探索するために入力手段により位置及び形状が入力された第１の探索領域を入力画像上に設定する第１の探索領域設定手段と、
   前記オブジェクト選択手段によって前記第１の探索領域内で前記映像オブジェクトの抽出に成功した場合に、前記位置予測手段により予測される位置を含むように第２の探索領域を入力画像上に設定する第２の探索領域設定手段と、
   前記第２の探索領域内で前記映像オブジェクトの抽出に成功した場合に、前記第２の探索領域を設定した入力画像の後に時系列に入力される画像において、前記オブジェクト選択手段によって過去に抽出された映像オブジェクトの抽出位置に基づいて前記位置予測手段により予測される位置に、前記第２の探索領域を移動させる探索領域移動手段と、
   を備えることを特徴とする請求項１に記載の映像オブジェクト抽出装置。
3. 前記所定の抽出条件を記憶する抽出条件記憶手段と、
   前記所定の抽出条件として、入力手段により入力された輝度差分閾値、面積、円形度、輝度及び色の少なくとも１つ以上の抽出条件を前記抽出条件記憶手段に設定する抽出条件設定手段と、
   前記抽出条件記憶手段に記憶された抽出条件を表示する抽出条件表示手段と、
   をさらに備え、
   前記オブジェクト抽出手段は、
   前記生成されたオブジェクト候補画像の中から、前記抽出条件記憶手段に記憶されている抽出条件に基づいて、抽出すべき映像オブジェクトの位置及び前記映像オブジェクトを特徴付ける特徴量を抽出することを特徴とする請求項１または請求項２に記載の映像オブジェクト抽出装置。
4. 時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置であって、
   請求項１乃至請求項３のいずれか１項に記載の映像オブジェクト抽出装置と、
   前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を描画した軌跡画像を生成する作画手段と、
   前記軌跡画像と前記時系列に入力される画像とを合成する画像合成手段と、
   を備えていることを特徴とする映像オブジェクト軌跡合成装置。
5. 時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成装置による映像オブジェクト軌跡合成方法であって、
   前記映像オブジェクト軌跡合成装置は、
   追跡中の映像オブジェクトの位置としてその重心座標を記憶する記憶手段と、オブジェクト候補画像生成手段と、マスク領域設定手段と、フィルタ処理手段と、マスク領域判定手段と、オブジェクト選択手段と、作画手段と、画像合成手段とを備え、
   前記オブジェクト候補画像生成手段によって、入力された画像から、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成ステップと、
   前記マスク領域設定手段によって、前記映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、前記入力された画像上に、前記マスク領域を少なくとも１つ設定するマスク領域設定ステップと、
   前記フィルタ処理手段によって、前記オブジェクト候補画像が前記抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す前記抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込むフィルタリングステップと、
   前記マスク領域判定手段によって、前記絞り込まれたオブジェクト候補画像のうち、その重心座標が前記マスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力するマスク領域判定ステップと、
   前記オブジェクト選択手段によって、前記出力されたオブジェクト候補画像の情報を取得し、前記記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、前記追跡対象の映像オブジェクトとして選択し、前記選択した映像オブジェクトの位置を抽出し、前記記憶手段に書き込むオブジェクト選択ステップと、
   前記作画手段によって、前記抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を描画した軌跡画像を生成する作画ステップと、
   前記画像合成手段によって、前記生成された軌跡画像と、前記時系列に入力される画像とを合成する画像合成ステップと、
   を含んで実行することを特徴とする映像オブジェクト軌跡合成方法。
6. 時系列に入力される画像から構成される映像に含まれる映像オブジェクトを抽出し、追跡すると共に、当該映像オブジェクトの移動軌跡を前記映像上に合成するために、追跡中の映像オブジェクトの位置としてその重心座標を記憶する記憶手段を備えたコンピュータを、
   入力された画像から、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段、
   前記映像オブジェクトの抽出を実行しない領域であるマスク領域の位置及び形状に関するマスク領域設定情報に基づいて、前記入力された画像上に、前記マスク領域を少なくとも１つ設定するマスク領域設定手段、
   前記オブジェクト候補画像が前記抽出すべき映像オブジェクトを特徴付ける特徴量の目標を示す前記抽出条件に合致する映像オブジェクトかどうかを判定することで、追跡対象となる映像オブジェクトを絞り込むフィルタ処理手段、
   前記絞り込まれたオブジェクト候補画像のうち、その重心座標が前記マスク領域内に存在するものを除いたオブジェクト候補画像の情報を出力するマスク領域判定手段、
   前記出力されたオブジェクト候補画像の情報を取得し、前記記憶手段に記憶された重心座標から予測される位置座標に最も近いオブジェクト候補を、前記追跡対象の映像オブジェクトとして選択し、前記選択した映像オブジェクトの位置を抽出し、前記記憶手段に書き込むオブジェクト選択手段、
   このオブジェクト選択手段によって抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を描画した軌跡画像を生成する作画手段、
   この作画手段で生成された軌跡画像と、前記時系列に入力される画像とを合成する画像合成手段、
   として機能させることを特徴とする映像オブジェクト軌跡合成プログラム。

Images