JP6677531B2 - オブジェクト追跡システム - Google Patents

オブジェクト追跡システム Download PDF

Info

Publication number
JP6677531B2
JP6677531B2 JP2016036781A JP2016036781A JP6677531B2 JP 6677531 B2 JP6677531 B2 JP 6677531B2 JP 2016036781 A JP2016036781 A JP 2016036781A JP 2016036781 A JP2016036781 A JP 2016036781A JP 6677531 B2 JP6677531 B2 JP 6677531B2
Authority
JP
Japan
Prior art keywords
image
light image
visible light
invisible light
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016036781A
Other languages
English (en)
Other versions
JP2017156796A (ja
Inventor
高橋　正樹
正樹 高橋
哲也 齋
哲也 齋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2016036781A priority Critical patent/JP6677531B2/ja
Publication of JP2017156796A publication Critical patent/JP2017156796A/ja
Application granted granted Critical
Publication of JP6677531B2 publication Critical patent/JP6677531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、高速移動するオブジェクト位置を追跡する技術に関し、特に、フレームレートを超える可動域を持つ物理オブジェクトを撮影して当該可動域の動きを追跡しその軌跡を可視光画像上で可視化するオブジェクト追跡システム、オブジェクト追跡装置及びそのプログラム、並びに、位置表示体付き物理オブジェクトに関する。
高速移動するオブジェクト位置を追跡可能とするオブジェクト追跡システムは、例えば、スポーツ映像を解析し、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することができる。また、工業的用途やセキュリティ用途など様々な用途に活用できる。
近年、パターン認識技術の向上と計算機の高速化により、映像内の特定オブジェクトを検出・追跡する技術の性能が高まっている。この技術の発展は特にスポーツシーン解析において顕著であり、ウィンブルドンでも使用されているテニスのホークアイシステムは、テニスボールを３次元的に追跡し、判定に絡むＩＮ／ＯＵＴの判定を行っている。また、２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。更に、サッカースタジアムヘ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムなど、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。
しかしながら、映像情報を入力とするこれらの映像解析技術では、可視の情報、及びフレームレートとして時間解像度３０フレーム／秒（ｆｐｓ）の情報を利用することが前提となっていることが多い。例えばフェンシング競技の剣先、バドミントン競技のシャトルなど、人間が視認できないほど高速に移動する物体は、画像上には極度のモーションブラーが発生する。そのため、映像情報のみからオブジェクト位置を正確に計測することは極めて困難である。
尚、３０ｆｐｓを超える高速で撮像するカメラ（ハイスピードカメラ）の利用やシャッター速度を高速化することでモーションブラーの発生を軽減することができるが、一般にハイスピードカメラは高価であり、またシャッター速度を速めると画像の輝度が低下するといった問題が生じる。このため、ハイスピードカメラを利用することなく、高速移動するオブジェクト位置を追跡可能とする技法が望まれる。
ところで、オブジェクトに位置計測用のセンサを実装してその動きを解析する技法がある。例えば、ゴルフ競技にてショットのシミュレーションを行う技法が開示されている（例えば、特許文献１参照）。特許文献１の技法では、スイングの速度や加速度計測によりボールの飛翔をシミュレートし、競技の練習に役立てることを目的としている。そのため、この技法は、競技進行の妨げとなる特殊な位置計測デバイスを利用することが前提の技術であり、実際の試合で活用することは難しい。即ち、スポーツ競技で使用するオブジェクトに位置計測用のセンサを実装し、オブジェクトの位置を追跡する技法を構成するには、競技の進行やプレーに影響を与えない範囲にとどめる技法が望まれる。
特開２００２−０５８８７３号公報
上述したように、従来からのスポーツシーンで現在運用されているボールや選手の追跡技術は、３０ｆｐｓのカメラで撮影した映像でもモーションブラーの発生がオブジェクトを検出できる程度に抑えられることを想定して設計されている。
しかしながら、極度のモーションブラーが発生している映像では、オブジェクトと背景の切り分けが困難であり、正確にオブジェクト位置を計測することができない。オブジェクトがさらに高速移動すると、画像上では視認できないほどオブジェクトが背景へ溶け込み、オブジェクトの検出自体が不可能となる。例えば、図１４に、モーションブラーの影響でフェンシング競技の剣先が背景に溶け込んだ或るフレーム時刻（フレーム番号ｔ）の可視光画像の例を示している。このとき、各競技者の剣の剣先を追跡対象のオブジェクトとして当該可視光画像から検出しようとしても、モーションブラーの影響でその剣先が背景に溶け込んでしまいオブジェクト位置を正確に検知することが困難となる。
ところで、フェンシング競技の公式試合では、図１５に示すように、競技者Ａの剣４が相手となる競技者Ｂのメタルジャケット５１を突いたか否かの判定は、電気審判器５０によって電気的に行われる。フェンシング競技にはフルーレ、エペ、サーブルの３種目があり、それぞれに試合器具や有効面、電気系統などが異なるが、図１５ではフルーレの電気系統図を概略的に示している。
フルーレでは、Ｐ線（ポイント線）、Ｂ線（ボディ線）、Ｅ線（アース線）の３本を通じて電気審判器５０から各競技者Ａ，Ｂの剣４に常に電流が流れている。典型的な剣４の構造は、競技者が把持するグリップ４１（専門用語として、ガード、ヒルト、及びポンネルからなる）と、主となる剣４を構成する柔軟性の有る筒棒状のブレード４２と、剣先を構成するポイントセット４３とから構成される。ブレード４２の基端はグリップ４１に固定され、その先端はポイントセット４３に連結される。通常、ポイントセット４３は、ブレード４２の先端から着脱可能となっている。
図１５において簡略断面図で示すポイントセット４３は、ポイント４３ａ、ポイントケース部４３ｂ、図示する例では螺合式のポイント受部４３ｃ、及びスプリング４３ｄから構成される。ポイントケース部４３ｂの基端側にブレード４２の先端が収容され、ポイントケース部４３ｂの先端側にポイント受部４３ｃが螺合される。ポイント４３ａは大小の円板を棒体の各端部に連結した構造となっており、図示するように断面略Ｔ字状を有する。そして、ポイント４３ａはポイント受部４３ｃに対し所定長で相対移動可能に係合しており、ポイント４３ａの基端側とブレード４２の先端側は所定の付勢力で蓄勢されたスプリング４３ｄが接続されている。尚、ポイント４３ａ、ポイントケース部４３ｂ、ポイント受部４３ｃ、スプリング４３ｄ、及びブレード４２は全て導電体（金属製）で構成されているが、ポイント４３ａは、ポイント受部４３ｃの内周面対向部分に対して絶縁体で電気的に分離されるよう保護されている。ただし、ポイント４３ａの基端部分はポイント受部４３ｃの基端部分との接触で電気的に導通可能となっている。
図１５に示す電流経路について説明するに、通常時では、図１６（ａ）に示すように、ポイント４３ａがポイント受部４３ｃから最大長で突出する方向にスプリング４３ｄによって付勢されている。この状態では、スプリング４３ｄにはＰ線からの電流を流す所定のコード（図示せず）が接続され、Ｐ線から、スプリング４３ｄ、ポイント４３ａ、ポイント受部４３ｃ、ポイントケース部４３ｂ、及びブレード４２を経て、Ｅ線へ向けて電流が流れている。
一方、競技者Ａの剣４のポイント４３ａが相手となる競技者Ｂのメタルジャケット５１を突いて接触した状態では、図１６（ｂ）に示すように、ポイント４３ａがポイントケース部４３ｂの内方へと押し込まれてポイント受部４３ｃと物理的及び電気的に分離され、Ｐ線から、導電体のメタルジャケット５１を経て、Ｂ線へ向けて電流が流れるようになる。
このようにして、電気審判器５０は、競技者Ａの剣４が相手となる競技者Ｂのメタルジャケット５１を突いたか否かの判定を電気的に行うよう構成されている。
このフェンシング競技の剣４は、ブレード４２が柔軟性を持って湾曲可能であり、その剣先は３０ｆｐｓを超えて高速移動するため、図１４に示したようにその可視光画像上では極度のモーションブラーが発生する。
このような３０ｆｐｓを超えて高速移動するオブジェクトの位置を計測するためには、オブジェクトに位置情報を発信するセンサを埋め込むことや、カメラ映像以外のセンシングデバイスを活用するなどの措置を施して、カメラ映像以外の情報からオブジェクトの位置情報を取得することが必要となる。ただし、ＧＰＳや加速度センサなどオブジェクトの位置・動きに関するセンサを埋め込んだ場合は、競技進行やプレーの妨げとなることが多く、センサ設置による悪影響を抑える工夫が必要となる。
更に、センシングデバイスを利用して高速移動オブジェクトの位置計測を行った場合でも、低フレームレートカメラではそのシルエットを捉えきれないフレームが生じ、ノイズオブジェクトを追跡対象として誤検出する可能性がある。この場合、センシングデバイスによるセンシング画像上のオブジェクト位置を予測しながら追跡する場合でも、映像解析技術でよく用いられる一般的なカルマンフィルタやパーティクルフィルタによる予測では、十分にオブジェクトの動き特徴を考慮できないことがあり、追跡困難となることが多い。
また、画像内で複数のオブジェクトを個別の追跡対象とする場合は、各々のオブジェクトを分離しながら追跡することが必要となり、個々のオブジェクトを区別してセンシングする技法が必要となり、各オブジェクトの軌道を混同させることなく、それぞれを別個に安定追跡する技法が望まれる。
本発明の目的は、上述の問題に鑑みて、例えばスポーツ競技にて競技進行やプレーの妨げを抑制した態様でセンシングデバイスを設け、肉眼で捉えることが難しい３０ｆｐｓを超えて高速移動する１つ又は複数の物理オブジェクトを撮影して、その画像からオブジェクト位置を自動計測して安定追跡させ、その動きをコンピュータグラフィクス（ＣＧ）の画像と合成し可視化するオブジェクト追跡システム、オブジェクト追跡装置及びそのプログラム、並びに、位置表示体付き物理オブジェクトを提供することにある。
本発明では、位置表示体付きの物理オブジェクト（実施形態の例では位置表示体付きのフェンシング競技の剣）を構成し、これを１台又は複数台の固定撮影カメラで動画撮影し、得られるセンシング画像（実施形態の例では赤外光画像や温度差分布画像を構成する非可視光画像）を用いてその画像内のオブジェクト（実施形態の例では剣先）を追跡し、得られる可視光画像に対しその動きをＣＧ合成して可視化する。尚、本願明細書中、「位置」とは予め定義された座標系の座標を意味しており、例えばオブジェクトの２次元位置とは２次元カメラ座標系のオブジェクトの位置座標を云い、オブジェクトの３次元位置とは３次元実空間座標系のオブジェクトの位置座標を云う。また、物理オブジェクトとは実物理体を意味しており、単にオブジェクトと称するときは撮像された撮像画像内の物理オブジェクトに対応する画像領域を云う。
位置表示体として赤外ＬＥＤ（Infrared Light Emission Diode）を利用するときは赤外線カメラ等によるオブジェクト位置計測を行う。
位置表示体として反射材を利用するときは照射型赤外線カメラ等によるオブジェクト位置計測を行う。
位置表示体として熱源材又は冷源材を利用するときはその温度差を利用したサーモカメラによるオブジェクト位置計測を行う。
また、高速移動する物体のシルエットを補足できないフレームが発生する場合もあるため、オブジェクトの移動経路を予測することにより、頑健にオブジェクト軌跡を追跡して描画するオブジェクト追跡装置を構成する。特に本発明に係るオブジェクト追跡装置は、複数のオブジェクトの軌跡を同時に描画することも可能とするため、それぞれのオブジェクトを分離しながら追跡するよう画像解析し、安定して複数のオブジェクトを追跡可能としている。
即ち、本発明のオブジェクト追跡システムは、フレームレートを超える可動域を持つ物理オブジェクトを撮影して当該可動域の動きを追跡しその軌跡を可視光画像上で可視化するオブジェクト追跡システムであって、当該可動域に所定の位置表示体を有する物理オブジェクトと、前記フレームレートで１以上の前記物理オブジェクトを固定位置にて可視光及び非可視光により撮影し、前記可視光による可視光画像及び前記非可視光による前記位置表示体の位置を追跡対象のオブジェクトとして示す非可視光画像を個別に生成する固定撮影手段と、現フレームの非可視光画像に対し、前記非可視光画像の過去のフレームから予測した当該追跡対象のオブジェクトの予測位置を示す予測位置情報を基に前記位置表示体の位置に対応するオブジェクトの位置を選定し、次フレームにおける当該追跡対象のオブジェクトの当該予測位置情報を生成し、現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画して前記可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡装置と、を備え、前記位置表示体は、赤外ＬＥＤ又は赤外光を反射する反射材で構成され、前記固定撮影手段は、前記可視光画像と前記非可視光画像を同一の光軸で撮影する一台のカメラよりなり、前記オブジェクト追跡装置は、前記同一の光軸で撮影した前記非可視光画像の画像座標を基に当該オブジェクト位置の軌跡を作画し、前記非可視光画像の画像座標を基にした当該オブジェクト位置の軌跡をそのまま前記可視光画像に重畳することにより、前記軌跡合成画像を生成することを特徴とする。
また、本発明のオブジェクト追跡システムは、フレームレートを超える可動域を持つ物理オブジェクトを撮影して当該可動域の動きを追跡しその軌跡を可視光画像上で可視化するオブジェクト追跡システムであって、当該可動域に所定の位置表示体を有する物理オブジェクトと、前記フレームレートで１以上の前記物理オブジェクトを固定位置にて可視光及び非可視光により撮影し、前記可視光による可視光画像及び前記非可視光による前記位置表示体の位置を追跡対象のオブジェクトとして示す非可視光画像を個別に生成する固定撮影手段と、現フレームの非可視光画像に対し、前記非可視光画像の過去のフレームから予測した当該追跡対象のオブジェクトの予測位置を示す予測位置情報を基に前記位置表示体の位置に対応するオブジェクトの位置を選定し、次フレームにおける当該追跡対象のオブジェクトの当該予測位置情報を生成し、現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画して前記可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡装置と、を備え、前記位置表示体は、赤外ＬＥＤ、赤外光を反射する反射材、遠赤外光を放射する熱源シート、及び遠赤外光を吸収する冷源シートのうちいずれかにより構成され、前記固定撮影手段は、前記可視光画像を撮影可能とする可視光用カメラと、前記非可視光画像を異なる光軸で撮影可能とする複数の非可視光用カメラよりなり、前記オブジェクト追跡装置は、前記複数の非可視光用カメラによりそれぞれ撮影した当該現フレームの非可視光画像に対し、それぞれの当該予測位置情報に基づいて、前記位置表示体の位置に対応するオブジェクトの位置を前記複数の非可視光用カメラ毎に選定し、次フレームにおける当該追跡対象のオブジェクトの位置を予測した当該予測位置情報をそれぞれ生成するオブジェクト追跡手段と、複数のオブジェクト追跡手段によってそれぞれ選定されたオブジェクトの位置に基づいて、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置を推定し、該３次元位置を基に前記可視光用カメラのカメラ座標に変換して現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画し、前記可視光用カメラにより撮影された現フレームの可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡描画手段と、を備えることを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記オブジェクト追跡装置は、射影変換を用いて前記複数の非可視光用カメラの画像における当該選定したオブジェクトの位置を実空間上の３次元位置に射影し、前記複数の非可視光用カメラの各々から該オブジェクトの位置へ向かう視線ベクトルを算出し、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定することを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が異なる波長の赤外ＬＥＤで構成され、前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の画素値の差異により、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が直線状であるか否かで異なる形状で赤外光を反射する反射材により構成され、前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の画素値を持つ領域形状に対し直線検出処理を施すことにより、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が異なる温度差分布を示す遠赤外光を放射する熱源シート又は遠赤外光を吸収する冷源シートにより構成され、前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の温度差分布の差異により、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記オブジェクト追跡装置は、前記現フレームの非可視光画像に対し、前記予測位置情報に基づいて前記位置表示体の位置に対応するオブジェクトの位置を選定する際に、前記現フレームの非可視光画像と直前フレームの非可視光画像との間で所定の閾値以上のレベル差が発生した領域を抽出し、当該抽出した領域にモルフォロジ処理を施したフレーム間差分画像を生成し、前記予測位置情報が示す予測位置を中心とする探索範囲を設定して該探索範囲内でオブジェクト候補の領域を１つ以上抽出し、前記予測位置から最も近い当該オブジェクト候補の領域の重心位置を前記追跡対象のオブジェクトの一として選定する手段を有することを特徴とする。
また、本発明のオブジェクト追跡システムにおいて、前記オブジェクト追跡装置は、現フレームから過去の所定数フレームにおける当該オブジェクトの位置を用いて曲線近似し、次フレームにおける当該オブジェクトの位置を予測した予測情報を生成することを特徴とする。
本発明によれば、肉眼や通常カメラ映像上での視認が難しい高速移動オブジェクトの動きを可視光画像上で可視化することが可能となる。例えば、フェンシング競技の剣先は肉眼では確認できないほど高速で移動するが、本発明によりその動きを可視光画像上で可視化することができる。尚、本発明はフェンシング競技などのスポーツ関連のみならず、工業的用途やセキュリティ用途、或いはオーケストラの指揮棒の軌跡表示や、刀などの小道具を使用したドラマ・映画での映像制作など、幅広い演出にも利用可能となる。
本発明による第１実施形態のオブジェクト追跡システムの概略構成を示すブロック図である。 （ａ），（ｂ）は、それぞれ本発明による第１実施形態のオブジェクト追跡システムにおける実施例１の位置表示体付き物理オブジェクトとして構成される剣先の説明図である。 本発明による第１実施形態のオブジェクト追跡装置の動作を示すフローチャートである。 （ａ）乃至（ｄ）は、本発明による第１実施形態のオブジェクト追跡装置における実施例１の動作説明図である。 本発明による第１実施形態のオブジェクト追跡装置における実施例１の動作説明図である。 （ａ），（ｂ）は、本発明による第１実施形態のオブジェクト追跡装置における実施例１の動作説明図である。 （ａ），（ｂ）は、それぞれ本発明による第１実施形態のオブジェクト追跡システムにおける実施例２の位置表示体付き物理オブジェクトとして構成される剣先の説明図である。 （ａ）乃至（ｄ）は、本発明による第１実施形態のオブジェクト追跡装置における実施例２の動作説明図である。 本発明による第１実施形態のオブジェクト追跡装置における実施例２の動作説明図である。 本発明による第２実施形態のオブジェクト追跡システムの概略構成を示すブロック図である。 本発明による第２実施形態のオブジェクト追跡装置の動作を示すフローチャートである。 本発明による第２実施形態のオブジェクト追跡装置における３次元位置計測部により視線ベクトルを算出する際の一例を説明する図である。 （ａ），（ｂ）は、それぞれ本発明による第２実施形態のオブジェクト追跡装置における３次元位置計測部により視線ベクトルを算出する際のカメラ座標系の入力画像と、その入力画像を実空間座標系の仮想平面に射影変換した際の射影変換画像の一例を示す図である。 高速移動する物理オブジェクトを撮影した可視光画像内で発生するモーションブラーの説明図である。 従来からのフェンシング競技におけるフルーレの概略構成を示す電気系統図である。 従来からのフェンシング競技における剣先の説明図である。
〔第１実施形態〕
以下、図１乃至図９を参照して、本発明による第１実施形態のオブジェクト追跡システム１を説明する。併せて、本発明による第１実施形態のオブジェクト追跡装置３、及び第１位置表示体７a（又は第２位置表示体７ｂ）付きの物理オブジェクトとして構成される剣４‐１（又は４‐２）を説明する。
（オブジェクト追跡システムの構成）
図１は、第１実施形態のオブジェクト追跡システム１の概略構成を示すブロック図である。オブジェクト追跡システム１は、所定のフレームレートを超える可動域を持つ第１位置表示体７a（又は第２位置表示体７ｂ）付きの物理オブジェクトとして構成される剣４‐１（又は４‐２）と、当該フレームレートで或る物理オブジェクトを固定位置にて動画撮影し可視光画像及び赤外光画像を個別に生成する可視光・赤外光共用固定撮影カメラ２と、オブジェクト追跡装置３と、から構成される。尚、本例では、１つ又は複数の追跡対象オブジェクトを、フェンシング競技における剣４‐１（又は４‐２）の剣先として説明するが、この物理オブジェクトの種類や個数について図示する例に限定する必要はない。
詳細に後述するが、第１実施形態では、第１及び第２位置表示体７ａ，７ｂとして２つの実施例が想定されている。実施例１の第１及び第２位置表示体７ａ，７ｂは、それぞれ異なる赤外波長（例えば７１０ｎｍ〜１０００ｎｍの範囲内）の赤外ＬＥＤで構成され、剣４‐１，４‐２のそれぞれの剣先近傍に設けられており、通常状態で常に発光している。一方、実施例２の第１及び第２位置表示体７ａ，７ｂは、それぞれ異なる撮影線分となるよう赤外光を乱反射する反射材で構成される。尚、第１及び第２位置表示体７ａ，７ｂは、他の機器へ能動的に機能しないものとする。そして、フェンシング競技における競技者Ａ，Ｂのプレーに与える影響を抑えるため、第１及び第２位置表示体７ａ，７ｂは、可視光・赤外光共用固定撮影カメラ２やオブジェクト追跡装置３等の他の機器とは物理的に接続の無い構成となっている。
可視光・赤外光共用固定撮影カメラ２は、赤外光画像と可視光画像とを別個に、同時、且つ同軸で動画撮影可能とする装置である（例えば、特許第４１７４０１８号明細書、特許第４４２６９９２号明細書参照）。特に、可視光・赤外光共用固定撮影カメラ２には、反射材で構成される実施例２の第１及び第２位置表示体７ａ，７ｂに対し赤外線を照射可能とする赤外光源が設けられている（図示せず）。尚、赤外ＬＥＤで構成される実施例１の第１及び第２位置表示体７ａ，７ｂに対してはこの赤外光源は使用しないため、この場合には、可視光・赤外光共用固定撮影カメラ２に赤外光源を設けていない構成でもよい。可視光・赤外光共用固定撮影カメラ２は、撮影領域を予め定めた実空間上で固定して設置している。
即ち、詳細に後述する実施例１，２のいずれの第１及び第２位置表示体７ａ，７ｂであっても、可視光・赤外光共用固定撮影カメラ２は、赤外光画像と可視光画像とを同時に、且つ同軸で動画撮影可能であり、それぞれの或るフレーム時刻ｔの赤外光画像ＩＲｔと可視光画像ＩＶｔを分離してオブジェクト追跡装置３に出力する。
（オブジェクト追跡装置の構成）
オブジェクト追跡装置３は、第１位置表示体７ａ（又は第２位置表示体７ｂ）付きの物理オブジェクト４‐１（又は４‐２）を可視光・赤外光共用固定撮影カメラ２によって撮影したセンシング画像（本例では赤外光画像ＩＲｔ）を用いて、その画像内のオブジェクト（剣先）を追跡及び予測し、得られる可視光画像ＩＶｔに対してその動き（軌跡）をＣＧ合成して可視化する装置である。より具体的には、オブジェクト追跡装置３は、オブジェクト候補抽出部３１、オブジェクト選定部３２、位置予測部３４、及び軌跡描画部３５を備える。オブジェクト選定部３２は、オブジェクト分離部３３を備える。尚、本例では、第１位置表示体７ａ（又は第２位置表示体７ｂ）付きの物理オブジェクト４‐１（又は４‐２）をフェンシング競技における剣としており、追跡対象のオブジェクトは、その剣先としている。このため、以下の説明では、２つの剣４‐１，４‐２（個別に区別しないときは総括して剣４）として説明する。
オブジェクト候補抽出部３１は、可視光・赤外光共用固定撮影カメラ２から入力される或るフレーム時刻（フレーム番号ｔ）の赤外光画像ＩＲｔに対し、直前のフレーム時刻（フレーム番号ｔ−１）の赤外光画像ＩＲｔ−１との間で所定の閾値以上のレベル差が発生した領域を抽出し、その抽出領域にモルフォロジ処理を施したフレーム間差分画像を生成する機能部である。
特に、オブジェクト候補抽出部３１は、そのフレーム間差分画像に対し後述する予測位置情報が示す予測位置周辺の探索範囲内で、各抽出領域を識別可能とするラベルを付すラベリング処理を施すとともに、当該各抽出領域の面積及び形状を基準に領域選別を行うフィルタリング処理を施すことにより、オブジェクト候補領域を抽出する機能を有する。尚、モルフォロジ処理とは、画像をいくつかの方向に画素単位でずらした画像群と、もとの画像との画像間演算によって、微小領域を除去し、抽出領域を成長させる（抽出領域を太らせる）処理である。
オブジェクト選定部３２は、オブジェクト候補抽出部３１によって抽出したオブジェクト候補領域の重心位置のうち当該予測位置情報が示す予測位置に対し最近位置のオブジェクト候補領域の重心位置を特定オブジェクト位置（２次元）として選定する機能部である。
また、オブジェクト選定部３２はオブジェクト分離部３３を有している。
オブジェクト分離部３３は、予測位置情報が示す予測位置周辺の探索範囲内で、実施例１の赤外ＬＥＤ７１による位置表示体７ａ，７ｂであればその画素値（及び／又は形状）で、実施例２の反射材による位置表示体７ａ，７ｂであれば直線検出処理（確率的ハフ変換）を施して、オブジェクト候補抽出部３１から得られるフレーム間差分画像（或いは、赤外光画像ＩＲｔでもよい）に対して、各オブジェクト候補領域を分離する。
位置予測部３４は、フレーム番号ｔから過去Ｍフレームまでの特定オブジェクト位置（２次元）を利用してスプライン曲線等で曲線近似し、次フレームの赤外光画像における特定オブジェクト位置を予測し、その２次元位置座標を示す予測位置情報を生成する機能部である。
軌跡描画部３５は、フレーム番号ｔから過去Ｌフレームまでの特定オブジェクト位置（２次元）を利用して軌跡ＣＧを作画し、可視光・赤外光共用固定撮影カメラ２から入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成する機能部である。
以下、実施例１，２のいずれの第１及び第２位置表示体７ａ，７ｂについて、それぞれの詳細な構成と、対応するオブジェクト追跡装置３の動作について順に説明する。
（実施例１）
図２（ａ）,（ｂ）には、フェンシング競技の競技者Ａの剣４の剣先に、実施例１の第１位置表示体７ａ（赤外ＬＥＤ７１）を埋め込んだ例を示している。フェンシング競技の競技者Ｂの剣４の剣先にも第２位置表示体７ｂ（赤外ＬＥＤ７１）を埋め込むことができる。尚、図２（ａ）,（ｂ）には、図１６（ａ）,（ｂ）と対比可能に同様な構成要素には同一の参照番号を付している。図２（ａ）,（ｂ）に示すように、実施例１の物理オブジェクトとして構成される剣４は、その剣先に赤外ＬＥＤ７１が埋め込まれ、この赤外ＬＥＤ７１を複数用いた赤外ＬＥＤアレイが第１位置表示体７ａ（又は第２位置表示体７ｂ）を構成している。
前述したように、フェンシングの公式試合では相手を突いたか否かの判定は電気的に行われる（図１５参照）。そして、剣先を構成するポイントセット４３におけるポイント４３ａが相手のメタルジャケット５１に当接し押し込まれるとＰ線からＥ線へ向かう電流の流れが止まり、Ｐ線からＢ線へ電流が流れる。一方、通常時はＰ線からＥ線へ向けて電流が流れているため、この電流を赤外ＬＥＤ７１の発光に利用することで、既存の審判システムに大きな変更を施すことなくオブジェクト（剣先）の位置を可視光・赤外光共用固定撮影カメラ２で検知可能にする。
従来からの図１５に示す剣先のポイントセット４３に関して、ポイント４３ａ及びポイント受部４３ｃは取り外すことが可能であり、尚且つポイント受部４３ｃには螺合式のものがあり分離できる。そこで、図２（ａ）,（ｂ）に示すように、赤外ＬＥＤ７１を組み込んだポイント受部４３ｃを従来のものと差し替えることで、比較的小さい構成変更により剣４を構成しその剣先位置を示す第１位置表示体７ａ（又は第２位置表示体７ｂ）として構成することができる。
図２（ａ）,（ｂ）に示すように、実施例１では、螺合式のポイント受部４３ｃを絶縁体（例えば合成樹脂材料）に変更する。そして、図２（ａ）,（ｂ）では１つの赤外ＬＥＤ７１のみ図示しているが、そのポイント受部４３ｃの先端側周面に複数の赤外ＬＥＤ７１を配設し赤外ＬＥＤアレイを構成する。１つの赤外ＬＥＤ７１の指向角が１２０°であれば３つの赤外ＬＥＤ７１をポイント受部４３ｃの先端側周面に配設することで３６０°の指向性が得られる。
複数の赤外ＬＥＤ７１を実装するＬＥＤ基板７２は、直列又は並列の複数の赤外ＬＥＤ７１のそれぞれのアノードからカソードへ電流を流すための２つの電極が設けられている。ＬＥＤ基板７２は、ポイント受部４３ｃの先端側周面に取着可能な柔軟性のある単一部材とするか、又は非柔軟性の複数部材で連結したものとすることができる。そして、ＬＥＤ基板７２は、ポイント受部４３ｃの先端側周面に貼着又は埋設するようにして固定される。
ポイント受部４３ｃがポイントケース部４３ｂの先端に螺合・取着させた状態では、ＬＥＤ基板７２の一方の電極がポイントケース部４３ｂの先端に接触し電気的に導通状態となるよう構成されている。また、ＬＥＤ基板７２の他方の電極には導線７３の一端が接続され、この導線７３の他端は、ポイント受部４３ｃの内部又は表面に案内されてポイント受部４３ｃの基端側に設けられた面状の接続端７３ａに接続されている（図示する例では、導線７３をポイント受部４３ｃの先端から基端に向けてその表面上に這わせている）。
次に、電流経路について説明する。図２（ａ）に示すように、通常時では、ポイント４３ａがポイント受部４３ｃから最大長で突出する方向にスプリング４３ｄによって付勢されている。この状態では、スプリング４３ｄにはＰ線からの電流を流す所定のコード（図示せず）が接続され、Ｐ線から、スプリング４３ｄ、ポイント４３ａ、導線７３、ＬＥＤ基板７２、ポイントケース部４３ｂ、及びブレード４２を経て、Ｅ線へ向けて電流が流れている。従って、図２（ａ）に示す通常時では、赤外ＬＥＤ７１を発光させることができる。
一方、競技者Ａの剣４のポイント４３ａが相手となる競技者Ｂのメタルジャケット５１を突いて接触した状態では、図２（ｂ）に示すように、ポイント４３ａがポイントケース部４３ｂの内方へと押し込まれて接続端７３ａと物理的及び電気的に分離され、Ｐ線から、導電体のメタルジャケット５１を経て、Ｂ線へ向けて電流が流れるようになる。
これは既存のポイントセット４３の電流の流れの方向と同じであり、当該実施例１の形態が審判に与える影響は少ない。この赤外ＬＥＤ７１の自発光による赤外光を可視光・赤外光共用固定撮影カメラ２によって撮影し、これによって、その動きを観測し剣先位置をカメラ座標系で計測する。観測対象が赤外ＬＥＤ７１による強力な発光源となるため、追跡処理を容易に実現できる。また赤外光は不可視であるため、その発光が競技者のプレーの障害になることもない。
通常、フェンシング競技の試合会場には他の赤外光源が存在しないため、オブジェクト追跡装置３は、可視光・赤外光共用固定撮影カメラ２によって撮影した赤外光画像から赤外ＬＥＤ７１の発光位置を探索することで剣４の剣先位置を計測することができる。赤外光画像上では赤外ＬＥＤ７１の発光以外の画素値（及び／又は形状）はゼロに近い値を取る。このため、モーションブラーが生じても背景に溶け込むことなく、剣４の剣先近傍の第１及び第２位置表示体７ａ，７ｂの位置（追跡対象のオブジェクト位置）を検出できる。
（実施例１のオブジェクト追跡装置の動作）
以下、実施例１の物理オブジェクトとして構成される剣４の剣先に赤外ＬＥＤ（第１及び第２位置表示体７ａ，７ｂ）が埋め込まれているときの図１に示す第１実施形態のオブジェクト追跡装置３における各機能部について、図３に示すフローチャートを基にその動作を詳細に説明する。
まず、オブジェクト追跡装置３は、可視光・赤外光共用固定撮影カメラ２から入力されるフレーム番号ｔの赤外光画像ＩＲｔ及び可視光画像ＩＶｔを所定のメモリ（図示せず）に一時保持する（ステップＳ１）。ここで、オブジェクト追跡装置３は、現フレーム（フレーム番号ｔ）の赤外光画像より以前に入力した予め定めた所定期間分（例えば、１秒〜１０秒程度に設定される固定期間）のフレームの画像についても、当該所定のメモリ（図示せず）に一時保持している。例えば図４（ａ）に示すように、フレーム番号ｔの可視光画像ＩＶｔに撮影される剣４の剣先近傍の第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）は、対応するカメラ座標位置で、赤外光画像ＩＲｔにて観測される。
続いて、オブジェクト追跡装置３は、オブジェクト候補抽出部３１により、フレーム番号ｔの赤外光画像ＩＲｔに対し、直前のフレーム時刻（フレーム番号ｔ−１）の赤外光画像ＩＲｔ−１との間で所定の閾値以上のレベル差が発生した領域を抽出し、モルフォロジ処理を施したフレーム間差分画像を生成する（ステップＳ２）。
例えば図４（ｂ）に示すように、フレーム間差分画像は、レベル差が小さいものほどゼロ値に近い画素値となり、隣接フレームの赤外光画像ＩＲｔ−１，ＩＲｔ間の所定の閾値以上のレベル差が発生した領域を抽出することができる。このとき、フレーム間差分画像内には、第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）を示す領域の他、微小ノイズ成分も現れている。そこで、フレーム間差分画像に対しモルフォロジ処理を施すことで抽出領域をより明確化させる。
尚、モルフォロジ処理とは、微小領域を除去し、抽出領域を成長させる処理である。例えば図４（ｃ）に示すように、モルフォロジ処理を施すことで、微小ノイズ成分が除去され、抽出領域を太らせることができる。一般的に、モルフォロジ処理では、抽出領域内に或る程度の画素値分布を持つ場合でも、この画素値分布に準じて平均的に領域成長させることができる。
続いて、オブジェクト候補抽出部３１は、そのフレーム間差分画像に対し位置予測部３４による予測位置情報が示す予測位置周辺の探索範囲内で、各抽出領域を識別可能とするラベルを付すラベリング処理を施すとともに、当該各抽出領域の面積及び形状を基準に領域選別を行うフィルタリングを施すことにより、オブジェクト候補領域を抽出する（ステップＳ３）。尚、オブジェクト候補領域を抽出後、ラベリング処理を施してもよい。また、フレーム間差分画像全体からオブジェクト候補領域を抽出後、予測位置周辺の探索範囲内でラベリング処理を施すこともできる。ただし、予め探索範囲内でのフィルタリング処理及びオブジェクト候補抽出処理とすることで、処理時間を短縮化させることができる。
続いて、オブジェクト追跡装置３は、追跡対象オブジェクトが複数であるときはオブジェクト分離部３３の機能を動作させ（ステップＳ４：Ｙｅｓ）、追跡対象オブジェクトが単数であるときはステップＳ６へ移行する（ステップＳ４：Ｎｏ）。
追跡対象オブジェクトが複数であるとき、オブジェクト分離部３３は、オブジェクト候補抽出部３１から得られるフレーム間差分画像（或いは、赤外光画像ＩＲｔでもよい）に対し、予測位置情報が示す予測位置周辺の探索範囲内で、実施例１の赤外ＬＥＤ７１による第１及び第２位置表示体７ａ，７ｂの画素値（及び／又は形状）で、各オブジェクト候補領域を分離する（ステップＳ５）。
フェンシング競技では２人の競技者がそれぞれ剣４‐１，４‐２を扱うため、赤外光画像内に２つの赤外ＬＥＤ７１による第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）を示す領域があり、それぞれを分離する必要がある。そこで、剣４‐１，４‐２のそれぞれについて赤外ＬＥＤ７１の発光波長を変えることで、赤外光画像ＩＲｔやフレーム間差分画像にて、画素値が変化するため（赤外光画像ＩＲｔをカラー表示で扱うときは色も異なる）、この情報を基に第１及び第２位置表示体７ａ，７ｂの各領域を分離できる。そして、画素値の変化に伴い、その領域形状も変化するため、第１及び第２位置表示体７ａ，７ｂの画素値及び／又は形状で、各オブジェクト候補領域を分離することができる。更に、予測位置情報が示す予測位置周辺の探索範囲内で探索することで、より分離精度を高めることができる。また、各第１及び第２位置表示体７ａ，７ｂの領域はそれぞれに別の移動軌跡を持つため、過去の位置座標から分離することも加味した構成としてもよい。
例えば図４（ｄ）に示すように、フレーム間差分画像に対し、予測位置情報が示す予測位置周辺の探索範囲内で、実施例１の赤外ＬＥＤ７１による第１及び第２位置表示体７ａ，７ｂの画素値（及び／又は形状）で、各オブジェクト候補領域を分離することができる。尚、各オブジェクト候補領域にはラベルが付されているため、分離した各オブジェクト候補領域をラベルで管理（追跡）することができる。
続いて、オブジェクト追跡装置３は、オブジェクト選定部３２により、オブジェクト候補抽出部３１によって抽出したオブジェクト候補領域の重心位置のうち当該予測位置情報が示す予測位置に対し最近位置のオブジェクト候補領域の重心位置を特定オブジェクト位置（２次元）として選定する（ステップＳ６）。
オブジェクト候補領域の重心位置は、式（１）により、追跡対象のオブジェクトが１つの場合、所定の閾値を超える画素値の水平・垂直座標（ｘｉ，ｙｉ）の平均を求めることでその領域の重心位置（ｘｍ, ｙｍ）を算出できる。ここでｎは閾値を超えた画素の総数である。
尚、２点以上のオブジェクトを検出する場合、１つのオブジェクト候補領域内に、複数の追跡対象のオブジェクトが位置する場合でも、フレーム間差分画像内のオブジェクト候補領域毎にラベリング処理を施しているため、個別のオブジェクトごとに各オブジェクト候補領域を分離して管理（追跡）することができる。
例えば図５に示すように、フレーム間差分画像に対し、オブジェクト候補抽出部３１によって抽出した１以上のオブジェクト候補領域の重心位置のうち当該予測位置情報が示す予測位置に対し最近位置のオブジェクト候補領域の重心位置を、それぞれの追跡対象のオブジェクト毎に特定オブジェクト位置（２次元）として選定することができる。また、予測位置に基づく探索範囲を設定することで、処理時間の短縮効果とノイズオブジェクトの除外効果が得られる。
続いて、オブジェクト追跡装置３は、位置予測部３４により、フレーム番号ｔから過去Ｍフレームまでの特定オブジェクト位置（２次元）を利用してスプライン曲線等で曲線近似し、次フレーム（フレーム番号ｔ＋１）の赤外光画像における特定オブジェクト位置を予測し、その２次元位置座標を示す予測位置情報を生成する（ステップＳ７）。
即ち、高速移動するオブジェクトを追跡する場合、極度のモーションブラーにより３０ｆｐｓの撮影カメラではオブジェクトのシルエットを捉えきれず、検出不能なフレームが数多く発生する。その間にノイズオブジェクトを追跡対象のオブジェクトとして誤検出しないよう、位置予測部３４は、スプライン曲線等で曲線近似することにより、そのオブジェクト位置を予測する。
スプライン曲線とは、与えられた複数の制御点を通る滑らかな曲線で、隣り合う点に挟まれた各区間に対し、個別の多項式を用いたものである。２次のスプライン曲線による曲線近似は、Ｂ−スプライン曲線として式（２）で表される（図６（ａ）参照）。
ここで、（ｘ１，ｙ１）〜（ｘ３，ｙ３）は過去３フレーム分の特定オブジェクト位置（２次元画像座標）を表す。３点のうち１点を制御点に利用し、３フレーム間でｔ（０≦ｔ≦１）を推移させることで、その間の座標を滑らかに補間する。ｔ＝０のとき（ｘ１，ｙ１）、ｔ＝１のとき（ｘ３，ｙ３）となる。過去３フレーム分の特定オブジェクト位置の距離により、このＢ−スプライン曲線を未来方向へ外挿補間することで、次フレームでの特定オブジェクト位置（ｘｐ，ｙｐ）を予測して定めることができる。尚、３点に基づくスプライン曲線として限定する必要はないが、実用上、３点で十分な性能が得られる。
そして、オブジェクト追跡装置３は、上記処理をフレーム毎に繰り返しながら、軌跡描画部３５により、フレーム番号ｔから過去Ｌフレームまでの特定オブジェクト位置（２次元）を利用して軌跡ＣＧを作画し、可視光・赤外光共用固定撮影カメラ２から入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成し出力する（ステップＳ８）。
図６（ｂ）には、フェンシングの剣先軌跡を示す軌跡合成画像Ｏｔと、曲線近似による未来の軌道予測の概念図を示している。予測したオブジェクト位置の周辺のみを探索範囲とすることにより、ノイズ領域の誤検出を抑え、頑健にオブジェクトを追跡することが可能となる。また、曲線近似による位置予測処理により、軌跡の平滑化や未来方向への外挿も可能となるため、軌跡の表現方法がより多彩となる。スプライン曲線は棒状の物体の先端の揺れなどを、物理法則を考慮して的確に表現できるため、本件の追跡対象においては一般的な予測手法であるカルマンフィルタやパーティクルフィルタより正確な位置予測が可能である。
第１実施形態では、可視光・赤外光共用固定撮影カメラ２によって赤外光画像と可視光画像とを光軸が等しい状態で得られるため、軌跡ＣＧを作成すれば、可視光画像を構成する映像上にそのまま合成することができる。また、赤外ＬＥＤ７１の発光に基づくオブジェクト追跡は、その赤外ＬＥＤ７１が輝度の高い自発光のため赤外光画像内で背景からオブジェクト領域を抽出しやすく、オブジェクトの位置計測に有利となる。しかしながら、競技者の剣先部分を通常用いられているものから付け替える必要があり、また電気審判器５０から流れる電流を利用するため、その判定に与える影響もゼロではない。このため、公式試合での活用にはルール改正が必要となるが、実質的な競技審判や競技者への妨げとはならないため、スポーツ技術の解析や、スポーツデータの生成・配信、コーチングなどのサービスには問題なく利用できる。
（実施例２）
ルール改正の必要性がほぼ必要ない形態として、図７（ａ），（ｂ）に示すように、実施例２の物理オブジェクトとして構成される剣４‐１，４‐２には、その剣先に反射材７５を貼付しており、この反射材７５がそれぞれの第１及び第２位置表示体７ａ，７ｂを構成している。ただし、反射材７５によるセンシングでは受信する赤外光が同一になるため各オブジェクト（第１及び第２位置表示体７ａ，７ｂの領域）を分離することができない。そこで、一方の剣４‐２の反射材７５を分割して貼付し、各オブジェクト位置（第１及び第２位置表示体７ａ，７ｂを示す領域）を区別する。
より具体的に、図７（ａ）にはフェンシング競技の競技者Ａの剣４‐１の剣先に、実施例２の第１位置表示体７ａとして反射材７５を貼付した例を示し、図７（ｂ）にはフェンシング競技の競技者Ｂの剣４‐２の剣先に、実施例２の第２位置表示体７ｂとしてその長尺方向に複数の反射材７５を貼付した例を示している。この反射材７５として、再帰性反射材を利用することができる。再帰性反射材は常に入射した方向に光を返す反射材であり、道路標識にも用いられている高い反射率を有する素材である。図７に示す例では、赤外光画像でのセンシング結果として、第１位置表示体７ａについては１本の略直線状の領域、第２位置表示体７ｂについては短い３本の略直線状の領域が検出されることになる。
反射材７５による剣先位置計測は、剣４へ電気的な加工を施す必要がなく、従来の道具をそのまま利用できる。フェンシング競技の規定では、試合で使用する剣４の先端に絶縁テープを１５ｃｍ以上巻き付ける必要があり、これをシート状の反射材７５で代用することができる。フェンシング競技のルールを変更する必要がないため、試合への導入は比較的容易である。
図１に示す可視光・赤外光共用固定撮影カメラ２は、赤外光画像と可視光画像とを別個に、同時、且つ同軸で動画撮影可能とする装置であり、反射材７５で構成される実施例２の第１及び第２位置表示体７ａ，７ｂに対し赤外線を照射可能とする赤外光源が設けられている。従って、この剣４に向けて赤外光を照射し、可視光・赤外光共用固定撮影カメラ２により赤外光画像を撮影することで、図１に示すオブジェクト追跡装置３は、その第１及び第２位置表示体７ａ，７ｂからの反射光の位置を検出し、剣先の位置を計測する。
（実施例２のオブジェクト追跡装置の動作）
以下、実施例２の物理オブジェクトとして構成される剣４の剣先に反射材７５（第１及び第２位置表示体７ａ，７ｂ）が貼付されているときの図１に示す第１実施形態のオブジェクト追跡装置３における各機能部について、前述した図３に示すフローチャートを基にその動作を詳細に説明する。
まず、オブジェクト追跡装置３は、可視光・赤外光共用固定撮影カメラ２から入力されるフレーム番号ｔの赤外光画像ＩＲｔ及び可視光画像ＩＶｔを所定のメモリ（図示せず）に一時保持する（ステップＳ１）。ここで、オブジェクト追跡装置３は、現フレーム（フレーム番号ｔ）の赤外光画像より以前に入力した予め定めた所定期間分（例えば、１秒〜１０秒程度に設定される固定期間）のフレームの画像についても、当該所定のメモリ（図示せず）に一時保持している。例えば図８（ａ）に示すように、フレーム番号ｔの可視光画像ＩＶｔに撮影される剣４の剣先近傍の第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）は、対応するカメラ座標位置で、赤外光画像ＩＲｔにて観測される。
続いて、オブジェクト追跡装置３は、オブジェクト候補抽出部３１により、前述したステップＳ３〜Ｓ５の処理を実行し、オブジェクト候補領域を抽出する。
例えば図８（ｂ）に示すように、フレーム間差分画像は、レベル差が小さいものほどゼロ値に近い画素値となり、隣接フレームの赤外光画像ＩＲｔ−１，ＩＲｔ間の所定の閾値以上のレベル差が発生した領域を抽出することができる。このとき、フレーム間差分画像内には、第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）を示す領域の他、微小ノイズ成分も現れている。そして、例えば図８（ｃ）に示すように、モルフォロジ処理を施すことで、微小ノイズ成分が除去され、抽出領域を太らせることができる。
続いて、オブジェクト追跡装置３は、追跡対象オブジェクトが複数であるときはオブジェクト分離部３３の機能を動作させ（ステップＳ４：Ｙｅｓ）、追跡対象オブジェクトが単数であるときはステップＳ６へ移行する（ステップＳ４：Ｎｏ）。
追跡対象オブジェクトが複数であるとき、オブジェクト分離部３３は、オブジェクト候補抽出部３１から得られるフレーム間差分画像（或いは、赤外光画像ＩＲｔでもよい）に対し、予測位置情報が示す予測位置周辺の探索範囲内で、実施例２の反射材７５による第１及び第２位置表示体７ａ，７ｂとして想定される領域形状を基に、各オブジェクト候補領域を直線検出処理（確率的ハフ変換）により分離する（ステップＳ５）。
図７に示す第１及び第２位置表示体７ａ，７ｂとして利用する反射材７５の例では、赤外光画像での検出結果として、第１及び第２位置表示体７ａについては１本の略直線状の領域、位置表示体７ｂについては短い３本の略直線状の領域が検出されることになる。これらの略直線状の領域を区別するために、後述する直線検出処理（確率的ハフ変換）を施す。これにより、各オブジェクトを区別しながら追跡することが可能となる。
例えば図８（ｄ）に示すように、フレーム間差分画像に対し、予測位置情報が示す予測位置周辺の探索範囲内で、実施例２の反射材７５による第１及び第２位置表示体７ａ，７ｂとして想定される領域形状（１本の直線状のオブジェクト領域であるか、３本の直線状のオブジェクト領域であるか）を基に、各オブジェクト候補領域を直線検出処理（確率的ハフ変換）により分離することができる。尚、各オブジェクト候補領域にはラベルが付されているため、分離した各オブジェクト候補領域をラベルで管理（追跡）することができる。
次に、直線検出処理（確率的ハフ変換）に関して説明する。平面上の一点を通る直線は無限に存在するため、ある画像上での１点を（ｘ１，ｙ１）とした場合、この点を通る全ての直線は、式（３）に従う。
式（３）は、（ｒ，θ）平面上の一つの正弦曲線に相当し、画像上の点が決まれば一意に決定できることを示している。２つの点に対応する曲線を重ね書きした場合、ハフ空間内において２つの曲線が交わる点は、画像上の或る直線に対応する。この直線は、先の２点を同時に通る。画像上における直線上の点の集合は、その直線に対応するハフ空間内の１点で交わるような正弦曲線の集合を生成する。このハフ変換の拡張版に確率的ハフ変換があり、画像の中から端点を持つ線分として線を検出する際に用いられる。長い１本の直線状オブジェクトと、短い３本の直線状オブジェクトを別々に検出することにより、２本の剣４（２つのオブジェクトの領域）を区別しながら頑健に追跡することが可能となる。
続いて、オブジェクト追跡装置３は、オブジェクト選定部３２により、前述したステップＳ６を実行し、特定オブジェクト位置（２次元）として選定する。
図９に示すように、例えば、フレーム間差分画像に対し、オブジェクト候補抽出部３１によって抽出したオブジェクト候補領域の重心位置のうち当該予測位置情報が示す予測位置に対し最近位置のオブジェクト候補領域の重心位置を、それぞれの追跡対象のオブジェクト毎に特定オブジェクト位置（２次元）として選定することができる。また、予測位置に基づく探索範囲を設定することで、処理時間の短縮効果とノイズオブジェクトの除外効果が得られる。ただし、第２位置表示体７ｂとして想定される領域形状として、３本の直線状のオブジェクト領域であると認識されるオブジェクト候補領域は１つの領域とみなして（連結領域として）前述した式（１）により重心位置を定める。
続いて、オブジェクト追跡装置３は、位置予測部３４により、前述したステップＳ７を実行し、次フレーム（フレーム番号ｔ＋１）の赤外光画像における特定オブジェクト位置を予測し、その２次元位置座標を示す予測位置情報を生成する。
即ち、オブジェクト追跡装置３は、高速移動するオブジェクトを追跡する場合、３０ｆｐｓの撮影カメラではモーションブラーの発生によりオブジェクトのシルエットを捉えきれず、オブジェクトの検出不能なフレームが数多く発生する。位置予測部３４は、その間にノイズオブジェクトを誤検出しないように、スプライン曲線等で曲線近似することにより、そのオブジェクト位置を予測する。
また、反射材７５で第１及び第２位置表示体７ａ，７ｂを構成すると、オブジェクト追跡装置３の受光量は、赤外ＬＥＤ７１を用いる場合と比較して明らかに少ない。このため、オブジェクト追跡装置３の赤外光画像内の画素値も小さくなる。また、撮影領域内に金属平面など他の反射素材が存在する場合、その反射光がノイズとなりオブジェクト追跡装置３の誤検出を誘発する。これらのノイズ成分を区別しながら、オブジェクト（第１及び第２位置表示体７ａ，７ｂの領域）を頑健に追跡することが必要となる。
そこで、前述したスプライン曲線を利用した予測を行い探索範囲を設定することにより、その検出精度を向上させることができる。
そして、オブジェクト追跡装置３は、上記処理をフレーム毎に繰り返しながら、軌跡描画部３５により、フレーム番号ｔから過去Ｌフレームまでの特定オブジェクト位置（２次元）を利用して軌跡ＣＧを作画し、可視光・赤外光共用固定撮影カメラ２から入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成し出力する（ステップＳ８）。
第１実施形態では、可視光・赤外光共用固定撮影カメラ２によって赤外光画像と可視光画像とを光軸が等しい状態で得られる。このため、軌跡ＣＧを作成すれば、可視光画像を構成する映像上にそのまま合成することができる。また、反射材７５に基づくオブジェクト追跡は、電気審判器５０による判定に与える影響もないため、公式試合での活用にも利用可能となる。
以上のように、本発明による第１実施形態によれば、実施例１，２の第１及び第２位置表示体７ａ，７ｂを利用して、例えばフェンシング競技の剣先など、肉眼や通常カメラ映像上での視認が難しい高速移動オブジェクトの動きを可視光画像上で可視化することが可能となる。
〔第２実施形態〕
以下、図１０乃至図１３を参照して、本発明による第２実施形態のオブジェクト追跡システム１、及びオブジェクト追跡装置３について説明する。
第２実施形態では、第１実施形態とは異なり、オブジェクト追跡システム１は、異なる光軸で複数の赤外光画像と１つの可視光画像を得てオブジェクト追跡を行う例である。赤外光画像と可視光画像の光軸が異なる場合、カメラ座標系が異なるため、３次元実空間上でのオブジェクト位置（剣先位置）を計測して可視光画像のカメラ座標に合致する２次元座標に変換し、可視光画像に軌跡を描画する。また、オブジェクト追跡システム１は、剣先の３次元位置を算出するために、２台以上の赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎ（Ｎは、２以上の整数）で、第１位置表示体７a（又は第２位置表示体７ｂ）付きの物理オブジェクトとして構成される剣４‐１（又は４‐２）を撮影し、オブジェクト追跡装置３は、それぞれの赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎから剣４‐１，４‐２の各剣先へ向かう２本の視線ベクトルを算出することで、剣４‐１，４‐２の各剣先の３次元位置を算出する。
（オブジェクト追跡システムの構成）
図１０は、第２実施形態のオブジェクト追跡システム１の概略構成を示すブロック図である。図１０において、図１と同様な構成要素には同一の参照番号を付している。オブジェクト追跡システム１は、複数台の赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎと、１台の可視光用固定撮影カメラ２ｂと、オブジェクト追跡装置３と、第１位置表示体７a（又は第２位置表示体７ｂ）付きの物理オブジェクトとして構成される剣４‐１（又は４‐２）とから構成される。尚、本例では、１つ又は複数の追跡対象オブジェクトを、フェンシング競技における剣４‐１（又は４‐２）の剣先として説明するが、この物理オブジェクトの種類や個数について図示する例に限定する必要はない。
第２実施形態においても、第１及び第２位置表示体７ａ，７ｂとして２つの実施例が想定されている。実施例１の第１及び第２位置表示体７ａ，７ｂは、それぞれ異なる赤外波長（例えば７１０ｎｍ〜１０００ｎｍの範囲内）の赤外ＬＥＤ７１で構成され（図２参照）、剣４‐１，４‐２のそれぞれの剣先近傍に設けられており、通常状態で常に発光している。一方、実施例２の第１及び第２位置表示体７ａ，７ｂは、それぞれ異なる撮影線分となるよう赤外光を乱反射する反射材７５で構成される（図７参照）。尚、第１及び第２位置表示体７ａ，７ｂは、他の機器へ能動的に機能しないものとする。そして、フェンシング競技における競技者Ａ，Ｂのプレーに与える影響を抑えるため、第１及び第２位置表示体７ａ，７ｂは、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎ、可視光用固定撮影カメラ２ｂ、及びオブジェクト追跡装置３等の他の機器とは物理接続の無い構成となっている。
赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎの各々は、反射材７５で構成される実施例２の第１及び第２位置表示体７ａ，７ｂに対し赤外線を照射可能とする赤外光源が設けられている。尚、赤外ＬＥＤで構成される実施例１の第１及び第２位置表示体７ａ，７ｂに対してはこの赤外光源は使用しないため、この場合には、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎの各々に赤外光源を設けていない構成でもよい。尚、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎ、及び可視光用固定撮影カメラ２ｂは、撮影領域を固定に設置され、全て撮影同期させている。
従って、実施例１，２の第１及び第２位置表示体７ａ，７ｂにおけるいずれであっても、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎの各々は赤外光画像ＩＲｔを、可視光用固定撮影カメラ２ｂは可視光画像ＩＶｔを、それぞれの光軸で同時に動画撮影可能であり、それぞれの或るフレーム時刻ｔの複数の赤外光画像ＩＲｔと可視光画像ＩＶｔを分離してオブジェクト追跡装置３に出力する。
（オブジェクト追跡装置の構成）
オブジェクト追跡装置３は、大別して、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎ、及び、１つのオブジェクト軌跡描画ユニット３ｂを備える。複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々は、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎの各々から赤外光画像ＩＲｔを入力し、それぞれの光軸で得られるオブジェクト（剣先）を追跡及び予測して特定オブジェクト位置を求め、オブジェクト軌跡描画ユニット３ｂに出力する。
そして、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々は、第１実施形態におけるオブジェクト候補抽出部３１と、オブジェクト選定部３２と、及びオブジェクト分離部３３を有する位置予測部３４と、を備えるよう構成されている。
従って、オブジェクト候補抽出部３１、オブジェクト選定部３２、オブジェクト分離部３３、及び位置予測部３４の各機能は、第１実施形態と同様である。
オブジェクト軌跡描画ユニット３ｂは、３次元位置計測部３６と、２次元位置変換部３７と、軌跡描画部３５と、を備える。
３次元位置計測部３６は、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々から得られる、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎのそれぞれのカメラ座標系で選定された２次元特定オブジェクト位置の情報を基に、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）を推定する機能部である。
２次元位置変換部３７は、３次元位置計測部３６によって推定した３次元位置（３次元オブジェクト位置）を、可視光用固定撮影カメラ２ｂのカメラ座標系の特定オブジェクト位置（２次元）に変換する機能部である。
軌跡描画部３５は、２次元位置変換部３７から得られるフレーム番号ｔから過去Ｌフレームまでの特定オブジェクト位置（可視光用固定撮影カメラ２ｂの２次元カメラ座標系）を利用して軌跡ＣＧを作画する。そして、軌跡描画部３５は、可視光用固定撮影カメラ２ｂから入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成する。
（オブジェクト追跡装置の動作）
以下、図１１に示すフローチャートを基にオブジェクト追跡装置の動作を詳細に説明する。
まず、オブジェクト追跡装置３は、複数の赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎの各々から入力されるフレーム番号ｔの赤外光画像ＩＲｔと、可視光用固定撮影カメラ２ｂから入力されるフレーム番号ｔの可視光画像ＩＶｔとを所定のメモリ（図示せず）に一時保持する（ステップＳ１１）。ここで、オブジェクト追跡装置３は、現フレーム（フレーム番号ｔ）の赤外光画像より以前に入力した予め定めた所定期間分（例えば、１秒〜１０秒程度に設定される固定期間）のフレームの画像についても、当該所定のメモリ（図示せず）に一時保持している。赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎによりそれぞれのフレーム番号ｔの可視光画像ＩＶｔに撮影される剣４の剣先近傍の第１及び第２位置表示体７ａ，７ｂ（追跡対象のオブジェクト）は、それぞれの対応するカメラ座標位置で、赤外光画像ＩＲｔにて観測される。
続いて、オブジェクト追跡装置３は、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々により、オブジェクト候補抽出部３１、オブジェクト選定部３２、オブジェクト分離部３３、及び位置予測部３４の各機能を実行する。
まず、オブジェクト候補抽出部３１は、第１実施形態と同様に、フレーム番号ｔの赤外光画像ＩＲｔに対し、直前のフレーム時刻（フレーム番号ｔ−１）の赤外光画像ＩＲｔ−１との間で所定の閾値以上のレベル差が発生した領域を抽出し、その抽出領域にモルフォロジ処理を施したフレーム間差分画像を生成する（ステップＳ１２）。
続いて、オブジェクト候補抽出部３１は、第１実施形態と同様に、そのフレーム間差分画像に対し位置予測部３４による予測位置情報が示す予測位置周辺の探索範囲内で、各抽出領域を識別可能とするラベルを付すラベリング処理を施すとともに、当該各抽出領域の面積及び形状を基準に領域選別を行うフィルタリングを施すことにより、オブジェクト候補領域を抽出する（ステップＳ１３）。
続いて、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々は、追跡対象オブジェクトが複数であるときはオブジェクト分離部３３の機能を動作させ（ステップＳ１４：Ｙｅｓ）、追跡対象オブジェクトが単数であるときはステップＳ１６へ移行する（ステップＳ１４：Ｎｏ）。
追跡対象オブジェクトが複数であるとき、オブジェクト分離部３３は、第１実施形態と同様に、予測位置情報が示す予測位置周辺の探索範囲内で、実施例１の赤外ＬＥＤ７１による第１及び第２位置表示体７ａ，７ｂであればその画素値（及び／又は形状）で、実施例２の反射材７５による第１及び第２位置表示体７ａ，７ｂであれば直線検出処理で、オブジェクト候補抽出部３１から得られるフレーム間差分画像（或いは、赤外光画像ＩＲｔでもよい）に対し、各オブジェクト候補領域を分離する（ステップＳ１５）。
続いて、オブジェクト選定部３２は、第１実施形態と同様に、オブジェクト候補抽出部３１によって抽出したオブジェクト候補領域の重心位置のうち当該予測位置情報が示す予測位置に対して、直前の位置のオブジェクト候補領域の重心位置を特定オブジェクト位置（２次元）として選定する（ステップＳ１６）。
続いて、位置予測部３４は、第１実施形態と同様に、フレーム番号ｔから過去Ｍフレームまでの特定オブジェクト位置（２次元）を利用してスプライン曲線等で曲線近似し、次フレーム（フレーム番号ｔ＋１）の赤外光画像における特定オブジェクト位置を予測し、その２次元位置座標を示す予測位置情報を生成する（ステップＳ１７）。
そして、複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎ（以下、個々を特定しないときは総括して「オブジェクト追跡ユニット３ａ」と称する）の各々は、上記処理をフレーム毎に繰り返しながら、赤外光用固定撮影カメラ２ａ‐１〜２ａ‐Ｎ（以下、個々を特定しないときは総括して「赤外光用固定撮影カメラ２ａ」と称する）のそれぞれのカメラ座標系で選定された２次元特定オブジェクト位置の情報をオブジェクト軌跡描画ユニット３ｂに出力する。
一方、オブジェクト軌跡描画ユニット３ｂは、３次元位置計測部３６により、複数のオブジェクト追跡ユニット３ａの各々から得られる、対応する複数の赤外光用固定撮影カメラ２ａのそれぞれのカメラ座標系で選定された２次元特定オブジェクト位置の情報を基に、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）を推定して算出する（ステップＳ１８）。
特に、３次元位置計測部３６は、射影変換を用いて複数のオブジェクト追跡ユニット３ａ‐１〜３ａ‐Ｎの各々から得られる２次元特定オブジェクト位置を実空間上の３次元位置に射影し、複数台の赤外光用固定撮影カメラ２ａの各々からそれぞれの２次元特定オブジェクト位置へ向かう視線ベクトルを算出する。そして、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定する。
１つの赤外光用固定撮影カメラ２ａではオブジェクトの３次元位置を特定することは不可能だが、少なくとも２つの２次元特定オブジェクト位置の画像座標を利用することで、三角測量の原理により実空間におけるオブジェクトの３次元位置を算出することができる。三角測量法で３次元位置を計算する場合、或る赤外光用固定撮影カメラ２ａからオブジェクトヘ向かう視線ベクトルとして、２本の視線ベクトルが必要となる。視線ベクトルの算出には、その視線ベクトルのベクトル上を通る３次元位置が少なくとも２点必要となる。
そこで、本実施形態の３次元位置計測部３６は、事前準備として、フィールドに対して垂直な予め定めた仮想平面を利用して、実空間上の特定位置を原点として予め計測しておく。そして、３次元位置計測部３６は、それぞれの赤外光用固定撮影カメラ２ａの画像を仮想平面へ射影するための射影変換行列を予め求めて、それぞれの赤外光用固定撮影カメラ２ａの実空間上の位置座標と共に、所定のメモリ（図示せず）に保持しておく。また、可視光用固定撮影カメラ２ｂの実空間上の位置座標についても所定のメモリ（図示せず）に保持しておく。
そして、３次元位置計測部３６は、まず、それぞれのオブジェクト追跡ユニット３ａから得られる２次元特定オブジェクト位置の情報と、これに対応するフレーム番号ｔとのそれぞれの赤外光画像とを入力し、射影変換行列を用いて、フレーム番号ｔのそれぞれの赤外光画像をそれぞれ仮想平面へ射影した実空間座標系の射影変換画像を生成し、当該２次元特定オブジェクト位置（赤外光用固定撮影カメラ２ａのカメラ座標系の２次元座標）に対応する実空間座標系の射影変換画像上の座標点をそれぞれ求める。そして、３次元位置計測部３６は、これら座標点と、対応するそれぞれの赤外光用固定撮影カメラ２ａの実空間上の設置位置座標を利用して、それぞれの赤外光用固定撮影カメラ２ａの視線ベクトルを算出する。
例えば、図１２に示すように、３次元位置計測部３６は、事前準備としてフィールドに対して垂直な競技場の側壁に設けた赤外光源、或いは反射材を用いた市松模様の基準パネルを仮想平面とした実空間座標（Ｘ，Ｙ，Ｚ）上の特定位置を原点（０，０，０）として定めておく。これにより、３次元位置計測部３６は、例えば赤外光用固定撮影カメラ２ａ‐１の実空間座標（ＸＣ１，ＹＣ１，ＺＣ１）と、赤外光用固定撮影カメラ２ａ‐２の実空間座標（ＸＣ２，ＹＣ２，ＺＣ２）を固定的に設定することができる。実空間上（３次元空間）上のオブジェクト位置の実空間座標（Ｘｂ，Ｙｂ，Ｚｂ）は、オブジェクト位置に対する赤外光用固定撮影カメラ２ａ‐１の視線ベクトルと、赤外光用固定撮影カメラ２ａ‐２の視線ベクトルとの交点（又は最近接点）から求めることができる。そして、３次元位置計測部３６は、対応するそれぞれの赤外光画像をそれぞれ仮想平面へ射影して生成された実空間座標系の射影変換画像を用いて、当該２次元特定オブジェクト位置（赤外光用固定撮影カメラ２ａのカメラ座標系の２次元座標）に対応する実空間座標系の射影変換画像上の座標点（Ｘｂ１，Ｙｂ１，０），（Ｘｂ２，Ｙｂ２，０）をそれぞれ求める。これにより、赤外光用固定撮影カメラ２ａ‐１，２ａ‐２の各視線ベクトルを算出することができる。図１３（ａ）に、或る赤外光用固定撮影カメラ２ａで得られるカメラ座標系の画像例と、図１３（ｂ）に、競技場の側壁を仮想平面とした実空間座標の射影変換画像の例を示している。尚、図１３では、可視光であれば撮影される画像を破線で示している。
射影変換とは、平面から平面へ写像する技法であり（例えば、「高橋、沼徳、青木、近藤、“投影画像の幾何補正に関する実験的検討”、計測自動制御学会東北支部、第２３５回研究集会、資料番号２３５‐５，２００７年５月１８日」参照）、その射影変換行列は、例えば、図１２に示す赤外光用固定撮影カメラ２ａ‐１について、その２次元特定オブジェクト位置のカメラ座標が（ｘｂ１，ｙｂ１）であるとすると、式（４）で表すことができる。
仮想平面は、３次元空間のＺ軸と平行で原点を通過する平面を仮定しているため常にＺ＝０となり、射影変換後の座標を求めることで視線ベクトル上の一点として定めることができる。尚、ｈ１，…，ｈ８は射影変換パラメータであり、射影変換行列Ｈは式（５）で表される。これら８つの射影変換パラメータは、画像間の４点以上の対応関係を得ることで求めることができる。例えば、事前準備として赤外光画像として得られる固定撮影映像から競技場の四隅に設置した赤外光源などの特徴点を４点以上指定し、フィールドを真上から見た映像へ変換する射影変換行列を作成しておき所定のメモリ（図示せず）に保持しておくようにする。
射影変換画像は仮想平面に対して垂直に作成されるため、赤外光画像内の全ての画素が対応する赤外光用固定撮影カメラ２ａに対して同じ奥行き値を持つ。即ち、射影変換画像上のオブジェクト位置（２次元座標）を指定することで、視線ベクトル上の特定オブジェクト位置の３次元座標を求めることができる。
そして、３次元位置計測部３６は、２台の赤外光用固定撮影カメラ２ａで視線ベクトルを求めると、その交点（又は最近接点）から追跡対象のオブジェクトの３次元位置（Ｘｂ，Ｙｂ，Ｚｂ）を算出する。追跡対象のオブジェクトの３次元位置（Ｘｂ，Ｙｂ，Ｚｂ）が求まると、可視光用固定撮影カメラ２ｂの３次元位置（ＸＣ０，ＹＣ０，ＺＣ０）は事前準備で定められているため、可視光用固定撮影カメラ２ｂのカメラ座標系の特定オブジェクト位置（２次元）に変換することができる。
Ｎ台の赤外光用固定撮影カメラ２ａでオブジェクトを撮影した場合、２台の赤外光用固定撮影カメラ２ａの組み合わせ個数はＮＣ２となる（Ｃ：コンビネーション）。例えば４台の赤外光用固定撮影カメラ２ａで撮影した場合は４Ｃ２＝６で、６通りの３次元オブジェクト位置を算出可能である。しかしながら、オクルージョン等より、必ずしも全ての組み合わせで高精度な位置計測が行われるとは限らない。そこで、３次元位置計測部３６は、求め得た複数の３次元オブジェクト位置に対し、その平均位置からの距離を計算して所定の閾値を超える距離を持つ３次元オブジェクト位置をエラー座標として除外する処理を少なくとも１回以上行い、残りの３次元オブジェクト位置の平均位置を、最終的な３次元オブジェクト位置として決定してもよい。
例えば、まず、全ての組み合わせＮＣ２個の３次元オブジェクト位置の座標を算出し、その平均値を得る。その後、平均位置と個別の３次元オブジェクト位置との距離を算出し、距離が所定の関値を超える場合はその位置座標をエラー座標とする。エラー座標を除いた３次元オブジェクト位置の座標で再び平均位置を算出し、その平均位置を最終的な３次元オブジェクト位置として決定する。
このようにして、ステップＳ１８にて、オブジェクト軌跡描画ユニット３ｂは、３次元位置計測部３６により、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）を推定して算出する。
続いて、オブジェクト軌跡描画ユニット３ｂは、２次元位置変換部３７により、３次元位置計測部３６によって推定した３次元位置（３次元オブジェクト位置）を、可視光用固定撮影カメラ２ｂのカメラ座標系の特定オブジェクト位置（２次元）に変換する（ステップＳ１９）。
続いて、オブジェクト軌跡描画ユニット３ｂは、軌跡描画部３５により、フレーム番号ｔから過去Ｌフレームまでの２次元位置変換部３７から得られる特定オブジェクト位置（可視光用固定撮影カメラ２ｂの２次元カメラ座標系）を利用して軌跡ＣＧを作画し、可視光用固定撮影カメラ２ｂから入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成し出力する（ステップＳ２０）。
本実施形態においても、予測したオブジェクト位置の周辺のみを探索範囲とすることにより、ノイズ領域の誤検出を抑え、頑健にオブジェクトを追跡することが可能となる。また、曲線近似による位置予測処理により、軌跡の平滑化や未来方向への外挿も可能となるため、軌跡の表現方法がより多彩となる。スプライン曲線は棒状の物体の先端の揺れなどを、物理法則を考慮して的確に表現できるため、本件の追跡対象においては一般的な予測手法であるカルマンフィルタやパーティクルフィルタより正確な位置予測が可能である。
第２実施形態では、赤外光画像と可視光画像とで光軸が異なるものの、第１実施形態と同様の作用・効果を得ることができる。
以上のように、本発明による第２実施形態によれば、例えばフェンシング競技の剣先など、肉眼や通常カメラ映像上での視認が難しい高速移動オブジェクトの動きを可視光画像上で可視化することが可能となる。
〔第３実施形態〕
前述した第２実施形態において、第１及び第２位置表示体７ａ，７ｂとして赤外ＬＥＤ７１を利用する実施例１や、第１及び第２位置表示体７ａ，７ｂとして反射材７５を利用する実施例１とする代わりに、第１及び第２位置表示体７ａ，７ｂとしてそれぞれ熱量の異なる態様で、遠赤外光を放射する熱源材又は遠赤外光を吸収する冷源材を利用する実施例３とすることができる。この場合、赤外光画像の代わりに温度差分布画像を扱う。
例えば、熱源シートを利用して剣４の剣先を過熱するか、もしくは、冷却シートを利用して剣４の剣先を冷却する。剣４のグリップ４１は通常、金属で剣先と連結しているため、グリップ４１やボディに熱源（冷源）シートへ電力供給する装置を設けておき、剣４全体の温度を変化させる構成とすることができる。
このような熱源シートの例として、例えば「シリコンラバーヒーター」（URL：http://www.hakko.co.jp/search2/search.cgi?mode=1&a=凝固防止・軟化工具&b=シリコンラバーヒーター）などがある。熱源シートの電力はボタン電池でまかなえるため、電源ケーブルは不要となり、選手へ与える負担は小さい。また審判器の電気回路と分離できるため、判定に与える影響もない。
このような熱源（冷源）材を利用する実施例３の第１及び第２位置表示体７ａ，７ｂを観測可能とするために、前述した第２実施形態における赤外光用固定撮影カメラ２ａの代わりに、サーモカメラを利用する。このようなサーモカメラの例として、例えば「サーモグラフィカメラ」（URL：http://www.argocorp.com/cam/special/Optris/Optris.html）などがある。
第３実施形態のオブジェクト追跡装置１では、周囲との温度差がある領域、もしくは熱源（冷源）シートで設定した温度の領域をサーモ画像上で抽出することで、剣４の全体領域や、その剣先の位置を計測することができる。そして、第２実施形態と同様に、第３実施形態のオブジェクト追跡装置１は、複数のサーモカメラで計測された特定オブジェクト位置を基に３次元位置を推定し、可視光用固定撮影カメラ２ｂのカメラ座標系の特定オブジェクト位置（２次元）に変換して軌跡ＣＧを作画し、可視光用固定撮影カメラ２ｂから入力されるフレーム番号ｔの可視光画像ＩＶｔに重畳して軌跡合成画像Ｏｔを生成する。
第３実施形態では、可視光画像と温度差分布画像とで光軸が異なるものの、第２実施形態と同様の作用・効果を得ることができる。従って、本発明による第３実施形態によれば、例えばフェンシング競技の剣先など、肉眼や通常カメラ映像上での視認が難しい高速移動オブジェクトの動きを可視光画像上で可視化することが可能となる。
尚、上述した各実施形態のオブジェクト追跡装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のオブジェクト追跡装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
以上、特定の実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前述した例では予測位置に探索範囲を予め定めた固定の所定サイズとする例を説明したが、この探索範囲は、当該所定サイズでオブジェクト候補領域を発見できない場合には、発見できるまで徐々に拡大する処理を施す処理としてもよい。これにより、より頑健な位置検出が可能となり、ブジェクト候補領域を発見できる限りにおいては、常に、予め定めた所定サイズの探索範囲とすることができるため、処理速度に悪影響を及ぼすこともほとんどない。
本発明によれば、高速移動する物理オブジェクトの動きについて、追跡精度、頑健性、及び処理速度性能を高くして安定的に自動追跡することが可能となるので、オブジェクト位置の判定又は追跡に関する用途に有用である。特に、スポーツ映像解析技術、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することが可能である。また映画・ＴＶ番組の制作などに幅広く応用可能である。例えば、本発明はフェンシング競技のみならず、オーケストラの指揮棒の軌跡表示や、刀などの小道具を使用したドラマ・映画での映像制作など、幅広い演出にも利用可能である。
１ オブジェクト追跡システム
２ 可視光・赤外光共用固定撮影カメラ
２ａ‐１，２ａ‐２，２ａ‐Ｎ 赤外光用固定撮影カメラ
２ｂ 可視光用固定撮影カメラ
３ オブジェクト追跡装置
３ａ‐１，３ａ‐２，３ａ‐Ｎ オブジェクト追跡ユニット
３ｂ オブジェクト軌跡描画ユニット
４，４‐１，４‐２ 剣
７ａ 第１位置表示体
７ｂ 第２位置表示体
３１ オブジェクト候補抽出部
３２ オブジェクト選定部
３３ オブジェクト分離部
３４ 位置予測部
３５ 軌跡描画部
３６ ３次元計測部
３７ ２次元位置変換部
４１ グリップ
４２ ブレード
４３ ポイントセット
４３ａ ポイント
４３ｂ ポイントケース部
４３ｃ ポイント受部
４３ｄ スプリング
５０ 電気審判器
５１ メタルジャケット
７１ 赤外ＬＥＤ
７２ ＬＥＤ基板
７３ 導線
７３ａ 接続端
７５ 反射材

Claims (8)

  1. フレームレートを超える可動域を持つ物理オブジェクトを撮影して当該可動域の動きを追跡しその軌跡を可視光画像上で可視化するオブジェクト追跡システムであって、
    当該可動域に所定の位置表示体を有する物理オブジェクトと、
    前記フレームレートで１以上の前記物理オブジェクトを固定位置にて可視光及び非可視光により撮影し、前記可視光による可視光画像及び前記非可視光による前記位置表示体の位置を追跡対象のオブジェクトとして示す非可視光画像を個別に生成する固定撮影手段と、
    現フレームの非可視光画像に対し、前記非可視光画像の過去のフレームから予測した当該追跡対象のオブジェクトの予測位置を示す予測位置情報を基に前記位置表示体の位置に対応するオブジェクトの位置を選定し、次フレームにおける当該追跡対象のオブジェクトの当該予測位置情報を生成し、現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画して前記可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡装置と、を備え、
    前記位置表示体は、赤外ＬＥＤ又は赤外光を反射する反射材で構成され、
    前記固定撮影手段は、前記可視光画像と前記非可視光画像を同一の光軸で撮影する一台のカメラよりなり、
    前記オブジェクト追跡装置は、前記同一の光軸で撮影した前記非可視光画像の画像座標を基に当該オブジェクト位置の軌跡を作画し、前記非可視光画像の画像座標を基にした当該オブジェクト位置の軌跡をそのまま前記可視光画像に重畳することにより、前記軌跡合成画像を生成することを特徴とするオブジェクト追跡システム。
  2. フレームレートを超える可動域を持つ物理オブジェクトを撮影して当該可動域の動きを追跡しその軌跡を可視光画像上で可視化するオブジェクト追跡システムであって、
    当該可動域に所定の位置表示体を有する物理オブジェクトと、
    前記フレームレートで１以上の前記物理オブジェクトを固定位置にて可視光及び非可視光により撮影し、前記可視光による可視光画像及び前記非可視光による前記位置表示体の位置を追跡対象のオブジェクトとして示す非可視光画像を個別に生成する固定撮影手段と、
    現フレームの非可視光画像に対し、前記非可視光画像の過去のフレームから予測した当該追跡対象のオブジェクトの予測位置を示す予測位置情報を基に前記位置表示体の位置に対応するオブジェクトの位置を選定し、次フレームにおける当該追跡対象のオブジェクトの当該予測位置情報を生成し、現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画して前記可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡装置と、を備え、
    前記位置表示体は、赤外ＬＥＤ、赤外光を反射する反射材、遠赤外光を放射する熱源シート、及び遠赤外光を吸収する冷源シートのうちいずれかにより構成され、
    前記固定撮影手段は、前記可視光画像を撮影可能とする可視光用カメラと、前記非可視光画像を異なる光軸で撮影可能とする複数の非可視光用カメラよりなり、
    前記オブジェクト追跡装置は、
    前記複数の非可視光用カメラによりそれぞれ撮影した当該現フレームの非可視光画像に対し、それぞれの当該予測位置情報に基づいて、前記位置表示体の位置に対応するオブジェクトの位置を前記複数の非可視光用カメラ毎に選定し、次フレームにおける当該追跡対象のオブジェクトの位置を予測した当該予測位置情報をそれぞれ生成するオブジェクト追跡手段と、
    複数のオブジェクト追跡手段によってそれぞれ選定されたオブジェクトの位置に基づいて、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置を推定し、該３次元位置を基に前記可視光用カメラのカメラ座標に変換して現フレームから過去の所定数フレームにおける当該オブジェクト位置の軌跡を作画し、前記可視光用カメラにより撮影された現フレームの可視光画像に重畳した軌跡合成画像を生成するオブジェクト追跡描画手段と、
    を備えることを特徴とするオブジェクト追跡システム。
  3. 前記オブジェクト追跡装置は、
    射影変換を用いて前記複数の非可視光用カメラの画像における当該選定したオブジェクトの位置を実空間上の３次元位置に射影し、前記複数の非可視光用カメラの各々から該オブジェクトの位置へ向かう視線ベクトルを算出し、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定することを特徴とする、請求項２に記載のオブジェクト追跡装置。
  4. 前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が異なる波長の赤外ＬＥＤで構成され、
    前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の画素値の差異により、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする、請求項１から３のいずれか一項に記載のオブジェクト追跡システム。
  5. 前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が直線状であるか否かで異なる形状で赤外光を反射する反射材により構成され、
    前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の画素値を持つ領域形状に対し直線検出処理を施すことにより、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする、請求項１から３のいずれか一項に記載のオブジェクト追跡システム。
  6. 前記物理オブジェクトが複数からなり、それぞれの当該物理オブジェクトの位置表示体が異なる温度差分布を示す遠赤外光を放射する熱源シート又は遠赤外光を吸収する冷源シートにより構成され、
    前記オブジェクト追跡装置は、前記非可視光画像における少なくとも所定の閾値以上の温度差分布の差異により、それぞれの当該位置表示体の位置に対応するオブジェクトの位置を分離して選定するオブジェクト分離手段を更に備えることを特徴とする、請求項１から３のいずれか一項に記載のオブジェクト追跡システム。
  7. 前記オブジェクト追跡装置は、前記現フレームの非可視光画像に対し、前記予測位置情報に基づいて前記位置表示体の位置に対応するオブジェクトの位置を選定する際に、
    前記現フレームの非可視光画像と直前フレームの非可視光画像との間で所定の閾値以上のレベル差が発生した領域を抽出し、当該抽出した領域にモルフォロジ処理を施したフレーム間差分画像を生成し、前記予測位置情報が示す予測位置を中心とする探索範囲を設定して該探索範囲内でオブジェクト候補の領域を１つ以上抽出し、前記予測位置から最も近い当該オブジェクト候補の領域の重心位置を前記追跡対象のオブジェクトの一として選定する手段を有することを特徴とする、請求項１から６のいずれか一項に記載のオブジェクト追跡システム。
  8. 前記オブジェクト追跡装置は、現フレームから過去の所定数フレームにおける当該オブジェクトの位置を用いて曲線近似し、次フレームにおける当該オブジェクトの位置を予測した予測情報を生成することを特徴とする、請求項１から７のいずれか一項に記載のオブジェクト追跡システム。
JP2016036781A 2016-02-29 2016-02-29 オブジェクト追跡システム Active JP6677531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016036781A JP6677531B2 (ja) 2016-02-29 2016-02-29 オブジェクト追跡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016036781A JP6677531B2 (ja) 2016-02-29 2016-02-29 オブジェクト追跡システム

Publications (2)

Publication Number Publication Date
JP2017156796A JP2017156796A (ja) 2017-09-07
JP6677531B2 true JP6677531B2 (ja) 2020-04-08

Family

ID=59810123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016036781A Active JP6677531B2 (ja) 2016-02-29 2016-02-29 オブジェクト追跡システム

Country Status (1)

Country Link
JP (1) JP6677531B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191488B (zh) * 2018-11-15 2023-06-27 中国电信股份有限公司 活体检测方法、装置、系统和计算机可读存储介质
CN110827240B (zh) * 2019-10-15 2023-09-12 中国铁路总公司 钢轨轮廓的定位方法及装置
JP6697150B1 (ja) * 2019-10-30 2020-05-20 株式会社Ｑｏｎｃｅｐｔ 軌道算出装置、軌道算出方法、軌道算出プログラム
KR20210116953A (ko) 2020-03-18 2021-09-28 삼성전자주식회사 타겟 트래킹 방법 및 장치
CN111914635B (zh) * 2020-06-23 2023-12-26 北京迈格威科技有限公司 人体测温方法、装置、系统和电子设备
CN114442624B (zh) * 2022-01-21 2022-12-23 美的集团(上海)有限公司 一种机器人的回充控制方法、装置及系统
JP7073595B1 (ja) 2022-02-21 2022-05-23 海渡 藤田 有効突判定装置、有効突判定方法、および有効突判定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0368379A (ja) * 1989-08-08 1991-03-25 Sumitomo Rubber Ind Ltd 運動解析装置
JPH07154777A (ja) * 1993-11-30 1995-06-16 Matsushita Electric Ind Co Ltd 画像処理装置およびテレビ電話装置
JP4181473B2 (ja) * 2003-10-15 2008-11-12 日本放送協会 映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP2013192591A (ja) * 2012-03-16 2013-09-30 Seiko Epson Corp 運動解析情報収集装置、運動解析装置及び運動解析方法

Also Published As

Publication number Publication date
JP2017156796A (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6677531B2 (ja) オブジェクト追跡システム
US11064107B2 (en) Objects trail-based analysis and control of video
JP6719465B2 (ja) 放送において風の特性及び影響を表示するためのシステム及び方法
CN103442773B (zh) 虚拟高尔夫模拟装置及其使用的感测装置与感测方法
US8805007B2 (en) Integrated background and foreground tracking
KR102168158B1 (ko) 레이더 및 촬상 요소를 포함하는 조립체
JP6641163B2 (ja) オブジェクト追跡装置及びそのプログラム
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR101723432B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
US20070105637A1 (en) Golf ball performance evaluation system
JP2021105887A (ja) ３ｄポーズ取得方法及び装置
Elaoud et al. Skeleton-based comparison of throwing motion for handball players
US20130094703A1 (en) Method for visualizing zones of higher activity in surveillance scenes
JP4109094B2 (ja) 球体の回転特性と飛行特性の測定方法
JP2022136803A (ja) ３ｄ位置取得方法及び装置
EP4358035A1 (en) Apparatus, systems and methods for shadow assisted object recognition and tracking
JP4881178B2 (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
Thomas Sports TV applications of computer vision
JP2004132831A (ja) 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置
BR102012028297B1 (pt) Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, e, meio de armazenamento legível por computador
CN107545589A (zh) 一种空间定位系统及方法
JP2021068330A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020107071A (ja) オブジェクト追跡装置及びそのプログラム
US11593956B2 (en) Detection device, processing device, equipment, detection method, and detection program
JP2003308514A (ja) 情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200313

R150 Certificate of patent or registration of utility model

Ref document number: 6677531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250