JP4956273B2 - 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム - Google Patents

Description

本発明は、投球の映像から当該投球を解析する技術に係り、特に、投球の球種を識別するための投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラムに関する。

野球では、ピッチャにより、ストレート、カーブ、フォークなどの様々な球種が用いられる。バッタに打たれるか否かは配球の組み立てにより決まることも多く、野球の知識のある視聴者は、次の球種を予想しながら視聴する。このように視聴者の球種の情報に対する関心は高く、中継番組内のスーパ表示、データ放送、インタネットなどで球種の情報が提供されている。また、球種の情報をメタデータとして保存すれば、後のシーン検索や、投球内容の解析に利用することが可能となる。

そして、従来、投球の軌跡を表示する装置が開示されている（特許文献１参照）。この装置は、画像認識技術を利用して、映像内からフィールドレートでボールの領域をリアルタイムで抽出・追跡し、得られた位置に軌跡を示すＣＧ（コンピュータグラフィックス）を描画する。これによって、変化球の落差などが一目で分かるため、視聴者に対して有益な情報を提供できる。

また、ストライクゾーンの判定を行う装置が開示されている（特許文献２参照）。この装置は、ホームベース付近を撮影した複数台のカメラの映像からボールがストライクゾーンに入ったかを画像処理で判定するものである。

更に、ゴルフ練習場において、プレイヤから移動するゴルフボールを画像処理により追跡し、ゴルフの飛距離や軌道などの特性を知らせる装置が開示されている（特許文献３参照）。
特開２００５−１２３８２４号公報（段落番号００２６〜００８６） 特開平９−２９００３７号公報（段落番号００１２〜００３３） 特表２００１−５２１４０３号公報

しかし、従来、球種は、ほとんどの場合、専門家が一球一球目視で確認して定めており、判定には高い野球の知識が要求される。また、人間が判定しているため、主観が混入する恐れがある。

また、特許文献１の装置は、投球の軌跡を一目で把握できるものの、それがどのような球種であるのかまでは判定できない。そのため、球種の判別は、軌跡を見た解説者や視聴者の判断に委ねられていた。

一方、特許文献２の装置は、ボールがストライクゾーンに入ったか否かを判定できるものの、球種まで判定することは不可能である。また、この装置では、複数台のカメラを設置する必要があるが、既存の放送用のカメラを１台だけで運用できることが好ましい。

そして、特許文献３の装置は、複数台のカメラが必要であり、単眼カメラでの球種判定に適用することができない。

本発明は、前記従来技術の問題を解決するために成されたもので、１台のカメラによって撮影された投球の映像から、その投球の球種を判定することができる投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の投球球種識別装置は、投球の映像から、当該投球の球種を識別する投球球種識別装置であって、識別器記憶手段と、投球軌跡解析手段と、特徴量算出手段と、識別手段とを備える構成とした。

かかる構成によれば、投球球種識別装置は、識別器記憶手段に、投球の映像を構成する時系列の画像内における投球の映像オブジェクトの位置の時系列の情報である軌跡データの抽出数、軌跡データが示す軌跡に対する近似直線の傾きである一次微係数、軌跡に対する近似曲線の曲率である二次微係数、時系列で最後に投球が抽出された画像から検出したホームベースの重心座標と投球の画像座標との相対位置である捕球位置、及び、軌跡データで隣り合う投球の画像座標の変化量である動きベクトルを示す特徴量と、各々の投球に予め対応付けられた当該投球の球種の情報とに基づいて複数の投球についてランダムフォレストにより機械学習された、特徴量から球種を識別するための識別器を予め記憶する。また、投球球種識別装置は、投球軌跡解析手段によって、球種の識別対象となる投球の映像を入力し、この映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、当該投球の軌跡データを生成する。

また、請求項１に記載の投球球種識別装置は、特徴量算出手段によって、投球軌跡解析手段によって生成された軌跡データから、特徴量を算出し、識別手段によって、識別器記憶手段に記憶された識別器を用いて、特徴量算出手段によって算出された特徴量から識別対象の投球の球種を識別する。

これによって、投球球種識別装置は、球種の識別対象となる投球の映像から軌跡データを生成し、投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつの特徴を示す特徴量を算出して、当該投球の球種を識別することができる。ここで、球種が既知である投球の軌跡データを用いて予め機械学習によって生成された、投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつの特徴を示す特徴量から球種を識別するための識別器を予め記憶しておくことで、投球球種識別装置は、この識別器を用いて、識別対象となる投球の特徴量から当該投球の球種を識別することができる。なお、投球の相対的な位置とは、投球同士の相対的な位置、軌跡の近似曲線のような複数の投球の位置を所定の方法により解析して得られたものの位置に対する投球の相対的な位置、あるいは、人物や映像内の物に対する投球の相対的な位置を示す。

また、請求項２に記載の投球球種識別装置は、請求項１に記載の投球球種識別装置において用いられる、球種を識別するための識別器を生成する識別器生成装置であって、投球軌跡解析手段と、特徴量算出手段と、学習手段とを有することとした。

かかる構成によれば、識別器生成装置は、投球軌跡解析手段によって、複数の投球の映像を入力して、各々の映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、当該画像内における投球の映像オブジェクトの位置の時系列の情報である軌跡データを生成する。ここで、識別器生成装置は、球種学習手段の、特徴量算出手段によって、投球軌跡解析手段で生成された軌跡データから、各々の投球について、特徴量として、軌跡データの抽出数と、軌跡データが示す軌跡に対する近似直線の傾きである一次微係数と、軌跡に対する近似曲線の曲率である二次微係数と、時系列で最後に投球が抽出された画像から検出したホームベースの重心座標と投球の画像座標との相対位置である捕球位置と、軌跡データで隣り合う投球の画像座標の変化量である動きベクトルとを算出し、学習手段によって、この特徴量算出手段で算出された複数の投球の特徴量と、各々の投球に予め対応付けられた球種の情報とに基づいて、特徴量から球種を識別するための識別器をランダムフォレストによって生成する。

これによって、識別器生成装置は、複数の軌跡データから、所定の基準により正規化された、投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつの特徴を示す特徴量を算出して、この特徴量と、当該投球に予め対応付けられた球種の情報とに基づいて、機械学習により、特徴量から球種を識別するための識別器を生成することができる。

更に、請求項３に記載の投球球種識別プログラムは、投球の映像を構成する時系列の画像内における投球の映像オブジェクトの位置の時系列の情報である軌跡データの抽出数、軌跡データが示す軌跡に対する近似直線の傾きである一次微係数、軌跡に対する近似曲線の曲率である二次微係数、時系列で最後に投球が抽出された画像から検出したホームベースの重心座標と投球の画像座標との相対位置である捕球位置、及び、軌跡データで隣り合う投球の画像座標の変化量である動きベクトルを示す特徴量と、各々の投球に予め対応付けられた投球の球種の情報とに基づいて複数の投球についてランダムフォレストにより機械学習されて識別器記憶手段に予め記憶された、特徴量から球種を識別するための識別器を用いて、投球の映像から当該投球の球種を識別するためにコンピュータを、投球軌跡解析手段、特徴量算出手段、識別手段として機能させることとした。

かかる構成によれば、投球球種識別プログラムは、投球軌跡解析手段によって、球種の識別対象となる投球の映像を入力し、この映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、当該投球の軌跡データを生成し、特徴量算出手段によって、投球軌跡解析手段によって生成された軌跡データから、特徴量を算出し、識別手段によって、識別器記憶手段に記憶された識別器を用いて、特徴量算出手段によって算出された特徴量から識別対象の投球の球種を識別する。

これによって、投球球種識別プログラムは、球種の識別対象となる投球の映像から軌跡データを生成して、当該投球の球種を識別することができる。

また、請求項４に記載の識別器生成プログラムは、請求項１に記載の投球球種識別装置において用いられる、球種を識別するための識別器を生成するためにコンピュータを、投球軌跡解析手段、特徴量算出手段と、学習手段として機能させることとした。

かかる構成によれば、識別器生成プログラムは、投球軌跡解析手段によって、複数の投球の映像を入力して、各々の映像を構成する時系列の画像内における投球の映像オブジェクトを抽出して、当該画像内における投球の映像オブジェクトの位置の時系列の情報である軌跡データを生成し、特徴量算出手段によって、投球軌跡解析手段によって生成された軌跡データから、各々の投球について、特徴量として、軌跡データの抽出数と、軌跡データが示す軌跡に対する近似直線の傾きである一次微係数と、軌跡に対する近似曲線の曲率である二次微係数と、時系列で最後に投球が抽出された画像から検出したホームベースの重心座標と投球の画像座標との相対位置である捕球位置と、軌跡データで隣り合う投球の画像座標の変化量である動きベクトルとを算出し、学習手段によって、この特徴量算出手段によって算出された複数の投球の特徴量と、各々の投球に予め対応付けられた球種の情報とに基づいて、特徴量から球種を識別するための識別器をランダムフォレストによって生成する。

これによって、識別器生成プログラムは、球種の情報が予め対応付けられた複数の投球の軌跡データに基づいて、機械学習により、軌跡データから球種を識別するための識別器を生成することができる。

本発明に係る投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項３に記載の発明によれば、球種の識別対象となる投球の映像から当該投球の球種を識別することができる。そのため、従来、球種に関する知識を有する専門家によって目視で判定されていた球種を、投球の映像から自動で判定することが可能になる。また、得られた球種の情報をメタデータとして映像に付与することで、映像検索のためのメタデータの生成を自動で行うこともできる。

請求項１又は請求項３に記載の発明によれば、球種の識別対象となる投球の映像から正規化された特徴量を算出して、当該投球の球種を識別することができる。そして、特徴量を正規化して求めることで、撮影時のカメラの動きや、球速の違いによるフレーム数の違い等の影響を排除した特徴量を算出することができ、より正確に球種を識別することができる。

請求項２又は請求項４に記載の発明によれば、機械学習により、軌跡データから球種を識別するための識別器を自動で生成することができる。請求項２又は請求項４に記載の発明によれば、機械学習により、正規化された特徴量から球種を識別するための識別器を自動で生成することができる。そして、特徴量を正規化して求めることで、撮影時のカメラの動きや、球速の違いによるフレーム数の違い等の影響を排除した特徴量を算出することができ、より正確に球種を識別できる識別器を生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明における識別器生成装置及び投球球種識別装置を備える球種判定システムについて説明する。

［球種判定システムの構成］
まず、図１を参照して、球種判定システムＳの構成について説明する。図１は本発明の識別器生成装置及び投球球種識別装置を備える球種判定システムの構成を示したブロック図である。球種判定システムＳは、複数の過去の投球の情報に基づいて、識別対象となる投球の球種を識別する識別器を生成し、当該球種を識別するものである。球種判定システムＳは、映像蓄積装置１ａ、１ｂと、識別器生成装置Ａと、投球球種識別装置Ｂとを備えて構成されている。更に、識別器生成装置Ａは、投球軌跡解析装置２ａと、軌跡データ蓄積装置３と、球種学習装置４とを備え、投球球種識別装置Ｂは、投球軌跡解析装置２ｂと、学習結果記憶装置５と、球種識別装置６とを備える。

映像蓄積装置１ａ、１ｂは、投球を撮像した映像を蓄積するもので、ハードディスク等の一般的な記憶手段である。ここに蓄積された映像は、投球軌跡解析装置２ａ、２ｂによって読み出される。ここで、映像蓄積装置１ａは、球種が既知である複数の投球の映像を記憶することとした。また、映像蓄積装置１ｂは、球種の識別対象となる投球の映像を記憶することとした。

投球軌跡解析装置２ａ、２ｂは、それぞれ映像蓄積装置１ａ、１ｂから入力された投球の映像内から投球の映像オブジェクトを抽出・追跡して、投球軌跡を示す軌跡データを生成するものである。この軌跡データは、映像のフレーム画像内の投球の映像オブジェクトの位置の時系列の情報であり、例えば、入力された映像のフレーム画像の横軸及び縦軸方向の２次元座標を時系列に並べたものである。ここで、投球軌跡解析装置（投球軌跡解析手段）２ａによって生成された軌跡データは、軌跡データ蓄積装置３に出力される。なお、ここで解析される投球は、予め専門家等によって球種が判定されているものとする。また、投球軌跡解析装置（投球軌跡解析手段）２ｂによって生成された軌跡データは、球種識別装置６に出力される。この投球軌跡解析装置２ａと、投球軌跡解析装置２ｂとは、映像の入力元と、軌跡データの出力先が異なるだけで、構成や機能は同一である。投球軌跡解析装置２ａ（２ｂ）の詳細な構成については後記する。

軌跡データ蓄積装置３は、投球軌跡解析装置２ａから入力された軌跡データに、予め判定された当該軌跡の球種の情報である球種データを対応付けて蓄積するもので、ハードディスク等の一般的な記憶手段である。ここに蓄積された軌跡データと球種データとは、球種学習装置４によって読み出される。

球種学習装置（球種学習手段）４は、軌跡データ蓄積装置３に記憶された軌跡データと、当該軌跡データに対応付けられた球種データとから、球種を識別する識別器を機械学習により生成するものである。ここでは、球種学習装置４は、軌跡データに基づいて投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつの特徴を示す特徴量を算出して、当該特徴量と球種データとから、特徴量に基づいて球種を識別する識別器を生成することとした。ここで生成された識別器である学習結果は、学習結果記憶装置５に記憶される。なお、球種学習装置４の詳細な構成については後記する。

ここで、従来、専門家が球種を判断する場合には、投球の映像を見ながら判断する場合が多い。投球の映像から球種を判断するための判断材料としては、球速の変化、軌道、ピッチャの投球フォームなどが挙げられる。但し、ピッチャが球種に応じて投球フォームを変えるとバッタに球種を推測される恐れがあるため、投球フォームを判断材料とすることが困難である。従って、投球の軌道や速度変化のみから球種を判定することが可能であることとし、球種学習装置４は、投球の映像から得られる軌跡データから、軌道や速度変化を解析して、球種を識別する識別器を生成することとした。

学習結果記憶装置（識別器記憶手段、識別器記憶装置）５は、球種学習装置４の学習結果である識別器を記憶するもので、ハードディスク等の一般的な記憶手段である。この学習結果は、球種識別装置６によって参照されて用いられる。

球種識別装置（球種識別手段）６は、投球軌跡解析装置２ｂによって生成された軌跡データに基づいて、学習結果記憶装置５に記憶された学習結果である識別器を用いて当該投球の球種を識別するものである。ここでは、球種識別装置６は、軌跡データに基づいて投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつの特徴を示す特徴量を算出して、当該特徴量に基づいて、学習結果記憶装置５に記憶された識別器を用いて球種を識別することとした。ここで識別された識別結果は、外部に出力される。なお、球種識別装置６の詳細な構成については後記する。

（投球軌跡解析装置の構成）
続いて、図２を参照（適宜図１参照）して、投球軌跡解析装置２ａ（２ｂ）の構成について説明する。図２は、本発明の識別器生成装置及び投球球種識別装置を備える球種判定システムの投球軌跡解析装置の構成を示したブロック図である。投球軌跡解析装置２ａ（２ｂ）は、オブジェクト候補画像生成手段２１と、ボール選定手段２２と、抽出条件記憶手段２３と、位置予測手段２４と、探索領域設定手段２５と、投球補間手段２６とを備える。

オブジェクト候補画像生成手段２１は、映像蓄積装置１ａ（１ｂ）から入力された映像から、その映像を構成するフィールド画像ごとに探索領域を切り出し、追跡対象となる映像オブジェクト（投球の画像）の候補を抽出したオブジェクト候補画像を生成するものである。このオブジェクト候補画像生成手段２１は、画像記憶部２１１、２１２と、差分画像生成部２１３、２１４と、候補画像生成部２１５とを備えて構成される。

なお、映像は、例えば、１秒間に６０枚のフィールド画像から構成されている。そこで、オブジェクト候補画像生成手段２１は、このフィールド画像の中から映像オブジェクトの候補を抽出し、２値化することで、その映像オブジェクトの候補だけからなる画像（オブジェクト候補画像）を生成する。このオブジェクト候補画像は、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像である。例えば、オブジェクト候補画像は、動きを伴った映像オブジェクト等、追跡対象となる映像オブジェクトを大まかに抽出した画像である。

画像記憶部２１１、２１２は、各種の信号／画像処理をするためのメモリであり、例えば、映像信号を１フィールド単位でデジタルデータとして記録するものである。画像記憶部２１１は、連続する３枚の入力されたフィールド画像のうち中間の位置（現在）のフィールド画像（奇数フィールドおよび偶数フィールド）を記憶する。ここで記憶される現在のフィールド画像は、画像記憶部２１２、差分画像生成部２１３、２１４及びボール選定手段２２に出力される。画像記憶部２１２は、連続する３枚のフィールド画像のうち最初の位置（過去）のフィールド画像（奇数フィールドおよび偶数フィールド）を記憶する。ここで記憶される過去のフィールド画像は、差分画像生成部２１４に出力される。

差分画像生成部２１３は、画像記憶部２１１からの遅延させたフィールド画像（現在のフィールド画像）の輝度から、新たに入力したフィールド画像（未来のフィールド画像）の輝度を差し引くことによって差分画像１を生成するものである。なお、ここでは、差分画像生成部２１３は、後記する探索領域設定手段２５から入力される探索領域についての差分画像１を生成することとした。ここで生成された差分画像１は、候補画像生成部２１５に出力される。

差分画像生成部２１４は、画像記憶部２１２からの遅延させたフィールド画像（過去のフィールド画像）の輝度から、画像記憶部２１１からの現在のフィールド画像の輝度を差し引くことによって差分画像２を生成するものである。なお、ここでは、差分画像生成部２１４は、後記する探索領域設定手段２５から入力される探索領域についての差分画像２を生成することとした。ここで生成された差分画像２は、候補画像生成部２１５に出力される

候補画像生成部２１５は、探索領域の全画素に対して差分画像１及び差分画像２を所定の輝度閾値と比較して、差分画像の画素値が予め定めた所定の条件を満たす場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”と判別することで２値化画像を生成するものである。なお、この所定の条件については後記する。これによって、候補画像生成部２１５は、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成された２値化画像は、映像オブジェクトの候補を抽出したオブジェクト候補画像として、ボール選定手段２２に出力される。

ボール選定手段２２は、オブジェクト候補画像生成手段２１で生成されたオブジェクト候補画像の中から、抽出条件記憶手段２３に記憶されている抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここでは、ボール選定手段２２は、ラベリング部２２１と、特徴量解析部２２２と、フィルタ処理部２２３と、オブジェクト選択部２２４とを備えて構成される。

ラベリング部２２１は、オブジェクト候補画像生成手段２１で生成されたオブジェクト候補画像（２値化画像）の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部２２１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされる。ここでラベリングされたオブジェクト候補画像は、特徴量解析部２２２に出力される。

特徴量解析部２２２は、ラベリング部２２１で番号付けされた映像オブジェクトの候補ごとに、映像オブジェクトの候補の位置座標や、映像オブジェクトの面積、輝度、色及び円形度などの特徴量（パラメータ）の値を算出するものである。ここで算出された位置座標及び特徴量は、フィルタ処理部２２３に出力される。

位置は、例えば、映像オブジェクトの重心位置を示す。面積は、例えば、映像オブジェクトの画素数を示す。また、輝度は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、色は、映像オブジェクトにおける各画素のＲＧＢ値の平均値を示す。また、円形度は、映像オブジェクトの円形の度合いを示すものであって、円形に近いほど大きな値を有する。例えば、映像オブジェクトがボールのような円形の形状を有する場合には、円形度は１に近い値になる。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、以下の（１）式で表される。
ｅ＝４πＳ／Ｌ^２ …（１）

フィルタ処理部２２３は、特徴量解析部２２２が算出したパラメータの値を用いて、抽出条件記憶手段２３に記憶されている抽出条件情報に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。すなわち、このフィルタ処理部２２３は、映像オブジェクトの候補ごとに、抽出条件記憶手段２３に記憶されている抽出条件（例えば、面積、輝度、色及び円形度）や、後記する位置予測手段２４による予測位置に基づいて、特徴量解析部２２２で解析された特徴量をフィルタ（位置フィルタ、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）にかけることで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトの候補として選択する。

なお、画像記憶部２１１に記憶された現在のフィールド画像（奇数フィールドおよび偶数フィールド）は前記のようにボール選定手段２２に出力されており、フィルタ処理部２２３は、入力されたフィールド画像を１フレーム（２フィールド）分遅らせた画像を参照画像としてフィルタ処理を行う。

オブジェクト選択部２２４は、すべてのフィルタを通過した映像オブジェクトの中で、直前のフレーム画像から抽出された映像オブジェクトの位置座標に最も近い映像オブジェクトの候補をボールとして選択するものである。ここで抽出した映像オブジェクトの位置は、現在の映像オブジェクトの位置情報として、抽出条件記憶手段２３に記憶されるとともに、投球補間手段２６に出力される。ここで映像オブジェクトの位置には、映像オブジェクトの重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。なお、オブジェクト選択部２２４は、抽出条件に適合した映像オブジェクトを選択できなかった場合は、その旨（抽出失敗）を投球補間手段２６に通知する。

抽出条件記憶手段２３は、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶手段である。この抽出条件記憶手段２３は、種々の抽出条件を示す抽出条件情報と、映像オブジェクトの位置を示す位置情報とを記憶している。

抽出条件情報は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報は、ボール選定手段２２のフィルタ処理部２２３が、オブジェクト候補画像生成手段２１で生成されたオブジェクト候補画像から抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。

なお、抽出条件情報には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを記憶しておく。これによって、ボール選定手段２２の各フィルタは、閾値外の値（特徴）を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

抽出条件記憶手段２３に記憶される位置情報は、追跡している映像オブジェクトの位置を示す情報である。この位置情報は、例えば、映像オブジェクトの重心座標とする。この重心座標は、ボール選定手段２２の特徴量解析部２２２によって算出される。なお、この位置情報は、後記する投球補間手段２６が抽出に失敗した投球の位置を補間する際に参照されるとともに、フィルタ処理部２２３によるフィルタ処理において抽出条件情報に合致する映像オブジェクトが複数存在する場合に、オブジェクト選択部２２４によって、位置情報で示した座標に最も近い映像オブジェクトを、抽出すべき映像オブジェクトとして決定するための抽出条件としても利用される。

位置予測手段２４は、ボール選定手段２２で選定された映像オブジェクトの位置（重心座標等）に基づいて、次に入力されるフィールド画像における映像オブジェクトの位置を予測し、予測された位置情報を探索領域設定手段２５に出力するものである。位置予測手段２４は、線形予測部２４１と、曲線予測部２４２と、切替部２４３とを備えて構成される。

線形予測部２４１は、所定数の連続したフィールド画像から抽出された映像オブジェクトの軌跡が直線になると仮定し、ボール選定手段２２のオブジェクト選択部２２４によって求められた位置情報に基づいて、動きベクトルを利用して、次に入力されるフィールド画像内の映像オブジェクトの位置を予測するものである。ここで予測された位置情報は、後記する切替部２４３の切り替えに応じて、探索領域設定手段２５に出力される。

この線形予測部２４１は、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を適用することで、次フィールド画像（次フレーム）における映像オブジェクトの位置を予測する。カルマンフィルタは、時系列に観測される観測量に基づいて現在の状態を推定する「濾波」と、未来の状態を推定する「予測」とを行う漸化式を適用することで、時々刻々と変化する状態を推定するものである。

曲線予測部２４２は、所定数の連続したフィールド画像から抽出された映像オブジェクトの軌跡が最小自乗法で求めた２次曲線になると仮定し、ボール選定手段２２のオブジェクト選択部２２４によって求められた位置情報に基づいて、次に入力されるフィールド画像内の映像オブジェクトの位置を予測するものである。ここで予測された位置情報は、後記する切替部２４３の切り替えに応じて、探索領域設定手段２５に出力される。

この曲線予測部２４２は、ボール選定手段２２のオブジェクト選択部２２４から映像オブジェクトの位置情報が入力される度に、曲線予測に利用する２次曲線（ｙ＝ａｘ^２＋ｂｘ＋ｃ）を更新するとともに、２次曲線の係数ａ、ｂを監視しており、係数ａ、ｂの符号が変化したか否か、及び、係数ａ、ｂの値が所定値を超えたか否かを判別し、判別結果を切替部２４３に出力する。

切替部２４３は、過去に抽出された映像オブジェクトの位置座標の数、又は、２次曲線の方程式に基づいて、線形予測部２４１による線形予測の位置情報と、曲線予測部２４２による曲線予測の位置情報との、探索領域設定手段２５への出力を切り替えるものである。ここで、切替部２４３は、例えば、映像オブジェクトの過去に抽出された位置座標が所定数以上である場合には曲線予測を選択し、この所定数より少ない場合には線形予測を選択する。この所定数は例えば３個であり、曲線予測部２４２において特に正確な曲線を求めて予測する場合には５個以上が好適である。また、曲線予測部２４２が曲線予測を実行しているときに、２次曲線の方程式（ｙ＝ａｘ^２＋ｂｘ＋ｃ）の係数ａ、ｂの符号が変化した場合や、係数ａ、ｂの値が所定値を超えた場合には、切替部２４３は曲線予測から線形予測に切り替える。

探索領域設定手段２５は、位置予測手段２４によって予測された次フィールド（次フレーム）での映像オブジェクトの位置情報を利用して、フィールド画像中に所定範囲の映像オブジェクトの探索領域を設定するものである。この探索領域設定手段２５は、設定された探索領域の位置及び大きさを、探索領域情報としてオブジェクト候補画像生成手段２１へ出力する。ここでは、探索領域の範囲の大きさと、映像オブジェクトが抽出される前の探索領域の位置の情報とが、探索領域の初期値として、図示していないマウス、キーボード等の入力手段（図示せず）によって、探索領域設定手段２５に入力されることとした。探索領域設定手段２５は、位置予測手段２４から予測された位置情報が入力されない場合には、初期値によって示される探索領域をオブジェクト候補画像生成手段２１に通知し、位置予測手段２４から位置情報が入力された場合には、この位置情報と、初期値によって示される探索領域の範囲の大きさの情報とに基づいて新たな探索領域を設定して、オブジェクト候補画像生成手段２１に通知する。

投球補間手段２６は、オブジェクト選択部２２４からの抽出失敗の通知に応じて、抽出条件記憶手段２３に記憶された過去のフィールド画像の映像オブジェクトの位置情報に基づいて、抽出に失敗したフィールド画像の映像オブジェクトの位置情報を内挿補間によって求めるものである。オブジェクト選択部２２４からの映像オブジェクトの位置情報と、ここで求められた映像オブジェクトの位置情報とは、映像オブジェクトとして抽出された投球の軌跡を示す情報（軌跡データ）として、軌跡データ蓄積装置３（又は、球種識別装置６）に出力される。

なお、例えば、左バッタに対する投球の映像において、バッタの領域をボールが通過した際のフィールド画像においては、抽出されない可能性があるが、この投球補間手段２６によって、投球の位置情報の欠損のない軌跡データを生成することができる。

以上によって、投球軌跡解析装置２ａ（２ｂ）は、入力されるフィールド画像から投球の映像オブジェクトを抽出してその位置座標を軌跡データとして出力することができる。この投球軌跡解析装置２ａ（２ｂ）は、入力されるフィールド画像から投球の位置をリアルタイムで抽出することが可能である。更に、投球軌跡解析装置２ａ（２ｂ）は、ピッチャの手から離れたボールが、キャッチャのミットまで（あるいはバッタのバットに当たるまで）の投球の位置（画像座標）を取得することができる。

なお、軌跡データは、ひとつの投球の映像オブジェクトの時系列の位置座標のデータであり、例えば、フィールド画像内の投球の映像オブジェクトの位置情報を、横軸及び縦軸方向の２次元座標とし、この２次元座標を時系列に並べたものとしてもよい。

（球種学習装置の構成）
続いて、図１を参照して、球種学習装置４の構成について説明する。球種学習装置４は、特徴量算出手段４１と、学習手段４２とを備える。

特徴量算出手段４１は、軌跡データ蓄積装置３から入力された軌跡データに基づいて、軌跡データごとの当該投球の軌跡の特徴を示す特徴量を所定の基準に基づいて正規化して算出するものである。ここで算出された特徴量は、学習手段４２に出力される。

ここで、軌跡データには、球速の変化や軌道の曲がり具合などの情報が盛り込まれているため、そのまま特徴量として用いることとしてもよいが、野球の投球映像は、カメラが固定された撮影ではないことが多く、一球ごとに画角が変化する。また、球速によってボールの抽出数が変化し、データ数が異なる。そこで、特徴量算出手段４１は、投球の速度、軌道の形状や、投球の相対的な位置等の特徴を示す特徴量を正規化して求めることとした。これによって、特徴量算出手段４１は、例えば、従来のように２台のカメラで撮影して投球の３次元位置を求めなくても、１台のカメラで撮影された映像の軌跡データから、カメラの動きや球速の影響を排除した特徴量を算出することができる。

以下、特徴量算出手段４１によって算出される特徴量の例と、その算出方法とについて説明する。ここでは、特徴量算出手段４１は、特徴量として、投げ出しから捕球までのフレーム（フィールド）数（以下、抽出数と言う）、投球の軌跡の全区間及び所定区間について直線近似した際の近似直線の傾き（以下、一次微係数と言う）、投球の軌跡の全区間及び所定区間について曲線（２次曲線）近似した際の近似曲線の曲率（以下、二次微係数と言う）、ホームベースの位置を原点とした捕球位置のフィールド画像内の２次元座標（以下、捕球位置と言う）、及び、軌跡データにおいて隣り合う２次元座標の横軸方向の変化量及び縦軸方向の変化量（以下、動きベクトルと言う）を算出することとした。なお、これらの特徴量は一例であり、特徴量算出手段４１は、投球の軌跡の特徴を示す他の特徴量を算出することとしてもよい。

＜抽出数＞
ここで、以下の式（２）に示すような軌跡データ（ｘ，ｙ）が特徴量算出手段４１に入力されたとする。そうすると、特徴量算出手段４１は、データ数ｎを抽出数とする。
（ｘ，ｙ）＝（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），…（ｘ_ｎ，ｙ_ｎ） …（２）

一般的に野球では、投げ出しから捕球までの時間は約０．５秒である。ボールの画像座標の計測レートをフレーム間隔（１／３０秒）とした場合、約１５点の座標を取得することができる。なお、投球軌跡解析装置２ａの計測レートは最高でフィールドレート（１／６０秒）である。この抽出数が少なければ早くボールが捕球されたことになり、抽出数が多ければ捕球まで時間がかかったことになる。すなわち、抽出数は、ボールの速度を示す。

＜一次微係数＞
特徴量算出手段４１は、軌跡に対して近似直線を生成して、この近似直線の傾きを一次微係数とする。例えば、図３に示すように、特徴量算出手段４１は、軌跡データによって示される複数のボールＭ、Ｍ、…の軌跡に対して近似直線Ｌ_１を生成する。図３は、投球の軌跡と、特徴量算出手段によって生成される近似直線及び近似曲線とを模式的に示した模式図である。

そして、この近似直線Ｌ_１を以下の式（３）のように置くと、一次微係数ａ_１は、以下の式（４）によって算出することができる。この近似直線の傾きを示す一次微係数ａ_１は、ボールの高低を示す。なお、ここでは、特徴量算出手段４１は、投球の全区間と、この全区間を３つに分割した最初、中間、最後の３区間とについて、それぞれ一次微係数を算出することとした。
ｙ＝ａ_１ｘ＋ｂ_１ …（３）

＜二次微係数＞
特徴量算出手段４１は、軌跡に対して近似曲線を生成して、この近似曲線の曲率を二次微係数とする。例えば、図３に示すように、特徴量算出手段４１は、軌跡データによって示される複数のボールＭ、Ｍ、…の軌跡に対して近似曲線Ｌ_２を生成する。そして、この近似曲線Ｌ_２を以下の式（５）のように置くと、近似曲線Ｌ_２とボールの座標の残差平方和Ｓは、以下の式（６）によって算出することができる。
ｙ＝ａ_２ｘ^２＋ｂ_２ｘ＋ｃ_２ …（５）

そして、特徴量算出手段４１は、係数ａ_２，ｂ_２，ｃ_２について偏微分して、値を０として連立方程式を解くことで、係数ａ_２，ｂ_２，ｃ_２が求められる。この近似曲線Ｌ_２の曲率を示す二次微係数ａ_２は、軌跡の曲がり具合を示す。なお、ここでは、特徴量算出手段４１は、投球の全区間と、この全区間を３つに分割した最初、中間、最後の３区間とについて、それぞれ二次微係数を算出することとした。

＜捕球位置＞
捕球位置は、最後に抽出されたボールの画像座標からも推測できるが、カメラを固定して撮影していない場合には、ボールの画像座標だけで捕球位置を判断することが難しい。そのため、特徴量算出手段４１は、最後にボールの抽出された画像内からホームベースを検出し、その重心座標とボールの画像座標との相対位置を捕球位置とすることとした。例えば、図４に示すように、ホームベースＨの画像座標が（ｘ_ｈ，ｙ_ｈ）、最後に抽出されたボールＭの画像座標が（ｘ_ｂ，ｙ_ｂ）である場合、特徴量算出手段４１は、ホームベースＨからボールＭへ向かうベクトルＢ_ｈ（ｘ_ｈ−ｘ_ｂ，ｙ_ｈ−ｙ_ｂ）を捕球位置とする。図４は、最後にボールの抽出された画像と、特徴量算出手段よって生成される捕球位置とを模式的に示した模式図である。

これによって、特徴量算出手段４１は、カメラ操作の影響を排除して捕球位置を取得することができる。そして、フォークなどの落ちる変化球は捕球位置が低くなるため、この捕球位置は、落ちる変化球か否かを示す特徴量となる。なお、ホームベースＨ付近はオクルージョンが少ないため、特徴量算出手段４１は、当該軌跡データに対応する映像の画像から画像処理によってホームベースＨの領域を検出することで、その重心位置を取得することができる。

＜動きベクトル＞
特徴量算出手段４１は、軌跡データにおいて隣り合うボールの画像座標の横軸方向の変化量及び縦軸方向の変化量を求める。例えば、図５に示すように、軌跡データによって示される、隣り合うボールＭ_Ａ、Ｍ_Ｂの画像座標がそれぞれ（ｘ_Ａ，ｙ_Ａ）、（ｘ_Ｂ，ｙ_Ｂ）である場合に、特徴量算出手段４１は、ボールＭ_Ａ、Ｍ_Ｂ間の動きベクトルＢ_Ｍ（ｘ_Ｂ−ｘ_Ａ，ｙ_Ｂ−ｙ_Ａ）を算出する。図５は、投球の軌跡と、特徴量算出手段によって算出される動きベクトルとを模式的に示した模式図である。

ここで、たとえピッチャが全く同じ位置から投球しても、撮影するカメラが固定されていないため、一球ごとの軌跡の画像上の位置が変動するところ、特徴量算出手段４１は、隣り合うボールの動きベクトルを特徴量として算出することで、カメラのパンやチルトの影響が排除された特徴量となる。なお、投球ごとに軌跡データの抽出数が異なるため、算出できる動きベクトルの数も投球ごとに変化する。そのため、特徴量算出手段４１は、例えば、投げ出しからａ個、中間にｂ個、捕球直前にｃ個の所定数の動きベクトルを求め、全部で（ａ＋ｂ＋ｃ）個の動きベクトルを算出することとしてもよい。

なお、特徴量算出手段４１は、動きベクトルの代わりに、軌跡の近似直線に対するボールの画像座標からの距離を算出することとしてもよい。例えば、図６に示すように、特徴量算出手段４１は、軌跡に対する近似直線Ｌ_１から、ボールＭの重心までの距離Ｄを算出することとしてもよい。更に、投球ごとの距離の数を揃えるため、動きベクトルの場合と同様に、投げ出し、中間及び捕球直前に、それぞれ所定数の距離を算出することとしてもよい。図６は、投球の軌跡と、特徴量算出手段によって算出される距離とを模式的に示した模式図である。

学習手段４２は、特徴量算出手段４１によって算出された特徴量と、軌跡データ蓄積装置３に記憶された当該軌跡の球種データとから、特徴量に基づいて球種を識別する識別器を学習するものである。ここで機械学習によって生成された識別器は、学習結果として学習結果記憶装置５に出力される。

ここでは、学習手段４２は、教師付き学習のランダムフォレスト（Leo Breiman, Random Forests, Machine Learning, 45, 5-32, 2001）によって学習することとした。以下、図７を参照（適宜図１参照）して、学習手段４２が、教師付き学習としてランダムフォレストによって学習する方法について説明する。図７は、学習手段がランダムフォレストによって学習する方法を説明するための説明図、（ａ）は、ランダムフォレストの処理の概要を模式的に示す模式図、（ｂ）は、決定木を模式的に示す模式図である。

図７（ａ）に示すように、学習手段４２は、軌跡データ蓄積装置３に蓄積された様々な軌跡データｔ、ｔ、…から重複を許して無作為に所定数（図７（ａ）では４個）の軌跡データｔ、ｔ、…（ブートストラップサンプル）を抽出したｎ個のノードＴ、Ｔ、…を生成して、特徴量算出手段４１によって算出された各ノードＴに含まれる軌跡データｔ、ｔ、…の特徴量に基づいてｎ個の決定木を生成する。なお、学習手段４２が、軌跡データ蓄積装置３の軌跡データｔ、ｔ、…から重複を許して無作為に軌跡データｔ、ｔ、…を抽出してノードＴ、Ｔ、…を生成することで、各々のノードＴに含まれる軌跡データｔ、ｔ、…の偏りを防ぐことができる。

このとき、学習手段４２は、各々のノードＴ（もしくは部分集合Ｔ_１、Ｔ_２、…）の軌跡データｔ、ｔ、…を、Ｇｉｎｉインデックスを用いて２つに分岐することとした。ここで、学習手段４２が、Ｇｉｎｉインデックスを用いて軌跡データｔ、ｔ、…を２つに分岐する方法を、ノードＴの軌跡データｔ、ｔ、…を２つの部分集合Ｔ_１、Ｔ_２に分岐する場合を例に説明する。

まず、学習手段４２は、分岐に使用する特徴量の候補となる所定数の特徴量を、特徴量算出手段４１によって算出された特徴量の中からランダムに選定する。学習手段４２は、例えば、特徴量算出手段４１によって算出された特徴量Ｖ_１〜Ｖ_３７が３７種類あった場合に、ランダムに４つの特徴量Ｖ_１０、Ｖ_２１、Ｖ_２、Ｖ_２４を選定したとする。そうすると、学習手段４２は、軌跡データｔ、ｔ、…を２つの部分集合Ｔ_１、Ｔ_２に分岐するための特徴量（Ｖ_１０、Ｖ_２１、Ｖ_２又はＶ_２４）と、当該特徴量（Ｖ_１０、Ｖ_２１、Ｖ_２又はＶ_２４）の閾値ｘを、Ｇｉｎｉインデックスに基づいて求める。

ここで、分岐前のあるノードＴのＧｉｎｉインデックスｇｉｎｉ（Ｔ）は、以下の式（７）によって求められる。なお、ｎはクラス（球種）の数、ｐ_ｊは、クラスｊ（球種ｊ）の軌跡データｔのノードＴにおける相対頻度を示す。

そして、ノードＴに含まれるＭ個の軌跡データｔ、ｔ、…が、Ｍ_１個の軌跡データｔ、ｔ、…の部分集合Ｔ_１と、Ｍ_２個の軌跡データｔ、ｔ、…の部分集合Ｔ_２とに分岐された後のノードＴのＧｉｎｉインデックスｇｉｎｉ_{ｓｐｌｉｔ}（Ｔ）は、以下の式（８）によって示される。

このＧｉｎｉインデックスｇｉｎｉ_{ｓｐｌｉｔ}（Ｔ）は、各クラスの相対頻度の分布に偏りがあるほど、つまり、部分集合Ｔ_１、Ｔ_２のそれぞれに特定の球種の軌跡データｔ、ｔ、…が偏って存在するほど小さい値となる。そのため、学習手段４２は、それぞれの特徴量Ｖ_１０、Ｖ_２１、Ｖ_２、Ｖ_２４について、その各々の特徴量（Ｖ_１０、Ｖ_２１、Ｖ_２又はＶ_２４）の最大値から最小値までの範囲で閾値ｘを変化させてＧｉｎｉインデックスｇｉｎｉ_{ｓｐｌｉｔ}（Ｔ）を算出して、最小のＧｉｎｉインデックスｇｉｎｉ_{ｓｐｌｉｔ}（Ｔ）を与えるひとつの特徴量（Ｖ_１０、Ｖ_２１、Ｖ_２又はＶ_２４）の閾値ｘを決定する。学習手段４２は、このようにして部分集合Ｔ_１、Ｔ_２の各々についても同様に、分岐して生成されたすべての部分集合がそれぞれ１種類の球種の軌跡データｔ、ｔ、…の集合になるまで分岐を繰り返して決定木を生成する。

このように、ランダムフォレストでは、分岐するごとに使用する特徴量の種類をランダムに選定するため、互いに類似せず、かつ、分岐の多いｎ個の決定木が生成される。そして、学習手段４２は、ｎ個の決定木を学習結果とし、学習結果記憶装置５に記憶する。

なお、ここでは、学習手段４２が、ランダムフォレストによって学習する方法について説明したが、バギング（Bagging ; Bootstrap aggregating）、サポートベクタマシン、アダブースト等の他の教師付き学習によって学習することとしてもよい。

サポートベクタマシンは、カーネル関数を利用し、高次元の空間でデータを線形分離するアルゴリズムである。学習手段４２が、例えば、サポートベクタマシンによって学習する場合は、２種類のクラス間のマージンを最大にし、マージンの中間を通る境界（超平面）を求めてデータを分離する。

また、学習手段４２が、例えば、バギングによって学習する場合は、以下のように行うことができる。すなわち、学習手段４２は、ブーストラップ法によって、軌跡データ蓄積装置３に蓄積された様々な軌跡データから重複を許して無作為に所定数の軌跡データからなるｎ個のデータセットを復元抽出し、それぞれのデータセットを訓練用サンプルとして、特徴量算出手段４１によって算出された各データセットに含まれる軌跡データの特徴量に基づいてｎ個の識別器を生成する。学習手段４２は、この識別器を学習結果記憶装置５に記憶する。そして、後記する球種識別装置６の識別手段６２によって、学習結果記憶装置５に記憶された各識別器を用いて識別し、各識別器の識別結果の平均又は多数決によって最終的な識別結果とすることとしてもよい。

更に、学習手段４２は、教師なし学習によって学習することとしてもよい。以下、図８を参照（適宜図１参照）して、学習手段４２が、教師なし学習の一例として、主成分分析を用いて学習する場合について説明する。なお、学習手段４２は、主成分分析に限定されず、例えば、Ｋ−ｍｅａｎｓ法のような他の教師なし学習によっても学習することが可能である。図８は、学習手段の特徴量の主成分分析により得られた主成分特点の分布を示す散布図である。なお、図８では、学習手段４２が第１主成分と第２主成分とについての２つの主成分得点を求めた場合の例を示した。

ここで、特徴量算出手段４１によって得られた特徴量は高次であり、識別での処理の負荷が大きい。そこで、学習手段４２は、特徴量算出手段４１から入力された特徴量について主成分分析を行い、次元を圧縮することとした。このとき、学習手段４２は、各主成分の固有値と固有ベクトルとを求めて、固有値の高い所定数の主成分を選択する。そして、学習手段４２は、特徴量と、選択された各々の主成分の固有ベクトルとの内積を算出して主成分得点を求める。

この主成分得点は、図８に示すように、球種ごとに分布がまとまる傾向がある。例えば、図８では、ストレートの球種の軌跡の特徴量から求めた主成分得点を丸印、カーブの主成分得点を四角印、フォークの主成分得点を三角印で示した。そうすると、図８の散布図において、領域Ｒ１には、ストレートの主成分得点が分布し、領域Ｒ２には、カーブの主成分得点が分布し、領域Ｒ３には、フォークの主成分得点が分布する。

学習手段４２は、この主成分得点の分布を学習結果記憶装置５に記憶する。そして、後記する球種識別装置６の識別手段６２によって、特徴量算出手段６１から入力された特徴量についても主成分得点を算出して、当該主成分得点の座標が学習結果記憶装置５に記憶された分布のどの球種に最も近いかを判定することで、球種を識別することができる。例えば、識別手段６２によって、図８に示す主成分得点ｒが算出された場合には、当該主成分得点ｒはカーブに最も近いため、識別手段６２は、当該軌跡をカーブと判定する。

更に、学習手段４２は、それぞれの軌跡データに対応付けて、当該投球におけるバッタの種類（右バッタ用あるいは左バッタ用の投球）、ピッチャの種類（右投げあるいは左投げのピッチャの投球）、投げ方の種類（アンダスローあるいはオーバスロー）を示す情報を外部から入力することとして、これらのバッタの種類、ピッチャの種類及び投げ方の種類が一致する投球ごとに別々に識別器を生成することが好ましい。このとき、後記する球種識別装置６の識別手段６２も、外部から識別対象とする投球におけるバッタの種類、ピッチャの種類及び投げ方の種類の情報を入力して、対応する識別器を用いて識別することとする。

（球種識別装置の構成）
更に、図１を参照して、球種識別装置６の構成について説明する。球種識別装置６は、特徴量算出手段６１と、識別手段６２とを備える。

特徴量算出手段６１は、投球軌跡解析装置２ｂから入力された軌跡データに基づいて、当該投球の軌道の形状、投球の相対的な位置及び球速の少なくともひとつを示す所定の特徴量を算出するものである。ここで算出された特徴量は、識別手段６２に出力される。なお、この特徴量算出手段６１は、球種学習装置４の特徴量算出手段４１と比べて軌跡データの入力元と特徴量の出力先が異なるだけで、算出される特徴量の種類や算出方法は同一である。

識別手段６２は、学習結果記憶装置５に記憶された学習結果に基づいて、特徴量算出手段６１から入力された特徴量から当該投球の球種を識別するものである。ここで得られた識別結果は、外部に出力される。

ここで、球種学習装置４の学習手段４２において、ランダムフォレストによって機械学習した場合における識別手段６２の識別方法について説明する。まず、識別手段６２は、学習結果記憶装置５に記憶されたｎ個の決定木を読み出し、それぞれの決定木について、特徴量算出手段６１から入力された特徴量に基づいて、当該投球の軌跡データが決定木の最下層のどの部分集合に含まれるかを判定する。ここで、学習手段４２は、分岐して最下層に生成された部分集合がすべて１種類の球種の軌跡データの集合になるまで分岐を繰り返して決定木を生成しているため、最下層の部分集合には、それぞれ１種類の球種が対応付けられている。

そこで、識別手段６２は、当該軌跡データが含まれる各決定木の最下層の部分集合に対応付けられた球種を識別結果とし、これらのｎ個の識別結果を多数決によって統合して、最終的な識別結果として出力することとした。更に、ここでは、球種をその特徴に基づいて、直球、曲がる変化球、落ちる変化球の３つの系統に分類し、識別手段６２が、各決定木の識別結果から多数決によって系統を判定して、球種の情報とともに識別結果として出力することとした。なお、ここでは、ストレート及びシュートを直球、カーブ、スライダ及びカットボールを曲がる変化球、フォーク、シンカ及びチェンジアップを落ちる変化球に分類した。

なお、ここでは、識別手段６２は、各決定木の識別結果を多数決して、最終的な識別結果とすることとしたが、各決定木の識別結果の割合（例えば、ストレート７０％、カーブ３０％）を最終的な識別結果とすることとしてもよい。更に、球種識別装置６が図示しない軌跡画像生成手段を備えることとして、投球軌跡解析装置２ｂから入力された軌跡データに基づいて、抽出された投球の位置を、例えば、各決定木の識別結果の割合に応じて球種ごとに予め割り当てられた色（例えば、ストレートは赤、カーブは黄）を混合した色の円で示す軌跡画像を生成して、識別結果として外部に出力することとしてもよい。

以上、球種判定システムＳの構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、野球の球種を判定する場合を例に挙げて説明したが、本発明の識別器生成装置及び投球球種識別装置は、野球に限らず、ソフトボールやサッカ、ゴルフなどの様々な球技への応用が可能である。サッカに適用した場合には、例えば、フリーキックの曲がり具合の判定をすることができ、ゴルフに適用した場合には、例えば、スライスやフックなどの判定に利用することができる。また、娯楽施設などで、自分の投球の球種を判定させるアトラクションなどに組み込むことも可能である。

また、ここでは、投球軌跡解析装置２ｂが、映像蓄積装置１ｂに蓄積された映像を解析することとしたが、例えば、リアルタイムで撮影された映像を入力して解析することとしてもよい。このとき、放送局側で当該球種判定システムＳによって判定された球種を、中継番組内において即座に表示することも可能である。また、投球軌跡解析装置２ａ、２ｂの構成は図２に示すものに限定されず、投球軌跡解析装置２ａ、２ｂは、入力された投球の映像から投球の軌跡を解析できるものであればよい。

更に、球種判定システムＳによって得られた球種の情報をメタデータとして映像に付与することで、映像検索のためのメタデータの生成を自動で行うことができる。更に、得られた球種の情報は、データ放送やインタネットなどで配信する情報としても使用可能である。

なお、識別器生成装置Ａ及び投球球種識別装置Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、識別器生成プログラム及び投球球種識別プログラムとして動作させることも可能である。

［球種判定システムの動作］
次に、図９〜図１３を参照（適宜図１参照）して、本発明における識別器生成装置Ａ及び投球球種識別装置Ｂを備える球種判定システムＳの動作について説明する。図９は、本発明における識別器生成装置の識別器生成動作を示したフローチャートである。図１０は、投球軌跡解析装置の軌跡データ生成動作を示したフローチャートである。図１１は、差分画像の条件式を説明するための説明図であり、（ａ）は３枚の連続したフィールド画像であり、（ｂ）は２枚の差分画像である。図１２は、位置予測処理を説明するための説明図である。図１３は、本発明における投球球種識別装置の投球球種識別動作を示したフローチャートである。

（識別器生成動作）
まず、図９を参照して、球種判定システムＳが、球種を識別するための識別器を生成する識別器生成動作について説明する。球種判定システムＳは、投球軌跡解析装置２ａによって、映像蓄積装置１ａに蓄積されたひとつの投球の映像を入力して、後記する軌跡データ生成動作によって軌跡データを生成する（ステップＳ１１）。そして、球種判定システムＳは、ステップＳ１１において生成された軌跡データに、外部から入力される球種データを対応付けて軌跡データ蓄積装置３に記憶する（ステップＳ１２）。

更に、球種判定システムＳは、投球軌跡解析装置２ａによって、映像蓄積装置１ａに蓄積されたすべての映像について軌跡データの生成が終了したかを判断する（ステップＳ１３）。そして、終了していない場合には（ステップＳ１３でＮｏ）、球種判定システムＳは、ステップＳ１１に戻って、投球軌跡解析装置２ａが、映像蓄積装置１ａに蓄積された次の映像について軌跡データ生成動作によって軌跡データを生成する動作以降の動作を行う。

一方、終了した場合には（ステップＳ１３でＹｅｓ）、球種判定システムＳは、球種学習装置４の特徴量算出手段４１によって、ステップＳ１２において軌跡データ蓄積装置３に記憶された軌跡データを入力して、各々の軌跡データについて特徴量を算出する（ステップＳ１４）。

続いて、球種判定システムＳは、球種学習装置４の学習手段４２によって、ステップＳ１４において算出された軌跡データの特徴量と、ステップＳ１２において当該軌跡データに対応付けられた球種データとに基づいて、軌跡データの特徴量から球種を識別する識別器を機械学習によって生成して、学習結果記憶装置５に記憶し（ステップＳ１５）、動作を終了する。

（軌跡データ生成動作）
次に、図１０〜図１２を参照（適宜図１及び図２参照）して、球種判定システムＳの投球軌跡解析装置２ａ（２ｂ）が、映像から投球の映像オブジェクトを抽出して軌跡データを生成する軌跡データ生成動作（図９のステップＳ１１）について説明する。

まず、図示していないマウス、キーボード等の入力手段によって探索領域が入力され、投球軌跡解析装置２ａ（２ｂ）は、探索領域設定手段２５によって、入力された映像を構成するフィールド画像において、フィールド画像の一部の範囲に映像オブジェクトを探索する探索領域を設定する（ステップＳ２１）。なお、この探索領域は、後記するステップＳ３２においてボールの動きに追従して位置が適宜更新される。

続いて、投球軌跡解析装置２ａ（２ｂ）は、ステップＳ２１において設定された探索領域について、オブジェクト候補画像生成手段２１の差分画像生成部２１３によって、画像記憶部２１１に記憶された現在の入力画像と、未来の入力画像（最新の入力画像）との間の輝度差を画素値とした差分画像１を生成するとともに、差分画像生成部２１４によって、画像記憶部２１１に記憶された現在の入力画像と、画像記憶部２１２に記憶された過去の入力画像との間の輝度差を画素値とした差分画像２を生成する（ステップＳ２２）。ここで、オブジェクト候補画像生成手段２１には、３枚の連続した入力画像（過去、現在、未来）が入力されて、現在のフィールド画像が画像記憶部２１１に、過去のフィールド画像が画像記憶部２１２に記憶されている。

続いて、投球軌跡解析装置２ａ（２ｂ）は、オブジェクト候補画像生成手段２１の候補画像生成部２１５によって、ステップＳ２２において生成された差分画像１と差分画像２とからオブジェクト候補画像を生成する（ステップＳ２３）。ここで、候補画像生成部２１５は、差分画像１の輝度値Ｉｍａｇｅ１（ｘ，ｙ）と、差分画像２の輝度値Ｉｍａｇｅ２（ｘ，ｙ）が以下の式（９）、（１０）を満たす領域を判断し、この領域をオブジェクトの候補とすることとした。なお、（ｘ、ｙ）は、差分画像１及び差分画像２における画素の座標を示し、Ｔは、輝度閾値である。
Ｉｍａｇｅ１（ｘ，ｙ）＞Ｔ …（９）
Ｉｍａｇｅ２（ｘ，ｙ）＜−Ｔ …（１０）

つまり、本実施形態では、抽出（追跡）対象とする映像オブジェクトがボールであり、ボールの輝度が背景画像の輝度よりも一般に高いので、式（９）と式（１０）とが同時に満たされることがこのときの条件式となる。以下に、前記のように差分画像１及び差分画像２が式（９）及び式（１０）を満足するときに、高速で移動する映像オブジェクト（ボール）を抽出できる理由を、図１１を参照して説明する。

図１１の（ａ）に示すように、過去、現在、未来を表す連続した３枚のフィールド画像Ｇ１、Ｇ２、Ｇ３には、過去・現在・未来の位置にある１個のボール（Ｍ１、Ｍ２、Ｍ３）が示されている。なお、ボールＭ１、Ｍ２、Ｍ３は、フィールド画像同士で重ならない程度の高速で移動しており、ボールの輝度は背景画像の輝度よりも高いこととする。また、図１１の（ｂ）に示すように、差分画像１（Ｇ’１）は、フィールド画像Ｇ２の輝度からフィールド画像Ｇ３の輝度を引いた差分を画素値として生成されたものである。また、差分画像２（Ｇ’２）は、フィールド画像Ｇ１の輝度からフィールド画像Ｇ２の輝度を引いた差分を画素値として生成されたものである。

差分画像Ｇ’１における領域Ｍ’２は、ボールＭ２の輝度からオブジェクトの存在しない領域の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がプラス（例えば白）となる。また、差分画像Ｇ’１における領域Ｍ’３は、オブジェクトの存在しない領域の輝度からボールＭ３の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がマイナス（例えば黒）となる。更に、差分画像Ｇ’１における領域Ｍ’１を含むその他の領域は、オブジェクトの存在しない領域の輝度同士を差し引いた輝度差分値を画素値として構成されているので、画素値は０となる。

一方、差分画像Ｇ’２における領域Ｍ’１は、ボールＭ１の輝度からオブジェクトの存在しない領域の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がプラス（例えば白）となる。また、差分画像Ｇ’２における領域Ｍ’２は、オブジェクトの存在しない領域の輝度からボールＭ２の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がマイナス（例えば黒）となる。更に、差分画像Ｇ’２における領域Ｍ’３を含むその他の領域は、オブジェクトの存在しない領域の輝度同士を差し引いた輝度差分値を画素値として構成されているので、画素値は０となる。

差分画像Ｇ’１と差分画像Ｇ’２とを比較すると、差分画像Ｇ’１において画素値の符号がプラスであり（式（９））、且つ、差分画像Ｇ’２において画素値の符号がマイナスである（式（１０））領域は、領域Ｍ’２すなわちボールＭ２（現在の位置）を表すことになる。従って、候補画像生成部２１５は、式（９）及び式（１０）から、高速で移動する映像オブジェクト（ボール）をオブジェクト候補画像として抽出することができる。

なお、対象とする映像オブジェクトの輝度が背景画像の輝度よりも低い場合には、式（１１）と式（１２）とを同時に満たすことを条件とする。
Ｉｍａｇｅ１（ｘ，ｙ）＜−Ｔ …（１１）
Ｉｍａｇｅ２（ｘ，ｙ）＞Ｔ …（１２）

この場合、差分画像Ｇ’１において画素値の符号がマイナスであり（式（１１））、且つ、差分画像Ｇ’２において画素値の符号がプラスである（式（１２））領域が映像オブジェクトとして抽出される。

図１０の軌跡データ生成動作の説明を続ける。投球軌跡解析装置２ａ（２ｂ）は、ボール選定手段２２のラベリング部２２１によって、ステップＳ２３において生成されたオブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付す（ステップＳ２４）。なお、以降の動作は、映像オブジェクトの候補に付された番号に基づいて、映像オブジェクトの単位で処理される。

そして、投球軌跡解析装置２ａ（２ｂ）は、ボール選定手段２２の特徴量解析部２２２によって、ステップＳ２４で番号付けされた映像オブジェクトごとに、オブジェクト候補画像の中から、抽出条件記憶手段２３に記憶されている抽出条件等に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、選択した映像オブジェクトの位置及び特徴量を解析（算出）する（ステップＳ２５）。ここで、映像オブジェクトの位置としては、例えば、映像オブジェクトの重心座標を用いる。また、映像オブジェクトの特徴量としては、映像オブジェクトの面積、輝度、色、円形度等を用いる。

更に、投球軌跡解析装置２ａ（２ｂ）は、ボール選定手段２２のフィルタ処理部２２３によって、オブジェクト候補画像の中から、番号（ラベル）に基づいて、映像オブジェクトを選択し、フィルタ処理を行う（ステップＳ２６）。すなわち、フィルタ処理部２２３は、選択された映像オブジェクトの「位置」が、位置予測手段２４により予測される範囲に適合するかどうかを判定する。ここで、「位置」による適合条件に合致する場合、フィルタ処理部２２３は、選択された映像オブジェクトの「面積」が、抽出条件記憶手段２３に記憶されている抽出条件に適合するかどうかを判定する。ここで、「面積」による適合条件に合致する場合、フィルタ処理部２２３は、映像オブジェクトの「色」が、抽出条件に適合するかどうかを判定する。また、「色」による適合条件に合致する場合、フィルタ処理部２２３は、映像オブジェクトの「輝度」が、抽出条件に適合するかどうかを判定する。また、「輝度」による適合条件に合致する場合、フィルタ処理部２２３は、映像オブジェクトの「円形度」が、抽出条件に適合するかどうかを判定する。

続いて、投球軌跡解析装置２ａ（２ｂ）は、ボール選定手段２２のオブジェクト選択部２２４によって、ステップＳ２６において、すべての抽出条件に適合した映像オブジェクトの候補がない、つまり、抽出する映像オブジェクトの候補がなく抽出に失敗したかを判断する（ステップＳ２７）。

そして、抽出に失敗していない場合には（ステップＳ２７でＮｏ）、投球軌跡解析装置２ａ（２ｂ）は、ボール選定手段２２のオブジェクト選択部２２４によって、ステップＳ２６において、すべての抽出条件に適合した映像オブジェクトの候補から、前のフレーム画像から抽出された映像オブジェクトの位置座標に最も近いものを追跡対象の映像オブジェクトとして選択する（ステップＳ２８）。これにより、すべてのフィルタを通過した映像オブジェクトの候補が複数存在する場合にもオブジェクト選択部２２４はひとつの映像オブジェクトを選定することができる。なお、ここで選択された映像オブジェクトの位置情報は抽出条件記憶手段２３に記憶される。

更に、投球軌跡解析装置２ａ（２ｂ）は、投球補間手段２６によって、前回の抽出及びそれ以前に、抽出に失敗したフィールド画像がある場合に、ステップＳ２８において選択された映像オブジェクトの位置情報と、抽出条件記憶手段２３に記憶された更に過去のフィールド画像の映像オブジェクトの位置情報とに基づいて、抽出に失敗したフィールド画像の映像オブジェクトの位置情報を内挿補間によって求め（ステップＳ２９）、ステップＳ３１に進む。

一方、ステップＳ２７において抽出に失敗した場合には（ステップＳ２７でＹｅｓ）、投球軌跡解析装置２ａ（２ｂ）は、オブジェクト選択部２２４によって、所定数以上のフレームで連続して抽出に失敗したか否かを判断する（ステップＳ３０）。そして、所定数以上のフレームで連続して抽出に失敗した場合には（ステップＳ３０でＹｅｓ）、動作を終了する。一方、所定数以上のフレームで連続して抽出に失敗していない場合には（ステップＳ３０でＮｏ）、ステップＳ３１に進む。

そして、投球軌跡解析装置２ａ（２ｂ）は、投球補間手段２６によって、ステップＳ２８において選択された映像オブジェクトの位置情報、もしくは、ステップＳ３０において求められた位置情報を軌跡データ蓄積装置３に出力する（ステップＳ３１）。更に、投球軌跡解析装置２ａ（２ｂ）は、ステップＳ２８において選択された映像オブジェクトの位置に基づいて、位置予測手段２４により、次に入力されるフィールド画像におけるボールの探索領域を推定し（ステップＳ３２）、ステップＳ２１に戻る。

ここで、投球軌跡解析装置２ａ（２ｂ）は位置予測手段２４によって、最小自乗法及びカルマンフィルタを用いて探索領域を推定することができる。図１２に示すように、過去のオブジェクト抽出処理によりそれぞれ異なる時刻のボールＭ１〜Ｍ４が得られており、また、現在のフィールド画像におけるボールＭ５（図中、二重丸）の位置座標が抽出されているものと仮定する。

そうすると、位置予測手段２４は、線形予測部２４１によって、現フィールドでの抽出位置座標（ボールＭ５）と前フィールド（前フレーム）での抽出位置座標（ボール軌跡Ｍ４）とにより、矢印Ｖ１で示される動きベクトルを求める。そして、線形予測部２４１は、動きベクトルＶ１に基づいて、現フィールドでの抽出位置座標（ボールＭ５）に対して、動きベクトルＶ１と同様の動きベクトルＶ２を、ボールＭ５の位置に加算することにより、ボールの予測位置として、線形予測位置座標Ｙ１（図中、三角印）を仮に求める（線形予測）。

一方、位置予測手段２４は、曲線予測部２４２によって、最小自乗法を用いて過去から現在に至るボール軌跡（ボールＭ１〜Ｍ５）を平均的に通るような一点鎖線で示される２次曲線Ｋ１を求める。そして、位置予測手段２４は、線形予測位置座標Ｙ１を２次曲線Ｋ１上に補正して、四角印で示される曲線予測位置座標Ｙ２を求める（曲線予測）。求めた曲線予測位置座標Ｙ２を次フィールド画像（次フレーム）での探索位置とする。

但し、位置予測手段２４は、切替部２４３によって、過去に抽出されたボールの位置座標の数又は２次曲線の方程式に基づいて、線形予測部２４１による線形予測と曲線予測部２４２による曲線予測とを切り替える。すなわち、位置予測手段２４は、曲線予測を実行するのに十分な数（３個でもよいが５個以上が好適である）の過去のボール位置座標がない場合には曲線予測を実行せずに、線形予測のみを実行する。また、位置予測手段２４は、曲線予測部２４２によって曲線予測を実行しているときに、曲線予測に用いる２次曲線（ｙ＝ａｘ^２＋ｂｘ＋ｃ）の係数ａ、ｂの符号が変化したり、係数ａ、ｂの値が所定値を超えたりした場合にも、線形予測に切り替える。このように、投球軌跡解析装置２ａ（２ｂ）は、ボールを探索する領域を適宜更新しながら、ボールの抽出を行うため、ボールを抽出・更新するための演算量を抑えることができる。

以上の動作によって、投球軌跡解析装置２ａ（２ｂ）は、映像として時系列に入力されるフィールド画像から、追跡対象となる映像オブジェクト（ボール）を逐次抽出、追跡し、映像オブジェクトの軌跡データ生成することができる。

（識別器生成動作）
更に、図１３を参照して、球種判定システムＳが、図１１に示す識別器生成動作によって生成された識別器を用いて投球の球種を識別する投球球種識別動作について説明する。球種判定システムＳは、投球軌跡解析装置２ｂによって、映像蓄積装置１ｂに蓄積されたひとつの投球の映像を入力して、図１０に示す軌跡データ生成動作によって軌跡データを生成する（ステップＳ４１）。そして、球種判定システムＳは、球種識別装置６の特徴量算出手段６１によって、ステップＳ４１において生成された軌跡データについて特徴量を算出する（ステップＳ４２）。

続いて、球種判定システムＳは、球種識別装置６の識別手段６２によって、図９に示す識別器生成動作によって生成され、学習結果記憶装置５に記憶された識別器を用いて、ステップＳ４２において算出された軌跡データの特徴量に基づいて、当該軌跡データの投球の球種を識別する（ステップＳ４３）。

更に、球種判定システムＳは、投球軌跡解析装置２ｂによって、映像蓄積装置１ｂに蓄積されたすべての映像について軌跡データの生成が終了したかを判断する（ステップＳ４４）。そして、終了していない場合には（ステップＳ４４でＮｏ）、球種判定システムＳは、ステップＳ４１に戻って、投球軌跡解析装置２ｂが、映像蓄積装置１ｂに蓄積された次の映像について軌跡データ生成動作によって軌跡データを生成する動作以降の動作を行う。一方、終了した場合には（ステップＳ４４でＹｅｓ）、動作を終了する。

本発明の識別器生成装置及び投球球種識別装置を備える球種判定システムの構成を示したブロック図である。 本発明の識別器生成装置及び投球球種識別装置を備える球種判定システムの投球軌跡解析装置の構成を示したブロック図である。 投球の軌跡と、本発明の識別器生成装置及び投球球種識別装置の特徴量算出手段によって生成される近似直線及び近似曲線とを模式的に示した模式図である。 最後にボールの抽出された画像と、本発明の識別器生成装置及び投球球種識別装置の特徴量算出手段よって生成される捕球位置とを模式的に示した模式図である。 投球の軌跡と、本発明の識別器生成装置及び投球球種識別装置の特徴量算出手段によって算出される動きベクトルとを模式的に示した模式図である。 投球の軌跡と、本発明の識別器生成装置及び投球球種識別装置の特徴量算出手段によって算出される距離とを模式的に示した模式図である。 本発明の識別器生成装置の学習手段がランダムフォレストによって学習する方法を説明するための説明図、（ａ）は、ランダムフォレストの処理の概要を模式的に示す模式図、（ｂ）は、決定木を模式的に示す模式図である。 本発明の識別器生成装置の学習手段の特徴量の主成分分析により得られた主成分特点の分布を示す散布図である。 本発明の識別器生成装置の識別器生成動作を示したフローチャートである。 投球軌跡解析装置の軌跡データ生成動作を示したフローチャートである。 差分画像の条件式を説明するための説明図であり、（ａ）は３枚の連続したフィールド画像であり、（ｂ）は２枚の差分画像である。 位置予測処理を説明するための説明図である。 本発明の投球球種識別装置の投球球種識別動作を示したフローチャートである。

符号の説明

Ｓ 球種判定システム
Ａ 球種学習装置
Ｂ 投球球種識別装置
２ａ 投球軌跡解析装置（投球軌跡解析手段）
２ｂ 投球軌跡解析装置（投球軌跡解析手段）
４ 球種学習装置（球種学習手段）
４１ 特徴量算出手段
４２ 学習手段
５ 学習結果記憶装置（識別器記憶手段、識別器記憶装置）
６ 球種識別装置（球種識別手段）
６１ 特徴量算出手段
６２ 識別手段

Claims (4)

1. 投球の映像から、当該投球の球種を識別する投球球種識別装置であって、
   前記投球の映像を構成する時系列の画像内における前記投球の映像オブジェクトの位置の時系列の情報である軌跡データの抽出数、前記軌跡データが示す軌跡に対する近似直線の傾きである一次微係数、前記軌跡に対する近似曲線の曲率である二次微係数、時系列で最後に前記投球が抽出された画像から検出したホームベースの重心座標と前記投球の画像座標との相対位置である捕球位置、及び、前記軌跡データで隣り合う前記投球の画像座標の変化量である動きベクトルを示す特徴量と、各々の前記投球に予め対応付けられた当該投球の球種の情報とに基づいて複数の投球についてランダムフォレストにより機械学習された、前記特徴量から前記球種を識別するための識別器を予め記憶する識別器記憶手段と、
   球種の識別対象となる投球の映像を入力し、この映像を構成する時系列の画像内における前記投球の映像オブジェクトを抽出して、当該投球の軌跡データを生成する投球軌跡解析手段と、
   前記投球軌跡解析手段によって生成された軌跡データから、前記特徴量を算出する特徴量算出手段と、
   前記識別器記憶手段に記憶された識別器を用いて、前記特徴量算出手段によって算出された特徴量から前記識別対象の投球の球種を識別する識別手段と、
   を備えることを特徴とする投球球種識別装置。
2. 請求項１に記載の投球球種識別装置において用いられる、球種を識別するための識別器を生成する識別器生成装置であって、
   複数の投球の映像を入力して、各々の映像を構成する時系列の画像内における前記投球の映像オブジェクトを抽出して、当該画像内における前記投球の映像オブジェクトの位置の時系列の情報である軌跡データを生成する投球軌跡解析手段と、
   前記投球軌跡解析手段によって生成された軌跡データから、各々の前記投球について、特徴量として、前記軌跡データの抽出数と、前記軌跡データが示す軌跡に対する近似直線の傾きである一次微係数と、前記軌跡に対する近似曲線の曲率である二次微係数と、時系列で最後に前記投球が抽出された画像から検出したホームベースの重心座標と前記投球の画像座標との相対位置である捕球位置と、前記軌跡データで隣り合う前記投球の画像座標の変化量である動きベクトルとを算出する特徴量算出手段と、
   この特徴量算出手段によって算出された複数の投球の特徴量と、各々の前記投球に予め対応付けられた前記球種の情報とに基づいて、前記特徴量から前記球種を識別するための識別器をランダムフォレストによって生成する学習手段と、
   を有することを特徴とする識別器生成装置。
3. 投球の映像を構成する時系列の画像内における前記投球の映像オブジェクトの位置の時系列の情報である軌跡データの抽出数、前記軌跡データが示す軌跡に対する近似直線の傾きである一次微係数、前記軌跡に対する近似曲線の曲率である二次微係数、時系列で最後に前記投球が抽出された画像から検出したホームベースの重心座標と前記投球の画像座標との相対位置である捕球位置、及び、前記軌跡データで隣り合う前記投球の画像座標の変化量である動きベクトルを示す特徴量と、各々の前記投球に予め対応付けられた当該投球の球種の情報とに基づいて複数の投球についてランダムフォレストにより機械学習されて識別器記憶手段に予め記憶された、前記特徴量から前記球種を識別するための識別器を用いて、投球の映像から当該投球の球種を識別するためにコンピュータを、
   球種の識別対象となる投球の映像を入力し、この映像を構成する時系列の画像内における前記投球の映像オブジェクトを抽出して、当該投球の軌跡データを生成する投球軌跡解析手段、
   前記投球軌跡解析手段によって生成された軌跡データから、前記特徴量を算出する特徴量算出手段、
   前記識別器記憶手段に記憶された識別器を用いて、前記特徴量算出手段によって算出された特徴量から前記識別対象の投球の球種を識別する識別手段、
   として機能させるための投球球種識別プログラム。
4. 請求項１に記載の投球球種識別装置において用いられる、投球の球種を識別するための識別器を生成するためにコンピュータを、
   複数の投球の映像を入力して、各々の映像を構成する時系列の画像内における前記投球の映像オブジェクトを抽出して、当該画像内における前記投球の映像オブジェクトの位置の時系列の情報である軌跡データを生成する投球軌跡解析手段、
   前記投球軌跡解析手段によって生成された軌跡データから、各々の前記投球について、特徴量として、前記軌跡データの抽出数と、前記軌跡データが示す軌跡に対する近似直線の傾きである一次微係数と、前記軌跡に対する近似曲線の曲率である二次微係数と、時系列で最後に前記投球が抽出された画像から検出したホームベースの重心座標と前記投球の画像座標との相対位置である捕球位置と、前記軌跡データで隣り合う前記投球の画像座標の変化量である動きベクトルとを算出する特徴量算出手段、
   この特徴量算出手段によって算出された複数の投球の特徴量と、各々の前記投球に予め対応付けられた前記球種の情報とに基づいて、前記特徴量から前記球種を識別するための識別器をランダムフォレストによって生成する学習手段、
   として機能させるための識別器生成プログラム。

Images