JP4906615B2

JP4906615B2 - ピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラム

Info

Publication number: JP4906615B2
Application number: JP2007181524A
Authority: JP
Inventors: 貴裕望月; 伸行八木; 真人藤井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2007-07-10
Filing date: 2007-07-10
Publication date: 2012-03-28
Anticipated expiration: 2027-07-10
Also published as: JP2009020621A

Description

本発明は、映像解析の技術に係り、特に、野球の映像に含まれる投球のシーンの映像（ピッチショット）を検出するためのピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラムに関する。

一般に、投球シーンでは、ピッチャの後ろから撮影した映像が放送される。そして、従来、投球シーンのカット開始点を検出するシステムとして、過去の複数の映像の投球シーンのフレーム画像（参照ピッチショット画像セット）のフレーム画像ごとの画像特徴量の平均値である参照画像特徴量と、検出対象となる映像のカット開始点の各々のフレーム画像の画像特徴量とを求め、参照画像特徴量に類似する画像特徴量を有するフレーム画像を投球シーンのカット開始点として検出するものが提案されている（非特許文献１参照）。
山本拓、修士論文「野球中継映像のプレイシーン自動検索／編集システム」、ｐ．２２−２５、奈良先端科学技術大学院大学、２０００年２月１４日

しかし、非特許文献１に記載のシステムでは、検出対象となる様々な映像について、同じ過去の映像の投球シーンのフレーム画像を参照ピッチショット画像セットとして用いる。その一方で、例えば、日があたっているシーンを撮影した画像と日陰のシーンを撮影した画像とのように、天候などの様々な撮影時の条件が異なると、同じ投球シーンのフレーム画像でも画像特徴が大きく異なるため、検出精度が十分ではなかった。

一方で、野球の映像の編集において、ハイライトシーンの抽出やダイジェストの生成を行う場合に、投球ごとに映像を切り分けて投球のシーンのカット開始点から次の投球のカットの直前までを処理の単位とすると非常に効率的である。また、投球のカットの単位での早送りや巻き戻しや、投球のカットの選択ができれば、視聴者は簡単な操作で野球中継のダイジェストを視聴することが可能となる。以上の理由によって、投球シーンのカット開始点の高精度な検出が望まれていた。

本発明は、前記従来技術の問題を解決するために成されたもので、投球のシーンのカット開始点を高精度に検出することができるピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載のピッチショット検出システムは、野球の映像から、投球シーンのカット開始点のフレーム画像を検出するピッチショット検出システムであって、基準特徴量算出手段と、ピッチショット画像特徴量算出手段と、参照画像類似度算出手段と、参照画像選定手段とを有する参照ピッチショット画像選定装置と、カットチェンジ判定手段と、開始点画像特徴量算出手段と、参照画像特徴量算出手段と、類似度算出手段と、投球カット開始点判定手段とを有するピッチショット開始点検出装置とを備える構成とした。

かかる構成によれば、ピッチショット検出システムは、参照ピッチショット画像選定装置の基準特徴量算出手段によって、この映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量である基準特徴量を算出し、ピッチショット画像特徴量算出手段によって、複数の他の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像の各々について、それぞれの画素を範囲に基づいて、芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量を算出する。また、ピッチショット検出システムは、参照ピッチショット画像選定装置の参照画像類似度算出手段によって、基準特徴量算出手段で算出された基準特徴量と、ピッチショット画像特徴量算出手段で算出された画像特徴量との類似度を算出し、参照画像選定手段によって、参照画像類似度算出手段で算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する。

更に、ピッチショット検出システムは、ピッチショット開始点検出装置のカットチェンジ判定手段によって、投球シーンのカット開始点の検出対象となる映像において、判定対象のフレーム画像を示す現フレーム画像と、当該現フレーム画像の一つ前のフレーム画像を示す前フレーム画像との変化が所定の閾値よりも大きい場合に、現フレーム画像をカット開始点のフレーム画像である開始点画像として検出し、開始点画像特徴量算出手段によって、カットチェンジ判定手段で検出された開始点画像の画像特徴量を算出する。また、ピッチショット検出システムは、ピッチショット開始点検出装置の参照画像特徴量算出手段によって、参照ピッチショット画像選定装置によって選定された参照ピッチショット画像の画像特徴量を算出し、類似度算出手段によって、開始点特徴量算出手段で算出された画像特徴量と、参照画像特徴量算出手段で算出された画像特徴量との類似度を算出する。更に、ピッチショット検出システムは、ピッチショット開始点検出装置の投球カット開始点判定手段によって、類似度算出手段で算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該開始点画像を投球シーンのカット開始点のフレーム画像と判定する。

これによって、ピッチショット検出システムは、参照ピッチショット画像選定装置によって、検出対象となる映像のフレーム画像に芝及び土の領域の画像特徴が類似したピッチショット画像を参照ピッチショット画像として選定し、ピッチショット開始点検出装置によって、検出対象となる映像の開始点画像から、参照ピッチショット画像に画像特徴が類似するフレーム画像を、投球シーンのカット開始点のフレーム画像と判定することができる。

また、請求項２に記載の参照ピッチショット画像選定装置は、野球の映像におけるカット開始点を検出し、当該カット開始点のフレーム画像である開始点画像と、野球の他の映像の投球シーンのフレーム画像である参照ピッチショット画像との画像特徴量の類似度に基づいて、前記開始点画像が投球シーンのカット開始点のフレーム画像か否かを判定するピッチショット開始点検出装置において用いられる前記参照ピッチショット画像を、複数の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像から選定する参照ピッチショット画像選定装置であって、基準特徴量算出手段と、ピッチショット画像特徴量算出手段と、参照画像類似度算出手段と、参照画像選定手段とを備える構成とした。

かかる構成によれば、参照ピッチショット画像選定装置は、基準特徴量算出手段によって、カット開始点の検出対象となる映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量である基準特徴量を算出し、ピッチショット画像特徴量算出手段によって、複数のピッチショット画像の各々について、それぞれの画素を範囲に基づいて、芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量を算出する。また、参照ピッチショット画像選定装置は、参照画像類似度算出手段によって、基準特徴量算出手段で算出された基準特徴量と、ピッチショット画像特徴量算出手段で算出された画像特徴量との類似度を算出し、参照画像選定手段によって、参照画像類似度算出手段で算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する。

これによって、参照ピッチショット画像選定装置は、検出対象となる映像のフレーム画像に芝及び土の領域の画像特徴が類似したピッチショット画像を参照ピッチショット画像として選定することができる。

更に、請求項３に記載の参照ピッチショット画像選定プログラムは、野球の映像におけるカット開始点を検出し、当該カット開始点のフレーム画像である開始点画像と、野球の他の映像の投球シーンのフレーム画像である参照ピッチショット画像との画像特徴量の類似度に基づいて、前記開始点画像が投球シーンのカット開始点のフレーム画像か否かを判定するピッチショット開始点検出装置において用いられる前記参照ピッチショット画像を、複数の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像から選定するためにコンピュータを、基準特徴量算出手段、ピッチショット画像特徴量算出手段、参照画像類似度算出手段、参照画像選定手段として機能させることとした。

かかる構成によれば、参照ピッチショット画像選定プログラムは、基準特徴量算出手段によって、カット開始点の検出対象となる映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量である基準特徴量を算出し、ピッチショット画像特徴量算出手段によって、複数のピッチショット画像の各々について、それぞれの画素を範囲に基づいて、芝の領域及び土の領域のいずれかであるか否かを判定し、芝の領域及び土の領域の画像についての画像特徴量を算出する。また、参照ピッチショット画像選定プログラムは、参照画像類似度算出手段によって、基準特徴量算出手段で算出された基準特徴量と、ピッチショット画像特徴量算出手段で算出された画像特徴量との類似度を算出し、参照画像選定手段によって、参照画像類似度算出手段で算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する。

これによって、参照ピッチショット画像選定プログラムは、検出対象となる映像のフレーム画像に芝及び土の領域の画像特徴が類似したピッチショット画像を参照ピッチショット画像として選定することができる。

本発明に係るピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラムでは、以下のような優れた効果を奏する。

請求項１に記載の発明によれば、検出対象となる映像のフレーム画像に芝及び土の領域の画像特徴が類似したピッチショット画像を参照ピッチショット画像として選定するため、検出対象となる映像のフレーム画像に撮影時の条件の類似するピッチショット画像を参照ピッチショット画像とすることができる。そのため、フレーム画像と参照ピッチショット画像との芝や土の領域の画像特徴の違いを排除して、高精度に投球シーンのカット開始点のフレーム画像を検出することができる。これによって、投球シーンのカット開始点を用いた、野球映像のハイライトシーンの抽出やダイジェスト作成などの編集作業を、効率的に行うことができ、また、投球シーンのカット開始点単位での映像の再生、早送りや巻き戻し、ダイジェスト視聴などの効率的な野球放送番組の視聴が可能になる。

請求項２又は請求項３に記載の発明によれば、ピッチショット画像から、検出対象となる映像に適した参照ピッチショット画像を選定することができる。そのため、ピッチショット開始点検出装置による投球シーンのカット開始点のフレーム画像の検出精度を向上させることができる。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明におけるピッチショット検出システムについて説明する。

［ピッチショット検出システムの構成］
まず、図１を参照して、ピッチショット検出システムＡの構成について説明する。図１は、本発明のピッチショット検出システムの構成を示したブロック図である。

ピッチショット検出システムＡは、複数の過去の野球の映像に含まれる投球のシーンのフレーム画像に基づいて、野球の映像から投球シーンのカット開始点を検出するものである。ピッチショット検出システムＡは、記憶装置１と、参照ピッチショット画像セット生成装置３と、ピッチショット開始点検出装置５とを備えて構成されている。

（記憶装置の構成）
記憶装置１は、過去に撮影された投球のフレーム画像、後記する参照ピッチショット画像セット生成装置３によって選定された参照ピッチショット画像セット、投球シーンのカット開始点の検出対象となる映像、及び、後記するピッチショット開始点検出装置５で検出されたカット開始点の情報を記憶するもので、ハードディスク等の一般的な記憶手段である。記憶装置１は、ピッチショット画像記憶部１ａと、参照ピッチショット画像セット記憶部１ｂと、映像記憶部１ｃと、投球カット開始点記憶部１ｄとを備える。

ピッチショット画像記憶部１ａは、複数の過去の野球の映像に含まれる投球のシーンのフレーム画像（以下、ピッチショット画像と言う）を記憶するものである。ここで記憶されたピッチショット画像は、参照ピッチショット画像セット生成装置３によって参照されて用いられる。

なお、ここで記憶されるピッチショット画像は、例えば、過去に撮影された野球の映像から、人手によって抽出したものとしてもよい。

参照ピッチショット画像セット記憶部１ｂは、参照ピッチショット画像セット生成装置３によって生成された参照ピッチショット画像セットを記憶するものである。ここで記憶された参照ピッチショット画像セットは、参照ピッチショット画像セット生成装置３及びピッチショット開始点検出装置５によって参照されて用いられる。

この参照ピッチショット画像セットは、投球シーンのカット開始点の検出対象となる映像のフレーム画像と、芝及び土の領域の画像特徴が類似する少なくとも１つのピッチショット画像（参照ピッチショット画像）から構成される。この参照ピッチショット画像セットのフレーム画像は、後記する参照ピッチショット画像セット生成装置３によって、ピッチショット画像記憶部１ａに記憶されたピッチショット画像から選定される。そして、参照ピッチショット画像セットは、後記するピッチショット開始点検出装置５において、検出対象となる映像のカット開始点のフレーム画像の各々が、投球シーンのカット開始点のフレーム画像であるか否かを判定する基準となる。この参照ピッチショット画像セットは、参照ピッチショット画像セット生成装置３によって、検出対象となるそれぞれの映像に対応して生成される。なお、ここでは、参照ピッチショット画像セット記憶部１ｂには、参照ピッチショット画像セットに対応付けて、当該参照ピッチショット画像セットに対応する検出対象の映像の識別子も記憶されていることとする。

映像記憶部１ｃは、投球シーンのカット開始点の検出対象となる映像を記憶するものである。ここで記憶された映像は、ピッチショット開始点検出装置５によって参照されて用いられる。なお、ここでは、各々の映像に対応付けて、当該映像の識別子も記憶されていることとする。

投球カット開始点記憶部１ｄは、ピッチショット開始点検出装置５で検出された投球シーンのカット開始点のフレーム画像の情報を記憶するものである。ここでは、投球カット開始点記憶部１ｄは、ピッチショット開始点検出装置５で検出された投球シーンのカット開始点のフレーム画像と、当該フレーム画像のフレーム番号とを、当該映像の識別子に対応付けて記憶することとした。

（参照ピッチショット画像セット生成装置の構成）
参照ピッチショット画像セット生成装置（参照ピッチショット画像選定装置）３は、記憶装置１のピッチショット画像記憶部１ａに記憶される複数のピッチショット画像から、後記するピッチショット開始点検出装置５から入力される、投球シーンのカット開始点の検出対象となる映像のフレーム画像に画像特徴が類似するピッチショット画像を抽出した参照ピッチショット画像セットを生成するものである。ここで生成された参照ピッチショット画像セットは、記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶される。参照ピッチショット画像セット生成装置３は、基準特徴量算出手段３１と、グランド特徴量算出手段３２と、類似度算出手段３３と、参照画像選定手段３４とを備える。

基準特徴量算出手段３１は、ピッチショット開始点検出装置５の映像入力手段５１から入力された検出対象となる映像について、すでに参照ピッチショット画像セットが生成されているか否かを判断し、生成されていない場合には、当該映像のフレーム画像の各々について画像特徴を示す基準特徴量を算出するものである。基準特徴量算出手段３１は、算出判定手段３１１と、サンプル画像抽出手段３１２と、グランド特徴量算出手段３１３とを備える。

算出判定手段３１１は、ピッチショット開始点検出装置５の映像入力手段５１から入力された検出対象となる映像についての参照ピッチショット画像セットがすでに記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶されているか否かに基づいて、当該映像の基準特徴量を算出するか否かを判定するものである。ここで、算出判定手段３１１は、ピッチショット開始点検出装置５の映像入力手段５１から検出対象となる映像と、当該映像の識別子とを入力する。そして、算出判定手段３１１は、この識別子に対応付けられた参照ピッチショット画像セットが記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶されている場合には、基準特徴量を算出しないと判定する。一方、算出判定手段３１１は、この識別子に対応付けられた参照ピッチショット画像セットが参照ピッチショット画像セット記憶部１ｂに記憶されていない場合には、基準特徴量を算出すると判定して、映像入力手段５１から入力された映像と識別子とをサンプル画像抽出手段３１２に出力する。

サンプル画像抽出手段３１２は、算出判定手段３１１から入力された映像から、所定のフレーム間隔で、フレーム画像をサンプリングするものである。ここでサンプリングされたフレーム画像と当該映像の識別子とは、図示しない記憶手段に記憶された後、グランド特徴量算出手段３１３によって用いられる。

グランド特徴量算出手段３１３は、サンプル画像抽出手段３１２によって抽出されたフレーム画像の画像特徴を示す基準特徴量を算出するものである。ここで算出された基準特徴量は、当該映像の識別子とともに類似度算出手段３３に出力される。

以下、グランド特徴量算出手段３１３が基準特徴量を算出する方法について説明する。ここでは、グランド特徴量算出手段３１３が、入力されたフレーム画像内を芝及び土の領域（以下、グランド領域と言う）と、それ以外の領域とに分けてグランド領域を抽出し、グランド領域についての画像特徴量を算出する。

ここで、図２を参照（適宜図１参照）して、グランド特徴量算出手段３１３が、入力されたフレーム画像Ｆからグランド領域を抽出する方法について説明する。ここでは、グランド特徴量算出手段３１３は、フレーム画像Ｆを複数のブロックｂ、ｂ、…に分割して、ブロック単位でグランド領域を抽出することとした。図２は、グランド特徴量算出手段によって検出されたグランド領域の例を示す説明図である。

グランド特徴量算出手段３１３は、サンプル画像抽出手段３１２によって抽出されたフレーム画像Ｆを所定数のブロックｂ、ｂ、…に分割する。そして、グランド特徴量算出手段３１３は、各々のブロックｂ、ｂ、…のＲＧＢ値（画素値）を求める。そして、グランド特徴量算出手段３１３は、このＲＧＢ値に基づいて芝に対応する画素と土に対応する画素との画素数を計測する。ここで、芝に対応する画素のＲＧＢ値の範囲、及び、土に対応する画素のＲＧＢ値の範囲がそれぞれ予め設定されており、グランド特徴量算出手段３１３は、ＲＧＢ値がその範囲に含まれる画素を芝もしくは土の領域と判定することができる。なお、ＲＧＢ値の範囲は、例えば、過去の野球の映像のフレーム画像における芝と土の領域のＲＧＢ値に基づいて予め設定することができる。

そして、グランド特徴量算出手段３１３は、芝に対応する画素及び土に対応する画素の画素数の、ブロックｂの総画素数に対する割合が所定の閾値以上であるブロックｂをグランド領域のブロック（以下、グランド領域ブロックｂｇと言う）とする。図２では、グランド領域ブロックｂｇ（ｂ）、ｂｇ（ｂ）、…を、実線で囲まれたブロック、それ以外のブロックｂ、ｂ、…を点線で囲まれたブロックとして示している。

そして、グランド特徴量算出手段３１３は、抽出されたグランド領域（グランド領域ブロックｂｇ、ｂｇ、…）の画像についての画像特徴量を算出する。ここで、グランド特徴量算出手段３１３は、画像特徴量として、例えば、各フレーム画像のグランド領域のＲＧＢあるいはＨＳＶの平均値ベクトル、輝度ヒストグラム、エッジ画像のエッジ方向のヒストグラム、フラクタル尺度を利用した輝度変化とその複雑度を表すベクトル（特開２００１−５６８２０号公報参照）や、ブロックごとに解析されたこれらの特徴ベクトルをすべてのブロックで組み合わせたものを用いることができる。そして、グランド特徴量算出手段３１３は、各々のフレーム画像について算出された特徴ベクトルについての、ベクトルの種類ごとの平均値である特徴ベクトル（基準特徴量）を算出する。

図１に戻って説明を続ける。グランド特徴量算出手段（ピッチショット画像特徴量算出手段）３２は、記憶装置１のピッチショット画像記憶部１ａに記憶されたピッチショット画像の各々について、画像特徴を示す画像特徴量を算出するものである。ここで算出された各々のピッチショット画像の画像特徴量は、類似度算出手段３３に出力される。このグランド特徴量算出手段３２は、入力されたピッチショット画像からグランド領域を抽出し、グランド領域についての画像特徴量（特徴ベクトル）を算出する。なお、このグランド特徴量算出手段３２は、基準特徴量算出手段３１のグランド特徴量算出手段３１３と比べて、グランド領域の抽出方法や、算出される画像特徴量の種類及び算出方法は同一である。なお、グランド特徴量算出手段３２は、各々のピッチショット画像について画像特徴量を算出して、類似度算出手段３３に出力する。

類似度算出手段（参照画像類似度算出手段）３３は、グランド特徴量算出手段３１３から入力された基準特徴量と、グランド特徴量算出手段３２から入力された、各々のピッチショット画像の画像特徴量との類似度を算出するものである。ここで算出された類似度は、当該映像の識別子とともに参照画像選定手段３４に出力される。

この類似度算出手段３３は、例えば、２つの画像特徴量のユークリッド距離や、コサイン距離を求めることで、類似度を算出することができる。ここで、グランド特徴量算出手段３１３から入力された基準特徴量（基準特徴ベクトル）をＶ［Ｖ（１），Ｖ（２），…，Ｖ（ｍ）］、グランド特徴量算出手段３２から入力された画像特徴量（特徴ベクトル）をｖ［ｖ（１），ｖ（２），…，ｖ（ｍ）］とすると、符号を反転したユークリッド距離を用いた類似度Ｓ_１は、以下の式（１）で、コサイン距離を用いた類似度Ｓ_２は、以下の式（２）で表される。この類似度Ｓ_１、Ｓ_２は、値が大きいほど２つの画像特徴量がより類似することを示すものである。

なお、ここでは、類似度算出手段３３がユークリッド距離あるいはコサイン距離を用いて類似度を算出する例について説明したが、類似度算出手段３３は、この例に限定されず、様々な方法によって２つの画像特徴量の類似度を算出することができる。

参照画像選定手段３４は、類似度算出手段３３によって算出された類似度が所定の閾値より大きいピッチショット画像を参照ピッチショット画像セットのひとつとして選定するものである。ここで選定されたフレーム画像は、記憶装置１のピッチショット画像記憶部１ａから読み出されて、参照ピッチショット画像セットを構成する１つのフレーム画像として当該映像の識別子に対応させて記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶される。

なお、参照画像選定手段３４は、閾値に比べて、２つの画像特徴量がより類似するピッチショット画像を選定すればよい。そして、ここでは、類似度算出手段３３によって値が大きいほど２つの画像特徴量が類似することを示す類似度を算出することとし、参照画像選定手段３４が、当該類似度が所定の閾値より大きいピッチショット画像を選定することとしたが、類似度算出手段３３によって値が小さいほど２つの画像特徴量が類似することを示す類似度を算出することとし、参照画像選定手段３４が、当該類似度が所定の閾値より小さいピッチショット画像を選定することとしてもよい。

以上によって、参照ピッチショット画像セット生成装置３は、投球シーンのカット開始点の検出対象となる映像に対応した参照ピッチショット画像セットを生成することができる。

ここで、ピッチショット画像記憶部１ａに記憶されるフレーム画像は、過去の複数の野球の映像の投球のシーンのフレーム画像である。そして、参照ピッチショット画像セット生成装置３は、ピッチショット画像記憶部１ａに記憶されるフレーム画像、及び、検出対象となる映像のフレーム画像のそれぞれからグランド領域を検出して、検出対象となる映像のフレーム画像のグランド領域の画像特徴量に類似する画像特徴量を有する投球のシーンのフレーム画像を、ピッチショット画像記憶部１ａに記憶されるピッチショット画像から選定して参照ピッチショット画像セットとする。これによって、参照ピッチショット画像セット記憶部１ｂに記憶される参照ピッチショット画像セットは、検出対象となる映像に芝や土の領域の画像特徴が類似する過去の複数の野球の映像の投球のシーンのフレーム画像から構成され、後記するピッチショット開始点検出装置５において投球シーンのカット開始点のフレーム画像を検出する際において、検出対象となる映像に適した参照ピッチショット画像セットとなる。

（ピッチショット開始点検出装置の構成）
ピッチショット開始点検出装置５は、記憶装置１の映像記憶部１ｃに記憶された検出対象となる映像のカット開始点のフレーム画像から、参照ピッチショット画像セット記憶部１ｂに記憶された参照ピッチショット画像セットのフレーム画像に画像特徴の類似するカット開始点のフレーム画像を、投球シーンのカット開始点のフレーム画像として抽出するものである。ここで抽出されたフレーム画像は、記憶装置１の投球カット開始点記憶部１ｄに記憶される。

ピッチショット開始点検出装置５は、映像入力手段５１と、カットチェンジ判定手段５２と、画像特徴量算出手段５３と、参照画像特徴量算出手段５４と、類似度算出手段５５と、投球カット開始点判定手段５６とを備える。

映像入力手段５１は、投球シーンのカット開始点の検出対象となる映像を、記憶装置１の映像記憶部１ｃから入力するものである。ここでは、映像入力手段５１は、図示しない入力手段を介してユーザから指定された映像を、当該映像の識別子とともに映像記憶部１ｃから入力することとする。ここで入力された映像と識別子とは、参照ピッチショット画像セット生成装置３の基準特徴量算出手段３１の算出判定手段３１１と、カットチェンジ判定手段５２と、参照画像特徴量算出手段５４とに出力される。

カットチェンジ判定手段５２は、映像入力手段５１から入力された映像のカット開始点を検出するものである。ここでは、カットチェンジ判定手段５２は、判定対象のフレーム画像（以下、現フレーム画像と言う）と、現フレーム画像のひとつ前のフレーム画像（以下、前フレーム画像と言う）との変化を尺度として、変化が所定の閾値よりも大きい場合に、カットチェンジがあったと判定して、現フレーム画像をカット開始点のフレーム画像（開始点画像）とする。ここでカット開始点と検出された現フレーム画像は、画像特徴量算出手段５３に出力される。

ここで、カットチェンジ判定手段５２は、現フレーム画像と前フレーム画像との差分を算出し、差分が閾値以上である場合に、現フレーム画像をカット開始点とすることとした。また、カットチェンジ判定手段５２は、現フレーム画像及び前フレーム画像をそれぞれ複数のブロックに分割してブロックごとの画像特徴ベクトルを算出することとし、現フレーム画像と前フレーム画像とにおいて対応するブロック間の画像特徴ベクトルが閾値より大きく変化したブロック数を尺度として、カットチェンジを検出することとしてもよい（特開２００６−２７０３０１号公報参照）。なお、この時の画像特徴ベクトルとしては、例えば、参照ピッチショット画像セット生成装置３の基準特徴量算出手段３１のグランド特徴量算出手段３１３において用いた特徴ベクトルと同一のものを用いることができる。

画像特徴量算出手段（開始点画像特徴量算出手段）５３は、カットチェンジ判定手段５２から入力されたカット開始点のフレーム画像の画像特徴量を算出するものである。ここで算出された画像特徴量は、類似度算出手段５５に出力される。

ここで、画像特徴量算出手段５３は、入力されたフレーム画像について、例えば、ＲＧＢあるいはＨＳＶの平均値ベクトル、輝度ヒストグラム、エッジ画像のエッジ方法のヒストグラム、フラクタル尺度を利用した輝度変化とその複雑度を表すベクトル（特開２００１−５６８２０号公報参照）等の特徴ベクトルを、画像特徴量として算出することとしてもよいし、入力されたフレーム画像を複数のブロックに分割して、ブロックごとに解析されたこれらの特徴ベクトルをすべてのブロックで組み合わせたものを、画像特徴量として用いることとしてもよい。

参照画像特徴量算出手段５４は、記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶された参照ピッチショット画像セットのフレーム画像を読み出して、これらのフレーム画像の画像特徴量の平均値である参照画像特徴量を算出するものである。ここで算出された参照画像特徴量は、類似度算出手段５５に出力される。

ここで、参照画像特徴量算出手段５４は、参照ピッチ画像セットの各々のフレーム画像について画像特徴量を算出して、その平均値を求める。ここで、参照画像特徴量算出手段５４は、ｐ枚のフレーム画像から構成される参照ピッチショット画像セット｛Ｉ_１、Ｉ_２、…、Ｉ_ｐ｝の各フレーム画像Ｉ_ｋから、ｍ次元の画像特徴ベクトルＶ＿ｋ＝［Ｖ（ｋ，１），Ｖ（ｋ，２），…，Ｖ（ｋ，ｍ）］を算出する。そして、参照画像特徴量算出手段５４は、Ｖ＿１，Ｖ＿２，…，Ｖ＿ｐの平均ベクトルＶを算出して、参照画像特徴量とする。なお、画像特徴ベクトルＶ＿ｋとしては、画像特徴量算出手段５３と同様の特徴ベクトルを用いることができる。

類似度算出手段５５は、画像特徴量算出手段５３から入力された、検出対象の映像のカット開始点のフレーム画像の画像特徴量と、参照画像特徴量算出手段５４から入力された参照画像特徴量との類似度を算出するものである。ここで算出された類似度は、投球カット開始点判定手段５６に出力される。なお、この類似度算出手段５５は、類似度算出手段３３と同様に、例えば、２つの画像特徴量のユークリッド距離や、コサイン距離を求めることで、類似度を算出することができる。

投球カット開始点判定手段５６は、類似度算出手段５５によって算出された類似度が所定の閾値より大きいカット開始点のフレーム画像を投球シーンのカット開始点のフレーム画像として選定するものである。ここで選定されたフレーム画像は、記憶装置１の映像記憶部１ｃから読み出されて、フレーム番号に対応付けられて投球カット開始点記憶部１ｄに記憶される。

なお、投球カット開始点判定手段５６は、閾値に比べて、２つの画像特徴量がより類似するカット開始点のフレーム画像を選定すればよい。そして、ここでは、類似度算出手段５５によって値が大きいほど２つの画像特徴量が類似することを示す類似度を算出することとし、投球カット開始点判定手段５６が、当該類似度が所定の閾値より大きいカット開始点のフレーム画像を選定することとしたが、類似度算出手段５５によって値が小さいほど２つの画像特徴量が類似することを示す類似度を算出することとし、投球カット開始点判定手段５６が、当該類似度が所定の閾値より小さいカット開始点のフレーム画像を選定することとしてもよい。

これによって、ピッチショット開始点検出装置５は、記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶された参照ピッチショット画像セットに基づいて、映像記憶部１ｃに記憶された映像から投球シーンのカット開始点のフレーム画像を検出することができる。

ここで、ピッチショット画像記憶部１ａに記憶されている参照ピッチショット画像セットは、検出対象となる映像に芝や土の領域の画像特徴が類似する過去の複数の野球の映像の投球のシーンのフレーム画像から構成される。そして、ピッチショット開始点検出装置５は、検出対象となる映像のカット開始点のフレーム画像から、参照ピッチショット画像セットに画像特徴が類似するフレーム画像を抽出することで、検出対象となる映像のフレーム画像と、参照ピッチショット画像セットのフレーム画像の芝や土の領域の画像特徴の違いを排除して、高精度に投球シーンのカット開始点のフレーム画像を検出することができる。

なお、参照ピッチショット画像セット生成装置３及びピッチショット開始点検出装置５は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、参照ピッチショット画像セット生成プログラム（参照ピッチショット画像選定プログラム）及びピッチショット開始点検出プログラムとして動作させることも可能である。

［ピッチショット検出システムの動作］
次に、図３及び図４を参照（適宜図１参照）して、本発明におけるピッチショット検出システムＡの動作について説明する。図３は、本発明におけるピッチショット検出システムの動作を示したフローチャートである。図４は、本発明における参照ピッチショット画像セット生成装置の参照ピッチショット画像セット生成動作を示したフローチャートである。

まず、図３を参照（適宜図１参照）して、ピッチショット検出システムＡの動作について説明する。ピッチショット検出システムＡは、ピッチショット開始点検出装置５の映像入力手段５１によって、図示しない入力手段を介してユーザから指定された映像を記憶装置１の映像記憶部１ｃから読み込む（ステップＳ１１）。続いて、ピッチショット検出システムＡは、後記する参照ピッチショット画像セット生成装置３の参照ピッチショット画像セット生成動作によって、ステップＳ１１において選択された映像に対応する参照ピッチショット画像セットが記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶されていない場合に、参照ピッチショット画像セットを生成する（ステップＳ１２）。

そして、ピッチショット検出システムＡは、ピッチショット開始点検出装置５の参照画像特徴量算出手段５４によって、記憶装置１の参照ピッチショット画像セット記憶部１ｂから、ステップＳ１１において選択された映像に対応する参照ピッチショット画像セットのフレーム画像を読み込み（ステップＳ１３）、これらのフレーム画像の参照画像特徴量を算出する（ステップＳ１４）。続いて、ピッチショット検出システムＡは、ピッチショット開始点検出装置５のカットチェンジ判定手段５２によって、フレーム番号ｔを０とし（ステップＳ１５）、ステップＳ１１において選択された映像のフレーム番号ｔのフレーム画像を切り出す（ステップＳ１６）。

更に、ピッチショット検出システムＡは、ピッチショット開始点検出装置５のカットチェンジ判定手段５２によって、ステップＳ１６において切り出されたフレーム番号ｔのフレーム画像がカット開始点であるかを判定する（ステップＳ１７）。そして、カット開始点でない場合には（ステップＳ１７でＮｏ）、そのままステップＳ２２に進む。一方、カット開始点である場合には（ステップＳ１７でＹｅｓ）、ピッチショット検出システムＡは、ピッチショット開始点検出装置５の画像特徴量算出手段５３によって、ステップＳ１６において切り出されたフレーム画像の画像特徴量を算出する（ステップＳ１８）。

更に、ピッチショット検出システムＡは、ピッチショット開始点検出装置５の類似度算出手段５５によって、ステップＳ１８において算出されたカット開始点のフレーム画像の画像特徴量と、ステップＳ１４において算出された参照画像特徴量との類似度Ｓを算出する（ステップＳ１９）。続いて、ピッチショット検出システムＡは、ピッチショット開始点検出装置５の投球カット開始点判定手段５６によって、ステップＳ１９において算出された類似度Ｓが所定の閾値Ｓｔｈより大きいか否かを判断する（ステップＳ２０）。

そして、類似度Ｓが所定の閾値Ｓｔｈ以下である場合には（ステップＳ２０でＮｏ）、そのままステップＳ２２に進む。一方、類似度Ｓが所定の閾値Ｓｔｈより大きい場合には（ステップＳ２０でＹｅｓ）、ピッチショット検出システムＡは、ピッチショット開始点検出装置５の投球カット開始点判定手段５６によって、ステップＳ１６において切り出されたフレーム画像を投球シーンのカット開始点と判定する（ステップＳ２１）。

続いて、ピッチショット検出システムＡは、ピッチショット開始点検出装置５のカットチェンジ判定手段５２によって、フレーム番号ｔに１を加算し（ステップＳ２２）、このフレーム番号ｔが、ステップＳ１１において選択された映像の終端フレーム番号であるか否かを判断する（ステップＳ２３）。そして、終端フレーム番号でない場合には（ステップＳ２３でＮｏ）、ステップＳ１６に戻って、ピッチショット検出システムＡが、ピッチショット開始点検出装置５のカットチェンジ判定手段５２によって、フレーム番号ｔのフレーム画像を切り出す動作以降の動作を行う。一方、終端フレーム番号である場合には（ステップＳ２３でＹｅｓ）、そのまま動作を終了する。

（参照ピッチショット画像セット生成動作）
続いて、図４を参照して、参照ピッチショット画像セット生成装置３の参照ピッチショット画像セット生成動作（図３のステップＳ１２）について説明する。

参照ピッチショット画像セット生成装置３は、基準特徴量算出手段３１の算出判定手段３１１によって、図３のステップＳ１１においてピッチショット開始点検出装置５の映像入力手段５１によって選定された映像を入力して（ステップＳ３１）、当該映像についての参照ピッチショット画像セットがすでに生成されて、記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶されているか否かを判定する（ステップＳ３２）。

そして、生成されている場合には（ステップＳ３２でＹｅｓ）、そのまま動作を終了する。一方、生成されていない場合には（ステップＳ３２でＮｏ）、参照ピッチショット画像セット生成装置３は、基準特徴量算出手段３１のサンプル画像抽出手段３１２によって、ステップＳ３１において入力された映像から所定のフレーム間隔で、フレーム画像をサンプリングする（ステップＳ３３）。続いて、参照ピッチショット画像セット生成装置３は、基準特徴量算出手段３１のグランド特徴量算出手段３１３によって、ステップＳ３３においてサンプリングされたすべてのフレーム画像のグランド領域を抽出して、グランド領域の画像の画像特徴量を算出する（ステップＳ３４）。更に、参照ピッチショット画像セット生成装置３は、基準特徴量算出手段３１のサンプル画像抽出手段３１２によって、ステップＳ３４において算出された画像特徴量の平均である基準特徴量を算出する（ステップＳ３５）。

そして、参照ピッチショット画像セット生成装置３は、グランド特徴量算出手段３２によって、記憶装置１のピッチショット画像記憶部１ａに記憶されたピッチショット画像を１つ入力して（ステップＳ３６）、ピッチショット画像のグランド領域を抽出して、グランド領域の画像の画像特徴量を算出する（ステップＳ３７）。更に、参照ピッチショット画像セット生成装置３は、類似度算出手段３３によって、ステップＳ３５において算出された基準特徴量と、ステップＳ３７において算出されたピッチショット画像のグランド領域の画像特徴量との類似度Ｓｇを算出する（ステップＳ３８）。

続いて、参照ピッチショット画像セット生成装置３は、参照画像選定手段３４によって、ステップＳ３８において算出された類似度Ｓｇが所定の閾値Ｓｇ＿ｔｈより大きいか否かを判断する（ステップＳ３９）。そして、類似度Ｓｇが所定の閾値Ｓｇ＿ｔｈ以下である場合には（ステップＳ３９でＮｏ）、そのままステップＳ４１に進む。一方、類似度Ｓｇが所定の閾値Ｓｇ＿ｔｈより大きい場合には（ステップＳ３９でＹｅｓ）、参照ピッチショット画像セット生成装置３は、参照画像選定手段３４によって、ステップＳ３６において入力されたピッチショット画像を、参照ピッチショット画像セットを構成するフレーム画像として選定して、記憶装置１の参照ピッチショット画像セット記憶部１ｂに記憶する（ステップＳ４０）。

続いて、参照ピッチショット画像セット生成装置３は、グランド特徴量算出手段３２によって、記憶装置１のピッチショット画像記憶部１ａに未処理のピッチショット画像が記憶されているか否かを判断する（ステップＳ４１）。そして、記憶されている場合には（ステップＳ４１でＹｅｓ）、ステップＳ３６に戻って、参照ピッチショット画像セット生成装置３が、グランド特徴量算出手段３２によって、次のピッチショット画像を入力する動作以降の動作を行う。一方、記憶されていない場合には（ステップＳ４１でＮｏ）、そのまま動作を終了する。

［ピッチショット検出システムの適用例］
次に、図５を参照して、本発明のピッチショット検出システムＡを有する録画再生装置７について説明する。図５は、本発明のピッチショット検出システムを有する録画再生装置の構成を示したブロック図である。

図５に示すように、録画再生装置７は、記憶装置１の映像記憶部１ｃに記憶された映像のリスト及び投球シーンのカット開始点を表示装置Ｄに提示し、ユーザによって指定された映像を再生して表示するものである。録画再生装置７は、記憶装置１と、参照ピッチショット画像セット生成装置３と、ピッチショット開始点検出装置５と、映像リスト作成表示手段７１と、映像操作制御表示手段７２と、投球カット開始点サムネイル作成表示手段７３とを有する。なお、記憶装置１、参照ピッチショット画像セット生成装置３及びピッチショット開始点検出装置５の構成は、図１に示したものと同一であるので、同一の符号を付し、説明は省略する。

この録画再生装置７には、外部に表示装置Ｄが接続されている。この表示装置Ｄは、映像リスト作成表示手段７１、映像操作制御表示手段７２及び投球カット開始点サムネイル作成表示手段７３から入力された画像及び映像を表示するものであり、例えば、液晶ディスプレイ等の表示装置である。

映像リスト作成表示手段７１は、記憶装置１の映像記憶部１ｃに記憶された映像のリストを作成して表示装置Ｄに表示するものである。ここで、映像リスト作成表示手段７１は、図示しない入力手段を介して入力されたユーザからの映像のリストの表示の指令に基づいて、記憶装置１の映像記憶部１ｃに記憶された映像の識別子を参照してリストを生成し、当該リストの画像を生成して表示装置Ｄに表示可能な表示形式で出力する。

映像操作制御表示手段７２は、記憶装置１の映像記憶部１ｃに記憶された映像の操作を制御するものである。ここで、映像操作制御表示手段７２は、図示しない入力手段を介して入力されたユーザからの映像の操作の指令に基づいて、記憶装置１の映像記憶部１ｃに記憶された映像の操作を行う。ここで、映像の操作は、例えば、ユーザによって指定された映像の再生、停止、早送り、巻き戻しや、後記する投球カット開始点サムネイル作成表示手段７３によって表示装置Ｄに表示されて、図示しない入力手段を介してユーザによって選択されたサムネイルに対応する投球シーンの再生である。このとき、映像操作制御表示手段７２は、記憶装置１の映像記憶部１ｃから、ユーザによって指定された映像を読み出して、再生して表示装置Ｄに表示可能な表示形式で出力し、また、再生している映像の停止や、記憶装置１の投球カット開始点記憶部１ｄに記憶された投球シーンのカット開始点のフレーム番号を参照して、投球シーンのカット開始点まで早送り及び巻き戻しの操作を行う。更に、ユーザによってサムネイルを選択され、当該サムネイルに対応する投球シーンの再生の指令が入力された場合には、映像操作制御表示手段７２は、投球カット開始点記憶部１ｄに記憶された当該投球シーンのカット開始点のフレーム番号を参照して、このフレーム番号からの映像を再生する。

また、映像操作制御表示手段７２は、図示しない入力手段を介してユーザから、映像リスト作成表示手段７１によって表示されたリスト内の映像を選択されて当該映像の投球シーンのサムネイルを表示する指令を入力された場合には、この映像の識別子とともに、サムネイルを表示する指令を投球カット開始点サムネイル作成表示手段７３に出力する。

投球カット開始点サムネイル作成表示手段７３は、記憶装置１の投球カット開始点記憶部１ｄに記憶された投球シーンのサムネイルを作成して表示装置Ｄに表示するものである。ここで、投球カット開始点サムネイル作成表示手段７３は、映像操作制御表示手段７２からサムネイルを表示する映像の識別子と、当該映像の投球シーンのカット開始点のサムネイルの表示の指令とを入力すると、記憶装置１の投球カット開始点記憶部１ｄに記憶された当該映像の識別子に対応付けられた投球シーンのカット開始点のフレーム画像とフレーム番号とを入力してサムネイルの画像を生成し、表示装置Ｄに表示可能な表示形式で出力する。

これによって、録画再生装置７は、ピッチショット検出システムＡによって、記憶装置１の映像記憶部１ｃに記憶された映像から投球シーンのカット開始点を検出することができる。更に、録画再生装置７は、これらの映像のリストを提示するとともに、ユーザから指定された映像の投球シーンのカット開始点のフレーム画像配列したサムネイルを作成して、このサムネイルにおいて、ユーザによって指定された投球シーンの映像を再生、早送り及び巻き戻しして提示することができる。そのため、投球シーンのカット開始点単位での映像の再生、早送りや巻き戻しなどが可能になるとともに、投球シーンのみをまとめて再生することでダイジェスト視聴もでき、効率的な野球放送番組の視聴が可能になる。

本発明のピッチショット検出システムの構成を示したブロック図である。本発明の参照ピッチショット画像セット生成装置のグランド特徴量算出手段によって検出されたグランド領域の例を示す説明図である。本発明におけるピッチショット検出システムの動作を示したフローチャートである。本発明における参照ピッチショット画像セット生成装置の参照ピッチショット画像セット生成動作を示したフローチャートである。本発明のピッチショット検出システムを有する録画再生装置の構成を示したブロック図である。

符号の説明

Ａピッチショット検出システム
３参照ピッチショット画像セット生成装置（参照ピッチショット画像選定装置）
３１基準特徴量算出手段
３２グランド特徴量算出手段（ピッチショット画像特徴量算出手段）
３３類似度算出手段（参照画像類似度算出手段）
３４参照画像選定手段
５ピッチショット開始点検出装置
５２カットチェンジ判定手段
５３画像特徴量算出手段（開始点画像特徴量算出手段）
５４参照画像特徴量算出手段
５５類似度算出手段
５６投球カット開始点判定手段

Claims

野球の映像から、投球シーンのカット開始点のフレーム画像を検出するピッチショット検出システムであって、
前記映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量である基準特徴量を算出する基準特徴量算出手段と、
複数の他の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像の各々について、それぞれの画素を前記範囲に基づいて、前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量を算出するピッチショット画像特徴量算出手段と、
前記基準特徴量算出手段によって算出された基準特徴量と、前記ピッチショット画像特徴量算出手段によって算出された画像特徴量との類似度を算出する参照画像類似度算出手段と、
この参照画像類似度算出手段によって算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する参照画像選定手段と、
を有する参照ピッチショット画像選定装置と、
前記投球シーンのカット開始点の検出対象となる映像において、判定対象のフレーム画像を示す現フレーム画像と、当該現フレーム画像の一つ前のフレーム画像を示す前フレーム画像との変化が所定の閾値よりも大きい場合に、前記現フレーム画像をカット開始点のフレーム画像である開始点画像として検出するカットチェンジ判定手段と、
このカットチェンジ判定手段によって検出された開始点画像の画像特徴量を算出する開始点画像特徴量算出手段と、
前記参照ピッチショット画像選定装置によって選定された参照ピッチショット画像の画像特徴量を算出する参照画像特徴量算出手段と、
前記開始点特徴量算出手段によって算出された画像特徴量と、前記参照画像特徴量算出手段によって算出された画像特徴量との類似度を算出する類似度算出手段と、
この類似度算出手段によって算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該開始点画像を前記投球シーンのカット開始点のフレーム画像と判定する投球カット開始点判定手段と、
を有するピッチショット開始点検出装置と、
を備えることを特徴とするピッチショット検出システム。
野球の映像におけるカット開始点を検出し、当該カット開始点のフレーム画像である開始点画像と、野球の他の映像の投球シーンのフレーム画像である参照ピッチショット画像との画像特徴量の類似度に基づいて、前記開始点画像が投球シーンのカット開始点のフレーム画像か否かを判定するピッチショット開始点検出装置において用いられる前記参照ピッチショット画像を、複数の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像から選定する参照ピッチショット画像選定装置であって、
前記カット開始点の検出対象となる映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量である基準特徴量を算出する基準特徴量算出手段と、
複数の前記ピッチショット画像の各々について、それぞれの画素を前記範囲に基づいて、前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量を算出するピッチショット画像特徴量算出手段と、
前記基準特徴量算出手段によって算出された基準特徴量と、前記ピッチショット画像特徴量算出手段によって算出された画像特徴量との類似度を算出する参照画像類似度算出手段と、
この参照画像類似度算出手段によって算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する参照画像選定手段と、
を備えることを特徴とする参照ピッチショット画像選定装置。
野球の映像におけるカット開始点を検出し、当該カット開始点のフレーム画像である開始点画像と、野球の他の映像の投球シーンのフレーム画像である参照ピッチショット画像との画像特徴量の類似度に基づいて、前記開始点画像が投球シーンのカット開始点のフレーム画像か否かを判定するピッチショット開始点検出装置において用いられる前記参照ピッチショット画像を、複数の野球の映像の投球シーンのフレーム画像である複数のピッチショット画像から選定するためにコンピュータを、
前記カット開始点の検出対象となる映像の少なくとも一部のフレーム画像について、芝の領域及び土の領域のそれぞれに対して予め設定された画素値の範囲に基づいて、それぞれの画素を前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量である基準特徴量を算出する基準特徴量算出手段、
複数の前記ピッチショット画像の各々について、それぞれの画素を前記範囲に基づいて、前記芝の領域及び前記土の領域のいずれかであるか否かを判定し、前記芝の領域及び前記土の領域の画像についての画像特徴量を算出するピッチショット画像特徴量算出手段、
前記基準特徴量算出手段によって算出された基準特徴量と、前記ピッチショット画像特徴量算出手段によって算出された画像特徴量との類似度を算出する参照画像類似度算出手段、
この参照画像類似度算出手段によって算出された類似度が、予め設定された閾値に比べて、より類似することを示す場合に、当該ピッチショット画像を参照ピッチショット画像として選定する参照画像選定手段、
として機能させることを特徴とする参照ピッチショット画像選定プログラム。