JP4079095B2 - 野球映像対応付け支援方法及び装置及びプログラム - Google Patents

野球映像対応付け支援方法及び装置及びプログラム Download PDF

Info

Publication number
JP4079095B2
JP4079095B2 JP2004041589A JP2004041589A JP4079095B2 JP 4079095 B2 JP4079095 B2 JP 4079095B2 JP 2004041589 A JP2004041589 A JP 2004041589A JP 2004041589 A JP2004041589 A JP 2004041589A JP 4079095 B2 JP4079095 B2 JP 4079095B2
Authority
JP
Japan
Prior art keywords
event
video
score
time
inning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004041589A
Other languages
English (en)
Other versions
JP2005236541A (ja
Inventor
弾 三上
行信 谷口
幸紀 南田
正 仲西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004041589A priority Critical patent/JP4079095B2/ja
Publication of JP2005236541A publication Critical patent/JP2005236541A/ja
Application granted granted Critical
Publication of JP4079095B2 publication Critical patent/JP4079095B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、野球映像対応付け支援方法及び装置及びプログラムに係り、特に、野球のスコアブックとその野球の試合映像を対応付けるための野球映像対応付け支援方法及び装置及びプログラムに関する。
従来、ドキュメンタリー映像において、台本からの字幕作成のために、台本とその台本に基づいて作成された映像を対応付けるという研究が行われている。
従来の字幕スーパーを映像に自動的に表示するための方法においては、文頭の単語をキーワードとして指定した、キーワードスポッティングを用いて対応付けを行っている（例えば、特許文献１参照）。
特開平１０−２５４４７８「音声原稿最適照合装置及び方法」
しかしながら、上記従来の方法では、例えば、キーワードとなる文頭に、同じ単語が頻出するような場合においては、正しい対応付けが困難であるという問題がある。
本発明は、上記の点に鑑みなされたもので、野球の試合に特化し、野球のスコアブックとその野球の試合映像とを対応付けることによってスコアブックに含まれる情報を映像に付与することを可能とし、また、対応付けを補正することが可能な野球映像対応付け支援方法及び装置及びプログラムを提供することを目的とする。
図１は、本発明の原理を説明するための図である。
本発明（請求項１）は、野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援方法であって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段と、
野球の試合映像・音声が記録された映像記憶手段と、
スコアイベント検出手段と、イニング分割手段と、映像中イベント検出手段と、対応付け手段と、を有する装置において、
スコアイベント検出手段が、スコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出過程（ステップ１）と、
スコアイベント検出手段が、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出過程（ステップ２）と、
イニング分割手段が野球の試合映像・音声が記録された映像記録手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割して分割映像記憶手段に格納するイニング分割過程（ステップ３）と、
映像中イベント検出手段が、分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャッチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出過程（ステップ４）と、
対応付け手段が、スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け過程（ステップ５）と、
を行い、
映像中イベント検出過程（ステップ４）において、
メディア解析として、
映像に付随する音声情報のサンプルを取り出し、所定のサンプル幅ずつずらして切り出してその区間のパワーを計算し、該区間のパワーが所定の第１の閾値以上の区間について、近傍のサンプルとの相関を求め、相関値が所定の第２の閾値以下である場合に、予め用意された打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音、捕球音を検出し、タイプとしてＶ ｊ に設定する音響解析過程を行う。
また、本発明（請求項２）は、スコアイベント検出過程（ステップ２）において、
スコアイベント検出手段が、イベント発生時刻を設定する際に、
スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定する。
また、本発明（請求項３）は、イニング分割過程（ステップ３）において、
イニング分割手段が、スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する過程と、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する過程と、を行う。
また、本発明（請求項４）は、イニング分割過程（ステップ３）において、
イニング分割手段が、試合映像イニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う過程と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する過程と、を行う。
また、本発明（請求項５）は、映像中イベント検出過程において、
メディア解析として、
映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析過程と音響解析過程とを組み合わせることにより、イベントを検出する。
また、本発明（請求項６）は、対応付け過程において、
対応付け手段が、スコアイベントＳのうち、打球音が伴うイベントＳ*を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ*を選択する過程と、
選択されたイベントＳ*、Ｖ*のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める過程と、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する過程と、を行う。
また、本発明（請求項７）は、対応付け過程において、
対応付け手段が、
評価値を求める際に、誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える過程と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する過程と、を行う。
図２は、本発明の原理構成図である。
本発明（請求項８）は、野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援装置であって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段６０と、
スコアブロック記憶手段か６０らイニング毎のデータを読み込むスコアデータ読み込み手段９０と、
対応付けに必要なスコアイベントＳｉを抽出し、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出手段２０と、
野球の試合映像・音声が記録された映像記憶手段５０と、
映像記憶手段５０から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段７０に格納するイニング分割手段１０と、
分割映像記憶手段７０に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャッチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出手段３０と、
スコアイベントの集合ＳのイベントＳｉと映像イベント集合ＶのイベントＶｊについて対応付けを行う対応付け手段４０と、を有し、
映像中イベント検出手段３０は、
メディア解析として、映像に付随する音声情報のサンプルを取り出し、所定のサンプル幅ずつずらして切り出してその区間のパワーを計算し、該区間のパワーが所定の第１の閾値以上の区間について、近傍のサンプルとの相関を求め、相関値が所定の第２の閾値以下である場合に、予め用意された打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音、捕球音を検出し、タイプとしてＶ ｊ に設定する音響解析手段を含む。
また、本発明（請求項９）は、スコアイベント検出手段２３において、
イベント発生時刻を設定する際に、
スコアブック記憶手段６０に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻としてセってする手段を含む。
また、本発明（請求項１０）は、イニング分割手段１０において、
スコアブック記憶手段６０から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する手段と、
攻守交替タイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する手段と、を含む。
また、本発明（請求項１１）は、イニング分割手段１０において、
読み込まれた試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う手段と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果をと現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する手段と、を含む。
また、本発明（請求項１２）は、映像中イベント検出手段３０において、
メディア解析として、
映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析手段と音響解析手段とを組み合わせることにより、イベントを検出する。
また、本発明（請求項１３）は、対応付け手段４０において、
スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択する手段と、
選択されたイベントＳ＊、Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める手段と、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する手段と、を含む。
本発明（請求項１４）は、対応付け手段４０において
評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える手段と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する手段と、を含む。
本発明（請求項１５）は、請求項８乃至１４のいずれか１項に記載の野球対応付け支援装置を構成する各手段としてコンピュータを機能させるデータ識別プログラムである。
また、本発明のスコアイベント検出ステップにおいて、
イベント発生時刻を設定する際に、
スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定するステップを実行させる。
また、本発明のイニング分割ステップにおいて、
スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算するステップと、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定するステップと、を実行させる。
また、本発明のイニング分割ステップにおいて、
試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行うステップと、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納するステップと、を実行させる。
また、本発明の映像中イベント検出ステップにおいて、
メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する音響解析ステップ、
または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析ステップ、
または、音響解析ステップと画像解析ステップを組み合わせたステップのいずれかを実行させる。
また、本発明の対応付けステップは、
スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択するステップと、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求めるステップと、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力するステップと、を実行させる。
また、本発明の対応付けステップにおいて、
評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与えるステップと、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定するステップと、を実行させる。
本発明は、電子化された野球のスコアブックとその野球の試合映像を対応付けることにより、スコアブックに含まれる情報を映像に付与することができる。
詳しくは、本発明では、野球映像には、打球音や捕球音が繰り返し含まれ、また重要なキーワードのような役割を担っていることに着目し、「１イニング−１打席−１球」といった構造に分解できる野球のようなスポーツにおいて、１打席の中に含まれるイベントの中でも、映像からの精度が高く、かつ数が少ないイベントを用いて候補を作成することによって高速な対応付けが可能である。
また、イベントに誤りが含まれている場合に、その誤りを精度は低いながら量的に勝るイベントとを組み合わせることによって、補正することが可能である。
以下、図面と共に本発明の実施の形態を説明する。
本発明では、野球の試合のスコアブックとその野球の試合映像とを対応付けることによって電子的に記憶されたスコアブックに含まれる情報を映像に付与するものである。
以下では、電子スコアブックからイベントを抽出する処理、映像からイベントを抽出する処理、抽出された２つのイベントを対応付ける処理からなる映像へのメタデータ付与するための処理と共に、イベントを対応付ける処理の際に、精度が高く、少数であるイベントを用いて対応付けを行い、その後、量的に勝るイベントを用いて対応付けを補正する処理について説明する。
図３は、本発明の一実施の形態における野球映像対応付け支援装置の構成を示す。
同図に示す野球映像対応付け支援装置は、電子化スコアブック情報読み取り部９０、イニング分割部１０、スコアブック中イベント検出部２０、イベント対応表２１、映像中イベント検出部３０、イベント対応付け部４０、野球試合映像記憶部５０、電子化スコアブック記憶部６０、イニング分割野球試合映像記憶部７０、及び、入出力装置８０から構成される。
電子化スコアブック情報読み取り部９０は、電子化スコアブック記憶部６０から電子化されたスコアブックデータを読み込む。
イニング分割部１０は、野球試合映像記憶部５０に記憶されている野球試合映像・音声を読み込み、電子スコアブック情報読み取り部９０で読み取られたスコアブックデータのイニング毎の投球数、ストライク、ボール当の１球１球の結果を用いて攻守交替のタイミング毎に分割する。また、野球試合映像にイニング情報としてテロップが含まれている場合には、テロップ認識を行い、テロップに応じて攻守交替のタイミングを取得する。このようにして取得したイニング分割の映像・音声情報をイニング分割野球試合映像記憶部７０に格納する。
スコアブック中イベント検出部２０は、電子化スコアブック記憶部６０から読み出されたスコアブックデータから対応付けに当たり必要となるイベントを抽出する。さらに、抽出されたイベントをイベント対応表２１を用いて、イベントごとのタイプに変換する。また、イベント毎の生起時刻を予測し、各イベント毎の予測発生時間を設定する。
映像中イベント検出部３０は、イニング分割野球試合映像記憶部７０に記憶されている映像・音声についてメディア解析を行い、バッティングを行った瞬間、キャッチングを行った瞬間を検出する。
イベント対応付け部４０は、スコアブックイベント検出部２０で検出されたスコアイベントの集合と、映像中イベント検出部３０から取得した映像イベントの集合の最適な対応付けを行う。
野球試合映像記憶部５０は、野球試合の映像・音声が記憶されており、映像中にテロップが含まれていてもよい。
電子化スコアブック記憶部６０は、図４に示すように、スコアブックデータ、守備状態、時間情報の各テーブルを有する。（Ａ）スコアブックデータテーブルには、イニング毎の情報が格納される。守備状態テーブル（Ｂ）は、（Ａ）の守備状態の欄に対応するテーブルであり、守備状態番号毎に各ポジションの選手名が記録されている。時間情報テーブル（Ｃ）は、（Ａ）のメディアタイムの欄に対応するものであり、イニングＩＤとメディアタイムから構成されている。
イニング分割野球試合映像記憶部７０は、イニング分割部１０で分割された映像・音声情報を格納する。
次に、上記の構成における動作を説明する。
図５は、本発明の一実施の形態における全体の動作のフローチャートである。
ステップ１００） 電子化スコアブック情報読み取り部９０が、電子化スコアブック記憶部６０から電子化された野球のスコアブックデータテーブルの内容を読み込み、スコアブック中イベント検出部２０に転送すると共に、イニング毎の投球数、ストライク、ボールなどの１球１球の結果などといったイニング分割に必要な情報をイニング分割部１０に転送する。
ステップ１０１） イニング分割部１０は、野球試合映像記憶部５０から野球映像を入力し、全試合時間と投球数の情報、あるいは、テロップとして表示されるイニング、カウントの情報を用いて攻守交替タイミング毎に分割し、イニング分割された野球映像をイニング分割野球試合映像記憶部７０に記憶する。
ステップ１０２） スコアブック中イベント検出部２０は、ステップ１００で読み込まれたスコアブックデータから対応付けにあたって必要となるスコアイベントを抜き出す。さらに、それらの、スコアイベントをイベント対応表２１を用いて、例えば、最初のバッターが｛ストライク、ボール、ファール、センター前ヒット｝であれば、
Ｓ１＝ストライク Ｔｙｐｅ（Ｓ１）＝Ｃａｔｃｈｉｎｇ
Ｓ２＝ボール Ｔｙｐｅ（Ｓ２）＝Ｃａｔｃｈｉｎｇ
Ｓ３＝ファール Ｔｙｐｅ（Ｓ３）＝Ｂａｔｔｉｎｇ
Ｓ４＝ヒット Ｔｙｐｅ（Ｓ４）＝Ｂａｔｔｉｎｇ
のように変換する。また、そのイベントが起こった時刻を予測し、全てのスコアイベントＳｉに対して、Ｓｉの予測発生時間Ｔｉｍｅ（Ｓｉ）を設定する。また、Ｓｉの集合をＳと表すことにする。
ステップ１０４） 映像中イベント検出部３０は、イニング分割野球試合映像記憶部７０の映像からメディア解析によって、バッティングを行った瞬間、キャッチングを行った瞬間を検出する。キャチャーがボールを捕った瞬間の音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｃａｔｃｈｉｎｇ
とし、バッターがボールを打った瞬間を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｂａｔｔｉｎｇ
とする。また、検出した時の時間をＴｉｍｅ（Ｖｊ）に設定する。また、映像イベントＶｊの集合をＶと表すこととする。
ステップ１０５） イベント対応付け部４０は、スコアブック中イベント検出部２０で取得した、スコアイベントの集合Ｓと、映像中イベント検出部３０で取得した映像イベントの集合Ｖの最適な対応付けＭ（Ｓ）を求めて出力する。
例えば、スコアイベントＳが、
Ｓ１＝ストライク Ｔｙｐｅ（Ｓ１）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｓ１）＝１０
Ｓ２＝ボール Ｔｙｐｅ（Ｓ２）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｓ２）＝３０
Ｓ３＝ファール Ｔｙｐｅ（Ｓ３）＝Ｂａｔｔｉｎｇ Ｔｉｍｅ（Ｓ３）＝５０
Ｓ４＝ヒット Ｔｙｐｅ（Ｓ４）＝Ｂａｔｔｉｎｇ Ｔｉｍｅ（Ｓ４）＝７０
というスコアブックの集合Ｓに対して、
Ｔｙｐｅ（Ｖ１）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｖ１）＝１１
Ｔｙｐｅ（Ｖ２）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｖ２）＝１５
Ｔｙｐｅ（Ｖ３）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｖ３）＝２８
Ｔｙｐｅ（Ｖ４）＝Ｂａｔｔｉｎｇ Ｔｉｍｅ（Ｖ４）＝４６
Ｔｙｐｅ（Ｖ５）＝Ｃａｔｃｈｉｎｇ Ｔｉｍｅ（Ｖ５）＝５２
Ｔｙｐｅ（Ｖ６）＝Ｂａｔｔｉｎｇ Ｔｉｍｅ（Ｖ６）＝６９
という映像からの映像イベント列（Ｖ）が得られた場合、
Ｓ１―――Ｖ１
Ｓ２―――Ｖ３
Ｓ３―――Ｖ４
Ｓ４―――Ｖ６
という対応付けの組を出力する。これを、
Ｍａｔｃｈ（Ｓ１）＝Ｖ１
Ｍａｔｃｈ（Ｓ２）＝Ｖ３
Ｍａｔｃｈ（Ｓ３）＝Ｖ４
Ｍａｔｃｈ（Ｓ４）＝Ｖ６
と表し、スコアイベントＳ全体に対する対応付けを、
Ｍ（Ｓ）＝｛Ｖ１，Ｖ３，Ｖ４，Ｖ６｝
と表すこととする。
次に、上記のステップ１００について詳細に説明する。
イニング分割部１０は、データベースである電子化スコアブック記憶部６０から、電子化されたスコアブックデータの読み込みを行う。スコアブックデータは、通常のスコアブックと略等価な情報をもつ（通常のスコアブックのサブセット）。
図４は、本発明の一実施の形態における電子化スコアブック記憶部のテーブル例を示す。
電子化スコアブック記憶部６０から読み出されるスコアブックデータテーブル（Ａ）は、イニングの情報、打順、打者名、カウント、得点、１塁ランナーの有無のフラグ、２塁ランナーの有無のフラグ、３塁ランナーの有無のフラグ、守備状態テーブルを参照する番号、結果、メディアタイム、イニング内での投球ＩＤであるｉＩＤ、試合全体での投球ＩＤの各情報を有する。但し、メディアタイムに関しては、図４（Ｃ）に示すように、別のテーブルとしても構わない。また、守備状態テーブル（Ｂ）は、スコアブックデータテーブル（Ａ）から参照されるＩＤ及び、各守備位置の選手名を持つ。
次に、イニング分割部１０における、上記のステップ１０１の野球映像を攻守交替のタイミング毎に分割するイニング分割の動作を詳細に説明する。
図６は、本発明の一実施の形態におけるイニング分割処理のフローチャート（その１）である。
ステップ２０１） イニング分割部１０は、読み込まれたスコアブックデータテーブルから全投球数と全試合時間を取得し、その比例配分で、攻守交替タイミングを決定する。全投球数がＭ球、全試合時間Ｔで、１回表に投手がｍ１球投じたのであれば、最初の攻守交替のタイミングは、
Ｃｈａｎｇｅ（１）＝Ｔ×ｍ１／Ｍ
となり、以降、
Ｃｈａｎｇｅ（ｎ）＝Ｔ×Σ（ｍｎ）／Ｍ
となる。ここで、ｍｎは、ｎ回目の攻守切替の時の投球数である。しかしこのままでは不正確であるので、以降の処理によって補正を行う。
ステップ２０２） ｉ＝に初期化する。
ステップ２０３） ｉ＝ｉ＋１とする。
ステップ２０４） Ｃｈａｎｇｅ（ｉ）の前後ｎ分間を、ａ秒単位で入出力装置８０のディスプレイにサムネイル表示を行い、オペレータに提示する。
ステップ２０５） オペレータは、攻守交替のタイミングであるサムネイル（Ｎ）をクリックする。
ステップ２０６） イニング分割部１０は、ステップ２０５でオペレータがクリックしたサムネイルＮのメディアタイムであるＴｉｍｅ（Ｎ）によって、ｉ回目の攻守交替のタイミングＣｈａｎｇｅ（ｉ）をＴｉｍｅ（Ｎ）に設定する。
ステップ２０７） 全てのイニングの終了タイミングが設定済みであれば処理を終了し、そうでなければステップ２０３に移行する。
また、次に、ステップ１０１の別の処理形態として、テロップ認識を用いる方法について説明する。
図７は、本発明の一実施の形態におけるイニング分割処理のフローチャート（その２）である。
ステップ３０２） メモリ（図示せず）内の前の認識結果にφを代入して初期化する。
ステップ３０３） 認識対象時刻を所定の単位時間進める。
ステップ３０４） 野球試合映像記憶部５０から読み込んだ映像において、イニング情報がテロップとして出現する区域において、テロップが出現しているか否かの判断を行い、テロップが出現していれば、ステップ３０５に移行し、なければステップ３０３に移行する。
ステップ３０５） イニング情報が出現する区域において、テロップ認識を行い、認識結果を一時的にメモリ等に格納する。
ステップ３０６） 前のテロップ認識結果と現在のテロップ認識結果を比較して、同じであれば、ステップ３０３に移行し、異なればステップ３０７に移行する。
ステップ３０７） 現在の時刻ｔを攻守交替のタイミングとし、ｉ回目の攻守交替タイミングＣｈａｎｇｅ（ｉ）にｔを設定する。
ステップ３０８） メモリに格納された前のテロップ認識結果に、現在のテロップ認識結果を記録する。
ステップ３０９） 全イニングが終了のタイミングが設定済みであるかをチェックして、終わっていなければステップ３０３に移行する。
次に、前述のステップ１０４のスコアブック中イベント検出部２０における、読み込んだスコアブックデータからストライク、ボール等の対応付けに必要なイベントを抜き出し、その発生時刻を予測するスコアブックデータからのイベント検出処理について説明する。
図８は、本発明の一実施の形態におけるスコアブックデータからの検出処理のフローチャートである。
ステップ４０１） ｉ＝０と初期化する。
ステップ４０２） ｉをインクリメントする。
ステップ４０３） 読み込んだスコアブックデータからｉＩＤ（イニング内での投球ＩＤ）＝ｉのイベントを取り出す。
ステップ４０４） スコアイベントＳｉを図９に示すイベント対応表２１と照合する。イベント対応表２１にスコアイベントＳｉが存在していれば、ステップ４０５に移行し、存在していなければステップ４０３に移行する。
ステップ４０５） スコアイベントＳｉに対応するＴｙｐｅ属性を、スコアイベントＳｉのイベントタイプＴｙｐｅ（Ｓｉ）として設定する。例えば、『Ｓｉ＝ヒット』であれば、
Ｔｙｐｅ（Ｓｉ）＝Ｂａｔｔｉｎｇ
となる。
ステップ４０６） スコアブックデータに付随する時間情報の有無を判定する。電子化スコアブック記憶部６０に時間情報テーブルが付随しているかを判定し、付随している場合にはステップ４０７に移行し、ない場合にはステップ４０８に移行する。
ステップ４０７） スコアブックデータテーブルのメディアタイム欄に記録が付けられた時刻が記録されている場合に行われる処理であり、記録が入力された時刻（試合を見ながらスコアブックを記入した時刻）をスコアイベントＳｉの暫定的なイベント発生時刻Ｔｉｍｅ（Ｓｉ）として設定する。
ステップ４０８） スコアブックデータテーブルに記録が付けられた時刻が記録されていない場合には、スコアイベントＳｉが発生した時刻を予測して、Ｔｉｍｅ（Ｓｉ）に設定する。
その予測方法の一例を説明する。あるイニングがＴの時間を要し、その間にＮ人の打者が登場し、打者毎の投球数をｐ（ｎ）、経験的に打者交代に係る時間を、Ｔｃとしたときに、イベントＳｋをｉ番目のバッターのｊ球目の場合には、
Ｔｉｍｅ（Ｓｋ）＝（Ｔ−Ｔｃ×（N―１））×ｊ／Σｐ（ｎ）＋（i−１）×Ｔｃ
となる。
なお、投手毎、シチュエーション毎のインターバル時間の知識データベースを作成し、その知識からより高精度にＴｉｍｅ（Ｓｋ）を予測することも可能である。
ステップ４０９） スコアブックデータテーブルのデータを最後まで処理しているかを判定する。終わっていれば、当該処理を終了し、終わっていなければステップ４０２に移行する。
次に、前述のステップ１０４の映像中イベント検出部３０において、映像から映像イベントＶｊを検出する処理について説明する。
図１０は、本発明の一実施の形態における映像中イベント検出処理のフローチャートである。
以下では、映像中イベント検出部３０が、映像中イベントとして、映像中の音響解析を用いて、バッティングやキャッチングに伴って発生する音（打球音・捕球音）を検出する処理について説明する。
ステップ５０１） ｊ＝０と初期化する。
ステップ５０２） ｊ＝ｊ＋１とする。
ステップ５０３） 音響解析により、打球音、捕球音の検出を行い、打球音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｂａｔｔｉｎｇ
捕球音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｃａｔｔｉｎｇ
と設定する。
ここで、音響解析の方法の一例を示す。なお、音響解析には、バンドパスフィルタ、パワーサンプラ、比較器を有する音響解析装置を利用するものとする。
図１１は、本発明の一実施の形態における音響解析処理のフローチャートである。
ステップ１２０１） 音響信号をｗａｖ（ｊ）に格納する。
ステップ１２０２） ｗａｖ（ｊ）をバンドパスフィルタに通す。
ステップ１２０３） ｊ番目のサンプルから、Ｘサンプル取り出し、ｗサンプル幅ずつ、ｓサンプルずらして切り出して、その区間のパワーを計算し、順にｐ（ｉ）とする。
ステップ１２０４） パワーｐ（ｉ）が、図１２に示すように、所定の閾値ｔｈ１より大きくなり、所定の閾値ｔｈ２よりも大きくなってから、ｔｈ１より小さくなるまでに要する時間が、所定の閾値ｔｈ３以上かつ閾値ｔｈ４以下である部分を取り出す。
ステップ１２０５） ステップ１２０４で取り出された部分に関して近傍Ｙサンプルとの相関をとる。
ステップ１２０６） 相関が所定の閾値以上であれば、ステップ１２０８に移行し、閾値以下であれば、ステップ１２０７に移行する。
ステップ１２０７） 打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音か捕球音かの分類を行う。
ステップ１２０８） 全サンプル終了しているかを確認し、終了していなければ、ステップ１２０９に移行する。
ステップ１２０９） ｊ＝ｊ＋αとし、ステップ１２０３に移行する。
ステップ５０４） 映像の最後の音声について検出処理が終了したかを確認し、終了していれば当該処理を終了し、終了していなければステップ５０２に移行する。
次に、ステップ１０４において、映像にテロップ表示が挿入されている場合に、当該テロップの認識結果を用いることが考えられる。その例を以下に示す。
図１３は、本発明の一実施の形態におけるテロップ認識結果を用いて映像中のイベントを検出する処理のフローチャートである。
ステップ６０１） ｉ＝１，ｔ＝０に初期化する。
ステップ６０２） 時間間隔α＝５秒と設定する。
ステップ６０３） 時刻ｔからｔ＋αにおける、ストライク・ボール・アウトに関する情報が記述された部分のテロップの変化から、投手の投球数をカウントする。
ステップ６０４） ｔからｔ＋αの投球数Ｎが一意に確定するか判断する。この例を図１４を用いて説明する。図１４（ａ）に示すような変化が起きた場合、ボールが１球投げられたということが確定する。しかし、同図（ｂ）のような場合、ファールは２ストライク以降、カウントには変化が生じないため、何球投げられたのかがわからない。αを小さく設定し、その間に２球投じられることがないように設定すれば、（ｂ）のような場合には１球であると判断可能であるが、それでも同図（ｃ）のような場合には、ファールが打たれているかも知れないし、ボールが投げられているのかもしれない。
しかしこのような場合でも、同図（ｄ）のような状況になれば、打者が変わっていることが分かり、スコアブックの情報を用いれば、その間に何球投げられたかを確定することが可能である。
確定できる場合には、ステップ６０５に移行し、確定できない場合にはステップ６０６に移行する。
ステップ６０５） 時刻ｔからｔ＋αにおいて、N球の打球音あるいは捕球音を検出し、
Ｔｙｐｅ（Ｖ（ｊ＋ｎ））、 Ｔｉｍｅ（Ｖ（ｊ＋ｎ）） （ｎ＝１，２，…，Ｎ）
と設定し、ステップ６０７に移行する。
ステップ６０６） 時間間隔αを大きくしてステップ６０４に移行する。なお、時間間隔αは、予め決定された時間間隔分大きくするものとする（例えば３秒）。
ステップ６０７） ｉ＝ｉ＋１とする。
ステップ６０８） 映像の最後まで検出が行われていれば、処理を終了し、そうでなければステップ６０９に移行する。
ステップ６０９） ｔ＝ｔ＋αとしてステップ６０２に移行する。
上記の処理は、ある時刻tにおけるテロップの状態と、別の時刻ｔ＋αのテロップ状態を比較して、その差を見ることで、時間間隔αにおける投球数を知るためのものである。例えば、（Ａ）５秒間に投球がなかった場合、（Ｂ）２ストライクの後でのファールでカウントの変化がなかった場合などの状況でテロップ状態に変化がなく、時間間隔α秒での投球数が不明となるため、ステップ６０６において、時間間隔αを所定の値大きくすることで、テロップの状態に変化があったかを判断する。そして、変化があった時点で、スコアブックから得られた情報を用いて時間間隔αにおける投球数を知ることが可能になる。
さらに、上記のステップ１０４における他の方法として、映像からの画像解析により、投手の投球タイミングを検出した結果を用いることを考える。
図１５は、本発明の一実施の形態における映像の画像解析によるイベント検出処理のフローチャートである。
ステップ７０１） ｋ＝１，ｊ＝１，ｉ＝１と初期化する。
ステップ７０２） 映像の動き解析により、投球イベントを検出し、Ｐｋとし、その時の時刻をＴｉｍｅ（Ｐｋ）にセットする。映像の動き解析の手法としては、例えば、「K.Fujii and K. Arakawa,“Video editing based on motion recognition using temporal templates”Proceeding of ACM User Interface Software Technology(UIST)2003」に示される方法がある。当該文献の手法を当該ステップの処理に適用し、イニング分割野球試合映像記憶部７０に格納されているイニングに分割された野球映像を入力し、Ｐｋ（ピッチングまたは、牽制球）のイベントを検出し、検出した時の映像の時刻をＴｉｍｅ（Ｐｋ）に設定することが可能である。
ステップ７０３） ｋをインクリメントする。
ステップ７０４） 映像の最後まで検出が行われたかを判断し、終わっていなければ、ステップ７０２に移行し、終わっていればステップ７０５に移行する。
ステップ７０５） 映像の音響解析により打捕球音を検出し、Ｓｊとし、そのときの時刻をＴｉｍｅ（Ｓｊ）にセットする。
ステップ７０６） ｊをインクリメントする。
ステップ７０７） 映像の最後まで検出が行われているかを判定し、終了していなければステップ７０５に移行し、音響解析によって得られたイベントＳｊについて、全てのＰｋに対して、
ｂ＜Ｔｉｍｅ（Ｓｊ）−Ｔｉｍｅ（Ｐｋ）＜Ｔｈ
つまり、打捕球音Ｓｊの直前に投球フォームＰｋが検出されているようなＰｋを検索する。上記の式を満たすようなＰｋがあれば、Ｓｊをイベント検出結果Ｖｉとする。
ステップ７０９） ｉをインクリメントする。
ステップ７１０） 全てのＳｊについて、チェックしたかを検証し、終わっていれば、当該処理を終了し、終わっていなければステップ７０８に移行する。
次に、前述のステップ１０５のイベント対応付け部４０における、スコアブックデータからのスコアイベントＳと、映像からの映像イベントＶとの最適な対応付け処理について説明する。
図１６は、本発明の一実施の形態におけるイベント対応付け処理のフローチャートである。
ステップ８０１） スコアブック中イベント検出部２０においてスコアブックデータから検出したスコアイベントＳのうち、打球音が伴うイベントを選び出し、これをＳ＊とする。
ステップ８０２） 映像中イベント検出部３０において映像から検出した映像イベントＶのうち、打球音であると分類されたＶｊを選び出し、これをＶ＊とする。
ステップ８０３） 上記のＳ＊、Ｖ＊内のイベントをイニング内における時間的な順序関係を保持したまま生成が可能である全ての対応付けの組を求める。これを、Ｍｘ（ｘ＝１，２，…）とする。
ステップ８０４） ステップ８０３で生成した全ての対応付けの組について評価を行う。
ステップ８０５） 評価の最も良いものを選択し、対応付けの結果として出力する。
ここで、上記のステップ８０３における対応付けの組を求める処理について詳細に説明する。
図１７は、本発明の一実施の形態における対応付けの組を求める処理のフローチャートである。以下では、ｉ１，ｉ２，ｉ３，…，ｉＭの複数のカウンタを利用する。
ステップ９０１） ｉ1＝０と初期化する。
ステップ９０２） ｉ２＝ｉ１＋１と初期化する。
ステップ９０３） ｉ３=ｉ２＋１と初期化する。
ステップ９０４） ｉＭ＝ｉ（Ｍ−１）＋１と初期化する。
ステップ９０５） スコアブック中イベント検出部２０で検出された打球音が伴うイベントＳ＊と、映像中イベント検出部３０で検出された打球音の伴うイベントＶ＊の対応付けの組を、
Ｍｘ＝｛(Ｓ＊ ｉ１，Ｖ＊ ｉ１)，(Ｓ＊ ｉ２，Ｖ＊ ｉ２)，…，(Ｓ＊ ｉＭ，Ｖ＊ ｉＭ)｝
を生成する。
ステップ９０６） Mｘのｘをインクリメントする。
ステップ９０７） ｉＭが映像中に含まれる打球音の数を超えているか判断し、こえていなければステップ９０８に移行し、そうでなければステップ９０９へ移行する。
ステップ９０８） ｉＭをインクリメントする。
ステップ９０９） ｉ３がｉ４より小さいか判断し、小さければステップ９１０に移行し、そうでなければステップ９１１へ移行する。
ステップ９１０） ｉ３をインクリメントしてステップ９０４へ移行する。
ステップ９１１） ｉ２がｉ３より小さいか判断し、小さければステップ９１２へ移行し、そうでなければ、ステップ９１３に移行する。
ステップ９１２） ｉ２をインクリメントし、ステップ９０３に移行する。
ステップ９１３） ｉ１がｉ２より小さいか判断し、小さければステップ９１４へ移行し、そうでなければ処理を終了する。
ステップ９１４） ｉ１をインクリメントしてステップ９０２へ移行する。
次に、上記のステップ８０４の評価処理について説明する。
以下では、打球音だけを用いて生成した対応付けの組Ｍｘ（ｘ＝１，２，…）について以下の処理を繰り返す。
図１８は、本発明の一実施の形態における対応付けの組に対する評価処理のフローチャートである。
ステップ１００１） イベント対応付け部４０は、映像中イベント検出部３０で取得した打球音だけを用いて生成した対応付けの組Ｍｘ（ｘ＝１，２，…）について以下の処理を繰り返す。
ステップ１００２） 対応付けの組Ｍｘを打球音区間に分割する。ここで、打球音区間とは、スコアブックのデータのイニング開始から打球音、または打球音から打球音、または、打球音からイニング終了のいずれかとし、スコアブックのデータ上では、打球音区間の間には打球音は含まれないものとする。
ステップ１００３） 各打球音区間について、スコアブック中イベント検出部２０でスコアブックのデータから検出したスコアイベントＳのうち、捕球音を伴うイベントを選択し、Ｓ’とする。
ステップ１００４） 打球音区間に含まれる、映像中イベント検出部３０で検出された映像イベントをＶ’とする。
ステップ１００５） 上記のＳ’とＶ’の全ての対応付けの組を求める。
ステップ１００６） 各対応付けについて、対応付けの誤りのタイプを判定し、ペナルティ値を設定する。
ステップ１００７） ステップ１００５で作成した全ての対応付けのうち、ペナルティ値が最も小さい対応付けを選択し、打球音区間の対応付け結果とする。また、そのときのペナルティ値を当該打球音区間の評価値とする。
ステップ１００８） ステップ１００２で作成した打球音区間すべてについて、上記の評価値を全て足し合わせ対応付けの評価値とする。
次に、上記のステップ１００４における打球音区間のイベントの処理について説明する。図１９は、本発明の一実施の形態における打球音区間のイベントの処理のフローチャートである。
ステップ１１０１） イベント対応付け部４０は、スコアブック中イベント検出部２０で検出された打球音に対する打球音区間の各イベントについて以下の処理を行う。
ステップ１１０２〜ステップ１１１１の処理は、誤りのタイプを判定し、ペナルティ値を設定している処理である。誤りのタイプは以下の４種類がある。
・タイプ１：スコアブックのデータの捕球音を打球音として検出してしまった場合；
・タイプ２：スコアブックのデータの捕球音を検出漏れしてしまった場合；
・タイプ３：スコアブックのデータの打球音でも捕球音でもないところで、捕球音を検出してしまった場合；
・タイプ４：スコアブックのデータの打球音でも捕球音でもないところで、打球音を検出してしまった場合；
ステップ１１０３、１１０５、１１０７、１１０９、１１１１において、上記の誤りのタイプによるペナルティ値の大きさを設定する。
ペナルティ値の大きさは、タイプごとに誤りの生起確率によって決めるものとする。生起確率の少ない誤りのタイプには大きいペナルティ値を設定し、生起確率の大きな誤りのタイプには小さいペナルティ値を設定する。図１８におけるＰはペナルティ値を示す。
ここで、ステップ１１０３において、Ｐ＝ｐ０としているが、例えば、イベントＳｉの生起測時刻Ｔｉｍｅ（Ｓｉ）と、実際に生起した時刻との差（Ｔ）をペナルティ値を決定する要素に加え、
Ｐ＝ｐ０×αＴ
のように設定することも可能である。
ステップ１１１２） 打球音区間内のイベント毎の認識誤りによるペナルティ値Ｐの和を求める。
ステップ１１１３） 全てのイベントについて処理が終了しているかを判断し、終了していなければステップ１１０２に移行し、そうでなければステップ１１１４に移行する。
ステップ１１１４） ステップ１１１２で求められた累積されたペナルティ値Ｐを対応付けの評価値として終了する。
なお、上記の実施の形態における図５〜図８、図１０、図１１、図１３、図１５〜図１８に示すフローチャートをプログラムとして構築し、野球映像対応付け支援装置として利用されるコンピュータのＣＰＵ等の制御手段に実行させることも可能である。
また、構築されたプログラムを野球映像対応付け支援装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実行時にコンピュータにインストールすることも可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
本発明は、野球のようなスポーツの試合映像と、スコアブック等のように試合中または、試合終了後に編集されたデータとを対応付け、映像に編集されたデータを付与するようなシステムに適用可能である。
本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における野球映像対応付け支援装置の構成図である。 本発明の一実施の形態における電子化スコアブック記憶部のテーブルの例である。 本発明の一実施の形態における全体の動作のフローチャートである。 本発明の一実施の形態におけるイニング分割処理のフローチャート（その１）である。 本発明の一実施の形態におけるイニング分割処理のフローチャート（その２）である。 本発明の一実施の形態におけるスコアブックデータからのイベント検出処理のフローチャートである。 本発明の一実施の形態におけるイベント対応表の例である。 本発明の一実施の形態における映像中イベント検出処理のフローチャートである。 本発明の一実施の形態における音響解析処理のフローチャートである。 本発明の一実施の形態における音響信号の区間のパワーの抽出処理を説明するための図である。 本発明の一実施の形態におけるテロップ認識結果を用いて映像中のイベントを検出する処理のフローチャートである。 本発明の一実施の形態におけるテロップの変化から投球数を求める例である。 本発明の一実施の形態における映像の画像解析によるイベント検出処理のフローチャートである。 本発明の一実施の形態におけるイベント対応付け処理のフローチャートである。 本発明の一実施の形態における対応付けの組を求める処理のフローチャートである。 本発明の一実施の形態における対応付けの組に対する評価処理のフローチャートである。 本発明の一実施の形態における打球音区間のイベントの処理のフローチャートである。
符号の説明
１０ イニング分割手段、イニング分割部
２０ スコアイベント検出手段、スコアイベント検出部
２１ 対応表
３０ 映像中イベント検出手段、映像中イベント検出部
４０ 対応付け手段、対応付け部
５０ 映像記憶手段、野球試合映像記憶部
６０ スコアブック記憶手段、電子化スコアブック記憶部
７０ 分割映像記憶手段、イニング分割野球試合映像記憶部
８０ 入出力装置
９０ スコアデータ読み込み手段、電子化スコアブック情報読み取り部

Claims (15)

  1. 野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援方法であって、
    電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段と、
    野球の試合映像・音声が記録された映像記憶手段と、
    スコアイベント検出手段と、イニング分割手段と、映像中イベント検出手段と、対応付け手段と、を有する装置において、
    前記スコアイベント検出手段が、前記スコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出過程と、
    前記スコアイベント検出手段が、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出過程と、
    前記イニング分割手段が野球の試合映像・音声が記録された映像記録手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割して分割映像記憶手段に格納するイニング分割過程と、
    前記映像中イベント検出手段が、前記分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャッチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出過程と、
    前記対応付け手段が、スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け過程と、
    を行い、
    前記映像中イベント検出過程において、
    前記メディア解析として、
    映像に付随する音声情報のサンプルを取り出し、所定のサンプル幅ずつずらして切り出してその区間のパワーを計算し、該区間のパワーが所定の第１の閾値以上の区間について、近傍のサンプルとの相関を求め、相関値が所定の第２の閾値以下である場合に、予め用意された打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音、または、捕球音を検出し、タイプとして前記Ｖ ｊ に設定する音響解析過程を行う
    ことを特徴とする映像対応付け支援方法。
  2. 前記スコアイベント検出過程において、
    前記スコアイベント検出手段が、前記イベント発生時刻を設定する際に、
    前記スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、前記イベント発生時刻として設定する請求項１記載の映像対応付け支援方法。
  3. 前記イニング分割過程において、
    前記イニング分割手段が、前記スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する過程と、
    前記攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する過程と、
    を行う請求項１記載の野球映像対応付け支援方法。
  4. 前記イニング分割過程において、
    前記イニング分割手段が、前記試合映像イニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う過程と、
    記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する過程と、
    を行う請求項１記載の野球映像対応付け支援方法。
  5. 前記映像中イベント検出過程において、
    メディア解析として、
    映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析過程と前記音響解析過程とを組み合わせることにより、イベントを検出する
    請求項１記載の野球映像対応付け支援方法。
  6. 前記対応付け過程は、
    前記対応付け手段が、前記スコアイベントＳのうち、打球音が伴うイベントＳ*を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ*を選択する過程と、
    選択されたイベントＳ*、Ｖ*のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める過程と、
    前記対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する過程と、
    を行う請求項１記載の野球映像対応付け支援方法。
  7. 前記対応付け過程は、
    前記対応付け手段が、
    前記評価値を求める際に、誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える過程と、
    イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する過程と、
    を行う請求項６記載の野球映像対応付け支援方法。
  8. 野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援装置であって、
    電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段と、
    前記スコアブロック記憶手段からイニング毎のデータを読み込むスコアデータ読み込み手段と、
    対応付けに必要なスコアイベントＳｉを抽出し、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出手段と、
    野球の試合映像・音声が記録された映像記憶手段と、
    前記映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段に格納するイニング分割手段と、
    前記分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャッチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出手段と、
    スコアイベントの集合ＳのイベントＳｉと映像イベント集合ＶのイベントＶｊについて対応付けを行う対応付け手段と、を有し、
    前記映像中イベント検出手段は、
    前記メディア解析として、映像に付随する音声情報のサンプルを取り出し、所定のサンプル幅ずつずらして切り出してその区間のパワーを計算し、該区間のパワーが所定の第１の閾値以上の区間について、近傍のサンプルとの相関を求め、相関値が所定の第２の閾値以下である場合に、予め用意された打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音、捕球音を検出し、タイプとして前記Ｖ ｊ に設定する音響解析手段を含む
    ことを特徴とする野球映像対応付け支援装置。
  9. 前記スコアイベント検出手段は、
    前記イベント発生時刻を設定する際に、
    前記スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、前記イベント発生時刻としてセってする手段を含む
    請求項８記載の野球対応付け支援装置。
  10. 前記イニング分割手段は、
    前記スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する手段と、
    前記攻守交替タイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する手段と、を含む
    請求項８記載の野球対応付け支援装置。
  11. 前記イニング分割手段は、
    読み込まれた前記試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う手段と、
    記憶手段に一時的に格納されている前に認識されたテロップ認識結果をと現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する手段と、
    を含む請求項８記載の野球対応付け支援装置。
  12. 前記映像中イベント検出手段は、
    メディア解析として、
    映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析手段と前記音響解析手段とを組み合わせることにより、イベントを検出する請求項８記載の野球対応付け支援装置。
  13. 前記対応付け手段は、
    前記スコアイベントＳのうち、打球音が伴うイベントＳ*を選択し、前記映像イベントＶのうち、打球音であると分類されたイベントＶ*を選択する手段と、
    選択されたイベントＳ＊、Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める手段と、
    前記対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する手段と、
    を含む請求項８記載の野球映像対応付け支援装置。
  14. 前記対応付け手段は、
    前記評価値を求める際に、
    誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える手段と、
    イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する手段と、
    を含む請求項１３記載の野球映像対応付け支援装置。
  15. 請求項８乃至１４のいずれか１項に記載の野球対応付け支援装置を構成する各手段としてコンピュータを機能させるデータ識別プログラム。
JP2004041589A 2004-02-18 2004-02-18 野球映像対応付け支援方法及び装置及びプログラム Expired - Fee Related JP4079095B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004041589A JP4079095B2 (ja) 2004-02-18 2004-02-18 野球映像対応付け支援方法及び装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004041589A JP4079095B2 (ja) 2004-02-18 2004-02-18 野球映像対応付け支援方法及び装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2005236541A JP2005236541A (ja) 2005-09-02
JP4079095B2 true JP4079095B2 (ja) 2008-04-23

Family

ID=35019063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004041589A Expired - Fee Related JP4079095B2 (ja) 2004-02-18 2004-02-18 野球映像対応付け支援方法及び装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4079095B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4342529B2 (ja) * 2006-03-30 2009-10-14 株式会社東芝 オーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システム
JP6464616B2 (ja) * 2014-08-27 2019-02-06 富士通株式会社 情報処理プログラム、方法、及び装置
JP6582820B2 (ja) * 2015-06-24 2019-10-02 株式会社Ｊｖｃケンウッド スコアブック作成装置、スコアブック作成システム、スコアブック作成方法、プログラムおよび再生方法
JP6790407B2 (ja) 2016-03-25 2020-11-25 株式会社Ｊｖｃケンウッド 表示装置、表示方法及び表示プログラム
US11171901B2 (en) * 2019-04-17 2021-11-09 Jvckenwood Corporation Chat server, chat system, and non-transitory computer readable storage medium for supplying images and chat data
WO2021240644A1 (ja) * 2020-05-26 2021-12-02 富士通株式会社 情報出力プログラム、装置、及び方法

Also Published As

Publication number Publication date
JP2005236541A (ja) 2005-09-02

Similar Documents

Publication Publication Date Title
Zhu et al. Trajectory based event tactics analysis in broadcast sports video
TWI659654B (zh) 映像片段擷取方法、映像片段重播方法及裝置
US20060059120A1 (en) Identifying video highlights using audio-visual objects
CN110769178B (zh) 自动生成足球比赛射门集锦的方法、装置及设备及计算机可读存储介质
US20100005485A1 (en) Annotation of video footage and personalised video generation
US20080138029A1 (en) System and Method For Replay Generation For Broadcast Video
US7956893B2 (en) Method of indexing last pitching shots in a video of a baseball game
Merler et al. The excitement of sports: Automatic highlights using audio/visual cues
Dahyot et al. Joint audio visual retrieval for tennis broadcasts
TW201639615A (zh) 擷取方法及裝置
Merler et al. Automatic curation of golf highlights using multimodal excitement features
WO2002011423A2 (en) Method and system for reviewing, editing and analyzing video
JP4079095B2 (ja) 野球映像対応付け支援方法及び装置及びプログラム
Macdonald Recreating the game: using player tracking data to analyze dynamics in basketball and football
JP4200219B2 (ja) 画像認識装置及び画像認識プログラム
Sandesh et al. Text-mining based localisation of player-specific events from a game-log of cricket
TWI579026B (zh) 資訊處理方法及裝置
KR102624650B1 (ko) 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
US20070292112A1 (en) Searching method of searching highlight in film of tennis game
JP6394184B2 (ja) 判定プログラム、方法、及び装置
JP4214990B2 (ja) イベント検出方法及び装置及びプログラム
Bhat et al. Cricket Video Summarization Using Deep Learning
Ramlogan et al. Semi-automated cricket broadcast highlight generation
US20240196069A1 (en) Information processing apparatus, information processing method, and program
JP4276638B2 (ja) 映像編集装置、映像編集方法、映像編集プログラム、及びプログラムの記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees