WO2006077806A1

WO2006077806A1 - シーン区間分割装置

Info

Publication number: WO2006077806A1
Application number: PCT/JP2006/300482
Authority: WO
Inventors: Masaaki Yoshikawa; Toru Nakada; Wenli Zhang
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-01-24
Filing date: 2006-01-17
Publication date: 2006-07-27
Also published as: JPWO2006077806A1; CN101107848A; JP4839226B2; US8306390B2; US20090202217A1

Abstract

　スポーツ映像からブレーク区間とインプレー区間を正確に特定し、インプレー区間での一連の攻撃を一つのシーン区間毎に正確に管理できるシーン区間分割装置を提供する。　ボールの軌跡変化毎に主体者を特定したボール軌跡情報を管理するボール軌跡情報格納部１１７、ボール軌跡情報を用いてボールの動きが一定時間停止している時点を抽出するボール一定時間停止点抽出部１２１、ボール軌跡情報を用いて停止点に最も近い時点を抽出するボール最近点抽出部１２２、ボール軌跡情報格納部１１７からボール軌跡情報を取得し、ボール一定時間停止点抽出部１２１、及びボール最近点抽出部１２２で抽出した各時点からブレーク区間を特定するブレーク区間特定部１２３、特定したブレーク区間を基にインプレー区間のボール軌跡情報を抽出し、シーン区間毎に分割するシーン区間分割部１２５とを備えるシーン区間分割装置１０２を提供する。

Description

明細書

シーン区間分割装置

技術分野

[0001] スポーツの映像と共に、映像の構造情報を提示する技術に関するものである。

背景技術

[0002] 従来、サッカーのような競技のスポーツ映像を、インプレー区間とブレーク区間に分割し、インプレー区間の映像をダイジェスト視聴できる技術が知られている（特許文献 1参照）。特許文献 1では、スポーツ映像から背景色の比率を求め、その比率が大きい映像はワイド、小さい映像はズームというように撮影形態を割り出し、さらに、前後の映像から平均運動量を求めている。そして、撮影形態がワイド中心で平均運動量が多い箇所をインプレー区間と判定し、それ以外の箇所をブレーク区間と判定している。これにより、インプレー区間の映像をダイジェスト視聴できる。この他に、スポーツ映像に映るボールを認識して、ボールの動きからプレーの内容を特定する技術も知られている（非特許文献 1参照）。非特許文献 1では、スポーツ映像に映るボールを認識して、ボールの動きから変化点を抽出し、その時点でボールに一番近い選手を、その行為を行った主体者として特定し、ボールと主体者との位置関係、あるいは、その後のボールの移動方向等から主体者が行ったプレー内容、例えばドリブル、キープ、パス、シュート、クリア等を特定している。また、非特許文献 1ではフィールド情報も管理しており、ボールの位置とフィールド情報とから、ボールがフィールド内にあるのか否かを判定し、インプレー区間とブレーク区間を分割することができる。これにより、インプレー区間の映像をダイジェスト視聴できる。

特許文献 1 :特開 2004— 40750号公報

非特許文献 1 :サッカーにおける選手のプレー判定慶應義塾大学理工学部情報工学科長瀬琢也小沢慎

発明の開示

発明が解決しょうとする課題

[0003] し力、しながら、上記特許文献 1では撮影形態にズームを多用する場合、実際にはィンプレー区間であるにもかかわらず、誤ってブレーク区間であると判定されるおそれがある。また、カットの映像を多用する場合、前後の映像の変化は大きぐ平均運動量が多いと判定されてしまレ、、実際にはブレーク区間であるにもかかわらず、誤ってインプレー区間と判定されるおそれがある。このように、上記特許文献 1では、カメラの撮影形態や、前後の映像から求める平均運動量を利用したとしてもインプレー区間とブレーク区間が誤って判定され、正確にダイジェスト視聴ができないという問題があった。

[0004] 一方、上記非特許文献 1では、ボールの位置とフィールド情報とから、ボールの位置がフィールド外にあるときブレーク区間を正確に特定できるものの、ボールの位置力 Sフィールド内にあるとき反則などでブレーク区間が発生した場合は、ブレーク区間を正確に特定できないという問題を有していた。すなわち、反則直後に選手が行うドリブルゃパス等はブレーク区間であるにもかかわらず、インプレー区間として判断されるという問題があった。

[0005] さらに、サッカーのような競技のスポーツ映像は、利用者が最も視聴したいシーンをダイジェスト視聴できるようにするため、インプレー区間をシーン区間に分割して管理されることが要求される。これには、まず、スポーツ映像を競技が進行しているインプレー区間と、競技が中断しているブレーク区間とに分割する処理を行い、その後にィンプレー区間の映像について攻守の交代や攻撃の切れ目があった時点で分割することにより、一連の攻撃を一つのシーン区間として分割し、管理することができる。

[0006] しかしながら、上記特許文献 1及び非特許文献 1では、インプレー区間で攻守の切り替えや攻撃の切れ目があっても、それらについては正確に認識できないので、一連の攻撃を一つのシーン区間として分割することはできず、インプレー区間をシーン区間毎に分割することができないという問題を有していた。仮に非特許文献 1において、攻守の切り替えや攻撃の切れ目があった場合にシーン区間として特定し、分割したとしても、これは、ボール軌跡変化点で主体者の所属チームの変更があった箇所で分割されるだけである。このため、混戦状態で選手同士が競り合つている場合には、一連の攻撃の中で主体者の所属チームが頻繁に切り替わり、その変更がある度にシーン区間として分割され、一連の攻撃シーンが複数のシーン区間により構成され、細切れに分割されてしまう。

[0007] 本発明は、スポーツ映像の撮影形態にズームやカット等を多用する場合や、ボール力 Sフィールド内にあるときに反則が発生した場合でも正確にブレーク区間を特定でき

、さらに、インプレー区間において混戦状態がある場合には主体者が切り替わる度にシーン区間を分割せずに、一連の攻撃を一つのシーン区間として正確に管理でき、一方、クリアにより一連の攻撃が終了した場合にはシーン区間を分割して管理することができるシーン区間分割装置を提供することを目的とする。

課題を解決するための手段

[0008] 本発明のシーン区間分割装置は、スポーツ映像に映るボールの軌跡変化毎に主体者を特定したボール軌跡情報を管理するボール軌跡情報格納部と、前記ボール軌跡情報を用いてボールの動きが一定時間停止している時点を抽出するボール一定時間停止点抽出部と、前記ボール軌跡情報を用いて前記一定時間停止しているボール位置に最も近い時点を抽出するボール最近点抽出部と、前記ボール軌跡情報格納部からボール軌跡情報を取得し、前記ボール一定時間停止点抽出部、及び前記ボール最近点抽出部で抽出した各時点からブレーク区間を特定するブレーク区間特定部と、前記特定したブレーク区間を基にインプレー区間のボール軌跡情報を抽出し、シーン区間毎に分割するシーン区間分割部とを備えることを特徴とする。発明の効果

[0009] 以上、本発明のシーン区間分割装置によれば、スポーツ映像の撮影形態にズームやカット等を多用する場合や、ボールがフィールド内にあるときに反則が発生した場合でも正確にブレーク区間を特定でき、さらに、インプレー区間において混戦状態がある場合には主体者が切り替わる度にシーン区間を分割せずに、一連の攻撃を一つのシーン区間として正確に管理でき、一方、クリアにより一連の攻撃が終了した場合にはシーン区間を分割して管理することができる。

図面の簡単な説明

[0010] [図 1]本発明の一実施例のシーン区間分割装置を備えたスポーツ映像送信装置の内部構成ブロックを示す図

[図 2]ボール軌跡情報を取得する処理手順を示すフロー図 [図 3]シーン区間を分割する処理手順を示すフロー図

[図 4]ボール軌跡情報のボール位置を用いてブレーク区間を特定する処理手順を示すフロー図

園 5]ボール位置からブレーク区間を特定する際に用レ、る情報を示す図

園 6]審判合図情報の発生時刻を用いてブレーク区間を特定する処理手順を示すフロー図

園 7]審判合図の発生時刻からブレーク区間を特定する際に用いる情報を示す図 [図 8]ボール軌跡情報のボール動きべクトノレを用いてブレーク区間を特定する処理手順を示すフロー図

園 9]ボール動きベクトルからブレーク区間を特定する際に用いる情報を示す図

[図 10]インプレー区間でのシーン区間を分割する処理手順を示すフロー図。

園 11]シーン区間を分割する場合のボール軌跡情報を示す図（クリアシーン）園 12]シーン区間を分割しない場合のボール軌跡情報を示す図（混戦状態）園 13]ボール軌跡情報のデータ構造を示す図

[図 14]ボール軌跡情報格納部へのデータ格納例を示す図

園 15]チーム情報のデータ構造を示す図

[図 16]チーム情報格納部へのデータ格納例を示す図

園 17]フィールド情報のデータ構造を示す図

[図 18]フィールド情報格納部へのデータ格納例を示す図

[図 19]審判合図情報のデータ構造を示す図

[図 20]審判合図情報格納部へのデータ格納例を示す図

[図 21]ブレーク区間のデータ構造を示す図

園 22]ブレーク区間格納部へのデータ格納例を示す図

園 23]シーン区間のデータ構造を示す図

園 24]シーン区間格納部へのデータ格納例を示す図

園 25]別の形態のスポーツ映像配信システムを示す図

[図 26]別の形態のスポーツ映像配信システムを示す図

符号の説明 [0011] 102 シーン区間分割装置

117 ボール軌跡情報格納部

121 ボール一定時間停止点抽出部

122 ボール最近点抽出部

123 ブレーク区間特定部

125 シーン区間分割部

発明を実施するための最良の形態

[0012] つづいて、本発明を実施するための最良の形態について説明する。なお、本発明は、以下の実施例に限定されるものではなぐ本発明の要旨を逸脱しない範囲であれば、適宜に変更、実施できるものとする。

実施例 1

[0013] 以下、本発明の第 1実施例について説明する。本実施例では、スポーツ映像配信側の装置にシーン区間分割装置を備え、シーン区間分割装置は、撮影されたスポーッ映像に映るボールの軌跡情報からブレーク区間を特定した後、これを基にインプレ一区間を抽出し、さらにインプレー区間を多数のシーン区間に分割して管理し、これをスポーツ映像受信側の端末に送信する態様を説明する。

[0014] 図 1に示すように、スポーツ映像送信装置 100は、大きく分けてボール軌跡情報取得

部 101と、シーン区間分割部 102から構成される。ボール軌跡情報取得部 101は、カメラにより撮影された多数のスポーツ映像を格納したスポーツ映像格納部 10と撮影時のカメラの動きや撮影角度の変化等の情報を管理するカメラパラメータ格納部 20 を用いてボールの軌跡情報を取得するブロックである。また、シーン区間分割部 102 は、ボール軌跡情報取得部 101で取得したボール軌跡情報を基に、スポーツ映像のブレーク区間を特定し、これを基にインプレー区間を抽出し、さらにインプレー区間を多数のシーン区間に分割して管理するブロックである。

[0015] ボール軌跡情報取得部 101は、スポーツ映像格納部 10から映像に映っているボールを認識するボール認識部 111、認識したボールの動きを抽出するボール動きべタトル抽出部 112、カメラの動きや撮影角度の変化等により生じたスポーツ映像に映るボールの動きの誤差を、カメラパラメータ格納部 20で管理するカメラパラメータを用いて補正するボール動きベクトル補正部 113、補正されたボールの動きから変化点を抽出するボール動きベクトル変化点抽出部 114、チームを特定するためにュニフオームの色等の情報をチーム名と関連付けて管理するチーム情報格納部 115、各ボール動きべクトノレ変化点の映像とカメラパラメータを取得して変化点でボールに最も近い選手を主体者として特定し、さらに、チーム情報格納部 115を用いて主体者のチーム情報を特定し、ボール軌跡変化点毎の軌跡変化時刻、ボール位置、ボール動きベクトル、及び主体者のチーム情報からなるボール軌跡情報を取得する主体者チーム特定部 116を備えている。なお、主体者の所属するチームを特定するには、チーム情報格納部 115でユニフォームの色や模様等の情報を管理しておくことで特定できる（図 15及び 16参照）。

[0016] シーン区間分割部 102は、主体者チーム特定部 116からボール軌跡情報を受け取り、管理するボール軌跡情報格納部 117、審判の合図情報を発生時刻毎に管理する審判合図情報格納部 118、フィールドの境界を X， Y座標で管理するフィールド情報格納部 119、ボール軌跡情報とフィールド情報を用いてボール軌跡変化点のボール位置がフィールド内外のどちらにあるかを判定するフィールド内外ボール判定部 120、ボール軌跡情報からボールが一定時間停止している点を抽出するボール一定時間停止点抽出部 121、あるボール軌跡変化点のボールの位置に最も近いボール軌跡変化点を抽出するボール位置最近点抽出部 122、ボール軌跡情報格納部 117 内のボール軌跡情報、フィールド内外ボール判定部 120の判定結果、ボール一定時間停止点抽出部 121及びボール位置最近点抽出部 122の抽出結果、あるいは審判合図情報格納部 118内の審判合図情報を用いて、ボール軌跡情報からブレーク区間を特定するブレーク区間特定部 123、特定したブレーク区間を受け取り、管理するブレーク区間格納部 124、ボール軌跡情報格納部 117のボール軌跡情報とブレーク区間格納部 124のブレーク区間を基にインプレー区間を抽出し、インプレー区間を一連の攻撃シーン区間毎に分割する攻守シーン分割部 125、分割したシーン区間を管理するシーン区間格納部 126を備えている。

[0017] ここで、ボール軌跡情報格納部 117は、ボール軌跡変化点毎の時刻、 X， Y座標で示すボール位置とボール動きベクトル、及び主体者のチームを管理している（図 13 及び 14参照）。また、審判合図情報格納部 118は、審判が合図を行った時刻を発生毎に管理している（図 19及び 20参照）。審判合図時刻の登録手段には、試合中に審判が笛を吹いた時刻を登録者が確認して登録する手段や、審判の笛に送信装置を搭載し、審判が笛を吹いた際に送信装置が無線通信を行って、スポーツ映像送信装置 100が受信時刻を登録する手段などがある。さらに、フィールド情報格納部 119 は、フィールドの境界を X, Y座標で管理しており、これを用いることにより、ボール軌跡情報の X、 Y座標で示すボールの位置がフィールド内にあるのか否かを判定することができる（図 17及び 18参照）。また、ブレーク区間格納部 124は、ブレーク区間の開始、終了時刻をブレーク区間毎に管理している（図 21及び 22参照）。さらに、シーン区間格納部 126は、攻撃チーム名、開始時刻、終了時刻をシーン区間毎に管理している（図 23及び 24参照）。

次に、図 2を用レ、てボール軌跡情報取得部 101内のボール軌跡情報の取得手順について説明する。ステップ 201では、ボール認識部 111がスポーツ映像格納部 10 力映像に映っているボールを認識し、ステップ 202では、ボール動きベクトル抽出部 112が認識したボールの動きを追跡し、ボールの動きベクトルを抽出する。抽出されるボール動きベクトルは、スポーツ映像の撮影時にカメラの動きや撮影角度の変化等の影響を受けて誤差を生じているので、ステップ 203では、ボール動きベクトル補正部 113が、スポーツ映像を撮影したカメラの動きや撮影角度の変化等のカメラ情報を管理しているカメラパラメータ格納部 20を用いて、抽出したボール動きベクトルの補正を行う。つづいてステップ 204では、ボール動きベクトル変化点抽出部 114が補正されたボール動きベクトルに変化点があるか否かについて判定する。ある場合はステツプ 205に進み、ない場合はステップ 201に戻る。ステップ 205では、主体者チーム特定部 116がボール動きベクトル変化点でのスポーツ映像とカメラパラメータを用いて正確な映像を取得し、さらに、その時点でボールに最も近い選手を主体者として特定し、チーム情報格納部 115のチーム情報を用いて主体者が所属するチームを特定し、この時点の時刻、ボール位置、ボールの動きベクトル、及び主体者（チーム名）を特定したボール軌跡情報を取得する。ステップ 206では、取得したボール軌跡情報をボール軌跡情報格納部 117へ登録し、ステップ 207では、次のスポーツ映像があるか否かを判定する。ある場合はステップ 201に戻って、ステップ 201乃至 206 の処理を行い、ない場合は終了する。以上のステップにより、多視点で撮影されたスポーッ映像と、それを撮影したカメラの動きや撮影角度の変化等を管理しているカメラパラメータとを用いてボール軌跡情報を取得することができる。次に、図 3を用いてシーン区間分割部 102内のシーン区間分割手順について説明する。ステップ 301では、ボール軌跡情報格納部 117がボール軌跡情報取得部 101 から送られてくるボール軌跡情報を登録した後、フィールド内外ボール判定部 120がボール軌跡情報及びフィールド情報格納部 119のフィールド情報を用いてボール位置によるブレーク区間の特定を行う。ステップ 302では、ステップ 301のボール位置により特定されたブレーク区間のボール軌跡情報以外の情報及び審判合図情報格納部 118の審判合図情報を用いて、ブレーク区間特定部 123は、審判合図があった直後のボール軌跡情報をブレーク開始点と特定し、また、ブレーク区間特定部 123 は、その直後のボール軌跡情報を用いて、ボール一定時間停止点抽出部 121にボールがー定時間停止している軌跡情報を抽出、あるいはボール位置最近点抽出部 122に審判合図が発生する直前のボール軌跡情報に最も近い位置の軌跡情報を抽出させることによりブレーク終了点を特定する。つづいてステップ 303では、ステップ 3 01のボール位置により特定されたブレーク区間及びステップ 302の審判の合図により特定されたブレーク区間のボール軌跡情報以外の情報を用いて、ブレーク区間特定部 123は、ボール一定時間停止点抽出部 121にボールが一定時間停止している時点を抽出させることによりブレーク終了点を特定し、また、ブレーク区間特定部 123 は、その直前のボール軌跡情報を用いて、ボール位置最近点抽出部 122にブレーク終了点に最も近い位置の軌跡情報を取得させ、かつその直後の軌跡情報を抽出させることによりブレーク開始点を特定する。そして、ステップ 304では、ステップ 301 乃至 303で特定した各ブレーク区間をブレーク区間特定部 123がブレーク区間格納部 124へ登録する。次にステップ 305では、攻守シーン分割部 125がボール軌跡情報格納部 117のボール軌跡情報とブレーク区間格納部 124のブレーク区間を基にィンプレー区間を抽出し、インプレー区間を一連の攻撃シーン区間毎に分割する。そしてステップ 306では、攻守シーン分割部 125は分割したシーン区間をシーン区間格納部 126へ登録する。ステップ 307では、次のボール軌跡情報があるか否かを判定し、ある場合はステップ 301に戻って、ステップ 301乃至 306の処理を行レ、、ない場合は終了する。以上のステップにより、ボール軌跡情報取得フローにより取得したボール軌跡情報を用いて、スポーツ映像をブレーク区間とインプレー区間に分割し、さら

に、インプレー区間を一連の攻撃シーン区間毎に分割することができる。なお、ステツプ 301からステップ 303の各処理は、並行して行われてもよレ、。以下、ステップ 301のボール位置から特定するブレーク区間、ステップ 302の審判の合図から特定するブレーク区間、ステップ 303のボール起動開始点から特定するブレーク区間、ステップ 305のインプレー区間におけるシーン区間の分割について説明する。

図 4を用いてボール軌跡情報のボール位置からブレーク区間を特定する処理手順について説明する。ステップ 401では、ブレーク区間特定部 123はボール軌跡情報格納部 117からボール軌跡情報を取得する。ボール軌跡情報の取得は、ボール軌跡情報格納部 117から一つずつ取得する手段、複数連続して取得する手段、全て取得する手段などが考えられるが、何れの手段であっても良いものとする。例えば、図 5では、ブレーク区間特定部 123はボール軌跡情報 a乃至 fを取得する。ステップ 4 02では、ボール軌跡情報が取得できた場合はステップ 403に進み、取得できない場合は終了する。ステップ 403では、ブレーク区間特定部 123は取得したボール軌跡情報の一情報をフィールド内外ボール判定部 120へ送り、フィールド内外ボール判定部 120は、フィールド情報格納部 119で管理されているフィールド情報を用いて、取得したボール軌跡情報がフィールド内のものか否かを判定する。ステップ 404では、当該ボール軌跡情報がフィールド内であると判定された場合はステップ 405に進み、フィールド外であると判定された場合はステップ 410に進む。例えば、図 5において、ブレーク区間特定部 123がボール軌跡情報 aをフィールド内外ボール判定部 120 へ送った場合、フィールド内外ボール判定部 120は、フィールド情報格納部 119で管理されているフィールド情報を用いて、取得したボール軌跡情報 aのボール位置（ 400, 300)力 Sフィーノレド（100, 100) (100， 100) (100, 100) (100， 100)内のものか否かを判定する。ボール軌跡情報 aはフィールド内と判定され、ステップ 405に進む。一方、ブレーク区間特定部 123がボール軌跡情報 dをフィールド内外ボール判定部 120へ送った場合、フィールド内外ボール判定部 120は、取得したボール軌跡情報 dのボール位置（70, 600)はフィールド外と判定され、ステップ 410に進む。

[0021] ステップ 405では、フィールド内外ボール判定部 120は、フィールド内であると判定されたボール軌跡情報の直後のボール軌跡情報をブレーク区間特定部 123から取得する。図 5において、ボール軌跡情報 aの直後にはボール軌跡情報 bがあり、フィ一ルド内外ボール判定部 120はブレーク区間特定部 123からボール軌跡情報 bを取得する。ステップ 406では、フィールド内外ボール判定部 120は、ステップ 402と同様に、フィールド情報格納部 119で管理されているフィールド情報を用いて、取得した当該ボール軌跡情報がフィールド内のものか否かを判定する。ステップ 407では、当該ボール軌跡情報もフィールド内であると判定された場合はステップ 405に戻って、さらにその直後のボール軌跡情報をブレーク区間特定部 123から取得し、再度ステップ 405及び 406を行う。一方、フィールド外であると判定された場合はステップ 408 に進む。図 5において、取得したボール軌跡情報 bのボール位置（200, 350)はフィ一ルド内なので、フィールド内外ボール判定部 120は、さらにその直後のボール軌跡情報 cをブレーク区間特定部 123から取得し、ボール軌跡情報 cについてフィールド内のものか否かを判定する。取得したボール軌跡情報 cのボール位置（60, 380)はフィールド外であり、この場合はステップ 408に進む。ステップ 408では、フィールド内外ボール判定部 120は、フィールド外であると判定されたボール軌跡情報をブレーク開始点と認識し、当該ボール軌跡情報をブレーク区間特定部 123へ通知する。ここでは、ボール軌跡情報 cをブレーク開始点と認識し、これをブレーク区間特定部 123 へ通知する。ステップ 409では、ブレーク開始点を示すボール軌跡情報が通知されたブレーク区間特定部 123が当該ボール軌跡情報をブレーク区間格納部 124へ登録する。ここでは、ブレーク開始点であるボール軌跡情報 cをブレーク区間格納部 12 4へ登録する。

[0022] ステップ 410では、フィールド内外ボール判定部 120は、フィールド外であると判定されたボール軌跡情報の直後のボール軌跡情報をブレーク区間特定部 123から取得する。図 5において、ボール軌跡情報 dの直後にはボール軌跡情報 eがあり、フィ一ルド内外ボール判定部 120はブレーク区間特定部 123からボール軌跡情報 eを取得する。ステップ 411では、フィールド内外ボール判定部 120は、ステップ 402と同様に、フィールド情報格納部 119で管理されているフィールド情報を用いて、取得した当該ボール軌跡情報がフィールド内のものか否かを判定する。ステップ 412では、当該ボール軌跡情報もフィールド外であると判定された場合はステップ 409に戻って、さらにその直後のボール軌跡情報をブレーク区間特定部 123から取得し、再度ステップ 410及び 411を行う。一方、フィールド内であると判定された場合はステップ 412 に進む。図 5において、取得したボール軌跡情報 eのボール位置（60, 380)はフィールド外なので、フィールド内外ボール判定部 120は、さらにその直後のボール軌跡情報 fをブレーク区間特定部 123から取得し、ボール軌跡情報 fについてフィールド内のものか否かを判定する。取得したボール軌跡情報 fのボール位置（220， 650)はフィールド内であり、この場合はステップ 413に進む。ステップ 413では、フィールド内外ボール判定部 120は、フィールド内であると判定されたボール軌跡情報の直前のボール軌跡情報をブレーク終了点と認識するとともに、ブレーク終了点までに取得したボール軌跡情報がブレーク区間であることも認識し、これらのボール軌跡情報をブレーク区間特定部 123へ通知する。ここでは、ボール軌跡情報 eをブレーク終了点と認識するとともに、ブレーク終了点までに取得したボール軌跡情報 dもブレーク区間であることも認識し、ボール軌跡情報 d, eをブレーク区間特定部 123へ通知する。ステツプ 414では、ブレーク終了点とブレーク区間を示すボール軌跡情報が通知されたブレーク区間特定部 123が、これらのボール軌跡情報をブレーク区間格納部 124 へ登録する。ここでは、ブレーク終了点であるボール軌跡情報 eと、ブレーク区間のボール軌跡情報 dをブレーク区間格納部 124へ登録する。ステップ 415では、ブレーク区間特定部 123はボール軌跡情報格納部 117から次のボール軌跡情報を取得する。ステップ 416では、ブレーク区間特定部 123が次のボール軌跡情報があるか否かを判定し、ある場合はステップ 403に戻り、再度、ステップ 403乃至 414の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ボール軌跡情報のボール位置とフィールド情報を用いてフィールド外のブレーク区間を特定することができる。 [0023] 次に、図 6を用いて審判合図情報の発生時刻からブレーク区間を特定する処理手順について説明する。ステップ 601では、ブレーク区間特定部 123は審判合図情報格納部 118から審判合図情報を取得する。ここで、審判合図情報は、ボール位置により特定されたフィールド外のブレーク区間の時刻に発生した審判合図情報は取得しない。つまり、ここで取得する審判合図情報は、ボールがフィールド内にある場合に発生した情報を取得する。審判合図情報格納部 118から一つずつ取得する手段、複数連続して取得する手段、全て取得する手段などが考えられるが、何れの手段であっても良いものとする。例えば、図 7では、ブレーク区間特定部 123は審判合図時亥 1Jが 00 : 12 : 05の審判合図情報を取得する。ステップ 602では、審判合図情報が取得できた場合はステップ 603に進み、取得できない場合は処理を終了する。ステップ 603では、審判合図時刻直後のボール軌跡情報をボール軌跡情報格納部 117から取得する。この際、取得するボール軌跡情報はステップ 301のボール位置により特定されたフィールド外のブレーク区間以外のボール軌跡情報を取得する。例えば、図 7におレ、て、審判合図時刻直後のボール軌跡情報は、その軌跡変化時刻から 00： 12 : 10のボール軌跡情報 bを取得する。ステップ 604では、取得したボール軌跡情報をブレーク開始点と認識する。ブレーク開始点を認識した後、ステップ 605では、直後一定時間以内のボール軌跡情報を複数取得し、ステップ 606では、それらのボール軌跡情報の中から一定時間ボールが停止している時点を抽出する。ステップ 60 7では、一定時間ボールが停止している点がある場合はステップ 608に進み、停止している点がない場合はステップ 609に進む。ステップ 608では、一

定時間ボールが停止してレ、るボール軌跡情報を取得し、取得したボール軌跡情報をブレーク終了点と認識する。図 7では、ボール軌跡情報 b乃至 eを取得し、それらの中力、ら一定時間停止しているボール軌跡情報は、そのボール動きベクトルが（0、 0)となっているボール軌跡情報 dを取得し、この時点をブレーク終了点と認識する。

[0024] 一方、ステップ 609では、一定時間ボールが停止してレ、る点がなレ、ので、この場合は審判合図時刻直前のボール軌跡情報を取得する。例えば、図 7でボール動きべクトルが（0, 0)となっているボール軌跡情報がない場合は、審判合図時刻直前のボール軌跡情報 aを取得する。ステップ 610では、取得したボール軌跡情報に最も近いボール軌跡情報を取得する。ここでは、ボール軌跡情報 aのボール位置が（500, 300 )であり、ボール軌跡情報 b乃至 eの中で最も近い位置は（520, 320)であるので、ボール軌跡情報 dを取得し、この時点をブレーク終了点と認識する。

[0025] ステップ 611では、ステップ 604で認識したブレーク開始点力ステップ 608あるレヽはステップ 610で認識したブレーク終了点までをブレーク区間としてブレーク区間特定部 123がブレーク区間格納部 124へ登録する。ここでは、ブレーク開始点のボール軌跡情報 bからブレーク終了点のボール軌跡情報 dまでをブレーク区間格納部 12 4へ登録する。ステップ 612では、ブレーク区間特定部 123が次の審判合図情報があるか否かを判定し、ある場合はステップ 603に戻り、再度ステップ 603乃至 611の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ステップ 301のボール位置により特定されたフィールド外のブレーク区間以外のボール軌跡情報及び審判合図情報格納部 118の審判合図情報を用いて、フィールド内のブレーク区間を特定すること力 Sできる。

[0026] 次に、図 8を用いてボール軌跡情報のボール動きベクトル力ブレーク区間を特定する手順について説明する。ステップ 801では、ブレーク区間特定部 123はボール軌跡情報格納部 117を用いて、ステップ 301のボール位置により特定されたブレーク区間及びステップ 302の審判の合図により特定されたブレーク区間のボール軌跡情報以外のボール軌跡情報を取得し、一定時間停止してレ、るボール軌跡情報を取得する。ステップ 802では、ボール軌跡情報が取得できた場合はステップ 803に進み、取得できない場合は終了する。図 9において、一定時間停止しているボール軌跡情報は、ボール動きベクトルが（0、 0)となっているので、この時点で停止していると判断し、ボール軌跡情報 dを取得する。ステップ 803では、取得したボール軌跡情報をブレーク終了点と認識する。ブレーク終了点を認識した後、ステップ 804では、直後一定時間以内のボール軌跡情報を複数取得し、ステップ 805では、それらのボール軌跡情報の中からブレーク終了点に最も近いボール軌跡情報を取得する。ここでは、ブレーク終了点のボール位置は（520, 320)であり、その直前に複数取得したボール軌跡情報 a乃至 cの中で最も近い位置は（500， 300)であるので、ボール軌跡情報 aを取得する。つまり、ボール軌跡情報 aの位置がインプレー区間の終了点であつたことを認識し、ステップ 806では、その直後のボール軌跡情報を取得し、この時点をブレーク開始点と認識する。ここでは、ボール軌跡情報 bを取得し、この時点をブレーク開始店と認識する。

[0027] ステップ 807では、ステップ 806で認識したブレーク開始点からステップ 803で認識したブレーク終了点までをブレーク区間としてブレーク区間特定部 123がブレーク区間格納部 124へ登録する。ここでは、ブレーク開始点のボール軌跡情報 bからブレーク終了点のボール軌跡情報 dまでをブレーク区間格納部 124へ登録する。ステップ 8 08では、次の一定時間停止しているボール軌跡情報があるか否かを判定し、ある場合はステップ 803に戻り、再度ステップ 803乃至 808の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ボール軌跡情報のボール動きベクトルを用いて、ボールの一定時間停止点を抽出することによりブレーク区間を特定することができる。

[0028] 次に、図 10を用いてインプレー区間におけるシーン区間の分割処理手順について説明する。ステップ 1001では、攻守シーン分割部 125がボール軌跡情報格納部 11 7のボール軌跡情報とブレーク区間格納部 124のブレーク区間を基にインプレー区間を抽出する。ステップ 1002では、インプレー区間がある場合はステップ 1003に進み、ない場合は処理を終了する。ステップ 1003では、抽出したインプレー区間の先頭のボール軌跡情報を取得し、ステップ 1004では、直後のボール軌跡情報を取得する。例えば、図 11あるいは図 12において、抽出したインプレー区間の先頭はボール軌跡情報 aであり、直後はボール軌跡情報 bであり、これらを取得する。ステップ 10 05では、直後のボール軌跡情報があるか否かを判定し、ある場合はステップ 1006に進み、ない場合はステップ 1015に進む。ステップ 1006では、そのボール軌跡情報がインプレー区間の終了点であるか否かを判定し、終了点でない場合はステップ 10 07に進み、終了点である場合はステップ 1015に進む。図 11あるいは図 12において、ボール軌跡情報 bはインプレー区間の終了点ではないので、ステップ 1007に進む。ステップ 1007では、ステップ 1004で取得したボール軌跡情報と直前のボール軌跡情報の主体者が同一チームであるか否力、を判定する。同一チームである場合はステツプ 1004に戻り、再度ステップ 1004乃至 1007を行レヽ、同一チームでない場合はステップ 1008に進む。図 11あるいは図 12において、ボール軌跡情報 bの主体者チームは Aチームであり、その直前のボール軌跡情報 aの主体者チームは Aチームであるので、主体者が同一である。この場合はステップ 1004に戻り、再度ステップ 100 4乃至 1007を行レ、、主体者チームが Bチームであるボール軌跡情報 cを取得した後、ステップ 1008に進む。

[0029] ステップ 1008では、ステップ 1004で取得したボール軌跡情報の直後のボール軌跡情報を取得する。図 11あるいは図 12において、ボール軌跡情報 dを取得する。ステツプ 1009では、ステップ 1008で取得したボール軌跡情報とその直前の情報、すなわち、ステップ 1004で取得したボール軌跡情報とを比較し、軌跡変化時刻の差が大きいか否かを判定し、時刻の差が大きい場合はステップ 1011に進み、時刻の差が小さい場合はステップ 1010に進む。なお、その判定基準については任意に設定できるものであるが、本実施例では、 5秒以上差があるものを軌跡変化時刻の差が大きレ、ものとして判定する。図 11あるいは図 12において、ボール軌跡情報 cの軌跡変化時刻は 00 : 12 : 18であり、ボール軌跡情報 dの軌跡変化時刻は 00 : 12 : 22であるので、その軌跡変化時刻の差は小さぐこの場合はステップ 1010に進む。なお、ボール軌跡情報 dの軌跡変化時刻力 S00： 12： 28であった場合はステップ 1011に進む。ステップ 1010では、ステップ 1008で取得したボール軌跡情報とその直前の情報のボール位置の差が大きいか否かを判定し、位置の差が大きい場合はステップ 1011 に進み、位置の差が小さい場合はステップ 1004に戻る。なお、その判定基準については任意に設定できるものである力本実施例では、 X軸あるいは Y軸で 400以上差があるものをボール位置の差が大きいものとして判定する。図 11において、ボール軌跡情報 dのボール位置は（200， 650)であり、ボール軌跡情報 cのボール位置は（55 0, 150)であるので位置の差は大きぐこの場合はステップ 1011に進む。一方、図 1 2において、ボール軌跡情報 dのボーノレ位置は（500, 350)であり、ボール軌跡情報 cのボール位置は（400， 150)であるので位置の差は小さぐこの場合はステップ 10 04に戻り、さらにその直後のボール軌跡情報 eを取得する。

[0030] ステップ 1011では、ステップ 1008で取得したボール軌跡情報の直前の情報をシーン区間終了点と認識し、ステップ 1012では、シーン区間終了点までに取得したボール軌跡情報を 1シーン区間として管理し、ステップ 1013では、このシーン区間をシーン区間格納部 126へ登録する。ステップ 1014では、ステップ 1011で認識したシーン区間終了点を次のシーン区間開始点として認識、つまり、次のシーン区間の先頭のボール軌跡情報と認識し、ステップ 1003に戻って再度処理を行う。

[0031] 一方、ステップ 1015では、ステップ 1004で直後のボール軌跡情報を検索し、そのボール軌跡情報がなレ、場合や、直後のボール軌跡情報力 Sインプレー区間の終了点である場合は、ここまでで取得したボール軌跡情報を 1シーン区間とする。つまり、ボール軌跡情報がなレ、場合は直前の情報をシーン区間終了点と認識し、直後のボール軌跡情報がインプレー区間の終了点である場合は、当該情報をシーン区間終了点と認識する。図 11あるいは図 12において、ボール軌跡情報 eの直後はボール軌跡情報がなレ、ので、この場合は、ボール軌跡情報 eをシーン区間終了点と認識する。また、ボール軌跡情報 dの直後のボール軌跡情報 eはインプレー区間の終了点であるので、この場合は、ボール軌跡情報 eをシーン区間終了点と認識する。そして、シーン区間終了点までに取得したボール軌跡情報を 1シーン区間として管理し、ステツプ 1016では、このシーン区間をシーン区間格納部 126へ登録する。ステップ 1017 では次のインプレー区間を検索し、ステップ 1002に戻る。ステップ 1002では、次のインプレー区間がある場合はステップ 1003に進み、ない場合は処理を終了する。以上の処理により、ボール軌跡情報格納部 1 17のボール軌跡情報とブレーク区間格納部 124のブレーク区間を基にインプレー区間を抽出し、一連の攻撃シーン毎にシーン区間を分割し、管理することができる。

[0032] 以上、本実施例のシーン区間分割装置は、撮影されたスポーツ映像に映るボールの軌跡変化毎に主体者を特定したボール軌跡情報を管理し、ボール位置からブレーク区間を特定する処理、審判合図情報の発生時刻からブレーク区間を特定する処理、ボールが一定時間停止している点を抽出することからブレーク区間を特定する処理を行って各ブレーク区間を取得した後、これを基にインプレー区間を抽出し、さらにインプレー区間におけるシーン区間の分割処理を行って混戦状態ゃクリアシーン力 Sある場合でも一連の攻撃を一つのシーン区間として正確に管理することができる。

[0033] なお、本実施例では、主にスポーツ映像に映るボールの軌跡情報から一連の攻撃毎にシーン区間を正確に管理することを説明したが、ブレーク区間を特定することで、ブレーク開始直前、あるいは終了直後のプレー内容を特定し、これをボール軌跡情報に関連付けて管理させることで、インプレー区間でのプレー内容を容易に把握できる。

[0034] 例えば、ステップ 301のボール軌跡情報とフィールド情報を用いてフィールド外のブレーク区間を特定する際、ブレーク区間終了直後のプレー内容がスローイン、ゴールキック、コーナーキック等であることを特定できる。例えば、図 5において、ブレーク終了点のボール位置はスローインが行われる位置なので、ブレーク終了点直後のプレー内容はスロ一^ fンであることを特定できる。この他に、ボール位置を用いて特定されるブレーク終了点直後のプレー内容にはゴールキックやコーナーキックもある。ブレーク終了点直後のプレー内容がスローインである場合、ボール軌跡情報 fにスローインを関連付け、これをボール軌跡情報格納部 117に登録することで、スローインシーンを容易に把握できる（図 5参照）。

[0035] また、ステップ 302や 303のフィールド内のボール軌跡情報を用いてボールが一定時間停止している時点を基にブレーク区間を特定する際、ブレーク区間終了直後のプレー内容がフリーキック等であることを特定できる。この場合、ブレーク終了点直後のボール軌跡情報 d'にフリーキックを関連付け、これをボール軌跡情報格納部 117 に登録することで、フリーキックシーンが容易に把握できる（図 7、図 9参照）。

[0036] また、ステップ 305でインプレー区間におけるシーン区間が分割される場合、分割したシーン区間の終了時のプレー内容がクリアであることを特定できる。この場合、シーン区間終了時のボール軌跡情報 cにクリアを関連付け、これをボール軌跡情報格納部 117に登録することで、クリアシーンを容易に把握できる（図 11参照）。また、ステツプ 3

05でインプレー区間におけるシーン区間が分割されなレ、場合、当該インプレー区間は混戦状態であることを特定できる。この場合、インプレー区間の先頭のボール軌跡情報 aに混戦状態を関連付け、これをボール軌跡情報格納部 117に登録することで、混戦状態が容易に把握できる（図 12参照)。

[0037] また、フィールド情報や審判合図情報を用いることにより、ボール軌跡情報のボーノレ位置からゴールシーンを特定でき、また、ゴール後のブレーク区間を特定することもできる。例えば、ゴールの位置はフィールド情報を用いて把握することができ（（40 0〜600, 80〜： 100)また ίま（400〜600, 900〜920) )、ボーノレの位置力 Sゴーノレ内の位置に移った直後（（550. 90) )、審判合図情報があった場合、その時点でゴールシーンがあったことを特定できる。この場合は、ゴールシーンがあった時点のボール軌跡情報にゴールを関連付け、これをボール軌跡情報格納部 117に登録することで、インプレー区間でのプレー内容が容易に把握できる。また、ゴール後のボール軌跡情報はブレーク区間であり、ボール軌跡情報のボール位置がセンターラインの位置（（500, 500) )に移り、審判合図情報があるまではブレーク区間であることも特定できる。

[0038] これ以外にも、ボール軌跡情報の軌跡変化時亥 I」、及び審判合図情報等を用いて試合が開始した時点や終了した時点などをボール軌跡情報に関連付け、これをボール軌跡情報格納部 117に登録することで、試合開始直後や試合終了直前のシーンが容易に把握できる。

[0039] また、本実施例では、スポーツ映像送信装置でシーン区間を分割して管理し、これをスポーツ映像受信端末に配信する形態を最良の形態として説明したが、ブレーク区間の特定やシーン区間の分割等は、スポーツ映像送信装置及びスポーツ映像受信端末のいずれかで行うものであればよレ、。例えば、図 25に示すように、スポーツ映像送信装置からボール軌跡情報、フィールド情報および審判合図情報を送信し、これらを用いてスポーツ映像受信端末でブレーク区間の特定およびシーン区間の分割処理を行う形態でもよい。また、図 26に示すように、スポーツ映像送信装置でブレーク区間を特定してボール軌跡情報とともに送信し、これらを用いてスポーツ映像受信端末でシーン区間の分割処理を行う形態でもよい。

産業上の利用可能性

[0040] 以上、本発明は、サッカーのようなスポーツ映像をダイジェスト視聴するのに好適であり、インプレー区間のみを短時間に視聴できるだけでなぐ利用者が所望とするシーン毎に視聴することもできる。

Claims

請求の範囲

[1] スポーツ映像に映るボールの軌跡変化毎に主体者を特定したボール軌跡情報を管理するボール軌跡情報格納部と、

前記ボール軌跡情報を用いてボールの動きが一定時間停止している時点を抽出するボール一定時間停止点抽出部と、

前記ボール軌跡情報を用いて前記一定時間停止しているボール位置に最も近い時点を抽出するボール最近点抽出部と、

前記ボール軌跡情報格納部からボール軌跡情報を取得し、前記ボール一定時間停止点抽出部、及び前記ボール最近点抽出部で抽出した各時点からブレーク区間を特定するブレーク区間特定部と、

前記特定したブレーク区間を基にインプレー区間のボール軌跡情報を抽出し、シーン区間毎に分割するシーン区間分割部とを備えることを特徴とするシーン区間分割装置。

[2] フィールドの境界を管理するフィールド情報格納部と、前記フィールド情報を用いてボールの位置がフィールド内にあるか否かを判定するフィールド内外判定部とを備え、前記ブレーク区間特定部は前記ボール軌跡情報格納部からボール軌跡情報を取得し、当該ボール軌跡情報を用いて前記フィールド内外判定部で判定したフィールド外のボール軌跡情報をブレーク区間と特定することを特徴とする請求項 1に記載のシーン区間分割装置。

[3] 審判が合図を行った時刻を管理する審判合図情報格納部を備え、前記ブレーク区間特定部は前記ボール軌跡情報及び前記審判合図情報を用いてブレーク区間を特定することを特徴とする請求項 1に記載のシーン区間分割装置。

[4] スポーツ映像に映るボールの軌跡変化毎に主体者を特定したボール軌跡情報を取得する工程と、

ボール軌跡情報のボール位置及びフィールドの境界を管理するフィールド情報を用いてフィールド外のブレーク区間を特定する工程と、

ボール軌跡情報のボール軌跡変化時刻及び審判合図時刻を管理する審判合図情報を用いてブレーク区間を特定する工程と、前記特定された各ブレーク区間を基に前記ボール軌跡情報格納部からインプレー区間のボール軌跡情報を抽出する工程と、

前記インプレー区間をシーン区間毎に分割する工程とを有することを特徴とするシーン区間分割方法。

[5] 前記ボール軌跡情報のボール位置及びフィールドの境界を管理するフィールド情報を用いてフィールド外のブレーク区間を特定する工程は、

第 1のボール軌跡情報を取得する工程と、前記フィールド情報を用いて前記第 1のボール軌跡情報のボールの位置がフィールド内にあるか否かを判定する工程と、前記第 1のボール軌跡情報がフィールド内にある場合、直後の第 2のボール軌跡情報を取得する工程と、前記フィールド情報を用いて前記第 2のボール軌跡情報のボールの位置がフィールド外にある場合にブレーク開始点と認識して取得する工程とを有し、

一方、前記第 1のボール軌跡情報がフィールド外にある場合、直後の第 3のボール軌跡情報を取得する工程と、前記フィールド情報を用いて前記第 3のボール軌跡情報のボールの位置がフィールド内にある場合に前記第 3のボール軌跡情報をブレーク終了点と認識して取得する工程とを有することを特徴とする請求項 4に記載のシーン区間分割方法。

[6] ボール軌跡情報のボール軌跡変化時刻及び審判合図時刻を管理する審判合図情報を用いてブレーク区間を特定する工程は、

前記審判合図情報を取得する工程と、前記審判合図情報の審判合図時刻の直後、所定時間以内のボール軌跡情報を複数取得し、先頭の第 1のボール軌跡情報をブレーク開始点と認識する工程と、前記複数取得したボール軌跡情報にぉレ、て一定時間停止している第 2のボール軌跡情報があるか否力、を判定する工程と、

前記一定時間停止してレ、る第 2のボール軌跡情報がある場合、当該ボール軌跡情報をブレーク終了点と認識して取得する工程を有し、

一方、前記一定時間停止している第 2のボール軌跡情報がない場合、前記審判合図時刻の直前の第 3のボール軌跡情報を取得する工程と、前記複数取得したボール軌跡情報にぉレ、て前記第 3のボール軌跡情報のボール位置に最も近レ、第 4のボール軌跡情報をブレーク終了点と認識して取得する工程とを有することを特徴とする請求項 4に記載のシーン区間分割方法。

[7] 前記ボール軌跡情報のボール動きベクトル及びボールの位置を用いてブレーク区間を特定する工程は、

ボールの動きが一定時間停止している第 1のボール軌跡情報を取得し、ブレーク終了点と認識して取得する工程と、

前記第 1のボール軌跡情報の直前、所定時間以内のボール軌跡情報を複数取得する工程と、

前記複数取得したボール軌跡情報において前記第 1のボール軌跡情報のボール位置に最も近いボール軌跡情報の直後の第 2のボール軌跡情報をブレーク開始点と認識して取得する工程とを有することを特徴とする請求項 4に記載のシーン区間分割方法。

[8] 前記インプレー区間をシーン区間毎に分割する工程は、

インプレー区間における先頭の第 1ボール軌跡情報を取得する工程と、その直後の第 2ボール軌跡情報を取得する工程と、

前記第 2ボール軌跡情報がインプレー区間の終了点、かつ第 1ボール軌跡情報の主体者と異なる場合にその直後の第 3ボール軌跡情報を取得する工程と、

前記第 2ボール軌跡情報が第 3ボール軌跡情報との時刻の差あるいは位置の差が大きい場合に前記第 2ボール軌跡情報をシーン区間終了点と認識する工程と、前記シーン区間終了点までに取得したボール軌跡情報を 1シーン区間として取得する工程とを有することを特徴とする請求項 4に記載のシーン区間分割方法。