JP4839226B2

JP4839226B2 - シーン区間分割装置

Info

Publication number: JP4839226B2
Application number: JP2006553883A
Authority: JP
Inventors: 雅昭吉川; 透中田; 文利張
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-01-24
Filing date: 2006-01-17
Publication date: 2011-12-21
Anticipated expiration: 2026-01-17
Also published as: US8306390B2; JPWO2006077806A1; WO2006077806A1; CN101107848A; US20090202217A1

Description

スポーツの映像と共に、映像の構造情報を提示する技術に関するものである。

従来、サッカーのような競技のスポーツ映像を、インプレー区間とブレーク区間に分割し、インプレー区間の映像をダイジェスト視聴できる技術が知られている（特許文献１参照）。特許文献１では、スポーツ映像から背景色の比率を求め、その比率が大きい映像はワイド、小さい映像はズームというように撮影形態を割り出し、さらに、前後の映像から平均運動量を求めている。そして、撮影形態がワイド中心で平均運動量が多い箇所をインプレー区間と判定し、それ以外の箇所をブレーク区間と判定している。これにより、インプレー区間の映像をダイジェスト視聴できる。この他に、スポーツ映像に映るボールを認識して、ボールの動きからプレーの内容を特定する技術も知られている（非特許文献１参照）。非特許文献１では、スポーツ映像に映るボールを認識して、ボールの動きから変化点を抽出し、その時点でボールに一番近い選手を、その行為を行った主体者として特定し、ボールと主体者との位置関係、あるいは、その後のボールの移動方向等から主体者が行ったプレー内容、例えばドリブル、キープ、パス、シュート、クリア等を特定している。また、非特許文献１ではフィールド情報も管理しており、ボールの位置とフィールド情報とから、ボールがフィールド内にあるのか否かを判定し、インプレー区間とブレーク区間を分割することができる。これにより、インプレー区間の映像をダイジェスト視聴できる。
特開２００４−４０７５０号公報サッカーにおける選手のプレー判定慶應義塾大学理工学部情報工学科長瀬琢也小沢慎

しかしながら、上記特許文献１では撮影形態にズームを多用する場合、実際にはインプレー区間であるにもかかわらず、誤ってブレーク区間であると判定されるおそれがある。また、カットの映像を多用する場合、前後の映像の変化は大きく、平均運動量が多いと判定されてしまい、実際にはブレーク区間であるにもかかわらず、誤ってインプレー区間と判定されるおそれがある。このように、上記特許文献１では、カメラの撮影形態や、前後の映像から求める平均運動量を利用したとしてもインプレー区間とブレーク区間が誤って判定され、正確にダイジェスト視聴ができないという問題があった。

一方、上記非特許文献１では、ボールの位置とフィールド情報とから、ボールの位置がフィールド外にあるときブレーク区間を正確に特定できるものの、ボールの位置がフィールド内にあるとき反則などでブレーク区間が発生した場合は、ブレーク区間を正確に特定できないという問題を有していた。すなわち、反則直後に選手が行うドリブルやパス等はブレーク区間であるにもかかわらず、インプレー区間として判断されるという問題があった。

さらに、サッカーのような競技のスポーツ映像は、利用者が最も視聴したいシーンをダイジェスト視聴できるようにするため、インプレー区間をシーン区間に分割して管理されることが要求される。これには、まず、スポーツ映像を競技が進行しているインプレー区間と、競技が中断しているブレーク区間とに分割する処理を行い、その後にインプレー区間の映像について攻守の交代や攻撃の切れ目があった時点で分割することにより、一連の攻撃を一つのシーン区間として分割し、管理することができる。

しかしながら、上記特許文献１及び非特許文献１では、インプレー区間で攻守の切り替えや攻撃の切れ目があっても、それらについては正確に認識できないので、一連の攻撃を一つのシーン区間として分割することはできず、インプレー区間をシーン区間毎に分割することができないという問題を有していた。仮に非特許文献１において、攻守の切り替えや攻撃の切れ目があった場合にシーン区間として特定し、分割したとしても、これは、ボール軌跡変化点で主体者の所属チームの変更があった箇所で分割されるだけである。このため、混戦状態で選手同士が競り合っている場合には、一連の攻撃の中で主体者の所属チームが頻繁に切り替わり、その変更がある度にシーン区間として分割され、一連の攻撃シーンが複数のシーン区間により構成され、細切れに分割されてしまう。

本発明は、スポーツ映像の撮影形態にズームやカット等を多用する場合や、ボールがフィールド内にあるときに反則が発生した場合でも正確にブレーク区間を特定でき、さらに、インプレー区間において混戦状態がある場合には主体者が切り替わる度にシーン区間を分割せずに、一連の攻撃を一つのシーン区間として正確に管理でき、一方、クリアにより一連の攻撃が終了した場合にはシーン区間を分割して管理することができるシーン区間分割装置を提供することを目的とする。

本発明のシーン区間分割装置は、スポーツ映像に映るボールの軌跡変化毎に、その軌跡変化時刻情報、ボール位置情報、ボール動き情報、及び主体者を特定したボール軌跡情報を管理するボール軌跡情報格納部と、前記ボール動き情報及び軌跡変化時刻情報に基づき、前記ボール軌跡情報格納部からボールの動きが一定時間停止している時点のボール軌跡情報を抽出するボール一定時間停止点抽出部と、前記ボール位置情報に基づき、前記ボール軌跡情報格納部から前記一定時間停止している時点のボール軌跡情報により表されるボール位置に最も近いボール軌跡情報を抽出するボール最近点抽出部と、前記ボール軌跡情報格納部からボール軌跡情報を取得し、前記ボール一定時間停止点抽出部で抽出されたボール軌跡情報から得られた軌跡変化時刻情報を基にブレーク終了点を特定し、また前記ボール最近点抽出部で抽出されたボール軌跡情報から得られた軌跡変化時刻情報を基にブレーク開始点を特定することにより、競技が中断していることを表すブレーク区間を特定するブレーク区間特定部と、前記特定したブレーク区間を基に前記ボール軌跡情報格納部から、競技が進行していることを表すインプレー区間のボール軌跡情報を抽出し、さらに当該インプレー区間を、一連のプレーを表すシーン区間毎に分割するシーン区間分割部とを備えることを特徴とする。

以上、本発明のシーン区間分割装置によれば、スポーツ映像の撮影形態にズームやカット等を多用する場合や、ボールがフィールド内にあるときに反則が発生した場合でも正確にブレーク区間を特定でき、さらに、インプレー区間において混戦状態がある場合には主体者が切り替わる度にシーン区間を分割せずに、一連の攻撃を一つのシーン区間として正確に管理でき、一方、クリアにより一連の攻撃が終了した場合にはシーン区間を分割して管理することができる。

本発明の一実施例のシーン区間分割装置を備えたスポーツ映像送信装置の内部構成ブロックを示す図ボール軌跡情報を取得する処理手順を示すフロー図シーン区間を分割する処理手順を示すフロー図ボール軌跡情報のボール位置を用いてブレーク区間を特定する処理手順を示すフロー図ボール位置からブレーク区間を特定する際に用いる情報を示す図審判合図情報の発生時刻を用いてブレーク区間を特定する処理手順を示すフロー図審判合図の発生時刻からブレーク区間を特定する際に用いる情報を示す図ボール軌跡情報のボール動きベクトルを用いてブレーク区間を特定する処理手順を示すフロー図ボール動きベクトルからブレーク区間を特定する際に用いる情報を示す図インプレー区間でのシーン区間を分割する処理手順を示すフロー図。シーン区間を分割する場合のボール軌跡情報を示す図（クリアシーン）シーン区間を分割しない場合のボール軌跡情報を示す図（混戦状態）ボール軌跡情報のデータ構造を示す図ボール軌跡情報格納部へのデータ格納例を示す図チーム情報のデータ構造を示す図チーム情報格納部へのデータ格納例を示す図フィールド情報のデータ構造を示す図フィールド情報格納部へのデータ格納例を示す図審判合図情報のデータ構造を示す図審判合図情報格納部へのデータ格納例を示す図ブレーク区間のデータ構造を示す図ブレーク区間格納部へのデータ格納例を示す図シーン区間のデータ構造を示す図シーン区間格納部へのデータ格納例を示す図別の形態のスポーツ映像配信システムを示す図別の形態のスポーツ映像配信システムを示す図

符号の説明

１０２シーン区間分割装置
１１７ボール軌跡情報格納部
１２１ボール一定時間停止点抽出部
１２２ボール最近点抽出部
１２３ブレーク区間特定部
１２５シーン区間分割部

つづいて、本発明を実施するための最良の形態について説明する。なお、本発明は、以下の実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲であれば、適宜に変更、実施できるものとする。

以下、本発明の第１実施例について説明する。本実施例では、スポーツ映像配信側の装置にシーン区間分割装置を備え、シーン区間分割装置は、撮影されたスポーツ映像に映るボールの軌跡情報からブレーク区間を特定した後、これを基にインプレー区間を抽出し、さらにインプレー区間を多数のシーン区間に分割して管理し、これをスポーツ映像受信側の端末に送信する態様を説明する。

図１に示すように、スポーツ映像送信装置１００は、大きく分けてボール軌跡情報取得
部１０１と、シーン区間分割部１０２から構成される。ボール軌跡情報取得部１０１は、カメラにより撮影された多数のスポーツ映像を格納したスポーツ映像格納部１０と撮影時のカメラの動きや撮影角度の変化等の情報を管理するカメラパラメータ格納部２０を用いてボールの軌跡情報を取得するブロックである。また、シーン区間分割部１０２は、ボール軌跡情報取得部１０１で取得したボール軌跡情報を基に、スポーツ映像のブレーク区間を特定し、これを基にインプレー区間を抽出し、さらにインプレー区間を多数のシーン区間に分割して管理するブロックである。

ボール軌跡情報取得部１０１は、スポーツ映像格納部１０から映像に映っているボールを認識するボール認識部１１１、認識したボールの動きを抽出するボール動きベクトル抽出部１１２、カメラの動きや撮影角度の変化等により生じたスポーツ映像に映るボールの動きの誤差を、カメラパラメータ格納部２０で管理するカメラパラメータを用いて補正するボール動きベクトル補正部１１３、補正されたボールの動きから変化点を抽出するボール動きベクトル変化点抽出部１１４、チームを特定するためにユニフォームの色等の情報をチーム名と関連付けて管理するチーム情報格納部１１５、各ボール動きベクトル変化点の映像とカメラパラメータを取得して変化点でボールに最も近い選手を主体者として特定し、さらに、チーム情報格納部１１５を用いて主体者のチーム情報を特定し、ボール軌跡変化点毎の軌跡変化時刻、ボール位置、ボール動きベクトル、及び主体者のチーム情報からなるボール軌跡情報を取得する主体者チーム特定部１１６を備えている。なお、主体者の所属するチームを特定するには、チーム情報格納部１１５でユニフォームの色や模様等の情報を管理しておくことで特定できる（図１５及び１６参照）。

シーン区間分割部１０２は、主体者チーム特定部１１６からボール軌跡情報を受け取り、管理するボール軌跡情報格納部１１７、審判の合図情報を発生時刻毎に管理する審判合図情報格納部１１８、フィールドの境界をＸ，Ｙ座標で管理するフィールド情報格納部１１９、ボール軌跡情報とフィールド情報を用いてボール軌跡変化点のボール位置がフィールド内外のどちらにあるかを判定するフィールド内外ボール判定部１２０、ボール軌跡情報からボールが一定時間停止している点を抽出するボール一定時間停止点抽出部１２１、あるボール軌跡変化点のボールの位置に最も近いボール軌跡変化点を抽出するボール位置最近点抽出部１２２、ボール軌跡情報格納部１１７内のボール軌跡情報、フィールド内外ボール判定部１２０の判定結果、ボール一定時間停止点抽出部１２１及びボール位置最近点抽出部１２２の抽出結果、あるいは審判合図情報格納部１１８内の審判合図情報を用いて、ボール軌跡情報からブレーク区間を特定するブレーク区間特定部１２３、特定したブレーク区間を受け取り、管理するブレーク区間格納部１２４、ボール軌跡情報格納部１１７のボール軌跡情報とブレーク区間格納部１２４のブレーク区間を基にインプレー区間を抽出し、インプレー区間を一連の攻撃シーン区間毎に分割する攻守シーン分割部１２５、分割したシーン区間を管理するシーン区間格納部１２６を備えている。

ここで、ボール軌跡情報格納部１１７は、ボール軌跡変化点毎の時刻、Ｘ，Ｙ座標で示すボール位置とボール動きベクトル、及び主体者のチームを管理している（図１３及び１４参照）。また、審判合図情報格納部１１８は、審判が合図を行った時刻を発生毎に管理している（図１９及び２０参照）。審判合図時刻の登録手段には、試合中に審判が笛を吹いた時刻を登録者が確認して登録する手段や、審判の笛に送信装置を搭載し、審判が笛を吹いた際に送信装置が無線通信を行って、スポーツ映像送信装置１００が受信時刻を登録する手段などがある。さらに、フィールド情報格納部１１９は、フィールドの境界をＸ，Ｙ座標で管理しており、これを用いることにより、ボール軌跡情報のＸ、Ｙ座標で示すボールの位置がフィールド内にあるのか否かを判定することができる（図１７及び１８参照）。また、ブレーク区間格納部１２４は、ブレーク区間の開始、終了時刻をブレーク区間毎に管理している（図２１及び２２参照）。さらに、シーン区間格納部１２６は、攻撃チーム名、開始時刻、終了時刻をシーン区間毎に管理している（図２３及び２４参照）。

次に、図２を用いてボール軌跡情報取得部１０１内のボール軌跡情報の取得手順について説明する。ステップ２０１では、ボール認識部１１１がスポーツ映像格納部１０から映像に映っているボールを認識し、ステップ２０２では、ボール動きベクトル抽出部１１２が認識したボールの動きを追跡し、ボールの動きベクトルを抽出する。抽出されるボール動きベクトルは、スポーツ映像の撮影時にカメラの動きや撮影角度の変化等の影響を受けて誤差を生じているので、ステップ２０３では、ボール動きベクトル補正部１１３が、スポーツ映像を撮影したカメラの動きや撮影角度の変化等のカメラ情報を管理しているカメラパラメータ格納部２０を用いて、抽出したボール動きベクトルの補正を行う。つづいてステップ２０４では、ボール動きベクトル変化点抽出部１１４が補正されたボール動きベクトルに変化点があるか否かについて判定する。ある場合はステップ２０５に進み、ない場合はステップ２０１に戻る。ステップ２０５では、主体者チーム特定部１１６がボール動きベクトル変化点でのスポーツ映像とカメラパラメータを用いて正確な映像を取得し、さらに、その時点でボールに最も近い選手を主体者として特定し、チーム情報格納部１１５のチーム情報を用いて主体者が所属するチームを特定し、この時点の時刻、ボール位置、ボールの動きベクトル、及び主体者（チーム名）を特定したボール軌跡情報を取得する。ステップ２０６では、取得したボール軌跡情報をボール軌跡情報格納部１１７へ登録し、ステップ２０７では、次のスポーツ映像があるか否かを判定する。ある場合はステップ２０１に戻って、ステップ２０１乃至２０６の処理を行い、ない場合は終了する。以上のステップにより、多視点で撮影されたスポーツ映像と、それを撮影したカメラの動きや撮影角度の変化等を管理しているカメラパラメータとを用いてボール軌跡情報を取得することができる。

次に、図３を用いてシーン区間分割部１０２内のシーン区間分割手順について説明する。ステップ３０１では、ボール軌跡情報格納部１１７がボール軌跡情報取得部１０１から送られてくるボール軌跡情報を登録した後、フィールド内外ボール判定部１２０がボール軌跡情報及びフィールド情報格納部１１９のフィールド情報を用いてボール位置によるブレーク区間の特定を行う。ステップ３０２では、ステップ３０１のボール位置により特定されたブレーク区間のボール軌跡情報以外の情報及び審判合図情報格納部１１８の審判合図情報を用いて、ブレーク区間特定部１２３は、審判合図があった直後のボール軌跡情報をブレーク開始点と特定し、また、ブレーク区間特定部１２３は、その直後のボール軌跡情報を用いて、ボール一定時間停止点抽出部１２１にボールが一定時間停止している軌跡情報を抽出、あるいはボール位置最近点抽出部１２２に審判合図が発生する直前のボール軌跡情報に最も近い位置の軌跡情報を抽出させることによりブレーク終了点を特定する。つづいてステップ３０３では、ステップ３０１のボール位置により特定されたブレーク区間及びステップ３０２の審判の合図により特定されたブレーク区間のボール軌跡情報以外の情報を用いて、ブレーク区間特定部１２３は、ボール一定時間停止点抽出部１２１にボールが一定時間停止している時点を抽出させることによりブレーク終了点を特定し、また、ブレーク区間特定部１２３は、その直前のボール軌跡情報を用いて、ボール位置最近点抽出部１２２にブレーク終了点に最も近い位置の軌跡情報を取得させ、かつその直後の軌跡情報を抽出させることによりブレーク開始点を特定する。そして、ステップ３０４では、ステップ３０１乃至３０３で特定した各ブレーク区間をブレーク区間特定部１２３がブレーク区間格納部１２４へ登録する。次にステップ３０５では、攻守シーン分割部１２５がボール軌跡情報格納部１１７のボール軌跡情報とブレーク区間格納部１２４のブレーク区間を基にインプレー区間を抽出し、インプレー区間を一連の攻撃シーン区間毎に分割する。そしてステップ３０６では、攻守シーン分割部１２５は分割したシーン区間をシーン区間格納部１２６へ登録する。ステップ３０７では、次のボール軌跡情報があるか否かを判定し、ある場合はステップ３０１に戻って、ステップ３０１乃至３０６の処理を行い、ない場合は終了する。以上のステップにより、ボール軌跡情報取得フローにより取得したボール軌跡情報を用いて、スポーツ映像をブレーク区間とインプレー区間に分割し、さら
に、インプレー区間を一連の攻撃シーン区間毎に分割することができる。なお、ステップ３０１からステップ３０３の各処理は、並行して行われてもよい。以下、ステップ３０１のボール位置から特定するブレーク区間、ステップ３０２の審判の合図から特定するブレーク区間、ステップ３０３のボール起動開始点から特定するブレーク区間、ステップ３０５のインプレー区間におけるシーン区間の分割について説明する。

図４を用いてボール軌跡情報のボール位置からブレーク区間を特定する処理手順について説明する。ステップ４０１では、ブレーク区間特定部１２３はボール軌跡情報格納部１１７からボール軌跡情報を取得する。ボール軌跡情報の取得は、ボール軌跡情報格納部１１７から一つずつ取得する手段、複数連続して取得する手段、全て取得する手段などが考えられるが、何れの手段であっても良いものとする。例えば、図５では、ブレーク区間特定部１２３はボール軌跡情報ａ乃至ｆを取得する。ステップ４０２では、ボール軌跡情報が取得できた場合はステップ４０３に進み、取得できない場合は終了する。ステップ４０３では、ブレーク区間特定部１２３は取得したボール軌跡情報の一情報をフィールド内外ボール判定部１２０へ送り、フィールド内外ボール判定部１２０は、フィールド情報格納部１１９で管理されているフィールド情報を用いて、取得したボール軌跡情報がフィールド内のものか否かを判定する。ステップ４０４では、当該ボール軌跡情報がフィールド内であると判定された場合はステップ４０５に進み、フィールド外であると判定された場合はステップ４１０に進む。例えば、図５において、ブレーク区間特定部１２３がボール軌跡情報ａをフィールド内外ボール判定部１２０へ送った場合、フィールド内外ボール判定部１２０は、フィールド情報格納部１１９で管理されているフィールド情報を用いて、取得したボール軌跡情報ａのボール位置（４００，３００）がフィールド（１００，１００）（１００，１００）（１００，１００）（１００，１００）内のものか否かを判定する。ボール軌跡情報ａはフィールド内と判定され、ステップ４０５に進む。一方、ブレーク区間特定部１２３がボール軌跡情報ｄをフィールド内外ボール判定部１２０へ送った場合、フィールド内外ボール判定部１２０は、取得したボール軌跡情報ｄのボール位置（７０，６００）はフィールド外と判定され、ステップ４１０に進む。

ステップ４０５では、フィールド内外ボール判定部１２０は、フィールド内であると判定されたボール軌跡情報の直後のボール軌跡情報をブレーク区間特定部１２３から取得する。図５において、ボール軌跡情報ａの直後にはボール軌跡情報ｂがあり、フィールド内外ボール判定部１２０はブレーク区間特定部１２３からボール軌跡情報ｂを取得する。ステップ４０６では、フィールド内外ボール判定部１２０は、ステップ４０２と同様に、フィールド情報格納部１１９で管理されているフィールド情報を用いて、取得した当該ボール軌跡情報がフィールド内のものか否かを判定する。ステップ４０７では、当該ボール軌跡情報もフィールド内であると判定された場合はステップ４０５に戻って、さらにその直後のボール軌跡情報をブレーク区間特定部１２３から取得し、再度ステップ４０５及び４０６を行う。一方、フィールド外であると判定された場合はステップ４０８に進む。図５において、取得したボール軌跡情報ｂのボール位置（２００，３５０）はフィールド内なので、フィールド内外ボール判定部１２０は、さらにその直後のボール軌跡情報ｃをブレーク区間特定部１２３から取得し、ボール軌跡情報ｃについてフィールド内のものか否かを判定する。取得したボール軌跡情報ｃのボール位置（６０，３８０）はフィールド外であり、この場合はステップ４０８に進む。ステップ４０８では、フィールド内外ボール判定部１２０は、フィールド外であると判定されたボール軌跡情報をブレーク開始点と認識し、当該ボール軌跡情報をブレーク区間特定部１２３へ通知する。ここでは、ボール軌跡情報ｃをブレーク開始点と認識し、これをブレーク区間特定部１２３へ通知する。ステップ４０９では、ブレーク開始点を示すボール軌跡情報が通知されたブレーク区間特定部１２３が当該ボール軌跡情報をブレーク区間格納部１２４へ登録する。ここでは、ブレーク開始点であるボール軌跡情報ｃをブレーク区間格納部１２４へ登録する。

ステップ４１０では、フィールド内外ボール判定部１２０は、フィールド外であると判定されたボール軌跡情報の直後のボール軌跡情報をブレーク区間特定部１２３から取得する。図５において、ボール軌跡情報ｄの直後にはボール軌跡情報ｅがあり、フィールド内外ボール判定部１２０はブレーク区間特定部１２３からボール軌跡情報ｅを取得する。ステップ４１１では、フィールド内外ボール判定部１２０は、ステップ４０２と同様に、フィールド情報格納部１１９で管理されているフィールド情報を用いて、取得した当該ボール軌跡情報がフィールド内のものか否かを判定する。ステップ４１２では、当該ボール軌跡情報もフィールド外であると判定された場合はステップ４０９に戻って、さらにその直後のボール軌跡情報をブレーク区間特定部１２３から取得し、再度ステップ４１０及び４１１を行う。一方、フィールド内であると判定された場合はステップ４１２に進む。図５において、取得したボール軌跡情報ｅのボール位置（６０，３８０）はフィールド外なので、フィールド内外ボール判定部１２０は、さらにその直後のボール軌跡情報ｆをブレーク区間特定部１２３から取得し、ボール軌跡情報ｆについてフィールド内のものか否かを判定する。取得したボール軌跡情報ｆのボール位置（２２０，６５０）はフィールド内であり、この場合はステップ４１３に進む。ステップ４１３では、フィールド内外ボール判定部１２０は、フィールド内であると判定されたボール軌跡情報の直前のボール軌跡情報をブレーク終了点と認識するとともに、ブレーク終了点までに取得したボール軌跡情報がブレーク区間であることも認識し、これらのボール軌跡情報をブレーク区間特定部１２３へ通知する。ここでは、ボール軌跡情報ｅをブレーク終了点と認識するとともに、ブレーク終了点までに取得したボール軌跡情報ｄもブレーク区間であることも認識し、ボール軌跡情報ｄ，ｅをブレーク区間特定部１２３へ通知する。ステップ４１４では、ブレーク終了点とブレーク区間を示すボール軌跡情報が通知されたブレーク区間特定部１２３が、これらのボール軌跡情報をブレーク区間格納部１２４へ登録する。ここでは、ブレーク終了点であるボール軌跡情報ｅと、ブレーク区間のボール軌跡情報ｄをブレーク区間格納部１２４へ登録する。ステップ４１５では、ブレーク区間特定部１２３はボール軌跡情報格納部１１７から次のボール軌跡情報を取得する。ステップ４１６では、ブレーク区間特定部１２３が次のボール軌跡情報があるか否かを判定し、ある場合はステップ４０３に戻り、再度、ステップ４０３乃至４１４の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ボール軌跡情報のボール位置とフィールド情報を用いてフィールド外のブレーク区間を特定することができる。

次に、図６を用いて審判合図情報の発生時刻からブレーク区間を特定する処理手順について説明する。ステップ６０１では、ブレーク区間特定部１２３は審判合図情報格納部１１８から審判合図情報を取得する。ここで、審判合図情報は、ボール位置により特定されたフィールド外のブレーク区間の時刻に発生した審判合図情報は取得しない。つまり、ここで取得する審判合図情報は、ボールがフィールド内にある場合に発生した情報を取得する。審判合図情報格納部１１８から一つずつ取得する手段、複数連続して取得する手段、全て取得する手段などが考えられるが、何れの手段であっても良いものとする。例えば、図７では、ブレーク区間特定部１２３は審判合図時刻が００：１２：０５の審判合図情報を取得する。ステップ６０２では、審判合図情報が取得できた場合はステップ６０３に進み、取得できない場合は処理を終了する。ステップ６０３では、審判合図時刻直後のボール軌跡情報をボール軌跡情報格納部１１７から取得する。この際、取得するボール軌跡情報はステップ３０１のボール位置により特定されたフィールド外のブレーク区間以外のボール軌跡情報を取得する。例えば、図７において、審判合図時刻直後のボール軌跡情報は、その軌跡変化時刻から００：１２：１０のボール軌跡情報ｂを取得する。ステップ６０４では、取得したボール軌跡情報をブレーク開始点と認識する。ブレーク開始点を認識した後、ステップ６０５では、直後一定時間以内のボール軌跡情報を複数取得し、ステップ６０６では、それらのボール軌跡情報の中から一定時間ボールが停止している時点を抽出する。ステップ６０７では、一定時間ボールが停止している点がある場合はステップ６０８に進み、停止している点がない場合はステップ６０９に進む。ステップ６０８では、一
定時間ボールが停止しているボール軌跡情報を取得し、取得したボール軌跡情報をブレーク終了点と認識する。図７では、ボール軌跡情報ｂ乃至ｅを取得し、それらの中から一定時間停止しているボール軌跡情報は、そのボール動きベクトルが（０、０）となっているボール軌跡情報ｄを取得し、この時点をブレーク終了点と認識する。

一方、ステップ６０９では、一定時間ボールが停止している点がないので、この場合は審判合図時刻直前のボール軌跡情報を取得する。例えば、図７でボール動きベクトルが（０，０）となっているボール軌跡情報がない場合は、審判合図時刻直前のボール軌跡情報ａを取得する。ステップ６１０では、取得したボール軌跡情報に最も近いボール軌跡情報を取得する。ここでは、ボール軌跡情報ａのボール位置が（５００，３００）であり、ボール軌跡情報ｂ乃至ｅの中で最も近い位置は（５２０，３２０）であるので、ボール軌跡情報ｄを取得し、この時点をブレーク終了点と認識する。

ステップ６１１では、ステップ６０４で認識したブレーク開始点からステップ６０８あるいはステップ６１０で認識したブレーク終了点までをブレーク区間としてブレーク区間特定部１２３がブレーク区間格納部１２４へ登録する。ここでは、ブレーク開始点のボール軌跡情報ｂからブレーク終了点のボール軌跡情報ｄまでをブレーク区間格納部１２４へ登録する。ステップ６１２では、ブレーク区間特定部１２３が次の審判合図情報があるか否かを判定し、ある場合はステップ６０３に戻り、再度ステップ６０３乃至６１１の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ステップ３０１のボール位置により特定されたフィールド外のブレーク区間以外のボール軌跡情報及び審判合図情報格納部１１８の審判合図情報を用いて、フィールド内のブレーク区間を特定することができる。

次に、図８を用いてボール軌跡情報のボール動きベクトルからブレーク区間を特定する手順について説明する。ステップ８０１では、ブレーク区間特定部１２３はボール軌跡情報格納部１１７を用いて、ステップ３０１のボール位置により特定されたブレーク区間及びステップ３０２の審判の合図により特定されたブレーク区間のボール軌跡情報以外のボール軌跡情報を取得し、一定時間停止しているボール軌跡情報を取得する。ステップ８０２では、ボール軌跡情報が取得できた場合はステップ８０３に進み、取得できない場合は終了する。図９において、一定時間停止しているボール軌跡情報は、ボール動きベクトルが（０、０）となっているので、この時点で停止していると判断し、ボール軌跡情報ｄを取得する。ステップ８０３では、取得したボール軌跡情報をブレーク終了点と認識する。ブレーク終了点を認識した後、ステップ８０４では、直後一定時間以内のボール軌跡情報を複数取得し、ステップ８０５では、それらのボール軌跡情報の中からブレーク終了点に最も近いボール軌跡情報を取得する。ここでは、ブレーク終了点のボール位置は（５２０，３２０）であり、その直前に複数取得したボール軌跡情報ａ乃至ｃの中で最も近い位置は（５００，３００）であるので、ボール軌跡情報ａを取得する。つまり、ボール軌跡情報ａの位置がインプレー区間の終了点であったことを認識し、ステップ８０６では、その直後のボール軌跡情報を取得し、この時点をブレーク開始点と認識する。ここでは、ボール軌跡情報ｂを取得し、この時点をブレーク開始店と認識する。

ステップ８０７では、ステップ８０６で認識したブレーク開始点からステップ８０３で認識したブレーク終了点までをブレーク区間としてブレーク区間特定部１２３がブレーク区間格納部１２４へ登録する。ここでは、ブレーク開始点のボール軌跡情報ｂからブレーク終了点のボール軌跡情報ｄまでをブレーク区間格納部１２４へ登録する。ステップ８０８では、次の一定時間停止しているボール軌跡情報があるか否かを判定し、ある場合はステップ８０３に戻り、再度ステップ８０３乃至８０８の処理を行う。一方、ない場合は処理を終了する。以上の処理により、ボール軌跡情報のボール動きベクトルを用いて、ボールの一定時間停止点を抽出することによりブレーク区間を特定することができる。

次に、図１０を用いてインプレー区間におけるシーン区間の分割処理手順について説明する。ステップ１００１では、攻守シーン分割部１２５がボール軌跡情報格納部１１７のボール軌跡情報とブレーク区間格納部１２４のブレーク区間を基にインプレー区間を抽出する。ステップ１００２では、インプレー区間がある場合はステップ１００３に進み、ない場合は処理を終了する。ステップ１００３では、抽出したインプレー区間の先頭のボール軌跡情報を取得し、ステップ１００４では、直後のボール軌跡情報を取得する。例えば、図１１あるいは図１２において、抽出したインプレー区間の先頭はボール軌跡情報ａであり、直後はボール軌跡情報ｂであり、これらを取得する。ステップ１００５では、直後のボール軌跡情報があるか否かを判定し、ある場合はステップ１００６に進み、ない場合はステップ１０１５に進む。ステップ１００６では、そのボール軌跡情報がインプレー区間の終了点であるか否かを判定し、終了点でない場合はステップ１００７に進み、終了点である場合はステップ１０１５に進む。図１１あるいは図１２において、ボール軌跡情報ｂはインプレー区間の終了点ではないので、ステップ１００７に進む。ステップ１００７では、ステップ１００４で取得したボール軌跡情報と直前のボール軌跡情報の主体者が同一チームであるか否かを判定する。同一チームである場合はステップ１００４に戻り、再度ステップ１００４乃至１００７を行い、同一チームでない場合はステップ１００８に進む。図１１あるいは図１２において、ボール軌跡情報ｂの主体者チームはＡチームであり、その直前のボール軌跡情報ａの主体者チームはＡチームであるので、主体者が同一である。この場合はステップ１００４に戻り、再度ステップ１００４乃至１００７を行い、主体者チームがＢチームであるボール軌跡情報ｃを取得した後、ステップ１００８に進む。

ステップ１００８では、ステップ１００４で取得したボール軌跡情報の直後のボール軌跡情報を取得する。図１１あるいは図１２において、ボール軌跡情報ｄを取得する。ステップ１００９では、ステップ１００８で取得したボール軌跡情報とその直前の情報、すなわち、ステップ１００４で取得したボール軌跡情報とを比較し、軌跡変化時刻の差が大きいか否かを判定し、時刻の差が大きい場合はステップ１０１１に進み、時刻の差が小さい場合はステップ１０１０に進む。なお、その判定基準については任意に設定できるものであるが、本実施例では、５秒以上差があるものを軌跡変化時刻の差が大きいものとして判定する。図１１あるいは図１２において、ボール軌跡情報ｃの軌跡変化時刻は００：１２：１８であり、ボール軌跡情報ｄの軌跡変化時刻は００：１２：２２であるので、その軌跡変化時刻の差は小さく、この場合はステップ１０１０に進む。なお、ボール軌跡情報ｄの軌跡変化時刻が００：１２：２８であった場合はステップ１０１１に進む。ステップ１０１０では、ステップ１００８で取得したボール軌跡情報とその直前の情報のボール位置の差が大きいか否かを判定し、位置の差が大きい場合はステップ１０１１に進み、位置の差が小さい場合はステップ１００４に戻る。なお、その判定基準については任意に設定できるものであるが、本実施例では、Ｘ軸あるいはＹ軸で４００以上差があるものをボール位置の差が大きいものとして判定する。図１１において、ボール軌跡情報ｄのボール位置は（２００，６５０）であり、ボール軌跡情報ｃのボール位置は（５５０，１５０）であるので位置の差は大きく、この場合はステップ１０１１に進む。一方、図１２において、ボール軌跡情報ｄのボール位置は（５００，３５０）であり、ボール軌跡情報ｃのボール位置は（４００，１５０）であるので位置の差は小さく、この場合はステップ１００４に戻り、さらにその直後のボール軌跡情報ｅを取得する。

ステップ１０１１では、ステップ１００８で取得したボール軌跡情報の直前の情報をシーン区間終了点と認識し、ステップ１０１２では、シーン区間終了点までに取得したボール軌跡情報を１シーン区間として管理し、ステップ１０１３では、このシーン区間をシーン区間格納部１２６へ登録する。ステップ１０１４では、ステップ１０１１で認識したシーン区間終了点を次のシーン区間開始点として認識、つまり、次のシーン区間の先頭のボール軌跡情報と認識し、ステップ１００３に戻って再度処理を行う。

一方、ステップ１０１５では、ステップ１００４で直後のボール軌跡情報を検索し、そのボール軌跡情報がない場合や、直後のボール軌跡情報がインプレー区間の終了点である場合は、ここまでで取得したボール軌跡情報を１シーン区間とする。つまり、ボール軌跡情報がない場合は直前の情報をシーン区間終了点と認識し、直後のボール軌跡情報がインプレー区間の終了点である場合は、当該情報をシーン区間終了点と認識する。図１１あるいは図１２において、ボール軌跡情報ｅの直後はボール軌跡情報がないので、この場合は、ボール軌跡情報ｅをシーン区間終了点と認識する。また、ボール軌跡情報ｄの直後のボール軌跡情報ｅはインプレー区間の終了点であるので、この場合は、ボール軌跡情報ｅをシーン区間終了点と認識する。そして、シーン区間終了点までに取得したボール軌跡情報を１シーン区間として管理し、ステップ１０１６では、このシーン区間をシーン区間格納部１２６へ登録する。ステップ１０１７では次のインプレー区間を検索し、ステップ１００２に戻る。ステップ１００２では、次のインプレー区間がある場合はステップ１００３に進み、ない場合は処理を終了する。以上の処理により、ボール軌跡情報格納部１１７のボール軌跡情報とブレーク区間格納部１２４のブレーク区間を基にインプレー区間を抽出し、一連の攻撃シーン毎にシーン区間を分割し、管理することができる。

以上、本実施例のシーン区間分割装置は、撮影されたスポーツ映像に映るボールの軌跡変化毎に主体者を特定したボール軌跡情報を管理し、ボール位置からブレーク区間を特定する処理、審判合図情報の発生時刻からブレーク区間を特定する処理、ボールが一定時間停止している点を抽出することからブレーク区間を特定する処理を行って各ブレーク区間を取得した後、これを基にインプレー区間を抽出し、さらにインプレー区間におけるシーン区間の分割処理を行って混戦状態やクリアシーンがある場合でも一連の攻撃を一つのシーン区間として正確に管理することができる。

なお、本実施例では、主にスポーツ映像に映るボールの軌跡情報から一連の攻撃毎にシーン区間を正確に管理することを説明したが、ブレーク区間を特定することで、ブレーク開始直前、あるいは終了直後のプレー内容を特定し、これをボール軌跡情報に関連付けて管理させることで、インプレー区間でのプレー内容を容易に把握できる。

例えば、ステップ３０１のボール軌跡情報とフィールド情報を用いてフィールド外のブレーク区間を特定する際、ブレーク区間終了直後のプレー内容がスローイン、ゴールキック、コーナーキック等であることを特定できる。例えば、図５において、ブレーク終了点のボール位置はスローインが行われる位置なので、ブレーク終了点直後のプレー内容はスローインであることを特定できる。この他に、ボール位置を用いて特定されるブレーク終了点直後のプレー内容にはゴールキックやコーナーキックもある。ブレーク終了点直後のプレー内容がスローインである場合、ボール軌跡情報ｆにスローインを関連付け、これをボール軌跡情報格納部１１７に登録することで、スローインシーンを容易に把握できる（図５参照）。

また、ステップ３０２や３０３のフィールド内のボール軌跡情報を用いてボールが一定時間停止している時点を基にブレーク区間を特定する際、ブレーク区間終了直後のプレー内容がフリーキック等であることを特定できる。この場合、ブレーク終了点直後のボール軌跡情報ｄ’にフリーキックを関連付け、これをボール軌跡情報格納部１１７に登録することで、フリーキックシーンが容易に把握できる（図７、図９参照）。

また、ステップ３０５でインプレー区間におけるシーン区間が分割される場合、分割したシーン区間の終了時のプレー内容がクリアであることを特定できる。この場合、シーン区間終了時のボール軌跡情報ｃにクリアを関連付け、これをボール軌跡情報格納部１１７に登録することで、クリアシーンを容易に把握できる（図１１参照）。また、ステップ３
０５でインプレー区間におけるシーン区間が分割されない場合、当該インプレー区間は混戦状態であることを特定できる。この場合、インプレー区間の先頭のボール軌跡情報ａに混戦状態を関連付け、これをボール軌跡情報格納部１１７に登録することで、混戦状態が容易に把握できる（図１２参照）。

また、フィールド情報や審判合図情報を用いることにより、ボール軌跡情報のボール位置からゴールシーンを特定でき、また、ゴール後のブレーク区間を特定することもできる。例えば、ゴールの位置はフィールド情報を用いて把握することができ（（４００〜６００，８０〜１００）または（４００〜６００，９００〜９２０））、ボールの位置がゴール内の位置に移った直後（（５５０．９０））、審判合図情報があった場合、その時点でゴールシーンがあったことを特定できる。この場合は、ゴールシーンがあった時点のボール軌跡情報にゴールを関連付け、これをボール軌跡情報格納部１１７に登録することで、インプレー区間でのプレー内容が容易に把握できる。また、ゴール後のボール軌跡情報はブレーク区間であり、ボール軌跡情報のボール位置がセンターラインの位置（（５００，５００））に移り、審判合図情報があるまではブレーク区間であることも特定できる。

これ以外にも、ボール軌跡情報の軌跡変化時刻、及び審判合図情報等を用いて試合が開始した時点や終了した時点などをボール軌跡情報に関連付け、これをボール軌跡情報格納部１１７に登録することで、試合開始直後や試合終了直前のシーンが容易に把握できる。

また、本実施例では、スポーツ映像送信装置でシーン区間を分割して管理し、これをスポーツ映像受信端末に配信する形態を最良の形態として説明したが、ブレーク区間の特定やシーン区間の分割等は、スポーツ映像送信装置及びスポーツ映像受信端末のいずれかで行うものであればよい。例えば、図２５に示すように、スポーツ映像送信装置からボール軌跡情報、フィールド情報および審判合図情報を送信し、これらを用いてスポーツ映像受信端末でブレーク区間の特定およびシーン区間の分割処理を行う形態でもよい。また、図２６に示すように、スポーツ映像送信装置でブレーク区間を特定してボール軌跡情報とともに送信し、これらを用いてスポーツ映像受信端末でシーン区間の分割処理を行う形態でもよい。

以上、本発明は、サッカーのようなスポーツ映像をダイジェスト視聴するのに好適であり、インプレー区間のみを短時間に視聴できるだけでなく、利用者が所望とするシーン毎に視聴することもできる。

Claims

スポーツ映像に映るボールの軌跡変化毎に、その軌跡変化時刻情報、ボール位置情報、ボール動き情報、及び主体者を特定したボール軌跡情報を管理するボール軌跡情報格納部と、
前記ボール動き情報及び軌跡変化時刻情報に基づき、前記ボール軌跡情報格納部からボールの動きが一定時間停止している時点のボール軌跡情報を抽出するボール一定時間停止点抽出部と、
前記ボール位置情報に基づき、前記ボール軌跡情報格納部から前記一定時間停止している時点のボール軌跡情報により表されるボール位置に最も近いボール軌跡情報を抽出するボール最近点抽出部と、
前記ボール軌跡情報格納部からボール軌跡情報を取得し、前記ボール一定時間停止点抽出部で抽出されたボール軌跡情報から得られた軌跡変化時刻情報を基にブレーク終了点を特定し、また前記ボール最近点抽出部で抽出されたボール軌跡情報から得られた軌跡変化時刻情報を基にブレーク開始点を特定することにより、競技が中断していることを表すブレーク区間を特定するブレーク区間特定部と、
前記特定したブレーク区間を基に前記ボール軌跡情報格納部から、競技が進行していることを表すインプレー区間のボール軌跡情報を抽出し、さらに当該インプレー区間を、一連のプレーを表すシーン区間毎に分割するシーン区間分割部とを備えることを特徴とするシーン区間分割装置。
フィールドの境界を座標情報により管理するフィールド情報格納部と、前記フィールド情報を用いてボールの位置がフィールド内にあるか否かを判定するフィールド内外判定部とを備え、前記ブレーク区間特定部は前記ボール軌跡情報格納部からボール軌跡情報を取得し、当該ボール軌跡情報を用いて前記フィールド内外判定部で判定したフィールド外のボール軌跡情報をブレーク区間と特定することを特徴とする請求項１に記載のシーン区間分割装置。
審判が合図を行った時刻を管理する審判合図情報格納部を備え、前記ブレーク区間特定部は前記ボール軌跡情報及び前記審判合図情報を用いてブレーク区間を特定することを特徴とする請求項１に記載のシーン区間分割装置。
ボール軌跡情報のボール位置及びフィールドの境界を座標情報により管理するフィールド情報を用いてフィールド外のブレーク区間を特定する手段と、
ボール軌跡情報のボール軌跡変化時刻及び審判合図時刻を管理する審判合図情報を用いてブレーク区間を特定する手段と、
を有することを特徴とする請求項１記載のシーン区間分割装置。
前記ボール軌跡情報のボール位置及びフィールドの境界を座標情報により管理するフィールド情報を用いてフィールド外のブレーク区間を特定する手段は、
第１のボール軌跡情報を取得する処理と、前記フィールド情報を用いて前記第１のボール軌跡情報のボールの位置がフィールド内にあるか否かを判定する処理と、
前記第１のボール軌跡情報がフィールド内にある場合、直後の第２のボール軌跡情報を取得する処理と、前記フィールド情報を用いて前記第２のボール軌跡情報のボールの位置がフィールド外にある場合にブレーク開始点と認識して取得する処理とを実行し、
一方、前記第１のボール軌跡情報がフィールド外にある場合、直後の第３のボール軌跡情報を取得する処理と、前記フィールド情報を用いて前記第３のボール軌跡情報のボールの位置がフィールド内にある場合に前記第３のボール軌跡情報をブレーク終了点と認識して取得する処理とを実行することを特徴とする請求項４に記載のシーン区間分割装置。
ボール軌跡情報のボール軌跡変化時刻及び審判合図時刻を管理する審判合図情報を用いてブレーク区間を特定する手段は、
前記審判合図情報を取得する処理と、前記審判合図情報の審判合図時刻の直後、所定時間以内のボール軌跡情報を複数取得し、先頭の第１のボール軌跡情報をブレーク開始点と認識する処理と、前記複数取得したボール軌跡情報において一定時間停止している第２のボール軌跡情報があるか否かを判定する処理と、
前記一定時間停止している第２のボール軌跡情報がある場合、当該ボール軌跡情報をブレーク終了点と認識して取得する処理とを実行し、
一方、前記一定時間停止している第２のボール軌跡情報がない場合、前記審判合図時刻の直前の第３のボール軌跡情報を取得する処理と、前記複数取得したボール軌跡情報において前記第３のボール軌跡情報のボール位置に最も近い第４のボール軌跡情報をブレーク終了点と認識して取得する処理とを実行することを特徴とする請求項４に記載のシーン区間分割装置。
前記ボール軌跡情報のボール動きベクトル及びボールの位置を用いてブレーク区間を特定する手段をさらに有し、当該ブレーク区間を特定する手段は、
ボールの動きが一定時間停止している第１のボール軌跡情報を取得し、ブレーク終了点と認識して取得する処理と、
前記第１のボール軌跡情報の直前、所定時間以内のボール軌跡情報を複数取得する処理と、
前記複数取得したボール軌跡情報において前記第１のボール軌跡情報のボール位置に最も近いボール軌跡情報の直後の第２のボール軌跡情報をブレーク開始点と認識して取得する処理とを実行することを特徴とする請求項４に記載のシーン区間分割装置。
前記シーン区間分割部は、
インプレー区間における先頭の第１ボール軌跡情報を取得する処理と、
その直後の第２ボール軌跡情報を取得する処理と、
前記第２ボール軌跡情報がインプレー区間の終了点、かつ第１ボール軌跡情報の主体者と異なる場合にその直後の第３ボール軌跡情報を取得する処理と、
前記第２ボール軌跡情報が第３ボール軌跡情報との時刻の差あるいは位置の差が大きい場合に前記第２ボール軌跡情報をシーン区間終了点と認識する処理と、
前記シーン区間終了点までに取得したボール軌跡情報を１シーン区間として取得する処理とを実行することを特徴とする請求項４に記載のシーン区間分割装置。