JP6354229B2 - 抽出プログラム、方法、及び装置 - Google Patents

Description

本発明は、抽出プログラム、抽出方法、及び抽出装置に関する。

従来、スポーツの試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。このようなサービスにおいて、映像から、特定のシーンを抽出したい場合がある。

例えば、映像に対応する音声データにおいて、音の大きさの急激な上昇が検知された場合に、注目シーンであると認識することが行われている。

また、フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法が提案されている。

特表２００８−５１１１８６号公報

上述のようなシーンの抽出において、例えば、いずれかのチームが攻め込んでいるシーンを特定したいという要求が考えられる。しかしながら、音の大きさの急激な上昇を検知されたシーンが、必ずしも、いずれかのチームが攻め込んでいるシーンであるとは限らない。

一つの側面として、本発明は、スポーツの試合を撮影した映像から、いずれかのチームが攻め込んでいるシーンを抽出することを目的とする。

一つの態様では、相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて撮像画像が時間的に変化する撮像画像部分を特定する。特定した撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する。

一つの側面として、スポーツの試合を撮影した映像から、いずれかのチームが攻め込んでいるシーンを抽出することができる、という効果を有する。

第１実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 遠景フレームの一例を示す図である。 近景フレームの一例を示す図である。 カメラの動きを説明するための図である。 前半及び後半のそれぞれにおける試合状況を示すテロップの一例を示す図である。 検出されたカメラの動きを示す図である。 メタ情報ファイルの一例を示す図である。 抽出装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 第１実施形態における抽出処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 第２実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 選手の動きを説明するための図である。 ゴール付近画像の一例を示す図である。 ゴール付近画像の一例を示す図である。 ゴール付近画像以外の画像の一例を示す図である。 第２実施形態における抽出処理の一例を示すフローチャートである。 継続時間を説明するための図である。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。以下の各実施形態では、サッカーの試合を撮影した映像を配信する映像配信システムに、本発明の抽出装置を適用した例について説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る映像配信システム１０は、抽出装置２０と、配信装置３０とを含む。抽出装置２０と、配信装置３０とは、ネットワークを介して接続されている。映像配信システム１０では、抽出装置２０により作成されたメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、所定の端末に配信する。抽出装置２０は、動き検出部２２と、チーム方向取得部２４と、抽出部２６と、作成部２８とを含む。また、配信装置３０は、編集部３２と、配信部３４とを含む。

まず、配信装置３０の各部について詳述する。

編集部３２は、サッカーの試合を撮影した映像（以下、「撮影映像」という）を取得する。なお、本実施形態において、映像は、動画データ及び音声データを含むメディアである。撮影映像に含まれる動画データは、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影されており、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。また、撮影映像には、試合会場における歓声等の音声や、解説者や実況等の音声を含む音声データも含まれる。音声データは、サンプリング点毎の音の大きさのレベルを示す時系列データであり、各サンプリング点には、音声データと動画データとが同期するように、動画データの各フレームに対応付けられた時刻情報と同期する時刻情報が対応付けられている。

編集部３２は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。編集内容としては、例えば図２に示すように、試合状況を示すテロップ８０を付加することを含む。以下では、撮影映像に含まれる動画データに対して編集部３２による編集が行われた映像を「編集済み映像」という。編集部３２は、編集済み映像を、抽出装置２０へ送信する。

配信部３４は、抽出装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３４は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信する。

次に、抽出装置２０の各部について詳述する。

動き検出部２２は、配信装置３０から送信された編集済み映像を取得する。動き検出部２２は、編集済み映像に含まれる動画データに基づいて、動画データを撮影したカメラの動きを検出する。

具体的には、まず、動き検出部２２は、フレーム毎に、遠景撮影されたフレーム（以下、「遠景フレーム」という）か、近景撮影されたフレーム（以下、「近景フレーム」という）かを判定する。この判定は、例えば、遠景フレームか近景フレームかを識別するための識別モデルを用いて行うことができる。識別モデルは、例えば図３に示すような複数の遠景フレーム、及び図４に示すような複数の近景フレームを学習することにより、生成することができる。

動き検出部２２は、遠景フレームと判定したフレームについて、図５に示すように、フレーム内の各画素の情報を水平方向に所定画素分平行移動させ、前フレームと最も重なり度合い（マッチング度）が高くなる平行移動量を求める。例えば、画面右側への平行移動を正方向、左側への平行移動を負方向とすると、求めた平行移動量の正負がカメラの動きの方向、平行移動量の絶対値が動きの大きさとなる。

なお、ここでは、説明を簡単にするため、対象とするカメラの動きを水平方向に限定した場合について説明するが、垂直方向についても同様に動きを検出してもよい。また、平行移動量を求めるための前フレームは１フレーム前のフレームであってもよいし、２以上の所定フレーム数前のフレームであってもよい。

また、撮影映像を実際に撮影するカメラの動きをハードウェアにより計測し、その計測量を動き検出部２２により取得することにより、カメラの動きとして検出してもよい。例えば、カメラを載置した雲台にエンコーダを取り付けておき、このエンコーダによりカメラの動きを計測することができる。この場合、動き検出部２２は、エンコーダで計測された計測量の情報を、撮影映像と共に取得すればよい。

チーム方向取得部２４は、前半及び後半の各々について、チーム毎の攻め込むゴール方向を取得する。例えば、編集済み映像と共に、試合の基本情報を取得している場合には、この情報に基づいて、チーム毎の攻め込むゴール方向を取得することができる。具体的には、基本情報として、＜ホーム：チームＡ ｖｓ アウェイ：チームＢ＞のような情報を取得したとする。この場合、「前半はホームチームが右側のゴール方向へ攻め込む」のような情報を予め用意しておき、取得した基本情報と合わせて、チーム毎の攻め込むゴール方向を取得することができる。

また、チーム方向取得部２４は、編集済み映像に付加されたテロップの情報を用いて、前半及び後半の各々について、チーム毎の攻め込むゴール方向を取得してもよい。例えば、図６に示すように、試合状況を示すテロップ８０には、前半及び後半のそれぞれで、チーム毎の攻め込むゴール方向に対応した並びで、チーム名が表示される。例えば、前半はチームＢが右側のゴール方向へ攻め込む場合、図６に示すように、試合状況を示すテロップ８０において、「チームＡ−チームＢ」の並びで表示される。一方、後半はチームＡが右側のゴール方向へ攻め込むことになるため、試合状況を示すテロップ８０において、「チームＢ−チームＡ」の並びで表示される。

従って、チーム方向取得部２４は、取得した編集済み映像に含まれる動画データにおいて、試合状況を示すテロップ８０が付加されたフレームを選択する。そして、チーム方向取得部２４は、選択したフレームから、パターンマッチングや文字認識の手法を用いて試合状況を示すテロップ８０の内容を解析し、前半及び後半の各々について、チーム毎の攻め込むゴール方向を取得する。

抽出部２６は、動き検出部２２で検出されたカメラの動きに基づいて、その動きがゴール方向への動きを示しているか否かを判定する。カメラがゴール方向へ動いているということは、いずれかのチームがゴールへ攻め込んでいると考えることができる。具体的には、動き検出部２２が検出したカメラの動きを、横軸を時間ｔ、縦軸を平行移動量ｘをとしたグラフで表すと、図７に示すようになる。抽出部２６は、細かなパス戻しを追従した細かなカメラの動きを排除するため、正方向及び負方向の各々に閾値（図７中、「＋ｔｈ」及び「−ｔｈ」）を設ける。そして、抽出部２６は、平行移動量ｘが正の閾値を超えている期間は、カメラの右側のゴール方向への動きと判定し、負の閾値を超えている期間は、カメラの左側のゴール方向への動きと判定する。

抽出部２６は、カメラの右または左方向への動きが検出されたタイミングに対応するフレーム群を、いずれかのチームが攻め込んでいるシーン（以下、「攻め込みシーン」という）として抽出する。例えば、抽出部２６は、図７に示すように、平行移動量ｘが閾値を超えている期間に該当する時刻情報が対応付けられたフレーム群を、攻め込みシーンを示すフレーム群として抽出することができる。また、平行移動量ｘが閾値を超えている期間の前後所定秒を含む期間に該当する時刻情報が対応付けられたフレーム群を、攻め込みシーンを示すフレーム群として抽出してもよい。これにより、攻め込みシーンに到るまでのシーンや、攻め込みの結果を撮影したシーンを含めて攻め込みシーンの抽出を行なうことができる。

さらに、抽出部２６は、抽出したフレーム群に対応する時刻情報に基づいて、抽出したフレーム群が示す攻め込みシーンは、試合の前半におけるシーンか後半におけるシーンか判定する。そして、抽出部２６は、前半か後半かの判定結果、カメラの動きの方向（右または左）、及びチーム方向取得部２４により取得された、前半及び後半の各々についてのチーム毎の攻め込むゴール方向に基づいて、攻め込んでいるチームを識別する。

作成部２８は、抽出部２６により抽出されたフレーム群に基づいて、攻め込みシーンを示すメタ情報を作成する。具体的には、作成部２８は、抽出されたフレーム群の先頭フレームに対応付けられた時刻情報に、攻め込みシーンの開始であることを示す情報を対応付けたメタ情報を作成する。また、作成部２８は、抽出されたフレーム群の最終フレームに対応付けられた時刻情報に、攻め込みシーンの終了であることを示す情報を対応付けたメタ情報を作成する。さらに、抽出部２６により識別された、攻め込んでいるチームを示す情報もメタ情報に加える。

また、作成部２８は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図８に、メタ情報ファイルの一例を示す。図８の例では、各行が１つのメタ情報を示し、各メタ情報は、時刻情報８２、攻め込みシーンの開始または終了を示す情報（記号８４）、及び攻め込んでいるチームを示す情報（記号８６）を含む。

なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。

作成部２８は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。

抽出装置２０は、例えば図９に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を抽出装置２０として機能させるための抽出プログラム５０が記憶されている。ＣＰＵ４２は、抽出プログラム５０を記憶部４６から読み出してメモリ４４に展開し、抽出プログラム５０が有するプロセスを順次実行する。

抽出プログラム５０は、動き検出プロセス５２と、チーム方向取得プロセス５４と、抽出プロセス５６と、作成プロセス５８とを有する。ＣＰＵ４２は、動き検出プロセス５２を実行することで、図１に示す動き検出部２２として動作する。また、ＣＰＵ４２は、チーム方向取得プロセス５４を実行することで、図１に示すチーム方向取得部２４として動作する。また、ＣＰＵ４２は、抽出プロセス５６を実行することで、図１に示す抽出部２６として動作する。また、ＣＰＵ４２は、作成プロセス５８を実行することで、図１に示す作成部２８として動作する。これにより、抽出プログラム５０を実行したコンピュータ４０が、抽出装置２０として機能することになる。

また、配信装置３０は、例えば図１０に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８を備えている。ＣＰＵ６２、メモリ６４、記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８は、バス６９を介して互いに接続されている。また、コンピュータ６０には、入出力Ｉ／Ｆ６７を介して、図示しない表示装置及び入力装置が接続されている。

また、配信装置３０と抽出装置２０とは、配信装置３０のネットワークＩ／Ｆ６８、ネットワーク、及び抽出装置２０のネットワークＩ／Ｆ４８を介して接続されている。

記憶部６６はＨＤＤやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６６には、コンピュータ６０を配信装置３０として機能させるための配信プログラム７０が記憶されている。ＣＰＵ６２は、配信プログラム７０を記憶部６６から読み出してメモリ６４に展開し、配信プログラム７０が有するプロセスを順次実行する。

配信プログラム７０は、編集プロセス７２と、配信プロセス７４とを有する。ＣＰＵ６２は、編集プロセス７２を実行することで、図１に示す編集部３２として動作する。また、ＣＰＵ６２は、配信プロセス７４を実行することで、図１に示す配信部３４として動作する。これにより、配信プログラム７０を実行したコンピュータ６０が、配信装置３０として機能することになる。

なお、抽出装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図１１に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が抽出装置２０に入力されると、抽出装置２０が、図１２に示す抽出処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１３に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。

まず、図１１に示す編集処理のステップＳ１０で、編集部３２が、撮影映像を取得する。次に、ステップＳ１２で、編集部３２が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。次に、ステップＳ１４で、編集部３２が、編集済み映像を、抽出装置２０へ送信して、編集処理は終了する。

次に、図１２に示す抽出処理のステップＳ２０で、動き検出部２２が、配信装置３０から送信された編集済み映像を取得する。

次に、ステップＳ２２で、動き検出部２２が、取得した編集済み映像に含まれる動画データのフレーム毎に、遠景フレームか、近景フレームかを判定する。そして、動き検出部２２は、遠景フレームと判定したフレームについて、フレーム内の各画素の情報を水平方向に所定画素分平行移動させ、前フレームと最も重なり度合いが高くなる場合の平行移動量を、カメラの動きの方向及び大きさとして求める。

次に、ステップＳ２４で、撮影済み映像と共に取得した試合の基本情報に基づいて、チーム方向取得部２４は、前半及び後半の各々について、チーム毎の攻め込むゴール方向を取得する。基本情報を取得していない場合には、編集済み映像に付加された試合状況を示すテロップ８０の情報を用いて、前半及び後半の各々について、チーム毎の攻め込むゴール方向を取得する。なお、本ステップは、編集済み映像が抽出装置２０に入力された直後、試合状況を示すテロップ８０が付加されたフレームが始めて検出された時点など、適切なタイミングで実行することができる。また、前後のステップの処理と並行して実行することができる。

次に、ステップＳ２６で、抽出部２６が、動き検出部２２で検出されたカメラの動きに基づいて、その動きがゴール方向への動きを示しているか否かを判定する。そして、抽出部２６は、カメラの右または左方向への動きが検出されたタイミングに対応するフレーム群を、いずれかのチームの攻め込みシーンとして抽出する。さらに、抽出部２６は、攻め込みシーンが前半か後半かの判定結果、カメラの動きの方向（右または左）、及びチーム方向取得部２４により取得された、前半及び後半の各々についてのチーム毎の攻め込むゴール方向に基づいて、攻め込んでいるチームを識別する。

次に、ステップＳ２８で、作成部２８が、抽出されたフレーム群の先頭フレームに対応付けられた時刻情報に、攻め込みシーンの開始であることを示す情報を対応付けたメタ情報を作成する。また、作成部２８は、抽出されたフレーム群の最終フレームに対応付けられた時刻情報に、攻め込みシーンの終了であることを示す情報を対応付けたメタ情報を作成する。さらに、抽出部２６により識別された、攻め込んでいるチームを示す情報もメタ情報に加える。

次に、ステップＳ３０で、作成部２８が、上記ステップＳ２８で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部２８は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、抽出処理は終了する。

次に、図１３に示す配信処理のステップＳ４０で、配信部３４が、抽出装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３４が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信し、配信処理は終了する。

以上説明したように、第１実施形態に係る抽出装置２０は、サッカーの試合を撮影した映像を撮影したカメラのゴール方向への動きが検出されたタイミングに対応するフレーム群を、攻め込みシーンとして抽出する。そのため、いずれかのチームが攻め込んでいるシーンを抽出することができる。

また、試合の基本情報やテロップなどの情報を利用して、どのチームがどちらのゴール方向へ攻め込むかを取得できる場合には、カメラの動いた方向（右または左）に基づいて、攻め込んでいるチームも識別することができる。

なお、第１実施形態では、攻め込んでいるチームも識別する場合について説明したが、チーム方向取得部２４が実行する処理を省略し、攻め込んでいるチームの識別は行うことなく、攻め込みシーンの抽出のみを行ってもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１４に示すように、第２実施形態に係る映像配信システム２１０は、抽出装置２２０と、配信装置３０とを含む。抽出装置２２０は、動き検出部２２２と、ゴール付近画像検出部２５と、抽出部２２６と、作成部２８とを含む。

動き検出部２２２は、第１実施形態の動き検出部２２と同様に、遠景フレームを判定し、遠景フレームに基づいて、カメラの動きを検出する。そして、動き検出部２２２は、検出したカメラの動きの影響を除外して、フレーム間の差分画像から、選手の動きを検出する。カメラの動きの影響を除外するとは、フレーム間の差分画像を生成する際に、カメラが動いていることにより、本来静止しているはずの背景部分も動きのある物体として差分画像に表れてしまうことを除外することである。

具体的には、動き検出部２２２は、２つのフレーム間において、一方のフレーム内の各画素の情報を、フレーム間のカメラの動き分平行移動させたうえで、フレーム間の差分画像を生成する。これにより、選手やボールなどの動きのある物体が差分画像上に小領域として表される。差分画像上で個々の物体の対応付けを行うことにより、例えば、図１５に示すように、各物体の動き方向及び動きの大きさを検出することができる。

なお、２つのフレーム間で差分画像を生成する際には、連続するフレーム間で差分画像を生成してもよいし、例えば、０．５秒〜１秒毎など、所定フレーム分離れたフレーム間で差分画像を生成してもよい。後者の方が、フレーム間でのカメラの動きが大きくなるため、微小なカメラの動きを検出する場合よりも、誤差を低減することができる。

ゴール付近画像検出部２５は、配信装置３０から送信された編集済み映像を取得し、編集済み映像に含まれる動画データの各フレームから、ゴール付近が撮影された画像（以下、「ゴール付近画像」という）を示すフレームを検出する。具体的には、ゴール付近画像検出部２５は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、ゴール付近画像検出部２５は、予め用意されたゴール付近画像を示す基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。ゴール付近画像検出部２５は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、ゴール付近画像を示すフレームとして検出する。

より具体的には、ゴール付近画像は、例えば図１６に示すような画像であり、画像の一部にゴールポストが存在すること、画像の角部（図１６中の破線内）に、ピッチの色とは異なる色の画素群が存在することなどの特徴がある。従って、例えば、ゴール付近画像検出部２５は、各フレームの画素の色情報に基づいて、ピッチの色（緑色）を示す画素を排除する。また、色情報に基づいて画素をグループ化し、グループに含まれる画素数が所定数以下の小領域を、選手を示す領域として排除する。そして、残った領域の位置及び形状、並びに残った領域に含まれる画素の色が示す特徴が、例えば図１６の破線内に示すように、画像の角部で、ピッチの色とは異なる色の画素群であるという特徴を示す場合に、そのフレームをゴール付近画像として検出する。

また、ゴール付近画像検出部２５は、ゴールポストやゴールポスト前のラインの形状等のパターンマッチングにより、フレーム毎にゴール付近画像か否かを判定するようにしてもよい。また、図１６では、画面向かって右側のゴール付近を示すゴール付近画像を示しているが、図１７に示すように、画面向かって左側のゴール付近を示すゴール付近画像も同様に検出する。

なお、ゴール付近画像検出部２５は、画像特徴として、画像の構成（構図）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部の特徴を抽出してもよい。

抽出部２２６は、動き検出部２２２で検出された選手の動きに基づいて、その動きがゴール方向への動きを示しているか否かを判定する。選手がゴール方向へ動いているということは、いずれかのチームがゴールへ攻め込んでいると考えることができる。具体的には、図７に示すように、第１実施形態におけるカメラの動きと同様に、動き検出部２２２で検出された選手の動きを、横軸に時間ｔ、縦軸に水平方向移動量ｘをとったグラフで表すことができる。本実施形態では、選手のゴール方向への動きの情報が重要であるため、検出された選手の動きのうち、水平方向の移動量に着目する。なお、垂直方向の移動量も合わせて用いてもよい。また、複数の選手の各々について水平方向移動量が得られるため、得られた全ての水平方向移動量の平均等を用いて、各フレームで１つの水平後方移動量を求める。

また、抽出部２６は、細かなパス戻しによる細かな選手の動きを排除するため、正方向及び負方向の各々に閾値（図７中、「＋ｔｈ」及び「−ｔｈ」）を設ける。そして、抽出部２２６は、水平方向移動量ｘが正の閾値を超えている期間は、選手の右側のゴール方向への動きと判定し、負の閾値を超えている期間は、選手の左側のゴール方向への動きと判定する。そして、抽出部２２６は、選手の右または左方向への動きが検出されたタイミングに対応するフレーム群を、攻め込みシーンの候補として抽出する。

ここで、攻め込みシーンでの画像は、図１６及び図１７に示すように、ゴール付近画像であることが通常である。例えば図１８に示すように、ピッチの中央付近の画像時は、いずれのチームもゴール方向に攻め込んでいないシーンであると考えられる。すなわち、選手のゴール方向への動きが検出されても、そのタイミングに対応するフレーム群に、ゴール付近画像が含まれない場合には、そのシーンは攻め込みシーンではないと判定することができる。

そこで、抽出部２２６は、攻め込みシーン候補として抽出されたフレーム群の少なくとも一部に、ゴール付近画像検出部２５によりゴール付近画像として検出されたフレームが含まれるか否かを判定する。抽出部２２６は、ゴール付近画像が含まれる場合に、その攻め込みシーン候補を、攻め込みシーンとして抽出する。また、抽出部２２６は、ゴール付近画像を攻め込みシーン候補として抽出されたフレーム群のうち、ゴール付近画像にて抽出されたゴール方向と、選手の動きの方向とが一致するフレーム群を攻め込みシーンとして抽出することとしても良い。具体的には、例えば、ゴール付近画像として、画面向かって右側のゴール付近を示すゴール付近画像を含み、かつ、右側のゴール方向への選手の動きが検出されるフレーム群を攻め込みシーンとして抽出することとしても良い。また、ゴール付近画像として、画面向かって左側のゴール付近を示すゴール付近画像を含み、かつ、右側のゴール方向への選手の動きが検出されるフレーム群は攻め込みシーンから除外することとしても良い。ゴール付近画像にて抽出されたゴール方向と、選手の動きの方向とが一致しない場合、攻め込みシーン候補が、例えば、ゴールキックのシーンや、ディフェンスの選手がボールをクリアーするシーンであることが考えられる。ゴール付近画像にて抽出されたゴール方向と、選手の動きの方向とが一致しない攻め込みシーン候補を攻め込みシーンから除外する。これにより、ゴールキックのシーンや、ディフェンスの選手がボールをクリアーするシーンが攻め込みシーンとして検出されることを抑止することができる。

抽出装置２２０は、第１実施形態と同様に、例えば図９に示すコンピュータ４０で実現することができる。記憶媒体としての記憶部４６には、コンピュータ４０を抽出装置２２０として機能させるための抽出プログラム２５０が記憶されている。ＣＰＵ４２は、抽出プログラム２５０を記憶部４６から読み出してメモリ４４に展開し、抽出プログラム２５０が有するプロセスを順次実行する。

抽出プログラム２５０は、動き検出プロセス２５２と、ゴール付近画像検出プロセス５５と、抽出プロセス２５６と、作成プロセス５８とを有する。ＣＰＵ４２は、動き検出プロセス２５２を実行することで、図１４に示す動き検出部２２２として動作する。また、ＣＰＵ４２は、ゴール付近画像検出プロセス５５を実行することで、図１４に示すゴール付近画像検出部２５として動作する。また、ＣＰＵ４２は、抽出プロセス２５６を実行することで、図１４に示す抽出部２２６として動作する。作成プロセス５８については、第１実施形態と同様である。これにより、抽出プログラム２５０を実行したコンピュータ４０が、抽出装置２２０として機能することになる。

次に、第２実施形態に係る映像配信システム２１０の作用について説明する。第２実施形態では、抽出装置２２０で実行される抽出処理が第１実施形態と異なるだけであるため、図１９を参照して、第２実施形態における抽出処理について説明する。なお、第１実施形態における抽出処理と同様の処理については、同一符号を付して、詳細な説明を省略する。

図１９に示す抽出処理のステップＳ２３で、動き検出部２２２が、編集済み映像に含まれる動画データに基づいて、遠景フレームを判定し、遠景フレームに基づいて、カメラの動きを検出する。そして、動き検出部２２２は、検出したカメラの動きの影響を除外して、フレーム間の差分画像から、選手の動きを検出する。

次に、ステップＳ２５で、ゴール付近画像検出部２５が、動画データのフレーム毎に画像特徴を抽出し、予め用意されたゴール付近画像を示す基準画像特徴と比較することにより、ゴール付近画像を示すフレームを検出する。

次に、ステップＳ２７で、抽出部２２６が、動き検出部２２２により、選手の右または左方向への動きが検出されたタイミングに対応するフレーム群を、攻め込みシーン候補として抽出する。そして、抽出部２２６は、攻め込みシーン候補として抽出されたフレーム群の少なくとも一部に、ゴール付近画像検出部２５によりゴール付近画像として検出されたフレームが含まれるか否かを判定する。抽出部２２６は、ゴール付近画像が含まれる場合に、その攻め込みシーン候補を、攻め込みシーンとして抽出する。

以下、第１実施形態の抽出処理と同様に処理して、抽出処理は終了する。

以上説明したように、第２実施形態に係る抽出装置２２０によれば、サッカーの試合を撮影した映像から、選手のゴール方向への動きが検出されたタイミングに対応するフレーム群を、攻め込みシーンとして抽出する。そのため、いずれかのチームが攻め込んでいるシーンを抽出することができる。

また、ゴール付近画像の検出結果も、攻め込みシーンの抽出に利用することで、中盤での攻防等による選手の動きに基づいて、攻め込みシーンではないシーンが抽出されることを防止することができる。

なお、第２実施形態では、選手の動きを検出する場合について説明したが、同様の手法により、ボールの動きを検出するようにしてもよい。ボールの動きは、差分画像により検出される動きのある物体のうち、形状や色情報に基づいて、検出することができる。

また、第２実施形態においても、第１実施形態におけるチーム方向取得部２４を設けて、攻め込んでいるチームの識別を行ってもよい。

また、第１実施形態においても、第２実施形態におけるゴール付近画像検出部２５を設けて、ゴール付近画像の検出結果も、攻め込みシーンの抽出に利用するようにしてもよい。

上記各実施形態において抽出された攻め込みシーンを示すメタ情報が付加されたメタ情報付き映像を用いれば、スポーツの試合映像（撮影映像、または編集済み映像）から、メタ情報に基づいて、所望の攻め込みシーンを容易に探索することができる。また、例えば、映像配信の際に、攻め込みシーンに連動して、ユーザにメールを送信するなどの付帯サービスを、メタ情報に基づいて自動的に行うことができる。

なお、上記各実施形態では、動画像データに基づいて攻め込みシーンを抽出する場合について説明したが、動画像データに対応する音声データも利用して、攻め込みシーンを判定するようにしてもよい。例えば、音声データに基づいて注目シーンを抽出し、カメラまたは選手のゴール方向への動きが検出され、かつ注目シーンである場合に、攻め込みシーンとして抽出することができる。

具体的には、音変化検出部を設け、編集済み映像に含まれる音声データにおける音の大きさの変化量を算出する。例えば、ある所定時間に含まれるサンプリング点毎の音の大きさのレベルの平均値と、その直前の所定時間に含まれるサンプリング点毎の音の大きさのレベルの平均値との比または差を、音の大きさの変化量として算出することができる。そして、音変化検出部は、算出した音の大きさの変化量が、予め定めた変化量閾値ｔｈ_ｃを超えた時点（サンプリング点）を開始点として検出する。

例えば、ゴールシーン、ファウルシーン、ボールカットなどにより攻守が反転したシーン、ゴールにはならなかったが惜しかったシーンなどの注目シーンの開始時には、主に試合会場における歓声等の音量が急激に上昇する。従って、音の大きさの変化量を算出するための所定時間としては、音の大きさの急激な変化を捉えることができる程度に短い時間を設定しておく。また、変化量閾値ｔｈ_ｃは、過去の撮影映像における注目シーンに対応する音声データにおける音の大きさの変化量に基づいて、予め設定しておく。

抽出部２６（または２２６）は、音変化検出部で検出された開始点から、所定レベル以上の音の大きさが継続している継続時間を判定する。注目シーンでは、急激に上昇した歓声等の音量は、その後も所定時間以上継続する傾向がある。従って、このような傾向を捉えることができるように、所定レベル以上の音の大きさの継続時間を判定するものである。継続時間を判定するための所定レベルは、例えば図２０に示すように、開始点ｔ０の音の大きさのレベルＭ０の所定％（例えば、５０％）のレベルＭ１とすることができる。この場合、抽出部２６は、開始点ｔ０から、音の大きさのレベルがＭ１未満となった時点ｔ１までの時間を継続時間として判定する（図２０中の継続時間Ａ）。また他の例として、例えば図２０に示すように、開始点ｔ０の直前、すなわち音の大きさが急激に上昇する前の音の大きさのレベルＭ２を所定レベルとすることができる。この場合、抽出部２６は、開始点ｔ０から、音の大きさのレベルがＭ２未満となった時点ｔ２までの時間を継続時間として判定する（図２０中の継続時間Ｂ）。

抽出部２６（または２２６）は、判定した継続時間と、予め設定した継続時間閾値ｔｈ_ｔとを比較する。抽出部２６（または２２６）は、継続時間が継続時間閾値ｔｈ_ｔ以上の場合には、音変化検出部で検出された開始点に対応する動画データのフレームを、注目シーンの開始フレームとして抽出する。また、抽出部２６（または２２６）は、カメラまたは選手のゴール方向への動きが検出されたタイミングに対応したフレーム群を、攻め込みシーン候補として抽出する。そして、抽出部２６（または２２６）は、攻め込みシーン候補の少なくとも一部のフレームが、注目シーンとしても抽出されている場合には、その攻め込みシーン候補を、攻め込みシーンとして抽出する。これにより、バックパスなどのシーンが攻め込みシーンとして抽出されることを防止することができる。

また、上記各実施形態では、対象のスポーツをサッカーとする場合について説明したが、これに限定されない。例えば、ラグビーやアメリカンフットボールなど、相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツであれば、開示の技術を適用することができる。

また、上記各実施形態では、配信装置と抽出装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と抽出装置の各機能部とを、１つのコンピュータで実現するようにしてもよい。

また、上記各実施形態では、抽出装置で作成され攻め込みシーンを示すメタ情報が付加された映像を、配信装置により配信する場合について説明したが、これに限定されない。例えば、メタ情報付き映像を大量にアーカイブとして保存しておき、メタ情報に基づいて、所望の攻め込みシーンのみを抽出して出力するようにしてもよい。

また、抽出装置からの出力を、映像配信システム以外の用途で利用してもよい。

また、上記では、抽出プログラム５０及び２５０が記憶部４６に、配信プログラム７０が記憶部６６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記各実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて撮像画像が時間的に変化する撮像画像部分を特定し、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出プログラム。

（付記２）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影したカメラの撮影時の動きの履歴情報に基づいて、前記カメラの動きがいずれかのゴール方向に向けて変動することを示す撮像画像部分を特定し、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出プログラム。

（付記３）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて移動する被撮像体の存在を検出し、
検出した前記被撮像体の存在に応じて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出プログラム。

（付記４）
前記被撮像体として、前記スポーツの試合における１または複数の選手、使用されるボール、の少なくともいずれかを含む付記３記載の抽出プログラム。

（付記５）
前記コンピュータに、
前記試合を撮影したカメラの動きの影響を除外して、前記被撮像体を検出する
ことを含む処理を実行させる付記４記載の抽出プログラム。

（付記６）
前記コンピュータに、
前記撮影画像に含まれる複数のフレームの各々から、ゴール付近が撮影されたフレームを検出し、
前記ゴール方向への動きが検出されたタイミングに対応するフレーム群に、前記ゴール付近が撮影されたフレームが含まれる場合に、前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する
ことを含む処理を実行させる付記１〜付記５のいずれか１項記載の抽出プログラム。

（付記７）
前記コンピュータに、
前記ゴール方向への動きの方向と、前記ゴール付近が撮影されたフレームにおけるゴール付近の検出方向とが一致する前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する
ことを含む処理を実行させる付記６記載の抽出プログラム。

（付記８）
前記コンピュータに、
前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴が、ゴール付近が撮影されたフレームの特徴として予め定められた特徴と類似するフレームを検出する
ことを含む処理を実行させる付記６または付記７記載の抽出プログラム。

（付記９）
前記コンピュータに、
チーム毎の攻め込むゴール方向の情報を取得し、
検出された前記ゴール方向への動き、及び取得した前記チーム毎の攻め込むゴール方向に基づいて、前記攻め込むシーンを抽出すると共に、該攻め込むシーンにおいて攻め込んでいるチームを識別する
ことを含む処理を実行させる付記１〜付記８のいずれか１項記載の抽出プログラム。

（付記１０）
前記コンピュータに、
前記ゴール方向への動きが検出されたタイミングに対応するフレーム群の先頭フレームを、前記タイミングの所定秒前の時刻情報が対応付けられたフレームとする
ことを含む処理を実行させる付記１〜付記９のいずれか１項記載の抽出プログラム。

（付記１１）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて撮像画像が時間的に変化する撮像画像部分を特定し、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出方法。

（付記１２）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影したカメラの撮影時の動きの履歴情報に基づいて、前記カメラの動きがいずれかのゴール方向に向けて変動することを示す撮像画像部分を特定し、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出方法。

（付記１３）
コンピュータに、
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて移動する被撮像体の存在を検出し、
検出した前記被撮像体の存在に応じて、いずれかのチームが攻め込むシーンを抽出する、
ことを含む処理を実行させる抽出方法。

（付記１４）
前記被撮像体として、前記スポーツの試合における１または複数の選手、使用されるボール、の少なくともいずれかを含む付記１３記載の抽出方法。

（付記１５）
前記コンピュータに、
前記試合を撮影したカメラの動きの影響を除外して、前記被撮像体を検出する
ことを含む処理を実行させる付記１４記載の抽出方法。

（付記１６）
前記コンピュータに、
前記撮影画像に含まれる複数のフレームの各々から、ゴール付近が撮影されたフレームを検出し、
前記ゴール方向への動きが検出されたタイミングに対応するフレーム群に、前記ゴール付近が撮影されたフレームが含まれる場合に、前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する
ことを含む処理を実行させる付記１１〜付記１５のいずれか１項記載の抽出方法。

（付記１７）
前記コンピュータに、
前記ゴール方向への動きの方向と、前記ゴール付近が撮影されたフレームにおけるゴール付近の検出方向とが一致する前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する
ことを含む処理を実行させる付記６記載の抽出方法。

（付記１８）
前記コンピュータに、
前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴が、ゴール付近が撮影されたフレームの特徴として予め定められた特徴と類似するフレームを検出する
ことを含む処理を実行させる付記６または付記７記載の抽出方法。

（付記１９）
前記コンピュータに、
チーム毎の攻め込むゴール方向の情報を取得し、
検出された前記ゴール方向への動き、及び取得した前記チーム毎の攻め込むゴール方向に基づいて、前記攻め込むシーンを抽出すると共に、該攻め込むシーンにおいて攻め込んでいるチームを識別する
ことを含む処理を実行させる付記１〜付記８のいずれか１項記載の抽出方法。

（付記２０）
前記コンピュータに、
前記ゴール方向への動きが検出されたタイミングに対応するフレーム群の先頭フレームを、前記タイミングの所定秒前の時刻情報が対応付けられたフレームとする
ことを含む処理を実行させる付記１〜付記９のいずれか１項記載の抽出方法。

（付記２１）
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて撮像画像が時間的に変化する撮像画像部分を検出する検出部と、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する抽出部と、
を含む抽出装置。

（付記２２）
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影したカメラの撮影時の動きの履歴情報に基づいて、前記カメラの動きがいずれかのゴール方向に向けて変動することを示す撮像画像部分を検出する検出部と、
該撮像画像部分に基づいて、いずれかのチームが攻め込むシーンを抽出する抽出部と、
を含む抽出装置。

（付記２３）
相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた撮像画像から、いずれかのゴール方向に向けて移動する被撮像体の存在を検出する検出部と、
検出した前記被撮像体の存在に応じて、いずれかのチームが攻め込むシーンを抽出する抽出部と、
を含む抽出装置。

（付記２４）
前記被撮像体として、前記スポーツの試合における１または複数の選手、使用されるボール、の少なくともいずれかを含む付記２３記載の抽出装置。

（付記２５）
前記検出部は、前記試合を撮影したカメラの動きの影響を除外して、前記被撮像体を検出する付記２４記載の抽出装置。

（付記２６）
前記撮影画像に含まれる複数のフレームの各々から、ゴール付近が撮影されたフレームを検出するフレーム画像検出部を含み、
前記抽出部は、前記ゴール方向への動きが検出されたタイミングに対応するフレーム群に、前記ゴール付近が撮影されたフレームが含まれる場合に、前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する
付記２１〜付記２５のいずれか１項記載の抽出装置。

（付記２７）
前記抽出部は、前記ゴール方向への動きの方向と、前記ゴール付近が撮影されたフレームにおけるゴール付近の検出方向とが一致する前記フレーム群を、いずれかのチームが攻め込むシーンとして抽出する付記２６記載の抽出装置。

（付記２８）
前記フレーム画像検出部は、前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴が、ゴール付近が撮影されたフレームの特徴として予め定められた特徴と類似するフレームを検出する付記２６または付記２７記載の抽出装置。

（付記２９）
チーム毎の攻め込むゴール方向の情報を取得する取得部を含み、
前記抽出部は、検出された前記ゴール方向への動き、及び取得した前記チーム毎の攻め込むゴール方向に基づいて、前記攻め込むシーンを抽出すると共に、該攻め込むシーンにおいて攻め込んでいるチームを識別する
付記２１〜付記２８のいずれか１項記載の抽出装置。

（付記３０）
前記ゴール方向への動きが検出されたタイミングに対応するフレーム群の先頭フレームを、前記タイミングの所定秒前の時刻情報が対応付けられたフレームとする付記２１〜付記２９のいずれか１項記載の抽出装置。

１０、２１０ 映像配信システム
２０、２２０ 抽出装置
２２、２２２ 動き検出部
２４ チーム方向取得部
２５ ゴール付近画像検出部
２６、２２６ 抽出部
２８ 作成部
３０ 配信装置
３２ 編集部
３４ 配信部
４０、６０ コンピュータ
４２、６２ ＣＰＵ
４４、６４ メモリ
４６、６６ 記憶部
５０、２５０ 抽出プログラム
７０ 配信プログラム

Claims (6)

1. コンピュータに、
   相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた動画データに含まれる複数のフレームから遠景撮影された遠景フレームを特定し、
   特定した該遠景フレームに基づいて、いずれかのゴール方向に向けてチームが攻め込むシーンを抽出する、
   ことを含む処理を実行させる抽出プログラム。
2. コンピュータに、
   相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合をカメラで撮影した動画データに含まれる複数のフレームから特定した遠景撮影された遠景フレームを用いて、前記カメラの動きが所定の閾値を超えているフレーム群を特定し、
   特定した該フレーム群を、いずれかのゴール方向に向けてチームが攻め込むシーンとして抽出する、
   ことを含む処理を実行させる抽出プログラム。
3. コンピュータが、
   相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた動画データに含まれる複数のフレームから遠景撮影された遠景フレームを特定し、
   特定した該遠景フレームに基づいて、いずれかのゴール方向に向けてチームが攻め込むシーンを抽出する、
   ことを含む処理を実行する抽出方法。
4. コンピュータが、
   相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合をカメラで撮影した動画データに含まれる複数のフレームから特定した遠景撮影された遠景フレームを用いて、前記カメラの動きが所定の閾値を超えているフレーム群を特定し、
   特定した該フレーム群を、いずれかのゴール方向に向けてチームが攻め込むシーンとして抽出する、
   ことを含む処理を実行する抽出方法。
5. 相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合を撮影して得られた動画データに含まれる複数のフレームから遠景撮影された遠景フレームを特定する特定部と、
   特定した該遠景フレームに基づいて、いずれかのゴール方向に向けてチームが攻め込むシーンを抽出する抽出部と、
   を含む抽出装置。
6. 相手チーム陣地に設けられたゴールへ攻め込む対戦形式のスポーツの試合をカメラで撮影した動画データに含まれる複数のフレームから特定した遠景撮影された遠景フレームを用いて、前記カメラの動きが所定の閾値を超えているフレーム群を特定する特定部と、
   特定した該フレーム群を、いずれかのゴール方向に向けてチームが攻め込むシーンとして抽出する抽出部と、
   を含む抽出装置。

Images