JP6427902B2 - 抽出プログラム、方法、及び装置 - Google Patents

Description

本発明は、抽出プログラム、抽出方法、及び抽出装置に関する。

従来、スポーツの試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。このようなサービスにおいて、映像から、例えば、得点シーンなどの注目シーンを特定したい場合がある。

そこで、映像に対応する音声データにおいて、音の大きさの急激な上昇が検知された場合に、注目シーンであると認識することが行われている。

また、フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法が提案されている。

特表２００８−５１１１８６号公報

しかしながら、音の大きさの急激な上昇を検知する場合には、盛り上がったシーンとは関係なく、解説者や実況が突発的に発した大声や、審判によるホイッスルの音なども検知してしまい、所望の注目シーンを特定できない場合がある。

一つの側面として、本発明は、スポーツの試合を撮影した映像から、注目シーンを抽出することを目的とする。

一つの態様では、スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データに含まれる画像の特徴量に基づいて抽出したフレーム群を、前記スポーツの試合における注目シーンとして特定する。

一つの側面として、スポーツの試合を撮影した映像から、注目シーンを抽出することができる、という効果を有する。

第１実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 継続時間を説明するための図である。 注目シーンの種類に応じた継続時間を説明するための図である。 メタ情報ファイルの一例を示す図である。 抽出装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 第１実施形態における抽出処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 野球における注目シーンの種類に応じた継続時間を説明するための図である。 音の大きさの絶対量を説明するための図である。 第２実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 ゴール付近画像の一例を示す図である。 ゴール付近画像の一例を示す図である。 ゴール付近画像以外の画像の一例を示す図である。 第２実施形態における抽出処理の一例を示すフローチャートである。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。以下の各実施形態では、サッカーの試合を撮影した映像を配信する映像配信システムに、本発明の抽出装置を適用した例について説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る映像配信システム１０は、抽出装置２０と、配信装置３０とを含む。抽出装置２０と、配信装置３０とは、ネットワークを介して接続されている。映像配信システム１０では、抽出装置２０により抽出された注目シーンを示すメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、所定の端末に配信する。抽出装置２０は、音変化検出部２２と、抽出部２４と、作成部２６とを含む。なお、音変化検出部２２及び抽出部２４は、本発明の特定部の一例である。また、配信装置３０は、編集部３２と、配信部３４とを含む。

まず、配信装置３０の各部について詳述する。

編集部３２は、サッカーの試合を撮影した映像（以下、「撮影映像」という）を取得する。なお、本実施形態において、映像は、動画データ及び音声データを含むメディアである。撮影映像に含まれる動画データは、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影されており、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。また、撮影映像には、試合会場における歓声等の音声や、解説者や実況等の音声を含む音声データも含まれる。音声データは、サンプリング点毎の音の大きさのレベルを示す時系列データであり、各サンプリング点には、音声データと動画データとが同期するように、動画データの各フレームに対応付けられた時刻情報と同期する時刻情報が対応付けられている。

編集部３２は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。編集内容としては、例えば図２に示すように、試合状況を示すテロップ８０を付加することを含む。以下では、撮影映像に含まれる動画データに対して編集部３２による編集が行われた映像を「編集済み映像」という。編集部３２は、編集済み映像を、抽出装置２０へ送信する。

配信部３４は、抽出装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３４は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信する。

次に、抽出装置２０の各部について詳述する。

音変化検出部２２は、配信装置３０から送信された編集済み映像を取得する。音変化検出部２２は、編集済み映像に含まれる音声データにおける音の大きさの変化量を算出する。例えば、音変化検出部２２は、ある所定時間に含まれるサンプリング点毎の音の大きさのレベルの平均値と、その直前の所定時間に含まれるサンプリング点毎の音の大きさのレベルの平均値との比または差を、音の大きさの変化量として算出することができる。また、音変化検出部２２は、算出した音の大きさの変化量が、予め定めた変化量閾値ｔｈ_ｃを超えた時点（サンプリング点）を開始点として検出する。

例えば、ゴールシーン、ファウルシーン、ボールカットなどにより攻守が反転したシーン、ゴールにはならなかったが惜しかったシーンなどの注目シーンの開始時には、主に試合会場における歓声等の音量が急激に上昇する。従って、音の大きさの変化量を算出するための所定時間としては、音の大きさの急激な変化を捉えることができる程度に短い時間を設定しておく。また、変化量閾値ｔｈ_ｃは、過去の撮影映像における注目シーンに対応する音声データにおける音の大きさの変化量に基づいて、予め設定しておく。

抽出部２４は、音変化検出部２２により検出された開始点から、所定レベル以上の音の大きさが継続している継続時間を判定する。注目シーンでは、急激に上昇した歓声等の音量は、その後も所定時間以上継続する傾向がある。従って、このような傾向を捉えることができるように、所定レベル以上の音の大きさの継続時間を判定するものである。継続時間を判定するための所定レベルは、例えば図３に示すように、開始点ｔ０の音の大きさのレベルＭ０の所定％（例えば、５０％）のレベルＭ１とすることができる。この場合、抽出部２４は、開始点ｔ０から、音の大きさのレベルがＭ１未満となった時点ｔ１までの時間を継続時間として判定する（図３中の継続時間Ａ）。また他の例として、例えば図３に示すように、開始点ｔ０の直前、すなわち音の大きさが急激に上昇する前の音の大きさのレベルＭ２を所定レベルとすることができる。この場合、抽出部２４は、開始点ｔ０から、音の大きさのレベルがＭ２未満となった時点ｔ２までの時間を継続時間として判定する（図３中の継続時間Ｂ）。以下、本実施形態では、後者の継続時間の判定方法を用いる場合について説明する。

抽出部２４は、判定した継続時間と、注目シーンの種類に応じて予め設定した複数の継続時間閾値ｔｈ_ｔとを比較する。抽出部２４は、継続時間がいずれかの継続時間閾値ｔｈ_ｔ以上の場合には、音変化検出部２２で検出された開始点に対応する動画データのフレームを、注目シーンの開始フレームとして抽出する。さらに、抽出部２４は、継続時間がどの継続時間閾値ｔｈ_ｔ以上かに基づいて、抽出した注目シーンに、その注目シーンの種類を示す情報を対応付ける。

例えば、図４に示すように、ゴールシーンでは、所定レベル以上の音の大きさは比較的長く継続する傾向があり、惜しいシーンでは、ゴールシーンに比べて、音の大きさが所定レベル未満まで低下するのが速い傾向がある。従って、このような傾向に基づいて、注目シーンの種類に応じた継続時間閾値ｔｈ_ｔを設定しておくことで、注目シーンを抽出した場合に、その種類も判別することができる。

例えば、ゴールシーンに応じた継続時間閾値をｔｈ_ｔ１、惜しいシーンに応じた継続時間閾値をｔｈ_ｔ２、攻守反転のシーンに応じた継続時間閾値をｔｈ_ｔ３、及びファウルシーンに応じた継続時間閾値をｔｈ_ｔ４のように定めておく。なお、例えば、ｔｈ_ｔ１＞ｔｈ_ｔ２＞ｔｈ_ｔ３＞ｔｈ_ｔ４である。抽出部２４は、継続時間がｔｈ_ｔ１以上の場合には、抽出した注目シーンはゴールシーンであると判別する。また、継続時間がｔｈ_ｔ１未満かつｔｈ_ｔ２以上の場合には、惜しいシーンであると判別する。また、継続時間がｔｈ_ｔ２未満ｔｈ_ｔ３以上の場合には、攻守反転のシーンであると判別する。また、継続時間がｔｈ_ｔ３未満かつｔｈ_ｔ４以上の場合には、ファウルシーンであると判別する。なお、継続時間がｔｈ_ｔ４未満の場合には、注目シーンは抽出されない。

抽出部２４は、開始点に対応する動画データの開始フレームとして、開始点に対応付けられた時刻情報と同一の時刻情報が対応付けられたフレームを抽出することができる。また、例えば、開始点に対応付けられた時刻情報が示す時刻の所定秒前を示す時刻情報が対応付けられたフレームを、シーンの開始フレームとしてもよい。これにより、注目シーンに到るまでのシーンを含めて動画データから注目シーンの抽出を行なうことができる。

さらに、抽出部２４は、継続時間の終了時点に対応するフレームを、注目シーンの終了フレームとして抽出してもよい。

作成部２６は、抽出部２４により抽出された開始フレームに基づいて、注目シーンの開始を示すメタ情報を作成する。具体的には、作成部２６は、開始フレームに対応付けられた時刻情報に、注目シーンの開始を示す情報を対応付けたメタ情報を作成する。また、抽出部２４により判別された注目シーンの種類を示す情報もメタ情報に加える。さらに、抽出部２４により終了フレームも抽出されている場合には、作成部２６は、終了フレームに基づいて、注目シーンの終了を示すメタ情報を作成する。なお、作成部２６は、メタ情報をフレームに対応付けることとしてもよい。

また、作成部２６は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図５に、メタ情報ファイルの一例を示す。図５の例では、各行が１つのメタ情報を示し、各メタ情報は、時刻情報８２、注目シーンの開始または終了を示す情報（記号８４）、及び注目シーンの種類を示す情報（記号８６）を含む。

なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。

作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。

抽出装置２０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を抽出装置２０として機能させるための抽出プログラム５０が記憶されている。ＣＰＵ４２は、抽出プログラム５０を記憶部４６から読み出してメモリ４４に展開し、抽出プログラム５０が有するプロセスを順次実行する。

抽出プログラム５０は、音変化検出プロセス５２と、抽出プロセス５４と、作成プロセス５６とを有する。ＣＰＵ４２は、音変化検出プロセス５２を実行することで、図１に示す音変化検出部２２として動作する。また、ＣＰＵ４２は、抽出プロセス５４を実行することで、図１に示す抽出部２４として動作する。また、ＣＰＵ４２は、作成プロセス５６を実行することで、図１に示す作成部２６として動作する。これにより、抽出プログラム５０を実行したコンピュータ４０が、抽出装置２０として機能することになる。

また、配信装置３０は、例えば図７に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８を備えている。ＣＰＵ６２、メモリ６４、記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８は、バス６９を介して互いに接続されている。また、コンピュータ６０には、入出力Ｉ／Ｆ６７を介して、図示しない表示装置及び入力装置が接続されている。

また、配信装置３０と抽出装置２０とは、配信装置３０のネットワークＩ／Ｆ６８、ネットワーク、及び抽出装置２０のネットワークＩ／Ｆ４８を介して接続されている。

記憶部６６はＨＤＤやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６６には、コンピュータ６０を配信装置３０として機能させるための配信プログラム７０が記憶されている。ＣＰＵ６２は、配信プログラム７０を記憶部６６から読み出してメモリ６４に展開し、配信プログラム７０が有するプロセスを順次実行する。

配信プログラム７０は、編集プロセス７２と、配信プロセス７４とを有する。ＣＰＵ６２は、編集プロセス７２を実行することで、図１に示す編集部３２として動作する。また、ＣＰＵ６２は、配信プロセス７４を実行することで、図１に示す配信部３４として動作する。これにより、配信プログラム７０を実行したコンピュータ６０が、配信装置３０として機能することになる。

なお、抽出装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図８に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が抽出装置２０に入力されると、抽出装置２０が、図９に示す抽出処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１０に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。

まず、図８に示す編集処理のステップＳ１０で、編集部３２が、撮影映像を取得する。次に、ステップＳ１２で、編集部３２が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。次に、ステップＳ１４で、編集部３２が、編集済み映像を、抽出装置２０へ送信して、編集処理は終了する。

次に、図９に示す抽出処理のステップＳ２０で、音変化検出部２２が、配信装置３０から送信された編集済み映像を取得する。

次に、ステップＳ２２で、音変化検出部２２が、取得した編集済み映像に含まれる音声データにおける音の大きさの変化量を算出する。例えば、音変化検出部２２は、ある所定時間に含まれるサンプリング点毎の音の大きさレベルの平均値と、その直前の所定時間に含まれるサンプリング点毎の音の大きさのレベルの平均値との比または差を、音の大きさの変化量として算出する。そして、音変化検出部２２は、算出した音の大きさの変化量が、予め定めた変化量閾値ｔｈ_ｃを超えた時点（サンプリング点）を開始点として検出する。

次に、ステップＳ２４で、抽出部２４が、音変化検出部２２により検出された開始点から、所定レベル以上の音の大きさが継続している継続時間を判定する。次に、抽出部２４は、判定した継続時間と、注目シーンの種類に応じて予め設定した複数の継続時間閾値ｔｈ_ｔとを比較する。そして、抽出部２４は、継続時間がいずれかの継続時間閾値ｔｈ_ｔ以上の場合には、開始点に対応する動画データのフレームを、継続時間と継続時間閾値ｔｈ_ｔとの関係から判別した種類の注目シーンの開始フレームとして抽出する。さらに、抽出部２４は、継続時間の終了時点に対応する動画データのフレームを、注目シーンの終了フレームとして抽出する。

次に、ステップＳ２６で、作成部２６が、抽出部２４により抽出された開始フレームに対応付けられた時刻情報に、注目シーンの開始を示す情報を対応付けたメタ情報を作成する。また、抽出部２４により判別された注目シーンの種類を示す情報もメタ情報に加える。さらに、作成部２６は、抽出部２４により抽出された終了フレームに対応付けられた時刻情報に、注目シーンの終了を示す情報を対応付けたメタ情報を作成する。

次に、ステップＳ２８で、作成部２６が、上記ステップＳ２６で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、抽出処理は終了する。

次に、図１０に示す配信処理のステップＳ４０で、配信部３４が、抽出装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３４が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信し、配信処理は終了する。

以上説明したように、第１実施形態に係る抽出装置２０によれば、サッカーの試合を撮影した映像に含まれる音声データから、音の大きさが急激に上昇した開始点を検出し、開始点から、所定レベル以上の音の大きさの継続時間を判定する。そして、継続時間が所定の閾値以上の場合に、開始点に対応する動画データのフレームを、注目シーンの開始フレームとして抽出する。従って、注目シーンとは関係なく、解説者や実況が突発的に発した大声や、審判によるホイッスルの音などにより音の大きさが急激に上昇した箇所を誤って注目シーンとして抽出することを防止し、所望の注目シーンを抽出することができる。

なお、第１実施形態では、複数の継続時間閾値ｔｈ_ｔを設定し、注目シーンを種類に応じて抽出する場合について説明したが、これに限定されない。例えば、継続時間閾値ｔｈ_ｔを１つだけ設定しておき、継続時間が継続時間閾値ｔｈ_ｔ以上の場合には、種類を判別することなく、注目シーンとして抽出するようにしてもよい。

また、第１実施形態では、対象のスポーツをサッカーとする場合について説明したが、これに限定されない。注目シーンで、音の大きさが急激に上昇した後、音の大きさが所定レベル以上で所定時間以上継続する傾向を示す他のスポーツ、例えば、ラグビー、アメリカンフットボール、野球等の試合の撮影映像に対しても適用可能である。音の大きさの急激な上昇を検出するための変化量閾値ｔｈ_ｃや、上昇した音の大きさの継続時間を判定するための継続時間閾値ｔｈ_ｔを、適用したスポーツに応じて適切に設定すればよい。

例えば、野球の場合、打者がボールを打った瞬間に歓声が上がり、打球の行方に応じて、その歓声が所定時間以上継続する。また、ホームラン、ファウル、ヒット、アウト等、打撃の結果に応じて、歓声の継続時間は異なる。例えば、ホームランの場合は、打った瞬間に上がった歓声は、ボールがスタンドに入った瞬間にさらに上昇し、打者がホームベースに戻るまで継続するなど、例えばファウルなどの他の打撃結果の場合よりも継続時間が長い傾向にある。図１１に、この傾向の一例を音の大きさの変化で示す。なお、注目シーンではなく、突発的に音の大きさが上昇した場合（ノイズ）は、上昇した音の大きさがその後継続しないことは、上記実施形態と同様である。この傾向を利用して、ホームランシーンに対応した継続時間閾値ｔｈ_ｔ（例えば１０秒）を設定しておき、盛り上りシーンとしてホームランシーンを抽出することができる。また、他の打撃結果に応じた継続時間閾値ｔｈ_ｔを設定しておき、打撃結果に応じた注目シーンとして抽出するようにしてもよい。また、打者がボールを打ってからボールがスタンドに入るまでの時間が球場の広さにより変動することを考慮して、継続時間閾値ｔｈ_ｔを、試合が行われる球場毎に、具体的には例えば、球場の広さに応じて決定することとしてもよい。

また、第１実施形態では、音の大きさの変化量に基づいて開始点を検出し、開始点の音の大きさまたは開始点前の音の大きさからの変化量に基づいて、継続時間を判定するための所定レベルを定める場合について説明したが、これに限定されない。図１２に示すように、音の大きさの絶対量を合わせて用いてもよい。例えば、音の大きさの変化量が変化量閾値ｔｈ_ｃ以上、かつ音の大きさの絶対量（レベル）が開始絶対量閾値ｔｈｔ_ａ１以上の場合に、開始点を検出するようにしてもよい。また、音の大きさの絶対量が継続絶対量閾値ｔｈｔ_ａ２以上で所定時間以上継続しているか否かにより、継続時間を判定するようにしてもよい。これにより、注目シーンの抽出精度が向上する。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１３に示すように、第２実施形態に係る映像配信システム２１０は、抽出装置２２０と、配信装置３０とを含む。抽出装置２２０は、音変化検出部２２と、ゴール付近画像検出部２８と、抽出部２２４と、作成部２６とを含む。

ゴール付近画像検出部２８は、配信装置３０から送信された編集済み映像を取得し、編集済み映像に含まれる動画データの各フレームから、ゴール付近が撮影された画像（以下、「ゴール付近画像」という）を示すフレームを検出する。具体的には、ゴール付近画像検出部２８は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、ゴール付近画像検出部２８は、予め用意されたゴール付近画像を示す基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。ゴール付近画像検出部２８は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、ゴール付近画像を示すフレームとして検出する。

より具体的には、ゴール付近画像は、例えば図１４に示すような画像であり、画像の一部にゴールポストが存在すること、画像の角部（図１４中の破線内）に、ピッチの色とは異なる色の画素群が存在することなどの特徴がある。従って、例えば、ゴール付近画像検出部２８は、各フレームの画素の色情報に基づいて、ピッチの色（緑色）を示す画素を排除する。また、色情報に基づいて画素をグループ化し、グループに含まれる画素数が所定数以下の小領域を、選手を示す領域として排除する。そして、残った領域の位置及び形状、並びに残った領域に含まれる画素の色が示す特徴が、例えば図１４の破線内に示すように、画像の角部で、ピッチの色とは異なる色の画素群であるという特徴を示す場合に、そのフレームをゴール付近画像として検出する。

また、ゴール付近画像検出部２８は、ゴールポストやゴールポスト前のラインの形状等のパターンマッチングにより、フレーム毎にゴール付近画像か否かを判定するようにしてもよい。また、図１４では、画面向かって右側のゴール付近を示すゴール付近画像を示しているが、図１５に示すように、画面向かって左側のゴール付近を示すゴール付近画像も同様に検出する。なお、上記で説明したピッチの色とは異なる色の画素群に基づくゴール付近画像の検出と、ゴールポストやゴールポスト前のラインの形状等のパターンマッチングに基づくゴール付近画像の検出とを併用することとしてもよい。

なお、ゴール付近画像検出部２８は、画像特徴として、画像の構成（構図）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部の特徴を抽出してもよい。

抽出部２２４は、第１実施形態の抽出部２４と同様に、音変化検出部２２により検出された開始点から、所定レベル以上の音の大きさが継続している継続時間を判定する。そして、抽出部２２４は、判定した継続時間が、ゴールシーンを抽出するために設定された継続時間閾値ｔｈ_ｔ以上か否かを判定する。

ここで、ゴールシーンでの画像は、図１４及び図１５に示すように、ゴール付近画像であることが通常である。例えば図１６に示すように、ピッチの中央付近の画像時に歓声等が盛り上がる場合もあるが、これは、ゴールシーンではなく、他の種類の注目シーンであると考えられる。すなわち、音の大きさの変化から判定した継続時間が継続時間閾値ｔｈ_ｔ以上であっても、対応するフレームの示す画像が、ゴール付近画像ではない場合には、そのシーンはゴールシーンではないと判定することができる。

そこで、抽出部２２４は、開始点から継続時間終了までに対応する動画データのフレームの少なくとも一部に、ゴール付近画像検出部２８によりゴール付近画像として検出されたフレームが含まれるか否かを判定する。抽出部２２４は、継続時間が継続時間閾値ｔｈ_ｔ以上、かつゴール付近画像が含まれる場合に、開始点に対応する動画データのフレームを、注目シーンの開始フレームとして抽出する。

また、抽出部２２４は、第１実施形態の抽出部２４と同様に、継続時間の終了時点に対応した注目シーンの終了フレームを抽出してもよい。

抽出装置２２０は、第１実施形態と同様に、例えば図６に示すコンピュータ４０で実現することができる。記憶媒体としての記憶部４６には、コンピュータ４０を抽出装置２２０として機能させるための抽出プログラム２５０が記憶されている。ＣＰＵ４２は、抽出プログラム２５０を記憶部４６から読み出してメモリ４４に展開し、抽出プログラム２５０が有するプロセスを順次実行する。

抽出プログラム２５０は、音変化検出プロセス５２と、ゴール付近画像検出プロセス５８と、抽出プロセス２５４と、作成プロセス５６とを有する。ＣＰＵ４２は、ゴール付近画像検出プロセス５８を実行することで、図１３に示すゴール付近画像検出部２８として動作する。また、ＣＰＵ４２は、抽出プロセス２５４を実行することで、図１３に示す抽出部２２４として動作する。他のプロセスについては、第１実施形態と同様である。これにより、抽出プログラム２５０を実行したコンピュータ４０が、抽出装置２２０として機能することになる。

次に、第２実施形態に係る映像配信システム２１０の作用について説明する。第２実施形態では、抽出装置２２０で実行される抽出処理が第１実施形態と異なるだけであるため、図１７を参照して、第２実施形態における抽出処理について説明する。なお、第１実施形態における抽出処理と同様の処理については、同一符号を付して、詳細な説明を省略する。

図１７に示す抽出処理のステップＳ２０及びＳ２２で、音変化検出部２２が、編集済み映像に対応する音声データから開始点を検出する。次に、ステップＳ２３で、ゴール付近画像検出部２８が、動画データのフレーム毎に画像特徴を抽出し、予め用意されたゴール付近画像を示す基準画像特徴と比較することにより、ゴール付近画像を示すフレームを検出する。

次に、ステップＳ２５で、抽出部２２４が、音変化検出部２２により検出された開始点から、所定レベル以上の音の大きさが継続している継続時間が、ゴールシーンを抽出するために設定された継続時間閾値ｔｈ_ｔ以上か否かを判定する。さらに、抽出部２２４は、開始点から継続時間終了までに対応する動画データのフレームの少なくとも一部に、ゴール付近画像検出部２８によりゴール付近画像として検出されたフレームが含まれるか否かを判定する。抽出部２２４は、継続時間が継続時間閾値ｔｈ_ｔ以上、かつゴール付近画像が含まれる場合に、開始点に対応する動画データのフレームを、注目シーンの開始フレームとして抽出する。

以下、第１実施形態の抽出処理と同様に処理して、抽出処理は終了する。

以上説明したように、第２実施形態に係る抽出装置２２０によれば、ゴール付近画像の検出結果も、注目シーンの抽出に利用する。このため、注目シーンとしてゴールシーンを抽出する場合に、他の種類の注目シーンが誤って抽出されることを防止し、精度良くゴールシーンを抽出することができる。

上記各実施形態において抽出された注目シーンを示すメタ情報が付加されたメタ情報付き映像を用いれば、スポーツの試合映像（撮影映像、または編集済み映像）から、メタ情報に基づいて、所望の注目シーンを容易に探索することができる。また、例えば、映像配信の際に、注目シーンに連動して、ユーザにメールを送信するなどの付帯サービスを、メタ情報に基づいて自動的に行うことができる。

なお、上記各実施形態では、配信装置と抽出装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と抽出装置の各機能部とを、１つのコンピュータで実現するようにしてもよい。

また、上記各実施形態では、抽出装置で作成され注目シーンを示すメタ情報が付加された映像を、配信装置により配信する場合について説明したが、これに限定されない。例えば、メタ情報付き映像を大量にアーカイブとして保存しておき、メタ情報に基づいて、所望の注目シーンのみを抽出して出力するようにしてもよい。

また、抽出装置からの出力を、映像配信システム以外の用途で利用してもよい。

また、上記では、抽出プログラム５０及び２５０が記憶部４６に、配信プログラム７０が記憶部６６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記各実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
スポーツの試合について集音して得られた音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応する、前記スポーツの試合についての撮影画像の一部又は全部を、前記スポーツの試合における注目シーンを含む動画データ部分として特定する、
ことを含む処理を実行させる抽出プログラム。

（付記２）
前記コンピュータに、
音の大きさについての、予め定めた閾値と予め定めた所定値以上の音の大きさの継続時間とに基づいて、前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間を検出する
ことを含む処理を実行させる付記１記載の抽出プログラム。

（付記３）
前記コンピュータに、
注目シーンの種類に応じて設定された前記閾値、及び前記所定値以上の音の大きさが継続している継続時間に基づいて、前記動画データ部分に含まれる前記注目シーンを分類する
ことを含む処理を実行させる付記２記載の抽出プログラム。

（付記４）
前記コンピュータに、
前記スポーツがサッカーである場合に、ゴールシーンに対応付けて設定された前記閾値、及び前記継続時間に基づいて、前記注目シーンとしてゴールシーンを含む動画データ部分を特定する
ことを含む処理を実行させる付記３記載の抽出プログラム。

（付記５）
前記コンピュータに、
前記撮影画像に含まれる複数のフレームの各々から、前記複数のフレームそれぞれの画像の特徴に基づいて、ゴール付近が撮影されたフレームを検出し、
前記継続時間が、前記ゴールシーンに基づいて設定された前記閾値以上で、かつ検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームに、前記ゴール付近が撮影されたフレームが含まれる場合に、検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームを、ゴールシーンを含む動画データ部分として特定する
ことを含む処理を実行させる付記４記載の抽出プログラム。

（付記６）
前記コンピュータに、
前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴に基づき、ピッチ外の領域を所定以上含むフレームを検出する
ことを含む処理を実行させる付記５記載の抽出プログラム。

（付記７）
前記コンピュータに、
前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の検出に、、音の大きさの絶対量をさらに用いる
ことを含む処理を実行させる付記１〜付記６のいずれか１項記載の抽出プログラム。

（付記８）
前記コンピュータに、
検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の開始の所定秒前の時刻情報に対応付けられたフレームを、前記注目シーンを含む動画データ部分の開始フレームとする
ことを含む処理を実行させる付記１〜付記７のいずれか１項記載の抽出プログラム。

（付記９）
前記コンピュータに、
特定された前記動画データ部分が、注目シーンを含む動画データ部分であることを示すメタ情報を作成する
ことを含む処理を実行させる付記１〜付記８のいずれか１項記載の抽出プログラム。

（付記１０）
コンピュータに、
スポーツの試合について集音して得られた音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応する、前記スポーツの試合についての撮影画像の一部又は全部を、前記スポーツの試合における注目シーンを含む動画データ部分として特定する、
ことを含む処理を実行させる抽出方法。

（付記１１）
前記コンピュータに、
音の大きさについての、予め定めた閾値と予め定めた所定値以上の音の大きさの継続時間とに基づいて、前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間を検出する
ことを含む処理を実行させる付記１記載の抽出方法。

（付記１２）
前記コンピュータに、
注目シーンの種類に応じて設定された前記閾値、及び前記所定値以上の音の大きさが継続している継続時間に基づいて、前記動画データ部分に含まれる前記注目シーンを分類する
ことを含む処理を実行させる付記１１記載の抽出方法。

（付記１３）
前記コンピュータに、
前記スポーツがサッカーである場合に、ゴールシーンに対応付けて設定された前記閾値、及び前記継続時間に基づいて、前記注目シーンとしてゴールシーンを含む動画データ部分を特定する
ことを含む処理を実行させる付記１２記載の抽出方法。

（付記１４）
前記コンピュータに、
前記撮影画像に含まれる複数のフレームの各々から、前記複数のフレームそれぞれの画像の特徴に基づいて、ゴール付近が撮影されたフレームを検出し、
前記継続時間が、前記ゴールシーンに基づいて設定された前記閾値以上で、かつ検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームに、前記ゴール付近が撮影されたフレームが含まれる場合に、検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームを、ゴールシーンを含む動画データ部分として特定する
ことを含む処理を実行させる付記１３記載の抽出方法。

（付記１５）
前記コンピュータに、
前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴に基づき、ピッチ外の領域を所定以上含むフレームを検出する
ことを含む処理を実行させる付記１４記載の抽出方法。

（付記１６）
前記コンピュータに、
前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の検出に、、音の大きさの絶対量をさらに用いる
ことを含む処理を実行させる付記１０〜付記１５のいずれか１項記載の抽出方法。

（付記１７）
前記コンピュータに、
検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の開始の所定秒前の時刻情報に対応付けられたフレームを、前記注目シーンを含む動画データ部分の開始フレームとする
ことを含む処理を実行させる付記１０〜付記１６のいずれか１項記載の抽出方法。

（付記１８）
スポーツの試合について集音して得られた音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応する、前記スポーツの試合についての撮影画像の一部又は全部を、前記スポーツの試合における注目シーンを含む動画データ部分として特定する特定部
を含む抽出装置。

（付記１９）
前記特定部は、音の大きさについての、予め定めた閾値と予め定めた所定値以上の音の大きさの継続時間とに基づいて、前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間を検出する付記１８記載の抽出装置。

（付記２０）
前記特定部は、注目シーンの種類に応じて設定された前記閾値、及び前記所定値以上の音の大きさが継続している継続時間に基づいて、前記動画データ部分に含まれる前記注目シーンを分類する付記１９記載の抽出装置。

（付記２１）
前記特定部は、前記スポーツがサッカーである場合に、ゴールシーンに対応付けて設定された前記閾値、及び前記継続時間に基づいて、前記注目シーンとしてゴールシーンを含む動画データ部分を特定する付記２０記載の抽出装置。

（付記２２）
前記撮影画像に含まれる複数のフレームの各々から、前記複数のフレームそれぞれの画像の特徴に基づいて、ゴール付近が撮影されたフレームを検出する検出部を含み、
前記特定部は、前記継続時間が、前記ゴールシーンに基づいて設定された前記閾値以上で、かつ検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームに、前記ゴール付近が撮影されたフレームが含まれる場合に、検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間に対応するフレームを、ゴールシーンを含む動画データ部分として特定する
付記２１記載の抽出装置。

（付記２３）
前記検出部は、前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴に基づき、ピッチ外の領域を所定以上含むフレームを検出する付記２２記載の抽出装置。

（付記２４）
前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の検出に、、音の大きさの絶対量をさらに用いる付記１８〜付記２３のいずれか１項記載の抽出装置。

（付記２５）
前記特定部は、検出された前記音データが相対的に大きい音を示す期間、又は前記音データが所定の大きさより大きい音を示す期間の開始の所定秒前の時刻情報に対応付けられたフレームを、前記注目シーンを含む動画データ部分の開始フレームとする付記１８〜付記２４のいずれか１項記載の抽出装置。

１０、２１０ 映像配信システム
２０、２２０ 抽出装置
２２ 音変化検出部
２４、２２４ 抽出部
２６ 作成部
２８ ゴール付近画像検出部
３０ 配信装置
３２ 編集部
３４ 配信部
４０、６０ コンピュータ
４２、６２ ＣＰＵ
４４、６４ メモリ
４６、６６ 記憶部
５０、２５０ 抽出プログラム
７０ 配信プログラム

Claims (11)

1. コンピュータに、
   スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データに含まれる画像の特徴量に基づいて抽出したフレーム群を、前記スポーツの試合における注目シーンとして特定する、
   ことを含む処理を実行させる抽出プログラム。
2. コンピュータに、
   スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データのフレーム群を注目シーンとして特定し、特定した前記注目シーンを、注目シーンの種類に応じて設定された前記継続する期間の継続時間に基づいて前記注目シーンを分類する、
   ことを含む処理を実行させる抽出プログラム。
3. 前記コンピュータに、
   前記スポーツがサッカーである場合に、ゴールシーンに対応付けて設定された前記所定レベル、及び前記継続する期間の継続時間に基づいて、前記注目シーンとしてゴールシーンを特定する
   ことを含む処理を実行させる請求項２記載の抽出プログラム。
4. 前記コンピュータに、
   前記スポーツの試合についての動画データに含まれる複数のフレームの各々から、前記複数のフレームそれぞれの画像の特徴に基づいて、ゴール付近が撮影されたフレームを検出し、
   前記ゴールシーンに対応付けて設定された前記所定レベル以上で前記開始点から前記継続時間以上継続する期間に対応するフレームに、前記ゴール付近が撮影されたフレームが含まれる場合に、前記継続する期間に対応するフレームを、ゴールシーンとして特定する
   ことを含む処理を実行させる請求項３記載の抽出プログラム。
5. 前記コンピュータに、
   前記ゴール付近が撮影されたフレームとして、フレームから抽出される画像特徴に基づき、ピッチ外の領域を所定以上含むフレームを検出する
   ことを含む処理を実行させる請求項４記載の抽出プログラム。
6. 前記コンピュータに、
   前記継続する期間の検出に、音の大きさの絶対量をさらに用いる
   ことを含む処理を実行させる請求項１〜請求項５のいずれか１項記載の抽出プログラム。
7. 前記コンピュータに、
   前記継続する期間の開始の所定秒前の時刻情報に対応付けられたフレームを、前記注目シーンを含む動画データ部分の開始フレームとする
   ことを含む処理を実行させる請求項１〜請求項６のいずれか１項記載の抽出プログラム。
8. コンピュータが、
   スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データに含まれる画像の特徴量に基づいて抽出したフレーム群を、前記スポーツの試合における注目シーンとして特定する、
   ことを含む処理を実行する抽出方法。
9. スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データに含まれる画像の特徴量に基づいて抽出したフレーム群を、前記スポーツの試合における注目シーンとして特定する特定部
   を含む抽出装置。
10. コンピュータが、
    スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データのフレーム群を注目シーンとして特定し、特定した前記注目シーンを、注目シーンの種類に応じて設定された前記継続する期間の継続時間に基づいて前記注目シーンを分類する、
    ことを含む処理を実行する抽出方法。
11. コンピュータが、
    スポーツの試合について集音して得られた音データにおける音の大きさの変化量が予め定めた閾値を超えた時点を開始点として検出し、音の大きさが、前記開始点に対応する音の大きさを基準とした所定レベル以上で前記開始点から継続する期間に対応する前記スポーツの試合についての動画データのフレーム群を注目シーンとして特定し、特定した前記注目シーンを、注目シーンの種類に応じて設定された前記継続する期間の継続時間に基づいて前記注目シーンを分類する分類部
    を含む抽出装置。

Images