JP4424590B2

JP4424590B2 - スポーツ映像の分類装置

Info

Publication number: JP4424590B2
Application number: JP2004062867A
Authority: JP
Inventors: 勝菅野; 広昌柳原; 康之中島
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2004-03-05
Filing date: 2004-03-05
Publication date: 2010-03-03
Anticipated expiration: 2024-03-05
Also published as: JP2005252860A; US20050195331A1; US7916171B2

Description

本発明はスポーツ映像の分類装置に関し、特に非圧縮または圧縮されたスポーツ映像の画像特徴や音声特徴を自動的に解析することにより、明確に構造化されていないスポーツ映像を重要度に応じてシーン分類することが可能なスポーツ映像の分類装置に関する。また、様々な重要度を持つシーンへ低コストに分類し、スポーツ映像の効率的な検索や閲覧を提供することが可能なスポーツ映像のシーン分類装置に関する。

従来技術としては、特開2002-199332号公報において、スポーツ映像におけるオーディオレベルを評価することにより重要なイベントとしてのハイライトを抽出する装置を開示している。また、特開2001-251581号公報において、動作インデックス、状況インデックス、およびそれらに基づく重要度判定パラメータを用いて、明確な構造を持たないスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成する装置が開示されている。

また、特開2001-69437号公報において、記録された映像から特徴的画像（参照画像）と一致する検索画像を検索することによりハイライトシーンを検索する装置が開示されている。さらに、特開平11-55613号公報において、記録された映像から得点シーンや歓声を検出し、その前後の区間をハイライトとして再生、その他部分を早送りする装置が開示されている。
特開2002-199332号公報特開2001-251581号公報特開2001-69437号公報特開平11-55613号公報

従来技術のうち、特開2002-199332号公報および特開平11-55613号公報に開示されている装置は、歓声や得点シーンを伴うスポーツ映像中の特定のイベントを抽出する目的であるため、詳細なシーン分類には適用することができない。また、特開2001-251581号公報に開示されている装置は明確な構造を持たないスポーツ映像への適用は可能であるが、付加されるインデックスの種類が多く煩雑であること、かつ対象となるスポーツ映像が比較的限定されているため、少ないコストで汎用的に適用することが困難となる可能性がある。さらに、特開2001-69437号公報に開示されている装置では、汎用的な利用を想定した場合、特徴的画像を選定することが困難であり、かつ画像特徴しか利用していないため、検索できるハイライトが限定される可能性がある。

本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、放送媒体などで提供されるスポーツ映像において、その画像特徴や音声特徴を用いることにより、スポーツ映像を構成する様々なシーンを重要度別に分類するスポーツ映像の分類装置を提供することにある。

前記した目的を達成するために、本発明は、放送媒体などで提供されるスポーツ映像の分類装置において、前記スポーツ映像がサッカー映像であり、歓声の特性を示すエネルギーが予め定められた第１の閾値より大きい場合、ゴールまたはシュートのショットまたはシーンと判定する手段と、ホイッスル音の特性を示すエネルギーが予め定められた第３の閾値より大きい場合、フリーキックまたはオフサイドのショットまたはシーンと判定する手段と、ある隣接する２ショット間の動きアクティビティの差分が予め定められた第２の閾値より大きい場合、コーナーキックのショットまたはシーンと判定する手段と、動きアクティビティが予め定められた第４の閾値より大きく、画面内で最頻色をもつ領域の割合が予め定められた第５の閾値よりも小さい場合、クローズアップショットまたはシーンと判定する手段と、前記最頻色を持つ領域の割合が予め定められた第５の閾値よりも大きい場合、プレーのショットまたはシーンと判定する手段とを具備した点に特徴がある。

本発明によれば、放送媒体などで提供されるスポーツ映像において、そのシーンを重要度に応じた様々なシーンに分類することができるようになる。また、これによって、短時間で重要度の高いシーンからなるハイライトを視聴したり、イベントごとに検索したりすることが可能となる。

以下に、図面を参照して本発明を詳細に説明する。まず、本発明の一実施形態を、図１を参照して説明する。図１は、本発明の一実施形態のスポーツ映像の分類装置の構成図である。

まず、非圧縮または圧縮された動画像データはショット分割部１にてショット単位に分割される。次いで、動き情報解析部２にて、ショットの動画像データから動き情報が解析され、これと並行して、オーディオ情報解析部３にて、付随するオーディオデータからオーディオ情報が抽出・解析される。該オーディオ情報解析部３は、歓声音判定部３ａとホイッスル音判定部３ｂとを含んでいる。これらの処理については、特開2002-199332号公報で開示されている装置あるいは方法を用いることができる。また、色情報解析部４は、ショットの色情報を抽出する。

前記動き情報解析部２で得られた動き情報、前記オーディオ情報解析部３で得られた歓声音、ホイッスル音などのオーディオ情報、および前記色情報解析部４で得られた色情報は、スポーツ映像分類処理部５に送られる。該スポーツ映像分類処理部５は、例えば該スポーツがサッカーの場合には、図２で詳細に説明するように、これらの情報を用いて、重要度の高い順に、ゴール・シュートシーン、フリーキック・オフサイドシーン、コーナーキックシーン、プレーシーン、およびクローズアップシーン等の映像分類処理を行う。次に、ショット・シーン種別記述部６は、ショット時間情報を加えて、ショット・シーン種別の記述を行う。

次に、前記スポーツ映像分類処理部５の処理を、図２を参照して詳細に説明する。ここではスポーツ映像の例としてサッカーを例にとって説明するが、本発明はこれに限定されるものではない。なお、図２中の図１と同一または同等物には同じ符号が付されている。

ここでは、該スポーツ映像分類処理部５は、プレーシーン判定部１１、クローズアップショット判定部１２、コーナーキックシーン判定部１３、ゴール・シュートシーン判定部１４、およびフリーキック・オフサイドショット判定部１５から構成されている。

以下に、該スポーツ映像分類処理部５の処理の一実施例を説明する。この実施例は、プレーシーン、クローズアップショット、コーナーキックシーン、ゴール・シュートシーン、およびフリーキック・オフサイドショットの判定を、個々の判定部１１〜１５で行うものである。

前記色情報解析部４は、後述する最頻色決定処理のために、ショット内の代表フレームを抽出し、その縮退（または、縮小）画像から色情報を抽出する。色情報が抽出される対象としては、特開2001-258038号公報などに開示されている装置あるいは方法によって抽出されたキーフレームや、単純にショットの先頭画像などを用いることができる。

また、色情報が計算される縮退画像としては、スポーツ映像が圧縮動画像データの場合、ショット分割手段として特開平10-224741号公報で開示されている手段などを用いる場合はDCT係数のDC成分から構成される画像を用いることができ、対象となるフレームを復号器により復号することもできる。

図３に色情報解析部４の処理フローを示す。ステップＳ１ではショット代表フレームを選定し、ステップＳ２では該代表フレームから縮退画像を生成する。次いで、ステップＳ３でヒストグラムを作成し、ステップＳ４で全部のヒストグラムを累計する。

ここで、該縮退画像から抽出される色情報として、ＭＰＥＧ−７で定義されている色配置記述子（Color Layout)や、ＲＧＢ成分や輝度・色差成分などの色ヒストグラムを用いることができる。色ヒストグラムを用いる場合、縮退画像の大きさとしては３２×３２画素、１６×１６画素など任意のサイズを選定することができるが、ヒストグラムの計算に要する処理負荷と色判定の精度とのトレードオフを考慮し、輝度・色差成分のヒストグラムを８×８画素の領域から計算するのが好適である。

上記のようにして、全ヒストグラムを累計した後、ステップＳ５に進み、最頻ヒストグラム区間を決定する。例えば前記８×８の縮退画像における輝度・色差成分のヒストグラムを全てのショットにおける代表フレームについて算出し、これを累積して最大となるヒストグラム区間（ビン）に属する輝度・色差成分の値を映像内の最頻色であると判定することができる。この時、ヒストグラム区間の幅は、任意に設定することができる。

次に、図４を参照して、図２のプレーシーン判定部１１の処理を説明する。図４は、該プレーシーン判定部１１の動作を示すフローチャートである。スポーツ映像では一般に、重要なイベントが存在しない間、プレー（攻撃動作など）の流れを大きくズームアウトしたカメラにより撮影することが多いため、サッカー映像の場合にはサッカー場の芝の色が支配的である画面が頻繁に出現する。したがって、ショットの代表フレームから抽出した色情報を評価する場合、最も頻繁に出現する色（最頻色、この場合は芝の色）が支配的であるショットは、比較的重要度が低いショットであると判定することができる。また、該最頻色が画面内に占める割合に応じてスポーツ映像における重要度を判定することができる。

プレーシーン判定部１１は、図２の色情報解析部４において最頻色が判定されたあと、最頻色が支配的であるショットを検出する処理を行う。まず、ステップＳ１１で再度全てのショットにおける代表フレームの画素値を評価する。次いで、ステップＳ１２にて、最頻色に相当する値を持つ画素数ＮＰＣｓがある閾値ＴＨＣ（例えば、２４）を超えた場合（ＮＰＣｓ＞ＴＨＣ）に、ステップＳ１３に進んで、該当する代表フレームに対応するショットがプレー中のショットであると判定し、このショットが連続する間をプレー中のシーンに属する、すなわち「プレーショット」と判定する。図３および図４の処理により、最頻色は入力スポーツ映像ごとに適応的に変化させることができるため、予め特定の色を最頻色と定めておく必要がない。したがって、該処理は特定のスポーツに限定されず、汎用性がある。

例えば、芝が生えているテニスコート、人工芝の野球場、ゴルフ場でのスポーツ放送であれば該最頻色は緑色になり、バスケットボールの試合の放送であれば床の色が最頻色となる。また、水泳競技やボートの試合の放送であれば、該最頻色は水色になる。

前記ステップＳ１２の判断が否定になった時には、一塊りの前記プレー中のショットが終わったと判断し、ステップＳ１４に進む。ステップＳ１４では、連続するプレーショットを統合する。
次に、図２のクローズアップショット判定部１２の処理を図５のフローチャートに示す。スポーツ映像では、プレーの中断などにおいて選手や審判がクローズアップされることが多いため、このようなプレー中断時のクローズアップショットについても比較的重要度が低いと判定することができる。

クローズアップショットを判定するためには、ショット内の画面における動き分布を評価する。画面内の動き分布を評価する指標としてはＭＰＥＧ−７で定義されている動きアクティビティ記述子（Motion Activity)の動き強度属性（Intensity)などを用いることができるが、ここでは、特開2002-199332号公報で開示されている動きアクティビティＭＡｓをショット内について適用することができる。すなわち、ショット内の動き予測フレームから得られる動きベクトルの大きさを平均化し、該平均化された動きベクトルの大きさをショット内で平均化してショット内で平均化された動きアクティビティを得、動き情報として、該ショット内で平均化された動きアクティビティを用いることができる。

ステップＳ２１では、前記動きアクティビティＭＡｓの値を評価し、これがある閾値ＴＨＭ（例えば、入力サッカー映像における平均値など）を超える場合に、ステップＳ２２のクローズアップショットであると判定する。または、芝生やコート上での選手のズームショットが誤検出される可能性があるため、前記の最頻色が支配的な画像を判定する処理を併用し、動きアクティビティＭＡｓが前記閾値ＴＨＭより大きく、かつ画面内に最頻色が支配的でない、すなわちＮＰＣｓ＜ＴＨＣであることを条件として、ステップＳ２２のクローズアップショットを判定すれば、該クローズアップショットをより精度よく検出することが可能となる。

スポーツ映像の更に詳細な分類として、前記の攻撃動作において、攻撃する方向へカメラがパンすることが考えられるため、最頻色が支配的であるショットを検出して攻撃動作が識別されたあと、更に動き情報を用いて攻撃の方向を判定することができる。このときに用いる評価指標としては動き方向の統一性などが挙げられ、ＭＰＥＧ−７で定義されている動きアクティビティ記述子の支配的方向属性（Dominant Direction)などを用いることができるが、ここでは以下の式のように、画面内に存在する動きベクトルを任意数方向に分類し、その最も頻度が高い方向が全ての動きベクトルに占める割合として定義することができる。これは、図２のコーナーキックシーン判定部１３の動作に相当する。

動き方向の統一性＝最頻方向に一致する動きベクトル数／動きベクトルの総数

次に、図２のゴール／シュートシーン判定部１４の処理を説明する。ゴールシーンやシュートシーンは意味的により重要なショットであり、これらのシーンは、前記オーディオ情報解析部３の歓声音判定部３ａにて歓声を検出することにより判定することができる。該歓声の検出は、例えば特開2002-199332号公報に開示された装置を用いて行うことができる。

また、図２のフリーキック・オフサイドショット判定部１５は、前記オーディオ情報解析部３のホイッスル音判定部３ａにてホイッスル音を検出することにより、フリーキック、ファウル、あるいはオフサイドなどを判定または分類することができる。該ホイッスル音は、例えば前記特開2002-199332号公報に開示されたオーディオのサブバンドエネルギー計算において、対象とするサブバンドを限定することにより（例えば、MPEGオーディオデータの３２サブバンドのうち、６〜７番目のサブバンドなど）検出することができる。

次に、前記スポーツ映像分類処理部５の処理の他の実施例を、図６のフローチャートを参照して説明する。この実施例は、前記プレーシーン、クローズアップショット、コーナーキックシーン、ゴール・シュートシーン、およびフリーキック・オフサイドショットの判定を、系統的に行うものである。

ＭＰＥＧなどで圧縮されたサッカー映像が入力されてくると、ステップＳ３１では、圧縮データに含まれる動きベクトルから得られる動きアクティビティの評価が行われる。すなわち、ショット内の動きアクティビティＭＡｓがある閾値ＴＨ１（例えば入力サッカー映像における平均値など）を超えている（ＭＡｓ＞ＴＨ１）か否かの判断がなされ、この判断が肯定の場合、ステップＳ３３に進んで、該ショットをクローズアップショットの候補、すなわち「クローズアップフラグ＝１」とする。

次に、その候補とならなかったショットに対し、ステップＳ３２で、８×８画素に縮退されたショットの代表フレームから計算される輝度・色差ヒストグラムを用いた最頻色の解析が行われ、最頻色を持つ画素数ＮＰＣｓがある閾値ＴＨ２（例えば、２４など）より小さい場合（ＮＰＣｓ＜ＴＨ２）に、ステップＳ３３に進んで、該当するショットをクローズアップショットの候補とする。

ステップＳ３４以下では、クローズアップショット候補または非クローズアップショット候補に対して次の処理が行われる。ステップＳ３４では、ショット内のオーディオのサブバンドエネルギーが評価され、歓声の特性を示すサブバンドエネルギー和ＳＥＡｓがある閾値ＴＨ３（例えば入力サッカー映像における平均値＋０．０１など）より大きい（ＳＥＡｓ＞ＴＨ３）場合に、ステップＳ３５に進んでシュートまたはゴールショットと判定する。このとき、前後の任意数のショットを連結して、シュートまたはゴールシーンとみなす。

次に、ステップＳ３６では、シュート・ゴールシーンを除いたショット群から、ホイッスルの特性を示すサブバンドエネルギー和ＳＥＷｓがある閾値ＴＨ４（例えば入力サッカー映像における平均値×２など）より大きいショット（ＳＥＷｓ＞ＴＨ４）を抽出し、ステップＳ３７にて、フリーキック・オフサイドショットと判定する。

更に、ステップＳ３８において、前記動きアクティビティについて、ある隣接する２ショット間の動きアクティビティの差分ＤＭＡｓがある閾値ＴＨ５（例えば、３５など）よりも大きい（ＤＭＡｓ＞ＴＨ５）場合に、ステップＳ３９においてクローズアップショットからズームアウトショットというショット遷移があると判定し、このショット群をコーナーキックシーンと見なす。サッカー映像においては、コーナーキックシーンにおいて、キックする選手のクローズアップからゴールエリア周辺を写すズームアウトショットへのショット遷移が多用されるため、ステップＳ３８、Ｓ３９の処理により、比較的重要度の高いコーナーキックシーンが検出できる。

以上の処理が終了した段階で、シュート・ゴールシーン、フリーキック・オフサイドショット、コーナーキックシーンに分類されなかったショットのうち、クローズアップショットの候補であったものをクローズアップショットと判定し、非クローズアップショットの候補であったものをプレー（攻撃）シーンと判定する。すなわち、ステップＳ４０にて、クローズアップフラグ＝１のショットをステップＳ４１でクローズアップショットと判定し、クローズアップフラグが１でないショットをステップＳ４２でプレーシーンと判定する。

上記の実施形態によれば、スポーツ映像、例えばサッカー映像を構成する様々なシーンを重要度別に分類することが可能になる。

次に、図７を参照して、本発明の第２の実施形態を説明する。図７はテニスや野球映像などのスポーツ映像を分類するのに好適な装置の構成図である。

この実施形態では、色配置抽出部２１から得られた色配置情報に基づいて、例えば前記ＭＰＥＧ−７で定義されている色配置記述子（Color Layout)に基づいて判定されるプレーシーン判定部２３と、動きアクティビティ抽出部２２から得られた動きアクティビティに基づいて判定されるクローズアップショット判定手段２５を有する。そして、該プレーシーン判定部２３とクローズアップショット判定部２５を用いて、プレー中のシーン及びそれ以外のシーンであるクローズアップショットに分類する。色配置記述子は、前記と同様にしてショットの代表フレームから抽出することができる。

さらに、スポーツ映像ではしばしば重要なプレーがスローシーンとしてリプレイされるため、スローシーン判定部２４でスローシーンを判定する。該スローシーン判定部２４は、本出願人による特許出願である特願2002-285667において開示されている装置などを用いて実現できる。以上の判定処理により、スポーツ映像をより詳細に分類することが可能となる。

ショット・シーン種別記述部２６は、前記のようにして分類されたそれぞれのショットやシーンについて、それぞれの判定部分からの信号によりラベル付けを行う。例えばＭＰＥＧ−７などの記述形式を用いてショット、シーンの種別をそれらの時間情報と共にラベル付けし、スポーツ映像記述ファイルとして外部に出力することができる。

本発明の一実施形態の構成を示すブロック図である。スポーツ映像分類処理部の一実施例を示す図である。色情報解析処理部の処理を示すフローチャートである。プレーシーン判定部の処理を示すフローチャートである。クローズアップショット判定部の処理を示すフローチャートである。スポーツ映像分類処理部の他の実施例を示すフローチャートである。本発明の第２実施形態の構成を示すブロック図である。

符号の説明

１・・・ショット分割部、２・・・動き情報解析部、３・・・オーディオ情報解析部、４・・・色情報解析部、５・・・スポーツ映像分類処理部、６、２６・・・ショット・シーン種別記述部、１１、２３・・・プレーシーン判定部、１２、２５・・・クローズアップショット判定部、１３・・・コーナーキックシーン判定部、１４・・・ゴール・シュートシーン判定部、１５・・・フリーキック／オフサイドシーン判定部、２１・・・色配置抽出部、２２・・・動きアクティビティ抽出部、２４・・・スローシーン判定部。

Claims

放送媒体などで提供されるスポーツ映像の分類装置において、
前記スポーツ映像がサッカー映像であり、
歓声の特性を示すエネルギーが予め定められた第１の閾値より大きい場合、ゴールまたはシュートのショットまたはシーンと判定する手段と、
ホイッスル音の特性を示すエネルギーが予め定められた第３の閾値より大きい場合、フリーキックまたはオフサイドのショットまたはシーンと判定する手段と、
ある隣接する２ショット間の動きアクティビティの差分が予め定められた第２の閾値より大きい場合、コーナーキックのショットまたはシーンと判定する手段と、
動きアクティビティが予め定められた第４の閾値より大きく、画面内で最頻色をもつ領域の割合が予め定められた第５の閾値よりも小さい場合、クローズアップショットまたはシーンと判定する手段と、
前記最頻色を持つ領域の割合が予め定められた第５の閾値よりも大きい場合、プレーのショットまたはシーンと判定する手段とを具備したことを特徴とするスポーツ映像の分類装置。