JP3566896B2 - スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3566896B2 JP3566896B2 JP2000059663A JP2000059663A JP3566896B2 JP 3566896 B2 JP3566896 B2 JP 3566896B2 JP 2000059663 A JP2000059663 A JP 2000059663A JP 2000059663 A JP2000059663 A JP 2000059663A JP 3566896 B2 JP3566896 B2 JP 3566896B2
- Authority
- JP
- Japan
- Prior art keywords
- index
- video
- digest
- motion
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像シーンの内容を説明する断片的な情報が映像インデックスとして付加されたスポーツ映像から、映像インデックスを利用して意味的に重要な映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト映像作成装置、スポーツ映像ダイジェスト作成方法、およびスポーツ映像ダイジェスト作成処理をプログラムに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、試合の構造が明確でなく、動きが速く、強調プレーが多いサッカー映像のように、映像インデックスを付加しにくいスポーツ映像から試合の内容を的確に表現したダイジェスト映像を作成するスポーツダイジェスト映像作成装置、スポーツ映像ダイジェスト作成方法、およびスポーツ映像ダイジェスト作成処理をプログラムに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送や地上波デジタル放送の準備が着々と進んでいる。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスとして付加された映像を対象として、その映像インデックスを用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案し、このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えで映像内容の説明文生成処理を考えてきた。また、映像インデックスを用いてダイジェスト映像を作成する際に、映像を利用する視聴者（利用者）の嗜好を反映したダイジェスト映像を作成するダイジェスト作成装置の提案も行っている。さらに、映像の検索結果に対して視聴者の嗜好に依存した感情表現を付加すること及び、映像シーン毎の断片的な説明文を接続表現を付加することにより、自然な表現とする機能についても提案している。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲４▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術によれば、映像シーンの内容を説明する断片的な情報が映像インデックスとして付加された映像から、映像インデックスを利用して意味的に重要な映像シーンのダイジェスト映像を作成することができるものの、この場合に対象としている映像は、野球映像のように、比較的、映像全体が構造的に明確な映像を対象としたものであり、映像全体が構造的に曖昧な映像に関しては必ずしも的確にダイジェスト映像を作成することはできないという問題点があった。
【０００６】
ここでは、構造的に明確な映像とは、野球映像のように、イニングや、打席などの映像を構造化するための条件が予め規則化されて、試合の進行（映像の流れ）そのものを構造化することが容易で、構造を表すインデックス（構造インデックス）を機械的に付加できる映像を示し、構造的に曖昧な映像とは、サッカー映像のように、映像を構造化するための条件が少なく、攻守の切り替えが明確でないため、構造化の判定が難しく、構造を表すインデックス（構造インデックス）を機械的に付加することが困難な映像を示す。
【０００７】
なお、構造的に曖昧な映像の場合でも、時間と人手をかけて的確に断片的な映像インデックスを付加したり、さらに映像インデックスの有する情報量を増やして、インデックス体系を充実させることにより、当該インデックス体系を用いて的確にダイジェスト映像を作成することができるようになるが、この場合には映像インデックスを付加するために時間や、コスト、人手がかかるという不具合があった。また、スポーツ映像のようにリアルタイムに映像を配信するような場合には適用できなかった。換言すれば、リアルタイムに配信された構造的に曖昧なスポーツ映像からダイジェスト映像を作成する技術は提供されていなかった。
【０００８】
本発明は上記に鑑みてなされたものであって、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できるスポーツ映像ダイジェスト作成方法を提供することを目的とする。
【０００９】
また、本発明は上記に鑑みてなされたものであって、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成装置であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出手段と、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出手段と、前記動作インデックス抽出手段によって抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出手段と、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断手段とを備えたことを特徴とする。
【００１１】
また、請求項２に係る発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す動作インデックスを抽出し、前記パラメータ算出手段は、前記動作インデックス抽出手段によって抽出された、２つの前記動作インデックス間の区間であるプレイ区間における前記重要度判定パラメータを算出し、前記ダイジェスト映像判断手段は、前記重要度判定パラメータに基づいて前記プレイ区間の映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする。
【００１２】
また、請求項３に係る発明は、請求項１または２に記載のスポーツ映像ダイジェスト作成装置であって、前記パラメータ算出手段は、前記プレイ区間における一方のチームの攻撃動作および他方のチームの攻撃動作の程度を示すチーム係数にさらに基づいて前記重要度判定パラメータを算出することを特徴とする。また、請求項４に係る発明は、請求項３に記載のスポーツ映像ダイジェスト作成装置であって、前記パラメータ算出手段は、プレイ区間（Ｄ）における前記チーム係数（Ｔ）および前記プレイ区間の２つの前記動作インデックスに対して定まる前記重み係数（ＡＰ）から
Ｐ S ＝∫ D Ｔ・（ＡＰ）ｄｔ
で示される状況レベルパラメータ（Ｐｓ）を算出し、当該状況レベルパラメータに基づいて前記重要度判定パラメータを算出することを特徴とする。さらにまた、請求項５に係る発明は、請求項３または４に記載のスポーツ映像ダイジェスト作成装置であって、前記ダイジェスト映像作成手段は、前記ダイジェスト映像に含めると判断した２以上の前記プレイ区間のうち時間的に連続する２以上の前記プレイ区間における、試合の状況を示す状況インデックスがほぼ等しい場合に、これらを１つの前記ダイジェスト映像に含めることを特徴とする。
【００１３】
また、請求項６に記載の発明は、請求項４に記載のスポーツ映像ダイジェスト作成装置であって、前記状況レベルパラメータの値に基づいて、前記プレイ区間の前記映像シーンに対して、一方および他方のチームのいずれか一方のチームの攻撃を示す第１の状況インデックス、一方および他方のチームのいずれか一方のチームの時間稼ぎを示す第２の状況インデックス、一方および他方のチームのいずれか一方のチームの激しい攻撃を示す第３の状況インデックス、および両チームの攻撃が低レベルで緊張感希薄であることを示す第４の状況インデックスのいずれか一のインデックスを付与するインデックス付与手段をさらに備え、前記ダイジェスト映像判断手段は、前記状況インデックス付与手段によって付与された前記状況インデックス第１の状況インデックス、第２の状況インデックス、第３の状況インデックス、および第４の状況インデックスのいずれか一のインデックスに基づいて、前記映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする。
【００１４】
また、請求項７に記載の発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
【数１】
で示される攻撃状況レベルパラメータ（Ｐｓ）を算出し、当該攻撃状況レベルパラメータに基づいて、前記重要度判定パラメータを算出することを特徴とする。
【００１５】
また、請求項８に記載の発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
【数２】
で示される攻撃移動レベルパラメータ（Ｐｂ）を算出し、当該攻撃移動レベルパラメータに基づいて、前記重要度判定パラメータを算出することを特徴とする。
【００１６】
また、請求項９に記載の発明は、請求項７または８に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す第１の動作インデックス、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す第２の動作インデックス、および対象となるスポーツの得点に直接関係する動作を示す第３の動作インデックスを抽出し、前記パラメータ算出手段は、前記第１の動作インデックス同士の間の区間または前記第１の動作インデックスと前記第３のインデックスの間の区間であるプレイ区間内であって、かつ前記第１の動作インデックスと前記第２のインデックスの間の区間、前記第２のインデックス同士の間の区間、または前記第２のインデックスと前記第３のインデックスの間の区間のいずれかの区間である攻撃区間における両端の前記動作インデックスをそれぞれ前記開始インデックスおよび前記終了インデックスとすることを特徴とする。
【００１７】
また、請求項１０に記載の発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成方法であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとを有したことを特徴とする。
【００１８】
また、請求項１１に記載の発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明のスポーツ映像ダイジェスト作成方法をダイジェスト作成装置に適用した場合を例として、（実施の形態１）、（実施の形態２）の順に、添付の図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
実施の形態１のスポーツ映像ダイジェスト作成方法を適用したダイジェスト作成装置について、
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について
（２）ダイジェスト作成装置の構成
（３）実施の形態１で使用する基本的な映像インデックス
（４）プレイ区間
（５）ＵＮＤＯインデックス
（６）状況インデックス
（７）重要場面の判定
（８）実施例
の順で説明する。
【００２１】
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について、
実施の形態１は、構造的に曖昧なスポーツ映像としてサッカー映像を例として説明する。サッカー映像は、構造的に明確である野球映像と比較してダイジェスト作成が困難である。その理由は、サッカー映像の以下のような特徴による。
▲１▼ 構造が明確でない。したがって、構造を示すインデックスの付加が困難である。
▲２▼ インデックスの種類および試合内容を示す数値情報が少なく、映像シーンの重要度を算出しにくい（以下、映像シーンの重要度を示す指標を重要度判定パラメータと呼ぶ）。
▲３▼ 動きが激しく、協調的な動きが多い。よってカメラで試合の展開を追いにくく大写しの映像が多くなり、プレイの全容把握や内容判別が困難となる。
【００２２】
このようなサッカー映像（構造的に曖昧なスポーツ映像）の特徴と問題点について説明する。
先ず、▲１▼の構造が明確でないという特徴は、野球映像がイニング、打席など構造を表すインデックスを機械的に付加でき、自動的に構造化できるのに対し、サッカー映像は攻守の切り替えが明確でないため、構造化しにくいということを意味する。結果としてサッカー映像の場合には構造を示すインデックス付加が主観的になる傾向が強い。また構造化の判定が難しいため、映像を戻して再度確認しながらインデックスを付加するというような手戻りも多くなる。
【００２３】
▲２▼の重要度判定パラメータの算出に関しては、野球映像と比較して考察すると、野球はスコアブックから試合の内容がイメージできる。本出願人によって既に提案されている技術を用いて、野球映像の場合、得点情報や、ＳＢＯ（ストライク・ボール・アウト）情報、進塁情報などの一定の範囲の数値で表せる数値情報が多くあり、それらを機械的に付加した映像インデックス情報と組み合わせることにより、重要度判定パラメータを算出することが可能である。例えば、重要度判定パラメータの一つとして、攻撃的な重要度を表す攻撃レベルを定義した場合、この攻撃レベルは、ヒット、ホームラン、出塁、加点などの攻撃的なインデックスと、得点情報などを基に簡単に、攻撃レベル（重要度判定パラメータ）の算出ルールを定義することができる。
【００２４】
一方、サッカー映像の場合には、客観的指標となる数値情報が少なく、インデックスの修理も少ないため、重要度判定パラメータを算出しにくい。例えば、攻撃的なインデックスとして機械的に付加できるものは、シュート、ゴールであり、客観的数値情報として利用できるものは得点情報と時間情報程度である。これだけでは、攻撃レベル（重要度判定パラメータ）の算出ルールが単純になり、シュートをしている場面だけが切り出されたダイジェスト映像が作成され、試合の内容を的確に表現することができない。
【００２５】
▲３▼はサッカー自体の性格によるものであるが、サッカー映像では、協調パスプレイがあるため、野球映像に比べて、より選手の役割を把握することが難しくなる。特に、サッカー映像では大写しの映像が多くなるため、または他の選手のプレイが写されているため、常に選手の識別を行うことが困難となり、協調プレイの他の部分を見ることができないことによる困難性もある。さらに、たとえ全ての選手の動きを近くで見ることができたとしても、そのプレイの重要度を判別してインデックスを付加するためには、識別能力が必要とされ、プレイの内容の評価が判定者に依存する度合いが大きくなるため、一律の判定を行うことが難しくなる（内容判別の困難性）。
【００２６】
このような理由により、サッカー映像（構造的に曖昧なスポーツ映像）では、インデックス体系の作成およびインデックス付加が難しくなる。
例えば、サッカーの攻撃シーンのような意味的にひとまとまりの流れをダイジェスト映像として切り出す場合を考えてみる。サッカーは流れの途中でパスのカットが頻繁に起こるなど、攻撃の流れが非常に動的である。インデックス製作者は先行きが読めないため、途中でインデックス付加の取消しや期間延長、付け直しといった作業が数多く発生する。リアルタイムに配信する場合、これはさらに困難な作業となる。サッカー映像に対してインデックス配信をリアルタイムに行う場合もあるが、インデックス制作者は後でＵＮＤＯ（無効）してもよいから即時的にインデックスを付加し、配信する必要がある。
【００２７】
野球映像の場合には、映像上のある一点を示す断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出することが可能である。これに対して、構造が明確でなく、展開の速いサッカー映像には、インデックス情報の不足と構造情報の不足から重要度判定パラメータを算出することができない。
【００２８】
そこで、実施の形態１では、サッカー映像（構造的に曖昧なスポーツ映像）の中の映像シーンの重要度を判定する際に、断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出するのではなく、断片的なインデックス情報から映像上の状況を表す補助的なパラメータ（状況レベルパラメータ）を求め、この状況レベルパラメータと断片的なインデックス情報とを組み合わせて、重要度判定パラメータを算出し、ダイジェスト映像を作成するスポーツ映像ダイジェスト作成方法を提案するものである。
【００２９】
（２）ダイジェスト作成装置の構成
図１は、実施の形態１のダイジェスト作成装置の概略構成を示し、同図（ａ）がダイジェスト作成装置１００の概観図を示し、同図（ｂ）がハード構成を示している。ダイジェスト作成装置１００のハード構成としては、後述するソフトウエアに基づく処理を実行するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行なうためのキーボード１０５およびマウス１０６と、スポーツ映像を表示するための表示画面を有したＣＲＴや液晶ディスプレイ等の表示装置１０４と、実施の形態１のスポーツ映像ダイジェスト作成方法を実現するためのダイジェスト作成ソフト１０７等の各種アプリケーションプログラムやデータを記憶したハードディスク１０８と、外部機器と接続するための各種ドライバー，ネットワークアダプタ等のインタフェース部１０９と、上記各部を接続するバス１１０と、を少なくとも備えている。
【００３０】
（３）実施の形態１で使用する基本的な映像インデックス
実施の形態１では、スポーツ映像に付加する基本的な映像インデックスとして、構造インデックスと、動作インデックスとを有している。なお、後述する状況インデックスなどの抽象インデックス（断片的でない情報を有するインデックス）は、構造インデックスや動作インデックスを基に定義されている。
【００３１】
▲１▼構造インデックス
構造インデックスは、試合開始、試合終了、前半／後半終了などの試合の構造を示すインデックスである。ただし、構造的なスポーツ映像（野球映像）と比べると種類が少ないため、構造インデックスのみでは詳細な構造化はできない。
【００３２】
▲２▼動作インデックス
サッカー映像においてボールを保持している選手の動作（換言すれば、攻撃動作）を示すインデックスであり、以下の３つのインデックスに分類される。
１）区切りインデックス： スローイン、フリーキック、コーナーキック、ゴールキック、ファウルなど、セットプレイと呼ばれるプレイで映像シーンの区切りを作成するための動作インデックスである。換言すれば、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示すインデックスであり、本発明の第１の動作インデックスに相当する。
【００３３】
２）ボール所持インデックス： パス出し、パス受け、カットなどの動作により、誰がボールをもっているかを示すインデックスである。ボールを持っている選手が切り替わった時、またはパス受けからパス出しなどの動作が切り替わった時に発生する。一般にパス受けからパス出しまでの時間は非常に短いため、通常はパス出し動作のみで、パス受け、パス出し動作を示すものとする。なお、実施の形態１では、ドリブル動作は、パス受けからパス出しまでの時間に起こっているものとする。すなわち、このボール所持インデックスは、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す情報であり、本発明の第２の動作インデックスに相当する。
【００３４】
３）シュートおよびゴールインデックス： ボールをゴールに向けて蹴ったときに発生するインデックスがシュートインデックスであり、シュートが成功すればゴールインデックスとなる。換言すれば、対象となるスポーツの得点に直接関係するような動作を示す情報であり、本発明の第３の動作インデックスに相当する。
【００３５】
４）ＵＮＤＯインデックス： 直前に付加されている他の動作インデックスをＵＮＤＯ（無効）にするためのインデックスである。
【００３６】
なお、各動作インデックスには、必要に応じてチーム名、選手名およびその時点のボールの位置（後述するエリア情報で示す）などが属性情報として設定される。
【００３７】
ここでエリア情報について説明する。各動作インデックスには、該当する動作が行われた場所を示す情報（サッカー映像ではボールの位置に一致する）として、対象となるスポーツが行われるエリアを複数のエリアに分割して定義したエリア情報が設定される。
【００３８】
実施の形態１のエリア情報（ボールの位置）は、図２に示すように、対戦チーム（ホームチーム（Ｈ）、アウェイチーム（Ａ））に対して、グラウンドを大まかに１０のエリアに分割し、その記号（エリア名）をエリア情報として設定した。図２に示すＨＧ、Ｈ１〜Ｈ４、Ｃ、Ａ１〜Ａ４、ＡＧのエリア名は、前半と後半で守備位置が変わるごとに左右反転する。なお、各エリアに設定されている数値が該当するエリアの重み係数（ＡＰ）を表している。
【００３９】
図３は、構造インデックスおよび動作インデックスの属性リスト（属性情報リスト）の例を示す。属性リストには、チーム名や、選手名、エリア（エリア名）などが設定されている。また図３では省略するが、全てのインデックスにはタイムコードが属性として設定されている。
【００４０】
（４）プレイ区間
動作インデックスのうちの区切りインデックス（第１の動作インデックス）によって区切られた区間をプレイ区間と定義する。サッカー映像においては、構造インデックスによる区間分割だけでは区間が大きく不十分であるため、区間単位で映像シーンの重要度の判定を行う場合には、プレイ区間を用いて重要度の計算を行う。なお、区切りインデックスの他にも、区切りインデックスとシュートおよびゴールインデックス（第３の動作インデックス）を用いてプレイ区間を定義しても良い。
【００４１】
（５）ＵＮＤＯインデックス
次に、ＵＮＤＯインデックスの役割について説明する。インデックス製作者側は先の展開の見えない試合の流れに対してリアルタイムに動作インデックスを付けるが、途中で視界の流れが変わって動作インデックスを修正しなければならない場合が予想される。
例えば、『フォワードの選手がシュートを放った』と誰もが思うような状況で、実はシュートではなくパスを送り出していた、ということはよくあることである。そのような場合に、ＵＮＤＯインデックスを付加、配信すると、受信端末装置側では、ＵＮＤＯインデックスを含めた全て映像インデックスを解釈して、最終的に有効な映像インデックスのみをインデックス情報として得ることができる。インデックス製作者側では、配信までに時間的な余裕があれば、ＵＮＤＯインデックスで指定された動作インデックスを削除または修正して、修正後の映像インデックスを配信することができる。
【００４２】
図４は、サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。サッカー映像は、構造インデックス４０１により、前半、後半の２つのシーンに構造化されている。さらに、区切りインデックス４０２によってプレイ区間４０３が定義されている。図４においては、永井選手がシュートしたと思い、シュートインデックスを付加した後、それがパスであったためＵＮＤＯインデックス４０４を付加して、修正している。
【００４３】
なお、図４に示すように、動作インデックス名の殆どがイベント名であるのに対して、ボール所持インデックスだけは、選手名をインデックス名としている。その理由は、リアルタイムにインデックス付加作業を行う際に、連続してボール所持インデックスを付加することが多く、選手名を用いる方が作業を効率的に行えるからである。
【００４４】
（６）状況インデックス
次に、前述した基本的な映像インデックス（特に、動作インデックス）を基に、状況インデックスを抽象インデックスとして定義する。抽象インデックスは、各種パラメータの参照により主観的に意味付けされるインデックスあるいは複合事象を示すインデックスである。実施の形態１では、試合の状況を示す状況インデックスとして、少なくとも以下に示す状況インデックスを定義する。
【００４５】
＊状況インデックスの例
▲１▼ Ｈ／Ａチームの攻撃： ホームチームの攻撃またはアウェイチームの攻撃状態である。すなわち、一方および他方のチームの攻撃を示す本発明の第１の状況インデックスに相当する。
▲２▼ Ｈ／Ａチームの時間稼ぎ： 一方および他方のチームの時間稼ぎを示す本発明の第２の状況インデックスに相当する。
▲３▼ 激しい攻防： 激しい攻防を示す本発明の第３の状況インデックスに相当する。
▲４▼ 緊張感希薄： 両チームの攻撃が低レベルで緊張感希薄を示す本発明の第４の状況インデックスに相当する。
【００４６】
この状況インデックスは、次式によって算出される状況レベルパラメータ（Ｐｓ）という重要度判定パラメータに基づいて設定される。
Ｐｓ＝∫Ｄ Ｔ・（ＡＰ）ｄｔ
ただし、
Ｄ：プレイ区間
Ｔ：ボールを保持しているチームを示す値。自チームが保持しているときは「１」、相手チームが保持しているときは「０」となる。
ＡＰ：各エリアに対して定義されている重み（重み係数）
図２で示したように、相手のゴールマウス（ゴールゲート）に近くなるほど重み係数は大きくなり、自チームのエリアにいる時はマイナスの値となる。
【００４７】
状況レベルパラメータ（Ｐｓ）は、プレイ区間毎に各チームに対して計算する。Ｔ値のみをプレイ区間で積分すると、そのチームのボール所持時間となる。それをエリア毎に重み付けしている。
【００４８】
ここで、一方のチームが攻撃動作を行っている時間の積分値の近似計算について説明する。該当プレイ区間において、動作インデックスがある度に、その時のＴ・ＡＰの値に時間間隔を掛けた値を加算する。時間間隔は、前後の動作インデックス発生との時間的中間点を境界とする。この境界から境界まではＴ・ＡＰ値は一定とする。そうして出来た様々な時間長の長方形面積の総和を積分値とする。
【００４９】
次に、上記状況レベルパラメータを用いて、状況インデックス（抽象インデックス）を定義する例を、以下に示す。ここでは、Ｈ／ＡチームのＰｓおよびそれぞれの一つ前のプレイ区間値は、Ｐｓ（Ｈ／Ａ）、ｐｒｅｖＰｓ（Ｈ／Ａ）という名称で参照している。“プレイ”はプレイ区間を表す。
【００５０】
【００５１】
上記の定義において、ＰｓとｐｒｅｖＰｓの差を使用した理由は、自陣から相手の陣地に速いスピードでボールをドリブルするようにゴールへの移動距離を表現するためである。
【００５２】
【００５４】
激しい攻防の定義を説明する。激しい攻防の際は一定時間の中で区切り動作が何度も出現し、プレイ区間が短くなると想定される。そこで、６個の連続したプレイ間隔の中で、Ｐｓが高い場合が両チームとも２個以上ある場合を激しい攻防期間と定義した。
【００５５】
【００５６】
緊張感希薄のプレイ区間とは、両チームの状況レベルパラメータが低いとき、と定義する。
【００５７】
（７）重要場面の判定
次に、本発明の要部であるサッカー映像に対するダイジェスト映像作成のための、重要場面（重要度の高い映像シーン）の判定処理について説明する。
【００５８】
実施の形態１における重要場面の判定の方針は以下の通りである。
（Ａ） 状況インデックスと動作インデックスとを組み合わせて重要度判定パラメータ（攻撃レベル、興奮レベル、ユーザプロファイルレベルの３種類）を定義し、計算する。そして重要度判定パラメータの値の高い部分を中心に映像を検索する。
（Ｂ） サッカー映像で最も重要なシーンはシュートシーンである。シュートシーンの区間抽出に際しては、シュート場面だけでなく攻撃が開始された瞬間を選択し、それに続く適切なシーンとなるようにする。
【００５９】
また、サッカー映像の重要度判定パラメータは以下のように定義する。
【００６０】
興奮レベルとは、原則、どちらかのチームが攻撃レベルが高いと高くなる。その他、著名な選手にパスが回ったときなどに高くなるようにする。ユーザプロファイルレベルは個人の嗜好情報を基に応援するチームや選手の登場あるいは活躍シーンで高くなる。
【００６１】
次に重要場面の区間抽出処理について述べる。区間抽出は、以下のアルゴリズムにより行う。
▲１▼ 各ダイジェストシーンの最長は予め設定されている。これを最大シーン長と呼ぶ。基本的には、最大シーン長内で、できるだけシーン長が長くなるように切り出す。
▲２▼ 抽出されたプレイ区間に、状況インデックス『激しい攻防』が設定されていたら、前後を検索し、連続するプレイ区間の並びを選択する。その並びを一つのダイジェストシーンとする（この処理により、ゴール前の攻防シーンの開始に遡り、重要場面を抽出することが可能となる）。
▲３▼ 抽出されたシーンが最大シーン長よりも長かった場合は、区間内の途中にボールカットした場面があるか否かをチェックする。あった場合は、その場所をシーンの開始位置とする。
▲４▼ それでも最大シーン長よりもシーンが長い場合、最大シーン長となるように、シーン開始の位置を時間的に後ろにずらす。
【００６２】
（８）実施例
前述した構成および動作に基づいて、サッカー映像からダイジェスト映像を作成した。実験データは、１９９９年９月６日のＪリーグ『ヴェルディ川崎対浦和レッズ戦』を使用した。図５は試合前半部における状況レベルパラメータ値の変化の様子を示し、図６は攻撃レベル（重要度判定パラメータ）パラメータ値の変化の様子を示す。
【００６３】
本試合の前半は、最初、浦和レッズのペースであり、序盤に浦和レッズの得点がある。前半の終盤になってようやくヴェルディ川崎ペースとなり、前半終了間際にヴェルディ川崎に得点が発生する。
【００６４】
図５に示すように、浦和レッズとヴェルディ川崎の状況レベルパラメータは、実際の試合の流れと一致して増減しており、この試合の流れを正しく示していることが検証できた。
【００６５】
図６において吹き出しで示されている部分の映像シーンは、切り出しシーンの最大長を２０秒とし、上記重要場面の判定で示した（Ａ），（Ｂ）の方法により判定した結果を示している。
【００６６】
このように構造的に曖昧なスポーツ映像（サッカー映像）から重要度の高い映像シーンを抽出することができる。したがって、重要度の高い映像シーンを抽出したダイジェスト映像を作成できる。
【００６７】
また、前述したように構造的に曖昧なスポーツ映像（サッカー映像）に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成することができる。
【００６８】
（実施の形態２）
実施の形態２のスポーツ映像ダイジェスト作成方法は、基本的には実施の形態１と同様の構成および動作において、プレイ区間をさらに分割して攻撃区間を定義して、この攻撃区間単位で映像シーンの重要度を判定するものである。
【００６９】
実施の形態２では、第１〜第３の動作インデックスを用いてスポーツ映像の中の映像シーンの重要度を判定する際に、第１の動作インデックスおよび第３の動作インデックスを用いて、スポーツ映像に付加されている第１の動作インデックス同士の間の区間または第１の動作インデックスと第３の動作インデックスの間の区間をプレイ区間として定義し、プレイ区間内の第１〜第３の動作インデックスを用いて、プレイ区間に付加されている第１の動作インデックスと第２の動作インデックスの間の区間、第２の動作インデックス同士の間の区間または第２の動作インデックスと第３の動作インデックスの間の区間を攻撃区間として定義し、攻撃区間毎に各チームが攻撃動作を行っている時間（ｔ）を算出し、エリア情報を用いて、個々の攻撃区間を定義する第１〜第３の動作インデックスで示された動作が行われたエリアを特定して、予め各エリアに設定されている重み係数を参照して各動作インデックスの重み係数（ＡＰ）を決定し、攻撃区間を定義する両端の動作インデックスをそれぞれ開始インデックスおよび終了インデックスとして、数７の式によって各攻撃区間の攻撃状況レベルパラメータ（Ｐｓ）および各攻撃区間の攻撃移動レベルパラメータ（Ｐｂ）を求め、各攻撃区間の攻撃状況レベルパラメータ（Ｐｓ）および攻撃移動レベルパラメータ（Ｐｂ）を用いて、攻撃区間単位で映像シーンの重要度を判定するものである。
【００７０】
【数７】
【００７１】
なお、攻撃状況レベルパラメータ（Ｐｓ）および攻撃移動レベルパラメータ（Ｐｂ）は、それぞれ、次のように定義されている。
【００７２】
【００７４】
なお、図７は、実施の形態２のエリア情報を示す説明図である。図８は、プレイ区間と攻撃区間との関係を示した説明図である。図９は、実施の形態２におけるボール所持レベルパラメータの計算例を示す説明図である。図１０は、実施の形態２のおけるボール移動レベルパラメータの計算例を示す説明図である。図１１は、実施の形態２における攻撃レベルパラメータの計算例を示す説明図である。
【００７５】
実施の形態２のスポーツ映像ダイジェスト作成方法においても実施の形態１と同様の効果を奏することができる。
【００７６】
以上説明した本発明に係るスポーツ映像ダイジェスト作成方法は、前述した実施の形態１および２の説明および各アルゴリズムに示した手順に従って、予めプログラムをコンピュータで実行することによって実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【００７７】
【発明の効果】
以上説明したように、本発明のスポーツダイジェスト作成装置によれば、スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出手段と、対象となっているスポーツが行われているフィールドにおいて、注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出手段と、動作インデックス抽出ステップにおいて抽出された動作インデックスに対して予め設定された係数と、動作インデックスに対応するエリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出手段と、重要度判定パラメータに基づいて、注目動作を含む映像シーンをダイジェスト映像に含めるか否かを決定するダイジェスト映像判断手段とを備えており、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。また、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。
【００７８】
また、本発明のコンピュータ読み取り可能な記録媒体は、スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、動作インデックス抽出ステップにおいて抽出された動作インデックスに対して予め設定された係数と、動作インデックスに対応するエリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、重要度判定パラメータに基づいて、注目動作を含む映像シーンをダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとをコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータで読み出して実行することにより、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。また、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。
【図面の簡単な説明】
【図１】実施の形態１のスポーツ映像ダイジェスト作成方法を適用したダイジェスト作成装置の概略構成図である。
【図２】実施の形態１のエリア情報を示す説明図である。
【図３】構造インデックスおよび動作インデックスの属性リストの例を示す説明図である。
【図４】サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。
【図５】実施の形態１に基づく実験データ（実施例）の試合前半部における状況レベルパラメータ値の変化の様子を示す説明図である。
【図６】実施の形態１に基づく実験データ（実施例）の攻撃レベル（重要度判定パラメータ）パラメータ値の変化の様子を示す説明図である。
【図７】実施の形態２のエリア情報を示す説明図である。
【図８】プレイ区間と攻撃区間との関係を示した説明図である。
【図９】実施の形態２におけるボール所持レベルパラメータの計算例を示す説明図である。
【図１０】実施の形態２のおけるボール移動レベルパラメータの計算例を示す説明図である。
【図１１】実施の形態２における攻撃レベルパラメータの計算例を示す説明図である。
【符号の説明】
１００ ダイジェスト作成装置
【発明の属する技術分野】
本発明は、映像シーンの内容を説明する断片的な情報が映像インデックスとして付加されたスポーツ映像から、映像インデックスを利用して意味的に重要な映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト映像作成装置、スポーツ映像ダイジェスト作成方法、およびスポーツ映像ダイジェスト作成処理をプログラムに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、試合の構造が明確でなく、動きが速く、強調プレーが多いサッカー映像のように、映像インデックスを付加しにくいスポーツ映像から試合の内容を的確に表現したダイジェスト映像を作成するスポーツダイジェスト映像作成装置、スポーツ映像ダイジェスト作成方法、およびスポーツ映像ダイジェスト作成処理をプログラムに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送や地上波デジタル放送の準備が着々と進んでいる。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスとして付加された映像を対象として、その映像インデックスを用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案し、このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えで映像内容の説明文生成処理を考えてきた。また、映像インデックスを用いてダイジェスト映像を作成する際に、映像を利用する視聴者（利用者）の嗜好を反映したダイジェスト映像を作成するダイジェスト作成装置の提案も行っている。さらに、映像の検索結果に対して視聴者の嗜好に依存した感情表現を付加すること及び、映像シーン毎の断片的な説明文を接続表現を付加することにより、自然な表現とする機能についても提案している。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲４▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術によれば、映像シーンの内容を説明する断片的な情報が映像インデックスとして付加された映像から、映像インデックスを利用して意味的に重要な映像シーンのダイジェスト映像を作成することができるものの、この場合に対象としている映像は、野球映像のように、比較的、映像全体が構造的に明確な映像を対象としたものであり、映像全体が構造的に曖昧な映像に関しては必ずしも的確にダイジェスト映像を作成することはできないという問題点があった。
【０００６】
ここでは、構造的に明確な映像とは、野球映像のように、イニングや、打席などの映像を構造化するための条件が予め規則化されて、試合の進行（映像の流れ）そのものを構造化することが容易で、構造を表すインデックス（構造インデックス）を機械的に付加できる映像を示し、構造的に曖昧な映像とは、サッカー映像のように、映像を構造化するための条件が少なく、攻守の切り替えが明確でないため、構造化の判定が難しく、構造を表すインデックス（構造インデックス）を機械的に付加することが困難な映像を示す。
【０００７】
なお、構造的に曖昧な映像の場合でも、時間と人手をかけて的確に断片的な映像インデックスを付加したり、さらに映像インデックスの有する情報量を増やして、インデックス体系を充実させることにより、当該インデックス体系を用いて的確にダイジェスト映像を作成することができるようになるが、この場合には映像インデックスを付加するために時間や、コスト、人手がかかるという不具合があった。また、スポーツ映像のようにリアルタイムに映像を配信するような場合には適用できなかった。換言すれば、リアルタイムに配信された構造的に曖昧なスポーツ映像からダイジェスト映像を作成する技術は提供されていなかった。
【０００８】
本発明は上記に鑑みてなされたものであって、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できるスポーツ映像ダイジェスト作成方法を提供することを目的とする。
【０００９】
また、本発明は上記に鑑みてなされたものであって、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成装置であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出手段と、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出手段と、前記動作インデックス抽出手段によって抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出手段と、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断手段とを備えたことを特徴とする。
【００１１】
また、請求項２に係る発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す動作インデックスを抽出し、前記パラメータ算出手段は、前記動作インデックス抽出手段によって抽出された、２つの前記動作インデックス間の区間であるプレイ区間における前記重要度判定パラメータを算出し、前記ダイジェスト映像判断手段は、前記重要度判定パラメータに基づいて前記プレイ区間の映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする。
【００１２】
また、請求項３に係る発明は、請求項１または２に記載のスポーツ映像ダイジェスト作成装置であって、前記パラメータ算出手段は、前記プレイ区間における一方のチームの攻撃動作および他方のチームの攻撃動作の程度を示すチーム係数にさらに基づいて前記重要度判定パラメータを算出することを特徴とする。また、請求項４に係る発明は、請求項３に記載のスポーツ映像ダイジェスト作成装置であって、前記パラメータ算出手段は、プレイ区間（Ｄ）における前記チーム係数（Ｔ）および前記プレイ区間の２つの前記動作インデックスに対して定まる前記重み係数（ＡＰ）から
Ｐ S ＝∫ D Ｔ・（ＡＰ）ｄｔ
で示される状況レベルパラメータ（Ｐｓ）を算出し、当該状況レベルパラメータに基づいて前記重要度判定パラメータを算出することを特徴とする。さらにまた、請求項５に係る発明は、請求項３または４に記載のスポーツ映像ダイジェスト作成装置であって、前記ダイジェスト映像作成手段は、前記ダイジェスト映像に含めると判断した２以上の前記プレイ区間のうち時間的に連続する２以上の前記プレイ区間における、試合の状況を示す状況インデックスがほぼ等しい場合に、これらを１つの前記ダイジェスト映像に含めることを特徴とする。
【００１３】
また、請求項６に記載の発明は、請求項４に記載のスポーツ映像ダイジェスト作成装置であって、前記状況レベルパラメータの値に基づいて、前記プレイ区間の前記映像シーンに対して、一方および他方のチームのいずれか一方のチームの攻撃を示す第１の状況インデックス、一方および他方のチームのいずれか一方のチームの時間稼ぎを示す第２の状況インデックス、一方および他方のチームのいずれか一方のチームの激しい攻撃を示す第３の状況インデックス、および両チームの攻撃が低レベルで緊張感希薄であることを示す第４の状況インデックスのいずれか一のインデックスを付与するインデックス付与手段をさらに備え、前記ダイジェスト映像判断手段は、前記状況インデックス付与手段によって付与された前記状況インデックス第１の状況インデックス、第２の状況インデックス、第３の状況インデックス、および第４の状況インデックスのいずれか一のインデックスに基づいて、前記映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする。
【００１４】
また、請求項７に記載の発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
【数１】
【００１５】
また、請求項８に記載の発明は、請求項１に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
【数２】
【００１６】
また、請求項９に記載の発明は、請求項７または８に記載のスポーツ映像ダイジェスト作成装置であって、前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す第１の動作インデックス、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す第２の動作インデックス、および対象となるスポーツの得点に直接関係する動作を示す第３の動作インデックスを抽出し、前記パラメータ算出手段は、前記第１の動作インデックス同士の間の区間または前記第１の動作インデックスと前記第３のインデックスの間の区間であるプレイ区間内であって、かつ前記第１の動作インデックスと前記第２のインデックスの間の区間、前記第２のインデックス同士の間の区間、または前記第２のインデックスと前記第３のインデックスの間の区間のいずれかの区間である攻撃区間における両端の前記動作インデックスをそれぞれ前記開始インデックスおよび前記終了インデックスとすることを特徴とする。
【００１７】
また、請求項１０に記載の発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成方法であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとを有したことを特徴とする。
【００１８】
また、請求項１１に記載の発明は、スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明のスポーツ映像ダイジェスト作成方法をダイジェスト作成装置に適用した場合を例として、（実施の形態１）、（実施の形態２）の順に、添付の図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
実施の形態１のスポーツ映像ダイジェスト作成方法を適用したダイジェスト作成装置について、
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について
（２）ダイジェスト作成装置の構成
（３）実施の形態１で使用する基本的な映像インデックス
（４）プレイ区間
（５）ＵＮＤＯインデックス
（６）状況インデックス
（７）重要場面の判定
（８）実施例
の順で説明する。
【００２１】
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について、
実施の形態１は、構造的に曖昧なスポーツ映像としてサッカー映像を例として説明する。サッカー映像は、構造的に明確である野球映像と比較してダイジェスト作成が困難である。その理由は、サッカー映像の以下のような特徴による。
▲１▼ 構造が明確でない。したがって、構造を示すインデックスの付加が困難である。
▲２▼ インデックスの種類および試合内容を示す数値情報が少なく、映像シーンの重要度を算出しにくい（以下、映像シーンの重要度を示す指標を重要度判定パラメータと呼ぶ）。
▲３▼ 動きが激しく、協調的な動きが多い。よってカメラで試合の展開を追いにくく大写しの映像が多くなり、プレイの全容把握や内容判別が困難となる。
【００２２】
このようなサッカー映像（構造的に曖昧なスポーツ映像）の特徴と問題点について説明する。
先ず、▲１▼の構造が明確でないという特徴は、野球映像がイニング、打席など構造を表すインデックスを機械的に付加でき、自動的に構造化できるのに対し、サッカー映像は攻守の切り替えが明確でないため、構造化しにくいということを意味する。結果としてサッカー映像の場合には構造を示すインデックス付加が主観的になる傾向が強い。また構造化の判定が難しいため、映像を戻して再度確認しながらインデックスを付加するというような手戻りも多くなる。
【００２３】
▲２▼の重要度判定パラメータの算出に関しては、野球映像と比較して考察すると、野球はスコアブックから試合の内容がイメージできる。本出願人によって既に提案されている技術を用いて、野球映像の場合、得点情報や、ＳＢＯ（ストライク・ボール・アウト）情報、進塁情報などの一定の範囲の数値で表せる数値情報が多くあり、それらを機械的に付加した映像インデックス情報と組み合わせることにより、重要度判定パラメータを算出することが可能である。例えば、重要度判定パラメータの一つとして、攻撃的な重要度を表す攻撃レベルを定義した場合、この攻撃レベルは、ヒット、ホームラン、出塁、加点などの攻撃的なインデックスと、得点情報などを基に簡単に、攻撃レベル（重要度判定パラメータ）の算出ルールを定義することができる。
【００２４】
一方、サッカー映像の場合には、客観的指標となる数値情報が少なく、インデックスの修理も少ないため、重要度判定パラメータを算出しにくい。例えば、攻撃的なインデックスとして機械的に付加できるものは、シュート、ゴールであり、客観的数値情報として利用できるものは得点情報と時間情報程度である。これだけでは、攻撃レベル（重要度判定パラメータ）の算出ルールが単純になり、シュートをしている場面だけが切り出されたダイジェスト映像が作成され、試合の内容を的確に表現することができない。
【００２５】
▲３▼はサッカー自体の性格によるものであるが、サッカー映像では、協調パスプレイがあるため、野球映像に比べて、より選手の役割を把握することが難しくなる。特に、サッカー映像では大写しの映像が多くなるため、または他の選手のプレイが写されているため、常に選手の識別を行うことが困難となり、協調プレイの他の部分を見ることができないことによる困難性もある。さらに、たとえ全ての選手の動きを近くで見ることができたとしても、そのプレイの重要度を判別してインデックスを付加するためには、識別能力が必要とされ、プレイの内容の評価が判定者に依存する度合いが大きくなるため、一律の判定を行うことが難しくなる（内容判別の困難性）。
【００２６】
このような理由により、サッカー映像（構造的に曖昧なスポーツ映像）では、インデックス体系の作成およびインデックス付加が難しくなる。
例えば、サッカーの攻撃シーンのような意味的にひとまとまりの流れをダイジェスト映像として切り出す場合を考えてみる。サッカーは流れの途中でパスのカットが頻繁に起こるなど、攻撃の流れが非常に動的である。インデックス製作者は先行きが読めないため、途中でインデックス付加の取消しや期間延長、付け直しといった作業が数多く発生する。リアルタイムに配信する場合、これはさらに困難な作業となる。サッカー映像に対してインデックス配信をリアルタイムに行う場合もあるが、インデックス制作者は後でＵＮＤＯ（無効）してもよいから即時的にインデックスを付加し、配信する必要がある。
【００２７】
野球映像の場合には、映像上のある一点を示す断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出することが可能である。これに対して、構造が明確でなく、展開の速いサッカー映像には、インデックス情報の不足と構造情報の不足から重要度判定パラメータを算出することができない。
【００２８】
そこで、実施の形態１では、サッカー映像（構造的に曖昧なスポーツ映像）の中の映像シーンの重要度を判定する際に、断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出するのではなく、断片的なインデックス情報から映像上の状況を表す補助的なパラメータ（状況レベルパラメータ）を求め、この状況レベルパラメータと断片的なインデックス情報とを組み合わせて、重要度判定パラメータを算出し、ダイジェスト映像を作成するスポーツ映像ダイジェスト作成方法を提案するものである。
【００２９】
（２）ダイジェスト作成装置の構成
図１は、実施の形態１のダイジェスト作成装置の概略構成を示し、同図（ａ）がダイジェスト作成装置１００の概観図を示し、同図（ｂ）がハード構成を示している。ダイジェスト作成装置１００のハード構成としては、後述するソフトウエアに基づく処理を実行するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行なうためのキーボード１０５およびマウス１０６と、スポーツ映像を表示するための表示画面を有したＣＲＴや液晶ディスプレイ等の表示装置１０４と、実施の形態１のスポーツ映像ダイジェスト作成方法を実現するためのダイジェスト作成ソフト１０７等の各種アプリケーションプログラムやデータを記憶したハードディスク１０８と、外部機器と接続するための各種ドライバー，ネットワークアダプタ等のインタフェース部１０９と、上記各部を接続するバス１１０と、を少なくとも備えている。
【００３０】
（３）実施の形態１で使用する基本的な映像インデックス
実施の形態１では、スポーツ映像に付加する基本的な映像インデックスとして、構造インデックスと、動作インデックスとを有している。なお、後述する状況インデックスなどの抽象インデックス（断片的でない情報を有するインデックス）は、構造インデックスや動作インデックスを基に定義されている。
【００３１】
▲１▼構造インデックス
構造インデックスは、試合開始、試合終了、前半／後半終了などの試合の構造を示すインデックスである。ただし、構造的なスポーツ映像（野球映像）と比べると種類が少ないため、構造インデックスのみでは詳細な構造化はできない。
【００３２】
▲２▼動作インデックス
サッカー映像においてボールを保持している選手の動作（換言すれば、攻撃動作）を示すインデックスであり、以下の３つのインデックスに分類される。
１）区切りインデックス： スローイン、フリーキック、コーナーキック、ゴールキック、ファウルなど、セットプレイと呼ばれるプレイで映像シーンの区切りを作成するための動作インデックスである。換言すれば、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示すインデックスであり、本発明の第１の動作インデックスに相当する。
【００３３】
２）ボール所持インデックス： パス出し、パス受け、カットなどの動作により、誰がボールをもっているかを示すインデックスである。ボールを持っている選手が切り替わった時、またはパス受けからパス出しなどの動作が切り替わった時に発生する。一般にパス受けからパス出しまでの時間は非常に短いため、通常はパス出し動作のみで、パス受け、パス出し動作を示すものとする。なお、実施の形態１では、ドリブル動作は、パス受けからパス出しまでの時間に起こっているものとする。すなわち、このボール所持インデックスは、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す情報であり、本発明の第２の動作インデックスに相当する。
【００３４】
３）シュートおよびゴールインデックス： ボールをゴールに向けて蹴ったときに発生するインデックスがシュートインデックスであり、シュートが成功すればゴールインデックスとなる。換言すれば、対象となるスポーツの得点に直接関係するような動作を示す情報であり、本発明の第３の動作インデックスに相当する。
【００３５】
４）ＵＮＤＯインデックス： 直前に付加されている他の動作インデックスをＵＮＤＯ（無効）にするためのインデックスである。
【００３６】
なお、各動作インデックスには、必要に応じてチーム名、選手名およびその時点のボールの位置（後述するエリア情報で示す）などが属性情報として設定される。
【００３７】
ここでエリア情報について説明する。各動作インデックスには、該当する動作が行われた場所を示す情報（サッカー映像ではボールの位置に一致する）として、対象となるスポーツが行われるエリアを複数のエリアに分割して定義したエリア情報が設定される。
【００３８】
実施の形態１のエリア情報（ボールの位置）は、図２に示すように、対戦チーム（ホームチーム（Ｈ）、アウェイチーム（Ａ））に対して、グラウンドを大まかに１０のエリアに分割し、その記号（エリア名）をエリア情報として設定した。図２に示すＨＧ、Ｈ１〜Ｈ４、Ｃ、Ａ１〜Ａ４、ＡＧのエリア名は、前半と後半で守備位置が変わるごとに左右反転する。なお、各エリアに設定されている数値が該当するエリアの重み係数（ＡＰ）を表している。
【００３９】
図３は、構造インデックスおよび動作インデックスの属性リスト（属性情報リスト）の例を示す。属性リストには、チーム名や、選手名、エリア（エリア名）などが設定されている。また図３では省略するが、全てのインデックスにはタイムコードが属性として設定されている。
【００４０】
（４）プレイ区間
動作インデックスのうちの区切りインデックス（第１の動作インデックス）によって区切られた区間をプレイ区間と定義する。サッカー映像においては、構造インデックスによる区間分割だけでは区間が大きく不十分であるため、区間単位で映像シーンの重要度の判定を行う場合には、プレイ区間を用いて重要度の計算を行う。なお、区切りインデックスの他にも、区切りインデックスとシュートおよびゴールインデックス（第３の動作インデックス）を用いてプレイ区間を定義しても良い。
【００４１】
（５）ＵＮＤＯインデックス
次に、ＵＮＤＯインデックスの役割について説明する。インデックス製作者側は先の展開の見えない試合の流れに対してリアルタイムに動作インデックスを付けるが、途中で視界の流れが変わって動作インデックスを修正しなければならない場合が予想される。
例えば、『フォワードの選手がシュートを放った』と誰もが思うような状況で、実はシュートではなくパスを送り出していた、ということはよくあることである。そのような場合に、ＵＮＤＯインデックスを付加、配信すると、受信端末装置側では、ＵＮＤＯインデックスを含めた全て映像インデックスを解釈して、最終的に有効な映像インデックスのみをインデックス情報として得ることができる。インデックス製作者側では、配信までに時間的な余裕があれば、ＵＮＤＯインデックスで指定された動作インデックスを削除または修正して、修正後の映像インデックスを配信することができる。
【００４２】
図４は、サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。サッカー映像は、構造インデックス４０１により、前半、後半の２つのシーンに構造化されている。さらに、区切りインデックス４０２によってプレイ区間４０３が定義されている。図４においては、永井選手がシュートしたと思い、シュートインデックスを付加した後、それがパスであったためＵＮＤＯインデックス４０４を付加して、修正している。
【００４３】
なお、図４に示すように、動作インデックス名の殆どがイベント名であるのに対して、ボール所持インデックスだけは、選手名をインデックス名としている。その理由は、リアルタイムにインデックス付加作業を行う際に、連続してボール所持インデックスを付加することが多く、選手名を用いる方が作業を効率的に行えるからである。
【００４４】
（６）状況インデックス
次に、前述した基本的な映像インデックス（特に、動作インデックス）を基に、状況インデックスを抽象インデックスとして定義する。抽象インデックスは、各種パラメータの参照により主観的に意味付けされるインデックスあるいは複合事象を示すインデックスである。実施の形態１では、試合の状況を示す状況インデックスとして、少なくとも以下に示す状況インデックスを定義する。
【００４５】
＊状況インデックスの例
▲１▼ Ｈ／Ａチームの攻撃： ホームチームの攻撃またはアウェイチームの攻撃状態である。すなわち、一方および他方のチームの攻撃を示す本発明の第１の状況インデックスに相当する。
▲２▼ Ｈ／Ａチームの時間稼ぎ： 一方および他方のチームの時間稼ぎを示す本発明の第２の状況インデックスに相当する。
▲３▼ 激しい攻防： 激しい攻防を示す本発明の第３の状況インデックスに相当する。
▲４▼ 緊張感希薄： 両チームの攻撃が低レベルで緊張感希薄を示す本発明の第４の状況インデックスに相当する。
【００４６】
この状況インデックスは、次式によって算出される状況レベルパラメータ（Ｐｓ）という重要度判定パラメータに基づいて設定される。
Ｐｓ＝∫Ｄ Ｔ・（ＡＰ）ｄｔ
ただし、
Ｄ：プレイ区間
Ｔ：ボールを保持しているチームを示す値。自チームが保持しているときは「１」、相手チームが保持しているときは「０」となる。
ＡＰ：各エリアに対して定義されている重み（重み係数）
図２で示したように、相手のゴールマウス（ゴールゲート）に近くなるほど重み係数は大きくなり、自チームのエリアにいる時はマイナスの値となる。
【００４７】
状況レベルパラメータ（Ｐｓ）は、プレイ区間毎に各チームに対して計算する。Ｔ値のみをプレイ区間で積分すると、そのチームのボール所持時間となる。それをエリア毎に重み付けしている。
【００４８】
ここで、一方のチームが攻撃動作を行っている時間の積分値の近似計算について説明する。該当プレイ区間において、動作インデックスがある度に、その時のＴ・ＡＰの値に時間間隔を掛けた値を加算する。時間間隔は、前後の動作インデックス発生との時間的中間点を境界とする。この境界から境界まではＴ・ＡＰ値は一定とする。そうして出来た様々な時間長の長方形面積の総和を積分値とする。
【００４９】
次に、上記状況レベルパラメータを用いて、状況インデックス（抽象インデックス）を定義する例を、以下に示す。ここでは、Ｈ／ＡチームのＰｓおよびそれぞれの一つ前のプレイ区間値は、Ｐｓ（Ｈ／Ａ）、ｐｒｅｖＰｓ（Ｈ／Ａ）という名称で参照している。“プレイ”はプレイ区間を表す。
【００５０】
上記の定義において、ＰｓとｐｒｅｖＰｓの差を使用した理由は、自陣から相手の陣地に速いスピードでボールをドリブルするようにゴールへの移動距離を表現するためである。
【００５２】
激しい攻防の定義を説明する。激しい攻防の際は一定時間の中で区切り動作が何度も出現し、プレイ区間が短くなると想定される。そこで、６個の連続したプレイ間隔の中で、Ｐｓが高い場合が両チームとも２個以上ある場合を激しい攻防期間と定義した。
【００５５】
緊張感希薄のプレイ区間とは、両チームの状況レベルパラメータが低いとき、と定義する。
【００５７】
（７）重要場面の判定
次に、本発明の要部であるサッカー映像に対するダイジェスト映像作成のための、重要場面（重要度の高い映像シーン）の判定処理について説明する。
【００５８】
実施の形態１における重要場面の判定の方針は以下の通りである。
（Ａ） 状況インデックスと動作インデックスとを組み合わせて重要度判定パラメータ（攻撃レベル、興奮レベル、ユーザプロファイルレベルの３種類）を定義し、計算する。そして重要度判定パラメータの値の高い部分を中心に映像を検索する。
（Ｂ） サッカー映像で最も重要なシーンはシュートシーンである。シュートシーンの区間抽出に際しては、シュート場面だけでなく攻撃が開始された瞬間を選択し、それに続く適切なシーンとなるようにする。
【００５９】
また、サッカー映像の重要度判定パラメータは以下のように定義する。
興奮レベルとは、原則、どちらかのチームが攻撃レベルが高いと高くなる。その他、著名な選手にパスが回ったときなどに高くなるようにする。ユーザプロファイルレベルは個人の嗜好情報を基に応援するチームや選手の登場あるいは活躍シーンで高くなる。
【００６１】
次に重要場面の区間抽出処理について述べる。区間抽出は、以下のアルゴリズムにより行う。
▲１▼ 各ダイジェストシーンの最長は予め設定されている。これを最大シーン長と呼ぶ。基本的には、最大シーン長内で、できるだけシーン長が長くなるように切り出す。
▲２▼ 抽出されたプレイ区間に、状況インデックス『激しい攻防』が設定されていたら、前後を検索し、連続するプレイ区間の並びを選択する。その並びを一つのダイジェストシーンとする（この処理により、ゴール前の攻防シーンの開始に遡り、重要場面を抽出することが可能となる）。
▲３▼ 抽出されたシーンが最大シーン長よりも長かった場合は、区間内の途中にボールカットした場面があるか否かをチェックする。あった場合は、その場所をシーンの開始位置とする。
▲４▼ それでも最大シーン長よりもシーンが長い場合、最大シーン長となるように、シーン開始の位置を時間的に後ろにずらす。
【００６２】
（８）実施例
前述した構成および動作に基づいて、サッカー映像からダイジェスト映像を作成した。実験データは、１９９９年９月６日のＪリーグ『ヴェルディ川崎対浦和レッズ戦』を使用した。図５は試合前半部における状況レベルパラメータ値の変化の様子を示し、図６は攻撃レベル（重要度判定パラメータ）パラメータ値の変化の様子を示す。
【００６３】
本試合の前半は、最初、浦和レッズのペースであり、序盤に浦和レッズの得点がある。前半の終盤になってようやくヴェルディ川崎ペースとなり、前半終了間際にヴェルディ川崎に得点が発生する。
【００６４】
図５に示すように、浦和レッズとヴェルディ川崎の状況レベルパラメータは、実際の試合の流れと一致して増減しており、この試合の流れを正しく示していることが検証できた。
【００６５】
図６において吹き出しで示されている部分の映像シーンは、切り出しシーンの最大長を２０秒とし、上記重要場面の判定で示した（Ａ），（Ｂ）の方法により判定した結果を示している。
【００６６】
このように構造的に曖昧なスポーツ映像（サッカー映像）から重要度の高い映像シーンを抽出することができる。したがって、重要度の高い映像シーンを抽出したダイジェスト映像を作成できる。
【００６７】
また、前述したように構造的に曖昧なスポーツ映像（サッカー映像）に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成することができる。
【００６８】
（実施の形態２）
実施の形態２のスポーツ映像ダイジェスト作成方法は、基本的には実施の形態１と同様の構成および動作において、プレイ区間をさらに分割して攻撃区間を定義して、この攻撃区間単位で映像シーンの重要度を判定するものである。
【００６９】
実施の形態２では、第１〜第３の動作インデックスを用いてスポーツ映像の中の映像シーンの重要度を判定する際に、第１の動作インデックスおよび第３の動作インデックスを用いて、スポーツ映像に付加されている第１の動作インデックス同士の間の区間または第１の動作インデックスと第３の動作インデックスの間の区間をプレイ区間として定義し、プレイ区間内の第１〜第３の動作インデックスを用いて、プレイ区間に付加されている第１の動作インデックスと第２の動作インデックスの間の区間、第２の動作インデックス同士の間の区間または第２の動作インデックスと第３の動作インデックスの間の区間を攻撃区間として定義し、攻撃区間毎に各チームが攻撃動作を行っている時間（ｔ）を算出し、エリア情報を用いて、個々の攻撃区間を定義する第１〜第３の動作インデックスで示された動作が行われたエリアを特定して、予め各エリアに設定されている重み係数を参照して各動作インデックスの重み係数（ＡＰ）を決定し、攻撃区間を定義する両端の動作インデックスをそれぞれ開始インデックスおよび終了インデックスとして、数７の式によって各攻撃区間の攻撃状況レベルパラメータ（Ｐｓ）および各攻撃区間の攻撃移動レベルパラメータ（Ｐｂ）を求め、各攻撃区間の攻撃状況レベルパラメータ（Ｐｓ）および攻撃移動レベルパラメータ（Ｐｂ）を用いて、攻撃区間単位で映像シーンの重要度を判定するものである。
【００７０】
【数７】
なお、攻撃状況レベルパラメータ（Ｐｓ）および攻撃移動レベルパラメータ（Ｐｂ）は、それぞれ、次のように定義されている。
【００７２】
なお、図７は、実施の形態２のエリア情報を示す説明図である。図８は、プレイ区間と攻撃区間との関係を示した説明図である。図９は、実施の形態２におけるボール所持レベルパラメータの計算例を示す説明図である。図１０は、実施の形態２のおけるボール移動レベルパラメータの計算例を示す説明図である。図１１は、実施の形態２における攻撃レベルパラメータの計算例を示す説明図である。
【００７５】
実施の形態２のスポーツ映像ダイジェスト作成方法においても実施の形態１と同様の効果を奏することができる。
【００７６】
以上説明した本発明に係るスポーツ映像ダイジェスト作成方法は、前述した実施の形態１および２の説明および各アルゴリズムに示した手順に従って、予めプログラムをコンピュータで実行することによって実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【００７７】
【発明の効果】
以上説明したように、本発明のスポーツダイジェスト作成装置によれば、スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出手段と、対象となっているスポーツが行われているフィールドにおいて、注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出手段と、動作インデックス抽出ステップにおいて抽出された動作インデックスに対して予め設定された係数と、動作インデックスに対応するエリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出手段と、重要度判定パラメータに基づいて、注目動作を含む映像シーンをダイジェスト映像に含めるか否かを決定するダイジェスト映像判断手段とを備えており、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。また、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。
【００７８】
また、本発明のコンピュータ読み取り可能な記録媒体は、スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、対象となっているスポーツが行われているフィールドにおいて、注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、動作インデックス抽出ステップにおいて抽出された動作インデックスに対して予め設定された係数と、動作インデックスに対応するエリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、重要度判定パラメータに基づいて、注目動作を含む映像シーンをダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップとをコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータで読み出して実行することにより、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。また、構造的に曖昧なスポーツ映像に対して、リアルタイム配信が行えるレベルで断片的な映像インデックスが付加されている場合でも、重要度の高い映像シーンを抽出してダイジェスト映像を作成できる。
【図面の簡単な説明】
【図１】実施の形態１のスポーツ映像ダイジェスト作成方法を適用したダイジェスト作成装置の概略構成図である。
【図２】実施の形態１のエリア情報を示す説明図である。
【図３】構造インデックスおよび動作インデックスの属性リストの例を示す説明図である。
【図４】サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。
【図５】実施の形態１に基づく実験データ（実施例）の試合前半部における状況レベルパラメータ値の変化の様子を示す説明図である。
【図６】実施の形態１に基づく実験データ（実施例）の攻撃レベル（重要度判定パラメータ）パラメータ値の変化の様子を示す説明図である。
【図７】実施の形態２のエリア情報を示す説明図である。
【図８】プレイ区間と攻撃区間との関係を示した説明図である。
【図９】実施の形態２におけるボール所持レベルパラメータの計算例を示す説明図である。
【図１０】実施の形態２のおけるボール移動レベルパラメータの計算例を示す説明図である。
【図１１】実施の形態２における攻撃レベルパラメータの計算例を示す説明図である。
【符号の説明】
１００ ダイジェスト作成装置
Claims (11)
- スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成装置において、
前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出手段と、
対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出手段と、
前記動作インデックス抽出手段によって抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出手段と、
前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断手段と
を備えたことを特徴とするスポーツ映像ダイジェスト作成装置。 - 前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す動作インデックスを抽出し、
前記パラメータ算出手段は、前記動作インデックス抽出手段によって抽出された、２つの前記動作インデックス間の区間であるプレイ区間における前記重要度判定パラメータを算出し、
前記ダイジェスト映像判断手段は、前記重要度判定パラメータに基づいて前記プレイ区間の映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする請求項１に記載のスポーツ映像ダイジェスト作成装置。 - 前記パラメータ算出手段は、前記プレイ区間における一方のチームの攻撃動作および他方のチームの攻撃動作の程度を示すチーム係数にさらに基づいて前記重要度判定パラメータを算出することを特徴とする請求項１または２に記載のスポーツダイジェスト作成装置。
- 前記パラメータ算出手段は、プレイ区間（Ｄ）における前記チーム係数（Ｔ）および前記プレイ区間の２つの前記動作インデックスに対して定まる前記重み係数（ＡＰ）から
Ｐ S ＝∫ D Ｔ・（ＡＰ）ｄｔ
で示される状況レベルパラメータ（Ｐｓ）を算出し、当該状況レベルパラメータに基づいて前記重要度判定パラメータを算出することを特徴とする請求項３に記載のスポーツダイジェスト作成装置。 - 前記ダイジェスト映像判断手段は、前記ダイジェスト映像に含めると判断した２以上の前記プレイ区間のうち時間的に連続する２以上の前記プレイ区間における、試合の状況を示す状況インデックスがほぼ等しい場合に、これらを１つの前記ダイジェスト映像に含めることを特徴とする請求項３または４に記載のスポーツ映像ダイジェスト作成装置。
- 前記状況レベルパラメータの値に基づいて、前記プレイ区間の前記映像シーンに対して、一方および他方のチームのいずれか一方のチームの攻撃を示す第１の状況インデックス、一方および他方のチームのいずれか一方のチームの時間稼ぎを示す第２の状況インデックス、一方および他方のチームのいずれか一方のチームの激しい攻撃を示す第３の状況インデックス、および両チームの攻撃が低レベルで緊張感希薄であることを示す第４の状況インデックスのいずれか一のインデックスを付与するインデックス付与手段をさらに備え、
前記ダイジェスト映像判断手段は、前記インデックス付与手段によって付与された前記第１の状況インデックス、第２の状況インデックス、第３の状況インデックス、および第４の状況インデックスのいずれか一のインデックスに基づいて、前記映像シーンを前記ダイジェスト映像に含めるか否かを決定することを特徴とする請求項４に記載のスポーツ映像ダイジェスト作成装置。 - 前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、
前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
- 前記動作インデックス抽出手段は、２つの前記動作インデックスを抽出し、
前記パラメータ算出手段は、前記２つの動作インデックスをそれぞれ当該動作インデックス間の区間であるプレイ区間の開始を示す開始インデックスおよび前記プレイ区間の終了を示す終了インデックスとし、前記開始インデックスおよび前記終了インデックスそれぞれに対して定まる前記重み係数（ＡＰ）から
- 前記動作インデックス抽出手段は、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示す第１の動作インデックス、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す第２の動作インデックス、および対象となるスポーツの得点に直接関係する動作を示す第３の動作インデックスを抽出し、
前記パラメータ算出手段は、前記第１の動作インデックス同士の間の区間または前記第１の動作インデックスと前記第３のインデックスの間の区間であるプレイ区間内であって、かつ前記第１の動作インデックスと前記第２のインデックスの間の区間、前記第２のインデックス同士の間の区間、または前記第２のインデックスと前記第３のインデックスの間の区間のいずれかの区間である攻撃区間における両端の前記動作インデックスをそれぞれ前記開始インデックスおよび前記終了インデックスとすることを特徴とする請求項７または８に記載のスポーツ映像ダイジェスト作成装置。 - スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成方法において、
前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、
対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、
前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、
前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップと
を有したことを特徴とするスポーツ映像ダイジェスト作成方法。 - スポーツ映像から、映像シーンのダイジェスト映像を作成するスポーツ映像ダイジェスト作成処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記スポーツ映像から選手の注目動作を示す動作インデックスを抽出する動作インデックス抽出ステップと、
対象となっているスポーツが行われているフィールドにおいて、前記注目動作が行われたエリアを示すエリア情報を抽出するエリア情報抽出ステップと、
前記動作インデックス抽出ステップにおいて抽出された前記動作インデックスに対して予め設定された係数と、前記動作インデックスに対応する前記エリア情報に対して予め設定された重み係数とに基づいて重要度判定パラメータを算出するパラメータ算出ステップと、
前記重要度判定パラメータに基づいて、前記注目動作を含む映像シーンを前記ダイジェスト映像に含めるか否かを決定するダイジェスト映像判断ステップと
をコンピュータに実行させるためのプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000059663A JP3566896B2 (ja) | 2000-03-03 | 2000-03-03 | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000059663A JP3566896B2 (ja) | 2000-03-03 | 2000-03-03 | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001251581A JP2001251581A (ja) | 2001-09-14 |
| JP3566896B2 true JP3566896B2 (ja) | 2004-09-15 |
Family
ID=18580083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000059663A Expired - Fee Related JP3566896B2 (ja) | 2000-03-03 | 2000-03-03 | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3566896B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003230127A (ja) * | 2002-01-31 | 2003-08-15 | Matsushita Electric Ind Co Ltd | ダイジェスト映像特定システム、ダイジェスト映像提供システム、ダイジェスト映像特定方法、ダイジェスト映像提供方法、媒体、及びプログラム |
| JP2003250141A (ja) * | 2002-02-22 | 2003-09-05 | Ricoh Co Ltd | 映像配信サーバ |
| JP4362265B2 (ja) | 2002-04-05 | 2009-11-11 | ソニー株式会社 | 映像コンテンツ編集支援システム，記録装置，編集者端末装置，コンピュータプログラム，記録媒体，映像コンテンツ編集支援方法 |
| AU2003222992B2 (en) * | 2002-04-30 | 2007-05-31 | Zootech Limited | Simplified preparation of complex interactive DVD |
| JP4036328B2 (ja) | 2002-09-30 | 2008-01-23 | 株式会社Ｋｄｄｉ研究所 | 動画像データのシーン分類装置 |
| JP4424590B2 (ja) | 2004-03-05 | 2010-03-03 | 株式会社Ｋｄｄｉ研究所 | スポーツ映像の分類装置 |
| JP4714149B2 (ja) * | 2004-06-29 | 2011-06-29 | パナソニック株式会社 | 映像編集装置及び方法 |
| JP5202127B2 (ja) * | 2008-06-17 | 2013-06-05 | キヤノン株式会社 | 映像配信装置及び映像配信方法 |
| US10433030B2 (en) * | 2014-10-09 | 2019-10-01 | Thuuz, Inc. | Generating a customized highlight sequence depicting multiple events |
| US10536758B2 (en) | 2014-10-09 | 2020-01-14 | Thuuz, Inc. | Customized generation of highlight show with narrative component |
| US11863848B1 (en) | 2014-10-09 | 2024-01-02 | Stats Llc | User interface for interaction with customized highlight shows |
| EP3214834A4 (en) * | 2014-10-30 | 2017-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Play segment extraction method and play segment extraction device |
| KR101805406B1 (ko) * | 2016-07-26 | 2018-01-10 | 주식회사 코어라인소프트 | 바둑 착수 시간을 포함한 기보 데이터 생성 및 대국 주요 장면 추출 방법 및 시스템 |
| EP3734551A4 (en) | 2017-12-27 | 2020-12-30 | Fujitsu Limited | EXTRACTION PROGRAM, EXTRACTION METHOD AND INFORMATION PROCESSING DEVICE |
| JP6371020B1 (ja) * | 2018-01-31 | 2018-08-08 | 株式会社Ｎｔｔドコモ | 情報処理装置 |
| US11373404B2 (en) | 2018-05-18 | 2022-06-28 | Stats Llc | Machine learning for recognizing and interpreting embedded information card content |
| US11025985B2 (en) | 2018-06-05 | 2021-06-01 | Stats Llc | Audio processing for detecting occurrences of crowd noise in sporting event television programming |
| US11264048B1 (en) | 2018-06-05 | 2022-03-01 | Stats Llc | Audio processing for detecting occurrences of loud sound characterized by brief audio bursts |
| JP2020188979A (ja) * | 2019-05-23 | 2020-11-26 | パナソニックＩｐマネジメント株式会社 | プレイ分析装置、及び、プレイ分析方法 |
| WO2021240679A1 (ja) * | 2020-05-27 | 2021-12-02 | 日本電気株式会社 | 映像処理装置、映像処理方法、及び、記録媒体 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5828809A (en) * | 1996-10-01 | 1998-10-27 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for extracting indexing information from digital video data |
| JPH11238071A (ja) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | ダイジェスト作成装置及びダイジェスト作成方法 |
| AU2322000A (en) * | 1999-01-29 | 2000-08-18 | Scale Inc. | Time-series data processing device and method |
| JP3176893B2 (ja) * | 1999-03-05 | 2001-06-18 | 株式会社次世代情報放送システム研究所 | ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3323842B2 (ja) * | 1999-10-22 | 2002-09-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 映像の要約方法及び装置 |
-
2000
- 2000-03-03 JP JP2000059663A patent/JP3566896B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001251581A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3566896B2 (ja) | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP7551865B2 (ja) | 動画配信装置、動画配信方法、動画配信プログラム及び動画配信システム | |
| Sarmento et al. | Development and validation of a notational system to study the offensive process in football | |
| US7685202B2 (en) | Event importance adjustment method and device for carrying out the method | |
| JP5550720B2 (ja) | マルチユーザコンピュータシミュレーションにおいてユーザをマッチングさせる方法と装置 | |
| US20170182415A1 (en) | Video processing device, video processing method, and program | |
| US7035868B2 (en) | Method and system for dynamically generating digest from event footage and associated metadata | |
| EP4157475A1 (en) | Camera view selection processor for passive spectator viewing | |
| JP2016107001A (ja) | 抽出プログラム、方法、及び装置 | |
| JP2009000383A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| CN111290724B (zh) | 在线虚拟解说方法、设备和介质 | |
| WO2021240679A1 (ja) | 映像処理装置、映像処理方法、及び、記録媒体 | |
| JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
| CN116963809A (zh) | 游戏内动态相机角度调整 | |
| JP2004072540A (ja) | パーソナルダイジェスト配信システム、パーソナルダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラム | |
| US20170225078A1 (en) | Schemes for using audio updates to link real-life events to game events after release of the game | |
| JP4452418B2 (ja) | サッカー映像ダイジェスト作成方法 | |
| US11471779B2 (en) | Spectating support apparatus, spectating support method, and spectating support program | |
| JP3600186B2 (ja) | 映像検索装置 | |
| JP2005026837A (ja) | スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置 | |
| JP2002232828A (ja) | 映像ダイジェスト作成方法 | |
| CN112138407A (zh) | 一种信息展示方法及装置 | |
| JP4414254B2 (ja) | 映像コンテンツ重要度解析システム | |
| JP7100277B2 (ja) | データ処理システムおよびデータ処理方法 | |
| Keane et al. | Data-driven lowlight and highlight reel creation based on explainable temporal game models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040611 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080618 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080618 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120618 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |