JP5420199B2 - 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム - Google Patents

映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム Download PDF

Info

Publication number
JP5420199B2
JP5420199B2 JP2008158522A JP2008158522A JP5420199B2 JP 5420199 B2 JP5420199 B2 JP 5420199B2 JP 2008158522 A JP2008158522 A JP 2008158522A JP 2008158522 A JP2008158522 A JP 2008158522A JP 5420199 B2 JP5420199 B2 JP 5420199B2
Authority
JP
Japan
Prior art keywords
shot
motion information
reliability
region
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008158522A
Other languages
English (en)
Other versions
JP2008312215A (ja
Inventor
ウー,ウェイクオ
ヨシガハラ,タカユキ
ハン,ボー
フー,イーチュアン
Original Assignee
ソニー (チャイナ) リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー (チャイナ) リミテッド filed Critical ソニー (チャイナ) リミテッド
Publication of JP2008312215A publication Critical patent/JP2008312215A/ja
Application granted granted Critical
Publication of JP5420199B2 publication Critical patent/JP5420199B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像解析装置、映像解析方法、この映像解析装置を利用したダイジェスト自動作成システム及びダイジェスト自動作成システムに関する。
インターネット技術や放送、通信、娯楽、医療、教育などの分野におけるデジタル化技術の急速な発展により、膨大なマルチメディア情報から必要な情報だけを簡単で高速にアクセスできるようなニーズがますます高まってきている。その中でも、特に、ネットワークやホームサーバに蓄積されていた大量な映像コンテンツを効率的に管理し扱いたいといったニーズから、映像コンテンツの意味抽出と解析のための画像認識技術の研究開発が盛んに行われるようになっていた。
具体的な例としては、例えば、ハードディスク録画装置やデジタル家電が普及している中、観たいものだけを観る、録画しながら再生を楽しむなど、といった新しいライフスタイルに応じた楽しみ方を可能にするための「類似画像検索技術」や、デジタルカメラやデジタルビデオカメラ、及びインターネットの普及により、様々な画像や動画を簡単に編集し、自分のオリジィナルダイジェスト映像を作成し保存するための「ダイジェスト映像作成技術」などの研究開発が行われている。また、画像検索のニーズに応えるために、Google(登録商標)などによってキーワードを用いた画像検索技術の実用化も進められていた。他にも動画コンテンツを自由自在に閲覧することができるようなBrowsing技術やビジュアルコミュニケーションにおける意味的な「映像議事録」作成技術などの研究も行われていた。
しかし、キーワードを用いる画像検索技術では、必要なキーワードの付与には手間がかかり、同キーワードの画像が大量に存在する事態も発生しがちなため、実際に満足な検索結果が得られないのが現状である。更に、映像内のメタ情報を自動的に抽出し、それらのメタ情報を基に、欲しい画像コンテンツを見つけ出すといった検索技術や、自動的に「映像議事録」を作成する技術や、Browsing技術なども多く研究されているが、画像内の必要な特徴量を精度良く抽出し、ハイライト抽出を正しく行うことが容易ではないので、実際に利用可能な映像検索技術やダイジェスト作成技術やBrowsing技術が確立されていないのが現状である。
そこで、従来技術としては、上記のようなキーワードによる画像検索などではなく、人の直感的な感覚で映像コンテンツを扱えるように、より効率よく映像コンテンツを管理し取り扱うための一般的な映像解析技術が開発されていた(例えば特許文献1及び特許文献2参照。)。
特開2002−344872号公報 特開2006−54622号公報
しかしながら、特に、スポーツ映像内のハイライトの抽出及びダイジェストの作成について、カメラの高速な動きや、対象の高速な動きによって、背景のカラー分布特性が変化し、本来ショットチェンジ(Shot Change)でないものをショットカット(Shot Cut)として検出されたり、Long ShotとMedium Shotのカラー分布特性や注目領域特徴の変化が区別しにくく、本来ショットチェンジであるものを検出できなかったりするといったショットカット検出エラーが発生することが多い。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、カメラの高速な動きや対象の高速な動きによって、背景のカラー分布特性が変っても、ショットカットをロバストに検出することが可能な、新規かつ改良された映像解析装置及び映像解析方法を提供することにある。
また、本発明のもう一つの目的とするところは、Long ShotとMedium Shotが変っても、ショットカットをロバストに検出することが可能な、新規かつ改良された映像解析装置及び映像解析方法を提供することにある。
また、本発明のもう一つの目的とするところは、映像解析装置を利用して、
ダイジェストを自動に作成することが可能な、新規かつ改良されたダイジェスト自動作成システム、及び、ハイライトを自動に抽出することが可能な、新規かつ改良されたハイライト自動抽出システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、映像を読み込む映像読み込み手段と、上記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出手段と、上記注目領域内或いは上記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出手段と、画像内のカラー特徴と上記注目領域の上記対象特徴と動き情報とを用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出手段と、を含む、映像解析装置が提供される。
また、上記ショットカット検出手段による検出結果によって得られるショットを分類するショット分類手段を更に含んでもよい。
また、上記注目領域抽出手段は、予め学習したことによって得られる上記注目領域での画像特徴を利用して、上記各フレーム画像に上記注目領域が存在するか否かを判断してもよい。
また、上記注目領域の画像特徴は、HSVヒストグラムによってもよい。
また、上記注目領域抽出手段が上記注目領域を抽出した後に、上記対象特徴抽出手段は、自動的に上記注目領域内又は上記注目領域と隣接した領域内に、上記対象特徴を抽出してもよい。
また、信頼性を有した動き情報抽出手段を更に含み、上記ショットカット検出手段は、当該信頼性を有した動き情報抽出手段が算出した上記信頼性を有した動き情報を利用して、検出を行ってもよい。
また、上記ショットカット検出手段は、動き情報の信頼性の検出結果に基づいて、上記動き情報に2値化の信頼性モデルを付与してもよい。
また、上記ショットカット検出手段は、前後フレームの間の動き情報を算出して、上記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出してもよい。
また、上記ショットカット検出手段は、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得て、当該得られた整合評価値の上記二次曲面モデルへのフィッティングにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出してもよい。
また、上記ショットカット検出手段は、複数の動き情報の信頼性のモデルによって、動き情報の信頼性のパラメータを算出し、上記ショットカット検出手段は、上記動き情報の信頼性のモデル及び上記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、映像を読み込む映像読み込み工程と、上記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出工程と、上記注目領域内或いは上記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出工程と、画像内のカラー特徴と上記注目領域の上記対象特徴と動き情報を用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出工程と、を含む、映像解析方法が提供される。
また、検出されたショットカットによるショットを分類するショット分類工程を更に含んでもよい。
また、上記注目領域抽出工程において、予め学習したことによって得られる上記注目領域での画像特徴を利用して、上記各フレーム画像に上記注目領域が存在するか否かを判断してもよい。
また、上記注目領域の画像特徴は、HSVヒストグラムによってもよい。
また、上記注目領域抽出工程において上記注目領域を抽出した後に、上記対象特徴抽出工程において自動的に上記注目領域内又は上記注目領域と隣接した領域内に、上記対象特徴を抽出してもよい。
また、上記ショットカット検出工程において、信頼性を有した動き情報抽出工程を更に含み、上記ショットカット検出工程において、当該信頼性を有した動き情報抽出工程により算出した上記信頼性を有した動き情報を利用して、検出を行ってもよい。
また、上記ショットカット検出工程において、動き情報の信頼性の検出結果に基づいて、上記動き情報に2値化の信頼性モデルを付与してもよい。
また、上記ショットカット検出工程において、前後フレームの間の動き情報を算出して、上記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出してもよい。
また、上記ショットカット検出工程において、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得って、その得られた整合評価値の上記二次曲面モデルへフィッティングすることにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出してもよい。
また、上記ショットカット検出工程において、複数の動き情報の信頼性のモデルによって、上記動き情報の信頼性のパラメータを算出し、上記ショットカット検出工程において、上記動き情報の信頼性のモデル及び上記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、上記発明のいずれかに記載の映像解析装置と、上記映像解析装置による解析結果に基づいて、自動的にダイジェストを作成するダイジェスト自動作成手段と、を含む、ダイジェスト自動作成システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、上記発明のいずれかに記載の映像解析装置と、上記映像解析装置による解析結果に基づいて、自動的にハイライトを抽出するハイライト自動抽出手段と、を含む、ハイライト自動抽出システムが提供される。
以上説明したように本発明によれば、映像内の動き情報の信頼性を評価することにより、カラー分布特性や注目領域のサイズ特徴による検出エラーのショットカットを除去し、ショットカットの検出精度を向上させることができる。また、本発明によれば、映像内の特徴量を精度よく抽出し、ショットの分類を正しく行って、自動的にダイジェストを作成し、また、自動的にハイライトを抽出することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
インタネット又はホームサーバー等に記憶されている膨大な映像コンテンツを有効に制御し、かつ便利に処理するために、その動画コンテンツの解析と意味抽出、及びメタ情報の付与がますます重要になってきた。中には、スポーツ試合などの番組を解析し、そのスポーツ映像内のハイライト抽出とダイジェスト作成を実現するニーズが高まっているが、実際の現状は、そういうニーズを精度よく実現することができない。本発明の各実施形態は、このような点を鑑みなされたもので、動画解析の基本技術として、ショットカット検出技術を提案する。そして、本発明の各実施形態により、当該技術がスポーツ映像内のハイライト抽出とダイジェスト作成などに適用される。以下、サッカー試合を例として、本発明の各実施形態を説明する。なお、以下の実施形態は、本発明を限定するものではなく、本発明を説明するための最適な実施の形態だけである。本発明は、如何なる動画を解析することにも利用できることは言うまでもない。
一般的に、映像コンテンツによって画像特徴量の扱い方も大きく変わるので、本発明の各実施形態では、まず実際に良く利用される「映像解析」にフォーカスし、その映像内のハイライト抽出とダイジェスト作成を実現するための基本技術とフレームワークの開発を行う。具体的には、サッカー試合映像解析などにおいて、各フレーム画像内の画像特徴を解析し、予め学習によって得られた注目領域(例えば、サッカーフィールド)の画像特性(例えば、HSVヒストグラムモデル)を用いて、それらの画像内での注目領域の有無を判定すると共に、注目領域が存在しない場合には、場外(Outside)映像と判定するが、注目領域が存在する場合には、その領域をロバストに検出する。また、その注目領域及び画像内の色分布特性を統合したものを特徴量として、画像間の特徴量の相似性を評価し、特徴量が大きく異なる場合、ショットカットとして検出する。
一方、背景技術において説明したように、実際に応用する際に、カメラの高速な動きや対象の高速な動きによって、背景のカラー分布特性が変化し、本来ショットチェンジでないものをショットカットとして検出されたり、Long ShotとMedium Shotのカラー分布特性や注目領域特徴の変化が区別しにくく、本来ショットチェンジであるものを検出できなかったりすると言った「ショットカット検出エラー」が発生することが多い。
そこで、上記のようなショットカット検出ミスを低減して、ショットカット検出の精度を高めるために、上記の色分布特徴と注目領域のカラー特徴の他に、画像内の動き情報をも利用することにした。具体的には、
(1)前後フレーム間のブロックマッチングを用いて、誤差の評価値を算出し、
(2)それらの誤差評価値を用いて、2次曲面モデルによってフィッティング(Fitting)処理を行い、その2次曲面モデルのパラメータを推定する。
(3)それらのパラメータを事前に学習した結果と比較し、信頼できる動き情報だけを検出する。
(4)また、それらの信頼できる動き情報をある時間軸上の統計処理することによって、より信頼性の高い動き情報が検出される。
(5)それらの信頼性の高い動き情報を利用して、カラー分布特性と注目領域特徴によって誤検出されたショットカットを正しく検出せず、又は検出されなかったショットカットを正しく検出ことが可能となった。
(6)カメラの高速な動きや対象物の高速な動きに対して、その動き領域が画像の中心付近の位置に多く存在することを利用して、そのような動き領域を学習によって作成し、その動き領域を用いて、高速カメラ運動によるショットカット検出エラーなどを更に改善することができる。
そこで、カラー分布特性と注目領域の対象特徴及び動き情報とを用いてショットカットに対して検出を行う。2つの隣接するフレーム同士において、画像のカラー分布特性と注目領域の対象特徴及び動き情報を対比して、その対比結果が相似である場合、2つの隣接するフレーム同士における画像が同一のショットに属し、即ち、当該2つの隣接するフレーム同士の間に、ショットカットがないと判定する。なお、その対比結果が、2つの隣接するフレーム同士における画像のカラー分布特性、注目領域の対象特徴及び動き情報には、違いが存在していることを表す場合、上記のような2つのフレームの画像が異なるショットに属し、即ち、当該2つの隣接するフレーム同士の間に、ショットカットがあると判定すると共に、ショットカット検出のアプローチにより検出された各ショットカットに対して、注目領域内の対象特徴を用いて、それらのショットをLong Shot、Middle Shot、Zoom−Up Shot及びOutside Shotの4種類に分類する。なお、例えば、Long Shot、Middle Shot、Zoom−Up Shotは場内ショットであり、Outside Shotは場外ショットである。
更に、上記のような特徴量及びショットカット検出結果が映像内の説明情報として付加されることにより、本発明をサッカー試合のハイライト抽出とダイジェスト作成に応用することが可能になる。
以下、本発明の各実施形態について、図面を参照して説明する。
<第1実施形態の映像解析装置>
図1は、本発明の第1実施形態の映像解析装置のブロック図である。
図1に示すように、映像解析装置100は、サッカー試合中、試合の映像シーケンスを読み込む映像読み込み手段110と、読み込まれた映像の各フレームの画像から、例えばサッカー試合のフィールドのような「注目領域」を抽出する注目領域抽出手段120と、注目領域内又は隣接する領域内において、例えば、サッカー試合中の選手の顔、ゴールゲット(ゴールの枠)、ボール、コーナー位置、プレイフィールド及びその輪郭等のような「対象特徴」を抽出する対象特徴抽出手段130と、画像内のカラー特徴と注目領域の対象特徴と動き情報を用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出手段140と、を含む。
注目領域抽出手段120は、予め学習によって得られた注目領域の画像特徴を利用して、各フレーム内の注目領域(例えば、サッカー試合のプレーフィールド)の有無を判定する。注目領域抽出手段120が注目領域を抽出した後、対象特徴抽出手段130が注目領域内又はその隣接する領域内において、自動的に対象特徴を抽出する。注目領域における画像特徴はHSVヒストグラムモデルによるものである。
<第2実施形態の映像解析装置>
図2は、本発明の第2実施形態の映像解析装置のブロック図である。
図2に示すように、映像解析装置200は、映像読み込み手段210と、注目領域抽出手段220と、対象特徴抽出手段230と、ショットカット検出手段240と、信頼性を有した動き情報抽出手段250と、ショット分類手段260とを含む。ここで、映像読み込み手段210、注目領域抽出手段220及び対象特徴抽出手段230は、第1実施形態における映像読み込み手段110、注目領域抽出手段120及び対象特徴抽出手段130と同じ機能を果たしているので、ここで、その説明を省略する。また、当該ショットカット検出手段240は、画像内のカラー特徴と注目領域の対象特徴とを用いるフレーム間の画像特徴の違いを利用してショットカットを検出する第1のショットカット検出手段242と、画像の動き情報を用いるフレーム間の画像特徴の違いを利用してショットカットを検出する第2のショットカット検出手段244と、を含む。
また、映像解析装置は、更に信頼性を有した動き情報抽出手段250を含む。ショットカット検出手段240(第2のショットカット検出手段244)は、当該信頼性を有した動き情報抽出手段250により算出された「信頼性を有した動き情報」を利用して検出を行う。なお、図2では、情報の流れに対してショットカット検出手段240の後に信頼性を有した動き情報抽出手段250が配置される構成を示しているが、上記の場合には、信頼性を有した動き情報抽出手段250が、ショットカット検出手段240よりも前に配置されてもよい。
第1のショットカット検出手段242と第2のショットカット検出手段244が、順次に動作してもよく、同時に動作してもよい。第1のショットカット検出手段242と第2のショットカット検出手段244が、同時に動作する場合、ショットカット検出手段240では、画像内のカラー特徴と注目領域の対象特徴と動き情報とを用いるフレーム間の画像特徴の違いを同時に利用してショットカットを検出し、前後フレーム間に、それらの特徴が相似するものを同一のショットとし、逆にそれらの特徴の違いが比較的に大きいである場合、異なるショットとして検出する。
ショット分類手段260は、ショットカット検出手段240の検出結果を利用して得られた各ショットに対して、カラー特徴(サッカー試合の場合、プレーフィールドの緑色)による注目領域の有無を判定し、当該注目領域が存在しない場合には、そのショットを場外とし、当該注目領域が存在する場合には、その注目領域内の対象特徴を用いて、場内ショット中のLong Shot、Middle Shot 、 Zoom Up Shotの何れかとして分類する。
図1及び図2における各手段は、それぞれ独立のハードウェアーであってもよく、それらを幾つかのユニートに併合させてもよい。更に、制御プログラムによるソフトウェア処理として実現させてもよい。
<一実施形態の映像解析方法>
図3は、本発明の一実施形態の映像解析方法のフローチャートを示す。
図3に示すように、まず、サッカー試合における、ビデオ画像、ニュース画像或いは映画・テレビ画像等の映像を読み込み(ステップS301)、映像の各フレームの画像から注目領域を抽出する。例えば、サッカー試合中、予め学習によって得られた注目のプレイフィールドの画像特徴モデル(HSV(Hue、Saturation、Value)ヒストグラム、HSVはカラーモデルを示す。Hueが色相であり、Saturationが彩度であり、Valueが明るさである。)を利用して、映像内の注目領域であるプレイフィールドの有無を判定する(ステップS302)。プレイフィールドが存在する場合には、その注目領域を抽出する(ステップS303)。プレイフィールドが存在しない場合には、ステップS301に戻す。そして、ステップS303が処理された場合、そのプレイフィールドの内部又は隣接する領域において、対象特徴を抽出する(ステップS304)。その後に、カラー特徴と注目領域の対象特徴と動き情報を用いるフレーム間の違いを利用して、ショットカットを検出する(ステップS305)。抽出された各ショット内部の画像特徴を利用して、例えば、サッカー試合の場合、当該ショット内において緑色によるプレイフィールドの有無を判定する。当該ショット内において、プレイフィールドが存在しない場合には、当該ショットを場外ショットとし、当該ショット内においてプレイフィールドが存在する場合には、当該ショットを「Long Shot」、「Middle Shot」、「Zoom Up Shot」の何れかとして分類する(ステップS306)。次に、ショットカット検出ステップS305によって得られた検出結果と、ショット分類ステップS306によって得られた分類結果に基づいて、ダイジェスト作成及びハイライト抽出を行う(ステップS307)。
<注目領域等の検出・抽出>
図4は、本実施形態の映像解析方法における注目領域・対象特徴の検出・抽出の例を説明する説明図である。図4(a)は、サッカー試合映像内のプレイフィールドの検出例を示す。図4(b)は、当該プレイフィールドの内部又は隣接する領域における画像特徴及び対象特徴の例を示す。
図4(a)に示すように、図4(a)(a.1)及び図4(a)(a.3)は、入力画像を示し、図4(a)(a.2)及び図4(a)(a.4)は、プレイフィールド検出例を示す。図4(a)(a.2)及び図4(a)(a.4)では、プレイフィールドが注目領域として検出され抽出されている。
また、図4(b)に示すように、図4(b)における対象特徴は、図4(b)(b.1)に示す選手、特に選手の顔と、図4(b)(b.2)に示すゴールゲット領域と、図4(b)(b.3)に示すボール及びコーナー位置と、図4(b)(b.4)に示すプレイフィールドと、を含む。当然、対象特徴は、それ以外の特徴、例えば、プレイフィールドの輪郭等を含んでもよい。この例のようは対象特徴が抽出される。
図5(a)及び図5(b)は、サッカーなどのスポーツ映像の注目プレイフィールドを検出するために、使われる3D HSVヒストグラム特徴を示す。図5(a)は、幾つかのサッカー試合における代表的なサンプル画像を示し、図5(b)は、それらの画像の3D HSVヒストグラムをそれぞれの1Dに射影したグラフを示す。図5(a)における三つの画像はそれぞれ「Long Shot」、「Middle Shot」、「Zoom Up Shot」の3つのサンプル画像である。
図6は、様々なサッカー試合映像から集められたサンプル画像(日中・夕方・夜といった様々な時間と、晴れ・曇り・雨といった様々な天気での画像)の3D HSVヒストグラム特徴に基づいて解析して、統計処理によって、得られた統計データの結果を示す。
例えば、注目されるプレイフィールド領域でのHSVの可変範囲は、それぞれH[22、68]、S[32、255]、V[64、175]となり、また、そのレンジ幅は、最大でH:16、S:128、V:64となる。つまり、試合の時間帯や気候などによって、プレイフィールド領域でのHSV平均値が変わるが、その分散値がほぼH:16、S:128、V:64の中に抑えられることが判明した。このようなHSV特徴を利用して、プレイフィールドをロバストに検出することが可能となる。
図7(a)は、今回3D HSVヒストグラムの統計的モデルを求めるために、実際に使用した、主要カラー(例えば、サッカー場の芝生の緑色)が異なるトレーニング用画像例を示す。この図7(a)の4枚の画像例では、例えばプレイフィールド領域のカラーがそれぞれ異なっており、このようなトレーニング用画像例によりHSVモデルの学習が行われる。その学習が行われたHSVモデルによる検出結果を図7(b)に示す。図7(b)は、プレイフィールド検出結果例を示す図面である。図7(b)の上段の4枚の画像例が、検出を行った画像で、図7(b)の下段の4枚の画像例が、検出結果である。図7(b)の下段の4枚の画像例では、適切にプレイフィールドのみが検出されている。この結果から分かるように、カラー特徴が異なる様々なトレニングサンプル画像をHSVモデルの学習に用いることにより、様々な照明条件でのプレイフィールド(注目領域)を正しく検出することができる。
図8(a)〜図8(c)は、上記のHSVヒストグラムモデルを利用した、注目領域であるプレイフィールド検出結果を示す。図8(a)は、上記のHSVヒストグラムモデルを用いる注目のプレイフィールドの検出手法を示す。
図8(a)に示すように、当該検出手法は、以下のような工程を含む。
即ち、フレームサンプリング、圧縮された三次元ヒストグラムのピークのサーチ、一次元ローカルヒストグラム(1D local histogram)のピラミッドサーチ(pyramid searching)、主要カラーの分割、ノイズを低減するためのフィルター処理である。そこで、処理速度向上と画像内ノイズ除去のため、入力画像の解像度を低減した。また、照明変化の影響を低減させ、検出処理のロバスト性を向上させるため、HSVのそれぞれの成分の解像度を8Bitから2〜3Bitに圧縮した。その後、それぞれのHSV成分のピークを検出し、それをHSVの中心値(平均値)とし、前述のHSVの分散値を適用することによって、注目のプレイフィールドをロバストに検出することが可能となる。図8(b)では、画像サンプリングを示し、図8(c)では、主要カラー領域の検出結果を示す。図8(b)及び図8(c)では、本手法によって検出された、異なる照明環境におけるプレイフィールドの例を示す。この結果から、様々な照明環境において、注目のプレイフィールドをロバストでリアルタイムに検出することができることが判る。
また、プレイフィールド内の直線等を除去するため、後処理(ノイズを除去するフィルタ処理)を行ってもよい。図9は、その実験結果を示す。図9(a1)及び9(b1)は、画像サンプリングを示し、図9(a2)及び9(b2)は、主要カラー領域の分割を示し、図9(a3)及び9(b3)は、フィルタ結果を示す。これらの結果から、以下のことが分かる。即ち、注目プレイフィールドを検出することによって、当該プレイフィールド内部及び隣接する領域における対象特徴(選手、ペナルティー・キック領域、直線、コーナー位置等)を抽出することが可能となる。
<画像特徴/対象特徴の抽出>
以下、プレイフィールド内部及び隣接する領域における画像特徴/対象特徴の抽出手法を説明する。
図10は、注目プレイフィールド内部に対象(選手)がいる場合の対象特徴を示す。ここで、式(1)では、注目プレイフィールドの画素M(i、j)を示す。
また、式(2)におけるP(i)、P(j)では、それぞれ水平方向、垂直方向の対象特徴を示す。
ここで、HとWは、それぞれYとX方向における画像のサイズを示す。
その特徴量について、P(j)が大きくなって、P(i)が小さくなった場合、プレイフィールド内部に大きな対象(人物)がいることを意味する。また、P(j)が小さくなった、或いはP(i)が大きくなった場合、プレイフィールド内部に小さな対象(人物)がいることを意味する。
図11は、注目プレイフィールドの境界とその直線との角度及び交差位置の検出手法を示す。まず、その境界の位置B(i)を検出する。次に、横方向において、その幅W画素の境界を30部分に分割し、低解像度化を行って、その低解像度の画像における各画素位置上の角度A(i)を求める。その目的は、境界付近の人物、図形等の影響(ノイズ)を低減することである。そして、以下の式(3)により、左及び右の角度A(n)とA(n)(n=1、2、……、30)の2段(class)角度を算出し、また、それぞれの分散値D(n)とD(n)をも算出する。この場合、以下の式における最小のNを左・右との両直線の交差位置とする。最後に、画素位置Nにおける角度A(n)とA(n)の差が10度以上である場合、両直線を検出し、その交差位置をコーナー位置とする(実験結果を参照)。
図12は、ゴールゲット検出手法を示す。
順次に、主要カラー領域の検出、プレイフィールド境界の検出、垂直方向の白線検出、水平方向の白線検出、ゴールゲットの意味(semantic)規則(プレイ規則中、ゴールに関する規定)を利用するゴールゲット検出という工程を含む。上記のように検出された注目プレイフィールドに対して、当該プレイフィールドに接する垂直方向上の白線を検出する。従って、縦方向において、平行する二本の直線が検出された場合、当該平行直線に囲まれた領域内に水平方向上の白線の有無を確認する。縦方向において、平行する二本の直線(つまりゴールポスト)が検出され、かつ横方向において、一本の白線(つまりクロスバー)が検出された場合、それをゴールゲット(ゴールの枠)の候補として処理する。
図13は、ゴールゲットの意味規則を利用するゴールゲット検出を示す。
図13に示すように、ゴールゲットの意味規則(即ち、ゴールゲットの縦柱の高さと横柱の長さ、及び横柱の長さとプレイフィールドの幅の間の比率関係)を利用して、ゴールゲットを正しく検出できる。
図14(a)及び図14(b)は、上記のような手法で検出されたゴールゲットの結果を示す。図14(a)は、画像サンプリングを示し、図14(b)は、ゴールゲット検出結果を示す。図14(a)及び図14(b)に示すように、複雑な背景があるとしても、ゴールゲットをロバストに検出できる。
図15は、注目プレイフィールド内部のコーナー位置の検出手法及びその結果を示す。コーナー位置検出には、図11の境界検出手法と同様な手法を利用することができる。
図16(a)〜図16(f)は、他の対象特徴に対する抽出例を示す。
図16に示すように、図16(a)、(b)、(c)では、それぞれ注目プレイフィールド内部の選手領域(カラー)、グラフィックス領域、ゴール(繰り返し)の検出例を示す。また、図16(d)、(e)、(f)では、それぞれレフェリー(カラー)、選手動作、監督(顔)等の検出例を示す。
<ショットカット検出>
図17は、ショットカットの種類を示す。
通常、ショットカットには、ハードカット(hard cut)、フェードイン/フェードアウトカット、グラフィックスワイパーカット(graphics wiper cut)という3種類が含まれる。ハードカットは、通常1〜2などの数フレームの間にショットが変わるので、その変化は検出しやすいが、フェードイン/エードアウト、グラフィックスワイパーカットは、10〜30などの数十フレームの間にショットが変わるので、そのショット変化を正しく検出するのが容易ではない。例えば、本実施形態におけるハードカットは、大体1フレームの間に切り替え、フェードイン/エードアウトカットは、大体15フレームの間に切り替え、グラフィックスワイパーカットは、大体30フレーム毎に切り替える。
図18は、本発明の各実施形態のショットカット検出に利用される特徴量を示す。
ここで、ショットカットを正しく検出するために、
(1)ビデオカメラに対して、画像内の選手の運動及び水平移動に対する信頼性を保持すると共に、
(2)画像内のカラー特徴分布に対して、鋭敏に検出することが、必要である。
そこで、(1)の水平方向の画像特徴変化の信頼性を実現させ、かつ、(2)の画像内のカラー特徴変化を検出するために、まず、図18に示すように、領域を幾つかの部分に分割することにより、各フレーム間の違いを正しくかつ有効に検出できる。例えば、実施例において、2:5:3との比率で分割を行った後、各領域毎に、カラー分布特徴量として上記のような三次元HSV分布を算出する。本実施形態では、カラー分布特徴を用いているが、カラーのRGB特徴、カラーの絶対値特徴等を用いてもよい。また、画像内のノイズ等に対する信頼性を高めるために、それぞれ2ビットでHSVの各成分を示し、6ビットのカラー特徴量で全体のHSV分布特徴を示すことにする。そして、各フレーム間の違いを示す一つの特徴として、以下の式(4)に示す特徴量が用いられる。
ここで、H(i)は6ビットのHSV分布特徴を示し、Δは数フレーム前の特徴量との間の違いが算出されたか否かを示す定数である。この式の算出結果が、所定の閾値T1より大きい場合には、異なるショットとして検出される。なお、動き映像を統計して閾値T1が求められる。
また、サッカー試合のようなスポーツ映像において、注目領域特徴を利用することにより、ショットカットをもっとロバストに検出できる。ここで、上記R2領域(即ち、図18の画像中心部の領域)内の注目カラー特徴を兼用することにする。まず、R2領域内の注目カラー領域の有無を判定し、当該注目カラー領域の比率が50%以上占める場合、ショットカット検出の第2特徴量として利用する。この場合、以下の式(5)により、時刻tと時刻(t−Δ)のR2領域内の注目カラー領域の違いを算出する。その違いが所定の閾値T2より大きい場合には、異なるショットとして検出される。なお、動き映像から統計的に閾値T1が求められる。
図19は、ショットカット検出算出方法のフローチャートを示す。
上記のように、現在時刻の、6ビットで示されるHSV分布H(i)を算出して、(t−Δ)時刻のHSV分布Ht−Δ(i)との間の違いを算出する。その違いが閾値T1より大きいである場合、ショットカットとして検出される。でなければ、R2領域内の注目カラー領域(サッカー試合の場合、緑色のプレイフィールド)を検出し、当該領域のサイズがR2領域の50%を超えた場合、現在時刻tと時刻(t−Δ)との領域サイズの違いを算出する。その違いが閾値T2より大きいである場合、ショットカットとして検出される。
図20は、ショットカット検出の実施例を示す。
各領域R1、R2、R3におけるHSV分散の違い、及びR2領域内の注目カラー(緑色領域)の違いを評価することにより、ショットカット検出が可能になる。例えば、上記のDC特徴、RH特徴、MV特徴を用いて、ショットカット検出のためのSVM分類器を学習し、その学習されたSVMによってショットカットを検出する。
図21(a)に示すように、ビデオカメラが高速運動する場合、本来同一ショットである内容が背景領域の変化により、前後フレーム間のカラー特徴が著しく変化するので、ショットチェンジとして検出される「検出エラー」が発生することが多い。即ち、ショットチェンジではないのに、ショットチェンジとして検出されてしまうことになる。
逆に、図21(b)に示すショットチェンジの例において、前後フレーム間のカラー特徴と、注目領域(緑色プレイフィールド)の変化は、それほど大きくないので、本来異なるショットであるものを同一ショットとして判定されてしまう「検出エラー」が発生することが多い。即ち、ショットチェンジが起きたのに、ショットチェンジとして検出されない。
そこで、上記のような「検出ミス(誤検出)」と「検出エラー」を低減するために、動き情報を利用するショット検出手法を提案した。図22は、当該手法の詳細な工程を示す。
図22は、ショットカット検出の例(統一的に確認する場合の例)を示す。
まず、前記カラー特徴及び注目領域特徴を利用した手法により、カラー特徴及び注目領域特徴による第1のショットカット検出を行う(S2201)。そして、動き情報による第2のショットカット検出を行う(S2202)。更に、第1のショットカット検出と第2のショットカット検出による検出結果に基づいて、ショットカットを判定する(S2203)。表1は、図22のステップS2203における判定を説明するものである。
上記のように、カラー特徴及び注目領域特徴を利用したショットカット検出を行う時に、図22に示すように、ショットカットを検出した後、動き情報を利用して検出ミス(検出エラー)を判定してもよく、毎回ショット検出をする際に判定してもよい。更に、毎回ショットカット検出をする際に判定してもよい。各ショットに対してそれぞれ行った処理の具体的工程は、以下のとおりである。
ステップB1:ショットkに対して、カラー特徴及び注目領域を利用した第1のショットカット検出を行う。
ステップB2:ステップB1での検出結果とその前のショット(k−1)とは、同一ショットカットであるか否か(ショット(k−1)とショットkとの間にショットチェンジがあるか否か)を判定する。
上記ステップB2での判定結果は「YES」である場合、ステップB3−1を行う。即ち、動き情報を利用した第2のショットカット検出により、ショット(k−1)とショットkとの間にショットチェンジがないかを判定する。上記ステップB2での判定結果は「NO」である場合、ステップB3−2を行う。即ち、動き情報を利用した第2のショットカット検出により、ショット(k−1)とショットkとの間にショットチェンジがあるかを判定する。
ステップB3−1とステップB3−2の処理を行った後、更に、読み込まされた映像のすべてのショットに対してショットカット検出を行ったか否かを判定する。判定結果は、「YES」である場合、操作が完了する。さもないと、k=k+1となり、ステップB1に戻す。
以下、図22に示す統一処理の二つの具体的実施例を模式的に示す。
(例1)
S2201でのカラー特徴及び注目領域による検出結果は、ショットカット#1(ショット(Shot)1、2、…、6からなる)のみがLong Shotとして検出された場合、S2202により、動き情報を利用してショット1〜6の間に本当にショットチェンジ(ショットカットチェンジ)がないかを判定する。
(例2)
S2201でのカラー特徴及び注目領域を利用した検出結果は、ショットカット#1(ショット1、2、3からなる)がLong Shotとし、ショットカット#2(ショット4、5、6からなる)がMiddle Shotとし、及びショットカット#3(ショット7、8、9からなる)がLong Shotとするという三つの異なるショットカットが検出された場合、S2202により、動き情報を利用して、ショット3とショット4との間、及び、ショット6とショット7との間に、ショットチェンジがあるか否かを判定する(上記ステップB3−2に相当する)。ショットチェンジがない場合、それが直前のショットと同一ショットカットと見なされる。そして、ショット1〜3の間、ショット4〜6の間、ショット7〜9の間のそれぞれに、本当にショットチェンジがないかを判定する(上記ステップB3−1に相当する)。ショットチェンジがある場合、複数のショットに分割してショットカットを行う。
S2202の処理により、ショットチェンジがあるか否かを判定する工程について、前後の順序がなくてもよい。
上記のステップB3−2に相当する確認が行われた場合、複数のショットカットに分割されたショットに対して、上記のステップB3−1に相当する判定を行う必要がなくなる。
上記のステップB3−1に相当する確認が行われた場合、その直前のショットと同一のショットカットとして合成されたショットに対して、上記のステップB3−2に相当する判定を行う必要がなくなる。
以下、各ショットに対して個別に処理する具体的実施例を模式的に示す。
(例3)
ステップB1でのカラー特徴及び注目領域を利用した検出結果は、ショットカット#1(ショット1、2、3からなる)がLong Shotとし、ショットカット#2(ショット4、5、6からなる)がMiddle Shotとするという二つの異なるショットカットが検出された場合、ショット1の直後にショット2を検出した時点(k=2)で、ステップB3−1により、動き特徴を利用して、ショットチェンジがないかを判定する。
ショット2の直後にショット3を検出した時点(k=3)でも、同様にステップB3−1の処理を行う。
ショット4について、異なるショットカットとして判定されたので、ショット3の直後にショット4を検出した時点(k=4)で、ステップB3−2により、動き特徴を利用して、ショットチェンジの判定が正しいか否かを確認する。
ショット4の直後にショット5を検出した時点(k=5)、及びショット5の直後にショット6を検出した時点(k=6)で、ステップB3−1の処理を行う。
ステップB3−1において、ショットチェンジがない(ステップB1での検出結果と同一)場合、当該ショットは、その前の状態と検出されたその直前のショットとを同一ショットカットとするように保存される。
ステップB3−1において、ショットチェンジがある(ステップB1での検出結果と異なる)場合、当該ショットにおけるショットカットが検出され、かつ複数のショットに分割される(その結果、Long ShotとMiddle Shotの混在による検出エラーにより、ショットカット検出漏れになることが改善できる)。
ステップB3−2において、ショットチェンジがある(ステップB1での検出結果と同一)場合、当該ショットは、その前の状態と検出されたその直前のショットとを同一ショットカットとするように保存される。
ステップB3−1において、ショットチェンジがない(ステップB1での検出結果と異なる)場合、当該ショットと検出されたその直前のショットとを同一のショットカットとして処理する(その結果、カメラの高速運動及び画像がはっきりしていない等により、ショットカットの検出エラーになることが改善できる)。
図23は、上記カラー特徴及び注目領域特徴を利用したショットカット検出方法による検出ミスに対して、動き情報の信頼性評価を利用するショットカット検出方法が用いられることを示す。まず、前後フレーム間の動き情報の評価に基づいて、画像内動き情報の「信頼性評価用パラメータ(x,y)」を推定する(S2301)。次に、統計データによって得られる動き情報信頼性判定器を用いて、信頼性動き領域マスク作成(MMV)を行う(S2302)。そして、更に、人物を含む画像が学習データとして用いられ、これらの学習データにより得られた画像内の人物動きの発生頻度を示す「動き情報の重み(weight)WMv」、及び上記の「信頼性を有した動き領域マスクMMV」を利用して、以下の式(6)のように、一定の時間間隔内の動き信頼性評価値Fを算出する(S2303)。最後に、統計データの動き信頼性評価値を利用した学習結果により、現在のショットカットは検出エラーであるか否かを判定できる(S2304)。
<情報信頼性評価>
図24は、前後フレーム間の動き情報から画像内の動き情報の「信頼性評価用パラメータ(x,y)」を推定する手法を示す。必要(例えば、計算の高速化のため)に応じて、入力された画像から低解像度画像を作成する(S2401)。そして、画像内のすべての画素(i,j)に対し、サイズが一定にされた(例えば、16×16)ブロックをモデルとして(S2402)、その前のフレームの画像内において同じ領域をサーチする(例えば、サーチされる領域は、32×32である)(S2403)。また、SAD評価値(Dss)を利用してサーチする時のエラー評価を行う。以下の式(7)は、Dssの算出方法を示す。サーチ領域内の各画素位置(XMV,YMV)の評価値(Dss)を利用して、下記の二次曲面モデルをフィッティングさせ、当該モデルのパラメータ(a,b,c)を算出する。最後に、x=(a×b)1/2、y=cにより、パラメータ(a,b,c)を(x,y)へ変換させ、当該(x,y)を動き情報信頼性評価の特徴量とする(S2404)。
図25(a)は、上記動き情報信頼性評価の特徴量(x,y)を利用して、信頼できる動き領域のマスク(信頼性スクリーン)MMVを作成する過程を示す。ここで、特徴量(x,y)を利用して、信頼できる動き情報として判定された場合、マスクMMVの値を1とする。また、統計データを利用した学習により、信頼性判断するための判定器が得られる。図25(b)は完成されたマスクMMVの例を示す。
図26(a)及び26(b)は、人物に動きのあるカットの検出エラーを除去する動き信頼性画像WMvの推測手法を示す。通常、大きく映っている場合、移動カメラにより選手を映すシーンに対して、ショットカットの検出エラーが発生することが多い。これに対して、更に検出エラー率を低減させるために、これらの映像シーンを学習データとして、上記のように得られた動き情報の信頼性マスクにより、画像内の人物動き特徴の動き信頼度画像WMvを作成できる。図26(a)に示すように、まず、MMVマスク(0、1の2値画像)を生成し(S2601)、下記式(7ー1)を算出する(S2602)。次に、すべての学習データが完成されたか否かを判定する(S2603)。完成された場合、信頼性画像WMV、下記式(7−2)を算出する(S2604)。でなければ、ステップS2601に戻す。図26(b)はWMVの例を示す。
MVの算出方法は以下のとおりである。
即ち、カメラパネルにおける人物のある画像だけを収集して、同様な手法で動きの信頼度を算出して、信頼度のある動き領域をマスクとする。その結果は、画面の中央付近に人物が現れる状況が多い(統計処理により得られた結果)ので、図26(b)に示すように、画面の中央部付近において、信頼度のある動き領域が存在するようなマスクを作成する。
最終的に、上記のような動き信頼性マスクMMV及び信頼度画像WMVを利用して、以下の式(式(8))のように、信頼性評価値Fを算出し、当該評価値を特徴としてショットカットの検出エラーの有無を判定することが可能になる。ここで、ショットカットの検出エラーの有無を判定する閾値Thd01は学習データにより得られた値である。
ここまでは、ショット検出エラーを除去する手法を説明した。
図27は、上記のような動き情報を用いて、カラー特徴及び注目領域特徴を利用して検出できないショット検出ミスの改善手法を示す。
図23と同様に、まず、動き情報信頼性評価パラメータ(x,y)を推測し(S2701)、動き情報信頼性判定器の信頼できる動き領域マスク(MMV)を作成する(S2702)。そして、式(9)に示すように、特徴量Fとして、マスクMMVの信頼できる動き情報の比率(0〜100%)を算出する(S2703)。更に、特徴量が検出ミスを判定する閾値Thd02より小さいかを判定する(S2704)。当該特徴量が検出ミスを判定する閾値Thd02より小さい場合、ショットカットの検出ミスとして判定される。でなければ、検出ミス無しとして判定される。
ここで、検出エラーの有無を判定する閾値Thd02は学習データにより得られた値である。
図28は、学習データにより得られた動き情報を利用した信頼性識別器で、上記のような動き情報信頼性評価の特徴値(x,y)を推測する時の信頼性評価値を示す。
図29は、上記のような手法で実際の画像内において、信頼性を有した動き領域を検出した検出結果を示す。その結果から分かるように、人物の動き情報が信頼性の高いものとし、カメラの運動による背景変化が動きの信頼性の低いものとして判定される。
図30において、ここまでのカラー特徴を利用したショットカット検出手法により検出できない「検出エラー」に対して、動き情報の信頼性評価に基づいて、動き信頼性マスクMMVの信頼できる動き情報の比率を特徴とする特徴量Fを用い、「検出エラー」のショットカットを正しく検出できる。
図31(a)〜31(c)は、上記のような手法で検出されたショットカットの結果を示す。図31(a)は、検出エラーを示す(カメラの高速な動き)。図31(b)は、一歩一歩と(徐々に)ショットカットすることを示す(画像削除)。図31(c)は、一歩一歩とショットカットすることを示す(ショット分解)。図31(a)において、カラー特徴を利用して、誤検出されたショットカットに対して、本手法の動き情報の信頼性評価を利用して、その検出エラーを除去できる。また、図31(b)、31(c)において、カラー特徴を利用して検出されたショットカットに対して、本手法の動き情報の信頼性評価を利用しても、正確なショットカットと判定されている。
図32において、カメラの高速運動により発生された検出エラーに対して、学習データにより得られた識別閾値及び本発明に提案された特徴量Fを用いて、これらの検出エラーを除去できることが確認される。
上記のような手法で映像内の各ショットカットを検出して、更に各ショットの類型(通常、Long Shot、Middle Shot、Zoom Up Shot、Outside Shotとの四種類に分けられる)を識別し、これらのショット間の前後の関連特性、ショット内部の各フレーム画像間の特徴の関連性(視野(View)の位置、動き方向)、及び各フレーム映像内の対象特徴(例えば、ゴールゲット、コーナー位置、選手等)により、コーナーキック、フリーキック、ゴールキック等の素晴らしいシーンが検出できる。
<効果の例>
本発明の各実施形態の技術効果は、以下の通りである。
(1)本発明の各実施形態では、カラー分布特徴を利用して、注目カラー領域をロバストに検出することにより、サッカー試合などのスポーツ映像内の対象及びショットカットが検出される。そして、これらの結果をメタ情報として付加することにより、映像内容の自動解析が可能になる。
(2)カメラの水平動きに対する人物の水平動きの信頼性を向上させるために、画像全体を複数の領域に分割し、各領域内のカラー分布特徴及び注目領域のサイズ特徴を利用することにより、精度よくショットカット検出できる。
(3)更に、画像内の動き情報の信頼性を評価することにより、上記(2)における、カラー分布特徴及び注目領域のサイズ特徴で検出できないショットカット等をより精度よく検出できる。
(4)また、画像内の動き情報の信頼性を評価することにより、上記(2)における、カラー分布特徴及び注目領域のサイズ特徴で誤検出されたショットカットを除去でき、ショットカットの検出精度を向上することが可能になる。
(5)画像内の対象検出結果及び高精度のショットカット検出結果を利用して、最終的には、ハイライト抽出とダイジェストを自動的に作成することが実現できる。
(6)本発明の各実施形態では、カラー分布特徴、注目領域のカラー特徴及び動き特徴を同時に利用することにより、サッカー試合などのスポーツ映像のショットカットが検出できる。
注目領域内の対象特徴を利用して、各ショットカットの分類を行うことができる。
なお、本発明の各実施形態は、本技術構想の範囲内で、種々、変形して実施することが可能である。
上記の内容は、本発明の最適な実施の形態だけであり、本発明を限定するものではない。当該技術分野の技術者にとって、その要旨を逸脱しない範囲で、種々、変更し、等価置換、改良して実施することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。
本発明の第1実施形態の映像解析装置のブロック図である。 本発明の第2実施形態の映像解析装置のブロック図である。 本発明の一実施形態に係る映像解析方法のフローチャートである。 同実施形態の映像解析方法における注目領域・対象特徴の検出・抽出の例を説明する説明図である。 サッカーなどのスポーツ映像の注目プレイフィールドを検出するために使われる3D HSVヒストグラム特徴を説明する説明図である。 様々なサッカー試合映像から集められたサンプル画像を示す。 3D HSVヒストグラムの統計的モデルを説明する説明図である。 上記のHSVヒストグラムモデルを用いて、注目のプレイフィールド検出結果を説明する説明図である。 ノイズを除去するフィルタ処理の実験結果を説明する説明図である。 注目プレイフィールド内部に対象(選手)がいる場合の対象特徴を説明する説明図である。 注目プレイフィールドの境界とその直線との角度及び交差位置の検出手法を説明する説明図である。 ゴールゲット検出手法を説明する説明図である。 ゴールゲットの意味(semantic)規則を利用するゴールゲット検出を説明する説明図である。 上記のような手法で検出されたゴールゲットの結果を説明する説明図である。 注目プレイフィールド内部のコーナー位置の検出手法及びその結果を説明する説明図である。 他の対象特徴に対する抽出例を説明する説明図である。 ショットカットの種類を説明する説明図である。 本発明のショットカット検出に利用される特徴量を説明する説明図である。 ショットカット検出算出法のフローチャートを説明する説明図である。 ショットカット検出の実施例を説明する説明図である。 ショットカット検出における検出エラーの例を説明する説明図である。 ショットカット検出の例(統一的に確認する場合の例)を説明する説明図である。 動き情報の信頼性評価を利用したショットカット検出手法を説明する説明図である。 前後フレーム間の動き情報から画像内の動き情報の「信頼性評価用パラメータ(x,y)」を推定するフローチャートである。 上記動き情報信頼性評価を利用した信頼できる動き領域のマスク(信頼性スクリーン)MMVの例を説明する説明図である。 動き信頼性画像WMvの推測手法を説明する説明図である。 カラー特徴及び注目領域特徴を利用して検出できないショット検出エラーの改善手法を説明する説明図である。 学習データにより得られた動き情報を利用した信頼性識別器の信頼性評価値を説明する説明図である。 上記のような手法で実際の画像内において、信頼性を有した動き領域を検出した検出結果を説明する説明図である。 「検出エラー」のショットカットを正しく検出したことを説明する説明図である。 上記のような手法で検出されたショットカットの結果を説明する説明図である。 学習データにより得られた識別閾値及び特徴量を用いて、これらの検出エラーを除去できることが確認されることを説明する説明図である。
符号の説明
100,200 映像解析装置
110,210 映像読み取り手段
120,220 注目領域抽出手段
130,230 対象特徴抽出手段
140,240 ショットカット検出手段
242 第1のショットカット検出手段
244 第2のショットカット検出手段
250 信頼性を有した動き情報抽出手段
260 ショット分類手段

Claims (18)

  1. 映像を読み込む映像読み込み手段と、
    前記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出手段と、
    前記注目領域内或いは前記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出手段と、
    画像内のカラー特徴と前記注目領域の前記対象特徴と動き情報とを用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出手段と、
    信頼性を有した動き情報抽出手段とを含み、
    前記ショットカット検出手段は、当該信頼性を有した動き情報抽出手段が算出した前記信頼性を有した動き情報を利用して、検出を行い、
    前記ショットカット検出手段は、動き情報の信頼性の検出結果に基づいて、前記動き情報に2値化の信頼性モデルを付与する、映像解析装置。
  2. 前記ショットカット検出手段による検出結果によって得られるショットを分類するショット分類手段を更に含む、請求項1に記載の映像解析装置。
  3. 前記注目領域抽出手段は、予め学習したことによって得られる前記注目領域での画像特徴を利用して、前記各フレーム画像に前記注目領域が存在するか否かを判断する、請求項1に記載の映像解析装置。
  4. 前記注目領域の画像特徴は、HSVヒストグラムによる、請求項1に記載の映像解析装置。
  5. 前記注目領域抽出手段が前記注目領域を抽出した後に、前記対象特徴抽出手段は、自動的に前記注目領域内又は前記注目領域と隣接した領域内に、前記対象特徴を抽出する、請求項1に記載の映像解析装置。
  6. 前記ショットカット検出手段は、前後フレームの間の動き情報を算出して、前記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出する、請求項に記載の映像解析装置。
  7. 前記ショットカット検出手段は、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得て、当該得られた整合評価値の前記二次曲面モデルへのフィッティングにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出する、請求項に記載の映像解析装置。
  8. 前記ショットカット検出手段は、複数の動き情報の信頼性のモデルによって、動き情報の信頼性のパラメータを算出し、
    前記ショットカット検出手段は、前記動き情報の信頼性のモデル及び前記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出する、請求項に記載の映像解析装置。
  9. 各工程が映像解析装置によって行われる映像解析方法であって、
    映像を読み込む映像読み込み工程と、
    前記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出工程と、
    前記注目領域内或いは前記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出工程と、
    画像内のカラー特徴と前記注目領域の前記対象特徴と動き情報を用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出工程とを含み、
    前記ショットカット検出工程は、信頼性を有した動き情報抽出工程を含み、
    前記ショットカット検出工程において、当該信頼性を有した動き情報抽出工程により算出した前記信頼性を有した動き情報を利用して、検出を行い、
    前記ショットカット検出工程において、動き情報の信頼性の検出結果に基づいて、前記動き情報に2値化の信頼性モデルを付与する、映像解析方法。
  10. 検出されたショットカットによるショットを分類するショット分類工程を更に含む、請求項に記載の映像解析方法。
  11. 前記注目領域抽出工程において、予め学習したことによって得られる前記注目領域での画像特徴を利用して、前記各フレーム画像に前記注目領域が存在するか否かを判断する、請求項に記載の映像解析方法。
  12. 前記注目領域の画像特徴は、HSVヒストグラムによる、請求項に記載の映像解析方法。
  13. 前記注目領域抽出工程において前記注目領域を抽出した後に、前記対象特徴抽出工程において自動的に前記注目領域内又は前記注目領域と隣接した領域内に、前記対象特徴を抽出する、請求項に記載の映像解析方法。
  14. 前記ショットカット検出工程において、前後フレームの間の動き情報を算出して、前記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出する、請求項に記載の映像解析方法。
  15. 前記ショットカット検出工程において、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得って、その得られた整合評価値の前記二次曲面モデルへフィッティングすることにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出する、請求項14に記載の映像解析方法。
  16. 前記ショットカット検出工程において、複数の動き情報の信頼性のモデルによって、前記動き情報の信頼性のパラメータを算出し、
    前記ショットカット検出工程において、前記動き情報の信頼性のモデル及び前記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出する、請求項15に記載の映像解析方法。
  17. 請求項1〜8のいずれかに記載の映像解析装置と、
    前記映像解析装置による解析結果に基づいて、自動的にダイジェストを作成するダイジェスト自動作成手段と、
    を含む、ダイジェスト自動作成システム。
  18. 請求項1〜8のいずれかに記載の映像解析装置と、
    前記映像解析装置による解析結果に基づいて、自動的にハイライトを抽出するハイライト自動抽出手段と、
    を含む、ハイライト自動抽出システム。
JP2008158522A 2007-06-18 2008-06-17 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム Expired - Fee Related JP5420199B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN200710110779 2007-06-18
CN200710110779.2 2007-06-18
CN200810009385.2 2008-02-28
CN2008100093852A CN101329766B (zh) 2007-06-18 2008-02-28 运动图像分析装置、方法及系统

Publications (2)

Publication Number Publication Date
JP2008312215A JP2008312215A (ja) 2008-12-25
JP5420199B2 true JP5420199B2 (ja) 2014-02-19

Family

ID=40205561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008158522A Expired - Fee Related JP5420199B2 (ja) 2007-06-18 2008-06-17 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム

Country Status (3)

Country Link
EP (1) EP2034426A1 (ja)
JP (1) JP5420199B2 (ja)
CN (1) CN101329766B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788074B1 (ko) * 2016-06-02 2017-10-19 주식회사 에스원 관제요원의 빠른 상황파악을 위한 보안시스템에서의 하이라이트 영상 생성 시스템 및 이를 이용한 하이라이트 영상 생성방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285116A (ja) 2005-04-05 2006-10-19 Eastman Kodak Co 駆動回路
JP5298831B2 (ja) 2008-12-19 2013-09-25 富士ゼロックス株式会社 画像処理装置及びプログラム
CN101697593B (zh) * 2009-09-08 2012-10-10 武汉大学 一种基于时域预测的关注度提取方法
EP2439699A1 (en) * 2010-10-07 2012-04-11 BAE SYSTEMS plc Image processing
WO2012046025A1 (en) * 2010-10-07 2012-04-12 Bae Systems Plc Image processing
EP2625670B1 (en) * 2010-10-07 2019-11-27 BAE Systems PLC Image processing
EP2439698A1 (en) * 2010-10-07 2012-04-11 BAE SYSTEMS plc Image processing
CN102625028B (zh) * 2011-01-30 2016-09-14 索尼公司 对视频中存在的静态徽标进行检测的方法和设备
WO2012163735A1 (en) * 2011-05-31 2012-12-06 Restorm Ag System and method for online, interactive licensing and sales of art works
JP6354229B2 (ja) 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
CN105242911B (zh) * 2014-07-09 2020-01-10 腾讯科技(深圳)有限公司 一种游戏场景中物体的控制方法、装置及终端
US9639762B2 (en) * 2014-09-04 2017-05-02 Intel Corporation Real time video summarization
US10984248B2 (en) 2014-12-15 2021-04-20 Sony Corporation Setting of input images based on input music
CN105657580B (zh) * 2015-12-30 2018-11-13 北京工业大学 一种胶囊内镜视频摘要生成方法
CN109416728A (zh) * 2016-09-30 2019-03-01 富士通株式会社 目标检测方法、装置以及计算机系统
CN109165557A (zh) * 2018-07-25 2019-01-08 曹清 景别判断系统及景别判断方法
CN109036479A (zh) * 2018-08-01 2018-12-18 曹清 剪辑点判断系统及剪辑点判断方法
JP7215390B2 (ja) * 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US20230289981A1 (en) * 2020-08-25 2023-09-14 Tarkett Sports Canada Inc. Electronic assessment of playing surface properties
CN112906456B (zh) * 2020-12-29 2024-02-27 周口师范学院 一种基于帧间特征的人群异常行为检测方法及系统
CN113467678A (zh) * 2021-06-10 2021-10-01 北京达佳互联信息技术有限公司 目标对象显示方法、装置、电子设备及计算机可读存储介质
CN113663312B (zh) * 2021-08-16 2022-05-13 东南大学 一种基于微惯性的无器械健身动作质量评估方法
CN114722230B (zh) * 2022-03-30 2022-10-18 西安西科软件技术有限公司 利用角度大数据匹配的辅助判决系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153146A (ja) * 1992-11-04 1994-05-31 Matsushita Electric Ind Co Ltd 動画像のシーンチェンジ検出装置および編集装置
JP2978039B2 (ja) * 1993-08-10 1999-11-15 ケイディディ株式会社 動画像のカット画面検出方法
JP4913288B2 (ja) 2001-05-14 2012-04-11 ソニー株式会社 情報信号処理装置及び情報信号処理方法
JP4181313B2 (ja) * 2001-07-13 2008-11-12 日本放送協会 シーン内容情報付加装置及びシーン内容情報付加プログラム
JP2003061112A (ja) * 2001-08-20 2003-02-28 Univ Waseda カメラワーク検出装置およびカメラワーク検出方法
US7006945B2 (en) * 2003-01-10 2006-02-28 Sharp Laboratories Of America, Inc. Processing of video content
JP2006054622A (ja) 2004-08-10 2006-02-23 Sony Corp 情報信号処理方法、情報信号処理装置及びプログラム記録媒体
JP2006101155A (ja) * 2004-09-29 2006-04-13 Hitachi Ltd 画像記録再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788074B1 (ko) * 2016-06-02 2017-10-19 주식회사 에스원 관제요원의 빠른 상황파악을 위한 보안시스템에서의 하이라이트 영상 생성 시스템 및 이를 이용한 하이라이트 영상 생성방법

Also Published As

Publication number Publication date
CN101329766A (zh) 2008-12-24
EP2034426A1 (en) 2009-03-11
CN101329766B (zh) 2012-05-30
JP2008312215A (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
JP5420199B2 (ja) 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム
CN112990191B (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
US8326042B2 (en) Video shot change detection based on color features, object features, and reliable motion information
Yu et al. Trajectory-based ball detection and tracking in broadcast soccer video
CN110381366B (zh) 赛事自动化报道方法、系统、服务器及存储介质
JP4257615B2 (ja) 画像処理装置および方法、並びにプログラム
JP4643829B2 (ja) ビデオフレーム中の検出されたテキストを使用してビデオコンテンツを分析するシステム及び方法
EP2224357A1 (en) Video segmentation
US20090274364A1 (en) Apparatus and methods for detecting adult videos
JP2002232840A (ja) 動画要約方法
CN103345492A (zh) 一种视频浓缩的方法和系统
JP2005243035A (ja) アンカーショット決定方法及び決定装置
US8311269B2 (en) Blocker image identification apparatus and method
Nasir et al. Event detection and summarization of cricket videos
Lu et al. An effective post-refinement method for shot boundary detection
JP5116017B2 (ja) 動画検索方法およびシステム
JP2004040750A (ja) 複数の状態に基づいて連続した圧縮映像を解析する方法
US20070061727A1 (en) Adaptive key frame extraction from video data
Bloom et al. Player tracking and stroke recognition in tennis video
Zhang et al. Accurate overlay text extraction for digital video analysis
Valdés et al. On-line video skimming based on histogram similarity
Premaratne et al. Improving event resolution in cricket videos
JP4736985B2 (ja) 画像処理装置および方法、並びにプログラム
Jadhav et al. SURF based Video Summarization and its Optimization
JP2008022442A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130220

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131120

R150 Certificate of patent or registration of utility model

Ref document number: 5420199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees