JP4904316B2 - 特定シーン抽出装置及び特定シーン抽出プログラム - Google Patents

Description

本発明は、コンピュータ及びハードディスクを用いた特定シーン抽出に関する。

野球放送などの放送時に、映像とともにインポーズされるスーパー（テロップ）を抽出して解析する技法として、スポーツ映像のイベント区間を要求に応じて補正又はハイライトシーンを抽出する装置が開示されている（例えば、特許文献１，２参照）。

これらの装置では、特定の放送メディアで一定の形式で表されるスーパーのデザインや表示位置であれば、ハイライト抽出することが可能である。

また、例えば野球放送の映像の場合に、塁（以下、単にベースとも称する）及び選手に電子タグを付け、この電子タグを読み取って正確な位置情報を抽出し、ハイライトシーンの抽出又は配信する装置が開示されている（例えば、特許文献３参照）。

特開２００７−２７４４００号公報 特開２００３−１７４６０９号公報 特開２００５−２９５２９６号公報

従来技術のように、映像とともにインポーズされるスーパー（テロップ）を抽出する方法において、一般に、スーパーのデザインや表示位置が放送メディアによって様々であり、全てのバリエーションに対して正確な情報抽出を行うには十分ではなく、課題が残っている。

また、ベース及び選手に電子タグを付け、この電子タグを読み取って正確な位置情報を抽出する方法も、予めベースやユニフォームにタグ付けしていく処理負担を考慮すれば、実用性の観点から課題が残っている。

そこで、本発明の目的は、これらの放送メディアに依存しない晋遍的な特徴を用いて、例えば野球放送の映像の場合に、ランナーが存在する映像区間及びそのランナー位置を特定し、ハイライト抽出にも適用可能な特定シーン抽出装置及び特定シーン抽出プログラムを提供することにある。

即ち、本発明の特定シーン抽出装置は、一連の映像フレームから、特定の画像ファクタを含むショットのシーンを抽出する特定シーン抽出装置であって、予め選定した特定の画像ファクタを、一方向の矩形領域としてブロック分割し、背景を表すフィールド画素及び注目する色として予め定めた注目色画素について、それぞれ各矩形領域における画素の占有率を算出し、各矩形領域における各占有率を特徴ベクトルとして連結し、参照用特徴ベクトルを算出する参照用特徴ベクトル算出手段と、一連の映像フレームをショット毎に分割し、分割したショットから代表フレーム画像を抽出する代表フレーム画像抽出手段と、抽出した代表フレーム画像を、一方向の矩形領域としてブロック分割し、予め定めたブロックの該矩形領域に対して、前記フィールド画素及び前記注目色画素について、それぞれ該矩形領域の各々における各占有率を算出し、該矩形領域の各々における各占有率を特徴ベクトルとして連結し、特徴ベクトルを算出する特徴ベクトル算出手段と、該特徴ベクトルと前記参照用特徴ベクトルとを比較して、所定の閾値以上の類似度を有するか否かを判定する特徴ベクトル比較手段と、所定の閾値以上の類似度を有する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定する対象シーン検出手段と、を備えることを特徴とする。

また、本発明の特定シーン抽出装置において、前記参照用特徴ベクトル算出手段は、複数の異なる画像ファクタの各々について、参照用特徴ベクトルを算出し、前記特徴ベクトル比較手段は、前記代表フレーム画像における特徴ベクトルと前記複数の参照用特徴ベクトルと比較し、前記対象シーン検出手段は、一つ以上の所定の閾値以上の類似度を有する特徴ベクトルがあると判定する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定することを特徴とする。

また、本発明の特定シーン抽出装置において、前記対象シーン検出手段によって決定した対象シーンにおける代表フレーム画像に対して、エッジ抽出処理を施し、所定値以上の長さの直線エッジを検出し、該直線エッジのエッジ方向を、予め定めた複数の条件に従って、対象シーンの分類化を行う対象シーン分類化手段を更に備えることを特徴とする。

また、本発明の特定シーン抽出装置において、前記対象シーン分類化手段によって分類した対象シーンの分類情報を、当該ショットの開始位置及び終了位置のデータとともに記録したリストを作成する対象シーンリスト作成手段を更に備えることを特徴とする。

更に、本発明は、一連の映像フレームから、特定の画像ファクタを含むショットのシーンを抽出する特定シーン抽出装置として構成するコンピュータに、予め選定した特定の画像ファクタを、一方向の矩形領域としてブロック分割し、背景を表すフィールド画素及び注目する色として予め定めた注目色画素について、それぞれ各矩形領域における画素の占有率を算出し、各矩形領域における各占有率を特徴ベクトルとして連結し、参照用特徴ベクトルを算出するステップと、一連の映像フレームをショット毎に分割し、分割したショットから代表フレーム画像を抽出するステップと、抽出した代表フレーム画像を、一方向の矩形領域としてブロック分割し、予め定めたブロックの該矩形領域に対して、前記フィールド画素及び前記注目色画素について、それぞれ該矩形領域の各々における各占有率を算出し、該矩形領域の各々における各占有率を特徴ベクトルとして連結し、特徴ベクトルを算出するステップと、該特徴ベクトルと前記参照用特徴ベクトルとを比較して、所定の閾値以上の類似度を有するか否かを判定するステップと、所定の閾値以上の類似度を有する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定するステップと、を実行させるための特定シーン抽出プログラムとして特徴付けられる。

本発明によれば、放送メディアに依存しない晋遍的な特徴を用いて、対象とする一連の映像フレームに選出要素（例えば野球放送の映像の場合に、ランナーが存在する映像区間及びそのランナー位置）を特定し、対象とする一連の映像フレームの中から選出要素の種別に応じたハイライト抽出が可能となる。

以下、本発明による一実施例の特定シーン抽出装置を説明する。尚、以下の説明では、代表的に野球放送時の映像を処理するものとし、そのような野球放送の映像には、一般的に、ベース、ベース間ライン、選手、芝、砂、観客等の映像情報を含まれている。

（装置構成）
図１に、本発明による一実施例の特定シーン抽出装置を示す。特定シーン抽出装置１は、参照用ブロック分割手段２と、参照用特徴ベクトル算出手段３と、参照用特徴ベクトルデータ生成手段４と、ショット分割手段５と、ショット内代表フレーム画像抽出手段６と、ブロック分割手段７と、特徴ベクトル算出手段８と、特徴ベクトルデータ生成手段９と、特徴ベクトルデータ比較手段１０と、対象シーン検出手段１１と、対象シーン分類化手段１２と、対象シーンリスト作成・更新手段１３と、リスト提示手段１４とを備える。

尚、特定シーン抽出装置１は、好適にコンピュータとして構成することができ、画像を記憶する記憶手段（たとえば、ハードディスクやＲＡＭなど）を備えることができる。また、このような記憶手段には、特定シーン抽出装置１として構成するコンピュータに、上述の各手段を機能させるためのプログラムを格納することができ、コンピュータが備える中央演算処理装置（ＣＰＵ）によってプログラムを実行させることにより、各手段を機能させることができる。また、特定シーン抽出装置１として構成するコンピュータは、抽出した特定シーンの情報又はリストを、図示しないディスプレイなどの表示装置に表示することができる。

まず、特定シーン抽出装置１における前処理として機能する各手段について説明する。

参照用ブロック分割手段２は、前処理として、参照用に予め準備された特定画像ファクタ集合（例えば、野球放送時の映像を対象とする場合、複数種の「ベース画像集合」（図５参照））のうちの１つを図示しない記憶手段から取得し、例えば水平方向に、長い矩形領域でＮ個に分割する。尚、Ｎは、１以上の自然数であり、Ｎ＝１の場合は、分割しないことを意味するが、特徴ベクトルの特徴区別の精度を高める点で、Ｎは２以上とするのが好適である。

ここで、図５を参照するに、８つの特定画像ファクタ集合（「ベース画像集合」）１００〜１０７を例示しており、各ベース画像集合は、背景を表すフィールド画素Ｄｆと、注目色画素（例えば白色）Ｄｓとを含む。

参照用特徴ベクトル算出手段３は、前処理として、参照用ブロック分割手段２によってＮ個に分割したうちの任意の矩形領域ｉについて、背景を表すフィールド画素（例えば芝又は砂の画素）に対する占有率Ｒ_ｆ（i）、及び注目する色として予め定めた注目色画素（例えばベース色に相当する白色画素）に対する占有率Ｒ_ｗ（i）を計算する。また、参照用特徴ベクトル算出手段３は、Ｎ個に分割した矩形領域の全てについて、同様にフィールド画素占有率Ｒ_ｆ（i）及び注目色画素占有率Ｒ_ｗ（i）を算出し、適宜記憶手段に記憶する。

参照用特徴ベクトルデータ生成手段４は、前処理として、算出した矩形領域ｉごとのフィールド画素占有率Ｒ_ｆ（i）及び注目色画素占有率Ｒ_ｗ（i）を連結して、特定画像ファクタ集合（「ベース画像集合」）毎の特徴ベクトル（Ｒ_ｆ（i），Ｒ_ｗ（i），…，Ｒ_ｆ（Ｎ），Ｒ_ｗ（Ｎ））を生成し、記憶手段に記憶する。この様子は、図６に示されている。図６（ａ）は、矩形領域ｉがＮ個に分割される様子を示し、図６（ｂ）は、矩形領域ｉごとのフィールド画素占有率Ｒ_ｆ（i）及び注目色画素占有率Ｒ_ｗ（i）を算出する様子を示し、図６（ｃ）は、参照用特徴ベクトルを生成する様子を示す。

このように、参照用特徴ベクトルデータ生成手段４は、予め選定した特定の画像ファクタを、一方向の矩形領域としてブロック分割し、背景を表すフィールド画素及び注目する色として予め定めた注目色画素について、それぞれ各矩形領域における画素の占有率を算出し、各矩形領域における各占有率を特徴ベクトルとして連結し、参照用特徴ベクトルを算出する機能を有する。また、参照用特徴ベクトルデータ生成手段４は、複数の異なる画像ファクタの各々について、参照用特徴ベクトルを算出することができる。

前処理として、図示しない記憶手段に、参照用ブロック分割手段２、参照用特徴ベクトル算出手段３、及び参照用特徴ベクトルデータ生成手段４により、特定画像ファクタ毎の参照用の特徴ベクトルを算出し、参照用特徴ベクトル情報（「参照用ベース画像特徴データ」と称する）として記憶手段に記憶しておく。

次に、対象とする一連の映像フレームから、選出要素（例えば野球放送の映像の場合に、ランナーが存在する映像区間及びそのランナー位置）を特定するための処理（以下、特定シーン抽出処理と称する）として機能する各手段について説明する。

ショット分割手段５は、特定シーン抽出処理として、処理対象（例えば、録画済の野球試合）の映像データを一連の映像フレームで入力し、既知の手法（例えば、特開２００６−２７０３０１号公報参照）で一連の映像フレームの中からシーンチェンジを検出し(カット点検出とも称される)、例えばＫ個のショット単位の連続映像フレーム（以下、単にショットとも称する）に分割する。尚、Ｋは、１以上の自然数である。

ショット内代表フレーム画像抽出手段６は、特定シーン抽出処理として、Ｋ個に分割したショットのうちの１つについて、任意に選定した代表フレーム画像（例えば、先頭フレーム画像か、又はショットの中間位置のフレーム画像）を抽出する。

ブロック分割手段７は、特定シーン抽出処理として、抽出した代表フレーム画像を、例えば水平方向に、長い矩形領域でＭ個に分割する。一般的に、処理対象が野球試合映像であれば、注目するベースはフレーム画像中の下方に位置するので、ブロック分割手段７は、代表フレーム画像の下半分を分割するようにしてもよい。尚、Ｍは、１以上の自然数であり、Ｍ＝１の場合は、分割しないことを意味するが、特徴ベクトルの特徴区別の精度を高める点で、Ｍは２以上とするのが好適である。

特徴ベクトル算出手段８は、特定シーン抽出処理として、ブロック分割手段７でＭ個に分割したうちの任意の矩形領域ｍについて、背景を表すフィールド画素（例えば芝又は砂の画素）に対する占有率Ｒ_ｆ（ｍ）、及び注目色画素（例えばベース色に相当する白色画素）に対する占有率Ｒ_ｗ（ｍ）を計算する。特徴ベクトル算出手段８は、Ｍ個に分割した矩形領域の全てについて、同様にフィールド画素占有率Ｒ_ｆ（ｍ）及び注目色画素占有率Ｒ_ｗ（ｍ）を算出し、適宜記憶手段に記憶する。

特徴ベクトルデータ生成手段９は、特定シーン抽出処理として、特徴ベクトル算出手段８によって算出した矩形領域ｍごとのフィールド画素占有率Ｒ_ｆ（ｍ）及び注目色画素占有率Ｒ_ｗ（ｍ）を連結して、矩形領域ｍごとの特徴ベクトル（Ｒ_ｆ（１），Ｒ_ｗ（１），…，Ｒ_ｆ（Ｍ），Ｒ_ｗ（Ｍ））を生成し、記憶手段に記憶する。この動作は、参照用特徴ベクトルデータ生成手段４と同様である。

このように、特徴ベクトルデータ生成手段９は、抽出した代表フレーム画像を、一方向の矩形領域としてブロック分割し、予め定めたブロックの該矩形領域に対して、フィールド画素及び注目色画素について、それぞれ該矩形領域の各々における各占有率を算出し、該矩形領域の各々における各占有率を特徴ベクトルとして連結し、特徴ベクトルを算出する機能を有する。

特徴ベクトルデータ比較手段１０は、特定シーン抽出処理として、特徴ベクトルデータ生成手段９によって計算した画像特徴ベクトルと、参照用特徴ベクトルデータ生成手段４によって生成した特徴データとを比較し、その類似度（例えば、ベクトル差分値）が予め設定した閾値以上であるか否かを判別し、好適的には判別結果を識別可能にフラグを付す。

対象シーン検出手段１１は、特定シーン抽出処理として、特徴ベクトルデータ比較手段１０の比較で予め設定した閾値以上である場合に、当該代表フレーム画像を含むショットを対象シーン（例えば、野球試合の場合、「ベース画像」を含む「走者ショット」）として決定し、当該ショットの開始位置及び終了位置（即ち、映像フレームのタイムコードの開始と終了）のデータとともに管理可能に所定のリストに記録して、記憶手段に格納する。

このように、対象シーン検出手段１１は、所定の閾値以上の類似度を有する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定する機能を有する。

尚、参照用特徴ベクトルデータ生成手段４によって複数の異なる画像ファクタの各々について参照用特徴ベクトルを算出していた場合に、特徴ベクトル比較手段１０は、対象の代表フレーム画像における特徴ベクトルと複数の参照用特徴ベクトルと比較し、対象シーン検出手段１１は、一つ以上の所定の閾値以上の類似度を有する特徴ベクトルがあると判定する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定するのが好適である。

対象シーン分類化手段１２は、記憶手段に格納された特定の対象シーン（「走者ショット」）を取り出し、又は、対象シーン検出手段１１の処理に続いて、対象シーンにおける代表フレーム画像に対して、既知のエッジ抽出処理（例えば、エッジ強調処理）を施し、所定値以上の長さの直線エッジを検出し、ベクトル化するとともに、該エッジのエッジ方向を決定し、予め定めた複数の条件に従って、対象シーンの分類化を行う。尚、この直線エッジは、対象映像が野球試合の場合、ベース間ラインに相当し、必ずしも直線エッジが存在するとは限らないことに留意する。

対象シーンリスト作成・更新手段１３は、対象シーン分類化手段１２によって分類した対象シーンの分類情報を、当該ショットの開始位置及び終了位置（即ち、映像フレームのタイムコードの開始と終了）のデータとともに記録したリストに追加し、記憶手段に格納する。

リスト提示手段１４は、図示しない表示装置に、対象シーンリスト作成・更新手段１３によって作成したリストを表示する。

以下、本発明による一実施例の特定シーン抽出装置１を、代表的に野球放送時の映像を処理するものとして適用した場合の装置動作を説明する。一般的に、野球放送の映像には、ベース、ベース間ライン、選手、芝、砂、観客等の映像情報を含まれている。

（装置動作）
図２に、特定シーン抽出装置１における前処理の動作を示す。図３に、特定シーン抽出装置１における特定シーン抽出処理の動作を示す。図４に、特定シーン抽出装置１における特定シーンの分類処理の動作を示す。

図２を参照するに、まず、参照ブロック分割手段２により、参照用に予め準備された特定画像ファクタ集合のうちの１つを図示しない記憶手段から取得し（ステップＳ１）、例えば水平方向に、長い矩形領域でＮ個に分割する（ステップＳ２）。

次に、参照用特徴ベクトル算出手段３により、Ｎ個に分割したうちの任意の矩形領域ｉについて、フィールド画素（例えば芝又は砂の画素）に対する占有率Ｒ_ｆ（i）、及び注目色画素（例えばベース色に相当する白色画素）に対する占有率Ｒ_ｗ（i）を、Ｎ個に分割した矩形領域の全てについて算出し、適宜記憶手段に記憶する（ステップＳ４５〜Ｓ６）。

次に、参照用特徴ベクトルデータ生成手段４により、算出した矩形領域ｉごとのフィールド画素占有率Ｒ_ｆ（i）及び注目色画素占有率Ｒ_ｗ（i）を連結して（ステップＳ７〜Ｓ８）、特定画像ファクタ集合（「ベース画像集合」）毎の特徴ベクトル（Ｒ_ｆ（i），Ｒ_ｗ（i），…，Ｒ_ｆ（Ｎ），Ｒ_ｗ（Ｎ））を生成し、記憶手段に記憶する（ステップＳ９）。このようにして、図示しない記憶手段に、「参照用ベース画像特徴データ」を記憶しておく。

次に、特定シーン抽出処理として、図３を参照するに、ショット分割手段５により、処理対象の録画済の野球試合の映像データを一連の映像フレームで入力し（ステップＳ１１）、一連の映像フレームの中からシーンチェンジを検出し、例えばＫ個のショットに分割する（ステップＳ１２）。

次に、ショット内代表フレーム画像抽出手段６により、Ｋ個に分割したショットのうちの１つについて、任意に選定した代表フレーム画像を抽出し（ステップＳ１５）、ブロック分割手段７により、抽出した代表フレーム画像の下半分（ベースは、ほとんどの場合、下半分領域に存在するためであり、処理時間の高速化と画像判定の高精度化に寄与する）を、例えば水平方向に長い矩形領域でＭ個に分割し（ステップＳ１６）、特徴ベクトル算出手段８及び特徴ベクトルデータ生成手段９により、矩形領域ｍごとのフィールド画素占有率Ｒ_ｆ（ｍ）及び注目色画素占有率Ｒ_ｗ（ｍ）を連結して、矩形領域ｍごとの特徴ベクトル（Ｒ_ｆ（１），Ｒ_ｗ（１），…，Ｒ_ｆ（Ｍ），Ｒ_ｗ（Ｍ））を生成する（ステップＳ２０）。

次に、特徴ベクトルデータ比較手段１０により、特徴ベクトルデータ生成手段９によって計算した画像特徴ベクトルと、参照用特徴ベクトルデータ生成手段４によって生成した特徴データとについて、双方の類似度（例えば、ベクトル差分値）が予め設定した閾値以上であるか否かに基づいて比較を繰り返し（ステップＳ２１，Ｓ２３），対象シーン検出手段１１により類似度が閾値以上であれば、当該代表フレーム画像を含むショットを対象シーン（例えば「走者ショット」）として決定し（ステップＳ２２）、当該ショットの開始位置及び終了位置（即ち、映像フレームのタイムコードの開始と終了）のデータとともに管理可能に所定のリストに記録して、記憶手段に格納する（ステップＳ２４，Ｓ２５）。

ステップＳ１４〜Ｓ２５を、分割した全てのショットに対して繰り返し、処理対象の一連の映像データ（録画済野球試合映像）に対する、画像特徴ベクトルで識別可能な対象シーン（例えば「走者ショット」）のリストを作成する。

図４を参照するに、対象シーン検出手段１１により、記憶手段に格納された一連の映像データ（録画済野球試合映像）に対する特定の対象シーン（「走者ショット」）を適宜又は順に取り出し（ステップＳ３１）、対象シーンにおける代表フレーム画像に対し、既知のエッジ抽出処理（例えば、エッジ強調処理）を施して、所定値以上の長さの直線エッジを検出し、ベクトル化する（ステップＳ３２）。

次に、対象シーン分類化手段１２により、検出した直線エッジのエッジ方向を決定し、予め定めた複数の条件（条件１〜４）に従って、対象シーンの分類化を行う（ステップＳ３３〜Ｓ４０）。

（条件１）
左上がりのラインが存在するか、又は水平のラインが存在するとともに左側に芝領域が存在する場合、ランナーは一塁。これは、図７（ａ）に示す図示２０１，２０４に例示する。
（条件２）
右上がりのラインが存在するか、又は水平のラインが存在するとともに右側に芝領域が存在する場合、ランナーは三塁。これは、図７（ａ）に示す図示２０２，２０５に例示する。
（条件３）
ラインが存在しない場合、ランナーは二塁。これは、図７（ａ）に示す図示２０３，２０６に例示する。
（条件４）
条件１，２，３のいずれも満たさない場合、ランナー位置は不定。

より詳細に図７（ａ）について説明するに、図７（ｂ）を参照して、図７（ｂ）における図示２０１’〜２０６’は、図７（ａ）の図示２０１〜２０６に対応したエッジ処理例の模範的な図であり、ベースを表すＤｓ、背景画素を表すＤｆ、ベース間ラインを表す図示１００１〜１００４（対象シーン分類化手段１２により検出される直線エッジ）、及び比較用背景域を表す図示１００５，１００６（対象シーン分類化手段１２により検出される芝領域）が示されているのが分かる。

次に、対象シーンリスト作成・更新手段１３により、対象シーン分類化手段１２によって分類した対象シーンの分類情報を、対象シーンのリストに追加する。

最終的に、特定シーン抽出装置１は、ユーザの選択によって、又は自動的に、作成したリストをリスト提示手段１４によって表示させる。

このように、本実施例の特定シーン抽出装置１によれば、放送メディアに依存しない晋遍的な特徴（特定画像ファクタ集合）を用いて、対象とする一連の映像フレームに選出要素（例えば野球放送の映像の場合に、ランナーが存在する映像区間及びそのランナー位置）を特定し、対象とする一連の映像フレームの中から選出要素の種別に応じたハイライト抽出が可能となる。

本実施例の特定シーン抽出装置１は、放送メディアに依存しない晋遍的な特徴を用いて、映像に含まれる特定種類の映像情報抽出を可能にする。晋遍的な特徴として、例えば、野球中継においては、放送メディアに依らず、塁上にランナーが居る場合に、投球の合間にそのランナーを映したショット（走者ショット）が存在する場合が多いことに着目する。この場合、走者ショットには高い確率で「ベース」が映っている。また、走者が一塁にいるとき、二塁にいるとき、三塁にいるときのそれぞれで異なる構図となる（塁間ラインの有無又は方向など）。

また、本実施例の特定シーン抽出装置１は、画像処理分野で従来用いられてきたブロック画像全体から計算される特徴ベクトルではなく、ベースが横長である特徴を反映させるように、水平方向に長い矩形領域での分割を利用して特徴ベクトルを計算し、ベースの検出精度の改良を実現する。

また、本実施例の特定シーン抽出装置１は、塁上にランナーがいる映像区間及びランナーの位置を特定し、チャンス及びピンチシーンの自動検出を支援するように機能する。

例えば、野球映像から「チャンスシーン」「ピンチシーン」を優先的に見たい場合、塁上にランナーが「溜まっているか」は、この優先性において重要な要素となる。

本実施例の特定シーン抽出装置１によれば、録画によりハードディスクヘ蓄積した野球映像から、画像解析による「ベース」検出により、塁上ランナーを映した「走者ショット」を特定することができる。更に、特定した走者ショットを画像解析して、そのランナーの位置（一塁、二塁、三塁）を特定することができる。

更に、本発明の一態様として、特定シーン抽出装置１として機能するコンピュータに、前述した各手段を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶手段に記憶する。そのような記憶手段は、外付けハードディスクなどの外部記憶装置、或いはＲＡＭなどの内部記憶装置で実現することができる。尚、コンピュータのＣＰＵが、各手段の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶手段から読み込んで、各手段をコンピュータ上で実現させることができる。ここで、各手段の機能をハードウェアの一部で実現しても良い。

上述した実施例において、各構成要素の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有するデータ等）を含むものとする。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、野球試合の一連の映像フレームを用いた場合を説明したが、バレーボールなどのネット位置を参照用特徴ベクトル化し、ネット上部を直線ラインとして画像解析することも考えられる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

放送メディアに依存しない晋遍的な特徴（特定画像ファクタ集合）を用いてシーン特長を分類することができるので、一連の映像フレームの中から選出要素の種別に応じたハイライト抽出する用途に有用である。

本発明による一実施例の特定シーン抽出装置を示す図である。 本発明による一実施例の特定シーン抽出装置の動作を示すフローチャートである。 本発明による一実施例の特定シーン抽出装置の動作を示すフローチャートである。 本発明による一実施例の特定シーン抽出装置の動作を示すフローチャートである。 本発明による一実施例の特定シーン抽出装置に用いる特定画像ファクタ集合（「ベース画像集合」）の例を示す図である。 本発明による一実施例の特定シーン抽出装置における特徴ベクトルの生成を示す図である。 本発明による一実施例の特定シーン抽出装置における対象シーンの分類を示す図である。

符号の説明

１ 特定シーン抽出装置
２ 参照用ブロック分割手段
３ 参照用特徴ベクトル算出手段
４ 参照用特徴ベクトルデータ生成手段
５ ショット分割手段
６ ショット内代表フレーム画像抽出手段
７ ブロック分割手段
８ 特徴ベクトル算出手段
９ 特徴ベクトルデータ生成手段
１０ 特徴ベクトルデータ比較手段
１１ 対象シーン検出手段
１２ 対象シーン分類化手段
１３ 対象シーンリスト作成・更新手段
１４ リスト提示手段

Claims (5)

1. 一連の映像フレームから、特定の画像ファクタを含むショットのシーンを抽出する特定シーン抽出装置であって、
   予め選定した特定の画像ファクタを、一方向の矩形領域としてブロック分割し、背景を表すフィールド画素及び注目する色として予め定めた注目色画素について、それぞれ各矩形領域における画素の占有率を算出し、各矩形領域における各占有率を特徴ベクトルとして連結し、参照用特徴ベクトルを算出する参照用特徴ベクトル算出手段と、
   一連の映像フレームをショット毎に分割し、分割したショットから代表フレーム画像を抽出する代表フレーム画像抽出手段と、
   抽出した代表フレーム画像を、一方向の矩形領域としてブロック分割し、予め定めたブロックの該矩形領域に対して、前記フィールド画素及び前記注目色画素について、それぞれ該矩形領域の各々における各占有率を算出し、該矩形領域の各々における各占有率を特徴ベクトルとして連結し、特徴ベクトルを算出する特徴ベクトル算出手段と、
   該特徴ベクトルと前記参照用特徴ベクトルとを比較して、所定の閾値以上の類似度を有するか否かを判定する特徴ベクトル比較手段と、
   所定の閾値以上の類似度を有する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定する対象シーン検出手段と、
   を備えることを特徴とする、特定シーン抽出装置。
2. 前記参照用特徴ベクトル算出手段は、複数の異なる画像ファクタの各々について、参照用特徴ベクトルを算出し、
   前記特徴ベクトル比較手段は、前記代表フレーム画像における特徴ベクトルと前記複数の参照用特徴ベクトルと比較し、
   前記対象シーン検出手段は、一つ以上の所定の閾値以上の類似度を有する特徴ベクトルがあると判定する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定することを特徴とする、請求項１に記載の特定シーン抽出装置。
3. 前記対象シーン検出手段によって決定した対象シーンにおける代表フレーム画像に対して、エッジ抽出処理を施し、所定値以上の長さの直線エッジを検出し、該直線エッジのエッジ方向を、予め定めた複数の条件に従って、対象シーンの分類化を行う対象シーン分類化手段を更に備えることを特徴とする、請求項１又は２に記載の特定シーン抽出装置。
4. 前記対象シーン分類化手段によって分類した対象シーンの分類情報を、当該ショットの開始位置及び終了位置のデータとともに記録したリストを作成する対象シーンリスト作成手段を更に備えることを特徴とする、請求項３に記載の特定シーン抽出装置。
5. 一連の映像フレームから、特定の画像ファクタを含むショットのシーンを抽出する特定シーン抽出装置として構成するコンピュータに、
   予め選定した特定の画像ファクタを、一方向の矩形領域としてブロック分割し、背景を表すフィールド画素及び注目する色として予め定めた注目色画素について、それぞれ各矩形領域における画素の占有率を算出し、各矩形領域における各占有率を特徴ベクトルとして連結し、参照用特徴ベクトルを算出するステップと、
   一連の映像フレームをショット毎に分割し、分割したショットから代表フレーム画像を抽出するステップと、
   抽出した代表フレーム画像を、一方向の矩形領域としてブロック分割し、予め定めたブロックの該矩形領域に対して、前記フィールド画素及び前記注目色画素について、それぞれ該矩形領域の各々における各占有率を算出し、該矩形領域の各々における各占有率を特徴ベクトルとして連結し、特徴ベクトルを算出するステップと、
   該特徴ベクトルと前記参照用特徴ベクトルとを比較して、所定の閾値以上の類似度を有するか否かを判定するステップと、
   所定の閾値以上の類似度を有する場合に、当該ショットを特定の画像ファクタを含むシーンであるとして決定するステップと、
   を実行させるための特定シーン抽出プログラム。

Images