JP5420199B2 - 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム - Google Patents
映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム Download PDFInfo
- Publication number
- JP5420199B2 JP5420199B2 JP2008158522A JP2008158522A JP5420199B2 JP 5420199 B2 JP5420199 B2 JP 5420199B2 JP 2008158522 A JP2008158522 A JP 2008158522A JP 2008158522 A JP2008158522 A JP 2008158522A JP 5420199 B2 JP5420199 B2 JP 5420199B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- motion information
- reliability
- region
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
ダイジェストを自動に作成することが可能な、新規かつ改良されたダイジェスト自動作成システム、及び、ハイライトを自動に抽出することが可能な、新規かつ改良されたハイライト自動抽出システムを提供することにある。
(1)前後フレーム間のブロックマッチングを用いて、誤差の評価値を算出し、
(2)それらの誤差評価値を用いて、2次曲面モデルによってフィッティング(Fitting)処理を行い、その2次曲面モデルのパラメータを推定する。
(3)それらのパラメータを事前に学習した結果と比較し、信頼できる動き情報だけを検出する。
(4)また、それらの信頼できる動き情報をある時間軸上の統計処理することによって、より信頼性の高い動き情報が検出される。
(5)それらの信頼性の高い動き情報を利用して、カラー分布特性と注目領域特徴によって誤検出されたショットカットを正しく検出せず、又は検出されなかったショットカットを正しく検出ことが可能となった。
(6)カメラの高速な動きや対象物の高速な動きに対して、その動き領域が画像の中心付近の位置に多く存在することを利用して、そのような動き領域を学習によって作成し、その動き領域を用いて、高速カメラ運動によるショットカット検出エラーなどを更に改善することができる。
図1は、本発明の第1実施形態の映像解析装置のブロック図である。
図1に示すように、映像解析装置100は、サッカー試合中、試合の映像シーケンスを読み込む映像読み込み手段110と、読み込まれた映像の各フレームの画像から、例えばサッカー試合のフィールドのような「注目領域」を抽出する注目領域抽出手段120と、注目領域内又は隣接する領域内において、例えば、サッカー試合中の選手の顔、ゴールゲット(ゴールの枠)、ボール、コーナー位置、プレイフィールド及びその輪郭等のような「対象特徴」を抽出する対象特徴抽出手段130と、画像内のカラー特徴と注目領域の対象特徴と動き情報を用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出手段140と、を含む。
図2は、本発明の第2実施形態の映像解析装置のブロック図である。
図2に示すように、映像解析装置200は、映像読み込み手段210と、注目領域抽出手段220と、対象特徴抽出手段230と、ショットカット検出手段240と、信頼性を有した動き情報抽出手段250と、ショット分類手段260とを含む。ここで、映像読み込み手段210、注目領域抽出手段220及び対象特徴抽出手段230は、第1実施形態における映像読み込み手段110、注目領域抽出手段120及び対象特徴抽出手段130と同じ機能を果たしているので、ここで、その説明を省略する。また、当該ショットカット検出手段240は、画像内のカラー特徴と注目領域の対象特徴とを用いるフレーム間の画像特徴の違いを利用してショットカットを検出する第1のショットカット検出手段242と、画像の動き情報を用いるフレーム間の画像特徴の違いを利用してショットカットを検出する第2のショットカット検出手段244と、を含む。
図3は、本発明の一実施形態の映像解析方法のフローチャートを示す。
図3に示すように、まず、サッカー試合における、ビデオ画像、ニュース画像或いは映画・テレビ画像等の映像を読み込み(ステップS301)、映像の各フレームの画像から注目領域を抽出する。例えば、サッカー試合中、予め学習によって得られた注目のプレイフィールドの画像特徴モデル(HSV(Hue、Saturation、Value)ヒストグラム、HSVはカラーモデルを示す。Hueが色相であり、Saturationが彩度であり、Valueが明るさである。)を利用して、映像内の注目領域であるプレイフィールドの有無を判定する(ステップS302)。プレイフィールドが存在する場合には、その注目領域を抽出する(ステップS303)。プレイフィールドが存在しない場合には、ステップS301に戻す。そして、ステップS303が処理された場合、そのプレイフィールドの内部又は隣接する領域において、対象特徴を抽出する(ステップS304)。その後に、カラー特徴と注目領域の対象特徴と動き情報を用いるフレーム間の違いを利用して、ショットカットを検出する(ステップS305)。抽出された各ショット内部の画像特徴を利用して、例えば、サッカー試合の場合、当該ショット内において緑色によるプレイフィールドの有無を判定する。当該ショット内において、プレイフィールドが存在しない場合には、当該ショットを場外ショットとし、当該ショット内においてプレイフィールドが存在する場合には、当該ショットを「Long Shot」、「Middle Shot」、「Zoom Up Shot」の何れかとして分類する(ステップS306)。次に、ショットカット検出ステップS305によって得られた検出結果と、ショット分類ステップS306によって得られた分類結果に基づいて、ダイジェスト作成及びハイライト抽出を行う(ステップS307)。
図4は、本実施形態の映像解析方法における注目領域・対象特徴の検出・抽出の例を説明する説明図である。図4(a)は、サッカー試合映像内のプレイフィールドの検出例を示す。図4(b)は、当該プレイフィールドの内部又は隣接する領域における画像特徴及び対象特徴の例を示す。
即ち、フレームサンプリング、圧縮された三次元ヒストグラムのピークのサーチ、一次元ローカルヒストグラム(1D local histogram)のピラミッドサーチ(pyramid searching)、主要カラーの分割、ノイズを低減するためのフィルター処理である。そこで、処理速度向上と画像内ノイズ除去のため、入力画像の解像度を低減した。また、照明変化の影響を低減させ、検出処理のロバスト性を向上させるため、HSVのそれぞれの成分の解像度を8Bitから2〜3Bitに圧縮した。その後、それぞれのHSV成分のピークを検出し、それをHSVの中心値(平均値)とし、前述のHSVの分散値を適用することによって、注目のプレイフィールドをロバストに検出することが可能となる。図8(b)では、画像サンプリングを示し、図8(c)では、主要カラー領域の検出結果を示す。図8(b)及び図8(c)では、本手法によって検出された、異なる照明環境におけるプレイフィールドの例を示す。この結果から、様々な照明環境において、注目のプレイフィールドをロバストでリアルタイムに検出することができることが判る。
以下、プレイフィールド内部及び隣接する領域における画像特徴/対象特徴の抽出手法を説明する。
順次に、主要カラー領域の検出、プレイフィールド境界の検出、垂直方向の白線検出、水平方向の白線検出、ゴールゲットの意味(semantic)規則(プレイ規則中、ゴールに関する規定)を利用するゴールゲット検出という工程を含む。上記のように検出された注目プレイフィールドに対して、当該プレイフィールドに接する垂直方向上の白線を検出する。従って、縦方向において、平行する二本の直線が検出された場合、当該平行直線に囲まれた領域内に水平方向上の白線の有無を確認する。縦方向において、平行する二本の直線(つまりゴールポスト)が検出され、かつ横方向において、一本の白線(つまりクロスバー)が検出された場合、それをゴールゲット(ゴールの枠)の候補として処理する。
図13に示すように、ゴールゲットの意味規則(即ち、ゴールゲットの縦柱の高さと横柱の長さ、及び横柱の長さとプレイフィールドの幅の間の比率関係)を利用して、ゴールゲットを正しく検出できる。
図16に示すように、図16(a)、(b)、(c)では、それぞれ注目プレイフィールド内部の選手領域(カラー)、グラフィックス領域、ゴール(繰り返し)の検出例を示す。また、図16(d)、(e)、(f)では、それぞれレフェリー(カラー)、選手動作、監督(顔)等の検出例を示す。
図17は、ショットカットの種類を示す。
通常、ショットカットには、ハードカット(hard cut)、フェードイン/フェードアウトカット、グラフィックスワイパーカット(graphics wiper cut)という3種類が含まれる。ハードカットは、通常1〜2などの数フレームの間にショットが変わるので、その変化は検出しやすいが、フェードイン/エードアウト、グラフィックスワイパーカットは、10〜30などの数十フレームの間にショットが変わるので、そのショット変化を正しく検出するのが容易ではない。例えば、本実施形態におけるハードカットは、大体1フレームの間に切り替え、フェードイン/エードアウトカットは、大体15フレームの間に切り替え、グラフィックスワイパーカットは、大体30フレーム毎に切り替える。
ここで、ショットカットを正しく検出するために、
(1)ビデオカメラに対して、画像内の選手の運動及び水平移動に対する信頼性を保持すると共に、
(2)画像内のカラー特徴分布に対して、鋭敏に検出することが、必要である。
上記のように、現在時刻の、6ビットで示されるHSV分布Ht(i)を算出して、(t−Δ)時刻のHSV分布Ht−Δ(i)との間の違いを算出する。その違いが閾値T1より大きいである場合、ショットカットとして検出される。でなければ、R2領域内の注目カラー領域(サッカー試合の場合、緑色のプレイフィールド)を検出し、当該領域のサイズがR2領域の50%を超えた場合、現在時刻tと時刻(t−Δ)との領域サイズの違いを算出する。その違いが閾値T2より大きいである場合、ショットカットとして検出される。
各領域R1、R2、R3におけるHSV分散の違い、及びR2領域内の注目カラー(緑色領域)の違いを評価することにより、ショットカット検出が可能になる。例えば、上記のDC特徴、RH特徴、MV特徴を用いて、ショットカット検出のためのSVM分類器を学習し、その学習されたSVMによってショットカットを検出する。
まず、前記カラー特徴及び注目領域特徴を利用した手法により、カラー特徴及び注目領域特徴による第1のショットカット検出を行う(S2201)。そして、動き情報による第2のショットカット検出を行う(S2202)。更に、第1のショットカット検出と第2のショットカット検出による検出結果に基づいて、ショットカットを判定する(S2203)。表1は、図22のステップS2203における判定を説明するものである。
S2201でのカラー特徴及び注目領域による検出結果は、ショットカット#1(ショット(Shot)1、2、…、6からなる)のみがLong Shotとして検出された場合、S2202により、動き情報を利用してショット1〜6の間に本当にショットチェンジ(ショットカットチェンジ)がないかを判定する。
S2201でのカラー特徴及び注目領域を利用した検出結果は、ショットカット#1(ショット1、2、3からなる)がLong Shotとし、ショットカット#2(ショット4、5、6からなる)がMiddle Shotとし、及びショットカット#3(ショット7、8、9からなる)がLong Shotとするという三つの異なるショットカットが検出された場合、S2202により、動き情報を利用して、ショット3とショット4との間、及び、ショット6とショット7との間に、ショットチェンジがあるか否かを判定する(上記ステップB3−2に相当する)。ショットチェンジがない場合、それが直前のショットと同一ショットカットと見なされる。そして、ショット1〜3の間、ショット4〜6の間、ショット7〜9の間のそれぞれに、本当にショットチェンジがないかを判定する(上記ステップB3−1に相当する)。ショットチェンジがある場合、複数のショットに分割してショットカットを行う。
ステップB1でのカラー特徴及び注目領域を利用した検出結果は、ショットカット#1(ショット1、2、3からなる)がLong Shotとし、ショットカット#2(ショット4、5、6からなる)がMiddle Shotとするという二つの異なるショットカットが検出された場合、ショット1の直後にショット2を検出した時点(k=2)で、ステップB3−1により、動き特徴を利用して、ショットチェンジがないかを判定する。
図24は、前後フレーム間の動き情報から画像内の動き情報の「信頼性評価用パラメータ(x,y)」を推定する手法を示す。必要(例えば、計算の高速化のため)に応じて、入力された画像から低解像度画像を作成する(S2401)。そして、画像内のすべての画素(i,j)に対し、サイズが一定にされた(例えば、16×16)ブロックをモデルとして(S2402)、その前のフレームの画像内において同じ領域をサーチする(例えば、サーチされる領域は、32×32である)(S2403)。また、SAD評価値(Dss)を利用してサーチする時のエラー評価を行う。以下の式(7)は、Dssの算出方法を示す。サーチ領域内の各画素位置(XMV,YMV)の評価値(Dss)を利用して、下記の二次曲面モデルをフィッティングさせ、当該モデルのパラメータ(a,b,c)を算出する。最後に、x=(a×b)1/2、y=cにより、パラメータ(a,b,c)を(x,y)へ変換させ、当該(x,y)を動き情報信頼性評価の特徴量とする(S2404)。
即ち、カメラパネルにおける人物のある画像だけを収集して、同様な手法で動きの信頼度を算出して、信頼度のある動き領域をマスクとする。その結果は、画面の中央付近に人物が現れる状況が多い(統計処理により得られた結果)ので、図26(b)に示すように、画面の中央部付近において、信頼度のある動き領域が存在するようなマスクを作成する。
図23と同様に、まず、動き情報信頼性評価パラメータ(x,y)を推測し(S2701)、動き情報信頼性判定器の信頼できる動き領域マスク(MMV)を作成する(S2702)。そして、式(9)に示すように、特徴量FPとして、マスクMMVの信頼できる動き情報の比率(0〜100%)を算出する(S2703)。更に、特徴量が検出ミスを判定する閾値Thd02より小さいかを判定する(S2704)。当該特徴量が検出ミスを判定する閾値Thd02より小さい場合、ショットカットの検出ミスとして判定される。でなければ、検出ミス無しとして判定される。
本発明の各実施形態の技術効果は、以下の通りである。
(1)本発明の各実施形態では、カラー分布特徴を利用して、注目カラー領域をロバストに検出することにより、サッカー試合などのスポーツ映像内の対象及びショットカットが検出される。そして、これらの結果をメタ情報として付加することにより、映像内容の自動解析が可能になる。
110,210 映像読み取り手段
120,220 注目領域抽出手段
130,230 対象特徴抽出手段
140,240 ショットカット検出手段
242 第1のショットカット検出手段
244 第2のショットカット検出手段
250 信頼性を有した動き情報抽出手段
260 ショット分類手段
Claims (18)
- 映像を読み込む映像読み込み手段と、
前記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出手段と、
前記注目領域内或いは前記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出手段と、
画像内のカラー特徴と前記注目領域の前記対象特徴と動き情報とを用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出手段と、
信頼性を有した動き情報抽出手段とを含み、
前記ショットカット検出手段は、当該信頼性を有した動き情報抽出手段が算出した前記信頼性を有した動き情報を利用して、検出を行い、
前記ショットカット検出手段は、動き情報の信頼性の検出結果に基づいて、前記動き情報に2値化の信頼性モデルを付与する、映像解析装置。 - 前記ショットカット検出手段による検出結果によって得られるショットを分類するショット分類手段を更に含む、請求項1に記載の映像解析装置。
- 前記注目領域抽出手段は、予め学習したことによって得られる前記注目領域での画像特徴を利用して、前記各フレーム画像に前記注目領域が存在するか否かを判断する、請求項1に記載の映像解析装置。
- 前記注目領域の画像特徴は、HSVヒストグラムによる、請求項1に記載の映像解析装置。
- 前記注目領域抽出手段が前記注目領域を抽出した後に、前記対象特徴抽出手段は、自動的に前記注目領域内又は前記注目領域と隣接した領域内に、前記対象特徴を抽出する、請求項1に記載の映像解析装置。
- 前記ショットカット検出手段は、前後フレームの間の動き情報を算出して、前記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出する、請求項1に記載の映像解析装置。
- 前記ショットカット検出手段は、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得て、当該得られた整合評価値の前記二次曲面モデルへのフィッティングにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出する、請求項6に記載の映像解析装置。
- 前記ショットカット検出手段は、複数の動き情報の信頼性のモデルによって、動き情報の信頼性のパラメータを算出し、
前記ショットカット検出手段は、前記動き情報の信頼性のモデル及び前記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出する、請求項7に記載の映像解析装置。 - 各工程が映像解析装置によって行われる映像解析方法であって、
映像を読み込む映像読み込み工程と、
前記映像の各フレーム画像の中から注目領域を抽出する注目領域抽出工程と、
前記注目領域内或いは前記注目領域と隣接した領域内において、対象特徴を抽出する対象特徴抽出工程と、
画像内のカラー特徴と前記注目領域の前記対象特徴と動き情報を用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出するショットカット検出工程とを含み、
前記ショットカット検出工程は、信頼性を有した動き情報抽出工程を含み、
前記ショットカット検出工程において、当該信頼性を有した動き情報抽出工程により算出した前記信頼性を有した動き情報を利用して、検出を行い、
前記ショットカット検出工程において、動き情報の信頼性の検出結果に基づいて、前記動き情報に2値化の信頼性モデルを付与する、映像解析方法。 - 検出されたショットカットによるショットを分類するショット分類工程を更に含む、請求項9に記載の映像解析方法。
- 前記注目領域抽出工程において、予め学習したことによって得られる前記注目領域での画像特徴を利用して、前記各フレーム画像に前記注目領域が存在するか否かを判断する、請求項9に記載の映像解析方法。
- 前記注目領域の画像特徴は、HSVヒストグラムによる、請求項9に記載の映像解析方法。
- 前記注目領域抽出工程において前記注目領域を抽出した後に、前記対象特徴抽出工程において自動的に前記注目領域内又は前記注目領域と隣接した領域内に、前記対象特徴を抽出する、請求項9に記載の映像解析方法。
- 前記ショットカット検出工程において、前後フレームの間の動き情報を算出して、前記動き情報を二次曲面モデルへフィッティングさせることにより、動き情報の信頼性を検出する特徴量を算出する、請求項9に記載の映像解析方法。
- 前記ショットカット検出工程において、サーチ領域内における各画素位置と前後フレームの画像内における同じ領域のサーチとの整合を算出して整合評価値を得って、その得られた整合評価値の前記二次曲面モデルへフィッティングすることにより、二次曲面のパラメータを推定して、動き情報の信頼性を検出する特徴量を算出する、請求項14に記載の映像解析方法。
- 前記ショットカット検出工程において、複数の動き情報の信頼性のモデルによって、前記動き情報の信頼性のパラメータを算出し、
前記ショットカット検出工程において、前記動き情報の信頼性のモデル及び前記動き情報の信頼性のパラメータに基づいて、ショットカットの検出結果が信頼できるか否かを示す信頼性評価値を算出する、請求項15に記載の映像解析方法。 - 請求項1〜8のいずれかに記載の映像解析装置と、
前記映像解析装置による解析結果に基づいて、自動的にダイジェストを作成するダイジェスト自動作成手段と、
を含む、ダイジェスト自動作成システム。 - 請求項1〜8のいずれかに記載の映像解析装置と、
前記映像解析装置による解析結果に基づいて、自動的にハイライトを抽出するハイライト自動抽出手段と、
を含む、ハイライト自動抽出システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710110779 | 2007-06-18 | ||
CN200710110779.2 | 2007-06-18 | ||
CN200810009385.2 | 2008-02-28 | ||
CN2008100093852A CN101329766B (zh) | 2007-06-18 | 2008-02-28 | 运动图像分析装置、方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008312215A JP2008312215A (ja) | 2008-12-25 |
JP5420199B2 true JP5420199B2 (ja) | 2014-02-19 |
Family
ID=40205561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008158522A Expired - Fee Related JP5420199B2 (ja) | 2007-06-18 | 2008-06-17 | 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2034426A1 (ja) |
JP (1) | JP5420199B2 (ja) |
CN (1) | CN101329766B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101788074B1 (ko) * | 2016-06-02 | 2017-10-19 | 주식회사 에스원 | 관제요원의 빠른 상황파악을 위한 보안시스템에서의 하이라이트 영상 생성 시스템 및 이를 이용한 하이라이트 영상 생성방법 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285116A (ja) | 2005-04-05 | 2006-10-19 | Eastman Kodak Co | 駆動回路 |
JP5298831B2 (ja) | 2008-12-19 | 2013-09-25 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
CN101697593B (zh) * | 2009-09-08 | 2012-10-10 | 武汉大学 | 一种基于时域预测的关注度提取方法 |
EP2439699A1 (en) * | 2010-10-07 | 2012-04-11 | BAE SYSTEMS plc | Image processing |
WO2012046025A1 (en) * | 2010-10-07 | 2012-04-12 | Bae Systems Plc | Image processing |
EP2625670B1 (en) * | 2010-10-07 | 2019-11-27 | BAE Systems PLC | Image processing |
EP2439698A1 (en) * | 2010-10-07 | 2012-04-11 | BAE SYSTEMS plc | Image processing |
CN102625028B (zh) * | 2011-01-30 | 2016-09-14 | 索尼公司 | 对视频中存在的静态徽标进行检测的方法和设备 |
WO2012163735A1 (en) * | 2011-05-31 | 2012-12-06 | Restorm Ag | System and method for online, interactive licensing and sales of art works |
JP6354229B2 (ja) | 2014-03-17 | 2018-07-11 | 富士通株式会社 | 抽出プログラム、方法、及び装置 |
CN105242911B (zh) * | 2014-07-09 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种游戏场景中物体的控制方法、装置及终端 |
US9639762B2 (en) * | 2014-09-04 | 2017-05-02 | Intel Corporation | Real time video summarization |
US10984248B2 (en) | 2014-12-15 | 2021-04-20 | Sony Corporation | Setting of input images based on input music |
CN105657580B (zh) * | 2015-12-30 | 2018-11-13 | 北京工业大学 | 一种胶囊内镜视频摘要生成方法 |
CN109416728A (zh) * | 2016-09-30 | 2019-03-01 | 富士通株式会社 | 目标检测方法、装置以及计算机系统 |
CN109165557A (zh) * | 2018-07-25 | 2019-01-08 | 曹清 | 景别判断系统及景别判断方法 |
CN109036479A (zh) * | 2018-08-01 | 2018-12-18 | 曹清 | 剪辑点判断系统及剪辑点判断方法 |
JP7215390B2 (ja) * | 2019-10-10 | 2023-01-31 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
US20230289981A1 (en) * | 2020-08-25 | 2023-09-14 | Tarkett Sports Canada Inc. | Electronic assessment of playing surface properties |
CN112906456B (zh) * | 2020-12-29 | 2024-02-27 | 周口师范学院 | 一种基于帧间特征的人群异常行为检测方法及系统 |
CN113467678A (zh) * | 2021-06-10 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 目标对象显示方法、装置、电子设备及计算机可读存储介质 |
CN113663312B (zh) * | 2021-08-16 | 2022-05-13 | 东南大学 | 一种基于微惯性的无器械健身动作质量评估方法 |
CN114722230B (zh) * | 2022-03-30 | 2022-10-18 | 西安西科软件技术有限公司 | 利用角度大数据匹配的辅助判决系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06153146A (ja) * | 1992-11-04 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像のシーンチェンジ検出装置および編集装置 |
JP2978039B2 (ja) * | 1993-08-10 | 1999-11-15 | ケイディディ株式会社 | 動画像のカット画面検出方法 |
JP4913288B2 (ja) | 2001-05-14 | 2012-04-11 | ソニー株式会社 | 情報信号処理装置及び情報信号処理方法 |
JP4181313B2 (ja) * | 2001-07-13 | 2008-11-12 | 日本放送協会 | シーン内容情報付加装置及びシーン内容情報付加プログラム |
JP2003061112A (ja) * | 2001-08-20 | 2003-02-28 | Univ Waseda | カメラワーク検出装置およびカメラワーク検出方法 |
US7006945B2 (en) * | 2003-01-10 | 2006-02-28 | Sharp Laboratories Of America, Inc. | Processing of video content |
JP2006054622A (ja) | 2004-08-10 | 2006-02-23 | Sony Corp | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
JP2006101155A (ja) * | 2004-09-29 | 2006-04-13 | Hitachi Ltd | 画像記録再生装置 |
-
2008
- 2008-02-28 CN CN2008100093852A patent/CN101329766B/zh not_active Expired - Fee Related
- 2008-06-17 EP EP08252076A patent/EP2034426A1/en not_active Withdrawn
- 2008-06-17 JP JP2008158522A patent/JP5420199B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101788074B1 (ko) * | 2016-06-02 | 2017-10-19 | 주식회사 에스원 | 관제요원의 빠른 상황파악을 위한 보안시스템에서의 하이라이트 영상 생성 시스템 및 이를 이용한 하이라이트 영상 생성방법 |
Also Published As
Publication number | Publication date |
---|---|
CN101329766A (zh) | 2008-12-24 |
EP2034426A1 (en) | 2009-03-11 |
CN101329766B (zh) | 2012-05-30 |
JP2008312215A (ja) | 2008-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5420199B2 (ja) | 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム | |
CN112990191B (zh) | 一种基于字幕视频的镜头边界检测与关键帧提取方法 | |
US8326042B2 (en) | Video shot change detection based on color features, object features, and reliable motion information | |
Yu et al. | Trajectory-based ball detection and tracking in broadcast soccer video | |
CN110381366B (zh) | 赛事自动化报道方法、系统、服务器及存储介质 | |
JP4257615B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4643829B2 (ja) | ビデオフレーム中の検出されたテキストを使用してビデオコンテンツを分析するシステム及び方法 | |
EP2224357A1 (en) | Video segmentation | |
US20090274364A1 (en) | Apparatus and methods for detecting adult videos | |
JP2002232840A (ja) | 動画要約方法 | |
CN103345492A (zh) | 一种视频浓缩的方法和系统 | |
JP2005243035A (ja) | アンカーショット決定方法及び決定装置 | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
Nasir et al. | Event detection and summarization of cricket videos | |
Lu et al. | An effective post-refinement method for shot boundary detection | |
JP5116017B2 (ja) | 動画検索方法およびシステム | |
JP2004040750A (ja) | 複数の状態に基づいて連続した圧縮映像を解析する方法 | |
US20070061727A1 (en) | Adaptive key frame extraction from video data | |
Bloom et al. | Player tracking and stroke recognition in tennis video | |
Zhang et al. | Accurate overlay text extraction for digital video analysis | |
Valdés et al. | On-line video skimming based on histogram similarity | |
Premaratne et al. | Improving event resolution in cricket videos | |
JP4736985B2 (ja) | 画像処理装置および方法、並びにプログラム | |
Jadhav et al. | SURF based Video Summarization and its Optimization | |
JP2008022442A (ja) | 画像処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130220 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5420199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |