JP5204716B2 - 映像検索装置及び映像検索プログラム - Google Patents
映像検索装置及び映像検索プログラム Download PDFInfo
- Publication number
- JP5204716B2 JP5204716B2 JP2009098755A JP2009098755A JP5204716B2 JP 5204716 B2 JP5204716 B2 JP 5204716B2 JP 2009098755 A JP2009098755 A JP 2009098755A JP 2009098755 A JP2009098755 A JP 2009098755A JP 5204716 B2 JP5204716 B2 JP 5204716B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- video
- main
- shots
- edit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 description 60
- 238000000034 method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
図2は、本発明の実施形態による映像検索装置の構成を示すブロック図である。この映像検索装置1は、試合本編映像dが格納された記憶部11、スポーツニュース編集映像が格納された記憶部12、本編映像前処理部21、編集映像ベクトル計算部22及び検索処理部23を備えている。検索処理部23は、候補ショットセット選定部24及び最終特定部25を備えている。ここで、d=1〜Dであり、dは試合本編映像ファイルを示す番号(ID)、Dは蓄積された試合本編映像ファイルの数をそれぞれ示す。スポーツニュース編集映像を視聴する視聴者により、試合本編映像でじっくり視聴したいと所望する投球ショット及び打球ショットを含むシーンが指定されると、映像検索装置1は、そのシーンに対応する試合本編映像のシーンを検索する。尚、映像検索装置1は、試合本編映像d及びスポーツニュース編集映像を外部から入力するようにしてもよい。
まず、本編映像前処理部21について説明する。本編映像前処理部21は、記憶部11から試合本編映像d(d=1〜D)を読み出し、試合本編映像dのそれぞれの映像に対してショット切替点(ショットの切れ目)を検出し、その切替点を境にして映像をショット分割する。具体的には、本編映像前処理部21は、試合本編映像dを構成するフレームを所定数のブロックに分割し、分割したブロック毎の画像特徴ベクトルを計算し、前後のフレームにおける各ブロックの画像特徴ベクトルの類似度を計算する。そして、計算した類似度が所定の閾値よりも低いフレームの境目を、映像をショット分割するための切替点として検出する。また、計算した類似度が所定の閾値以上となるフレーム群を、一つのショットとして設定する。この切替点検出手法は既知であり、詳細については、例えば、特開2006−270301号公報を参照されたい。
次に、編集映像ベクトル計算部22について説明する。編集映像ベクトル計算部22は、記憶部12からスポーツニュース編集映像を読み出し、スポーツニュース編集映像のうちの、視聴者により指定されたシーンの投球ショット及び打球ショットを含む第wショット(w=1は投球ショット、w=2,3,4は、それぞれ第2ショット、第3ショット及び第4ショットを示し、第4ショットは打球ショットを示す。)について、最終フレームからTフレーム分遡ったフレームtwqを先頭フレームとし、フレームtwqから最終フレームまでのフレーム数Tの映像区間における画像特徴ベクトルV(twq)を計算する。尚、フレーム数Tの映像区間は、第wショットのそれぞれの区間内であればどこでもよい。
次に、検索処理部23の候補ショットセット選定部24について説明する。候補ショットセット選定部24は、本編映像前処理部21から、試合本編映像の1−2ショットセットにおける投球ショットの画像特徴ベクトルv1(d)(t,i,j)を入力すると共に、編集映像ベクトル計算部22から、スポーツニュース編集映像において視聴者により指定されたシーンの投球ショット(w=1)における画像特徴ベクトルV(t1q)を入力する。そして、候補ショットセット選定部24は、試合本編映像の投球ショットに対し、所定のフレーム数Tの映像区間における画像特徴ベクトルV(t0)を算出し、スポーツニュース編集映像の投球ショットにおける画像特徴ベクトルV(t1q)との間の類似度S1(d)(t0)を算出し、候補ショットセット(d(n),k(n))を選定する。以下、具体的に説明する。
次に、検索処理部23の最終特定部25について説明する。最終特定部25は、本編映像前処理部21から、試合本編映像の1−2ショットセットにおける第2ショットの画像特徴ベクトルv2(d)(t,i,j)を入力すると共に、編集映像ベクトル計算部22から、スポーツニュース編集映像において視聴者により指定されたシーンの第2〜第4ショット(w=2〜4)における画像特徴ベクトルV(t2q)〜V(t4q)をそれぞれ入力する。また、候補ショットセット選定部24から、試合本編映像とスポーツニュース編集映像との間の投球ショットにおいて類似度が高いと判定された候補ショットセット(d(n),k(n))を入力する。そして、最終特定部25は、試合本編映像の第2ショットに対し、フレーム数Tの映像区間における画像特徴ベクトルV(t0)を算出し、スポーツニュース編集映像の第2〜第4ショットにおける画像特徴ベクトルV(t2q)〜V(t4q)との間の類似度S2(d)(t0)〜S4(d)(t0)を算出し、候補ショットセット(d(n),k(n))の中から、最も類似度の高いショットセットを特定し、試合本編映像ID、映像区間の開始点(開始フレームの番号)及び終了点(終了フレームの番号)を出力する。以下、具体的に説明する。
11,12 記憶部
21 本編映像前処理部
22 編集映像ベクトル計算部
23 検索処理部
24 候補ショットセット選定部
25 最終特定部
Claims (6)
- 本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索する映像検索装置において、
前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出し、前記ショット切替点の直前の第1本編ショット及び直後の第2本編ショットからなるショットセットを抽出し、前記第1本編ショットの特徴量及び前記第2本編ショットの特徴量をそれぞれ計算する本編映像前処理部と、
前記編集映像における所定のショットである第1編集ショットの特徴量、及び該第1編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算する編集映像計算部と、
前記第1本編ショットの特徴量と前記第1編集ショットの特徴量とに基づいて、前記第1本編ショットと前記第1編集ショットとの間の第1の類似度を計算し、前記第2本編ショットの特徴量と前記第1編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第2本編ショットと前記複数の編集ショットとの間の第2の類似度をそれぞれ計算し、前記第1の類似度及び第2の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定する検索処理部と、を備えたことを特徴とする映像検索装置。 - 請求項1に記載の映像検索装置において、
前記検索処理部は、
前記第1本編ショットの特徴量と第1編集ショットの特徴量とに基づいて両ショットの類似度を計算し、前記類似度が所定の閾値よりも高い第1本編ショットを含むショットセットを、候補ショットセットとして選定する候補ショットセット選定部と、
前記候補ショットセットに含まれる第2本編ショットの特徴量と、前記第1編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第2本編ショットと前記複数の編集ショットとの間の類似度をそれぞれ計算し、全ての前記候補ショットセットにおける前記計算した類似度のうち、最も類似度が高い候補ショットセットを特定し、前記特定した候補ショットセットに含まれる第1本編ショットを、前記編集映像における所定のショットに対応した前記本編映像のショットとして特定する最終特定部と、を備えたことを特徴とする映像検索装置。 - 請求項1または2に記載の映像検索装置において、
前記検索処理部は、フレームが分割された領域をブロックとした場合に、連続した所定数のフレームに渡る前記ブロック毎の特徴量に基づいて、前記第1の類似度及び第2の類似度を計算する、ことを特徴とする映像検索装置。 - 請求項1から3までのいずれか一項に記載の映像検索装置において、
前記編集映像は、前記本編映像の連続した2つのショットに基づいて構成され、前記2つのショットに基づいて構成されたそれぞれのショットの間に、所定数の他のショットが挿入されており、
前記編集映像計算部は、前記本編映像の連続した2つのショットに基づいて構成されたそれぞれのショットの特徴量、及び前記所定数の他のショットの特徴量を計算する、ことを特徴とする映像検索装置。 - 請求項1から4までのいずれか一項に記載の映像検索装置において、
前記本編映像を野球の試合映像とし、前記第1本編ショット及び第1編集ショットを投球ショットとする、ことを特徴とする映像検索装置。 - 本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索するプログラムであって、コンピュータに、
前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出するステップと、
前記ショット切替点の直前の第1本編ショット及び直後の第2本編ショットからなるショットセットを抽出するステップと、
前記第1本編ショットの特徴量及び第2本編ショットの特徴量をそれぞれ計算するステップと、
前記編集映像における所定のショットである第1編集ショットの特徴量、及び該第1編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算するステップと、
前記第1本編ショットの特徴量と前記第1編集ショットの特徴量とに基づいて、前記第1本編ショットと前記第1編集ショットとの間の第1の類似度を計算するステップと、
前記第2本編ショットの特徴量と前記第1編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第2本編ショットと前記複数の編集ショットとの間の第2の類似度をそれぞれ計算するステップと、
前記第1の類似度及び第2の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定するステップと、を実行させることを特徴とする映像検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009098755A JP5204716B2 (ja) | 2009-04-15 | 2009-04-15 | 映像検索装置及び映像検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009098755A JP5204716B2 (ja) | 2009-04-15 | 2009-04-15 | 映像検索装置及び映像検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010252013A JP2010252013A (ja) | 2010-11-04 |
JP5204716B2 true JP5204716B2 (ja) | 2013-06-05 |
Family
ID=43313857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009098755A Active JP5204716B2 (ja) | 2009-04-15 | 2009-04-15 | 映像検索装置及び映像検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5204716B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6034702B2 (ja) * | 2013-01-15 | 2016-11-30 | 日本放送協会 | 画像処理装置及び画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005269015A (ja) * | 2004-03-17 | 2005-09-29 | Tama Tlo Kk | 複数のアルゴリズムを利用する動画像抽出装置 |
CN101112090B (zh) * | 2004-12-03 | 2011-03-23 | 日本电气株式会社 | 视频内容回放辅助方法、系统和信息分发服务器 |
JP2006293513A (ja) * | 2005-04-07 | 2006-10-26 | Tama Tlo Kk | 先行シーンの存在を利用した特定シーンの映像の抽出方法及び装置 |
JP4650288B2 (ja) * | 2006-02-01 | 2011-03-16 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
JP4428424B2 (ja) * | 2007-08-20 | 2010-03-10 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび記録媒体 |
-
2009
- 2009-04-15 JP JP2009098755A patent/JP5204716B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010252013A (ja) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5032846B2 (ja) | 監視装置および監視記録装置、それらの方法 | |
JP4841553B2 (ja) | 映像シーン分類装置、映像シーン分類方法、プログラム、記録媒体、集積回路およびサーバ−クライアントシステム | |
EP3189469B1 (en) | A method for selecting frames from video sequences based on incremental improvement | |
JPWO2012137493A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び集積回路 | |
JP6557592B2 (ja) | 映像シーン分割装置及び映像シーン分割プログラム | |
TWI590856B (zh) | 擷取方法及裝置 | |
US9189545B2 (en) | Content summarizing apparatus and content summarizing displaying apparatus | |
JP5209593B2 (ja) | 映像編集装置,映像編集方法および映像編集プログラム | |
JP4496992B2 (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
Bhalla et al. | A multimodal approach for automatic cricket video summarization | |
JP4893641B2 (ja) | ダイジェスト生成装置及びダイジェスト生成方法 | |
US20230230378A1 (en) | Method and system for selecting highlight segments | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
JP7066405B2 (ja) | 画像識別装置、プログラム及び画像識別方法 | |
JP5204716B2 (ja) | 映像検索装置及び映像検索プログラム | |
JP5664374B2 (ja) | ダイジェスト映像生成装置およびプログラム | |
KR20210132300A (ko) | 인공 지능을 이용한 스포츠 동영상 검색 방법 및 검색 시스템 | |
JP5522790B2 (ja) | テンプレート画像生成装置およびテンプレート画像生成プログラム | |
Ainasoja et al. | Keyframe-based Video Summarization with Human in the Loop. | |
Nam et al. | Content adaptive video summarization using spatio-temporal features | |
JP2010081531A (ja) | 映像処理装置及びその方法 | |
US9135509B2 (en) | Determining representative images for a video | |
Suzuki et al. | Decision level fusion-based team tactics estimation in soccer videos | |
Lee et al. | Highlight generation for basketball video using probabilistic excitement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5204716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |