JP4731522B2 - 特徴量生成装置、要約映像検出装置、及びプログラム - Google Patents
特徴量生成装置、要約映像検出装置、及びプログラム Download PDFInfo
- Publication number
- JP4731522B2 JP4731522B2 JP2007148389A JP2007148389A JP4731522B2 JP 4731522 B2 JP4731522 B2 JP 4731522B2 JP 2007148389 A JP2007148389 A JP 2007148389A JP 2007148389 A JP2007148389 A JP 2007148389A JP 4731522 B2 JP4731522 B2 JP 4731522B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- section
- feature
- feature quantity
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 48
- 238000000605 extraction Methods 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 166
- 238000000034 method Methods 0.000 description 19
- 239000000284 extract Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
非特許文献1に開示される技術によれば、蓄積映像の区間ごとに色ヒストグラムに基づく特徴ベクトルを求めておくとともに、番組映像についても同様の特徴ベクトルを求め、特徴ベクトルの類似性によって、要約部分を検出することができる。
柏野邦夫他著、「ヒストグラム枝刈りアルゴリズムに基づくオーディオ及びビデオ信号の高速検索方法(Quick Search Method for Audio and Video Signals Based on Histogram Pruning)」、IEEE TRANSACTIONS ON MULTIMEDIA、Vol.5 No.3、2003年9月、p.348-357 瀧本政雄他著、「大容量放送映像アーカイブからの同一フラッシュシーン映像の発見」、電子情報通信学会論文誌(D)、Vol.J89-D,No.12、2006年12月、p.2699-2709
上記特徴量は映像の意味内容を反映しているので、上記特徴量を用いて行われる要約画像検出は、幅広い映像に適用可能な、検出精度の高いものとなる。なお、前記文字データは、前記映像に含まれるクローズドキャプションや、電子番組ガイド内の前記映像にかかる部分の文字データを含む、こととしてもよい。こうすれば、クローズドキャプションや電子番組ガイドから文字データを取得することができる。
これによれば、特徴量による要約映像検出の精度を、さらに高めることができる。
これによれば、映像の区間ごとに、特徴量を作成することができるとともに、特徴量算出の処理負荷を軽減することが可能になる。
これによれば、幅広い映像に適用可能な、検出精度の高い要約映像検出が実現される。
このようにしても、幅広い映像に適用可能な、検出精度の高い要約映像検出が実現される。また、様々な長さの映像区間を要約映像候補として取り扱うことが可能になる。
また、前記の課題を解決するプログラムは、映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段、及び前記索引語ごとの前記映像内での出現数に基づいて前記映像に関する特徴量を生成する特徴量生成手段、としてコンピュータを機能させるためのプログラムである。
抽出部300の処理について、その内部構成を示す図面を参照しながら説明する。図3は、抽出部300の内部構成を示す図である。同図に示すように、抽出部300は、ストリーム分離部3000、索引語抽出部3002、音声認識部3003、索引語抽出部3004、統合部3005を含んで構成される。
図4は、番組映像特徴ベクトル記憶部40の記憶内容の具体例を示す図である。同図に示すように、番組映像特徴ベクトル記憶部40は、索引語ごとに、テレビ番組ごとの出現数及び上記特徴量を記憶している。なお、番組映像特徴ベクトル記憶部40に記憶される索引語は、過去に蓄積映像(番組映像を含む。)から抽出された索引語全てである。
区間映像特徴ベクトル生成部3030は、抽出部302が出力する抽出結果を用い、索引語ごとの区間映像内での出現数を取得する。そして、取得した索引語ごとの出現数に基づいて区間映像に関する特徴ベクトルを生成する(区間映像特徴量生成手段)。具体的な特徴ベクトルの生成方法は、特徴ベクトル生成部301とほぼ同様である。
類似度算出部52は、算出した区間映像ごとの類似度を類似度記憶部54に記憶させる。
図10は、要約映像検出装置5の処理フローを示すフロー図である。同図に示すように、要約映像検出装置5は、まず、番組映像Piに関する特徴ベクトルVpiを取得する(ステップS1)。次に、蓄積映像の検索範囲を設定し(ステップS2)、区間長最大値TLMAX、区間長増分TI、蓄積映像内の始点TS、映像区間長TLをそれぞれ初期設定する(ステップS3〜ステップS6)。
また、特徴ベクトル生成装置3は、特徴ベクトル生成の基になる文字データを、クローズドキャプションや電子番組ガイドから文字データを取得することができる。
さらに、要約映像検出システム1では、様々な長さの映像区間を要約映像候補として取り扱うことが可能になっている。
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
2 映像データベース、
3 特徴ベクトル生成装置、
4 特徴ベクトルデータベース、
5 要約映像検出装置、
20 蓄積映像記憶部、
30 番組映像特徴ベクトル生成部、
31 希少性情報算出部、
32 蓄積映像特徴ベクトル生成部、
40 番組映像特徴ベクトル、
41 蓄積映像特徴ベクトル記憶部、
50 番組指定受付部、
51 番組映像特徴ベクトル取得部、
52 類似度算出部、
53 蓄積映像特徴ベクトル取得部、
54 類似度記憶部、
55 要約映像検出部、
55 類似度記憶部、
300,302 抽出部、
301,303 特徴ベクトル生成部、
3000 ストリーム分離部、
3002 索引語抽出部、
3003 音声認識部、
3004 索引語抽出部、
3005 統合部、
3030 区間映像特徴ベクトル生成部、
3031 連続区間映像特徴ベクトル生成部。
Claims (4)
- 映像の区間ごとに、区間映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段と、
前記索引語ごとの前記区間映像内での出現数に基づいて該区間映像に関する特徴量を生成する区間映像特徴量生成手段と、
前記区間映像特徴量生成手段によって生成される各区間映像に関する特徴量に基づき、隣り合った複数の区間映像からなる連続区間映像に関する特徴量を生成する連続区間映像特徴量生成手段と、
を含むことを特徴とする特徴量生成装置。 - 映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段と、
前記索引語ごとの前記映像内での出現数に基づいて前記映像に関する特徴量を生成する特徴量生成手段と、
を含む特徴量生成装置により生成された特徴量を取得して番組映像の要約映像を検出する要約映像検出装置であって、
蓄積映像の各区間それぞれについて、前記特徴量生成装置により生成された特徴量を取得する蓄積映像特徴量取得手段と、
番組映像について、前記特徴量生成装置により生成された特徴量を取得する番組映像特徴量取得手段と、
前記蓄積映像の前記区間ごとに、該区間に関する特徴量と、前記番組映像に関する特徴量と、の類似度を算出する類似度算出手段と、
前記類似度算出手段の算出結果に基づいて、前記蓄積映像の前記各区間の中から前記番組映像の要約映像を検出する要約映像検出手段と、
を含むことを特徴とする要約映像検出装置。 - 映像の区間ごとに、区間映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段と、
前記索引語ごとの前記区間映像内での出現数に基づいて該区間映像に関する特徴量を生成する区間映像特徴量生成手段と、
前記区間映像特徴量生成手段によって生成される各区間映像に関する特徴量に基づき、隣り合った複数の区間映像からなる連続区間映像に関する特徴量を生成する連続区間映像特徴量生成手段と、
を含む第1の特徴量生成装置により生成された特徴量を取得するとともに、
映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段と、
前記索引語ごとの前記映像内での出現数に基づいて前記映像に関する特徴量を生成する特徴量生成手段と、
を含む第2の特徴量生成装置により生成された特徴量を取得して、
番組映像の要約映像を検出する要約映像検出装置であって、
蓄積映像の各区間及び隣り合った複数の区間からなる連続区間それぞれについて、前記第1の特徴量生成装置により生成された特徴量を取得する蓄積映像特徴量取得手段と、
番組映像について、前記第2の特徴量生成装置により生成された特徴量を取得する番組映像特徴量取得手段と、
前記蓄積映像の前記区間及び前記連続区間ごとに、該区間又は該連続区間に関する特徴量と、前記番組映像に関する特徴量と、の類似度を算出する類似度算出手段と、
前記類似度算出手段の算出結果に基づいて、前記蓄積映像の前記各区間及び前記各連続区間の中から前記番組映像の要約映像を検出する要約映像検出手段と、
を含むことを特徴とする要約映像検出装置。 - 映像の区間ごとに、区間映像に対応する文字データ又は音声信号のうちの少なくとも一方から、1又は複数の索引語を抽出する抽出手段と、
前記索引語ごとの前記区間映像内での出現数に基づいて該区間映像に関する特徴量を生成する区間映像特徴量生成手段と、
前記区間映像特徴量生成手段によって生成される各区間映像に関する特徴量に基づき、隣り合った複数の区間映像からなる連続区間映像に関する特徴量を生成する連続区間映像特徴量生成手段と、
を含む特徴量生成装置としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007148389A JP4731522B2 (ja) | 2007-06-04 | 2007-06-04 | 特徴量生成装置、要約映像検出装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007148389A JP4731522B2 (ja) | 2007-06-04 | 2007-06-04 | 特徴量生成装置、要約映像検出装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008301426A JP2008301426A (ja) | 2008-12-11 |
JP4731522B2 true JP4731522B2 (ja) | 2011-07-27 |
Family
ID=40174465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007148389A Active JP4731522B2 (ja) | 2007-06-04 | 2007-06-04 | 特徴量生成装置、要約映像検出装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4731522B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10467289B2 (en) * | 2011-08-02 | 2019-11-05 | Comcast Cable Communications, Llc | Segmentation of video according to narrative theme |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023112A (ja) * | 1998-06-30 | 2000-01-21 | Toshiba Corp | 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法 |
JP2004333737A (ja) * | 2003-05-06 | 2004-11-25 | Nec Corp | メディア検索装置およびメディア検索プログラム |
JP2005340880A (ja) * | 2004-05-24 | 2005-12-08 | Casio Comput Co Ltd | 端末装置および端末処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050483A (ja) * | 2004-08-09 | 2006-02-16 | Ricoh Co Ltd | 映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体 |
JP2007110188A (ja) * | 2005-10-11 | 2007-04-26 | Sony Corp | 記録装置、記録方法、再生装置および再生方法 |
-
2007
- 2007-06-04 JP JP2007148389A patent/JP4731522B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023112A (ja) * | 1998-06-30 | 2000-01-21 | Toshiba Corp | 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法 |
JP2004333737A (ja) * | 2003-05-06 | 2004-11-25 | Nec Corp | メディア検索装置およびメディア検索プログラム |
JP2005340880A (ja) * | 2004-05-24 | 2005-12-08 | Casio Comput Co Ltd | 端末装置および端末処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2008301426A (ja) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11468109B2 (en) | Searching for segments based on an ontology | |
US11197036B2 (en) | Multimedia stream analysis and retrieval | |
US9888279B2 (en) | Content based video content segmentation | |
KR102068790B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
KR100915847B1 (ko) | 스트리밍 비디오 북마크들 | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
US7209942B1 (en) | Information providing method and apparatus, and information reception apparatus | |
US10652592B2 (en) | Named entity disambiguation for providing TV content enrichment | |
US9837125B2 (en) | Generation of correlated keyword and image data | |
US20070101266A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
KR20010086393A (ko) | 비디오 세그먼트를 다른 비디오 세그먼트 또는 정보원에링크시키는 방법 및 장치 | |
JP2006287319A (ja) | 番組ダイジェスト作成装置および番組ダイジェスト作成プログラム | |
US20020144293A1 (en) | Automatic video retriever genie | |
EP2336900A2 (en) | Search device and search method | |
JP5335500B2 (ja) | コンテンツ検索装置及びコンピュータプログラム | |
US20080016068A1 (en) | Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor | |
KR20080112975A (ko) | 스크립트 정보 기반 동영상 검색을 위한 데이터베이스 구축방법, 데이터베이스 구축 시스템, 데이터베이스 구축용컴퓨터 프로그램이 기록된 기록매체 및 이를 이용한 동영상검색 방법 | |
JP4731522B2 (ja) | 特徴量生成装置、要約映像検出装置、及びプログラム | |
KR20080107143A (ko) | 오디오 신호처리 기반의 음악 및 동영상 추천 시스템 및방법 | |
JP2007060606A (ja) | ビデオの自動構造抽出・提供方式からなるコンピュータプログラム | |
KR20110008711A (ko) | 자막정보 검색 기능을 제공하는 방법, 단말기, 서버 및 시스템 | |
US20190182517A1 (en) | Providing Enrichment Data That is a Video Segment | |
JP2007006116A (ja) | 映像インデキシング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4731522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |