JP3409828B2 - 映像目次生成方法および装置 - Google Patents
映像目次生成方法および装置Info
- Publication number
- JP3409828B2 JP3409828B2 JP04467096A JP4467096A JP3409828B2 JP 3409828 B2 JP3409828 B2 JP 3409828B2 JP 04467096 A JP04467096 A JP 04467096A JP 4467096 A JP4467096 A JP 4467096A JP 3409828 B2 JP3409828 B2 JP 3409828B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- contents
- information
- sound
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
大まかに把握する方法に関する。
の技術として、映像情報の再生速度を変化させるもの
(大辻ら、”輝度情報を使った動画ブラウジング”、1
991、信学技報、IE90−103、pp.55−6
1、1992)や、一定の速度で早送りしながら音情報
も聞けるようにした商品(SANYO、時短ビデオ)が
ある。
検出し、その直後の画像を一覧表示する技術も存在す
る。表示された画像の任意の位置を指定すると、対応す
る映像が再生される。
た映像と音の一覧表示技術(南ら、”音可視化方法およ
び装置”、特願平6−318122号)では、音情報の
種類をアイコン等で一覧表示し、映像の所望の部分を再
生することができる。
画ブラウジング”では、映像情報を始めから全て見る必
要があり、映像情報の所望の部分を選択して見ることも
できない。
場面の変わり目が頻繁に現れるため、大まかな一覧が必
要な場合にはそれらを幾つかにまとめて分類する必要が
あるが、画像情報を用いて行なうことは難しい。時間情
報を用いてまとめる方法も存在するが、映像情報の内容
を反映していない。
い音の種類を決める必要があるため、音楽番組等、聞き
たい音の種類が明確な場合において内容を大まかに把握
するには有効であるが、映像情報全般に対しては多少難
があった。
映像情報の内容を大まかに、かつ効率的に把握するため
の条件を部分的には満たしているが、映像情報の内容を
反映した階層構造を伴っているものはない。
報を用いて映像情報を階層的に分類し、映像情報の目次
を生成する映像目次生成方法および装置を提供すること
にある。
法は、入力された映像情報に含まれる音情報の種類をも
とに、該映像情報を映像区間に分類する分類段階と、音
情報の存在時間帯の長さと、音情報の種類によって存在
時間帯の長さがあらかじめわかっている場合の音情報の
種類のいずれか一方または両方によって各々の種類の音
情報に対応する映像区間を複数の階層に分類する階層分
類段階と、各階層から代表画面またはキーワードを選択
する選択段階と、代表画面またはキーワードの位置と、
該代表画面または該キーワードが属する階層の情報を蓄
積する蓄積段階と、分類された映像区間を前記代表画面
または前記キーワードによって階層的に表示する表示段
階とを有する。
ら映像の目次を生成し、生成された目次を表示すること
によって、利用者の好みに合わせた細かさで映像の内容
を確認することが可能になり、生成された目次に基づい
て入力された映像情報を制御して映像の内容を大まかに
把握することが可能になる。
もしくは音源分離方法を用いて映像情報を映像区間に分
類することができる。
報の存在時間帯の長さを算出する算出段階を備えること
ができる。
画面として選択することができる。
映像情報に含まれる音情報から特徴量を抽出し、該特徴
量の類似性を用いて映像情報を映像区間に分類し、該映
像区間の存在時間帯の長さと、音情報の種類によってそ
の存在時間帯の長さがあらかじめわかっている場合の音
情報の種類のいずれか一方または両方によって映像区間
をさらに階層に分類し、各階層から代表画面またはキー
ワードを選択して映像の目次を生成する映像目次生成部
と、代表画面またはキーワードを階層的に表示する目次
表示部とを有する。
に、A/D変換してデジタル信号に変換するA/D変換
部をさらに備えることにより、入力される映像情報がア
ナログ信号の場合でも目次を生成することができる。
をさらに備えることができる。
図面を参照して説明する。
装置の概略構成を示すブロック図である。
報を入力する映像入力部101と、映像情報に含まれる
音情報を解析し、映像情報を階層的に分類して映像の目
次を生成する映像目次生成部104と、生成された映像
の目次を表示し、目次に基づいて映像を制御、再生する
映像出力部105から構成されている。
がアナログ信号の場合には、映像情報をA/D変換する
A/D変換部102と、映像情報および映像目次生成部
104で得られた分類情報を蓄積する映像蓄積部103
から構成されている。映像出力部105は、映像目次生
成部104で生成された映像の目次を表示する目次表示
部106と、選択された映像区間を再生する映像再生部
107から構成されている。なお、映像出力部105
は、映像蓄積部103と高速バス108で接続されてお
り、映像情報を映像蓄積部103から読み出す際には、
高速バス108を介して直接アクセスすることも可能で
ある。さらに、映像出力部105において表示された映
像目次の任意の箇所をマウス等のポインティングデバイ
スを用いて指定することにより、対応する映像を再生す
ることも可能である。
算機等でソフトウェア的に実現した場合の処理の流れを
示すフロートチャートである。まず、入力画像がアナロ
グかどうかを判断し(ステップ201)、アナログであ
る場合には、A/D変換部102でA/D変換を行なう
(ステップ202)。次に、入力画像を蓄積する必要が
あるかどうか判断し(ステップ203)、必要がある場
合には、映像蓄積部103に映像情報を蓄積する(ステ
ップ204)。映像蓄積部103がネットワーク上に接
続されているような場合で、映像情報が他の装置に蓄積
されており、アクセス可能な場合には、映像情報蓄積は
行わなくてもよい。次に、映像情報に含まれる音の情報
を用いて映像目次生成部104で映像目次生成を行う
(ステップ205)。次に、目次表示部106で、生成
された目次を視覚的に表現し、目次表示を行なう(ステ
ップ206)。目次に対応した映像を再生する場合に
は、映像再生部107で映像再生を行う(ステップ20
7)。
目次生成処理の流れを示すフローチャートである。ま
ず、音情報を例えば、人の声、音楽、背景音といったよ
うに幾つかの種類に分類する(ステップ301)。分類
の方法としては、周波数特性を利用したもの(南ら、”
音可視化方法および装置”、特願平6−318122
号)や音源分離技術等が考えられる。次に、各々の種類
において、音の始まりから、次に同じ種類の別の音が始
まるまでの間に音が存在した時間を算出する(ステップ
302)。例えば、人の声を例にとると、Aという人が
喋り始めてから、次にBという人が喋り始めるまでの区
間において、Aが喋っている時間が存在時間帯となる。
存在時間帯の長さは、音の種類によって異なる。テレビ
ドラマの会話を例にとると、会話の存在時間帯に比べて
背景音の存在時間帯は長くなる。従って、存在時間帯の
長い音は上位の階層、短い音は下位の階層といったよう
に階層的な分類が可能となる。この処理をステップ30
3で行う。抽出された音が背景音であり、存在時間帯が
長いという予備知識がある場合には、存在時間帯の長さ
を算出せずに、音の種類に従って階層的に分類すること
も可能である。次に、各々の存在時間帯の代表的な映像
を静止画として選択する(ステップ304)。代表画面
には、存在時間帯の先頭の画像等を使うことが簡便であ
る。次に、存在時間帯の長さ、位置、代表画面の位置、
代表画面が属する階層等の情報を映像蓄積部103に蓄
積する(ステップ305)。
れた映像目次を視覚的に表示している様子の一例を示し
たものである。目次は、左から右に向かって下位の階層
となっており、より詳細な情報になっている。ただし、
スクロールバー408が付与された階層は、左から右に
向かって時間の経過が示されているだけであって、階層
的にはなっていない。ドラマから人の声、音楽(BG
M)、背景音が分類された場合を例に取ると、401、
402が背景、403〜406が音楽、407が人の声
に対応する代表画面となっている。利用者は、本の目次
を見るように映像目次を一覧し、大まかに映像を再生し
たいときは、401や402の代表画面を選択する。背
景音は、1つのシーンに対応しているので、シーンの飛
ばし見ができる。より細かな飛ばし見がしたい場合に
は、下位の階層に移ればよい。また、目次には代表画面
の他に、代表的なフレーズや文字情報から抽出されたキ
ーワードをテキスト表示することも考えられる。
示すような効果がある。 (1)請求項1および請求項5の発明は、映像情報を入
力し、入力された情報から映像の目次を生成し、生成さ
れた目次を表示するため、利用者の好みに合わせた細か
さで映像の内容が確認でき、生成された目次に基づいて
入力された映像情報を制御するため、映像の内容を大ま
かに把握できる。 (2)請求項6の発明では、入力された映像情報がアナ
ログ信号の場合にはA/D変換して入力するため、入力
がアナログ信号の場合でも映像の目次の生成ができる。
構成を示すブロック図である。
機等でソフトウェア的に実現した場合の処理の流れを示
すフローチャートである。
フローチャートである。
表示部106の表示例を示す図である。
Claims (7)
- 【請求項1】 映像情報を入力し、該入力された映像情
報から映像の目次を生成し、生成された目次を表示する
映像目次生成方法であって、 入力された映像情報に含まれる音情報の種類をもとに、
該映像情報を映像区間に分類する分類段階と、 前記音情報の存在時間帯の長さと、音情報の種類によっ
てその存在時間帯の長さがあらかじめわかっている場合
の音情報の種類のいずれか一方または両方によって各々
の種類の音情報に対応する映像区間を複数の階層に分類
する階層分類段階と、 各階層から代表画面またはキーワードを選択する選択段
階と、 代表画面またはキーワードの位置と、該代表画面または
該キーワードが属する階層の情報を蓄積する蓄積段階
と、 分類された映像区間を前記代表画面または前記キーワー
ドによって階層的に表示する表示段階とを有する映像目
次生成方法。 - 【請求項2】 前記分類段階では、周波数特性を利用す
る方法もしくは音源分離方法を用いて前記映像情報を映
像区間に分類する請求項1に記載の映像目次生成方法。 - 【請求項3】 分類された映像区間内での各々の種類の
音情報の存在時間帯の長さを算出する算出段階をさらに
有する、請求項1または2に記載の映像目次生成方法。 - 【請求項4】 前記選択段階では、各階層での先頭映像
を代表画面として選択する請求項1から3のいずれか1
項に記載の映像目次生成方法。 - 【請求項5】 映像情報を入力し、該入力された映像情
報から映像の目次を生成し、表示する映像目次生成装置
であって、 入力された映像情報に含まれる音情報から特徴量を抽出
し、該特徴量の類似性を用いて映像情報を映像区間に分
類し、該映像区間の存在時間帯の長さと、音情報の種類
によってその存在時間帯の長さがあらかじめわかってい
る場合の音情報の種類のいずれか一方または両方によっ
て映像区間をさらに階層に分類し、各階層から代表画面
またはキーワードを選択して映像の目次を生成する映像
目次生成部と、 前記代表画面または前記キーワードを階層的に表示する
目次表示部とを有する映像目次生成装置。 - 【請求項6】 入力される映像情報がアナログ信号の場
合に、A/D変換してデジタル信号に変換するA/D変
換部をさらに備える請求項5に記載の映像目次生成装
置。 - 【請求項7】 入力された映像情報を蓄積する映像蓄積
部をさらに備える請求項5または6記載の映像目次生成
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04467096A JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04467096A JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09238298A JPH09238298A (ja) | 1997-09-09 |
JP3409828B2 true JP3409828B2 (ja) | 2003-05-26 |
Family
ID=12697890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04467096A Expired - Lifetime JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3409828B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809117A (zh) * | 2014-01-24 | 2015-07-29 | 深圳市云帆世纪科技有限公司 | 视频数据聚合处理方法、聚合系统及视频搜索平台 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE240559T1 (de) | 1998-09-03 | 2003-05-15 | Ricoh Kk | Speichermedien mit video- beziehungsweise audioindexinformation, verwaltungsverfahren und wiederauffindungsverfahren für video-, bzw audioinformation und videowiederauffindungssystem |
KR102252522B1 (ko) * | 2020-02-17 | 2021-05-13 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3565228B2 (ja) * | 1994-12-21 | 2004-09-15 | 日本電信電話株式会社 | 音可視化方法および装置 |
JP3599405B2 (ja) * | 1995-03-03 | 2004-12-08 | キヤノン株式会社 | データ表示方法及びそのシステム |
JP3340905B2 (ja) * | 1996-02-07 | 2002-11-05 | 株式会社東芝 | 動画像処理方法 |
-
1996
- 1996-03-01 JP JP04467096A patent/JP3409828B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809117A (zh) * | 2014-01-24 | 2015-07-29 | 深圳市云帆世纪科技有限公司 | 视频数据聚合处理方法、聚合系统及视频搜索平台 |
Also Published As
Publication number | Publication date |
---|---|
JPH09238298A (ja) | 1997-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4364190B2 (ja) | マルチメディアデータストリームの非線形的再生制御方法及びその装置 | |
US6557042B1 (en) | Multimedia summary generation employing user feedback | |
JP5121367B2 (ja) | 映像を出力する装置、方法およびシステム | |
JP2001005838A (ja) | 電子映像文書作成方法及び電子映像文書作成プログラムが格納された記録媒体 | |
JP2000250944A (ja) | 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法 | |
Smith et al. | Parsing Movies in Context. | |
JP2007535018A (ja) | マルチメディアデジタルコンテンツの視覚化及び制御技術 | |
US20220093132A1 (en) | Method for acquiring video and electronic device | |
KR20090004990A (ko) | 인터넷 검색 기반 텔레비전을 위한 방법, 매체 및 시스템 | |
JPH09185879A (ja) | レコーディング・インデクシング方法 | |
JPH05282379A (ja) | 動画像の管理方法及び管理装置 | |
KR20000016192A (ko) | 비디오내로하이퍼링크를통합하는방법및장치_ | |
KR100370247B1 (ko) | 등장인물 관계 기반 동영상 검색 방법 | |
KR20080047847A (ko) | 동적 영상물 재생 장치 및 방법 | |
JP3574606B2 (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
US20060010366A1 (en) | Multimedia content generator | |
JP3096280B2 (ja) | 電子映像文書作成利用方法及びプログラム格納媒体 | |
JP2011128981A (ja) | 検索装置及び検索方法 | |
JP3409828B2 (ja) | 映像目次生成方法および装置 | |
JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3439034B2 (ja) | 要約映像ブラウジング方法および装置 | |
US7933671B2 (en) | Data outputting device, data outputting method, data outputting program, and recording medium | |
Waters | The musical process in the age of digital intervention | |
JP3496866B2 (ja) | マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体 | |
JPH07319751A (ja) | 映像及び音声並びにテキスト関連の各データファイルの統合管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120320 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |