JP3409828B2 - 映像目次生成方法および装置 - Google Patents

映像目次生成方法および装置

Info

Publication number
JP3409828B2
JP3409828B2 JP04467096A JP4467096A JP3409828B2 JP 3409828 B2 JP3409828 B2 JP 3409828B2 JP 04467096 A JP04467096 A JP 04467096A JP 4467096 A JP4467096 A JP 4467096A JP 3409828 B2 JP3409828 B2 JP 3409828B2
Authority
JP
Japan
Prior art keywords
video
contents
information
sound
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04467096A
Other languages
English (en)
Other versions
JPH09238298A (ja
Inventor
憲一 南
明人 阿久津
洋 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP04467096A priority Critical patent/JP3409828B2/ja
Publication of JPH09238298A publication Critical patent/JPH09238298A/ja
Application granted granted Critical
Publication of JP3409828B2 publication Critical patent/JP3409828B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像情報の内容を
大まかに把握する方法に関する。
【0002】
【従来の技術】映像情報の内容を大まかに把握するため
の技術として、映像情報の再生速度を変化させるもの
(大辻ら、”輝度情報を使った動画ブラウジング”、1
991、信学技報、IE90−103、pp.55−6
1、1992)や、一定の速度で早送りしながら音情報
も聞けるようにした商品(SANYO、時短ビデオ)が
ある。
【0003】画像の輝度情報を用いて場面の変わり目を
検出し、その直後の画像を一覧表示する技術も存在す
る。表示された画像の任意の位置を指定すると、対応す
る映像が再生される。
【0004】また、映像情報に含まれる音情報を利用し
た映像と音の一覧表示技術(南ら、”音可視化方法およ
び装置”、特願平6−318122号)では、音情報の
種類をアイコン等で一覧表示し、映像の所望の部分を再
生することができる。
【0005】
【発明が解決しようとする課題】”輝度情報を使った動
画ブラウジング”では、映像情報を始めから全て見る必
要があり、映像情報の所望の部分を選択して見ることも
できない。
【0006】場面の変わり目を一覧表示する方法では、
場面の変わり目が頻繁に現れるため、大まかな一覧が必
要な場合にはそれらを幾つかにまとめて分類する必要が
あるが、画像情報を用いて行なうことは難しい。時間情
報を用いてまとめる方法も存在するが、映像情報の内容
を反映していない。
【0007】”音可視化方法および装置”では、聞きた
い音の種類を決める必要があるため、音楽番組等、聞き
たい音の種類が明確な場合において内容を大まかに把握
するには有効であるが、映像情報全般に対しては多少難
があった。
【0008】このように、上記の従来技術の幾つかは、
映像情報の内容を大まかに、かつ効率的に把握するため
の条件を部分的には満たしているが、映像情報の内容を
反映した階層構造を伴っているものはない。
【0009】本発明の目的は、映像情報に含まれる音情
報を用いて映像情報を階層的に分類し、映像情報の目次
を生成する映像目次生成方法および装置を提供すること
にある。
【0010】
【課題を解決するための手段】本発明の映像目次生成方
法は、入力された映像情報に含まれる音情報の種類をも
とに、該映像情報を映像区間に分類する分類段階と、音
情報の存在時間帯の長さと、音情報の種類によって存在
時間帯の長さがあらかじめわかっている場合の音情報の
種類のいずれか一方または両方によって各々の種類の音
情報に対応する映像区間を複数の階層に分類する階層分
類段階と、各階層から代表画面またはキーワードを選択
する選択段階と、代表画面またはキーワードの位置と、
該代表画面または該キーワードが属する階層の情報を蓄
積する蓄積段階と、分類された映像区間を前記代表画面
または前記キーワードによって階層的に表示する表示段
階とを有する。
【0011】映像情報を入力し、入力された映像情報か
ら映像の目次を生成し、生成された目次を表示すること
によって、利用者の好みに合わせた細かさで映像の内容
を確認することが可能になり、生成された目次に基づい
て入力された映像情報を制御して映像の内容を大まかに
把握することが可能になる。
【0012】分類段階では、周波数特性を利用する方法
もしくは音源分離方法を用いて映像情報を映像区間に分
類することができる。
【0013】分類された映像区間での各々の種類の音情
報の存在時間帯の長さを算出する算出段階を備えること
ができる。
【0014】選択段階では、各階層での先頭映像を代表
画面として選択することができる。
【0015】本発明の映像目次生成装置は、入力された
映像情報に含まれる音情報から特徴量を抽出し、該特徴
量の類似性を用いて映像情報を映像区間に分類し、該映
像区間の存在時間帯の長さと、音情報の種類によってそ
の存在時間帯の長さがあらかじめわかっている場合の音
情報の種類のいずれか一方または両方によって映像区間
をさらに階層に分類し、各階層から代表画面またはキー
ワードを選択して映像の目次を生成する映像目次生成部
と、代表画面またはキーワードを階層的に表示する目次
表示部とを有する。
【0016】入力される映像情報がアナログ信号の場合
に、A/D変換してデジタル信号に変換するA/D変換
部をさらに備えることにより、入力される映像情報がア
ナログ信号の場合でも目次を生成することができる。
【0017】入力された映像情報と蓄積する映像蓄積部
をさらに備えることができる。
【0018】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
【0019】図1は本発明の一実施形態の映像目次生成
装置の概略構成を示すブロック図である。
【0020】本実施形態の映像目次生成装置は、映像情
報を入力する映像入力部101と、映像情報に含まれる
音情報を解析し、映像情報を階層的に分類して映像の目
次を生成する映像目次生成部104と、生成された映像
の目次を表示し、目次に基づいて映像を制御、再生する
映像出力部105から構成されている。
【0021】映像入力部101は、入力された映像情報
がアナログ信号の場合には、映像情報をA/D変換する
A/D変換部102と、映像情報および映像目次生成部
104で得られた分類情報を蓄積する映像蓄積部103
から構成されている。映像出力部105は、映像目次生
成部104で生成された映像の目次を表示する目次表示
部106と、選択された映像区間を再生する映像再生部
107から構成されている。なお、映像出力部105
は、映像蓄積部103と高速バス108で接続されてお
り、映像情報を映像蓄積部103から読み出す際には、
高速バス108を介して直接アクセスすることも可能で
ある。さらに、映像出力部105において表示された映
像目次の任意の箇所をマウス等のポインティングデバイ
スを用いて指定することにより、対応する映像を再生す
ることも可能である。
【0022】図2は本実施形態の映像目次生成装置を計
算機等でソフトウェア的に実現した場合の処理の流れを
示すフロートチャートである。まず、入力画像がアナロ
グかどうかを判断し(ステップ201)、アナログであ
る場合には、A/D変換部102でA/D変換を行なう
(ステップ202)。次に、入力画像を蓄積する必要が
あるかどうか判断し(ステップ203)、必要がある場
合には、映像蓄積部103に映像情報を蓄積する(ステ
ップ204)。映像蓄積部103がネットワーク上に接
続されているような場合で、映像情報が他の装置に蓄積
されており、アクセス可能な場合には、映像情報蓄積は
行わなくてもよい。次に、映像情報に含まれる音の情報
を用いて映像目次生成部104で映像目次生成を行う
(ステップ205)。次に、目次表示部106で、生成
された目次を視覚的に表現し、目次表示を行なう(ステ
ップ206)。目次に対応した映像を再生する場合に
は、映像再生部107で映像再生を行う(ステップ20
7)。
【0023】図3は映像目次生成部104における映像
目次生成処理の流れを示すフローチャートである。ま
ず、音情報を例えば、人の声、音楽、背景音といったよ
うに幾つかの種類に分類する(ステップ301)。分類
の方法としては、周波数特性を利用したもの(南ら、”
音可視化方法および装置”、特願平6−318122
号)や音源分離技術等が考えられる。次に、各々の種類
において、音の始まりから、次に同じ種類の別の音が始
まるまでの間に音が存在した時間を算出する(ステップ
302)。例えば、人の声を例にとると、Aという人が
喋り始めてから、次にBという人が喋り始めるまでの区
間において、Aが喋っている時間が存在時間帯となる。
存在時間帯の長さは、音の種類によって異なる。テレビ
ドラマの会話を例にとると、会話の存在時間帯に比べて
背景音の存在時間帯は長くなる。従って、存在時間帯の
長い音は上位の階層、短い音は下位の階層といったよう
に階層的な分類が可能となる。この処理をステップ30
3で行う。抽出された音が背景音であり、存在時間帯が
長いという予備知識がある場合には、存在時間帯の長さ
を算出せずに、音の種類に従って階層的に分類すること
も可能である。次に、各々の存在時間帯の代表的な映像
を静止画として選択する(ステップ304)。代表画面
には、存在時間帯の先頭の画像等を使うことが簡便であ
る。次に、存在時間帯の長さ、位置、代表画面の位置、
代表画面が属する階層等の情報を映像蓄積部103に蓄
積する(ステップ305)。
【0024】図4は目次表示部106において、生成さ
れた映像目次を視覚的に表示している様子の一例を示し
たものである。目次は、左から右に向かって下位の階層
となっており、より詳細な情報になっている。ただし、
スクロールバー408が付与された階層は、左から右に
向かって時間の経過が示されているだけであって、階層
的にはなっていない。ドラマから人の声、音楽(BG
M)、背景音が分類された場合を例に取ると、401、
402が背景、403〜406が音楽、407が人の声
に対応する代表画面となっている。利用者は、本の目次
を見るように映像目次を一覧し、大まかに映像を再生し
たいときは、401や402の代表画面を選択する。背
景音は、1つのシーンに対応しているので、シーンの飛
ばし見ができる。より細かな飛ばし見がしたい場合に
は、下位の階層に移ればよい。また、目次には代表画面
の他に、代表的なフレーズや文字情報から抽出されたキ
ーワードをテキスト表示することも考えられる。
【0025】
【発明の効果】以上説明したように、本発明は、以下に
示すような効果がある。 (1)請求項1および請求項5の発明は、映像情報を入
力し、入力された情報から映像の目次を生成し、生成さ
れた目次を表示するため、利用者の好みに合わせた細か
さで映像の内容が確認でき、生成された目次に基づいて
入力された映像情報を制御するため、映像の内容を大ま
かに把握できる。 (2)請求項6の発明では、入力された映像情報がアナ
ログ信号の場合にはA/D変換して入力するため、入力
がアナログ信号の場合でも映像の目次の生成ができる。
【図面の簡単な説明】
【図1】本発明の一実施形態の映像目次生成装置の概略
構成を示すブロック図である。
【図2】本発明の一実施形態の映像目次生成装置を計算
機等でソフトウェア的に実現した場合の処理の流れを示
すフローチャートである。
【図3】上記実施形態の映像目次生成処理の流れを示す
フローチャートである。
【図4】上記実施形態の映像目次生成装置における目次
表示部106の表示例を示す図である。
【符号の説明】
101 映像入力部 102 A/D変換部 103 映像蓄積部 104 映像目次生成部 105 映像出力部 106 目次表示部 107 映像再生部 108 高速バス 201〜207 ステップ 301〜305 ステップ 401、402 最上位階層の代表画面 403〜406 中位階層の代表画面 407 最下位階層の代表画面 408 スクロールバー
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−214879(JP,A) 特開 平8−241323(JP,A) 特開 平8−179791(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 5/262 - 5/278

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】 映像情報を入力し、該入力された映像情
    報から映像の目次を生成し、生成された目次を表示する
    映像目次生成方法であって、 入力された映像情報に含まれる音情報の種類をもとに、
    該映像情報を映像区間に分類する分類段階と、 前記音情報の存在時間帯の長さと、音情報の種類によっ
    てその存在時間帯の長さがあらかじめわかっている場合
    の音情報の種類のいずれか一方または両方によって各々
    の種類の音情報に対応する映像区間を複数の階層に分類
    する階層分類段階と、 各階層から代表画面またはキーワードを選択する選択段
    階と、 代表画面またはキーワードの位置と、該代表画面または
    該キーワードが属する階層の情報を蓄積する蓄積段階
    と、 分類された映像区間を前記代表画面または前記キーワー
    ドによって階層的に表示する表示段階とを有する映像目
    次生成方法。
  2. 【請求項2】 前記分類段階では、周波数特性を利用す
    る方法もしくは音源分離方法を用いて前記映像情報を映
    像区間に分類する請求項1に記載の映像目次生成方法。
  3. 【請求項3】 分類された映像区間内での各々の種類の
    音情報の存在時間帯の長さを算出する算出段階をさらに
    有する、請求項1または2に記載の映像目次生成方法。
  4. 【請求項4】 前記選択段階では、各階層での先頭映像
    を代表画面として選択する請求項1から3のいずれか1
    項に記載の映像目次生成方法。
  5. 【請求項5】 映像情報を入力し、該入力された映像情
    報から映像の目次を生成し、表示する映像目次生成装置
    であって、 入力された映像情報に含まれる音情報から特徴量を抽出
    し、該特徴量の類似性を用いて映像情報を映像区間に分
    類し、該映像区間の存在時間帯の長さと、音情報の種類
    によってその存在時間帯の長さがあらかじめわかってい
    る場合の音情報の種類のいずれか一方または両方によっ
    て映像区間をさらに階層に分類し、各階層から代表画面
    またはキーワードを選択して映像の目次を生成する映像
    目次生成部と、 前記代表画面または前記キーワードを階層的に表示する
    目次表示部とを有する映像目次生成装置。
  6. 【請求項6】 入力される映像情報がアナログ信号の場
    合に、A/D変換してデジタル信号に変換するA/D変
    換部をさらに備える請求項5に記載の映像目次生成装
    置。
  7. 【請求項7】 入力された映像情報を蓄積する映像蓄積
    部をさらに備える請求項5または6記載の映像目次生成
    装置。
JP04467096A 1996-03-01 1996-03-01 映像目次生成方法および装置 Expired - Lifetime JP3409828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04467096A JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04467096A JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Publications (2)

Publication Number Publication Date
JPH09238298A JPH09238298A (ja) 1997-09-09
JP3409828B2 true JP3409828B2 (ja) 2003-05-26

Family

ID=12697890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04467096A Expired - Lifetime JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Country Status (1)

Country Link
JP (1) JP3409828B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809117A (zh) * 2014-01-24 2015-07-29 深圳市云帆世纪科技有限公司 视频数据聚合处理方法、聚合系统及视频搜索平台

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE240559T1 (de) 1998-09-03 2003-05-15 Ricoh Kk Speichermedien mit video- beziehungsweise audioindexinformation, verwaltungsverfahren und wiederauffindungsverfahren für video-, bzw audioinformation und videowiederauffindungssystem
KR102252522B1 (ko) * 2020-02-17 2021-05-13 제주대학교 산학협력단 내용 기반 동영상 목차 자동생성 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565228B2 (ja) * 1994-12-21 2004-09-15 日本電信電話株式会社 音可視化方法および装置
JP3599405B2 (ja) * 1995-03-03 2004-12-08 キヤノン株式会社 データ表示方法及びそのシステム
JP3340905B2 (ja) * 1996-02-07 2002-11-05 株式会社東芝 動画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809117A (zh) * 2014-01-24 2015-07-29 深圳市云帆世纪科技有限公司 视频数据聚合处理方法、聚合系统及视频搜索平台

Also Published As

Publication number Publication date
JPH09238298A (ja) 1997-09-09

Similar Documents

Publication Publication Date Title
JP4364190B2 (ja) マルチメディアデータストリームの非線形的再生制御方法及びその装置
US6557042B1 (en) Multimedia summary generation employing user feedback
JP5121367B2 (ja) 映像を出力する装置、方法およびシステム
JP2001005838A (ja) 電子映像文書作成方法及び電子映像文書作成プログラムが格納された記録媒体
JP2000250944A (ja) 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法
Smith et al. Parsing Movies in Context.
JP2007535018A (ja) マルチメディアデジタルコンテンツの視覚化及び制御技術
US20220093132A1 (en) Method for acquiring video and electronic device
KR20090004990A (ko) 인터넷 검색 기반 텔레비전을 위한 방법, 매체 및 시스템
JPH09185879A (ja) レコーディング・インデクシング方法
JPH05282379A (ja) 動画像の管理方法及び管理装置
KR20000016192A (ko) 비디오내로하이퍼링크를통합하는방법및장치_
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
KR20080047847A (ko) 동적 영상물 재생 장치 및 방법
JP3574606B2 (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
US20060010366A1 (en) Multimedia content generator
JP3096280B2 (ja) 電子映像文書作成利用方法及びプログラム格納媒体
JP2011128981A (ja) 検索装置及び検索方法
JP3409828B2 (ja) 映像目次生成方法および装置
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3439034B2 (ja) 要約映像ブラウジング方法および装置
US7933671B2 (en) Data outputting device, data outputting method, data outputting program, and recording medium
Waters The musical process in the age of digital intervention
JP3496866B2 (ja) マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体
JPH07319751A (ja) 映像及び音声並びにテキスト関連の各データファイルの統合管理方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090320

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090320

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100320

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130320

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term