JPH09238298A - 映像目次生成方法および装置 - Google Patents

映像目次生成方法および装置

Info

Publication number
JPH09238298A
JPH09238298A JP8044670A JP4467096A JPH09238298A JP H09238298 A JPH09238298 A JP H09238298A JP 8044670 A JP8044670 A JP 8044670A JP 4467096 A JP4467096 A JP 4467096A JP H09238298 A JPH09238298 A JP H09238298A
Authority
JP
Japan
Prior art keywords
video
contents
information
sound
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8044670A
Other languages
English (en)
Other versions
JP3409828B2 (ja
Inventor
Kenichi Minami
憲一 南
Akito Akutsu
明人 阿久津
Hiroshi Hamada
洋 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP04467096A priority Critical patent/JP3409828B2/ja
Publication of JPH09238298A publication Critical patent/JPH09238298A/ja
Application granted granted Critical
Publication of JP3409828B2 publication Critical patent/JP3409828B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 映像情報に含まれる音情報を用いて映像情報
を階層的に分類し、映像情報の目次を生成する。 【解決手段】 まず、音情報を例えば、人の声、音楽、
背景音といったように幾つかの種類に分類する(ステッ
プ301)。次に、各々の種類において、音の始まりか
ら、次に同じ種類の別の音が始まるまでの間に音が存在
した時間(存在時間帯)を算出する(ステップ30
2)。次に、存在時間帯の長い音は上位の階層、短い音
は下位の階層といったように、各々の種類の音情報に対
応する映像区間の階層的な分類を行なう。(ステップ3
03)。次に、各々の存在時間帯の代表的な映像を静止
画として選択する(ステップ304)。次に、存在時間
帯の長さ、位置、代表画面の位置、代表画面の階層等の
情報を蓄積する(ステップ305)。最後に、分類され
た映像区間を代表画面によって階層的に表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像情報の内容を
大まかに把握する方法に関する。
【0002】
【従来の技術】映像情報の内容を大まかに把握するため
の技術として、映像情報の再生速度を変化させるもの
(大辻ら、”輝度情報を使った動画ブラウジング”、1
991、信学技報、IE90−103、pp.55−6
1、1992)や、一定の速度で早送りしながら音情報
も聞けるようにした商品(SANYO、時短ビデオ)が
ある。
【0003】画像の輝度情報を用いて場面の変わり目を
検出し、その直後の画像を一覧表示する技術も存在す
る。表示された画像の任意の位置を指定すると、対応す
る映像が再生される。
【0004】また、映像情報に含まれる音情報を利用し
た映像と音の一覧表示技術(南ら、”音可視化方法およ
び装置”、特願平6−318122号)では、音情報の
種類をアイコン等で一覧表示し、映像の所望の部分を再
生することができる。
【0005】
【発明が解決しようとする課題】”輝度情報を使った動
画ブラウジング”では、映像情報を始めから全て見る必
要があり、映像情報の所望の部分を選択して見ることも
できない。
【0006】場面の変わり目を一覧表示する方法では、
場面の変わり目が頻繁に現れるため、大まかな一覧が必
要な場合にはそれらを幾つかにまとめて分類する必要が
あるが、画像情報を用いて行なうことは難しい。時間情
報を用いてまとめる方法も存在するが、映像情報の内容
を反映していない。
【0007】”音可視化方法および装置”では、聞きた
い音の種類を決める必要があるため、音楽番組等、聞き
たい音の種類が明確な場合において内容を大まかに把握
するには有効であるが、映像情報全般に対しては多少難
があった。
【0008】このように、上記の従来技術の幾つかは、
映像情報の内容を大まかに、かつ効率的に把握するため
の条件を部分的には満たしているが、映像情報の内容を
反映した階層構造を伴っているものはない。
【0009】本発明の目的は、映像情報に含まれる音情
報を用いて映像情報を階層的に分類し、映像情報の目次
を生成する映像目次生成方法および装置を提供すること
にある。
【0010】
【課題を解決するための手段】本発明の映像目次生成方
法は、入力された映像情報に含まれる音情報の種類をも
とに、該映像情報を映像区間に分類する分類段階と、音
情報の存在時間帯の長さと、音情報の種類によって存在
時間帯の長さがあらかじめわかっている場合の音情報の
種類のいずれか一方または両方によって各々の種類の音
情報に対応する映像区間を複数の階層に分類する階層分
類段階と、各階層から代表画面またはキーワードを選択
する選択段階と、代表画面またはキーワードの位置と、
該代表画面または該キーワードが属する階層の情報を蓄
積する蓄積段階と、分類された映像区間を前記代表画面
または前記キーワードによって階層的に表示する表示段
階とを有する。
【0011】映像情報を入力し、入力された映像情報か
ら映像の目次を生成し、生成された目次を表示すること
によって、利用者の好みに合わせた細かさで映像の内容
を確認することが可能になり、生成された目次に基づい
て入力された映像情報を制御して映像の内容を大まかに
把握することが可能になる。
【0012】分類段階では、周波数特性を利用する方法
もしくは音源分離方法を用いて映像情報を映像区間に分
類することができる。
【0013】分類された映像区間での各々の種類の音情
報の存在時間帯の長さを算出する算出段階を備えること
ができる。
【0014】選択段階では、各階層での先頭映像を代表
画面として選択することができる。
【0015】本発明の映像目次生成装置は、入力された
映像情報に含まれる音情報から特徴量を抽出し、該特徴
量の類似性を用いて映像情報を映像区間に分類し、該映
像区間の存在時間帯の長さと、音情報の種類によってそ
の存在時間帯の長さがあらかじめわかっている場合の音
情報の種類のいずれか一方または両方によって映像区間
をさらに階層に分類し、各階層から代表画面またはキー
ワードを選択して映像の目次を生成する映像目次生成部
と、代表画面またはキーワードを階層的に表示する目次
表示部とを有する。
【0016】入力される映像情報がアナログ信号の場合
に、A/D変換してデジタル信号に変換するA/D変換
部をさらに備えることにより、入力される映像情報がア
ナログ信号の場合でも目次を生成することができる。
【0017】入力された映像情報と蓄積する映像蓄積部
をさらに備えることができる。
【0018】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
【0019】図1は本発明の一実施形態の映像目次生成
装置の概略構成を示すブロック図である。
【0020】本実施形態の映像目次生成装置は、映像情
報を入力する映像入力部101と、映像情報に含まれる
音情報を解析し、映像情報を階層的に分類して映像の目
次を生成する映像目次生成部104と、生成された映像
の目次を表示し、目次に基づいて映像を制御、再生する
映像出力部105から構成されている。
【0021】映像入力部101は、入力された映像情報
がアナログ信号の場合には、映像情報をA/D変換する
A/D変換部102と、映像情報および映像目次生成部
104で得られた分類情報を蓄積する映像蓄積部103
から構成されている。映像出力部105は、映像目次生
成部104で生成された映像の目次を表示する目次表示
部106と、選択された映像区間を再生する映像再生部
107から構成されている。なお、映像出力部105
は、映像蓄積部103と高速バス108で接続されてお
り、映像情報を映像蓄積部103から読み出す際には、
高速バス108を介して直接アクセスすることも可能で
ある。さらに、映像出力部105において表示された映
像目次の任意の箇所をマウス等のポインティングデバイ
スを用いて指定することにより、対応する映像を再生す
ることも可能である。
【0022】図2は本実施形態の映像目次生成装置を計
算機等でソフトウェア的に実現した場合の処理の流れを
示すフロートチャートである。まず、入力画像がアナロ
グかどうかを判断し(ステップ201)、アナログであ
る場合には、A/D変換部102でA/D変換を行なう
(ステップ202)。次に、入力画像を蓄積する必要が
あるかどうか判断し(ステップ203)、必要がある場
合には、映像蓄積部103に映像情報を蓄積する(ステ
ップ204)。映像蓄積部103がネットワーク上に接
続されているような場合で、映像情報が他の装置に蓄積
されており、アクセス可能な場合には、映像情報蓄積は
行わなくてもよい。次に、映像情報に含まれる音の情報
を用いて映像目次生成部104で映像目次生成を行う
(ステップ205)。次に、目次表示部106で、生成
された目次を視覚的に表現し、目次表示を行なう(ステ
ップ206)。目次に対応した映像を再生する場合に
は、映像再生部107で映像再生を行う(ステップ20
7)。
【0023】図3は映像目次生成部104における映像
目次生成処理の流れを示すフローチャートである。ま
ず、音情報を例えば、人の声、音楽、背景音といったよ
うに幾つかの種類に分類する(ステップ301)。分類
の方法としては、周波数特性を利用したもの(南ら、”
音可視化方法および装置”、特願平6−318122
号)や音源分離技術等が考えられる。次に、各々の種類
において、音の始まりから、次に同じ種類の別の音が始
まるまでの間に音が存在した時間を算出する(ステップ
302)。例えば、人の声を例にとると、Aという人が
喋り始めてから、次にBという人が喋り始めるまでの区
間において、Aが喋っている時間が存在時間帯となる。
存在時間帯の長さは、音の種類によって異なる。テレビ
ドラマの会話を例にとると、会話の存在時間帯に比べて
背景音の存在時間帯は長くなる。従って、存在時間帯の
長い音は上位の階層、短い音は下位の階層といったよう
に階層的な分類が可能となる。この処理をステップ30
3で行う。抽出された音が背景音であり、存在時間帯が
長いという予備知識がある場合には、存在時間帯の長さ
を算出せずに、音の種類に従って階層的に分類すること
も可能である。次に、各々の存在時間帯の代表的な映像
を静止画として選択する(ステップ304)。代表画面
には、存在時間帯の先頭の画像等を使うことが簡便であ
る。次に、存在時間帯の長さ、位置、代表画面の位置、
代表画面が属する階層等の情報を映像蓄積部103に蓄
積する(ステップ305)。
【0024】図4は目次表示部106において、生成さ
れた映像目次を視覚的に表示している様子の一例を示し
たものである。目次は、左から右に向かって下位の階層
となっており、より詳細な情報になっている。ただし、
スクロールバー408が付与された階層は、左から右に
向かって時間の経過が示されているだけであって、階層
的にはなっていない。ドラマから人の声、音楽(BG
M)、背景音が分類された場合を例に取ると、401、
402が背景、403〜406が音楽、407が人の声
に対応する代表画面となっている。利用者は、本の目次
を見るように映像目次を一覧し、大まかに映像を再生し
たいときは、401や402の代表画面を選択する。背
景音は、1つのシーンに対応しているので、シーンの飛
ばし見ができる。より細かな飛ばし見がしたい場合に
は、下位の階層に移ればよい。また、目次には代表画面
の他に、代表的なフレーズや文字情報から抽出されたキ
ーワードをテキスト表示することも考えられる。
【0025】
【発明の効果】以上説明したように、本発明は、以下に
示すような効果がある。 (1)請求項1および請求項5の発明は、映像情報を入
力し、入力された情報から映像の目次を生成し、生成さ
れた目次を表示するため、利用者の好みに合わせた細か
さで映像の内容が確認でき、生成された目次に基づいて
入力された映像情報を制御するため、映像の内容を大ま
かに把握できる。 (2)請求項6の発明では、入力された映像情報がアナ
ログ信号の場合にはA/D変換して入力するため、入力
がアナログ信号の場合でも映像の目次の生成ができる。
【図面の簡単な説明】
【図1】本発明の一実施形態の映像目次生成装置の概略
構成を示すブロック図である。
【図2】本発明の一実施形態の映像目次生成装置を計算
機等でソフトウェア的に実現した場合の処理の流れを示
すフローチャートである。
【図3】上記実施形態の映像目次生成処理の流れを示す
フローチャートである。
【図4】上記実施形態の映像目次生成装置における目次
表示部106の表示例を示す図である。
【符号の説明】
101 映像入力部 102 A/D変換部 103 映像蓄積部 104 映像目次生成部 105 映像出力部 106 目次表示部 107 映像再生部 108 高速バス 201〜207 ステップ 301〜305 ステップ 401、402 最上位階層の代表画面 403〜406 中位階層の代表画面 407 最下位階層の代表画面 408 スクロールバー

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 映像情報を入力し、該入力された映像情
    報から映像の目次を生成し、生成された目次を表示する
    映像目次生成方法であって、 入力された映像情報に含まれる音情報の種類をもとに、
    該映像情報を映像区間に分類する分類段階と、 前記音情報の存在時間帯の長さと、音情報の種類によっ
    てその存在時間帯の長さがあらかじめわかっている場合
    の音情報の種類のいずれか一方または両方によって各々
    の種類の音情報に対応する映像区間を複数の階層に分類
    する階層分類段階と、 各階層から代表画面またはキーワードを選択する選択段
    階と、 代表画面またはキーワードの位置と、該代表画面または
    該キーワードが属する階層の情報を蓄積する蓄積段階
    と、 分類された映像区間を前記代表画面または前記キーワー
    ドによって階層的に表示する表示段階とを有する映像目
    次生成方法。
  2. 【請求項2】 前記分類段階では、周波数特性を利用す
    る方法もしくは音源分離方法を用いて前記映像情報を映
    像区間に分類する請求項1に記載の映像目次生成方法。
  3. 【請求項3】 分類された映像区間内での各々の種類の
    音情報の存在時間帯の長さを算出する算出段階をさらに
    有する、請求項1または2に記載の映像目次生成方法。
  4. 【請求項4】 前記選択段階では、各階層での先頭映像
    を代表画面として選択する請求項1から3のいずれか1
    項に記載の映像目次生成方法。
  5. 【請求項5】 映像情報を入力し、該入力された映像情
    報から映像の目次を生成し、表示する映像目次生成装置
    であって、 入力された映像情報に含まれる音情報から特徴量を抽出
    し、該特徴量の類似性を用いて映像情報を映像区間に分
    類し、該映像区間の存在時間帯の長さと、音情報の種類
    によってその存在時間帯の長さがあらかじめわかってい
    る場合の音情報の種類のいずれか一方または両方によっ
    て映像区間をさらに階層に分類し、各階層から代表画面
    またはキーワードを選択して映像の目次を生成する映像
    目次生成部と、 前記代表画面または前記キーワードを階層的に表示する
    目次表示部とを有する映像目次生成装置。
  6. 【請求項6】 入力される映像情報がアナログ信号の場
    合に、A/D変換してデジタル信号に変換するA/D変
    換部をさらに備える請求項5に記載の映像目次生成装
    置。
  7. 【請求項7】 入力された映像情報を蓄積する映像蓄積
    部をさらに備える請求項5または6記載の映像目次生成
    装置。
JP04467096A 1996-03-01 1996-03-01 映像目次生成方法および装置 Expired - Lifetime JP3409828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04467096A JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04467096A JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Publications (2)

Publication Number Publication Date
JPH09238298A true JPH09238298A (ja) 1997-09-09
JP3409828B2 JP3409828B2 (ja) 2003-05-26

Family

ID=12697890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04467096A Expired - Lifetime JP3409828B2 (ja) 1996-03-01 1996-03-01 映像目次生成方法および装置

Country Status (1)

Country Link
JP (1) JP3409828B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771875B1 (en) 1998-09-03 2004-08-03 Ricoh Company Ltd. Recording medium with video index information recorded therein video information management method which uses the video index information recording medium with audio index information recorded therein audio information management method which uses the audio index information and a video retrieval system
WO2021167238A1 (ko) * 2020-02-17 2021-08-26 제주대학교 산학협력단 내용 기반 동영상 목차 자동생성 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809117B (zh) * 2014-01-24 2018-10-30 深圳市云帆世纪科技有限公司 视频数据聚合处理方法、聚合系统及视频搜索平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179791A (ja) * 1994-12-21 1996-07-12 Nippon Telegr & Teleph Corp <Ntt> 音可視化方法および装置
JPH08241323A (ja) * 1995-03-03 1996-09-17 Canon Inc データ表示方法及びそのシステム
JPH09214879A (ja) * 1996-02-07 1997-08-15 Toshiba Corp 動画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179791A (ja) * 1994-12-21 1996-07-12 Nippon Telegr & Teleph Corp <Ntt> 音可視化方法および装置
JPH08241323A (ja) * 1995-03-03 1996-09-17 Canon Inc データ表示方法及びそのシステム
JPH09214879A (ja) * 1996-02-07 1997-08-15 Toshiba Corp 動画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771875B1 (en) 1998-09-03 2004-08-03 Ricoh Company Ltd. Recording medium with video index information recorded therein video information management method which uses the video index information recording medium with audio index information recorded therein audio information management method which uses the audio index information and a video retrieval system
US7277621B2 (en) 1998-09-03 2007-10-02 Information Broadcasting Laboratories, Inc. Recording medium with video index information recorded therein video information management method which uses the video index information, recording medium with audio index information recorded therein, audio information management method which uses the audio index information, video retrieval method which uses video index information, audio retrieval method which uses the audio index information and a video retrieval system
WO2021167238A1 (ko) * 2020-02-17 2021-08-26 제주대학교 산학협력단 내용 기반 동영상 목차 자동생성 방법 및 시스템
WO2021167220A1 (ko) * 2020-02-17 2021-08-26 제주대학교 산학협력단 내용 기반 동영상 목차 자동생성 방법 및 시스템

Also Published As

Publication number Publication date
JP3409828B2 (ja) 2003-05-26

Similar Documents

Publication Publication Date Title
US6557042B1 (en) Multimedia summary generation employing user feedback
JP5324664B2 (ja) 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース
EP1898325A1 (en) Apparatus, method and program for searching for content using keywords from subtitles
JP2006129505A (ja) マルチメディアデータストリームの非線形的再生制御方法及びその装置
KR20090004990A (ko) 인터넷 검색 기반 텔레비전을 위한 방법, 매체 및 시스템
US20220093132A1 (en) Method for acquiring video and electronic device
JPH09185879A (ja) レコーディング・インデクシング方法
JP2001005838A (ja) 電子映像文書作成方法及び電子映像文書作成プログラムが格納された記録媒体
KR20120132465A (ko) 키워드 및 스트링 입력에 기초한 애니메이트된 미디어를 어셈블링하는 방법 및 시스템
JP2007535018A (ja) マルチメディアデジタルコンテンツの視覚化及び制御技術
JP2009508379A (ja) ビデオのナビゲーション方法及び装置
JP2003510625A (ja) リスナ関心によりフィルタリングされた創作物を準備する方法および装置
KR20000016192A (ko) 비디오내로하이퍼링크를통합하는방법및장치_
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
JPH05282379A (ja) 動画像の管理方法及び管理装置
JP2000217058A (ja) 映像検索システム及びデ―タ構造、そしてそれによる検索方法
KR20080047847A (ko) 동적 영상물 재생 장치 및 방법
KR20140102656A (ko) 디지털 미디어 콘텐트를 내비게이트하는 방법, 시스템 및 컴퓨터 프로그램 제품
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
US20060010366A1 (en) Multimedia content generator
JP3096280B2 (ja) 電子映像文書作成利用方法及びプログラム格納媒体
WO2012173021A1 (ja) 情報処理装置、情報処理方法、および、プログラム
JP2011128981A (ja) 検索装置及び検索方法
JP3409828B2 (ja) 映像目次生成方法および装置
JP3439034B2 (ja) 要約映像ブラウジング方法および装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090320

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090320

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100320

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130320

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term