JPH09238298A - 映像目次生成方法および装置 - Google Patents
映像目次生成方法および装置Info
- Publication number
- JPH09238298A JPH09238298A JP8044670A JP4467096A JPH09238298A JP H09238298 A JPH09238298 A JP H09238298A JP 8044670 A JP8044670 A JP 8044670A JP 4467096 A JP4467096 A JP 4467096A JP H09238298 A JPH09238298 A JP H09238298A
- Authority
- JP
- Japan
- Prior art keywords
- video
- contents
- information
- sound
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
を階層的に分類し、映像情報の目次を生成する。 【解決手段】 まず、音情報を例えば、人の声、音楽、
背景音といったように幾つかの種類に分類する(ステッ
プ301)。次に、各々の種類において、音の始まりか
ら、次に同じ種類の別の音が始まるまでの間に音が存在
した時間(存在時間帯)を算出する(ステップ30
2)。次に、存在時間帯の長い音は上位の階層、短い音
は下位の階層といったように、各々の種類の音情報に対
応する映像区間の階層的な分類を行なう。(ステップ3
03)。次に、各々の存在時間帯の代表的な映像を静止
画として選択する(ステップ304)。次に、存在時間
帯の長さ、位置、代表画面の位置、代表画面の階層等の
情報を蓄積する(ステップ305)。最後に、分類され
た映像区間を代表画面によって階層的に表示する。
Description
大まかに把握する方法に関する。
の技術として、映像情報の再生速度を変化させるもの
(大辻ら、”輝度情報を使った動画ブラウジング”、1
991、信学技報、IE90−103、pp.55−6
1、1992)や、一定の速度で早送りしながら音情報
も聞けるようにした商品(SANYO、時短ビデオ)が
ある。
検出し、その直後の画像を一覧表示する技術も存在す
る。表示された画像の任意の位置を指定すると、対応す
る映像が再生される。
た映像と音の一覧表示技術(南ら、”音可視化方法およ
び装置”、特願平6−318122号)では、音情報の
種類をアイコン等で一覧表示し、映像の所望の部分を再
生することができる。
画ブラウジング”では、映像情報を始めから全て見る必
要があり、映像情報の所望の部分を選択して見ることも
できない。
場面の変わり目が頻繁に現れるため、大まかな一覧が必
要な場合にはそれらを幾つかにまとめて分類する必要が
あるが、画像情報を用いて行なうことは難しい。時間情
報を用いてまとめる方法も存在するが、映像情報の内容
を反映していない。
い音の種類を決める必要があるため、音楽番組等、聞き
たい音の種類が明確な場合において内容を大まかに把握
するには有効であるが、映像情報全般に対しては多少難
があった。
映像情報の内容を大まかに、かつ効率的に把握するため
の条件を部分的には満たしているが、映像情報の内容を
反映した階層構造を伴っているものはない。
報を用いて映像情報を階層的に分類し、映像情報の目次
を生成する映像目次生成方法および装置を提供すること
にある。
法は、入力された映像情報に含まれる音情報の種類をも
とに、該映像情報を映像区間に分類する分類段階と、音
情報の存在時間帯の長さと、音情報の種類によって存在
時間帯の長さがあらかじめわかっている場合の音情報の
種類のいずれか一方または両方によって各々の種類の音
情報に対応する映像区間を複数の階層に分類する階層分
類段階と、各階層から代表画面またはキーワードを選択
する選択段階と、代表画面またはキーワードの位置と、
該代表画面または該キーワードが属する階層の情報を蓄
積する蓄積段階と、分類された映像区間を前記代表画面
または前記キーワードによって階層的に表示する表示段
階とを有する。
ら映像の目次を生成し、生成された目次を表示すること
によって、利用者の好みに合わせた細かさで映像の内容
を確認することが可能になり、生成された目次に基づい
て入力された映像情報を制御して映像の内容を大まかに
把握することが可能になる。
もしくは音源分離方法を用いて映像情報を映像区間に分
類することができる。
報の存在時間帯の長さを算出する算出段階を備えること
ができる。
画面として選択することができる。
映像情報に含まれる音情報から特徴量を抽出し、該特徴
量の類似性を用いて映像情報を映像区間に分類し、該映
像区間の存在時間帯の長さと、音情報の種類によってそ
の存在時間帯の長さがあらかじめわかっている場合の音
情報の種類のいずれか一方または両方によって映像区間
をさらに階層に分類し、各階層から代表画面またはキー
ワードを選択して映像の目次を生成する映像目次生成部
と、代表画面またはキーワードを階層的に表示する目次
表示部とを有する。
に、A/D変換してデジタル信号に変換するA/D変換
部をさらに備えることにより、入力される映像情報がア
ナログ信号の場合でも目次を生成することができる。
をさらに備えることができる。
図面を参照して説明する。
装置の概略構成を示すブロック図である。
報を入力する映像入力部101と、映像情報に含まれる
音情報を解析し、映像情報を階層的に分類して映像の目
次を生成する映像目次生成部104と、生成された映像
の目次を表示し、目次に基づいて映像を制御、再生する
映像出力部105から構成されている。
がアナログ信号の場合には、映像情報をA/D変換する
A/D変換部102と、映像情報および映像目次生成部
104で得られた分類情報を蓄積する映像蓄積部103
から構成されている。映像出力部105は、映像目次生
成部104で生成された映像の目次を表示する目次表示
部106と、選択された映像区間を再生する映像再生部
107から構成されている。なお、映像出力部105
は、映像蓄積部103と高速バス108で接続されてお
り、映像情報を映像蓄積部103から読み出す際には、
高速バス108を介して直接アクセスすることも可能で
ある。さらに、映像出力部105において表示された映
像目次の任意の箇所をマウス等のポインティングデバイ
スを用いて指定することにより、対応する映像を再生す
ることも可能である。
算機等でソフトウェア的に実現した場合の処理の流れを
示すフロートチャートである。まず、入力画像がアナロ
グかどうかを判断し(ステップ201)、アナログであ
る場合には、A/D変換部102でA/D変換を行なう
(ステップ202)。次に、入力画像を蓄積する必要が
あるかどうか判断し(ステップ203)、必要がある場
合には、映像蓄積部103に映像情報を蓄積する(ステ
ップ204)。映像蓄積部103がネットワーク上に接
続されているような場合で、映像情報が他の装置に蓄積
されており、アクセス可能な場合には、映像情報蓄積は
行わなくてもよい。次に、映像情報に含まれる音の情報
を用いて映像目次生成部104で映像目次生成を行う
(ステップ205)。次に、目次表示部106で、生成
された目次を視覚的に表現し、目次表示を行なう(ステ
ップ206)。目次に対応した映像を再生する場合に
は、映像再生部107で映像再生を行う(ステップ20
7)。
目次生成処理の流れを示すフローチャートである。ま
ず、音情報を例えば、人の声、音楽、背景音といったよ
うに幾つかの種類に分類する(ステップ301)。分類
の方法としては、周波数特性を利用したもの(南ら、”
音可視化方法および装置”、特願平6−318122
号)や音源分離技術等が考えられる。次に、各々の種類
において、音の始まりから、次に同じ種類の別の音が始
まるまでの間に音が存在した時間を算出する(ステップ
302)。例えば、人の声を例にとると、Aという人が
喋り始めてから、次にBという人が喋り始めるまでの区
間において、Aが喋っている時間が存在時間帯となる。
存在時間帯の長さは、音の種類によって異なる。テレビ
ドラマの会話を例にとると、会話の存在時間帯に比べて
背景音の存在時間帯は長くなる。従って、存在時間帯の
長い音は上位の階層、短い音は下位の階層といったよう
に階層的な分類が可能となる。この処理をステップ30
3で行う。抽出された音が背景音であり、存在時間帯が
長いという予備知識がある場合には、存在時間帯の長さ
を算出せずに、音の種類に従って階層的に分類すること
も可能である。次に、各々の存在時間帯の代表的な映像
を静止画として選択する(ステップ304)。代表画面
には、存在時間帯の先頭の画像等を使うことが簡便であ
る。次に、存在時間帯の長さ、位置、代表画面の位置、
代表画面が属する階層等の情報を映像蓄積部103に蓄
積する(ステップ305)。
れた映像目次を視覚的に表示している様子の一例を示し
たものである。目次は、左から右に向かって下位の階層
となっており、より詳細な情報になっている。ただし、
スクロールバー408が付与された階層は、左から右に
向かって時間の経過が示されているだけであって、階層
的にはなっていない。ドラマから人の声、音楽(BG
M)、背景音が分類された場合を例に取ると、401、
402が背景、403〜406が音楽、407が人の声
に対応する代表画面となっている。利用者は、本の目次
を見るように映像目次を一覧し、大まかに映像を再生し
たいときは、401や402の代表画面を選択する。背
景音は、1つのシーンに対応しているので、シーンの飛
ばし見ができる。より細かな飛ばし見がしたい場合に
は、下位の階層に移ればよい。また、目次には代表画面
の他に、代表的なフレーズや文字情報から抽出されたキ
ーワードをテキスト表示することも考えられる。
示すような効果がある。 (1)請求項1および請求項5の発明は、映像情報を入
力し、入力された情報から映像の目次を生成し、生成さ
れた目次を表示するため、利用者の好みに合わせた細か
さで映像の内容が確認でき、生成された目次に基づいて
入力された映像情報を制御するため、映像の内容を大ま
かに把握できる。 (2)請求項6の発明では、入力された映像情報がアナ
ログ信号の場合にはA/D変換して入力するため、入力
がアナログ信号の場合でも映像の目次の生成ができる。
構成を示すブロック図である。
機等でソフトウェア的に実現した場合の処理の流れを示
すフローチャートである。
フローチャートである。
表示部106の表示例を示す図である。
Claims (7)
- 【請求項1】 映像情報を入力し、該入力された映像情
報から映像の目次を生成し、生成された目次を表示する
映像目次生成方法であって、 入力された映像情報に含まれる音情報の種類をもとに、
該映像情報を映像区間に分類する分類段階と、 前記音情報の存在時間帯の長さと、音情報の種類によっ
てその存在時間帯の長さがあらかじめわかっている場合
の音情報の種類のいずれか一方または両方によって各々
の種類の音情報に対応する映像区間を複数の階層に分類
する階層分類段階と、 各階層から代表画面またはキーワードを選択する選択段
階と、 代表画面またはキーワードの位置と、該代表画面または
該キーワードが属する階層の情報を蓄積する蓄積段階
と、 分類された映像区間を前記代表画面または前記キーワー
ドによって階層的に表示する表示段階とを有する映像目
次生成方法。 - 【請求項2】 前記分類段階では、周波数特性を利用す
る方法もしくは音源分離方法を用いて前記映像情報を映
像区間に分類する請求項1に記載の映像目次生成方法。 - 【請求項3】 分類された映像区間内での各々の種類の
音情報の存在時間帯の長さを算出する算出段階をさらに
有する、請求項1または2に記載の映像目次生成方法。 - 【請求項4】 前記選択段階では、各階層での先頭映像
を代表画面として選択する請求項1から3のいずれか1
項に記載の映像目次生成方法。 - 【請求項5】 映像情報を入力し、該入力された映像情
報から映像の目次を生成し、表示する映像目次生成装置
であって、 入力された映像情報に含まれる音情報から特徴量を抽出
し、該特徴量の類似性を用いて映像情報を映像区間に分
類し、該映像区間の存在時間帯の長さと、音情報の種類
によってその存在時間帯の長さがあらかじめわかってい
る場合の音情報の種類のいずれか一方または両方によっ
て映像区間をさらに階層に分類し、各階層から代表画面
またはキーワードを選択して映像の目次を生成する映像
目次生成部と、 前記代表画面または前記キーワードを階層的に表示する
目次表示部とを有する映像目次生成装置。 - 【請求項6】 入力される映像情報がアナログ信号の場
合に、A/D変換してデジタル信号に変換するA/D変
換部をさらに備える請求項5に記載の映像目次生成装
置。 - 【請求項7】 入力された映像情報を蓄積する映像蓄積
部をさらに備える請求項5または6記載の映像目次生成
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04467096A JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04467096A JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09238298A true JPH09238298A (ja) | 1997-09-09 |
JP3409828B2 JP3409828B2 (ja) | 2003-05-26 |
Family
ID=12697890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04467096A Expired - Lifetime JP3409828B2 (ja) | 1996-03-01 | 1996-03-01 | 映像目次生成方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3409828B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771875B1 (en) | 1998-09-03 | 2004-08-03 | Ricoh Company Ltd. | Recording medium with video index information recorded therein video information management method which uses the video index information recording medium with audio index information recorded therein audio information management method which uses the audio index information and a video retrieval system |
WO2021167238A1 (ko) * | 2020-02-17 | 2021-08-26 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809117B (zh) * | 2014-01-24 | 2018-10-30 | 深圳市云帆世纪科技有限公司 | 视频数据聚合处理方法、聚合系统及视频搜索平台 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08179791A (ja) * | 1994-12-21 | 1996-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 音可視化方法および装置 |
JPH08241323A (ja) * | 1995-03-03 | 1996-09-17 | Canon Inc | データ表示方法及びそのシステム |
JPH09214879A (ja) * | 1996-02-07 | 1997-08-15 | Toshiba Corp | 動画像処理方法 |
-
1996
- 1996-03-01 JP JP04467096A patent/JP3409828B2/ja not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08179791A (ja) * | 1994-12-21 | 1996-07-12 | Nippon Telegr & Teleph Corp <Ntt> | 音可視化方法および装置 |
JPH08241323A (ja) * | 1995-03-03 | 1996-09-17 | Canon Inc | データ表示方法及びそのシステム |
JPH09214879A (ja) * | 1996-02-07 | 1997-08-15 | Toshiba Corp | 動画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771875B1 (en) | 1998-09-03 | 2004-08-03 | Ricoh Company Ltd. | Recording medium with video index information recorded therein video information management method which uses the video index information recording medium with audio index information recorded therein audio information management method which uses the audio index information and a video retrieval system |
US7277621B2 (en) | 1998-09-03 | 2007-10-02 | Information Broadcasting Laboratories, Inc. | Recording medium with video index information recorded therein video information management method which uses the video index information, recording medium with audio index information recorded therein, audio information management method which uses the audio index information, video retrieval method which uses video index information, audio retrieval method which uses the audio index information and a video retrieval system |
WO2021167238A1 (ko) * | 2020-02-17 | 2021-08-26 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
WO2021167220A1 (ko) * | 2020-02-17 | 2021-08-26 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP3409828B2 (ja) | 2003-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6557042B1 (en) | Multimedia summary generation employing user feedback | |
JP5324664B2 (ja) | 学習済みユーザプリファレンスに基づくオーディオビジュアルユーザインタフェース | |
EP1898325A1 (en) | Apparatus, method and program for searching for content using keywords from subtitles | |
JP2006129505A (ja) | マルチメディアデータストリームの非線形的再生制御方法及びその装置 | |
KR20090004990A (ko) | 인터넷 검색 기반 텔레비전을 위한 방법, 매체 및 시스템 | |
US20220093132A1 (en) | Method for acquiring video and electronic device | |
JPH09185879A (ja) | レコーディング・インデクシング方法 | |
JP2001005838A (ja) | 電子映像文書作成方法及び電子映像文書作成プログラムが格納された記録媒体 | |
KR20120132465A (ko) | 키워드 및 스트링 입력에 기초한 애니메이트된 미디어를 어셈블링하는 방법 및 시스템 | |
JP2007535018A (ja) | マルチメディアデジタルコンテンツの視覚化及び制御技術 | |
JP2009508379A (ja) | ビデオのナビゲーション方法及び装置 | |
JP2003510625A (ja) | リスナ関心によりフィルタリングされた創作物を準備する方法および装置 | |
KR20000016192A (ko) | 비디오내로하이퍼링크를통합하는방법및장치_ | |
KR100370247B1 (ko) | 등장인물 관계 기반 동영상 검색 방법 | |
JPH05282379A (ja) | 動画像の管理方法及び管理装置 | |
JP2000217058A (ja) | 映像検索システム及びデ―タ構造、そしてそれによる検索方法 | |
KR20080047847A (ko) | 동적 영상물 재생 장치 및 방법 | |
KR20140102656A (ko) | 디지털 미디어 콘텐트를 내비게이트하는 방법, 시스템 및 컴퓨터 프로그램 제품 | |
JP2001306599A (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
US20060010366A1 (en) | Multimedia content generator | |
JP3096280B2 (ja) | 電子映像文書作成利用方法及びプログラム格納媒体 | |
WO2012173021A1 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
JP2011128981A (ja) | 検索装置及び検索方法 | |
JP3409828B2 (ja) | 映像目次生成方法および装置 | |
JP3439034B2 (ja) | 要約映像ブラウジング方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120320 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |