JPH07200616A - マルチメディア情報処理方法および装置 - Google Patents
マルチメディア情報処理方法および装置Info
- Publication number
- JPH07200616A JPH07200616A JP6000689A JP68994A JPH07200616A JP H07200616 A JPH07200616 A JP H07200616A JP 6000689 A JP6000689 A JP 6000689A JP 68994 A JP68994 A JP 68994A JP H07200616 A JPH07200616 A JP H07200616A
- Authority
- JP
- Japan
- Prior art keywords
- change
- information
- time
- video
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】映像情報と音声情報とを有するマルチメディア
情報を処理するシステムにおいて，情報の意味的な構造
とうまく対応するようにマルチメディア情報の分解／構
造化を可能とすることを目的とする。 【構成】映像情報が視覚的に変化した時点とその変化の
種類および音声情報が聴覚的に変化した時点とその変化
の種類とに基づいて，各時点における変化の強さを計算
し，各時点における変化の強さをマルチメディア情報を
分解または構造化するための情報として用いる。
情報を処理するシステムにおいて，情報の意味的な構造
とうまく対応するようにマルチメディア情報の分解／構
造化を可能とすることを目的とする。 【構成】映像情報が視覚的に変化した時点とその変化の
種類および音声情報が聴覚的に変化した時点とその変化
の種類とに基づいて，各時点における変化の強さを計算
し，各時点における変化の強さをマルチメディア情報を
分解または構造化するための情報として用いる。
Description
【０００１】
【産業上の利用分野】本発明は，マルチメディア情報を
処理する方式において，特に，映像や音声といった各知
覚メディア上の変化点の組み合わせによってマルチメデ
ィア情報としての構造を計算し，その情報の意味的な構
造とうまく対応できるような構造を生成するための，マ
ルチメディア情報処理方法および装置に関するものであ
る。
処理する方式において，特に，映像や音声といった各知
覚メディア上の変化点の組み合わせによってマルチメデ
ィア情報としての構造を計算し，その情報の意味的な構
造とうまく対応できるような構造を生成するための，マ
ルチメディア情報処理方法および装置に関するものであ
る。
【０００２】
【従来の技術】映像や音声からなるマルチメディア情報
をコンピュータ等によって扱うためには，内部的なデー
タとして構造化されている必要がある。
をコンピュータ等によって扱うためには，内部的なデー
タとして構造化されている必要がある。
【０００３】従来より映像処理技術として，カット点を
検出するための技術は提案されており，映像情報をカッ
トという観点から区切ることは可能であった（例えば，
文献「大辻ほかによる動画カット検出，電子情報通信学
会技術報告ＩＥ９１−１１６，１９９１年」参照）。し
かし，各カットに区切られた映像をどのようにして意味
的なまとまりをもった単位に結合すべきかに関する技術
は開発されていなかった。このため意味的なまとまりを
持った構造を作り出すためには，人間による手作業が必
要であった。
検出するための技術は提案されており，映像情報をカッ
トという観点から区切ることは可能であった（例えば，
文献「大辻ほかによる動画カット検出，電子情報通信学
会技術報告ＩＥ９１−１１６，１９９１年」参照）。し
かし，各カットに区切られた映像をどのようにして意味
的なまとまりをもった単位に結合すべきかに関する技術
は開発されていなかった。このため意味的なまとまりを
持った構造を作り出すためには，人間による手作業が必
要であった。
【０００４】一方，マルチメディア情報では，その意味
を伝えるという点で音声が重要な位置を占めている。し
かし，音声処理と映像処理との組み合せによってマルチ
メディア情報を意味的に構造化する技術は開発されてい
なかった。このため，音声情報は，それを単独で処理す
る以外にはほとんど利用されていなかった。
を伝えるという点で音声が重要な位置を占めている。し
かし，音声処理と映像処理との組み合せによってマルチ
メディア情報を意味的に構造化する技術は開発されてい
なかった。このため，音声情報は，それを単独で処理す
る以外にはほとんど利用されていなかった。
【０００５】
【発明が解決しようとする課題】本発明の目的は，上記
問題点の解決を図り，マルチメディア情報の分解／構造
化にあたって，映像や音声といった各知覚メディア上の
変化点にそれぞれ重みを与え，それらの組み合せによっ
てマルチメディア情報としての構造を計算し，その結果
が情報の意味的な構造とうまく対応するようにするため
の手段を提供することにある。
問題点の解決を図り，マルチメディア情報の分解／構造
化にあたって，映像や音声といった各知覚メディア上の
変化点にそれぞれ重みを与え，それらの組み合せによっ
てマルチメディア情報としての構造を計算し，その結果
が情報の意味的な構造とうまく対応するようにするため
の手段を提供することにある。
【０００６】
【課題を解決するための手段】上記課題を達成するた
め，請求項１記載のマルチメディア情報処理方法は，映
像情報と音声情報とを有するマルチメディア情報に対し
て，映像情報が視覚的に変化した時点とその変化の種
類，音声情報が聴覚的に変化した時点とその変化の種類
とに基づいて，各時点における変化の強さを計算するこ
とを最も大きな特徴とする。
め，請求項１記載のマルチメディア情報処理方法は，映
像情報と音声情報とを有するマルチメディア情報に対し
て，映像情報が視覚的に変化した時点とその変化の種
類，音声情報が聴覚的に変化した時点とその変化の種類
とに基づいて，各時点における変化の強さを計算するこ
とを最も大きな特徴とする。
【０００７】また，請求項２記載のマルチメディア情報
処理方法は，請求項１記載の発明において，映像情報が
視覚的に変化した時点とその変化の種類，音声情報が聴
覚的に変化した時点とその変化の種類とから，その映像
の変化時点とその音声の変化時点の間の時間的な誤差を
調整し，各時点における変化の強さを，その時点で発生
した各知覚メディア上の変化の種類に応じて決定される
それぞれの重みに基づいて計算することを最も大きな特
徴とする。
処理方法は，請求項１記載の発明において，映像情報が
視覚的に変化した時点とその変化の種類，音声情報が聴
覚的に変化した時点とその変化の種類とから，その映像
の変化時点とその音声の変化時点の間の時間的な誤差を
調整し，各時点における変化の強さを，その時点で発生
した各知覚メディア上の変化の種類に応じて決定される
それぞれの重みに基づいて計算することを最も大きな特
徴とする。
【０００８】また，請求項３記載のマルチメディア情報
処理装置は，映像情報と音声情報とを有するマルチメデ
ィア情報に対して，映像情報が視覚的に変化した時点と
その変化の種類，音声情報が聴覚的に変化した時点とそ
の変化の種類とから，映像の変化時点と音声の変化時点
の間の時間的な誤差を調整して各変化時点の再計算を行
う同期調整部と，各知覚メディア上の変化の種類に対す
る重みを蓄積しておく重み蓄積部と，各時点における変
化の強さを，その時点で発生した各知覚メディア上の変
化の種類に応じた重みによって計算する変化強度計算部
とを持つことを最も大きな特徴とする。
処理装置は，映像情報と音声情報とを有するマルチメデ
ィア情報に対して，映像情報が視覚的に変化した時点と
その変化の種類，音声情報が聴覚的に変化した時点とそ
の変化の種類とから，映像の変化時点と音声の変化時点
の間の時間的な誤差を調整して各変化時点の再計算を行
う同期調整部と，各知覚メディア上の変化の種類に対す
る重みを蓄積しておく重み蓄積部と，各時点における変
化の強さを，その時点で発生した各知覚メディア上の変
化の種類に応じた重みによって計算する変化強度計算部
とを持つことを最も大きな特徴とする。
【０００９】
【作用】請求項１記載の方法により，マルチメディア情
報を知覚情報から意味的な構造と対応するように構造化
するための情報が得られる。特に，請求項２記載の方法
によれば，映像と音声との時間的な誤差を吸収し，かつ
マルチメディア情報を構造化するための，より適切で有
効な情報が得られるようになる。また，請求項３記載の
装置により，マルチメディア情報を知覚情報から意味的
な構造と対応するように構造化するための情報を得る装
置を実現することができる。
報を知覚情報から意味的な構造と対応するように構造化
するための情報が得られる。特に，請求項２記載の方法
によれば，映像と音声との時間的な誤差を吸収し，かつ
マルチメディア情報を構造化するための，より適切で有
効な情報が得られるようになる。また，請求項３記載の
装置により，マルチメディア情報を知覚情報から意味的
な構造と対応するように構造化するための情報を得る装
置を実現することができる。
【００１０】分解／構造化の処理対象となるマルチメデ
ィア情報の映像情報と音声情報は，時間情報によって管
理されて蓄積されている。蓄積されている映像に対する
映像変化点については，事前にまたは本処理時にその変
化の種類と変化が発生した時間情報とが計算される。蓄
積されている音声に対する音声変化点については，その
変化の種類と変化が発生した時間情報とが事前にまたは
本処理時に計算される。一定の時間範囲内で生じた音声
変化と映像変化は，同一の時点で生じたと判定され，両
者の時間情報が調整される。各知覚メディア上の変化の
種類に対してその重みはあらかじめ定められている。各
時点における変化の強さは，その時点で発生した各知覚
メディア上の変化の種類に応じた重みによって計算され
る。このようにして，各知覚メディアの変化点の強さに
基づいてマルチメディア情報としての構造を計算するこ
とが可能となる。
ィア情報の映像情報と音声情報は，時間情報によって管
理されて蓄積されている。蓄積されている映像に対する
映像変化点については，事前にまたは本処理時にその変
化の種類と変化が発生した時間情報とが計算される。蓄
積されている音声に対する音声変化点については，その
変化の種類と変化が発生した時間情報とが事前にまたは
本処理時に計算される。一定の時間範囲内で生じた音声
変化と映像変化は，同一の時点で生じたと判定され，両
者の時間情報が調整される。各知覚メディア上の変化の
種類に対してその重みはあらかじめ定められている。各
時点における変化の強さは，その時点で発生した各知覚
メディア上の変化の種類に応じた重みによって計算され
る。このようにして，各知覚メディアの変化点の強さに
基づいてマルチメディア情報としての構造を計算するこ
とが可能となる。
【００１１】
【実施例】以下，本発明の実施例を，図面を用いて具体
的に説明する。図１は，本発明の実施例に係るマルチメ
ディア情報処理装置のシステム構成を示す図である。図
１において，１１は映像変化点検出部，１２は音声変化
点検出部，１３は同期調整部，１４は変化強度計算部，
１５は重み蓄積部，１６はマルチメディア情報蓄積部で
ある。
的に説明する。図１は，本発明の実施例に係るマルチメ
ディア情報処理装置のシステム構成を示す図である。図
１において，１１は映像変化点検出部，１２は音声変化
点検出部，１３は同期調整部，１４は変化強度計算部，
１５は重み蓄積部，１６はマルチメディア情報蓄積部で
ある。
【００１２】図２は，本実施例におけるマルチメディア
情報処理方法を示すフローチャートである。以下の本実
施例の説明では，１９９０年８月３０日に放送されたＮ
ＨＫモーニングワイドの一部の映像と音声に対する処理
例を用いて説明する。
情報処理方法を示すフローチャートである。以下の本実
施例の説明では，１９９０年８月３０日に放送されたＮ
ＨＫモーニングワイドの一部の映像と音声に対する処理
例を用いて説明する。
【００１３】映像変化点検出部１１は，マルチメディア
情報蓄積部１６に蓄積されている映像情報から映像の変
化点を検出し，その変化の種類と変化の発生した時間情
報（以下，これをタイムコードと呼ぶ）とを生成する
（図２のステップ１０１）。
情報蓄積部１６に蓄積されている映像情報から映像の変
化点を検出し，その変化の種類と変化の発生した時間情
報（以下，これをタイムコードと呼ぶ）とを生成する
（図２のステップ１０１）。
【００１４】以下では，撮影カメラのスイッチのオン／
オフ，カメラの切り替わり，編集等によって生じた，映
像内容の時間的あるいは空間的な不連続点をカット点と
呼ぶ。また，カット点からカット点までの一連の映像を
ショットと呼ぶ。図３に，このカット点とショットの概
念を表す。図３では，１から始まる一連のフレーム画像
によって動画像が構成されており，フレーム番号３およ
びフレーム番号７の映像がカット点となる。また，フレ
ーム番号の１〜２，３〜６および７以降が，それぞれシ
ョットとなる。
オフ，カメラの切り替わり，編集等によって生じた，映
像内容の時間的あるいは空間的な不連続点をカット点と
呼ぶ。また，カット点からカット点までの一連の映像を
ショットと呼ぶ。図３に，このカット点とショットの概
念を表す。図３では，１から始まる一連のフレーム画像
によって動画像が構成されており，フレーム番号３およ
びフレーム番号７の映像がカット点となる。また，フレ
ーム番号の１〜２，３〜６および７以降が，それぞれシ
ョットとなる。
【００１５】本実施例では，カット点のタイムコードを
映像のフレーム番号（１フレーム＝１／３０秒）によっ
て出力するものとする。また変化点の種類としては，ア
ナウンサ（キャスタ）が現れているショットから別の映
像へ変わった場合とその逆の場合を０，それ以外の場合
には１という２種類を用いる。映像変化点検出部１１に
より検出された映像変化の種類とカット変わりフレーム
番号の結果を，図４（Ａ）に示す。
映像のフレーム番号（１フレーム＝１／３０秒）によっ
て出力するものとする。また変化点の種類としては，ア
ナウンサ（キャスタ）が現れているショットから別の映
像へ変わった場合とその逆の場合を０，それ以外の場合
には１という２種類を用いる。映像変化点検出部１１に
より検出された映像変化の種類とカット変わりフレーム
番号の結果を，図４（Ａ）に示す。
【００１６】音声変化点検出部１２は，マルチメディア
情報蓄積部１６に蓄積されている音声情報から音声の変
化点を検出し，その変化の種類と変化の発生したタイム
コードとを生成する（図２のステップ１０２）。本実施
例では，有音区間の発生点のタイムコードを１／１００
秒単位で出力するものとする。また，変化点の種類とし
ては，直前の有音区間の話者と同一話者の場合に０，異
なる話者の場合に１という２種類を用いる。音声変化点
検出部１２により検出された音声変化の種類と有音開始
点の結果を，図４（Ｂ）に示す。
情報蓄積部１６に蓄積されている音声情報から音声の変
化点を検出し，その変化の種類と変化の発生したタイム
コードとを生成する（図２のステップ１０２）。本実施
例では，有音区間の発生点のタイムコードを１／１００
秒単位で出力するものとする。また，変化点の種類とし
ては，直前の有音区間の話者と同一話者の場合に０，異
なる話者の場合に１という２種類を用いる。音声変化点
検出部１２により検出された音声変化の種類と有音開始
点の結果を，図４（Ｂ）に示す。
【００１７】同期調整部１３は，図２に示すステップ１
０３において，映像変化点のタイムコードと音声変化点
のタイムコードの時間単位を調整し，さらに両者の誤差
を調整して同期点を発見する。ここでは，まず両者の時
間単位を１／１００秒とすることにより両者の時間単位
系をそろえる。１フレーム＝１／３０秒とすることによ
り，図４（Ａ）に示すカット点のフレーム番号は，図５
に示す時間へと変換される。次に，映像変化点と音声変
化点が，ある範囲内のずれをもって発生した場合には，
両者は同時に発生したとみなし，変化点の発生時間をず
らす。ここでは，以下の処理によって，有音開始点とカ
ット点の同期点を発見し，有音開始点の時間を調整す
る。
０３において，映像変化点のタイムコードと音声変化点
のタイムコードの時間単位を調整し，さらに両者の誤差
を調整して同期点を発見する。ここでは，まず両者の時
間単位を１／１００秒とすることにより両者の時間単位
系をそろえる。１フレーム＝１／３０秒とすることによ
り，図４（Ａ）に示すカット点のフレーム番号は，図５
に示す時間へと変換される。次に，映像変化点と音声変
化点が，ある範囲内のずれをもって発生した場合には，
両者は同時に発生したとみなし，変化点の発生時間をず
らす。ここでは，以下の処理によって，有音開始点とカ
ット点の同期点を発見し，有音開始点の時間を調整す
る。
【００１８】まず，図６（Ａ）に示すように，カット点
ｐ１においては無音であり，かつカット点ｐ１以降はじ
めての有音開始点ｑ１とｐ１との差が所定の閾値Ｔ１以
内の場合には，その有音開始点をｐ１とみなす。次に，
図６（Ｂ）に示すように，カット点ｐ２においては有音
であり，かつカット点ｐ２以前はじめての有音開始点ｑ
２とｐ２との差が所定の閾値Ｔ２以内の場合には，その
有音開始点をｐ２とみなす。図５に示した映像変化点と
図４（Ｂ）に示した音声変化点に対して，閾値Ｔ１，Ｔ
２をそれぞれＴ１＝２秒，Ｔ２＝０．５秒として，上記
処理を行った結果を図７に示す。
ｐ１においては無音であり，かつカット点ｐ１以降はじ
めての有音開始点ｑ１とｐ１との差が所定の閾値Ｔ１以
内の場合には，その有音開始点をｐ１とみなす。次に，
図６（Ｂ）に示すように，カット点ｐ２においては有音
であり，かつカット点ｐ２以前はじめての有音開始点ｑ
２とｐ２との差が所定の閾値Ｔ２以内の場合には，その
有音開始点をｐ２とみなす。図５に示した映像変化点と
図４（Ｂ）に示した音声変化点に対して，閾値Ｔ１，Ｔ
２をそれぞれＴ１＝２秒，Ｔ２＝０．５秒として，上記
処理を行った結果を図７に示す。
【００１９】重み蓄積部１５では，各知覚情報の変化点
の種類とその重みを記憶している。ここでは，一例とし
て図８に示すように，それぞれの知覚メディアの変化の
種類に応じた重みが蓄積されているとする。ただし，有
音区間と無音区間，およびカット点以外の映像区間に対
応する重みはそれぞれ０である。
の種類とその重みを記憶している。ここでは，一例とし
て図８に示すように，それぞれの知覚メディアの変化の
種類に応じた重みが蓄積されているとする。ただし，有
音区間と無音区間，およびカット点以外の映像区間に対
応する重みはそれぞれ０である。
【００２０】変化強度計算部１４は，重み蓄積部１５に
記憶されている図８に示すような重みに基づき，情報の
各時点における変化の強さを計算する（図２のステップ
１０４）。例えば図７に示す調整後の音声変化点の結果
では，１７秒の時点で音声が開始しているので，１７秒
の時点における変化の強さは２０となる。また，２３秒
０３の時点で，映像がキャスタからそれ以外の映像へ変
化（カット点）しているので，この時点における映像の
変化の強さが３０，さらにこの時点は音声区間の開始点
でもあるため音声の変化の強さが２０，合計で５０の強
さとなる。このようにして計算された結果を，図９に示
す。
記憶されている図８に示すような重みに基づき，情報の
各時点における変化の強さを計算する（図２のステップ
１０４）。例えば図７に示す調整後の音声変化点の結果
では，１７秒の時点で音声が開始しているので，１７秒
の時点における変化の強さは２０となる。また，２３秒
０３の時点で，映像がキャスタからそれ以外の映像へ変
化（カット点）しているので，この時点における映像の
変化の強さが３０，さらにこの時点は音声区間の開始点
でもあるため音声の変化の強さが２０，合計で５０の強
さとなる。このようにして計算された結果を，図９に示
す。
【００２１】本実施例で用いているマルチメディア情報
は「ＯＰＥＣ緊急会議」に関するもので，「実際の会議
の内容」と，「それに対する日本の対応」という２つの
部分に分かれる。前者はさらに，「概要」，「詳細」，
「現地からの記者レポート」に，また後者はさらに「概
要」と「詳細」に分けることができる。本手法によって
計算された変化の強さと，実際の情報内容とを比較する
と，図９に示すように，大きく分けられる２つの部分の
境界点で変化の強さは大きい値（８０）となり，それぞ
れの小さな分割点では中程度の値（４０〜６０）とな
り，それ以外の点では２０以下の小さな値となってい
る。したがって，図２に示すステップ１０５において，
計算された変化の強さに基づく適当なレベルでのマルチ
メディア情報の適切な分解／構造化が可能になる。
は「ＯＰＥＣ緊急会議」に関するもので，「実際の会議
の内容」と，「それに対する日本の対応」という２つの
部分に分かれる。前者はさらに，「概要」，「詳細」，
「現地からの記者レポート」に，また後者はさらに「概
要」と「詳細」に分けることができる。本手法によって
計算された変化の強さと，実際の情報内容とを比較する
と，図９に示すように，大きく分けられる２つの部分の
境界点で変化の強さは大きい値（８０）となり，それぞ
れの小さな分割点では中程度の値（４０〜６０）とな
り，それ以外の点では２０以下の小さな値となってい
る。したがって，図２に示すステップ１０５において，
計算された変化の強さに基づく適当なレベルでのマルチ
メディア情報の適切な分解／構造化が可能になる。
【００２２】以上説明したように，本発明によれば，各
知覚メディアの変化点の種類とその発生した時点に基づ
いて，それぞれの時点での変化の強さを計算でき，かつ
その結果を情報の意味的内容と容易に対応させることが
可能となる。
知覚メディアの変化点の種類とその発生した時点に基づ
いて，それぞれの時点での変化の強さを計算でき，かつ
その結果を情報の意味的内容と容易に対応させることが
可能となる。
【００２３】図２におけるフローチャートでは映像変化
点を先に検出しているが，音声変化点を先に検出しても
かまわない。また，本実施例では，映像変化点とその変
化の種類の検出を行ったが，予め検出しておき，マルチ
メディア情報の一部としてマルチメディア情報蓄積部１
６に記憶しておいてもよい。この映像変化点とその変化
の種類は，カメラによる撮像時に検出することも可能で
ある。
点を先に検出しているが，音声変化点を先に検出しても
かまわない。また，本実施例では，映像変化点とその変
化の種類の検出を行ったが，予め検出しておき，マルチ
メディア情報の一部としてマルチメディア情報蓄積部１
６に記憶しておいてもよい。この映像変化点とその変化
の種類は，カメラによる撮像時に検出することも可能で
ある。
【００２４】本実施例では，カット点，およびアナウン
サ映像に着目して映像の変化点とその変化の種類を生成
したが，映像の視覚的な変化に基づく種類とそのタイム
コードであれば適用は任意である。例えば，文字スーパ
の表示された時点と消去された時点，表示された文字の
大きさによる種類分け，あるいは静止画と動画による種
類分けなどを用いることも可能である。
サ映像に着目して映像の変化点とその変化の種類を生成
したが，映像の視覚的な変化に基づく種類とそのタイム
コードであれば適用は任意である。例えば，文字スーパ
の表示された時点と消去された時点，表示された文字の
大きさによる種類分け，あるいは静止画と動画による種
類分けなどを用いることも可能である。
【００２５】本実施例では，有音区間，および話者の同
一性に着目して音声の変化点とその変化の種類を生成し
たが，音声の聴覚的な変化に基づく種類とそのタイムコ
ードであれば適用は任意である。例えば，ＢＧＭの有無
による種類分け，直前の無音区間の長さによる種類分
け，有音区間の終了点のタイムコードなどを用いること
も可能である。
一性に着目して音声の変化点とその変化の種類を生成し
たが，音声の聴覚的な変化に基づく種類とそのタイムコ
ードであれば適用は任意である。例えば，ＢＧＭの有無
による種類分け，直前の無音区間の長さによる種類分
け，有音区間の終了点のタイムコードなどを用いること
も可能である。
【００２６】本実施例では，同期を調整する際，映像変
化点に合うように音声変化点を変更したが，音声変化点
に合うように映像変化点を変更してもよいし，両者の平
均をとった点を同期点としてもよい。
化点に合うように音声変化点を変更したが，音声変化点
に合うように映像変化点を変更してもよいし，両者の平
均をとった点を同期点としてもよい。
【００２７】
【発明の効果】以上説明したように，本発明によれば，
映像や音声といった各知覚メディア上の変化点の組み合
せによってマルチメディア情報としての構造を計算する
ことができ，その結果は情報の意味的な構造とうまく対
応している。したがって，本発明による処理結果を用い
れば，マルチメディア情報を意味的にまとまった情報ご
とに切り出すことができるという利点を持つ。
映像や音声といった各知覚メディア上の変化点の組み合
せによってマルチメディア情報としての構造を計算する
ことができ，その結果は情報の意味的な構造とうまく対
応している。したがって，本発明による処理結果を用い
れば，マルチメディア情報を意味的にまとまった情報ご
とに切り出すことができるという利点を持つ。
【図１】本発明の一実施例としてのマルチメディア情報
処理装置のシステム構成を示す図である。
処理装置のシステム構成を示す図である。
【図２】本発明の一実施例としてのマルチメディア情報
処理方法を表わすフローチャートである。
処理方法を表わすフローチャートである。
【図３】カット点とショットの概念を説明するための図
である。
である。
【図４】実施例において映像変化点検出部と音声変化点
検出部の処理結果を示す図である。
検出部の処理結果を示す図である。
【図５】実施例において映像変化点のタイムコードを１
／１００秒単位に計算し直した結果を示す図である。
／１００秒単位に計算し直した結果を示す図である。
【図６】実施例において映像変化点と音声変化点の同期
調整の方法を表す図である。
調整の方法を表す図である。
【図７】実施例において音声変化点の時点を調整した結
果を表す図である。
果を表す図である。
【図８】実施例において重み蓄積部に記憶されている各
知覚情報の変化点の種類とその重みを表す図である。
知覚情報の変化点の種類とその重みを表す図である。
【図９】実施例において変化強度計算部において計算さ
れた結果としての各時点における変化点の強さと，意味
的な情報の構造との対応関係を示す図である。
れた結果としての各時点における変化点の強さと，意味
的な情報の構造との対応関係を示す図である。
１１ 映像変化点検出部 １２ 音声変化点検出部 １３ 同期調整部 １４ 変化強度計算部 １５ 重み蓄積部 １６ マルチメディア情報蓄積部 １０１〜１０５ ステップ
Claims (3)
- 【請求項１】 映像情報と音声情報とを有するマルチメ
ディア情報を処理するマルチメディア情報処理方法にお
いて，映像情報が視覚的に変化した時点とその変化の種
類および音声情報が聴覚的に変化した時点とその変化の
種類とに基づいて，各時点における変化の強さを計算す
る過程を有し，その計算した各時点における変化の強さ
を，映像情報と音声情報とを有するマルチメディア情報
を分解または構造化するための情報として用いることを
特徴とするマルチメディア情報処理方法。 - 【請求項２】 映像情報と音声情報とを有するマルチメ
ディア情報を処理するマルチメディア情報処理方法にお
いて，映像情報が視覚的に変化した時点とその変化の種
類および音声情報が聴覚的に変化した時点とその変化の
種類とから，映像の変化時点と音声の変化時点の間の時
間的な誤差を調整し，各時点における変化の強さを，そ
の時点で発生した各知覚メディア上の変化の種類に応じ
て決定されるそれぞれの重みに基づいて計算する過程を
有し，その計算した各時点における変化の強さを，映像
情報と音声情報とを有するマルチメディア情報を分解ま
たは構造化するための情報として用いることを特徴とす
るマルチメディア情報処理方法。 - 【請求項３】 映像情報と音声情報とを有するマルチメ
ディア情報を処理するマルチメディア情報処理装置にお
いて，処理対象のマルチメディア情報から検出された映
像の変化時点と音声の変化時点の間の時間的な誤差を調
整して各変化時点の再計算を行う同期調整部と，各知覚
メディア上の変化の種類に対する重みを蓄積しておく重
み蓄積部と，前記同期調整部によって調整された各変化
時点および処理対象のマルチメディア情報から検出され
た映像の変化の種類と音声の変化の種類とに基づいて，
各時点における変化の強さを，その時点で発生した各知
覚メディア上の変化の種類に応じた重みによって計算す
る変化強度計算部とを備え，各時点における変化の強さ
に基づいて映像情報と音声情報とを有するマルチメディ
ア情報を分解または構造化するようにしたことを特徴と
するマルチメディア情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00068994A JP3373924B2 (ja) | 1994-01-10 | 1994-01-10 | マルチメディア情報処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00068994A JP3373924B2 (ja) | 1994-01-10 | 1994-01-10 | マルチメディア情報処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07200616A true JPH07200616A (ja) | 1995-08-04 |
| JP3373924B2 JP3373924B2 (ja) | 2003-02-04 |
Family
ID=11480732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00068994A Expired - Fee Related JP3373924B2 (ja) | 1994-01-10 | 1994-01-10 | マルチメディア情報処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3373924B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009157540A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 画像記録装置、画像記録再生装置、画面記録再生システム、画像記録プログラム、および画像記録再生プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0256069A (ja) * | 1988-08-22 | 1990-02-26 | Hitachi Ltd | 動画検索装置及び動画処理装置 |
| JPH05290549A (ja) * | 1992-04-06 | 1993-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像編集支援装置 |
| JPH05342263A (ja) * | 1992-06-08 | 1993-12-24 | Nippon Telegr & Teleph Corp <Ntt> | ビデオデータ検索支援方法 |
| JPH06243539A (ja) * | 1993-02-22 | 1994-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像構造化情報入手方法 |
-
1994
- 1994-01-10 JP JP00068994A patent/JP3373924B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0256069A (ja) * | 1988-08-22 | 1990-02-26 | Hitachi Ltd | 動画検索装置及び動画処理装置 |
| JPH05290549A (ja) * | 1992-04-06 | 1993-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像編集支援装置 |
| JPH05342263A (ja) * | 1992-06-08 | 1993-12-24 | Nippon Telegr & Teleph Corp <Ntt> | ビデオデータ検索支援方法 |
| JPH06243539A (ja) * | 1993-02-22 | 1994-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像構造化情報入手方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009157540A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 画像記録装置、画像記録再生装置、画面記録再生システム、画像記録プログラム、および画像記録再生プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3373924B2 (ja) | 2003-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090279840A1 (en) | Image Digesting Apparatus | |
| KR100302370B1 (ko) | 음성구간검출방법과시스템및그음성구간검출방법과시스템을이용한음성속도변환방법과시스템 | |
| JP2007189343A (ja) | 映像要約装置、映像要約方法および映像要約プログラム | |
| WO1997019552A3 (en) | Method and apparatus for implementing playback features for compressed video data | |
| WO2006134883A1 (ja) | コンテンツタグ付け支援装置およびコンテンツタグ付け支援方法 | |
| JP2003087728A (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
| US7149365B2 (en) | Image information summary apparatus, image information summary method and image information summary processing program | |
| US7050110B1 (en) | Method and system for generating annotations video | |
| JPH07203351A (ja) | 画像データ再生方法及びその装置 | |
| JP2001344905A (ja) | データ再生装置、その方法及び記録媒体 | |
| US7143029B2 (en) | Apparatus and method for changing the playback rate of recorded speech | |
| JP2004343488A (ja) | 字幕挿入方法、字幕挿入システム、および字幕挿入プログラム | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| JP2839192B2 (ja) | 音声合成装置 | |
| US9214190B2 (en) | Audio signal processing method | |
| JPH10243351A (ja) | 映像再生装置 | |
| JPH07200616A (ja) | マルチメディア情報処理方法および装置 | |
| JP2003309814A5 (ja) | ||
| JP3642019B2 (ja) | Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方法 | |
| JP4272611B2 (ja) | 映像処理方法、映像処理装置、映像処理用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2006050045A (ja) | 動画像データ編集装置及び動画像データ編集方法 | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP4010598B2 (ja) | 映像情報編集方法 | |
| JPH0879674A (ja) | 動画像検索方式 | |
| JP2020129763A (ja) | 動画再生装置、動画再生方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |