JPH0353379A - マルチメディアデータベース蓄積検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （Ｊ！ｉ業上の利用分野〕 本発明はマルチメディアデータベース蓄積検索装置に係
り、特にＩＩＪ！像情報．音声情報．時間情報及びディ
ジタル信号情報などのマルチメディア情報をデータベー
スに蓄積し、またデータベースの７ルチメディア情報を
検索対象とするマルチメディアデータベース蓄積検索装
鱈に関する。

（従来の技ｇＩＩｇ） 従来のマルチメディアデータベースとしてビデオライブ
ラリデータベースが知られているが、このものは映像情
報に神するタイトルを自然−占語で予めライブラリの所
定位置に付与しておくか、又番１キーワードからなるイ
ンデクスを付与しておくことで必要な場面を含む映像情
報及び音声情報を検索する装置である。

また、多数の静止画のデータベースに対して人手でイン
デクスを付与し、必要な場面のデータを取り出す装釘が
提案されている。

〔発明が解決しようとする課題〕

しかるに、前者のビデオライブラリデータベースでは、
データベースを作成するとぎに人手でインデクスやタイ
トルを付与しておくか、又は該当する箇所を捜すため人
手でスキャニングする必要がある。

一方、後者の装置でも、予め人手でインデクスを付与す
る必要があるほか、希望する場面は取り出せてもそれが
静止画像であるため映像情報とは直接結び付けられない
という問題がある。

本発明は上記の点に鑑みてなされたもので、映１ｍ情報
に同則している音声情報，＠間情報，及びディジタル信
８情報をもとに、インデクスを付与する手作業を必要と
せずに自動的にインデクスを付与してデータベースを構
築し得、しかも所望の映像情報や音声情報を容易に検索
し得るマルチメディアデータベース蓄積検索装置を提供
することを目的とする。

〔課題を解決するためのｆ段〕

第１図は本発明のＩＰｔ理構或図を示す。同図中、１１
はマルチメディア情報蓄積手段で、映像情報とこの映像
情報に同期している音声情報と時間情報とディジタル信
号情報とがｖＩ間情報をインデクスとして蓄積されてい
る。

また、１２は場面情報辞書，１３は音声認識手段．１４
は場面情報補正手段、１５は場面情報蓄積検索ｆ段で、
これらがマルチメディア情報の蓄積時に使用される。こ
こで、場面情報辞！１１１２は所望の語句及びＩ１ＱＩ
！で定義した場面情報の集合を予め蓄積している。音声
認識手段１３は、マルチメディ７ｆｆ４報蓄積千段１１
からの音声情報を場面情報辞書１２の語句及び関連語と
照合し、一致したときマルチメディア情報６１丁段１１
からの時間情報を場面情報として認識する． 場面情報補正千段１４は、音声認識千段１３の認識結果
である場面情報をマルチメディア情報蓄積ｆ段１１から
のディジタル信号情報によって補正する。そして、場面
情報蓄積検索手段１５は場面情報補正手段１４により補
正された場面情祖を蓄積し、蓄積したその場面情報の検
索を可能とする。

また、１６は検索条件入力手段，１７はマッチングｆ段
，１８は出力編集処理ｆ段で、これらはマルチメディア
情報蓄積手段１１と共にデータベース検索時に使用され
る。上記の検索条件入力手段１６は所望の場而のマルチ
メディア情報を検索するための検索条件を入力する。

マッチング手段１７は、検索条件入力手段により入力さ
れた検索条件に該当する場面情報を場面情報蓄積検索手
段１５に蓄積されている場面情報の中から検索する。

また、出力ｆｉ集処卵手段１８は、マッチング手段１７
により検索された場面情報であるｅｔ間情報をもとに、
マルチメディア情報蓄積手段１１から対応する映像情報
及びｇ声情報を読み出し、検索条件に応じたマルチメデ
ィア情報に編集して出力する。

Ｃｎ用〕 本発明では７ルチメディア情報をもとに、場面情報を場
面ｔｇ報蓄積検索千段１５に蓄積し、更に検索条件入力
に基づいてマルチメディア情報を、このＭ積された場面
情報を用いて検索出力するものである。まず、本発明の
蓄８Ｋ時の作用肋作について第１図及び第２図（Ａ）と
共に説明するに、マルチメディア情報蓄積手段１１に時
間情報を与えることにより、マルチメディア情報蓄積ｆ
段１１から映像情報．音声ｆｉ報．時間情報及びディジ
タル信号情報が読み出される（第２図（Ａ）のステップ
２１〉。

読み出されたマルチメディア情報のうち音声情報（これ
は映＠情報に同期している）と時間情報とが音声認識手
段１３に供給され、ここで音声情報が場面情報辞書１２
のｇ声認識の対象となる場面情報内容と一致するか否か
照合が行なわれる（第２図（Ａ）のステップ２２）。一
致するときはその音声認識結果と共に時間情報が場面情
報補正ｆ段１４に供給され（第２図（Ａ）中、ステツプ
２３）、ここでマルチメディア情報蓄積千段１１からの
ディジタル信号情報及び場面情報辞潟１２の内容により
ａ声Ｈ　Ｍ結果の補正が行なわれる（第２図（Ａ）中、
ステップ２４）。

この補正された音声情報及び時ｒ１情報は場面情報とし
て場面情報蓄積手＆２１５に蓄積される（第２図（Ａ＞
中、ステップ２５）。このように、本発明では場面情報
ｖ？−書１２に定義した情報を、データベース横築時に
検索可能な時門情報として場面情報蓄積検索手段１５に
蓄積することができる。

次に、マルチメディアデータベース検索時の作用動作に
ついて第１図及び第２図（Ｂ）と共に説明する．まず、
検索条件入力手段１６により所望の検索条件を？ツチン
グ手段１７へ入力する（第２１（Ｂ）中、ステップ３１
）。これにより、マッチング手段１７は場面情報蓄積検
索手段１５に蓄積されている場面情報の中から検索条件
に該当するｔｉ！面情報を取り出しその場面情報に関す
る時問情報を出力編集処理千段１８へ送る（第２図（Ｂ
）中、ステップ３２）． 出力編集処理手段１８はマルチメディア情報蓄積ｆ段１
１にこの時同情報を送り、この時間情報における吹像ｆ
Ａ報．音声情報及び時間情報を読み出させ（第２図（Ｂ
）中、ステップ３３）、これらの各情報を入力として受
け編集してマルチメディ７情報として出力する（第２図
（Ｂ）中、ステップ３４〉。

またｉｌｔｌ情報の入力を出力編集処理手段１８を介し
てマルチメディア情報蓄積ｆ段１１に送ることにより、
場ｉｆｉｆＲ報の情報出力の主ヤンセル，すなわち該当
する場面情報が複数ある場合のスキップ処理、及び時間
情報からの直接の検索を可能とする。

このように、本発明は映像情報に同ｍしている音声情報
，詩ｒＭｔＲ報およびディジタル信号情報のうち、まず
音声情報から場面情報辞書１２にある場而情報をもとに
音声認識を行い、この結果をディジタル信８情報で補正
して、場面情報とその時間情報を自餉的にＭ積すること
を特徴とし、さらに、場面情報辞書１２には包含関係に
ある語の関係を収録しておくことで検索処理では包含さ
れる別の表現で使われている場面情報も検索することが
でき、しかもＷ！ＩＦＪ情報で直接マルチメディア１ｇ
報が検索できるため、必要な場面の＠後へも容易に出力
範囲が拡大できることから希望にあった映像情報を容易
に検索できる。

〔実施例〕

次に本発明の一実施例について、テレビジョンの野球の
実況中継を例にとって第１図及び第３図〜第５図と共に
説明する。この場合、冫ルヂメディ７ｆＡ報蓄積ｆ段１
１は記録媒体再１装置で、再生された各情報中、映像情
報は野球の中継画像．Δ声情報はこの画像に同期してい
るアＪウンリの音声であり、またディジタル信ｇ情報は
野球場の電光掲示板の信号．映像情報から認識される数
字（例えば回の情報や得点の情報）．または名声情報の
強弱（パワー値）などである。

この場合の場面情報辞書の一実施例の内容を第３図に示
す。同図中、「場而情報の読み」は音声認識手段１３に
おいてマルチメディア情報中の音声情報と照合される音
声情報（語句）である。また、ｒｒｉ達語］の情報は場
面情報蓄積のとぎに展釣される。

更に、第３図中、場面のタイプの１イベント１は或る時
点に起こるタイプであり、「ステート」は或る一定時間
継続するタイプである。

前記したｇ声認識千段１３で音声情報と第３図中の「場
面情報の読み」とが一致すると、そのときの「場面情報
の読み」の始まりの時間が、場面情報の闘姶時間として
、揚而情報と１組にして場面情報補ｔＥｆ段１４に送ら
れる。場面情報補正手段１４は場面情報が＃ｉ記したス
テートタイプのときは、例えば「１回表Ｊのようにその
開始が認識されている場合、「１回裏１の直前が「１同
表１の終了時刻であるというルールに基づき時間情報を
補正したり、また場面情報毎に、例えば「ホームラン］
の場合は「その場面情報の時、得点が入る，１というよ
うなルール化、及び音声のパワー位を用いて、「その場
面の時、ある一定値を越えるパワー値をとるＪと制限す
るようなルール化をしておくことで揚而情報を補正する
。

このようにして補『された場面情報は、場面情報蓄積検
索手段１５に第４図に示す如き形態で蓄積される。同図
に丞すように、蓄積された場面情報はｒｔｉｔｍ情報の
読み］を表わす音声情報とその場面情報の開始時刻と終
了時刻を示すｖｆ間情報とからなる。

次に、マルチメディアデータベース検索時の初ｎ゛につ
いて説明する。まず、検索条件として、「ホームラン１
が入力された場合について説明する。検索条件入力ｆ段
１６より入力ざれると、マッチング手Ｐ２１７へ入力検
索条件である「ホームランＪが送られ、ここで場面情報
蓄積検索ｆ段１５に蓄積されている第４図の「場面情報
の読み１とのマッチングが行なわれ、ｒ２０：０５．３
０Ｊおよびｒ２１　：Ｏ；ｌ　２０Ｊが抽出される。こ
の情報は出力ｇ集処理手段１８へ送られる。

一方、検索条件として「７回表＆ホームラン」が投入さ
れたとする。この場合、場面情報とじて論即積をとる処
貯がマツブ−ング手段１２で行なわれる。ここではスデ
ートタイプの「７回表１のｎ始Ｗ！ｔ間ｒ２１　：００
．２０Ｊから終了時間「２１：１（Ｌ２９１の間のＦホ
ームラン−１の場面「２１：０３．２０Ｊが選ばれる。

この情報は出力編集処理手段１８へ送られる。

出力＆ｉ集処理ｆ段１８では、上記の如くにして抽出さ
れたｒＩ間情報を受け取ると、冫ルチメディア情報蓄積
千段１１へこの情報（７回表のツーランの開始時問の２
１　：０３．２０の時間情報を送り、場合によってはあ
らかじめ決められた時間さかのぼって、例えば２０秒と
すると？ルチメディア情報蓄積ｆ段１１に峙面情報ｒ２
１　：０３．ＯＯＪを送る。これにより、マルチメディ
ア情報蓄積手段１１からは７＠表のツーランが発生する
時点より２０！ｊ前からの映像、音声、時間、ディジタ
ル信弓が出力編集処理手段１８に送られ、ここでマルチ
メディア出力として出力される。

なお、第３図の「閏′＆語」の情報は場面情報蓄積のと
きに展同して、第４図のホームランを作或する方法、ま
た第５図に示す場面情報のように検索の時点でｒｌ達語
の展開をかけて使うことも可能である。いずれの場合も
「ホームラン１が検索対象のときは「関連語Ｊの「２ラ
ン」，「３ラン」もあわせて検索できることから検索の
ヒット率を向上させることができる。

（発明の効果） 上述の如く、本発明によれば、予め映像情報にインデク
スを手動で付与しなくとも、揚而妬報辞書に定義した情
報をデータベース構築時に検索可能な時間情報として蓄
積できるため、人手を要することなく自動的に時問情報
をインデクスとしてｆ４与でき、人手で検索することな
く効率よく検索でき、また希望の場面情報を、その場面
情報の発生詩４又は終了時間に前後させて検索すること
も容易に実現することができる等の特徴を有するもので
ある。

【図面の簡単な説明】

第１図は本発明の原Ｗ！構或図、 第２図は本発明の作用説明用フローチャート、第３図は
場面情報１９書の一実施例の内容説明図、第４図ｕｉ積
される場面情報の一実施例の内容説明図、 第５図は関連語を検索時に展開する場合の場而情報の一
実浦例の説明図である。 １１・・・マルチメディア情報蓄積手段、１２・・・場
面情報辞書、１３・・・音声認Ｍ丁．段、１４・・・場
面情報補正手段、１５・・・場面情報蓄積検索手段、１
６・・・検索条件入力ｆ段、１７・・・マッヂングｆ段
、１８・・・出力編集処理手段。 本発明の原埋構成図 第 １ 図 （Ａ） （Ｂ） 本発明の作用説明用フローチャ 第２図 ト 場面情報辞書の一実施例 第３図

Claims (1)

1. 【特許請求の範囲】 映像情報、該映像情報に同期している音声情報、時間情
   報及びディジタル信号情報が該時間情報をインデックス
   として蓄積されるマルチメディア情報蓄積手段と、 所望の語句及び関連語で定義した場面情報の集合を予め
   蓄積された場面情報辞書と、 該マルチメディア情報蓄積手段からの該音声情報を該場
   面情報辞書の該語句及び関連語と照合し、一致したとき
   該マルチメディア情報蓄積手段からの該時間情報を場面
   情報として認識する音声認識手段と、 該音声認識手段の認識結果である場面情報を該マルチメ
   ディア情報蓄積手段からの該ディジタル信号情報によつ
   て補正する場面情報補正手段と、該場面情報補正手段に
   より補正された場面情報を蓄積し、該蓄積した場面情報
   の検索が可能な場面情報蓄積検索手段と、 所望の場面のマルチメディア情報を検索するための検索
   条件を入力する検索条件入力手段と、該検索条件入力手
   段により入力された検索条件に該当する場面情報を該場
   面情報蓄積検索手段に蓄積されている場面情報の中から
   検索するマッチング手段と、 該マッチング手段により検索された場面情報である時間
   情報をもとに、該マルチメディア情報蓄積手段から対応
   する映像情報及び音声情報を読み出し、検索条件に応じ
   たマルチメディア情報に編集して出力する出力編集処理
   手段と、 よりなることを特徴とするマルチメディアデータベース
   蓄積検索装置。