JPH0630367A - 映像検索方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 音声ブロックを検索の鍵とする映像検索方法
および装置を提供する。 【構成】 映像と音声とを有するデータ・ベースについ
て映像信号データおよび音響信号データを予め計算機内
に蓄積し、蓄積された音響信号データについて音響の存
在する区間を抽出し、抽出された音響区間を模式的にデ
ィスプレイし、ディスプレイされる音響区間の内の特定
の音響区間を指定し、指定した音響区間に対応する映像
を抽出し、抽出された映像と音声とを同期出力する映像
検索方法および装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像検索装置に関
し、特に音響信号および映像信号を有するデータ・ベー
スにおいて、音響信号を鍵として映像信号を検索する映
像検索方法および装置に関する。

【０００２】

【従来の技術】音響処理技術、映像処理技術その他の信
号処理技術が進歩したことにより、従来、データとして
数値・文字データのみを取り扱ってきたコンピュータ、
ワーク・ステーションの如き計算機において、音声情報
および映像情報をもデータとして取り扱うマルチメディ
ア処理が可能となった。そして、データの圧縮技術の進
歩、記憶装置の大容量化に伴って、音声および映像のデ
ータを大量に蓄積することも可能となった。ここで、種
々のデータの蓄積が可能になると共に大量のデータの蓄
積が可能になるにつれて、蓄積されたデータを如何に検
索するかが重要な問題となる。テキストのみを取り扱う
場合は、文字列検索に代表されるように、指定されたキ
ーとデータとの間のマッチングにより検索をすることが
可能であった。しかし、音声或は映像の如く時間的に継
続していると共に時間と共に変化するデータについて
は、上述の通りのテキスト・データについての検索と同
様の手法による検索は困難である。音声の自動認識が実
現された場合には、文字列をキーとした音声の検索も可
能となるが、現実の音声認識技術では不可能である。一
方、映像を言葉により検索する場合は、映像と言葉との
間の対応をとる技術が必要であり、また、スケッチその
他の描画により映像を検索するには、あいまいな図形と
映像との間のマッチングをとる技術が不可欠である。現
在、これらは何れも実現困難である。

【０００３】映像の情報検索については、従来、以下の
如き手法が採用されてきた。 １、シーケンシャル・サーチ 連続情報である音声と映像とを同時に連続的に再生して
必要な映像を探し出す方法である。 ２、タイム・コードとの間の対応を利用 先ず、最初に音声、映像の情報を始めから再生し、その
際タイム・コードを対応づけする。その後、タイム・コ
ードを手掛かりとして必要な映像を取り出す方法であ
る。

【０００４】３、画像ＩＮＤＥＸ 連続的なデータである動画像から、例えばカメラ位置の
変化点（シーンの切り替わり）、動画中に含まれる特定
の物体の変化に着目して動画をいくつかの区間に分割し
た上で、その各区間における最も変化の少ない部分、最
も変化の大きい部分、或はその区間の最初の映像をその
区間の代表映像としてインデックスとし、これを手がか
りとして必要な映像を取り出す方法である。

【０００５】

【発明が解決しようとする課題】上述の手法には、次の
如き問題がある。 １’シーケンシャル・サーチ 基本的に原データをそのまま再生することによる検索方
式でってインデックス付け或は記号化を行わないので、
大容量の情報検索においては時間がかかる。

【０００６】２’タイム・コードとの間の対応を利用 本来、タイム・コードは音声、映像情報とは直接関係の
ない記号であるにもかかわらず、利用者は常に無意味な
記号であるタイム・コードとそれに対応する映像との間
の関係を意識しなくてはならない。 ３’画像ＩＮＤＥＸ 映像の種類によってはシーンの切り替わりが少ないも
の、或は動きの変化が少ないものがあり、変化点をみつ
けにくいものがある。そのために、不必要に細かくイン
デックスがつけられたり、逆に粗すぎるインデックス付
けとなる問題がある。

【０００７】この発明は、従来の映像検索方法および装
置の上述の通りの問題を解消するものである。

【０００８】

【課題を解決するための手段】映像と音声とを有するデ
ータ・ベースについて映像信号データおよび音響信号デ
ータを予め計算機内に蓄積し、蓄積された音響信号デー
タについて音響の存在する区間を抽出し、抽出された音
響区間を模式的にディスプレイし、ディスプレイされる
音響区間の内の特定の音響区間を指定し、指定した音響
区間に対応する映像を抽出し、抽出された映像と音声と
を同期出力する映像検索方法を構成し、そして、外部か
ら音声情報および映像情報を入力してこれらを音声デー
タ記憶部２および映像データ記憶部３に蓄積する音声映
像入力部１を具備し、音声と映像との間の対応関係を求
める音声・映像対応部４を具備し、音声情報を複数の音
声ブロックに区分する音声区間抽出部６を具備し、音声
ブロックをブロックとして管理するためのデータである
音声ブロック情報８を作成する音声ブロック情報生成部
７を具備し、音声ブロック情報８の有する情報に基づい
て各音声ブロックを模式化してディスプレイする音声ブ
ロック表示部９を具備し、利用者が音声ブロックを選択
指定する音声ブロック指定部１０を具備し、音声ブロッ
ク指定部１０により指定された音声情報と映像情報とを
対応づける対応映像検索部１１を具備し、対応映像検索
部１１において対応づけられた音声情報と映像情報とを
音声データ記憶部２および映像データ記憶部３から取り
出して両者を同期出力する映像・音声出力部１２を具備
する映像検索装置、をも構成した。

【０００９】

【実施例】映像と音声を併せ持ったデータベースにおい
て、音声を鍵として映像検索を行う。音声は映像同様連
続情報として蓄積されているが、映像のように常に情報
が存在するのではなく、必ず無音の区間が存在するので
複数の部分に区分することが可能である。特に、会話な
どの対話音声などは、各話者の発言の切り替わりが存在
するので、これが意味上の区分とも一致する。この発明
は、この区分された音声の単位をひとつのインデックス
と考え、音声情報と映像情報を対応づけることにより、
区分化が難しい映像情報を検索することを可能とするも
のである。

【００１０】この発明の実施例を、図１を参照して説明
する。この発明は、音声・映像情報を入力することおよ
びこれら両者の対応づけを実施する過程と、映像検索を
実施する過程とに大別される。図１は、この発明におけ
る音声・映像情報の入力、音声区間の抽出、および音声
と映像との間の対応づけの例を示すフロー図である。図
１において、音声映像入力部１は外部から音声情報およ
び映像情報を入力して、これらをそれぞれ音声データ記
憶部２或は映像データ記憶部３に蓄積する。入力する音
声情報と映像情報とは、マイクロホンおよびカメラとい
う互いに独立した２個の入力装置を介して取り込みを実
施するのが一般的であるが、音声情報と映像情報とが一
緒に記憶されているビデオ・テープレコーダのような外
部記憶媒体から取り込むことも可能である。

【００１１】音声情報は、コンピュータにより処理する
ことができる様にするために、ディジタル情報に変換し
て音声データ記憶部２に取り込む。ディジタル化する場
合のサンプリング周波数は、音声品質を考慮すると８kH
z 以上が望ましい。以下の説明においては、音声サンプ
リング周波数１２kHz とした場合について述べる。一
方、映像情報は入力した後でコンピュータ処理を必要と
しないが、後から検索する必要があることから、ランダ
ムなアクセスが可能となるように時間情報に対応したイ
ンデックスを付与した上で映像データとして映像データ
記憶部３に取り入れる。その方法としては、ディジタル
化してコンピュータ内に取り込み、アドレスをインデッ
クスとして蓄積する方法、或はビデオ・テープレコーダ
にタイム・コードと共に蓄積しておく方法、その他の方
法がある。

【００１２】音声情報および映像情報の入力を考えると
き、音声情報は１２kHz サンプリングの場合で８.３マ
イクロ秒毎に１サンプルである一方、映像は通常１秒間
に３０画面で構成されている。取り込まれた音声と映像
とは独立して蓄積されているので、音声情報を鍵として
映像を検索するには、両者の対応づけをする必要があ
る。対応をとるには、例えば対応を計算式として蓄えて
おく方法、対応テーブルを作成する方法がある。以下に
おいては、対応テーブルを有する場合について説明す
る。

【００１３】音声・映像対応部４は、音声と映像との間
の対応関係を表す音声・映像対応テーブル５を作成す
る。ここで、音声データ記憶部２および映像データ記憶
部３に記憶されるデータが共に時刻をインデックスとし
てアクセス可能なものであるならば、音声・映像対応テ
ーブル５は不用である。この実施例は、映像情報が１秒
間に３０フレーム（画面）で構成され、フレーム番号を
インデックスとしてアクセス可能とされている場合であ
って、音声情報は音声サンプル・データの番号（サンプ
ル番号）をインデックスとして蓄積されている場合を例
に説明する。この場合、映像情報の１フレームに対して
音声サンプル数は４００となる。図２は映像フレーム番
号と音声サンプル番号との間の対応を示す音声・映像対
応テーブル５の例を示す。この例は各映像フレーム番号
に対応する音声サンプル番号の始めの数値と終わりの数
値がテーブルとして格納されている例である。

【００１４】音声区間抽出部６においては、取り込んだ
音声情報の内から音声の存在しない区間を検出し、これ
に基づいて音声情報を複数の小区間に分ける。この様に
して生成された音声区間のそれぞれを以下においては
“音声ブロック”と称す。音声区間の抽出方法は種々提
案されている（例えば、L.Rabiner and M.Sambur“ AnA
lgorithm for Determining the Endpoints of Isolated
Utterances”文献：Bell System Technical Journal,
vol.54, Feb. 1975）。これらの抽出方法は、音声のパ
ワーを予め定めたいき値と比較して音声区間を見いだす
方法が一般的である。

【００１５】音声区間抽出部６により抽出された音声区
間抽出結果は音声ブロック情報生成部７に蓄積される。
音声ブロック情報生成部７は、音声データを区間抽出す
ることにより作成した音声ブロックをブロックとして管
理するためのデータを作成する。ここにおいては、１個
の音声ブロックを最初の音声サンプル番号と最後の音声
サンプル番号により表わし、各音声ブロックに音声ブロ
ック番号をつけ、音声ブロック番号と２個の音声サンプ
ル番号（音声ブロックの始点および終点）をデータとす
る音声ブロック情報８を作成する例を図３を参照して説
明する。

【００１６】ここにおいては、音声サンプル番号を使用
して音声ブロックを示す方法を採用したが、１個の音声
ブロックの開始時刻とその時間長、或は開始時刻と終了
時刻とを指定することも可能である。この場合、音声を
入力した時に一緒に時間情報を取入れ、時間を音声デー
タのインデックスとして使用すればよい。ここで、音声
・映像対応テーブル５は映像フレーム番号と音声サンプ
ル番号とをデータとして有しており、音声ブロック情報
８は音声ブロック番号と音声サンプル番号とを有してい
る。従って、音声・映像対応テーブル５および音声ブロ
ック情報８双方の共通データである音声サンプル番号に
より映像フレーム番号とブロック番号とを対応づけるこ
とができる。

【００１７】図４はこの発明による映像の検索の説明を
するためのフロー図である。図４において、音声ブロッ
ク表示部９は音声ブロック情報８の有する情報に基づい
て各音声ブロックを模式化し、これを“音声ブロック
図”として出力装置にディスプレイする。図５は模式化
された音声ブロックの表示例を示す図である。この例
は、連続情報である音声をイメージしやすいように、時
間軸を直線としてこの直線上に四角形の塊として音声ブ
ロックを表示している。画面上の表示面積には限りがあ
るが、スクロールすることにより大量の音声情報を表示
することも可能である。音声ブロックの表示は、時間の
流れを水平方向としたものを例示したが、これを垂直方
向としても差し支えはない。利用者がこの表示上の映像
検索のための鍵として画面上の音声ブロックを選択でき
さえすればよい。

【００１８】図６に示される表示例は、図５に示される
音声ブロックの各音声ブロックにその内容を示す分類名
を付与したものである。図５に示される音声ブロック
は、利用者が音声ブロックを指定する際にどの音声ブロ
ックを選択すればよいのか判然としないが、利用者が判
別し易いように音声の意味内容によって分類された分類
名を表示することも可能である。図６の表示を実施する
には、利用者或はデータ・ベース作成者が抽出された音
声ブロックに予めその内容を表す分類名を与えておく必
要がある。

【００１９】音声ブロック指定部１０は利用者のブロッ
ク選択を処理する。利用者は、音声ブロックが表示され
た音声ブロック表示部９の画面上において、マウス或は
キーボードその他の入力装置を使用して希望の音声ブロ
ックをカーソルのポイント・アウトその他の手法により
指定する。結果は音声ブロック番号として得られ、この
番号は次いで対応映像検索部１１に渡される。

【００２０】対応映像検索部１１は、音声ブロック指定
部１０により得られた音声ブロック番号に基づいて音声
ブロック情報８における音声サンプル番号をひきだし、
更に音声サンプル番号に基づいて音声・映像対応テーブ
ル５を参照し、該当する音声ブロックに対応する映像フ
レーム番号を得る。この結果、音声ブロック番号と映像
フレーム番号の対応づけが図られる。後で説明されるこ
とであるが、対応づけを行う際、必ずしも音声ブロック
のはじめの音声サンプル番号は映像フレームのはじめに
対応する音声サンプル番号であるとは限らない。同様
に、音声ブロックの終わりの音声サンプル番号は必ずし
も、映像フレームの終わりに対応する音声サンプル番号
であるとは限らない。この場合は、音声ブロックの最初
と最後のサンプル番号を含む複数の映像フレームを対応
させることとする。

【００２１】音声サンプル番号と映像フレームとの間の
対応をとる例を図７に示す。図７に示される例において
は、音声ブロック番号３に対応して音声ブロックは１０
２５番のサンプルから始まり、３７５０番のサンプルに
おいて終止している。音声ブロックの始点である１０２
５番は、音声・映像対応テーブルを参照すると、映像フ
レーム番号３に対応する音声サンプル番号の始点である
８００番と終点である１１９９番との間の中間に対応す
るものである。この場合、映像フレームとして３を選択
し、音声ブロックの開始位置に対応する映像フレームの
開始番号は３とする。一方、音声ブロックの終了位置３
７５０番のサンプルは映像フレーム番号９に対応する音
声サンプル番号の始点である３６００番と終点である３
９９９番との間の中間に対応している。この場合、映像
フレームとして９を選択し、音声ブロックの終了位置に
対応する映像フレームの終了番号は９とする。従って最
終的に検索される映像フレームは３から９までとなり、
これらの映像に合わせて出力される音声は８００番のサ
ンプルから３９９９番までのサンプルとなる。以上の様
に、最終的に出力する際には音声の欠落が生じない手法
により対応を求めることが望ましい。

【００２２】映像・音声出力部１２は、対応映像検索部
１１において対応づけられた映像フレーム番号および音
声ブロック番号に基づいて、対象となる音声情報と映像
情報とを音声データ記憶部２および映像データ記憶部３
からとりだして両者を同時に出力する。映像情報につい
ては、映像フレーム番号に対応する映像情報をディスプ
レイに再生する。これと同時に、対応する音声ブロック
の音声情報をスピーカーに出力する。音声情報はコンピ
ュータ内にディジタル化されて蓄積されているので、再
生の際は再びアナログ変換する必要がある。

【００２３】音声ブロックと映像フレームを対応させた
際に、図７に示される如く音声ブロックの最初のサンプ
ル番号とそのサンプル番号を含んだ映像フレームのはじ
めのサンプル番号とが異なる場合、映像再生と同時に音
声再生を行うと、最大３３ｍsec 分の指定ブロック外の
音声まで再生することとなる。しかし、この３３ｍsec
という時間は音声上は極く微小さなものであるので、こ
れだけ余分に音声再生をしても格別問題とはならない。
音声ブロックの最後のサンプル番号とそのサンプル番号
を含んだ映像フレームの終わりにサンプル番号が異なる
場合も同様である。

【００２４】

【発明の効果】以上の通りであって、この発明の映像検
索方法および装置は音声ブロックを検索の鍵として映像
検索をすることができる。これにより連続的な情報であ
る映像情報を効率的に検索・アクセスすることができる
に到った。

【図面の簡単な説明】

【図１】この発明における音声・映像情報の入力、音声
区間の抽出、および音声と映像との間の対応づけの例を
示すフロー図。

【図２】映像フレーム番号と音声サンプル番号との間の
対応を示す音声・映像対応テーブルを示す図。

【図３】音声ブロック情報を示す図。

【図４】この発明による映像の検索の説明をするための
フロー図。

【図５】模式化された音声ブロックの表示例を示す図。

【図６】図５に示される音声ブロックの各音声ブロック
にその内容を示す分類名を付与したものを示す図。

【図７】音声サンプル番号と映像フレームとの間の対応
をとる例を示す図。

【符号の説明】

１ 音声映像入力部 ２ 音声データ記憶部 ３ 映像データ記憶部 ４ 音声・映像対応部 ６ 音声区間抽出部 ７ 音声ブロック情報生成部 ８ 音声ブロック情報 ９ 音声ブロック表示部 １０ 音声ブロック指定部 １１ 対応映像検索部 １２ 映像・音声出力部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 映像と音声とを有するデータ・ベースに
   ついて映像信号データおよび音響信号データを予め計算
   機内に蓄積し、蓄積された音響信号データについて音響
   の存在する区間を抽出し、抽出された音響区間を模式的
   にディスプレイし、ディスプレイされる音響区間の内の
   特定の音響区間を指定し、指定した音響区間に対応する
   映像を抽出し、抽出された映像と音声とを同期出力する
   ことを特徴とする映像検索方法。
2. 【請求項２】 外部から音声情報および映像情報を入力
   してこれらを音声データ記憶部および映像データ記憶部
   に蓄積する音声映像入力部を具備し、音声と映像との間
   の対応関係を求める音声・映像対応部を具備し、音声情
   報を複数の音声ブロックに区分する音声区間抽出部を具
   備し、音声ブロックをブロックとして管理するためのデ
   ータである音声ブロック情報を作成する音声ブロック情
   報生成部７を具備し、音声ブロック情報８の有する情報
   に基づいて各音声ブロックを模式化してディスプレイす
   る音声ブロック表示部を具備し、利用者が音声ブロック
   を選択指定する音声ブロック指定部を具備し、音声ブロ
   ック指定部により指定された音声情報と映像情報とを対
   応づける対応映像検索部を具備し、対応映像検索部にお
   いて対応づけられた音声情報と映像情報とを音声データ
   記憶部および映像データ記憶部から取り出して両者を同
   期出力する映像・音声出力部を具備することを特徴とす
   る映像検索装置。