JPH03291752A - データ検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明（よ　光ディスク等を記憶媒体として使用する対
話型システムなどのデータ検索や、その記録媒体に記録
するデータを作成するオーサリング装置等に用いて有用
なデータ検索装置に関する。

従来の技術 近鍛　光ディスクなどの大容量の記憶媒体が実用化され
始めてきた　この大容量性を利用して、静止画デー久　
音声データや動画データなどのマルチメディアデータを
有機的に組み合わせた教育システムやタウン情報案内な
どの対話型システムが普及しつつある。

こういった対話型システムで４表　ユーザが欲しい情報
を取り出すための情報検索機構として、キーワード検索
やハイパーメディア技術をベースにした方式が用いられ
ている。キーワード検索をベースにした方式で（よ　ユ
ーザは取り出したい情報を検索キーワードで入力し　こ
の検索キーワードが付与されている画像が表示される。

また　ハイパーメディア技術をベースにした方式で（よ
　現在表示されている画面上で更に詳細な情報や関連情
報を知りたい言葉や絵柄を、マウスなどの直接指示テハ
イスにより指示する。この直接指示テバイスの指示に対
して、画面内のそれぞれの座標位置に予め関係付けして
おいた画像や動画データが表示される。また　画像や動
画データの表示の際に（云　これを説明するナレーショ
ンデータとして、これらのデータに従属された音声デー
タが同時に再生される。

これらの方式で（よ　ある検索キーワードが指定された
場合にはどの画像やどの動画データを、ある画面上のあ
る位置が指示された場合にはどの画像を表示させべ　と
いったリンク情報力文　データを作成するオーサリング
作業時にデータと一緒に記憶媒体上に記録されている。

また　同時に再生されるナレーションデータ（友　表示
されるデータとともに幾つかのセクタと呼ばれる単位に
分割さ扛　インターリーブと呼ばれる方式でセクタ毎に
交互に記録される場合が多し）。

発明が解決しようとする課題 従来のこういったキーワード検索やハイパーテキスト技
術をベースにした対話型システムでζよ動画データを表
示させる様な場合には　動画データの開始位置にだけリ
ンク情報を設定して、動画データの最初から順に再生さ
せる方法が採られていｋ　このたヘ　ユーザは動画デー
タ内で必要とする場面が表示されるまでを画面を眺めて
待つ必要があっへ この解決方法としては　動画データの先頭だけではな（
、動画データ内部の必要なフレーム（動画データの表示
単位）に　個々にリンク情報を設定し　ユーザから指示
された場合にはこのリンク情報により、直接に必要なフ
レームから動画データを再生させる方法も採られている
。しかし　この方法の問題点として、フレームごとに逐
一リンク情報を設定する必要があるた数　データを作成
するオープリング時に莫大な手間が掛かるという点かあ
っ九　一般的なテレビ動画データでも１秒間に３０フレ
一ム分のデータ量があるこ七を考えれｃ瓜　　長時間の
動画データを大量に扱うような場合に（友　全てのフレ
ームにリンク情報を設定することなどは実用上は無理で
ある。この結果、直接必要なフレームを表示できるの４
表　結局はオープリング時にリンク情報の設定された幾
つかのフレームに制限され　それ以外の部分については
直接に必要なフレームを表示することができなかった本
発明はかかる点に鑑へ　動画データの任意フレームに対
する検索が実現可能なデータ検索装置を提供することを
目的とする。

課題を解決するための手段 上記問題点を解決するために　本発明で（淑　データと
このデータに従属する音声データが記録された記憶媒体
と、ユーザが指定する検索キーワードを受は付けるキー
ワード入力部と、記憶媒体内の音声データの中から、こ
の検索キーワードを発音する音節部分を探索する音声認
識部と、音声認識部により探索された音節部分を従属さ
せているデータを表示する表示部を有する構成となって
いる。

また別の構成上して（よ　更にキーワード群と音声デー
タ内でこれらのキーワードをそれぞれ発音するサンプル
音節部分の位置情報との対応関係を有するインデックス
テーブルを記録しておき、音声認識部がこのインデック
ステーブルから入力された検索キーワードに対応するサ
ンプル音節部分を読出し　このサンプル音節部分と音声
データを比較することにより、音声データ内がら入力さ
れた検索キーワードを発音する音節部分を探索する構成
としている。

作　　　用 上記の構成により、本発明で（よ　入力部がらユーザ指
定された検索キーワードに対して、対象となる記憶媒体
内の音声データの中から、音声認識部によりこの検索キ
ーワードを発音する音節部分のデータ位置を探索し　探
索された音節部分を従属させている自然画や動画データ
を表示部により表示する。この方法により、特に動画デ
ータを検索する場合番へ　従来の方法では不可能であっ
たリンク情報が設定されていない動画データ内の任意フ
レームへの検索を実現することが可能となる。

また　オーザリング装置として見れ（Ｌ　こういったデ
ータ検索装置を利用することを前提とすれは従来フレー
ムごとに逐一検索キーワードと動画データ内の各フレー
ムに対応付けしていたリンク情報の設定作業を省くこと
ができ、オーサリング作業を非常に簡易化することがで
きる。

実施例 第１図（よ　本実施例の基本構成図である。第２図４１
　　第１図のデータ検索装置の動作を示すフローチャー
トである。

第１図の１ζよ　ユーザがキーボードや音声入力装置な
どから指定の検索キーワードを入力するキーワード入力
ｉ２はキーワード入力部１からの検索キーワードに対し
　動画データのフレーム検索を行う検索処理部である。

検索処理部２内の２１（表　検索キーワードを発声する
音節部分のデータであるサンプル音声パターンをインデ
ックステーブルから再生する音声パターン取出部である
。

３ζ友　探索範囲内の音声セクタ内に検索キーワードを
発声するような音節部分が有るか無いかを検出する音声
認識部である。ここでセクタζよ　記憶媒体に対する物
理的な記録再生の単位であり、動画セクタは動画データ
の一部　音声セクタはナレーション音声データの一部が
記録されたセクタである。また　検索処理部２内の２２
（瓜　音声認識部３により、検索キーワードを発声した
場合の音声パターンが検出された音声セクタに最近接す
る動画セクタを再生する検索結果続出部である。４Ｌｔ
、　　検索結果続出部２２により再生された動画セクタ
をデイスプレィ上に表示する表示部である。

５（よ　記憶媒体内の動画データやナレーション音声デ
ータを、ファイルやディレクトリと呼ばれる単位を使っ
て管理するデータ管理部である。データ管理部５ζよ　
通常のコンピュータシステムで（表ＭＳ−ＤＯ８（マイ
クロソフト社オペレーティングシステムの登録商標）や
ＵＮＩ　Ｘ　（ＡＴ＆Ｔ社オペレーティングシステムの
登録商標）といった９− オペレーティングシステムのファイルシステムと呼ばれ
る部分に相当する。検索処理部２でｃ友　　このデータ
管理部５により、動画データやナレーション音声データ
を、ファイル名やディレクトリ名で指定することにより
、その内部の音声セクタや動画セクタを再生することが
できる。　６（よ　動画データやナレーション音声デー
タなどが記録されている記憶媒体である。記憶媒体６内
のデータ（よデータ管理部５の管理できる形式で記録さ
れている。　６１はインデックステーブルの概略型６２
はデータ記録領域の概略図である。

第１図のデータ記録領域６２の様に、　　動画セクタと
音声セクタがインターリーブされて記録される例として
は　５インチ再生専用型光デイスクの標準規格であるＣ
Ｄ−ＲＯＭ−ＸＡ規格がある。

この規格で（よ　ＣＤ−ＲＯＭのファイル管理用の国際
標準化フォーマットであるｌ５Ｏ９６６０フオーマツト
をベースにしたファイル管理を行し＼ＡＤＰＣＭ　（適
応差分パルス符号化：　　Ａｄａｐｔｉｖｅ　ｃｌｉｆ
ｆｒｅｎｃｉａｌ　ｐｕｌｓｅ　ｃｏｄｅｄ　ｍｏｄｕ
ｌａｔｉｏｎ　）方式で記０− 録された音声セクタと、その他の動画データや自然画デ
ータのセクタを、データ記録領域６２の例に示すように
インターリーブして記録することができる。このインタ
ーリーブのフォーマットにより、自然画や動画データを
表示すると共に　そのデータにインターリーブされた音
声データをナレーションとして、同期再生することがで
きる方式本実施例では記憶媒体として、ＸＡフォーマッ
トの光ディスクを使用する場合を例に挙（ず、第１図の
動作例を第２図のフローチャートを使って説明する。な
抵　第１図内の各矢印に添記したステップ１〜ステツプ
６（よ　第２図のフローチャート内に示したステップ番
号に対応している。

ま咀　検索処理が開始されると、ユーザは検索したい項
目について、検索キーワードをキーワード人力部１に対
して入力する（ステップ１）。第１図の例で（よ　仮に
検索キーワード人力部阪′″が入力される例を示してい
る。この場合の検索キーワードは通常キーボードから入
力されるカミ　音声入１ 力装置などによりユーザに音声で入力させることも可能
である。また　画面上に幾つかの検索キワード候補を提
示し　それをマウスやタッチパネルなどの直接指示デバ
イスで選択させる方法も可能である。

次（二　検索処理部２で（よ　キーワード入力部１から
入力された検索キーワード人力部阪′″に対して、イン
デックステーブル６１の位置情報を参照して、ＸＡ規格
の音声フォーマットであるＡ、　Ｄ　Ｐ　ＣＭ方式のパ
犬阪゛′のサンプル音声パターンを記憶媒体から取り出
し　音声認識部３に渡す（ステップ２）。第１図では　
仮に″″犬阪″′のサンプル音声パターンを’０１０１
１０”で示１−。インデックステーブル６１（よ　記憶
媒体６内の特定セクタに記録しておく方法や、ファイル
名として°’ｌｌ＊、ＩＤ　Ｘ　”などの特別に規定し
た名称を付けておく方法などにより、音声パターン取出
部２１により識別できる。インデックステーブル６１に
（戴　ザンプル音声データの位置と長さを持てば良いが
、　その他の付加情報を入れておくことも可能である。

２− 付加情報としては例え（渋　男性か女性かいずれの発声
パターンかの識別情報　前後の隣接する音素情報　など
が考えられる。第１図で（よ　サンプル音声パターン（
瓜　別ファイル内にある場合の例を示したが、検索対象
となっているファイル内にある場合も可能である。

音声認識部３で（戴　検索対象として指定された範囲内
の音声セクタを順次読出し　検索キーワードを発声した
場合の音声パターンが音声セクタ内に有るか無い力＼　
をサンプル音声パターンを元に判定する（ステップ３お
よび４）。第１図では図の簡単化のために省略しである
カミ　実際はサンプル音声パターンと音声セクタのデー
タ共に　周波数スペクトル分析のためのフィルタ処理な
どの音響分析力丈　音声認識のための前処理として行わ
れる。その４Ｌ　　周波数スペクトル分析されたデータ
の類似度が判定され　しきい値以下のものが同一の音声
パターンと判定されるのである。

この昧　探索する音声パターンがあった場合はその音声
セクタに最近接する動画セクタの番号を３− 検索続出部２２に返し　検索結果リストに保存する（ス
テップ５）。

次に　検索処理部２で（友　検索対象範囲の音声セクタ
が全て終了したかどうかを判定する。未処理の音声セク
タがあった場合は　ステップ３〜ステツプ５の処理が繰
り返される。この音声認識部３の処理は　検索対象範囲
内の音声セクタが終了するまで繰り返される。その途中
での検索結果である動画セクタ番号（戴　検索処理部２
内の結果リストに保存される。検索対象範囲（よ　ディ
レクト９名やファイル名により指定でき、次の音声セク
タの取出し指示に対してデータ管理部５により、エラー
が返されることにより判断できる。この場合のディレク
トリ塩やファイル名（よ　検索処理を開始時に特に指定
することも可能であるし　検索処理を開始する前段階で
の処理対象としていたディレクトリ　（カレントディレ
クトリ）をデフォルトとすることも可能である。

最後に　指定範囲の音声セクタの認識処理が終了すると
、検索結果続出部２では検索結果リスト４ に従って順次動画セクタを読出し　表示部４に動画セク
タを送って動画データを表示する（ステップ６）。

この隊　音声認識部３での検索ギーワードの有無を判定
する音声認識の処理（主　サンプル音声パターンを参照
せずに行う事も可能である。この場合（よ　ステップ２
〜３の処理を省いた構成となる。

音声認識の技術について（よ　原理的に大きく分類する
と２種の方式がある。　　１つ（主　代表的な各単語・
の標準パターンを予め幾つか用意しておき、入力された
発声について類似性を調べ　類似性に基づいて認識判定
を行う比較方式である。　２つめの方式（よ　標準パタ
ーンを使わない分析方式である。例えζよ　音響分析に
より分析された有声音か無声音力＼　破裂音か摩擦音力
＼　といった情報を元に音声学的な階層構造に照らし合
わせて音素記号の二者択一的に判定を繰り返して、最終
的に言語としての認識判定を行う方式である（参考文献
：「音声情報処理の基礎」、斉藤・中田著、オーム社刊
）。

５− 従って、この分析方式を使って、音声セクタの認識処理
を行えば　サンプル音声パターンを参照せずに　音声認
識部３を実現することも可能である。

音声認識部としてどの方式を用いるかについて（戴　状
況により異なる。比較的検索キーワードの少ない用途や
特定話者を対象とする用途で（よ　標準パターンを用意
し易い比較方式が速度的にも有利である。しかし　逆に
検索キーワードが多種多量に考えられる用途や不特定話
者を対象とする用途の場合（よ　比較方式では標準パタ
ーンを用意しておくのに大きな記憶容量が必要となる等
の欠点があり、比較方式に比べて、分析方式の方が有利
となる。

本実施例で記憶媒体６として例にあげたＸＡ規格などの
様な対話型システムのナレーション音声データは　一般
的に特定話者により作成されている場合が多い。このた
嵌　標準パターンであるサンプル音声パターンを参照す
る比較方式が有利であり、音声認識の処理を高速化でき
ると考えられ６− る。特に本実施例で（友　考えられる検索キーワードの
サンプル音声パターン全部を標準パターンとして音声認
識部３に持つのではなく、インデックステーブル６１に
より、随時サンプル音声パターンを読出ず方法をとる。

このたべ　音声認識部３にサンプル音声パターン用の大
量の記憶容量を必要としない。更に　記憶媒体毎の特定
話者のサンプル音声パターンを読出すことができるため
、サンプル音声パターンを最適化でき、音声認識の精度
を向上できるメリットがある。

以上の説明で（よ　ステップ４の音声パターンの有無を
判定する探索処理で（よ　検索キーワードを発声する音
声パターンと一致するかどうかを判定する方法を示した
　この方法の他に　音声パターンの有無を判定する場合
にも、完全に一致するかどうかではなく、′″おおさか
″や゛おうさか′の様に一部の発声が異なる場合や、′
″お＊さか″のように＊′″の部分が何であっても許す
ような場合についても検索させる方法も考えられる。こ
れは　一般的に曖昧検索と呼ばれているもので、キ７ 一ワードが一意に判らない場合などに有効な方法である
。

な壮　本実施例の説明で（友　検索対象範囲内の全ての
音声セクタを判定してから、動画データを再生する方法
を示しため交　その都度表示させる方法も可能である。

例えば　検索キーワードに一致する音声パターンが見つ
かると、その都度動画セクタを表示する。検索処理部２
で（よ　この表示に対する次の処理をユーザに選択させ
、この指示により次の音声セクタへの認識処理を継続す
る力＼中止して別の処理を行う力＼　などを対話的に制
御することができる。

まｔヘ　　本実施例ではセクタ単位に検索結果を検索結
果リストに保持する方法を示した力丈　動画データのフ
レームごとの切れ目がセクタと必ずしも一致しない場合
は　バイト単位で検索結果を保持することも可能である
。更に　本実施例では音声データと動画データのインタ
ーリーブの例を示した力丈　もちろん動画データの代わ
りに静止画データを使うこともできる。

８ この４Ｌ　　以上の実施例で（主　検索キーワードとし
て″大阪″等の言葉を指定する例を示した力丈例えば自
然音や効果音を検索キーワードやサンプル音声パターン
として使用する方法もできる。例えは　鐘の鳴る音や拍
手の音を、検索キーワードとして直接入力する方法や、
インデックステーブルで″鐘゛″や′″拍手″といった
キーワードに対して実際の効果音の位置情報をサンプル
音声パターンとして記録しておく方法である。この方法
により、鐘が鳴っている場面や拍手が起こっている場面
の検索が可能となる。

最後に　本実施例で（よ　データ検索装置としての動作
を説明してきたが、記憶媒体６に記録するデータを作成
するオーサリング装置側に対しても、本実施例の方法は
効果がある。従来で耘　動画のフレーム単位の検索を行
おうとすると第１図に示すような検索キーワードと検索
結果リストのテーブルを、記憶媒体内の全キーワードと
全ファイルについて持っておけば可能ではあっな　しか
しこの方法でｃ′！−、テーブル量が膨大になる欠点の
他９− オーサリング作業時に検索キーワード毎に逐一検索結果
リストを作成する作業などが必要で、事実上不可能に近
（Ｘｏ　　ところが本発明の方法で（よ　検索キーワー
ド毎に最低１つサンプル音声パターンを示したインデッ
クステーブルを作成するだけでよい。また　音声認識部
としてサンプル音声パターンを使用しない分析方式を用
いれは　このインデックステーブルさえも作成する必要
がない。このように　本実施例のデータ検索装置で検索
することを前提に　こういった対話型システムのデータ
を作成すれば　オーサリング作業の手間を著しく簡略化
できる。

発明の効果 本発明により、光ディスクなどで動画データを扱うよう
な対話型システム東　そのデータを作成するオーサリン
グ装置において、動画データの任意フレームに対する検
索が実現可能となり、適用分野の拡大が図れる。更に　
オーサリングの作業を簡素化できることにより、制作期
間の短期化やコストメリットが図れる。

一旬一

【図面の簡単な説明】

第１図は本発明の一実施例におけるデータ検索装置の構
成を示すブロック久　第２図は同実施例の動作を示すフ
ローチャートである。 １・・・キーワード人力餓　２・・・検索処理皿３・・
・音声認識部　４・・・表示皿

Claims (6)

【特許請求の範囲】
1. （１）データとこのデータに従属する音声データが記録
   された記憶媒体と、検索キーワードの入力部と、前記音
   声データ内の前記検索キーワードを発音する音節部分を
   探索する音声認識部と、前記音節部分を従属させている
   データを表示する表示部を有するデータ検索装置。
2. （２）データとこのデータに従属する音声データが記録
   された記憶媒体と、検索キーワードの入力部と、前記音
   声データ内の前記検索キーワードを発音する音節部分を
   探索する音声認識部と、前記音節部分を従属させている
   データを表示する表示部と、キーワード群と前記音声デ
   ータ内でこれらのキーワードをそれぞれ発音するサンプ
   ル音節部分の位置情報との対応関係を有するインデック
   ステーブルを有し、前記音声認識部が前記インデックス
   テーブルから前記入力部へ入力された検索キーワードに
   対応するサンプル音節部分を読出し、このサンプル音節
   部分と前記音声データを比較することにより前記音声デ
   ータ内の前記検索キーワードを発音する音節部分を探索
   することを特徴とするデータ検索装置。
3. （３）データに従属する音声データが、前記データを説
   明するナレーションデータであることを特徴とする請求
   項１または２記載のデータ検索装置。
4. （４）検索キーワードが、音声データとして入力される
   ことを特徴とする請求項１項記載のデータ検索装置。
5. （５）音声認識部が、入力された検索キーワードと少な
   くとも一部が異なる発音をする音声データ内の音節部分
   を探索する部分一致検索を行う機構を有することを特徴
   とする請求項１または２記載のデータ検索装置。
6. （６）データが動画データであり、前記動画データと音
   声データがそれぞれ複数の動画セクタと音声セクタに分
   割されて記録され、表示部が探索された音節部分を含む
   音声セクタに最隣接する動画セクタから再生表示するこ
   とを特徴とする請求項１または２記載のデータ検索装置
   。