JPH0233200A - データベース検索方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明はデーターベースを検索する検索方式に間し、
特に各データにデータの内容を簡単に表す音声の見出し
が１寸いたデータベースの検索方式％式％ ［従来の技術］ 第７図は、従来のこの種の検索方式を採用したデータベ
ース検索装置の構成を示すブロック図である、この第７
図において、１は音声入力用マイクロフォン、２はマイ
クロフォン１からの音声信号をデジタル信号に変換する
アナログ／デジタル変換部、３及び８は見出しの登録と
キーワードの入力を切り替えるスイッチ、６は見出しを
蓄積する見出しファイル、７はアナログ／デジタル変換
部２からのデジタル信号に基づいて音響を分析する音響
分析部、１３は見出しを音響分析した結果の特徴データ
を蓄積する見出し分析ファイル、１８は入力したキーワ
ードを音響分析した結果の特徴データを蓄積するキーワ
ード分析ファイル、２０は見出し分析ファイル１３に含
まれている特徴データ上でキーワード分析ファイル１８
の特徴データをマツチングさせるキーワードスボッティ
〉′グ部、２１はそのマツチング結果を蓄積する認識結
果ファイル、２２は認識結果ファイル２１を見て見出し
ファイル６から検索した見出しを引き出す見出し引出部
、２４は見出し引出部２２からのデジタル信号をアナロ
グ信号に変換するデジタル／アナログ変換部、２５は検
索した見出しを出力するスピーカ、２６は音声や画像等
様々な形態のデータを含み見出しに対して本文に相当す
るデータを含んだ本データファイル、２７はその本デー
タを引き出す本データ引出部、２８はスピーカやグラフ
ィックデイスプレィ等に対する音声や画像等の様々な形
態の本データに対応して信号を出力できるいくつかの出
力装置を含んだ各種出力装置部である。

第５図は、第７図のキーワード分析ファイル１８に蓄積
されている特徴データのイメージを描いたもので、例え
ば「データショー」というキーワードに対して音響分析
部７が分析方法として例えば音声のスペクトル包絡の時
間変化を用いている場合について示したものである。実
際に１つのデー・夕がとるデータ構造は、第５図で一定
間隔をおいて周波数方向にｎ個、時間方向にｍ個のデー
タがサンプリングされ、第６図に示すようにｍＸｎのデ
ータマトリクスとなる。見出し分析ファイル１３も第６
図と同じで、第８図のような構成をとるがキーワード分
析ファイル１８の対象が単語であるのに対して見出し分
析ファイル１３は文章を対象とするため時間方向の１が
ｍに比べて非常に大きくなる。またキーワード分析ファ
イル１８が検索する対象であるキーワードでデータの個
数が１個または多くても数個に限られているのに対して
、見出し分析ファイル１３は検索される対象であり、デ
ータの個数は非常に多い。

次に動作について説明する。

スイッチ３．８は、見出しを登録する時はａ側に、検索
する時はｂ側に切り替えられるものとする。まず見出し
を登録する時は、マイクロフォン１を使って連続音声と
して入力された音声はアナログ／デジタル変換部２でア
ナログ信号がデジタル信号に変換され、ａ側になってい
るスイッチ３を通して見出しファイル６に蓄積される。

また同時に音響分析部７で分析され、ここで抽出された
特徴データは、ａ側になっているスイッチ８を通して見
出し分析ファイル１３に蓄積される。

また見出しを検索する時は、マイクロフォン′１を使っ
て入力されたキーワードの音声はアナログ／デジタル変
換部２で変換され、ｂ側になっているスイッチ３では、
それより先に流れず、音響分析部７で分析されて、ここ
で抽出された特徴データがｂ側になっているスイッチ８
を通してキーワード分析ファイル１８に出力される０次
にキーワードスポツティング部２０は、見出し分析ファ
イル１３に含まれている特徴データ上でキーワード分析
ファイル１８の特徴データをマツチングさせる。すなわ
ち第６図のようなデータを第８図のデータ上で時間方向
に伸縮性をもたせながら、ずらしていき距離的に近い場
所があれば、そこにキーワードがあるとして認識結果フ
ァイル２１に出力する。さらに見出し引出部２２で認識
結果ファイル２１を見て、見出しファイル６から対応す
る見出しを引き出し、デジタル／アナログ変換部２４で
デジタル信号をアナログ信号に変換して、スピーカ２５
から出力する。またその後本データ引出部２７でも、認
識結果ファイル２１の認識結果を見て２６の本データフ
ァイル２６から見出しに対する音声や画像等に本データ
を引き出し、各種出力装置部２８へ送り、データの形態
に合った装置で出力する。

［発明が解決しようとする課題］ 従来の音声の見出しを使ったデータベース検索方式は以
上のように構成されているので、見出しがアナログ信号
から変換されたデジタル信号のままで蓄積し、また特徴
データをすべて蓄積するため、多くの記憶領域を必要と
し、さらに見出しとキーワードとを分析した特徴データ
同志をマツチングさせるため、演算量が多くなる等の問
題点があった。

この発明は上５記のような問題点を解消するためになさ
れたもので、蓄積される音声の見出し及び特徴データに
必要な記憶領域を少なくでき、かつキーワードの検索の
ために使われる見出しの特徴データとキーワードの特徴
データとのマツチングの演算量を少なくできるデータベ
ース検索方式を提供することを目的とする。

［課題を解決するための手段］ この発明に係るデータベース検索方式は、入力された音
声の見出しを音響分析部７で分析して得られた見出しの
特徴を示す特徴データを音韻認識部９に与え、その特徴
データに基づいて見出しの音声に含まれている音韻ラテ
ィスを認識し、単語区間検出部１０で見出しから単語ら
しい区間を検出し、その単語区間の音韻ラテ仁スを単語
区間音韻ラティスファイル１１に保持し、見出し全体は
圧縮符号化部４で圧縮符号化して見出し圧縮ファイル５
に保持し、データベースの検索では、先ずキーワード仮
説部１６において音韻シンボルで入力されたキーワード
と上記単語区間音韻ラティスファイル１１に保持された
単語区間の音韻ラティスとを比較してキーワードの存在
の候補をたて。

次にキーワード検定部１９でこの候ｔｔｌｉにｋ・１し
て音声で入力されたキーワードの分析結果と単語らしい
区切りに分けられた特徴データとを比較してキーワード
の存在を検定し、見出し複号ｆヒ部２３でそのキーワー
ドに対応する上記見出し圧縮ファイル５からの音声の見
出しを複号して出力すると共に、本データ引出部２７で
付随する音声、画は、文字列等の様々な形態のデータを
取り出して出力することを特徴とするものである。

［作用］ この発明のデータベース検索方式において、入力された
音声の見出しは音響分析部７により分析され、特徴デー
タを得る。音韻認識部９は、その特徴データに基づいて
音韻ラティスを認識する。

単語区間検出部１０は見出しから単語らしい区間を検出
し、その単語区間の音韻ラティスを単語区間音韻ラティ
スファイル１１に保持する。圧縮符号化部４は見出し全
体を圧縮符号化し、見出し圧縮ファイル５に保持する。

このような処理が行われ、データベースの検索を開始す
ると、キーワード仮説部１６では音韻シンボルで入力さ
れたキーワードと単語区間音韻ラティスファイル１１に
保持された単語区間の音韻ラティスとを比較してキーワ
ードの存在の候補をたてる９次にキーワード検定部１９
では、その候補に対して音声で入力されたキーワードの
分析結果と単語らしい区切りに分けられた特徴データと
を比較してキーワードの存在を検定する。その後、見出
し複号化部２３ではそのキーワードに対応する見出し圧
縮ファイル５からの音声の見出しを複号して出力し、本
データ引出部２７では付随する音声、画像、文字列等の
様々な形態のデータを取り出し、出力する。

［発明の実施例］ 第１図はこの発明の一実施例に係るデータベース検索方
式を採用したデータベース検索装置の構成を示すブロッ
ク図である。第１図において、１は音声入力用マイクロ
フォン、２はアナログ／デジタル変換部、３及び８は見
出しの登録とキーワ−４の入力を切り替えるスイッチ、
４は見出しの音声データを圧縮して符号化する圧縮符号
（ヒ部、５は圧縮符号化部４で圧縮符号化された見出し
を蓄積する見出し圧縮ファイル、７は音響分析部、９は
入力された見出しの音声データに含まれている音韻を認
識する音韻認識部、１０は同じく見出しの音声データか
ら単語らしい区間を検出する単語区間検出部、１１は音
韻認識部９の音韻認識の結果を単語区間検出部１０で検
出された単語区間の検出部分に分けて蓄積する単語区間
音韻ラティスファイル、１２は音響分析部７の音響分析
の結果を単語区間検出部１０で検出された単語区間の検
出部分に分けて蓄積する単語区間分析ファイル。

１４はキーワードを音韻シンボルで入力するキーボード
、１５は入力された音韻シンボルを格納するキーワード
シンボルファイル、１６はキーワードの音韻シンボルを
単語区間音韻ラティスファイルｌｌ上でマツチングさせ
キーワードの存在する位置の候補を見つけるキーワード
仮説部、１７はキーワード仮説部１６の結果を出力する
仮説結果ファイル、１８は音声で入力したキーワードを
分析した結果の特徴データを蓄積するキーワード分析フ
ァイル、１９は仮説結果ファイル１７の仮説結果につい
て特徴データのレベルでキーワードの存在を検定するキ
ーワード検定部、２１はその検定結果を格納する認識結
果ファイル、２２は認識結果ファイル２１を見て見出し
圧縮ファイル５から検索した見出しの圧縮符号化データ
を引き出す見出し引出部、２３は見出し引出部２２で引
き出した圧縮符号化データを複号化し、アナログ信号に
変換する見出し複号化部、２５は検索した見出しを出力
するスピーカ、２６は音声、画像等様々な形態のデータ
を含み見出しに対して本文に相当するデータを含んだ本
データファイル、２７は本データ引出部、２８はスピー
カやグラフィックデイスプレィ等に対する音声や画像等
の様々な形態の本データに対応して出力できるいくつか
の出力装置を含んだ各種出力装置部である。

第２図は第１図の単語区間音韻ラティスファイル１１に
含まれている１つのデータのデータ構造を示している０
図で１つの要素ａｘｙはく音韻シンボル、音韻スコア）
という組からなっている。

音韻シンボルとは、母音／ａ／、／ｉ／、・・・子音／
ｐ／、／ｓ／、・・・等の音韻のシンボルであり、音韻
スコアとは音韻認識部９で得られ、認識した音韻の確か
らしさを表わす数値である。第２図はｐｘｑのマトリク
スになっており、ここでｐは音韻スコアの高いものｐ個
、すなわち音韻認識の結果信頼度の高いものから順にｐ
個選んだことを表し、固定値であり、ｑは単語区間の時
間幅を表わし、データにより異なる。

第３図は第１図の単語区間分析ファイル１２に含まれて
いる１つのデータのデータ構造を示している。図で１つ
の要素ｂ８ｙは音響分析部７で分析された結果の特徴デ
ータの数値である。第３図は１’ｌ　＞　ｑのマトリク
スになっており、こ二でｌ’ｌは−・定時間長のデータ
を分析した特徴データの個数で固定値であり、ｑは第２
図と同様に単語区間の時間幅を表わし、データにより異
なる。

第４図は第１図のキーワードシンボルファイル１５に含
まれているデータの例を示している。図では例えば「デ
ータショー」　「学会」という単語がキーワードとして
音韻シンボルになって入っている。

第５図は第１図のキーワード分析ファイル１８に蓄積さ
れている特徴データのイメージを描いたもので「データ
ショー」というキーワードに対して音響分析部７が分析
方法として例えば音声のスペクトル包絡の時間変化を用
いている場合について示したものである。実際のデータ
構造は第５図で一定間隔をおいて周波数方向にｎ個、時
間方向に出涸のデータがサンプリングされ、第６図に示
すように、ｍｘｎのデータマトリクスが構成される。音
響分析部７が共通であるため、キーワード分析ファイル
１８と単語区間分析ファイル１ｚとに含まれる特徴デー
タは同質のものであり、従って第３図と第６図のマトリ
クスにおける行数１１は同一である。

次に動作について説明する。

スイッチ３．８は見出しを登録する時はａ側に、検索す
る時はｂ側に切り替えるものとする。まず見出しを登録
する時はマイクロフォン１を１吏って連続音声として入
力された音声は、ａ側になっているスイッチ３を通して
圧縮符号化部４に送られる。音響分析を目的とする時、
周波数帯域を５ｋＨ，程度までとることが必要で、その
なめには入力音声を１秒間に１０に個の割合で標本１ヒ
しなければならない、また取り出したアナログ（８号の
量子化には１２ビット程度必要で、アナログ／デジタル
変換部２はこのような条件を満たずようになっている。

従って、アナログ／デジタル変換部２を通した音声デー
タは１２０ｋｂｐｓ　（ｋビット２７秒）である、圧縮
符号化部４は、これと異なり認識に影響する音響分析と
は無関係に複号化して、人間が聞いた時に充分な了解性
が得られるＡＤＰＣＭ（適応差分ＰＣＭ）等の手法を用
いて音声データを３２ｋｂｐｓ程度に圧縮符号化する。

圧縮符号化部４で圧縮符号化された見出しの音声データ
は、見出し圧縮ファイル５に蓄積される。

また、同時に入力された見出しの音声データは、認識用
の音響分析に向けて、まずアナログ／デジタル変換部２
でアナログ信号がデジタル信号に変換され、音響分析部
７で分析される。ここで抽出された特徴データはａ側に
なっているスイッチ８を通って音韻認識部９、単語区間
検出部１０に送られる。音韻認識部９での音韻認識の結
果の音韻ラティスから単語区間検出部１０での単語区間
の検出による区切りの部分を取り出すことで第２図に示
したデータが得られ、単語区間音韻ラティス１１に蓄積
される。また音響分析の結果の特徴データから、同じく
単語区間検出部１ｏでの単語区間の検出による区切りの
部分を取り出すことで、第３図に示したデータが得られ
、；＝力単語区間分析ファイル１２に蓄積される。

また見出しを検索する時はまずキーボード１４からキー
ワードを音韻シンボルで入力し、第４図に示したように
参≠臨キーワードシンボルファイ、ル】５に蓄積する０
次にマイクロフォン１を使ってキーワードを音声で入力
する、入力された音声データは、ｂ側になっているスイ
ッチ３ではそれより先に流れず、アナログ／デジタル変
換部２で変換され、音響分析部７で分析される。ここで
抽出された特徴データはｂ側になっているスイッチ８を
通して第６図に示したようにキーワード分析ファイル１
８に蓄積される。キーワードのスポツティングはまずキ
ーワード仮説部１６で音韻シンボルのレベルでキーワー
ドと単語部分が切り出された音声の見出しとをマツチン
グさせ、キーワードの存在しそうな場所の仮説をたてる
９すなわち第４図のデータと、第２図の各データの内の
音韻シンボルをマツチングさせ、第２図で対応する音韻
スコアの累積値が充分大きければ、キーワードの存在の
候補として仮説結果ファイル１７に出力する。次にキー
ワード検定部１９では、仮説結果ファイル仮説結果を見
て対応する単語区間分析ファイル１２内のデータと、キ
ーワード分析ファイル１８のデータとを比較する。すな
わちキーワード検定部１９は、仮説結果をもとに、対応
する第３図の形のデータと第６図の形のデータとを比較
し、距離的に充分近ければキーワードがそこに存在した
として、認識結果ファイル２１にそのキーワードを出力
する。さらに見出し引出部２２で認識結果ファイル２１
を見て、見出し圧縮ファイル５から対応する圧縮符号化
された見出しを引き出し、見出し複号化部２３で複号化
してアナログ信号に変換して、スピーカ２５から出力す
る。また、その後本データ引出部２７でも認識結果ファ
イル２１の認識結果を見て、本データファイル２６から
見出しに対する音声や画像等の本データを引き出し、各
種出力装置部２８へ送り、データの形態に合った装置で
出力する。

［発明の効果］ 以上にように本発明によれば、音声の見出しを圧縮符号
化して蓄積すると共に、見出しから単語らしい部分を切
り出した区切りの特徴データのみを蓄積し、更に見出し
とキーワードとをそれぞれの特徴データで比較する前に
音韻シンボルでマツチングし、キーワードの存在１項域
の仮説をたてるようにしたので、蓄積される音声の見出
し及び特徴データに必要な記憶領域が少なくなり、また
、キーワードの検索のために使われる見出しの特徴デー
タとキーワードの特徴データとの比較場所が減少し、そ
れらのマツチングの演算景が少なくなり、したがって検
索精度の高いデータベース検索装置を提供できるという
効果が得られる。

【図面の簡単な説明】

第１図はこの発明の一実施例に係るデータベース検索方
式を採用したデータベース検索装置の構成を示すブロッ
ク図、第２図は第１図の単ｊ５区間音韻ラティスファイ
ルのデータ構成を示す図、第３図は第１図の単語区間分
析ファイルのデータ構成を示す図、第４図は第１図のキ
ーワードシンボルファイルに含まれているデータの例を
示す図、第５図は第１図のキーワード分析ファイルに含
まれている特徴データのイメージを表わす図、第６図は
第１０のキーワード分析ファイルのデータ構成を示す図
、第７図は従来のデータベース検索方式を採用したデー
タベース検索装置の構成を示すブロック図、第８図は第
７図の見出し分析ファイルのデータ構成を示す図である
。 ４・・・・・・圧縮符号化部、７・・・・・・音響分析
部、９・・・・・・音韻認識部、１０・・・・・・単語
区間検出部、１６・・・・・・キーワード仮説部、１９
・・・・・・キーワード検定部、２３・・・・・・見出
し複号化部、２７・・・・・・本データ引出部。

Claims (1)

【特許請求の範囲】
1. 　音声、画像、文字列等の様々な形態のデータ含み、各
   データにデータの内容を簡単に表わす音声の見出しが付
   いたデータベースに対してキーワードを入力し、音声の
   見出しの中で入力したキーワードを検索することで処理
   に必要なデータを検索するデータベース検索方式におい
   て、入力された音声の見出しを音響分析部で分析して得
   られた見出しの特徴を示す特徴データを音韻認識部に与
   え、その特徴データに基づいて見出しの音声に含まれて
   いる音韻ラティスを認識し、単語区間検出部で見出しか
   ら単語らしい区間を検出し、その単語区間の音韻ラティ
   スを単語区間音韻ラティスファイルに保持し、見出し全
   体は圧縮符号化部で圧縮符号化して見出し圧縮ファイル
   に保持し、データベースの検索では、先ずキーワード仮
   説部において音韻シンボルで入力されたキーワードと上
   記単語区間音韻ラティスファイルに保持された単語区間
   の音韻ラティスとを比較してキーワードの存在の候補を
   たて、次にキーワード検定部でこの候補に対して音声で
   入力されたキーワードの分析結果と単語らしい区切りに
   分けられた特徴データとを比較してキーワードの存在を
   検定し、見出し複号化部でそのキーワードに対応する上
   記見出し圧縮ファイルからの音声の見出しを複号して出
   力すると共に本データ引出部で付随する音声、画像、文
   字列等の様々な形態のデータを取り出して出力すること
   を特徴とするデータベース検索方式。