JPH04289899A - 口語音声認識装置及び方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、口語文音声を入力する
ことによって、その意図を理解し、意図に応じた諸動作
を行う音声入力情報処理装置及び方法、特に口語音声認
識装置及び方法に関する。

【０００２】

【従来の技術】従来の音声入力による情報処理装置にお
ける音声認識方式では、例えば、宮武他「ニューラルネ
ットを用いた単語音声認識」（音響講論、１−３−１７
、平成２−３）に記載されているように、単語音声を入
力し認識する単語音声入力方式や、例えば、松永「係り
受け規則と遷移規則を融合した規則により候補を限定し
た文節音声の認識」（信学論、Ｖ０ｌ．Ｊ７２−Ｄ−Ｉ
Ｉ、Ｎｏ．８、平成１−８）に記載されているように、
文節単位で音声を入力し、特徴パラメータを抽出した後
、単語辞書と文節内の構文規則により文節候補のマトリ
クスを構成し、文節間の係り受け情報により最適候補を
選択する文音声認識方式などが知られている。

【０００３】

【発明が解決しようとする課題】上記従来技術では、単
語入力方式の装置においては、入力音声が予め登録され
た単語に限られており、また、係り受け解析による文音
声認識方式では、処理に多くの時間を要するという問題
があった。

【０００４】

【課題を解決するための手段】上記問題点を解決するた
めに、本発明では、口語文の特性をルール化した口語文
生成ルールにより生成された文パタンの集合を文法とし
て保持し、更に、その文パタンを概念語の列で構成し、
各概念語に相互に意味の近い類義語集合を割り当て、入
力音声と照合することによって、柔軟な表現形態を持つ
口語文を受理できるようにする。また、概念語列中に少
なくとも１個以上の注目概念語を持たせ、注目概念語に
は互いに音響的距離が大である単語集合を割り当て入力
音声と照合することによって、口語文の意図を理解でき
るようにする。

【０００５】

【作用】本発明においては、入力音声を特徴ベクトルの
時系列に変換し、口語の特性に基づいた書き換えルール
により生成された口語文文法中の概念語を類義語の集合
である非注目概念辞書及び相互に意味的かつ音響的に距
離の大きい単語集合である注目概念辞書に登録された単
語で置換し、単語列に展開し、単語列に付加された特徴
ベクトルの時系列との間で距離を算出し、尤度の最も高
い単語列を認識結果とし、注目概念である単語を決定す
るため、柔軟な表現の音声で、ユーザの意図を一意に認
識することができる。

【０００６】

【実施例】以下、本発明の実施例を図を用いて説明する
。図１は、本発明の一実施例を示すブロック図である。 ここでは、不動産情報検索システム用の音声入力を想定
して説明を行なう。検索システムが検索という動作を行
なうためには、ユーザが“自分の希望する建物の条件”
として、用途，素材等の建物の属性に関する条件を入力
する必要がある。検索システムにおける本発明の動作を
図６及び図７に示すＰＡＤにより説明を進める。

【０００７】ユーザは、自分の希望する建物の属性であ
る用途として、例えば、“レストラン”を意図して、「
レストランを建てたい」という形の口語文を発話、入力
する（ステップｓ１）。入力された口語文音声は、Ａ／
Ｄ変換手段１に取り込まれ、ディジタル信号に変換され
た後、特徴抽出手段２に送られる（ステップｓ２）。 特徴抽出手段２では、ディジタル信号を１０ｍｓのフレ
ーム周期で、特徴ベクトルとして、例えば、斉藤、中田
「音声情報処理の基礎」（オーム社、昭５６）記載のＬ
ＰＣケプストラム係数｛Ｃ１，Ｃ２，…，Ｃｎ｝の時系
列｛Ｃ１，Ｃ２，…，Ｃｎ｝Ｔに変換され、文法照合手
段３に送出される（ステップｓ３）。ここで、フレーム
周期は１０ｍｓに限定されることなく、２０ｍｓ，３０
ｍｓ等任意に設定することができる。また、特徴ベクト
ルも、ＬＰＣケプストラム係数のみに限定されず、バン
ドパスフィルタの出力等を使用することも可能である。 ｎは分析次数であり、正の整数の範囲内で任意に設定す
ることができる。文法照合手段３は、文法記憶手段１５
，標準音響パラメータ記憶手段１４，非注目概念辞書１
０及び注目概念辞書１１を持つ。非注目概念辞書１０は
、図２に示すように、非注目概念語３００と、概念に属
する互いに意味の近い類義語の集合３０１よりなる。ま
た、注目概念辞書１１は、図３に示すように、システム
が検索等の動作を行なうために最も必要としユーザの意
図でもある注目概念語４００と、注目概念語に属する互
いに音響的距離の大きい単語の集合４００よりなる。音
響的距離の算出法としては、例えば、特願平１−１２４
３１９　号「音声認識単語セットの評価システム」に記
載された方法を用いることができる。

【０００８】文法記憶手段１５は、口語文生成手段７に
より認識対象とする文の基本型を表すテンプレート文１
２を口語文生成ルール１３を用いて書き換え、記憶した
ファイルである。例えば、テンプレート文１２を（／一
人称／　　　　名詞） （／は／　　　　格助詞主格） （／建物／　　　　名詞） （／を／　　　　格助詞対象格） （／建設する／　　動詞終止　　　　／建設し／　　動
詞未然／建設し／　　動詞連用　　　　／建設する／　
　動詞連体／建設すれ／　　動詞仮定　　　　／建設せ
よ／　　動詞命令　　）という５個の形態素の列として
設定する。ここで、各形態素は （ｍ１　　ｇ１　　　　ｍ２　　ｇ２　　…　　ｍｋｇ
ｋ）の形を持っており、ｍｉは概念語、ｇｉは文法情報
を表わし、形態素が活用しない場合にはｋ＝１である。 また、口語文生成ルール１３は、第１段階として、　　
　　　　　　　　＜動詞終止形＞　　⇒　　＜動詞未然
形＞＜たい＞　　　　　　　　　　　　　　…■　　　
　　　　　　　＜動詞終止形＞　　⇒　　＜動詞連体形
＞＜つもり＞　　　　　　　　　　　　…■′等の“意
図移入”のための書き換えルール、及び、第２段階であ
る“文型変形”のための以下に挙げるような書き換えル
ールとから構成される。ここで、Ａ⇒Ｂは、文字列Ａを
文字列Ｂで置換する操作を表す。

【０００９】 語の付加（複合辞，不要語等）： 　　　　　　　　＜たい＞⇒＜たい＞＜と＞＜思う＞　
　　　　　　　　　　　　　　　　　　　　　　　　　
…■　　　　　　　　＜たい＞⇒＜たい＞＜と＞＜思う
＞＜ん＞＜です＞　　　　　　　　　　　　…■　　　
　　　　　＜たい＞⇒＜たい＞＜と＞＜思う＞＜ん＞＜
です＞＜けれども＞…■　　　　　　　　＜たい＞⇒＜
たい＞＜と＞＜思う＞＜ん＞＜です＞＜けれども＞＜ね
＞　　　　　　　　＜たい＞⇒＜たい＞＜ん＞＜です＞
　　　　　　　　　　　　　　　　　　　　　　　　　
　…■　　　　　　　　＜たい＞⇒＜たい＞＜ん＞＜で
す＞＜けれども＞　　　　　　　　　　　　　　…■　
　　　　　　　＜たい＞⇒＜たい＞＜ん＞＜です＞＜け
れども＞＜ね＞　　　　　　　　＜たい＞⇒＜たい＞＜
です＞＜ね＞　　　　　　　　＜つもり＞⇒＜つもり＞
＜です＞　　　　　　　　＜つもり＞⇒＜つもり＞＜で
す＞＜けれども＞　　．．．語順入替え：＜名詞＞＜格
助詞，場所格＞＜名詞＞＜格助詞，対象格＞　　　　　
　　　　　　　　　　　　　⇒＜名詞＞＜格助詞，対象
格＞＜名詞＞＜格助詞，場所格＞語の省略： 主語　　　　＜名詞＞＜格助詞，主格＞　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…■もちろん、ここに挙げたルールはあくまでも一例で
あり、口語文の特性を考慮した書き換えルールであれば
使用することができる。口語文生成手段７における動作
を図８に示すＰＡＤにより説明する。口語文生成手段７
は、まず、テンプレート文１２を取り込み、バッファメ
モリＭ６に格納する（ステップｓ１０１）。続いて、バ
ッファメモリＭ６より生成文を取り出し（ステップｓ１
０２）、口語文ルール１３中の意図移入のルールすべて
について、ルールの左辺と該テンプレート文の各形態素
若しくは形態素の列とを照合し（ステップｓ１０３）、
概念語文字列若しくは文法情報が一致すればルールの右
辺の形態素列で置き換え、バッファメモリＭ６に格納す
る（ステップｓ１０４）。前記テンプレート文の例では
、そのテンプレート文にルール■が適用されて、「建築
する」（動詞終止）を 「／建築し／（動詞未然）／たい／」で置換し（／一人
称／　　名詞） （／は／　　格助詞主格） （／建物／　　名詞） （／を／　　格助詞目的格） （／建設し／　　動詞未然　　　　／建設する／　　動
詞終止／建設し／　　動詞連用　　　　／建設する／　
　動詞連体／建設すれ／　　動詞仮定　　　　／建設せ
よ／　　動詞命令　　）（／たい／） という意図の移入された文を生成する。また、そのテン
プレート文にルール■′も適用されて別の文が生成され
るが、ここでは説明を省く。

【００１０】次に、語の省略ルールについて、ステップ
ｓ１０１からステップｓ１０３の動作を繰り返す。すな
わち、バッファメモリＭ６より生成文を取り出し、その
生成文に対して、口語文ルール１３中の文型変形のルー
ルのうち、省略に関するルールすべてについて、ルール
の左辺と該テンプレート文の各形態素若しくは形態素の
列とを照合し、文法情報も含めて一致すればルールの右
辺の形態素列で置き換え、バッファメモリＭ６に追加格
納する。前記テンプレート文の例では、ルール■の適用
がなされることによって（／建物／　　名詞）（／を／
　　格助詞目的格） （／建設し／　　動詞未然　　　　／建設する／　　動
詞終止／建設し／　　動詞連用　　　　／建設する／　
　動詞連体／建設すれ／　　動詞仮定　　　　／建設せ
よ／　　動詞命令　　）（／たい／） が生成され、バッファメモリＭ６に追加格納される。

【００１１】次に、語順入替えルールについて、ステッ
プｓ１０１からステップｓ１０３の動作を繰り返す。す
なわち、バッファメモリＭ６より生成文を取り出し、そ
の生成文に対して、口語文ルール１３中の文型変形のル
ールのうち、語順入替えに関するルールすべてについて
、ルールの左辺と該テンプレート文の各形態素若しくは
形態素の列とを照合し、文法情報も含めて一致すればル
ールの右辺の形態素列で置き換え、バッファメモリＭ６
に追加格納する。

【００１２】続いて、語の付加ルールについて、ステッ
プｓ１０１からステップｓ１０３の動作を繰り返す。す
なわち、バッファメモリＭ６より生成文を取り出し、そ
の生成文に対して、口語文ルール１３中の文型変形のル
ールのうち、付加に関するルールすべてについて、ルー
ルの左辺とテンプレート文の各形態素若しくは形態素の
列とを照合し、文法情報も含めて一致すればルールの右
辺の形態素列で置き換え、バッファメモリＭ６に追加格
納する。前記テンプレート文の例では、ルール■をはじ
めとする適用がなされることによって 一人称　　は　　建物　　を　　建築し　　たい　　と
　　思う建物　　を　　建築し　　たい　　と　　思う
等の変形文を順次生成し、該変形文の集合をバッファメ
モリＭ６に追加格納する。

【００１３】次に、バッファメモリＭ６の内容を文法記
憶手段１５に例えば図４のような有限オートマトンの形
で書き込む（ステップｓ１０５）。同図における状態の
中で、二重丸を施してあるものは最終状態を表わす。同
図の文法例では、 　　１００−１０１−１０２−１０３−１０４−１０５
−１０６−１０７−１０８　　１００−１０１−１０２
−１０３−１０４−１０５−１０６　　１００−１０１
−１０２−１０３−１０９−１０６−１０７−１０８　
　１００−１０１−１０２−１０３−１０９−１０６　
　１００−１０３−１０４−１０５−１０６−１０７−
１０８　　１００−１０３−１０４−１０５−１０６　
　１００−１０３−１０９−１０６−１０７−１０８　
　１００−１０３−１０９−１０６ の８通りの文が表現されていることになる。

【００１４】文法照合手段３は、文法記憶手段１５より
文法を読み込み（ステップｓ４）、バッファメモリＭ０
をゼロリセットした（ステップｓ４′）後、文法中のす
べての文について以下のステップｓ５からステップｓ１
５までの動作手続きを繰り返す。

【００１５】初期状態１００から順次状態遷移をしてい
き、非注目概念辞書１０中の非注目概念語３００及び注
目概念辞書１１中の注目概念語４００を用いて、各アー
ク上の概念語を単語で置換して単語系列を生成する。す
なわち、まず、図４において、初期状態１００から状態
１０３，１０４，１０５、最終状態１０６と順次遷移し
、アーク１００−１０３に対応する概念語である「建物
」からアーク１０５−１０６に対応する概念語である「
たい」までの系列を作り、図５に示すようにその系列を
項目とするラティスを生成する（ステップｓ５）。次に
、前記各項目について、非注目概念辞書１０中の非注目
概念語３００及び注目概念辞書１１中の注目概念語４０
０との照合を順次行なう。すなわち、まず、第１項目「
建物」について、非注目概念辞書１０中の非注目概念語
３００及び注目概念辞書１１中の注目概念語４００との
文字列照合を順次行ない（ステップｓ６）、注目概念辞
書１１中の注目概念語「建物」との文字列完全一致をみ
る。そこで、第１項目「建物」の列に注目概念辞書１１
中の注目概念語「建物」に登録されている単語４０１の
各々、すなわち、「れすとらん」，「ぶてぃっく」，「
きっさてん」を設定する（ステップｓ７）。この際、前
記一致した概念語が注目概念語であれば、バッファメモ
リＭ１に前記一致した注目概念語を書き込み（ステップ
ｓ８）、さらに、バッファメモリＭ２に該項目の番号を
書き込む（ステップｓ９）。図５のラティスの例ではバ
ッファメモリＭ１に注目概念語／建物／が書き込まれ、
バッファメモリＭ２には注目概念語／建物／がラティス
上の第１項目であるので「１」が書き込まれる。以下、
第２項目「を」、第３項目「建築し」、第４項目「たい
」について、非注目概念辞書１０中の非注目概念語３０
０及び注目概念辞書１１中の注目概念語４００との文字
列照合を順次行ない、非注目概念辞書１０中の単語３０
１若しくは注目概念辞書１１中の単語４０１を設定する
。

【００１６】次に、ラティス上の各単語について、標準
音響パラメータ記憶手段１４を用いて音響パラメータを
付加する。標準音響パラメータ記憶手段１４には、予め
、音節単位で、ＬＰＣケプストラム係数の時系列の集合
、例えば、音節「あ」については｛ｃ１１，ｃ１２，…
，ｃ１ｎ｝ｔア　、音節「い」については｛ｃ２１，ｃ
２２，…，ｃ２ｎ｝ｔイ　を記憶しておき、前記生成さ
れた文の単語毎の読み列にしたがって配列する（ステッ
プｓ１０）。例えば、単語が「れすとらん」であると ｛ｃ３１，ｃ３２，…，ｃ３ｎ｝ｔレ ｛ｃ４１，ｃ４２，…，ｃ４ｎ｝ｔス ｛ｃ５１，ｃ５２，…，ｃ５ｎ｝ｔト ｛ｃ６１，ｃ６２，…，ｃ６ｎ｝ｔラ ｛ｃ７１，ｃ７２，…，ｃ７ｎ｝ｔン が、この順に配列される。標準音響パラメータの単位は
音節のみに限らず、音韻，音韻連鎖，単語，文節等を使
用することもできる。以下前記ラティス上の各項目につ
いて、ステップｓ６からステップｓ１０までの動作を繰
り返す。

【００１７】次に、バッファメモリＭ０の値をインクリ
メントし（ステップｓ１１）、そのラティス上の音響パ
ラメータの付加された単語の行方向の行方向の組み合わ
せにより単語系列 １．れすとらん　　を　　けんちくし　　たい２．れす
とらん　　を　　たて　　たい３．れすとらん　　を　
　つくり　　たい４．れすとらん　　を　　かまえ　　
たい５．れすとらん　　が　　けんちくし　　たい６．
れすとらん　　が　　たて　　たい７．れすとらん　　
が　　つくり　　たい８．れすとらん　　が　　かまえ
　　たい９．ぶてぃっく　　を　　けんちくし　　たい
１０．ぶてぃっく　　を　　たて　　たい： を生成し（ステップｓ１２）、特徴抽出手段２より送出
された入力音声のＬＰＣケプストラム係数の時系列｛Ｃ
１，Ｃ２，…，Ｃｎ｝Ｔと照合し、両系列間の距離Ｄを
算出しバッファメモリＭ０を要素とする配列バッファメ
モリＭ５に書き込む（ステップｓ１３）。ここで、ＬＰ
Ｃケプストラム係数間の距離ｄは、次式で示すようなＬ
ＰＣケプストラム係数のユークリッド距離を用い、時系
列間の距離Ｄは、例えば、小池他「音声情報工学」（（
株）ＮＴＴ技術移転発行、昭和６２−８）に記載されて
いるような動的計画法等の手法によって非線形に両系列
を伸縮照合しながら距離を算出することができる。

【００１８】

【数１】

【００１９】次に、前記単語系列において、バッファメ
モリＭ２に書き込まれている項目番号に対応する単語を
バッファメモリＭ０の値を要素とする配列バッファメモ
リＭ３に書き込み（ステップｓ１４）、さらに、バッフ
ァメモリＭ１の内容をバッファメモリＭ０の値を要素と
する配列バッファメモリＭ４に書き込む（ステップｓ１
５）。前記の例では、バッファメモリＭ２に書き込まれ
ている項目番号「１」に対応する単語「れすとらん」を
バッファメモリＭ０の値「１」を要素とする配列バッフ
ァメモリＭ３に書き込み、さらに、バッファメモリＭ１
の内容「建物」をバッファメモリＭ０の値「１」を要素
とする配列バッファメモリＭ４に書き込む。以上ステッ
プｓ１１からステップｓ１５の動作を、前記ラティス上
の行方向のすべての単語の組合せについて繰り返す。

【００２０】文法中の全文について、前記手続きにより
算出された配列バッファメモリＭ５に格納されている入
力音声の特徴ベクトルの時系列との距離のうち値が最小
であるものを検出し、該要素番号をｉとする（ステップ
ｓ１６）。例えば、前記の例で、６番目のれすとらん　
　が　　たて　　たい の系列が入力音声の特徴ベクトルの時系列との距離のう
ち値が最小であったとするとｉ＝６となる。該系列は、
情報検索手段４に送出される。

【００２１】情報検索手段４では、予め図９に示すよう
な物件番号５００及び建物５０１等の属性及びその値が
登録された検索用テーブルに基づいて、検索を行なう。 すなわち、配列バッファメモリＭ４の第ｉ番目、すなわ
ち６番目の値である概念語／建物／と同一の属性５０１
の列に関して、登録された物件データすべてについて属
性値が配列バッファメモリＭ３の第ｉ番目、すなわち６
番目の値である／れすとらん／であるものの物件番号１
及び３が検索結果となり検索結果表示手段５により表示
される（ステップｓ１７）。

【００２２】ここで、ステップｓ１からステップｓ１６
までの手続きを繰り返すことによって、例えば、属性／
建物／については／れすとらん／，属性／雰囲気／につ
いては／ちちゅうかい／，…，属性／素材／については
／だいりせき／のように複数の属性に対する値を求め、
ステップｓ１７において、該複数の属性に対する値のＡ
ＮＤ条件により、物件番号を決定するようにしてもよい
。

【００２３】

【発明の効果】以上説明したように、本発明によれば、
システムに入力すべきコマンドや項目を、単語や定型の
文ではなく、柔軟な表現を用いて入力することができる
ので、ユーザは、予め、登録された単語や文を覚えてお
く必要がなく、使いやすいシステムを構成することがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】非注目概念辞書１０のデータ構造を示す図であ
る。

【図３】注目概念辞書１１のデータ構造を示す図である
。

【図４】文法記憶手段１５に書き込まれる有限オートマ
トンの一例を示す図である。

【図５】概念語列を項目とするラティスの一例を示す図
である。

【図６】不動産情報検索システムにおける処理の流れを
示すＰＡＤである。

【図７】単語置換処理の流れを示すＰＡＤである。

【図８】口語文生成手段７の動作を説明するためのＰＡ
Ｄである。

【図９】不動産情報検索システムにおける検索用テーブ
ルの一例を示す図である。

【符号の説明】

０…入力音声、１…Ａ／Ｄ変換手段、２…特徴抽出手段
、３…文法照合手段、４…情報検索手段、５…検索結果
表示手段、７…口語文生成手段、１０…非注目概念辞書
、１１…注目概念辞書、１２…テンプレート文、１３…
口語文生成ルール、１４…標準音響パラメータ記憶手段
、１５…文法記憶手段。

Claims (5)

【特許請求の範囲】
1. 【請求項１】口語文生成ルールにより生成された概念語
   列の集合を文法として保持する文法記憶手段と、前記概
   念語に属する単語の集合よりなる単語辞書を保持する手
   段と、入力された単語列を前記文法記憶手段に保持され
   た文法より生成される文と順次照合して尤度を算出し、
   該算出された尤度のうち最大値を持つ文を入力候補文と
   する文法照合手段を有する口語音声認識装置。
2. 【請求項２】請求項１に記載された口語音声認識装置に
   おける口語文生成ルールが、語の付加，語の省略，語順
   入替えのうち、一つ以上の操作をもってなる口語音声認
   識装置。
3. 【請求項３】請求項１または請求項２に記載された口語
   音声認識装置における文法より生成される文が非注目概
   念語及び少なくとも一つの注目概念語より構成され、非
   注目概念語には類義語をグループ化した単語辞書内の単
   語を対応させ、注目概念語には互いに音響的距離の大で
   ある単語辞書内の単語を対応させる口語音声認識装置。
4. 【請求項４】請求項３に記載された口語音声認識装置に
   おける入力候補文に含まれる注目概念語に対応する単語
   をもって入力口語文の意図とする口語音声認識装置。
5. 【請求項５】口語文生成ルールにより生成された概念語
   列の集合を文法として保持し、前記概念語に属する単語
   の集合よりなる単語辞書を保持し、入力された単語列を
   前記保持された文法より生成される文を順次照合して尤
   度を算出し、算出された尤度のうち最大値の持つ文を入
   力候補文とする口語音声認識方法。