JPS63165900A - 会話音声認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、音声認識において特に会話音声の認識に関
するものである。

（従来の技術） 従来より、連続発声された入力音声を音響分析し、特徴
パラメータを得た後、該特徴パラメータと予め求めてお
いた標準単語音声の特徴パラメータとを比較し、結果と
して得られた複数個の音声候補より選択した１個の候補
列を出力し、特に選択手段に発声速度関連情報により基
準値との比較から候補を選択するように構成した連続音
声認識方式が提案されている。

第２図はこの従来の連続音声認識方式の一構成例を示す
ブロック図である。第２図において１０は入力端子、２
０は音響分析部、３０は候補抽出部、４０は標準音声格
納部、５０は候補選択部、ＢＯは出力端子である。

このような従来の音声認識の分野では離散発声での単語
単位の入力や擬似的な連続発声の入力が主流である。こ
れらの認識装置をユーザーが利用する際、その殆どは装
置が認識し易いような発声、すなわちユーザー側にとっ
ては通常の発声とは異なった不自然な発声を強いられ、
その上装置側に登録されていない言葉に対しては、他の
カテゴリとのコンフユージヨンを生じたり、意味が同じ
単語であっても言い方が登録語と異なれば認識は正常に
行われなかった。

ところで、コンピュータやその他いろいろな装置の高度
化が進むにつれ１人間とコンピュータとの自然な対話機
能が重要になる。それには人間にとって極めて自然な情
報交換の手段である音声の利用が必須となり、使用頻度
の高い会話音声の理解が可能な認識装置が必要となって
くる。

（発明が解決しようとする問題点） しかしながら、これまでの手法を会話音声の認識にその
まま流用しようとすると、以下の２つの問題が生ずる。

先ず第１に、文分割の問題である０通常の会話文では複
数の文が入力されるほか、頭の中で思考しながら発声さ
れるため、構文上意味のない「あの−」や「え−と」な
どの感動詞が多く、これらは単語とつらなって発声され
るので区切られていない、このため分割が困難となる。

そして第２に曖昧文の問題である。会話は言い間違い等
で文法的に整っていない場合が多く、また文脈に大きく
依存する場合が多い、また会話音声中では特に文末や語
尾の発声が不明瞭になる場合が多く、音韻認識は困難で
あり、格文法の中心である名詞が文末近くに現れる場合
には問題となる。

この発明は１以上述べた文分割の問題と、曖昧文のＩ７
ｉ題を除去し、効率的な会話音声の認識を提供すること
を目的とする。

（問題点を解決するための手段） この発明は、会話音声認識において音響処理部にて得ら
れた韻律情報を用い、音声中のプロミネンスを検出する
プロミネンス部と、検出されたプロミネンスを重要単語
候補区間として、当該候補区間に対してキーワード辞書
及び構文補助辞書とのワードスポツティングを行うワー
ドスポツティング部とを有し、特に会話中の重要単語が
氏名である場合には、正確な認識結果を得るためにアク
セント情報を用いて韻律マツチングを行うことにより認
識を精度良く行う韻律マツチング部を設けることにより
、会話音声の認識を効率的に行うようにしたものである
。

（作用） このように、この発明の会話音声認識方式によれば、プ
ロミネンス検出部により重要単語候補区間を抽出し、ワ
ードスポツティング部においてこの重要単語候補区間に
ついてのみ登録済みのキーワードを抽出し、そして韻律
マツチング部において、抽出されたキーワードから拍数
及びアクセントに基づいて最適単語候補を得る構成とな
っているので、効率的な会話音声の認識が可能となる。

（実施例） 以下１図面を参照してこの発明の会話音声認識方式の実
施例につき説明する。

先ず、会話音声認識方式の概要を説明する。

概要説明 第１図は、この発明の実施例を示すブロック図であって
、１００は入力音声端子である。入力音声端子１００よ
り入力された音声は音響処理部１０１においてＡ／Ｄ変
換後、フレーム周期毎に特徴パラメータ系列及び韻律情
報が分析、抽出される。パラメータ系列は音声区間検出
部１０２へ転送されるとともに、音韻情報格納部１０４
へ韻律情報の要素となるピッチバタン、基本周波数、振
幅などの情報が転送されて格納される。音節識別部１０
３では音節識別部１０３内の単音節辞書を用いて音声区
間検出部１０２で定められた音声区間内の音節識別を行
い、その結果をワードスポツティング部１０Ｂへ送る。

一方、プロミネンス検出部１０５では、音声区間検出部
１０２より転送された音声の始端及び終端情報と、韻律
情報格納部１０４より転送された韻律情報とをもって音
声区間中から特に強調して発声されている重要単語らし
い部分、すなわちプロミネンス（卓立源：Ａ）を検出し
、検出された重要単語候補区間をワードスポツティング
部１０６へ送る。

このワードスポツティング部１０Ｂでは、音節識別部１
０３より送られた音声区間、すなわち始端から終端に至
るまでの音節識別結果、及びプロミネンス検出部１０５
にて得た重要単語候補区間によりプロミネンス検出部１
０５で検出された重要単語候補区間の中で、キーワード
辞書１０７に予め格納されている認識対象語、すなわち
キーワードのマツチングを行うとともに、構文補助辞書
！θＢを用い、キーワード以外の感動詞、依頼語等の識
別を行い、その結果を認識判定部１１１へ送る。

さらに、キーワードの認識確度を高める手段として１人
の姓がキーワードとして登録されている場合については
、音節識別部１０３の出力結果をもとに韻律マツチング
部１０９において音節数及びアクセント辞書１１Ｇを参
照し、アクセント型とのマツチングを行う、そして、そ
の結果を認識判定部１１１へ送る。

そしてこの認識判定部１１１では、ワードスポツティン
グ部ｔｏｅ　、　韻律マツチング部１０９から転送され
た各々の認識結果を受け、最適な結果を認識結果として
出力する。

動作説明 以下、この発明の会話音声認識方式の動作をより具体的
に説明する。

く音響処理部〉 入力端子１００から入力された音声信号は、従来周知の
技術を用いて、音響処理部１０１において特徴を表わす
ベクトル系列、及び特徴パラメータ系列Ｖ　（ｐ　、　
ｉ）に変換される。このＶ　（ｐ　、　ｉ）は入力され
た音声に対してフレーム周期と呼ばれる時間間隔で音声
の特徴パラメータ系列（５入カバタン）（但し、ｐ＝１
．２．３・・参、Ｐ及びｉ＝１．２．３・・・Ｐ）であ
る、この特徴パラメータ系列Ｖ　（ｐ　、　ｆ）は、一
般的には中心周波数であるＰ個のバンドパスフィルタ群
によって抽出された帯域内周波数成分をフレーム周期毎
に標本化することによって得ている。Ａ／Ｄ変換後。

７１／−ム周期毎に特徴パラメータ系列及び韻律情報が
分析、抽出される。パラメータ系列は音声区間検出部１
０２へ転送されるとともに、韻律情報格納部１０７へ韻
律情報の要素となるピッチバタン、基本周波数及び振幅
などの情報が転送され、格納される。

く音声区間検出部〉 音声区間検出部１０２では、従来周知の技術を用いて、
特徴パラメータ系列Ｖ　（ｐ　、　ｔ）に基づき、音声
区間すなわち音声の始端及び経端を検出する。この検出
アルゴリズムとして特徴パラメータＶ　（ｐ　、　ｉ）
から求まる音声パワーを用いてパワーが予め定めた閾値
以上となった時点を音声の始端、閾値未満となった時点
を音声の終端とするアルゴリズム等があるが、いづれか
適切なアルゴリズムを用いればよい。

音声区間検出部１０２にて得た始端及び終端の情報は、
音節識別部１０３及びプロミネンス検出部１０５へ送ら
れ、それぞれ別途に処理が行われる。

く音節識別部〉 音ｍ識別部１０３では、音声区間検出部】０２で得た始
端及び終端の範囲について音節識別部１０３内に保持さ
れている単音節辞書との照合により音節の識別を行う、
連続音声の認識では一般的に音声の最も小さい単位であ
る音韻の識別結果を用いることが多いが、会話音声では
曖昧文などが多くなるため、不確実な部分が多くなる。

そして、後述する拍数情報との融合性を考えると、音節
を中心とする方式が適当であると考え、ここでは竹節を
単位とした識別を用いることとした。音節識別の手法は
既知の技術として様々なものが提案されているが、例え
ば日本音響学会音声研究会資料、資料番号Ｓ　８５−８
２（１９８５−１２）　ｒ音節をベースとする日本語音
声認識」に開示されている技術等を用いればよい、そし
て、音節識別部１０３にて得た音節識別結果は、ワード
スポツティング部１０６へ送られる。

くプロミネンス検出部〉 プロミネンス検出部１０８では、音声区間検出部１０２
から転送される始端及び終端の範囲について韻律情報格
納部１０４より転送された韻律の要素である基本周波数
、振幅及びピッチバタンなとの情報を用いることにより
、プロミネンス、すなわち文中の特に注意の向けられて
いる主要語、すなわちキーワードの候補区間を検出する
。

さて、これまで韻律規則の研究は規則合成等の音声合成
を目的とするものが多く、規則による自然な合成音が得
られるようになってきている。このことは韻律情報が音
声を大きく左右するものであることを示し、音声認識で
も有効な情報であると考えられる８例えば１人間同志が
会話を行う場合、重要単語は丁寧に発声されている。相
手に情報を伝達するための核となる単語は、基本周波数
が高くなり１発声速度も７〜８音ｔＭ／秒である。

特に意識的な強調の場合、付属する格助詞に特有のピッ
チが観測される。

このように、必要な情報はそうでないものと区別をする
ために、語順を入れ替えたり、或は声の高さや強さなど
の韻律的要素を変化させることによって表現されるため
１重要となる単語の検出に非常に利用価値が高い。

このような文中の特に注意の向けられている主要語をは
っきりと聞き取らせるための発声法をプロミネンス（卓
立強調）というが、プロミネンス検出部１０５にて韻律
情報格納部１０４から出力されるパワーとピッチバタン
周波数の時間的変化バタン（以降、パワーパタン、ピッ
チパタンと称す）を用いて入力された連続音声中の韻律
境界を出力する。韻律境界の検出法は、既知の技術とし
て随所で提案されているが１例えば昭和５４年日本音響
学会音声研究会資料３７９−５５（１９７９−１２）の
「韻律情報を利用した日本語算術文の音声認識システム
」に記載されている技術を用いればよい。

以下、その−例を第３図の動作の流れ図に従って簡単に
説明する。

先ず、音声入力を音響処理して韻律情報格納部１０４に
格納されている韻律情報のうちパワーバタンを抽出しく
３３１）、これを３ポイントメジアム法（３−ｐａｉｎ
ｔ　ｍａｄｉａｍ　ｍｅｔｈｏｄ）により平滑化する（
Ｓ３２）、次に、この平滑化されたパワーパタンの無音
区間を検出する（Ｓ３３）、無音区間を検出しなかった
場合にはそのまま結果出力とする。無音区間を検出した
場合には、韻律境界候補点を検出した後（３３４）、韻
律境界を検出しく　Ｓ　３５）、その結果を出力する。

一方、ピッチバタンについては、韻律情報からピッチパ
タンを抽出した後（５３１）、対数化（５３Ｂ）及びノ
イズ除去を行った後、高速処理に適合させるためダウン
サンプリングを行い（５３７）、然る後パワーバタンの
場合と同様に平滑化を行う（５３Ｂ）、平滑化されたピ
ッチバタン波形の「山」と「谷」の先端を特徴点として
検出する（３３θ）１次に、特徴点のうち「谷」の先端
にあたる部分を韻律境界候補点として検出しく　Ｓ　３
４）た後、韻律境界の検出を行い（５３５）。

結果を出力する。尚、上述したプロミネンス検出部の動
作の流れは単なる好適例であって、これに限定されるも
のではない。

以上のように、プロミネンス検出部１０５にて得た重要
単語が発声されている可能性の高い区間、すなわちキー
ワード候補区間はワードスポツティング部１０８及び韻
律マツチング部１０９へ送られることになる。

くワードスポツティング部〉 ワードスポツティング部１０Ｂでは、音節識別部１０３
及びプロミネンス検出部１０５から送られてきた音節識
別結果とキーワード候補区間情報により連続音声中から
予め登録されていてこれらに対応するキーワードを抽出
する。

第４図（Ａ）及び（Ｂ）はこのキーワード抽出技術を用
いて認識する際に対象となる車形の例を示す図である。

ここでは新幹線の座席の電話予約を想定した時の認識装
置（システム）側とユーザーの会話である。このような
会話では「もしもし？」、「あの・・Φ」、「え−と」
などの感動詞はもとより、依ｒ４語、「ハイ」、「イイ
エ」等の指定語、否定語も人によって言い方が様々であ
る。けれども目的が限定された会話では感動詞。

依頼語を除けばほぼ一定のシーケンスで発声される。さ
らに、新しい情報のない部分の発声は雑である。ｒ〜を
お願いします、」という部分は定型句であり、双方にと
って重要な単語は含んでいないため、発声も丁寧ではな
く１発声速度も早く、約１５音ＷＪ／秒である。

このワードスポツティング部１０Ｂでは、キーワード候
補区間についてキーワード辞書１０７及び構文補助辞書
１０８に格納されている登録済のキーワードとのマツチ
ングを行うことになる。第５図にキーワード辞書の格納
内容の一例を示す、前述したように、この実施例では電
話をかけて自分の氏名を名乗り、座席を予約するという
設定である。従って、キーワード辞書１０７にはキーワ
ードｌとして氏名、キーワード２として地名等々の所要
の情報が予め格納されている。

第６図に構文補助辞書を示す、構文補助辞書１０８には
発声時に考えられる否定、肯定、依頼語、感動詞及び接
続詞を予め登録して保持している。第７図はワードスポ
ツティング部１０Ｂの動作の流れ図である。音節識別結
果及びキーワード候補区間情報が入って来た場合には（
５７１）、キーワード辞書１０７の読出しを行い（３７
２）、これらキーワードと、候補区間とのマツチングを
行い（３７３）、キーワードｌ及びキーワード２の出現
順序関係を考慮した上で順序が正しく、最適な距離とな
ったものを出力する。この時、構文補助辞書１０８を読
出して（Ｓ７４）、直接意味を持たない単語、すなわち
キーワード以外の部分のマツチングを行う（３７５）、
よって、正しい順序で最適距離か判定して（Ｓ７Ｂ）、
それを出力する（Ｓ？？）。

第８図（Ａ）〜（Ｃ）は発声時に考えられる単語のシー
ケンスを示したものであり、第８図（Ａ）は「え−と、
山田ですが上野から仙台までをお願いします、」、第８
図（Ｂ）は「あの、山中だけど静岡から京都」の例であ
る。そして第８図（Ｃ）はキーワードを、接続詞、感動
詞等とのシーケンス関係を示す、第８図（Ｃ）に示すよ
うに、キーワード２から依頼語に遷移する際の接続詞は
、ここに記述される「へ」、「に」。

「を」、「で」の４つに限定される。そして、これらの
接続詞以降に続く依頼語は定型句であり。

重要な単語は含まれていないということから、認識時に
は特に「へ」、「に」、「を」、「で」という接続詞に
重みを置くような方法を取る。すなわち、音声の始端か
ら終端の中で４つのいずれかの接続詞が検出されれば、
接続詞以降の不必要な情報までも詳細にマツチングする
必要がなく、従って、余分な演算をすることがなくなる
という利点がある。

また、この実施例においてはプロミネンス検出部１０５
にて、キーワード区間候補が抽出しであるので、複雑な
演算を要するワードスポツティング操作の処理量を大幅
に低減することが出来る。

このようにしてワードスポツティング部１０６において
得られた結果は認識判定部１１１へ送られる。

ところで、上述した実施例に限らず、認識対象としてよ
く挙げられるものに人の姓名がある。相手を呼び出す場
合、或は自分を名乗る場合には、姓は相手に伝えたい重
要な部分であるため、認識も、より精度良く行わなけれ
ばならない、そこで、この実施例では名字についてはさ
らに認識の確度を高めるためにアクセントと拍数の情報
を用いてマツチングを行う機能を付与している。

第９図は姓に関しての種類、拍数及びアクセント型を表
わす図である。このように姓は癒合語、結合品、接合語
及び転成語の４種類に分類される０日本の上位５０氏名
は癒合語に全て含まれており、この実施例ではこの癒合
語についてルール化している。

さて、この実施例では第５図のキーワード１が姓になっ
ているため、ワードスポツティング部１０Ｂで最適距離
となったキーワードｌの認識結果候補については、その
結果を認識判定部１１１へ送るとともに、姓がキーワー
ドとなっているキーワード１については、韻律マツチン
グ部１０９へ送られる。

く韻律マツチング部〉 第１０図は韻律マツチング部の動作の流れ図を示し、こ
れを参照して説明する。

ｎ律マツチング部１０９では、認識結果を受信した後（
５１０１）、キーワードｌかどうか判定する（Ｓ１０２
）、次に、キーワード１の音節数がいくつめるかの判断
を行う（Ｓ１０２）、音節数は、すなわち拍数である。

音節識別部１０３で得ている結果によりキーワードｌの
音節数がわかるので、それらをキーワードｌの拍数とす
る（Ｓ１０３）、そして同時にプロミネンス検出部１０
５からのアクセント情報を受け（ＳｌＯ−４）、このア
クセント情報が平板型か、頭高型か、中高型かの判断を
する。

アクセントの位置は高低変化により明確ば判断すること
が可能である。

入力側のアクセント型及び拍数の検出の後、第１１図に
示すような音節数及びアクセント型辞書１１Ｇの読出し
を行って（５１０５）マツチングを行い（Ｓ１０Ｂ）、
その結果得られた単語候補を認識判定部１１１へ返す。

く認識判定部〉 認識判定部１１１においては、ワードスポツティング部
１０８及び韻律マツチング部１０９から送られた単語候
補は、その始端、終端及び単語候補の確からしさを１組
にして記憶しておく、このように途中結果を記述してお
く方法を単語ラティスと呼んでいる。これら単語ラティ
スの統合処理を行うために、ある中詰ＡとＢが隣接する
場合に状態ｅｉが状ＪＴｉｅｊへ遷移する可能性を付与
したもの、すなわち接続評価値ｅ　（ｉ　、　ｊ）に基
づいて始端からスタートし終端に至るような全ての単語
系列を評価し、最も評価値の高い単語系列、すなわち最
適単語系列を認識結果として出力する。

最適単語系列の動作アルゴリズムを述べる。ここで以下
の記号を定義する。

ＤＤ（ｉ）：ｉフレームまでの最適単語系列のバタン間
距離の累積値 Ｘ　（ｉ）：　ＤＤ　（ｉ）を与える最適単語系列の単
語数 Ｎ　（ｉ）：ＤＤ　（ｉ）を与える第Ｘ　（ｉ　）桁目
の単語名 ＢＢ　（ｉ）：ＤＤ　（ｉ）を与える第Ｘ　（ｉ　）桁
目の単語の始端フレーム番号 工ｓ　：音声の始端であると判定されたフレーム ＩＥ　：音声の終端であると判定されたフレーム 入力バタンの長さ工は下記の式（１）により求められる
。

Ｉ＝Ｉｔ　　−Ｉｓ　　＋１　ｅ　＊　・（１）累積値
ＤＤ　（ＩＥ　）を与える最適単語系列が認識結果とな
るわけであるが、累積値ＤＤ　（ＩＥ　）は動的計画法
を用いると次の漸化式を解けばよい。

１’１ＴＩｎ ＤＤ（ｉ）＝　　ｎ　［ＤＤ（ｍ−１）÷０ｎ（ｔｌＪ
ｎ月−−−（２）但し、ｍ＝Ｂｎ　　（ｉ　＋　Ｊｎ　
）ここでり。（ｔｌＪｎ）はｉフレームを終端とした各
標準パタンｎとのバタン間距離であり、Ｂ　ｏ（ｉｒ　
Ｊ　ｎ　）　ハマッチンク開始フレーム番号である。

Ｘ　Ｈ）＝Ｘ　（ｍ）＋　１・・・　（３）Ｎ　　　（
ｉ）　　　＝ｎ　　＠　　φ　・　　・　拳　拳　　・
　・　　（４）ＢＢ（ｉ）＝ｍ＠　・　拳　・　・　・
　・　（５）ここでｎは式（２）の最小値を与える単語
名であ△ す、ｍはｍ＝ｎである場合のｍの値である。

式（２）〜（５）を１≦ｉ≦Ｊについて順に計算してい
けば、　ＤＤ　（Ｉｔ　）が求まる。

■音声区間の始端のための初期設定処理ＤＤ　（０）＝
Ｘ　（０）＝ＢＢ　（０）＝０■ｉ＝１．２Φ・・Ｉに
ついて式（２）〜（５）を実行する。

■Ｎ　（ｉ）、ＢＢ　（ｉ）をバックトレースすること
により最適単語系列を求める。すなわちＸ　（Ｉ）桁目
を与える単語Ｎ　（Ｉ）の始端ＢＢ（Ｉ）を用い、Ｘ（
Ｉ）−１桁目（７）ｌ　語Ｎ　（ＢＢ　（Ｉ）−１）と
その始端ＢＢ　（ＢＢ（Ｉ）−１）を求める。

同様の処理を１桁目まで行うことにより結果を得る。

以上のような処理により得られた最適な単語列を認識結
果として出力端子１１２へ出力する。

この発明は上述した実施例にのみ限定されるものではな
く、多くの変更又は変形を行い得ること明らかである０
例えば、プロミネンス検出部。

ワードスポツティング部及び韻律マツチング部の機能ブ
ロック及びその動作の流れは設計に応じて任意に変える
ことが出来る。

（発明の効果） 上述した説明からも明らかなように、この発明によれば
会話中の音声に生ずる独特の特徴、すなわち入力された
音声の発声内容を理解するための構文情報と、音声の発
声時における韻律情報という２つの特徴を用いている。

先ず、韻律情報であるプロミネンスにより重要単語候補
区間を抽出するので、複雑な演算を要するワードスポツ
ティング操作の処理を大幅に低減することが出来る。ま
た、最適単語系列を決定する際に、「へ」、「に」、「
を」、「で」という４つの接続詞を検出すれば、以降続
く不要な情報までも詳細にマツチングする必要がなく、
従って、余分な演算を削減出来る。

さらに、人の姓がキーワードとなっている場合は、拍数
とアクセント規則辞書を用いて韻律マー２チングを行う
ことによって、より確度の高い候補を得ることが可能で
あり、従って、会話音声認識時の演算量の削減と認識率
の向上が期待出来るのである。

【図面の簡単な説明】

第１図はこの発明の会話音声認識方式の一実施例を示す
ブロック図。 第２図は従来の連続音声認識方式の一例を示すブロック
図。 第３図はプロミネンス検出の動作の流れ図、第４図は認
識車形例を示す図、 第５図はキーワード辞書の一例を示す図。 第６図は構文補助辞書の一例を示す図、・第７図はワー
ドスポツティング部の動作の流れ図、 第８図（Ａ）〜（Ｃ）は認識単語の出現順序の説明図。 第９図は姓の種類、拍数、アクセント型を表わす図、 第１θ図は韻律マツチング部の動作の流れ図。 第１１図は拍数、アクセント辞書の一例を示す図である
。 １００・・・音声入力、　　　　１０１・・・音響処理
部１０２・・・音声区間検出部、１０３・・・音節識別
部１０４・・・韻律情報格納部 １０５・・・プロミネンス検出部 】０６・・・ワードスポツティング部 １０７・・・キーワード辞書、１０８・・・構文補助辞
書１０９・・・韻律マツチング部 １１０・・・音節数、アクセント辞書 １１１・・・認識判定部、　　１１２・・・出力端子。 特許出願人　　　　　沖電気工業株式会社−乍（ 薊Ｒ唄占 ＜６１ド ア０ロ三不ンスＩ９−鯨の１力１手のヅｔｅ−図第３図 第４図 キーワード辞書 第５図

Claims (1)

【特許請求の範囲】
1. （１）連続発声された入力音声を音響分析し、特徴パラ
   メータを得た後、該特徴パラメータと予め求めておいた
   標準単語音声の特徴パラメータとを比較し、複数個の音
   声候補より選択した１個の候補列を出力する連続音声認
   識方式において、 音響処理部から送られた韻律情報によりプロミネンスを
   検出するプロミネンス検出部と、 プロミネンス情報で得た重要単語候補区間をもとにワー
   ドスポッティングするワードスポッティング部と、 人の姓については特に音節数、アクセント辞書を用いて
   認識確度を向上させる韻律マッチング部を有することを
   特徴とする会話音声認識方式。