JP2880436B2

JP2880436B2 - 音声認識装置

Info

Publication number: JP2880436B2
Application number: JP7275866A
Authority: JP
Inventors: 寿幸竹澤; 逞森元
Original assignee: Ei Tei Aaru Onsei Honyaku Tsushin Kenkyusho Kk
Current assignee: Ei Tei Aaru Onsei Honyaku Tsushin Kenkyusho Kk
Priority date: 1995-10-24
Filing date: 1995-10-24
Publication date: 1999-04-12
Anticipated expiration: 2015-10-24
Also published as: JPH09114484A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声認識装置に関
し、特に、発声音声中におけるポーズ（無音区間）又は
冗長語などの無音区間等を検出して連続的に音声認識を
実行する音声認識装置に関する。なお、本明細書では、
ポーズと冗長語並びに韻律的な情報等を手がかりとする
区切りとを含むものを無音区間等という。

【０００２】

【従来の技術】近年、連続音声認識の研究が盛んに行わ
れ、いくつかの研究機関で文音声認識システムが構築さ
れている。これらのシステムの多くは丁寧に発声された
音声を入力対象にしている。しかしながら、人間同士の
コミュニケーションでは、「あのー」、「えーと」など
に代表される冗長語や、一時的に発声音声が無い無音区
間等の状態のポーズである言い淀みや言い誤り及び言い
直しなどが頻繁に出現する。

【０００３】図９は、図２に示す例文「きれいな黒い髪
の女の子を見た」を従来例の連続音声認識装置で音声認
識処理を実行するときの音声認識動作をスタック形式で
示す図である。従来例の連続音声認識装置の音声認識動
作について図９を参照して説明する。まず、図９の状態
スタック２０１に示すように、「きれいな」という発声
音声の系列が認識されて文字として積まれる。次に、状
態スタック２０１における「きれいな」という文字は音
声認識用辞書に載っているので、状態スタック２０２に
示すように形容詞句を表す「ａｄｊ」という文字に変換
される。次に、「黒い」という発声音声の系列が認識さ
れて状態スタック２０３に示すように文字として積ま
れ、状態スタック２０３における「黒い」は音声認識辞
書に載っているので状態スタック２０４に示すように形
容詞句を表す「ａｄｊ」という文字に変換される。

【０００４】次に、「髪の」という発声音声の系列が認
識されて状態スタック２０５に示すようにさらに文字と
して積まれ、状態スタック２０５における「髪の」とい
う文字は音声認識辞書に載っているので状態スタック２
０６に示すように名詞句を表す「ＮＰ」という文字に変
換される。さらに、状態スタック２０６において、形容
詞句の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の「Ｎ
Ｐ」になるという構文規則が適用されて、「黒い」が変
換された形容詞句の「ａｄｊ」と「髪の」が変換された
名詞句の「ＮＰ」とは、状態スタック２０７に示すよう
に名詞句の「ＮＰ」に変換される。すなわち、状態スタ
ック２０７における名詞句の「ＮＰ」は「黒い髪の」を
表す。

【０００５】ここで、状態スタック２０７において、形
容詞句の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の
「ＮＰ」になるという構文規則を適用するかしないか２
つの選択枝がある。ここで、構文規則を適用すると「き
れいな」は「髪の」に係ることになり、構文規則を適用
しないと「きれいな」は「髪の」に係らない構文構造の
ままで係り受け関係の決定は以降の音声認識処理に持ち
越されることになる。従って、このような場合、従来例
の連続音声認識装置では、文字を積む装置を２つに分離
して以降の音声認識を実行する。すなわち、一方の装置
は、状態スタック２０７に構文規則を適用した状態スタ
ック２０８に示す状態で以降の音声認識処理を実行し、
他方の装置は、状態スタック２０７のままの状態で以降
の音声認識処理を実行する。ここで、一方の装置の状態
スタック２０８における名詞句の「ＮＰ」は「きれいな
黒い髪の」を表す。

【０００６】一方の装置において、状態スタック２０９
に示すように「きれいな黒い髪の」を表示する名詞句
「ＮＰ」の上に、「女の子を」という発声音声の系列が
認識されて文字として積まれ、状態スタック２０９にお
ける「女の子を」の文字は音声認識辞書に載っているの
で状態スタック２１０に示すように名詞句を表す「Ｎ
Ｐ」という文字に変換される。次に状態スタック２１０
において、名詞句の「ＮＰ」と名詞句の「ＮＰ」は名詞
句の「ＮＰ」になるという構文規則が適用されて、状態
スタック２１０の「きれいな黒い髪の」が変換された名
詞句の「ＮＰ」と「女の子を」が変換された名詞句の
「ＮＰ」は状態スタック２１１に示すように名詞句の
「ＮＰ」に変換される。ここで、状態スタック２１１の
名詞句「ＮＰ」は「きれいな黒い髪の女の子」を表す。
そして、「見た」という発声音声の系列が認識されて状
態スタック２１２に示すように文字として積まれ、状態
スタック２１２における「見た」は音声認識用辞書に載
っているので状態スタック２１３に示すように動詞句を
表す「ＶＰ」に変換され、状態スタック２１４に示すよ
うに１つの文章として認識される。すなわち、「きれい
な」が「髪に」に係る構造の認識結果が得られる。

【０００７】他方の装置において、「女の子を」という
発声音声の系列が認識されて状態スタック２２１に示す
ように文字として積まれ、「女の子を」の文字は状態ス
タック２２２に示すように名詞句を表す「ＮＰ」という
文字に変換される。次に状態スタック２２２において、
構文規則が適用されて、「黒い髪の」が変換された名詞
句の「ＮＰ」と「女の子を」が変換された名詞句の「Ｎ
Ｐ」は状態スタック２２３に示すように名詞句の「Ｎ
Ｐ」に変換される。ここで、状態スタック２２３の名詞
句「ＮＰ」は「黒い髪の女の子」を表す。そして、さら
に構文規則が適用されて、「きれいな」が変換された形
容詞句の「ａｄｊ」と「黒い髪の女の子を」が変換され
た名詞句の「ＮＰ」は状態スタック２２４に示すように
名詞句の「ＮＰ」に変換される。すなわち、「きれい
な」が「女の子を」に係る構造として認識される。次
に、「見た」という発声音声の系列が認識されて状態ス
タック２２５に示すように文字として積まれ、状態スタ
ック２２５における「見た」は状態スタック２２６に示
すように動詞句を表す「ＶＰ」に変換され、状態スタッ
ク２２７に示すように１つの文章として認識される。す
なわち、「きれいな」が「女の子を」に係る構造の認識
結果が得られる。

【０００８】

【発明が解決しようとする課題】以上詳述したように、
図２の例文を従来例の連続音声認識装置で認識すると、
「きれいな」が「髪の」に係る構造の認識結果と、「き
れいな」が「女の子を」に係る構造の認識結果の２つの
異なる構造の認識結果が得られ、統語解析における係り
受け関係の曖昧性が解消できないという問題点があっ
た。また、その結果さらに長い発話を扱うと曖昧性が増
していくという問題点があった。

【０００９】本発明の目的は以上の問題点を解決し、統
語解析における係り受け関係の曖昧性を解消することの
できる音声認識装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明に係る請求項１記
載の音声認識装置は、入力された発声音声を音声認識し
て音声認識結果を出力する音声認識手段を備えた音声認
識装置において、入力された発声音声に基づいてポーズ
と冗長語と句又は節の境界とのうちの少なくとも１つを
検出して検出信号を出力する検出手段を備え、上記音声
認識手段は、上記検出信号に基づいて、上記ポーズと冗
長語と句又は節の境界とのうちの少なくとも１つによっ
て分割された複数の音声区間からなる入力された発声音
声の各音声区間について音声認識処理をした後、異なる
音声区間に属する語、句又は節の間の係り受け関係を決
定して、上記入力された発声音声の音声認識をすること
を特徴とする。

【００１１】

【００１２】また、請求項２記載の音声認識装置は、請
求項１記載の音声認識装置において、上記検出手段は、
上記発声音声のパワーが、所定の時間の範囲だけ、所定
のしきい値以下である第１の条件と、上記発声音声のゼ
ロクロスの数が、所定の時間の間において、所定のしき
い値以上である第２の条件とのうち少なくとも１つの条
件が満足することを検出することにより上記ポーズを検
出することを特徴とする。

【００１３】さらに、請求項３記載の音声認識装置は、
請求項１記載の音声認識装置において、上記検出手段
は、上記ポーズと冗長語と句又は節の境界とのうちの少
なくとも１つを、それぞれの予め決められた言語モデル
に一致するか否かを判断することにより検出することを
特徴とする。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。＜第１の実施形態＞図１は、本発明に係る第１の実施形
態である連続音声認識装置８１のブロック図である。第
１の実施形態の連続音声認識装置８１は、ＳＳＳ（Succ
essive State Splitting：逐次状態分割法）−ＬＲ（le
ft-to-right rightmost derivation型、すなわち最右
導出型）不特定話者連続音声認識装置であって、隠れマ
ルコフ網（以下、ＨＭ網という。）メモリ１１に格納さ
れた隠れマルコフモデル（以下、ＨＭＭという。）のネ
ットワークを用いて音素照合処理を音素照合部４で実行
しその結果である音声認識スコアを音素コンテキスト依
存型ＬＲパーザ（以下、ＬＲパーザという。）５に送
り、これに応答してＬＲパーザ５が入力された発声音声
の１つの文に対して連続音声認識を実行して音素予測デ
ータを音素照合部４に送って音声認識処理を行う。第１
の実施形態は特に、バッファメモリ３から出力される特
徴パラメータの時系列に基づいてポーズや冗長語並びに
韻律的な情報等を手がかりとする区切りを含む無音区間
等を検出してその検出信号をＬＲパーザ５に出力する無
音区間等検出部３０を備え、ＬＲパーザ５は、無音区間
等検出部３０から入力された検出信号で示された区切り
単位の音声区間のデータを読み込んで、当該音声区間に
対してＨＭＭ−ＬＲ法を用いた区間制限付きＨＭＭ−Ｌ
Ｒ処理を実行し、最後の区切り単位の末端まで到達する
と入力された発声音声の１つの文に対して区間制限無し
ＨＭＭ−ＬＲ処理を実行することにより音声認識結果デ
ータを出力することを特徴とする。

【００１５】ここで、上記ＳＳＳにおいては、音素の特
徴空間上に割り当てられた確率的定常信号源（状態）の
間の確率的な遷移により音声パラメータの時間的な推移
を表現した確率モデルに対して、尤度最大化の基準に基
づいて個々の状態をコンテキスト方向又は時間方向へ分
割するという操作を繰り返すことによって、モデルの精
密化を逐次的に実行する。

【００１６】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して音素照合部４に入力される。

【００１７】音素照合部４に接続されるＨＭ網メモリ１
１内のＨＭ網は、各状態をノードとする複数のネットワ
ークとして表され、各状態はそれぞれ以下の情報を有す
る。（ａ）状態番号（ｂ）受理可能なコンテキストクラス（ｃ）先行状態、及び後続状態のリスト（ｄ）出力確率密度分布のパラメータ（ｅ）自己遷移確率及び後続状態への遷移確率

【００１８】なお、第１の実施形態において、ＨＭ網
は、各分布がどの話者に由来するかを特定する必要があ
るため、所定の話者混合ＨＭ網を変換して作成する。こ
こで、出力確率密度関数は３４次元の対角共分散行列を
もつ混合ガウス分布であり、各分布はある特定の話者の
サンプルを用いて学習されている。

【００１９】音素照合部４は、ＬＲパーザ５からの音素
照合要求に応じて音素照合処理を実行する。このとき
に、ＬＲパーザ５からは、音素照合区間及び照合対象音
素とその前後の音素から成る音素コンテキスト情報が渡
される。音素照合部４は、受け取った音素コンテキスト
情報に基づいてそのようなコンテキストを受理すること
ができるＨＭ網上の状態を、先行状態リストと後続状態
リストの制約内で連結することによって、１つのモデル
が選択される。そして、このモデルを用いて音素照合区
間内のデータに対する尤度が計算され、この尤度の値が
音素照合スコアとしてＬＲパーザ５に返される。このと
きに用いられるモデルは、ＨＭＭと等価であるために、
尤度の計算には通常のＨＭＭで用いられている前向きパ
スアルゴリズムをそのまま使用する。

【００２０】一方、無音区間等検出部３０は、バッファ
メモリ３から出力される特徴パラメータの時系列に基づ
いてポーズや冗長語並びに韻律的な情報等を手がかりと
する区切りを含む無音区間等を検出して、その検出信号
をＬＲパーザ５に出力する。ここで、無音区間等検出部
３０は、冗長語については予め内部メモリに格納された
冗長語の音素モデルと比較照合することにより冗長語と
して認識する一方、無音区間であるポーズについては以
下の２つの条件のうちの１つが満足するときにポーズと
して検出する。（第１の検出条件）パワーが所定のしきい値レベル以下
である時間ｔ０が例えば以下の範囲の値のとき。好まし
くは、５０ミリ秒≦ｔ０≦３秒。より好ましくは、５０
ミリ秒≦ｔ０≦５００ミリ秒。（第２の検出条件）入力された音声信号がゼロ電位と交
差するゼロクロスの数が所定のしきい値以上である時間
ｔ１が例えば以下の範囲の値のとき。好ましくは、５０
ミリ秒≦ｔ１≦３秒。より好ましくは、５０ミリ秒≦ｔ
１≦５００ミリ秒。さらに、韻律的な情報等を手がかり
とする区切りとは、具体的には、イントネーションが急
激に上昇又は下降するときは、句又は節の境界であると
推測される。これについては、入力される特徴パラメー
タのうち基本周波数が所定の傾斜の度合い以上で急激に
上昇し又は下降して変化したことを検出することにより
当該区切り又は境界と判別する。

【００２１】そして、ＬＲパーザ５は、無音区間等検出
部３０から入力された検出信号で示された区切り単位の
音声区間のデータを読み込んで、当該音声区間に対して
ＨＭＭ−ＬＲ法を用いた区間制限付きＨＭＭ−ＬＲ処理
を実行し、最後の区切り単位の末端まで到達すると入力
された発声音声の１つの文に対して区間制限無しＨＭＭ
−ＬＲ処理を実行することにより音声認識結果データを
出力する。ここで、区間制限付きＨＭＭ−ＬＲ処理と
は、１つの区切り単位の音声区間内に限って実行するＨ
ＭＭを用いたＬＲパーザ５による音声認識処理のことで
あり、区間制限無しＨＭＭ−ＬＲ処理とは、区間を限定
せず、入力された発声音声の１つの文に対して、異なる
区切り単位の音声区間に属する語、句又は節にＬＲテー
ブルメモリ１３内の構文規則を適用して実行するＨＭＭ
を用いたＬＲパーザ５による音声認識処理のことであ
る。ここで、音声区間とは図５に示すように入力された
発声音声の１つの文のうちの無音区間等（図５において
は括弧を付して示している。）によって分割された１つ
の区間のことをいい、区切り単位とは図５において括弧
を付して示すように音声区間と当該音声区間の後にある
無音区間等とからなる１単位のことをいう。また、本明
細書において、無音区間等とはポーズと冗長語並びに韻
律的な情報等を手がかりとする区切りとを含むものをい
い、ポーズ単位とは図５に示すようにポーズによって分
割された区切り単位のことをいう。

【００２２】文脈自由文法データベースメモリ２０内の
所定の文脈自由文法（ＣＦＧ）は公知の通り予め自動的
に変換されてＬＲテーブルを作成してＬＲテーブルメモ
リ１３に格納される。ＬＲパーザ５は、例えば音素継続
時間長モデルを含む話者モデルメモリ１２と上記ＬＲテ
ーブルとを参照して、入力された音素予測データについ
て左から右方向に、後戻りなしに処理する。構文的にあ
いまいさがある場合は、スタックを分割してすべての候
補の解析が平行して処理される。ＬＲパーザ５は、ＬＲ
テーブルメモリ１３内のＬＲテーブルから次にくる音素
を予測して音素予測データを音素照合部４に出力する。
これに応答して、音素照合部４は、その音素に対応する
ＨＭ網メモリ１１内の情報を参照して照合し、その尤度
を音声認識スコアとしてＬＲパーザ５に戻し、順次音素
を連接していくことにより、連続音声の認識を行ってい
る。

【００２３】以上のように構成された第１の実施形態の
連続音声認識装置８１において、特徴抽出部２と音素照
合部４とＬＲパーザ５とは、例えばデジタル電子計算機
で構成される。

【００２４】図６は、図１の連続音声認識装置８１のＬ
Ｒパーザ５において実行される音声認識処理を示すフロ
ーチャートである。以下、図６を参照して音声認識処理
について説明する。

【００２５】図６に示すように、ステップＳ１において
は、ＨＭＭ作業域の初期化、並びにＬＲパーザ５の初期
化を実行する。具体的には、状態スタック０のセルを１
個作成する。ここで、連続音声認識装置８１において用
いるセルは、従来のＨＭＭ−ＬＲ法の音声認識の解析に
必要な情報を保持するデータ構造、すなわち状態スタッ
クを有するＬＲ作業域と、音声認識スコアと確率テーブ
ルとからなるＨＭＭ作業域とを有する。

【００２６】そして、ステップＳ２において、無音区間
等検出部３０から入力された検出信号で示された区切り
単位の音声区間のデータを読み込む。さらに、ステップ
Ｓ３において、音声データが読み込まれた区切り単位の
音声区間に対してＨＭＭ−ＬＲ法を用いた区間制限付き
ＨＭＭ−ＬＲ処理を実行する。ステップＳ４において、
複数の区切り単位のうち最後の区切り単位の末端まで到
達したか否かが判断され、最後の区切り単位の末端まで
到達していないときは（ステップＳ４においてＮＯ）ス
テップＳ２に進み、ステップＳ２，Ｓ３の処理を繰り返
す。一方、ステップＳ４において、最後の区切り単位の
末端まで到達しているときは（ステップＳ４においてＹ
ＥＳ）ステップＳ５に進み、区間制限無しＨＭＭ−ＬＲ
処理を実行して音声認識処理を終了する。

【００２７】次に、図１の第１の実施形態の連続音声認
識装置８１の音声認識動作を図２に示す例文を用いて説
明する。図２は、文の構造解析すなわち統語解析におけ
る係り受け関係の曖昧性を含む一例文である。図２の例
文を文字列のみを認識して解析しようとすると、図２の
例文の上に矢印で示した第１の係り受け関係と例文の下
に矢印で示した第２の係り受け関係の少なくとも２つの
係り受け関係の曖昧性が残る。すなわち、「きれいな」
が「女の子」に係る第１の係り受け関係の「きれいな女
の子」であるのか、「きれいな」が「髪」に係る第２の
係り受け関係の「きれいな髪」であるのかが不明であ
る。本発明者らは、無音区間であるポーズを利用するこ
とにより上述の２つの係り受け関係のうちのいずれか１
つに決定できることを見いだした。すなわち、「きれい
な」と「黒い」との間に無音区間であるポーズ（図２に
おいては、「きれいな」と「黒い」との間に「△」で示
している。）があれば、「きれいな」が「女の子」に係
る第１の係り受け関係であると決定でき、「髪の」と
「女の子を」との間にポーズ（図２においては、「髪
の」と「女の子を」との間に「△」で示している。）が
あれば、「きれいな」が「髪」に係る第２の係り受け関
係であると決定できる。本発明は上述のポーズと係り受
け関係との間の規則を利用して、統語解析における係り
受け関係の曖昧性を取り除いて音声認識処理を実行して
いる。

【００２８】図３は、図２の例文において第１の係り受
け関係を有する場合の連続音声認識装置８１の音声認識
動作をスタック形式で示す図である。以下に第１の係り
受け関係を有する場合の音声認識動作を図３を参照して
説明する。まず、図３の状態スタック５１に示すよう
に、ＬＲパーザ５で「きれいな」という発声音声の系列
が認識されて文字として積まれ、次に「きれいな」の認
識処理の直後でポーズが無音区間等検出部３０によって
検出されて、検出信号が当該検出部３０からＬＲパーザ
５に入力されて「きれいな」という文字の上にポーズを
表示する「△」として積まれる。次に、状態スタック５
１における「きれいな」という文字は音声認識用辞書に
載っているので、状態スタック５２に示すように形容詞
句を表す「ａｄｊ」という文字に変換される。次に、Ｌ
Ｒパーザ５で「黒い」という発声音声の系列が認識され
て状態スタック５３に示すようにポーズを表示する
「△」の上に文字として積まれ、状態スタック５３にお
ける「黒い」は音声認識辞書に載っているので状態スタ
ック５４に示すように形容詞句を表す「ａｄｊ」という
文字に変換される。ここで、状態スタック５４において
「きれいな」が変換された形容詞句の「ａｄｊ」と「黒
い」が変換された形容詞句の「ａｄｊ」とには、間にポ
ーズを表示する「△」が積まれているので構文規則は適
用されない。

【００２９】次に、ＬＲパーザ５で「髪の」という発声
音声の系列が認識されて状態スタック５５に示すように
「黒い」が変換された形容詞句の「ａｄｊ」の上に文字
として積まれ、状態スタック５５における「髪の」とい
う文字は音声認識辞書に載っているので状態スタック５
６に示すように名詞句を表す「ＮＰ」という文字に変換
される。さらに、状態スタック５６において、形容詞句
の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の「ＮＰ」
になるという構文規則が適用されて、「黒い」が変換さ
れた形容詞句の「ａｄｊ」と「髪の」が変換された名詞
句の「ＮＰ」とは状態スタック５７に示すように名詞句
の「ＮＰ」に変換される。すなわち、状態スタック５７
における名詞句の「ＮＰ」は「黒い髪の」を表す。次
に、「女の子を」という発声音声の系列が認識されて状
態スタック５８に示すように「黒い髪の」を表す名詞句
の「ＮＰ」の上に文字として積まれ、状態スタック５８
における「女の子を」の文字は音声認識辞書に載ってい
るので状態スタック５９に示すように名詞句を表す「Ｎ
Ｐ」という文字に変換される。

【００３０】次に状態スタック５９において、名詞句の
「ＮＰ」と名詞句の「ＮＰ」は名詞句の「ＮＰ」になる
という構文規則が適用されて、状態スタック５９の「黒
い髪の」が変換された名詞句の「ＮＰ」と「女の子を」
が変換された名詞句の「ＮＰ」は状態スタック６０に示
すように名詞句の「ＮＰ」に変換される。ここで、状態
スタック６０の名詞句の「ＮＰ」は「黒い髪の女の子」
を表す。そして、ＬＲパーザ５で「見た」という発声音
声の系列が認識されて状態スタック６１に示すように
「黒い髪の女の子」を表す名詞句の「ＮＰ」の上に文字
として積まれ、状態スタック６１における「見た」は音
声認識用辞書に載っているので状態スタック６２に示す
ように動詞句を表す「ＶＰ」に変換される。

【００３１】そして、最後のポーズ単位の末端まで到達
していると判断されて、ポーズを表示する「△」の前後
に位置する「きれいな」を表す形容詞句の「ａｄｊ」と
「黒い髪の女の子を」を表す名詞句の「ＮＰ」とに、形
容詞句の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の
「ＮＰ」になるという構文規則が適用されて状態スタッ
ク６３に示すように名詞句の「ＮＰ」に変換される。こ
こで、状態スタック６３の名詞句の「ＮＰ」は、「きれ
いな」が「女の子を」に係る構造の「きれいな黒い髪の
女の子を」を表す。さらに、状態スタック６４に示すよ
うに文章を表す「Ｓ」に変換されて、「きれいな」が
「女の子を」に係るような構造の音声認識結果のみが出
力される。以上のようにポーズを表示する「△」の前後
に位置する「きれいな」を表す形容詞句の「ａｄｊ」と
「黒い髪の女の子を」を表す名詞句の「ＮＰ」との間の
構文規則の適用を最後のポーズ単位の末端まで到達して
から実行するので、「きれいな」が「女の子を」に係る
構造の音声認識結果のみを出力することができる。以上
のように第１の実施形態では、複数の音声区間からなる
入力された発声音声の１つの文の各音声区間の音声認識
を実行した後、区間を限定せず、入力された発声音声の
１つの文に対して異なる音声区間に属する語、句又は節
の間にＬＲテーブルメモリ１３内の構文規則を適用して
異なる音声区間に属する語、句又は節の間の係り受け関
係を決定している。

【００３２】図４は、図２の例文において第２の係り受
け関係を有する場合の連続音声認識装置８１の音声認識
動作をスタック形式で示す図である。以下に第２の係り
受け関係を有する場合の音声認識動作を図４を参照して
説明する。まず、図４の状態スタック１５１に示すよう
に、ＬＲパーザ５で「きれいな」という発声音声の系列
が認識されて文字として積まれる。次に、状態スタック
１５１における「きれいな」という文字は音声認識用辞
書に載っているので、状態スタック１５２に示すように
形容詞句を表す「ａｄｊ」という文字に変換される。次
に、ＬＲパーザ５で「黒い」という発声音声の系列が認
識されて状態スタック１５３に示すように「きれいな」
を表す形容詞句の「ａｄｊ」の上に文字として積まれ、
状態スタック１５３における「黒い」は音声認識辞書に
載っているので状態スタック１５４に示すように形容詞
句を表す「ａｄｊ」という文字に変換される。

【００３３】次に、ＬＲパーザ５で「髪の」という発声
音声の系列が認識されて状態スタック１５５に示すよう
に「黒い」を表す形容詞句の「ａｄｊ」の上に文字とし
て積まれ、次に「髪の」の認識処理の直後でポーズが無
音区間等検出部３０によって検出されて、検出信号が当
該検出部３０からＬＲパーザ５に入力されてポーズを表
示する「△」として「髪の」の文字の上に積まれる。そ
して、状態スタック１５５における「髪の」という文字
は音声認識辞書に載っているので状態スタック１５６に
示すように名詞句を表す「ＮＰ」という文字に変換され
る。

【００３４】さらに、状態スタック１５６において、形
容詞句の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の
「ＮＰ」になるという構文規則が適用されて、「黒い」
が変換された形容詞句の「ａｄｊ」と「髪の」が変換さ
れた名詞句の「ＮＰ」とは状態スタック１５７に示すよ
うに名詞句の「ＮＰ」に変換される。すなわち、状態ス
タック１５７における名詞句の「ＮＰ」は「黒い髪の」
を表す。さらに、状態スタック１５７において、形容詞
句の「ａｄｊ」と名詞句の「ＮＰ」とは名詞句の「Ｎ
Ｐ」になるという構文規則が適用されて、「きれいな」
が変換された形容詞句の「ａｄｊ」と「黒い髪の」を表
す名詞句の「ＮＰ」とは状態スタック１５８に示すよう
に名詞句の「ＮＰ」に変換される。これによって、「き
れいな」が「髪の」にかかる構造として認識される。

【００３５】次に、「女の子を」という発声音声の系列
が認識されて状態スタック１５９に示すようにポーズを
表示する「△」の上に文字として積まれ、状態スタック
１５９における「女の子を」の文字は音声認識辞書に載
っているので状態スタック１６０に示すように名詞句を
表す「ＮＰ」という文字に変換される。ここで、状態ス
タック１６０において「きれいな黒い髪の」を表す名詞
句の「ＮＰ」と「女の子を」が変換された名詞句の「Ｎ
Ｐ」とには、間にポーズを表示する「△」が積まれてい
るので構文規則は適用されない。そして、「見た」とい
う発声音声の系列が認識されて状態スタック１６１に示
すように「女の子を」が変換された名詞句の「ＮＰ」の
上に文字として積まれ、状態スタック１６１における
「見た」は音声認識用辞書に載っているので状態スタッ
ク１６２に示すように動詞句を表す「ＶＰ」に変換され
る。

【００３６】そして、ＬＲパーザ５で最後のポーズ単位
の末端まで到達していると判断されて、状態スタック１
６２におけるポーズを表示する「△」の前後に位置する
「きれいな黒い髪の」を表す名詞句の「ＮＰ」と「女の
子を」を表す名詞句の「ＮＰ」とにＬＲテーブルメモリ
１３内の構文規則が適用されて、状態スタック１６３に
示すように名詞句の「ＮＰ」に変換されて、さらに状態
スタック１６４に示すように文章を表す「Ｓ」の文字に
変換されて、「きれいな」が「黒い髪の」に係るような
構造の音声認識結果のみが出力される。

【００３７】以上の第１の実施形態の連続音声認識装置
８１は、無音区間等を検出して検出信号を出力する無音
区間等検出部３０を備え、ＬＲパーザ５は、無音区間等
検出部３０から入力された検出信号で示された区切り単
位の音声区間のデータを読み込んで、当該音声区間に対
してＨＭＭ−ＬＲ法を用いた区間制限付きＨＭＭ−ＬＲ
処理を実行し、最後の区切り単位の末端まで到達すると
入力された発声音声の１つの文に対して区間制限無しＨ
ＭＭ−ＬＲ処理を実行することにより音声認識結果デー
タを出力する。これによって、各区切り単位の音声区間
内における係り受け関係を決定した後、異なる区切り単
位の音声区間に属する語、句又は節の間の係り受け関係
を決定できるので、統語解析における係り受け関係の曖
昧性を解消することができる。

【００３８】＜第２の実施形態＞図７は、本発明に係る
第２の実施形態である連続音声認識装置８２のブロック
図である。図７の第２の実施形態の連続音声認識装置８
２は、図１の第１の実施形態の連続音声認識装置８１の
隠れマルコフ網メモリ１１に代えて隠れマルコフ網メモ
リ１１ａを備え、かつ無音区間等検出部３０を除いて構
成される。第２の実施形態の連続音声認識装置８２にお
いては、ポーズや冗長語並びに韻律的な情報等を手がか
りとする区切りなどの無音区間等をＨＭＭでモデル化し
たモデルが隠れマルコフ網メモリ１１ａに格納され、当
該モデルを用いて無音区間等の検出を音素照合部４で行
っている。

【００３９】図８は、図７の連続音声認識装置８２にお
いて実行される音声認識処理を示すフローチャートであ
る。以下、図８を参照して第２の実施形態の連続音声認
識装置８２の音声認識処理について説明する。まず、ス
テップＳ１０においては、ＨＭＭ作業域の初期化、並び
にＬＲパーザ５の初期化を実行する。具体的には、状態
スタック０のセルを１個作成する。そして、ステップＳ
１１において、例えば、特徴パラメータの処理単位であ
る音声フレーム（例えば２０ミリ秒）毎に音声データの
読み込みを行い、ステップＳ１２において区間制限付き
ＨＭＭ−ＬＲ処理を実行する。次にステップＳ１３にお
いて無音区間等を検出したか否かが判断され、無音区間
等を検出していない場合はステップＳ１１に進みステッ
プＳ１１，Ｓ１２の処理が繰り返され、無音区間等を検
出した場合はステップＳ１４に進む。

【００４０】ステップＳ１４において、すべての音声区
間の音声認識処理が終了したか否かが判断され、すべて
の音声区間の処理が終了していないときは（ステップＳ
１４においてＮＯ）ステップＳ１１に進み、ステップＳ
１１，Ｓ１２，Ｓ１３の処理を繰り返し、すべての音声
区間の処理が終了したと判断されると（ステップＳ１４
においてＹＥＳ）ステップＳ１５に進み、入力された発
声音声の１つの文に対して区間制限無しＨＭＭ−ＬＲ処
理を実行して音声認識処理を終了する。

【００４１】以上の第２の実施形態の連続音声認識装置
８２は、無音区間等の検出を隠れマルコフ網メモリ１１
ａに格納されたＨＭＭでモデル化した無音区間等のモデ
ルを使用して音素照合部４で行い、ＬＲパーザ５は、音
声データを読み込んで、１つの音声区間に対してＨＭＭ
−ＬＲ法を用いた区間制限付きＨＭＭ−ＬＲ処理を実行
し、各音声区間についての処理が終了すると入力された
発声音声の１つの文に対して区間制限無しＨＭＭ−ＬＲ
処理を実行することにより音声認識結果データを出力す
る。これによって、各区切り単位の音声区間内における
係り受け関係を決定した後、異なる音声区間に属する
語、句又は節の間の係り受け関係を決定できるので、統
語解析における係り受け関係の曖昧性を解消することが
できる。

【００４２】以上の第１と第２の実施形態においては、
入力された発声音声の１つの文に対して区間制限無しＨ
ＭＭ−ＬＲ処理を実行することにより音声認識結果デー
タを出力するようにした。しかしながら、本発明はこれ
に限らず、入力された発声音声の１つの句又は節等の１
つのシーケンスの発声音声に対して区間制限無しＨＭＭ
−ＬＲ処理を実行するようにしてもよいし、連続音声認
識装置のスイッチがオンされてからオフされるまでの間
に入力される発声音声に対して区間制限無しＨＭＭ−Ｌ
Ｒ処理を実行するようにしてもよい。以上のように構成
しても第１と第２の実施形態と同様に動作し同様の効果
を有する。

【００４３】以上の第１と第２の実施形態においては、
ＨＭＭ−ＬＲ法を用いた音声認識装置について述べてい
るが、本発明はこれに限らず、ニューラルネットワーク
を用いた音声認識装置など他の種類の音声認識装置に適
用することができる。

【００４４】

【発明の効果】本発明に係る請求項１記載の音声認識装
置によれば、入力された発声音声に基づいてポーズと冗
長語と句又は節の境界とのうちの少なくとも１つを検出
して検出信号を出力する検出手段を備え、上記音声認識
手段は、上記検出信号に基づいて、上記ポーズと冗長語
と句又は節の境界とのうちの少なくとも１つによって分
割された複数の音声区間からなる入力された発声音声の
各音声区間について音声認識処理をした後、異なる音声
区間に属する語、句又は節の間の係り受け関係を決定し
て、上記入力された発声音声の音声認識をしている。こ
れによって、統語解析における係り受け関係の曖昧性を
解消できる。

【００４５】

【００４６】また、請求項２記載の音声認識装置は、請
求項１記載の音声認識装置において、上記検出手段は、
上記発声音声のパワーが、所定の時間の範囲だけ、所定
のしきい値以下である第１の条件と、上記発声音声のゼ
ロクロスの数が、所定の時間の間において、所定のしき
い値以上である第２の条件とのうち少なくとも１つの条
件が満足することを検出することにより上記ポーズを検
出している。これによって、上記ポーズに基づいて統語
解析における係り受け関係を決定でき、統語解析におけ
る係り受け関係の曖昧性を解消できる。

【００４７】さらに、請求項３記載の音声認識装置は、
請求項１記載の音声認識装置において、上記検出手段
は、上記ポーズと冗長語と句又は節の境界とのうちの少
なくとも１つを、それぞれの予め決められた言語モデル
に一致するか否かを判断することにより検出している。
これによって、音声認識過程で上記ポーズと冗長語と句
又は節の境界とのうちの少なくとも１つを検出でき、統
語解析における係り受け関係の曖昧性を解消できる。

【図面の簡単な説明】

【図１】本発明に係る第１の実施形態である連続音声
認識装置のブロック図である。

【図２】図１の連続音声認識装置８１の音声認識動作
を説明するために用いた第１と第２の２つの係り受け関
係を有する一例文を示す図である。

【図３】図１の連続音声認識装置８１の音声認識動作
の一例をスタック形式で示す図である。

【図４】図１の連続音声認識装置８１の音声認識動作
の図３とは異なる例をスタック形式で示す図である。

【図５】図２の例文の音声区間、ポーズ（無音区間
等）及びポーズ単位（区切り単位）を示す図である。

【図６】図１の連続音声認識装置８１のＬＲパーザ５
によって実行される音声認識処理を示すフローチャート
である。

【図７】本発明に係る第２の実施形態である連続音声
認識装置８２のブロック図である。

【図８】図７の連続音声認識装置８２のＬＲパーザ５
によって実行される音声認識処理を示すフローチャート
である。

【図９】従来例の連続音声認識装置の音声認識動作を
スタック形式で示す図である。

【符号の説明】

１…マイクロホン、２…特徴抽出部、３…バッファメモリ、４…音素照合部、５…ＬＲパーザ、１１，１１ａ…隠れマルコフ網メモリ、１２…話者モデルメモリ、１３…ＬＲテーブルメモリ、２０…文脈自由文法データベースメモリ、３０…無音区間等検出部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−285570（ＪＰ，Ａ) 特開平７−261782（ＪＰ，Ａ) 日本音響学会講演論文集（平成７年９月）１−２−12，ｐ．23〜24 情報処理学会技術研究報告［音声言語情報処理］６−５，ｐ．27〜34（平成７年５月) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 561 G10L 3/00 531 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】入力された発声音声を音声認識して音声
認識結果を出力する音声認識手段を備えた音声認識装置
において、入力された発声音声に基づいてポーズと冗長語と句又は
節の境界とのうちの少なくとも１つを検出して検出信号
を出力する検出手段を備え、上記音声認識手段は、上記検出信号に基づいて、上記ポ
ーズと冗長語と句又は節の境界とのうちの少なくとも１
つによって分割された複数の音声区間からなる入力され
た発声音声の各音声区間について音声認識処理をした
後、異なる音声区間に属する語、句又は節の間の係り受
け関係を決定して、上記入力された発声音声の音声認識
をすることを特徴とする音声認識装置。
【請求項２】上記検出手段は、上記発声音声のパワー
が、所定の時間の範囲だけ、所定のしきい値以下である
第１の条件と、上記発声音声のゼロクロスの数が、所定
の時間の間において、所定のしきい値以上である第２の
条件とのうち少なくとも１つの条件が満足することを検
出することにより上記ポーズを検出することを特徴とす
る請求項１記載の音声認識装置。
【請求項３】上記検出手段は、上記ポーズと冗長語と
句又は節の境界とのうちの少なくとも１つを、それぞれ
の予め決められた言語モデルに一致するか否かを判断す
ることにより検出することを特徴とする請求項１記載の
音声認識装置。