JPH06175688A

JPH06175688A - 音声認識装置

Info

Publication number: JPH06175688A
Application number: JP4328132A
Authority: JP
Inventors: Hiroshi Matsuura; 博松浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1992-12-08
Filing date: 1992-12-08
Publication date: 1994-06-24
Anticipated expiration: 2017-11-05
Also published as: JP3340163B2

Abstract

(57)【要約】【目的】音声認識の結果により、その認識候補を外部出
力して利用者に選択させる場合に、極端に似ていない候
補が表示されることを防止できるようにする。【構成】利用者が発声した音声はＡ／Ｄ変換器１により
量子化された後、分析・特徴抽出部２によるＬＰＣ分
析、連続マッチング部３による連続マッチング処理、そ
してＨＭＭ認識部５による認識処理が行われ、認識候補
が制御部１０に渡される。制御部１０は、第１位の認識
候補により候補表示制限部９を構成するテーブルを参照
し、その候補に対応して同テーブルに登録されていない
候補については、第１位の候補とは全く似ていないもの
として、ＨＭＭ認識部５より渡された候補から除外し
て、利用者の選択対象とすべき候補を決定する。この決
定された選択候補は表示部７に表示され、利用者の選択
部８を用いた選択操作に供される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人間の発声した音声を
認識して機器等を制御するのに好適な音声認識装置に関
する。

【０００２】

【従来の技術】この種の音声認識装置では、利用者が発
声した音声を所定の認識方式により認識し、その認識結
果を例えば類似度の大きい順に例えば第３位までを選択
候補として表示することにより、利用者にいずれか１つ
を選択させるようになっている。

【０００３】

【発明が解決しようとする課題】しかし従来は、特定の
認識方式による類似度順で選択候補を表示した場合、利
用者の感覚では似ても似つかない候補が併記されること
が度々発生し、非常な違和感を利用者にいだかせるとい
う問題があった。

【０００４】本発明は上記事情に鑑みてなされたもので
その目的は、音声認識の結果により、その認識候補を外
部出力して利用者に選択させる場合に、極端に似ていな
い候補が表示されることを防止できる音声認識装置を提
供することにある。

【０００５】

【課題を解決するための手段】本発明は、利用者が発声
した音声を入力するための音声入力手段と、入力された
音声を分析し、特徴量を抽出する分析・特徴抽出手段
と、抽出された特徴量を用いて音声を認識して１つまた
は複数の認識候補を求める認識手段とを備えた音声認識
装置において、認識手段により求められ得る認識候補の
うち、利用者にとって聞き誤りしやすい似通った候補同
士が予めグループ化されて登録されている登録手段と、
認識手段によって実際に求められた認識候補の中から、
利用者にとって似通っていないと判断される候補を登録
手段の登録内容をもとに除外して、利用者による選択対
象とすべき候補を決定する選択候補決定手段と、この選
択候補決定手段によって決定された選択候補を外部出力
して、利用者による候補選択に供する選択候補出力手段
とを設けたことを特徴とするものである。

【０００６】

【作用】上記の構成において、利用者が発声した音声は
音声入力手段により入力されて、分析・特徴抽出手段に
より分析され、その特徴量が抽出され、しかる後、認識
手段によりその特徴量を用いた認識処理が行われ、認識
候補が求められる。選択候補決定手段は、認識手段によ
って求められた認識候補をもとに、登録手段を参照す
る。この登録手段には、認識手段により求められ得る認
識候補のうち、利用者にとって聞き誤りしやすい候補同
士が予めグループ化されて登録されている。この登録情
報は、複数の話者が１人ずつ発声する単語を複数の聞き
手が認識した結果を集計することにより、実験的に求め
ることが可能である。

【０００７】そこで選択候補決定手段は、上記のように
登録手段を参照することにより、認識手段によって求め
られた認識候補の中から、利用者にとって似通っていな
いと判断される候補を除外して、利用者による選択対象
とすべき候補を決定する。この決定された選択候補は選
択候補出力手段により表示あるいは音声出力されて、利
用者による候補選択に供される。

【０００８】このように上記の構成によれば、認識手段
により認識された候補を（例えば類似度の大きい順に）
そのまま表示あるいは音声出力して利用者に選択させる
のではなく、人間では聞き間違えるような候補のみ選ん
で利用者に選択させるため、利用者に違和感を与えな
い。

【０００９】

【実施例】以下、本発明の一実施例について、駅の券売
機に用いる音声認識装置に適用した場合を例に、図面を
参照して説明する。図１は、同実施例における音声認識
装置の構成を概略的に示すブロック図である。

【００１０】図１において、１は本装置に入力される音
声信号（入力音声）をＡ／Ｄ（アナログ／ディジタル）
変換するＡ／Ｄ変換器である。Ａ／Ｄ変換器１は、入力
音声を、例えばサンプリング周波数１２ｋＨｚ，１２ビ
ットで量子化する。

【００１１】Ａ／Ｄ変換器１により量子化された入力音
声は、その音声を分析して特徴量を抽出するための分析
・特徴抽出部２に与えられる。分析・特徴抽出部２は、
Ａ／Ｄ変換器１によって量子化された入力音声の音声パ
ワ−の計算と、ＬＰＣ（Linear Predictive Coding）分
析とを行う。このＬＰＣ分析は、例えばフレ−ム長１６
msec、フレ−ム周期８msecで１６次のＬＰＣメルケプス
トラムを分析パラメ−タとして行われる。なお、分析・
特徴抽出部２での分析は、ＬＰＣ分析に限るものではな
く、ＢＰＦ（Band Pass Filter）分析等でもよい。

【００１２】分析・特徴抽出部２で分析された特徴パラ
メ−タは連続マッチング部３に与えられる。この連続マ
ッチング部３は、音声セグメント（Phonetic Segment）
複合辞書部（以下、ＰＳ複合辞書部と称する）４に登録
されている所定のＰＳ単位の認識辞書との間で時間軸方
向に連続的にマッチング処理して、第１位乃至第ｎ位ま
でのラベル系列（ＰＳラベル系列）とその類似度を求め
るためのものである。以上の音声セグメント（ＰＳ）に
ついては、例えば特願平２−３０６０６１号に詳述され
ている。なお、上記認識辞書は、各ＰＳ（ＰＳラベル）
毎に複数の標準パタ−ンから作成された識別用辞書から
なる。連続マッチング部３でのＰＳによる連続マッチン
グ処理は、次式に示す複合ＬＰＣメルケプストラム類似
尺度を用いて行われる。

【００１３】

【数１】

【００１４】なお、（１）式において、ＣはＬＰＣメル
ケプストラム、Ｗ_m ^(Ki)，φ_m ^(ki)はそれぞれＰＳ名Ｋ
i の固有値から求められる重みと固有ベクトルである。
また、（・）は内積を示し、‖ ‖はノルムを示し
ている。

【００１５】連続マッチング部３で求められたＰＳラベ
ル系列のうち、第１位の系列が、ＨＭＭ（hidden marco
v model ；隠れマルコフモデル）を用いた単語照合を行
うためのＨＭＭ認識部５に送られる。

【００１６】このＨＭＭ認識部５における単語照合につ
き説明する。まず単語照合は、連続マッチング部３から
送られた第１位のＰＳラベル系列を単語毎（カテゴリ
毎）のＨＭＭに通すことにより行われる。

【００１７】ここで、ＨＭＭの一般的定式化について述
べる。ＨＭＭでは、Ｎ個の状態Ｓ₁，Ｓ₂，…，Ｓ_Nを
持ち、初期状態がこれらＮ個の状態に確率的に分布して
いるとする。音声では、一定のフレ−ム周期毎に、ある
確率（遷移確率）で状態を遷移するモデルが使われる。
遷移の際には、ある確率（出力確率）でラベルを出力す
るが、ラベルを出力しないで状態を遷移するナル遷移を
導入することもある。出力ラベル系列が与えられても状
態遷移系列は一意には決らない。観測できるのは、ラベ
ル系列だけであることからhidden（隠れ）marcov model
（ＨＭＭ）と呼ばれている。ＨＭＭのモデルＭは次の６
つのパラメ−タから定義される。Ｎ：状態数（状態Ｓ₁，Ｓ₂，…，Ｓ_N）Ｋ：ラベル数（ラベルＲ＝１，２，…，Ｋ）ｐ_ij ：遷移確率Ｓ_iからＳ_jに遷移する確率ｑ_ij(k) ：Ｓ_iからＳ_jへの遷移の際にラベルｋを出力
する確率ｍ_i ：初期状態確率初期状態がＳ_iである確率Ｆ：最終状態の集合

【００１８】次に、モデルＭに対して音声の特徴を反映
した遷移上の制限を加える。音声では、一般に状態Ｓ_i
から以前に通過した状態（Ｓ_i-1，Ｓ_i-2，…）に戻る
ようなル−プの遷移は時間的前後関係を乱すため許され
ない。

【００１９】ＨＭＭの評価は、モデルＭが第１位のラベ
ル系列Ｏ₁＝ｏ₁₁，ｏ₂₁，…，ｏ_T1を出力する確率Ｐｒ
（Ｏ／Ｍ）を求めることにより行われる。認識時には、
ＨＭＭ認識部５で各モデルを仮定し、連続マッチング部
３から送られる第１位のラベル系列（ＰＳラベル系列）
を用いて、まず確率Ｐｒ（Ｏ／Ｍ）が最大になるような
モデルＭ1 を探し、第１位の認識候補とする。同様に、
ＨＭＭ認識部５は、次に確率が大きくなるモデルＭ2 を
第２位の認識候補とし、その次に確率が大きくなるモデ
ルＭ3 を第３位の認識候補とする。但し、確率が予め定
められた値より小さい時は、認識候補としない。このＨ
ＭＭ認識部５で仮定される各モデル（のパラメータ）
は、ＨＭＭの学習により求められるものであり、ＨＭＭ
バッファ６に蓄積されている。以上のようにして、発声
された入力音声を認識処理することによって、その入力
音声、例えば行先の駅名を高精度に認識することが可能
となる。

【００２０】さて、図１の音声認識装置は、以上のＡ／
Ｄ変換器１、分析・特徴抽出部２、連続マッチング部
３、ＰＳ複合辞書部４、ＨＭＭ認識部５およびＨＭＭバ
ッファ６の他に、表示部７、選択部８、候補表示制限部
９および制御部１０を有している。

【００２１】表示部７は、制御部１０のもとで、例えば
行先駅名の発声勧誘のための表示（ここでは、文字列
「発声して下さい」の表示）、ＨＭＭ認識部５での認識
結果（認識候補）の表示等を行う。この表示部７による
認識結果表示は、図３（ａ），（ｂ）に示すように、第
１位の認識候補（ここでは「菰野」）のみを表示して
も、複数の候補、例えば図３（ｃ）に示すように、第１
位の認識候補（ここでは「菰野」）と第２位の認識候補
（ここでは「駒野」）を表示しても構わない。

【００２２】選択部８は、表示部７に表示された認識候
補を利用者が選択可能なように構成されたものである。
この選択部８と上記表示部７は、例えば液晶ディスプレ
イ（ＣＲＴディスプレイなどの表示モニタでも構わな
い）上に感圧型の透明タブレットを組合わせたタッチパ
ネルを用いて構成されている。

【００２３】候補表示制限部９は、ＨＭＭ認識部５で得
られた複数の認識候補を表示部７に表示する際に、例え
ば第２位以下の候補については、第１位の候補と極端に
似ていないものが表示されないように制限を加えるため
のものである。この候補表示制限部９は、図４に示すよ
うに、第１位の候補に対して、２位以下に表示すること
が許される候補、具体的には第１位の候補が発声された
場合に人間では誤って聞取りやすい単語を、第１位とな
り得る各候補毎に登録（蓄積）したテーブル（データベ
ース）である。このテーブルの登録情報は、複数の話者
が１人ずつ発声する単語（この例では駅名）を複数の聞
き手が認識した結果を集計することにより、実験的に求
めることが可能である。

【００２４】制御部１０は、表示部７に対する表示制御
をＨＭＭ認識部５の認識結果、候補表示制限部９の登録
内容等に従って行うと共に、選択部８からの選択指示情
報に従い外部機器（ここでは、券売機）を制御する。図
２は、図１の音声認識装置内の表示部７および選択部８
の構成を示す。

【００２５】図２に示すように、表示部７は、液晶ディ
スプレイ７１と、同ディスプレイ７１に表示する表示情
報を格納するための表示メモリ７２とから構成される。
この表示メモリ７２内の表示情報は、図１に示す制御部
１０により書込まれる。液晶ディスプレイ７１に表示さ
れる内容には、上記した発声勧誘のための表示情報、認
識候補の表示情報の他に、表示された認識候補の確認
（第１位の候補だけの表示の場合）を勧誘するための表
示情報（文字列「確認して下さい」）、利用者による画
面上での確認操作に供される領域（キー領域）の表示情
報（［確認］という項目キー）、（表示された認識候補
が誤りである場合、即ち利用者の意図した候補が表示さ
れていない場合に）利用者による再発声を受付けるため
の領域（キー領域）の表示情報（［言い直し］という項
目キー）、認識結果の選択操作を勧誘するための表示情
報（文字列「選択して下さい」）等がある。

【００２６】一方、選択部８は、表示部７の表示画面
上、即ち液晶ディスプレイ７１上に積層されて、同ディ
スプレイ７１と一体に形成された感圧シート型の透明タ
ブレット８１と、透明タブレット８１が利用者の指等に
より押圧された場合に、その透明タブレット８１面上の
座標位置を検出するための指示座標検出部８２と、指示
情報判定部８３とから構成される。この指示情報判定部
８３は、指示座標検出部８２により検出された座標と表
示メモリ７２の内容とから、画面上のいずれの項目キー
（表示情報）が利用者により選択指定されたかを判定
し、その判定結果を選択指示情報として制御部１０に送
る。

【００２７】このような構成において、制御部１０の制
御による発声の勧誘に従って、利用者が行先駅名として
「こもの」と発声したのに対し、ＨＭＭ認識部５にて、
その音声に対する認識処理が行われ、その認識結果とし
て複数の認識候補が制御部１０に送られたものとする。
この認識結果には、第１位の認識候補「菰野」（こも
の）と第２位の認識候補「駒野」（こまの）が含まれて
いるものとする。

【００２８】制御部１０は、発声勧誘タイミングの一定
時間前から始まる、同タイミングを挟む一定期間（また
は、利用者による候補選択が行われるまでの期間）は、
ＨＭＭ認識部５の認識結果を全て受取るように構成され
ている。このようにすることにより、利用者の発声のタ
イミングに対する制限が緩和される。なお、ＨＭＭ認識
部５の認識結果に対する制御部１０の受取り期間を設定
する代わりに、ＨＭＭ認識部５の動作期間を設定するよ
うにしてもよい。また、認識の対象とする音声の入力期
間を設定するためのスイッチを設け、利用者がこのスイ
ッチをオンにしている期間だけ利用者の発声した音声が
本装置に入力され、その入力音声が全てＨＭＭ認識部５
での認識処理に供されて、その認識結果が制御部１０で
受取られる構成とするようにしてもよい。

【００２９】さて制御部１０は、ＨＭＭ認識部５から送
られた第１位の認識候補「菰野」を含む複数の認識候補
を受取り、表示部７（の液晶ディスプレイ７１）の表示
画面上に、例えば図３（ａ）に示すように第１位の認識
候補「菰野」のみを表示させる。この画面上には、同時
に、例えば画面上方に「確認して下さいの」勧誘メッセ
ージが、画面右下に項目キー［確認］が、画面左下に項
目キー［言い直し］が、それぞれ表示される。

【００３０】ここで、画面表示された認識候補「菰野」
が正しいならば、利用者は「確認して下さい」の要求に
従って、表示画面右下の［確認］の項目キー（の領域）
を、指により透明タブレット８１上で触る。

【００３１】すると、その［確認］の項目キーの座標が
指示座標検出部８２により検出される。指示情報判定部
８３は、指示座標検出部８２により検出された座標と表
示メモリ７２の内容とから、この検出座標位置に表示さ
れている表示情報の示す項目キーが選択されたこと、即
ち［確認］が選択されたことを判定し、その旨を示す選
択指示情報を制御部１０に送る。これにより制御部１０
は、第１位の候補「菰野」が確認されたものとして、外
部機器（券売機）を制御する。

【００３２】なお、図３（ａ）に示すような［確認］の
項目キーを表示する代わりに、第３図（ｂ）に示すよう
に第１位の認識候補自体に［確認］の項目キーの役割を
持たせ、「菰野」の表示領域を指で触って確認入力する
ことが可能な構成としてもよい。

【００３３】また、利用者が「こもの」と発声したとき
に、例えば図３（ｃ）に示すように、第１位の候補「菰
野」と第２位の候補「駒野」が、［確認］の項目キーの
役割を兼ねた形態で表示された場合には、「選択して下
さい」の要求に従って、利用者が「菰野」の表示領域を
指で触れば、指示情報判定部８３により「菰野」が選択
され、その旨を示す選択指示情報が制御部１０に送られ
る。もし、利用者が意図した候補が表示されなかった場
合には、利用者は、［言い直し］の項目キー（の領域）
を、指により透明タブレット８１上で触る。

【００３４】すると、前記した［確認］の項目キー（の
領域）が指で触られた場合と同様にして、選択部８内の
指示情報判定部８３により、［言い直し］が選択された
ことが判定され、その旨を示す選択指示情報が制御部１
０に送られる。これにより制御部１０は、［言い直し］
（再発声）が要求されたものと判断して、言い直しモー
ド（再発声モード）に設定し、再発声のための勧誘を例
えば“ピー”音等により行う。この勧誘に従い、利用者
は、正しく認識されなかった行き先駅名を再発声するこ
とができる。

【００３５】さて本実施例において、図３（ａ）または
（ｂ）に示すように第１位の候補だけを表示するか、図
３（ｃ）に示すように第２位までの候補を表示するか
は、制御部１０により決定される。この制御部１０によ
る決定条件は２つある。

【００３６】第１の条件は、第１位と第２位の類似度の
差が第１の所定値を超えているか否か、あるいは第２位
の類似度値が第２の所定値未満であるか否かである。ま
た、第２の条件は、第２位の候補が第１位の候補と対を
なして候補表示制限部９に登録されているか否かであ
る。

【００３７】第１の条件が成立する場合には、第２の条
件の成立／不成立に無関係に、第１位の候補だけが表示
される。また第１の条件が不成立の場合には、第２の条
件が成立なら第２位までの候補が表示され、第２の条件
が不成立なら第１位の候補だけが表示される。

【００３８】このように本実施例では、第２位の候補の
確からしさが低い場合には、第１位の候補だけを表示し
て、利用者が選択し易いようにしている。また、第２位
の候補の確からしさが高い場合でも、その第２位の候補
が第１位の候補と対をなして候補表示制限部９に登録さ
れていない場合には、その第２位の候補は第１位の候補
とは極端に似ていないものとして表示せず、利用者に違
和感を与えないようにしている。

【００３９】ここで、上記第１の条件が不成立のため
に、第２の条件の成立／不成立に従って、第２位までの
候補を表示するか、あるいは第１位の候補だけを表示す
るかを決定する具体例について説明する。

【００４０】図５は、ある利用者（話者）の発声入力に
対するＨＭＭ認識部５の認識結果の１位候補から３位候
補までを示したものである。但し、発声入力された単語
が１位候補にならなかった場合のみ示している。

【００４１】図５において、例えば「二上」（にじょ
う）という発声入力に対する、認識候補の１位は「十
条」（じゅうじょう）、２位は「二上」、３位は「西の
京」である。一方、候補表示制限部９では、図４に示す
ように、１位候補「十条」に対しては、「新庄」と「二
上」だけが（第２位以下に）表示することが許されてい
る。したがって、上記第１の条件が不成立のために２位
候補まで表示しようとする場合には、１位候補「十条」
の他、２位候補「二上」も表示部７に表示される。

【００４２】なお上記の例では、たとえ３位候補まで表
示しようとしても、１位候補が「十条」の場合には、３
位候補の「西の京」は、候補表示制限部９では表示する
ことが許されていないため、１位の「十条」と２位の
「二上」以外は表示されない。即ち本実施例では、利用
者にとって「十条」や「二上」とは全く似ていないと感
じられる３位候補「西の京」は、３位候補まで表示しよ
うとする場合でも表示されず、利用者に違和感をいだか
せない。

【００４３】また、例えば「白木」（しらき）という発
声入力に対する、認識候補の１位は「白木」、２位は
「千代崎」（ちよざき）である。一方、候補表示制限部
９では、図４に示すように、１位候補「白木」に対し、
いずれの単語も表示することが許されていない。したが
って、上記第１の条件が不成立のために２位候補まで表
示しようとする場合であっても、１位候補「白木」しか
表示されず、利用者にとって「白木」とは全く似ていな
いと感じられる２位候補「千代崎」は表示されない。

【００４４】なお、前記実施例では、候補表示制限部９
を構成するテーブル（データベース）には、第１位の候
補に対して２位以下に表示することが許される候補が、
第１位となり得る各候補毎に登録（蓄積）されているも
のとして説明したが、これに限るものではない。例え
ば、グループ単位で候補を登録し、そのグループ内のい
ずれかの候補が１位候補であれば、そのグループに含ま
れていない候補は、表示が許されない構成としても構わ
ない。

【００４５】また、前記実施例では、選択候補を画面表
示する場合について説明したが、第１位の候補より順次
音声出力して利用者に提示する場合にも同様に適用可能
である。また、本発明は、駅の券売機に用いる音声認識
装置に限らず、音声認識装置全般に適用可能である。

【００４６】

【発明の効果】以上説明したように本発明の音声認識装
置によれば、音声入力手段により入力されて認識手段に
より認識された音声の候補のうち、人間にとっては明ら
かに似ていないと判断されるような候補については除外
され、人間では聞き間違えるような似通った候補のみ選
択候補として表示あるいは音声出力されて、利用者によ
る候補選択操作に供される構成としたので、たとえ適用
する認識方式特有の誤りのために、認識手段により認識
された候補中に利用者の感覚では似ても似つかない候補
が含まれていたとしても、この種の候補が選択候補とさ
れることが防止され、利用者に違和感を与えずに済む。

【図面の簡単な説明】

【図１】本発明の一実施例に係る音声認識装置の基本構
成を示すブロック図。

【図２】図１中の表示部７および選択部８の構成を示す
ブロック図。

【図３】同実施例における動作を説明するための表示画
面例を示す図。

【図４】図１中の候補表示制限部９を構成するテーブル
の内容例を示す図。

【図５】ある利用者の発声入力に対する図１中のＨＭＭ
認識部５による認識結果の一例を示す図。

【符号の説明】

１…Ａ／Ｄ変換器（音声入力手段）、２…分析・特徴抽
出部、３…連続マッチング部、４…ＰＳ複合辞書部、５
…ＨＭＭ認識部、６…ＨＭＭバッファ、７…表示部、８
…選択部、９…候補表示制限部（登録手段）、１０…制
御部（選択候補決定手段）、７１…液晶ディスプレイ、
７２…表示メモリ、８１…透明タブレット、８２…指示
座標検出部、８３…指示情報判定部。

Claims

【特許請求の範囲】

【請求項１】利用者が発声した音声を入力するための
音声入力手段と、この音声入力手段によって入力された
音声を分析し、特徴量を抽出する分析・特徴抽出手段
と、この分析・特徴抽出手段によって抽出された特徴量
を用いて音声を認識して１つまたは複数の認識候補を求
める認識手段とを備えた音声認識装置において、前記認識手段により求められ得る認識候補のうち、利用
者にとって聞き誤りしやすい似通った候補同士が予めグ
ループ化されて登録されている登録手段と、前記認識手段によって求められた認識候補の中から、利
用者にとって似通っていないと判断される候補を前記登
録手段の登録内容をもとに除外して、利用者による選択
対象とすべき候補を決定する選択候補決定手段と、この選択候補決定手段によって決定された選択候補を外
部出力する選択候補出力手段と、この選択候補出力手段により外部出力された選択候補の
中から利用者が望む候補を選択させるための手段と、を具備することを特徴とする音声認識装置。