JPH11502953A - 厳しい環境での音声認識方法及びその装置 - Google Patents

Abstract

(57)【要約】 本発明のシステムは、音響音声解読装置１１と音声認識装置３に結合する記憶保存装置５を有し、該解読装置１１は認識管理装置６に結合し、音声認識装置３は辞書１２と認識管理装置６とシンタックス認識装置７と結合し、シンタックス認識装置７は対話蓄積装置８と結合し、対話蓄積装置８は認識管理装置６と結合していることを特徴とする。

Description

【発明の詳細な説明】 厳しい環境での音声認識方法及びその装置 技術分野 本発明は、“厳しい”状況下、すなわち雑音のみならずユーザに影響を与えう る様々な物理的、生理的な要因によって強烈に妨害された環境のもとでの音声指 令システムに関するものである。 背景技術 例えば、軍用航空機の操縦室のような場合の厳しい環境では音声の獲補、回復 、処理の装置は最適化されておらず、さらに効率よく機能していない。乗組員と 別の話し手が交わす無線による通信はまさに程度が低い。ユーザは何人かの相手 （他の航空機や地上の整備員、他の乗組員、それに自分の声）と通信するわけだ が、こういった通信は単音で行われていて、妨害されるのでかなり理解しづらく 、階層的な構造になっていない。さらには様々な物理的、生理的要素でユーザの 能力までもが妨害されることもある。これらの要素の中には特に航空機の負荷率 や酵素マスク、高呼吸圧、操縦士のストレスといったものが認められる。このよ うな条件の悪い困難な通信は周囲の雑音が加わると乗組員を疲労させたり、健康 にまでも悪影響を及ぼしたりす る。乗組員はヘルメットを着用するが、このような雑音から守る働きは皆無に等 しい。彼らが通信を幾分でもしやすくするためにできる唯一の手段は音声レベル を調節する事であるが、これも満足のいくものとはほど遠い。こうした音声の通 信にはいろんな装置は備わっているがそういった装置はそれぞれ異なるもので必 ずしも比較できるわけではない。加えて、複雑化する機内のシステムで操縦士の 負担は重くなり、ストレスでいらいらしたり、集中力がなくなったり、効率が落 ちたりするなどの結果を招く。最高の条件で任務を果たすには大変不利である。 こうした意味で、高認識率音声指令装置はきわめて有効なものになってくる。高 認識率音声指令装置があれば、比較的に自然で直接的に複雑なシステムを制御す る事ができるようになる。というのは、触知板やキーボード、多値ボタンを使用 しているときなどは実際不可能を思われるが、操縦士の全神経を必要とすること などもなくなるのである。 本発明の目的は特に雑音の大きい環境のもとで１０語以上から成るフレーズ及 び数百個の単語を備え、高認識率（概して９５％）を達成した音声指令システム である。 発明の開示 本発明の方法は、雑な認識を行い、保存されている音響レファレンスと比較し 、認識されたＮ個の最適語句を提供し、それら可能性のある会話のモデルと比較 し、音響的デコードを行って最も確からしいフレーズを選択する。 この発明による音声認識システムには、音響音声解読装置に接続している獲得 装置なるものがあり、この音響音声解読装置には音声認識装置と認識管理装置に 連結している。またこの音声認識装置は辞書を認識管理装置と構文認識装置と繋 がっている。構文認識装置は対話蓄積装置と接続していて、その対話蓄積装置は 認識管理装置に連結されている。 図面の簡単な説明 単一の図面は本発明の音声指令システムのブロックの図を示している。 発明を実施するための最良の形態 下記は航空機の音響電話機システム、とりわけ戦闘機のものに関して述べてあ るがそれだけに限らず他の機種の乗り物（地上、海上問わず）や既に備え付けら れた設備にも同様に使用することができるし、特に冶金工場のような大変周りの 雑音の大きい状況などにも応用することができる。このシステムのユーザはこの 場合戦闘機のパイロットということになるが、当然のことながら同時にこのシス テムを使用する数人の人もいるわけである。特に民間の輪送飛行機の場合には一 人一人のユーザ用に特定の装置がユーザの数に相当する分だけ用意されることに なる。 音声認識システム１は押しボタン２あるいは音声指令オン／オフスイッチとも 呼ばれるボタンにより稼働する。こ のボタン２は機内連絡や無線通信といった伝達信号と、ユーザが発した声による 指令を区別するようになっている。このスイッチ２を押すと音声認識装置３の演 算処理が始まる。この装置３は図には示されていないが（マイク回線から起こり 母線でありうる導線４を伝って）マイクサンプルのフレームを絶えず受信し、１ ５０ｍｓの言語を蓄積できる記憶装置５の中のバッファ域にそれをいったん保留 する。従ってこの回路はボタン２を押すよりも前に発声の開始をいち早く探索す ることができる。 音声認識装置３は認識管理装置６に、そして構文認識装置７を通じて対話モデ ルを蓄積し吟味する装置８に結合している。またこの装置８は先ほどの装置６と 結合している。装置６はインターフェース９及び母線１０を通じて管理プロセサ （図には記載されていない）に結合している。この音声認識システムにはこのほ かに音響音声解読装置１１があり、これは記憶装置５と認識管理装置６を結んで いる。その他音声認識装置３に連結している音響レファレンス辞書１２や、認識 管理装置６と母線４をつなぐテキスト基準の合成装置１３もこのシステムに含ま れている。辞書１２は母線４を通ってインターフェース１４に結合しているが、 この１４は設定記憶カード１５とうまく協力している。このカードにはそのカー ド所持者のパラメータが内蔵されているので辞書１２の音響レファレンスを最大 限に活用することができる。もちろんこの読み取り器や記憶カードはプラグイン ＲＯＭや遠隔負荷など同種の装置ならどんな ものでも代用できる。 音声認識装置３は記憶装置５から受け取ったサンプルに基づいて認識した語及 び語句を認識管理装置６に提供する。この装置３は形式的には次の３つの部分か らなっている。獲得、パラメータ化、及びパターン認識である。母線４から送ら れる音声信号の獲得はサンプリング周波数１２キロヘルツで、１６ビットの語に 行われる。 パラメータ化とは音声信号の特性化と圧縮を行うことである。すなわち２５６ 個の１６ビットサンプルのフレームから８個の８ビットセプストラル（ＣＥＰＳ ＴＲＡＬ）係数が供給される。この動作は、雑音の大きい状態でも活動検索と雑 音抑制などの機能によって効率よく補足・改善化がなされている。この活動検索 機はスピーチの始まりと終わりを正確に探知できるので発生とスイッチのオン／ オフ操作の同期という課題も克服される。演算方式は有声音（倍音構造の調査） と無声音（おおまかにいって摩擦子音図と呼ばれている）の検索に基づいており 、その発声がどのような構造になっているか、例えば母音やその母音に先行した り後に続いたりする摩擦子音などを見極める機能を果たす査定段階によってより 有効なものとなっている。雑音抑制は２段階で行われる。まず第一に検索段階で 探知の正確性を高めるために除去フィルタリング（白化）というかたちで、第２ に“慣性”媒体鎖において、厳しい環境でのパラメータの質を高めるために周波 数フィルタリング（例えばウィーナーのフィルタリング）のかたちで行われる。 この雑音抑制は２重の雑音モデルを使用していて一つは適応フィルタリングまた は線形予測による自己退化モデル、もう一つは周波数フィルタリング用の平均雑 音スペクトルの２^NDの桁のモーメントの評価をするモデルである。第１近似とし て雑音が静止的であると仮定する。ボタン２を使うことによっていずれの会話モ ードが選択されても、雑音フレームを選択するためのアルゴリズムが実行される 。これは音声認識やマイク雑音抑制と互換性がある。 パターン認識はパラメータ化から生じるスペクトルとレファレンススペクトル の動的比較（距離計算）を行う。レファレンススペクトルとは操縦士が習得段階 で使用し、飛行までに記憶装置に蓄積されたものである。（話し手が一人の音声 認識の場合）こうした計算に基づいて、のちに認識管理モジュールが分析するこ とになる、単一の解決法ではなく複数の解決手段を選ぶことが可能になる。（ま さに最高の語句がこのパターン認識演算で得られるのである。さらに、音声指令 言語を組み立てるためのシンタックス装置は簡単な木構造の準入れ子シンタック ス装置でできている。つまり入れ子になっていないもとでは“音声指令”が機能 的に作動し、認識率が高く保たれ、極度に大きく枝分かれした要素による語句を 除外することができるのである。こうして操縦士は自分の指令に併せて実際に役 立つ構文を選択することが出来、その指令が変更された場合にも対応できる。こ の構文の変更はまた負荷率の変化などの場合に任しく管理装置に接続してあるセ ンサー（慣性整備や迎 え角探査機など）の状態によっても自動的に行われる。 装置８は操縦士と機械の相互作用（例えば出されたばかりの指示、航空機の構 成、軍用航空機の任務計画など）や発せられた指令も“操縦上の文脈”を考慮す るという働きをする。従って決定的に語の間のシンタックスアークの重みづけを する。この重みづけは様々な要素を参考にして行われる。つまり、航空機の航空 術や兵器の構成、物理的感知器の状態（慣性整備や負荷率など）、過去の対話の 記録、辞書１２の内容、対話と実際の仕事のモデル、“音声上の基準”に従って 最初の除去を行う音響音声解読、そして認知された多様なフレーズなどの要素で ある。こうした操作はすべて認識装置６によりモニターされる。このように本発 明は先に定義した“厳しい”環境での音声認識を最適化することを可能にするも のである。そしてこの回路は“賢く”て動的な文脈の処理ができるので、操縦士 の発声に癖がない場合に他の発声に応じて特定の発声を好んで選んだり、逆に不 利に扱ったりして（例えば負荷率のもとに決定した振動数を避けたりして）不明 瞭な認識を防ぐことができる。 音響音声解読は、信号の通常のパラメータ化及び認識と平行して行われる。そ の目的は音声信号の音声要素を決定すること、１つ１つの信号に音素記号を割り 当てること、または最低限、音素記号の分類に着手することである。（ｒａｄａ ｒは〔ｒ］〔ａ〕〔ｄ］〔ａ〕〔ｒ〕という音素を含み、それぞれ順に有声流音 、有声音、有声破裂音、有 声音、有声流音である。これ以上の情報はモニター６に伝えられそこで距離計算 的には似通っているが音素は比較できない語句が抹消される。（例えば“ａｕｔ ｏ”と“ｓｔｏｐ”など） モニター６は確実化された指令をインターフェース９に提供する役目がある。 この指令は認識された中で最適のものでなければなれないし、慣性整備や負荷率 感知、迎え角感知など航空機の感知装置からの情報と、対話モデルや音響音声解 読の結果を考慮に入れた指令でなければならない。 テキスト基準の合成装置１３は音声を合成して認識された指令を作成し母線４ を通じてそれを操縦士の聞き込みフィードバック回路へ送る。好ましくは、この 回路は要求すればもとに戻る記憶装置に保存されているデジタル語を使わないが 、しかし逆に、この回路は正確な公式に基づいて認識された発声や音響音声要素 を再創造することができる。 要約するとシステム１の様々の認識装置の機能は次のようになる。音声認識装 置３は記憶装置５に蓄えられた発声つまり雑な認識に従って（例えば信号のパラ メータやパターン認識で知られている処理を行い、辞書１２に内蔵された音響レ ファレンスと比較した後に決められた構文に属している認識された中で最適のＮ 個のフレーズを提供することである。 音響音声解読装置１１は既知の型の分析（例えばフィル ターのバンクを機能させたり特徴となる音声要素を探した後に、発せられたばか りの語の幾分詳細な音声構造を提供する）を請け負う。音声構造を探知するこの 機能は例えば有声音領域と無声音領域を区別することにある。 対話モデル装置８は認識された語句の探索がなされるシンタックスベースを最 新にすることすなわち、このベースを狭めたり広くしたりすることができる。こ のシンタックスベースの最新化は次のパラメータの少なくともいずれかの機能と して実行される。航空機のパラメータ（飛行機の場合、迎え角、負荷率など）、 進行上の指令の種類や段階（戦闘機の場合、巡回、攻撃、離陸、接近など）、過 去に既に実施された音声指令データ（従って認識は成功している）、そして最後 におそらく音響音声解読装置１１の可能性に応じた、発声の音声構造である。有 利なことに、この装置８は完全に指令を繰り返したり、誤認識や操縦士のミス（ 例えば、「エンジンページを左に表示してください。」という語句が認識された とすると操縦士は次のように訂正することができる。「いいえ、レーダーページ です。」または「いいえ、右です。」）に続いて間違えたりしないで音声指令を 再び使用することができる。 認識管理装置６は音声認識装置３、音響音声解読装置１１、対話モデル装置８ が提供した情報原に基づいて認識されたその語句（やがてはこれが音声指令とな る）に関する決定を下す役目をもっている。この装置６は認識された語句を、装 置９と１３が理解可能な一連のシンボルとしてコ ード化する。インターフェース９は発せられた音声指令に関係する装置に対応す る指令を出す。原文基準の合成装置１３は効果的にも、例えば実施されるアクシ ョンに関連した視覚的なチェックがない場合などに指令に相当するアクションを 受け取ったことを音声的に再生する。さらに認識管理装置６は過去に発せられた 指令データの更新のために、下された決定を対話モデル装置に知らせる。 以上で述べた各種装置が行う音声認識は次のような結果となる。すなわち、操 縦士がスイッチ２を押し、言葉を発する（記憶装置５に保存される）。結果的に 起こる信号は音声認識装置３と音響音声解読装置１１で処理され認識される。分 析の結果は認識管理装置６に送られる。Ｎ個の最適語句（音声認識装置３の認識 の結果にたいへん類似したものである）を構文装置７が選ぶ。認識管理装置６は 有声音であるとか破裂音であるとかいう音響音声解読装置から得た音声構造に関 する情報の助けによりこれらのＮ個の最適語句をもとに決断をする。この管理装 置は対話モデル８の内容を補うとともに過去の指令データを更新する。対話モデ ル８は活性のシンタックスの重みづけをする。例えばラジオ局を選択するときな どに前回の指令に相応する指令がきちんと選択されるようになっているのである 。現在の場合では、管理装置６が決定する指令はテキスト基準の合成装置１３で はなくインターフェース９へ伝えられる。というのは、結果が視覚的にチェック することができるからである。（選択されたラジオのチャンネルの表示など）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 パストール ドミニク フランス国，94117 アルキュイユ セデ, アヴェニュ デュ プレズィダン−サルヴ ァドール−アレンド，13番地 トムソン− セーエスエフ エス．セー．ペ．イ．内 (72)発明者 レノー ジェラール フランス国，94117 アルキュイユ セデ, アヴェニュ デュ プレズィダン−サルヴ ァドール−アレンド，13番地 トムソン− セーエスエフ エス．セー．ペ．イ．内

Claims (1)

1. 【特許請求の範囲】 １．厳しい環境で、雑な認識を行い、蓄積してある音響レファレンスと比較した 後に、Ｎ個の最適フレーズを提供し、可能性のある対話モデルとＮ個のフレーズ を比較し音響音声を解読することによりＮ個のフレーズから最も見込みの高いフ レーズを選択することを特徴とする音声認識方法。 ２．対話のモデルは認識の操作上の状況をもとに選択される請求項１記載の方法 。 ３．語の間のシンタックスアークの重みづけによって対話モデルが選択され、こ の重みづけは周囲の雑音とは区別して次の要素、すなわち、周囲の条件に関する 物理量の感知器の状態、過去の対話、音響レファレンスの辞書の内容、対話及び その関連する機能のモデル、音声的基準に従って最初の拒絶反応が行われる音響 音声解読、そして既に認識済みの様々なフレーズの少なくとも一つを参照して行 われる、請求項２記載の方法。 ４．戦闘機に応用できるものとして、周囲の条件に関わる物理量は、戦闘機の航 空術や兵器システム、慣性整備や負荷率といった感知器の状態も含まれている、 請求項３記載の方法。 ５．音声音響解読装置（１１）と音声認識装置（３）に結合する記憶保存装置（ ５）を有し、該解読装置（１１）は 認識管理装置（６）に結合し、音声認識装置（３）は辞書（１２）と認識管理装 置（６）とシンタックス認識装置（７）と結合し、シンタックス認識装置装置（ ７）は対話蓄積装置（８）と結合し、対話蓄積装置（８）は認識管理装置（６） と結合することを特徴とする、請求項１記載の方法を実施するための厳しい環境 での音声コマンドのためのシステム。 ６．話者に関するパラメータを蓄積した設定記憶カード（１５）と共同動作する メモリーカードインターフェース（１４）が結合する請求項５記載のシステム。 ７．音声認識装置（３）はパターン認識及び信号のパラメータ化を行う装置であ る請求項５または６記載のシステム。 ８．音響音声解読装置はフィルターのバンクを持つ分析装置である請求項５〜７ のいづれかに記載のシステム。