JPH07502126A - 入力音声の個別単語の認識方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 入力音声の個別単語の認識方法及び装置本発明は入力音声の別単語の認識方法及 び該方法を実施する装置に関する。

、しかも最も困難な領域に属する。音声認識の多数の適用例があり、例えばテキ スト処理システム（音声タイプライタ）におけるキーボード入力に代っての音声 入力、情報呼出又は電話を介しての発注、並びにタイブライタンステムの音声制 御の適用例がある。音声認識システムの広汎な導入は従来、技術的に且つ心理学 的な多数の未解決の問題に当たっては失敗している。

音声認識はパターン認識タスク（作業）である。音声入力された表現内容（音声 音量−単語−文章等）は当該の意味を認識ないし了解すべき入カバターンを形成 する。当該認識プロセスは２種ステップ、即ち、特徴抽出及び分類に分けられる 。当該抽出は認識にとって重要な特徴を音声信号から抽出し、重要でない成分を 除去するために用いられる。第２ステップ−分類−においては抽出された実際の 特徴から実際の音声標本の意味が察知される。

本発明の基礎を成す課題とするところは、限られた数の入力された音声の個別単 語を認識し得る方法を提供することにある。

上記課題は請求の範囲１記載の方法の構成要件により解決される。本発明の方法 のすぐれている点は特に高い認識レートである。更に本発明の方法は背景雑音（ バックグランドノイズ）に対して影響を受けがたい。本発明の方法のさらなる利 点とするところは個別単語の分類の基礎を成すコレロダラム（Ｋｏｒｒｅｌｏｇ ｒａｍｍ）Ｋが簡単に設定され得ることである。このような簡単な計算方法はわ ずかなハードウェアコストを以ての音声認識システムの実現上の前提である。

本発明の方法のさらなる利点とするところは認識可能な個別単語の数が基本的に 限られていないことである。従って、本発明の方法は著しく大きな誘電を有する 適用例に特に有利である。

処理さるべきデータの規模ないし量−高いコスト、手間−と高い認識レートとの 間の妥協手法は請求の範囲２の方法を使用することにより得られる。

特に高い認識レートは次ぎのようにして得られる。

即ち、コレロダラム（Ｋｏｒｒｅｌｏｇｒａｍｍ）　Ｋのインデックスｊ、　ｈ 、　ｋに対して請求の範囲３の特徴事項による条件を選定するのである。

音声入力された個別単語の分類のためのニューラルネットワークの使用によりさ らなる利点が得られる。

ニューラルネットワークは人間の頭脳構造の、それの連セ的動作手法を以ての大 まかな（大雑把な）シュミレーションである。当該ニューラルネットワークは音 声認識の際にも起きるようなパターン認識の問題の場合、従来計算機構造よりも すぐれている。

請求の範囲５記載の特徴的構成要件にょるニューラルネットワークは特にその有 利な“学習能力”の点ですぐれており、換言すれば認識さるべき単語に対する“ トレーニングフェーズが最小限に低減される。

請求の範囲６による方法のは発展形態によってはニューラルネットワークの簡単 な実現可能性及び計算コストのさらなる低減が得られる。

請求の範囲７による装置によっては本発明の方法を特に有利に実現し得る。

ここにおいて、上記のシステムにて使用するには請求の範囲８による装置全体を ＩＣ素子として構成すると有利である。

請求の範囲９における電話装置にて音声認識方法の使用によっては高い操作（容 易）性が得られるだけでなく自動車電話にて使用の際安全性の向上が得られる、 それというのも運転者及び電話利用者はダイヤリング操作により注意をそらされ ることがな（なるからで次ぎに４つの図を用いて本発明を説明する。

図１は本発明の方法の経過を示し、 図２は３つの異なった音素のスペクトル振幅分布を示し、 図３はニューラルネットワークの構造を示し、図４は本発明の方法を実施するた めの装置を示す。

図１に示す方法はダイヤリング過程のトリガのための電話器にて適用される。当 該の方法により１０の異１なる個別単語を認識し得るが、６４の単語の個別単語 の認識も可能である。各個別単語には１つの所定の電話番号が対応付けられ、該 電話番号は当該単語の認識後自動的に形成される。

このために、個別単語、例えば所望の加入者の名前が受信器中に音声入力され、 当該機器は所望の番号を自動的に形成する。電話機にハンドフリーセットを備え る場合、受話器を外さずに（オフフックせずに）送話器（マイクロホン）中に音 声が入力される。このことは殊に自動車電話において有利であり、即ち該自動車 電話では従来のダイヤリングする者は係わる交通安全性が低下されるおそれがあ るからである。

本発明の方法ステップの過程の経過は次ぎのように進行する、即ち、第１の方法 ステップにおいて予測期間中に音声入力された単語が電話装置のマイクロホンに より電気信号に変化される。上記信号は増幅され、サンプリングされ、デジタル 化される、換言すればサンプリング値のシーケンス（列）に変換される。当該サ ンプリングレートは通常８ＫＨｚである。

当該サンプリングによりいずれの重要な信号特性も検出されるためにはサンプリ ング定理が充足されねばならない。つまり、信号中に現われる最高の周波数がサ ンプリング周波数の半分より小でなければならない効果により信号情報の誤りが 生ぜしめられるからである。本事例では、音声信号は４ＫＨｚを下回る周波数成 分しか有してはいけないということである。このことは１５０Ｈｚ〜３４００Ｈ ｚの周波数領域を有する電話信号について成立つ。

第２ステツプにおいてフーリエ変換を用いて、音声信号の平均スペクトル振幅分 布が、サンプリング値の数により定数３２ｍ５ｅｃの期間内にて計算され、スペ クトルベルト基１として表される。（Ｓ　’−，Ｓ　’＋、、、、、、。

５１７）を有し、それらの要素の各々は帯域幅ｂ１＝４０６．２５Ｈｚの周波数 帯域の振幅を表わす。従って捕捉される周波数帯域全体は４０６．２５Ｈｚｘ８ ＝３２５０Ｈｚを含み、電話システムの周波数領域と−５Ｘｉ／３２ｍ５ｅｃ＝ 　１５．　６２５　Ｈｚになる）もサンプリング定理に従い情報伝送に対する限 界を成す。ここにおいて当該限界は個々の音素の周波数ないし持続時間（継続期 間）に係わる。

音素は意味を形成する１つの情報を対応させ得る最小の単語要素である。各要素 （例えばドイツ語はほぼ４０の音素を有する）は特徴的スペクトル振幅分布によ り定まり。これについては図２はダイヤフラムにて音素（これは母音“ａ”、“ 、“ｉ”に相応する）に対するスペクトル振幅分布を示す。

試験にて明らかになったところによれば、音素のほぼ９５パーセントが、６２■ ｓｅｃより長く、要するに、１６Ｈｚより小さい周波数を有する。従って、上記 音素はスペクトルベクトルＳｔにより精確に表される。

残りの５パーセントの音声成分、例えば破裂音（ｐ。

を等）は了解性にとってはさして重要ではない。従って、本発明の方法において 当該音声成分が精確に補足検出されないとしても実際上天したことではない。

第３方法ステツプにて予測期間内にめられたスペクトルベクトルＳｉ（これは上 述のように音声入力された個所単語の重要特徴を含む）からスペクトログラムＳ が形成される。このことは２次元マントリクスにて当該スペクトルベクトルの配 置により行なわれ、その際、各スペクトルベクトルは当該マトリクスの１つの行 を形成する。第４方法ステツプではコレログラムにの個々の要素Ｋ　Ｉ＋　ｈ＋ 　ｋが次式により形成される。

Ｋｌ、ｈ＋ｋ”　Σ　Ｓ　’Ｈ＊　Ｓ　ｌ＋ｈ、４゜ｉ＝Ｑ 当該コレログラムの規模、範囲は当該座標の値域により与えられる。この値域は 本事例では次ぎのようになる ｊ＝　０＋１．．０．７；ｈ　＝、、、、、１５；ｋ　＝　１．２：当該コレロ グラムペの配置は次ぎのように行なわれる、即ちインデックスの各々により、音 声信号の物理的パラメータが設定されるように当該にの配置はなされる。インデ ックスｊは周波数帯域を表わす。ｊ＝３に対しては例えば領域１３６８．７５Ｈ ｚ　〜１７７５Ｈｚを表わし、インデックスＨによっては相関されるべき信号成 分間の時間的ずれが設定される。例えば、ｈ＝１５によって最大のずれ１５　Ｘ 　３２　ｍ５ｅｃ＝　４８１ｍ５ｅｃが設定される。インデックスＫによっては 相関さるべき信号成分間の周波数ずれΔｆが設定される。Ｋ＝２によっては８１ ２．５ＨｚのΔｆがが生せしめられる。

本発明の音声信号の処理によっては例えば、コレログラムペの要素が実質的に時 間的に独立であるようになる。音声入力された個別単語の始めと終わり並びにそ れの持続時間（継続時間）はそれにより重要性を失う。

上記の時間独立性は音声認識を首尾よく行なうための重要な前提条件である。従 来の方法では当該の独立性はコスト高ないし複雑な手法によって達せられる。

例えば ＋Ｄｙｎａｍｉｓｃｈｅ　Ｚｅｉｔｎｏｒｍｉｅｒｕｎｇ”　（参照）　５ａｋ ｏｅ、　Ｍ、　；Ｃｈｉｂａ、Ｓ、：Ｄｙｎａｍｉｃ　ｐｒｏｇｒａｍｍｉｎｇ 　ａｌｇｏｒｉｔｈｍｓ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｆｏｒ　５ｐｏｋｅｎ　 ｖｏｒｄｒｅｃｏｇｎｉｔｉｏｎ　ＩＥＥＥ　Ｔｒａｎｓ、ｏｎ　ＡＳＳＰ、＾ ５ＳＰ−２６）のようなコスト高の公知手法によって達せられる。本発明の方法 ではそのような計算コスト及び当該方法において生じる誤差が回避される。

インデックスｊ、ｎ、ｋに対する上記の値及び条件ｊ＋に≦ＪＩＩｌａｘのもと てコレログラムには２０８の要素を有し、該要素は音声入力された個別な名論の 整理分類のためひきつづいての方法ステップにて用いられる。このために各要素 はニューラルネットワークの１つの入力側に加えられる。

従って、上記ネットワークは２０８の入力側を有し、そして認識さるべき各単語 に対して１つの出力側を有し、要するに、１０の出力側を有するが、６４の出力 側をも有し得る。

上記ニューラルネットワークの構造を図３を用いて詳細説明する。該図は所謂フ ィードフォワードニューラルネットワーク”Ｆｅｅｄｆｏｒｗａｒｄ　Ｎｅｕｒ ａｌ　Ｎｅｔｗｏｒｋ”を示す。上記ネットワークは入力ニューロンＮ１．Ｎ２ 、Ｎ３から成る１つの人力層とを有する。当該ネットワークは３つの入力側Ｅ１ ．Ｅ２．Ｅ３と２つの出力側、Ａ２．を有する。各入力側Ｅ１．Ｅ２．Ｅ３は各 入力ニューロンＮ１．Ｎ２．Ｎ３に接続されている。各入力ニューロンの唯一の 出力側が、各出力ニューロンＥ４．Ｅ５、に接続されており、該出力ニューロン のＡＩ、Ａ２によってはそれぞれ１つの認識されたパターンが指示される。

ニュートラルネットワークの所要の規模は解くべき課題ないし間七点の複雑性に 依存する。既述のように、入力素子の数（１つの入力特徴ベクトルのディメンシ ョンないし選定）によってはネットワーク入力側Ｅ１、Ｅ２．Ｅ３の数が定まる 。ネットワーク出力側Ａ１、Ａ２の数は認識さるべきパターンの数により選定さ れる。各ニューロンは唯一の出方側を有するので、ネットワーク出力側の数によ り出力ニューロンＮ４゜Ｎ５の数も設定される。当該の数は本実施例では１゜で ある（認識さるべき個別単語の数に従って）。

入力ニューロンＮ１．Ｎ２．Ｎ３の所要の数は認識さるべきパターン（個別単語 ）の数と、入力特徴ベクトルのディメンションないし選定（コレログラムにの要 素の数に依存し、また認識されるべきパターン（個別単語）間の相違にも依存す る、而して、類似の音響の（響きのある）単語の区別のためには明瞭に区別し得 る単語の区別の場合よりも広汎なニュートラルネットワークを必要とする。

従って、入力ニューロンＮ１．Ｎ２．Ｎ３の数はニュートラルネットワークの複 数の所謂学習−又はトレーニングフェーズから成る繰返形構成配列過程を用いて 設定される、ここにおいて認識さるべきパターン（個所単語）はニュートラルネ ットワークの入力側に加え−られ、所望の出力結果と比較される。

当該の比較により、いわゆる“バックプロパージョン”　（−ｂａｃｋｐｒｏｐ ａｇａｔｉｏｎ’　）アルゴリズム（Ｐ、ｆｅｒｂｏｓ、　Ｂｅｙｏｎｄ　Ｒｅ ｇｒｅｓｓｉｏｎ；Ｎｅｗ　Ｔｏｏｌｓ　ｆｏｒ　Ｐｒｅｄｉｃｔｉｏｎ　ａｎ ｄ＾ｎａｌｙｓｉｓ　ｉｎ　ｔｈｅ　Ｂｅｈａｖｉｏｒａｌ　５ｃｉｅｎｃｅｓ 、Ｐｈ、Ｄ、ｔｈｅｓｉｓ。

Ｈａｒｖａｒｄ　Ｕｎｉｖｅｒｓｉｔｙ、Ｃａｍｂｒｉｄｇｅ、ＭＡ、Ａｕｇ、 　１９７４）により、個々のニューロンＮ１．Ｎ２．Ｎ３．Ｎ４゜Ｎ５の”整合 ”について情報が得られる。

各ニューロンは実質的に加算素子（該加算素子には直線性増幅幅器素子から成る 。ニューロンの構成についての精しい説明は例えば下記刊行物になされている” Ｌａｙｅｒｄ　Ｎｅｕｒａｌ　Ｎｅｔｓ　ｆｏｒ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇ ｎｉｔｉｏｎ”、　Ｂ、　Ｗｉｄｒｏｗ、　Ｒ，Ｇ、　Ｗｉｎｔｅｒ、　Ｒ，＾ 、Ｂａｘｔｅｒ；ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｃｏｕｓｔｉ ｃ、５ｐｅｅｃｈ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ、　 ３６．　Ｎｏ、　７．　Ｊｕｌｙ　８８゜ニューロンの“整合”は当該の重み（ ウェイト）の設定により行なわれ、上記重みによって入力値が増幅される。従っ てニューラルネットワークの学習−及びトレーニングフェーズの目標はネットワ ークのすべての重み（ウェイト）を次ぎのように設定すること、即ち所望の認識 過程が行なわれるように設定することである。従って当該重みはニューラルネッ トワークの情報の担い手である。

学習−及びトレーニングフェーズ中精確適正な認識過程の目標が達せられない場 合は、このことが一般的に意味していることは当該ネットワークにおけるニュー ラルの数が具体的問題に対してわずか過ぎ、従って、増大させなければならない ということである。しかる後、当該学習及びトレーニングフェーズが、拡大され たニューロンネットワークで繰返される。

具体的実施例では大体の主なケース（大多数のケース）で２０の入力ニューロン で十分である。従って、第一のトレーニングフェーズでは当該の数を基礎とする 。当該トレーニングフェーズの第一部分セクション（これは設定−実際結果比較 の最大１０回の繰返し及　。

びネットワーク所属の“整合”から成る）内では当該ネットワークは１０の異な る個所単語の認識の能力を備えなければならず、その際各個別単語は２０までの 異なるサンプル（標本）（これは相違なす人物に由来し得る）において生起する 。そのことがらまで行かない場合は入力ニューロンの数が高められ（２１に）、 そして、トレーニングフェーズが繰返される。入力ニューロンの数が十分であっ て認識過程が基本的に或１つのニューラルネットワークにとって実施不能である 場合、当該認識過程は５〜６回の繰返しの後適正に（精確に）実施される。しか る後、トレーニングフェーズの第２部分セクション（これは８つの（８回）の繰 返操作過程から成る）において当該トレーニング効果は強化される（深められる ）。当該の第２部分セクションの終了後ニューラルネットワークは使用可能な状 態になる。

図４は本発明の方法実施装置の例を示す。該装置はデジタル信号プロセッサμｐ とバスシステムＢとプロダラムメモリリＲＯＭと、ワークメモリＲＡＭと、入出 カニニットＩ１０とを有する。

当該装置（構成）は市販の構成部品（素子）で構成されている。デジタル信号プ ロセッサμｐの核心部はアナログデバイス社（Ｆｉｒｍａ　Ａｎａｌｏｇ　Ｄｅ ｖｉｃｅｓ）の型式ＡＤＳＰ２１１１の信号プロセッサである。当該装置構成の 詳細構成は上記信号プロセッサに対するユーザーマニアルが示されている。上記 入カー／出カニニットは信号部分Ｃ（これは市販のＰＣＭ−コーデックから構成 されている）と、制御ユニットへの接続用の制御部分ＳＴ、例えばパーソナルコ ンピュータとから成る。

上記入カー／出カニニットの信号部分Ｃを介しては音声信号の入力、及び場合に より音響的な音声出力例えば操作指示が行なわれる。

櫂 ＦＩＧ、２ 補正書の翻訳文提出書（特許法第１８４条の８）ＦＩＧ、４ 請　求　の　範　囲 平成　６年　１月２４日

Claims (1)

1. 【特許請求の範囲】 １．入力音声の個別単語の認識方法において、下記の方法過程ステップを備え、 すなわち −予測期間内に入力された音声を電気音声信号に変換し、 −音素の時間的継続期間ないし持続時間により定まる時間間隔ｔｓにおいて、音 声信号の瞬時のスペクトル振幅分布を求め、スペクトルベクトルＳ１（ｉ＝０． １．．．．．ｍ−１） として表わし、ここにおいてスペクトルベクトルＳ１の各要素（Ｓ１０，Ｓ１１ ，．．．．Ｓ１ｎ−１）は帯域幅ｂ０を有する周波数帯域の振幅を表わし、 −当該予測期間内にて求められたスペクトルベクトルＳ１からスペクトログラム Ｓを下記式に従って形成し、 ▲数式、化学式、表等があります▼ −スペクトログラムＳから座標ｊ，ｈ，ｋを有するコレログラムＫを求め、ここ において上記コレログラムＫの各要素Ｋｊ，ｈ，ｋを下式に従って形成し▲数式 、化学式、表等があります▼ −上記コレログラムｋを、音声入力された個別単語の分類のため単語特有の特徴 パターンとして用いることを特徴とする入力音声の個別単語の認識方法。 ２．２つの順次連続するスペクトルベクトルＳ，Ｓ１＋１間の所定の時間間隔ｔ ■を３２ｍｓｅｃに等しくした請求の範囲１記載の方法。 ３，上記コレログラムＫのインデックスｊ，ｈ，ｋに対して、下記条件を選定す る、すなわちＫ＞０：ｋ×ｂｃ、１ｋＨｚ ｊ＋ｋ≧ｎ−１ ｊ，ｈ≧０ ｈ×ｔｓ＜５００ｍｓｅｃ という条件を選定する請求の範囲１又は２記載の方法。 ４．音声入力された個別単語の分類のためにニューラルネットワークを使用する 請求の範囲１，２または３記載の方法。 ５．上記ニューラルネットワークに第１の数のニューロンを有する入力平面、及 び、第２の数のニューロンを有する出力平面を備え、単語特有のコレログラムＫ の各要素を上記入力平面のニューロンと結合ないし接続し、更に、上記ニューロ ン各々の出力側を上記の出力平面の各ニューロン結合ないし接続し、更に上記出 力平面の１つのニューロンの出力（側）により１つの所定の認識された個別単語 を指示するようにした請求の範囲４記載の方法。 ６．各ニューロンに下記の非連続性伝達関数を備える、即ち ｆ（×）＝×／｛｜×｜＋１｝ という伝達関数を備える請求の範囲４又は５記載の方法。 ７．デジタル信号プロセッサを設け該プロセッサはデータ、アドレス、制御線路 から成るバスシステムを介して、プログラムメモリ、ワークメモリ、入出力ユニ ットに接続されている請求の範囲１から６までのうちいずれか１項記載の方法を 実施する装置。 ８．当該装置はＩＣ素子として構成されている請求の範囲７記載の装置。 ９．認識された個別単語に基づきダイヤリング過程が、個別単語に対応づけられ た電話番号を以て電話装置にてトリガされるようにした請求の範囲２から６まで のうちいずれか１項記載の方法。