JPH09500223A - 多言語音声認識システム - Google Patents

Abstract

(57)【要約】 音声入力はデジタルデータに変換され、スペクトル解析される。スペクトルは格納されたウェイトを用いて構築された標準ニューラルネットワークを用いて単音を同定するために解析される。単音はさらに音素を同定するために結合される。そして、音素は格納された言語辞書に基づいて異なる言語に翻訳され、文書出力に変換される。

Description

【発明の詳細な説明】 多言語音声認識システム発明の分野 本発明は、音声認識システム及び方法に関する。背景 従来の技術としては、音声を文字に変換するための多くのシステムや方法が含 まれる。それらの間の主要な相違の一つは、それらが達成せんとしている音声認 識の困難さのレベルである。最も簡単なものは、分離して話され、音響的に異な る少数の言葉（単語）（多くの場合、離散音声と呼ばれる）の認識である。ドッ ディントン（Ｄｏｄｄｉｎｇｔｏｎ）等に与えられた米国特許第４，９１０，７ ８４号（「低コスト音声認識システム及び方法」）は、このクラスのシステムの 従来技術の一例である。この種のシステムは、例えば、コンピュータを操作する ための少数の命令語のセットを与えるには有用であるが、連続した音声を取扱う ことはできない。より困難な課題は、一連の言葉の流れ内に含まれる一つ又はそ れ以上の指定された単語の認識すなわち“単語発見”である。ボッセメイヤー（ Ｂｏｓｓｅｍｅｙｅｒ）ジュニアに与えられた米国特許第４，９３７，８７０は 、この種のクラスのシステムの従来技術の一例である。この種のシステムは、例 えば、電話への応用において、“クレジットカード”、“集める（ｃｏｌｌｅｃ ｔ）”、“第三者”等の話中のキーワードやキーフレーズ（ｐｈｒａｓｅｓ）を 同定するのに用いることができるであろうが、連続音声を文字に変えることはで きない。さらにより困難な課題は、単語が区切って話され、かつ、その文章の文 法構造が予め決められている一文における全ての単語の認識である。フィッシャ ー（Ｆｉｓｈｅｒ）等に与えられた米国特許第４，８８２，７５７号（「音声認 識システム」）は、この種のクラスのシステムの従来技術の一例である。この種 のシステムは、話者がこの種のシステムの必要性を招来するように不自然な話し 方を受 け入れようとするような場合に有用であろう。さらにより困難な音声認識の課題 は、単語が連結され（通常連続音声と呼ばれる。）、その文章の文法構造は予め 与えられており、使用できる単語（ｌｅｘｉｃｏｎ）が制約されている場合にお いて、完全な一文中のすべての単語の認識である。ガーソン（Ｇｅｒｓｏｎ）に 与えられた米国特許第５，０４０，１２７号（「連続音声認識システム」）は、 この種のクラスのシステムの従来技術の一例である。この種のシステムは、使用 者がシステムで用いられる語いと文法上の制約を知っており、したがって、彼も しくは彼女の話法パターンを修正することができるような課題が特化された応用 に有用であろう。最も困難な課題は、構造を持たず、形式上文法に適合していな い連続で我流の話の中の全ての単語の認識である。ボーディア（Ｂｏｒｄｅａｕ ｘ）に与えられた米国特許第４，８５２，１７０号（「リアルタイム・コンピュ ータ音声認識システム」）は、この種のクラスのシステムの従来技術の一例であ る。 音声認識システム及び方法は、話者依存性（ｓｐｅａｋｅｒ ｄｅｐｅｎｄｅ ｎｔ）であるか、即ち、装置の話者による使用に先立って、特定の話者によって 訓練されなければならないか、或いは話者独立性（ｓｐｅａｋｅｒ ｉｎｄｅｐ ｅｎｄｅｎｔ）であるか、即ち、装置を使用するに先立って特定の話者がその装 置を訓練する必要がないかに応じて分類される。話者依存性タイプの変形として 、装置の訓練をより容易かつ高速に行うことを目的とする話者適合システム（ｓ ｐｅａｋｅｒ ａｄａｐｔｉｖｅ ｓｙｓｔｅｍ）がある。話者独立性システム は、話者依存性タイプより達成が困難であるが、多くの場合、より大きい有用性 を有する。以下に記述する本システムは、話者独立性である。 音声認識システム及び方法は、同定されるべき最低の音声ユニットについてさ らに分類される。各システムは、入力されてくる音声信号と比較される最低音声 ユニットの各々が、同定のため最良に整合しているかを捜すための参照スペクト ルパターンのセットを備えている。そのようなユニットの最大のものは、単語全 体（もしくは小さな単語の群）である。この音声レベルにおいて相当な正確性で もって作動するシステムは、一般的にいって、少ない語いでの離散音声の用途に 限られる。単語に組立てるために音素（ｐｈｏｎｅｍｅｓ）を同定することを目 的とする方法は、話者依存性と話者独立性／離散型と連続型音声システムのクラ スを横断する従来技術と見倣される。信頼性を与えるうえでの困難さは、そのよ うなシステムにおいて、より多くの語いが、したがってより多くの類似の発音を 有する単語が導入され、多数の話者が同一単語について異なった発音をするのに 従って増大する。単音（ｐｈｏｎｅ）［即ち、音声の従音声ユニット（ｓｕｂ− ｐｈｏｎｅｍｅ ｕｎｉｔｓ ｏｆ ｓｐｅｅｃｈ）］の同定方法は、音声信号 のより多くのより短いセグメントを同定することによってより改善された信頼性 を達成することを目的としている。ここに記述される本発明システムは、単音（ ｐｈｏｎｅ）を正確に同定する方法を含む。 音声認識システム及び方法は、音声プロセスのモデル化法によっても分類され る。ある方法では、音声プロセスを一連の音響事象として記述する。このモデル は最初音素認識に用いられた。このモデルにおいて、音声信号は、最初、／イイ （ＩＹ）／，／オウ（ＯＷ）／等の母音、／フ（Ｆ）／，／ス（ｓ）／等の擦音 、／ド（Ｄ）／，／ツ（Ｔ）／等の閉鎖音等の音素クラスの事象に区分される。 その後、クラス内の具体的な音素が同定される。第２のモデルは、音声プロセス を直接に解析することはできないが、統計的手法において有効に解析できるとす る立場をとる。隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ）は、音声プロセスについて上記の立場をとった一例である。このモデルでは、 音声信号のセグメントは確率的な系の状態とある状態からいずれか他の状態への 遷移として捉えられる。各音素又は単音は、状態変化のシーケンスとして記述さ れる。入力される音声信号のスペクトル状態間の遷移の確率は、確からしい音素 又は単音の同定のための目標シーケンスの各々に対して確からしい対応性を決定 するために計算される。多数語いの話者独立型システムにおいては、スペクトル 状態の数に比して可能なスペクトル状態の数がはるかに多いので、この方法で高 信頼度を達成することは困難である。第３のモデルでは、音声信号をスペクトル パターンのシーケンス則ち直接的に観測可能な信号の表現と見倣す。後に詳細に 説明するように、このモデルは、本発明において採用されているモデルである。 全ての音声認識法は、未知の音声信号の特徴を参照事例セットと比較し、良好 な整合が得られるか否かを決定する（同定）。したがって、音声認識システムと 方法を分類するいま一つの方法は、単語、音素又は単音を同定するため、未知の 音声信号が比較されるべき参照データをいかに与えるかに基づいている。“規則 が与えられた”システムでは、システム設計者が、最良の整合を決定するのに用 いる参照データを装置に直接に与える。設計者は、テンプレートの形状を与える か、隠れマルコフモデルにおけるように、状態遷移確率を計算する。話者独立系 の応用は、話者の声の広い変化に対応すべくきわめて多いスペクトル状態を必要 とする。類似のスペクトル状態は、統合することができるが、標本的な精度の低 下したがって同定の信頼度の低下を招く。“規則が学習されるシステム（例えば 人工ニューラルネットワーク）”においては、設計者は、興味のある各単音のス ペクトルの膨大な事例とそれらの同定事例を与える。システムは、訓練モードで 駆動され、ニューラルネットワークは、一つの単音を他の全てから識別する方法 を“学習”する。実行モードで駆動されると、ニューラルネットワークは、遭遇 した信号のセグメントが確からしい単音の各々である確率を決定する。特定の確 率閾値判定基準が満たされたときに選択がなされる。この方法は本発明において 用いられる方法である。話者独立系の応用におけるこのアプローチの重要な利点 は、その信頼度がそれを使用する話者数に応じて改善されることである。 音声認識システムの最後の分類方法は、あるとすれば、採用された単語同定に 対する援助に関係する。“文脈非拘束（ｃｏｎｔｅｘｔ−ｆｒｅｅ）”構造にお いては、単音又は音素列が用語集もしくは辞典の見出しと比較され、各単語を直 接的に同定する。“文脈支援”構造においては、許される単語対、制約された文 法及び／又は統辞法（Ｓｙｎｔａｘ）等の手段が、単語同定の信頼性を向上する ために用いられる。本発明は、文脈非拘束系である。 これまで従来技術として述べてきた音声認識方法の大部分は、他の言語用に修 正することができる。しかしながら、単語同定を支援するための許される語順、 文法及び／又は統辞法等の解析手段に依存するこれらの方法は、言語変換遂行の ため個別のしかも重複的な努力が要求される。世界的な通信と交易の時代にあっ ては、従来技術において未だかつて指向されたことのない言語独立システムの必 要がある。そのようなシステムの設計と実行には異なる言語において使用される 音声の重複を活用すべきである。言語間における共通音声の活用は、従来技術の 場合に比して、より詳細な音声生成とその結果としての音声信号についての理解 が必要となるであろう。発明の要約 従来技術は、単音を認識する模擬的人間能力という能力を具備する装置の構築 を示唆することはなかった。ここで“単音（ｐｈｏｎｅ）”とは、“ある言語の 音声系における場所に無関係な物理事象として考えられる音声”をいう［ウェブ スター第９版新大学生用辞典（Ｗｅｂｓｔｅｒ’ｓ Ｎｉｎｔｈ Ｎｅｗ Ｃｏ ｌｌｅｇｉａｔｅ Ｄｉｃｔｉｏｎａｒｙ）；発行者メリリアム−ウェブスター ・インク、（Ｍｅｒｒｉａｍ−Ｗｅｂｓｔｅｒ Ｉｎｃ．）、スプリングフィー ルド、マサチューセッツ、１９９１］。“人間の言語は、単音とか音声と呼ばれ る音の広範囲の多様性を示している。きわめて多数の音声があるがその数は無限 大ではない。…可能な音声音のクラスは、有限であるだけでなく、人類共通であ る。全てのセットの一部は、人間の言語の財産目録（ｉｎｖｅｎｔｏｒｙ）にお いて発見されるであろう”［現代言語学：序論、ウィリアム・オグラティ（Ｗｉ ｌｌｉａｍ Ｏ’Ｇｒａｄｙ），マイケル・ドブロボルスキイ（Ｍｉｃｈａｅｌ Ｄｏｂｒｏｖｏｌｓｋｙ）、マーク・アロオノフ（Ｍａｒｋ Ａｒｏｎｏｆｆ ）；セント・マーチン・プレス（Ｓｔ．Ｍａｒｔｉｎ’ｓ Ｐｒｅｓｓ）；ニュ ーヨーク；１９８９］。 私の発明の一つの目的は、人間の複数の言語における音声（又は単音）の全て のセットを認識するシステム及び方法を提供することである。 私の発明の他の一つの目的は、多数の言語の内の１つにおける任意の話者の話 、話が連続的であり、会話的である場合を含む、を記述するシステムと方法を提 供することである。 本発明のさらにいま一つの目的は、音声信号を処理してその信号に含まれる全 ての周波数と振幅を正確に決定することができるシステムと方法を提供すること である。 本発明のさらなる目的は、ごく僅かな時間間隔で知覚された音声信号のユニー クな直接観察のためのシステムと方法を提供するために人間の聞取り過程を見習 うことである。 本発明のさらに他の一つの目的は、ある言語における単音をファジィセット即 ち全ての単音セットにおける確率メンバーシップを有する全ての音声信号として 取り扱うことである。 本発明のさらなる目的は、ごく短い期間の間に表された確からしい単音を決定 する人工ニューラルネットワークシステムと方法を提供することである。 本発明のさらなる目的は、発声構造の形状（ｖｏｃａｌ ｔｒａｃｔ ｃｏｎ ｆｉｇｕｒａｔｉｏｎ）の目標位置への最も接近したアプローチを表す単音発生 の間の時間、即ち意図した単音を表す信号の最大尤度が得られた時を同定するた めの人工ニューラルネットワークを採用するユニークな方法を提供することであ る。 本発明の他の一つの目的は、同じ単語について複数の発音に対応する方法を提 供することである。 本発明のいま一つの目的は、同時調音により会話中にしばしば一緒に発生する 単語を分離する方法を提供することである。 本発明のいま一つの目的は、他の言語の組み込みが組み込まれる言語の数とと もに減少する新言語導入時間で効率的に行えるように、言語間における単音の共 通使用を活用する方法を提供することである。 言語間の音の共用の活用は、より詳細な音声生成表現の応用、音声信号の結果 的なコード化及び従来技術の場合に比して優れた音声認識を可能とするようにそ の信号を解読する聞き取りとパターン認識の神経細胞のメカニズムのエミュレー ション（ｅｍｕｌａｔｉｏｎ）を必要とする。本発明は、人間の音声認識におい て起きる並行処理、即ち、スペクトル分析、音声音同定および単語認識をエミュ レートする。人間の聴覚の周波数の応答性と感度が模倣され、人工ニューラルネ ッ トワークが、脳のパターン認識装置を表わすために導入され、論理処理が話者の 文字単語への翻訳をエミュレートするために導入される。 本発明のこれら及び他の目的及び特徴は、図面を参照した以下の説明を考慮す ることによってよりよく理解されるであろう： 第１図は、本システムの論理ダイヤグラムである。 第２Ａ図−第２Ｃ図は、発声された音の簡単化したソースフィルター分解を示 す図である。第２Ａ図は典型的なソーススペクトル、第２Ｂ図は代表的な音声伝 送フィルタ機能、第２Ｃ図は発音された母音のスペクトルである。 第３図はある音調の周波数識別対周波数・声の大きさのグラフである。 第４図は狭帯域バンドパスフィルタの周波数に対する相対応答性を示す。 第５図は同じ聴音の大きさを生成するのに必要な種々の周波数の強度との関係 で人間の聴覚(hearing)の周波数応答性を示す。 第６Ａ図から第６Ｃ図は、音声セグメンテーションの３つの異なる考え方を図 示している。 第７Ａ図から第７Ｅ図は、単語“ｃａｗ”の発音の間における推定発声位置を 示す。第７Ａ図は音素／Ｋ／の発声位置で、第７Ｅ図は／ＡＯ／の位置であり、 第７Ｂ図、第７Ｃ図及び第７Ｄ図はそれら２つの間の推定遷移位置である。 第８Ａ図は、母音／ＡＨ／についての典型的な高精度スペクトルを表し、第８ Ｂ図は母音／ＯＷ／についてのスペクトルを表わす。 第９図は人工ニューラルネットワーク単音同定器の図式的な表現である。 第１０Ａ図から第１０Ｃ図は、ある特定の話者による特定の単語サンプルにつ いての高精度スペクトルを便宜的に３つの部分に分けて示したものである。 第１１ａ図から第１１ｄ図は人工ニューラルネットワーク単音同定器の出力例 を示す。 第１２図は音素を話された言語に翻訳するプログラムの論理ダイヤグラムであ る。 第１３Ａ図と第１３Ｂ図は現存するマイクロコンピュータに搭載した本発明装 置を示している。第１３Ａ図はコンピュータの側面図であり、第１３Ｂ図はコン ピュータの背面図である。発明の記述 第１図は、本システムの論理ダイヤグラムである。本システムは、言語セレク タ１、不揮発性メモリに格納された言語モジュール２及び先行プロセスによって 与えられる音声信号の変換に際して夫々作用する並列プロセッサ３〜７を含む。 各言語モジュール２は、所定の言語について、各時間間隔の間に解かれるべきニ ューラルネットワークのウェイト８と与えられた語い単語の音素対口語言語翻訳 を収集した言語辞書９からなる。始動時において、言語セレクタ１は、格納され た言語のメニューを表示し、ユーザはそれから興味のある一つを選択する。本シ ステムは、格納物からこれを検索して、当該言語についてのニューラルネットワ ークのパラメータとウェイトをニューラルネットワーク単音同定器５に、対応し た言語辞書９を、音声ストリング翻訳器７に夫々送る。 連続的な音声信号は、従来公知のアナログ・デジタルコンバータ３に入力され 、次いでスペクトル解析器４に入力される。この解析器は、後続する信号を処理 するアナログ・デジタルコンバータと並列的にデジタル化された信号について動 作する。スペクトル解析器４は、以下で詳細に記述されるように、それ自身、並 行プロセッサである。スペクトル解析器４の出力はニューラルネットワーク単音 同定器５に送られ、当該言語における音素（ｐｈｏｎｅｍｅ），音素の異音（ａ ｌｌｏｐｈｏｎｅ）、或いは他の正統な音声音が同定される（もしも、音素、音 素の異音或いは他の正統な音声音が存在するならば）。この動作は、さらに後続 の音声信号を処理するアナログ・デジタルコンバータ３及びスペクトル解析器４ と同時並行に行われる。ニューラルネットワーク単音同定器５の出力は音素統合 器（ｐｈｏｎｅｍｅ ｉｎｔｅｇｒａｔｏｒ）６に送られ、当該言語における真 の音素、異音及び他の正統な音声音がそれらの間の次から次への移行から分離さ れることを保証するとともに全ての異音と他の正統音声音を音素に組合せるため に、種々のテストが行われる。同様に、音素統合器６は、後に入力されてくる音 声信号部分を処理するニューラルネットワーク単音同定器５、スペクトル解析器 ４及 びアナログ・デジタルコンバータ３と同時並列的に、音声信号の該当部分に対し て動作する。各音素の集積が完了すると、それは音素列（ストリング）翻訳器７ に送られ、そこで、現在の音素列の端部に付加される。音素列内において、所定 の最小数の音素が存在すると、音素列翻訳器７は言語辞書９をアクセスし、当該 音素列を音声の流れの中で話された単語に解剖される。本システムの各部分が以 下に詳細に記述される。アナログ・デジタルコンバータ 音声信号は、電話、マイクロホン、或いはテープレコーダの如き音源から入力 され、アナログ・デジタルコンバータ３でデジタル化される。好ましい実施態様 において、ここに開示された音声認識システムは、入力信号を８ＫＨｚでデジタ ル化するとともに、０から３８００Ｈｚまでの応答性に対して４０００Ｈｚで約 ６０ｄｂ低い応答性を有するエイリアス除去ローパスフィルタと協動する。現代 の技術に応じて、ローパスフィルタはデジタル化に先立って入力信号について動 作するアナログ対応のものでも、アナログ信号のデジタル化の後に作用するデジ タルフィルタであってもよい。ローパスフィルタの出力はスペクトル解析器４に 入力される。スペクトル解析器 スペクトル解析器を記述するに先立って、解析されるべき信号の性質を考察す ることは重要である。ファント（Ｆａｎｔ）はその著書「音声生成の音響理論（ Ａｃｏｕｓｔｉｃ Ｔｈｅｏｒｙ ｏｆ ｓｐｅｅｃｈ Ｐｒｏｄｕｃｔｉｏｎ ）」［グンナアファント；モートン・アンド・カンパニイ（Ｍｏｕｔｏｎ ａ ｎｄ Ｃｏｍｐａｎｙ）；ハーグ、オランダ；１９６０］において、発生された 音声音のスペクトルを、第２Ａ図乃至第２Ｃ図に図示されるようなソーススペク トルと有声音透過フィルタ機能の積として記述した。ソーススペクトルは、基本 周波数とオクターブにつき６ｄｂ振幅が減少する調和周波数を生成する振動有声 コード（ｖｉｂｒａｔｉｎｇ ｖｏｃａｌ ｃｏｒｄ）の結果である。基本周波 数は、 バス声（ｂａｓｓ ｖｏｉｃｅ）の男性の低い６０Ｈｚから子供の約４００Ｈｚ までの範囲に分布する。“フィルタ機能”は、声の拡がりを整形することから得 られ特定の音声音を生成する。ある音声音を記述するのに線形予測符号化法を用 いる従来技術では、研究の対象はフィルタ機能であった。しかしながら、耳は発 せられた音声音の全体を受入れるのであって、フィルタ機能の結果を聞くのでは ない。線形予測符号化法は、音声信号を歪ませるとともにそれが有する情報のい くつかを切り捨てる。本発明は、音声音を同定するために人工ニューラルネット ワークを採用する、それ故、人間の聴音プロセスを模倣することによって信号情 報をできるだけ多く保持することができる点で有利であると考えられる。 例えば、アレン等（Ａｌｌｅｎ ｅｔ ａｌ）に与えられた特許第４，９０５ ，２８５号（人間神経応答モデルに基づいた解析構造）やライオン（Ｌｙｏｎ） に与えられた特許第４，４３６，８４４号（聴覚応答情報をシミュレートする方 法と装置）のように、従来において、多くのアプローチが音声音に対する人間の 反応をシミュレートするのに利用されてきた。従来技術のこれらいずれかの例に おいても、狙いは蝸牛殻の出力をシミュレートすることであった。本発明は、単 に蝸牛殻の出力をシミュレートするだけのものではなく、音声音を脳で受信され るものとして音声信号を表現するという問題に着目する。この目的のため、聴覚 テストで決定されるような人間の聴覚の周波数判別能力と周波数応答性の両方を 備えた擬似ヘア細胞（ｐｓｅｕｄｏ−ｈａｉｒ ｃｅｌｌｓ）の構造を備えるこ とが必要となる。周波数識別の一組のテスト結果がフィリップ・ホイットフィー ルド（ｐｈｉｌｉｐ ｗｈｉｔｆｉｅｌｄ）・ディ・エム・ストッダード（Ｄ． Ｍ．Ｓｔｏｄｄａｒｄ）の著作「聴覚、味覚及び嗅覚（Ｈｅｅａｒｉｎｇ，Ｔａ ｓｔｅ ａｎｄ Ｓｍｅｌｌ）（トースター・ブックス；ニューヨーク；１９８ ５）」からの引用として第３図に示されている。第３図は、接近した２つの音質 を識別する人間の能力は、信号の「振幅と周波数の両方に依存することを示して いる、より高い周波数の音質は、識別のためには、間隔がより大きくなければな らず、より大きい振幅のものは、小さい振幅のものより良好に識別することがで きる。 人間の聴覚に匹敵する音声信号の発生スペクトルの表現を得るため、本発明の 好ましい実施例では、第３図の１０ｄｂの音レベル曲線（上側）にしたがって、 ５８から３８００Ｈｚに亘って離間された複数の極狭バンドパスフィルタを採用 している。きわめて良好な聴覚を有する人は、この信号レベルでも良好な音声近 く作用を有する。このことは、最低周波数において最初約４Ｈｚ隔間し、最高周 波数域において相隣るフィルタ間で約２４Ｈｚまで増加する４２０個のフィルタ のセットを必要とする。このような多数のフィルタは、リアルタイム演算への電 子計算機の挑戦であるが、同じ周波数領域での蝸牛殻モデルの約１０，０００〜 １２，０００個のヘアセルに比較すれば比較的少ないことは注目されるべきであ る。 第４図は、フィルタ構造の１００Ｈｚ付近の部分の図形表現である。第４図か らは、約４Ｈｚのフィルタ間隔故に、この周波数領域でのある信号の真の周波数 は報告された周波数の約２Ｈｚの範囲にあることが理解される。より良い周波数 分解能は、第３図のより大きい音域レベルの周波数識別を用いること等、使用す るフィルタの数を増加させることによって得られるであろうことが理解される。 また、満足できる単音認識は、幾分低い周波数分解能、即ち、フィルタ間をより 大きく離間させることによっても達成できることにも注目すべきである。 バンドパスフィルタの各々の出力は、各サンプルについて演算される。８ＫＨ ｚのサンプリングレートにおいては、サンプル間の間隔は、０．１２５ｍｓであ る。並列配置の現代デジタル信号処理チップは、リアルタイム処理に必要な処理 能力を与えることができる。例えば、ローラル・スペイス・インフォメーション ・システムズ（Ｌｏｒａｌ Ｓｐａｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅ ｍｓ）は、２つのプラグ−イン基板上に配置した５個のＣ−プログラマブル・テ キサス・インストルメント ＴＭＳ３２０Ｃ３０ＤＳＰチップ［ブレインメーカ ・プロフェッショナル・アクセレレータ（ＢｒａｉｎＭａｋｅｒ Ｐｒｏｆｅｓ ｓｉｏｎａｌ Ａｃｃｅｌｅｒａｔｏｒ）としてカリフォルニア・サイエンティ フィック・ソフトウエア社により販売されている］を開発し、リアルタイムで数 百個のフィルタを解くのに適した計算速度を実現した。さらに、よりコンパクト な集積回路をこの目的のため特にデザインすることができる。 各周波数バンドの最大絶対振幅は短い時間間隔の間で決定される。その間隔の 長さは、音声パターンに従ったダイナミックスを表現する場合における正確さの ための短さと低周波数域における振幅を正確に反映させるための長さとの間のバ ランスである。１ＫＨｚの音調の一つの波の全長の時間は１ｍｓである。５００ Ｈｚの音調の一つの波の全長の時間は２ｍｓであり、２５０Ｈｚのそれは４ｍｓ である。しかしながら、典型的な男性の音調である１５０Ｈｚの半波も４ｍｓで あり、全波中で得られる最大値を含むであろう。本発明の好ましい実施例では、 ４ｍｓの一定期間が、各周波数帯域の振幅の最大絶対値を評価するのに採用され る。より長い期間を用いることができるが、より低い周波数の存在は明白性にさ ほど寄与しないようである。同様に、より短い期間をより高い周波数に使用する ことができ、それによってこれら周波数について時間領域においてより高い正確 性を達成することができる。より複雑な方法がある音声解析の用途には許容され るかも知れないが、本実施例ではコスト対効果上採用しなかった。 スペクトル解析フィルタ構造の出力は、音声の拡がりを捨てた音声信号の表現 である。しかしながら、人間の聴覚は、平坦な周波数応答性を有するものでない ことは良く知られている。音声スペクトルのうち低周波数に対しては、高周波数 に比して相当に鈍感である。第５図は、等しい音の大きさとして聞こえるのに必 要な相対音階強度を図示している。第５図の音の大きさのレベル（フォン）１０ の曲線を参照すると、１００Ｈｚの信号では１０００Ｈｚの信号と同じ音の大き さとして聞こえるためには、約３０ｄｂ大きい音圧の信号が必要となる。本発明 は、耳の周波数応答性を補償するため、フィルタバンク（ｆｉｌｔｅｒ ｂａｎ ｋ）の出力を修正する。本実施例において、バンドパスフィルタの出力の各々に は、スペクトル解析器４内で第５図の音の大きさレベル（フォン）１０の曲線の 逆数が掛け合わされる。これにより、高周波の振幅は低周波の振幅に比して増大 される。先に述べたように、このことはオクターブ当たり６ｄｂで傾斜する音調 調和周波数の振幅現象を幾分補償する効果を奏する。ニューラルネットワーク単音同定器 ニューラルネットワーク単音同定器５は、スペクトル解析器４の出力を受信し 、音の流れを形成する音声音や単音を同定するように訓練された人工ニューラル ネットワークである主プロセッサにこれを入力する。人工ニューラルネットワー クは、以下に詳述する方法によって、音素のみならず、“ム（Ｍ）”や“ン（Ｎ ）”のような鼻音に先立って生ずる囁き音（ｍｕｒｍｕｒ）の如き音や音素の異 音（ａｌｌｐｈｏｎｅ）（もしくは変形）、例えば音声学の分野の当業者にとっ てよく知られているような音節の最初の“ジィー（Ｚ）”の音響スペクトルが静 になる前の“ズ（Ｚ）”の音響スペクトルとは異なるといったように、を含むあ る言語の全ての正統音声音を認識できるように訓練されている。アメリカ英語で は僅か４０か４５の音素があるに過ぎないということが一般に考えられているが 、上で述べたようにこの言語において異なる音は１００を越える。このような全 ての正統音声音を指称するのに単音（ｐｈｏｎｅ）なる用語が用いられる。 本発明は、単音のファジィ集合（ｆｕｚｚｙ ｓｅｔ）なる概念を用いる。こ の概念においては、音声の間の各音は、全てのファジィ単音集合における確率的 なメンバーシップを有する。しかしながら、ある与えられた集合における特定の 音の確率が十分に高く、他のいずれの集合における確率が十分に低いときにのみ 、システムによって与えられた単音集合に属するとのラベル付けが行われる。こ の概念と従来技術に用いられている他の概念との間の差異は第６Ａ図乃至第６Ｃ 図に図示されている。第６Ａ図において、ある音声の流れの全ての単音（もしく は音素）は隣接している。即ち一つの単音（もしくは音素）が終わるところで、 次の一つが始まると考えられている。さらに、流れの中の全ての音は、ある単音 （もしくは音素）の一部である。 第６Ｂ図において、音は単音（又は音素）の一部であるか、一つの短音（又は 音素）から次のものへの移行期間に起こり得る。しかしながら、短音（又は音素 ）の発生は、不連続な事象であり；音は単音（又は音素）であるかないかのいず れかである。即ち、確率は０か１のいずれかである。 第６Ｃ図は、音声の流れにおける音は複数の短音ファジィ集合の確率メンバー シップを有する。このことは、発声構造（ｖｏｃａｌ ｔｒａｃｔ）は所望の音 を生成するため常に再整形される形状可変の機械装置であるという事実からくる 。各単音について発声構造の唯一の目標位置がある。音声の間、音は発声構造が 連続した位置で再形成されるにしたがって連続的に生成される。第７Ａ図〜第７ Ｅ図は、単語“カウ（ｃａｗ）”の発音中の発声構造の変化を示す図である。第 ７Ａ図は音素／Ｋ／の推定目標位置であり、第７Ｅ図は音素／ＡＯ／についての 推定目標位置である（音声学講議“Ａ ｃｏｕｒｓｅ ｉｎ Ｐｈｏｎｅｔｉｃ ｓ；ピーター・ラデフォーグト著“Ｐｅｔｅｒ Ｌａｄｅｆｏｇｅｄ”；ハーコ ート・ブレイス・ジョバノヴィッチ・カレッジ出版“Ｈａｒｃｏｕｒｔ Ｂｒａ ｃｅ Ｊｏｖａｎｏｖｉｃｈ Ｃｏｌｌｅｇｅ Ｐｕｂｌｉｓｈｅｒｓ”；フォ ート・ワース、テキサス；１９９３）。第７Ｂ図及至第７Ｄ図は、上記２つの目 標位置の間の遷移期間であると考えられる発声構造の推定位置である。発声構造 の形は、／Ｋ／についての目標位置から離れるにしたがって、生成される音は／ Ｋ／の音とは段々似なくなることが明らかである。同様に、形状が／ＡＯ／の形 状に近付くにしたがって、生成される音は、／ＡＯ／のそれに増々似てくる。２ つの目標位置の間では、音は２つの目標音素に対して変化しながらも類似性を有 しており、実際他の単音に対してもある種の類似性を有する。 人工ニューラルネットワークは、ある単音が４ｍｓの各期間毎に発声する音に よって表現される場合に、以下に詳述する方法によって同定すべく訓練されてい る。スペクトル入力に適用されたネットワークウェイトを表わすマトリクスを解 くこと及び音が単音の各々を表わす確率を演算することによって人工ニューラル ネットワークはこのことを実行する。単音の一つについての確率が、特定の閾値 を越えるとともに、他のすべての単音に対する確率が、１から閾値を引いた値よ り小さい場合には、その期間の信号は閾値をこえたその単音として同定される。 本発明の一実施例では、カリフォルニア・サイエンティフィック・ソフトウェア 社製作のブレインメイカー・プロフェッショナル・ニューラルネットワークが、 ネットワークの訓練と解法の両方に使用される。ニューラルネットワークを解く 、例えば、本発明をハードウェアとして実行する他のデザインの結果として得ら れ特別仕様のニューラルチップの如き他のメカニズムも利用することができる。 人 工ニューラルネットワークは、パターン認識や相関判定等の種々の分野に成功裡 に応用されている。人工ニューラルネットワークを形成し、訓練し解く方法は、 当業者によく知られている。単音認識に有効に応用するためには、任意の話者の 音声音を認識するのに必要かつ十分な情報を与える方法が必要となる。正確な認 識のためには、２つの条件が満足されなければならない。第１に、人工ニューラ ルネットワークに提供される音声信号の記述（訓練用及び認識用）は、比較的込 み合った音声バンド内で単音間を識別することができる十分に高い分解能のもの でなければならない。そして、第２に、ネットワークは訓練に供される音声パタ ーンが全人口の音声パターンを表わすものであることを保証するため十分な数と 広がりをもった話者の音声例で事前に訓練されていなければならない。スペクト ル解析器４は、人間の聴覚と同様の分解能と感度を与えるように設計されている ので、第１の条件を満足する。第２の条件に関しては、この発明を実行に移すた めのニューラルネットワーク単音同定器５を訓練する過程において得られた経験 則は、数百の話者による音声例が低い声から高い声をもった男性及び女性の話者 及び広範囲の言語学メカニズムを適切に包括することを可能とするために必要と なる。必要な話者の数は、ニューラルネットワークの訓練に関連して以下で議論 される。第８Ａ図と第８Ｂ図は、訓練のためエイエヌエヌ（ＡＮＮ）に提供され た母音“ア（ＡＨ）”（例えばナット／ｎｕｔ／における）と“オウ（ＯＷ）” （例えばノート／ｎｏｔｅ／における）の多数の例のうちのスペクトル例を示す 。第８Ａ図と第８Ｂ図から分かるように、ある与えられた単音内において広範囲 の変化が認められるのみならず、２つの単音間には相当量の類似性が存在する。 人工ニューラルネットワークは、典型的には、ニューロンの入力層、出力層及 び１もしくはそれ以上の隠れ層を有する。単音認識ニューラルネットワークの好 ましい実施例の模式的ダイヤグラムが第９図に示されている。ニューロンの出力 層は、話された言語の単音のうちの各々である。入力層は現在の時間間隔とその 一つ前におけるスペクトルデータである。第９図に示すように、第１ニューロン は音声信号入力レベルの測定値を表わす。残りのニューロンは先行する期間と現 在の期間における信号スペクトルを記述することによって閉止音の如き複数の単 音の急変する動的力学を補足する２組の入力データである。２つの期間の分離は スペクトル中における差異を強調することによって選択される。好ましい実施例 において、分離は３２ｍｓである。最適な分離は、異なる言語によってさらにあ る言語においても方言や地域的なアクセントの違いによって異なるであろう。２ つの組の各々において、第１ニューロンは当該期間に発生するある周波数の最大 振幅を与え、残りのニューロンは、その最大振幅に相対する信号スペクトルを記 述する。先に示唆した如く、人工ニューラルネットワークは１つもしくはそれ以 上の隠れニューロン層と協働する。人工ニューラルネットワーク構築分野の当業 者は最適な隠れ層数やある隠れ層の最適ニューロン数を決定するために依拠でき る理論や信頼できる規則が依然用意されていないことを認識している。この分野 における標準的な慣行にしたがって、隠れ層におけるニューロン層は、ネットワ ークが訓練された音声信号の母集団に含まれていない話者の音声信号における単 音を正しく同定する正確性に関連する最適挙動を与えるものを異なるニューロン 数を持つ種々の隠れ層をテストすることによって経験的に決定される。ニューラルネットワークの訓練 ニューラルネットワークの訓練は、できるだけ多くの予想されるユーザ母集団 の音声特徴を表わすデータを準備することを含む。音声サンプルは、単語の組の 各々において、所望の具体的な単音の各々の１つもしくはそれ以上の例を含む複 数の単語の組（集合）を用いて記録される。アメリカ英語における１００余りの 単音のためのシステムを訓練する１つの方法は、ニューラルネットワークを夫々 約１０個の単音の個々の集合について訓練し、それら集合を徐々に徐々により大 きい集合に結合することである。各訓練用集合において集めた声が、実際の応用 において出合うと予想される声のピッチ周波数の範囲をカバーする話者を含むこ とが重要である。例えば、男性の声のみが必要な場合、約６０から約１５０Ｈｚ の範囲が適切であり、女性の声のみが必要な場合、約１３０から３５０Ｈｚの範 囲が必要とされるであろう。また、子供の音声をも認識しようとする場合、範囲 は多分４００Ｈｚ程度の高さまで拡張されるであろう。 所望の範囲に亘って声の高さ（ｐｉｔｃｈ ｖｏｉｃｅｓ）の数について多か れ少なかれ均一な分布をもつことが重要である。開示された発明の好ましい実施 例は、声の高さ（ｖｏｉｃｅ ｐｉｔｃｈｅｓ）の範囲に亘って約４０の周波数 バンドを有する。各音声高さについて約５０の異なる話者が母集団表現の高い信 頼性を与えることが統計学的に評価されている。システムを訓練するための音声 サンプルを収集する場合において、声の高さは男性と女性と（もし含まれるなら ば子供と）の個別のほぼ標準的な分布においてある周波数の周辺に集中する（ｃ ｌｕｓｔｅｒ）傾向がある。本発明の原理証明用（ｐｒｏｏｆ−ｏｆ−ｐｒｉｎ ｃｉｐｌｅ）システムを訓練するための音声サンプルの収集において、上記サン プル母集団について、６０から１００Ｈｚ及び１３０から１５０Ｈｚの夫々の間 の男性の声は、これら範囲の間のそれに比して少ないことが見い出された。同様 に、１５０から１８０Ｈｚ及び２５０から３５０Ｈｚの範囲の女性の声は、これ ら範囲の間のそれに比して少ない。切り捨てられるべき過剰な中間周波数ピッチ 及びピッチ分布において所望の均一性を達成するため十分な数の高・低音声高さ を得るのに必要な更なる工夫を見い出すことが期待される。 訓練プロセスの最も重要な部分は、単語サンプルの各単音を表わすのに最良の 時間、即ち単音サンプルのファジィ集合にスペクトルが属する確率が最も高くな る時間を選択することである。再び、第６Ａ図〜第６Ｃ図を参照すると、それら の時間は第６Ｃ図に示された３単音からなる単語の曲線の各ピークである。これ らの時間を選択する場合に、スペクトル解析器の出力を図形的な形としてみるこ とは極めて有用である。第１０Ａ図〜第１０Ｃ図は、題目ＪＡ９によって発声さ れた単語“ＫＮＯＷ”についての高分解スペクトルグラムである（声のピッチが 約１８０Ｈｚであるので、上記題目は多分女性のものであることがこれらの図か ら観察されるであろう。）。記録の表示された部分の期間は６００ミリ秒であり 、図は、表示の便宜上３個の２００ｍｓ部分に分けられている。各表示部分の上 縁の各目印は２０ｍｓを表わす。 ３００ｍｓ付近の単音“Ｎ”の先行する小声と弱い破裂放出（ｐｌｏｓｉｖｅ ｒｅｌｅａｓｅ）の両方が明瞭である。このようにして、これら単音について の最適の時間の選択は容易となる。母音のような他の単音の最適時間の選択は、 それ程明瞭ではない。この題目は、音声サンプルが採用された他の多くのものと 同様、発音された単語がＮ：ＡＨ：ＯＷであるので音素“ＡＨ”（ｎｕｔのよう に）が“Ｎ”と“ＯＷ”との間に挿入されている。 かくして、音素“ＯＷ”は、第１０図から（及び音声学者のように、音素／Ａ Ｈ／がしばしば挿入されることに気付いていないならば）予想される約４８０ｍ ｓ付近には生ぜず、５７６ｍｓ付近に生ずる。 単語サンプルＫＮＯＷ．ＪＡ９についてのニューラルネットワーク単音同定器 ５の代表的な出力が第１１Ａ図〜第１１Ｄ図に示されている。第１１Ａ図〜第１ １Ｄ図から分かるように、ある時点（例えば、２００ｍｓ付近）において、第６ Ｃ図に関連して議論したように、信号は１より多い単音集合に属する相当な確率 をもつ。同様に、Ｎの前の囁き音（ｘＮ）の確率が上昇し、その後、その確率は Ｎの確率が増加するにしたがって減少することを注目すべきである。 次いで、Ｎの確率はＡＨの確率が増加するにしたがって減少し、そして、その 後、ＡＨの確率はＯＷの確率が上昇するにしたがって減少する。 ある与えられた訓練用集合の数千の単音例について最初に選択された時間は少 なくとも複数の単音について、最大確率の時間を表わすものではないであろう。 訓練の間、ニューラルネットワークは満足できるパターンを捜す。それ故、訓練 後には、訓練済みのニューラルネットワークは、単語サンプル及び単音入力時間 とニューラルネットワークによって最高確率時間が見い出されるにしたがって同 定される単音入力時間との間の大きな差異に対して応用される。不適合のサンプ ル時間はその後修正され、訓練が繰り返される。この過程は、相違が許容しうる 程度まで十分低いレベルに達するまで繰り返される。更に、システムを訓練した 後に新しい題目についてシステムの訓練は、ある話者について低い単音認識確率 を招来するかも知れない。そのような話者についてのデータは、効率を改善する ためシステムの訓練にさらにフィードバックすることができる。 これと同じ技法はシステムを新しい言語について訓練する場合に用いることが できる。新しい言語の話者による音声サンプルは、システムが既に満足すべき結 果を与えている単音とその言語について特別に訓練される必要がある単音とを同 定するために、訓練された現存のネットワークを用いてテストされる。先の言語 に共通でない新しい言語の単音は新しい言語の音声サンプルに関して訓練される べきであることを理解すべきである。音素統合器 人工ニューラルネットワークは、各時間間隔においてどの単音（もしあれば） が生じているかを同定する。しかしながら、母音の如き音素は一様の期間である 。音素統合器６の１つの機能は、認識を確認するため連続的な所定最小数の同定 （ｉｄｅｎｔｉｆｉｃａｔｉｏｎｓ）の要求を課すことによって正統な単音を音 声的でない遷移から分離する。開示された発明の好ましい実施例では、母音の認 識を確認するため８個の連続的な同定（３２ｍｓの期間に等しい）、準母音（ｓ ｅｍｉ−ｖｏｗｅｌ）と擦音について３つの連続した同定、閉止音（ｓｔｏｐｓ ）と他の破裂音について僅か１つの同定が必要とされている。いま１つの機能は 、（十分な期間の）小さい単音（ｍｕｒｍｕｒ ｐｈｏｎｅ）と放気単音（ｒｅ ｌｅａｓｅ ｐｈｏｎｅ）の両方が、認識が確認される以前に発声閉止音の如き 音素について存在していることを保証することである。音素統合器の出力は、音 声の流れの音素表現である。音素列翻訳器 音素列翻訳器７の機能は、音素列で表れた、発声された言語の単語を同定し、 分離し表示する（即ちファイルに出力する）。翻訳器の主要な構成要素は、話さ れた音素の言語辞書と音素列を話される言語に於ける単語の綴りに音素列を変換 するためにその辞書を使用するコンピュータプログラムである。辞書の重要な特 徴は多数の自然語についての多重の音素入力の使用である。このことは、（ａ） 異なるアクセントをもった人はしばしばある与えられた単語について異なった発 音をする、及び（ｂ）１つの単音からいま一つの単音への遷移は、あるときには 第３の単音であるという理由で必要であると考えられる。 上記（ａ）の一例は、アメリカの北東部出身者と中西部出身者とでは単語“ｈ ａｒｂｏｒ”の発音が異なることである。（ｂ）の一例は単語“Ｎｏａｈ”が少 なくとも／Ｎ：ＯＷ：ＡＨ／，／Ｎ：ＡＨ：ＯＷ：ＡＨ／及び／Ｎ：ＡＨ：ＯＷ ：Ｗ：ＡＨ／の音素綴りを有することが出来るように、“Ｎ”と“ＯＷ”との間 のよくある遷移“ＡＨ”と“ＯＷ”と“ＡＨ”との間の“Ｗ”の挿入である。 コンピュータープログラム設計は、音素のより長い列の文脈において単語を同 時することを基本としており、連続子音発生（ｇｅｍｉｎａｔｉｏｎ）の如き共 調発音（ｃｏ−ａｒｔｉｃｕｌａｔｉｏｎ）を具体的に指定し考慮することであ る。プログラムを説明する前に、従来技術において注目されていなかったしばし ば発生する音響的状態をまず同定することが有用である。ある１つの話された単 語が、ある与えられた音素、特に閉止音や破裂音において終わり、次の単語が同 じ音素で始まる時に、２つの音素は殆ど分離して発音されることはない。単語の 分離位置を同定することは、音声認識システムにとって、そのような状態が得ら れない場合に比してより複雑となる。例えば、“ｂａｄ ｄｏｇ”の発声は、終 わりと始めの“ｄ”の連続子音を括ることなく、適切に分離されることはない。 区別されなければ、選択すべき二者は“ｂａｄ ｏｇ”と“ｂａ ｄｏｇ”であ り、いずれも両方の単語を正しく同定していない。 少ない語彙の応用では、そのような事態は用語集に含まれる単語を制限するこ とによって回避できるが、この発明が意図する語彙が制限されない応用において は不可能である。全ての閉止音や破裂音及び破擦音の幾つかを含む連続発声子音 （共調発音子音）候補である多くの音素が存在することを注目すべきである。 コンピュータプログラムは、可能な連続発声子音発生を想到し得るように設計 されている。コンピュータプログラムの論理ダイヤグラムは第１２図に示されて いる。そのための方法は、遭遇するであろう単一の単語より長い音素列を用いる ことである。本発明の好ましい実施例は、２０個の音素列長［第１２図のプロシ ージャ１０においてマックルストリング（Ｍａｘ Ｓｔｒｉｎｇ）と呼ばれる］ に基づいている。ある発声における最初の２０個の音素（発声が２０個の音素長 以下であるときは実際の長さ）は、可能な最長第１単語を発見するためプロシー ジャ１１において試験される。その単語が連続発声子音候補で終わらない場合、 それはプロシージャ１６において出力され、次の音素はプロシージャ１７におい て新しい開始点となり、２０個音素長がプロシージャ１０において補充され、プ ロセスが繰り返される。最も長い第１単語がある連続発声子音候補で終わってい る場合、プロシージャ１３は、テスト単語の音素の数に等しい音素数までマック スストリングを一時的に拡張し、プロシージャ１４は拡張されたマックスストリ ングにおいて後続する単語が存在するかを決定する。このことは、連続発声子音 の候補に続く音素が先行する単語における最後の音素と一緒に発声されなかった ことを示す。後続する単語が存在する場合、プロシージャ１６はテスト単語を出 力し、プロシージャ１７において、次の音素が新しい出発点となり、２０個の音 素長がプロシージャ１０において補充され、そのプロセスが繰り返される。テス ト単語の後に始まる第２の単語がない場合［共調発声（ｃｏ−ａｒｔｉｃｕｌａ ｔｉｏｎ）が発生していることを示している］、プロシージャ１５は、その点に 、共調発声候補音素の複写を挿入する。前と同様に、プロシージャ１６はテスト 単語を出力し、プロシージャ１７において、次の音素が新しい出発点となり、２ ０個の音素長がプロシージャ１０において補給され、このプロセスが繰り返され る。このプロシージャの組は音素統合器６によって音素が生成されている限り繰 り返される。 上記したシステムの基本設計では、ユーザは通常使用に先立って記述されるべ き特定の言語を選択するものと想定しているが、レパートリイ内でどの言語が話 されているかを自動的に決定し、適当な人工ニューラルネットワークと使用に供 する言語辞書を選択するように修正することができる。このことは、真の単語列 を生成する言語を同定するための、言語の夫々について、音声の初期の短い部分 等、時間にして例えば５〜１０秒の間、処理することによって達成される。シス テムが真の単語列を同定するための単語が選択され、システムは、上述した如く 、その時点から作動する。システムのハードウェア装置 ここに開示した方法とシステムは、“スーパーコンピュータ”上で実行されな い限り、リアルタイム操作のために同時平行処理を必要とするが、第一義的には 、広範囲での使用のため、“パーソナルコンピュータ”や“ワークステーション ”クラスのマシーン上で好ましくは実施される。構成要素幾つかの製造業者の装 置は本発明の種々のいくつかについて好適な特性を有しているが、図示の目的の ため、第１３Ａ図及び第１３Ｂ図に示された特定の構成を説明する。上述したよ うに、ローラル・スペイス・インフォーメイション・システム（Ｌｏｒａｌ Ｓ ｐａｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）はリアルタイムで数百の狭 帯域バンドパスフィルタについて方程式を解く適当な計算速度を与える、２つの プラグインボード１０５と１０６上の計５個のＣ−プログラマブル・テキサス・ インストルメント（Ｃ−ｐｒｏｇｒａｍｍａｂｌｅ Ｔｅｘａｓ Ｉｎｓｔｒｕ ｍｅｎｔ）ＴＭＳ３２０３ Ｃ３０ ＤＳＰチップの構成を開発した。 ボード１０３と１０４の第２のセットは、ニューラルネットワーク方程式を解 くのに用いられる。これらボードの２セットは、例えばボード１０８と１０９上 に搭載された同じメモリを共有する２つの独立した処理用ボード１１０と１１１ の備えを有するコンパック・システムプロ・モデル６６Ｍ（Ｃｏｍｐａｑ Ｓｙ ｓｔｅｍｐｒｏ Ｍｏｄｅｌ ６６Ｍ）マイクロコンピュータに装備される。こ れらプロセッサの１つは音素統合器６の機能を果し、他のものは、言語選択の制 御プロセッサと音声対話言語翻訳と文書出力を与えるという両方の機能を果す。 メディア・ビジョン・プロ・オーディオ・スペクトル１６（Ｍｅｄｉａ Ｖｉｓ ｉｏｎ Ｐｒｏ Ａｕｄｉｏ Ｓｐｅｃｔｒｕｍ１６）の如き他のプラグ−イン 型ボード１０７はアナログ・デジタル変換機機能を与えることができ、それに付 属するソフトウェアは、波形表示と、言語訓練とテストのための音声サンプルを 集めるための編集を支援することができる。システムプロ（ＳｙｓｔｅｍＰｒｏ ）コンピュータは、利用できる２つの空のスロットを持っている。

Claims (1)

1. 【特許請求の範囲】 １．以下の構成を備える多言語音声認識システム： 音声音をデジタル情報に変換するアナログ・デジタル・コンバータ； 上記デジタル情報を受信し、人間の聴覚の周波数判別力を周波数応答性をもっ て、上記音声音のスペクトルを決定する解析器と； 上記スペクトル解析器からのスペクトルを受信する単音同定器、該単音同定器 は、上記スペクトルの特定の時間間隔内において発声する単音を同定するネット ワークを備え、該ネットワークは所定の言語の単音を認識することができる； 認識結果を確認するため同定された単音の所定の最小数の連続した同定を検出 することによって、上記単音同定器によって同定された非音声遷移から単音を分 離する音素統合器、該音素統合器は、上記スペクトルから同定された単音を表す 音素列を出力として与える；及び 上記音素列によって表される人間言語の単語を同定し、分離し、表示し、もし くはファイルに格納する音素列翻訳器と、該音素列翻訳器は音素として話される 言語の辞書と上記音素列を話される言語の文書に変換するため該辞書を用いるプ ログラムを備える。 ２．上記ネットワークは、複数の与えられた人間言語のいずれか１つの単音を認 識するため予め訓練されている請求項１のシステム。 ３．上記システムは、単語の複数の発音に適応する請求項１のシステム。 ４．上記システムは、任意の話者の連続的な会話音声を記号化する請求項１のシ ステム。 ５．上記ネットワークは、ある単音の目標位置での声の拡がり形状に最も近い上 記スペクトル内の時間クレームを同定する請求項１のシステム。 ６．上記システムは、会話音声において生ずる連続発声子音等の共発声音事象を 指定して考慮する請求項１のシステム。 ７．以下のステップを有する多言語音声認識方法： アナログの音声音入力を受信して該入力をデジタル出力に変換する； 上記デジタル出力を受信し、人間の聴覚の周波数識別性と応答性をもって、上 記音声音のスペクトルを決定する； 上記スペクトルを受信し、該スペクトルを所定の言語の単音を認識するための ネットワークの情報と比較することによって、上記スペクトルの特定の時間間隔 中に生ずる単音を同定する； 認識を確認するため同定された単音の所定の最小数の連続的な同定を検出する ことによって上記比較により同定される非音声遷移から単音を分離するとともに 、上記放出されたスペクトルから同定単音を表す音素列を出力として与える；及 び 音声で話される言語の辞書と上記音素列を話される言語の文書に変換するため に上記辞書を使用するプログラムを備えた音素列翻訳手段を使用することによっ て上記音素列によって表された人間言語の単語を同定し、分離し、表示するかフ ァイルに格納する。 ８．上記ネットワークは、複数の与えられた人間言語のいずれか１つの単音を認 識するため予め訓練されている請求項７の方法。 ９．当該方法に付加的な言語能力を加える際には、種々の人間言語に存在する共 通の単音を有効に使用する請求項７の方法。 １０．上記システムは、単語の複数の発音に適応する請求項７の方法。 １１．上記システムは、任意の話者の連続的な会話音声を記号化する請求項７の 方法。 １２．上記ネットワークは、ある単音の目標位置での声の拡がり形状に最も近い 上記スペクトル内の時間クレームを同定する請求項７の方法。 １３．上記システムは、会話音声において生ずる連続発声子音等の共発声音事象 を指定して考慮する請求項７の方法。 １４．以下の構成を有する多言語音声認識システム： ある特定の言語の可聴音声信号を受信するとともにそれらを対応する電気信号 に変換する手段； 上記信号の対象とする所定の最大周波数の少なくとも２倍の割合で上記信号を サンプリングするためのアナログデジタルコンバータ； 上記アナログデジタルコンバータからのサンプル集合を１ミリ秒から８ミリ秒 の間の時間間隔にわたって受け入れるとともに、人間の周波数識別と感度応答性 をシミュレートして各サンプル集合のスペクトルの内容の解析を与えるスペクト ル解析器； サンプル集合の各々が、上記話される言語に属する単音の所定の集合の１つの 可聴スペクトルを確かに表すかを同定するための人工ニューラルネットワーク； 該単音の存在と認識を確認するため、連続する上記サンプル集合の十分な所定 の最小数の確率的同定を統合する統合器と、 上記単音を話される言語の音素に統合するための手段と、 上記音素のシーケンスを話される言語の単語に翻訳する翻訳器と、該翻訳器は 第３の正統音声音である２つの正統音声音間の遷移を解釈するとともに、音声音 が共調発音されたときに発音されなかった音声音を近傍の音声音で同定する、お よび 翻訳された単語に対応する文書を表示し、印刷および／または格納する手段。