JPH0272397A

JPH0272397A - 音声認識装置

Info

Publication number: JPH0272397A
Application number: JP63222313A
Authority: JP
Inventors: Akio Amano; 天野　明雄; Hiroshi Ichikawa; 市川　熹; Nobuo Hataoka; 畑岡　信夫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-09-07
Filing date: 1988-09-07
Publication date: 1990-03-12
Anticipated expiration: 2013-06-11
Also published as: US5040215A; JP2764277B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は音声認識方式に係り、特に、多様であいまいな
性質が特徴である音声を良好に認識する方式に関する。

〔従来の技術〕

従来の音声認識装置では，アイ・イー・イー・イー・ト
ランザクション　オン　アコーステイクス　スピーチ　
アンド　シグナルプロセシングニー　ニス　ニス　ピー
　２３　　１　（１９７３年）第６７頁から第７２頁（
ＩＥＥＥ，Ｔｒａｎｓ．ｏｎ　ＡＳＳＰ−２３。

Ｎｃｉｌ　（１９７５）ｐｐ６７−７２）において論じ
られているように、認識対象となる音声の全てのカテゴ
リーについて予じめ標準パターンを用意しておき、入カ
バターンをこの各標準パターンと照合し最も類似度の高
いものを認識結果とする方式をとっていた。

このような方式においては、認識の動作は標準パターン
との照合が基体となるが、音声の特徴が暗黙的に標準パ
ターンの中に取り込まれているために、認識動作の途中
経過についてもその正否を人間が判断することができな
い。このため、認識装置の性能改善が試行錯誤的となり
、知識が積み上らず、性能向上が望めず、系統的性能改
善が行なえない。

このような問題点を解決する方式として、同一出願人は
特願昭６２−３３２６１において音素特有の特徴が特徴
パターンの時系列の中に存在するか否かを調べる処理の
名称と手順を各音素特有の特徴毎に保持する手段と、認
識対象の音声の全カテゴリーの中から２つの組み合せ毎
に、その２つを識別するために行なう前記処理の名称お
よび処理結果の解釈の仕方を記述したテーブルを設け、
本テーブルの記述に従って対判定によって認識処理を行
なう方法を考案した。この方法によれば、誤認識が生じ
たときの原因を究明するには、上記の対判定結果のうち
、判定を誤っているものを調べれば良く、この処理手順
を改良することにより、他の対判定結果に悪影響を及ぼ
すことなく、性能を改善することが出来る。

なお、以下の説明では、音声の認識単位として音韻を例
に取り上げて説明するが、認識の単位が音節や単語など
他の単位であっても同様に処理できることは言うまでも
ない。

〔発明が解決しようとする課題〕

上記に例として示した二つの従来技術では、音声が本来
的に持つあいまいさ（発声器関上の不確実さや１発声者
の発声態度のあいまいさ、調音結合による構造的な変形
によるあいまいさ）や、分析等の技術上の制約による分
解能不足等によるあいまいさについて、十分に考慮され
ておらず、確定的な論理処理により認識判断がなされて
いるため、十分な性能が得られないという問題があった
。

このような問題点を解決するために、これまでに、たと
えば、森島他パ音響処理と記号処理とを融合した単語音
声認識システムの構成″信号論り。

Ｖｏｌ　Ｊ７０−　Ｄ　、　Ｎｎ１Ｏ，ｐｐ１８９０−
４９０１（１９８７，１０）及びＲ，Ｄｅ　　Ｍｏｒｉ
　ｅｔ　ａｌ　”Ｕｓｅ　ｏｆ　Ｆｕｚｚｙ　Ａｌｇｏ
ｒｉｅｈｍｓｆｏｒ　Ｐｈｏｎｅｔｉｃ　ａｎｄ　Ｐｈ
ｏｎｅ＋ａｉｃ　Ｌａｂｅｌｉｎｇ　ｏｆ　Ｃｏｎｔｉ
ｎｕｏｕｓ　５ｐｅｅｃｈ″ＩＥＥＥ　Ｔｒａｎｓ、ｏ
ｎ　ＰＡＭＺ、Ｖｏｌ　ＭＡＭＩ−２゜Ｎα２．　ｐｐ
１３６−１４８　（１９８０）に示されているように、
あいまいな処理に向いた論理であるファジー論理を導入
した手法が提案されているが、これらは。

いずれも本探索形式の論理によっており、各論理判定が
独立できない、このために、第１の従来技術における問
題点として先に示した各処理の独立性がなく、性能改善
を系統的に積み上げて行くことが困難であるという問題
点がある。

また、第二の従来技術として示した方法は、全音韻カテ
ゴリーの中から２つづつのすべての組みを取り出し、そ
の組錘に最適な対判定処理を構成するためには、一つ一
つその性質を解明し、処理方法を決定して行かねばなら
ないため、開発の手間が膨大になるという問題点があっ
た。

また、得られた結果が正しくないと判断されたとき、処
理のやりなおしをする手順が明確でないため正しく入力
している時でも再入力が必要という問題があった。

本発明の目的の第１の目的は、音声の本来的に持つあい
まい性を考慮に入れながら、各処理の独立性を保証し、
性能改善が系統的に実現され、高性能な認識を実現する
音声認識方式を提供することにある。

また、本発明の第２の目的は、音声毎に最適な処理方式
を自動的に学習し、決定して行くことの出来る音声認識
方式を提供することにある。

本発明の第３の目的は、認識結果が誤りであったり、そ
の判定の結果、あるいは予め入力内容が予測される場合
に、予測された音声が入力されている可能性があるかど
うかを確認するための手順を与え、不必要な再入力をさ
ける手段を提供することにある。

〔課題を解決するための手段〕

上記目的は、音声の特徴抽出部をニューラル・ネットワ
ークで構成し、入力音声のカテゴリーを判定する判定部
を、対判定型の判定処理で構成し組み合せることによっ
て達成される。

なお、対判定型の判定処理は、すべての音韻の中からの
任意の二つの音韻を取りだした時に、入力がどちらの音
韻と見なす方が妥当かを判定する対判定部と、各対判定
部の結果を総合して入力が向という音韻かを判定する総
合判定部（結果集計部）から構成される。この対判定型
判定処理部では、（１）対判定部と総合判定部をファジ
ー処理で構成し、ニューラル・ネットワークで構成した
特徴抽出部の出力をメンバシップ関数とする場合、（２
）対判定部もニューラル・ネットワークで構成し、総合
判定部をファジー処理で構成する場合、（３）すべてを
ニューラル・ネットワークで構成する場合に構成するこ
とができる。

また、ここでニューラル・ネットワークとは。

等価的に並列プロセッシング・エレメントからなり、各
プロセッシング・エレメント間の結合はダイナミカルな
自己プログラミングによる、教師の有無にかかわらず自
己学習により行なわれるもの。

及び予め学習され固定化された結合によりなされている
ものの双方を含むものとする。

〔作用〕

ニューラル・ネットワークは構成階層数を増すことによ
って、原理的に任意の写像（入出力関係）を実現できる
。また、この任意の写像の具体的実現は、入力データと
対応する出力データのサンプルを与え、適当な学習アル
ゴリズムに従って学習することにより行なわれる。そこ
で、入力データとして、音声波形又は、その音声波形を
変換して得られた周波数スペクトルなどの特徴パラメー
タを、出力データとして、対判定処理に用いたい特徴の
有無（たとえばその入力音声の摩擦性の有無を１とＯの
値で）与えることにより、任意の入力音声に対しその特
徴の存在の程度をあられすようなメンバシップ関数を発
生することが出来る。さらに、これらの特徴（摩擦性、
破裂性、鼻音性等等）の程度を入力とし、その音が／　
ｐ　／と／に／のどちららしいか、といった対判定結果
を出力する対判定部を構成することが出来る。この場合
は、学習として、特徴の程度を与え、その特徴を有する
入力が／　ｐ　／なら／ｐ／に対応する出力端子から１
を／に／に対応する出力端子にはＯを与えて学習を行な
わせ、入力が／に／なら、その逆の組み合せで学習させ
れば良い。

このように構成することにより、／　ｐ　／と／に／の
対判定を行なう対判定部からは／ｐ／らしさと／に／ら
しさを示すメンバシップ関数が出力される。他の音韻の
対に対しても同様である。

同じく、総合判定部をニューラル・ネットワークで構成
する場合は、各対判定部の出力を入力データとし、入力
された音韻名を出力データとしてニューラル・ネットワ
ークを学習することにより、最終的に入力音声が向の音
韻かを判定することが可能となる。

次に対判定部及び、又は総合判定部をファジー処理で行
なう場合について説明する。

ある原因Ｘによって現象ｙが観測された時に、両者の関
係をファジィ−関係Ｒであられす。

ｙ＝ｘ、Ｒ・・・（１）対判定部では、各対等に各特徴のメンバシップ関数から
なる観測値ｙから、その観測値を生成した原因である音
韻Ｘを逆推定することになる。これはＲを決めておけば
、ファジー論理の展開で実現することが可能である。同
様に総合判定部では、各対判定部の出力である。各対の
各々の音韻らしさを観測値ｙとして、その観測値を生成
した原因である音韻Ｘを逆推定することになる。これも
、Ｒを決めておけば、ファジー論理の展開で実現するこ
とが可能である。

ファジー処理には、このように、ファジー論理による推
定の他に、ファジー論理を利用して同様に処理を行なう
ことも、もちろん可能である。

また、ファジー関係式（１）による逆推定により得られ
る原因ＸはＲの決め方や、逆推定手順の選択により、複
数の解を求めることが出来る。従つて、ｙ、識結果を一
担出力し、その結果が妥当でない場合（たとえば、日本
語としてあり得ない音韻の組み合せが生じた場合など）
は、別の解を求め再出力するなどの処理（トップ・ダウ
ン処理と呼ばれる）も可能となる。

さらに、ファジー関係式（１）の観測ベクトルｙを構成
する各要素のメンバシップ関数の値を１から引いた値を
要素とする観測値ｙ′を用いて逆推定して得られる推定
原因ベクトルＸ′を構成する要素の中で０に近いメンバ
シップ関数となる原因は、「その原因はないとは言えな
い」という意味を持つ（裏推定と呼ぶ）。従って、たと
えば認識結果を正解と思われる結果と対照させ、結果が
合わない場合に、裏推定を行ない、正解と思われる結果
が可能性として上って来るかどうかを確認することが可
能である。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。

入力部１からのデジタル化音声１３は特徴抽出部２にお
いて所定時間毎に音声の特徴を表わす特徴パターンに変
換され特徴パターンの時系列１０として出力される。候
補選択部３では特徴パターンの時系列１０を入力とし、
この入力の中に存在すると考えられる音声のカテゴリー
の上位候補ｎ個（例えばｎ＝５）が出力される。候補選
択部３で選択されたｎ個の候補は対生成部４へ送られ、
ここで対判定を行なう対象となる対ｎＣ２個（ｎ＝５の
とき、ｎｃｚ　＝１０）を生成し対判定部５へ送る。対
判定部５では対生成部４から送られたｎＣｚ個の対のそ
れぞれについて対判定を行なうが、ここでは１つの対に
ついての動作のみを説明する。いま与えられた音声のカ
テゴリーがａ、ｂの２つであったとすると、対判定部５
ではａとｂを識別するための手掛りとなる音素特有の特
徴（例えば、破裂性、摩擦性、バスバ等）が入力された
特徴パターンの時系列中に存在するか否かを調査する処
理を行なう。

この処理に関しては、各音素特有の特徴（以下音響キュ
ーと呼ぶ）のそれぞれについて、その名称と処理の手順
を予じめ第１の格納部６に格納しておく。また各カテゴ
リーの対毎にその対の識別のために行なう前記処理の名
称と、その処理結果の解釈のしかた（変換表）を第２の
格納部７の中に格納しておく。

ａ、ｂの対が与えられると、まず、第２の格納部７の内
容を参照し、ａ、ｂの対の識別のためには特徴パターン
の時系列に対して何という名称の処理を施せばよいのか
を調べる。ここで求められた名称の処理の手順は第１の
格納部６に格納されているので、これを参照して処理を
実行する。処理結果に基づいて入力音声がａであるか、
ｂであるかの判定を下さねばならないが、この判定は第
２の格納部７に予じめ格納されている処理結果の解釈の
仕方に基づいて行なう０以上によりａ、ｂの対に関する
対判定が完了するが、残りの全ての対に関しても同様の
手順で対判定を行なう、かくして、ｎＣｚ個の対判定結
果１１が対判定部５から得られ、この結果１１が結果集
計部８で集計され、この集計に基づいてｎ個の候補の順
位付けが行なわれ、最終結果１２として出力される。

入力部１はマイクロフォン、アナログ・ランプ。

アナログ・デジタに変換器等から構成されている通常の
ものであり、特に説明を要しないであろう。

特徴抽出部２としては、フィルタバンク分析、線形予測
分析（ＬＰＧ）等が考えられるが１本実施例ではフィル
タバンク分析を用いることとし、第５図にその具体的実
施例を示す。入力音声Ｘ。

は中心周波数と帯域幅の違う複数個のＢＰＦ群２上２１
２に入力される６本実施例では周波数分解能を上げるた
めに２段のＢＰＦ構成としている。

ＢＰＦ２１，２２は２次のバターワース型フィルタとな
っており、加算器２個１乗算器４個と遅延器２個から構
成されている。ＢＰＦ結果の波形は絶対値変換器（ＡＢ
Ｓ）２３にて整流され、ＬＰＦ２４、サンプリング器２
５、さらにＬＰＦ２６にて高域周波数成分をカットされ
ながら出力値パタンｘ１が求められる。ＬＰＦはＢＰＦ
同様に周波数分解能をあげるために２段構成となってお
り、ＬＰＦ２４，２６はＢＰＦ同様の処理規模のバター
ワース型となっている。尚、ＬＰＦの構成については特
願昭５５−１３５９８１　ｒディジタル低域通過濾波回
路」に詳細に説明されている。

フィルタ・バンクは本実施例では、１００　Ｈｚから６
　Ｋ　Ｈｚまでの帯域を対数間隔で配置した１６チヤネ
ルで構成したものを用いる。帯域や各フィルタの配置方
法については、様々な変形が可能なことは言うまでもな
い。

次に候補選択部３について説明する。

候補選択部としては、いくつかの方法が考えられるが、
本実施例では従来から用いられているテンプレートマツ
チングを用いることとし、テンプレートマツチングで得
られた上位候補（距離値の小さい方からｎ個の候補）を
出力することとする。

テンプレートマツチングの具体的実現には文献「音声認
識に適用した最小予測誤差原理（Ｍｉｎｉｍｕｍ　Ｐｒ
ｅｄｉｃｔｉｏｎ　Ｒｅ５ｉｄｕａｌ　Ｐｒ１ｎｃｉｐ
ｌｅＡｐｐｌｉｅｄ　ｔｏ　５ｐｅｅｃｈ　Ｒｅｃｏｇ
ｎｉｔｉｏｎ）　Ｊ　ｂｙ　Ｆ。

Ｉｔａｋｕｒａ　ｅｔ　ａｌ、　ＩＥＥＥ　Ｔｒａｎｓ
　ｏｎ　Ａｃｏｕｓｔｆｃｓ。

５ｐｅｅｃｈ　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓ
ｉｎｇ、ｖｏｌ、Ａｓ５Ｐ　−２３。

ｐ、ｐ、５７〜７２．　Ｆｅｂ、’　７５に記載の方法
を用いればよい。ただし、本文献では距離尺度として尤
度比を用いているが、本実施例では距離尺度を特徴パタ
ーン（スペクトル）間のニーグリッド距離とすればよい
。

対生成部４は候補選択部３から得られたｎ個の候補につ
いて考え得る全ての２つの組合せｎｃｚ個を生成する。

これは単純な組合せ演算でありソフトウェアで簡単に実
現できる。第６図にその具体的フローを示す。図では候
補として挙げられたｎ個の音声のカテゴリーをＣＬ、Ｃ
２，・・・Ｃｎと表わしている。本フローに従って、音
声のカテゴリーの対が（ＣＩ、　Ｃ２）　＋　　（Ｃｔ
＋　Ｃｓ）　ｅ　−（Ｃｔ＋Ｃｎ）＝　　（Ｃ２，Ｃａ
）　−ＣＣｎ−５，Ｃｎ）という順で計ｎＣｚ個生成さ
れる。

次に対判定部５の具体的構成を第４図を用いて説明する
。

デジタル化された音声１３はフィルタ・バンク２により
周波数分析され、その１６チヤネルの出力１０−１〜１
０−１６は対判定部５に入力される。対判定部Ｓ内では
、入力されたフィルタ・バンク２の出力は音響キュー抽
出プロセツザ群４１に加えられる。音響キュー抽出プロ
セッサは音声の各音韻の特徴を表現する様々なキューを
抽出するものであり、本実施例では第５図に示すような
２０種類のものを用いた。もちろん、キューの種類はこ
の他にも考えられるし、また、このすべてを使う必要は
なく、要求性能や対象とする言語等により様々な組み合
せがありうることは言までもない。

また、この音響キュープロセッサの出力を特徴として候
補選択部３の入力に用いても良いことも言うまでもない
。

各音響キュープロセッサ４１等の出力は、換算部４２等
を経て、対判定処理部群４３−１〜４３−ｎに加えられ
る。各対判定処理部４３は。

入力音声が音韻対ａｉとｂｉのどちらの可能性が高いか
を判定処理するものであり、対の種類だけ用意される。

換算部４２は、第１図の第２の格納部７中に換算表の形
式で記録されているものであり、音響キュープロセッサ
の出力結果を、各対判定処理部４３の各々の判定に最適
なように値を変換するためのものである。

もちろん、音響キュープロセッサを各対判定処理部に最
適なように、各々に専用のものを用意すれば、換算部４
１等は不要であるし、また、各対判定処理部の判定性能
を若干落すことにすれば、換算部４２等を省略すること
も可能などの変形がありうることは言うまでもない、各
対判定処理部４３等の出力１１−ａ、１１−ｂ、−−，
１１−ａｍ、１１−ｂ、は結果集計部８（第１図参照）
に入力される。

次に音響キュープロセッサの構成について、より詳しく
説明する。第５図の備考に示したａからｅまでの記号は
、音響キューの性能を分類したものである。ａは定常的
性質をもつもの（タイプ１）でありｓ　ｂＨＱｐ　ａは
一定の時間幅内での時間的変化に特徴のあるもの（タイ
プ２）であって、ｂは過度遷移的なもの、Ｃは不連続性
に特徴のあるもの、ｄはある一時点の特性に特徴のある
ものである。ｅは時間的順序関係に特徴のあるもの（タ
イプ３）である。本実施例では、この３つのタイプにも
とすいて、音響キュープロセッサの構造を分類し、それ
ぞれにふされしい基体構造をもつニューラル・ネットワ
ークにより構成した。もちろん、タイプが共通であって
も、抽出する音響キューが異なるから、それぞれにふさ
れしい値を出すように各ネットワークは独立に学習され
るため、特性が異なることは言うまでもない。

タイプ１の音響キュープロセッサは第６図に示すような
階層型のニューラル・ネットワークで構成した。入力理
工と出力層Ｏの間に隠れ層を二層持っている。階層型の
ニューラル・ネットワークについては、たとえば、Ｄ、
Ｅ、ルーメルハート等の著書［パラレル　デイストリビ
ューテッドプロセッシング“ＭＩＴプレス（Ｄ、Ｅ、Ｒ
ｕｍｅ　Ｑ　ｈａｒｔｅｔ　ａｎ　、　”Ｐａｒａｌｌ
ｅＱＤｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ”
Ｍ　Ｉ　Ｔ　Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ、（１９
８６））などに学習法も含め詳しく述へられている。入
力ユニット■１と隠れ第１層のユニットＨｓｉ間の結合
重みをＷ　Ｉ　Ｊ　Ｉ　ｒ隠れ第１層の各ユニットＨＩ
Ｊと第２Ｍの各ユニットＨ１ｈ間の結合重みをＷ！ｋＪ
　＋隠れ第２層の各ユニットＨ２にと出力層のユニット
Ｏとの結合重みをＷｅｋとする。また各層の各ユニット
の出力Ｏを次のように構成した。

○Ｉ　Ｊ　＝　Ｉ　ｔ・・・（２）ただし、””Ｏｙ　Ｊ＝Ｏ，に＝＝Ｑは第６図の各層の
右端にある定数１を入力とするユニットを意味し、各ユ
ニットの域値が各々Ｗ１，０．　Ｗ２ｋＯｙＷ３０とし
て等測的に得られるように構成しである。

このような音響キュー抽出プロセッサは、たとえば摩擦
性を検出するよう学習されていると、摩擦音が入力され
ると、出力から１または、１に近い値が出力され、それ
以外の入力に対してはＯ又は０に近い値が出力される。

次に学習手順について説明する。学習は予め別途同様の
構造を持つニューラル・ネットワークを計算機上等で構
成し、学習後重み係数を取り出し対応する音響キュープ
ロセッサに入れても良いし、以下に述べるような学習手
順が可能なような構成を装置内に設けておいても良い。

この構成自体は当業者には極めて簡単に実現できるが、
一般にニューラル・ネットワークの学習には処理時間や
大量のデータを用意して、そのデータを入力して学習さ
せる必要があるため、装置毎に用意するよりも、前述の
ように、別途計算機システム上に構成しておいた方が経
済的である。しかし、基本部分は予め別途学習しておく
にしても、話者に適用させて特性を修飾させる機能を持
たせたい場合は、学習用の機能も装置上に実現しておく
ことが必要である（もちろん、この学習機能も装置の音
響キュープロセットと同一部分を用いず、装置の制用に
用いる汎用プロセッサ上とソフトウェアで実現し、学習
後、各音響キュープロセッサにダウン・ロードするよう
な構成にした方がより一般的で望ましい）。

学習の一般的手順は先述のｙ−ｘにハルトの文献の第−
巻８章３１８−３６２頁に詳しく記述されている。本実
施例でも、この手順を参考に、本目的に合致するよう考
案したものである６以下説明を簡単にするために、−殺
性を失なうことなく（３）〜（５）に示した各層のユニ
ットの特性を持回−とし、Ｉｐ、ｑ＝Σｖｉｐ−ｘｅｑ、ｒ−Ｏｐ−ｘｒｒ　　　
　　　　−（６）Ｏｐ、ｑ＝　ｆ　　（Ｉ　ｐ、ｑ）　
　　　　　　　　　　　　・・・（７）とする。ここに
ｐは入力からの層番号（ｐ　”　１　＊２．３．４）、
ｑは第２層の、ｒは第ｐ−１層のユニット番号をあられ
すものとする。またＴＯを学習目樺値とする。

ここで、学習音声を大量に用意し、フィルターバンク２
（第４図参照）を通した出力を１０ミリ秒毎に取り出し
、その毎々に、たとえば目視によって第５図に示した各
音声キューの特徴の有無を付して行く。今、たとえば３
番目の摩擦性を検出する音響キュープロセッサを学習さ
せる場合は、このようにして用意した音声を用いて、同
プロセッサの入力からフィルタ・バンク２の出力を加え
、出力側から学習目標値Ｔｏとして、摩擦性のものであ
ればｒｌＪを、その他であればｒＯＪを提示して行く。

各ユニットの入力信号による出力と学習目標から与えら
れる目標値との間の誤差をδとすると、前記文献に従う
と、各誤差δは次のように求められる。

出力層　δ４．０＝（Ｔｏ−○ｏ）ｆ’　（Ｉａ、ｏ）
　　　　−（８）第３層　δ３．ｑ＝　ｆ　’　（Ｉ　
３．ｑ）・δ４．ＯＷ３．Ｏ，ｑ　　・−（９）以下入
力層まで同様に誤差δが求められる。この誤差を用いて
、各結合部の重みの修正量ΔＷは次のように求められる
。

ΔＶＩ　Ｐ−１＋　％　！　ｒ　＝α・δ−２呵・Ｏｐ
−１１ｒ　　　”・（１０）αは実験的に収束速度等を
調べ設定してやれば良い。他の音響キュープロセッサも
、各キュー毎に同様に学習させることによって、各キュ
ーの特徴の有無を［：０．１１の範囲の値として出力す
るものとして構成される。その特徴を完全に持つ場合は
１の値を、全くない場合はＯの値を出力し、その他の場
合は、その程度によって、その中間の値を出力する。

タイプ２の音響キュープロセッサとタイプ３の音響プロ
セッサは各々第７図と第８図に示すような構成の階層型
のニューラル・ネットワークとした。

タイプ２とタイプ１の相異点は、ニューラル・ネットワ
ークの各層の構成が見掛上二次元配列になっている点で
ある。この二次元配列を第７図ではわかりやすくするた
めに簡単に平面で表現しているが、この各平面内にユニ
ットが二次元的に配列されている。各層間の接続は、各
層内のユニットを端から値に番号をつけ、その順に一列
に並べなおすと、タイプ１の場合と同じになる。従って
層間の処理や学習手順はタイプ１と同じである。

両者の相異点は、入力層へのデータ入力が異なっている
点にある。すなわち、第７図において、斜め方向の１６
個のユニットはフィルタ・バンク２の出力と直接つなが
っており、横方向には、同じくフィルタ・バンクの出力
の１０ミリ秒前、２０ミリ秒前、・・・、４０ミリ秒前
のデータが入力されるよう構成されている点にある。従
って、フィルタ・バンクの各チャネルの出力は５段から
なるシフト・レジスタに接続され、各レジスタの出力が
、第１層のユニットの入力となるよう構成されている。

しかし、ニューラル・ネットワーク内の接続はすべて平
等に結合されており、結合の程度は学習によって決るか
ら、４０ミリ秒前までのフィルタ・バンクのすべての出
力１６ｘｓ＝ｓｏデータが入力されると見れば、ニュー
ラル・ネットワークとしてはタイプ１と本質的に同一の
構造であることが理解されよう。

タイプ３は、入力データの構造はタイプ２と類似してい
るが、ニューラル・ネットワーク内の結合に制約を設け
である点に相点がある。第８図はこの差異がわかるよう
に、フィルタ・バンク出力の特定の１チヤネルの出力の
部分の断面を取り出して、かつその一部を記したもので
ある。即ち。

第７図のものが奥行き方向に１６チヤネル分あり２次元
的配置になっている６タイプ２との相異点は１層間の接
続に制約が設けられている。たとえばＨ１２ユニットは
工１とは接続されておらず、Ｉ２〜ＩＩＳに接続されて
いる。Ｈ２ＳはＩｔ、Ｉｚとは接続されておらず、■３
〜Ｉｓと接続されている。

１１＋Ｉ！＋・・・、はフィルタ・バンクのあるチャネ
ルの出力を１０ミリ秒毎にシフトしたものであるから、
時間的にずれた一部のデータのみが上位の層に結合され
ていることになる。この点を除けば、タイプ３もタイプ
１やタイプ２と全く同様である。

学習に際しては、（１０）式の結果のいかんにかかわら
ず、結合しないユニット間の結合は常にＯとしておくこ
とを除けば、学習手順等は全く同様に実現することが出
来る。なお、タイプ２とタイプ３の説明図には各ユニッ
トの域値を自動学習するための定数ユニットの表示も省
略しであるが、タイプ１と同様に構成しておくことが出
来る点も言うまでもないことであろう。

次に、説明の都合上、対判定処理部４３の説明を換算部
４２に先立って行なう。

対判定処理部４３は、音響キュープロセッサ群の出力を
用いて、入力された音声が、ａｉとｂｉの二つの音韻、
たとえば／ｐ／と／に／のどちらかと仮定した場合、そ
れぞれ、どの程度その音韻らしいかを判定するものであ
る。どの音響キューを用いるかの情報は第１図に示した
第１の格納部６に格納されている。従って、認識しよう
としている言語の音声に含まれる音韻の種類がＮ種の場
合、その全ての２つの組み合せｎ＝Ｎｃｘ個の対判定処
理部を考えることになる。担し、現実にほとんど誤りの
生じない音韻の組み合せや、出＠頻度が非常に少なく、
誤りが生じても実害の非常に小さい音韻を含む対につい
ては、省略しても良いことは言うまでもなかろう。

本実施例では音響キュープロセッサの出力は［０，１］
の範囲の値を取るように設定されているから、これを第
（３）式の観測ベクトルｙを構成するメンバシップ関数
群と兄なし、二つの音韻ａｉとｂｉの可能性の程度をフ
ァジー関係Ｒによって推定するよう、対判定処理部４３
を構成した。

第１図の第１の格納部６内の情報に従がい、どの音響キ
ュープロセッサｊ　（複数）の出力を用いるかを知り、
（第４図のように結線で予め結んでおいても良い）、使
用する音響キューの出力μｊを先ず得る。第２の格納部
７中にある第９図に概念的に示したような換算部４２の
表値に従がい、音韻ａｉ及びｂｉらしさを示す値μＪ、
ａ１及びμＪ・ｂｌの値を使用する音響キューのすべて
に対し取り込み、音韻ａｉとｂｉの各々に対して、ファ
ジー論理和を求め、その値を各々音韻ａｉとｂｉの対判
定結果μｍ１とμＪ１として出力する。この値は第１０
図の表の対象位置に示す関係の位置に格納される。ファ
ジー論理和は、関係するメンバシップ関数の中の最大値
を取る処理であり、本実施例では、関係する幾つかの音
響キューの内の最つども硲からしいものを選択する方式
によっている。

このようにして、すべての音韻の対を調べると第１０図
のようなメンバシップ関数の二次元の表を得ることがで
きる。このような値が対判定部５の出力となる。木表で
、たとえばμｐｔとは、入力を音韻／　ｐ　／か／１／
かと仮定した場合に、音韻／ｐ／と思われる程度をあら
れすメンバシップ関数値である。

次に第１図に示した。結果集計部（総合判定部）８の説
明を行なう。

結果集計部８では、第１０図に示すような値から、入力
音韻はどれが最つともらしいかを判定する処理を行なう
。本実施例では、ファジー論理積により、各音韻毎のも
つちらしさと定義し、その最大値をもって、入力音韻の
推定を行なう。ｎ番目に大きい値を与えるカテゴリー（
音韻）をもって第０位の認識結果と見なす。ファジー論
理積とは、メンバシップ関数の最小値を求める処理と同
じであり、この処理を行なうことによって、対毎の判定
で、最悪でもこの音韻である程度はこの値であるという
値を選ぶことになる。

以上説明したように、本実施例では、対判定処理部４３
と結果集計部８の処理は極く簡単な演算で良く、簡単な
ソフト処理で対応することが可能である。

次に、第２の実施例を説明しよう。第２の実施例は全体
の構造は第１の実施例と同じであるが、第１の実施例の
第４図に示した対判定処理部４３を、ファジー処理の代
りにニューラル・ネットワークで構成したものである。

このニューラル・ネットワークを第１１図に示す。音響
キュープロセッサ群４１等、あるいは換算部４２等から
の出力を入力層１１１−１〜１１１−ｎに入力すると、
出力層のユニット１１４−１と１１４−２より対判定出
力（第４図の１ｌ−ａｉ、１ｌ−ｂｉに相当）を出力す
るように構成した。ニューラル・ネットワークの基本構
造は第６図の場合と全く同じであり、出力層が対判定性
能に対応して二つのユニットで構成されている点が異な
っている。学習時に、学習入力として音韻ａｉを入力し
た場合は、ａｉ側の出力層ユニットの学習目標値Ｔａｔ
を１に、他の出力ユニットの学習目標値をＯに、逆に学
習入力音韻がｂｉのときは、その逆となるように設定し
、ａｉ、ｂｉのいずれでもよい入力に対しては、両方と
もＯの値を設定し、第６図のニューラル・ネットワーク
を学習した場合と同じように学習させてやれば良い。入
力音韻が最つども良く一致した場合は、一致した側の出
力から１に近い値が、一致しない場合は０に近い値が出
力されるよう学習される。

第１２図は第３の実施例を説明する図である。

本実施例の場合も基体的全体構成は第１の実施例と同じ
であるが、第１図の結果集計部８をニューラル・ネット
ワークで構成した点が異なる。本実施例のニューラル・
ネットワークは、第１２図に示すごとく、見掛上各層は
二次元となっており。

出力層１２４は音韻の数だけのユニットからなる。

入力層１２１の各ユニットへは第４図の対判定部からの
出力である第１０図に示すような二次元状のデータが入
力されるが、第２層の各ユニットとすべて結合されてい
るため１本質的には第１図の第１層と同じく一次元デー
タと見なすことができる。第２．第３層も同様に本質的
に一次元構造である。学習に際しては、入力音声の対判
定結果を入力層１２１の各ユニットに入力し、入力した
音声の音韻に相当する出力層１２４のユニットの学習目
標値を１に、その他のユニットをＯとして。

第６図のニューラル・ネットを学習した場合と同様の手
順で結合の重みを学習させれば良い。学習が完了すると
、音声が入力されると、入力音声の音韻と推定される出
力ユニットの出力はど１に近い値が出力されることにな
る。１に近い方からのｎ番目に大きい値を与えるユニッ
トに対応するカテゴリー名を持って第ｎ位の認識結果と
見なすことが出来る。

〔発明の効果〕

本発明は１以上に説明したように構成されているので以
下に記載されるような効果を奏する。

ニューラル・ネットワークによる処理およびまたはファ
ジー処理を用いているので、音声の本発明に持っている
あいまいさに柔軟に対応でき、高い！！識性態を得るこ
とができる。また、これらの処理を対判定型の論理構成
で用いているので、誤りが生じた場合の原因の発見や対
策が容易で、性能面改善をつみ上げて行くことが容易で
ある。また、ニューラル・ネットワークの自動学習機能
を活用しているため、カテゴリー毎に適した処理方式が
自動的に設定されるため、高い認識性能が得られる。さ
らに、各部分を予め構造的に分割し構成されているため
、各部の構成・学習が安定かつ容易に行なわれ、大規模
なニューラル・ネット方式が持つ学習の困難さをさける
ことが可能となっている。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成を説明する図、第
２図は音声分析部の一実施例を説明する図、第３図は同
じく対生成部の動作を説明する図、第４図は対判定部を
説明する構成図、第５図は音声の特徴である音響キュー
としての例を示す図、第６図、第７図、第８図は音響キ
ュープロセッサを実現する三つのタイプのニューラル・
ネットワークを説明する図、第９図は音響キュープロセ
ッサ出力を対判定部で用いる際の選択方法の説明図。第１０図は対判定部の出力の構造を説明する図。第１１図は第２の実施例において、対判定部をニューラ
ル・ネットワークで構成する場合の説明図、第１２図は
第３の実施例において、総合判定部をニューラル・ネッ
トワークで構成する場合の説明図である。第図矯区扇図

Claims

【特許請求の範囲】１、少なくとも、入力音声の分析部、特徴抽出部、入力
音声のカテゴリーの判定部を有し、前記特徴抽出部がニ
ューラル・ネットワークで構成されていることを特徴と
する音声認識方式及び装置。２、前記判定部は複数個の対判定処理部と前記複数個の
対判定部の結果を集計し総合的に入力カテゴリーがなに
かを判定する総合判定部よりなることを特徴とする特許
請求の範囲１の音声認識装置。３、前記対判定部がフアジー処理により行なわせること
を特徴とする特許請求の範囲第２項の音声認識装置。４、前記対判定部がニューラル・ネットワークにより構
成されていることを特徴とする特許請求の範囲第２項の
音声認識装置。５、前記総合判定部がフアジー処理により行なわれるこ
とを特徴とする特許請求の範囲第３項の音声認識装置。６、前記総合判定部がフアジー処理により行なわれるこ
とを特徴とする特許請求の範囲第４項の音声認識装置。７、前記複数個の対判定部の入力信号を出力する前記特
徴抽出部が前記複数個の対判定部に対し共通となつてい
ることを特徴とする特許請求の範囲第４項の音声認識装
置。８、前記複数個の対判定部に適した出力値に前記特徴抽
出部の出力値を換算する手段を有することを特徴とする
特許請求の範囲第７項の音声認識装置。９、前記総合判定部がニューラル・ネットワークにより
構成されていることを特徴とする特許請求の範囲第４項
の音声認識装置。１０、前記特徴抽出部、複数個の対判定部、総合判定部
を構成するニューラル・ネットワークが各各個別に構成
されていることを特徴とする特許請求の範囲第９項の音
声認識装置。１１、複数個の入力ユニットと一つの出力ユニットを有
し、その間に複数層の隠れ層を有し、出力ユニットの出
力値の範囲が０から１の間の値を取ることを特徴とする
ニューラル・ネットワーク。１２、入力信号が複数種類からなり、各種類の入力信号
はさらに時間的に複数時点の信号からなるような入力ユ
ニットと一つの出力ユニットを有し、その間に複数層の
隠れ層を有し、出力ユニットの出力値の範囲が０から１
の間の値を取ることを特徴とするニューラル・ネットワ
ーク。１３、入力信号が複数種類からなり、各種類の入力信号
は、さらに時間的に複数時点の信号からなるような入力
ユニットと一つの出力ユニットを有し、その間に複数層
の隠れ層を有し、層間の結合の一部が結合を禁止されて
いることを特徴とするニューラル・ネットワーク。１４、出力信号の出力値の範囲が０から１の間の値を取
ることを特徴とする特許請求の範囲第１３項のニューラ
ル・ネットワーク。１５、複数個の入力ユニットと２つの出力ユニットを有
し、その間に複数層の隠れ層を有し、二つの出力ユニッ
トの出力値の範囲が０から１の間の値を取ることを特徴
とするニューラル・ネットワーク。１６、分析部を特徴抽出部が兼ねていることを特徴とす
る特許請求の範囲第１項の音声認識装置。１７、学習用音声又はそれを分析した結果を入力層に加
え、該学習用音声の持つ性質が、所期の性質を有すると
きには値１を、その他の性質の場合は０を学習目標値と
して出力ユニットに与えることを特徴とする音声特徴抽
出部に用いるニューラル・ネットワークの学習方法。１８、学習用音声又はそれを分析した結果又はその特徴
を入力層に加え、該学習用音声が所期の第１のカテゴリ
ーの音声の場合は第１の出力ユニットの学習目標値とし
て１を、第２の出力ユニットの学習目標値として０を、
該学習用音声が所期の第２のカテゴリーの音声の場合は
、第１の出力ユニットの学習目標値として０を、第２の
出力ユニットの学習目標値として１を、該学習用音声が
所期の第１及び第２のいずれのカテゴリーに属さない場
合は、第１及び第２の双方の出力ユニットの学習目標値
を共に０とすることを特徴とする対判定部に用いるニュ
ーラル・ネットワークの学習方法。１９、学習用音声より得た複数種類の対判定部の出力結
果を入力ユニットに加え、該学習用音声のカテゴリーに
対応する出力ユニットの学習目標値として１又はそれに
相当する値を、その他の出力ユニットの学習目標値に０
又はそれに相当する値を用いることを特徴とする総合判
定部に用いるニューラル・ネットワークの学習方法。２０、メンバシップ関数と見なせるよう変換された特徴
抽出部の複数個の出力の最大値を出力値とする特許請求
の範囲第３項の対判定部用フアジー処理方法。２１、複数個の対判定部の出力からなる入力から音声カ
テゴリー毎に最小値を取り、その最小値間での最大値を
与えるカテゴリー名とその時の値を出力とする特許請求
の範囲第６項の総合判定部用フアジー処理方法。２２、ｎ番目に大きい出力フアジー値を与えるカテゴリ
ー名をもつて、第ｎ位の認識結果とする特許請求の範囲
第６項の音声認識装置。２３、ｎ番目に大きい出力値を与えるユニットに対応す
るカテゴリー名を持つて、第ｎ位の認識結果とする特許
請求の範囲第９項の音声認識装置。