JPH02253466A - 入力信号を演算処理する学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、主として、音声による文字入力装置の学習演
算用に開発されたものであるが、自己学習を必要とする
装置一般に利用できる。 例えば、照明のスイッチを自動的にオン、オフする制御
装置に使用できる。すなわち、照明を、周囲の明るさ、
時刻、曜日、タイマー　ドアの開閉スイッチ等のセンサ
ー人力から自動的に操作したい場合等に、何度か使用者
が自己操作でオンオフするうちに、自動的に操作を学習
させるような目的にも利用できる。

【従来の技術】

この明細書において「学習」とは、Ｊ　ｌ５ＢＯ１９１
２１０に定義された日本語ワードプロセッサの字句選択
機能に特定するものではない。学習とは、人力を演算処
理して複数の出力が得られるとき、最適出力を、作業者
または装置が何回か選択して、選択した最適出力を人力
するに従って、次第に演算処理が最適出力を得るように
なることを言う。 入力には、有無あるいはオンオフのように２値をとるも
のと、アナログ量のように多値をとるもの、さらに、現
在の出力値を含んだ、その装置が扱える全ての値のこと
である。 最も簡単な学習は、日本語ワードプロセッサのように、
前回の利用値を最優先する方式であるが、この方式では
、多くの利用例を考慮して最適値を選択できない、この
欠点を解決する学習として、下記の方式が使用されてい
る。 前回の値、または、前回の値を平均等の操作で多少修正
したものとの、積和または、差の２乗和または差の絶対
値和の大小を演算する方式、ニューロンネットワークと
呼ばれる方式の２つがある。

【従来技術の課題】

ニューロネットワークは、適当に考えた回路が、なるべ
く正しい出力を選択するように適当に係数を選択させる
というものなので、回路としてどういう構成が良いかに
ついて予測ができないし、適当に係数を変更する適当さ
がある以上、ｆ＆適な学習手続きではない、よって、学
習は容易ではなかった。 また、積和を求めるような方式とニューロネットワーク
共通の問題として、入力を演算処理して出力を得ること
はできるが、得られた出力候補の、１番と２番とはどの
程度違っているかが判らない欠点があった０例えば、入
力の一部に、純粋な乱数を混入させた場合、その人力を
無視するというようなことができなかった。 よって、この方式を音声認識等に利用した場合、入力信
号を演算処理して得られた複数の結果から、正確に正解
率を知ることができなかった。演算結果の曖昧さがどの
程度であるかを知ることができないからである。 さらに、従来の方式は、演算処理にかけ算が不可欠であ
る。この処理をＣＰＵで実行した場合、かけ算を高速で
処理できる特別のＣＰＵ以外、高速演算が不可能である
。また、かけ算を高速処理できるＣＰＵは著しく高価で
あり、従って、装置全体も高価なものにならざるを得な
い。 この発明は、この欠点を解決することを目的に開発され
たもので、この発明の重要な目的は、安価で処理能力の
低い演算手段を利用して、次第に正確な演算結果を得る
ことができる入力信号を演算処理する学習方式を提供す
るにある。

【従来の課題を解決するための手段】

本発明は人力と出力を統計的に処理し、特定の出力が選
択された時の入力値の分布より、特定の人力が得られた
時に、特定の出力が選択させるだろう確率を算出し、算
出された確率を可能な出力だけ並べ、その大小を持って
出力の選択を行うことを原理とする。実際には、現在の
人力が得られた時の特定の出力を取る確率は、特定の出
力を得たと仮定した場合に現在の入力値を取る確率を可
能な出力全ての合計で割ったものなので、特定の出力を
得たと仮定した場合に現在の入力を取る確率の大小で選
択すればよい。 出力が選択された時の入力の分布は、入力がオンオフの
ような２値であれば２項分布に従うと予測し、入力がア
ナログ信号のような多値を取るなら正規分布に従うと予
測する。 もちろん、非線形なセンサーの場合、正規分布を当ては
めるのが正しくない場合もあるが、そのセンサーが、そ
の出力にとって重要な要素である程、出力が選択された
時のバラツキが小さくなり、小さな範囲に限れば大抵の
センサーは線形である。 逆に非線形であることが問題となる程バラツキが大きい
場合、後述するように、そのセンサーの人力の重みが学
習の結果小さくなるので、やはり問題とならない。よっ
て、正規分布に従うという仮定を設けて大きな間違いは
ない。 入力が複数の場合、各々の入力が互いに無関係とすると
、特定の入力値が得られる確率をセンサーの数だけかけ
算をすれば、特定の出力が得られるとした時に、現在つ
ながっている全ての入力値を取る確率が得られる。 ２値人力に対しては結局、可能な出力の数だけメモリー
を一市意し、それぞれのメモリーをそれぞれの出力と対
応させ、特定の出力が人間により選択された時、対応す
るメモリーに度数を記録し、母数を推定値とする。 多値人力に対しても同様に、特定の出力が人間により選
択された時に、対応するメモリーに平均と分散を記録し
、母数の推定値とする。 そして新しい人力に対して、記録されたメモリーの母数
が正しいとした時の確率を求めるという手続きで学習出
力を得る。 これ等の計算は、非常に複雑で、時間が必要であるよう
に想像される。このため、音声人力装置の開発過程で、
必要な音声データを統計処理する目的で、平均分散を求
めたことはあっても、これを音声認識の学習に利用され
ることはなかった。 しかしながら、実際には、この処理は、専用かけ算回路
を持たない汎用ＣＰＬ）では、同じデーター数の積和を
求めるよりも高速に実行できる。なぜなら、本発明の実
施例に示すように、かけ算をすることなく処理できるか
らである。 以下、この発明の入力信号を演算処理する学習方式を、
音声認識に使用した例に基づいて具体的に説明する。た
だ、この発明は、類似の演算処理を必要とする分野にも
、低価格の汎用ＣＰＵを利用して、安価に、しかも高速
処理できるものである。 音声入力装置は、音声入力信号を演算処理して、漢字カ
ナ混じりで複数の候補を表示し、表示された候補から、
正しい入力文字を選択する。この装置は、漢字を単語で
表示するために、読みと漢字コードとを記憶する辞書を
備えている。 辞書を利用すると、演算結果をより正確にできる０例え
ば、　「あるく」と発声したのに、演算処理された第１
候補が、　「ありゆく」となっても、「ありゆく」とい
う文字が辞書にないときは「あるく」と言う似た別の単
語を検索する。この時「る」と「りゅ」とが似ているこ
とを最初に記憶させないで、本発明の学習方式は、何回
も繰り返し学習することにより、類似する言葉は、自動
的に似ていると判断される。 つまり、この発明の学習方式は、入力信号を演算処理し
て第１候補を検索すると共に、第１候補と第２候補がど
れくらい違うかの確率を求めて両者を比較し、次々と出
力される出力信号の選択結果を学習して、演算処理を修
正している。 さらに、辞書には、音の高低の情報を記憶させることも
できる。入力信号から音の高低の偏差を含めて確率を再
計算（単純にかけ算するだけであり、確率を対数表示し
ていれば、単にその音の高さを取りうる確率の対数を足
すだけであるが）するなら、より確率の高い演算処理が
可能となる。 この効果は、同音異語の識別に有効である。例えば、　
「端、橋、箸」を、音の高低で区別することができる。 また、「あかい」と音声で人力され信号が、演算処理に
よって、発声の似ている「あたい」と認識される場合、
アクセントを含めて確率を再計算して演算結果を修正で
きる。「あかい」のアクセントは、関西では前者がまん
中で低く、後者ではまん中から高くなる違いがある。 従来の方式では、アクセント等の情報を含めて認識率を
高めるという処理を一元的にできず、よい結果を得られ
なかったが、本発明ではこのように容易にできる特長が
ある。

【好ましい実施例】

以下、本発明の入力信号を演算処理する学習方式の計算
方法の具体例を詳述する。 但し、以下に示す実施例は、この発明の技術思想を具体
化する為の方式を例示すものであって、この発明の学習
方式を下記のものに特定するものでない、この発明の学
習方式は、特許請求の範囲に記載の範囲に於て、種々の
変更が加えられる。 ■　出力 今、　「あ」と発声した音が人力され、この入力信号が
演算処理されて、「あ」である確率は、次の状態で求め
られる。 過去に「あ」と発声されたデータ二の平均値、Ｈｌ、Ｈ
２１１１、Ｈｌ、Ｈ２Ｏ 標準偏差、 ＴＩ、Ｔ２１１１、Ｔｉ、Ｔ２０、が計算されていると
する。 人力されたデーターの各々の値を、ｘｌ、ｘ２１１１、
ｘｌ、Ｘ２０として、 変位、 Ｄｉ＝Ｘｉ−Ｈｉ　　（１式）を求め、その変位の生じ
る確率ＰＲを 正規確率分布 Ｎ（Ｓｉ、Ｔｉ）＝ＥＸＰ　（−ＤｉｔＤ凰）／（Ｔ１
本Ｔｉ）／２）　／ＳＱＲ（２本３．１４）／Ｔｉ　　
（２式）より求める。 全体の確率Ｐは、 Ｐ＝Ｐ　１　＊Ｐ２本、、Ｐｉ本、、Ｐ２０　　　　（
３式）と求める。 こうして、　「あ」である確率、　「い」である確率を
求め、その最も大きなものを第１候補とし、次に大きな
ものを第２１！！補、次を第３候補というようにする。 実際の計算で、指数を含む正規確率分布を計算すると、
演算処理時間が長くなるので、標準偏差と、偏差から確
率を予め求め、表形式に記憶させておく、全部の数字に
付いての表を記憶する必要はなく、小さな範囲を記憶す
る表でよい、標準偏差、または、偏差が、記憶した表の
数値から外れそうであれば、双方を必要なだけ２のベキ
乗分の１にして表を引けばよい、これ等の計算は、シフ
ト演算という、ＣＰＵに取って非常に高速に実行できる
命令で代用でき、計算時間はほぼ無視できる。 その表の記憶値を、確率の対数を示すように作成してお
けば、全体の確率を求める時のかけ算は単なる足し算で
すみ、更に効率的である。 ■　学習 表形式の記憶値に対比して選択が終了したとき、前項で
いう出力が確定することになる。 この時入力値として、処理に関係したデータ、ＸＩ、Ｘ
２１，１、Ｘｉ、Ｘ２０　　ｃＤ各／？（７）平均分散
に相当するものを求める。実際には、平均値、分散を、
人力ｘ１に対して、メモリー値Ｍｉに対し、 新しいメモリー値Ｍｉを 一部しジスタＤを Ｄ＜−Ｘｉ−Ｍｉとし　（４式） ％式％ （５式） Ｓｉ＜−Ｓｉ本（１−１／Ｍ）＋Ｄ＊Ｄ／Ｍ（６式）　
とする。 ここで、Ｎ、　Ｍは１以上の数とする。 こうして求めたＭｉを平均の代わりに、Ｓｉを分散の代
用とする。Ｄは平均から偏差の代用となる。 つまり平均の代わりにＭｉ／Ｎを利用し、分散の代わり
にＳｉ／Ｍを利用するのである。結局りは平均から偏差
の代用となる。 係数のＮ、　Ｍには音声人力の場合、Ｎとして２くらい
が、Ｍとして１６くらいが適当であ、った。 平均と分散で係数を変える理由は、音声認識においては
、平均の変動は同一人でも体調その他の変動で頻繁に起
こり、分散はそうでないからである。Ｎとして１を利用
すれば（１式）（２式）のＭｉは前回の値を意味するよ
うになる。Ｎを１として本発明を実現すれば、操作者が
交代することが予想されるような装置においてよい結果
が得られる。 もちろんＮを小さくすることで算出する分散は大きくな
り、分散が大きくなることは、通常、精度を悪くするこ
とであるが、平均そのものが変動するような場合は、平
均の変動に追随することができるために有意義である。 通常の平均値の代わりにこのような操作を行う理由は、 ａ０通常の平均分散の算出には別に個数の記録が必要だ
が、この方式には不要である。 ｂ、　Ｎ、　Ｍの係数に、２のベキ乗を利用すれば時間
のかかる割り算を必要とせず、シフト計算だけで計算で
きる。 Ｃ０指数の係数で重みをつけて平均、分散を求めたのと
同じであるので古いデータ程影響が少なく最新のデータ
程重みが大きいため、具合いがよい。 さらに、これらの算出は実際にはプログラムアルゴリズ
ムで実現したが、電子回路でも容易にできるという利点
がある。 分散は分散のまま記録しておいてもよいが、その平方根
である標準偏差の形で記録するのが利便性の面でも必要
メモリーの関係からも効率的である。 結局、現在の標準偏差と平均との変位りから新しい標準
偏差を求める表を用意しておけば、実際に分散を計算す
る必要は全くないし、平方根を計算する時間も省ける。 そのような表の例を第１表に示す、第１表は現在の標準
偏差を縦軸に、今回の平均からの変位を横軸に見たとき
、現在の標準偏差をいくら変化させればよいかを示して
いる。この表に納まらない変位や標準偏差の場合は、納
まるだけ双方を２の第１表 平均からの偏たり ｏ　　Ｏ，０００，２５０，５００，７５ｔ、ｏｏ　　
　１．２５　　　鳳、５０　　１．７５　２．００　２
．２５１−０．０３０．００　　Ｇ、０８　０．２２　
　Ｇ、３９　０．５８０．７８　１．０Ｇ　　１．２２
　１．４４標２−０．０８−０．０４０．００　Ｇ、０
？　０．１７０．３００．４４０．６１０．７８０．９
６３−０．０９−０．０８−０．０５　０．００　０．
０７　０．１８０．２６　０．３９０．５２０．６７準
４−０．１２−０．１１−０．０９−０．０５０．００
０．０６０．１５０．２５０．３５０．４７５−０．１
５−０．１５−０．１３−０．１０−０．０５０．００
　０．０６０．１４　０．Ｚｌ　　Ｇ、３３偏８−０．
１９−０．１８−０．１６−０．１４−０．１０−０．
０５０．００　Ｇ、０！１０．１４０．２２７−０．２
２−０．２１−０．２０−０．１８−０．１４−０．１
０−０．０５０．０００．０Ｂ　０．１４差８−０．２
５−０．２４−０．Ｚｌ　−０，２１−０，１８−０，
１５−０，１１−０，０５０，０００，０６９−０，２
８−０，２８−０，２７−０，２５−０，２２−０，１
９−０，１５−０，１１−０，０５０，００ｔｏ　−０
，３１−０，３１−０，３０−０，２８−０，２６−０
，２３−０，２０−０，１６−０，１１−０，０５−以
下余白− ベキ部分の１に縮小し、得た結果を縮小しただけ拡大す
ればよいのは確率の計算と同様である。 このように本発明の実施において、分散（標準偏差）を
直接に計算することが必要なのではなく、それに代用で
きるものを求めて確率に相当する数値が算出できればよ
い、すなわち、標準偏差が推定できれば、本発明の実施
は完成する。 したがって、この発明の学習方式は、必ずしも標準偏差
を算出せず、変位の絶対値平均を利用することも可能で
ある。 簡単には、標準偏差レジスタより偏差絶対値が大きけれ
ば代入し、小さい時は、標準偏差レジスタを少しだけ小
さくする方式でも利用できる。 人力データの中に、２値のデータが含まれていても同様
に処理できる０例えば、音声の中にゼロ点があるかない
かという２値データＦがあるとする。 この場合、分布は２項分布となり、例えば「あ」という
声の中で今までに何度Ｆが真であったかの度数Ｑを記録
すればよい。 Ｋ回の記録で真である度数Ｑが計算されたなら、Ｆが真
であるときｒあ」である確率はＱ／Ｋ、Ｆが偽であると
き「あ」である確率は（Ｋ−Ｑ）／にである。 その代用としてＦ　ｔｔＯｔｆｉ　１を取る変数とし、
Ｑ＝Ｑ＋Ｆ−Ｑ／Ｋ、 のようにして求める数を利用するのは平均、分散の場合
と同様である。 確率の対数を求めるには、ＱとＫの対数を取り引算を実
施するだけである。 このように、本発明の学習方式は、データの中に多値変
数と２億変数が混在しても「確率」という同一の土俵で
一元化して利用できる利点もあり、これは従来の方式で
は難しかったことである。 また、子音には種々の種類があり、あるデーターがある
子音にとって全く意味をなさないデーターであるという
場合もありうる。従来の方式では、そのようなデータに
乱される部分により認識率が下がっていたが、本発明で
は、その子音に無関係なノイズの部分は自然に分散が大
きくなり、逆にその子音に固有の部分は自然に分散が小
さくなり、結局、その子音固有の部分に全体では左右さ
れるようになり、欠点は解消された。つまり、本発明は
「そのデータが重要かどうか」まで含めて自然にｒ学習
」するのである。 例えば、母音の場合、フォルマント中心周波数は、音の
高さにほぼ無間係であるが、鼻音である「ン」の音の場
合は、アンチフォルマントが特長であるので、フォルマ
ントとして計算した場合は音の高さに影響される。この
ような場合、「ン」に対するフォルマント情報は分散が
大きくなり、結果としてフォルマントに鈍くなる。母音
の場合は逆に分散が小さくなり、フォルマントに大きく
影響されるわけであり、この動作はいわば理想的とも言
える学習機能を提供している。 このように本発明の学習方式により実現される処理は理
想的であり、かつ前述のごとく安価に容易に実現できる
特徴を有する。 音声人力装置には、現時点では処理時間不足で実施でき
ていないが、平均値そのものの変動を統計処理でいう群
内変動群間変動により処理し、４式のＮを自動的に最適
化することができる０例えば、計算された平均値のばら
つきを計算し、群間変動と群内変動の比が一定値以下な
ら次回からＮを大きくし、一定値以上なら時間からＮを
増やすようにすればよい、このようにＮを変化させても
確率の計算には影響しないことを利用するのである。 ただし、同じことを分散に対して適用するのはあまり効
果がない、平均に対する定数Ｎに対して分散する定数Ｍ
は、その平方根程度の効果しかないからである。 Ｎを最適化させる以外に、−船釣には、（４式）（６式
）のＮ、　Ｍを条件に応じて同時に変更するのがよい。 例えば、本発明を電灯に利用し、センサーの入力で自動
的に点灯消灯させたいとする。 この時、人間が「点灯しているのが間違いだから消灯」
させると「点灯しててもよいから何もしない」という２
つの場合、無理やり消灯させた時の学習への影響を大き
くし、放置した場合には逆に学習への影響を小さくした
方がよい、なぜなら人間が放置した場合は正しい出力を
してるので、変更する必要がないからである。 本発明の学習速度は、Ｎ、　Ｍ、　　Ｋによって変更で
きる。これが小さい程学習は速いが、精度は悪い。大き
い程精度は良いが学習結果が正しくなるまで時間が必要
となる。 一般的に、学習出力が正しい時には、Ｎ、　Ｍ。 ■（を大きく、閏違っているときにはＮ％ＭＳ　Ｋを小
さくすることで精度を犠牲にせず、学習をより少ない回
数で行わせることができる。 さらに細かく制御するには、出力が選択された場合の現
在の入力値からもとまる確率の大小で制御するのがよい
、つまり、正しい出力がわからない状態で算出された確
率が小さい程、記録されている母数が正しくないからＮ
、　Ｍ、　　Ｋを小さくするのである０例えば、確率Ｐ
として（１−Ｐ）の定数倍に設定するとか、−ＬＯＧ　
（Ｐ）の１次式に設定すればよい。Ｎ、　Ｍを個々の母
数レジスタについて変更しても、統一して処理しても学
習速度にそれほど差はない。 このような工夫により、学習が必要な機器の、最初の学
習を素早くさせ、なおかつ精度を満足させられる。 ただし、音声認識や文字認識のような「認識装置」の場
合、あらかじめ標準データを記録させることができると
、平均値そのものが時間的に変動する為に、Ｎ、　Ｍの
制御は重要ではない。 最後に、今までの議論で省略した点について簡単に述べ
る。これらの問題は省略しても実用には普通さしつかえ
ない。 まず、出力が選択された時の入力の分布から、ある人力
がある時に出力が選択される確率を論理的に求めるには
、出力の頻度を重みとして積するのが正しい。結局出力
を入力信号と同じように扱うだけである。本発明を音声
認識に利用する場合のように、特定の値が多く出力され
ることが本質的現象からくるのでなく、たまたま短時間
の現象がそうであったと考えられるような場合には無視
してよい。 次に、条件無し確率の問題がある。いままでの全ての議
論は、入力信号について出力が選択されない場合に完全
なランダムさを示すとして行った。 音声のように、どんな音も発声しうるような状況ではそ
う仮定して間違いではない、しかし、人力がある特定の
分布規則に従う場合も考えられる。 その場に、出力が選択された場合の条件付き分布との差
を考慮してもよい。たとえば、条件無し分布間数を求め
て、人力を一様分布にとかＮ（０，１）の標準正規分布
に従うよう変換してから本発明を実施するのである。 最後に相聞の問題がある。 相関さえなければ、条件無し確率の問題は無視しても全
く問題はない、相関がある場合は、アンケート調査をす
る時に一人の答えを何度も使い回すようなもので、特定
の信号の重みが大きくなってしまう、　温度センサーと
湿度センサーのように、人力どうしに本質的な相聞があ
る場合は、前段に相関を殺すような回路を設置すればよ
い。本発明の構成に似た考え方を利用し、相関のある信
号から自動的に無相関な信号を出力させてもよい。 ２つの入力信号から、完全に無相聞な２つの信号を得る
簡単な方法は、おのおのの信号をＮ（０、ｌ）の標準正
規分布に従うよう１次変換し、和と差を出力することで
ある。 以上の問題を含めて本発明を実施するのは複雑で、多量
のメモリーが必要になるが、実施した場合には１つの期
待ができる。また、−旦組んだシステムに人力を増すと
か出力を増すのが、並列に同種の装置を組み込むだけで
すみ、拡張が容易なことも汎用性を保障している。まる
でコンピュータシステムでメモリを増設するように拡張
できるのである。しかもメモリーと違って、並列に計算
できる。

Claims (1)

【特許請求の範囲】
1. 入力信号を演算処理して、あらかじめ定められた特定の
   出力を出す学習方式において、入力値が多値であれば、
   出力値のおのおのに対し平均値または前回値と分散値に
   相当する記録を保持でき、入力値が２値であれば、平均
   、分散に代えて度数に相当する値を保持する回路を有し
   、特定の入力値に対して、記録されている平均値または
   全体値と分散または度数より、特定の出力値を取りうる
   確率に相当する値を算出することにより、自動的に出力
   が選択されることを特徴とする入力信号を演算処理する
   学習方式。