JP3393511B2 - 文字認識装置及び方法 - Google Patents
文字認識装置及び方法Info
- Publication number
- JP3393511B2 JP3393511B2 JP06123891A JP6123891A JP3393511B2 JP 3393511 B2 JP3393511 B2 JP 3393511B2 JP 06123891 A JP06123891 A JP 06123891A JP 6123891 A JP6123891 A JP 6123891A JP 3393511 B2 JP3393511 B2 JP 3393511B2
- Authority
- JP
- Japan
- Prior art keywords
- character recognition
- coefficient
- subspace
- character pattern
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Description
【０００１】
【産業上の利用分野】本発明は文字認識装置に関し、特
にそれぞれニユーロンに対応する信号処理を行なう複数
のユニツトにより構成されたいわゆるニユーラルネツト
ワーク（Neural Network: 神経回路網）を用いた信号処
理部に対して、バツクプロパゲーシヨン（Bcak Propaga
tion: 誤差逆伝搬学習則）に従つて学習処理をする文字
認識装置に関する。
にそれぞれニユーロンに対応する信号処理を行なう複数
のユニツトにより構成されたいわゆるニユーラルネツト
ワーク（Neural Network: 神経回路網）を用いた信号処
理部に対して、バツクプロパゲーシヨン（Bcak Propaga
tion: 誤差逆伝搬学習則）に従つて学習処理をする文字
認識装置に関する。
【０００２】
【従来の技術】それぞれニユーロンに対応する信号処理
を行なう複数のユニツトにより構成されたいわゆるニユ
ーラルネツトワークを用いた信号処理部に関する学習処
理の手法として、バツクプロパゲーシヨン学習則が例え
ば（「ニユーラルネツトワーク情報処理」麻生英樹著50
-52 頁1988年産業図書発行）において提案されている。
を行なう複数のユニツトにより構成されたいわゆるニユ
ーラルネツトワークを用いた信号処理部に関する学習処
理の手法として、バツクプロパゲーシヨン学習則が例え
ば（「ニユーラルネツトワーク情報処理」麻生英樹著50
-52 頁1988年産業図書発行）において提案されている。
【０００３】バツクプロパゲーシヨン学習則の原理は、
第２図に示すように、入力層１１及び出力層１２間に中
間層１３を有する多層構造のニユーラルネツトワークに
より構成される信号処理部１４に適用され、文字認識や
音声認識等各種の信号処理への応用が試みられている。
第２図に示すように、入力層１１及び出力層１２間に中
間層１３を有する多層構造のニユーラルネツトワークに
より構成される信号処理部１４に適用され、文字認識や
音声認識等各種の信号処理への応用が試みられている。
【０００４】このニユーラルネツトワークのうちｊ番目
の段の層を構成する各ユニツトＵj は、前段の層を形成
しかつ結合係数ｗjiでユニツトＵj に結合されるｉ番目
の層の各ユニツトＵi の出力Ｏi の総和 netj を例えば
シグモイド（sigmoid ）関数などの所定の関数ｆで変換
された値Ｏj をもつ出力を送出する。すなわち、入力信
号パターンＳ１の値ｐが入力層１１の各ユニツトＵj に
入力値としてそれぞれ供給された時、順次中間層１３及
び出力層１２に含まれる各ユニツトＵj の出力値Ｏ
pjは、それぞれ次式
の段の層を構成する各ユニツトＵj は、前段の層を形成
しかつ結合係数ｗjiでユニツトＵj に結合されるｉ番目
の層の各ユニツトＵi の出力Ｏi の総和 netj を例えば
シグモイド（sigmoid ）関数などの所定の関数ｆで変換
された値Ｏj をもつ出力を送出する。すなわち、入力信
号パターンＳ１の値ｐが入力層１１の各ユニツトＵj に
入力値としてそれぞれ供給された時、順次中間層１３及
び出力層１２に含まれる各ユニツトＵj の出力値Ｏ
pjは、それぞれ次式
【０００５】
【数１】
によつて表される。
【０００６】そこで、入力層１１から出力層１２に向か
つて各ニユーロンに対応するユニツトＵj の出力値を順
次計算して行けば、出力層１２のユニツトＵj の出力値
Ｏpjを求めることができる。バツクプロパゲーシヨン学
習アルゴリズムにおいては、信号処理部１４の出力側に
設けられた学習処理部１５によつて、入力パターンｐを
与えた時の出力層１２の各ユニツトＵj の実際の出力値
Ｏpjと、望ましい出力値Ｔpjすなわち教師信号との２乗
誤差の総和ＥP 、すなわち
つて各ニユーロンに対応するユニツトＵj の出力値を順
次計算して行けば、出力層１２のユニツトＵj の出力値
Ｏpjを求めることができる。バツクプロパゲーシヨン学
習アルゴリズムにおいては、信号処理部１４の出力側に
設けられた学習処理部１５によつて、入力パターンｐを
与えた時の出力層１２の各ユニツトＵj の実際の出力値
Ｏpjと、望ましい出力値Ｔpjすなわち教師信号との２乗
誤差の総和ＥP 、すなわち
【０００７】
【数２】
を極小化するように、結合係数Ｗjiを変えるような学習
処理を、出力層１２から入力層１１に向かつて順次行
う。このようにすると、教師信号Ｓ２の値Ｔpjに最も近
い出力値Ｏpiが出力層１２のユニツトＵj の出力信号Ｓ
３として出力されるような状態になる。ところで、２乗
誤差の総和Ｅp を小さくする結合係数Ｗjiの変化量ΔＷ
jiを、次式
処理を、出力層１２から入力層１１に向かつて順次行
う。このようにすると、教師信号Ｓ２の値Ｔpjに最も近
い出力値Ｏpiが出力層１２のユニツトＵj の出力信号Ｓ
３として出力されるような状態になる。ところで、２乗
誤差の総和Ｅp を小さくする結合係数Ｗjiの変化量ΔＷ
jiを、次式
【０００８】
【数３】
によつて決めるようにすれば、（３）式は
【０００９】
【数４】
のように変形することができる。なおこのような変形の
過程は上述の文献に詳述されている。ここで、ηは学習
レート（定数）で、ユニツトＵj の数や層１１、１３及
び１２の数、さらには入出力の値等から経験的に決定さ
れる。また、δpjはユニツトＵj のもつ誤差値である。
従つて、変化量ΔＷjiを決定するためには、誤差値δpj
をネツトワークの出力層１２から入力層１１に向かつて
逆向きに求めていけば良い。すなわち出力層１２のユニ
ツトＵj の誤差値δpjは、次式
過程は上述の文献に詳述されている。ここで、ηは学習
レート（定数）で、ユニツトＵj の数や層１１、１３及
び１２の数、さらには入出力の値等から経験的に決定さ
れる。また、δpjはユニツトＵj のもつ誤差値である。
従つて、変化量ΔＷjiを決定するためには、誤差値δpj
をネツトワークの出力層１２から入力層１１に向かつて
逆向きに求めていけば良い。すなわち出力層１２のユニ
ツトＵj の誤差値δpjは、次式
【００１０】
【数５】
で表され、また中間層１３のユニツトＵj の誤差値δpj
は、当該ユニツトＵj が結合されかつ後段の層を形成し
ている各ユニツトＵk （図２の場合出力層１２の各ユニ
ツト）の結合係数Ｗji及び誤差値δpjを用いて、次式
は、当該ユニツトＵj が結合されかつ後段の層を形成し
ている各ユニツトＵk （図２の場合出力層１２の各ユニ
ツト）の結合係数Ｗji及び誤差値δpjを用いて、次式
【００１１】
【数６】
によつて表される再帰関数により計算される。（５）式
及び（６）式を求める過程も、上述の文献に詳述されて
いる。ここで、上記ｆ′j (netj）は出力関数ｆj (net
j ）の微分値である。そこで、変化量ΔＷjiは、（５）
式及び（６）式の結果を用いて（４）式によつて求める
ことができるが、さらに次式
及び（６）式を求める過程も、上述の文献に詳述されて
いる。ここで、上記ｆ′j (netj）は出力関数ｆj (net
j ）の微分値である。そこで、変化量ΔＷjiは、（５）
式及び（６）式の結果を用いて（４）式によつて求める
ことができるが、さらに次式
【００１２】
【数７】
のように前回の学習結果を用いるようにすれば、より安
定した結果が得られる。ここでαはエラーの振動を減ら
し、収束を速めるための安定化定数である。このような
学習を繰り返し行ない。出力信号Ｓ３の出力値Ｏpj及び
教師信号Ｓ２の値Ｔpjの２乗誤差の総和Ｅp が十分に小
さくなつた時点で学習を完了する。
定した結果が得られる。ここでαはエラーの振動を減ら
し、収束を速めるための安定化定数である。このような
学習を繰り返し行ない。出力信号Ｓ３の出力値Ｏpj及び
教師信号Ｓ２の値Ｔpjの２乗誤差の総和Ｅp が十分に小
さくなつた時点で学習を完了する。
【００１３】
【発明が解決しようとする課題】ところで、このような
ニユーラルネツトワークを利用して画像処理や音声認識
などの分野において実用に適した装置を実現するために
は、各層のユニツトすなわちニユーロンの数を増やし、
ネツトワークの規模を大きくすることが必要とされ、そ
れに伴つて結合係数の学習に大規模な計算量が必要とな
る。
ニユーラルネツトワークを利用して画像処理や音声認識
などの分野において実用に適した装置を実現するために
は、各層のユニツトすなわちニユーロンの数を増やし、
ネツトワークの規模を大きくすることが必要とされ、そ
れに伴つて結合係数の学習に大規模な計算量が必要とな
る。
【００１４】本発明は以上の点を考慮してなされたもの
で、ニユーラルネツトワークの入力空間の次元を削減す
ることによつて学習に要する計算量を減らすことができ
るようにすることにより、学習時の計算量を一段と小規
模にし得るアルゴリズムを提供しようとするものであ
る。
で、ニユーラルネツトワークの入力空間の次元を削減す
ることによつて学習に要する計算量を減らすことができ
るようにすることにより、学習時の計算量を一段と小規
模にし得るアルゴリズムを提供しようとするものであ
る。
【００１５】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、各ニユーロンに対応する信号処理
を行うＬ1個のユニツトにより構成された入力層１１、
Ｍ個のユニツトにより構成された中間層１３及びＮ個の
ユニツトにより構成された出力層１２をもつ文字認識手
段を有する文字認識装置２０において、Ｌ1次元の元の
空間において、Ｌ1次元入力パターンによつて構成され
るＬ1次元入力文字パターン群を、上記Ｌ1次元入力文字
パターン群の共分散行列のＬ2個の固有ベクトルを基底
とするＬ1よりも小さいＬ2次元の部分空間内のＬ2次元
変換文字パターン群に変換する変換手段２３と、ニユー
ラルネツトワークによつて構成され、上記Ｌ2次元の部
分空間において学習することによつて、上記Ｌ2次元変
換文字パターン群から上記部分空間における結合の強さ
の係数を求める学習手段２４と、上記部分空間における
結合の強さの係数を、上記元の空間における結合の強さ
の係数に逆変換して上記文字認識手段の上記ユニツト間
に設定する逆変換手段２３とを設ける。
め本発明においては、各ニユーロンに対応する信号処理
を行うＬ1個のユニツトにより構成された入力層１１、
Ｍ個のユニツトにより構成された中間層１３及びＮ個の
ユニツトにより構成された出力層１２をもつ文字認識手
段を有する文字認識装置２０において、Ｌ1次元の元の
空間において、Ｌ1次元入力パターンによつて構成され
るＬ1次元入力文字パターン群を、上記Ｌ1次元入力文字
パターン群の共分散行列のＬ2個の固有ベクトルを基底
とするＬ1よりも小さいＬ2次元の部分空間内のＬ2次元
変換文字パターン群に変換する変換手段２３と、ニユー
ラルネツトワークによつて構成され、上記Ｌ2次元の部
分空間において学習することによつて、上記Ｌ2次元変
換文字パターン群から上記部分空間における結合の強さ
の係数を求める学習手段２４と、上記部分空間における
結合の強さの係数を、上記元の空間における結合の強さ
の係数に逆変換して上記文字認識手段の上記ユニツト間
に設定する逆変換手段２３とを設ける。
【００１６】
【作用】従来のニユーラルネツトワークを用いても、本
発明で提案する方式を用いても、学習の結果として得ら
れるネツトワーク規模は同程度であるが、それぞれの学
習に要する時間には大きな違いがある。例えば、48×48
ドツトの、ｐ＝100 種類の文字パターンをニユーラルネ
ツトで学習しようとする場合、仮に、中間層１３の数を
50段とすると、従来の方法では、結合の数が約12万個に
なるのに対し、本発明による文字認識装置を用いれば、
僅か、１万個程度で済むため、学習に要する時間を1/10
以下に短縮することができる。
発明で提案する方式を用いても、学習の結果として得ら
れるネツトワーク規模は同程度であるが、それぞれの学
習に要する時間には大きな違いがある。例えば、48×48
ドツトの、ｐ＝100 種類の文字パターンをニユーラルネ
ツトで学習しようとする場合、仮に、中間層１３の数を
50段とすると、従来の方法では、結合の数が約12万個に
なるのに対し、本発明による文字認識装置を用いれば、
僅か、１万個程度で済むため、学習に要する時間を1/10
以下に短縮することができる。
【００１７】
【実施例】以下図面について、本発明の一実施例を詳述
する。
する。
【００１８】本発明による文字認識装置２０は、図１に
示すように、例えば文字パターン……「Ａ」、「Ｂ」、
「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」……を表す入
力文字パターン群２１、認識対象文字パターン２２、パ
ターン変換器２３及びニユーラルネツトワーク２４によ
つて構成されている。文字認識処理をする場合、文字認
識装置２０は先ず、入力文字パターン群２１に基づいて
パターン変換器２３の変換関数を求める。このパターン
変換器２３の重みベクトルの変化関数数式は、以下のよ
うにして求まる。
示すように、例えば文字パターン……「Ａ」、「Ｂ」、
「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」……を表す入
力文字パターン群２１、認識対象文字パターン２２、パ
ターン変換器２３及びニユーラルネツトワーク２４によ
つて構成されている。文字認識処理をする場合、文字認
識装置２０は先ず、入力文字パターン群２１に基づいて
パターン変換器２３の変換関数を求める。このパターン
変換器２３の重みベクトルの変化関数数式は、以下のよ
うにして求まる。
【００１９】階層的なニユーラルネツトワーク２４にお
いて、Ｎｍ次元のパターンｐが提示されたときの第ｋ段
目の第ｉ番目のユニツトへの入力の総和をｉｐｉｋ、出
力をＯｐｉｋ、第（ｋ−１）段目の層の第ｉ番目のユニ
ツトから第ｋ段目の第ｊ番目のユニツトへの結合の重み
をｗｉｊｋ−１ｋ、第ｋ段目の第ｊ番目のユニツトの閾
値をθｊｋとすると共に、各ユニツトの入出力関係を与
える関数をｆとすると、これらの変換の間の関係は、次
式のように表すことができる。
いて、Ｎｍ次元のパターンｐが提示されたときの第ｋ段
目の第ｉ番目のユニツトへの入力の総和をｉｐｉｋ、出
力をＯｐｉｋ、第（ｋ−１）段目の層の第ｉ番目のユニ
ツトから第ｋ段目の第ｊ番目のユニツトへの結合の重み
をｗｉｊｋ−１ｋ、第ｋ段目の第ｊ番目のユニツトの閾
値をθｊｋとすると共に、各ユニツトの入出力関係を与
える関数をｆとすると、これらの変換の間の関係は、次
式のように表すことができる。
【００２０】
【数８】
【数９】
ここで、パターンの総数をＮp 個とすると、それらの平
均パターンの出力は、次式
均パターンの出力は、次式
【００２１】
【数１０】
となる。この時、Ｎp 個のパターンに対する誤差は
【数１１】
となり、その第ｍ主成分ベクトルを（ｕmi k ）とする
と、出力Ｏpi k を次のように表すことができる。
と、出力Ｏpi k を次のように表すことができる。
【００２２】
【数１２】
【数１３】
【数１４】
【００２３】
【数１５】
【数１６】
ここで、出力Ｏ１（（１５）式）は、Ｎp 個のパターン
のうち、ｍ＝１番目の主成分ベクトルからｍ＝ｍt 番目
の主ベクトルまでの範囲の主成分ベクトル群についての
出力であることを表しており、このことはＬ1次元の入
力文字パターン群の共分散行列のうち、Ｌ2 個（Ｌ2 は
Ｌ1 より小さい）の固有ベクトルを基底とするＬ2 次元
の部分空間にあるＬ2 次元変換文字パターン群について
の出力を求めることを意味する。
のうち、ｍ＝１番目の主成分ベクトルからｍ＝ｍt 番目
の主ベクトルまでの範囲の主成分ベクトル群についての
出力であることを表しており、このことはＬ1次元の入
力文字パターン群の共分散行列のうち、Ｌ2 個（Ｌ2 は
Ｌ1 より小さい）の固有ベクトルを基底とするＬ2 次元
の部分空間にあるＬ2 次元変換文字パターン群について
の出力を求めることを意味する。
【００２４】これに対して出力Ｏ２（（１６）式）は、
Ｎp 個のパターンのうち、ｍ＝ｍt ＋１番目の主成分ベ
クトルからｍ＝Ｎm 番目の主成分ベクトルまでの範囲の
主成分ベクトル群についての出力であることを表してお
り、このことはＬ1 次元の入力文字パターン群の共分散
行列のうち、Ｌ1 −Ｌ2 個の固有ベクトルを基底とする
Ｌ1 −Ｌ2 次元の部分空間にあるＬ1 −Ｌ2 次元変換文
字パターン群についての出力を求めることを意味する。
そこで、第ｍt 主成分までとつた時、寄与率が十分大き
くなるように、ｍt の値を定めると、
Ｎp 個のパターンのうち、ｍ＝ｍt ＋１番目の主成分ベ
クトルからｍ＝Ｎm 番目の主成分ベクトルまでの範囲の
主成分ベクトル群についての出力であることを表してお
り、このことはＬ1 次元の入力文字パターン群の共分散
行列のうち、Ｌ1 −Ｌ2 個の固有ベクトルを基底とする
Ｌ1 −Ｌ2 次元の部分空間にあるＬ1 −Ｌ2 次元変換文
字パターン群についての出力を求めることを意味する。
そこで、第ｍt 主成分までとつた時、寄与率が十分大き
くなるように、ｍt の値を定めると、
【００２５】
【数１７】
と考えることができる。同じようにして、結合の重みに
ついて
ついて
【数１８】
【数１９】
【００２６】
【数２０】
【数２１】
【数２２】
のようにＬ2 次元の部分空間にあるＬ2 次元変換文字パ
ターン群についての結合の重みｗ１（（２１）式）と、
Ｌ1 −Ｌ2次元の部分空間にあるＬ1 −Ｌ2 次元変換文
字パターン群についての結合の重みｗ２（（２２）式）
とに分離するように、結合の重みｗij k-1kを表現し直す
ことができる。
ターン群についての結合の重みｗ１（（２１）式）と、
Ｌ1 −Ｌ2次元の部分空間にあるＬ1 −Ｌ2 次元変換文
字パターン群についての結合の重みｗ２（（２２）式）
とに分離するように、結合の重みｗij k-1kを表現し直す
ことができる。
【００２７】そこで、
【数２３】
となるように、ｍt 次元の部分空間内でニユーラルネツ
トの学習を行なうことにすると、結合の重みについて
トの学習を行なうことにすると、結合の重みについて
【数２４】
の関係になるから、（９）式を
【００２８】
【数２５】
と変形できる。ただし、
【数２６】
【数２７】
である。
【００２９】従つて、部分空間において学習することに
よつて得た結合の重みｗ１及び閾値θ１を、（２４）式
及び（２６）式によつて表される変換式に代入すること
によつて元の空間における結合の重みｗij k-1k及び閾値
θj k を求めることができる。以上の構成において、学
習時には、入力された認識対象文字パターン２２はパタ
ーン変換器２３において変換された後、ニユーラルネツ
トワーク２４において学習を行なう。
よつて得た結合の重みｗ１及び閾値θ１を、（２４）式
及び（２６）式によつて表される変換式に代入すること
によつて元の空間における結合の重みｗij k-1k及び閾値
θj k を求めることができる。以上の構成において、学
習時には、入力された認識対象文字パターン２２はパタ
ーン変換器２３において変換された後、ニユーラルネツ
トワーク２４において学習を行なう。
【００３０】ここでニユーラルネツトワーク２４として
は一般的な構成のものを適用すれば良く、かくしてニユ
ーラルネツトワーク２４の学習によつて求めることがで
きた重みベクトル及び閾値を、（２４）式及び（２６）
式の変換式に代入するような演算処理をすることにより
元の文字空間での重みベクトルを求めることができる。
これに対して入力文字認識時には、このようにして学習
時に得た重みベクトルの値を、図２について上述したニ
ユーラルネツトワークに代入することによつて文字認識
処理をすることができ、その結果従来の手法によつて得
ることができた文字認識機能とほぼ同程度の文字認識機
能をもつネツトワークを構成することができる。
は一般的な構成のものを適用すれば良く、かくしてニユ
ーラルネツトワーク２４の学習によつて求めることがで
きた重みベクトル及び閾値を、（２４）式及び（２６）
式の変換式に代入するような演算処理をすることにより
元の文字空間での重みベクトルを求めることができる。
これに対して入力文字認識時には、このようにして学習
時に得た重みベクトルの値を、図２について上述したニ
ユーラルネツトワークに代入することによつて文字認識
処理をすることができ、その結果従来の手法によつて得
ることができた文字認識機能とほぼ同程度の文字認識機
能をもつネツトワークを構成することができる。
【００３１】以上の構成によれば、（１７）式及び（２
３）式について上述したように、Ｌ1 次元の入力文字パ
ターン群の共分散行列のうち、Ｌ1 −Ｌ2 次元の部分空
間にあるＬ1 −Ｌ2 次元変換文字パターン群についての
出力Ｏ２及び結合の重みｗ２が０になるような条件の下
に、ニユーラルネツトワークがｍt 次元の部分空間につ
いての学習を行うようにしたことにより、結局文字認識
時に実行すべき学習をＬ2 次元（Ｌ2 はＬ1 より小さ
い）の部分空間にあるＬ2 次元変換文字パターン群に限
定することができ、この分ニユーラルネツトワークにお
ける学習規模を従来の場合と比較して一段と小規模にす
ることができる。
３）式について上述したように、Ｌ1 次元の入力文字パ
ターン群の共分散行列のうち、Ｌ1 −Ｌ2 次元の部分空
間にあるＬ1 −Ｌ2 次元変換文字パターン群についての
出力Ｏ２及び結合の重みｗ２が０になるような条件の下
に、ニユーラルネツトワークがｍt 次元の部分空間につ
いての学習を行うようにしたことにより、結局文字認識
時に実行すべき学習をＬ2 次元（Ｌ2 はＬ1 より小さ
い）の部分空間にあるＬ2 次元変換文字パターン群に限
定することができ、この分ニユーラルネツトワークにお
ける学習規模を従来の場合と比較して一段と小規模にす
ることができる。
【００３２】
【発明の効果】上述のように本発明によれば、部分空間
学習処理部において、Ｌ１次元入力文字パターン群の部
分空間から得たＬ２次元変換文字パターン群について学
習することによつて、ユニツト間の結合の強さの係数を
求めて、これを信号処理部全体のユニツト間の結合の強
さの係数に変換するようにしたことにより、従来手法で
は大規模な大型計算機を用いる必要があつたような膨大
な入力データに対する文字パターン認識を、パーソナル
コンピユータ程度の小規模な計算能力の計算機を用いて
行うことができる。
学習処理部において、Ｌ１次元入力文字パターン群の部
分空間から得たＬ２次元変換文字パターン群について学
習することによつて、ユニツト間の結合の強さの係数を
求めて、これを信号処理部全体のユニツト間の結合の強
さの係数に変換するようにしたことにより、従来手法で
は大規模な大型計算機を用いる必要があつたような膨大
な入力データに対する文字パターン認識を、パーソナル
コンピユータ程度の小規模な計算能力の計算機を用いて
行うことができる。
【図１】図１は本発明による文字認識装置の一例構成を
概念的に示すブロツク図である。
概念的に示すブロツク図である。
【図２】図２は従来用いられているニユーラルネツトワ
ーク及びバツクプロパゲーシヨン学習則の構成を概念的
に示すブロツク図である。
ーク及びバツクプロパゲーシヨン学習則の構成を概念的
に示すブロツク図である。
１１……入力層、１２……出力層、１３……中間層、１
４……信号処理部、１５……学習処理部、２１……入力
文字パターン群、２２……認識対象文字パターン、２３
……パターン変換器、２４……ニユーラルネツトワー
ク。
４……信号処理部、１５……学習処理部、２１……入力
文字パターン群、２２……認識対象文字パターン、２３
……パターン変換器、２４……ニユーラルネツトワー
ク。
Claims (4)
- 【請求項１】各ニユーロンに対応する信号処理を行うＬ
1個のユニツトにより構成された入力層、Ｍ個のユニツ
トにより構成された中間層及びＮ個のユニツトにより構
成された出力層をもつ文字認識手段を有する文字認識装
置において、 Ｌ 1 次元の元の空間において、 Ｌ1元入力文字パターンに
よつて構成されるＬ1次元入力文字パターン群を、上記
Ｌ1次元入力文字パターン群の共分散行列のＬ2個の固有
ベクトルを基底とするＬ1よりも小さいＬ2次元の部分空
間内のＬ2次元変換文字パターン群に変換する変換手段
と、 ニユーラルネツトワークによつて構成され、上記Ｌ 2 次
元の部分空間において学習することによつて、上記Ｌ 2
次元変換文字パターン群から上記部分空間における結合
の強さの係数を求める学習手段と、 上記部分空間における結合の強さの係数を、上記元の空
間における結合の強さの係数に逆変換して上記文字認識
手段の上記ユニツト間に設定する逆変換手段と を具える
ことを特徴とする文字認識装置。 - 【請求項２】上記逆変換手段は、次式 によつて結合の強さの係数の変換を行うことを特徴とす
る請求項１に記載の文字認識装置。 - 【請求項３】文字認識時、各ニユーロンに対応する信号
処理を行うＬ1個のユニツトにより構成された入力層、
Ｍ個のユニツトにより構成された中間層及びＮ個のユニ
ツトにより構成された出力層を有する文字認識手段によ
つて文字認識処理をする文字認識方法において、 学習時、変換手段によつて、Ｌ 1 次元の元の空間におい
て、 Ｌ1次元入力文字パターンによつて構成されるＬ1元
入力文字パターン群を、上記Ｌ1次元入力文字パターン
群の共分散行列のＬ2個の固有ベクトルを基底とするＬ1
よりも小さいＬ2次元の部分空間内のＬ2次元変換文字パ
ターン群に変換し、 上記変換手段から得られるＬ 2 次元変換文字パターン群
について、ニユーラルネツトワークによつて構成される
学習手段によつて上記Ｌ 2 次元の部分空間において学習
することによつて、上記Ｌ 2 次元変換文字パターン群か
ら上記部分空間における結合の強さの係数を求め、 逆変換手段によつて、上記部分空間における結合の強さ
の係数を、上記元の空間における結合の強さの係数に逆
変換して上記文字認識手段の上記ユニツト間に設定する
ことを特徴とする文字認識方法。 - 【請求項４】上記逆変換は、次式 によつて結合の強さの係数の変換を行うことを特徴とす
る請求項３に記載の文字認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06123891A JP3393511B2 (ja) | 1991-03-02 | 1991-03-02 | 文字認識装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06123891A JP3393511B2 (ja) | 1991-03-02 | 1991-03-02 | 文字認識装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04275690A JPH04275690A (ja) | 1992-10-01 |
| JP3393511B2 true JP3393511B2 (ja) | 2003-04-07 |
Family
ID=13165454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06123891A Expired - Fee Related JP3393511B2 (ja) | 1991-03-02 | 1991-03-02 | 文字認識装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3393511B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07168913A (ja) | 1993-12-14 | 1995-07-04 | Chugoku Nippon Denki Software Kk | 文字認識システム |
-
1991
- 1991-03-02 JP JP06123891A patent/JP3393511B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04275690A (ja) | 1992-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2406105C2 (ru) | Способ обработки информации в нейронных сетях | |
| CN112529166A (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
| JPH06509195A (ja) | 分散型比較ニューラル・ネットワーク | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| JP3393511B2 (ja) | 文字認識装置及び方法 | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| JP2897220B2 (ja) | 信号処理装置 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH0272491A (ja) | 画像変換処理装置 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH0638200B2 (ja) | ダイナミックなニューラルネットワーク | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| Jamal | Neural network and cellular manufacturing | |
| Tokunaga et al. | Modular network SOM: Self-organizing maps in function space | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| JPH08249303A (ja) | 信号処理装置 | |
| JPH05314090A (ja) | ニューラルネットを用いたパターン認識方法およびその装置 | |
| JP2621916B2 (ja) | 神経回路網の学習方法 | |
| Boyko et al. | Neural Networks: Training with Backpropagation and the Gradient Algorithm | |
| JPH02165285A (ja) | パターン認識装置 | |
| Phillips | Implementing a Neural Network for Supervised Learning with a Random Configuration of Layers and Nodes | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |