JP2743024B2

JP2743024B2 - 文字認識のための切出し装置

Info

Publication number: JP2743024B2
Application number: JP1303973A
Authority: JP
Inventors: 輝芳鷲澤
Original assignee: 株式会社テレマティーク国際研究所
Priority date: 1989-11-21
Filing date: 1989-11-21
Publication date: 1998-04-22
Anticipated expiration: 2013-04-22
Also published as: JPH03163684A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、ホップフィールド型ニューラルネットを利
用した文字の切出しと認識を同時に行う文字切出し認識
装置に関する。本発明は特に連続した手書き文字の切出
し認識ができるように断続的に視点移動を行い、文字パ
ターン切出し位置を文字認識し易い位置に移動させて文
字の切出し認識を行う装置に関する。

〔概要〕

本発明は、ホップフィールド型ニューラルネットを利
用した文字切出し認識装置において、ニューラルネットが平衡状態になるときに、文字パタ
ーン切出し位置を認識し易い位置に移動させることによ
り、続け文字のように連続する手書き文字も効率よく切出
し認識を行うことができるようにするものである。

〔従来の技術〕

近年ニューラルネットを用いた手書き文字認識技術が
種々開発されている。このニューラルネットによる手書
き文字認識技術としては、ホップフィールドによって提
案されたニューラルネット構成技術がある。

文献 Hopfield,J.J.,“Neural Networks and Physical Sys
tems with Emergent Collective Computational Abilit
ies,"Proceedings of National Science,U.S.A.,vol.7
9,pp.2445−2558,1982. Hopfield,J.J.,Tank,D.W.,「神経回路を使ったコンピ
ュータ・モデル」日経マイクロデバイス1987,3月号（N
o.21）４月号（No.22）（訳）このホップフィールド提案のニューラルネットモデル
の構成を第２図に示す。これはニューロン素子1₁……1_j
……の相互の結合関係を示すもので、その各ニューロン
素子１の出力は、興奮性あるいは抑制性のものとして他
のニューロン素子の入力に結合されている。このモデル
はアナログ電子回路により構成されており、ニューロン
素子１は増幅器で、他のニューロン素子との結合はフィ
ードバック線と増幅器への入力のコンダクタンスで表さ
れている。

このモデルのダイナミクスはで表すことができる。

但しｔ：時刻 τ ：時定数 u_i :i番目のニューロンの活動電位 v_i :i番目のニューロンの出力値 a_i :i番目のニューロンに対する外部入力ｗ_i,j :i番目とｊ番目のニューロンのシナプス
結合強度ｆ（ｘ）：ニューロン素子の入出力関数（単調増
加）このようなモデルの回路網に対してホップフィールド
は次のエネルギ関数Ｅを導入した。

du_i/dt＝−∂E/∂v_i ……（３）このように定義されたエネルギ関数は、上記（１）式
で表されるニューラルネットのリアプノフ関数となり、
このニューラルネットのダイナミクスはエネルギ関数Ｅ
の値を減少させる方向に動作する。

このため、このエネルギ関数Ｅの極小解あるいは最小
解を求めれば、最適近似解を短時間で得られることを示
した。

さらに、ホップフィールドの示した回路の動作を説明
する。

第２図のニューロンをアンプで表現すれば、（１）
式、（２）式において、u_iはｉ番目のアンプの入力電
圧、v_iはｉ番目のアンプの出力電圧、w_ijはｊ番目のア
ンプからｉ番目のアンプへの結線のコンダクタンス、a_i
をｉ番目のアンプへの外部入力電流である。また、関数
ｆはアンプの入出力特性である。

第２図の回路はフィードバックループで構成されてお
り、（１）式および（２）式にしたがって連続的に状態
が変化する。このように状態が連続的に変化する回路に
おいて、エネルギ関数Ｅをv_iで偏微分することによっ
て、u_iの時間軸に関する微分方程式が得られる。これと
（１）式とを比較することによって、w_ijとa_iが定ま
る。w_ijとa_iをもとに構成した回路は必ず安定し、その
ときのv_iはエネルギ関数Ｅの極小解に対応している。

まとめれば、エネルギ関数からw_ijとa_iとをあらかじ
め計算し、これらをもとに回路を構成して動作させれ
ば、回路の状態は必ず安定し、その状態がＥの極小解を
与えることが保証される。

巡回セールスマン問題は、与えられたｎ個の都市を最
小の時間で巡回する経路を求めるというものである。第
２図の回路を巡回セールスマン問題へ応用する場合に
は、各回路にアンプを対応させ、適当にw_ijとa_iとを決
定し、回路の安定状態を調べればよい。ホップフィール
ドモデルはアナログ回路で構成されており、CPUを用い
るディジタル回路でないので、安定状態に達するまでの
時間がディジタル計算機よりはるかに早いことは想像に
難くない。

〔発明が解決しようとする課題〕

ところで、このようなホップフィールド型ニューラル
ネットで文字認識を行う場合は、前処理として１文字毎
の切出しや正規化を施した後にニューラルネットに文字
パターンのデータを入力して文字認識を行うようにして
いる。

しかしながら、古文書に見られるような続け文字をニ
ューラルネットに入力するために上述のような１文字毎
の切出しや正規化を施す前処理を行うことはできない。
このため、続け文字のような連続する字体で書かれた手
書き文字をニューラルネットで切出し認識することはで
きなかった。

ところで、人の視覚系でのパターン認識では、視点を
パターンの特徴点に断続的にいわばジャンプして移動さ
せる断続性眼球運動（サッケードともいう。）が見られ
る。この断続性眼球運動は、人の視覚系におけるパター
ン認識において重要な意味のあるものとして医学的ある
いは工学的にも注目されて研究されているものである。

本発明は、人の視覚系運動に見られる断続性眼球運動
に着目し、このサッケードをホップフィールド型ニュー
ラルネットによる手書き文字の切出し認識に適用して、
効率よく続け文字のような手書き文字を切出しと認識を
同時に行うことができるようにした文字切出し認識装置
を提供することを目的とする。

〔課題を解決するための手段〕

本発明は、複数のニューロン素子の出力を入力としこ
の入力の非線形積和演算を行うニューロン素子が互いの
出力信号を入力し合うように結合されたニューラルネッ
トを備えた文字認識切出し装置において、上記ニューラルネットが平衡状態になるごとに、上記
ニューラルネットの出力状態をもとに入力文字パターン
に対する切出し視点を移動させる手段を備えて、断続的
な視点移動を行わせることを特徴とする。

〔作用〕

ホップフィールド型ニューラルネットが平衡状態にな
るときの出力層の状態を文字パターンの認識結果として
取り出す。

このとき、ニューラルネットの視点移動のベクトルを
示すサッケード層を構成するニューロン素子の興奮状態
に着目し、このサッケード層のニューロン素子のうちそ
の最も興奮状態にあるニューロン素子が文字切出し認識
の視点にくるように、ニューラルネットの視点を移動さ
せ、その視点が移動しなくなったとき、すなわち、中心
のニューロン素子が興奮した状態となったときの出力層
の出力値を最終認識結果とする。

このように入力文字パターンに対する視点を断続的に
移動させて文字切出し認識に最適な位置を探索して文字
切出し認識を行うことにより、続き文字のような前処理
を行うことができない文字パターンに対しても、最適な
位置で文字切出しと認識を同時に効率よく行うことが可
能となる。

〔実施例〕

以下図面を参照して本発明の実施例を説明する。

第１図は本発明一実施例の文字切出し認識装置の構成
を示す模式構成図である。

この文字切出し認識装置のニューラルネット３は、サ
ッケード層31、ダイナミック層32、出力層33とより構成
されている。出力層33はこのニューラルネットの認識し
た認識結果を出力する層である。サッケード層31は、視
点移動のためのサッケードベクトルを発生するものであ
る。ダイナミック層32は、サッケード層31と出力層33と
の中間で両層のバランスをとる層である。各層とも複数
のニューロン素子から構成されている。

また、入力文字パターン２の全体のデータの全視覚情
報Ｗは一定の領域の入力画像Ｖ^l,mとしてニューラルネ
ット３のサッケード層31とダイナミック層32との間の結
合重み付けとしてニューラルネット３に与えられる。そ
してこの入力画像を認識するニューラルネット３の視点
座標を（l,m）とする。ここでこの入力画像情報Ｖは、
第３図に示すように、それぞれ縦Ｊ、横Ｉの幅をもち、
この入力画像情報Ｖ^{ｌ−1,m−１}は、サッケード層31の
ニューロン素子Ｓ_{X/2−1,Y/2−１}とダイナミック層32と
の間の結合重み付けとして与えられたものであり、入力
画像情報Ｖ^l,mは、サッケード層31のニューロン素子Ｓ
_X/2,Y/2とダイナミック層32との間の結合重み付けとし
て与えられたものであり、入力画像情報Ｖ^{ｌ＋1,m＋１}
は、サッケード層31のニューロン素子Ｓ_{X/2＋1,Y/2＋１}
とダイナミック層32との間の結合重み付けとして与えら
れたものである。ここでサッケード層31のニューロン素
子Ｓ_X/2,Y/2がサッケード層31の中心位置に所在してお
り、視点位置（l,m）に対応する。

また、この文字切出し認識装置は入力文字パターン２
の視点を移動させるための移動手段４を備えており、こ
の移動手段４は、ニューラルネット３のサッケード層31
に現れるサッケードベクトル方向に視点位置（l,m）を
移動させる。この移動手段４はサッケード層31に現れる
サッケードベクトルにしたがって、与える入力文字パタ
ーン２の位置をモータなどにより機械的に移動させる機
構である。またこの移動手段４は電子的な移動機構とし
てもよい。

次に本実施例装置の動作を説明する。

まず、このニューラルネット３のニューロン素子間の
結合強度を決定するためのエネルギ関数Ｅを定義する。

このエネルギ関数Ｅは、但し、Ｖ^l,m _i,jは、Ｖ^l,m _i.j＝Ｗ
_{ｌ＋ｉ−（Ｉ＋Ｘ）/2,m＋ｊ−（Ｊ＋Ｙ）/2} であり、 V:入力画像情報 W:全視覚情報 S:サッケード層のニューロン素子の出力値 D:ダイナミック層のニューロン素子の出力値 T:ニューラル網が記憶している標準パターン O:出力層のニューロン素子の出力値 C:定数（l,m）：視点の座標とする。

このニューラルネット３は、サッケード層31とダイナ
ミック層32との間に入力文字パターン２が与えられる
と、このエネルギ関数Ｅの値が極小値をとるように、ニ
ューロン素子の出力を調整し、このエネルギ関数Ｅが極
小値に収束して平衡状態になる。

このとき、サッケード層31で最大値を示すニューロン
素子をS_xmax,S_ymaxとすると、移動手段４は、サッケー
ド層31の状態から視点（l,m）を、として更新させる。これはサッケード層31でもっとも興
奮状態にあるニューロン素子の位置に視点がくるよう
に、ニューラルネット３の視点を移動させることであ
る。ここでＸとＹはサッケード層31のニューロン素子の
縦横方向の数であり、サッケード層31が一度に認識でき
る入力画像情報と等価である。

この視点位置移動距離は上記（５）式により、最大X/
2、Y/2である。

そして例えば、第１図のサッケード層31の右上隅のニ
ューロン素子Ｓ_i,jがこのサッケード素子31内で最も出
力値が大きいときには、サッケードベクトルにしたがっ
て、このニューロン素子Ｓ_i,jの位置を視点とするよう
に移動手段４が入力文字パターン２の入力画像情報Ｖ
^l,mの座標位置を移動させる。

この結果、入力画像情報が変化し、エネルギ関数Ｅの
形も変化する。この変化した新たな入力画像情報とエネ
ルギ関数Ｅにしたがってニューラルネット３が平衡状態
になると、発生したサッケードベクトルにより視点を移
動させる。そして、このような操作をニューラルネット
３が平衡状態となるごとに視点移動が生じなくなるまで
繰り返し、ニューラルネット３が平衡状態となり、視点
が移動しなくなったとき、すなわち、入力文字パターン
２について最大値をとるサッケード層31の中央のニュー
ロン素子が視点位置にきたときに、ニューラルネット３
の出力層33の認識結果を最終認識結果として採用する。

このサッケード層31に発生するサッケードベクトルと
ニューロン素子の興奮状態との関係を第４図に示す。ニ
ューロン素子の興奮の程度は正方形の面積で表されてお
り、最も面積の大きい正方形のニューロン素子を視点位
置とするようなサッケードベクトルが発生する。

ここで上述の定義したエネルギ関数Ｅのうち、第１項
は、ダイナミック層32に浮かび上がったパターンがあり
そうな位置へ視点を移動させるための項、第２項は自分
が記憶している標準パターンTⁿにダイナミック層32上の
パターンを近づけるための項、第３項はサッケードベク
トルを一意に決めるすなわち、サッケード層内のニュー
ロン素子を１つに決めるための項、第４項は認識結果を
一意に決定するための項である。

上記（５）式から各層のニューロン素子のダイナミッ
クは次の式によって決定できる。

但し、u^S _x,y：サッケード層ニューロン素子の出力、 u^D _x,y：ダイナミック層ニューロン素子の出力 u^O _n :出力層ニューロン素子の出力である。

このニューラルネットでは、ニューラルネットが平衡
状態に達するまでは、視点は固定され、平衡状態に達し
たときに、サッケードベクトルが発生する構成となって
おり、断続的に視点を移動させ、サッケード層の中央の
ニューロン素子が最も興奮した状態のときに入力文字パ
ターンの切出し認識作業が完結するものである。

次に具体的にニューラルネットに文字パターンを与え
たときの視点移動の例を説明する。

この例では、サッケード層31のニューロン素子数を９
×９個＝81個のダイナミック層32のニューロン素子数を
８×８個＝64個、出力層33のニューロン素子数を４個と
するニューラルネットを構成し、このニューラルネット
に第５図に提示したような16×16画素のテンプレートパ
ターンを含む全視覚情報を与えてパターンの切出し認識
を行った。このニューラルネットには、標準パターンと
して、第６図に示すような４個の８×８画素のテンプレ
ートパターンが記憶されており、出力層33のそれぞれの
ニューロン素子の興奮状態と対応している。

また、定数の値はC₀＝C₁＝0.1、C₂＝C₃＝1.0とし、ニ
ューロン素子への入出力関数としてはｆ（ｘ）＝1.0/（1.0＋exp（−ｘ））を用いた。このニューラルネットのサッケードの距離の
最大値は、４画素になる。

第７図ないし第９図の（ａ）に入力文字パターンとし
て第５図（ａ）の横棒のパターンが与えられたときのニ
ューラルネットの移動する視点の位置を、（ｂ）に、平
衡状態におけるサッケード層31のニューロン素子の興奮
状態を、（ｃ）に出力層33のニューロン素子の興奮状態
を示す。

まず最初に、第７図（ａ）に示すように視点が（4,
4）の座標位置にあるとき、この視点位置でニューラル
ネットは平衡状態になると、サッケード層31では、与え
られた横棒のある方へ視点を移動させるように、サッケ
ード層の特定のニューロン素子、具体的には第７図
（ｂ）に示すように右下隅の座標（7,8）に対応するニ
ューロン素子が興奮し、その出力値がもっとも大きくな
る。この例では、一度に４画素しかその視点移動ができ
ないように設定されているため、この状態では与えられ
たパターンを視野の中央でとらえることはできず、ダイ
ナミック層32および出力層33の出力パターンは不明瞭で
あり、第７図（ｃ）に示すように、その出力層33の横棒
に対応するニューロン素子のみが興奮状態とはなってい
ない。

そこで、平衡状態になりサッケードベクトルとして視
点を（7,8）の座標位置に移動させるベクトルが生ずる
ため、この座標位置に視点を第８図（ａ）に示すように
サッケードし、ここで、また平衡状態になるようにす
る。その結果、第８図（ｂ）に示すように（7,12）の位
置に対応するサッケード層のニューロン素子が興奮する
ので、この座標位置を第９図（ａ）に示すように次の視
点とする。

この３回目の視点位置により、第９図（ｂ）に示すよ
うにサッケード層31の中央のニューロン素子のみが興奮
状態となり、パターンを視野の中央でとらえる位置に移
動するため、第９図（ｃ）に示すように出力層33には、
横棒に対応するニューロン素子のみが強く興奮する状態
となり、この出力をパターン認識結果として採用する。

また、第10図（ａ）ないし（ｃ）に、その他のテンプ
レートパターンを与えたときのサッケードの例を示す。
この第10図に示す例でも、与えられたそれぞれの入力パ
ターンに対して、その入力パターンを認識するのに最適
な視点に、断続的に視点移動を行っていることが理解で
きる。

さらに、第11図に示すような数字文字パターンを与え
て切出し認識を行った。この例では第11図（ａ）に示す
ような「１」から「９」の標準パターンをニューラルネ
ットに記憶させ、第11図（ｂ）に示すようなそれぞれパ
ターンの位置がずれた各数字文字ごとに８個の数字文字
パターンと、それぞれ第11図（ｃ）に示すようなパター
ンが変形しその位置のずれた各数字文字ごとに８個の数
字文字パターンとを与え、サッケードを行わせて切出し
認識を行った。

その結果、第11図（ｂ）に示すようなパターン位置が
ずれた文字パターンについては、100パーセントの認識
率を、第11図（ｃ）に示すような変形された文字パター
ンについては93.8％の認識率を得、全体として96.9％の
認識率を得た。

このように本実施例では、ニューラルネットの視点位
置を文字切出し認識に最適な位置にもってくることがで
きるので、前処理を行っていない文字パターンについて
もより効率よく切出し認識を行うことが可能である。

〔発明の効果〕

以上説明したように、本発明は続け文字のような手書
き文字の切出し認識を行う場合においてもその文字の切
出し認識のための最適な位置への視点移動を行うことが
できるため、従来では扱うことができなかった続け文字
の切出し認識を同時に効率よく行うことができる効果が
ある。

【図面の簡単な説明】

第１図は本発明一実施例装置の構成図。第２図は従来のニューラルネットの説明図。第３図は入力画像情報と全視覚情報との関係を示す図。第４図はサッケード層のニューロン素子とサッケードベ
クトルを説明する図。第５図は与えられたテンプレートパターンを示す図。第６図はニューラルネットが記憶しているテンプレート
パターンを示す図。第７図ないし第９図は視点がサッケードしている状態を
示す図。第10図はその他の入力パターンについて視点がサッケー
ドする例を説明する図。第11図は数字文字パターンの切出し認識に用いた数字文
字パターン例。１、Ｓ_i,j……ニューロン素子、２……入力文字パター
ン、３……ニューラルネット、４……移動手段、31……
サッケード層、32……ダイナミック層、33……出力層。

フロントページの続き (56)参考文献特開平２−309466（ＪＰ，Ａ) 電子通信学会技術研究報告Ｖｏｌ, 80 Ｎｏ．138，ＰＲＬ80−34，ＰＰ55 −61 1980年９月26日「ネオコグニトロン：変形や位置ずれに強いパターン認識方式」電子情報通信学会技術研究報告Ｖｏｌ，88 Ｎｏ．177，ＰＲＵ88−55，ＰＰ79−86，1988年９月16日「ニューラルネットを用いた文字認識」

Claims

(57)【特許請求の範囲】

【請求項１】複数のニューロン素子の出力を入力としこ
の入力の非線形積和演算を行うニューロン素子が互いの
出力信号を入力し合うように結合されたニューラルネッ
トを備えた文字認識のための切出し装置において、上記ニューラルネットが平衡状態になるごとに、上記ニ
ューラルネットの出力状態をもとに入力文字パターンに
対する切出し視点を移動させる手段を備えたことを特徴とする文字認識のための切出し装置。
【請求項２】ニューラルネットのニューロン素子間の結
合強度を決定するためのエネルギ関数Ｅを、但し、Ｖ^l,m _i,jは、Ｖ^l,m _i,j＝Ｗ
_{ｌ＋ｉ−（ｌ＋Ｘ）/2,m＋ｊ−（Ｊ＋Ｙ）/2} であり、Ｖは、入力画像情報、Ｗは、全視覚情報、Ｓはサッケー
ドベクトルを表すサッケード層のニューロン素子の出力
値、Ｄは中間層のニューロン素子の出力値、Ｔはニュー
ラルネットが記憶している標準パターン、０は出力層の
ニューロン素子の出力値、Ｃは定数、（l,m）を視点の
座標とすると定義し、このエネルギ関数Ｅをもとに結合強度を決定
したニューラルネットが平衡状態に達したときに、サッ
ケード層で最も大きな出力値をとるニューロン素子がＳ
_xmax,ymaxであったとすると、視点（l,m）を、ｌ＝ｌ＋xmax−X/2 ｍ＝ｍ＋ymax−Y/2 但しＸおよびＹはサッケード層ニューロン素子の縦横方
向の素子数として更新し、このような視点の更新を視点が停止するまで行い、視点
移動が停止したときの出力層の出力値を最終切出し結果
とする手段を含む請求項１に記載の文字認識のための切出し装
置。