JPH01267789A - 認識辞書作成機能を備えた文字認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は認識対象カテゴリの辞書作成機能を備えた文字
認識装置、特に特徴抽出と判定を非線形処理で行なう文
字認識装置における辞書作成手段の構成に関する。

（従来の技術） 文字認識として一般的な方法は、線形処理を使った方法
である文字画像から検出した観測量を要素とするベクト
ルと認識辞書として予め用意したベクトルとの相関量を
求め最大相関量となる認識辞書のカテゴリ名を判定結果
とする方法（以下では線形処理法と呼ぶ）である。線形
処理法での認識辞書は、認識対象カテゴリの学習パター
ンからの観測量を要素とする学習ベクトルを主成分分析
や判別分析等の統計手法で求める方法が知られている。

例えば、主成分分析による方法は［パターン認識学習装
置］、特開昭６２−７３３９１号公報（文献１）、判別
分析による方法は［階層化法とその文字認識システムＰ
Ｃ−ＯＣＲＪ　、電子通信学会パターン認識と理解研究
会資料ＰＲＵ８６−７６（文献２）に記載されている。

文献１と２の両方とも、学習ベクトルから求めた共分散
行列をに−Ｌ展開し、得られる固有ベクトルあるいは固
有ベクトル軸上での値を要素とするベクトルを辞書とし
ている。この主成分分析と判別分析との違いは、認識対
象カテゴリごとに解析するか、認識対象カテゴリ全てを
同時に解析するかにある。

一方、文字認識に非線形処理を導入した代表例として、
［ネオコグニトロンの原理を用いた手書き数字認識］、
情報処理学会コンピュータビジョン研究会報告、Ｎｏ、
　４１．　ｐｐ、　１−６　（文献３）があり、認識対
象のパターン全体をサイクリックに与えることで認識論
理が作成されていく。また非線形処理を使った神経回路
モデルの学習方法として、バックプロパゲーシヨンによ
る学習、例えば“ＡｎＩｎｔｒｏｄｕｃｔｉｏｎ　ｔｏ
　Ｃｏｍｐｕｔｉｎｇ　Ｗｉｔｈ　Ｎｅｕｒａｌ　Ｎｅ
ｔｓ”、ＩＥＥＥＡＳＳＰ　Ｍａｇａｚｉｎｅ、　Ａｐ
ｒｉｌ、　ｐｐ、４−２２　（１９８７）　（文献４）
に記載、が知られている。このバックプロパゲーシヨン
による学習で提案された３層構成を文字認識の構成とし
て利用した例として、”Ａ　Ｎｅｕｒａｌ　Ｎｅｔｗｏ
ｒｋＤｉｇｉｔ　Ｒｅｃｏｇｎｉｚｅｒ”、　ＩＥＥＥ
　Ｐｒｏｃ、　Ｉｎｔ、　Ｃｏｎｆ、　Ｃｙｂｅｒｎ、
　Ｓｏｃ。

Ｖｏｌ、　２．　ｐｐ、１６２１−１６２５　（１９８
６）　（文献５）がある。非線形処理を特徴抽出や判定
に利用した方法を、前記線形処理法に対し、以下では非
線形処理法と呼ぶことにする。

（発明が解決しようとする課題） 前記文献１や文献２のような線形処理法では、認識対象
のパターンから得られる観測量を特徴とする特徴ベクト
ルが写影される特徴空間において線形分離できない部分
は誤認識あるいは認識結果を決定できないという問題が
ある。

また、文献３や５の非線形処理法では予め特徴を決め、
処理量の多い学習を行なう必要があるという問題がある
。例えば、文献３にあるバックプロパゲーシヨンによる
学習では各層をつなぐ結合係数を全て更新する必要があ
り、しかも少しずつ値を更新していくので多数回の学習
が必要であると言われている。

（課題を解決するための手段） 本願発明によれば、文字を含む画像を入力する画像入力
手段と、一文字づつの文字画像に分離する文字切り出し
手段と、一文字の画像から初期特徴量を求める初期特徴
検出手段と、複数個の初期特徴量・と第一の定数値とを
初期特徴ベクトルとして記憶する初期特徴ベクトル記憶
手段と、初期特徴ベクトルを変換するための特徴変換行
列を記憶する特徴変換行列記憶手段と、ベクトルと行列
との積を計算する変換手段と、前記変換手段からの人力
値をシグモイド形の関係に対応づける値に変えるための
変換テーブルの各層を記憶する変換テーブル記憶手段と
、前記変換テーブルで前記変換手段からの入力値を変換
するテーブル変換手段と、前記テーブル変換手段からの
複数個の入力値と第二の定数値とを特徴ベクトルとして
記憶する特徴ベクトル記憶手段と、判定用辞書となる辞
書行列を記憶する辞書行列記憶手段と、前記テーブル記
憶手段による前記特徴ベクトルと辞書行列との積の変換
により得られるベクトルを評価ベクトルとして記憶する
評価ベクトル記憶手段と、前記評価ベクトルの各要素で
ある値を入力として最大値となる入力番号を検出する最
大値検出手段と、前記最大値検出手段からの入力値であ
る番号に対応する文字カテゴリ名を出力するカテゴリ出
力手段と、文字カテゴリごとの初期特徴量を要素とする
ベクトルを学習ベクトルとして記憶する学習ベクトル記
憶手段と、前記学習ベクトルの線形判別分析により前記
特徴変換行列値と辞書行列値の初期値とを求める統計解
析手段と、前記特徴変換行列と辞書行列の要素である各
層を記憶する行列記憶手段と、前記学習ベクトルに対す
る特徴ベクトルと評価ベクトルと正解カテゴリ名より前
記特徴変換行列と辞書行列の要素である各層をバックプ
ロパゲーシヨンによる学習手法を用いて更新する制御手
段とからなる辞書作成機能を備えた文字認識装置が得ら
れる。

（作用） 前記文献２の線形判別分析を利用した文字認識法では、
予め特徴を決めずに観測量からなるベクトルの線形判別
変換により特徴ベクトルを得ている。この線形判別写像
用の行列は認識対象カテゴリの学習ベクトル全体を一回
解析することで求めることができる。また、ある特定の
カテゴリとそれ以外の全カテゴリという２クラスの線形
判別分析により特定カテゴリとそれ以外のカテゴリ全て
とを識別する線形判別写像用のベクトルと２クラスを識
別するためのいき値とが得られ、特定カテゴリ用の認識
辞書となる。すなわち、線形判別分析を用いると予め特
徴を決める必要がなく一回の解析で特徴ベクトル変換用
の行列を、また各カテゴリと残りのカテゴリ全体との線
形判別分析とにより認識辞書行列の要素となるベクトル
を作成できる。

そこで、前述の非線形処理法での３層構造において、第
１層から第２層への結合係数からなる行列を上記文字認
識法での特徴ベクトル変換用行列にまた第２層から第３
層への結合係数からなる行列を認識辞書行列にみなし、
各結合係数の初期値を、学習ベクトルの線形判別分析で
得られる値とする。

また第２層のいき値は０を、第３層のいき値は２クラス
識別のためのいき値を初期値とする。その上で、一般に
は乱数で与えた値から開始するバックプロパゲーシヨン
による学習を線形では最適な上記値から開始すると、速
い収束、すなわち学習回数が少なくてすむことになる。

第２図は文字画像と上記層間の関係を例示した図である
。文字画像上のりサンプリング点位置における局所特徴
値である入力層の要素１０１の出力は中間層２００の要
素２０１．２０２等の入力となり、また中間層２００の
各要素の出力は出力層３００の要素３０１等の入力とな
る。また要素間の結合係数と各要素での非線形応答にお
けるいき値とを並べると行列となる。従って、文字認識
は入力層のベクトルと行列との積で得られた値をシグモ
イド形のテーブルで変換し、得られる各層を中間層のベ
クトルの要素とし、次に中間層のベクトルと行列との積
で得られた値をシグモイド形のテーブルで変換し得られ
る値の最大値を検出し、最大値に対応するカテゴリ名を
認識結果とすることで行える。

上記のように、この文字認識方法では予め検出する特徴
を決めてない。

（実施例） 以下、本願の実施例を図面を参照して説明する。

第１図は本願発明の一実施例である文字認識装置のブロ
ック図である。図において、１は画像入力手段、２は文
字切り出し手段、３は初期特徴検出手段、４は初期特徴
ベクトル記憶手段、５は特徴変換行列記憶手段、６は変
換手段、７は変換テーブル記憶手段、８はテーブル変換
手段、９は特徴ベクトル記憶手段、１０は辞書行列記憶
手段、１工は評価ベクトル記憶手段、１２は最大値検出
手段、１３はカテゴリ出力手段、１４は学習ベクトル記
憶手段、１５は統計解析手段、１６は行列記憶手段、１
７は制御手段である。

第１図の文字認識装置での文字認譲は次のようにして行
なわれる。認識対象の文字を含む画像を画像入力手段ｌ
により求め、文字切り出し手段２は前記画像入力手段１
の出力である画像から一個づつ認識対象の文字画像を決
定し、その位置にある文字画像を順次出力する。以下の
処理は各文字画像ごとに行う。初期特徴検出手段３は前
記文字切り出し手段２からの文字画像よりリサンプリン
グ点における局所特徴値を初期特徴量として検出し、前
記初期特徴検出手段３の出力値は初期特徴ベクトルの要
素値として初期特徴ベクトル記憶手段４に記憶される。

特徴変換行列記憶手段５には前述の入力層から中間層へ
の結合係数と中間層各要素のいき値とからなる行列が記
憶されている。ここで、前記初期特徴ベクトルは、前記
行列のサイズと一致するように、前記初期特徴検出手段
４からの入力値と第１の定数値からなる。変換手段６は
前記初期特徴ベクトル記憶手段４からの入力であるベク
トルと前記特徴変換行列記憶手段５からの入力である行
列との積を求め、行列の次元数と同数の値を順次出力す
る。変換テーブル記憶手段７は非線形の人出力応答を行
なうためのシグモイド形のテーブル値を記憶しているの
で、テーブル変換手段８は前記変換手段６からの入力値
を前記変換テーブル記憶手段７のテーブルにより変換し
、変換値を出力する。前記テーブル変換手段８からの出
力値は、特徴ベクトル記憶手段９に順次記憶される。前
記初期特徴ベクトルと特徴変換行列との積値が全てテー
ブル変換されて前記特徴ベクトル記憶手段９に記憶し終
わると、次に前述の中間層から出力層への結合係数及び
出力層各要素のいき値とからなる行列を記憶している辞
書行列記憶手段１０の行列と前記特徴ベクトル記憶手段
９のベクトルとが変換手段６の人力となる。特徴ベクト
ル記憶手段９の特徴ベクトルは、前記初期特徴ベクトル
記憶手段４の初期特徴ベクトルと同じく辞書行列との次
元数と一致し、前記テーブル変換手段８からの入力値と
第２の定数値とからなる。そこで、変換手段６は前記特
徴ベクトル記憶手段９からの入力であるベクトルと前記
辞書行列記憶手段１０からの入力である前述の行列との
積を求め、辞書カテゴリ数と同数の値を順次出力する。

テーブル変換手段８は前記変換手段６からの辞書カテゴ
リ数個の値を前記変換テーブル記憶手段７のテーブルか
ら読み出して変換し、変換値を評価ベクトル記憶手段１
１に出力する。最大値検出手段１２は前記評価ベクトル
記憶手段１工からの辞書カテゴリの数だけ入力される値
の中で最大値となる入力番号を検出する。カテゴリ出力
手段１３は前記最大値検出手段１２から人力される番号
に対応するカテゴリ名を出力する。カテゴリ出力手段１
３からの出力が前記初期特徴検出手段３に入力した文字
画像の認識結果となる。

上記の文字認識で使う特徴変換行列、辞書行列および第
一と第二の定数値は、以下の順序で作成する。

決められた順序の文字を含む画像を画像人力手段１によ
り求め、文字切り出し手段２は前記画像人力手段１の出
力である画像から一個づつ認識対象の文字画像を決定し
、その位置にある文字画像を順次出力する。各文字画像
ごとに、初期特徴検出手段３は前記文字切り出し手段２
からの文字画像よりリサンプリング点における局所特徴
値を検出する。学習ベクトル記憶手段１４は前記入力文
字の順序よりカテゴリ名を決定し、カテゴリごとに前記
初期特徴検出手段３の出力である局所特徴値を要素とす
るベクトルを学習ベクトルとして記憶する。

統計解析手段１５は、まず前記学習ベクトルの各カテゴ
リを各クラス名とする多クラスの線形判別分析により得
られる行列とゼロベクトル（要素値がゼロであるベクト
ル。）からなる行列を特徴変換行列とし行列記憶手段１
６に出力する。つぎに統計解析手段１５は、前期学習ベ
クトル記憶手段１４の学習ベクトルと前期行列記憶手段
１６の特徴変換行列との積で得られるベクトルを一時記
憶する。全学習ベクトルに対する積を終了すると、最後
に、統計解析手段１５はカテゴリ順に一つのカテゴリと
残りのカテゴリ全部とをクラス名とし２クラスの線形判
別分析により得られる判別写像用のベクトルと識別のい
き値とからなるベクトルを各カテゴリの辞書ベクトルと
して行列記憶手段１６に出力する。制御手段１７は、前
述のバックプロパゲーションでの学習における初期値を
前期行列記憶手段１６に記憶されている特徴変換行列、
辞書ベクトルを要素とする辞書行列およびいき値とし、
前期学習ベクトルを入力、学習ベクトルのカテゴリ名を
教師として行列の各層を更新する。ここで、第一と第二
の定数値は１とする。学習による更新が終了すると、前
期制御手段１７は前期行列記憶手段１６に記憶されてい
る特徴変換行列を前期特徴変換行列記憶手段５に転送す
る。また、前期制御手段１７は前期行列記憶手段１６に
記憶されている辞書行列を転送する。以上の処理により
辞書作成が終了する。

（発明の効果） 以上説明したように本願発明によれば、バックプロパゲ
ーシヨンによる学習の初期値を線形判別分析により求め
るので辞書作成を短縮できるという効果がある。また認
識に用いる特徴を予め与える必要がないことから、認識
対象カテゴリのパターン形状が限定されないという効果
がある。

【図面の簡単な説明】

第１図は本願発明の文字認識装置の一実施例、第２図は
文字画像と特徴抽出の中間層及び判定の出力層の関係を
例示する図である。 図において、工は画像人力手段、２は文字切り出し手段
、３は初期特徴抽出手段、４は初期特徴ベクトル記憶手
段、５は特徴変換行列記憶手段、６は変換手段、７は変
換テーブル記憶手段、８はテーブル記憶手段、９は特徴
ベクトル記憶手段、１０は辞書行列記憶手段、１１は評
価ベクトル記憶手段、１２は最大値検出手段、１３はカ
テゴリ出力手段、１４は学習ベクトル記憶手段、１５は
統計解析手段、１６は行列記憶手段、１７は制御手段で
ある。

Claims (3)

【特許請求の範囲】
1. （１）文字を含む画像を入力する画像入力手段と、一文
   字づつの文字画像に分離する文字切り出し手段と、一文
   字の画像から初期特徴量を求める初期特徴検出手段と、
   複数個の初期特徴量と第一の定数値とを初期特徴ベクト
   ルとして記憶する初期特徴ベクトル記憶手段と、初期特
   徴ベクトルを変換するための特徴変換行列を記憶する特
   徴変換行列記憶手段と、ベクトルと行列との積を計算す
   る変換手段と、前記変換手段からの入力値をシグモイド
   形の関係に対応づける値に変えるための変換テーブルの
   各値を記憶する変換テーブル記憶手段と、前記変換テー
   ブルで前記変換手段からの入力値を変換するテーブル変
   換手段と、前記テーブル変換手段からの複数個の入力値
   と第二の定数値とを特徴ベクトルとして記憶する特徴ベ
   クトル記憶手段と、判定用辞書となる辞書行列を記憶す
   る辞書行列記憶手段と、前記テーブル変換手段による前
   記特徴ベクトルと辞書行列との積の変換により得られる
   ベクトルを評価ベクトルとして記憶する評価ベクトル記
   憶手段と、前記評価ベクトルの各要素である値を入力と
   して最大値となる入力番号を検出する最大値検出手段と
   、前記最大値検出手段からの入力値である番号に対応す
   る文字カテゴリ名を出力するカテゴリ出力手段と、文字
   カテゴリごとの初期特徴量を要素とするベクトルを学習
   ベクトルとして記憶する学習ベクトル記憶手段と、前記
   学習ベクトルの統計解析により前記特徴変換行列と辞書
   行列の各初期値を求める統計解析手段と、前記特徴変換
   行列と辞書行列の要素である各値を記憶する行列記憶手
   段と、前記学習ベクトルに対する特徴ベクトルと評価ベ
   クトルと正解カテゴリ名より前記特徴変換行列と辞書行
   列の要素である各値を前記行列記憶手段の記憶場所を用
   いて更新する制御手段とからなる辞書作成機能を備えた
   文字認識装置。
2. （２）統計解析手段の統計解析に線形判別分析を用いる
   ことを特長とする請求項（１）記載の文字認識装置。
3. （３）制御手段における値の更新にはバックプロパゲー
   シヨンによる学習を用いることを特長とする請求項（１
   ）又は（２）記載の文字認識装置。