JP4127730B2

JP4127730B2 - パターン認識装置及び方法

Info

Publication number: JP4127730B2
Application number: JP18174698A
Authority: JP
Inventors: 進窪田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-06-29
Filing date: 1998-06-29
Publication date: 2008-07-30
Anticipated expiration: 2018-06-29
Also published as: JP2000020643A

Description

【０００１】
【発明の属する技術分野】
本発明は、文字認識や図面読みとりなどのパターン認識処理を行なうパターン認識装置および方法に関する。
【０００２】
【従来の技術】
近年、文字認識技術や図面読みとり技術の技術水準が向上し、計算機への情報入力手段として一般に用いられるようになってきた。これらの技術を用いることにより、従来は人手に頼っていた作業が大幅に省力化され、様々な文書情報の電子化が急速に進んでいる。
【０００３】
【発明が解決しようとする課題】
技術水準が向上したとはいえ、未だに認識誤りが生じることは避けられず、最終的には人手による修正を行なう必要がある。この修正に要する人手をなるべく削減するためには、より高精度なパターン認識を行なうことが求められる。パターン認識の精度を上げるためには、認識の基礎となる特徴抽出処理において、認識に有用な情報を安定かつ高精度に抽出する必要があるが、近年、オンライン文字認識の研究の成果などから、ストロークの方向といった文字や図形の局所的な構造を表す特徴が認識に有効であることが確認されている。そこで、オフライン文字認識においても、画像パターンからストロークの部分を抽出し、かつその方向などのパラメータを安定に精度良く推定することができれば、認識精度の向上が期待できる。
【０００４】
実際の文書画像や図面において、ストロークの形状は、様々な変形が加わるとともに、様々な方向に回転された形で現れる。このため、上記の特徴抽出処理を行なうためには回転不変な基本形状認識と、認識された基本形状の方向等といったパラメータの推定を行なう必要がある。
【０００５】
【課題を解決するための手段】
本発明は、入力された画像パターンの各点の近傍においてその画像形状の種別を判別するための形状判別手段と、この形状判別手段により判別された形状の種別に応じて形状パラメータを推定するためのパラメータ推定手段と、前記形状判別手段で得られた形状の種別と、前記パラメータ推定手段で得られたパラメータとを基に特徴を抽出するための特徴抽出手段と、この特徴抽出手段において得られた特徴から入力パターンが属すべきカテゴリを決定するための認識手段とを有することを特徴とする。
【０００６】
つまり、入力となる画像パターンの各点で、その近傍の画像パターンを複数のフィルタにより展開し、その展開係数をもとに近傍の画像パターンの形状を判別するとともにその方向の推定を行なう。こうして得られる方向パラメータを用いてパターン認識用の特徴を抽出し、オフラインパターン認識に適用することができる。
【０００７】
【発明の実施の形態】
（発明の概要）
図１は本発明の実施例の構成を示すものである。本実施例で示されるパターン認識装置は、画像パターンの入力や認識結果の出力を行なう入出力部１と、入力パターンに対してフィルタ演算を施すフィルタ演算部２と、フィルタ演算により得られる展開係数により局所パターンがストローク形状か否かの判別を行なう形状判別部３と、ストローク形状の方向を規定するパラメータをフィルタの展開係数から推定するパラメータ推定部４と、形状判別部３で得られる形状情報とパラメータ推定部４で得られるパラメータから特徴を抽出する特徴抽出部５と、認識辞書７を用いて特徴抽出部５から得られる特徴を基に入力パターンの属すべきカテゴリを決定する認識部６とからなる。
【０００８】
以下各処理部における処理の詳細を説明する。
（実施例）
フィルタ演算部２において行なわれる処理について述べる。本実施例におけるフィルタ演算部ではフィルタとして、
【０００９】
【数１】

で表される３つの関数を２次元の正方格子上でサンプリングしたものを用いる。フィルタ２とフィルタ３は、互いに位相が１／４波長異なる同一形状のフィルタ対である。
【００１０】
但し、フィルタは、フィルタ半径Ｒ以内でのみ値を持つ円形のパターンとし、（ｒ，θ）は中心からの距離をｒ、角度をθとする曲座標系、ｍはフィルタ１の値の総和が０になるように定めた実数である。
【００１１】
図示すると、フィルタ１，２，３は、それぞれ図２（ａ），図２（ｂ），図２（ｃ）のようになり、フィルタ１は凹凸の有無、フィルタ２，３は方向性の有無を検出することができる。
【００１２】
まず、画像パターンを構成する各要素の近傍パターンをベクトルｘとし、まずｘのノルム｜ｘ｜を求める。
次にフィルタの積和演算を行ない、フィルタ１からフィルタ３までのそれぞれについてｘとフィルタの内積である展開係数を求める。以下ではこの展開係数をｆ１，ｆ２，ｆ３とおく。
【００１３】
まとめると、フィルタ演算部２は画像パターンを構成する各要素の近傍パターンｘ毎に上記｜ｘ｜，ｆ１，ｆ２，ｆ３の４つの値を算出する。
次に、形状判別部３で行なわれる処理について述べる。
フィルタ1 は回転対称であり、また、フィルタ２( または３) を任意の角度に回転した形状はフィルタ２とフィルタ３の線形和の形に展開できる、このときフィルタ２とフィルタ３の出力の２乗和は回転角によらず一定である。このため、
【００１４】
【数２】

は近傍パターンに関する回転不変な特徴量として用いることが出来る。そこで、特徴量を
【００１５】
【数３】

とし、
【００１６】
【数４】

のベイズ法により得られる相違度ｄにより近傍パターンがストロークか否かの判定を行う。
【００１７】
ここで、ｍは２次元ベクトル、Ａは２×２の対称行列である。Ａはストロークと判定するための重みをつける行列であって、具体的には学習用のストローク画像を多数集め、各ストローク画像から得られるベクトルｙの分散共分散行列の逆行列を用いる。
そして、具体的には
【００１８】
【数５】

（Ｔｄは閾値）を満たす場合ストロークと判定する。
【００１９】
つまり、図３のごとく簡略化して図示すると、特徴量ｙが得られた場合、平均的なストローク形状の特徴量ｍとの相違度ｄはストロークと判定するための重みをつける行列Ａにより規定される図３の等高線で示される距離尺度により測定され、この相違度の大小によりストロークか否かの判定がなされる。
【００２０】
形状判別部３で近傍パターンがストロークであると判定された場合、パラメータ推定部４においてストロークの方向（角度）の推定を行う。
以下、パラメータ推定部４で行われる処理について述べる。ストロークの方向（角度）φはフィルタ出力ｆ２，ｆ３とから
【００２１】
【数６】

により求める。その結果、ストローク部分について推定された方向を図４に示すように求められる。
【００２２】
次に特徴抽出部５で行われる処理について述べる。特徴抽出部５では、図５のように入力パターンを５×５個のブロックに分割し、各ブロック毎にそのブロック内に含まれるストロークの方向の頻度ヒストグラムを求める。ヒストグラムを求める際の角度の分割数を８とすると、この処理で５×５×８の計２００次元の特徴ベクトルが得られることになる。
【００２３】
但し、文字パターンの大きさによる変動を吸収するため、特徴ベクトルはノルムが１になるように正規化するものとする。
次に認識部６で行われる処理について述べる。認識部６では、入力パターンに対して特徴抽出部５で得られた特徴ベクトルを用いて、入力パターンが属すべきカテゴリ（文字の種類）の決定を行う。
あらかじめ、各カテゴリ毎に多数の学習用パターンを用いて認識用の認識辞書７を作成しておき、認識に際しては
【００２４】
【数７】

により各カテゴリ毎に入力パターンの特徴ベクトルの相違度を求める。相違度の下位ｋ候補を候補文字として相違度とともに出力する。
【００２５】
ｍｉは第カテゴリの平均ベクトル、Ａｉは対称行列である。Ａｉは具体的には学習用のパターンを多数集め、各パターンから得られるベクトルの分散共分散行列の逆行列を用いる。
【００２６】
以上で本実施例で用いる各処理の説明が終わったので、次に本実施例における処理の流れを説明する。
まず全体の処理の流れを図６に従って説明する。画像が入出力部を介して入力されると（Ｓ１）、まずフィルタ演算部２、形状判別部３、パラメータ推定部４によりストローク部分の抽出とその方向パラメータの推定がなされる（Ｓ２）。
【００２７】
この結果を受けて特徴抽出部５で特徴ベクトルの算出が行われ（Ｓ３）、最後に、得られた特徴ベクトルをもとに認識部６で一つまたは複数の認識候補カテゴリが決定され（Ｓ４）、必要に応じて相違度情報を付加して出力される（Ｓ５）。
【００２８】
次に、ストローク部分の抽出とその方向パラメータの推定処理に関する部分の処理の流れを図７に従って説明する。
まず、入力画像に対して処理の開始点を指定したのち（Ｓ１１）、近傍パターンを読み込み（Ｓ１２）、入力画像の各画素毎に、フィルタ演算部２でフィルタ演算を施す（Ｓ１３）。
【００２９】
次に、形状判別部３で、入力画像の各画素毎に局所パターンがストローク形状か否かの判別を行なう（Ｓ１４，Ｓ１５）。形状判別部３でストローク形状と判定された画素については、パラメータ推定部４で方向の推定を行う（Ｓ１６）。以上の処理を入力画像の全ての画素について行うことにより（Ｓ１７，Ｓ１８）、入力画像からストロークとその方向の抽出が行われる。
【００３０】
なお、本発明は図６、図７で示した手順をコンピュータで実施可能なプログラムとしてＦＤＤやＣＤ−ＲＯＭなどの記録媒体に記憶されていてもよい。この場合、記録媒体に記憶されたプログラムをコンピュータに読み込ませ実行することが可能である。
【００３１】
【発明の効果】
本発明によれば、画像パターンからストロークの部分を抽出し、かつその方向などのパラメータを安定に精度良く推定することが可能になる。これにより、オフライン文字認識の認識性能の大幅な向上が見込める。
【図面の簡単な説明】
【図１】本発明の一実施例を示す構成図。
【図２】本発明のフィルタの例を示す図。
【図３】本発明のストロークであるか否かを判定する手順を説明するための図。
【図４】本発明のストロークと判定された部分についてストロークの方向を示す図。
【図５】本発明の特徴ベクトルの算出方法を説明する図。
【図６】本発明の全体の動作の流れを説明する流れ図。
【図７】本発明のストローク部分の抽出と方向パラメータ推定を行う処理の流れを説明する流れ図。
【符号の説明】
１…入出力部
２…フィルタ演算部
３…形状判別部
４…パラメータ推定部
５…特徴抽出部
６…認識部

Claims

入力された画像パターンの各点の近傍パターンのベクトルと、前記近傍パターンについて、前記各点からの距離が所定の距離よりも短い前記近傍パターンには距離に応じた正の重みを、前記各点からの距離が所定の距離よりも長い前記近傍パターンには距離に応じた負の重みをつけるフィルタとの第１の内積に基づく凹凸の程度を示す第１の特徴量、および、前記近傍パターンのベクトルと各点の近傍での方向性の有無を検出するための複数のフィルタのそれぞれとの第２の内積の線形和である第２の特徴量とを要素として有する第１の特徴量ベクトルである第１の入力特徴ベクトルを算出する第１の特徴量算出手段と、複数のストローク画像のそれぞれについての前記第１の特徴量ベクトルから予め求められた分散共分散行列の逆行列である第１の重み行列、および、予め学習された平均的なストローク形状のパターンが有するべき前記第１の特徴量ベクトルである第１の学習特徴ベクトルとを記憶する第１の記憶手段と、
前記第１の入力特徴ベクトルと前記第１の学習特徴ベクトルとの差分ベクトルの各要素の前記第１の重み行列に従った重み付き和である相違度に基づいて、前記近傍パターンがストロークであるか否かを判定する形状判別手段と、
前記近傍パターンがストロークであると判定された場合に、前記第２の内積から各点のストロークの方向を推定する方向推定手段と、
前記入力された画像パターンを複数のブロックに分割した各ブロック毎に、当該ブロック内の各点について推定されたストロークの方向毎の度数を要素とする第２の特徴量ベクトルである第２の入力特徴ベクトルを算出する第２の特徴量算出手段と、
複数の学習用パターンのそれぞれに関する前記第２の特徴量ベクトルから予め学習した認識用辞書データを記憶する第２の記憶手段と、
前記第２の入力特徴ベクトルと前記認識用辞書データとを用いて、前記入力された画像パターンが属するカテゴリを決定する認識手段と、
を有するパターン認識装置。
前記第２の記憶手段が記憶する前記認識用辞書データは、
（Ａ）前記複数の学習用パターンのそれぞれについての前記第２の特徴量ベクトルから求められた分散共分散行列の逆行列である各カテゴリ毎の第２の重み行列、および、
（Ｂ）カテゴリ毎の平均的な前記第２の特徴量ベクトルである第２の学習特徴ベクトル、
を有し、
前記認識手段は、前記第２の入力特徴ベクトルと前記第２の学習特徴ベクトルとの差分ベクトルの各要素の前記第２の重み行列に従った重み付き和である相違度を前記カテゴリ毎に求めて、得られた前記相違度に基づいて前記入力された画像パターンが属するカテゴリを決定する、
ことを特徴とする請求項１に記載のパターン認識装置。
入力された画像パターンの各点の近傍パターンのベクトルと前記近傍パターンについて、前記各点からの距離が所定の距離よりも短い前記近傍パターンには距離に応じた正の重みを、前記各点からの距離が所定の距離よりも長い前記近傍パターンには距離に応じた負の重みをつけるフィルタとの第１の内積に基づく凹凸の程度を示す第１の特徴量、および、前記近傍パターンのベクトルと各点の近傍での方向性の有無を検出するための複数のフィルタのそれぞれとの第２の内積の線形和である第２の特徴量とを要素として有する第１の特徴量ベクトルである第１の入力特徴ベクトルを算出する第１の特徴量算出ステップと、
第１の記憶手段に記憶された、
（Ａ）複数のストローク画像のそれぞれについての前記第１の特徴量ベクトルから予め求められた分散共分散行列の逆行列である第１の重み行列、および、
（Ｂ）予め学習された平均的なストローク形状のパターンが有するべき前記第１の特徴量ベクトルである第１の学習特徴ベクトル、を用いて、前記第１の入力特徴ベクトルと前記第１の学習特徴ベクトルとの差分ベクトルの各要素の前記第１の重み行列に従った重み付き和である相違度を求め、前記近傍パターンがストロークであるか否かを判定する形状判別ステップと、
前記近傍パターンがストロークであると判定された場合に、前記第２の内積から各点のストロークの方向を推定する方向推定ステップと、前記入力された画像パターンを複数のブロックに分割した各ブロック毎に、当該ブロック内の各点について推定されたストロークの方向毎の度数を要素とする第２の特徴量ベクトルである第２の入力特徴ベクトルを算出する第２の特徴量算出ステップと、
第２の記憶手段に記憶された、
（Ｃ）第２の記憶手段に記憶された、複数の学習用パターンのそれぞれに関する前記第２の特徴量ベクトルから予め学習した認識用辞書データ、および、
（Ｄ）前記第２の入力特徴ベクトル、
を用いて、前記入力された画像パターンが属するカテゴリを決定する認識ステップと、を有するパターン認識方法。
前記第２の記憶手段に記憶された前記認識用辞書データは、
（Ａ）前記複数の学習用パターンのそれぞれについての前記第２の特徴量ベクトルから求められた分散共分散行列の逆行列である各カテゴリ毎の第２の重み行列、および、
（Ｂ）カテゴリ毎の平均的な前記第２の特徴量ベクトルである第２の学習特徴ベクトル、
を有し、
前記認識ステップでは、前記第２の入力特徴ベクトルと前記第２の学習特徴ベクトルとの差分ベクトルの各要素の前記第２の重み行列に従った重み付き和である相違度を前記カテゴリ毎に求めて、得られた前記相違度に基づいて前記入力パターンが属するカテゴリを決定する、
ことを特徴とする請求項３に記載のパターン認識方法。
コンピュータを、
（１）入力された画像パターンの各点の近傍パターンのベクトルと前記近傍パターンについて、前記各点からの距離が所定の距離よりも短い前記近傍パターンには距離に応じた正の重みを、前記各点からの距離が所定の距離よりも長い前記近傍パターンには距離に応じた負の重みをつけるフィルタとの第１の内積に基づく凹凸の程度を示す第１の特徴量、および、前記近傍パターンのベクトルと各点の近傍での方向性の有無を検出するための複数のフィルタのそれぞれとの第２の内積の線形和である第２の特徴量とを要素として有する第１の特徴量ベクトルである第１の入力特徴ベクトルを算出する第１の特徴量算出手段、
（２）複数のストローク画像のそれぞれについての前記第１の特徴量ベクトルから予め求められた分散共分散行列の逆行列である第１の重み行列、および、予め学習された平均的なストローク形状のパターンが有するべき前記第１の特徴量ベクトルである第１の学習特徴ベクトルとを記憶する第１の記憶手段、
（３）前記第１の入力特徴ベクトルと前記第１の学習特徴ベクトルとの差分ベクトルの各要素の前記第１の重み行列に従った重み付き和である相違度に基づいて、前記近傍パターンがストロークであるか否かを判定する形状判別手段と、
（４）前記近傍パターンがストロークであると判定された場合に、前記第２の内積から各点のストロークの方向を推定する方向推定手段、
（５）前記入力された画像パターンを複数のブロックに分割した各ブロック毎に、当該ブロック内の各点について推定されたストロークの方向毎の度数を要素とする第２の特徴量ベクトルである第２の入力特徴ベクトルを算出する第２の特徴量算出手段、
（６）複数の学習用パターンのそれぞれに関する前記第２の特徴量ベクトルから予め学習した認識用辞書データを記憶する第２の記憶手段、および、
（７）前記第２の入力特徴ベクトルと前記認識用辞書データとを用いて、前記入力された画像パターンが属するカテゴリを決定する認識手段、として機能させるための命令を有するプログラムを記録したコンピュータ読み取り可能な記録媒体。