JP3183949B2 - パターン認識処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン認識処理分野に
係り、特に手書き文字などのように複雑な変形が起こる
図形（パターン）を認識するために最適なパターン認識
処理方法に関する。

【０００２】

【従来の技術】手書き文字などのように複雑な変形が起
こるパターンを正確に認識するためには、変形に強い形
状の解析・記述方式と、対象図形（入力図形）の変形の
程度を定量的に解析する手法が必要である。

【０００３】対象図形の変形を定量的に解析するに当た
っては、「モデル図形」の点ｘと「対象図形」の点ｘ′
とが、ある変換Ｔによって、 ｘ′＝Ｔｘ のように関係付けられると考えて解析を進めることは自
然なことである。一般に、手書き文字などの場合、変形
は非剛体・弾性的であるので、Ｔは非線形であり、一般
的な解析は難しい。さらに、Ｔを求めるためには、モデ
ル図形と対象図形との間の点の対応を知ることが必要と
なるが、同様な理由で、やはり困難な問題である。

【０００４】従来、手書き文字認識においては、変形の
吸収の手段として、変形を解析、記述、評価するという
ことよりも、モーメント特徴や、あるいは、線密度など
を基準とした、「正規化」が前処理として適用されてき
た。変形の「解析、記述、評価」という問題に対して、
動的計画法により、モデル図形と対象図形との間の特徴
点の対応を求め、局所的アフィン変換を用いた変形の漸
近展開の手法が提案されている（例えば、若原、“局所
的Ａｆｆｉｎｅ変換を用いたオンライン手書き文字認
識，”電子情報通信学会論文誌、ｖｏｌ．Ｊ７１ −
Ｄ，ｎｏ．２，ｐｐ．３７９−３８６，１９８８．）。
さらに、粗から密に局所的アフィン変換を反復すること
による、協調型の画像間のずれの検出法も提案されてい
る（例えば、若原、“局所的Ａｆｆｉｎｅ変換を用いた
画像間のずれの検出，”電子情報通信学会論文誌、ｖｏ
ｌ．Ｊ７２−Ｄ−II，ｎｏ．１２，ｐｐ．２０７０−２
０７９，１９８９．）。

【０００５】

【発明が解決しようとする課題】上記従来技術において
は、各点で局所的アフィン変換を求め、さらに残差を展
開して行くということから、処理の複雑さは否定できな
い。ここで、点対応の問題と、変換Ｔの非線形性への対
処として、次のことが考えられる。

【０００６】（１）図形を、変形に強い、定性的・大局
的な構造に着目して記述し、やはり同じように記述され
たモデルとの構造的マッチングをとることによって、モ
デルと対象との構成要素（構造記述における単位）との
対応を見つける。そして、構成要素上にいくつかの参照
点を取ることにより、点対応を見つける。 （２）変換Ｔを、単純な幾何学的変換（座標変換）Ｔ_g
と、幾何学的変換では説明の付かない複雑な変動を表す
統計的変換Ｔ_sとの組合せとなす。

【０００７】まず、（１）に対する具体的な方法として
は、Ｎｉｓｈｉｄａ＆Ｍｏｒｉによる、準位相的構造と
特異点構造による曲線構造の解析と記述がある（Ｈ．Ｎ
ｉｓｈｉｄａ ａｎｄ Ｓ．Ｍｏｒｉ，“Ａ ｓｔｒｕ
ｃｔｕｒａｌ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｃｕｒ
ｖｅｓ ｂｙ ｑｕａｓｉｔｏｐｏｌｏｇｉｃａｌｆｅ
ａｔｕｒｅｓ ａｎｄ ｓｉｎｇｕａｒ ｐｏｉｎｔ
ｓ，”ｉｎ Ｐｒｏｃ．ＩＡＰＲ Ｗｏｒｋｓｈｏｐ
ｏｎ Ｓｙｎｔａｃｔｉｃ Ｓｔｒｕｃｔｕｒａｌ Ｐ
ａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｕｒｒａｙ
Ｈｉｌｌ，ＮＪ，ｐｐ．３１０−３３４，Ｊｕｎｅ
１９９０．）。この方法では、曲線は、プリミティブ系
列と呼ばれる部分曲線と特異点構造により、豊富な特徴
を持つ、少数の構成要素によって記述され、「準位相」
の名が示すとおり、柔軟で、極めて変形に強い記述が可
能である。また、（２）については、甘利や大津らが、
（１）の考え方に基づいて、不変特徴抽出と、特徴空間
の正規化理論を展開しており、理論的基礎が確立されて
いる（甘利、“パターン信号の特徴空間における正規化
理論，”電子通信学会論文誌、ｖｏｌ．４９，ｎｏ．
７，ｐｐ．１３４２−１３５０ ，１９６６、及び、大
津、“パターン認識における特徴抽出に関する数理的研
究，”電子技術総合研究所研究報告，第８１８号，１９
８１年７月．）。

【０００８】本発明の目的は、上記（１）や（２）の考
えをもとに、手書き文字などのような複雑な変形パター
ンの定量的な解析、記述及びそれを利用したパターン認
識処理方法を提供することにある。

【０００９】

【課題を解決するための手段】本発明は、対象図形を細
線化して曲線構造解析し、大局的な形状構造に着目して
該対象図形の特徴を記述する処理と、前記対象図形の形
状構造記述（形状構造特徴）と同様に記述されたモデル
図形との構造マッチングをとる処理と、前記構造マッチ
ングで整合のとれたモデル図形と対象図形間の構造記述
における構成要素の対応を見つけ、該構成要素上に一つ
あるいは複数の参照点を取って、対象図形とモデル図形
との点対応を検出し、該点対応をもとに、対象図形とモ
デル図形間の変形量を解析する処理と、前記解析結果を
もとに、対象図形とモデル図形との間の変形の要因を定
量化し、変形をその要因ごとの変形量によって記述する
処理とを有することを主要な特徴とする。

【００１０】また、本発明は、変形量の記述結果をもと
に、変形をその要因ごとに評価し、該評価結果をもと
に、構造マッチングで整合のとれたモデル図形のクラス
を順序付けすることを特徴とする。

【００１１】

【作用】まず、対象図形の特徴を、変形に強い、定性
的、大局的な構造に着目して記述し、やはり同じように
記述されたモデルとの構造的なマッチングをとることに
よって、モデル図形と対象図形の間の構成要素（例えば
プリミティブ系列と特異点）の対応を見つける。そし
て、構成要素上にいくつかの参照点をとることにより、
対象図形とモデル図形の間の点対応を見つけることがで
きる。この点対応をもとに、幾何学的要因と統計的要因
等の観点から、複雑な変形が起こるパターンに対するモ
デル図形から変形（変動）の要因を定量的に解析する。
さらに、変形を要因ごとの変形量によって記述し、評価
する。これにより、柔軟で且つ正確なパターン認識が可
能になる。

【００１２】

【実施例】以下、本発明の一実施例について図面により
詳述する。

【００１３】図２は本発明を達成するハードウエア構成
図の概略ブロック図である。図２において、画像入力装
置１０はスキャナなどからなり、手書き文書などを読み
取る。この読み取られた文書は、黒画素が１、白画素が
０の２値画像情報として画像メモリ２０に格納される。
画像処理装置３０は、画像メモリ２０の画像情報を読み
出して種々の処理を行う。本発明では、後述の図１の処
理を行う。ワークメモリ４０は画像処理装置３０の作業
用メモリである。ファイルメモリ５０は画像処理装置３
０での最終的処理結果や各種の辞書類を格納するのに用
いられる。本発明では、後述の対象図形（文字）の形状
構造／変形量記述５１、構造モデル５２などがファイル
メモリ５０に格納される。

【００１４】図１は、本発明の一実施例の全体の処理手
順を示す。ステップ１００、１１０、１２０の処理は特
に目新しいことではないので、以下ではステップ１３０
以降の処理について説明する。なお、ステップ１２０の
細線化処理は輪郭追跡処理に置き換えてもよい。

【００１５】形状構造の解析と特徴記述（ステップ１３
０） 文字画像は細線化または輪郭追跡アルゴリズムによって
処理され、切片線形近似された曲線として、無向グラフ
の形で表される。曲線形状の構造解析と特徴記述方法の
詳細については、例えば特願平１−２４５５０７号に記
載されているが、以下に簡単に説明する。

【００１６】（１）特異点分解 次数が３以上である点を「特異点」と呼ぶ。文字画像に
細線化を適用した際には、次数がｎの特異点は、その特
異点の周りでの線素の組の方向変化のなめらかさによっ
て、「ｎ／２］個の点に分解される。なお、「ｒ」は、
ｒ以上の最小の整数である。各点に特異点分解を適用す
ることによって、曲線は、それぞれが、単純弧か、ある
いは、単純閉曲線であるような成分（ストローク）に分
解される。たとえば、図３（ａ）において、点ｐは次数
３の特異点であり、ｃ１とｃ３とに分解される。その結
果、図３（ａ）の曲線は、図３（ｂ）に示すように、２
つのストローク、（ｃ０，ｃ１，ｃ２）と（ｃ３，ｃ
４）に分解される。

【００１７】（２）曲線のプリミティブへの分解 ｘｙ単調曲線とは、その曲線を辿ったときに、ｘ、ｙ座
標値が、常に、非増加であるか、または、非減少かであ
るような曲線である。あるｘｙ単調曲線の２つの端点
を、それぞれ、Ｐ（ｘ₀，ｙ₀）、Ｑ（ｘ₁，ｙ₁）とす
る。ここで、ｘ₀≠ｘ₁ならば、ｘ₀＜ｘ₁であり、もしｘ
₀＝ｘ₁ならば、ｙ₀＜ｙ₁とする。Ｐをその曲線のｈｅａ
ｄ、Ｑをｔａｉｌとよぶ。ｈｅａｄとｔａｉｌのｘ、ｙ
座標の大小関係により、ｘｙ単調曲線は次の４種類に分
類される。 （１）ｘ₀＜ｘ₁かつｙ₀＝ｙ₁（以下、‘−’と記す） （２）ｘ₀＜ｘ₁かつｙ₀＜ｙ₁（以下、‘／’と記す） （３）ｘ₀＝ｘ₁かつｙ₀＜ｙ₁（以下、‘｜’と記す） （４）ｘ₀＜ｘ₁かつｙ₀＞ｙ₁（以下、‘＼’と記す） これら４種類のｘｙ単調曲線を曲線のプリミティブとす
る。例えば、図３（ｃ）に示すように、ストローク（ｃ
０，ｃ１，ｃ２）はプリミティブＡ０（‘／’），Ａ１
（‘＼’），Ａ２（‘／’），Ａ３（‘＼’）に分解さ
れ、ストローク（ｃ３，ｃ４）は、一つのプリミティブ
Ａ４（‘／’）から成る。

【００１８】（３）プリミティブの連結 ４種類のプリミティブの連結規則を導入する。２つのプ
リミティブａとｂの連結を、

【数１】 のような記号で表すとする。ここで、ｊは、プリミティ
ブａとｂの連結によって作られる凸の方向を示し、ｊ＝
０，１，２，３は、それぞれ、下、左、上、右向きに対
応する。ａからｂへの矢印は、図４のように、ａとｂ
が、連結Ｐの周りで、右手系をなすように配置されてい
ることを意味する。例えば、図３（ｃ）のプリミティブ
に対して、次のような連結が得られる。

【数２】

【００１９】（４）プリミティブ系列 プリミティブの連結をつなぐことにより、次のような列
が生成される。

【数３】

【００２０】例えば、図５（ａ）に示すように、図３
（ｂ）のストローク（ｃ０，ｃ１，ｃ２）において、２
つのプリミティブ系列

【数４】 が生成される。

【００２１】プリミティブ系列に対して、次のように、
ラベル（ＰＳ−ｌａｂｅｌ）＜ｐｓ，ｉｄｒ＞を与え
る。

【数５】

【００２２】ここで、ｃｏｒｎｏｒ（ ）は、プリミテ
ィブａのタイプが、ｂと同じときに値１をとり、それ以
外の時には値０を取る関数である。ｉｄｒは、プリミテ
ィブ系列における最初の凸方向を示し、ｐｓは、方向の
差分を足し合わせることによって、回転数を表す。さら
に、プリミティブ系列の端点で、先頭のプリミティブに
あるものをｈ−ｐｏｉｎｔとよび、最後のプリミティブ
にあるものをｔ−ｐｏｉｎｔとよぶ。例えば、図５
（ａ）で、ｐ１とｐ２は、それぞれ、Ｅ₀とＥ₁のｈ−ｐ
ｏｉｎｔで、ｐ０とｐ３はｔ−ｐｏｉｎｔである。

【００２３】プリミティブ系列が無限巡回列であるとき
は、ラベル＜０，０＞をあたえる（例えば、円）。も
し、列の長さが１の時には、‘−’にラベル＜１，０＞
を、‘／’に＜１，１＞、‘＼’に＜１，２＞、そし
て、‘＼’に＜１，３＞を与える。この場合には、ｈ−
ｐｏｉｎｔはプリミティブのｈｅａｄ、ｔ−ｐｏｉｎｔ
はプリミティブのｔａｉｌと定義する。

【００２４】上記の規則により、数４のプリミティブ系
列Ｅ₀とＥ₁に対し、それぞれ、ラベル＜２，１＞，＜
３，３＞が与えられる。

【００２５】（５）プリミティブ系列の接続 図４のプリミティブ系列Ｅ₀とＥ₁は、それらの先頭のプ
リミティブＡ１を共有している。このように、プリミテ
ィブ系列の接続には、先頭のプリミティブを共有する場
合（ｈ接続）と、最後のプリミティブを共有する場合
（ｔ接続）の２つの場合がある。例えば、Ｅ₀とＥ₁と
は、ｈ接続している。これを、

【数６】 のように記す。ｔ接続に対しては、上の式の‘ｈ’を
‘ｔ’に起き換える。

【００２６】（６）特異点の構造 特異点の記述を与える。図５（ｂ）に示すように、特異
点上の２つのプリミティブ系列の隣接構造には、Ｘ型
（交差）、Ｋ型（接触）、そして、Ｔ型（分岐）の３種
類がある。

【００２７】特異点の構造は、その特異点上でのプリミ
ティブ系列の隣接構造により、

【数７】 のように記述される。ここで、ｉとｊは特異点上にある
プリミティブ系列、τ∈｛Ｘ，Ｔ，Ｋ｝は隣接構造の種
類、ｐ，ｑ∈｛ｈ_p，ｈ，ｏ，ｔ，ｔ_p｝は、プリミティ
ブ系列ｉとｊ上での特異点の位置を示す。（ｈｐ：ｈ−
ｐｏｉｎｔ、ｈ：先頭のプリミティブ、ｔ：末尾のプリ
ミティブ、ｔｐ：ｔ−ｐｏｉｎｔ、ｏ：その他、ただ
し、ｈとｔは、ラベル＜１，＊＞をもつプリミティブ系
列に対しては定義されない）

【００２８】たとえば、図３（ａ）の特異点ｐはＴ型
で、図３（ｃ）に示すようにＡ０上にあり、かつ、Ａ４
のｈｅａｄである。したがって、

【数８】 のように記述される。ここで、Ｅ₂は、１つのプリミテ
ィブＡ４から成るプリミティブ系列である。

【００２９】（８）文字形状構造の記述 以上により、図３（ａ）の形状は次のように記述され
る。

【数９】

【００３０】構成要素の属性パラメータ計算（ステップ
１４０） 上述した形状の構造的解析と記述は、形の定性的、大局
的、離散的性質を扱うものである。形状記述をより精密
にするために、形状の構造要素であるプリミティブ系列
と特異点は、形の定量的、局所的、連速的性質を記述す
る、いくつかの属性パラメータを持つことができる。こ
れらのパラメータは、スケールのみに関して正規化され
た座標系で計算される。スケールの正規化は、文字のｂ
ｏｕｎｄｉｎｇ ｂｏｘ（図形を囲む最小の直立長方
形）に関して行なわれ、縦横比を変えずに、ｂｏｕｎｄ
ｉｎｇ ｂｏｘの長い方の辺が単位長（１）になるよう
に、スケールを変える。ｂｏｕｎｄｉｎｇ ｂｏｘの中
心を（０．５，０．５）とする。具体的には、次のよう
な属性パラメータを計算する。

【００３１】（１）ラベル＜ｐｓ（≧２），＊＞をもつ
プリミティブ系列−（ｃｘ，ｃｙ，ｄｘ，ｄｙ，ｘ_hp，
ｙ_hp，ｘ_tp，ｙ_tp）：（ｃｘ，ｃｙ）はプリミティブ系
列のｂｏｕｎｄｉｎｇ ｂｏｘの中心座標、ｄｘとｄｙ
は、それぞれ、ｂｏｕｎｄｉｎｇ ｂｏｘの幅と高さ、
（ｘ_hp，ｙ_hp）はｈ−ｐｏｉｎｔの位置、（ｘ_tp，
ｙ_tp）はｔ−ｐｏｉｎｔの位置。

【００３２】（２）ラベル＜１，＊＞をもつプリミティ
ブ系列−（ｃｘ，ｃｙ，ａ，ｂ，ｆｘ，ｆｙ）：（ｃ
ｘ，ｃｙ）はプリミティブ系列のｂｏｕｎｄｉｎｇ ｂ
ｏｘの中心座標。 ａ＝ｌ・ｃｏｓ（２θ），ｂ＝ｌ・ｓｉｎ（２θ） ここで、ｌは弦（プリミティブの２端点を結ぶ線分）の
長さで、θは弦の角度である。そして、Ｐ（ｘ_p，ｙ_p）
をプリミティブ系列上の弦からの最遠点、（ｘ_F，ｙ_F）
をＰから弦へおろした垂線の足とする。（ｆｘ、Ｆｙ）
は、 ｆｘ＝ｘ_p−ｘ_F，ｆｙ＝ｙ_p−ｙ_F のように定義される。

【００３３】（３）ラベル＜０，０＞をもつプリミティ
ブ系列−（ｃｘ，ｃｙ，ｄｘ，ｄｙ）：ｃｘ、ｃｙ、ｄ
ｘ、そして、ｄｙは（１）と同じ意味である。

【００３４】（４）特異点−（ｘ，ｙ）：（ｘ，ｙ）は
特異点の座標。

【００３５】構造マッチング（ステップ１５０） （１）構造モデル 直感的に言うと、構造モデルにおける「クラス」とは、
互いに連続変形によって変換することができる形の集合
である。形式的には、クラスＩは次式で与えられる。

【数１０】

【００３６】もし、ｍｐ（ｉ）＝０、または、ｍｓ
（ｊ）＝０ならば、プリミティブ系列ｉ、または、特異
点ｊは付加的なもので、あってもなくてもよい。もし、
ｍｐ（ｉ）＝１ならば、プリミティブ系列ｉは必須で、
必ず存在しなければならない。もし、ｍｓ（ｊ）＝１な
らば、その点を形成するプリミティブ系列が存在するな
らば、特異点ｊは必ず存在しなければならない。

【００３７】さらに、それぞれのプリミティブ系列と特
異点は、前に述べたような、属性パラメータの統計量
（平均と標準偏差）をもつ。例として、文字画像に細線
化を施す場合の、モデルのいくつかのクラスの例を図
６、図７及び図８に示す。図６は文字「Ｒ」、図７は数
字「２」、図８は数字「２」の変形例をそれぞれ意味す
る。

【００３８】（２）マッチング オブジェクト（入力図形、対象図形）とモデルのマッチ
ングについて述べる。オブジェクトＯの記述も、モデル
のクラスと同様に、次のように与えられる。

【数１１】 ここで、記号の意味は、クラスＩの場合と同様である。

【００３９】オブジェクトとモデルの構造的マッチング
は、以下のように定式化される。もし、以下に挙げる条
件を満足するような全射の組（ｆ，ｇ）

【数１２】 が存在するとき、オブジェクトＯは、クラスＩと整合し
たという。なお、以下では、便宜上、上付きの(Ｉ)や
(Ｏ)は例えばＮｐ(Ｉ)、Ｎｐ(Ｏ)のように並べて表記す
る。

【００４０】（１）もし、ｆ（ｉ）＝ｆ（ｊ）≠φ
（ｉ，ｊ∈｛１，２，…，Ｎｐ(Ｉ）｝）ならば、ｉ＝
ｊである。

【００４１】（２）もし、クラスのプリミティブ系列ｉ
が必須ならば、オブジェクトにそれに対応する要素が存
在しなければならない。もし、ｍｐ(Ｉ)（ｉ）＝１（ｉ
∈｛１，２，…，Ｎｐ(Ｉ）｝）ならば、ｆ（ｉ）＝ｊ
であるようなｊ∈｛１，２，…，Ｎｐ(Ｏ）｝が存在す
る。

【００４２】（３）もし、クラスのプリミティブ系列ｉ
に対して、対応する要素がオブジェクトにあるならば、
ｆ（ｉ）のＰＳ−ラベルはπ(Ｉ)（ｉ）の要素である。
もし、ｆ（ｊ）≠φ（ｉ，ｊ∈｛１，２，…，Ｎｐ
（Ｉ）｝）ならば、π(Ｏ)（ｆ（ｉ））∈π(Ｉ)（ｉ）
である。

【００４３】（４）クラスのプリミティブ系列の接続
は、対応ｆのもとで、オブジェクトにおいても保存され
る。

【数１３】

【００４４】（５）クラスＩのストロークとオブジェク
トＯのストロークは、一対一対応する。もし、ｆ(ｍ）
≠φ、かつ、ｆ(ｎ）≠φならば、ｓｔ(Ｉ)(ｎ）になる
のは、ｓｔ(Ｏ)（ｆ(ｍ)）＝ｓｔ(Ｏ)（ｆ(ｎ)）のとき
であり、また、そのときだけに限る。

【００４５】（６）もし、ｇ(ｉ）＝ｇ(ｊ）≠φ（ｉ，
ｊ∈｛１，２，…，Ｎｓ(Ｉ)｝）ならば、ｉ＝ｊであ
る。

【００４６】（７）もし、クラスの特異点ｉが必須であ
り、かつ、特異点ｉを形成するあるプリミティブ系列に
対して、対応する要素がオブジェクトにあるならば、対
応する特異点がオブジェクトに存在しなければならな
い。もし、ｍｓ（Ｉ）（ｉ）＝１（ｉ∈｛１，２，…，
Ｎｓ(Ｉ）｝）、かつ、ある

【数１４】 に対して、ｆ(ｍ）≠φ、かつ、ｆ(ｎ）≠φならば、ｇ
(ｉ）＝ｊであるようなｊ∈｛１，２，…，Ｎｓ(Ｏ)｝
が存在する。

【００４７】（８）もし、クラスの特異点ｉに対して、
オブジェクトに対応する要素が存在するならば、ｇ
(ｉ）の構造は、σ(Ｉ)(ｉ）の要素でなければならな
い。もし、ｇ(ｊ）≠φ（ｉ∈｛１，２，…，Ｎｓ
(Ｉ)｝）ならば、

【数１５】 であるような

【数１６】 が存在する。

【００４８】写像ｆは、制約（１）から（５）に基づ
く、整合ラベリング（例えば、Ｒ．Ｍ．Ｈａｒａｌｉｃ
ｋ ａｎｄ Ｌ．Ｇ． Ｓｈａｐｉｒｏ，“Ｔｈｅ ｃ
ｏｎｓｉｓｔｅｎｔ ｌａｂｅｌｉｎｇ ｐｒｏｂｌｅ
ｍ：ｐａｒｔ １，”ＩＥＥＥＴｒａｎｓ．Ｐａｔｔｅ
ｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎ
ｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．ＰＡＭＩ−１，ｐｐ．
１７３ −１８４，Ａｐｒｉｌ １９７９．）のアルゴ
リズムを用いて見つけることができる。もし、ｆが見つ
かったならば、写像ｆのもとで、制約（６）から（８）
に基づいて、ｇを見つける。例えば、図９の曲線の構造
記述は図１０のようになるが、このオブジェクトと、図
６のクラス（Ｍｏｄｅｌ−Ｒ）のマッチングでは、ｆと
ｇはつぎのようになる。 ｆ（１）＝２，ｆ（２）＝１， ｇ（１）＝φ，ｇ（２）＝２，ｇ（３）＝１．

【００４９】構文的、または、構造的パターン認識にお
いては、計算の複雑性が重大な問題である。しかし、ス
テップ１３０の記述方式では、形状が大局的特徴によっ
て記述されるので、要素の数はそれほど多くならない。
たとえば、数字の場合、プリミティブ系列や特異点の数
は高々４である。したがって、計算の複雑性は気にする
こはない。

【００５０】変形量の解析（ステップ１６０） ステップ１３０，１４０の処理による曲線の構造記述
は、豊富な特徴を持った少数の要素により、文字形状を
柔軟、かつ、コンパクトに記述し、ステップ１５０の構
造的なマッチングは、変形の大きいオブジェクトに対し
ても、柔軟にクラスとの構成要素の対応を求めることが
できる。ここで、各々の構成要素（プリミティブ系列と
特異点）には、いくつかの属性パラメータが計算されて
いるので、これを利用して図形上にいくつかの参照点を
選ぶことができる。クラス（モデル図形）での参照点の
座標は、属性パラメータの統計量（平均値）から計算す
る。構造的マッチングによって見出される構成要素間の
対応（ｆ，ｇ）により、モデル図形（クラス）と対象図
形（オブジェクト）の間の点対応を容易に求めることが
できる。

【００５１】ここで、モデル図形での参照点ｘ

【数１７】 と、対象図形での参照点ｘ′

【数１８】 とは、幾何学的変換Ｔｇと、統計学的変換Ｔｓによっ
て，

【数１９】 または、ＴｇとＴｓの逆変換を、それぞれ、Ｔｇ′とＴ
ｓ′として、

【数２０】 のように関係付けられていると考えることができる。

【００５２】ここで、具体的に、Ａ＝（ａ_ij）を２次の
正規行列

【数２１】 を２次元ベクトルとして、Ｔｇをアフィン変換

【数２２】 として考え、そして、ｅ_x(Ｘ）とｅ_y(Ｘ）を、平均０、
分散がそれぞれ、σ_x（ｘ，ｙ）とσ_y（ｘ，ｙ）である
ような確率変数

【数２３】 として、

【数２４】 というモデルを考えることにする。したがって、ｘと
ｘ′の関係は、

【数２５】 と陽に表すことができる。

【００５３】以下では、幾何学的変換を表す行列Ａとベ
クトルｂの具体的な計算方法と、パターン変換の幾何学
的要因の評価方法、さらにパターン変形の統計学要因の
評価方法を説明する。

【００５４】（１）幾何学的解析（ステップ１６１） 幾何学的変換を表す行列Ａとベクトルｂの具体的な計算
方法と、パターン変形の幾何学的要因の評価方法を説明
する。

【００５５】ａ．アフィン変換 幾何学的変換を表す行列Ａとベクトルｂの具体的な計算
方法を説明する。いま、

【数２６】 及び、

【数２７】 を、それぞれモデル図形と対象図形での参照点の集合と
する。ここで、参照点としては、プリミティブ系列上の
いくつかの点と、特異点が取られる。

【００５６】プリミティブ系列上の特徴点は、そのラベ
ルに応じて、つぎのように選ばれる。 （１）ＰＳ−ラベル＜ＰＳ（≧２），＊＞−ｈ−ｐｏｉ
ｎｔ、ｔ−ｐｏｉｎｔ、ｂｏｕｎｄｉｎｇ ｂｏｘ（直
立長方形）の各辺の中点（計６点） （２）ＰＳ−ラベル＜１，＊＞−ｈ−ｐｏｉｎｔ、ｔ−
ｐｏｉｎｔ、弦からの最遠点（計３点） （３）ＰＳ−ラベル＜０，０＞−ｂｏｕｎｄｉｎｇ ｂ
ｏｘの各辺の中点（計４点）

【００５７】モデルと対象図形の間の参照点の対応は、
構造的マッチングにより決められる、プリミティブ系列
と特異点の対応（ｆ，ｇ）から容易に求められる。ここ
で、ｘ_i（ｉ＝１，２，…，Ｎ）がｘ_i′に対応すると仮
定する。最小二乗法により、

【数２８】 となるＡとｂを求める。数２８をａ_ij（ｉ，ｊ＝１，
２）、ｂ_x、ｂ_yで偏微分することにより、次の連立線形
方程式を得る。

【数２９】 この連立方程式を解くことにより、Ａとｂが求められ
る。

【００５８】ｂ．幾何学的変形量 行列Ａとベクトルｂを解析することにより、パターン変
形の幾何学的要因を定量化することを考える。アフィン
変換は、次の８つの基本変換に分解することができる。

【数３０】

【００５９】明らかに、ｂ＝Ｔ₁（ｂ_x）＋Ｔ₂（ｂ_y）で
ある。正方行列Ａは、直交行列Ｑと、半正定値対称行列
Ｓにより、 Ａ＝ＱＳ の形に分解できる（例えば、Ｂ．Ｋ．Ｐ．Ｈｏｒｎ，
Ｈ．Ｍ．Ｈｉｌｄｅｎ，ａｎｄ Ｓ．Ｎｅｇａｈｄａｒ
ｉｏｕｒ，“Ｃｌｏｓｅｄ−ｆｏｒｍ ｓｏｌｕｔｉｏ
ｎ ｏｆ ａｂｓｏｌｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ
ｕｓｉｎｇ ｏｒｔｈｏｎｏｒｍａｌ ｍａｔｒｉｃ
ｅｓ，”Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃａｌ Ｓｏ
ｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ ，Ｖｏｌ．５ ，
Ｎｏ．７，ｐｐ．１１２７ −１１３５ ．Ｊｕｌｙ
１９８８．）。さらに、Ｓは、ＬＤＵ分解により、対称
性から、

【数３１】 の形に分解することができる。したがって、変換行列Ａ
は、

【数３２】 とおくことにより、

【数３３】 で表わされる。

【００６０】先に述べたように、スケールはｂｏｕｎｄ
ｉｎｇ ｂｏｘによって正規化されているので、Ｔ₇の
パラメータμは１であることができる。ここで、θを回
転角度、γをせん断パラメータ、λ_xをｘスケールパラ
メータ、λ_yをｙスケールパラメータとよぶことにす
る。変形解析の場合、図形の置かれている場所は問題で
ないので、ｂは特に意味を持たない。したがって、４つ
のパラメータ（θ、γ、λ_x，λ_y）により幾何学的変換
を記述することができる。これは、対象図形が、モデル
図形にθの回転、γのせん断、ｘ方向へのλ_x倍の拡
大、ｙ方向へのλ_y倍拡大を施すことによって得られる
ことを意味している。なお、γの物理学的意味は図１１
に示すとおりで、γ＞０ならば図１１（ａ）のように変
形し、γ＜０ならば図１１（ｂ）のように変形する。

【００６１】（２）統計的解析（ステップ１６２） パターン変形の統計的要因の定量化を考える。先の数２
５より、

【数３４】 を得る。これは、モデル図形の参照点ｘと、それに対応
する対応図形の参照点をモデル図形の座標系へ変換した
点（正規化座標点；右辺第１項）とのずれを表し、統計
的変動を示すものである。ここでは、構造的モデルのク
ラスの要構成要素（プリミティブ系列と特異点）の属性
パラメータの統計量（平均値と標準偏差）を使って、モ
デル図形と対象図形の統計的な変動（変形）を定量化す
る。

【００６２】いま、（Ｖ₁，Ｖ₂，…，Ｖ_N）を、全ての
構成要素の属性パラメータを並べたベクトルとする。た
だし、Ｖ_iは平均μ_i、標準偏差σ_iの確率変数で、Ｖ_iと
Ｖ_j（ｉ≠ｊ）は独立であるとする。対象図形での属性
パラメータＶ_iの観測値をｖ_i′とし、それを正規化座標
へ変換して得られる値をｖ_iとする。具体的には、も
し、Ｖ_iが位置を表すパラメータ（プリミティブ系列の
中心、ｈ−ｐｏｉｎｔ、ｔ−ｐｏｉｎｔ、特異点）のと
きには、点ｘ′に対する変換

【数３５】 を応用すればよく、また、ベクトル（プリミティブ系列
のｂｏｕｎｄｉｎｇ ｂｏｘの幅と高さ、長さ１のプリ
ミティブ系列での弦から最遠点へのベクトル）であれ
ば、ベクトルδｘ′に対する変換

【数３６】 を応用すればよい。長さ１のプリミティブ系列でのパラ
メータａとｂに対しては、他の計算が必要となるが、容
易にできるのでここでは省略する。

【００６３】パターン変換の統計的要因を、マハラノビ
ス距離を使って、

【数３７】 で評価する。Ｄ_Nは、自由度ＮのＸの二乗分布に従う。
Ｄ_Nは、パラメータの数Ｎに依存するので、かわりに、
Ｆｉｓｈｅｒの近似

【数３８】 により、Ｎに依存しない量に変換したものを使ってもよ
い。Ｄ_N＝ｄ_Nに対して、

【数３９】 のとき、ｄは、

【数４０】 によって、近似的にＤ_N＞ｄ_Nとなる確率を与える。

【００６４】変形量の記述（ステップ１７０） これまでの解析をまとめると、あるオブジェクトが構造
モデルのあるクラスと構造的に整合したときの、モデル
からの変形量を、 （θ，γ，λ_X，λ_Y，Ｄ） で記述することができる。ただし、θを回転角度、γを
せん断パラメータ、λｘをｘスケールパラメータ、λｙ
をｙスケールパラメータ、Ｄは数３７と数３８から求め
られる統計的変動量である。そして、これらの値から、
変形量（変動量）を評価することができる。変形が小さ
い図形では、θ，γは０に近い値、λ_X，λ_Yは１に新い
値を取り、また、Ｄは、負の絶対値が大きい値を取る。
変形が大きい図形では、θ，γは絶対値が大きい値（０
から遠い値）、λ_X，λ_Yは１から遠い値を取り、また、
Ｄは、正の絶対値が大きい値を取る。これらのことか
ら、変形の大きさと変形の要因を定量的に評価すること
ができる。

【００６５】認識（ステップ１８０） （１）構造モデルに基づくモデルベースのパターン正規
化 従来のパターン認識、特に、手書き文字認識において
は、パターンの正規化が「前処理」として行なわれてき
た。前処理においては、使える情報が限られているた
め、このような正規化は様々な副作用があることが知ら
れている。本発明においては、対象図形の構造記述と、
モデルの構造記述を基に、形状の大局的、定性的情報に
基づいて、まず、大雑把にマッチングをとり、その認識
結果に基づいて、対象図形を正規化することができる。
具体的には、その認識結果に基づいて、対象図形を正規
化することができる。具体的には、まず、ステップ１３
０，１４０の処理で対象図形の構造記述をもとめ、ステ
ップ１５０のように、その構造記述と構造モデルとのマ
ッチングを取る。そして、この構造マッチングで求めら
れた、対象図形とモデルとの間の構成要素の対応関係を
もとに、数２５の行列Ａとベクトルｂを、ステップ１６
１，１６２のような方法で求めて、対象図形上の各点
ｘ′を数３５に変換することによって、パターンの正規
化ができる。

【００６６】（２）最適なマッチングの決定 ある一つのクラスとオブジェクトの構造マッチングにお
いては、プリミティブ系列と特異点の対応（ｆ，ｇ）が
必ずしも一通りに決まるとは限らない。そのような場合
には、Ｄを最小とするような対応を、そのクラスとオブ
ジェクトのマッチングとして出力すればよい。

【００６７】（３）整合したクラスの順位付け 手書き文字認識などの実際の場面では、一つのオブジェ
クトが複数のクラスに構造的に整合することがあるの
で、定量的情報を使って候補となっているクラスを順位
付けすることが必要となる。実際の判断基準の一つの例
としては、つぎのようなものが考えられる。 （ａ）まず、θ，γ，λ_X，λ_Yの許される値の範囲に制
限を付けておき、あるクラスに対して、これら４つのう
ち、ひとつでも制限範囲を越えるものがあったならば、
そのクラスを候補から外す。 （ｂ）残ったものについて、Ｄの小さい順番に順序づけ
する。 （ｃ）もし、第一候補のＤが十分小さく、かつ、第一候
補と第二候補のＤの差が十分大きければ、第一候補を認
識結果として出力する。さもなければ、「リジェクト」
を出力する。

【００６８】図１２に処理の具体例を示す。（ａ）は認
識対象入力文字「Ｈ」のデータで、２０１は原画像、２
０２は細線化結果、２０３は構造解析結果、２０４は整
合したクラスのリストを示している。（ｂ）と（ｃ）は
モデルＨとＩで、（ａ）の入力文字に整合したクラスで
ある。なお、クラスについては、オブジェクトとの構成
要素の対応（ｆ，ｇ）、その対応のもとでの（θ，γ，
λ_X，λ_Y，Ｄ）の値と正規化された図形、そして、構造
のモデルを示している。ただし、θの単位は「度」、ク
ラスの記述において、‘＊’のついた要素は、付加的要
素（ｍｐまたはｍｓの値が０）であるものであり、ま
た、ＰＳ−ラベル＜ｐｓ，ｉｄｒ＞を整数１０×ｐｓ＋
ｉｄｒで示している。

【００６９】図１２（ａ）の入力文字「Ｈ」は、同図
（ｂ）及び（ｃ）の２つのクラス「Ｈ」と「Ｉ」に整合
しているが、どちらも正のせん断が加わっており、
「Ｉ」には横方向への拡大と縦方向への縮小が加わって
いる。一方、回転は、「Ｈ」の方時計周りに８度である
のに対し、「Ｉ」の方は反時計周りに５８度である。し
たがって、θの許容範囲を例えば−２０≦θ≦２０とす
ることにより、クラス「Ｉ」が除外され、クラス「Ｈ」
が候補として残ることになる。

【００７０】

【発明の効果】（１）対象図形とモデル図形との点対応
を構造記述を利用して簡単に求めることができ、モデル
図形と対象図形の間の変形を、単純な幾何学的変換と統
計的変換に分けて解析することにより、簡単な処理によ
る変形解析が可能となる。また、変形の要因を単純な要
因に分けて、定量的に記述することが可能である。

【００７１】（２）認識に際し、構造的情報と定量的な
変形量（変動量）の両方の情報を利用することによっ
て、柔軟で、しかも、ロバストなパターン認識が可能と
なる。さらに、構造的情報だけでは足りない情報を変形
量で補うことにより、正確な認識が可能となる。

【００７２】形状の構造的情報の利用により、対象特有
な情報を利用した正規化が可能となり、少ない情報を用
いた「前処理」としての正規化の副作用を防ぐことがで
きる。

【図面の簡単な説明】

【図１】本発明の処理手順の一例を示す図である。

【図２】図１の処理を実行するハードウエア構成例の概
略ブロック図である。

【図３】特異点の分解と曲線のプリミティブの分解を説
明する図である。

【図４】プリミティブの結合を説明する図である。

【図５】プリミティブ系列の接続と特異点の構造を説明
する図である。

【図６】構造モデルのクラス「Ｒ」の一例である。

【図７】構造モデルのクラス「２」の一例である。

【図８】構造モデルのクラス「２」の別の例である。

【図９】細線化された文字画像の一例である。

【図１０】図９の例の構造記述である。

【図１１】パターン変形のセン断パラメータの意味を説
明する図である。

【図１２】処理の具体例である。

【符号の説明】

１０ 画像入力装置 ２０ 画像メモリ ３０ 画像処理装置 ４０ ワークメモリ ５０ ファイルメモリ ５１ 形状構造／変形量記述 ５２ 構造モデル

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭57−159385（ＪＰ，Ａ) 特開 昭62−175886（ＪＰ，Ａ) 特開 平３−108079（ＪＰ，Ａ) 特開 平３−164880（ＪＰ，Ａ) 特開 昭51−57143（ＪＰ，Ａ) 特開 昭62−130482（ＪＰ，Ａ) 特開 昭63−208182（ＪＰ，Ａ) 特開 平４−256087（ＪＰ，Ａ) 特開 平４−199387（ＪＰ，Ａ) 特開 平４−199388（ＪＰ，Ａ) 特開 平４−205581（ＪＰ，Ａ) 特開 平４−205583（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06K 9/46 G06K 9/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 文書画像を入力し，該入力された文書画
   像の文字パターン（以下、図形）を認識処理する画像処
   理装置におけるパターン認識処理方法であって、画像処理装置は、 対象図形を細線化し、該細線化パターンを曲線構造解析
   して、該対象図形の大局的な形状構造特徴を抽出し、 前記対象図形の形状構造特徴と、あらかじめ記憶手段さ
   れたモデル図形の形状構造特徴との構造マッチングを実
   施し、 前記構造マッチングで整合のとれたモデル図形と対象図
   形間の形状構造特徴における構成要素の対応を見つけ、
   該構成要素上に一つあるいは複数の参照点を取って、対
   象図形とモデル図形との点対応を検出し、該点対応をも
   とに、対象図形とモデル図形間の変形量を算出し、 前記算出された変形量をもとに、前記構造マッチングで
   整合のとれたモデル図形のクラスを順序付けする、 ことを特徴とするパターン認識処理方法。
2. 【請求項２】 前記変形量をもとに、対象図形とモデル
   図形との間の変形をその要因ごとに評価し、該評価結果
   をもとに、構造マッチングで整合のとれたモデル図形の
   クラスを順序付けすることを特徴とする請求項１記載の
   パターン認識処理方法。