JP3798179B2

JP3798179B2 - Pattern extraction device and character segmentation device

Info

Publication number: JP3798179B2
Application number: JP13453999A
Authority: JP
Inventors: 美佐子諏訪
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2006-07-19
Anticipated expiration: 2019-05-14
Also published as: JP2000322514A

Description

【０００１】
【発明の属する技術分野】
本発明はパターン抽出装置及び文字切り出し装置に関し、特に、接触文字の接触箇所を検出する場合に適用して好適なものである。
【０００２】
【従来の技術】
従来の文字同士の接触位置の検出方法として、黒画素数ヒストグラムを用いる方法があった。この方法では、文字列の方向と垂直方向の黒画素数をカウントすることにより、黒画素数ヒストグラムを求め、その黒画素数ヒストグラムの極小点を文字同士の接触位置の候補とするものである。
【０００３】
図１８は、従来の文字同士の接触位置の検出方法を示す図である。
図１８（ａ）において、「印旛郡白井町」と手書きで書かれた文字パターンが入力され、「郡」という文字と「白」という文字とがＥ４の位置で接触しているものとする。
【０００４】
ここで、図１８（ａ）のパターンの接触位置を判定する場合、図１８（ｂ）に示すように、図１８（ａ）のパターンの黒画素数ヒストグラムを求める。そして、その黒画素数ヒストグラムの極小点Ｋ１〜Ｋ５を接触箇所の候補とするようにしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の黒画素数ヒストグラムを用いる方法では、文字が傾いていたり、接触部分に別の文字線分が重なったり、横書きの場合の縦文字線分同士が接触したりしている場合、接触箇所に対応する黒画素数ヒストグラム値が極小とならない場合が発生し、接触箇所を検出することができないという問題があった。
【０００６】
例えば、図１８（ａ）の接触箇所Ｅ４に対応する黒画素数ヒストグラム値は、図１８（ｂ）のＥ４’の点に対応し、Ｅ４’の点は極小点ではないので、図１８（ａ）の接触箇所Ｅ４は接触箇所の候補から落とされる。この結果、図１８（ａ）のパターンを接触箇所Ｅ４の位置で切断することができなくなり、文字認識の精度が悪化する。
【０００７】
そこで、本発明の目的は、パターンの接触箇所の検出精度を向上させることが可能なパターン抽出装置及び文字切り出し装置を提供することである。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、本発明によれば、パターンから抽出された特徴点の接続関係に基づいて、パターンの接触箇所を判別するようにしている。
【０００９】
このことにより、文字同士が接触した時の連結状態を考慮して文字の接触箇所を判別することが可能となり、接触箇所を判別する際の文字の傾きの影響を除去することが可能となることから、パターンの接触箇所が黒画素数ヒストグラムの極小点に対応しない場合においても、パターンの接触箇所を効率よく見つけ出すことが可能となり、文字領域の切り出し精度を向上させることが可能となる。
【００１０】
また、本発明の一態様によれば、パターンの端点、交点、分岐点または屈曲点を検出し、これらの点から文字同士の接触点を見つけるようにしている。
このことにより、文字同士が接触した場合、その接触点は、通常、端点、交点、または屈曲点になるので、文字同士の接触点の候補を効率よく見つけることが可能となる。
【００１１】
また、本発明の一態様によれば、パターンの特徴点の位置でパターンを切断した場合、文字の配列方向にパターンが分離されないものを、文字同士の接触点の候補から除くようにしている。
【００１２】
このことにより、文字の接触方向とは異なる方向にパターンが切断される切断箇所を文字同士の接触点の候補から除くことが可能となり、文字同士の接触点とはならない切断箇所を文字同士の接触点の候補として考慮する必要がなくなることから、文字同士の接触点を効率よく見つけることが可能となる。
【００１３】
また、本発明の一態様によれば、パターンの接続関係を、パターンの特徴点を頂点とし、前記頂点で挟まれた線分を辺とするグラフで表現するようにしている。
【００１４】
このことにより、パターンの接続情報のみを画像データから抽出することが可能となり、パターンの接続関係を効率的に評価することが可能となることから、文字同士の接触点を効率よく見つけることが可能となる。
【００１５】
また、本発明の一態様によれば、パターンの接続関係を頂点隣接行列で表し、頂点隣接行列の対角化ブロック数をカウントすることにより、グラフの連結成分数を求めるようにしている。
【００１６】
このことにより、グラフの連結成分数を効率よく求めることが可能となり、パターンを特徴点で切断した際に、パターンが分離するかどうかを容易に調べることが可能となることから、文字同士の接触点を効率よく見つけることが可能となる。
【００１７】
また、本発明の一態様によれば、グラフの辺の除去を行った時の前記グラフの連結成分数の変化に基づいて、接触文字の切断箇所を検出するようにしている。
このことにより、パターンの連結成分数を求める場合に、情報量の多い画像データから直接求める必要がなくなり、画像データと比べて情報量の少ないグラフデータから連結成分数を求めることが可能となることから、点接触の場合の接触位置を高速に検出することが可能となる。
【００１８】
また、本発明の一態様によれば、第１の線分に接触している第２の線分の端点が検出された場合、前記第１の線分方向の黒画素ランレングスが急激に減少する箇所で、パターンを切断するようにしている。
【００１９】
このことにより、グラフ上の頂点で特定された接触箇所から実際のパターンの切断箇所を求めることが可能となり、点接触前のパターンの形状を再現可能な位置で、接触パターンを切断することが可能となる。
【００２０】
また、本発明の一態様によれば、グラフの辺及びその辺の両端の特徴点の二重化を行った時の前記グラフの連結成分数の変化に基づいて、接触文字の切断箇所を検出するようにしている。
【００２１】
このことにより、パターンの連結成分数を求める場合に、情報量の多い画像データから直接求める必要がなくなり、画像データと比べて情報量の少ないグラフデータから連結成分数を求めることが可能となることから、辺接触の場合の接触位置を高速に検出することが可能となる。
【００２２】
また、本発明の一態様によれば、辺同士の重なりが検出された場合、その辺を垂直方向に二等分した位置で、パターンを切断するようにしている。
このことにより、グラフ上の辺で特定された接触箇所から実際のパターンの切断箇所を求めることが可能となり、辺接触前のパターンの形状を再現可能な位置で、パターンを切断することが可能となる。
【００２３】
また、本発明の一態様によれば、１つの接触位置に対して、接触位置を示す候補点が複数得られた場合、それらの候補点で切断したパターンの文字認識結果に基づいて、それらの候補点が接触点かどうかを判別するようにしている。
【００２４】
ここで、接触位置でない点で文字パターンを切断した場合は、文字でないパターンが切り出され、そのパターンの文字との相違度は高くなり、接触位置で文字パターンを切断した場合は、文字パターンが切り出され、その文字パターンの文字との相違度は低くなる。このため、接触位置でない点が接触位置を示す候補点として検出された場合においても、その候補点を接触点から除外することが可能となり、文字の接触箇所を精度よく見つけ出すことが可能となる。
【００２５】
また、本発明の一態様によれば、切断されたパターンを他のパターンと組み合わせることにより複数の文字候補のパターンを切り出す。そして、それらのパターンと文字との相違度の合計が最も低くなる組み合わせに基づいて、パターンの接触箇所を判定する。
【００２６】
このことにより、相違度の低い文字の切り出し位置が検出された場合においても、それ以外の領域に残っているパターンの文字との相違度が高い場合には、その切り出し位置を文字同士の接触箇所でないと判断することが可能となり、文字列のパターンから相違度の低い文字の切り出し位置の候補が複数得られた場合においても、それらの候補を絞り込むことが可能となり、文字同士の接触箇所の検出精度を向上させることが可能となる。
【００２７】
【発明の実施の形態】
以下、本発明の一実施例に係わるパターン抽出装置について図面を参照しながら説明する。図１は、本発明の一実施例に係わるパターン抽出装置の構成を示すブロック図である。
【００２８】
図１において、特徴点検出手段１は、パターンの特徴点を検出する。ここで、特徴点は、パターンの端点、交点、または屈曲点とすることができる。接続関係判別手段２は、特徴点検出手段１により検出された特徴点の接続関係を判別する。接触箇所判別手段３は、接続関係判別手段２により判別された接続関係に基づいて、パターンの接触箇所を判別する。ここで、パターンを構成する線分の接続関係は、パターンが傾いてもそのまま保存される。また、文字同士が接触した場合、その接触箇所には、パターンの交点、分岐点または屈曲点が形成される。このため、パターンの特徴点の接続関係を調べることにより、パターンが傾いている場合においても、文字同士の接触箇所を精度よく検出することが可能となる。
パターンから抽出された特徴点が文字同士の接触箇所であるかどうか調べる場合、その特徴点の位置でパターンを切り離した時に、パターンが２つに分離するかどうかにより判断する。
【００２９】
ここで、画像データの情報量は膨大であり、画像データそのものを直接処理して、パターンの連結成分数を調べると、時間がかかる。そこで、接触箇所判別手段３は、特徴点の接続関係をグラフで表現するようにしてもよい。そして、グラフの辺や頂点を操作した時にグラフの連結成分数が変化するかどうかを調べることより、パターンの接触箇所を判別するようにしてもよい。このことにより、パターンの特徴点の接続関係を表すために必要な情報のみを画像データから抽出して、パターンの特徴点の接続関係を調べることが可能となり、処理時間を短縮することができる。
【００３０】
また、接触箇所判別手段３は、特徴点の接続関係を表すグラフを頂点隣接行列で表現するようにしてもよい。そして、グラフの辺や頂点の操作する前と後で頂点隣接行列の対角化ブロック数が変化するかどうかを調べることより、パターンの接触箇所を判別するようにしてもよい。
【００３１】
図２は、本発明の一実施例に係わる文字認識装置の構成を示すブロック図である。なお、以下の実施例では、文字が横書きで記入されている場合について説明するが、文字が縦書きで記入されている場合についても、行を列に置き換えることにより、同様に処理することができる。
【００３２】
図２において、ＯＣＲ（光学的文字認識装置）１１は、手書き文字が記入された帳票や文書を読み込み、手書き文字の認識結果を出力する。観測部１２は、ＣＣＤやスキャナなどによって手書き文字が記入された帳票や文書を取り込み、取り込んだ画像データを白黒の二値化データに変換する。文字列抽出部１３は、画像データのパターンを１行ごとに切り出し、文字列を抽出する。接触文字判定部１４は、各行画像中のパターンのラベリングを行うことにより、各行画像中のパターンの連結成分を抽出する。そして、連結成分の外接矩形のサイズや縦横比などを調べることにより、文字どうしが接触しているパターンかどうかを判定する。例えば、連結成分の外接矩形の横方向の長さが縦方向の長さよりも所定値以上長い場合、その連結成分は、文字どうしが接触しているパターンであると判定する。
【００３３】
接触候補箇所決定・切断部１５は、接触文字判定部１４で接触文字と判定されたパターンに対し、切断候補箇所を決定する。ここで、接触候補箇所決定・切断部１５は、切断候補箇所を決定する場合、文字列の黒画素数ヒストグラムの極小点を切断候補箇所に決定するのではなく、接触文字と判定されたパターンを構成する線分の接続関係を調べ、その線分の接続点を切断候補箇所に決定する。このことにより、文字が傾いていたり、接触部分に別の文字線分が重なったり、文字の線分同士が接触したりしているために、文字の接触箇所で黒画素数ヒストグラムが極小にならない場合においても、文字の接触箇所を精度よく識別することができる。ここで、パターンの接続点を効率よく見つけるため、パターンの接続関係をグラフで表現したり、頂点隣接行列を用いたりすることができる。
【００３４】
切断候補箇所が決まると、接触文字と判定されたパターンを切断候補箇所で切断することにより、部分パターンを生成する。候補文字ラティス生成部１６は、二端子有向グラフの最短経路問題におけるダイクストラの手法（以下、候補文字ラティス法と称す。）により、候補文字二端子有向グラフ（以下、候補文字ラティスと称す。）を生成する。すなわち、接触候補箇所決定・切断部１５により切断された部分パターンと行画像中の他のパターンの連結成分との可能な組み合せによる統合パターンを生成する。そして、その統合パターン、あるいは、統合前の単独パターンに対し、認識辞書部１７に登録されている文字種との比較を行い、第Ｎ位までの候補文字種及び相違度または類似度を求める。候補文字種及び相違度または類似度が求まると、候補文字ラティスを生成し、１文字領域と認識の第１次候補を決定する。
【００３５】
言語処理部１８は、知識辞書部１９を使って、認識の第１次候補をチェックし、第１次候補に文法的に間違いがあれば、第１次候補を下位の候補に置き換える。そして、文法的に間違いのない候補が得られると、その候補を文字認識結果として決定するとともに、その候補の位置を１文字領域と決定する。
【００３６】
図３は、図２の接触候補箇所決定・切断部１５の処理を示すフローチャートである。
図３において、接触候補箇所決定・切断部１５は、接触文字判定部１４により抽出された接触パターンの細線化を行う（ステップＳ１）。ここで、細線化は、接触パターンから端点、交点、または屈曲点を求める場合に、これらの点を求めやすくするために行う。従って、細線化は、元のパターンに含まれる端点、交点、または屈曲点が保存されるように行う。
【００３７】
図４は、本発明の一実施例に係わる細線化パターンの具体例を示す図である。図４（ａ）において、Ｅ１の点で接触している「静岡」というパターンを細線化することにより、Ｅ１’の点で接触している図４（ｂ）の細線化パターンを得ることができる。
【００３８】
細線化パターンが得られると、その細線化パターンから端点、交点、及び屈曲点を抽出し、これらの点をグラフの頂点とする（ステップＳ２）。すなわち、端点を１次の頂点、３本、４本の線分が交わる交点をそれぞれ、３次、４次の頂点とする。２次の頂点は、各辺における屈曲点とする。
【００３９】
図５は、次数２の頂点の決定方法を説明する図である。
図５において、２つの頂点に挟まれた辺上の着目点Ｐ０とその前後のサンプル点Ｐ１，Ｐ２を考え、Ｐ１を始点、Ｐ０を終点とするベクトルをｄ₁、Ｐ０を始点、Ｐ２を終点とするベクトルをｄ₂とした時、ベクトルｄ₁、ｄ₂の成す角θを以下の式で求める。
【００４０】
θ＝ｃｏｓ^-1（ｄ₁・ｄ₂／｜ｄ₁｜・｜ｄ₂｜）
ここで、｜ｄ₁｜、｜ｄ₂｜はそれぞれ、ベクトルｄ₁、ｄ₂の大きさである。角度θが、しきい値θ_thより大きい場合、すなわち、θ＞θ_thの場合、Ｐ０を次数２の頂点とする。
【００４１】
グラフの頂点が求まると、輪郭追跡の手法で細線化パターンを探索することにより、細線化パターンから抽出された端点、交点、及び屈曲点の接続関係を求め、頂点間の隣接関係を求める（ステップＳ３）。そして、頂点の隣接関係が求まると、それらの頂点を辺で接続したグラフを生成する。
【００４２】
図６（ａ）は、点接触したパターンの具体例を示す図、図６（ｂ）は、図６（ａ）のパターンをグラフ化した例を示す図である。
図６（ａ）において、Ｅ２の位置で点接触している「上山」というパターンが接触文字判定部１４により抽出された場合、このパターンを細線化し、細線化パターンの探索を行いながら、細線化パターンの探索方向を調べる。そして、探索時に、探索方向が所定の角度以上変化した場合、その点をグラフの２次の頂点とし、探索時に、探索方向が２つに枝分かれした場合、その点をグラフの３次の頂点とし、探索時に、探索方向が３つに枝分かれした場合、その点をグラフの４次の頂点とする。
【００４３】
以上の処理により、図６（ａ）のパターンからＶ０〜Ｖ１１の頂点が検出され、これらの頂点を辺ｅ０〜ｅ１０で接続した図６（ｂ）のグラフＧ１を生成することができる。
【００４４】
接触候補箇所決定・切断部１５は、文字接触パターンに対応したグラフを生成すると、そのグラフに対応した頂点隣接行列を求める（ステップＳ４）。頂点隣接行列は、グラフの各頂点に対応する行成分及び列成分を有する。そして、頂点間が１辺で連結している場合、その２つの頂点で特定される行列成分は１の値をとり、頂点間が連結していない場合、その２つの頂点で特定される行列成分は０の値をとる性質を持つ。
【００４５】
図７（ａ）は、図６（ｂ）のグラフの頂点隣接行列を示す図である。
図７（ａ）において、行及び列の各成分は、グラフＧ１の頂点Ｖ０〜Ｖ１１にそれぞれ対応している。ここで、図６（ｂ）のグラフＧ１において、２つの頂点Ｖ０〜Ｖ１１を接続する辺ｅ０〜ｅ１０がある場合、その２つの頂点Ｖ０〜Ｖ１１で特定される行列成分は１、２つの頂点Ｖ０〜Ｖ１１を接続する辺ｅ０〜ｅ１０がない場合、その２つの頂点Ｖ０〜Ｖ１１で特定される行列成分は０となる。例えば、図６（ｂ）のグラフＧ１において、頂点Ｖ３、Ｖ４は辺ｅ３で接続されているので、頂点Ｖ３、Ｖ４で特定される行列成分（４行５列目の成分及び５行４列目の成分）は、１となっている。また、図６（ｂ）のグラフＧ１において、頂点Ｖ２、Ｖ５は辺ｅ０〜ｅ１０で接続されていないので、頂点Ｖ２、Ｖ５で特定される行列成分（３行６列目の成分及び６行３列目の成分）は、０となっている。
【００４６】
頂点隣接行列が求まると、頂点隣接行列の行または列を入れ替えることにより、頂点隣接行列のブロック対角化を行う。そして、ブロック対角化後の頂点隣接行列に含まれる対角化ブロック数をカウントする（ステップＳ５）。ブロック対角化後の頂点隣接行列に含まれる対角化ブロック数は、グラフの連結成分数に対応しており、ブロック対角化後の頂点隣接行列に含まれる対角化ブロック数をカウントすることにより、グラフの連結成分数を求めることができる。
【００４７】
次に、点接触箇所候補の導出を行う（ステップＳ６）。この点接触箇所候補の導出では、グラフの辺を１つずつ除去し、辺の除去によりグラフが２つに分離する場合、例えば、辺を除去する前のグラフの連結成分が１であるとすると、辺を除去した後のグラフの連結成分が２に増加する場合、その辺の両端の頂点を点接触の切断箇所の候補とする。
【００４８】
ここで、辺を除去した後のグラフに対応する頂点隣接行列を、辺を除去する前のグラフに対応する頂点隣接行列から求め、頂点隣接行列の行または列を入れ替えることにより、頂点隣接行列のブロック対角化を行う。そして、辺を除去する前のグラフに対応する頂点隣接行列の対角化ブロック数と、辺を除去した後のグラフに対応する頂点隣接行列の対角化ブロック数との差分が１となるかどうかを調べることにより、グラフが２つに分離するかどうかを判別することができる。
図６（ｃ）は、図６（ｂ）のグラフから辺を除去した場合にグラフの連結成分数が増加する例を示す図である。
【００４９】
図６（ｃ）において、図６（ｂ）のグラフＧ１から辺ｅ４を除去した場合、頂点Ｖ０〜Ｖ４からなるグラフＧ２と、頂点Ｖ５〜Ｖ１１からなるグラフＧ３とに分離する。この場合、辺ｅ４の両端の頂点Ｖ４、Ｖ６を点接触の切断箇所の候補とする。このことにより、図６（ａ）の接触パターンの接触点Ｅ２を切断箇所の候補として検出することが可能となる。
【００５０】
図６（ｂ）のグラフＧ１から辺ｅ０〜ｅ１０を１つずつ除去し、グラフＧ１が２つに分離するかどうかを調べることにより、点接触による切断箇所の候補として、６つの頂点Ｖ１、Ｖ４、Ｖ６、Ｖ７、Ｖ９、Ｖ１１が検出される。なお、この段階では、接触点Ｅ２に対応する頂点Ｖ６の他に、文字自体に含まれる交点や屈曲点に対応する頂点Ｖ１、Ｖ４、Ｖ７、Ｖ９、Ｖ１１も検出される。
【００５１】
図７（ｂ）は、図６（ｃ）のグラフＧ２、Ｇ３の頂点隣接行列を示す図である。
図７（ｂ）において、図７（ａ）の頂点隣接行列から図７（ｂ）の頂点隣接行列を求める場合、図６（ｂ）のグラフＧ１から除去された辺の両端の頂点に対応する行列成分を０にする。例えば、図６（ｂ）のグラフＧ１から辺ｅ４を除去することにより、図６（ｃ）のグラフＧ２、Ｇ３が生成されたものとする。この場合、辺ｅ４の両端の頂点はＶ４及びＶ６であるので、図７（ａ）の頂点隣接行列の頂点Ｖ４、Ｖ６で特定される成分、すなわち、（５、７）成分及び（７、５）成分を０にする。この結果、図７（ｂ）の頂点隣接行列が得られる。
【００５２】
図７（ｂ）の頂点隣接行列は、２つの正方行列Ａ１、Ａ２が対角斜め方向に配置されており、２つの正方行列Ａ１、Ａ２の直和の形で表現できる。ここで、頂点隣接行列のブロック対角化により得られる対角化ブロック数（対角斜め方向に配置される正方行列の個数）は、その頂点隣接行列に対応するグラフの連結成分数を表している。このため、頂点隣接行列を用いることにより、グラフから辺を除去した時に、グラフが２つに分離するかどうかを判定することができ、その時の辺の両端の頂点を点接触の切断箇所の候補とすることができる。
【００５３】
図８は、頂点隣接行列から接触点の候補を求める方法を示すフローチャートである。なお、図８のフローチャートでは、文字同士が複数の箇所で接触するのは、通常２点程度であるので、２点接触まで求める処理を示した。
【００５４】
図８において、グラフの頂点から２個選び、その頂点に対応する頂点隣接行列のｊ行ｋ列成分が１かどうかを判定する（ステップＳ２１）。そして、頂点隣接行列のｊ行ｋ列成分が１の場合、ｊ行ｋ列成分及びｋ行ｊ列成分を０にする（ステップＳ２２）。次に、ｊ行ｋ列成分及びｋ行ｊ列成分を０にした頂点隣接行列の行または列を入れ替えることにより、ｊ行ｋ列成分及びｋ行ｊ列成分を０にした頂点隣接行列のブロック対角化を行い、ブロック対角化後の対角化ブロック数をカウントする（ステップＳ２３）。
【００５５】
次に、ｊ行ｋ列成分及びｋ行ｊ列成分を０にする前の頂点隣接行列の対角化ブロック数と、ｊ行ｋ列成分及びｋ行ｊ列成分を０にした後の頂点隣接行列の対角化ブロック数とを比較し（ステップＳ２４）、ｊ行ｋ列成分及びｋ行ｊ列成分を０にした後の頂点隣接行列の対角化ブロック数が、ｊ行ｋ列成分及びｋ行ｊ列成分を０にする前の頂点隣接行列の対角化ブロック数より１だけ増加した場合、頂点ｊと頂点ｋとを１点接触の切断箇所の候補とする（ステップＳ２５）。以上の処理を頂点隣接行列のｊ行ｋ列の全ての成分について繰り返す。
【００５６】
次に、一点接触の切断箇所の候補を除いたグラフの頂点から４個選び、その頂点に対応する頂点隣接行列のｊ行ｋ列成分及びｍ行ｎ列成分が１かどうかを判定する（ステップＳ２６）。そして、頂点隣接行列のｊ行ｋ列成分及びｍ行ｎ列成分が１の場合、ｊ行ｋ列成分及びｋ行ｊ列成分を０にするとともに、ｍ行ｎ列成分及びｎ行ｍ列成分を０にする（ステップＳ２７）。次に、これらの４つの成分を０にした頂点隣接行列の行または列を入れ替えることにより、これらの４つの成分を０にした頂点隣接行列のブロック対角化を行い、ブロック対角化後の対角化ブロック数をカウントする（ステップＳ２８）。
【００５７】
次に、これらの４つの成分を０にする前の頂点隣接行列の対角化ブロック数と、これらの４つの成分を０にした後の頂点隣接行列の対角化ブロック数とを比較し（ステップＳ２９）、これらの４つの成分を０にした後の頂点隣接行列の対角化ブロック数が、これらの４つの成分を０にする前の頂点隣接行列の対角化ブロック数より１だけ増加した場合、頂点ｊ、頂点ｋ、頂点ｍ、頂点ｎを２点接触の切断箇所の候補とする（ステップＳ３０）。以上の処理を頂点隣接行列のｊ行ｋ列及びｍ行ｎ列の全ての成分の組み合わせについて繰り返す。
【００５８】
次に、辺接触候補箇所の導出を行う（ステップＳ７）。この辺接触候補箇所の導出では、グラフの１辺とその辺の両端に接続する２頂点を二重化し、二重化によりグラフが２つに分離する場合、例えば、二重化する前のグラフの連結成分が１であるとすると、二重化した後のグラフの連結成分が２に増加する場合、その辺を辺接触の切断箇所の候補とする。
【００５９】
ここで、辺及びその辺の両端に接続する２頂点を二重化した後のグラフに対応する頂点隣接行列を、辺及びその辺の両端に接続する２頂点を二重化する前のグラフに対応する頂点隣接行列から求め、頂点隣接行列の行または列を入れ替えることにより、頂点隣接行列のブロック対角化を行う。そして、二重化する前のグラフに対応する頂点隣接行列の対角化ブロック数と、二重化した後のグラフに対応する頂点隣接行列の対角化ブロック数との差分が１となるかどうかを調べることにより、グラフが２つに分離するかどうかを判別してもよい。
【００６０】
図９（ａ）は、辺接触したパターンの具体例を示す図、図９（ｂ）は、図９（ａ）のパターンをグラフ化した例を示す図、図９（ｃ）は、図９（ｂ）のグラフの辺及びその辺の端点の二重化を行った場合にグラフの連結成分数が増加する例を示す図である。
【００６１】
図９（ａ）において、Ｅ３の位置で辺接触している「山口」というパターンが接触文字判定部１４により抽出された場合、このパターンを細線化し、細線化パターンの探索を行いながら、細線化パターンの探索方向を調べる。そして、探索時に、探索方向が所定の角度以上変化した場合、その点をグラフの２次の頂点とし、探索時に、探索方向が２つに枝分かれした場合、その点をグラフの３次の頂点とし、探索時に、探索方向が３つに枝分かれした場合、その点をグラフの４次の頂点とする。
【００６２】
以上の処理により、図９（ａ）のパターンからＶ０〜Ｖ７の頂点が検出され、これらの頂点を辺ｅ０〜ｅ７で接続した図９（ｂ）のグラフＧ１１を生成することができる。
【００６３】
次に、図９（ｂ）のグラフＧ１１において、例えば、辺ｅ４及びその辺ｅ４の両端の頂点Ｖ４、Ｖ５を二重化することにより、辺ｅ４’及びその辺ｅ４’の両端に接続する頂点Ｖ４’、Ｖ５’を生成する。ここで、二重化を行う場合、頂点Ｖ４、Ｖ５と他の頂点Ｖ０〜Ｖ３、Ｖ６、Ｖ７との接続関係を調べる。そして、頂点Ｖ４、Ｖ５については、頂点Ｖ４、Ｖ５と左方向に隣接する頂点との接続関係のみを付与し、頂点Ｖ４’、Ｖ５’については、頂点Ｖ４、Ｖ５と右方向に隣接する頂点との接続関係のみを付与する。
【００６４】
例えば、頂点Ｖ４に隣接している頂点として、頂点Ｖ６が検出されると、頂点Ｖ６の頂点Ｖ４に対する隣接方向を調べる。この結果、頂点Ｖ６が頂点Ｖ４に対して右方向に隣接していると判別されると、グラフＧ１２の頂点Ｖ４から頂点Ｖ６を切り離し、その頂点Ｖ６をグラフＧ１３の頂点Ｖ４’に接続する。また、頂点Ｖ５に隣接している頂点として、頂点Ｖ３、Ｖ７が検出されると、頂点Ｖ３、Ｖ７の頂点Ｖ５に対する隣接方向を調べる。この結果、頂点Ｖ３は頂点Ｖ５に対して左方向に隣接していると判別されると、グラフＧ１３の頂点Ｖ５’から頂点Ｖ３を切り離し、その頂点Ｖ３をグラフＧ１２の頂点Ｖ５に接続する。また、頂点Ｖ７は頂点Ｖ５に対して右方向に隣接していると判別されると、グラフＧ１２の頂点Ｖ５から頂点Ｖ７を切り離し、その頂点Ｖ７をグラフＧ１３の頂点Ｖ５’に接続する。
【００６５】
この結果、図９（ｃ）に示すように、頂点Ｖ０〜Ｖ５からなるグラフＧ１２と、頂点Ｖ４’、Ｖ５’、Ｖ６、Ｖ７からなるグラフＧ１３とに分離する。この場合、辺ｅ４を辺点接触の切断箇所の候補とする。このことにより、図９（ａ）の接触パターンの接触辺Ｅ３を切断箇所の候補として検出することが可能となる。
図９（ｂ）のグラフにおいて、辺ｅ０〜ｅ７を１つずつ二重化し、グラフが２つに分離するかどうかを調べることにより、辺接触による切断箇所の候補として、２つの辺ｅ０、ｅ４を検出することができる。なお、この段階では、接触箇所Ｅ３に対応する辺ｅ４の他に、文字自体を構成する線分に対応する辺ｅ０も検出される。
【００６６】
図１０（ａ）は、図９（ｂ）のグラフの頂点隣接行列を示す図、図１０（ｂ）は、図９（ｃ）のグラフの頂点隣接行列を示す図である。
図１０（ａ）において、行及び列の各成分は、グラフの頂点Ｖ０〜Ｖ７にそれぞれ対応している。ここで、図９（ｂ）のグラフにおいて、２つの頂点Ｖ０〜Ｖ７を接続する辺ｅ０〜ｅ７がある場合、その２つの頂点Ｖ０〜Ｖ７で特定される行列成分は１、２つの頂点Ｖ０〜Ｖ７を接続する辺ｅ０〜ｅ７がない場合、その２つの頂点Ｖ０〜Ｖ７で特定される行列成分は０となる。
【００６７】
図１０（ａ）の頂点隣接行列から図１０（ｂ）の頂点隣接行列を求める場合、図９（ｂ）の二重化された辺の両端の頂点に対応する行及び列をコピーする。そして、コピー対象とされた行及び列の成分のうち、右方向に隣接する頂点の成分を０にするとともに、コピーにより新たに挿入された行及び列の成分のうち、左方向に隣接する頂点の成分を０にする。
【００６８】
例えば、図９（ｂ）のグラフの辺ｅ４及びその辺ｅ４の両端の頂点Ｖ４、Ｖ５を二重化することにより、辺ｅ４’及び辺ｅ４’の両端に接続する頂点Ｖ４’、Ｖ５’を生成し、図９（ｃ）のグラフが生成されたものとする。この場合、図１０（ａ）の頂点隣接行列の頂点Ｖ４に対応する行及び列をコピーすることにより、頂点Ｖ４’に対応する行及び列を新たに生成するとともに、頂点Ｖ５に対応する行及び列をコピーすることにより、頂点Ｖ４’に対応する行及び列を新たに生成する。ここで、頂点Ｖ４に対応する行及び列の成分のうち、頂点Ｖ４の右方向に隣接する頂点Ｖ６に対応する成分を０とし、頂点Ｖ５に対応する行及び列の成分のうち、頂点Ｖ５の右方向に隣接する頂点Ｖ７に対応する成分を０とし、頂点Ｖ５’に対応する行及び列の成分のうち、頂点Ｖ５の左方向に隣接する頂点Ｖ３に対応する成分を０とする。そして、行及び列を入れ替えてブロック対角化を行うことにより、図１０（ｂ）の頂点隣接行列が得られる。
【００６９】
図１０（ｂ）の頂点隣接行列は、２つの正方行列Ａ１、Ａ２が対角斜め方向に配置されており、２つの正方行列Ａ１、Ａ２の直和の形で表現できる。ここで、頂点隣接行列のブロック対角化により得られる対角化ブロック数（対角斜め方向に配置される正方行列の個数）は、その頂点隣接行列に対応するグラフの連結成分数を表している。このため、頂点隣接行列を用いることにより、グラフの辺を二重化した時に、グラフが２つに分離するかどうかを判定することができ、その時の辺を辺接触の切断箇所の候補とすることができる。
【００７０】
図１１は、頂点隣接行列から辺接触の候補を求める方法を示すフローチャートである。
図１１において、頂点隣接行列のｊ行ｋ列成分が１かどうかを判定する（ステップＳ４１）。ここで、頂点隣接行列のｊ行ｋ列成分が１の場合、ｊ行目に対応する頂点とｋ列目に対応する頂点との間に挟まれた辺に対応するパターンの文字線幅ｈが、以下の条件を満たすかどうかを調べる。
【００７１】
Ｈ×ａ＜ｈ（１．０＜ａ）
ここで、Ｈは平均文字幅、ａは１より大きい値をとる定数で、実験により定めることができる。そして、この条件を満たさない辺は、二重化の候補から除外する（ステップＳ４２）。この処理により、二重化する辺の候補として、辺同士が接触したために線幅が他の辺よりも太くなっているものだけを選ぶことができ、辺接触していないような細い線幅の辺を、辺接触の候補から除去することができる。
【００７２】
また、横書きの場合は縦方向、縦書きの場合は横方向の辺のみを二重化するため、辺の傾きにも、しきい値を設けるようにする。すなわち、対象とする辺の傾きをＳ、傾きのしきい値をＳｔｈとすると、
Ｓ＞Ｓｔｈ（横書きの場合）
Ｓ＜Ｓｔｈ（縦書きの場合）
の条件を満たす候補のみについて、二重化を行うようにする（ステップＳ４２）。なお、しきい値Ｓｔｈは、実験により定めることができる。
【００７３】
次に、頂点隣接行列のｊ行目をｊ＋１行目にコピーし、頂点隣接行列のｊ＋１行目以降をシフトするとともに、頂点隣接行列のｊ列目をｊ＋１列目にコピーし、頂点隣接行列のｊ＋１列目以降をシフトする（ステップＳ４３）。
【００７４】
次に、横書きの場合、ｊ番目の頂点の右方向に隣接する頂点がある場合、ｊ行目及びｊ列目の成分のうち、右方向に隣接する頂点に対応する成分を０とし、ｊ番目の頂点の左方向に隣接する頂点がある場合、ｊ＋１行目及びｊ＋１列目の成分のうち、左方向に隣接する頂点に対応する成分を０とする（ステップＳ４４）。なお、縦書きの場合、ｊ番目の頂点の上方向に隣接する頂点がある場合、ｊ行目及びｊ列目の成分のうち、上方向に隣接する頂点に対応する成分を０とし、ｊ番目の頂点の下方向に隣接する頂点がある場合、ｊ＋１行目及びｊ＋１列目の成分のうち、下方向に隣接する頂点に対応する成分を０とする。
【００７５】
次に、頂点隣接行列のｋ行目をｋ＋１行目にコピーし、頂点隣接行列のｋ＋１行目以降をシフトするとともに、頂点隣接行列のｋ列目をｋ＋１列目にコピーし、頂点隣接行列のｋ＋１列目以降をシフトする（ステップＳ４５）。
【００７６】
次に、横書きの場合、ｋ番目の頂点の右方向に隣接する頂点がある場合、ｋ行目及びｋ列目の成分のうち、右方向に隣接する頂点に対応する成分を０とし、ｋ番目の頂点の左方向に隣接する頂点がある場合、ｋ＋１行目及びｋ＋１列目の成分のうち、左方向に隣接する頂点に対応する成分を０とする（ステップＳ４６）。なお、縦書きの場合、ｋ番目の頂点の上方向に隣接する頂点がある場合、ｋ行目及びｋ列目の成分のうち、上方向に隣接する頂点に対応する成分を０とし、ｋ番目の頂点の下方向に隣接する頂点がある場合、ｋ＋１行目及びｋ＋１列目の成分のうち、下方向に隣接する頂点に対応する成分を０とする。
【００７７】
次に、ｊ行ｋ列成分で特定される辺を二重化したグラフに対応する頂点隣接行列の行または列を入れ替えることにより、その頂点隣接行列のブロック対角化を行い、ブロック対角化後の対角化ブロック数をカウントする（ステップＳ４７）。次に、ｊ行ｋ列成分で特定される辺を二重化する前のグラフに対応する頂点隣接行列の対角化ブロック数と、ｊ行ｋ列成分で特定される辺を二重化した後のグラフに対応する頂点隣接行列の対角化ブロック数とを比較し（ステップＳ４８）、ｊ行ｋ列成分で特定される辺を二重化した後のグラフに対応する頂点隣接行列の対角化ブロック数が、ｊ行ｋ列成分で特定される辺を二重化する前のグラフに対応する頂点隣接行列の対角化ブロック数より１だけ増加した場合、頂点ｊと頂点ｋとの間に挟まれる辺を辺接触の切断箇所の候補とする（ステップＳ４９）。以上の処理を、ｊ＝１〜全頂点数、ｋ＝ｊ＋１〜全頂点数に対して繰り返す。
【００７８】
図３のステップＳ６、Ｓ７の処理により、点接触箇所候補及び辺接触箇所候補がグラフから抽出されると、接触箇所候補の絞り込みを行う（ステップＳ８〜Ｓ１０）。この接触箇所候補の絞り込みは、文字列方向と垂直方向にパターンが分割されることを防止するために行う。例えば、横書きの文字の場合、文字同士の接触は横方向に発生し、縦書きの文字の場合、文字同士の接触は縦方向に発生する。このため、横書きの文字の場合、パターンを横方向に分割する接触箇所候補のみを選別して、パターンを縦方向に分割する接触箇所候補を除去する。また、されないようにする。また、縦書きの文字の場合、パターンを縦方向に分割する接触箇所候補のみを選別して、パターンを横方向に分割する接触箇所候補を除去する。
【００７９】
ここでは、分離した各々のグラフの文字列方向のサイズをＷｊとし、元のグラフの文字列方向のサイズをＷとすると、
Ｗ×Ｃ１＜Ｗｊ＜Ｗ×Ｃ２
（０．０＜Ｃ１＜Ｃ２＜１．０、ｊ＝１，２）
となる切断候補のみを選択する。ここで、Ｃは、０と１の間の値をとる定数であり、実験により定めることができる。
【００８０】
接触箇所候補が決定すると、接触パターンの切断を行い、部分パターンを作成する（ステップＳ１１）。接触パターンの切断では、接触箇所候補として決定されたグラフ上の頂点または辺から実際のパターン上での切断位置を求め、その切断位置で接触パターンの切断する。
【００８１】
図１２は、点接触のパターンの切断方法を示す図である。
図１２（ａ）において、グラフ上で点接触箇所の候補が決定すると、点接触箇所の候補として決定されたグラフ上の頂点に対応する接触パターン２１上の切断候補点２２を求める。切断候補点２２が求まると、端点が接触している文字線２４を、切断候補点２２から細線化パターン２５の辺に沿って追跡し、もう一方の辺２６と平行方向の黒画素ランレングスを求める。この結果、黒画素ランレングスは、図１２（ｂ）に示すように、文字線２４の接触箇所２３の位置で急激に減少する。そこで、黒画素ランレングスが急激に減少する箇所Ｋに対応する位置で、接触パターン２１を切断する。この結果、図１２（ｃ）に示すように、接触パターン２１の文字線２４に対応した文字線２４’と接触パターン２１の文字線２６に対応した文字線２６’とを切り出すことができる。
【００８２】
図１３は、辺接触のパターンの切断方法を示す図である。
図１３（ａ）において、グラフ上で辺接触箇所の候補が決定すると、辺接触箇所の候補として決定されたグラフ上の辺に対応する接触パターン２１上の文字線３１を求める。文字線３１が求まると、その文字線３１を細線化パターン３２の辺で２分する。この結果、図１３（ｂ）に示すように、接触パターン３１の文字線３３に対応した文字線３３’と接触パターン３１の文字線３４に対応した文字線３４’とを切り出すことができる。
【００８３】
図１４は、図９（ａ）のパターンの切断例を示す図である。
図１４において、図９（ｂ）のグラフから点接触の候補となる頂点または辺接触の候補となる辺が求まると、これらの接触箇所の候補の位置で図９（ａ）のパターンを切断することにより、部分パターン４１〜４４を得ることができる。
【００８４】
部分パターンが求まると、単独パターン、あるいは、部分パターンと同一行の文字列に含まれる他のパターンとの可能な組み合わせにより得られる統合パターンに対し、文字認識を実行する。そして、認識候補文字種及び相違度（あるいは類似度）を求め、例えば、候補文字ラティス等の方法を用いることにより、一文字領域と文字認識候補を決定する。
【００８５】
図１５は、切断されたパターンの統合方法を示す図である。
図１５において、図１４の部分パターン４１〜４４が求まると、統合後の横方向の長さＷを算出し、統合後の横方向の長さＷがしきい値Ｗｔｈを越えた時に統合をストップする。例えば、図１５（ａ）において、図１４の部分パターン４１の横方向の長さＷ１がしきい値Ｗｔｈを越えているかどうか調べ、長さＷ１がしきい値Ｗｔｈを越えていない場合、図１５（ｂ）に示すように、図１４の部分パターン４１、４２を統合した統合パターン４５を生成する。
【００８６】
次に、統合パターン４５の横方向の長さＷ２がしきい値Ｗｔｈを越えているかどうか調べ、長さＷ２がしきい値Ｗｔｈを越えていない場合、図１５（ｃ）に示すように、図１５（ｂ）の統合パターン４５と図１４の部分パターン４３を統合した統合パターン４６を生成する。
【００８７】
次に、統合パターン４６の横方向の長さＷ３がしきい値Ｗｔｈを越えているかどうか調べ、長さＷ３がしきい値Ｗｔｈを越えていない場合、図１５（ｄ）に示すように、図１５（ｃ）の統合パターン４６と図１４の部分パターン４４を統合した統合パターン４７を生成する。
【００８８】
次に、統合パターン４７の横方向の長さＷ４がしきい値Ｗｔｈを越えているかどうか調べ、長さＷ４がしきい値Ｗｔｈを越えている場合、図１５（ｃ）の統合パターン４６と図１４の部分パターン４４との統合をストップする。
【００８９】
統合パターン４５、４６が求まると、統合パターン４５、４６及び部分パターン４１〜４４の文字認識を行い、文字との相違度の低いパターンを選別することにより、一文字ごとの切り出しを行うことができる。
【００９０】
図１６は、候補文字ラティス法による接触位置の決定方法を説明する図である。
図１６（ａ）において、「山口市」というパターンから部分パターン５１〜５５が切り出されたものとする。この場合、各パターンの横方向の長さを求めることにより、パターンの統合が可能かどうかを調べ、統合後のパターンの横方向の長さがしきい値Ｗｔｈ以下の場合、部分パターン５１〜５５を隣接パターンと統合する。この結果、部分パターン５１、５２を統合した統合パターン５６、部分パターン５２、５３を統合した統合パターン５７、部分パターン５１〜５３を統合した統合パターン５８、及び部分パターン５３、５４を統合した統合パターン５９が生成される。
【００９１】
部分パターン５１〜５５及び統合パターン５６〜５９が生成されると、これらのパターンの文字認識を実行し、「山口市」というパターンに対応するように、部分パターン５１〜５５及び統合パターン５６〜５９を組み合わせる。そして、これらの組み合わせの中から、最も相違度の低い組み合わせを選択する。
【００９２】
例えば、図１６（ｂ）において、部分パターンの組み合わせとして、Ｐ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５というパスを選択した場合、これらのパターンの相違度の合計は、２８４＋１８９＋１２６＋１７７＋２０３＝９７９となり、認識結果は「Ｕ−口市」となる。また、部分パターンの組み合わせとして、Ｐ６→Ｐ９→Ｐ５というパスを選択した場合、これらのパターンの相違度の合計は、４１９＋２０２＋２０３＝８２４となり、認識結果は「ル口市」となる。この処理を部分パターン５１〜５５及び統合パターン５６〜５９の全ての組み合わせについて行う。
【００９３】
この結果、最も相違度の低い組み合わせとして、Ｐ８→Ｐ４→Ｐ５というパスを選択することができ、統合パターン５８及び部分パターン５４，５５をそれぞれ一文字領域として切り出すことができる。ここで、統合パターン５８は「山口市」というパターンの中の「山」という文字に対応し、部分パターン５４は「山口市」というパターンの中の「口」という文字に対応し、部分パターン５５は「山口市」というパターンの中の「市」という文字に対応している。従って、「山口市」というパターンの中の「山」という文字と「口」という文字が辺接触している場合においても、１文字ごとに切り出すことができる。
【００９４】
図１７は、本発明の一実施例に係わるパターン抽出処理をソフトウエアを用いて実現した構成を示すブロック図である。
図１７において、６１は全体的な処理を行う中央演算処理ユニット（ＣＰＵ）、６２はリードオンリメモリ（ＲＯＭ）、６３はランダムアクセスメモリ（ＲＡＭ）、６４は通信インターフェイス、６５は通信ネットワーク、６６は入出力インターフェイス、６７は文字認識結果などを表示するディスプレイ、６８は文字認識結果などを印刷するプリンタ、６９はスキャナ７０により読み取られた画像データなどを一時的に格納するメモリ、７０は入力画像などを読み取るスキャナ、７１はキーボード、７２はマウスなどのポインティングデバイス、７３は記憶媒体を駆動するドライバ、７４はハードディスク、７５はＩＣメモリカード、７６は磁気テープ、７７はフロッピーディスク、７８はＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ディスク、７９はバスである。
【００９５】
パターン抽出処理や文字認識を行うプログラム、画像データなどは、ハードディスク７４、ＩＣメモリカード７５、磁気テープ７６、フロッピーディスク７７、光ディスク７８などの記憶媒体に格納される。そして、パターン抽出処理や文字認識を行うプログラム及び画像データを、これらの記憶媒体からＲＡＭ６３に読み出すことにより、文字領域の切り出しを行うことができる。また、パターン抽出処理や文字認識を行うプログラムを、ＲＯＭ６２に格納しておくこともできる。
【００９６】
さらに、パターン抽出処理や文字認識を行うプログラム、画像データ及び文字認識結果などを、通信ネットワーク６５を介して送受信したりすることもできる。通信インターフェイス６４に接続される通信ネットワーク６５として、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、インターネット、アナログ電話網、デジタル電話網（ＩＳＤＮ：ＩｎｔｅｇｒａｌＳｅｒｖｉｃｅＤｉｇｉｔａｌＮｅｔｗｏｒｋ）、ＰＨＳ（パーソナルハンディシステム）や衛星通信などの無線通信網を用いることができる。
【００９７】
ＣＰＵ６１は、パターン抽出処理を行うプログラムが起動されると、処理対象となる画像データのラベリングを行うことにより連結成分を抽出し、連結成分として抽出されたパターンの細線化を行う。細線化が終了すると、細線化パターンの探索を行うことにより、パターンの端点、交点、または屈曲点を抽出し、これらの端点、交点、または屈曲点の接続関係を調べる。接続関係が求まると、これらの接続関係をグラフで表現し、グラフの辺や頂点を操作した時にグラフの連結成分数が変化するかどうかを調べることより、パターンの切断箇所の候補を抽出する。
【００９８】
ここで、特徴点の接続関係を表すグラフを頂点隣接行列で表現することができる。そして、グラフの連結成分数の変化を頂点隣接行列を用いて調べることもできる。パターンの切断箇所の候補が抽出されると、これらの切断箇所の候補の位置でパターンを切断する。次に、文字認識を行うプログラムを起動し、切断された部分パターン及び部分パターを統合した統合パターンについて、文字認識を実行する。そして、相違度の最も小さいパターンの組み合わせをパターンの切断箇所に決定する。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、パターンの特徴点の接続関係に基づいて、パターンの接触箇所を判別することにより、パターンが傾いている場合においても、パターンの特徴点の接続関係は変化しないため、パターンの接触箇所を効率よく見つけることが可能となり、文字領域の切り出し精度を向上させることが可能となる。
【０１００】
また、本発明の一態様によれば、パターンの端点、交点、分岐点または屈曲点を文字同士の接触点の候補とすることにより、文字同士の接触点を効率よく見つけることが可能となる。
【０１０１】
また、本発明の一態様によれば、パターンを切断した時のパターンの分離方向に基づいて、文字同士の接触点の候補を絞り込むことにより、文字の構成部分となる特徴点を文字同士の接触点の候補から除くことが可能となり、文字同士の接触点の検出を効率化することが可能となる。
【０１０２】
また、本発明の一態様によれば、パターンの接続関係をグラフで表現することにより、パターンの接続情報のみを残したまま、それ以外の画像情報を除去することが可能となり、パターンの接続関係を効率よく評価することが可能となる。
また、本発明の一態様によれば、パターンの接続関係を頂点隣接行列で表すことにより、グラフの連結成分数を効率よく求めることが可能となり、パターンを特徴点で切断した際に、パターンが分離するかどうかを効率よく調べることが可能となる。
【０１０３】
また、本発明の一態様によれば、グラフから辺を除去した時のグラフの連結成分数をカウントすることにより、パターンの特徴点でパターンが分離するかどうかを容易に判別することが可能となり、点接触の場合の接触位置を高速に検出することが可能となる。
【０１０４】
また、本発明の一態様によれば、パターンを接触方向に沿って探索した時に、急に細くなる箇所でパターンを切断することにより、点接触前のパターンの形状を保ちつつ、パターンを切断することが可能となる。
【０１０５】
また、本発明の一態様によれば、グラフの辺及びその辺の両端の特徴点の二重化を行った時のグラフの連結成分数をカウントすることにより、パターンの辺でパターンが分離するかどうかを容易に判別することが可能となり、辺接触の場合の接触位置を高速に検出することが可能となる。
【０１０６】
また、本発明の一態様によれば、パターンの辺を垂直方向に二等分した位置で、パターンを切断することにより、辺接触前のパターンの形状を保ちつつ、パターンを切断することが可能となる。
【０１０７】
また、本発明の一態様によれば、接触位置を示す候補点で切断したパターンの文字認識結果に基づいて、それらの候補点が接触点かどうかを判別することにより、１つの接触箇所に対して接触位置を示す候補点が複数検出された場合においても、接触位置でない候補点を接触点から除外することが可能となり、文字の接触箇所を精度よく見つけ出すことが可能となる。
【０１０８】
また、本発明の一態様によれば、相違度の小さい文字の切り出しに成功しても、それ以外の領域から１文字として切り出されたパターンの相違度が大きい場合には、その切り出し位置を文字同士の接触箇所でないと判断することにより、文字列のパターンから相違度の小さい文字の切り出し位置の候補が複数得られた場合においても、それらの候補を絞り込むことが可能となり、文字同士の接触箇所の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係わるパターン抽出装置の構成を示すブロック図である。
【図２】本発明の一実施例に係わる文字認識装置の構成を示すブロック図である。
【図３】図２の接触候補箇所決定・切断部の処理を示すフローチャートである。
【図４】本発明の一実施例に係わる細線化パターンの具体例を示す図である。
【図５】次数２の頂点の決定方法を説明する図である。
【図６】（ａ）は、点接触したパターンの具体例を示す図、（ｂ）は、図６（ａ）のパターンをグラフ化した例を示す図、（ｃ）は、図６（ｂ）のグラフから辺を除去した場合にグラフの連結成分数が増加する例を示す図である。
【図７】（ａ）は、図６（ｂ）のグラフの頂点隣接行列を示す図、（ｂ）は、図６（ｃ）のグラフの頂点隣接行列を示す図である。
【図８】頂点隣接行列から接触点の候補を求める方法を示すフローチャートである。
【図９】（ａ）は、辺接触したパターンの具体例を示す図、（ｂ）は、図９（ａ）のパターンをグラフ化した例を示す図、（ｃ）は、図９（ｂ）のグラフの辺及びその辺の端点の二重化を行った場合にグラフの連結成分数が増加する例を示す図である。
【図１０】（ａ）は、図９（ｂ）のグラフの頂点隣接行列を示す図、（ｂ）は、図９（ｃ）のグラフの頂点隣接行列を示す図である。
【図１１】頂点隣接行列から辺接触の候補を求める方法を示すフローチャートである。
【図１２】点接触のパターンの切断方法を示す図である。
【図１３】辺接触のパターンの切断方法を示す図である。
【図１４】図１０（ａ）のパターンの切断例を示す図である。
【図１５】切断されたパターンの統合方法を示す図である。
【図１６】候補文字ラティス法による接触位置の決定方法を説明する図である。
【図１７】本発明の一実施例に係わるパターン抽出処理をソフトウエアを用いて実現した構成を示すブロック図である。
【図１８】従来の文字同士の接触位置の検出方法を示す図である。
【符号の説明】
１特徴点検出手段
２接続関係判別手段
３接触箇所判別手段
１１ＯＣＲ
１２観測部
１３文字列抽出部
１４接触文字判定部
１５接触候補箇所決定・切断部
１６候補文字ラティス生成部
１７認識辞書部
１８言語処理部
１９知識辞書部
６１ＣＰＵ
６２ＲＯＭ
６３ＲＡＭ
６４通信インターフェイス
６５通信ネットワーク
６６入出力インターフェイス
６７ディスプレイ
６８プリンタ
６９メモリ
７０スキャナ
７１キーボード
７２ポインティングデバイス
７３ドライバ
７４ハードディスク
７５ＩＣメモリカード
７６磁気テープ
７７フロッピーディスク
７８光ディスク
７９バス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pattern extraction device and a character segmentation device, and is particularly suitable for application when detecting a contact location of a contact character.
[0002]
[Prior art]
As a conventional method for detecting a contact position between characters, there is a method using a black pixel number histogram. In this method, a black pixel number histogram is obtained by counting the number of black pixels in the direction perpendicular to the direction of the character string, and the minimum point of the black pixel number histogram is used as a candidate for a contact position between characters.
[0003]
FIG. 18 is a diagram illustrating a conventional method for detecting a contact position between characters.
In FIG. 18A, it is assumed that a character pattern written by hand as “Inba-gun Shirai-cho” is input, and the characters “gun” and “white” are in contact at the position E4.
[0004]
Here, when determining the contact position of the pattern of FIG. 18A, as shown in FIG. 18B, a black pixel number histogram of the pattern of FIG. 18A is obtained. Then, the minimum points K1 to K5 of the black pixel number histogram are set as candidates for the contact portion.
[0005]
[Problems to be solved by the invention]
However, in the conventional method using the black pixel count histogram, if the character is tilted, another character line segment overlaps the contact portion, or the vertical character line segments in horizontal writing are in contact, There was a case where the black pixel count histogram value corresponding to the location did not become minimum, and there was a problem that the contact location could not be detected.
[0006]
For example, the black pixel number histogram value corresponding to the contact location E4 in FIG. 18A corresponds to the point E4 ′ in FIG. 18B, and the point E4 ′ is not a local minimum point. ) Is removed from the contact point candidates. As a result, the pattern of FIG. 18A cannot be cut at the position of the contact location E4, and the accuracy of character recognition deteriorates.
[0007]
SUMMARY OF THE INVENTION An object of the present invention is to provide a pattern extraction device and a character segmentation device that can improve the detection accuracy of a pattern contact location.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problem, according to the present invention, the contact location of the pattern is determined based on the connection relation of the feature points extracted from the pattern.
[0009]
As a result, it is possible to determine the contact position of the character in consideration of the connection state when the characters contact each other, and it is possible to eliminate the influence of the inclination of the character when determining the contact position. Therefore, even when the contact portion of the pattern does not correspond to the minimum point of the black pixel number histogram, it is possible to efficiently find the contact portion of the pattern, and to improve the cutout accuracy of the character region.
[0010]
Further, according to one aspect of the present invention, end points, intersections, branch points, or bending points of a pattern are detected, and contact points between characters are found from these points.
As a result, when the characters come into contact with each other, the contact point is usually an end point, an intersection, or a bending point, so that it is possible to efficiently find a contact point candidate between the characters.
[0011]
Further, according to one aspect of the present invention, when the pattern is cut at the position of the feature point of the pattern, a pattern whose pattern is not separated in the character arrangement direction is excluded from the candidate contact points between the characters.
[0012]
This makes it possible to remove from the candidates for contact points between characters a pattern where the pattern is cut in a direction different from the contact direction of the characters. Since there is no need to consider it as a point candidate, it is possible to efficiently find contact points between characters.
[0013]
Further, according to one aspect of the present invention, the connection relation of patterns is expressed by a graph in which a feature point of the pattern is a vertex and a line segment sandwiched between the vertices is an edge.
[0014]
This makes it possible to extract only the pattern connection information from the image data and to efficiently evaluate the pattern connection relationship, so it is possible to efficiently find contact points between characters. It becomes.
[0015]
Further, according to one aspect of the present invention, the number of connected components of a graph is obtained by expressing the connection relationship of patterns by a vertex adjacency matrix and counting the number of diagonalized blocks of the vertex adjacency matrix.
[0016]
This makes it possible to efficiently determine the number of connected components in the graph, and when the pattern is cut at feature points, it is possible to easily check whether the pattern is separated. It becomes possible to find a point efficiently.
[0017]
Further, according to one aspect of the present invention, the cut portion of the contact character is detected based on a change in the number of connected components in the graph when the edges of the graph are removed.
As a result, when determining the number of connected components of a pattern, there is no need to directly determine from image data with a large amount of information, and the number of connected components can be determined from graph data with a smaller amount of information compared to image data. Therefore, the contact position in the case of point contact can be detected at high speed.
[0018]
According to one aspect of the present invention, when the end point of the second line segment in contact with the first line segment is detected, the black pixel run length in the first line segment direction is rapidly reduced. The pattern is cut at the place to be done.
[0019]
This makes it possible to determine the actual pattern cutting location from the contact location specified by the vertex on the graph, and to cut the contact pattern at a position where the shape of the pattern before point contact can be reproduced. It becomes.
[0020]
Further, according to one aspect of the present invention, the cut portion of the contact character is detected based on the change in the number of connected components in the graph when the graph edge and the feature points at both ends of the graph are doubled. I have to.
[0021]
As a result, when determining the number of connected components of a pattern, there is no need to directly determine from image data with a large amount of information, and the number of connected components can be determined from graph data with a smaller amount of information compared to image data. Therefore, the contact position in the case of side contact can be detected at high speed.
[0022]
According to one aspect of the present invention, when an overlap between sides is detected, the pattern is cut at a position where the side is divided into two equal parts.
This makes it possible to obtain the actual pattern cutting location from the contact location specified on the side of the graph, and to cut the pattern at a position where the shape of the pattern before the side contact can be reproduced. Become.
[0023]
Further, according to one aspect of the present invention, when a plurality of candidate points indicating the contact position are obtained for one contact position, based on the character recognition result of the pattern cut at these candidate points, It is determined whether or not the candidate point is a contact point.
[0024]
Here, when the character pattern is cut at a point that is not the contact position, the non-character pattern is cut out, and the degree of difference from the character of the pattern is high. When the character pattern is cut at the contact position, the character pattern is cut out. Therefore, the degree of difference from the character of the character pattern is low. For this reason, even when a point that is not the contact position is detected as a candidate point indicating the contact position, the candidate point can be excluded from the contact point, and the contact location of the character can be found with high accuracy.
[0025]
Moreover, according to one aspect of the present invention, a plurality of character candidate patterns are cut out by combining the cut pattern with another pattern. And the contact part of a pattern is determined based on the combination from which the sum total of the difference degree of those patterns and a character becomes the lowest.
[0026]
As a result, even when a cutout position of a character with a low degree of difference is detected, if the degree of difference from the character of the pattern remaining in the other area is high, the cutout position is determined as the contact location between the characters. It is possible to determine the contact position between characters even when multiple candidate cutout positions for characters with low dissimilarities are obtained from the character string pattern. The accuracy can be improved.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a pattern extraction apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a pattern extraction apparatus according to an embodiment of the present invention.
[0028]
In FIG. 1, a feature point detector 1 detects a feature point of a pattern. Here, the feature points can be end points, intersection points, or bending points of the pattern. The connection relationship determination unit 2 determines the connection relationship of feature points detected by the feature point detection unit 1. The contact location determination unit 3 determines the contact location of the pattern based on the connection relationship determined by the connection relationship determination unit 2. Here, the connection relationship of the line segments constituting the pattern is preserved as it is even if the pattern is inclined. In addition, when characters contact each other, an intersection, a branch point, or a bending point of the pattern is formed at the contact portion. For this reason, by checking the connection relationship between the feature points of the pattern, it is possible to accurately detect the contact portion between the characters even when the pattern is inclined.
When examining whether or not a feature point extracted from a pattern is a contact point between characters, it is determined based on whether or not the pattern is separated into two when the pattern is separated at the position of the feature point.
[0029]
Here, the amount of information of the image data is enormous, and it takes time to directly process the image data itself and check the number of connected components of the pattern. Therefore, the contact location determination unit 3 may represent the connection relationship between the feature points in a graph. Then, by checking whether the number of connected components of the graph changes when the edges or vertices of the graph are manipulated, the contact location of the pattern may be determined. As a result, it is possible to extract only the information necessary for representing the connection relationship between the feature points of the pattern from the image data, and to examine the connection relationship between the feature points of the pattern, thereby shortening the processing time.
[0030]
In addition, the contact location determination unit 3 may represent a graph representing the connection relationship between feature points by a vertex adjacency matrix. Then, by checking whether the number of diagonalized blocks in the vertex adjacency matrix changes before and after the operation of the edges and vertices of the graph, the contact portion of the pattern may be determined.
[0031]
FIG. 2 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention. In the following embodiment, a case where characters are written in horizontal writing will be described. However, even when characters are written in vertical writing, processing can be similarly performed by replacing rows with columns. .
[0032]
In FIG. 2, an OCR (optical character recognition device) 11 reads a form or document in which handwritten characters are entered, and outputs a recognition result of handwritten characters. The observation unit 12 captures a form or document in which handwritten characters are entered by a CCD or a scanner, and converts the captured image data into black and white binary data. The character string extraction unit 13 cuts out a pattern of image data for each line and extracts a character string. The contact character determination unit 14 extracts a connected component of the pattern in each line image by labeling the pattern in each line image. Then, by examining the size and aspect ratio of the circumscribed rectangle of the connected component, it is determined whether or not the characters are in contact with each other. For example, when the horizontal length of the circumscribed rectangle of the connected component is longer than the vertical length by a predetermined value or more, it is determined that the connected component is a pattern in which characters are in contact with each other.
[0033]
The contact candidate location determination / cutting unit 15 determines a cut candidate location for the pattern determined as a contact character by the contact character determination unit 14. Here, when the candidate contact location determination / cutting unit 15 determines the candidate cut location, it does not determine the minimum point of the black pixel number histogram of the character string as the candidate cut location, but the pattern determined as the contact character. The connection relation of the constituent line segments is examined, and the connection point of the line segments is determined as a cutting candidate location. As a result, the character is tilted, another character line segment overlaps the contact portion, or the character line segments are in contact with each other, so the black pixel number histogram does not become minimum at the character contact point. Even in this case, it is possible to accurately identify the contact point of the character. Here, in order to find the connection points of the patterns efficiently, the connection relations of the patterns can be expressed in a graph or a vertex adjacency matrix can be used.
[0034]
When the cutting candidate location is determined, a partial pattern is generated by cutting the pattern determined to be a contact character at the cutting candidate location. The candidate character lattice generation unit 16 generates a candidate character two-terminal directed graph (hereinafter referred to as a candidate character lattice) by Dijkstra's method (hereinafter referred to as a candidate character lattice method) in the shortest path problem of a two-terminal directed graph. . That is, an integrated pattern is generated by a possible combination of the partial pattern cut by the contact candidate location determination / cutting unit 15 and the connected components of other patterns in the line image. Then, the integrated pattern or the single pattern before integration is compared with the character types registered in the recognition dictionary unit 17, and the candidate character types up to the Nth place and the degree of difference or similarity are obtained. When the candidate character type and the degree of difference or similarity are obtained, a candidate character lattice is generated, and a primary candidate for recognition is determined as one character region.
[0035]
The language processing unit 18 uses the knowledge dictionary unit 19 to check the primary candidate for recognition, and if the primary candidate is grammatically incorrect, replaces the primary candidate with a lower candidate. When a grammatically correct candidate is obtained, the candidate is determined as a character recognition result, and the position of the candidate is determined as one character area.
[0036]
FIG. 3 is a flowchart showing the processing of the contact candidate location determination / cutting unit 15 of FIG.
In FIG. 3, the contact candidate location determination / cutting unit 15 performs thinning of the contact pattern extracted by the contact character determination unit 14 (step S1). Here, thinning is performed in order to make it easy to obtain the end points, intersections, or bending points from the contact pattern. Therefore, the thinning is performed so that the end points, intersections, or bending points included in the original pattern are preserved.
[0037]
FIG. 4 is a diagram showing a specific example of a thinning pattern according to an embodiment of the present invention. In FIG. 4A, by thinning the pattern “Shizuoka” in contact at the point E1, the thinning pattern in FIG. 4B in contact at the point E1 ′ can be obtained. .
[0038]
When the thinning pattern is obtained, end points, intersections, and bending points are extracted from the thinning pattern, and these points are set as the vertices of the graph (step S2). That is, let the end points be the primary vertices, the intersections at which the three, four line segments intersect, respectively, as the tertiary and quaternary vertices. The secondary vertex is a bending point on each side.
[0039]
FIG. 5 is a diagram illustrating a method for determining a vertex of degree 2.
In FIG. 5, a point of interest P0 on a side sandwiched between two vertices and sample points P1 and P2 before and after the point are considered, and a vector having P1 as a start point and P0 as an end point is defined as d. ₁ , A vector with P0 as the start point and P2 as the end point is d ₂ The vector d ₁ , D ₂ Is obtained by the following equation.
[0040]
θ = cos ^-1 (D ₁ ・ D ₂ / | D ₁ | ・ | D ₂ ｜)
Where | d ₁ |, | D ₂ | Is the vector d ₁ , D ₂ Is the size of Angle θ is the threshold θ _th If larger, that is, θ> θ _th In this case, let P0 be the vertex of degree 2.
[0041]
Once the vertices of the graph are obtained, the thinning pattern is searched by the contour tracking method, the connection relation between the end points, the intersections, and the bending points extracted from the thinning pattern is obtained, and the adjacent relation between the vertices is obtained (step S3). When the vertex adjacency is obtained, a graph in which the vertices are connected by edges is generated.
[0042]
FIG. 6A is a diagram illustrating a specific example of a point-contact pattern, and FIG. 6B is a diagram illustrating an example in which the pattern of FIG. 6A is graphed.
In FIG. 6A, when the pattern “Kamiyama” that is point-contacted at the position E2 is extracted by the contact character determination unit 14, the pattern is thinned and thinned while searching for the thinned pattern. Check the pattern search direction. When the search direction changes by a predetermined angle or more during the search, the point is set as the secondary vertex of the graph. When the search direction branches into two during the search, the point is set as the tertiary vertex of the graph. In the search, when the search direction branches into three, the point is set as the fourth vertex of the graph.
[0043]
Through the above processing, the vertices V0 to V11 are detected from the pattern of FIG. 6A, and the graph G1 of FIG. 6B in which these vertices are connected by the sides e0 to e10 can be generated.
[0044]
When the contact candidate location determination / cutting unit 15 generates a graph corresponding to the character contact pattern, it determines a vertex adjacency matrix corresponding to the graph (step S4). The vertex adjacency matrix has row and column components corresponding to each vertex of the graph. When the vertices are connected by one side, the matrix component specified by the two vertices takes the value 1, and when the vertices are not connected, the matrix component specified by the two vertices Has the property of taking a value of 0.
[0045]
FIG. 7A is a diagram showing a vertex adjacency matrix of the graph of FIG.
In FIG. 7A, each of the row and column components corresponds to the vertices V0 to V11 of the graph G1, respectively. Here, in the graph G1 in FIG. 6B, when there are edges e0 to e10 connecting the two vertices V0 to V11, the matrix components specified by the two vertices V0 to V11 are one and two vertices V0. When there are no sides e0 to e10 connecting ~ V11, the matrix component specified by the two vertices V0 to V11 is 0. For example, in the graph G1 of FIG. 6B, since the vertices V3 and V4 are connected by the edge e3, the matrix components specified by the vertices V3 and V4 (the 4th row and the 5th column component and the 5th row and the 4th column) Component) is 1. Further, in the graph G1 of FIG. 6B, the vertices V2 and V5 are not connected by the edges e0 to e10, so that the matrix component specified by the vertices V2 and V5 (the component in the third row and the sixth column and the sixth row and the third column). The component in the column) is 0.
[0046]
When the vertex adjacency matrix is obtained, block diagonalization of the vertex adjacency matrix is performed by replacing the rows or columns of the vertex adjacency matrix. Then, the number of diagonalized blocks included in the vertex adjacency matrix after block diagonalization is counted (step S5). The number of diagonalized blocks included in the vertex adjacency matrix after block diagonalization corresponds to the number of connected components in the graph, and the number of diagonalized blocks included in the vertex adjacency matrix after block diagonalization is counted. Thus, the number of connected components in the graph can be obtained.
[0047]
Next, a point contact location candidate is derived (step S6). In the derivation of the point contact point candidates, when one side of the graph is removed one by one and the graph is separated into two by removing the side, for example, assuming that the connected component of the graph before removing the side is 1 When the connected component of the graph after removing the edge increases to 2, the vertexes at both ends of the edge are set as candidates for the point contact cutting point.
[0048]
Here, the vertex adjacency matrix corresponding to the graph after the edges are removed is obtained from the vertex adjacency matrix corresponding to the graph before the edges are removed, and the row or column of the vertex adjacency matrix is replaced. Perform block diagonalization. Whether the difference between the number of diagonalized blocks of the vertex adjacency matrix corresponding to the graph before removing the edge and the number of diagonalized blocks of the vertex adjacency matrix corresponding to the graph after removing the edge is 1 By checking whether or not the graph is separated into two, it can be determined.
FIG. 6C is a diagram illustrating an example in which the number of connected components in the graph increases when edges are removed from the graph of FIG.
[0049]
6C, when the edge e4 is removed from the graph G1 in FIG. 6B, the graph is separated into a graph G2 composed of vertices V0 to V4 and a graph G3 composed of vertices V5 to V11. In this case, the vertices V4 and V6 at both ends of the side e4 are set as point contact cutting point candidates. This makes it possible to detect the contact point E2 of the contact pattern in FIG.
[0050]
6 vertices V1 and V4 are selected as candidates for a cut point by point contact by removing edges e0 to e10 one by one from the graph G1 in FIG. 6B and examining whether the graph G1 is separated into two. , V6, V7, V9, and V11 are detected. At this stage, in addition to the vertex V6 corresponding to the contact point E2, vertices V1, V4, V7, V9, and V11 corresponding to intersections and bending points included in the character itself are also detected.
[0051]
FIG. 7B shows the vertex adjacency matrix of the graphs G2 and G3 in FIG.
In FIG. 7B, when the vertex adjacency matrix of FIG. 7B is obtained from the vertex adjacency matrix of FIG. 7A, it corresponds to the vertices at both ends of the side removed from the graph G1 of FIG. 6B. Set the matrix component to 0. For example, it is assumed that the graphs G2 and G3 in FIG. 6C are generated by removing the edge e4 from the graph G1 in FIG. In this case, since the vertices at both ends of the edge e4 are V4 and V6, the components specified by the vertices V4 and V6 of the vertex adjacency matrix in FIG. 7A, that is, the (5, 7) component and (7, 5 ) Set the component to 0. As a result, the vertex adjacency matrix of FIG. 7B is obtained.
[0052]
In the vertex adjacency matrix of FIG. 7B, two square matrices A1 and A2 are arranged diagonally diagonally, and can be expressed in the form of a direct sum of the two square matrices A1 and A2. Here, the number of diagonalized blocks (number of square matrices arranged diagonally diagonally) obtained by block diagonalization of the vertex adjacency matrix represents the number of connected components of the graph corresponding to the vertex adjacency matrix. Yes. Therefore, by using the vertex adjacency matrix, it is possible to determine whether or not the graph is separated into two when the edge is removed from the graph, and the vertexes at both ends of the edge at that time are point contact cutting point candidates. It can be.
[0053]
FIG. 8 is a flowchart showing a method for obtaining contact point candidates from the vertex adjacency matrix. In the flowchart of FIG. 8, it is usually about two points where characters touch each other at a plurality of locations, and therefore, processing for obtaining up to two-point contact is shown.
[0054]
In FIG. 8, two are selected from the vertices of the graph, and it is determined whether or not the j row k column component of the vertex adjacency matrix corresponding to the vertex is 1 (step S21). Then, if the j row k column component of the vertex adjacency matrix is 1, the j row k column component and the k row j column component are set to 0 (step S22). Next, the blocks of the vertex adjacency matrix in which the j row k column component and the k row j column component are set to 0 by exchanging the rows or columns of the vertex adjacency matrix in which the j row k column component and the k row j column component are set to 0 Diagonalization is performed, and the number of diagonalized blocks after block diagonalization is counted (step S23).
[0055]
Next, the number of diagonalized blocks in the vertex adjacency matrix before setting the j row k column component and the k row j column component to 0, and the vertex adjacency after setting the j row k column component and the k row j column component to 0 The number of diagonalized blocks of the matrix is compared (step S24), and the number of diagonalized blocks of the vertex adjacency matrix after setting the j row and k column components and the k row and j column components to 0 becomes the j row and k column components and If the number of diagonalized blocks in the vertex adjacency matrix before setting the k row and j column component to 0 is increased by 1, the vertex j and the vertex k are set as candidates for one-point contact cutting points (step S25). The above processing is repeated for all components in the j row and k column of the vertex adjacency matrix.
[0056]
Next, four vertices of the graph excluding candidates for one-point contact cutting points are selected, and it is determined whether the j-row k-column component and the m-row n-column component of the vertex adjacency matrix corresponding to the vertex are 1 (step). S26). When the j row k column component and the m row n column component of the vertex adjacency matrix are 1, the j row k column component and the k row j column component are set to 0, and the m row n column component and the n row m column component Is set to 0 (step S27). Next, by exchanging the rows or columns of the vertex adjacency matrix in which these four components are set to 0, block diagonalization of the vertex adjacency matrix in which these four components are set to 0 is performed. The number of diagonal blocks is counted (step S28).
[0057]
Next, the number of diagonalized blocks of the vertex adjacency matrix before setting these four components to 0 is compared with the number of diagonalized blocks of the vertex adjacency matrix after setting these four components to 0 ( In step S29), the number of diagonalization blocks of the vertex adjacency matrix after these four components are set to 0 is increased by 1 from the number of diagonalization blocks of the vertex adjacency matrix before these four components are set to 0 In such a case, vertex j, vertex k, vertex m, and vertex n are set as candidates for a cut point for two-point contact (step S30). The above processing is repeated for all combinations of components of j rows and k columns and m rows and n columns of the vertex adjacency matrix.
[0058]
Next, a side contact candidate location is derived (step S7). In the derivation of the edge contact candidate portion, when one side of the graph and two vertices connected to both ends of the side are doubled and the graph is separated into two by duplication, for example, the connected component of the graph before duplication is 1. If there is, if the connected component of the graph after duplication is increased to 2, that side is set as a candidate for a cut portion of the side contact.
[0059]
Here, the vertex adjacency matrix corresponding to the graph after duplexing the edge and the two vertices connected to both ends of the edge is the vertex adjacency corresponding to the graph before the edge and the two vertices connected to both ends of the edge are duplexed. A block diagonalization of the vertex adjacency matrix is performed by obtaining the matrix and replacing the rows or columns of the vertex adjacency matrix. Then, whether or not the difference between the number of diagonalized blocks of the vertex adjacency matrix corresponding to the graph before duplication and the number of diagonalized blocks of the vertex adjacency matrix corresponding to the graph after duplication becomes 1 is checked. Thus, it may be determined whether or not the graph is separated into two.
[0060]
FIG. 9A is a diagram showing a specific example of a side contact pattern, FIG. 9B is a diagram showing an example of the pattern of FIG. 9A, and FIG. 9C is FIG. It is a figure which shows the example which the number of connected components of a graph increases, when the edge of the graph of (b) and the end point of the side are doubled.
[0061]
In FIG. 9A, when the pattern “Yamaguchi” that is in edge contact at the position E3 is extracted by the contact character determination unit 14, the pattern is thinned and thinned while searching for the thinned pattern. Check the pattern search direction. When the search direction changes by a predetermined angle or more during the search, the point is set as the secondary vertex of the graph. When the search direction branches into two during the search, the point is set as the tertiary vertex of the graph. In the search, when the search direction branches into three, the point is set as the fourth vertex of the graph.
[0062]
Through the above processing, the vertices V0 to V7 are detected from the pattern of FIG. 9A, and the graph G11 of FIG. 9B in which these vertices are connected by the sides e0 to e7 can be generated.
[0063]
Next, in the graph G11 of FIG. 9B, for example, the edge e4 and the vertex V4 ′ connected to both ends of the edge e4 ′ by duplicating the edge e4 and the vertices V4 and V5 of the edge e4 are used. , V5 ′. Here, when duplexing is performed, the connection relationship between the vertices V4 and V5 and the other vertices V0 to V3, V6, and V7 is examined. For the vertices V4 and V5, only the connection relationship between the vertices V4 and V5 and the vertices adjacent in the left direction is given, and for the vertices V4 ′ and V5 ′, the vertices adjacent to the vertices V4 and V5 in the right direction Only the connection relation of is given.
[0064]
For example, when the vertex V6 is detected as a vertex adjacent to the vertex V4, the adjacent direction of the vertex V6 with respect to the vertex V4 is checked. As a result, when it is determined that the vertex V6 is adjacent to the vertex V4 in the right direction, the vertex V6 is separated from the vertex V4 of the graph G12, and the vertex V6 is connected to the vertex V4 ′ of the graph G13. When vertices V3 and V7 are detected as vertices adjacent to the vertex V5, the adjacent directions of the vertices V3 and V7 with respect to the vertex V5 are checked. As a result, when it is determined that the vertex V3 is adjacent to the vertex V5 in the left direction, the vertex V3 is separated from the vertex V5 ′ of the graph G13, and the vertex V3 is connected to the vertex V5 of the graph G12. If it is determined that the vertex V7 is adjacent to the vertex V5 in the right direction, the vertex V7 is separated from the vertex V5 of the graph G12, and the vertex V7 is connected to the vertex V5 ′ of the graph G13.
[0065]
As a result, as shown in FIG. 9C, the graph is divided into a graph G12 composed of vertices V0 to V5 and a graph G13 composed of vertices V4 ′, V5 ′, V6 and V7. In this case, the side e4 is set as a candidate for a cut point for side contact. This makes it possible to detect the contact side E3 of the contact pattern in FIG.
In the graph of FIG. 9B, the sides e0 to e7 are doubled one by one, and by checking whether the graph is separated into two, two sides e0 and e4 are selected as candidates for the cut portion by the side contact. Can be detected. At this stage, in addition to the side e4 corresponding to the contact location E3, the side e0 corresponding to the line segment constituting the character itself is also detected.
[0066]
FIG. 10A shows a vertex adjacency matrix of the graph of FIG. 9B, and FIG. 10B shows a vertex adjacency matrix of the graph of FIG. 9C.
In FIG. 10A, each row and column component corresponds to each of the vertices V0 to V7 of the graph. Here, in the graph of FIG. 9B, when there are edges e0 to e7 connecting the two vertices V0 to V7, the matrix components specified by the two vertices V0 to V7 are one, two vertices V0 to V0. When there are no sides e0 to e7 connecting V7, the matrix component specified by the two vertices V0 to V7 is zero.
[0067]
When obtaining the vertex adjacency matrix of FIG. 10B from the vertex adjacency matrix of FIG. 10A, the rows and columns corresponding to the vertices at both ends of the duplicated side of FIG. 9B are copied. Then, among the row and column components to be copied, the vertex component adjacent to the right direction is set to 0, and among the row and column components newly inserted by copying, the vertex adjacent to the left direction is set. The component of is set to 0.
[0068]
For example, by duplicating the edge e4 of the graph of FIG. 9B and the vertices V4 and V5 at both ends of the edge e4, vertices V4 ′ and V5 ′ connected to both ends of the edge e4 ′ and the edge e4 ′ are generated. Assume that the graph of FIG. 9C is generated. In this case, by copying a row and a column corresponding to the vertex V4 of the vertex adjacency matrix in FIG. 10A, a row and a column corresponding to the vertex V4 ′ are newly generated, and a row and a column corresponding to the vertex V5 are generated. By copying the column, a new row and column corresponding to the vertex V4 ′ is generated. Here, among the row and column components corresponding to the vertex V4, the component corresponding to the vertex V6 adjacent to the right of the vertex V4 is set to 0, and among the row and column components corresponding to the vertex V5, the vertex V5 The component corresponding to the vertex V7 adjacent in the right direction is set to 0, and the component corresponding to the vertex V3 adjacent in the left direction of the vertex V5 is set to 0 among the row and column components corresponding to the vertex V5 ′. And the vertex adjacency matrix of FIG.10 (b) is obtained by replacing a row and a column and performing block diagonalization.
[0069]
In the vertex adjacency matrix of FIG. 10B, two square matrices A1 and A2 are arranged diagonally diagonally, and can be expressed in the form of a direct sum of the two square matrices A1 and A2. Here, the number of diagonalized blocks (number of square matrices arranged diagonally diagonally) obtained by block diagonalization of the vertex adjacency matrix represents the number of connected components of the graph corresponding to the vertex adjacency matrix. Yes. For this reason, by using the vertex adjacency matrix, it is possible to determine whether or not the graph is separated into two when the graph edge is duplicated, and the edge at that time can be set as a candidate for a cutting point of edge contact. it can.
[0070]
FIG. 11 is a flowchart illustrating a method of obtaining edge contact candidates from the vertex adjacency matrix.
In FIG. 11, it is determined whether or not the j row k column component of the vertex adjacency matrix is 1 (step S41). Here, when the j row k column component of the vertex adjacency matrix is 1, the character line width h of the pattern corresponding to the side sandwiched between the vertex corresponding to the j row and the vertex corresponding to the k column is Check whether the following conditions are satisfied.
[0071]
H × a <h (1.0 <a)
Here, H is an average character width, a is a constant having a value larger than 1, and can be determined by experiment. Then, sides that do not satisfy this condition are excluded from duplication candidates (step S42). As a result of this processing, only those whose line width is thicker than the other sides can be selected as candidates for the sides to be duplicated. , Can be removed from the edge contact candidates.
[0072]
Also, in the case of horizontal writing, only the side in the vertical direction is duplicated in the vertical direction, so that a threshold value is also provided for the inclination of the side. That is, if the slope of the target side is S and the threshold of the slope is Sth,
S> Sth (in horizontal writing)
S <Sth (for vertical writing)
Duplication is performed only for candidates that satisfy the condition (step S42). The threshold value Sth can be determined by experiment.
[0073]
Next, the j-th row of the vertex adjacency matrix is copied to the j + 1-th row, the j + 1-th row and beyond of the vertex adjacency matrix are shifted, and the j-th column of the vertex adjacency matrix is copied to the j + 1-th column. The j + 1th and subsequent columns are shifted (step S43).
[0074]
Next, in horizontal writing, when there is a vertex adjacent to the right of the j-th vertex, the component corresponding to the vertex adjacent to the right of the components in the j-th row and the j-th column is set to 0, and the j-th vertex If there are vertices adjacent to the left in the left direction, the component corresponding to the vertex adjacent in the left direction among the components in the (j + 1) th row and the (j + 1) th column is set to 0 (step S44). In the case of vertical writing, when there is a vertex adjacent in the upward direction of the j-th vertex, the component corresponding to the vertex adjacent in the upward direction is set to 0 among the components in the j-th row and the j-th column, and the j-th vertex If there are vertices adjacent in the downward direction, the component corresponding to the vertex adjacent in the downward direction is set to 0 among the components in the (j + 1) th row and the (j + 1) th column.
[0075]
Next, the k-th row of the vertex adjacency matrix is copied to the k + 1-th row, the k + 1-th row and the subsequent rows of the vertex adjacency matrix are shifted, and the k-th column of the vertex adjacency matrix is copied to the k + 1-th column. The k + 1st and subsequent columns are shifted (step S45).
[0076]
Next, in horizontal writing, when there is a vertex adjacent to the right of the k-th vertex, the component corresponding to the vertex adjacent to the right of the k-th and k-th components is set to 0, and the k-th vertex If there are vertices adjacent to the left in the left direction, the component corresponding to the vertex adjacent in the left direction among the components in the (k + 1) th row and the (k + 1) th column is set to 0 (step S46). In the case of vertical writing, if there is a vertex adjacent in the upward direction of the k-th vertex, the component corresponding to the vertex adjacent in the upward direction is set to 0 among the components in the k-th row and the k-th column, and the k-th vertex If there are vertices adjacent in the downward direction, the component corresponding to the vertex adjacent in the downward direction is set to 0 among the components in the (k + 1) th row and the (k + 1) th column.
[0077]
Next, by exchanging the rows or columns of the vertex adjacency matrix corresponding to the graph in which the edges specified by the j-row and k-column components are doubled, the vertex adjacency matrix is subjected to block diagonalization, and the block diagonalization The number of diagonal blocks is counted (step S47). Next, the number of diagonalized blocks of the vertex adjacency matrix corresponding to the graph before the edge specified by the j row and k column component is doubled and the graph after the edge specified by the j row and k column component is doubled The number of diagonal blocks of the corresponding vertex adjacency matrix is compared with the number of diagonal blocks of the corresponding vertex adjacency matrix (step S48). If the number of diagonalized blocks in the vertex adjacency matrix corresponding to the graph before duplication of the edge specified by the j row and k column component is increased by 1, the edge between the vertex j and the vertex k is edge-contacted. A candidate for a cut portion of (step S49). The above processing is repeated for j = 1 to the total number of vertices and k = j + 1 to the total number of vertices.
[0078]
When the point contact location candidates and the side contact location candidates are extracted from the graph by the processes of steps S6 and S7 in FIG. 3, the contact location candidates are narrowed down (steps S8 to S10). The contact location candidates are narrowed down to prevent the pattern from being divided in the direction perpendicular to the character string direction. For example, in the case of horizontally written characters, contact between characters occurs in the horizontal direction, and in the case of vertically written characters, contact between characters occurs in the vertical direction. For this reason, in the case of horizontally written characters, only the contact location candidates that divide the pattern in the horizontal direction are selected, and the contact location candidates that divide the pattern in the vertical direction are removed. Also, do not be. In the case of vertically written characters, only contact point candidates for dividing the pattern in the vertical direction are selected, and contact point candidates for dividing the pattern in the horizontal direction are removed.
[0079]
Here, if the size in the character string direction of each separated graph is Wj and the size in the character string direction of the original graph is W,
W × C1 <Wj <W × C2
(0.0 <C1 <C2 <1.0, j = 1, 2)
Only the cutting candidates that become are selected. Here, C is a constant that takes a value between 0 and 1, and can be determined by experiment.
[0080]
When the contact location candidate is determined, the contact pattern is cut and a partial pattern is created (step S11). In the cutting of the contact pattern, the cutting position on the actual pattern is obtained from the vertex or side on the graph determined as the contact location candidate, and the contact pattern is cut at the cutting position.
[0081]
FIG. 12 is a diagram illustrating a method of cutting a point contact pattern.
In FIG. 12A, when the point contact point candidate is determined on the graph, the cutting candidate point 22 on the contact pattern 21 corresponding to the vertex on the graph determined as the point contact point candidate is obtained. When the cutting candidate point 22 is obtained, the character line 24 in contact with the end point is traced from the cutting candidate point 22 along the side of the thinning pattern 25, and the black pixel run length in the direction parallel to the other side 26 is determined. Ask. As a result, the black pixel run length sharply decreases at the position of the contact portion 23 of the character line 24 as shown in FIG. Therefore, the contact pattern 21 is cut at a position corresponding to the location K where the black pixel run length sharply decreases. As a result, as shown in FIG. 12C, the character line 24 ′ corresponding to the character line 24 of the contact pattern 21 and the character line 26 ′ corresponding to the character line 26 of the contact pattern 21 can be cut out.
[0082]
FIG. 13 is a diagram illustrating a method of cutting a side contact pattern.
In FIG. 13A, when the candidate for the edge contact location is determined on the graph, the character line 31 on the contact pattern 21 corresponding to the edge on the graph determined as the candidate for the edge contact location is obtained. When the character line 31 is obtained, the character line 31 is divided into two by the side of the thinned pattern 32. As a result, as shown in FIG. 13B, the character line 33 ′ corresponding to the character line 33 of the contact pattern 31 and the character line 34 ′ corresponding to the character line 34 of the contact pattern 31 can be cut out.
[0083]
FIG. 14 is a diagram illustrating a cutting example of the pattern of FIG.
In FIG. 14, when vertices that are candidates for point contact or sides that are candidates for edge contact are obtained from the graph of FIG. 9B, the pattern of FIG. 9A is cut at the positions of these contact location candidates. Thus, the partial patterns 41 to 44 can be obtained.
[0084]
When the partial pattern is obtained, character recognition is performed for an integrated pattern obtained by a single pattern or a possible combination of the partial pattern and another pattern included in the character string on the same line. Then, a recognition candidate character type and a dissimilarity (or similarity) are obtained, and one character region and a character recognition candidate are determined by using a method such as a candidate character lattice.
[0085]
FIG. 15 is a diagram illustrating a method for integrating cut patterns.
In FIG. 15, when the partial patterns 41 to 44 of FIG. 14 are obtained, the horizontal length W after integration is calculated, and the integration is stopped when the horizontal length W after integration exceeds the threshold value Wth. To do. For example, in FIG. 15A, it is checked whether or not the horizontal length W1 of the partial pattern 41 in FIG. 14 exceeds the threshold value Wth, and if the length W1 does not exceed the threshold value Wth, FIG. As shown in (b), an integrated pattern 45 in which the partial patterns 41 and 42 in FIG. 14 are integrated is generated.
[0086]
Next, it is checked whether the horizontal length W2 of the integrated pattern 45 exceeds the threshold value Wth. If the length W2 does not exceed the threshold value Wth, as shown in FIG. An integrated pattern 46 is generated by integrating the integrated pattern 45 of 15 (b) and the partial pattern 43 of FIG.
[0087]
Next, it is examined whether or not the horizontal length W3 of the integrated pattern 46 exceeds the threshold value Wth. If the length W3 does not exceed the threshold value Wth, as shown in FIG. An integrated pattern 47 is generated by integrating the integrated pattern 46 of 15 (c) and the partial pattern 44 of FIG.
[0088]
Next, it is checked whether or not the horizontal length W4 of the integrated pattern 47 exceeds the threshold value Wth, and when the length W4 exceeds the threshold value Wth, the integrated pattern 46 and FIG. The integration with the 14 partial patterns 44 is stopped.
[0089]
When the integrated patterns 45 and 46 are obtained, character recognition of the integrated patterns 45 and 46 and the partial patterns 41 to 44 is performed, and a pattern having a low degree of difference from the characters is selected, so that each character can be cut out.
[0090]
FIG. 16 is a diagram for explaining a method for determining a contact position by the candidate character lattice method.
In FIG. 16A, it is assumed that partial patterns 51 to 55 are cut out from the pattern “Yamaguchi City”. In this case, by determining the horizontal length of each pattern, it is checked whether the patterns can be integrated. If the horizontal length of the combined pattern is equal to or less than the threshold value Wth, the partial patterns 51 to 55 are adjacent to each other. Integrate with patterns. As a result, an integrated pattern 56 in which the partial patterns 51 and 52 are integrated, an integrated pattern 57 in which the partial patterns 52 and 53 are integrated, an integrated pattern 58 in which the partial patterns 51 to 53 are integrated, and an integrated pattern in which the partial patterns 53 and 54 are integrated. 59 is generated.
[0091]
When the partial patterns 51 to 55 and the integrated patterns 56 to 59 are generated, character recognition of these patterns is executed, and the partial patterns 51 to 55 and the integrated patterns 56 to 59 are made to correspond to the pattern “Yamaguchi City”. Combine. Then, the combination having the lowest difference is selected from these combinations.
[0092]
For example, in FIG. 16B, when a path of P1 → P2 → P3 → P4 → P5 is selected as a combination of partial patterns, the total difference between these patterns is 284 + 189 + 126 + 177 + 203 = 979, and the recognition result is “ U-guchi City ". When a path of P6 → P9 → P5 is selected as a combination of partial patterns, the total difference between these patterns is 419 + 202 + 203 = 824, and the recognition result is “Leguchi City”. This process is performed for all combinations of the partial patterns 51 to 55 and the integrated patterns 56 to 59.
[0093]
As a result, the path of P8 → P4 → P5 can be selected as the combination having the lowest difference, and the integrated pattern 58 and the partial patterns 54 and 55 can be cut out as one character area. Here, the integrated pattern 58 corresponds to the character “yama” in the pattern “Yamaguchi City”, the partial pattern 54 corresponds to the character “mouth” in the pattern “Yamaguchi City”, and the partial pattern 55. Corresponds to the letter “city” in the pattern “Yamaguchi City”. Therefore, even when the characters “mountain” and the characters “mouth” in the pattern “Yamaguchi City” are in contact with each other, they can be cut out character by character.
[0094]
FIG. 17 is a block diagram showing a configuration in which pattern extraction processing according to an embodiment of the present invention is realized using software.
In FIG. 17, 61 is a central processing unit (CPU) that performs overall processing, 62 is a read only memory (ROM), 63 is a random access memory (RAM), 64 is a communication interface, 65 is a communication network, and 66 is Input / output interface; 67, display for displaying character recognition results; 68, printer for printing character recognition results; 69, memory for temporarily storing image data read by scanner 70; 70, input image, etc. 71, a keyboard, 72 a pointing device such as a mouse, 73 a driver for driving a storage medium, 74 a hard disk, 75 an IC memory card, 76 a magnetic tape, 77 a floppy disk, 78 a CD-ROM And DVD-ROM and other optical disks 79 is a bus.
[0095]
A program for performing pattern extraction processing and character recognition, image data, and the like are stored in a storage medium such as a hard disk 74, an IC memory card 75, a magnetic tape 76, a floppy disk 77, and an optical disk 78. A character area can be cut out by reading a program for performing pattern extraction processing and character recognition and image data from these storage media into the RAM 63. A program for performing pattern extraction processing and character recognition can also be stored in the ROM 62.
[0096]
Furthermore, a program for performing pattern extraction processing and character recognition, image data, character recognition results, and the like can be transmitted and received via the communication network 65. Examples of the communication network 65 connected to the communication interface 64 include a LAN (Local Area Network), a WAN (Wide Area Network), the Internet, an analog telephone network, a digital telephone network (ISDN), and a PHS (Personal Handy Network). System) and satellite communication.
[0097]
When the program for performing pattern extraction processing is started, the CPU 61 extracts connected components by labeling image data to be processed, and thins the patterns extracted as connected components. When thinning is completed, the thinning pattern is searched to extract pattern end points, intersection points, or bending points, and the connection relationship between these end points, intersection points, or bending points is examined. When connection relations are obtained, these connection relations are represented by graphs, and by examining whether or not the number of connected components of the graph changes when the edges and vertices of the graph are manipulated, candidates for pattern cut portions are extracted.
[0098]
Here, a graph representing the connection relationship between feature points can be represented by a vertex adjacency matrix. The change in the number of connected components in the graph can be examined using the vertex adjacency matrix. When the candidates for pattern cutting portions are extracted, the pattern is cut at the positions of these cutting portion candidates. Next, a program for performing character recognition is started, and character recognition is executed for an integrated pattern obtained by integrating the cut partial patterns and partial patterns. Then, the combination of the patterns having the smallest difference is determined as the cut portion of the pattern.
[0099]
【The invention's effect】
As described above, according to the present invention, by determining the contact location of the pattern based on the connection relationship between the feature points of the pattern, even when the pattern is inclined, the connection relationship between the feature points of the pattern is Since the pattern does not change, it is possible to efficiently find the contact portion of the pattern, and it is possible to improve the character region cutout accuracy.
[0100]
In addition, according to one aspect of the present invention, it is possible to efficiently find contact points between characters by using the end points, intersections, branch points, or bending points of the pattern as candidates for contact points between characters.
[0101]
In addition, according to one aspect of the present invention, by narrowing down the candidate contact points between characters based on the pattern separation direction when the pattern is cut, the feature points that constitute the characters are contacted between the characters. It becomes possible to remove the point from the candidate point, and it becomes possible to improve the detection of the contact point between the characters.
[0102]
Also, according to one aspect of the present invention, it is possible to remove other image information while leaving only the pattern connection information by expressing the pattern connection relation in a graph. Can be evaluated efficiently.
In addition, according to one aspect of the present invention, it is possible to efficiently obtain the number of connected components of a graph by expressing the connection relation of patterns by a vertex adjacency matrix, and when a pattern is cut at a feature point, the pattern is It becomes possible to investigate efficiently whether to separate.
[0103]
Further, according to one aspect of the present invention, it is possible to easily determine whether or not a pattern is separated at a feature point of the pattern by counting the number of connected components in the graph when edges are removed from the graph. It is possible to detect the contact position in the case of point contact at high speed.
[0104]
Moreover, according to one aspect of the present invention, when searching for a pattern along the contact direction, the pattern is cut while maintaining the shape of the pattern before point contact by cutting the pattern at a portion that suddenly becomes thin. It becomes possible.
[0105]
Further, according to one aspect of the present invention, whether or not a pattern is separated at the edge of the pattern by counting the number of connected components of the graph when the edge of the graph and the feature points at both ends of the edge are doubled Can be easily discriminated, and the contact position in the case of side contact can be detected at high speed.
[0106]
Further, according to one aspect of the present invention, it is possible to cut the pattern while maintaining the shape of the pattern before the side contact by cutting the pattern at a position where the side of the pattern is divided into two equal parts in the vertical direction. It becomes.
[0107]
Moreover, according to one aspect of the present invention, by determining whether or not the candidate points are contact points based on the character recognition result of the pattern cut at the candidate points indicating the contact position, Even when a plurality of candidate points indicating the contact position are detected, candidate points that are not the contact position can be excluded from the contact points, and the contact point of the character can be found with high accuracy.
[0108]
In addition, according to one aspect of the present invention, even when a character with a small difference degree is successfully cut out, if the difference degree between patterns cut out as one character from other areas is large, the cutout position is set as a character. By determining that it is not a contact location between characters, even if multiple candidates for the cutout position of a character with a small difference are obtained from the character string pattern, it is possible to narrow down those candidates, and the contact location between characters Detection accuracy can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the configuration of a pattern extraction apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention.
FIG. 3 is a flowchart showing processing of a contact candidate location determination / cutting unit in FIG. 2;
FIG. 4 is a diagram showing a specific example of a thinning pattern according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining a method of determining a vertex of degree 2;
6A is a diagram illustrating a specific example of a point-contact pattern, FIG. 6B is a diagram illustrating an example of the pattern of FIG. 6A, and FIG. 6C is a diagram illustrating FIG. It is a figure which shows the example which the number of connected components of a graph increases when an edge is removed from the graph of ().
7A is a diagram showing a vertex adjacency matrix of the graph of FIG. 6B, and FIG. 7B is a diagram showing a vertex adjacency matrix of the graph of FIG. 6C.
FIG. 8 is a flowchart illustrating a method for obtaining a contact point candidate from a vertex adjacency matrix.
9A is a diagram illustrating a specific example of a side contact pattern, FIG. 9B is a diagram illustrating an example of the pattern of FIG. 9A, and FIG. 9C is a diagram illustrating FIG. ) Is a diagram showing an example in which the number of connected components in the graph increases when the side of the graph and the end points of the side are doubled.
10A is a diagram showing a vertex adjacency matrix of the graph of FIG. 9B, and FIG. 10B is a diagram showing a vertex adjacency matrix of the graph of FIG. 9C.
FIG. 11 is a flowchart illustrating a method of obtaining edge contact candidates from a vertex adjacency matrix.
FIG. 12 is a diagram showing a method of cutting a point contact pattern.
FIG. 13 is a diagram illustrating a method of cutting a side contact pattern.
14 is a diagram showing a cutting example of the pattern of FIG.
FIG. 15 is a diagram illustrating a method for integrating cut patterns.
FIG. 16 is a diagram for explaining a method for determining a contact position by a candidate character lattice method;
FIG. 17 is a block diagram showing a configuration in which pattern extraction processing according to an embodiment of the present invention is realized using software.
FIG. 18 is a diagram illustrating a conventional method for detecting a contact position between characters.
[Explanation of symbols]
1 Feature point detection means
2 Connection relation discrimination means
3 Contact point discrimination means
11 OCR
12 Observation Department
13 Character string extractor
14 Contact character judgment part
15 Contact candidate location determination / cutting section
16 Candidate character lattice generator
17 Recognition dictionary
18 Language processor
19 Knowledge Dictionary
61 CPU
62 ROM
63 RAM
64 communication interface
65 Communication network
66 I / O interface
67 display
68 Printer
69 memory
70 scanner
71 keyboard
72 pointing devices
73 Driver
74 hard disk
75 IC memory card
76 Magnetic tape
77 Floppy disk
78 Optical disc
79 Bus

Claims

A feature point detecting means for detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern;
Graph generating means for generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides ;
A first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation means is generated, and a second corresponding to the graph when the edge of the graph is removed A vertex adjacency matrix is generated, and when the number of diagonal blocks changes between the first vertex adjacency matrix and the second vertex adjacency matrix, the end point of the removed side is determined as the contact location of the contact character A contact point discrimination means for
A pattern extraction apparatus comprising:

A feature point detecting means for detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern;
Graph generating means for generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
When a first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation unit is generated, and the edge of the graph and the feature points at both ends of the side are doubled When the second vertex adjacency matrix corresponding to the graph of (2) is generated and the number of diagonal blocks between the first vertex adjacency matrix and the second vertex adjacency matrix changes, the position of the doubled edge Cutting point detecting means for detecting the cutting point,
A pattern extraction apparatus comprising:

A feature point detecting means for detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern;
Graph generating means for generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
A first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation means is generated, and a second corresponding to the graph when the edge of the graph is removed A vertex adjacency matrix is generated, and when the number of diagonal blocks changes between the first vertex adjacency matrix and the second vertex adjacency matrix, the end point of the removed side is determined as the contact location of the contact character And a cutting point detecting means for detecting the cutting point,
A character segmentation device comprising:

Furthermore, the end points of another line segment is in contact with the certain line, the former when said end point is detected and the disconnection point first segment, the latter as a second line segment, said first 4. The character segmenting device according to claim 3, further comprising pattern cutting means for cutting the pattern at a place where the run length of the black pixel in one line segment direction is sharply reduced.

A feature point detecting means for detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern;
Graph generating means for generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
When a first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation unit is generated, and the edge of the graph and the feature points at both ends of the side are doubled When the second vertex adjacency matrix corresponding to the graph of (2) is generated and the number of diagonal blocks between the first vertex adjacency matrix and the second vertex adjacency matrix changes, the position of the doubled edge Cutting point detecting means for detecting the cutting point,
A character segmentation device comprising:

6. The apparatus according to claim 5, further comprising pattern cutting means for cutting a pattern at a position obtained by bisecting the side in the vertical direction when the position of the doubled side is determined as a contact location . Character cutout device.

A size calculating means for calculating the size of the graph based on the length of the side between the vertices of the graph, the horizontal distance between the vertices, and the vertical distance between the vertices;
7. The method according to claim 3 , further comprising: narrowing-down means for narrowing down candidates for the cut location detected by the cut location detecting means based on the size of the graph after separation. Character cutout device.

Character recognition means for performing character recognition on the pattern cut at the cut position;
From the character recognition executed by the character recognition means, the difference between the recognition candidate character is obtained, and the contact location determination means for determining the cut location of the pattern whose difference is a predetermined value or less as the contact location of the pattern;
The character cutout device according to any one of claims 3 to 7 , further comprising:

A combination means for combining the cut pattern with other patterns is provided.
The said contact location determination means determines the cutting location obtained from the combination of the pattern with the smallest said difference among the patterns obtained by a combination as the contact location of the said pattern. Cutting device.

Detecting feature points consisting of pattern end points, intersection points, and bending points;
Generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
A first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation means is generated, and a second corresponding to the graph when the edge of the graph is removed A vertex adjacency matrix is generated, and when the number of diagonal blocks changes between the first vertex adjacency matrix and the second vertex adjacency matrix, the end point of the removed side is determined as the contact location of the contact character And a step of detecting a cutting point;
A character segmentation method comprising:

Furthermore, when an end point of another line segment is in contact with a certain line segment, and the end point is detected as the cut portion, the former is defined as the first line segment and the latter is defined as the second line segment. The character cutout method according to claim 10, further comprising a step of cutting the pattern at a place where the run length of the black pixel in one line segment direction sharply decreases .

Detecting feature points consisting of pattern end points, intersection points, and bending points;
Generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
When a first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation unit is generated, and the edge of the graph and the feature points at both ends of the side are doubled When the second vertex adjacency matrix corresponding to the graph of (2) is generated and the number of diagonal blocks between the first vertex adjacency matrix and the second vertex adjacency matrix changes, the position of the doubled edge Detecting the cut portion as a contact portion of the contact character,
A character segmentation method comprising:

The character cutout according to claim 12, further comprising a step of cutting the pattern at a position obtained by dividing the side into two equal parts in the vertical direction when the position of the doubled side is determined as a contact location. Method.

Detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern on a computer;
Generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
A first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation means is generated, and a second corresponding to the graph when the edge of the graph is removed A vertex adjacency matrix is generated, and when the number of diagonal blocks changes between the first vertex adjacency matrix and the second vertex adjacency matrix, the end point of the removed side is determined as the contact location of the contact character And a step of detecting a cutting point;
A computer-readable storage medium storing a program for executing at least the above.

Detecting a feature point consisting of an end point, an intersection point, and a bending point of the pattern on a computer;
Generating a graph having the detected feature point as a vertex and a line segment sandwiched between the feature points as sides;
When a first vertex adjacency matrix having a row component and a column component corresponding to each vertex of the graph generated by the graph generation unit is generated, and the edge of the graph and the feature points at both ends of the side are doubled When the second vertex adjacency matrix corresponding to the graph of (2) is generated and the number of diagonal blocks between the first vertex adjacency matrix and the second vertex adjacency matrix changes, the position of the doubled edge Detecting the cut portion as a contact portion of the contact character,
A computer-readable storage medium storing a program for executing at least the above.