JP3957471B2

JP3957471B2 - 分離文字列統合装置

Info

Publication number: JP3957471B2
Application number: JP2001115133A
Authority: JP
Inventors: 裕勝山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-04-26
Filing date: 2001-04-13
Publication date: 2007-08-15
Anticipated expiration: 2021-04-13
Also published as: JP2002015283A

Description

【０００１】
【発明の属する技術分野】
近年、企業では、情報の共有化や迅速な情報利用の観点から紙文書をスキャナなどで電子化して共有する文書管理システムが使用され、業務の効率化に貢献している。また、組織ではなく、個人の環境でもパソコンが普及し、従来の紙文書との連携の必要性から、日本語ＯＣＲの、特に精度について強い要求がある。
本発明は上記日本語ＯＣＲにおいて誤認識を防止する技術に関し、特に、上下分離文字に起因する誤認識を防止することができる分離文字列統合装置に関するものである。
【０００２】
【従来の技術】
従来の分離文字列の統合技術として、以下の技術が提案されている。
例えば、特開平５−０７３７１７号「光学文字読取装置」では、文書画像を縦長の短冊状に分割し、短冊毎に横方向に投影して、文字列の範囲を求め、短冊の横幅で、縦方向の文字列範囲を持った部分文字列矩形を求め、それの接続状態から文字列を求める手法が提案されている。
また、特開平１−１６９６８６号「文字行検出方式」では、文書画像を縦長の短冊状に分割し、短冊毎に横方向に投影して、文字列の範囲を求め、短冊の横幅で、縦方向の文字列範囲を持った部分文字列矩形を求め、それの接続状態から文字列を求める手法において、予め求めた文字列の推定サイズ、文字列間の推定距離を元に、短冊領域内の部分文字列矩形の中で分離文字列らしいものを統合する手法が提案されている。
上記従来技術は、いずれも文書画像を縦長の短冊状に分割して、投影により部分文字列を求めることを基本としており、さらに、特開平１−１６９６８６号「文字行検出方式」の技術でも部分文字列のサイズ（高さ）と文字列間隔距離を元に部分文字列同士を統合しているにすぎない。
【０００３】
【発明が解決しようとする課題】
日本語ＯＣＲのエラーの中には文字列抽出に起因する物がある。例えば、図１２（ａ）に示したように「二品」などの上下分離文字が横書きされている場合に、従来の通常の処理では、上の「一口」と下の「一口口」を別の文字列として抽出してしまい、結果的に誤認識する場合がある。同様に図１２（ｂ）に示すように「一旦」等の上下分離文字においても、上と下の文字矩形を別の文字列として抽出してしまう場合がある。
この傾向は、表を認識したときに顕著に現れる。例えば、表の内部のセルに書かれた文字は、見栄えのため図１２（ｃ）に示すように文字間隔が広くとられることがある。この場合、「高」と「さ」が同一文字列でないと判断されることがあり、「高」について３つの部分パターンをそれぞれ行として抽出してしまい、誤認識の原因となる。同様に縦書きの場合でも、左右に分離した文字が誤認識される場合がある。
本発明は、上記事情に鑑みなされたものであって、本発明の目的は、上述した分離文字列を誤りなく統合し、分離文字に起因する誤認識を防止することである。
【０００４】
【課題を解決するための手段】
図１は本発明の概要を説明する図である。本発明においては、図１に示すように文書画像から文字列矩形を抽出し、まず、公知の方法により、例えば同図の「高」のように文字列矩形内の分離文字列矩形を統合する。ついで、例えば同図の「二品」における文字列矩形「一口」と文字列矩形「１口口」のように２以上の文字列矩形に分離した分離文字列を次のように統合する。
１）文字列矩形内部の文字矩形数がしきい値より少ない文字列矩形に注目し、その文字列の上下（横書き）もしくは左右（縦書き）にある文字列矩形を、推定文字列サイズ程度になるように統合する。
２）新たに統合してできた文字矩形を文字認識し、文字認識の評価値（例えば距離値）が一定基準を満たす場合、分離文字列の統合を実際に認めるかどうか決定する。
すなわち、本発明は、文字サイズを推定し、文字列内の文字矩形数がしきい値より少ない場合に、推定文字サイズよりも小さい文字列矩形は分離していると見なして、文字サイズ程度になるまで文字列を仮に統合し、さらに統合後の文字列矩形内部にある文字を認識して検証して、分離文字の統合を認めるというものである。
本発明は上記のように分離文字の統合を行っているので、前記したように短冊状の分割とそれの上の部分文字列を用いることなく、より一般的な分離文字列同士を誤りなく統合することができ、ＯＣＲ等における誤認識を減少させることができる。
【０００５】
【発明の実施の形態】
図２は本発明の処理を行うためのシステムの構成例を示す図である。本発明は、同図に示すように、演算装置（ＣＰＵ）１１、メモリ１２、外部出力装置１３、カラー入力装置、ＣＣＤカメラ、スキャナ等の画像入力装置１４等から構成されるシステムで実現することができる。そして、上記スキャナ等の画像入力装置１４から読み込んだ文書画像から文字領域を抽出して文字認識を行い、文字認識結果を外部出力装置１３から出力する。
【０００６】
次に本発明の実施例の文字認識処理の概要を図３に示すフローチャートにより説明する。
（１）文書画像入力
ユーザが紙文書をスキャナなどで光学読み取りして、得られた文書画像に対して以下の処理を行う。なお、文書画像は基本的に白黒の２値画像を想定しているが、カラー画像であっても、前処理として２値化を行うことで２値画像と同じ扱いができる。
【０００７】
（２）領域識別し文字領域を抽出する。
文書画像を走査して、文字領域を抽出する。例えば、画像全体をラベリングして黒画素連結領域の外接矩形を抽出し、一定サイズ以上の矩形を図形・表領域候補として抽出する。そして、図形、表領域候補の矩形内部を対象に罫線抽出し、縦横の罫線が抽出できたら表領域として識別し、それ以外を図領域と識別し、図、表領域以外の領域を文字領域として抽出する。これらは、公知の技術を用いて行うことができる。
（３）ラベリングし黒画素連結領域の外接矩形を求める。
文字領域の範囲内部で、連結している黒画素に同一ラベルをつけるラベリング処理を実行し、同一ラベルがついたパターンの外接矩形を求める。
（４）文字領域内の文字の高さ、幅の推定
文字領域内の文字の矩形の高さ、幅の値の最頻値を求め、それを文字の高さ、幅の推定値とする。
【０００８】
（５）横方向の矩形の位置関係から文字列（複数の矩形を包含する外接矩形）を求める（横書きの場合）。縦書きの場合も同様に縦方向の矩形の位置関係から文字列を求めることができる。
ラベリングで求めた外接矩形を単位に複数の文字列から文字列を抽出する。そして、文字領域の内部の矩形の座標、位置から、文字領域の内部の文字列方向を推定する。
文字列の推定方法としては、例えば、特開平１０−６３７７６号「文字列方向推定方法および装置」等に開示されている公知の手法を用いることができる。すなわち、１つの矩形から文字列方向に探索して隣接する矩形を求め、両者に同じ文字列ラベルを与える（例えば、文字矩形の大きさの最頻値の３倍以上文字矩形が離れている場合、別の文字列矩形とする）。
これを繰り返し、同じ文字列ラベルをもつ矩形を囲む外接矩形を文字列として求める。例えば、横書きの場合には、矩形の横方向の投影で重なりがある矩形をまとめ、文字列矩形を求める。これにより、例えば前記図１２に示したような文字列矩形が求まる。
また、求めた文字列矩形の内部の含まれる文字矩形の数を記録する。
【０００９】
（６）文字列矩形内部の文字分離矩形の統合
横方向の文字列の場合、文字列内部の文字矩形を対象に縦方向に投影したときに重複する矩形を統合する。同様に縦方向の文字列の場合には、文字列内部の文字矩形を対象に横方向に投影したときに重複する矩形を統合する。これにより、文字列内部には上下統合後の文字矩形が存在するようになる。
（７）分離文字列の統合
上記（６）の処理により、文字列矩形内部の分離文字は統合できるが、例えば、前記図１２（ａ）（ｂ）（ｃ）に示した「二品」、「一旦」、「高」のように、文字列を構成する文字が上下に分離した文字の場合には、一つの文字列であっても文字列矩形が上下に分離し、上記（６）の処理では一つの文字矩形に統合されない（横書きの場合）。
そこで、２つの文字列矩形に別れた分離列文字を、後述する手法により統合する。そして、統合された分離文字列候補を公知の方法で文字認識し、統合結果の検証を行う。
（８）文字認識
分離文字列の統合後の文字列を対象に公知の方法で文字認識処理を行う。
【００１０】
次に上記分離文字列統合処理について更に詳細に説明する。
図４〜図７は上記（７）の分離文字列統合処理を示すフローチャート、図８〜図１１はその説明図であり、以下、図８〜図１１を参照しながら、図４〜図７により本発明の実施例の分離文字列統合処理について説明する。
以下の説明では主として横書きの場合について説明するが、縦書きの場合にも、横方向を縦方向、ｘをｙ、ｙをｘ等とよみ代えることにより同様に処理することができる。なお、以下の(1) 〜(29)は図４〜図７に付した符号に対応している。
【００１１】
(1) 領域内の文字矩形総数計算
指定領域内に含まれる文字列矩形内にある文字矩形の総数を求め、ａｌｌ＿ｎｕｍとする。
(2）文字サイズの推定
推定文字高さ、推定文字幅から、文字サイズｃｈａｒ＿ｓｉｚｅを推定する。
横書きの場合、ａｌｌ＿ｎｕｍがしきい値（ＴＨＭＯＪＩＳＵＵ、例えば３０）より大きい場合は、ｃｈａｒ＿ｓｉｚｅ＝推定文字高さとする。それ以外の場合は、ｃｈａｒ＿ｓｉｚｅ＝〔推定文字幅×係数（＝１．１）〕と〔推定文字高さの大きい方〕とする。
縦書きの場合は、ａｌｌ＿ｎｕｍがしきい値（ＴＨＭＯＪＩＳＵＵ）より大きい場合は、ｃｈａｒ＿ｓｉｚｅ＝推定文字幅とする。それ以外の場合は、ｃｈａｒ＿ｓｉｚｅ＝〔（推定文字高さ×係数（＝１．１）〕と〔推定文字幅の大きい方〕とする。
(3) 領域内の文字列矩形に０からの通し番号をつける。
文字列矩形が求まったら、例えば、図８（ａ）に示すように各文字列矩形に通し番号を付ける。なお、図８（ａ）の例では、文字列矩形番号１，２，４は例えば前記した文字「高」であり、文字列矩形番号７，９は例えば前記した文字列「一旦」である。
【００１２】
(4) 内部に含む文字矩形数がしきい値（ＴＨ＿ＲＥＣＴ＿ＣＯＵＮＴ＝５）より小さい文字列矩形の番号をｓｍａｌｌ＿ｉｎｄｅｘ配列に入れる。同時に配列に入れた文字列の数ｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔを求める。
例えば、図８（ａ）において、ハッチングを付けた文字列矩形の文字矩形数がしきい値より小さいとすると、ｓｍａｌｌ＿ｉｎｄｅｘ配列には、図８（ｂ）に示すように文字列矩形の番号０，１，２，３，…が入れられる。
ここで、ｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔが０であれば、なにもせずに終了する。
なお、一般に一つの文字列が２以上の文字列矩形に分離するケースは、前記「二品」、「高」のように文字列矩形中の文字矩形数が少ない場合が多いので、上記のように文字矩形数がしきい値より小さい文字列矩形を対象に処理を行うことにより処理時間を短縮することができる。
【００１３】
(5) 領域内の文字列矩形を並べ替え、並べ替え後の文字列配列をｓｏｒｔ＿ｓｔｒｉｎｇとする。
ここで、横書きの場合には、文字列矩形の上座標で上から順番に並べ、縦書きの場合には、文字列矩形の左座標で左から順番に並べる。
例えば、図８（ａ）の場合、ｓｏｒｔ＿ｓｔｒｉｎｇは図８（ｃ）に示すようにソートされた文字列矩形の番号０，１，２，…が入れられる（この例の場合、文字列矩形の上座標順に文字列矩形番号が付されているので、ソートしても順番は変わらない）。
【００１４】
(6) まず、ｊ＝０として、ｓｍａｌｌ＿ｉｎｄｅｘ配列内部のｊ番目を取り出しｉｎｄｅｘとする。この文字列番号の文字列矩形をカレント文字列矩形とする。
ここで、カレント文字列が統合され削除されたものである場合には、ｊ＝ｊ＋１として、ｊが文字列の数ｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔ以上かを調べ、越えていなければｓｍａｌｌ＿ｉｎｄｅｘ配列内部のｊ番目を取り出しｉｎｄｅｘとする。また、文字列の数ｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔ以上の場合には、後述する(29)に行く。
(7) 図９（ａ）に示すようにカレント文字列矩形の座標（ｘｍｉｎ３，ｙｍｉｎ３，ｘｍａｘ３，ｙｍａｘ３）を求める。
例えばカレント文字列矩形が図８（ｂ）に示すように”２”であるとすると、カレント文字列矩形番号”２”の上記座標が求められる。
【００１５】
(8) 統合候補文字列矩形の集合ｉｎｔｅｇ＿ｇｎｏ配列にカレント文字列番号ｉｎｄｅｘを入れ、ｉｎｔｅｇ＿ｇｎｏに入れた文字列数としてｉｎｔｅｇ＿ｎｕｍ＝１とする。
カレント文字列矩形番号が例えば”２”である場合には、図９（ｂ）に示すようにｉｎｔｅｇ＿ｇｎｏ配列に”２”が入れられる。また、ｉｎｔｅｇ＿ｎｕｍ＝１となる。
(9) カレント文字列矩形のソート後文字列矩形中の位置を求め、その位置をｓ＿ｉｎｄｅｘする。図８の例では、ｓ＿ｉｎｄｅｘ＝２である。
【００１６】
(10)ｓ＿ｉｎｄｅｘ前後の文字列矩形をソート後文字列矩形の中で前後方向に探査する。
例えば前方向探査の場合には、ｉ＝ｓ＿ｉｎｄｅｘ−１とする。また、後方向探査の場合には、ｉ＝ｓ＿ｉｎｄｅｘ＋１とする。
そして、ｉが限界（ｓｏｒｔ＿ｓｔｒｉｎｇ配列の上限もしくは下限) を越えた場合には、後述する(20)に行く。
(11)ｓｏｒｔ＿ｓｔｒｉｎｇ配列のｉ番目の文字列矩形の番号をｉｎｄｅｘ２として求める。
例えば、カレント文字列矩形が”２”であり、前方向探査の場合には、文字列矩形番号”１”がｉｎｄｅｘ２の文字列矩形となる。
ここで、ここで、ｉｎｄｅｘ２の文字列矩形が統合され削除されたものである場合には、前方向探査の場合はｉ＝ｉ−１として、また、後方向き探査の場合にはｉ＝ｉ＋１として、ｉが限界を越えたかを調べ限界を越えていなければ上記処理を繰り返す。
【００１７】
(12)図９（ｃ）に示すように文字列矩形ｉｎｄｅｘ２の座標（ｘｍｉｎ２，ｙｍｉｎ２，ｘｍａｘ２，ｙｍａｘ２）を求める。
(13)図９（ｄ）に示すように高さのしきい値ｔｈ＿ｈｅｉｇｈｔを文字列矩形ｉｎｄｅｘ２とカレント文字列矩形の高さの小さい方とする。
(14)図９（ｄ）に示すようにｔｈ＿ｈｅｉｇｈｔが９以下の場合には、１０とする。
(15)図９（ｄ）に示すように文字列矩形ｉｎｄｅｘ２とカレント文字列矩形を統合した後の文字列矩形の高さ（横書きの場合）をｐｈｅｉｇｈｔとして求める。
【００１８】
(16)図１０（ａ）に示す条件Ａをカレント文字列矩形の座標、ｉｎｄｅｘ２の座標が満たすかを調べる。すなわち、横書きの場合、統合前の文字列矩形間の距離ｄ１がしきい値ｔｈ＿ｈｅｉｇｈｔ以下であり、かつ、統合後の文字列矩形の高さ（ｙ方向の長さ）が前記したキャラクタサイズｃｈａｔ＿ｓｉｚｅより小さい〕か、あるいは、〔統合後の文字列矩形の高さが正でｃｈａｔ＿ｓｉｚｅより小さい〕か、あるいは、〔ｉｎｄｅｘ２とカレント文字列の上座標の差の絶対値がしきい値ｔｈ＿ｈｅｉｇｈｔより小さい〕かを調べる。
例えば、カレント文字列矩形とｉｎｄｅｘ２の文字列矩形が図１０（ａ）に示す位置関係にある場合には、下記の条件を満たしているかを調べることとなる。
【００１９】
（（０＜ｙｍｉｎ３−ｙｍａｘ２＆＆ｙｍｉｎ３−ｙｍａｘ２＜＝ｔｈ＿ｈｅｉｇｈｔ）ＡＮＤ（ｐｈｅｉｇｈｔ＜＝ｃｈａｒ＿ｓｉｚｅ））ＯＲ（０＜ｙｍａｘ３−ｙｍｉｎ２＆＆ｙｍａｘ３−ｙｍｉｎ３＜＝ｃｈａｒ＿ｓｉｚｅ）ＯＲ（ｙｍｉｎ３とｙｍｉｎ２の差の絶対値＜ｔｈ＿ｈｅｉｇｈｔ）。
【００２０】
そして、上記条件Ａを満たさない場合には、カレント文字列矩形とｉｎｄｅｘ２の文字列矩形は統合できないので、後述する(20)に行く。
(17)上記条件Ａを満たす場合には、図１０（ｂ）に示す統合条件Ｂを満たすかを調べる。すなわち、縦方向に投影したとき（横書きの場合）カレント文字列とｉｎｄｅｘ２の文字列が重なっている（カレント文字列のｘ座標の最小値がｉｎｄｅｘ２の文字列のｘ座標の最大値より小さく、カレント文字列のｘ座標の最大値がｉｎｄｅｘ２の文字列のｘ座標の最小値より大きい）かを調べる。
条件を満たさない場合には、前方向探査の場合はｉ＝ｉ−１として、また、後方向き探査の場合にはｉ＝ｉ＋１として、ｉが限界を越えたかを調べ限界を越えていなければ前記(11)に戻る。
【００２１】
(18)図１０（ｃ）に示すようにカレント文字列矩形と文字列矩形ｉｎｄｅｘ２を統合したときの座標を以下のように求める。
【００２２】
ｘｍｉｎ３＝ｍｉｎ＿（ｘｍｉｎ３，ｘｍｉｎ２）；
ｙｍｉｎ３＝ｍｉｎ＿（ｙｍｉｎ３，ｙｍｉｎ２）；
ｘｍａｘ３＝ｍａｘ＿（ｘｍａｘ３，ｘｍａｘ２）；
ｙｍａｘ３＝ｍａｘ＿（ｙｍａｘ３，ｙｍａｘ２）；
【００２３】
(19)ｉｎｄｅｘ２をｉｎｔｅｇ＿ｇｎｏ配列に入れ、ｉｎｔｅｇ＿ｎｕｍをインクリメントする。これにより、ｉｎｔｅｇ＿ｇｎｏ配列の内容は、図１１（ａ）に示すようになる。
次いで、前方向探査の場合はｉ＝ｉ−１として、また、後方向き探査の場合にはｉ＝ｉ＋１として、ｉが限界を越えたかを調べ限界を越えていなければ前記(11)に戻り、上記処理を繰り返す。そして、ｉが限界を越えたか、上記条件Ａを満たさなくなったら、後述する(20)に行く。
以上の処理を繰り返すことにより、ｉｎｔｅｇ＿ｇｎｏ配列には統合候補文字列矩形番号の集合が登録される。例えば、図８（ａ）の例の場合には、文字列矩形番号１，２，４が統合候補文字列矩形番号として求まり、ｉｎｔｅｇ＿ｇｎｏ配列に登録される。
【００２４】
(20)ｉｎｔｅｇ＿ｎｕｍ＞１であるかを調べ、ｉｎｔｅｇ＿ｎｕｍ＞１でなければカレント文字列矩形に統合される文字列矩形はないので、ｊをインクリメントして後述する(28)に行く。
(21)横書きの場合、ｉｎｔｅｇ＿ｇｎｏ配列の中のｉｎｔｅｇ＿ｎｕｍ個の文字列について、図１１（ｂ）に示すように全ての文字列矩形が重なっている横方向の範囲（ｓｘｍｉｎ，ｓｘｍａｘ）を求める。
(22)ｉｎｔｅｇ＿ｇｎｏ配列中の文字列矩形を全て囲む矩形を図１１（ｂ）に示すようにｔｍｐｌｉｎｅとして求める。
(23)ｔｍｐｌｉｎｅの範囲について、内部にある文字矩形の上下統合を行う。
(24)上下統合後の矩形に対し、ｓｘｍｉｎ，ｓｘｍａｘの範囲にかかる文字矩形だけを対象に１文字認識を行う。
例えば前記図８（ａ）における文字列矩形７，９が「一旦」という文字列であり、これらが統合された場合、上記ｓｘｍｉｎ，ｓｘｍａｘは図１１（ｃ）に示すような範囲となる。したがって、この場合、「一旦」という文字列の内の文字「旦」という文字が１文字認識の対象となる。
【００２５】
(25)文字認識結果の距離値の最高値と平均値を求める。
(26)上記認識結果が条件Ｃを満たすかを調べる。すなわち、〔距離の平均値〕＜〔しきい値（ＴＨ＿ＯＫ＿ＤＩＳＴＡＮＣＥ）〕ＡＮＤ〔距離の最高値〕＜〔しきい値（ＴＨ＿ＯＫ＿ＤＩＳＴＡＮＣＥ）〕の条件を満たすかを調べる。なお、ＴＨ＿ＯＫ＿ＤＩＳＴＡＮＣＥは例えば１６００である。
条件を満たさない場合には、ｊをインクリメントし、後述する(28)に行く。
また条件を満たす場合には、(27)に行く。
【００２６】
(27)上記条件Ｃを満たす場合には、統合を認め、ｉｎｔｅｇ＿ｇｎｏ配列に入っている番号の文字列矩形を統合する。そして、統合した文字列矩形番号より若い番号の文字列矩形だけを残し、他の番号の文字列矩形は削除する。例えば、前記したように文字列矩形番号１，２，４が統合された場合には、文字列矩形番号１を残し、文字列矩形番号２，４を削除する。そして、ｊをインクリメントし、(28)に行く。
(28)ｊがｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔ（ｓｍａｌｌ＿ｉｎｄｅｘ配列に入れた文字列矩形の数）を越えたかを調べ、越えていなければ、前記(6) に戻り上記処理を繰り返す。
(29)ｊがｓｍａｌｌ＿ｓｔｒｉｎｇ＿ｃｏｕｎｔを越えた場合には、削除された文字列矩形以外の文字列矩形の数を数えてそれを出力し、処理を終了する。
【００２７】
【発明の効果】
以上説明したように、本発明においては、推定文字サイズよりも小さい文字列矩形は分離していると見なして、文字サイズ程度になるまで文字列を仮に統合し、さらに統合後の文字列矩形内部にある文字を認識して統合結果を検証しているので、誤認議の原因となっていた、分離文字列をなくすことができ、文字認識率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の概要を説明する図である。
【図２】本発明の処理を行うためのシステムの構成例を示す図である。
【図３】本発明の実施例の文字認識処理の概要を示すフローチャートである。
【図４】分離文字列統合処理を示すフローチャート（１）である。
【図５】分離文字列統合処理を示すフローチャート（２）である。
【図６】分離文字列統合処理を示すフローチャート（３）である。
【図７】分離文字列統合処理を示すフローチャート（４）である。
【図８】分離文字列統合処理を説明する図（１）である。
【図９】分離文字列統合処理を説明する図（２）である。
【図１０】分離文字列統合処理を説明する図（３）である。
【図１１】分離文字列統合処理を説明する図（４）である。
【図１２】分離文字列の例を示す図である。
【符号の説明】
１１演算装置（ＣＰＵ）
１２メモリ
１３外部出力装置
１４画像入力装置

Claims

２以上の文字列矩形に分離した文字列矩形を統合し、正しい文字列として認識するための分離文字列の統合装置であって、
文書画像から文字領域を抽出し、黒画素連結領域の外接矩形を求めて文字列矩形を抽出する手段と、
文字列矩形内部の分離文字矩形を統合する手段と、
２以上の文字列矩形にまたがる分離文字列を統合する分離文字列統合手段とを備え、該分離文字列統合手段は、文字列矩形内部に含む文字矩形数がしきい値より小さい文字列矩形に注目し、その文字列の上下もしくは左右にある文字列矩形を、推定した文字列サイズとなるように仮統合し、仮統合した文字列矩形に対して文字認識を行い、該文字認識結果が所定の条件を満たしたとき、上記文字列矩形の仮統合を認める
ことを特徴とする分離文字列の統合装置。