JP3737253B2

JP3737253B2 - 文書画像の領域抽出方法および記録媒体

Info

Publication number: JP3737253B2
Application number: JP27424397A
Authority: JP
Inventors: 高志齋藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-10-07
Filing date: 1997-10-07
Publication date: 2006-01-18
Anticipated expiration: 2017-10-07
Also published as: JPH11110482A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の領域分割方法を用いることにより、文書画像を領域に分割する文書画像の領域抽出方法および記録媒体に関する。
【０００２】
【従来の技術】
スキャナなどから入力した文書画像を領域に分割し、文字領域を自動的に抽出することは、文書認識の一連の処理の流れを自動化する場合に必要な処理である。このような文書画像の領域抽出方法として、従来から種々の方法が提案されているが、何れも一長一短があり、必ずしも最適な分離結果が得られるとは限らない。
【０００３】
【発明が解決しようとする課題】
例えば、特開平６−３０１８１５号公報に記載された文字認識装置を挙げることができる。この装置では、読み順を含めて複数のレイアウト（領域分割結果）候補を提示し、この中から利用者に正しいレイアウト候補を選択させるものである。
【０００４】
本発明の目的は、上記した領域分割結果の候補選択を自動的に行う文書画像の領域抽出方法および記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】
前記目的を達成するために、請求項１記載の発明では、複数の領域分割方法を用いて文書画像を領域に分割し、第一の領域分割方法によって得られた文書領域各々において、行頭の位置がしきい値以上異なる行の数Ａを計測し、当該領域内における全行数中の該行数Ａの比率がしきい値以上の場合に当該領域を不揃い領域と判定し、該不揃い領域の総数を第一評価値として算出し、第二の領域分割方法によって得られた文書領域各々において、行頭の位置がしきい値以上異なる行の数Ｂを計測し、当該領域内における全行数中の該行数Ｂの比率がしきい値以上の場合に当該領域を不揃い領域と判定し、該不揃い領域の総数を第二評価値として算出し、前記第一評価値と第二評価値を比較して小さい値をとる方の領域分割結果を採用することを特徴としている。
【０００６】
請求項２記載の発明では、前記行頭の位置を比較する際に、しきい値以上行頭位置の差異がなく、行頭が左端にある行の先頭文字のサイズが行内全体の平均値に近い場合は箇条書き相当行と判断し、該箇条書き相当行の割合がしきい値以上の場合は当該領域を前記行数の計測に使用しないことを特徴としている。
【０００７】
請求項３記載の発明では、複数の領域分割方法を用いて文書画像を領域に分割し、第一の領域分割方法によって得られた文書領域各々において、領域内の各行文字サイズの偏差値がしきい値以上の場合に当該領域内の行数もしくは行数の自乗値を当該領域の評価値として算出し、第一の領域分割方法によって得られた文書領域全てについて求めた該評価値の総計を第一評価値として算出し、第二の領域分割方法によって得られた文書領域各々において、領域内の各行文字サイズの偏差値がしきい値以上の場合に当該領域内の行数もしくは行数の自乗値を当該領域の評価値として算出し、第二の領域分割方法によって得られた文書領域全てについて求めた該評価値の総計を第二評価値として算出し、前記第一評価値と第二評価値を比較して小さい値をとる方の領域分割結果を採用することを特徴としている。
【０００８】
請求項４記載の発明では、請求項１乃至３のいずれか１項に記載の文書画像の領域分割方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
〈実施例１〉
図１は、本発明の実施例の構成を示す。図において、１０１は画像を入力する入力手段、１０２は文書画像を文字領域などの要素に分割すると共に、領域内の行情報も抽出する第１の領域分割手段、１０３は第１の領域分割手段とは異なる方法で文書画像を文字領域などの要素に分割すると共に、領域内の行情報も抽出する第２の領域分割手段、１０４は第１、第２の領域分割手段１０２、１０３によって得られた領域分割結果および各領域内の行情報を基に領域分割結果を評価し最終結果を決定する領域分割結果評価手段、１０５は全体の制御部、１０６は入力された画像データや領域データ、行データなど各種データを記憶するデータ記憶部、１０７はデータ通信路、１０８はネットワークなどを介してコンピュータなどと接続するデータ通信手段である。
【００１０】
図２は、本発明の全体の処理フローチャートを示す。以下、図２を参照しながら本発明の処理動作を説明する。
まず、画像入力手段１０１は、文書を読み取ることによって文書画像を得る（ステップ２０１）。この画像入力手段は、例えばスキャナ、ファックスなどであり、またデータ通信手段１０８を介してネットワーク経由で別の機器から画像を得るようにしてもよい。
【００１１】
次に、第１、第２の領域分割手段１０２、１０３は、入力された文書画像を文字領域と図や表や罫線等の要素に分割する（ステップ２０２、２０３）。本発明では、この領域分割手段は２つの方法を利用する例を示しているが、これに限定されるものではなく、３つ以上の領域分割方法を利用してもよい。
【００１２】
第１、第２の領域分割手段としては、例えば特開平６−２００９２号公報、特公平８−３８３２号公報に記載されているような公知技術を用いればよい。すなわち、第１、第２の領域分割手段１０２、１０３としては、上記した公知技術のようにそれぞれ異なる方法を用いてもよいし、上記した何れかの公知技術の方法を用い、第１、第２の領域分割手段においてその処理パラメータを変更することによって異なる分離結果を得るようにしてもよい。このようにして抽出した領域は、属性として要素の種類（文字領域であるか表であるかなど）、位置（領域の外接矩形など）、領域番号などを持つ。
【００１３】
上記した第１、第２の領域分割手段における各領域分割処理では、行情報も抽出する。領域抽出処理として、前掲した特開平６−２００９２号公報記載の技術を使用した場合には、領域を抽出した段階で行情報が得られているので、これを用いればよく、また電子通信学会論文「周辺密度分布、線密度、外接矩形特徴を利用した文書画像の領域分割」（秋山他、１９８６年８月、Ｖｏｌ．Ｊ６９−ＤＮｏ．８）に記載されている射影を用いる方法を別途用いてもよい。
【００１４】
領域分割結果評価手段１０４は、以上の処理によって得られた領域情報と各領域内の文字行情報を使用して領域分割結果の評価を行う（ステップ２０４）。図３は、領域分割結果の評価例を説明する図である。
【００１５】
図３（ａ）は、入力された文書画像のレイアウトを示す。このような文書画像に対して、第１の領域分割手段が領域分割を行った結果を図３（ｂ）に示し、第２の領域分割手段が領域分割を行った結果を図３（ｄ）に示す。また、各領域からの行切り出し結果を図３（ｃ）、（ｅ）に示す。
【００１６】
第１の領域分割手段（例えば、特開平６−２００９２号公報）は、文書画像内の黒画素連結成分を基本要素としてそれを統合することにより、文字領域を識別する方法を採っているので、図３（ｂ）に示すように、図の一部分が文字要素と統合され、このために図３（ｃ）に示すような行の切り出し結果となる場合がある。また、上記した方法では、領域間の空白も利用しているので、パラメータ（空白セパレータ検出のための閾値）の設定次第では、図３（ｅ）のように所望の行切り出し結果が得られることもある。
【００１７】
第２の領域分割手段（例えば、特公平８−３８３２号公報）も、領域間の空白を利用して領域分割を行う方法を採っているので、図３（ｅ）のように正しい行切り出し結果が得られる。
【００１８】
図３の例では、空白を利用することで誤った領域分割が行われず、問題が解決しそうであるが、しかし文字間の空白が広い日本語文書では、空白を利用するだけでは正しく領域分割できない場合もあり、一つの領域分割方法を用いて全文書に対応することには無理がある。そこで本発明では、領域分割結果評価手段１０４によって、複数の領域分割結果の評価を行い、最良の領域分割結果を得るようにしたものである。
【００１９】
再び、図３の例を参照しながら説明する。評価手段１０４は、各領域分割結果内で評価指標となる特徴を抽出する。その特徴の一つは行頭の揃いであり、他の一つは文字サイズの行間の変動である。
【００２０】
行頭の揃いの指標値Ｌｈｅａｄは次のように求める。図５は、行頭揃いの指標値を求める処理フローチャートを示す。行方向が横方向であるとして以下、説明すると、行頭が領域の左端から、しきい値以上右にある行頭の本数Ｌ１を数える（ステップ１０３）。このしきい値はあらかじめ定めた絶対値でもよく、あるいは領域内の文字サイズの平均値と連動するような値でもよい。
【００２１】
例えば、図３（ｃ）の場合では、しきい値以上右にある行頭は４行であり、Ｌ１＝４となる。指標値としては、この行数を全領域で計測して画像全体における該当行数値とすればよい（ステップ１０４）。つまり領域数をＮとして、Ｌ１ｎ（ｎ＝１，２，．．．Ｎ）の総和である。
【００２２】
また、図６に示す処理フローチャートに従って、指標値Ｌｈｅａｄを求めてもよい。前述したと同様にＬ１を求め（ステップ２０３）、領域内行数に占めるＬ１の割合が所定のしきい値以上であるか否かを調べる（ステップ２０４）。図３（ｃ）の例では、６行中４行の行頭がしきい値以上右にあるので、４／６＝約６７％である。この値があらかじめ定めたしきい値以上の場合には該当領域を「行頭不揃いの領域Ｒｉｒｅ」とする（ステップ２０５）。画像中のＲｉｒｅの総数をＬｈｅａｄとする（ステップ２０７）。なお、Ｒｉｒｅの総数を算出するとき、各領域内の行数に応じた重みをつけてもよい。
【００２３】
図３の例では、一つの文字領域しか示されていないが、図５、６によって求められる何れの指標値Ｌｈｅａｄを用いても、図３（ｃ）のＬｈｅａｄの方が、（ｅ）のそれよりも値が大きくなる。
【００２４】
次に、文字サイズの変動指標値の求め方を説明する。図７は、文字サイズの変動指標値を求める処理フローチャートを示す。まず、領域内の各行毎に文字サイズを求める（ステップ３０３）。文字サイズとして、単純に行の高さを文字サイズとしてもよいし、行内の連結黒画素成分（１文字または文字の一部に相当）の内、最大の高さを文字サイズとしてもよい。
【００２５】
次に領域内の、この行文字サイズの偏差値を求め（ステップ３０４）、その値がしきい値以上（文字サイズの変動が大きい）の場合には、その行数に応じた値Ｌ２を求める（ステップ３０５、３０６）。Ｌ２は行数そのものでもよいし、行数の二乗値でもよい。このＬ２を各領域毎に求め、その総数をＬｖａｒとする（ステップ３０８）。図３の例では一つの文字領域しか示していないが、図３（ｃ）の方が（ｅ）の方よりもＬｖａｒが大きくなる。
【００２６】
最後に、上記した指標を利用して領域分割結果の評価を行う。例えば、Ｌｈｅａｄ、Ｌｖａｒを重みを付けて足し合わせて、Ｌａｌｌという値を算出し、この値の小さい方の領域分割結果を最終の分割結果であると評価する。
【００２７】
あるいは、一方の領域分割結果を基本として、Ｌｈｅａｄ、Ｌｖａｒの値のどちらかまたは両方が、他方の領域分割結果よりもしきい値以上大きい場合には、その指標値の小さな方の領域分割結果を採用するという方法もある。
【００２８】
上記した２つの評価方法では、第１の領域分割手段１０２、第２の領域分割手段１０３という異なる領域分割結果のどちらか一方を画像全体にわたって採用する方法である。本発明の評価方法はこれに限定されず、局所的に両者の分割結果を比較して、領域などの画像部分毎に、何れか一方の領域分割結果を採用するようにしてもよい。
【００２９】
〈実施例２〉
上記した実施例では、行頭揃いの一つのしきい値を基に指標値Ｌｈｅａｄを求めた。しかし、単純に一つのしきい値で判断すると、図４（ｂ）のような箇条書きの場合にも行頭不揃いの指標値Ｌｈｅａｄが大きくなってしまう。そこで、本実施例では、箇条書きの場合を考慮した、他のしきい位置を定める。
【００３０】
すなわち、行頭揃いのしきい位置よりも右側にある行が多い場合でも、箇条書き判断のしきい位置より右側に行頭がない場合には、行頭が左端にある行（４０１〜４０４）の先頭状況を調べる。行の先頭にある文字矩形のサイズ（高さ、幅）が行内全体の平均値に近い場合は、箇条書き相当行とする。（ｂ）の行４０３、４０４の場合は、箇条書き相当行と判定され、（ａ）の行４０１、４０２は、箇条書き相当行でないと判定される。
【００３１】
当該行全てが箇条書き相当行であるか、あるいは、しきい値以上の割合の行が箇条書き相当行である場合に、当該領域は箇条書き相当であるとして行頭不揃いの値Ｌ１は０となる。
【００３２】
〈実施例３〉
本発明は上記した実施例に限定されず、ソフトウェアによっても実現することができる。本発明をソフトウェアによって実現する場合には、図８に示すように、ＣＰＵ、メモリ、表示装置、ハードディスク、キーボード、ＣＤ−ＲＯＭドライブ、スキャナなどからなるコンピュータシステムを用意し、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体には、本発明の文書画像の領域抽出機能を実現するプログラムなどが記録されている。また、スキャナなどの画像入力手段から入力された文書画像などは一時的にハードディスクなどに格納される。そして、該プログラムが起動されると、一時保存された文書画像データが読み込まれて、領域抽出処理を実行し、最良の領域分割結果をディスプレイなどに出力する。
【００３３】
【発明の効果】
以上、説明したように、本発明によれば、複数の領域分割方法を併用しているので、多様な文書画像に適用したときに、従来の一つの領域分割方法を使用する場合に比べて、より最適な領域分割結果を得ることができる。
【００３４】
本発明によれば、領域分割結果である文字領域の整合性として、領域内の行頭の揃い、文字サイズの変動を調べているので、文字領域を精度よく切り出した分離結果を得ることができる。
【００３５】
本発明によれば、箇条書きの場合の行頭の不揃いの影響を除いているので、領域が箇条書きである場合でも安定した処理を行うことができる。
【００３６】
本発明によれば、複数の領域分割結果の内、局所的に最良な部分を採用できるので、最終的に最適な分離結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施例の構成を示す。
【図２】本発明の処理フローチャートを示す。
【図３】（ａ）〜（ｅ）は、領域分割結果の評価例を説明する図である。
【図４】（ａ）、（ｂ）は、箇条書き行の判別を説明する図である。
【図５】行頭揃いの指標値を求める第１の処理フローチャートを示す。
【図６】行頭揃いの指標値を求める第２の処理フローチャートを示す。
【図７】文字サイズの変動指標値を求める処理フローチャートを示す。
【図８】本発明をソフトウェアによって実現する場合の構成例を示す。
【符号の説明】
１０１画像入力手段
１０２第１の領域分割手段
１０３第２の領域分割手段
１０４領域分割結果評価手段
１０５制御部
１０６データ記憶部
１０７データ通信路
１０８データ通信手段

Claims

複数の領域分割方法を用いて文書画像を領域に分割し、第一の領域分割方法によって得られた文書領域各々において、行頭の位置がしきい値以上異なる行の数Ａを計測し、当該領域内における全行数中の該行数Ａの比率がしきい値以上の場合に当該領域を不揃い領域と判定し、該不揃い領域の総数を第一評価値として算出し、第二の領域分割方法によって得られた文書領域各々において、行頭の位置がしきい値以上異なる行の数Ｂを計測し、当該領域内における全行数中の該行数Ｂの比率がしきい値以上の場合に当該領域を不揃い領域と判定し、該不揃い領域の総数を第二評価値として算出し、前記第一評価値と第二評価値を比較して小さい値をとる方の領域分割結果を採用することを特徴とする文書画像の領域抽出方法。
前記行頭の位置を比較する際に、しきい値以上行頭位置の差異がなく、行頭が左端にある行の先頭文字のサイズが行内全体の平均値に近い場合は箇条書き相当行と判断し、該箇条書き相当行の割合がしきい値以上の場合は当該領域を前記行数の計測に使用しないことを特徴とする請求項１記載の文書画像の領域抽出方法。
複数の領域分割方法を用いて文書画像を領域に分割し、第一の領域分割方法によって得られた文書領域各々において、領域内の各行文字サイズの偏差値がしきい値以上の場合に当該領域内の行数もしくは行数の自乗値を当該領域の評価値として算出し、第一の領域分割方法によって得られた文書領域全てについて求めた該評価値の総計を第一評価値として算出し、第二の領域分割方法によって得られた文書領域各々において、領域内の各行文字サイズの偏差値がしきい値以上の場合に当該領域内の行数もしくは行数の自乗値を当該領域の評価値として算出し、第二の領域分割方法によって得られた文書領域全てについて求めた該評価値の総計を第二評価値として算出し、前記第一評価値と第二評価値を比較して小さい値をとる方の領域分割結果を採用することを特徴とする文書画像の領域抽出方法。
請求項１乃至３のいずれか１項に記載の文書画像の領域抽出方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。