JP4381455B2 - 文字サイズ推定方法、装置および記録媒体 - Google Patents

Description

本発明は、画像中の文字サイズを推定する文字サイズ推定方法、装置および文字サイズ推定処理プログラムを記録した記録媒体に関する。

文字認識などを行う際に、その前処理として文字サイズが抽出される。例えば、文書画像を短冊状に分割して得られる各領域内の投影データを用いて文字サイズを抽出するもの（特許文献１を参照）、文書画像の周辺分布から画素塊の縦幅、横幅を算出することにより文字サイズを抽出するもの（特許文献２を参照）、長体、正体、平体文字を判別し、文字の幅／高さを基に文字サイズを決定するもの（特許文献３を参照）、手書き文字列の第１方向の文字寸法を推定する際に、ファーストマージ後の第２方向寸法の中から、大きい方からｎ番目にある寸法値を選択し、これを基に文字サイズ推定値を求めるもの（特許文献４を参照）、白ランレングスの平均値から文字サイズを推定するもの（特許文献５を参照）などが挙げられる。

特許第２５６９１５１号公報 特開平５−８９２８３号公報 特開平５−２８２４９２号公報 特開平７−２１３１２号公報 特開平７−１８４０３４号公報

ところで、従来、表を処理する場合に、その表に含まれる文字サイズなどを予め推定することなく、予定された文字サイズ以下ならば、線などとして誤認識することは少ない。しかし、予定された文字サイズよりも大きな文字サイズを含む表などでは、文字内に存在する直線成分を罫線として誤認識する可能性が高くなるという問題があった。

本発明の目的は、画像中の文字サイズを精度よく推定する文字サイズ推定方法、装置および記録媒体を提供することにある。

前記目的を達成するために、請求項１記載の発明では、入力された画像の主走査方向および副走査方向におけるランを抽出する工程と、前記抽出されたランの頻度分布を求める工程と、前記ランの頻度分布を基に所定の閾値を設定する工程と、前記所定の閾値より大きなランを用いて連結矩形を抽出する工程と、前記抽出された連結矩形から罫線を抽出する工程と、所定領域内の主走査方向および副走査方向に所定本数以上の罫線が存在しているとき、文字矩形と判定する工程と、前記文字矩形と判定された矩形の縦サイズの頻度分布を求める工程と、前記縦サイズの頻度分布のピークを検出する工程と、前記ピークから縦サイズの大きい方向へ探索したとき、頻度値が所定値以下になった縦サイズを文字サイズとして出力する工程を備えたことを特徴としている。

請求項２記載の発明では、入力された画像の主走査方向および副走査方向におけるランを抽出する手段と、前記抽出されたランの頻度分布を求める手段と、前記ランの頻度分布を基に所定の閾値を設定する手段と、前記所定の閾値より大きなランを用いて連結矩形を抽出する手段と、前記抽出された連結矩形から罫線を抽出する手段と、所定領域内の主走査方向および副走査方向に所定本数以上の罫線が存在しているとき、文字矩形と判定する手段と、前記文字矩形と判定された矩形の縦サイズの頻度分布を求める手段と、前記縦サイズの頻度分布のピークを検出する手段と、前記ピークから縦サイズの大きい方向へ探索したとき、頻度値が所定値以下になった縦サイズを文字サイズとして出力する手段を備えたことを特徴としている。

請求項３記載の発明では、請求項１記載の文字サイズ推定方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

本発明によれば、文字内に存在する直線成分を利用しているので、ノイズに強い文字矩形の判定が可能になる。また、画像中に最も多く存在する文字矩形の文字サイズのばらつきを吸収しながら推定することができる。

本発明によれば、従来の固定閾値では抽出できない短い罫線を抽出することができる。また、分布自体は表の大きさに依存しないため、大きな表や小さな表を同じ処理方法によって処理することができる。つまり、本発明の処理方法は解像度に依存しない。

本発明によれば、分布の微分値から閾値を推定しているので、より正確な閾値推定が可能となる。

本発明によれば、分布にのっている高周波ノイズを除去しているので、より正確な閾値の推定が可能となる。

本発明によれば、縦線、横線を含む表枠だけではなく、単なる直線からなる分布に対しても適切な閾値を推定できる。

本発明によれば、ランに属性情報を付与しているので、文字に相当するランの原画消去処理を高速に行うことができる。

以下、発明の実施の形態について図面により詳細に説明する。

（実施例１）
図１は、本発明の実施例１の構成を示し、図２は、実施例１の処理フローチャートを示す。図において、１は画像入力部、２は原画メモリ、３はラン抽出部、４は連結矩形抽出部、５は頻度計数部、６はピーク検出部、７は文字サイズ出力部である。

以下、図２を参照しながら、実施例１の処理動作を説明する。スキャナなどの画像入力部１で原稿を読み取り、入力画像を原画メモリ２に格納する（ステップ１０１）。ラン抽出部３は、原画メモリ２内の画像データの主走査方向（または副走査方向）についてランを抽出しメモリに格納する（ステップ１０２）。

次いで、連結矩形抽出部４は、主走査方向における抽出されたランを用いて連結矩形の抽出を行う（ステップ１０３）。頻度計数部５は、抽出された矩形の縦サイズ（あるいは横サイズ）について頻度を計数する（ステップ１０４）。ピーク検出部６は、頻度分布上で、縦サイズの小さい方から、微分値の符号が変化する点を探索し、この点をピークとする（ステップ１０５）。文字サイズ出力部７は、上記したピークを文字サイズとして出力する（ステップ１０６）。

このように、頻度分布のピークを使用することにより、画像中で一番多い文字のサイズを推定することができる。

上記した実施例では、矩形の縦横分布のピークで文字サイズを推定しているが、ある文字サイズは、全て同じ大きさではなく、文字によってバラツキがある。そこで、このバラツキを吸収するために、矩形の縦横分布の終わり値で文字サイズを推定する。すなわち、ピークを検出した後、ピークから縦サイズの大きい方を探索し、頻度が一定値以下になった点を文字サイズとする。

さらに、複数の文字サイズを使用している場合に、その複数の文字サイズを推定するために、ピークを探索した後、探索した全てのピークについて、ピークから縦サイズの大きい方を探索し、頻度が一定値以下になった点を文字サイズとする。

図３は、２つの文字サイズを含む文字矩形の縦サイズ頻度分布の一例を示す。同じ文字サイズの文字に関して、抽出された連結矩形の横サイズはバラツキが多いが、縦サイズは図に示すように、ある一定範囲に収まる特性がある。この特性は漢字や英語によらない。そして、分布の塊となっている領域（図では２つの領域）を見つけ出すことにより、読み込んだ画像中に存在する文字サイズを推定している。

つまり、図３の例で、ピークを文字サイズとして出力とする場合は、４０（ドット）が文字サイズとして推定される。また、ピークから縦サイズの大きい方を探索し、頻度が一定値以下になった点を文字サイズとする場合は、図３の例で、頻度が一定値（例えば２）以下になった点、つまり４５（ドット）が文字サイズとして推定される。さらに、複数の文字サイズを推定する場合には、頻度が一定値（例えば２）以下になった点である６５（ドット）も文字サイズとして推定される。

（実施例２）
実施例２は、表処理などに先だって連結矩形抽出が行われるが、この抽出された矩形が文字であるか否かを予め判定しておくことにより、より正確に文字サイズを推定する実施例である。また、文字に含まれる直線成分を利用して文字矩形を判定することにより、より正確な文字サイズの推定を行う。

図４は、本発明の実施例２の構成を示し、図５は、実施例２の処理フローチャートを示す。図４において、２１は画像入力部、２２は原画メモリ、２３はラン抽出部、２４は連結矩形抽出部、２５は罫線抽出部、２６は文字矩形判定部、２７は頻度計数部、２８はピーク検出部、２９文字サイズ出力部である。

以下、図５を参照しながら、実施例２の処理動作を説明する。スキャナなどの画像入力部２１で原稿を読み取り、入力画像を原画メモリ２２に格納する（ステップ２０１）。ラン抽出部２３は、原画メモリ２２内の画像データの主走査方向についてランを抽出し、メモリに格納する（ステップ２０２）。

次いで、連結矩形抽出部２４は、主走査方向において抽出されたランについて、所定の閾値（固定閾値）より大きなランのみを対象に連結矩形の抽出を行い（ステップ２０３）、罫線抽出部２５は、抽出された連結矩形から罫線（直線成分）を抽出する（ステップ２０４）。副走査方向についても同様の処理を行い（ステップ２０６）、罫線を抽出する。

文字矩形判定部２６は、主走査方向／副走査方向の何れにも３本以上の罫線が存在していれば（ステップ２０７）、文字矩形として判定する（ステップ２０８）。上記した処理を全ての矩形について処理する（ステップ２０９）。

頻度計数部２７は、文字矩形と判定された矩形の縦サイズについて頻度を計数する（ステップ２１０）。ピーク検出部２８は、頻度分布上で、縦サイズの小さい方から、微分値の符号が変化する点を探索し、この点をピークとする（ステップ２１１）。文字サイズ出力部２９は、上記したピークから縦サイズの大きい方を探索し、頻度がある一定値以下になった点を文字サイズとして出力する（ステップ２１２）。

（実施例３）
文字矩形同士が接触していて、推定された文字サイズを超える大きさの矩形を形成しても、単位面積当たりの罫線数を基に文字矩形として推定する実施例である。つまり、推定された文字サイズを一片とする方形領域の面積を１単位として、この方形領域よりも大きな連結矩形について、その単位面積当たりの罫線数を算出し、その罫線数から文字矩形を判定する。

図６は、本発明の実施例３の構成を示し、図７、８は、実施例３の処理フローチャートを示す。実施例３では、実施例２の構成に、さらに連結矩形抽出部３０、罫線抽出部３１、文字矩形判定部３２を追加している。また、図８の処理フローチャートにおいて、ステップ３１２までの処理は実施例２と同様である。ただし、ステップ３０８で判定された文字矩形は仮文字矩形とする。

以下の処理を仮文字矩形と判定された全ての矩形について行う。連結矩形抽出部３０は、主走査方向において、固定閾値より大きなランのみを対象に連結矩形の抽出を行い（ステップ３１３）、罫線抽出部３１は、抽出された連結矩形から罫線（直線成分）を抽出する（ステップ３１４）。副走査方向についても同様の処理を行い、罫線を抽出する。

文字矩形判定部３２は、主走査方向／副走査方向について、罫線数を（現在処理中の矩形面積／推定された文字サイズの面積）で割って、単位面積（ドットの２乗）当たりの罫線数を求め（ステップ３１５）、主走査方向／副走査方向の何れにも、単位面積当たりの罫線数が３本以上存在すれば、文字矩形として判定する（ステップ３１６）。

（実施例４）
実施例４は、芯線処理によって文字矩形を判定することにより、より正確な文字サイズを推定する実施例である。図９は、本発明の実施例４の構成を示し、図１０は、本発明の実施例４の処理フローチャートである。図において、４０は画像入力部、４１は原画メモリ、４２はラン抽出部、４３は連結矩形抽出部、４４はＩＤ付与部、４５は芯線矩形抽出部、４６は文字矩形判定部、４７は頻度計数部、４８はピーク検出部、４９は文字サイズ出力部である。

スキャナなどの画像入力部４０で原稿を読み取り、入力画像を原画メモリ４１に格納する（ステップ４０１）。ラン抽出部４２は、原画メモリ４１内の画像データの主走査方向についてランを抽出しメモリに格納する（ステップ４０２）。連結矩形抽出部４３は、メモリ上のランを使って連結矩形を抽出し、ＩＤ付与部４４は連結矩形に矩形ＩＤ（シリアル番号）を付与し、その矩形ＩＤを、その連結矩形成分を構成する全てのランにも付与する（ステップ４０３）。

芯線矩形抽出部４５は、同じ矩形ＩＤをもつランについて、ランの中点のみの芯線を使用して矩形を抽出し（ステップ４０４）、副走査方向についても同様の処理を行い、芯線矩形を抽出する（ステップ４０６）。図１１は、芯線矩形の一例を示す。

文字矩形判定部４６は、主走査方向／副走査方向の何れにも３個以上の芯線矩形が存在すれば（ステップ４０７）、文字矩形と判定する（ステップ４０８）。この処理を全ての矩形について行う（ステップ４０９）。以下、実施例２と同様に処理して文字サイズを出力する。

（実施例５）
従来の方法では、固定閾値を用いて罫線を抽出している。このため、表の中に含まれる文字の大きさよりも少し大きな長さを持った線を抽出することが難しい。これは、あらゆるドキュメントにおいて文字内に罫線が抽出されないような、ある程度大きな固定の閾値を設定する必要があるためである。このように、従来の方法では、ある程度大きな固定の閾値を設定しているので、文字内の疑似罫線の抽出を抑えることができるが、逆に、文字サイズよりも少し大きい程度の短い罫線を抽出することができない。

そこで、本実施例では、閾値を固定値ではなく、読み取り原稿の特徴から閾値を推定し、この閾値を基に罫線を判別している。

図１２は、実施例５の構成を示す。図１３は、実施例５の処理フローチャートである。入力画像を原画メモリ５２に格納し（ステップ５０１）、ラン抽出部５３は、主走査方向においてランを抽出しメモリに格納する（ステップ５０２）。連結矩形抽出部５４は、メモリ上のランを使って連結矩形を抽出し、ＩＤ付与部５５は連結矩形に矩形ＩＤ（シリアル番号）を付与し、その矩形ＩＤを、その連結矩形成分を構成する全てのランにも付与する（ステップ５０３）。矩形ＩＤ選択部５６は、ある特定の（つまり、処理対象となる）連結矩形（矩形ＩＤ）を選択し（ステップ５０４）、頻度計数部５７は指定された矩形ＩＤをもつランを検索し、頻度を計数する（ステップ５０５）。

次いで、閾値設定部５８は、ラン頻度の分布を基に閾値を求める（ステップ５０６）。連結矩形抽出部５９は、主走査方向における抽出されたランについて、上記算出された閾値より大きなランのみを対象に連結矩形の抽出を行う（ステップ５０７）。罫線抽出部６０は、抽出された連結矩形から罫線を抽出する（ステップ５０８）。副走査方向についても同様の処理を行い（ステップ５１０）、罫線を抽出する。

文字矩形判定部６１は、主走査方向／副走査方向の何れにも３本以上の罫線が存在していれば（ステップ５１１）、文字矩形として判定する（ステップ５１２）。以下の処理は実施例２と同様である。

（実施例６）
一般的に、縦線と横線を含む表の枠の連結矩形成分のラン頻度分布は、図１４に示すようになる。すなわち、ランレングス１〜１０が縦線のラン分布であり、１０〜２８が縦線あるいは横線に接触している文字のラン分布となっている。２９以上のラン分布は横線のラン分布である。図１４の分布では、閾値を２９に設定することにより、横線のみが抽出できる。分布の微分値がゼロ、つまりラン分布が変化しなくなったら、その点が閾値となる。本実施例では、この閾値を探索するために差分を使用している。

図１５は、実施例６の構成を示す。実施例５と相違する点は、差分計算部６５を設けた点である。図１６は、実施例６の処理フローチャートを示す。

差分計算部６５は、頻度分布についてランレングスの小さい方から順に、隣の頻度との差分を求める（ステップ６０６）。閾値設定部５８は、差分がゼロとなったランレングスを閾値とする（ステップ６０７）。以下、実施例５と同様に、連結矩形抽出部５９は、主走査方向において、設定された閾値より大きなランのみを対象に連結矩形の抽出を行い（ステップ６０８）、罫線抽出部６０は抽出された連結矩形から罫線を抽出する（ステップ６０９）。

（実施例７）
オフィスで作成される表を含む文書のラン分布は、概ね図１４に示す傾向となるが、上記した実施例６のように差分を求めたとき、ノイズ等によって、ランレングス値２９より小さい値でも隣の分布頻度値と一致することがある。あるいは、２９より大きいランレングスでも、頻度値としては１０またはそれ以上の頻度値となる場合もあり、頻度値が隣と一致する場合が必ずあるとは限らない。これは、ラン分布にのっている高周波成分のノイズが原因である。

一般に、高周波成分ノイズはＦＩＲ（Ｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型デジタルフィル夕で除去することができる。そこで、本実施例では、デジタルフィル夕を使用して、高周波ノイズに相当する部分を除去する。

図１７は、実施例７の構成を示し、実施例６の構成にさらにフィルタ処理部６６を付加したものである。また、図１８は、実施例７の処理フローチャートを示す。ステップ７０１〜７０５、ステップ７０７〜７１２は、実施例６の処理と同様である。ステップ７０６では、フィルタ処理部６６において、頻度分布に対してデジタルフィルタ（ローパスフィルタ）をかけて高周波ノイズを除去する。

（実施例８）
図１９は、横線のみのラン分布を示す。ラン分布を連結矩形単位でとると、表の枠を構成する連結矩形や、横線を構成する連結矩形が含まれる。横線のみの連結矩形を、閾値３３の付近で取り出すためには、ラン分布のピークより大きい位置で、微分値がゼロになる点を探せば良い。

図２０は、実施例８の構成を示す。実施例７と相違する点は、ピーク検出部６７を設けた点と、差分計算部６５の処理内容が異なる点である。図２１は、実施例８の処理フローチャートである。

ステップ８０６までの処理は実施例７と同様である。ステップ８０７では、ピーク検出部６７は、頻度分布におけるランレングスの小さい方から、２次微分値がゼロあるいは微分値の符号が変化する点を探索し、ピークとする。次いで、差分計算部６５は、ピークより後方で、隣の頻度との差分を求める（ステップ８０８）。閾値設定部５８は、差分がゼロとなったランレングスを閾値とする（ステップ８０９）。以下の処理は、実施例７と同様であるので、説明を省略する。

（実施例９）
表を認識する際には、連結矩形抽出を繰返し行う必要があり、その都度、原画からランを抽出して、連結矩形を抽出すると処理に時間を要する。そこで、ラン情報のみをあらかじめ用意しておくことにより、ランを使った他の特徴量の抽出等の処理時間を短縮できる。

つまり、ランの属性を保持することで、処理の結果を累積的に保持できるため、認識が終了したランを、その次の認識処理から除くことができ、その結果、認識処理全体の処理時間の短縮が可能となる。同時にラン単位で認識が可能となるため、細部にわたって精度の高い認識処理が可能となる。また、ラン情報に変換されているため、各種の画像処理を短時間で行うことができる。

図２２は、実施例９の構成を示す。この実施例では、実施例８の構成にさらに属性情報記録部６８と文字データ消去部６９を付加している。また、図２３は、実施例９の処理フローチャートである。ステップ９０３において、ラン抽出部５３は、抽出したランに対応するラン属性情報（例えば文字、線などの属性）を保持する領域を確保する。

属性情報記録部６８は、文字矩形判定部６１で文字矩形として判定された矩形内において、連結矩形を構成するランに文字であることを示すマークを記録する（ステップ９１８）。文字サイズが出力された後、文字データ消去部６９では、抽出されたランを調べ、文字であるマークが付与されているランに対応する原画上の黒画素を消去する（ステップ９２２）。

なお、ラン属性情報としては、この他に、ランが線、写真などの画像、ノイズ、線ノイズ、背景などのどれに属しているかを示す属性を保持するようにしてもよい。

（実施例１０）
実施例１０は、本発明をソフトウェアによって実現する場合の実施例である。図２４は、実施例１０のシステム構成例を示す。ＣＤ−ＲＯＭなどの記録媒体には、本発明の文字サイズ推定処理機能または処理手順が記録されていて、これをシステムにインストールする。スキャナなどにセットされた原稿を読み取り、メモリ上に展開された原稿画像から文字矩形を抽出し、抽出された文字矩形のサイズを推定し、その結果をディスプレイなどに表示出力する。

本発明の実施例１の構成を示す。 本発明の実施例１の処理フローチャートを示す。 ２つの文字サイズを含む文字矩形の縦サイズ頻度分布の一例を示す。 本発明の実施例２の構成を示す。 本発明の実施例２の処理フローチャートを示す。 本発明の実施例３の構成を示す。 本発明の実施例３の処理フローチャートを示す。 図７の続きの処理フローチャートを示す。 本発明の実施例４の構成を示す。 本発明の実施例４の処理フローチャートを示す。 芯線矩形の一例を示す。 本発明の実施例５の構成を示す。 本発明の実施例５の処理フローチャートを示す。 一般的な表を含むランの頻度分布を示す。 本発明の実施例６の構成を示す。 本発明の実施例６の処理フローチャートを示す。 本発明の実施例７の構成を示す。 本発明の実施例７の処理フローチャートを示す。 横線のみのラン分布を示す。 本発明の実施例８の構成を示す。 本発明の実施例８の処理フローチャートを示す。 本発明の実施例９の構成を示す。 本発明の実施例９の処理フローチャートを示す。 本発明の実施例１０の構成を示す。

１ 画像入力部
２ 原画メモリ
３ ラン抽出部
４ 連結矩形抽出部
５ 頻度計数部
６ ピーク検出部
７ 文字サイズ出力部

Claims (3)

1. 入力された画像の主走査方向および副走査方向におけるランを抽出する工程と、前記抽出されたランの頻度分布を求める工程と、前記ランの頻度分布を基に所定の閾値を設定する工程と、前記所定の閾値より大きなランを用いて連結矩形を抽出する工程と、前記抽出された連結矩形から罫線を抽出する工程と、所定領域内の主走査方向および副走査方向に所定本数以上の罫線が存在しているとき、文字矩形と判定する工程と、前記文字矩形と判定された矩形の縦サイズの頻度分布を求める工程と、前記縦サイズの頻度分布のピークを検出する工程と、前記ピークから縦サイズの大きい方向へ探索したとき、頻度値が所定値以下になった縦サイズを文字サイズとして出力する工程を備えたことを特徴とする文字サイズ推定方法。
2. 入力された画像の主走査方向および副走査方向におけるランを抽出する手段と、前記抽出されたランの頻度分布を求める手段と、前記ランの頻度分布を基に所定の閾値を設定する手段と、前記所定の閾値より大きなランを用いて連結矩形を抽出する手段と、前記抽出された連結矩形から罫線を抽出する手段と、所定領域内の主走査方向および副走査方向に所定本数以上の罫線が存在しているとき、文字矩形と判定する手段と、前記文字矩形と判定された矩形の縦サイズの頻度分布を求める手段と、前記縦サイズの頻度分布のピークを検出する手段と、前記ピークから縦サイズの大きい方向へ探索したとき、頻度値が所定値以下になった縦サイズを文字サイズとして出力する手段を備えたことを特徴とする文字サイズ推定装置。
3. 請求項１記載の文字サイズ推定方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images