JP3220226B2 - 文字列方向判別方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書画像を扱う装置も
しくはシステムにおいて、文書の２値画像から文字列の
方向あるいは文書の縦書き・横書きの別を自動的に判別
する方法に関する。

【０００２】

【従来の技術】縦書きまたは横書き書式の文書を処理す
るＯＣＲ等のシステムにおいて、文書画像から文字列と
文章領域の抽出を行なう場合、まず文書画像から文字列
を構成する微小な候補領域を抽出し、これを統合するこ
とによって文章領域を抽出する方法が一般的に採用され
るが、候補領域の統合のために文字列の方向、つまり文
書の縦書き・横書きの別を知る必要がなる。

【０００３】この方向の自動判別に関しては、次の方法
が知られている。

【０００４】（ａ）特開平３−４４７８８号公報に述べ
られていように、文書画像をいくつかのブロックに分割
し、ブロック内で黒画素の周辺分布をとり、その周期性
から文字列方向を判断する方法。

【０００５】（ｂ）通信学会ＰＲＵ研究会報告８９−１
１４「多様なレイアウト構造、構成要素を持つ文書の領
域分割」に述べられているように、各連結成分につい
て、最も近接したもの同士の距離を縦方向、横方向それ
ぞれについて調べ、その距離の総和が小さいほうの方向
を文字列方向とする方法。

【０００６】

【発明が解決しようとする課題】前記（ａ）方法は、周
辺分布を用いるため文書の傾きに弱く、また写真領域等
の文字領域以外の部分や、文字領域であっても本文とレ
イアウトの異なる部分（タイトル等）の影響によって処
理が不可能な場合がある。

【０００７】前記（ｂ）方法は、文書画像上の全ての連
結成分について、近接した連結成分を縦横方向に検索し
なければならないため、処理量が非常に大きい。また、
予め連結成分の大きさ等の属性より文字とそれ以外のも
のに分別することによって、文書上の文字以外の部分の
影響を排除できるが、しかし近接した連結成分間の距離
の総和を利用するため、本文に近接してタイトルやペー
ジ番号等が存在すると、その影響がでる。

【０００８】本発明は、従来方法の弱点に鑑み、少ない
処理量で文書の文字列方向を確実に判別するための新し
い方法を提供しようとするものである。

【０００９】

【課題を解決するための手段】請求項１の発明の方法
は、文書の２値画像の縮小画像を生成し、該縮小画像よ
り文字列候補としての黒画素の連結成分を抽出する。そ
して、該連結成分の中で縦横比または縦横比がある閾値
を超える縦長の連結成分の個数と横長の連結成分の個数
とを比較することにより、文字列方向あるいは縦書き／
横書きの別を判定する、というものである。

【００１０】請求項２の発明の方法は、文書の２値画像
の縮小画像を生成し、該縮小画像より文字列候補として
の黒画素の連結成分を抽出し、該連結成分の中で縦横比
または横縦比がある第１の閾値以上の縦長の連結成分及
び横長の連結成分のそれぞれの個数を調べる。そして、
該縦長連結成分の個数または該横長連結成分の個数が第
２の閾値を超える場合は、それぞの個数の比較によって
文字列方向を判定する。しかし、該縦長連結成分の個数
及び該横長連結成分の個数がそれぞれ該第２の閾値以下
である場合は、該文字列候補としての連結成分を縦方向
及び横方向の文字列へそれぞれ統合する処理を行ない、
長さに対する高さの比がある第３の閾値以下の文字列に
統合された連結成分の隣合うものの距離のヒストグラム
を縦方向及び横方向について別々に生成し、該各方向の
ヒストグラムの最頻値に対応する距離を比較することに
よって文字列方向を判定する、というものである。

【００１１】請求項３の発明の方法は、請求項２の発明
の方法と同様に、各方向のヒストグラムを生成した場合
に、各方向のヒストグラムにおいて最大頻度と該最大頻
度に対応する距離の周辺の距離の頻度との総計を求め
る。そして、各方向の該総計の比がある第４の閾値以下
のときには、請求項２の発明の方法と同様に最大頻度に
対応する距離の比較によって文字列方向を判定するが、
そうでない場合には該総計の比較によって文字列方向を
判定する、というものである。

【００１２】

【作用】請求項１の発明によれば、文書の２値画像を縮
小し、その縮小画像上の文字列候補としての連結成分を
抽出する。一般的な文字間隔の文書の場合、適当な縮小
率の縮小画像上では文字間は融合するが、しかし行間は
融合しないため、横書き文書の場合には横縦比が大きな
横長の連結成分が多く出現するのに対し、縦書き文書の
場合には縦横比が大きな縦長の連結成分が多く出現す
る。しかして、請求項１の発明によれば、このような横
長と縦長の連結成分の個数を比較し、その個数が多い方
向を文字列方向として判別することができるのである。

【００１３】そして、周辺分布を利用する方法でないの
で、本質的に文書の傾きに強く、また、文字列候補とし
て不適当な連結成分は、その大きさ等の特徴によって容
易に排除できるので、写真領域や、タイトル等の本文と
レイアウトが大きく異なる領域が存在しても、その影響
を排除して本文の文字列方向を判別できる。

【００１４】請求項１の発明と同様の文字列方向判別を
圧縮前の文字画像を直接対象にして行なおうとするなら
ば、遥かに多数の連結成分を抽出し、それを縦方向と横
方向に統合ないし融合する処理をする必要があろう。請
求項１の発明によれば、１回の縮小処理を行なうだけ
で、方向判別の処理の対象となる連結成分の個数が大幅
に減り、その統合なしい融合の処理も不要となり、しか
も縮小処理は単純な論理和演算等によって達成できるか
ら、少ない処理量で単時間に文字列方向判別を行なうこ
とができる。

【００１５】ワープロ作成文書のように文字間距離が長
い文書の場合、それを縮小した画像上においても文字が
融合せず孤立したままとなるため、縦横比または横縦比
が閾値以上の連結成分の個数が非常に少なくなる結果、
縦長連結成分と横長連結成分の個数比較によったのでは
文字列方向の判定結果が不正確になることがある。

【００１６】請求項２の発明によれば、このような文書
の場合に、連結成分を縦方向及び横方向の文字列へ統合
し、その際に隣接した連結成分間の距離のヒストグラム
を生成する。通常、文字間隔は行間隔（文字列間隔）よ
り小さいため、横書き文書であるならば横方向ヒストグ
ラム上の最大頻度の距離は縦方向ヒストグラム上の最大
頻度の距離に比べ小さくなり、縦書き文書の場合は逆の
関係になるのが普通である。したがって、請求項２の発
明によれば、各方向のヒストグラム上で最大頻度となっ
た距離を比較することにより、ワープロ作成文書のよう
な文字間隔が比較的大きな文書に対しても、文字列方向
を的確に判定できる。

【００１７】請求項３の発明によれば、請求項２の発明
においてヒストグラムの最大頻度とその周辺の頻度の総
計を各方向について求め、その比が大きい場合には、頻
度総計が大きい方向を文字列方向と判定する。このよう
にすることによって、ヒストグラムの最大頻度の信用性
が不十分になる場合、つまり距離の分散が大きくなるよ
うな文書や全体の頻度が下がるような文書に対しても、
文字列方向を確実に判別できる。

【００１８】また請求項２または３の発明は、文字列方
向判定のために文字列統合を行なった場合でも、その文
字列データをそのまま文章領域統合に利用できるため、
全体としての処理量は増加せず、領域識別処理との整合
性が優れている。また、請求項２または３の発明にあっ
ても、請求項１の発明と同様に、文書の傾きに強く、ま
た写真領域や本文とレイアウトの違うタイトルなどの領
域が存在しても影響を排除できることは明らかである。

【００１９】

【実施例】図１は本発明の一実施例に係る処理システム
のブロック図、図２はその処理フローを示すフローチャ
ートである。

【００２０】図１において、１０１は文書の２値画像を
入力するスキャナ等の画像入力部、１０２はこの入力画
像の縮小処理を行なって縮小画像を生成する画像縮小
部、１０３はこの縮小画像から黒画素の連結成分を抽出
する連結成分抽出部、１０４は抽出された連結成分の情
報より文字列方向（文書の縦書き／横書きの別）を判別
する処理を行なう縦横判別部、１０５は連結成分を文字
列へ統合し、この文字列をコラム等のまとまりのある文
章領域に統合する処理を行なう文字領域統合部、１０６
は入力画像、その縮小画像、抽出した連結成分の情報等
の各種データを記憶するためのデータ記憶部、１０７は
前記各部を制御する制御部、１０８はデータ通信路であ
る。

【００２１】以下、図２に示した処理フローに沿って処
理内容を説明する。

【００２２】まず、画像入力部１０１によって処理しよ
うとする文書の２値画像を入力し、データ記憶部１０６
に格納する（ステップ２０１）。次に、画像縮小部１０
２によって、入力画像を縦方向及び横方向に同じ縮小率
で縮小した画像を、データ記憶部１０６上に生成する
（ステップ２０２）。

【００２３】この縮小率は、縮小によって同一行の文字
が融合することはあっても、異なる行の文字が融合しな
い程度に選ぶ。例えば、文書画像を４００ｄｐｉで入力
した場合、８×８画素を１画素に縮小する。縮小方法は
論理和縮小とし、８×８画素を１画素に縮小する場合で
れば、８×８画素中の１画素でも黒であれば縮小画素を
黒とする。ただし、他の縮小方法を用いることも可能で
ある。

【００２４】次に連結成分抽出部１０３において、縮小
画像上の黒画素の連結成分を抽出し、その外接矩形の頂
点座標等の情報をデータ記憶部１０６に格納する（ステ
ップ２０３）。ただし、この段階で抽出された連結成分
の中には文字列候補となり得ないものも含まれている。
次に、縦横判別部１０４による処理（ステップ２０４〜
２０９）が行なわれる。ただし、ステップ２０７におけ
る連結成分の文字列への統合処理とステップ２０９の処
理は文字領域統合部１０５により行なわれる。まず、ス
テップ２０３で抽出された連結成分の情報を参照し、連
結成分を文字列候補と、文字以外（図や写真）の候補に
分類する（ステップ２０４）。この分類のための特徴と
しては、例えば連結成分の大きさ、大きさ及び縦横比ま
たは横縦比を用いることができる。これから後の処理
は、文字列候補としての連結成分を対象とする。ステッ
プ２０３，２０４の処理を合体し、この条件チェックを
行ないつつ文字列候補となり得る連結成分だけを初めか
ら抽出するようにしてもよい。

【００２５】次に、文字列候補としての連結成分の縦横
比及び横縦比と閾値ｔｈ１（例えば３）とをそれぞれ比
較し、縦横比が当該閾値ｔｈ１以上である縦長の連結成
分の個数と、横縦比が当該閾値ｔｈ１以上である横長の
連結成分の個数を計数する（ステップ２０５）。

【００２６】例えば４００ｄｐｉで、８×８画素を１画
素に論理和縮小する場合、一般的な文書の縮小画像上で
は、同じ文字列中の文字間は融合する（句読点間は融合
しない）が、行間は融合しない。したがって、各連結成
分は行（文字列）方向に細長い形状となるので、細長い
連結成分だけを集計し、その中の縦長のものの個数と横
長のものの個数を比較することによって、文字列（行）
方向を判別することができる。

【００２７】ステップ２０６は、この判定を行なう処理
ステップである。すなわち、ステップ２０５で求められ
た各方向の連結成分の個数を比較し、縦長の連結成分の
個数が横長の連結成分の個数より多いときは、文字列方
向を縦方向と判定し、その逆の関係であるときは文字列
方向を横方向と判定する。

【００２８】しかし、処理対象文書がワープロ作成文書
のように文字間距離が長いものであった場合、縮小画像
においても文字が融合せず孤立したままとなるため、縦
横比または横縦比が閾値以上の連結成分の個数が非常に
少なくなる。このような場合、上記のような縦長連結成
分と横長連結成分の個数比較により文字列方向を判定す
ることは無理である。

【００２９】そこでステップ２０６においては、まずス
テップ２０５で求められた各方向の連結成分の個数をあ
る閾値ｔｈ２と比較し、縦長連結成分と横長連結成分の
個数が共に閾値ｔｈ２以下の場合には、上記の個数比較
による文字列方向判定を行なわない。この場合はステッ
プ２０７以下で文字列方向を判定する。しかし、縦長ま
たは横長の連結成分の一方でも、その個数が閾値ｔｈ２
を超えるときに、ステップ２０６において上記の個数比
較により文字列方向を判定する。この場合は、文字列方
向判別は終了し、処理２０９へ進む。

【００３０】ステップ２０６で文字列方向を判別できな
かった場合、ステップ２０７において、文字列候補とし
ての連結成分を、縦方向の文字列（行）及び横方向の文
字列（行）へそれぞれ統合する処理を行なう。この文字
列への統合は、前記「多様なレイアウト構造、構成要素
を持つ文書の領域分割」にも述べられているように、文
字列方向（この段階では文字列方向は確定していなので
仮の方向）に近接する連結成分を同一文字列に属するも
のとする処理である。この統合の際、近接する連結成分
間の距離を集計し、距離のヒストグラムを各方向につい
て作成する。

【００３１】図３は、この処理の説明のための図であ
る。図３の（Ａ）は統合前の様子を示しており、３０１
〜３１５は文字列候補連結成分の外接矩形である。図３
の（Ｂ）は縦方向文字列への統合後の様子を示し、３２
１〜３２３は統合により得られた文字列（行）である。
（Ｃ）は横方向文字列への統合後の様子を示し、３３１
〜３３３は文字列（行）である。

【００３２】縦方向統合の際に（Ｂ）に符号３２４で示
したような距離のヒストグラムを作成し、また横方向統
合の際に（Ｃ）に符号３３４で示したような距離のヒス
トグラムを作成する。ただし、ヒストグラム作成にあた
っては、統合の結果得られた文字列（行）の高さ（縦方
向文字列のときは横の長さ）が、その長さ（縦方向文字
列のときは縦の長さ）に比べて大き過ぎるときは（前者
の後者に対する比がある閾値ｔｈ３を超えるとき）、そ
の文字列は正しい統合が行なわれていないと判断し、そ
の連結成分間距離はヒストグラム作成に用いない。例え
ば図３（Ｂ）に示された文字列３２１は、ヒストグラム
作成の対象外とする。

【００３３】次のステップ２０８においては、ステップ
２０７で作成された縦方向と横方向のヒストグラムの最
大頻度となった距離を比較し、その距離が小さいほうの
方向を文字列方向と判定する。これは、一般に文字間距
離が行間距離より小さいからである。

【００３４】しかし、ステップ２０７の統合は仮の文字
列方向について統合であるため、行間の変化などにより
距離の分散が大きくなったり、あるいは図３（Ｂ）に示
した文字列３２１のように集計対象から外される連結成
分が多くなって全体の度数が下がって、ヒストグラムの
最大頻度の信用性が欠ける場合がある。例えば、文字列
方向が横方向の文書において、縦方向について図４
（Ａ）に示すようなヒストグラムが得られ、横方向につ
いて図４（Ｂ）に示すようなヒストグラムが得られた場
合、縦方向の最大頻度４０１に対応する距離のほうが、
横方向の最大頻度４０２に対応する距離よりも小さい。
この場合、最大頻度の距離の比較によれば、文字列方向
を縦方向と誤判定してしまう。

【００３５】このような誤判定を避けるため、ステップ
２０８においては、最大頻度とその両隣の頻度の総計
（一般的には最大頻度の周辺の頻度の総計）を各方向に
ついて求め、その比がある閾値ｔｈ４を超えるときは、
頻度総計が大きい方向を文字列の方向と判定する。その
比が閾値ｔｈ４以下のときは、最大頻度の距離の小さい
ほうを文字列方向とする。例えば図４（Ａ）に符号４０
３で示した頻度総計と図４（Ｂ）に符号４０４で示した
頻度総計の比が閾値ｔｈ４を超えたときは、頻度総計の
大きな横方向を文字列方向とする。

【００３６】ステップ２０６で文字列方向が判別された
場合、ステップ２０９において、文字列候補連結成分を
判別した方向の文字列に統合してステップ２１０に進
む。ステップ２０８で文字列方向が判別された場合は、
すでに文字列統合は済んでいるので、直ちにステップ２
１０に進む。ステップ２１０は文字領域統合部１０５の
処理であって、文字列をコラムなどの、まとまりのある
文章領域へ統合する。

【００３７】

【発明の効果】以上の説明から明らかなように、請求項
１の発明によれば、少ない処理量で文書の文字列方向を
判別可能となり、また文書の傾きや、写真領域、タイト
ル等の本文とレイアウトが大きく異なる領域の影響を受
けにくくなる。

【００３８】請求項２または３の発明によれば、ワープ
ロ作成文書のような文字間隔が大きい文書などに対して
も、文字列方向を的確に判別することが可能となり、ま
た文字列方向の判別のための文字列統合の結果を文字列
データとして文章領域統合に利用できるため、領域識別
処理との整合性に優れ、また全体としての処理量も削減
できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る処理システムのブロッ
ク構成を示す。

【図２】処理の概略フローを示す。

【図３】（Ａ）連結成分の抽出例を示す。 （Ｂ）縦方向の文字列への抽出結果を示す。 （Ｃ）横方向の文字列への抽出結果を示す。

【図４】（Ａ）縦方向に関する距離のヒストグラムの例
を示す。 （Ｂ）横方向に関する距離のヒストグラムの例を示す。

【符号の説明】

１０１ 画像入力部 １０２ 画像縮小部 １０３ 連結成分抽出部 １０４ 縦横判別部 １０５ 文字領域統合部 １０６ データ記憶部 １０７ 制御部 １０８ データ通信路 ３０１〜３１５ 連結成分の外接矩形 ３２１〜３２３ 縦方向統合文字列 ３３１〜３３３ 横方向統合文字列

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 文書の２値画像の縮小画像を生成し、該
   縮小画像より文字列候補としての黒画素の連結成分を抽
   出し、該連結成分の中で縦横比または横縦比がある閾値
   を超える縦長の連結成分の個数と横長の連結成分の個数
   とを比較することにより、該文書の文字列方向を判定す
   る文字列方向判別方法。
2. 【請求項２】 文書の２値画像の縮小画像を生成し、該
   縮小画像より文字列候補としての黒画素の連結成分を抽
   出し、該連結成分の中で縦横比または横縦比がある第１
   の閾値以上の縦長の連結成分及び横長の連結成分のそれ
   ぞれの個数を調べ、 該縦長連結成分の個数または該横長連結成分の個数が第
   ２の閾値を超える場合には、それぞの個数の比較によっ
   て該文書の文字列方向を判定し、 該縦長連結成分の個数及び該横長連結成分の個数がそれ
   ぞれ該第２の閾値以下である場合には、該文字列候補と
   しての連結成分を縦方向及び横方向の文字列へそれぞれ
   統合する処理を行ない、長さに対する高さの比がある第
   ３の閾値以下の文字列に統合された連結成分の隣合うも
   のの距離のヒストグラムを縦方向及び横方向について別
   々に生成し、該各方向のヒストグラムの最大頻度に対応
   する距離を比較することによって該文書の文字列方向を
   判定する文字列方向判別方法。
3. 【請求項３】 文書の２値画像の縮小画像を生成し、該
   縮小画像より文字列候補としての黒画素の連結成分を抽
   出し、該連結成分の中で縦横比または横縦比ががある第
   １の閾値以上の縦長の連結成分及び横長の連結成分のそ
   れぞれの個数を調べ、 該縦長連結成分の個数または該横長連結成分の個数が第
   ２の閾値を超える場合には、それぞの個数の比較によっ
   て該文書の文字列方向を判定し、 該縦長連結成分の個数及び該横長連結成分の個数がそれ
   ぞれ該第２の閾値以下である場合には、該文字列候補と
   しての連結成分を縦方向及び横方向の文字列へそれぞれ
   統合する処理を行ない、長さに対する高さの比がある第
   ３の閾値以下の文字列に統合された連結成分の隣合うも
   のの距離のヒストグラムを縦方向及び横方向について別
   々に生成し、該各方向のヒストグラムにおいて最大頻度
   と該最大頻度に対応する距離の周辺の距離の頻度との総
   計を求め、各方向の該総計の比がある第４の閾値以下の
   ときには最大頻度に対応する距離の比較によって、そう
   でないときには該総計の比較によって、該文書の文字列
   を判定することを特徴とする文字列方向判別方法。