JP2943682B2 - 印刷行検出装置及び印刷行検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書画像より印刷さ
れた文字行を検出する装置に関する。

【０００２】

【従来の技術】本発明の従来技術について説明する。

【０００３】文書画像のどこに何が記載されているかを
解析するレイアウト解析技術は、文書画像を認識し理解
するために不可欠な技術である。特に印刷された文字行
（以下、印刷行と呼ぶ）は、一般文書中に頻繁に現れる
ため、印刷行がどこに書かれているかを検出することは
重要である。

【０００４】かかる印刷行検出技術としては、例えば、
特開昭５９−１０３１１７号公報の方法がある。この方
法は文字を構成する画素を文書水平及び垂直方向に投影
し、その投影の画素積算値が一定値以上の場合に行とし
て検出する（以下、従来技術１と呼ぶ）。

【０００５】また、例えば特開平１−３２０１７１号公
報の方法がある。この方法は、文書画像中の黒画素が水
平又は垂直方向に連続している領域（ラン）を検出し、
各ランを中心として周囲一定範囲にある他のランに同じ
ラベルを付加していくことによりランの密集領域を検出
し、前記密集領域を分析して印刷行を検出する（以下、
従来技術２と呼ぶ）。

【０００６】

【発明が解決しようとする課題】本発明が解決しようと
する課題について説明する。

【０００７】従来技術１では、文字は線で構成されてい
ることから、文字を構成する線が少ない簡単な文字が一
つの行に多く存在する場合、投影軸上に十分に当該行に
対応する画素が積算されず、印刷行でない要素による投
影との区別が困難となり、結果として安定して印刷行を
検出することが困難となる。

【０００８】一方、文字を構成する線の数に影響を受け
ずに安定して投影軸上に行に対応する投影を構成する方
法として、各文字の外接矩形を検出して、その矩形に含
まれる画素の投影をとる方法がある。かかる方法によれ
ば、文字を構成する線の少ない文字でも十分に投影軸上
に画素が積算される。

【０００９】しかし、文字の画素を投影する方法でも、
外接矩形内の画素を投影する場合でも、投影軸上におい
て、一つの行に対応する投影が他の行又は他の非文字要
素の投影から分離できることを前提としている。しか
し、名刺等の特定の書式の文書の場合はかかる前提がほ
ぼ成り立つが、郵便物等の多様なレイアウトが存在する
文書では、縦文字行、横文字行、非文字要素が同時に存
在しうるため、投影軸上で一つの行に対応する投影が他
から分離するとは限らない。従って、かかる多様なレイ
アウトの文書では印刷行を安定して検出できないという
問題があった。

【００１０】従来技術２では、縦文字行や横文字行が混
在していても、それらが十分に離れていれば、別のラベ
ルが付加されるため、各行を検出することができる。し
かし、各ランの周囲一定範囲にあるものは常に同じラベ
ルが付加されるため、印刷行に属さない他の要素が印刷
行に近接している場合、それらに同一ラベルが付加され
てしまう可能性がある。従って、郵便物のように印刷行
と手書きの行が混在し、かならずしもそれらが十分に離
れているとは限らないような文書に対しては印刷行のみ
を検出できないという問題があった。

【００１１】本発明は以上の問題を解決するものであ
り、多様なレイアウトの文書に対しても安定して印刷行
を検出することを目的とする。

【００１２】

【課題を解決するための手段】本願発明は、文書画像か
ら印刷された文字行を検出する装置において、文書画像
から黒画素連結成分の外接矩形を抽出する外接矩形抽出
手段と、前記外接矩形を大きさにより、分類範囲につい
て重複を許して、分類する手段と、前記分類された外接
矩形内に含まれる画素の投影を行う外接矩形投影手段
と、上記外接矩形と前記投影値より印刷行を判定する印
刷行判定手段と、分類されたカテゴリ間で、画像上の領
域において重複して検出されている印刷行を排除する重
複行排除手段とからなることを特徴とする。

【００１３】本発明の作用について説明する。

【００１４】文書画像から連結成分の外接矩形を検出
し、かかる外接矩形をあらかじめ大きさにより重複を許
して分類し（分類先をカテゴリと呼ぶ）、カテゴリごと
に矩形内に含まれる画素の投影を行い、画素の積算値が
あらかじめカテゴリごとに定めた一定値を越えた場合に
印刷行候補とし、他のカテゴリに当該印刷行候補とほぼ
同位置の印刷行候補が検出されておらず、又は検出され
ていても当該印刷行候補よりも低い積算値である場合
に、当該印刷行候補を印刷行として検出する。

【００１５】最初に、あらかじめ外接矩形の大きさで分
類することにより、縦行、横行等が混在する文書におい
ても安定して印刷行を検出できる原理を説明する。

【００１６】一般に印刷行は、同じ印刷行に属する文字
の大きさはほぼ一定であるという特徴を有する。即ち、
同一印刷行に属する文字の外接矩形はほぼ同じ大きさを
有する。従って、外接矩形の大きさにより分類すること
により、縦行や横行が混在する文書においても、それら
の行幅が異なる限り、それぞれ行に含まれる文字の外接
矩形は別のカテゴリに分類される。このことから、分類
せずに投影をとると投影軸上で一つの行に対応する投影
が他の行の投影から分離しないために、印刷行が検出で
きないような場合でも、分類してから各カテゴリごとに
投影をとることにより、他の行の投影の影響を受けずに
画素が積算される可能性が高くなり、印刷行の検出率の
安定性が高まる。

【００１７】又、印刷行に他の要素が近接している場合
でも、かかる他の要素の外接矩形の大きさが印刷行に含
まれる文字の外接矩形の大きさと異なる限り、それぞれ
別のカテゴリに分類されるため、従来技術（２）の方法
だとかかる他の要素も印刷行として検出してしまうよう
な場合でも、印刷行のみを正しく検出することが可能と
なる。

【００１８】次に、単に分類して投影をとるだけでは、
印刷行の行幅が分類境界値付近の値をとる場合に安定し
て検出できないことを示し、重複を許して分類すること
により、かかる場合にも安定して検出することができる
原理を説明する。

【００１９】重複を許さずに２つのカテゴリ（Ｐ１、Ｐ
２）に分類した場合（Ａの場合）と重複を許して３つの
カテゴリ（Ｑ１、Ｑ２、Ｑ３）に分類した場合（Ｂの場
合）を例として考える。ここで、Ａの場合の分類境界値
をＴ１、Ｂの場合の重複分類境界値をＳ１、Ｓ２、Ｓ
３、印刷行と判断するために用いる、外接矩形内の画素
を投影して得られる画素積算値の最低値をθ、対象とす
る印刷行を構成する文字の外接矩形数をＮ個、それぞれ
投影軸と平行方向の大きさをＸｉ（ｉ＝０、…、Ｎ）、
投影軸と直角方向の大きさをＹｉ（ｉ＝０、…、Ｎ）と
する。なお、ｉは外接矩形の番号を表す。

【００２０】説明を簡単にするために、対象とする印刷
行は１行のみとし、前記行を構成する文字の外接矩形内
の画素を投影して得られる画素積算値はθ以上、すなわ
ち活字行としての条件ΣＹｉ＞θを満たすとする。

【００２１】重複を許さないで分類する場合、各外接矩
形はＸｉがＴ１より小さいか、大きいかによってＰ１又
はＰ２に分類される。Ｘｉ（ｉ＝０、…、Ｎ）が全てＴ
１より小さい場合、又はＸｉ（ｉ＝０、…、Ｎ）が全て
Ｔ１より大きい場合は、Ｎ個の外接矩形はすべてＰ１又
はＰ２のいずれかに分類され、ΣＹｉ＞θより、対象と
する行は印刷行として検出される。しかし、各Ｘｉが分
類境界値Ｔ１付近の値をとる場合、Ｎ個のうちのいくつ
かの外接矩形はＰ１に分類され、残りがＰ２に分類され
る事態が生じうる。即ち、一つの印刷行に含まれる文字
の外接矩形が２つのカテゴリに分かれて分類されたこと
により、各カテゴリでの画素積算値がθより小さくなる
可能性があり、かかる場合には、対象行は印刷行として
検出されないことになる。このような事態は、対象とす
る印刷行の行幅が未定である以上、Ｔ１をどのように設
定しても起こり得る問題である。従って、印刷行の行幅
があらかじめ設定した分類境界値付近の値をとる場合
は、安定して印刷行を検出することができない。

【００２２】一方、重複を許して分類する場合、各外接
矩形はＸｉがＳ２より小さい場合Ｑ１に分類され、Ｘｉ
がＳ１より大きくＳ３より小さい場合Ｑ２に分類され、
ＸｉがＳ２より大きい場合はＳ３に分類される。この場
合、各Ｘｉが重複分類境界値Ｓ１、Ｓ２、Ｓ３のいずれ
かの付近の値をとっても、Ｑ１、Ｑ２、Ｑ３のカテゴリ
のうちいずれか一つのカテゴリには常にＮ個の外接矩形
が分類されている。例えば、ＸｉがＳ２付近の値をとる
場合、カテゴリＱ１、Ｑ３には対象行の外接矩形のうち
の一部分のみが分類されることになるが、カテゴリＱ２
には、対象行の外接矩形の全てが分類されることにな
る。従って、カテゴリＱ２に分類された外接矩形につい
て、ΣＹｉ＞θが成り立つため、対象行を印刷行として
検出することができる。このように、重複を許して分類
することにより、分類境界値の設定にかかわらず安定し
て検出することができる。

【００２３】

【発明の実施の形態】図１は本発明にかかる印刷行検出
装置の１実施例の構成を示すブロック図である。この実
施例は、外接矩形抽出手段１と、外接矩形分類手段２
と、外接矩形投影手段３と、印刷行判定手段４と、重複
行排除手段５とを有する。

【００２４】入力画像として、図２に例示するような画
像があり、これを入力画像２１とする。入力画像２１は
２値画像を想定して説明を行うが、２値画像に限定され
るものではなく、例えば、多値画像の場合は、通常の２
値化方法により２値化処理を行ってから入力すればよ
い。ここで、図２に示す（ｘ，ｙ）座標系を画像座標と
呼ぶことにする。

【００２５】又、ｘ軸に投影を行い、ｙ軸に平行な印刷
行を検出する場合についてのみ説明するが、ｙ軸にも投
影を行うことにより、ｘ軸に平行な印刷行も同様の処理
により検出することができる。

【００２６】外接矩形抽出手段１は、前記入力画像２１
を入力とし、画像中の黒画素が連結している成分に同一
ラベルを付加するラベリングを行い、同一ラベルが付加
された連結成分に外接する矩形を抽出し、外接矩形情報
２２を出力する。図３に検出された外接矩形を例示す
る。ラベリングの手法としては、例えば現代数理科学事
典（大阪書籍株式会社発行）の９５１頁に記載されてい
る方法を用いる。外接矩形情報２２としては、例えば
｛（１番目の外接矩形の左上頂点の画像座標（ｘ，
ｙ）、１番目の外接矩形の右下頂点の画像座標（ｘ，
ｙ））、・・・・｝とする。

【００２７】外接矩形分類手段２は、外接矩形情報２２
を入力とし、各矩形をあらかじめ設定した複数のカテゴ
リに重複を許して分類し、分類情報２３を出力する。

【００２８】重複を許して分類する方法としては、例え
ばｘ軸と平行方向の辺の大きさにより以下のように分類
する。ここで説明のために、カテゴリ数を３とし、分類
しようとしている矩形のｘ軸と平行方向の辺の大きさを
ｘ、分類先であるカテゴリをＱｉ（ｉ＝１，２，３）と
する。又、分類するための境界値をＳｉ（ｉ＝１，２，
３）、許容する印刷行の最大幅をＳｍａｘとする。 １．Ｘ＝＜Ｓ２ならば矩形をＱ１に分類する。 ２．Ｘ＞Ｓ１かつＸ＝＜Ｓ３ならば矩形をＱ２に分類す
る。 ３．Ｘ＞Ｓ３かつＸ＝＜Ｓｍａｘならば矩形をＱ３に分
類する。

【００２９】図４は分類された外接矩形の例を示すもの
であり、（ア）はカテゴリＱ１に分類された外接矩形
を、（イ）はカテゴリＱ２に分類された外接矩形を、
（ウ）はカテゴリＱ３に分類された外接矩形を示す。分
類情報２３としては、例えば｛ｉ、Ｑｉに属する外接矩
形の外接矩形情報群｝（ｉ＝１，２，３）とする。

【００３０】外接矩形投影手段３は、分類情報２３を入
力とし、ｘ軸に対しカテゴリごとに矩形内に含まれる画
素の投影を行い、投影情報２４としてｘ軸上に積算され
た値を出力する。図５はｘ軸上の投影の例を示すもので
あり、図４の（ア）（イ）（ウ）に対応する。投影情報
２４としては、例えば２次元配列Ｈ（ｉ，ｊ）で表す。
ここで、ｉはカテゴリを表す番号、ｊはｘ座標値とし、
Ｈ（ｉ，ｊ）にはｉ番目のカテゴリについてのｘ軸上の
座標値ｊの位置における画素積算値が格納される。

【００３１】印刷行判定手段４は、分類情報２３と投影
情報２４を入力とし、印刷行の判定をし、重複のある印
刷行情報２５を出力する。重複のある印刷行情報２５と
しては、例えば｛ｉ、Ｑｉに属する印刷行の外接矩形座
標群｝（ｉ＝１，２，３）を出力する。印刷行の判定
は、例えば、以下の手順で行う。

【００３２】各カテゴリに対して （１）Ｐ（ｊ）を次のようにして求める。

【００３３】Ｈ（ｉ，ｊ）＞Ｌ（ｉ）ならばＰ（ｊ）＝
１Ｈ（ｉ，ｊ）＜＝Ｌ（ｉ）ならばＰ（ｊ）＝０ ここで、Ｌ（ｉ）は、カテゴリごとにあらかじめ定め
た、印刷行と判断するための、外接矩形内の画素を投影
して得られる画素積算値の最低値である。（２）以下の
条件を満たす（ｊａ、ｊｂ）を検出する。

【００３４】 ｊａの条件：Ｐ（ｊａ−１）＝０かつＰ（ｊａ）＝１ ｊｂの条件：Ｐ（ｊｂ）＝１かつＰ（ｊｂ＋１）＝０ 但しｊｂはｊｂ＞＝ｊａを満たす最小値 （３）以下の条件を満たす外接矩形の数ｎを計算する。

【００３５】条件：ｊａ＜外接矩形の中心のｘ座標値＜
ｊｂ （４）以下の条件１及び条件２を満たす場合に、印刷行
と判定する。なお、条件２はｉの値によって条件の内容
が異なる。

【００３６】条件１：ｎ＞Ｎ（ｉ） 条件２：ｉ＝１の場合 ０＜ｊｂ−ｊａ＜Ｓ２ ｉ＝２の場合 Ｓ１＜ｊｂ−ｊａ＜Ｓ３ ｉ＝３の場合 Ｓ２＜ｊｂ−ｊａ＜Ｓｍａｘ ここで、Ｎ（ｉ）は、カテゴリごとにあらかじめ定めた
印刷行を構成する最低矩形数である。

【００３７】重複行排除手段５は、重複のある印刷行情
報２５を入力とし、各カテゴリにおいて判定された印刷
行の重複関係を評価し、重複のない印刷行情報２６を出
力する。重複のない印刷行情報２６としては、例えば
｛ｉ、Ｑｉに属する印刷行の外接矩形座標群｝（ｉ＝
１，２，３）とする。重複関係の評価方法としては、例
えば２つの印刷行の外接矩形の重複部分の面積が、いず
れかの印刷行の外接矩形の面積の一定の割合以上となる
場合に、重複すると評価する。重複していると評価され
た場合には、例えば画素積算値を比較し、画素積算値が
小さい方を排除して重複のない印刷行情報を作成する。

【００３８】以上実施例をもって本発明を詳細に説明し
たが、本発明はこの実施例に限定されるものではない。

【００３９】

【発明の効果】本発明によれば、投影軸上において、一
つの行に対応する投影が他の行又は他の非文字要素の投
影から分離できない場合、即ち縦文字行、横文字行、非
文字要素が同時に存在するような多様なレイアウトの文
書についても、印刷行を安定して検出することができ
る。

【図面の簡単な説明】

【図１】第１の発明の印刷行検出装置の一実施例の構成
を示すブロック図である。

【図２】入力に用いる画像の一例を表す図である。

【図３】入力画像から外接矩形を抽出した例を表す図で
ある。

【図４】抽出した外接矩形を重複を許して分類した例を
表す図である。

【図５】分類した外接矩形の矩形内に含まれる画素を投
影した例を表す図である。

【符号の説明】

１ 外接矩形抽出手段 ２ 外接矩形分類手段 ３ 外接矩形投影手段 ４ 印刷行判定手段 ５ 重複行排除手段 ２１ 入力画像 ２２ 外接矩形情報 ２３ 分類情報 ２４ 投影情報 ２５ 重複のある印刷行情報 ２６ 重複のない印刷行情報

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】文書画像から印刷された文字行を検出する
   装置において、 文書画像から黒画素連結成分の外接矩形を抽出する外接
   矩形抽出手段と、 前記外接矩形を大きさにより、分類範囲について重複を
   許して、分類する手段と、 前記分類された外接矩形内に含まれる画素の投影を行う
   外接矩形投影手段と、 前記外接矩形と前記投影値より印刷行を判定する印刷行
   判定手段と、 分類されたカテゴリ間で、画像上の領域において重複し
   て検出されている印刷行を排除する重複行排除手段とか
   らなることを特徴とする印刷行検出装置。
2. 【請求項２】文書画像から連結成分の外接矩形を検出
   し、前記外接矩形をあらかじめ大きさにより、分類範囲
   について重複を許してカテゴリに分類し、前記カテゴリ
   ごとに矩形内に含まれる画素の投影を行い、画素の積算
   値があらかじめカテゴリごとに定めた一定値を越えた場
   合に印刷行候補とし、他のカテゴリに前記印刷行候補と
   ほぼ同位置の印刷行候補が検出されておらず、又は検出
   されていても前記印刷行候補よりも低い積算値である場
   合に、前記印刷行候補を印刷行として検出することを特
   徴とする印刷行検出方法。