JP3335032B2

JP3335032B2 - 画像連結成分抽出装置

Info

Publication number: JP3335032B2
Application number: JP06596195A
Authority: JP
Inventors: 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-03-24
Filing date: 1995-03-24
Publication date: 2002-10-15
Anticipated expiration: 2017-10-15
Also published as: JPH08263654A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理の過程で画像
情報から一かたまりとなった画像を抽出する、所謂、画
像切り出しのために使用される画像連結成分抽出装置に
関する。

【０００２】

【従来の技術】画像連結領域を抽出する、所謂、ラベリ
ングの手法は、画像を解析してその画像中からかたまっ
た部分を抽出する手段として重要である。例えば、手書
き文字認識ＯＣＲでは、複数の文字画像から１個１個の
文字画像を切り出す手段の前処理部にラベリングの手法
が使用されている。更に、このラベリングの手法は、検
査や監視を目的とした画像処理の応用システムにも幅広
く適用されている。

【０００３】従来、本願出願人は、次のような画像連結
成分抽出装置を提案している。この画像連結成分抽出装
置では、例えば、図１５（ａ）に示すような二値画像か
ら図１５（ｂ）に示すように連結した画素１、２（黒ド
ット）にて構成された連結成分Ａ１、Ａ２に外接する矩
形がそれぞれ図１５（ｃ）に示すように抽出される。こ
の矩形は、例えば、図１５（ｄ）に示すように、左上頂
点の座標（ｘ１，ｙ１）及び右下頂点の座標（ｘ２，ｙ
２）によって特定される。そして、抽出された画素１の
連結成分Ａ１に対応した外接矩形と画素２の連結成分Ａ
２に対応した外接矩形が重なっているか否かが判定され
る。重なっていない矩形に対応した連結成分について
は、その左上頂点及び右下頂点の座標が記憶される。一
方、重なっている各連結成分Ａ１及びＡ２の外接矩形
は、他の連結成分と重ならないような矩形領域に更に細
分化される。そして、細分化された矩形領域がどの連結
成分（画像１または２）に属するものかが判定される。
そして、各連結成分Ａ１及びＡ２は細分化された矩形領
域の和、差等の演算で表現される。

【０００４】例えば、図１５（ｃ）において、画素１の
連結成分Ａ１は最大の矩形領域１−１及びそれに含まれ
る矩形領域１−２を用いて、（１−１）−（１−２）のように各矩形領域の差にて表現され、また、画素２の
連結成分Ａ２は最大の矩形領域２−１及びそれに含まれ
る矩形領域２−２及び２−３を用いて、（２−１）−（２−２）＋（２−３）のように、各矩形領域の和及び差にて表現される。

【０００５】基本的なラベリングの手法では、画素１の
連結成分及び画素２の連結成分を夫々別々のラベル（１
または２）で表さなければならず（ラベル画像；図１５
（ｂ）参照）、例えば、各ページにおいて認識すべき文
字数が多くなるとラベルの数も多くなって、各連結成分
を表現する情報量が多くなる（２５６文字の場合各ドッ
トを８ビットの情報で表すことになる）。

【０００６】これに対し、上記のように、連結成分を連
結するドット（画素）の外接矩形で表現するようにすれ
ば、各連結成分を表す情報量が少なくて済む。

【０００７】

【発明が解決しようとする課題】上述した処理におい
て、連結成分Ａ１及びＡ２に対応した外接矩形領域が重
なった部分を細分化して得られた矩形領域が元の連結成
分Ａ１またはＡ２のいずれに含まれるかは、上記ラベル
画像を生成し、その結果に基づいて判定している。例え
ば、図１５に示す例の場合、矩形領域２−３が連結成分
Ａ２に属するか否かは、連結成分Ａ２のラベル画像を作
成して、矩形領域２−３のラベル画像が連結成分Ａ２の
ラベル画像と一致するか否かに基づいて判定している。

【０００８】このように、連結成分の外接矩形領域が重
なった部分を細分化してその各細分化された矩形領域が
どの連結成分に属するかを判定するために、その連結成
分のラベル画像を作成する従来の手法では、その連結成
分の外接矩形領域が大きくその中に含まれる他の連結成
分が多い場合には、ラベル画像の種類が多くなる。その
結果、判定処理において扱われる情報量が多くなり、こ
の判定を行うために大きなワーク領域（メモリ領域）が
必要となってしまう。

【０００９】そこで、本発明の目的は、画像から連結成
分を抽出する際に、できるだけワーク領域が削減できる
ような画像連結成分抽出装置を提供することである。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、請求項１に記載されるように、対象とな
る画像を連結した画素により構成される連結成分に分け
て各連結成分の外接矩形領域を抽出する外接矩形抽出手
段と、外接矩形抽出手段にて抽出された外接矩形領域の
うち重なり合うものを抽出する重なり外接矩形抽出手段
と、重なり外接矩形抽出手段にて抽出された外接矩形領
域から所定の順番にて処理すべき外接矩形領域を選択
し、その選択された外接矩形領域を分割矩形領域に切り
わけて、その切り分けにより得られた分割矩形領域が上
記重なった外接矩形領域に対応したいずれの連結成分に
属すべきかを判定する重なり部処理手段とを有し、その
判定結果に基づいて、当該選択された外接矩形領域に対
応する連結成分を特定するようにした画像連結成分抽出
装置において、該重なり部処理手段は、当該選択された
外接矩形領域に重なる既に処理された他の外接矩形領域
に対する処理にて得られた判定結果を用いて当該選択さ
れた外接矩形領域についての判定結果を得る結果流用手
段を有するように構成される。

【００１１】また、上記画像連結成分抽出装置におい
て、各外接矩形領域を選択した際に、できるだけ多くの
既に処理された他の外接矩形領域を存在させるようにす
る観点から、請求項５に記載されるように、該重なり部
処理手段は、重なる外接矩形領域から処理すべき外接矩
形領域をその面積の小さい順に選択する領域選択手段を
有するように構成することができる。

【００１２】更に、大きな面積の外接矩形領域を処理の
対象とする際に、その中にできるだけ多くの外接矩形領
域が含まれるようにするという観点から、請求項６に記
載されるように、該重なり部処理手段は、他の外接矩形
領域に包含されている外接矩形領域を優先的に選択する
手段を有するようにした。

【００１３】また、上記課題を解決するため、本発明
は、請求項７に記載されるように、対象となる画像を連
結した画素により構成される連結成分に分けてその外接
矩形領域を抽出する外接矩形抽出手段と、外接矩形抽出
手段にて抽出された外接矩形領域のうち重なりあうもの
を抽出する重なり外接矩形抽出手段と、重なり外接矩形
抽出手段にて抽出された外接矩形領域から所定の順番に
て処理すべき外接矩形領域を選択し、その選択された外
接矩形領域を分割矩形領域に切りわけて、その切り分け
にて得られた分割矩形領域が上記重なった外接矩形領域
に対応したいずれの連結成分に属すべきかを判定する重
なり部処理手段とを有し、その判定結果に基づいて、当
該選択された外接矩形領域に対応する連結成分を特定す
るようにした画像連結成分抽出装置において、該重なり
部処理手段は、切り分けにて得られた分割矩形領域内の
所定の画素から出発する輪郭追跡を行う輪郭追跡手段
と、その輪郭追跡の結果に基づいて、該分割矩形領域が
該選択された外接矩形領域に対応する連結成分に属する
か否かの判定結果を得る判定手段とを有するように構成
される。

【００１４】また、請求項７に記載される画像連結成分
抽出装置において、該分割矩形領域がいずれの連結成分
に属するかを容易に判定できるという観点から、該判定
手段は、輪郭追跡した座標の最大値と最小値にて特定さ
れる矩形が連結成分の外接矩形領域と一致するか否かを
判定する手段を有し、一致の判定がなされたときに、該
輪郭追跡の出発画素を含む分割矩形領域が該連結成分に
含まれると判定するように構成することができる。

【００１５】更に、上記課題を解決するため、本発明
は、請求項１１に記載されるように、対象となる画像を
連結した画素により構成される連結成分に分けてその外
接矩形領域を抽出する外接矩形抽出手段と、外接矩形抽
出手段にて抽出された外接矩形領域のうち重なりあうも
のを抽出する重なり外接矩形抽出手段と、重なり外接矩
形抽出手段にて抽出された外接矩形領域から所定の順番
にて処理すべき外接矩形領域を選択し、その選択された
外接矩形領域を分割矩形領域に切りわけて、その切り分
けにより得られた分割矩形領域が上記重なった外接矩形
領域に対応したいずれの連結成分に属すべきかを判定す
る重なり部処理手段とを有し、その判定結果に基づい
て、当該選択された外接矩形領域に対応する連結成分を
特定するようにした画像連結成分抽出装置において、該
重なり部処理手段は、選択された外接矩形領域の大きさ
が所定値より大きいか否かを判定するサイズ判定手段
と、該サイズ判定手段が選択された外接矩形領域の大き
さが所定値より大きいと判定したときに、切り分けにて
得られた分割矩形領域内の所定の画素から出発する輪郭
追跡を行う輪郭追跡手段と、その輪郭追跡の結果に基づ
いて、該分割矩形領域が該選択された外接矩形領域に対
応する連結成分に属するか否かの判定結果を得る判定手
段と、該サイズ判定手段が選択された外接矩形領域の大
きさが所定値より大きくないと判定したときに、該選択
された外接矩形領域内に含まれる連結成分に対応したラ
ベル画像を作成するラベル画像作成手段と、その作成さ
れたラベル画像に基づいて、切りわけにて得られた分割
矩形領域がいずれの連結成分に属するか否かを判定する
手段とを有するように構成される。

【００１６】

【作用】請求項１記載の画像連結成分抽出装置では、選
択された外接矩形領域に重なる既に処理された他の外接
矩形領域が有る場合、該結果流用手段が該他の外接矩形
領域に対する処理にて得られた判定結果を用いて当該選
択された外接矩形領域についての判定結果を得る。そし
て、その判定結果に基づいて、当該選択された外接矩形
領域に対応する連結成分が特定される。

【００１７】請求項７記載の画像連結成分抽出装置で
は、輪郭追跡手段が、切り分けにより得られた分割矩形
領域の所定の画素から出発する輪郭追跡を行い、その結
果に基づいて判定手段が、該分割矩形領域が該選択され
た外接矩形領域に対応した連結成分に属するか否かの判
定を行う。そして、その判定結果に基づいて、当該選択
された外接矩形領域に対応した連結成分が特定される。

【００１８】請求項１１記載の画像連結成分抽出装置で
は、サイズ判定手段が、選択された外接矩形領域の面積
が所定値より大きいと判定したときに、上述した輪郭追
跡を行って、領域の判定が行われる。また、サイズ判定
手段が、選択された外接矩形領域の面積が所定値より大
きくないと判定したときに、選択された外接矩形領域に
含まれる連結成分に対応したラベル画像を作成し、その
ラベル画像に基づいて領域の判定が行われる。

【００１９】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。本発明の画像連結成分抽出装置は、例えば、文字
等の画像を認識するシステムに適用することができる。
図１は、画像連結成分抽出装置が適用される文字認識シ
ステムの基本的な構成を示す。

【００２０】図１において、この文字認識システムは、
種々の処理を行うＣＰＵ（中央演算処理ユニット）１
０、ＣＰＵ１０にて実行されるプログラムを格納したプ
ログラムメモリ１１、画像データをビットマップ形式で
格納する画像メモリ１２及び画像データの処理のために
利用されるワークメモリ１３を有している。文字認識シ
ステムは、更に、画像を光学的に読み取るスキャナ１
４、スキャナ１４にて読み取られた情報を一時的に格納
するメモリ１５、各文字画像の特徴を格納した辞書ファ
イル１６、出力装置としてのディスプレイユニット１７
及びプリンタ１８及びこれらの出力装置のインタフェー
ス回路１９を有している。上述したＣＰＵ１０、プログ
ラムメモリ１１、画像メモリ１２、ワークメモリ１３、
メモリ１５、辞書ファイル１６及びインターフェース回
路１９は夫々バス２０にて接続されている。

【００２１】上記のような文字認識システムでは、スキ
ャナ１４にて読み取られた画像データがメモリ１５に一
時的に格納され、その画像データがビットマップ形式に
て画像メモリ１２に展開される。そして、画像メモリ１
２からワークメモリ１３にコピーされた二値画像データ
に対して画像連結成分の抽出処理が行われる。その結果
に基づいて読み取った画像からの文字画像の切り出しが
行われ、切り出された文字画像の特徴と辞書ファイル１
６に格納された特徴データとが比較される。そして、そ
の比較結果に基づいて文字を認識する。その認識結果が
ディスプレイユニット１７あるいはプリンタ１８に出力
される。

【００２２】上記のシステムにおいて、本願発明に係る
画像連結成分抽出装置は、プログラムメモリ１１に格納
されたプログラムに従って処理を行うＣＰＵ１０の機能
として実現され、その基本的な構成は、例えば、図２に
示すようになっている。図２において、この画像連結成
分抽出装置は、連結成分外接矩形抽出部１０１、重なり
連結成分抽出部１０２、重なり連結成分順序付け部１０
３、連結成分細分割部１０４及び判定部１０５を有して
いる。画像連結成分抽出装置は、更に、細分割領域サイ
ズ判定部１０６、ラベル画像生成部１０７、輪郭追跡部
１０８、細分割領域判定部１０９及び細分割領域記憶部
１１０を有している。

【００２３】連結成分外接矩形抽出部１０１は、ワーク
メモリ１３上に展開されている二値画像から連結成分の
外接矩形を算出する。具体的には、図１５（ｄ）に示す
ように、外接矩形の左上頂点及び右下頂点の各座標デー
タが算出される。重なり連結成分抽出部１０２は、連結
成分外接矩形抽出部１０１にて抽出された連結成分の外
接矩形のうち、互いに重なっているものを抽出する。重
なっていない外接矩形は、その矩形を特定するための左
上頂点及び右下頂点の座標データが記憶される。重なり
連結成分順序付け部１０３は、各連結成分の外接矩形の
面積を演算し、連結成分の外接矩形を面積の小さい順に
ソーティングする。連結成分細分割部１０４は、面積の
小さい連結成分の外接矩形から順番に重なりのある連結
成分の外接矩形を検索し、その重なった連結成分の外接
矩形について重なった領域を他の領域と重ならないよう
に矩形領域に細分割する。判定部１０５は、各細分割領
域が既に処理されているかを判定する。判定部１０５が
既に処理が完了していることを判定した細分割領域につ
いては、細分割領域記憶部１１０内に記憶された処理結
果が新たな処理結果として細分割記憶部１１０に記憶さ
れる（）。一方、判定部１０５がまだ処理が完了して
いないと判定した細分割領域については、その領域に関
するデータが細分割領域サイズ判定部１０６に提供され
る（）。

【００２４】細分割領域サイズ判定部１０６は、提供さ
れた細分割領域のサイズを算出する。そして、そのサイ
ズに基づいて、細分割領域のラベル画像を生成してもワ
ークメモリ１２の容量が足りると判定されると、ラベル
画像生成部１０７がその細分割領域のラベル画像を生成
する。そして、細分割領域判定部１０９が、その細分割
領域のラベル画像（子ラベル）と処理の対象となる連結
成分のラベル画像（親ラベル）が一致するか否かを判定
する。その結果に基づいて、親ラベルの連結成分が細分
割領域の和及び、または差で表現される。

【００２５】一方、細分割領域サイズ判定部１０６が細
分割領域のラベル画像を作成するにワークメモリ１２の
容量が足りないと判定すると、細分割領域の最外郭部の
画素を出発して輪郭追跡が行われる。輪郭追跡における
追跡座標の最大値と最小値を算出することにより細分割
領域内に相当するラベル画像の外接矩形を求める。そし
て、細分割領域判定部１０９が対象となる親ラベルと細
分割領域の子ラベルの一致、不一致を調べる。その結果
に基づいて、対象となる連結成分が細分割領域の和及
び、または差で表現される。

【００２６】上記得られた細分割領域の和及び、または
差にて表現された連結成分のデータが細分割領域記憶部
１１０に記憶される。この細分割領域記憶部１１０は、
例えば、ワークメモリ１３上に設定される。上記のよう
な画像連結成分抽出装置では、図１５（ａ）に示す画像
を処理する場合、図１５（ｃ）に示す画素２の連結成分
Ａ２に対応した外接矩形よりも面積の小さい画素１の連
結成分Ａ１に対応した外接矩形が先に処理される。従っ
て、連結成分Ａ１及びＡ２それぞれの外接矩形の重なり
領域２−２は、連結成分Ａ１の外接矩形を対象としたと
きに処理される。その結果、連結成分Ａ２の外接矩形を
対象としたときには、細分割領域２−２は前の処理結果
（連結領域Ａ１に属す）をそのまま使用し、特に、この
細分割領域２−２が連結成分Ａ２に属するかいなかを判
定するために、ラベル画像を作成する必要はない。処理
時間を更に短縮するために、連結成分Ａ２の外接矩形を
処理の対象とした場合に、連結成分Ａ２を、細分割領域
１−１及び１−２を用いて次のように表現することも可
能である。

【００２７】Ａ２＝＋（２−１）−（１−１）＋（１−２）上記図１５に示す画像の処理例において、連結成分Ａ１
を表現する場合、最大の外接矩形１−１内では領域１−
２だけが細分割され、かつ、領域１−２が単一のラベル
のため、ラベル画像を生成しなくても画像の外接矩形を
算出するだけでよい。

【００２８】また、図３（ａ）に示すような複雑な画像
を処理する場合、図３（ｂ）に示すように、画素１及び
画素２の各連結成分Ａ１及びＡ２それぞれの外接矩形が
得られる。この場合も、両方の連結成分Ａ１及びＡ２の
外接矩形が重なった部分が何方の連結成分に属するかの
判定するためには、小さい方の連結成分Ａ１の外接矩形
についてのラベル画像を作成するだけでよい。細分割領
域１−３が連結成分Ａ１に属するかどうかを判定する場
合に、連結成分Ａ１のラベル画像を生成する。更に、連
結成分Ａ１の外接矩形の面積が大きく、連結成分Ａ１の
ラベル画像を作成するにはワークメモリ１３の容量が足
りない場合は、輪郭追跡が行われる。輪郭追跡の処理に
おいては、例えば、細分割領域１−３の矩形境界の画素
から出発して輪郭を追跡する。その結果、細分化領域１
−３が連結成分Ａ１に属することが確認される。

【００２９】更に、本発明の実施例に係る画像連結成分
抽出装置を具体的に説明する。この画像連結成分抽出装
置は、図４、図５、図６及び図７に示す手順に従って処
理を実行する。この処理フローは、２つのサブルーチン
ＳＵＢＪＥＣＴ１とＳＵＢＪＥＣＴ２の再帰的演算から
なる。

【００３０】図４において、画像メモリ１２に展開され
た二値画像データがワークメモリ１３にコピーされ、図
８に示すように、ワークメモリ１３上の二値画像全体の
ラベリングが行われる（ブロック５０１）。このラベリ
ングの処理では、連結する画素（連結成分）の外接矩形
が演算される。図８に示す例では、ｍ個の領域（外接矩
形）のラベリングが行われ、各外接矩形がその左上頂点
の座標（ｘ１ｉ，ｙ１ｉ）及び右下頂点の座標（ｘ２
ｉ，ｙ２ｉ）（ｉ＝１，２，・・・，ｍ）にて特定され
る。この処理の具体的な手法は、例えば、特願平５−２
３７５５にて本願出願人にて提案されている。このラベ
リングの結果得られたラベル数（MAXLABEL=m外接矩形
数）がワークメモリ１３の所定の領域に格納されると共
に、各ラベル１乃至ｍ（外接矩形１乃至ｍ）を特定する
ための座標データが図９に示すように、ワークメモリ１
３の外接矩形格納領域に格納される。

【００３１】各ラベルの抽出が終了すると、上記外接矩
形格納領域に格納された座標データに基づいて、各ラベ
ル間の重なりの有無がチェックされる（ブロック５０
２）。その結果が、図１０に示すような、外接矩形重な
りテーブルに記憶される。この例では、ラベル３及び４
が重なり、またラベル５及び６が重なっている。

【００３２】その後、上記重なったラベル以外の各ラベ
ルを特定する座標データが、図１１に示すように、ワー
クメモリ１３に設定された非重なり部外接矩形格納領域
に記憶される（ブロック５０３）。この例では、ラベル
１、２、７、・・・、ｍが重なりの無いラベル（外接矩
形）として記憶される。

【００３３】図１０に示す外接矩形重なりテーブルを参
照して、重なりのあるラベルが抽出され、この重なりの
あるラベルを特定する座標データ（図９の外接矩形格納
領域）に基づいて重なりのある各ラベルの面積を算出す
る。そして、その重なりのあるラベル（ａ）を面積の小
さい順にソートして、図１２に示すようなテーブルに記
憶する（ブロック５０４）。

【００３４】図１２に示すテーブルを参照して、重なり
のあるラベルのうち最も面積の小さいラベル（ｂ）が選
択される（ブロック５０５）。この例の場合、まず最も
面積の小さいラベル３が選択される。その後、ブロック
５０４にてソートされたラベル（ａ）全ての処理が終了
したか否か（ブロック５０６）、ブロック５０５にて選
択されたラベル（ｂ）に重なっているラベル全ての処理
が終了しているか否か（ブロック５０７）が判定され
る。そして、それらの処理が終了していない場合、ＳＵ
ＢＪＥＣＴ１の処理が実行される。

【００３５】ＳＵＢＪＥＣＴ１の処理が、図５に示す手
順に従って実行される。図５において、ブロック５０５
にて選択されたラベル（外接矩形領域）（ｂ）のラベリ
ングが行われる（ブロック５１０）。このラベリング
は、ブロック５０１の処理と同様に、選択されたラベル
内の画像を連結する画素の外接矩形が演算される。例え
ば、図３（ａ）に示す画像の場合、ラベル（外接矩形領
域）１及び２のうち面積の小さいラベル１が選択され、
その選択されたラベル１が、ブロック５１０にて１−１
及び１−２にラベリングされる。なお、ラベル１−１は
親ラベル１と同じである。

【００３６】上記のように得られたラベル（ｃ）から処
理すべきラベル（ｄ）が１つ選択される（ブロック５１
１）。例えば、図３に示す例の場合、ラベリングされた
領域１−１及び１−２から、ラベル１−２が選択され
る。ここで、ブロック５１０で得られたラベル（ｃ）
（例えば、１−１、１−２）についての処理が全て終了
したか否か（ブロック５１２）、ブロック５１１にて選
択されたラベル（ｄ）（例えば、１−２）の処理が既に
終了しているか否か（ブロック５１３）が判定される。
そして、それらの処理が終了していない場合、更に、処
理の対象となるブロック５０５にて得られたラベル
（ｂ）（例えば、Ａ１（１−１））のラベル画像がすで
にあるか否かが判定される（ブロック５１５）。ここ
で、まだラベル画像が生成されていなければ、ブロック
５１１で選択されたラベル（ｄ）が更にラベリングされ
る（ブロック５１６）。例えば、図３に示す例の場合、
選択されたラベル１−２が１−２及び１−３にラベリン
グされる。

【００３７】このブロック５１６にて得られたラベル
（ｅ）が単一ではなく、かつ、そのなかに処理が終わっ
ていないラベルが存在するという条件が満足されるか否
かが判定され（ブロック５１７）、そのような条件を満
足する場合は、更に、ブロック５０５で選択されたラベ
ル（ｂ）の面積が指定される面積より大きいか否かが判
定される（ブロック５１９）。これは、例えば、そのラ
ベルのラベル画像を作成する場合に必要なメモリ量が所
定の量（例えば、６４ｋバイト）以下か否かにて行われ
る。ここで、その面積が指定面積より小さいと判定され
ると、ブロック５０５にて選択されたラベル（ｂ）のラ
ベル画像が作成される（ブロック５２１）。このラベル
（ｂ）の面積は、指定面積より小さいので、ラベル画像
のワークメモリ１３上への展開は可能である。

【００３８】このように、ブロック５０５にて選択され
たラベル（ｂ）のラベル画像が作成されると、以後、図
６に示す手順に従って処理が実行される。図６におい
て、ブロック５１１にて抽出されたラベル（ｄ）の矩形
領域を特定する座標データ、図１３に示すようなテーブ
ルにおけるラベル（ｂ）の重なり部外接矩形格納領域に
記述される（ブロック５２２）。そして、そのラベル
（ｄ）に−（マイナス）の演算子が付与される。例え
ば、図３に示す例の場合、ブロック５１１にて抽出され
たラベル１−２の矩形領域を特定する座標データが、ラ
ベル１−１の重なり部外接矩形格納領域に記述される。
そして、このラベル１−２に演算子−が付与される。

【００３９】その後、上記のように処理されたラベル
（ｄ）の矩形領域にブロック５０５にて選択されたラベ
ル（ｂ）が含まれるか否かが判定される（ブロック５２
３）。この例の場合、ラベル（ｄ）はラベル（ｂ）に完
全に含まれているので、ラベル（ｄ）の矩形領域にラベ
ル（ｂ）の矩形領域の部分が含まれていると判定され
る。そして、ブロック５１１にて選択されたラベル
（ｄ）のラベリングが更に行われる（ブロック５２
４）。例えば、図３の画像の例の場合、ブロック５１１
にて選択されたラベル１−２が更に１−２及び１−３に
ラベリングされる。

【００４０】このように得られたラベル（ｆ）から１つ
のラベル（ｇ）が選択される（ブロック５２５）．例え
ば、図３に示す画像の例の場合、ブロック５１４にて得
られたラベル１−２及び１−３からラベル１−３が選択
される。その後、ブロック５２４にて得られたラベルの
処理が全て終了したか否か（ブロック５２６）、ブロッ
ク５２５にて選択されたラベル（ｇ）はブロック５０５
にて選択されたラベル（ｂ）のラベル画像を含むか否か
が判定される。このブロック５２５にて選択されたラベ
ル（ｇ）がブロック５０５にて選択されたラベル（ｂ）
のラベル画像を含む場合、ラベル（ｇ）の矩形領域を特
定する座標データが図１３に示すようなテーブルのラベ
ル（ｂ）の重なり部外接矩形格納領域に記述される（ブ
ロック５２８）。そして、そのラベル（ｇ）に＋（プラ
ス）の演算子が付与される。例えば、図３に示す画像の
例の場合、ブロック５２５にて抽出されたラベル１−３
の矩形領域を特定する座標データがラベル１−１の重な
り部外接矩形格納領域に記述される。そして、このラベ
ル１−３に演算子＋が付与される。

【００４１】ラベル（ｇ）の中にラベル（ｂ）に含まれ
ないラベルも存在する場合があるので、以後、（ｇ）を
（ｂ）に相当させてＳＵＢＪＥＣＴ１の処理を再帰的に
実行する。上記の処理の結果、重なりのあるラベルとし
て特定されたラベルは、図１３のテーブルにおける、そ
のラベルの重なり部外接矩形格納領域に記述されたラベ
ル（座標データ）及びその演算子を用いて表現される。
例えば、図３に示すが画像の例の場合、画素１の連結成
分Ａ１は、全体の外接矩形を示すラベル１−１及びそれ
に含まれるラベル１−２及び１−３により、Ａ１＝（１−１）−（１−２）＋（１−３） …（１）のように表現される。

【００４２】上記処理におけるブロック５２７におい
て、ラベル（ｇ）がラベル（ｂ）のラベル画像の一部で
ない場合、更に、ブロック５２４にて得られたラベル
（ｆ）から次のラベル（ｇ）が選択され（ブロック５２
５）、その選択されたラベルについて上記と同様の処理
が行われる。また、ブロック５２４にて得られたラベル
についての処理が全て終了した場合、あるいは、ブロッ
ク５１１にて選択されたラベル（ｄ）の矩形領域にブロ
ック５０５にて選択されたラベル（ｂ）の矩形領域の一
部が含まれないと判定された場合は、処理がＳＵＢＪＥ
ＣＴ１のブロック５１１に戻る。そして、ブロック５１
０にて得られたラベルから次のラベルが選択され、以
後、上述と同様の処理が実行される。なお、図３に示す
画像の例の場合、上記ラベル１−２の処理が終了した後
には、ブロック５１０にて得られたラベルで更に処理す
べきラベルはないので（ブロック５１２）、ＳＵＢＵＪ
ＥＣＴ１の処理が終了する。

【００４３】上記のようにして、ＳＵＢＪＥＣＴ１の処
理が終了すると、図４に示す手順におけるブロック５０
５に戻る。ここで、図１２に示すテーブルを参照してブ
ロック５０５にて得られたラベル（ａ）から次に面積の
小さいラベル（ｂ）が選択される。この例の場合、ラベ
ル４が選択される。また、図３に示す画像の例の場合、
ラベル２−１が選択される。そして、ブロック５０４に
て得られたラベル（ａ）についての処理がまだ全て終了
しておらず、また、ブロック５０５にて選択されたラベ
ル（ｂ）に重なっている全てのラベルについての処理が
終わっていなければ、上述したように、ＳＵＢＪＥＣＴ
１の処理が実行される（ブロック５０９）。例えば、図
３に示す画像の例の場合、ブロック５０４にて得られる
ラベルは、２つのラベル１及び２であるので、ブロック
５０５において、ラベル２が選択されると、その時点
で、そのラベルに重なっている全てのラベル（連結画像
領域Ａ１）についての処理が終了していることとなる。
従って、この場合、このラベル２に重なっているラベル
番号全てが、図１３に示すようなテーブルにおけるラベ
ル２の重なり部外接矩形格納領域に記述される（ブロッ
ク５０８）。そして、このラベル２に重なるラベル１は
それぞれ異なるラベル画像となることから、ラベル２の
重なり部外接矩形格納領域に記述されたラベル１には演
算子−（マイナス）が付与される。その結果、ラベル２
に対応した連結成分Ａ２は、Ａ２＝（２−１）−Ａ１＝（２−１）−｛（１−１）−（１−２）＋（１−３）｝…（２）のように表現される。この場合、特に、ＳＵＢＪＥＣＴ
１の処理を実行しなくても、既に処理されたラベルの結
果を用いて、重なりラベルが記述できる。

【００４４】上記ブロック５０７の処理において全ての
ラベルについての処理は終了していないと判定された場
合であっても、一部のラベルについての処理が終了して
いる場合には、ＳＵＭＢＪＥＣＴ１の処理においてその
処理が終了しているラベルに含まれるラベルがブロック
５１１にてラベル（ｄ）として選択されると、処理はブ
ロック５１３からブロック５１４に移行する。この場合
も、既に処理されたラベル（ｄ）を特定するラベル番号
がそのまま、いま処理の対象となるラベル（ｂ）の重な
り部外接矩形格納領域に記述される。

【００４５】また、更に、ＳＵＢＪＥＣＴ１の処理にお
けるブロック５１７にて、ブロック５１６にて得られた
ラベル（ｅ）が単一のラベルでなく、処理が終わってい
ないラベルを含むという条件を満足しない場合、ブロッ
ク５１１にて得られたラベル（ｄ）の矩形領域を特定す
る座標データがラベル（ｂ）の重なり部外接矩形格納領
域に記述される（ブロック５１８）。そして、この場
合、ラベル（ｄ）はラベル（ｂ）とは異なるラベル画像
となることから、そのラベル（ｄ）に演算子−（マイナ
ス）が付与される。

【００４６】上記ＳＵＢＪＥＣＴ１の処理におけるブロ
ック５１９にて処理の対象となるラベル（ｂ）が所定の
面積より大きいと判定された場合は、ＳＵＢＪＥＣＴ２
の処理を実行する。ＳＵＢＪＥＣＴ２の処理は、図７に
示す手順に従って実行される。

【００４７】図７において、ブロック５１１にて選択さ
れたラベル（ｄ）について、ブロック５１８と同様な処
理が行われる（ブロック５２９）。即ち、ラベル（ｄ）
の矩形領域を特定する座標データがラベル（ｂ）の重な
り部外接矩形格納領域に記述される。そして、ラベル
（ｄ）が、ブロック５１６での処理と同様に、ラベリン
グされる（ブロック５３０）。これにより得られたラベ
ル（ｈ）から１つのラベル（ｉ）が選択される（ブロッ
ク５３１）。ここで、ブロック５３０にて得られた全て
のラベルについての処理が終了したか否かが判定され
（ブロック５３２）、終了していれば、ＳＵＢＪＥＣＴ
２の処理が終了する。

【００４８】一方、その全てのラベルについての処理が
まだ終了していない場合には、ブロック５３１にて選択
されたラベル（ｉ）のラベル画像の輪郭追跡を行う（ブ
ロック５３３）。この輪郭追跡は、例えば、鳥脇純一郎
著「画像理解のためのディジタル画像処理II」（株）昭
晃堂のPP.66-79に記載される境界線追跡( 輪郭追跡)等
の公知の手法にて行われる。ラベル（ｉ）のラベル画像
の輪郭追跡が終了すると、ラベル（ｉ）がいま処理の対
象となているラベル（ｂ）の一部であるか否かが、輪郭
追跡により得られた結果に基づいて、判定され（ブロッ
ク５３４）、その一部である場合には、ラベル（ｉ）の
矩形領域を特定する座標データがラベル（ｂ）の重なり
部外接矩形格納領域に記述される（ブロック５３５）。
そして、そのラベル（ｉ）に演算子＋（プラス）が付与
される。一方、ラベル（ｉ）がラベル（ｂ）の一部でな
い場合、ブロック５３０にて得られたラベル（ｈ）から
次のラベル（ｉ）が選択され、上記と同様の処理が行わ
れる。

【００４９】ブロック５３４では、輪郭追跡の結果に基
づいてラベル（ｉ）が親のラベル（ｂ）に含まれるか否
かが判定されるが、その具体例を、図１４を参照して説
明する。なお、図１４では、便宜的に画像７と画像８を
区別しているが、実際の処理は二値画像に対して実行さ
れる。

【００５０】図１４（ａ）において、親ラベル（矩形領
域）８が分割矩形領域８−１，８−２，８−３，８−４
にて構成される。この場合、分割矩形領域８−３がラベ
ル（ｉ）として選択されると（ブロック５３１）、その
外接する矩形の黒画素から出発して輪郭を、例えば、図
１４（ｂ）に示すように、からの順番で追跡する。
その追跡後、追跡した座標値の最大値（ＸＭＡＸ，ＹＭ
ＡＸ）と最小値（ＸＭＩＮ，ＹＭＩＮ）を求める。この
最大値（ＸＭＡＸ，ＹＭＡＸ）と最小値（ＸＭＩＮ，Ｙ
ＭＩＮ）が親ラベル８を特定する座標データ（ｘ１８，
ｙ１８）、（ｘ２８，ｙ２８）と一致するか否かが判定
される。これらが一致する場合には、ラベル８−３が親
ラベル８に含まれると判定される。上記輪郭追跡の出発
画素として、注目する分割領域８−３の境界に位置する
画素で、他の分割領域に属さない画素が選ばれる。

【００５１】また、上記の輪郭追跡において、追跡の途
中で対象となる親ラベル８（外接矩形領域）を超えた場
合は、該輪郭追跡の画素を含む分割領域が親ラベル８に
含まれないと判定される。上記の処理が終了すると、ラ
ベル（ｉ）が更にラベリングされる（ブロック５３
６）。そして、そのラベリングにより得られたラベル
（ｊ）から１つのラベル（ｋ）が選択される（ブロック
５３７）。その選択されたラベル（ｋ）の輪郭追跡がブ
ロック５３６にて得られた全てのラベル（ｊ）について
行われる（ブロック５３８）。選択された各ラベル
（ｋ）について、その輪郭追跡の結果に基づいて、その
ラベル（ｋ）が親ラベル（ｂ）の一部ではないかが判定
される（ブロック５４０）。そしえ、親ラベル（ｂ）の
一部ではないラベル（ｋ）について、ＳＵＢＪＥＣＴ２
の処理が再帰的に行われる。これにより、ラベル（ｋ）
内のラベルがさらに処理される。

【００５２】上述したように、本実施例によれば、画像
が複数のラベル（矩形領域）に区別され、得られたラベ
ルのうち重なりのないものは、その矩形領域を特定する
座標データが記憶される。そして、重なりのあるラベル
については、面積の小さい順に処理が行われ、特に、所
定の面積より小さいものだけについてラベル画像が作成
され、その結果に基づいて、重なったラベルの構造が決
定される。従って、ワークエリアを低減させることが可
能となる。また、重なったラベルを処理するに際して、
前の処理にて得られた結果を利用するようにしているの
で（ブロック５０８、５１４、５１８参照）、更に、ワ
ークエリアを節約した状態で高速の処理が実現できる。

【００５３】そして、所定の面積より大きいラベルにつ
いては、輪郭追跡の結果に基づいて、その重なったラベ
ルの構造を決定しており、この場合も、ワークエリアの
節約が図れる。なお、上記のように各ラベルの外接矩形
領域を特定するために該矩形の左上頂点及び右下頂点の
座標を用いたが、これに限定されることなく、種々の特
定の手法が可能である。

【００５４】また、上記実施例において、重なるラベル
（ｂ）から処理の対象となるラベル（ｄ）は小さい順に
選択されているが、更に、他のラベルの中に包含される
ラベルを優先的に選択するようにしてもよい。この場
合、他のラベルを包含する比較的大きなラベルを処理す
る際には、必ず、包含されるラベルについての処理は終
了しており、その比較的大きなラベルの処理において、
包含されたラベルの処理結果を利用することができる。

【００５５】また、上記実施例は、文字認識システムに
適用したものであるが、本発明に係る画像連結領域抽出
装置は、他の画像処理システムにも適用できる。

【００５６】

【発明の効果】以上説明してきたように、請求項１記載
の発明によれば、既に処理された他の外接矩形領域に対
する処理結果を用いて当該選択された外接矩形領域につ
いての判定結果を得るようにしたので、重なり部処理手
段にて必要となるワークエリア（メモリ容量）を低減さ
せることが可能となる。また、その処理時間も短縮され
る。

【００５７】請求項７記載の発明によれば、輪郭追跡手
段での処理結果に基づいて判定結果を得るようにしてい
るので、ラベル画像を生成する場合に比して、必要とな
るワークエリアを低減させることが可能となる。更に、
請求項１１記載の発明によれば、特に、大きな外接矩形
領域についての処理を行う場合のみ、輪郭追跡が行わ
れ、小さい外接矩形領域についての処理では、ラベル画
像が生成される。従って、必要以上のワークエリアを必
要とせずに領域の判定が可能となる。

【図面の簡単な説明】

【図１】文字認識システムの基本構成を示すブロック図
である。

【図２】本発明の実施例に係る画像連結成分抽出装置の
基本構成を示すブロック図である。

【図３】画像と連結成分の関係を示す図である。

【図４】連結領域を抽出するための処理フローを示すフ
ローチャート（その１）である。

【図５】連結領域を抽出するための処理フローを示すフ
ローチャート（その２）である。

【図６】連結領域を抽出するための処理フローを示すフ
ローチャート（その３）である。

【図７】連結領域を抽出するための処理フローを示すフ
ローチャート（その４）である。

【図８】ラベリングされた画像の例を示す図である。

【図９】各ラベルの外接矩形領域を特定する座標データ
の格納領域を示す図である。

【図１０】外接矩形領域の重なりを示すテーブルであ
る。

【図１１】重なりのない外接矩形領域を示すテーブルで
ある。

【図１２】順序付けされた各ラベル（外接矩形領域）を
示すテーブルである。

【図１３】ラベルの重なり状態及び重なり部に付与され
る演算子を示すテーブルである。

【図１４】細分割された画像と輪郭追跡によるラベル一
致の判定の原理を示す図である。

【図１５】画像と連結成分と外接矩形領域の関係を示す
図である。

【符号の説明】

１０ＣＰＵ１１プログラムメモリ１２画像メモリ１３ワークメモリ１４スキャナ１５メモリ１６辞書ファイル１７ディスプレイユニット１８プリンタ１９インタフェース回路１０１連結成分外接矩形抽出部１０２重なり連結成分抽出部１０３重なり連結成分順序付け部１０４連結成分細分割部１０５判定部１０６細分割領域サイズ判定部１０７ラベル画像生成部１０８輪郭追跡部１０９細分割領域判定部１１０細分割領域記憶部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】対象となる画像を連結した画素により構成
される連結成分に分けて各連結成分の外接矩形領域を抽
出する外接矩形抽出手段と、外接矩形抽出手段にて抽出された外接矩形領域のうち重
なり合うものを抽出する重なり外接矩形抽出手段と、重なり外接矩形抽出手段にて抽出された外接矩形領域か
ら所定の順番にて処理すべき外接矩形領域を選択し、そ
の選択された外接矩形領域を分割矩形領域に切りわけ
て、その切り分けにより得られた分割矩形領域が上記重
なった外接矩形領域に対応したいずれの連結成分に属す
べきかを判定する重なり部処理手段とを有し、その判定
結果に基づいて、当該選択された外接矩形領域に対応す
る連結成分を特定するようにした画像連結成分抽出装置
において、該重なり部処理手段は、当該選択された外接矩形領域に重なる既に処理された他
の外接矩形領域に対する処理にて得られた判定結果を用
いて当該選択された外接矩形領域についての判定結果を
得る結果流用手段を有する画像連結成分抽出装置。
【請求項２】請求項１記載の画像連結成分抽出装置にお
いて、該結果流用手段は、切りわけにより得られた分割矩形領
域のうちに既に処理された連結成分の外接矩形領域の分
割矩形領域が存在する場合に、その処理された連結成分
の外形矩形領域の分割矩形領域に対する判定結果を当該
選択された連結成分の外形矩形領域についての判定結果
として用いる手段を有する画像連結成分抽出装置。
【請求項３】請求項１記載の画像連結成分抽出装置にお
いて、該結果流用手段は、切りわけにより得られた分割矩形領
域を包含し、かつ、既に処理された連結成分の外形矩形
領域が存在する場合に、その処理された外接矩形領域に
包含される分割矩形領域に対する判定結果をすべて用い
る手段を有する画像連結成分抽出装置。
【請求項４】請求項１記載の画像連結成分抽出装置にお
いて、該結果流用手段は、切りわけにより得られた矩形領域を
包含し、かつ、既に処理した連結成分の外形矩形領域が
存在する場合に、その処理された外接矩形領域に包含さ
れる分割矩形領域に対する判定結果のうち当該選択され
た外接矩形領域に重なった部分の分割矩形領域に対する
判定結果を用いる手段を有する画像連結成分抽出装置。
【請求項５】請求項１乃至４いずれか記載の画像連結成
分抽出装置において、該重なり部処理手段は、重なる外接矩形領域から処理す
べき外接矩形領域をその面積の小さい順に選択する領域
選択手段を有する画像連結成分抽出装置。
【請求項６】請求項１乃至５いずれか記載の画像連結成
分抽出装置において、該重なり部処理手段は、他の外接矩形領域に包含されて
いる外接矩形領域を優先的に選択する手段を有する画像
連結成分抽出装置。
【請求項７】対象となる画像を連結した画素により構成
される連結成分に分けてその外接矩形領域を抽出する外
接矩形抽出手段と、外接矩形抽出手段にて抽出された外接矩形領域のうち重
なりあうものを抽出する重なり外接矩形抽出手段と、重なり外接矩形抽出手段にて抽出された外接矩形領域か
ら所定の順番にて処理すべき外接矩形領域を選択し、そ
の選択された外接矩形領域を分割矩形領域に切りわけ
て、その切り分けにて得られた分割矩形領域が上記重な
った外接矩形領域に対応したいずれの連結成分に属すべ
きかを判定する重なり部処理手段とを有し、その判定結
果に基づいて、当該選択された外接矩形領域に対応する
連結成分を特定するようにした画像連結成分抽出装置に
おいて、該重なり部処理手段は、切り分けにて得られた分割矩形領域内の所定の画素から
出発する輪郭追跡を行う輪郭追跡手段と、その輪郭追跡
の結果に基づいて、該分割矩形領域が該選択された外接
矩形領域に対応する連結成分に属するか否かの判定結果
を得る判定手段とを有する画像連結成分抽出装置。
【請求項８】請求項７記載の画像連結成分抽出装置にお
いて、該判定手段は、輪郭追跡した座標の最大値と最小値にて
特定される矩形が連結成分の外接矩形領域と一致するか
否かを判定する手段を有し、一致の判定がなされたとき
に、該輪郭追跡の出発画素を含む分割矩形領域が該連結
成分に含まれると判定するようにした画像連結成分抽出
装置。
【請求項９】請求項７または８記載の画像連結成分抽出
装置において、該輪郭抽出手段は、出発の画素として、該注目する分割
矩形領域の境界に位置する画素で、かつ他の分割矩形領
域に属さない画素を選択するようにした画像連結成分抽
出装置。
【請求項１０】請求項７乃至９いずれか記載の画像連結
成分抽出装置において、該判定手段は、輪郭追跡の途中で選択された外接矩形領
域を超えた場合に、該輪郭追跡の出発画素を含む分割矩
形領域が該外接矩形領域に対応する連結成分に含まれな
いと判定する手段を有する画像連結成分抽出装置。
【請求項１１】対象となる画像を連結した画素により構
成される連結成分に分けてその外接矩形領域を抽出する
外接矩形抽出手段と、外接矩形抽出手段にて抽出された外接矩形領域のうち重
なりあうものを抽出する重なり外接矩形抽出手段と、重なり外接矩形抽出手段にて抽出された外接矩形領域か
ら所定の順番にて処理すべき外接矩形領域を選択し、そ
の選択された外接矩形領域を分割矩形領域に切りわけ
て、その切り分けにより得られた分割矩形領域が上記重
なった外接矩形領域に対応したいずれの連結成分に属す
べきかを判定する重なり部処理手段とを有し、その判定
結果に基づいて、当該選択された外接矩形領域に対応す
る連結成分を特定するようにした画像連結成分抽出装置
において、該重なり部処理手段は、選択された外接矩形領域の大きさが所定値より大きいか
否かを判定するサイズ判定手段と、該サイズ判定手段が選択された外接矩形領域の大きさが
所定値より大きいと判定したときに、切り分けにて得ら
れた分割矩形領域内の所定の画素から出発する輪郭追跡
を行う輪郭追跡手段と、その輪郭追跡の結果に基づい
て、該分割矩形領域が該選択された外接矩形領域に対応
する連結成分に属するか否かの判定結果を得る判定手段
と、該サイズ判定手段が選択された外接矩形領域の大きさが
所定値より大きくないと判定したときに、該選択された
外接矩形領域内に含まれる連結成分に対応したラベル画
像を作成するラベル画像作成手段と、その作成されたラベル画像に基づいて、切りわけにて得
られた分割矩形領域がいずれの連結成分に属するか否か
を判定する手段とを有する画像連結成分抽出装置。
【請求項１２】請求項１１記載の画像連結成分抽出装置
において、該重なり部処理手段は、更に、当該選択された外接矩形
領域に重なる既に処理された他の外接矩形領域が有る場
合、その他の外接矩形領域に対する処理にて得られた判
定結果を用いて当該選択された外接矩形領域についての
判定結果を得る結果流用手段を有する画像連結成分抽出
装置。
【請求項１３】請求項１１または１２記載の画像連結成
分抽出装置において、該重なり部処理部手段は、更に、重なる外接矩形領域か
ら処理すべき外接矩形領域を面積の小さい順に選択する
領域選択手段を有する画像連結成分抽出装置。