JP4101005B2

JP4101005B2 - Connected component extraction method and program causing computer to execute the method

Info

Publication number: JP4101005B2
Application number: JP2002265620A
Authority: JP
Inventors: 秀明山形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-09-11
Filing date: 2002-09-11
Publication date: 2008-06-11
Anticipated expiration: 2022-09-11
Also published as: JP2004102807A

Description

【０００１】
【発明の属する技術分野】
この発明は、カラー画像や多値画像から連結成分を抽出する連結成分抽出の技術に関し、連結成分の抽出を安定して行える連結成分抽出方法とその方法をコンピュータに実行させるプログラム、連結成分抽出装置に関する。
【０００２】
【従来の技術】
連結成分の抽出は、入力されたカラーのＲＧＢ画像を複数のプレーンに分割し、各プレーンについて２値化処理を施し、各プレーンでの連結成分抽出結果を統合するものである（例えば、特許文献１参照。）。
【０００３】
また、入力されたカラーのＲＧＢ画像を複数のプレーンに分割し、各プレーンについて２値化処理を施し、各プレーンでの連結成分抽出結果を統合する手法に加え、得られた連結成分に対してカラー画像を参照して再２値化処理を施す方法もある（例えば、特許文献２参照。）。
【０００４】
また、入力画像中に存在する色が既知の場合に、各色毎に複数の画像を生成し、それぞれの画像から連結成分を抽出した結果に基づいて、帳票色と記入色を判断する方法がある（例えば、特許文献３参照。）。また、非特許文献１には、後述するｔ検定についての説明が記述されている。
【０００５】
【特許文献１】
特開２０００−２０７４８９号公報
【特許文献２】
特開２００１−０４３３１２号公報
【特許文献３】
特開２００１−１９５５４３号公報
【非特許文献１】
“統計学の小部屋”、［online］、［平成１４年７月１２日検索］、インターネット〈ＵＲＬ：http://homepage1.nifty.com/j-soyo/toukei/t7.htm〉
【０００６】
【発明が解決しようとする課題】
しかしながら、カラー画像、あるいは多値画像から連結成分／文字要素の抽出を行う際、入力画像の明度などを用いて画像を２値化し、得られた２値画像から連結成分等の抽出を行っていた。このような手法では入力画像の２値化処理の性能に依存する部分が多く、必ずしも十分な性能が得られない場合があった。
【０００７】
上記の特許文献１，２においても、入力画像のＲＧＢに対して重み付けを行って複数の画像に分割するなどの工夫は見られるが、各プレーンの画像に対しては２値化処理を行うので、２値化処理の性能に依存する部分が多い。一般的に、抽出したい連結成分（文字など）の背景に濃度差（グラデーション）などがある場合には、２値化処理が困難な場合が多い。
【０００８】
また、複数の画像について連結成分の抽出結果の合成を行っているが、入力デバイスによってはＲＧＢの各色毎に画素ずれなどが生じる場合も多く、これにプレーン毎の２値化／連結成分抽出処理を適用した場合、各プレーンでの結果が微妙に（１〜２画素程度）ずれる可能性が高く、その場合、結果の合成処理は煩雑なものとなりかねない。なお、複数の画像を生成する構成についての記述が不明瞭である。
【０００９】
高精度に連結成分を抽出するには、入力画像の性質に応じてＲＧＢに対する重み付けを調整する必要があることは明らかであるが、特許文献１，２においては、色のクラスタリング処理など、入力原稿の色に関する情報を取得する前処理は処理時間がかかるため実用的ではないと記述されている。複数プレーンへの分割方法を（色情報の収集という前処理を行わずに）固定とした場合、プレーン数が少ないと十分に元のカラー画像を表現できないために入力原稿によっては連結成分の抽出漏れが増大する。一方、プレーン数を（全ての色の組み合わせが識別できる程度に）増やした場合には処理時間が問題となる。
【００１０】
また、特許文献３は、原稿上の色数が既知の場合の処理について記載されているが、この手法は色数が既知の場合には有効であるものの、一般文書を広く対象とすることはできない。
【００１１】
この発明は、上述した従来技術による問題点を解消するため、入力されたカラー画像や多値画像から連結成分の抽出を安定して行える連結成分抽出方法とその方法をコンピュータに実行させるプログラム、連結成分抽出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる連結成分抽出方法は、入力されたカラー画像からエッジを抽出するエッジ抽出工程と、前記入力されたカラー画像からエッジ以外の画素についてランを抽出するラン抽出工程と、前記ラン抽出工程により抽出された前記ランの間の位置関係と、色差によりランの接続の有無を判定するラン接続判定工程とを含むことを特徴とする。
【００１３】
また、請求項２の発明にかかる連結成分抽出方法は、請求項１に記載の発明において、前記ラン接続判定工程により接続すると判定されたランの集合を連結成分として抽出する連結成分出力工程を含むことを特徴とする。
【００１４】
また、請求項３の発明にかかる連結成分抽出方法は、請求項１または２に記載の発明において、前記ラン接続判定工程は、前記色差によりランの接続を判定する際に、それぞれのランの代表色を求め代表色間の色差が小さい場合にはランが接続すると判断し、代表色間の色差が大きい場合にはランが接続しないと判断することを特徴とする。
【００１５】
また、請求項４の発明にかかる連結成分抽出方法は、請求項１または２に記載の発明において、前記ラン接続判定工程は、前記色差によりランの接続を判定する際に、それぞれのランの代表色を求め代表色間の色差とラン周辺のエッジの強度を比較し、代表色間の色差が小さい場合にはランが接続すると判断し、代表色間の色差が大きい場合にはランが接続しないと判断することを特徴とする。
【００１６】
また、請求項５の発明にかかる連結成分抽出方法は、請求項４に記載の発明において、前記ラン接続判定工程は、前記色差によりランの接続を判定する際に、それぞれのランの平均色をそのランの代表色として代表色間の色差とラン周辺のエッジの強度を比較し、代表色間の色差が小さい場合にはランが接続すると判断し、代表色間の色差が大きい場合にはランが接続しないと判断することを特徴とする。
【００１７】
また、請求項６の発明にかかる連結成分抽出方法は、請求項５に記載の発明において、前記ラン接続判定工程は、前記代表色間の色差がラン周辺のエッジ強度の半分より小さい場合にはランが接続すると判断し、それ以外の場合にはランが接続しないと判断することを特徴とする。
【００１８】
また、請求項７の発明にかかる連結成分抽出方法は、請求項１または２に記載の発明において、前記ラン接続判定工程は、前記色差によりランの接続を判定する際に、判定を行う２つのラン内の各画素間についてその色差を算出し、該色差の分布によりラン接続の可否を判断することを特徴とする。
【００１９】
また、請求項８の発明にかかる連結成分抽出方法は、請求項７に記載の発明において、前記ラン接続判定工程は、求めた色差の分布が複数のピークを有するときにはランが接続しないと判断することを特徴とする。
【００２０】
また、請求項９の発明にかかる連結成分抽出方法は、請求項１または２に記載の発明において、前記ラン接続判定工程は、前記色差によりランの接続を判定する際に、判定を行う２つのラン内の各画素間についてその色差を算出し、その色差の分布とラン周辺のエッジの強度によりラン接続の可否を判断することを特徴とする。
【００２１】
また、請求項１０の発明にかかる連結成分抽出方法は、請求項９に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最大値とラン周辺のエッジ強度を比較することに基づきラン接続の可否を判断することを特徴とする。
【００２２】
また、請求項１１の発明にかかる連結成分抽出方法は、請求項９または１０に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最大値がラン周辺のエッジ強度の半分より小さい場合にはランが接続すると判定し、それ以外の場合にはランが接続しないと判定することを特徴とする。
【００２３】
また、請求項１２の発明にかかる連結成分抽出方法は、請求項９に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最小値とラン周辺のエッジ強度を比較することで、ラン接続の可否を判断することを特徴とする。
【００２４】
また、請求項１３の発明にかかる連結成分抽出方法は、請求項９または１０に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最小値がラン周辺のエッジ強度の半分より小さい場合にはランが接続すると判定し、それ以外の場合にはランが接続しないと判定することを特徴とする。
【００２５】
また、請求項１４の発明にかかる連結成分抽出方法は、請求項１または２に記載の発明において、前記ラン接続判定工程は、前記各ラン中の色の分布を算出し、色の分布の間に有意差が無いと判断される場合にはランが接続すると判定し、それ以外の場合にはランが接続しないと判定することを特徴とする。
【００２６】
また、請求項１５の発明にかかる連結成分抽出方法は、請求項１に記載の発明において、前記ラン接続判定工程は、入力されたカラー画像のライン毎に順次処理を行ってランの統合を行い、既に統合されているランの集合と次のラインのランとの統合を判定する際には、前記ランの集合に関する連結成分の情報を利用して行うことを特徴とする。
【００２７】
また、請求項１６の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記色差により連結成分への接続ランの統合を判定する際に、連結成分とそれに接続するランの代表色を求め、代表色間の色差が小さい場合には、接続ランを連結成分に統合し、それ以外の場合には接続ランを連結成分に統合しないと判断することを特徴とする。
【００２８】
また、請求項１７の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記色差により連結成分への接続ランの統合を判定する際に、連結成分と接続ランそれぞれの代表色を求め、代表色間の色差と連結成分周辺および接続ラン周辺のエッジの強度を比較し、代表色間の色差が小さい場合には接続ランを連結成分に統合し、それ以外の場合には接続ランを連結成分に統合しないと判断することを特徴とする。
【００２９】
また、請求項１８の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記色差により連結成分への接続ランの統合を判定する際に、連結成分と接続ランそれぞれの平均色を代表色とし、代表色間の色差と連結成分周辺および接続ラン周辺のエッジの強度を比較し、代表色間の色差が小さい場合には接続ランを連結成分に統合し、それ以外の場合には接続ランを連結成分に統合しないと判断することを特徴とする。
【００３０】
また、請求項１９の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記代表色間の色差がラン周辺のエッジ強度の半分より小さい場合には接続ランを連結成分に統合し、それ以外の場合には接続ランを連結成分に統合しないと判断することを特徴とする。
【００３１】
また、請求項２０の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記色差により連結成分への統合を判断する際に、連結成分と接続ラン内の各画素間についてその色差を算出し、該色差の分布により連結成分への接続ランの統合を判断することを特徴とする。
【００３２】
また、請求項２１の発明にかかる連結成分抽出方法は、請求項２０に記載の発明において、前記ラン接続判定工程は、求めた色差の分布が複数のピークを有するときには接続ランを連結成分に統合しないと判断することを特徴とする。
【００３３】
また、請求項２２の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、前記色差により連結成分への接続ランの統合を判定する際に、連結成分と接続ラン内の各画素間についてその色差を算出し、その色差の分布と連結成分および接続ラン周辺のエッジ強度により連結成分への接続ランの統合を判断することを特徴とする。
【００３４】
また、請求項２３の発明にかかる連結成分抽出方法は、請求項２２に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最大値と連結成分および接続ラン周辺のエッジ強度を比較することで、連結成分への接続ランの統合を判断することを特徴とする。
【００３５】
また、請求項２４の発明にかかる連結成分抽出方法は、請求項２２または２３に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最大値が連結成分および接続ラン周辺のエッジ強度の半分より小さい場合には連結成分へ接続ランを統合すると判定し、それ以外の場合には連結成分へ接続ランを統合しないと判定することを特徴とする。
【００３６】
また、請求項２５の発明にかかる連結成分抽出方法は、請求項２２に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最小値と連結成分および接続ラン周辺のエッジ強度を比較し、連結成分への接続ランの統合を判断することを特徴とする。
【００３７】
また、請求項２６の発明にかかる連結成分抽出方法は、請求項２２または２３に記載の発明において、前記ラン接続判定工程は、前記色差の分布の最小値が連結成分および接続ラン周辺のエッジ強度の半分より小さい場合には連結成分へ接続ランを統合すると判定し、それ以外の場合には連結成分へ接続ランを統合しないと判定することを特徴とする。
【００３８】
また、請求項２７の発明にかかる連結成分抽出方法は、請求項１５に記載の発明において、前記ラン接続判定工程は、連結成分と接続ラン中の色の分布を算出し、色の分布の間に有意差が無いと判断される場合には連結成分へ接続ランを統合すると判定し、それ以外の場合には連結成分へ接続ランを統合しないと判定することを特徴とする。
【００３９】
また、請求項２８の発明にかかるプログラムは、前記請求項１〜２７のいずれか一つに記載された方法をコンピュータに実行させることができる。
【００４０】
また、請求項２９の発明にかかる連結成分抽出装置は、入力されたカラー画像からエッジを抽出するエッジ抽出手段と、前記入力されたカラー画像からエッジ以外の画素についてランを抽出するラン抽出手段と、前記ラン抽出手段により抽出された前記ランの間の位置関係と、色差によりランの接続の有無を判定するラン接続判定手段とを備えたことを特徴とする。
【００４１】
また、請求項３０の発明にかかる連結成分抽出装置は、請求項２９に記載の発明において、前記ラン接続判定手段により接続すると判定されたランの集合を連結成分として抽出する連結成分出力手段を備えたことを特徴とする。
【００４２】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる連結成分抽出装置、連結成分抽出方法およびその方法をコンピュータに実行させるプログラムの好適な実施の形態を詳細に説明する。図１は、この発明の本実施の形態にかかる連結成分抽出装置の構成を示すブロック図である。
【００４３】
（実施の形態１）
画像入力部１０１は、スキャナーなどの画像入力機器（不図示）を用いるなどして、カラーあるいは多値の画像を読み込む。勿論、画像入力機器を用いずに、既に存在する画像を入力する構成にもできる。エッジ抽出部１０２は、入力画像の各画素についてその濃度勾配を算出し、濃度勾配が局所最大となる画素をエッジ画素として抽出する。ラン抽出部１０３は、エッジではない画素について、ライン毎にランを生成する。ラン接続判定部１０４は、前ラインのランと、処理中のラインのランを接続するか否かをランの位置関係と色情報を用いて判断する。連結成分出力部１０５は、接続されると判断されたランを取りまとめて連結成分として出力する。
【００４４】
図２は、実施の形態１における処理内容を示すフローチャートである。この実施の形態１では、画像入力部１０１は、ＲＧＢそれぞれ８ビット値（０〜２５５）で表現されたカラー画像を入力する。入力されたカラー画像はエッジ抽出部１０２に送られ、エッジ抽出処理が行われる（ステップＳ２０１）。
【００４５】
図３は、エッジ抽出処理を説明するための図である。エッジ抽出処理は、ＲＧＢプレーン毎に、図示のＳｏｂｅｌオペレーターを用いて濃度勾配を算出する。次に、画素毎に最も濃度勾配の大きいプレーンを選択し、そのプレーン上で処理中の画素が濃度勾配最大となっているか否かを判断する。
【００４６】
図４は、濃度勾配判断の一例を示す図である。濃度勾配の方向に沿って前後画素の濃度勾配を求め、そのいずれもが注目画素の濃度勾配よりも小さい場合に濃度勾配極大画素と判断し、エッジとして登録する。エッジとして登録された場合には、エッジの強度を算出する。エッジの強度は先に求めた前後画素について、濃度勾配を求めたのと同じ手法で色を算出し、その色差をエッジの強度とする。色差の算出方法には多くの方法があるが、ここでは一例として、（Ｒａ，Ｇａ，Ｂａ）と（Ｒｂ，Ｇｂ，Ｂｂ）の色差Ｄｃを下記式１に示す。
【００４７】
Ｄｃ＝（Ｒａ−Ｒｂ）²＋（Ｇａ−Ｇｂ）²＋（Ｂａ−Ｂｂ）²…（式１）
【００４８】
ラン抽出部１０３では、エッジ以外の画素についてランを抽出する（ステップＳ２０２）。図５は、ラン抽出の一例を示す図である。ラン接続判定部１０４では、ランの間の接続を判定する。ここでは、まず、８連結により、ラン同士が位置的に接続するか否かを判断する（ステップＳ２０３）。８連結する可能性があるのは、隣合うライン間のみであるので、２つのラインの対毎に８連結の判定処理を行えばよい。ここで、位置的に接続されると判断されたラン同士については、ランの色を用いて最終的な接続の判定を行う。
【００４９】
本実施の形態では、それぞれのランの代表色を算出し、その色差によりランとランの間の接続判定を行う。最も簡単な方法としては、色差が予め定められたしきい値より小さい場合には接続と判定する方法がある。その場合、しきい値を小さくすると、色差の大きい（色のばらつきの大きい）連結成分が抽出されなくなる（複数の連結成分に分割される）可能性がある。一方、しきい値を大きめに設定すると、本来は異なる連結成分が過統合される恐れがある。
【００５０】
そこで、本実施の形態では、ラン両端のエッジの強度によって、このしきい値を動的に設定する。まず、それぞれのランの平均色を求め、各ランの代表色とする。次に、代表色間の色差Ｄｐを上記式１を用いて算出する（ステップＳ２０４）。一方、それぞれのランの両端に存在するエッジの強度の最大値を求め（ステップＳ２０５）、その１／２の値をしきい値Ｔとする（ステップＳ２０６）。
【００５１】
このようにしきい値Ｔを設定することで、片方のランを基準（前景）に考えた場合、もう一方のランの色が背景と前景のいずれに近いかを判断することができる。そして、下記式２の条件を満たす場合には（ステップＳ２０７：Ｙｅｓ）、２つのランは接続する（ステップＳ２０８）。但し、位置的に接続しないラン同士、および式２の条件を満たさないラン同士は接続しないと判断する（ステップＳ２０７：Ｎｏ）。
【００５２】
Ｄｐ＜Ｔ…（式２）
【００５３】
上記ステップＳ２０３〜ステップＳ２０８の処理は、現在のライン内ランのループ（Ｒｃ）を行い、上ライン内ランのループ（Ｒｐ）を行って終了する。連結成分出力部１０５では、接続されると判断されたランを取りまとめて連結成分として出力する。図６は、連結成分の抽出例を示す図である。このように出力された連結成分は、ＯＣＲにおける文字画像の切り出し等の画像処理装置への入力として用いられる。なお、連結成分の画像処理への応用については数多くの例があり、ここでは説明を割愛する。
【００５４】
（実施の形態２）
図７は、実施の形態２における処理内容を示すフローチャートである。実施の形態２は、エッジ抽出（ステップＳ７０１）と、ランの抽出（ステップＳ７０２）と、８連結によるラン同士が位置的に接続するか否かの判断（ステップＳ７０３）までの処理は、実施の形態１と同様でありその説明を割愛する。
【００５５】
そして、この実施の形態では、各ランの代表色（平均色）を求める代わりに、各ラン内の画素間の色差を求め、その色差の分布からランの接続を判断する。接続判定を行う２つのランについて、その全ての画素間の色差を算出してヒストグラムを作成する（ステップＳ７０４）。図８は、色差ヒストグラムの作成例を説明する概要図である。
【００５６】
接続判定を行っている２つのランが異なる色の場合、異なるランに属する画素間の色差は大きくなる。図９は、ランの色が異なる場合の色差ヒストグラム例を説明する図である。色差ヒストグラムは、図に示すように色差の小さい部分と大きい部分で複数のピークを持つことになる。
【００５７】
この実施の形態では、このことに注目して、色差ヒストグラムの形状からランの統合を判断する。次の条件を全て満たす場合に、ランが接続しないと判断する。
【００５８】
１）色差ヒストグラム（Ｈｇ）に複数のピークが存在する（ステップＳ７０５：Ｙｅｓ）。
２）ラン内の画素数をＮ，Ｍとしたときに、２番目に高いピークＢが、最も高いピークＡの（２ＮＭ／（Ｎ²＋Ｍ²−Ｎ−Ｍ））以上の値である（ステップＳ７０６〜ステップＳ７０７〜ステップＳ７０８：Ｙｅｓ）。
【００５９】
上記１），２）の条件を一つでも満たさなかった場合（ステップＳ７０５：Ｎｏ，あるいはステップＳ７０８：Ｎｏ）には、２つのランを接続する（ステップＳ７０９）。
【００６０】
（実施の形態３）
図１０は、実施の形態３における処理内容を示すフローチャートである。本実施の形態では、色差ヒストグラムの作成（ステップＳ１００４）までの処理は、実施の形態２と同様である。
【００６１】
ここでは、色差ヒストグラムの分布の形状を見るのではなく、色差の最大値Ｈｇ_max （例えば、図９に示したヒストグラムにおいて、一番右に存在するＤＦ，ＥＦ，ＥＧの色差）等を求め（ステップＳ１００５）、ランの左右にあるエッジ強度を算出し（ステップＳ１００６）、これらを比較してランの接続を判定する（ステップＳ１００８）。ヒストグラムから求める比較対象は、簡単な例として色差の最大値Ｈｇ_max をあげたが、他にも最小値や平均値，中央値など、さまざまな統計パラメータを対象や用途により使い分けてもよい。
【００６２】
左右のエッジの強度を求める処理（ステップＳ１００６，ステップＳ１００７）については、実施の形態１と同様の方法を用いる。色差ヒストグラムの分布の最大値をＸ（Ｈｇ_max ），エッジの強度の最小値をＥとしたとき（ステップＳ１００７）、Ｘ＜Ｅ／２の条件を満たす場合に（ステップＳ１００８：Ｙｅｓ）ランが接続すると判断し、２つのランを接続する（ステップＳ１００９）。条件を満たさなかった場合には（ステップＳ１００８：Ｎｏ）、ラン同士は接続しないと判断する。なお、ランの接続判断以降の処理は実施の形態２と同様であり説明を割愛する。
【００６３】
（実施の形態４）
図１１は、実施の形態４における処理内容を示すフローチャートである。本実施の形態では、ランの抽出と８連結の判定（ステップＳ１１０３）までの処理は実施の形態１と同じであり説明を割愛する。
【００６４】
本実施の形態では、ＲＧＢの各色毎、各ラン毎にヒストグラムを作成する（ステップＳ１１０４）。図１２は、ＲＧＢのヒストグラム例を示す図である。次に、処理対象のランの間で、それぞれのヒストグラムの間で統計的な有意差検定を行う。代表的な検定方法としては、平均値の差の検定（ｔ検定）などが挙げられる。ｔ検定の詳細は、例えば、前述した非特許文献１等に説明が記載されている。
【００６５】
そして、Ｒ，Ｇ，Ｂそれぞれについて有意差の検定を行う（ステップＳ１１０５，ステップＳ１１０７，ステップＳ１１０９）。その全てにおいて、ヒストグラム間に有意差が無いと判断された場合には（ステップＳ１１０６：Ｎｏ，ステップＳ１１０８：Ｎｏ，ステップＳ１１１０：Ｎｏ）、ランが接続すると判断し、２つのランを接続する（ステップＳ１１１１）。ＲＧＢいずれかで有意差があると判断された場合には（ステップＳ１１０６：Ｙｅｓ，ステップＳ１１０８：Ｙｅｓ，ステップＳ１１１０：Ｙｅｓ）、ランは接続しないと判断する。なお、ランの接続判断以降の処理については実施の形態１と同様であるので、説明を割愛する。
【００６６】
（実施の形態５）
実施の形態５は、ランを順次統合し連結成分を得る処理内容に関するものである。図１３は、連結成分抽出処理例を説明するための図である。図１３（ａ）→→（ｂ）→（ｃ）の順番で処理が進むとする。
【００６７】
（ａ）は、現在ラインの処理前の状態で、前ラインまでの処理により、連結成分Ａ，Ｂが登録されている状態である。図中”Ｅ”が記入されている画素はエッジ画素を表す。処理は図中左側から行う。まず、ラン１については、前ラインに接続するランが存在しないので、新しい連結成分（連結成分Ｃ）として登録する。
【００６８】
（ｂ）は、ラン１の処理が終わった状態である。次にラン２の処理を行う。ラン２は、前ラインのラン３と８連結で連結しているので、ラン３の属している連結成分Ａへの統合の可否を判断する。これまでの実施の形態ではランとランの間で接続の判定を行っていたが、ここでは連結成分とランの間で接続の判定を行う。例えば、連結成分Ａ中に含まれる全てのランの平均色とラン２の平均色の色差による判定を行えばよい。ランと連結成分は構成要素（画素と周辺エッジ）が同じであるので、ランに用いた手法（実施の形態１〜４に示した接続判定の手法）はそのまま連結成分の処理に拡張することができる。図では、色差が小さく、ラン２を統合して連結成分Ａを更新する場合を示した。
【００６９】
（ｃ）は、連結成分更新後の状態である。次に、ラン２はラン４とも連結しているので、この間の接続を判定する。この場合には、ラン２は既に連結成分Ａ’に属しているので、ラン４の属している連結成分Ｂとの間で接続を判定することになる。つまり、連結成分Ａ’の平均色と、連結成分Ｂの平均色を算出し、その色差により接続を判定する。接続すると判断された場合には、連結成分Ａ’と連結成分Ｂを統合して新しい連結成分とする。接続しないと判断された場合には特別な処理は行わない。なお、接続しないと判断された場合で、ラン２がいずれの文字要素にも属さない場合には、新しい連結成分として登録するが、この場合には既に連結成分Ａ’に属しているので処理不要である。
【００７０】
以上、実施の形態５においては、順次ランを統合して連結成分を生成する方法について述べた。連結成分とラン、あるいは連結成分と連結成分の接続判定に関しては、前述した実施の形態１〜４に示した方法それぞれについて、ランから連結成分に拡張して同様の処理を行えばよい。
【００７１】
なお、本実施の形態で説明した連結成分抽出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、入力されたカラー画像あるいは多値画像からその色や濃度の状態を確認しながら逐次ランの統合を判断するものであるため、カラー画像や多値画像から直接連結成分の抽出を行うことができ、２値化処理の影響を受けることなく安定した連結成分の抽出が可能であるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の本実施の形態にかかる連結成分抽出装置の構成を示すブロック図である。
【図２】実施の形態１における処理内容を示すフローチャートである。
【図３】エッジ抽出処理を説明するための図である。
【図４】濃度勾配判断の一例を示す図である。
【図５】ラン抽出の一例を示す図である。
【図６】連結成分の抽出例を示す図である。
【図７】実施の形態２における処理内容を示すフローチャートである。
【図８】色差ヒストグラムの作成例を説明する概要図である。
【図９】ランの色が異なる場合の色差ヒストグラム例を説明する図である。
【図１０】実施の形態３における処理内容を示すフローチャートである。
【図１１】実施の形態４における処理内容を示すフローチャートである。
【図１２】ＲＧＢのヒストグラム例を示す図である。
【図１３】連結成分抽出処理例を説明するための図である。
【符号の説明】
１０１画像入力部
１０２エッジ抽出部
１０３ラン抽出部
１０４ラン接続判定部
１０５連結成分出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a connected component extraction technique for extracting a connected component from a color image or a multi-valued image, a connected component extracting method capable of stably extracting a connected component, a program for causing a computer to execute the method, and a connected component extracting device. About.
[0002]
[Prior art]
Extracting connected components divides an input color RGB image into a plurality of planes, binarizes each plane, and integrates the connected component extraction results for each plane (for example, Patent Documents). 1).
[0003]
In addition to the method of dividing the input color RGB image into a plurality of planes, binarizing each plane, and integrating the connected component extraction results in each plane, There is also a method of performing re-binarization processing with reference to a color image (for example, see Patent Document 2).
[0004]
Also, there is a method for generating a plurality of images for each color and determining the form color and entry color based on the result of extracting connected components from each image when the colors existing in the input image are known. (For example, refer to Patent Document 3). Non-Patent Document 1 describes a t-test described later.
[0005]
[Patent Document 1]
JP 2000-2047489 A
[Patent Document 2]
JP 2001-043312 A
[Patent Document 3]
JP 2001-195543 A
[Non-Patent Document 1]
"Small room of statistics", [online], [searched July 12, 2002], Internet <URL: http://homepage1.nifty.com/j-soyo/toukei/t7.htm>
[0006]
[Problems to be solved by the invention]
However, when extracting connected components / character elements from a color image or multi-valued image, the image is binarized using the brightness of the input image and the connected components are extracted from the obtained binary image. It was. In such a method, there are many portions depending on the performance of the binarization processing of the input image, and there are cases where sufficient performance cannot always be obtained.
[0007]
In the above Patent Documents 1 and 2, there are some ideas such as weighting the RGB of the input image to divide it into a plurality of images, but binarization processing is performed on each plane image. There are many parts that depend on the performance of the binarization process. In general, when there is a density difference (gradation) in the background of a connected component (such as characters) to be extracted, binarization processing is often difficult.
[0008]
Also, connected component extraction results are synthesized for a plurality of images, but depending on the input device, there are many cases where pixel shift occurs for each color of RGB, and binarization / connected component extraction processing for each plane occurs. Is applied, there is a high possibility that the results in each plane will be subtly shifted (about 1 to 2 pixels). In this case, the result combining process may be complicated. In addition, the description about the structure which produces | generates a some image is unclear.
[0009]
In order to extract the connected components with high accuracy, it is apparent that the weighting for RGB needs to be adjusted according to the properties of the input image. However, in Patent Documents 1 and 2, the input document such as color clustering is used. It is described that the pre-processing for acquiring information on the color of the image is not practical because it takes a long time. If the division method into multiple planes is fixed (without performing pre-processing for collecting color information), the original color image cannot be expressed sufficiently if the number of planes is small, so the extracted components may not be extracted depending on the input document. Will increase. On the other hand, when the number of planes is increased (so that all color combinations can be identified), the processing time becomes a problem.
[0010]
Patent Document 3 describes processing when the number of colors on a document is known. Although this method is effective when the number of colors is known, it is not widely used for general documents. Can not.
[0011]
In order to solve the above-described problems caused by the prior art, the present invention provides a connected component extraction method capable of stably extracting a connected component from an input color image or multi-valued image, a program for causing a computer to execute the method, and a connection It aims at providing a component extraction device.
[0012]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, the connected component extraction method according to the first aspect of the present invention includes an edge extraction step of extracting an edge from the input color image, and an edge other than the edge from the input color image. A run extraction step of extracting a run for each pixel of the pixel, a positional relationship between the runs extracted by the run extraction step, and a run connection determination step of determining whether or not the run is connected based on a color difference. To do.
[0013]
A connected component extraction method according to a second aspect of the invention includes a connected component output step of extracting the set of runs determined to be connected by the run connection determining step as a connected component in the first aspect of the invention. It is characterized by that.
[0014]
According to a third aspect of the present invention, in the connected component extraction method according to the first or second aspect of the invention, the run connection determination step is a representative of each run when determining the connection of the run based on the color difference. If the color is obtained and the color difference between the representative colors is small, it is determined that the run is connected. If the color difference between the representative colors is large, it is determined that the run is not connected.
[0015]
According to a fourth aspect of the present invention, there is provided the connected component extraction method according to the first or second aspect, wherein the run connection determination step is a representative of each run when determining the connection of the run based on the color difference. Find the color and compare the color difference between the representative colors and the strength of the edge around the run. If the color difference between the representative colors is small, it is judged that the run is connected. If the color difference between the representative colors is large, the run is not connected. It is characterized by judging.
[0016]
According to a fifth aspect of the present invention, in the connected component extraction method according to the fourth aspect of the present invention, when the run connection determination step determines the connection of the run based on the color difference, the average color of each run is determined. Compare the color difference between the representative colors and the edge strength around the run as the representative color of the run. If the color difference between the representative colors is small, the run is determined to be connected. If the color difference between the representative colors is large, the run is determined. Is determined not to be connected.
[0017]
According to a sixth aspect of the present invention, in the connected component extraction method according to the fifth aspect of the present invention, the run connection determination step is performed when the color difference between the representative colors is smaller than half of the edge intensity around the run. It is characterized in that it is determined that the run is connected, and in other cases, it is determined that the run is not connected.
[0018]
According to a seventh aspect of the present invention, there is provided a connected component extraction method according to the first or second aspect of the invention, wherein the run connection determination step includes two determinations when determining the connection of the run based on the color difference. The color difference is calculated for each pixel in the run, and whether or not the run connection is possible is determined based on the distribution of the color difference.
[0019]
Further, in the connected component extraction method according to the invention of claim 8, in the invention of claim 7, the run connection determining step determines that the run is not connected when the obtained color difference distribution has a plurality of peaks. It is characterized by that.
[0020]
According to a ninth aspect of the present invention, there is provided the connected component extraction method according to the first or second aspect, wherein the run connection determining step includes two determinations when determining the connection of the run based on the color difference. The color difference is calculated for each pixel in the run, and whether or not the run connection is possible is determined based on the distribution of the color difference and the strength of the edge around the run.
[0021]
According to a tenth aspect of the present invention, in the connected component extraction method according to the ninth aspect, the run connection determining step is based on comparing the maximum value of the color difference distribution and the edge strength around the run. It is characterized by determining whether or not the run connection is possible.
[0022]
The connected component extraction method according to an invention of claim 11 is the invention according to claim 9 or 10, wherein in the run connection determination step, the maximum value of the color difference distribution is smaller than half of the edge intensity around the run. In this case, it is determined that the run is connected, and in other cases, it is determined that the run is not connected.
[0023]
The connected component extraction method according to a twelfth aspect of the present invention is the invention according to the ninth aspect, wherein the run connection determination step compares the minimum value of the color difference distribution with the edge strength around the run. It is characterized by determining whether or not the run connection is possible.
[0024]
Further, in the connected component extraction method according to the invention of claim 13, in the invention of claim 9 or 10, in the run connection determination step, the minimum value of the color difference distribution is smaller than half of the edge intensity around the run. In this case, it is determined that the run is connected, and in other cases, it is determined that the run is not connected.
[0025]
The connected component extraction method according to a fourteenth aspect of the invention is the invention according to the first or second aspect, wherein the run connection determining step calculates a color distribution in each run, If it is determined that there is no significant difference, it is determined that the run is connected. In other cases, it is determined that the run is not connected.
[0026]
According to a fifteenth aspect of the present invention, in the connected component extraction method according to the first aspect of the invention, the run connection determining step performs a process for each line of the input color image to integrate the runs. The determination of the integration of the already integrated set of runs and the run of the next line is performed by using information on the connected components related to the set of runs.
[0027]
The connected component extraction method according to a sixteenth aspect of the present invention is the connected component extracting method according to the fifteenth aspect of the present invention, wherein the run connection determining step determines the integration of the connected run into the connected component based on the color difference. If the color difference between the representative colors is small, the connection run is integrated into the connected component, and otherwise the connection run is determined not to be integrated into the connected component. Features.
[0028]
According to a seventeenth aspect of the present invention, there is provided a connected component extraction method according to the fifteenth aspect of the present invention, wherein the run connection determining step determines the integration of the connected run into the connected component based on the color difference. And the representative color of each connected run, compare the color difference between the representative colors and the strength of the edge around the connected component and the connected run, and if the color difference between the representative colors is small, integrate the connected run into the connected component, In other cases, it is determined that the connection run is not integrated into the connected component.
[0029]
The connected component extraction method according to an invention of claim 18 is the connected component extraction method according to claim 15, wherein the run connection determining step determines whether the connected run is integrated into the connected component based on the color difference. The average color of each connected run is used as the representative color, and the color difference between the representative colors is compared with the intensity of the edges around the connected component and the connected run. If the color difference between the representative colors is small, the connected run is integrated into the connected component. In other cases, it is determined that the connection run is not integrated into the connected component.
[0030]
According to a nineteenth aspect of the present invention, in the connected component extracting method according to the fifteenth aspect, the run connection determining step is performed when the color difference between the representative colors is smaller than half of the edge intensity around the run. It is characterized in that the connection run is integrated into the connected component, and otherwise it is determined that the connection run is not integrated into the connected component.
[0031]
The connected component extraction method according to a twentieth aspect of the present invention is the connected component extraction method according to the fifteenth aspect of the present invention, wherein the run connection determining step determines whether the connected component is connected to the connected component when determining the integration into the connected component by the color difference. The color difference is calculated for each of the pixels, and the integration of the connection run to the connected component is determined based on the distribution of the color difference.
[0032]
According to a twenty-first aspect of the present invention, in the connected component extraction method according to the twentieth aspect, the run connection determination step integrates the connected runs into the connected components when the obtained color difference distribution has a plurality of peaks. It is characterized by not judging.
[0033]
According to a twenty-second aspect of the present invention, in the connected component extracting method according to the fifteenth aspect of the present invention, the run connection determining step determines whether or not to integrate a connected run into a connected component based on the color difference. The color difference is calculated for each pixel in the connection run, and the integration of the connection run into the connection component is determined based on the distribution of the color difference, the connection component, and the edge strength around the connection run.
[0034]
The connected component extraction method according to a twenty-third aspect of the present invention is the method according to the twenty-second aspect, wherein the run connection determining step compares the maximum value of the color difference distribution with the edge strength around the connected component and the connected run. By doing so, it is characterized by determining the integration of the connection run into the connected component.
[0035]
Further, in the connected component extraction method according to the invention of claim 24, in the invention according to claim 22 or 23, the run connection determination step is such that the maximum value of the color difference distribution is an edge strength around the connected component and the connected run. It is determined that the connection run is integrated into the connected component if it is smaller than half of that, and it is determined that the connection run is not integrated into the connected component in other cases.
[0036]
According to a 25th aspect of the present invention, in the connected component extraction method according to the 22nd aspect, the run connection determination step compares the minimum value of the color difference distribution with the edge strength around the connected component and the connected run. And determining the integration of connection runs into connected components.
[0037]
Further, in the connected component extraction method according to the invention of claim 26, in the invention according to claim 22 or 23, the run connection determination step is such that the minimum value of the color difference distribution is an edge strength around the connected component and the connected run. It is determined that the connection run is integrated into the connected component if it is smaller than half of that, and it is determined that the connection run is not integrated into the connected component in other cases.
[0038]
According to a twenty-seventh aspect of the present invention, in the connected component extracting method according to the fifteenth aspect, the run connection determining step calculates a distribution of colors in the connected component and the connected run, If it is determined that there is no significant difference, it is determined that the connection run is integrated into the connected component, and otherwise, it is determined that the connection run is not integrated into the connected component.
[0039]
A program according to the invention of claim 28 can cause a computer to execute the method described in any one of claims 1 to 27.
[0040]
A connected component extraction apparatus according to a twenty-ninth aspect of the present invention is an edge extraction unit that extracts an edge from an input color image, and a run extraction unit that extracts a run for pixels other than the edge from the input color image. And a run connection determining means for determining whether or not the run is connected based on a color relationship and a positional relationship between the runs extracted by the run extracting means.
[0041]
A connected component extraction apparatus according to a thirty-third aspect of the invention includes a connected component output means for extracting, as a connected component, a set of runs determined to be connected by the run connection determining means. It is characterized by that.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a connected component extraction apparatus, a connected component extraction method, and a program for causing a computer to execute the method will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing a configuration of a connected component extraction apparatus according to this embodiment of the present invention.
[0043]
(Embodiment 1)
The image input unit 101 reads a color or multi-value image by using an image input device (not shown) such as a scanner. Of course, an image that already exists can be input without using an image input device. The edge extraction unit 102 calculates a density gradient for each pixel of the input image, and extracts a pixel having a local density maximum as an edge pixel. The run extraction unit 103 generates a run for each line for pixels that are not edges. The run connection determination unit 104 determines whether to connect the run of the previous line and the run of the line being processed using the positional relationship of the run and the color information. The connected component output unit 105 collects runs determined to be connected and outputs them as connected components.
[0044]
FIG. 2 is a flowchart showing the processing contents in the first embodiment. In the first embodiment, the image input unit 101 inputs a color image expressed by 8-bit values (0 to 255) for each of RGB. The input color image is sent to the edge extraction unit 102, and edge extraction processing is performed (step S201).
[0045]
FIG. 3 is a diagram for explaining edge extraction processing. In the edge extraction process, a density gradient is calculated for each RGB plane using the illustrated Sobel operator. Next, a plane having the largest density gradient is selected for each pixel, and it is determined whether or not the pixel being processed on the plane has the maximum density gradient.
[0046]
FIG. 4 is a diagram illustrating an example of density gradient determination. The density gradients of the preceding and following pixels are obtained along the direction of the density gradient, and when all of them are smaller than the density gradient of the target pixel, the pixel is determined as the density gradient maximum pixel and registered as an edge. When registered as an edge, the strength of the edge is calculated. For the edge strength, the color is calculated for the previous and subsequent pixels obtained in the same manner as the density gradient, and the color difference is used as the edge strength. There are many methods for calculating the color difference. Here, as an example, the color difference Dc between (Ra, Ga, Ba) and (Rb, Gb, Bb) is expressed by the following formula 1.
[0047]
Dc = (Ra−Rb) ² + (Ga-Gb) ² + (Ba-Bb) ² ... (Formula 1)
[0048]
The run extraction unit 103 extracts runs for pixels other than edges (step S202). FIG. 5 is a diagram illustrating an example of run extraction. The run connection determination unit 104 determines a connection between runs. Here, first, it is determined whether or not the runs are connected in position by the 8-connection (step S203). Since there is a possibility of eight connections only between adjacent lines, the determination process of eight connections may be performed for each pair of two lines. Here, for the runs determined to be connected in position, the final connection is determined using the color of the run.
[0049]
In the present embodiment, the representative color of each run is calculated, and the connection determination between the runs is performed based on the color difference. As the simplest method, there is a method of determining a connection when the color difference is smaller than a predetermined threshold value. In that case, if the threshold value is reduced, connected components having a large color difference (large variation in color) may not be extracted (divided into a plurality of connected components). On the other hand, if the threshold value is set larger, originally different connected components may be overintegrated.
[0050]
Therefore, in this embodiment, this threshold value is dynamically set according to the strength of the edges at both ends of the run. First, the average color of each run is obtained and used as the representative color of each run. Next, the color difference Dp between the representative colors is calculated using Equation 1 (step S204). On the other hand, the maximum value of the strength of the edge existing at both ends of each run is obtained (step S205), and a value half of that is set as the threshold value T (step S206).
[0051]
By setting the threshold value T in this way, when one run is considered as a reference (foreground), it can be determined whether the color of the other run is close to the background or the foreground. If the condition of the following formula 2 is satisfied (step S207: Yes), the two runs are connected (step S208). However, it is determined that the runs that are not connected in position and the runs that do not satisfy the condition of Expression 2 are not connected (step S207: No).
[0052]
Dp <T (Formula 2)
[0053]
The processing from step S203 to step S208 ends with the current in-line run loop (Rc), the upper in-line run loop (Rp). The connected component output unit 105 collects the runs determined to be connected and outputs them as connected components. FIG. 6 is a diagram illustrating an example of extraction of connected components. The connected component output in this way is used as an input to an image processing apparatus such as clipping of a character image in OCR. There are many examples of application of connected components to image processing, and description thereof is omitted here.
[0054]
(Embodiment 2)
FIG. 7 is a flowchart showing the processing contents in the second embodiment. In the second embodiment, processing up to edge extraction (step S701), run extraction (step S702), and determination of whether or not the 8-connected runs are connected in position (step S703) It is the same as that of form 1, and the description is omitted.
[0055]
In this embodiment, instead of obtaining the representative color (average color) of each run, the color difference between pixels in each run is obtained, and the connection of the run is determined from the distribution of the color difference. For the two runs for which connection determination is performed, a color difference between all the pixels is calculated and a histogram is created (step S704). FIG. 8 is a schematic diagram illustrating an example of creating a color difference histogram.
[0056]
When the two runs for which connection determination is performed have different colors, the color difference between pixels belonging to different runs becomes large. FIG. 9 is a diagram for explaining an example of the color difference histogram when the colors of the runs are different. As shown in the figure, the color difference histogram has a plurality of peaks at a portion where the color difference is small and a portion where the color difference is large.
[0057]
In this embodiment, paying attention to this, the integration of the run is determined from the shape of the color difference histogram. If all of the following conditions are met, it is determined that the run is not connected.
[0058]
1) A plurality of peaks exist in the color difference histogram (Hg) (step S705: Yes).
2) When the number of pixels in the run is N and M, the second highest peak B is the highest peak A (2NM / (N ² + M ² −N−M)) or more (step S706 to step S707 to step S708: Yes).
[0059]
If even one of the above conditions 1) and 2) is not satisfied (step S705: No, or step S708: No), two runs are connected (step S709).
[0060]
(Embodiment 3)
FIG. 10 is a flowchart showing the processing contents in the third embodiment. In the present embodiment, the processes up to the creation of the color difference histogram (step S1004) are the same as those in the second embodiment.
[0061]
Here, instead of looking at the shape of the distribution of the color difference histogram, the maximum value Hg of the color difference _max (For example, in the histogram shown in FIG. 9, the color difference between DF, EF, and EG present on the rightmost side) is obtained (step S1005), edge strengths on the left and right sides of the run are calculated (step S1006), and these are calculated. The connection of the run is determined by comparison (step S1008). The comparison target obtained from the histogram is the maximum color difference Hg as a simple example. _max However, various other statistical parameters such as minimum value, average value, and median value may be used depending on the object and application.
[0062]
For the processing for obtaining the strength of the left and right edges (step S1006, step S1007), the same method as in the first embodiment is used. The maximum value of the color difference histogram distribution is X (Hg _max ), When the minimum edge strength is E (step S1007), if the condition X <E / 2 is satisfied (step S1008: Yes), it is determined that the runs are connected, and the two runs are connected (step S1007). S1009). If the condition is not satisfied (step S1008: No), it is determined that the runs are not connected. The processing after the determination of the connection of the run is the same as that of the second embodiment, and the description is omitted.
[0063]
(Embodiment 4)
FIG. 11 is a flowchart showing the processing contents in the fourth embodiment. In the present embodiment, the processes up to run extraction and 8-connection determination (step S1103) are the same as those in the first embodiment and will not be described.
[0064]
In this embodiment, a histogram is created for each color of RGB and for each run (step S1104). FIG. 12 is a diagram illustrating an example of an RGB histogram. Next, a statistical significance test is performed between the histograms between the runs to be processed. As a typical test method, a test for a difference between average values (t test) or the like can be given. Details of the t-test are described in, for example, Non-Patent Document 1 described above.
[0065]
Then, a significant difference test is performed for each of R, G, and B (step S1105, step S1107, and step S1109). In all of them, when it is determined that there is no significant difference between the histograms (Step S1106: No, Step S1108: No, Step S1110: No), it is determined that the runs are connected, and the two runs are connected (Step S1106: No). S1111). If it is determined that there is a significant difference between any of RGB (step S1106: Yes, step S1108: Yes, step S1110: Yes), it is determined that the run is not connected. Since the processing after the determination of the connection of the run is the same as that of the first embodiment, the description is omitted.
[0066]
(Embodiment 5)
The fifth embodiment relates to processing contents for sequentially integrating runs to obtain a connected component. FIG. 13 is a diagram for explaining an example of a connected component extraction process. Assume that the processing proceeds in the order of FIG. 13 (a) →→ (b) → (c).
[0067]
(A) is a state before processing of the current line, and is a state in which connected components A and B are registered by processing up to the previous line. Pixels with “E” in the figure represent edge pixels. Processing is performed from the left side of the figure. First, since there is no run connected to the previous line, run 1 is registered as a new connected component (connected component C).
[0068]
(B) is a state in which the processing of run 1 is completed. Next, the process of run 2 is performed. Since run 2 is connected to run 3 on the previous line with 8 connections, it is determined whether or not integration into connected component A to which run 3 belongs is possible. In the embodiments so far, the connection is determined between the runs, but here the connection is determined between the connected component and the runs. For example, the determination may be made based on the color difference between the average color of all runs included in the connected component A and the average color of run 2. Since the run and the connected component have the same components (pixels and peripheral edges), the method used for the run (the connection determination method shown in the first to fourth embodiments) can be directly extended to the process of the connected component. it can. In the figure, the case where the color difference is small and the run 2 is integrated to update the connected component A is shown.
[0069]
(C) is a state after updating the connected components. Next, since run 2 is also connected to run 4, the connection between them is determined. In this case, since the run 2 already belongs to the connected component A ′, the connection with the connected component B to which the run 4 belongs is determined. That is, the average color of the connected component A ′ and the average color of the connected component B are calculated, and the connection is determined based on the color difference. If it is determined to be connected, the connected component A ′ and the connected component B are integrated into a new connected component. If it is determined not to connect, no special processing is performed. If it is determined not to be connected and run 2 does not belong to any character element, it is registered as a new connected component. In this case, since it already belongs to connected component A ′, no processing is required. It is.
[0070]
As described above, in the fifth embodiment, the method for generating the connected component by sequentially integrating the runs has been described. Regarding the connection determination between the connected component and the run or between the connected component and the connected component, the same processing may be performed by expanding from the run to the connected component for each of the methods shown in the first to fourth embodiments.
[0071]
The connected component extraction method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The program may be a transmission medium that can be distributed via a network such as the Internet.
[0072]
【The invention's effect】
As described above, according to the present invention, since integration of sequential runs is determined from the input color image or multi-value image while confirming the state of the color or density, the color image or multi-value image is determined. Therefore, it is possible to extract the connected components directly from the image, and it is possible to extract the connected components stably without being affected by the binarization process.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a connected component extraction apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing processing contents in the first embodiment.
FIG. 3 is a diagram for explaining edge extraction processing;
FIG. 4 is a diagram illustrating an example of density gradient determination.
FIG. 5 is a diagram illustrating an example of run extraction.
FIG. 6 is a diagram illustrating an example of extraction of connected components.
FIG. 7 is a flowchart showing processing contents in the second embodiment.
FIG. 8 is a schematic diagram illustrating an example of creating a color difference histogram.
FIG. 9 is a diagram illustrating an example of a color difference histogram when the colors of runs are different.
FIG. 10 is a flowchart showing processing contents in the third embodiment.
FIG. 11 is a flowchart showing processing contents in the fourth embodiment.
FIG. 12 is a diagram illustrating an example of an RGB histogram.
FIG. 13 is a diagram for explaining an example of connected component extraction processing;
[Explanation of symbols]
101 Image input unit
102 Edge extraction unit
103 run extractor
104 Run connection determination unit
105 Connected component output section

Claims

An edge extraction process for extracting edges from the input color image;
A run extraction step of extracting runs for pixels other than edges from the input color image;
A positional relationship between the runs extracted by the run extraction step, and a run connection determination step of determining the presence or absence of connection of the run by a color difference;
Including
The run connection determination step includes
When determining the connection of a run based on the color difference, the representative color of each run is obtained, the color difference between the representative colors is compared with the color difference of the edges at both ends of the run, and the color difference between the representative colors is small. A connected component extraction method characterized by determining that a run is connected and determining that a run is not connected when a color difference between representative colors is large.

The run connection determination step includes
When determining the connection of a run based on the color difference, the average color of each run is used as the representative color of the run, and the color difference between the representative colors is compared with the intensity of the edges at both ends of the run. The connected component extraction method according to claim 1, wherein it is determined that the runs are connected, and if the color difference between the representative colors is large, it is determined that the runs are not connected.

The run connection determination step includes
3. The run is determined to be connected when the color difference between the representative colors is smaller than half of the edge strength at both ends of the run, and the run is determined not to be connected otherwise. Connected component extraction method.

The run connection determination step includes
When determining the connection of the run based on the color difference, the color difference is calculated for each pixel in the two runs to be determined, and the run is connected when the distribution of the color difference has a single peak . The connected component extraction method according to claim 1, wherein it is determined that the runs are not connected when the distribution has a plurality of peaks .

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. When determining the integration into the connected component based on the color difference, the representative colors of the connected component and the connection run are obtained, and the color difference between the representative colors, the both ends of the connected component, and the connection run are determined. The strengths of the edges at both ends are compared, and when the color difference between the representative colors is small, the connection run is integrated into the connected component, and otherwise, it is determined that the connection run is not integrated into the connected component. The connected component extraction method according to claim 1 .

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. When determining the integration into the connected component based on the color difference, the average color of the connected component and the connected run is set as the representative color, and the color difference between the representative colors and both ends of the connected component and Compare the strength of the edges at both ends of the connection run, and if the color difference between the representative colors is small, it is determined that the connection run is integrated with the connected component, and otherwise the connection run is not integrated with the connected component. The connected component extraction method according to claim 1 .

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. The component information is used, and when determining the integration into the connected component based on the color difference, if the color difference between the representative colors is smaller than half of the edge strength at both ends of the run, the connected run is determined as the connected component. The connected component extraction method according to claim 1, wherein it is determined that the connected run is not integrated into the connected component in other cases .

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. When determining integration into a connected component based on the color difference, the color difference is calculated between the connected component and each pixel in the connected run, and the connected component is calculated based on the distribution of the color difference. The connected component extraction method according to claim 1, wherein the connection run is determined not to be integrated with the connected component when the distribution of color differences has a plurality of peaks .

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. This is performed using the component information, and when determining the integration into the connected component based on the color difference, the color difference is calculated between the connected component and each pixel in the connected run, and the distribution of the color difference and the connected component are calculated. And the integration of the connection run into the connected component based on the edge strength at both ends of the connection run. If the maximum value of the color difference distribution is smaller than half of the edge strength at both ends of the connection component and the connection run, the connection component is determined. The connected component extraction method according to claim 1, wherein it is determined that the connected runs are integrated, and otherwise, it is determined that the connected runs are not integrated into the connected components.

The run connection determination step includes
When the minimum value of the color difference distribution is smaller than half of the edge strengths at both ends of the connected component and the connection run, it is determined that the connection run is integrated into the connection component. Otherwise, the connection run is not integrated into the connection component. The connected component extraction method according to claim 9, wherein the determination is performed.

The run connection determination step includes
When integrating the run by sequentially processing each line of the input color image and determining the integration of the already integrated run set and the run of the next line, the connection related to the run set is connected. The component information is used, and when determining the integration into the connected component based on the color difference, the distribution of the color in the connected component and the connected run is calculated, and there is no significant difference between the color distributions. The connected component extraction method according to claim 1, wherein it is determined that the connected run is integrated into the connected component when it is determined that the connected run is not integrated into the connected component in other cases. .

The program which makes a computer perform the method as described in any one of the said Claims 1-11.