JP3624013B2 - 画像処理方法及び装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は画像を領域の種別毎に判別する画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
近年、カラー画像入出力装置がＯＡ分野にも普及している。これに伴い、カラーの原稿（紙面等）をスキャナなどの入力装置で読み込み、そのカラー文書画像（白黒部分や限定色部分が大半を占めるカラー画像）の扱いも増加している。
【０００３】
文書画像は性質の異なる像域（文字の像域や写真の像域）が混在しているという特徴があり、他の分野で利用している一義的な変倍やデータ量削減などの処理手法をそのまま用いても、良好な画質の画像が得られない。
【０００４】
かかる点に鑑み、本願出願人は、例えば特願平６−３２９１１１号等の提案（以下、提案Ａ）を行った。
【０００５】
この提案Ａでは、カラー文書画像を対象とした像域分離方法および像域分離結果を利用した処理方法（カラー画像の変倍、データ量削減、データの構造化）に関するもので、画像中の対象像域に背景となる像域があるかを判定するとともに背景像域を分離する背景像域分離工程と、背景像域以外の像域を複数の像域に分離する中間像域分離工程の２つの工程を、中間像域分離工程で分離した像域に再帰的に適用して画像中の像域を抽出する像域抽出工程と、各像域の成分（以下、像域成分と呼ぶ）を判定する像域判定工程を備えるものであった。
【０００６】
また、この提案Ａにおいて、該像域分離工程および該像域判定工程の結果を用いて、良好に変倍／データ量削減／文書構造化を行う手法も提案した。
【０００７】
以下、提案Ａで示されたカラー文書画像の像域分離について簡単に述べる。
【０００８】
一般に、文書画像において像域は背景（下地）により区切られていると考えられる。つまり、入力画像を背景によって区切られている部分で分離することにより、像域を抽出することが出来る。しかし、一般の白黒の原稿では背景の色は白と考えることができるが、ここで提案した手法においては、カラー原稿の背景の色が白とは限らない。また、カラー原稿の場合はある背景の上に、他の色を持つ背景が重なった原稿も多い。
【０００９】
このことから、提案Ａでは、背景の抽出および背景に基づいた像域分割を、像域（最初は入力画像）に対して再帰的に繰り返して像域分離を行うものとした。図１７に像域分離手順の一例を示す。
【００１０】
例えば図１７で、まず最初に入力画像から背景７００２を抽出する。次に、背景７００２で分けることが出来る像域７００３と７００４を抽出する。像域７００３はさらに背景を抽出することはできないので像域分離を終了するが、像域７００４はさらに背景７００５を抽出して同様に像域分離を続ける。この様にして、全ての像域で背景が抽出できなくなるまで像域分離を続ける。この様にして分離した像域に対して像域の成分（文字の像域や写真の像域など。以下、像域成分と呼ぶ）を判定する。
【００１１】
図１７にも示した通り、この手法では、背景を示す像域を背景像域、背景以外を示す像域を一般像域と呼ぶ。また、便宜上処理途中の像域（背景を含むか含まないかを判定していない像域）および複数の像域を含む像域を中間像域とよび、分割の処理が終了した像域（背景像域を含む）を終端像域と呼ぶ。入力画像も中間像域となる。
【００１２】
【発明が解決しようとする課題】
上述したように、提案Ａで提供された手法は、カラー画像を良好に像域分離することが可能である。しかしその一方では、一般的に文書画像は画像サイズが大きく像域分離には多くの処理時間がかかるとともに、像域分離方法の利用分野には、ユーザとの対話処理を前提としたＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ）装置やファイリング装置があり、ユーザとの対話処理を滞ることなく行える高速な処理が求められていた。かかる点、特願平６−３２９１１１号に記載の手法を計算機においてソフトウェアで実施する場合などでは入力画像が大きいと処理に時間がかかる場合があった。
【００１３】
【課題を解決するための手段】
本発明はかかる問題点に鑑みなされたものであり、第１に、入力画像の大きさにかかわらず良好かつ高速にカラー文書画像の像域分離を行う画像処理方法及び装置を提供しようとするものである（請求項第１〜１０項）。
【００１４】
また、第２に、入力画像の大きさにかかわらず良好かつ高速にカラー文書画像の変倍を行う画像処理方法及び装置を提供しようとするものである（第１１及び第２４項）。
【００１５】
また、第３には、入力画像の大きさにかかわらず良好かつ高速にカラー文書画像の圧縮／伸張（再生）を行う画像処理方法及び装置を提供しようとするものである（第１２及び第２５項）。
【００１６】
そして、第４には、入力画像の大きさにかかわらず良好かつ高速にカラー文書画像の編集を行う画像処理方法及び装置を提供しようとするものである（第１３及び第２６項）。
【００１７】
上記目的を達成するため、本発明においては、先に提案した特願平６−３２９１１１号で開示した方法を、入力画像に直接適用するのではなく、入力画像を縮小した画像に対して適用して像域を抽出した後、縮小画像で抽出した像域のデータを元に、入力画像上での直接抽出したのと同等の像域を高速に抽出する。縮小画像では、処理する画像のサイズが小さいなど、高速に像域の抽出を行うことができる。また、画像サイズの大きい入力画像でも、縮小した像域の範囲のみに対して、縮小画像で算出したパラメータを再利用しながら像域の抽出を行えば良いので、高速な処理が可能である。このことから、入力画像に直接処理を適用するのに比べ、全体として高速化が可能である。
【００１８】
従来から、縮小画像や階層画像（縮小率の異なる複数の縮小画像の集まり）を用いた像域分離方法として、「文書画像理解での対話型解析支援システムと文書画像データベース編集管理システム」加藤、花木、坂井、電子情報通信学会技術研究報告ＰＲＬ８４−１１、１９８４などがあったが、これらの方法は２値画像を対象としたものであった。
【００１９】
先に説明したように、２値画像（またはその入力となる原稿）では背景の色を予め仮定できる（例えば白色）のに比べ、本発明が対象としているカラー画像（またはその入力となる原稿）では背景の色を仮定できないため、縮小画像を作成する時に必要な像域を間引いてしまい、像域の欠けが生じてしまう場合がある（２値画像では背景である白画素を優先的に間引くなどの方法により回避できる）など、従来の方法をカラー文書画像に対して直接適用することはできなかった。また、２値画像（またはその入力となる原稿）では像域（または像域を囲む外接矩形）が重なったものは少なく、縮小画像が求めた像域の位置のみに注目して、入力画像における像域形状を抽出（入力画像の像域位置を切り取る）すればよかったのに対して、カラー画像（またはその入力となる原稿）では、像域（または像域を囲む外接矩形）が重なったものがあり、縮小画像が求めた像域の位置に加え、縮小画像で求めた像域の形状も考慮して、入力画像における像域形状を抽出する必要があった。
【００２０】
以上のことから、本発明は上記目的を達成するため、以下の構成を備えた。すなわち、
異なる成分を持つ像域が混在するカラー文書画像に対し、各像域の抽出を行う画像処理方法（又は装置）であって、
入力画像から縮小画像を作成する縮小画像作成工程（または手段）と、
縮小画像における像域を抽出する縮小画像像域抽出工程（または手段）と、
縮小画像像域抽出工程（又は手段）で抽出した像域のデータを用いて入力画像における像域を抽出する入力画像像域抽出工程（又は手段）とを備え、
前記入力画像像域抽出工程（又は手段）は、
縮小画像像域抽出工程（又は手段）で抽出した像域の位置情報と縮小率から、入力画像における像域の位置情報を算出する像域位置変換工程（又は手段）と、
入力画像における像域位置変換工程で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する入力画像像域形状抽出工程（又は手段）と、
縮小画像から抽出した像域と入力画像から抽出した像域を比較することにより、縮小画像の作成時に欠けた像域を抽出する欠け像域抽出工程（又は手段）と、
欠け像域抽出工程で抽出した欠け像域を統合する欠け像域統合工程（又は手段）と
を含むことを特徴とする。
【００２１】
本出願に係る更なる発明は、上記構成に加え、各像域の成分を判定する像域判定工程（または手段）と、該像域抽出工程で得られた像域毎に、該像域判定工程（または手段）で得られた像域の成分に応じて、各々異なる変倍方法を用いて像域のデータを変倍することにより、画像を変倍する適応的変倍工程（または手段）を備えることを特徴とする。
【００２２】
本出願に係る更なる発明は、上記構成に加え、各像域の成分を判定する像域判定工程（または手段）と、該像域抽出工程で得られた像域毎に、該像域判定工程（または手段）で得られた像域の成分に応じて、各々異なる圧縮方法を用いて像域のデータを圧縮することにより、画像を圧縮する適応的圧縮工程（または手段）と、圧縮したデータを像域毎に、圧縮時の圧縮方法に対応した再生方法で再生し、画像を再生するカラー画像再生工程（または手段）を備えることを特徴とする。
【００２３】
本出願に係る更なる発明は、上記構成に加え、各像域の成分を判定する像域判定工程（または手段）と、該像域抽出工程（または手段）で得られた像域を公知の画像編集装置のデータ形式に変換するデータ変換工程（または手段）と、各像域のデータを編集する画像編集工程（または手段）を備えることを特徴とする。
【００２４】
以上の構成により、本発明は、性質の異なる像域が混在するカラー画像を各像域に分離し、各々の像域に対して適した方法で各種処理（カラー画像の変倍、データ量削減、データの構造化など）を行う画像処理方法および装置において、高速にカラー画像を像域分離するものである。
【００２５】
本発明は、カラーの文書画像を扱う機器に利用できる。例えば、カラープリンタ（画素密度変換や変倍出力など）ＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ）装置（拡大や縮小など、出力時の画素密度変換）やカラーファクシミリ（画素密度変換や変倍出力など）などの機器におけるカラー画像の変倍処理に利用できる。また、カラーファクシミリやネットワーク（ＬＡＮ等）などの機器を用いた画像の通信時および、磁気ディスクなどの記憶装置（ファイリング装置など）へのカラー画像の蓄積時におけるデータ量削減に利用できる。またＤＴＰ（Ｄｅｓｋ Ｔｏｐ Ｐｕｂｌｉｓｈｉｎｇ） 装置などにおける紙面原稿の入力時のデータ構造化に利用できる。
【００２６】
その他の本願発明の特徴或いは構成については、以下の説明から明らかになるであろう。
【００２７】
【実施例】
以下、添付図面に従って本発明に係る実施例を詳細に説明する。
【００２８】
＜第１の実施例の説明＞
図１は、実施例の画像処理装置における処理手順を示している。図示において、カラー画像入力工程１は、処理を施すデジタルカラー画像を取得する。縮小画像作成工程２は、入力したカラー画像から縮小画像を作成する。縮小画像像域抽出工程３は、縮小画像作成工程２により作成した縮小画像から像域を抽出する。入力画像像域抽出工程４は、縮小画像像域抽出工程３により縮小画像から抽出した像域のデータを元に、入力画像から像域を抽出する。
【００２９】
図２は、図１の処理を行うカラー画像処理装置の構成例を表わす図面である。また、図３は、図２に示した構成を実現するハードウェア例である。図３において、２００１はＣＰＵ、２００２はディスク装置、２００３はディスクＩ／Ｏ、２００４はＲＯＭ（リードオンリメモリ）、２００５はＩ／Ｏポート、２００６はＲＡＭ（ランダムアクセスメモリ）、２００７は上記ブロックを接続するバス、２００８はカラー画像入力装置であり、２００９はカラー画像出力装置である。
【００３０】
図２において、カラー画像入力手段１００１は、処理を施すデジタルカラー画像を獲得し、入力画像記憶手段１００５に格納する。例えば、図３においては、ＲＯＭ２００４またはＲＡＭ２００６上のプログラムにより動作するＣＰＵ２００１の制御により、カラー画像をカラー画像入力装置２００９で入力し、ＲＡＭ２００６またはディスク装置２００２に格納する公知の画像入力手段で構成できる。前記カラー画像入力手段１００１は、カラースキャナで画像を読み込む公知の画像入力手段、通信路からカラー画像を受信する公知の画像入力手段、および、画像蓄積装置に格納してあるカラー画像を読み込む公知の画像入力手段であっても構わないし、複数の上記画像入力装置から構成しても構わない。
【００３１】
縮小画像作成手段１００２は、カラー画像入力手段１００１により入力画像記憶手段１００５格納した入力カラー画像から縮小画像を作成し、縮小画像記憶手段１００６に格納する。
【００３２】
縮小画像像域抽出手段１００３は、縮小画像作成手段１００２により作成し縮小画像記憶手段１００６に格納した縮小画像から像域を抽出し、像域のデータ（以下、像域データと呼ぶ）を像域データ記憶手段１００７に格納する。
【００３３】
入力画像像域抽出手段１００４は、縮小画像像域抽出手段１００３により抽出し、像域データ記憶手段１００７に格納した縮小画像の像域データから、入力画像における像域を抽出し像域データ記憶手段１００７に格納する。
【００３４】
ここで、縮小画像作成手段１００２、縮小画像像域抽出手段１００３、入力画像像域抽出手段１００４は、例えば、図３において、ＲＯＭ２００４またはＲＡＭ２００６上のプログラムにより動作するＣＰＵ２００１とワークメモリとして使用するＲＡＭ２００４またはディスク装置２００２で構成できる。もちろＮ、それぞれ専用のＣＰＵ、ＲＡＭ、ディスク装置により構成したり、専用のハードウェアにより構成しても構わない。
【００３５】
入力画像記憶手段１００５は、カラー画像入力手段１００１で獲得したカラー画像を格納する。
【００３６】
縮小画像記憶手段１００６は、縮小画像作成手段１００２で作成した縮小画像を格納する。
【００３７】
像域データ記憶手段１００７は、縮小画像像域抽出手段１００３および入力画像像域抽出手段１００４で抽出した像域データを格納する。
【００３８】
ここで、入力画像記憶手段１００５、縮小画像記憶手段１００６、像域データ記憶手段１００７は、例えば、図３においては、ＲＡＭ２００６またはディスク装置２００２で構成できる。もちろん、それぞれの手段を、専用の記憶装置で構成しても構わない。
【００３９】
以下、図１の各工程について、図２の構成を用いながら詳細に説明する。
【００４０】
＜カラー画像獲得工程＞
カラー画像入力工程１は、カラー画像入力手段１００１を用いて、処理を施すデジタルカラー画像を獲得し、入力画像記憶手段１００５に格納する。
【００４１】
＜縮小画像作成工程＞
縮小画像作成工程２は、カラー画像入力工程１により入力画像記憶手段１００５に格納した入力カラー画像の縮小画像を作成し、縮小画像記憶手段１００６に格納する。ここで、縮小画像は入力画像を縦横のサイズをＮ分の１（Ｎは任意整数、以下、Ｎ分の１を縮小率と呼ぶ）に縮小した画像とする。縮小画像は、縮小しても結果的に影響を与えない大きさまで縮小可能であり、入力画像の大きさや内容により適宜指定する。
【００４２】
縮小画像作成工程２は例えば公知の間引き画像作成方法により実現できる。例えば、公知の間引き画像作成方法により縦横１／２の縮小画像を作成する例で説明すると、入力画像を図４に示す縦横２画素（計４画素）のブロック３００１に分け各ブロックの１画素（例えば左上画素３００２）を縮小画像の対応する１画素３００３とすることにより、縦横１／２の縮小画像を作成することができる。ここでは縦横１／２の縮小画像を作成する例を説明したが、ブロックを縦横３画素（計９画素）、縦横４画素（計１６画素）、縦横５画素（計２５画素）などとすれば、縦横任意の整数分の１の縮小画像を得ることができる。
【００４３】
また、ブロック内の全ての画素のＲＧＢ値ごとの平均値を縮小画像の画素値としても構わない。
【００４４】
＜縮小画像像域抽出工程＞
縮小画像像域抽出工程３は縮小画像作成工程２により縮小画像記憶手段１００５に格納した縮小画像から像域を抽出し、抽出した像域のデータ（以下、像域データと呼ぶ）を像域データ記憶手段１００７に格納する。ここで、縮小画像像域抽出工程３は、特願平６−３２９１１１号に記載の像域抽出工程で実現可能である。以下に、特願平６−３２９１１１号に記載の像域抽出工程について簡単に述べる。
【００４５】
［像域データ］
ここで、像域抽出工程についての詳細な説明をする前に、像域データ記憶手段１００７に格納する像域データについて述べる。
【００４６】
図５に像域データの概略を示す。像域データは、各像域をノードとする木構造で入力画像の像域群を表現する。木構造の親子関係は、像域の包含関係を表わしており、中間像域を示すノードは、中間像域内にある１つの背景像域と幾つかの中間像域もしくは一般像域を表わす子ノードを持つ。
【００４７】
さらに、図５に各ノードつまり個々の像域を表わすデータについて示す。各像域データは像域種類、像域位置、像域形状、像域成分、像域色、親ノード、子ノードから構成している。像域種類は、本像域の種類が背景像域、一般像域、中間像域のいずれであるかを示している。像域位置は像域を囲む外接矩形の座標位置を示しており、外接矩形の左上ｘ座標、左上ｙ座標、幅、高さで表現している。像域形状は、像域の形状を２値画像で表現したものであり、黒画素（画素値が１）が像域を示している。２値画像の大きさおよび入力画像上での位置は、像域位置に示した矩形位置に対応している。像域成分は、本像域が前述した像域の成分つまりカラー連続調成分、限定色文字線画成分などのうち、どれであるか（本像域をどれであると判定したか）を示している。像域色は、像域成分が限定色または限定値成分（限定色文字線画、限定色擬似中間調、限定値文字線画、限定値擬似中間調）の場合に利用し、像域の平均ＲＧＢ値を格納する。親ノードは親ノードを示すポインタであり、子ノードを示す複数個のポインタである。尚、親ノードは必ず１つになるが、子ノードは１つとは限らない。従って、子ノードが複数ある場合には、その個数分のポインタを追加することになる。
【００４８】
像域抽出工程は、前述したように、未分割の像域が無くなったと判断するまで、画像中の中間像域（入力画像も中間像域に含む）を背景像域および中間像域へとさらに分割する像域分離工程を再帰的に繰り返して、像域を抽出する。
【００４９】
像域分離工程は、中間像域（入力画像も中間像域に含む）を入力とし、入力中間像域がさらに背景像域と幾つかの中間像域へと分離できるかを判定する。分離できると判断した場合は、入力中間像域を背景像域と幾つかの中間像域に分割する。
【００５０】
例えば、図１７における像域７００３を入力中間像域とし、入力中間像域７００３をさらに中間像域へと分離できないと判断した場合、入力中間像域７００３を終端像域とする。また、図１７における像域７００４を入力中間像域とし、入力中間像域７００４をさらに中間像域へと分離できると判断した場合は、入力中間像域７００４を背景像域７００５と、中間像域７００６に分離する。
【００５１】
次に、図６を用い像域分離工程の詳細な構成について説明する。
【００５２】
背景像域分離工程３１は、入力中間像域に背景像域があるかを判定し、背景像域があると判定した場合は、背景像域を分離する。例えば、入力像域内に背景の色（像域中で一番画素数が多い色、以下、背景色と呼ぶ）がどれくらい占めているかを算出し、背景像域があるかを判定し、背景色に近い色を持つ画素を背景像域とする。
【００５３】
中間像域分離工程３２は、背景像域分離工程３１が背景像域として分離した像域以外の像域を、幾何学的な関係を用いて幾つかの中間像域に分離する。具体的には、連結している画素群、もしくは（膨張／縮小処理などを利用して）幾何学的に近い連結成分を１つの中間像域とする。
【００５４】
像域登録工程３３は、背景像域分離工程３１および中間像域分離工程３２で分離した像域を、像域データ記憶手段１００７に格納する。
【００５５】
尚、縮小画像像域抽出工程は、直接入力画像に対して前記像域抽出工程を適用するより、処理する画像のサイズが小さいため、高速に像域の抽出を行うことができる。さらに、縮小画像上では、中間像域分離工程３２で幾何学的に近い連結成分を抽出するのに、入力画像上で行うより、狭い範囲（具体的には、入力画像上で抽出するのに比べ、縮小率だけ狭い範囲）を探せばよい（具体的には、膨張／縮小処理の繰り返し回数が減る）などにより処理時間が短くなる。
【００５６】
＜入力画像像域抽出工程＞
図１に戻って、入力画像像域抽出工程４は、縮小画像像域抽出工程３により抽出し、像域データ記憶手段１００７に格納した縮小画像の像域データから、入力画像における像域データを作成する。
【００５７】
入力画像像域作成工程４の構成例の一部を図７に示す。また、入力画像像域作成工程４のイメージを図８に示す。入力画像像域作成工程４では、図７に示す工程を像域データに格納している全ての像域に対して行う。
【００５８】
図７において像域位置変換工程４１は、像域データの縮小画像における像域位置（図８中の符号４００１）から入力画像における像域位置（図８中４００２）を算出し、像域データに格納する。具体的には、像域位置を示すＸ座標、Ｙ座標、幅、高さの値に縮小率の逆数をかける。
【００５９】
入力画像像域形状抽出工程４２は、入力画像に於ける像域位置変換工程４１で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する。具体的には、入力画像における像域位置変換工程４１で算出した像域位置（図８中４００２）の矩形像域を、背景色と背景色以外の像域に２値化し、入力画像における像域形状を示す２値画像（図８中の符号４００３）を抽出し、像域データの像域形状に格納する。ここで、背景色は、縮小画像像域抽出工程３の背景像域分離工程３１で算出した値（背景像域の像域データの像域色として格納してある）を用いる。これにより、背景色を再度算出すること無く、入力画像の限定した像域に対して、単純な２値化処理を行うだけで、高速に処理が可能である。
【００６０】
以上、本発明の実施例について述べた。ここで、入力画像像域抽出工程で抽出した像域データは、特願平６−３２９１１号）に記載の方法により、カラー画像の変倍／データ量削減／文書構造化に利用可能である。
【００６１】
以下、特願平６−３２９１１号に記載の方法を簡単に説明する。図９に、カラー画像変倍方法の構成例を示す。
【００６２】
像域判定工程５は、入力画像像域抽出工程４により抽出した各像域の像域成分（カラー連続調成分など）を判定する。適応的変倍工程６は、入力画像像域抽出工程４により抽出した各像域に対し、像域判定工程５で判定した像域成分に応じた変倍処理を施し、入力画像の変倍画像を作成する。カラー画像出力工程７は、適応的変倍工程６により作成した変倍画像の表示、またはハードコピー、または通信路への出力を行う。
【００６３】
次に、カラー画像圧縮方法の構成例を図１０に示す。
【００６４】
像域判定工程５は、入力画像像域抽出工程４により抽出した各像域の種類を判定し、像域のデータに格納する。適応的圧縮工程８は、入力画像像域抽出工程４により抽出した各画像に対し、像域判定工程５で判定した像域の種類に応じた圧縮処理を施し、入力画像の圧縮データを作成する。圧縮データ出力工程９は、適応的圧縮工程８で作成した圧縮データを通信路への送信や画像蓄積装置への書き込みなどにより出力する。圧縮データ入力工程１０は、適応的圧縮工程８で圧縮したデータを通信路からの受信や画像蓄積装置からの読み込みなどにより入力する。カラー画像再生工程１１は、適応的圧縮工程８で圧縮したデータをカラー画像へと再生する。カラー画像出力工程７は、カラー画像再生工程１１により作成した再生画像の表示やハードコピーなどを行う。ここで、カラー画像入力工程１から圧縮データ出力工程９までの工程は、カラー画像の圧縮時に行うものであり、圧縮データ入力工程１０からカラー画像出力工程７までの工程は、圧縮データの再生時に行う。
【００６５】
図１１に、ＤＴＰ装置へカラー原稿を構造化したデータとして入力する方法（文書画像構造化）の構成例を示す。
【００６６】
像域判定工程５は、入力画像像域抽出工程４により抽出した各像域の種類を判定し、像域のデータに格納する。データ変換工程１２は、像域判定工程５までの工程で作成した像域データを像域ごとに、ＤＴＰ装置などの文書画像編集装置の画像データとしてのデータ形式に変換する。文書画像編集工程１３は、ユーザの指示に従い文書画像を編集する公知の文書画像編集画像編集方法により、文書画像の編集および出力を行う。
【００６７】
＜第２の実施例の説明＞
上記第１の実施例において入力画像像域抽出工程４は、入力画像における、縮小画像で抽出した各像域の像域位置に相当する部分を２値化し、入力画像に於ける像域形状を算出するものであった。この方法は、計算が比較的簡単で良好な結果が得られるが、図１３に示す様に抽出した像域を囲む外接矩形が重なっている場合には、重なっている部分で他の像域の形状も抽出してしまう問題点がある。この様に像域を囲む外接矩形が重なっている画像を入力とする場合には、以下の構成で入力画像像域抽出工程４’を実現する。多少処理内容が複雑にはなるが、上記問題点を解決できる。
【００６８】
入力画像像域抽出工程４’の構成例の一部を図１２に示す。また、第２の実施例における入力画像像域作成工程のイメージ図を図１３に示す。入力画像像域抽出工程４’では、図に示す工程を像域データに格納している全ての像域に対して行なう。
【００６９】
図１２において像域位置変換工程４１は、第１の実施例と同様に、像域データの縮小画像に於ける像域位置（図１３中の符号５００１）から入力画像に於ける像域位置（図１３中の符号５００２）を算出し、像域データに格納する。
【００７０】
縮小画像像域形状膨張工程４３では、縮小画像像域抽出工程４１で抽出した縮小画像における像域形状を示す２値画像（図１３中の符号５００３）に公知の膨張処理を施す（図１３中の符号５００４、以下膨張した画像を膨張画像と呼ぶ）。膨張処理は、縮小率の逆数回だけ行なう。
【００７１】
選択的入力画像像域形状抽出工程４４は、第１の実施例の入力画像像域形状抽出工程４２と同様に、入力画像に於ける像域形状を抽出するが、域外接矩形の重なりにより他の像域まで抽出しないように、縮小画像像域膨張工程４３で作成した膨張画像を参照する。具体的には、入力画像における、像域位置変換工程４１で算出した像域位置（図１３中の符号５００２）の矩形像域の各画素に対して、背景色以外の値を持つ画素であり（図１３中の符号５００５）、かつ縮小画像像域膨張工程４３で作成した膨張画像（図１３中の符号５００４）において対応する画素が該当する像域（画素値が１）である画素だけを、像域である（画素値が１）とする（図１３中５００６）。この様にして作成された２値画像を像域データの像域形状に格納する。
【００７２】
もちろん、背景色は第１の実施例同様、縮小画像像域抽出工程３の背景像域分離工程３１で算出した値（背景像域の像域データの像域色として格納してある）を用いる。
【００７３】
尚、上記縮小画像像域形状膨張工程４３はなくても実現可能である。縮小画像像域形状膨張工程４３がない場合、抽出結果は劣るが工程が単純になる効果がある。
【００７４】
この、入力画像像域抽出工程４の実施例により、第１の実施例に比べ処理の構成は複雑になるが、像域を囲む外接矩形が重なっている場合にも、良好な結果が得られる。
【００７５】
＜第３の実施例の説明＞
第２の実施例における入力画像像域抽出工程４’では、縮小画像における像域形状と入力画像における２値化結果を組み合せて入力画像像域を抽出する方法であった。この方法は像域を囲む外接矩形が重なっている場合にも、良好な結果が得られるのである。しかし、カラー画像を対して縮小画像を作成する時、像域の一部を間引いてしまい縮小画像の像域形状に欠けが生じてしまう場合があり、最終的な入力画像に於ける像域形状にも欠けが生じてしまうことがある。この様に縮小画像を作成する時に像域の一部を間引いてしまう場合には、以下の構成で入力画像像域抽出工程４”でもって対処できる。すなわち、多少工程は複雑になるが、上記問題点を解決できる。
【００７６】
第３の実施例における入力画像像域抽出工程４”の構成例の一部を図１４に示す。また、第３の実施例における入力画像像域抽出工程４”のイメージ図を図１５に示す。入力画像像域抽出工程４”では、図１４に示す工程を図１６に示す同一の背景像域を持つ像域の集まり（同一レベル像域群と呼ぶ）に対して行い、像域データに格納している全ての像域に対して行なう。
【００７７】
図１４において像域位置変換工程４１は、同一レベル像域群の各像域に対して第１の実施例と同様に、像域データの縮小画像における像域位置（図１５中の符号６００１）から入力画像に於ける像域位置（図１５中の符号６００２）を算出し、像域データに格納する。
【００７８】
入力画像像域形状抽出工程４２では、入力画像における、像域位置変換工程４１で算出した同一レベル像域群の像域位置（すなわち背景像域の像域位置、図１５中の符号６００３）に相当する矩形像域を、第１の実施例の入力画像像域形状抽出工程４２と同様に、背景色と背景色以外の像域に２値化し、入力画像における同一レベル像域群全体の像域形状を作成する（図１５中の符号６００４）。もちろん、背景色は第１の実施例同様、縮小画像像域抽出工程３の背景像域分離工程３１で算出した値（背景像域の像域データの像域色として格納してある）を用いる。
【００７９】
欠け像域抽出工程４５では、縮小画像から抽出した像域と入力画像から抽出した像域を比較することにより、縮小画像の作成時に欠けた領域（以下、欠け像域と呼ぶ）を抽出する。このために、入力画像像域形状抽出工程４２で作成した像域形状を表わす２値画像（図１５中の符号６００４）の各画素に対して、同一レベル像域群の像域のいずれかに対応する画素へ各像域に対し固有の番号（ラベル）を想定する。次に、各像域の像域形状において像域である（画素値が１）画素に対応する、入力画像像域形状抽出工程４２で作成した像域形状を表わす２値画像上の画素のラベルを書き込む（図１５中の符号６００５）。最後に、入力画像像域形状抽出工程４２で作成した像域でかつ、ラベル付けしてないものを欠け像域（縮小画像作成時に欠けた像域、図１５中６００６）として抽出する。
【００８０】
欠け像域統合工程で４６は、欠け像域抽出工程４５で抽出した欠け像域をすでに抽出済みの像域に統合する。具体的には、欠け像域抽出工程４５でラベル付けが行われなかった画素に対して、最も近くにあるラベル付けしてある画素のラベルを付け、すでに抽出済みの像域に統合する（図１５中の符号６００７）。最後に、各ラベルの外接矩形（図１５中の符号６００８）を求め、各像域の像域データに対し、像域位置を変更するとともにラベルの形状（２値画像）を像域形状に格納する。
【００８１】
この、入力画像像域抽出工程４の実施例により、第１の実施例及び第２の実施例に比べ処理の構成は複雑となるが、縮小画像を作成する時に像域の一部を間引いてしまった場合にも、良好な結果が得られる。
【００８２】
以上説明したように、本出願に係る第１〜１０および第１４〜２３の発明によれば、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行なう画像処理方法及び装置を提供することが可能である。また、本出願に係る第１１および第２４の発明によれば、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同様のカラー文書画像の像域分離を行い、良好な画質でカラー文書画像の変倍を行なう画像処理方法および装置を提供することが可能である。
【００８３】
また、本出願に係る第１２および第２５の発明によれば、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行い、良好な画質および圧縮率で圧縮／伸張（再生）を行なう画像処理方法および装置を提供することが可能である。
【００８４】
また、本出願に係る第１３および第２６の発明によれば、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行い、カラー文書画像を構造化したデータとして編集できる画像処理方法および装置を提供することが可能である。
【００８５】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００８６】
【発明の効果】
以上説明したように本発明によれば、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行なうことが可能になる。
【００８７】
また、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同様のカラー文書画像の像域分離を行い、良好な画質でカラー文書画像の変倍を行なうことが可能になる。
【００８８】
また、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行い、良好な画質および圧縮率で圧縮／伸張（再生）を行なうことが可能になる。
【００８９】
更にまた、入力画像の大きさによらず高速に、かつ入力画像に対して直接像域分離した結果と同等のカラー文書画像の像域分離を行い、カラー文書画像を構造化したデータとして編集できるようになる。
【００９０】
【図面の簡単な説明】
【図１】本発明を適用したカラー画像処理方法の構成を示す図である。
【図２】本発明を適用したカラー画像処理装置の構成を示す図である。
【図３】本発明を適用したカラー画像処理装置のハードウェア実現例を示す図である。
【図４】縮小画像作成工程を説明する図である。
【図５】像域データの模式図である。
【図６】像域分離工程の構成を示す図である。
【図７】入力画像像域形状抽出工程の構成を示す図である。
【図８】入力画像像域形状抽出工程を説明する図である。
【図９】本発明を適用したカラー画像変倍方法の構成を示す図である。
【図１０】本発明を適用したカラー画像圧縮方法の構成を示す図である。
【図１１】本発明を適用した文書画像編集方法の構成を示す図である。
【図１２】入力画像像域形状抽出工程の構成を示す図である。
【図１３】入力画像像域形状工程を説明する図である。
【図１４】入力画像像域形状抽出工程の構成を示す図である。
【図１５】入力画像像域形状抽出工程を説明する図である。
【図１６】同一レベル像域群を説明する図である。
【図１７】本発明で用いる像域分離方法の概要を説明する図である。
【符号の説明】
１ カラー画像入力工程
２ 縮小画像作成工程
３ 縮小画像像域抽出工程
４ 入力画像像域抽出工程
５ 像域判定工程
６ 適応的変倍工程
７ カラー画像出力工程
８ 適応的圧縮工程
９ 圧縮データ出力工程
１０ 圧縮データ入力工程
１１ カラー画像再生工程
１２ データ変換工程
１３ 文書画像編集工程
３１ 背景像域分離工程
３２ 中間像域分離工程
３３ 像域登録工程
４１ 像域位置変換工程
４２ 入力画像像域形状抽出工程
４３ 縮小画像像域形状膨張工程
４４ 選択的入力画像像域形状抽出工程
４５ 欠け像域抽出工程
４６ 欠け像域統合工程
１００１ カラー入力手段
１００２ 縮小画像作成手段
１００３ 縮小画像像域抽出手段
１００４ 入力画像像域抽出手段
１００５ 入力画像記憶手段
１００６ 縮小画像記憶手段
１００７ 像域データ記憶手段

Claims (24)

1. 異なる成分を持つ像域が混在するカラー文書画像に対し、各像域の抽出を行う画像処理方法であって、
   入力画像から縮小画像を作成する縮小画像作成工程と、
   縮小画像における像域を抽出する縮小画像像域抽出工程と、
   縮小画像像域抽出工程で抽出した像域のデータを用いて入力画像における像域を抽出する入力画像像域抽出工程とを備え、
   前記入力画像像域抽出工程は、
   縮小画像像域抽出工程で抽出した像域の位置情報と縮小率から、入力画像における像域の位置情報を算出する像域位置変換工程と、
   入力画像における像域位置変換工程で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する入力画像像域形状抽出工程と、
   縮小画像から抽出した像域と入力画像から抽出した像域を比較することにより、縮小画像の作成時に欠けた像域を抽出する欠け像域抽出工程と、
   欠け像域抽出工程で抽出した欠け像域を統合する欠け像域統合工程と
   を含むことを特徴とする画像処理方法。
2. 前記縮小画像像域抽出工程は、
   画像中の対象像域に背景となる像域があるかを判定するとともに、当該背景像域を分離する背景像域分離工程と、背景像域以外の像域を複数の中間像域に分離する中間像域分離工程の２つの工程を、中間像域分離工程で分離した像域に再帰的に適用し、像域を抽出する請求項第１項に記載の画像処理方法。
3. 前記入力画像像域抽出工程は、
   縮小画像像域抽出工程で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換工程と、入力画像における像域位置変換工程で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する入力画像像域形状抽出工程と
   を含むことを特徴とする請求項第１項又は第２項に記載の画像処理方法。
4. 前記入力画像像域抽出工程は、
   縮小画像像域抽出工程で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換工程と、
   縮小画像像域抽出工程で抽出した像域に対応する画素のみに対して入力画像における像域形状を抽出する選択的入力画像像域形状抽出工程と
   を含むことを特徴とする請求項第１項又は第２項記載の画像処理方法。
5. 前記入力画像像域抽出工程は、
   縮小画像像域抽出工程で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換工程と、
   縮小画像像域抽出工程で抽出した像域形状を膨らます縮小画像像域形状膨張工程と、
   縮小画像像域膨張工程で膨張した像域に対応する画素のみに対して入力画像における像域形状を抽出する選択的入力画像像域形状抽出工程と
   を含むことを特徴とする請求項第１項又は第２項に記載の画像処理方法。
6. 前記欠け像域抽出工程は、
   入力画像像域形状抽出工程で作成した像域形状に対し、縮小画像像域抽出工程で抽出した各像域に対応した画素に各像域毎のラベルを付け、ラベル付けできなかった画素を欠け像域として抽出する工程であり、欠け像域統合工程は欠け像域の画素に対して、ラベルが付いた一番近い画素のラベルを付け、欠け像域を統合することを特徴とする請求項第１項に記載の画像処理方法。
7. 前記入力画像像域形状抽出工程および該選択的入力画像像域形状抽出工程は、縮小画像像域抽出工程で算出した背景色の値を用い、入力画像の画素を背景と背景以外に２値化して、入力画像における像域を抽出する請求項第３項乃至第６項のいずれか１項に記載の画像処理方法。
8. 前記縮小画像作成工程は、入力画像をＮ×Ｎ画素からなるブロックに分け、ブロックから１画素を選択して１／Ｎ×１／Ｎ画素の縮小画像を作成することを特徴とする請求項第３項乃至第７項のいずれか１項に記載の画像処理方法。
9. 前記縮小画像作成工程は、入力画像をＮ×Ｎ画素からなるブロックに分け、ブロック内の各画素の平均値から新たな画素値を決定して１／Ｎ×１／Ｎ画素の縮小画像を作成することを特徴とする請求項第３項乃至第７項のいずれか１項に記載の画像処理方法。
10. 更に、各像域の成分を判定する像域判定工程と、該像域抽出工程で得られた像域ごとに、該像域判定工程で得られた像域の成分に応じて、各々異なる変倍方法を用いて像域のデータを変倍することにより、画像を変倍する適応的変倍工程とを備えることを特徴とする請求項第１項乃至第９項のいずれか１項に記載の画像処理方法。
11. 更に、各像域の成分を判定する像域判定工程と、
    該像域抽出工程で得られた像域ごとに、該像域判定工程で得られた像域の成分に応じて、各々異なる圧縮方法を用いて像域のデータを圧縮することにより、画像を圧縮する適応的圧縮工程と、
    圧縮したデータを像域ごとに、圧縮時の圧縮方法に対応した再生方法で再生し、画像を再生するカラー画像再生工程と
    を備えることを特徴とする請求項第１項乃至第９項のいずれか１項に記載の画像処理方法。
12. 更に、各像域の成分を判定する像域判定工程と、
    該像域抽出工程で得られた像域を公知の画像編集装置のデータ形式に変換するデータ変換工程と、各像域のデータを編集する画像編集工程と
    を備えることを特徴とする請求項第１項乃至第９項のいずれか１項に記載の画像処理方法。
13. 異なる成分を持つ像域が混在するカラー文書画像に対し、各像域の抽出を行う画像処理装置であって、
    入力画像から縮小画像を作成する縮小画像作成手段と、
    縮小画像における像域を抽出する縮小画像像域抽出手段と、
    縮小画像像域抽出手段で抽出した像域のデータを用いて入力画像における像域を抽出する入力画像像域抽出手段とを備え、
    前記入力画像像域抽出手段は、
    前記縮小画像像域抽出手段で抽出した像域の位置情報と縮小率から、入力画像における像域の位置情報を算出する像域位置変換手段と、
    入力画像における像域位置変換手段で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する入力画像像域形状抽出手段と、
    縮小画像から抽出した像域と入力画像から抽出した像域を比較することにより、縮小画像の作成時に欠けた像域を抽出する欠け像域抽出手段と、
    欠け像域抽出手段で抽出した欠け像域を統合する欠け像域統合手段と
    を含むことを特徴とする画像処理装置。
14. 前記縮小画像像域抽出手段は、
    画像中の対象像域に背景となる像域があるかを判定するとともに、該背景像域を分離する背景像域分離手段と、背景像域以外の像域を複数の中間像域に分離する中間像域分離手段の２つの手段を、中間像域分離手段で分離した像域に再帰的に適用し、像域を抽出する請求項第１３項に記載の画像処理装置。
15. 前記入力画像像域抽出手段は、
    縮小画像像域抽出手段で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換手段と、
    入力画像における像域位置変換手段で算出した像域位置の矩形像域において、入力画像の像域形状を抽出する入力画像像域形状抽出手段と
    を含むことを特徴とする請求項第１３項又は第１４項に記載の画像処理装置。
16. 前記入力画像像域抽出手段は、
    縮小画像像域抽出手段で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換手段と、
    縮小画像像域抽出手段で抽出した像域に対応する画素のみに対して入力画像における像域形状を抽出する選択的入力画像像域形状抽出手段と
    を含むことを特徴とする請求項第１３項又は第１４項に記載の画像処理装置。
17. 前記入力画像像域抽出手段は、
    縮小画像像域抽出手段で抽出した像域の位置情報と縮小画像の縮小率から、入力画像における像域の位置情報を算出する像域位置変換手段と、
    縮小画像像域抽出手段で抽出した像域形状を膨らます縮小画像像域形状膨張手段と、
    縮小画像像域膨張手段で膨張した像域に対応する画素のみに対して入力画像における像域形状を抽出する選択的入力画像像域形状抽出手段と
    を含むことを特徴とする請求項第１３項又は第１４項に記載の画像処理装置。
18. 前記欠け像域抽出手段は、
    入力画像像域形状抽出手段で作成した像域形状に対し、縮小画像像域抽出手段で抽出した各像域に対応した画素に各像域毎のラベルを付け、ラベル付けできなかった画素を欠け像域として抽出する手段であり、欠け像域統合手段は欠け像域の画素に対して、ラベルが付いた一番近い画素のラベルを付け、欠け像域を統合することを特徴とする請求項第１３項に記載の画像処理装置。
19. 前記入力画像像域形状抽出手段および前記選択的入力画像像域形状抽出手段は、縮小画像像域抽出手段で算出した背景色の値を用い、入力画像の画素を背景と背景以外に２値化して、入力画像における像域を抽出することを特徴とする請求項第１５項乃至第１８項のいずれか１項に記載の画像処理装置。
20. 前記縮小画像作成手段は、入力画像をＮ×Ｎ画素からなるブロックに分け、ブロックから１画素を選択して１／Ｎ×１／Ｎ画素の縮小画像を作成する請求項第１５項乃至第１９項のいずれか１項に記載の画像処理装置。
21. 前記縮小画像作成手段は、入力画像をＮ×Ｎ画素からなるブロックに分け、ブロック内の各画素の平均値から新たな画素値を決定して１／Ｎ×１／Ｎ画素の縮小画像を作成する請求項第１５項乃至第１９項のいずれか１項に記載の画像処理装置。
22. 更に、各像域の成分を判定する像域判定手段と、
    該像域抽出手段で得られた像域ごとに、該像域判定手段で得られた像域の成分に応じて、各々異なる変倍方法を用いて像域のデータを変倍することにより、画像を変倍する適応的変倍手段と
    を備えることを特徴とする請求項第１３項乃至第２１項のいずれか１項に記載の画像処理装置。
23. 更に、各像域の成分を判定する像域判定手段と、
    該像域抽出手段で得られた像域ごとに、該像域判定手段で得られた像域の成分に応じて、各々異なる圧縮手段を用いて像域のデータを圧縮することにより、画像を圧縮する適応的圧縮手段と、
    圧縮したデータを像域ごとに、圧縮時の圧縮方法に対応した再生手段で再生し、画像を再生するカラー画像再生手段と
    を備えることを特徴とする請求項第１３項乃至第２１項のいずれか１項に記載の画像処理装置。
24. 更に、各像域の成分を判定する像域判定手段と、
    該像域抽出手段で得られた像域を公知の画像編集装置のデータ形式に変換するデータ変換手段と、各像域のデータを編集する画像編集手段と
    を備えることを特徴とする請求項第１３項乃至第２１項のいずれか１項に記載の画像処理装置。

Images