JP3931468B2 - 画像用領域分離装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、原稿を入力して得られるデジタル画像データに対し、局所ごとの画像の性質を判別して領域を分離する、領域分離方法、及び装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータなどの文書作成環境、デジタルカメラなどの画像の入力装置、フルカラープリンタの普及などにより、写真や図形、文章の混在する文書を個人が容易に作成できる状況にある。
【０００３】
このような様々な領域の混在する原稿をスキャナなどで入力して種々の処理を行う場合に、異なる領域に一律の処理を施すことが問題となることが多い。
【０００４】
このため、２値化などの階調処理、文字認識、また、画像圧縮等の前処理として、入力原稿を入力して得られる画像データをあらかじめ個別の領域の属性に従って分離する手法が各所で検討されている。
【０００５】
例えば、特開平７−２３１３８７号公報に開示される手法は、２値化処理のために、線画（文字）、中間調（写真）の領域を識別して適応的な２値化処理を施す手法である。
【０００６】
この手法は、従来、入力画像を画素ブロックに分割して最大値と最小値の濃度差や、ブロック内のエッジ密度など、単一の特徴量によって領域分離を行っていたものを、黒画素と最大濃度差という二つの特徴量を用いることで分離精度を改善するものである。
【０００７】
また、注目領域の領域判定結果を周辺の領域の判定結果と比較して補正することでさらに分離精度を向上できるとしている。
【０００８】
一方、特開平７−２３６０６２公報では、原稿を多値領域と２色領域に判別し、これらの領域を、構造化情報を用いて、重なりを許容して画像を再構成するものである。
【０００９】
この手法では、例えば画像データを１６×１６画素のブロックに分割し、各ブロックごとのデータに対して、Ｒ、Ｇ、Ｂそれぞれのヒストグラムをとって、それぞれのヒストグラムが２つの山を持つような分布特性を示すブロックは２色領域と判定し２値化した後に２値の符号化方式が適用される。また、ヒストグラムが分散しているようなブロックは多値領域と判定し、多値符号化が適用されるものである。
【００１０】
上述した従来技術のように、属性の異なるラスタ領域が混在する原稿を符号化する場合、それぞれの領域に適したアルゴリズムで符号化することが画質、圧縮率の観点から望ましい。
【００１１】
画像符号化のアルゴリズムとしては、これまでに、カラー／モノクロの連続調画像を符号化するための標準方式としてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が、また、２値画像の標準符号化方式としては、従来からファクシミリに使用されているＭＨ（Ｍｏｄｉｆｉｅｄ Ｈｕｆｆｍａｎ）／ＭＲ（Ｍｏｄｉｆｉｅｄ Ｒｅａｄ／ＭＭＲ（Ｍｏｄｉｆｉｅｄ ＭＲ）などの方式や、ＪＢＩＧ（Ｊｏｉｎｔ Ｂｉ−ｌｅｖｅｌ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの方式がある。
【００１２】
また、連続調画像をより効率的に可逆符号化するためのアルゴリズムや、２値画像を非可逆に符号化するアルゴリズムの標準化も進められている状況にある。
【００１３】
一方で、ＩＴＵ―Ｔ（国際電気通信連合、電気通信セクタ）では、文章や写真などの領域の混在するミクストラスター画像を符号化するための標準化が推進され、１９９７年１０月に基本部分の標準化が完了している。
【００１４】
この方式では、カラー画像をバックグラウンド、マスク、フォアグラウンドの３レイヤ構成で記述するものである。異なる内容を持つ画像をフォアグラウンドとバックグラウンドのレイヤに記述し、２値のマスクレイヤの情報で切り替える構成である。各レイヤは、それぞれに適した符号化を行うことでより効率的な符号化を実現するものである。
【００１５】
しかし、この標準は、主に符号データの構成についての取り決めを行うものであり、実際に領域を分離する手法については、標準の範囲外となっていた。
【００１６】
【発明が解決しようとする課題】
以上、説明してきたように従来の領域分離技術においては、後段の特定の処理を想定し、これらの処理に適した形に分離するのが主たる目的とされていた。
【００１７】
しかし、現在のようにユーザーが独自の原稿を作成する環境が充実してくると、原稿の多様性や複雑さはますます増大することが考えられる。
【００１８】
このため、特定の特徴でなく、いくつかの異なる特徴に着目した方が良好な分離が行えると考えられる。
【００１９】
また、分離の際には、標準的なミクストラスタ符号化の符号フォーマットを意識し、二つの画像領域と、これらを選択するためのマスク情報に分離することが必要と考えられる。
【００２０】
このため、本発明の画像の領域分離方法、及び装置においては、
▲１▼複数の特徴判別手法による判別結果を求め、原稿を良好に２種類の領域に分離できる特徴に基づいて領域分離する方法、及び装置を提供する、
▲２▼複数の特徴判別手法による２種類の領域への分離を段階的に適用することで、複雑な原稿を階層的に分離するための方法、及び装置を提供する、
ことを課題とした。
【００２１】
【課題を解決するための手段】
以上の課題を解決するために、請求項１の発明によれば、画像用領域分離装置に：画像を入力する入力手段と；入力された画像を一時蓄積するための蓄積手段と；前記蓄積された画像の特徴を判別する少なくとも一つの特徴判別手段と；前記特徴判別手段ごとに判別結果を記憶する少なくとも一つの判別結果記憶手段と；前記判別結果記憶手段の少なくとも一つの判別結果に基づいて、前記画像蓄積手段内の画像を２領域に分割する領域情報を出力する領域判定手段と；前記蓄積手段内の画像を読み出し、前記領域判定手段の出力する画素位置ごとの領域情報に従って出力を分離し、領域情報とともに出力する出力選択手段とを設けている。
【００２２】
この構成においては、▲１▼複数の特徴判別部を備えることにより、それらの判別結果で最も良好に画像を分離できるものを利用することができ、原稿の特性や後段の処理に応じた領域分離が可能となる。▲２▼また、複数の領域分離を段階的に適用することで、複雑な原稿を詳細に分離することが可能となる。▲３▼さらに、本発明に係る領域分離では、一度の分離により、二つの画像領域と、両者の画素を切り替えるための２値情報を出力するようにしたので、ミクストラスタ符号化の標準フォーマットに好適な分離が行える。
【００２３】
また、請求項２の発明は、請求項１の画像用領域分離装置において、前記特徴判別手段が、原稿中のカラーとモノクロの領域を判別することを特徴とする。
【００２４】
さらに、請求項３の発明は、請求項１の画像用領域分離装置において、前記特徴判別手段が、原稿中の階調が連続的に変化する領域と階調が急激に変化する領域を判別することを特徴とする。
【００２５】
また、請求項４の発明は、請求項１の画像用領域分離装置において、前記特徴判別手段が、原稿中を非可逆に符号化できるかどうかを判別することを特徴とする。
【００２６】
また、請求項５の発明は、請求項１の画像用領域分離装置において、前記蓄積手段が、入力された画像を輝度と色差成分から成る色空間、または、明度と色度成分から成る色空間で蓄積することを特徴とする。
【００２７】
また、請求項６の発明は、請求項２の画像用領域分離装置において、特徴判別手段が、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内の平均値を算出し、これを所定の閾値と比較することでカラーとモノクロの領域を判別することを特徴とする。
【００２８】
また、請求項７の発明は、請求項２または請求項６の画像用領域分離装置において、特徴判別手段が、カラーと判別された領域について、色差成分、または、色度情報の値のヒストグラムをとり、これが複数の山を持つ場合には多色領域と判別し、それ以外は連続調のカラー領域であると判別することを特徴とする。
【００２９】
また、請求項８の発明は、請求項３の画像用領域分離装置において、特徴判別手段が、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内に対し、前記矩形領域内の分散値と、前記分散値によって決まる閾値を用いて計数したヒストグラムの分布と、前記矩形領域内の最大値と最小値に基づいて、前記矩形領域内が文字的な画素分布を持つか写真的な画素分布を持つかを判定することを特徴とする。
【００３０】
また、請求項９の発明は、請求項４の画像用領域分離装置において、特徴判別手段が、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内に対し、前記矩形領域内の画素に直交変換を施し、所定の量子化閾値で量子化し、前記量子化閾値を用いて逆量子化し、さらに逆直交変換して得られたｍ×ｎの矩形領域内の画素を元の矩形領域内の画素と比較し、歪みを所定の閾値と比較することで非可逆に符号化できるか否かを判別することを特徴とする。
【００３１】
また、請求項１０の発明は、請求項１の画像用領域分離装置において、前記領域判定手段が、前記判別結果記憶手段に記憶される判別結果に対し、周辺の判定結果と異なるものを補正した後、前記判別結果の周辺分布を計数し、判別結果の同じものが大部分を占める矩形領域を決定することを特徴とする。
【００３２】
また、請求項１１の発明は、請求項１の画像用領域分離装置において、前記出力選択手段が、前記蓄積手段からの画素を読み出し、前記領域判定手段からの領域情報に従って出力先を切り替えて出力する際に、前記領域情報によって選択されなかった出力先にも所定の値を持つ画素を出力することを特徴とする。
【００３３】
また、請求項１２の発明は、請求項１または２の画像用領域分離装置において、領域判定手段が、前記矩形領域の決定に使用された判定結果を出力した特徴判別手段以外の特徴判別手段によって出力された判定結果の前記矩形領域に該当する部分を読み出し、この判定結果に対して周辺分布を計測し、前記矩形領域内に新たな矩形領域を決定することを特徴とする。
【００３４】
また、請求項１３の発明によれば、画像用領域分離方法において：画像を入力する入力過程と；入力された画像を一時蓄積するための蓄積過程と；前記蓄積された画像の特徴を判別する少なくとも一つの特徴判別過程と；前記特徴判別過程ごとの判別結果を記憶する少なくとも一つの判別結果記憶過程と；前記判別結果記憶過程の少なくとも一つの判別結果に基づいて、前記画像蓄積過程の画像を２領域に分割するための画素位置ごとの領域情報を出力する領域判定過程と；前記蓄積過程から画像を読み出し、前記領域判定過程の出力する画素位置ごとの領域情報に従って出力を分離し、領域情報とともに出力する出力選過程とを実行するようにしている。
【００３５】
この構成においても、原稿の特性や後段の処理に応じた領域分離が可能となり、階層的な領域分離が可能となり、さらに、ミクストラスタ符号化の標準フォーマットに好適な分離が行える。
【００３６】
また、請求項１４の発明によれば、画像用領域分離装置に：画像を入力する入力手段と；入力された画像を一時蓄積するための蓄積手段と；前記蓄積された画像の特徴を異なる手法で判別する複数の特徴判別手段と；前記複数の特徴判別手段から出力される複数種類の判別結果のうち１種類の判別結果を選択する判別結果選択手段と；選択された前記１種類の判別結果に基づいて、前記画像蓄積手段内の画像を２種類の領域に分割するための領域情報を出力する領域判定手段と；前記蓄積手段内の画像を読み出し、前記領域判定手段が出力する領域情報に従って出力を分離し、領域情報とともに出力する出力選択手段とを設けるようにしている。
【００３７】
この構成においても、原稿の特性や後段の処理に応じた領域分離が可能となり、階層的な領域分離が可能となり、さらに、ミクストラスタ符号化の標準フォーマットに好適な分離が行える。
【００３８】
また、請求項１５の発明は、請求項１４の画像用領域分離装置において、前記判別結果選択手段が、最も良好に判別された判別結果を選択することを特徴とする。
【００３９】
さらに、請求項１６の発明は、請求項１４の画像用領域分離装置において、前記判別結果選択手段が、前記蓄積手段から読み出され分離されて出力される画像に対し、後段において実行される処理に基づいて１種類の判別結果を選択することを特徴とする。
【００４０】
【発明の実施の形態】
以下、本発明を詳細に説明する。
【００４１】
本発明の領域分離は、以下の４つの過程で行われる。
▲１▼画像入力、蓄積過程
▲２▼特徴判別過程
▲３▼領域判定過程
▲４▼出力過程
以下、それぞれの過程について個別に説明する。
【００４２】
▲１▼画像入力、蓄積過程
原稿をデジタル画像として入力して一時蓄積する過程である。また、入力時の色空間（例えばＲＧＢ）から色変換を施し、輝度、色差成分から成るＹＣｂＣｒ空間や、明度、色度成分から成るＬ＊ａ＊ｂ＊空間などで蓄積する。
【００４３】
▲２▼特徴判別過程
特徴判別は、画素単位、または、複数画素から構成される小領域ごとに行われ、２値の判別結果が記憶される。
【００４４】
また、特徴判別の観点としては、後段の符号化手法の対象画像を考慮して、以下の（１）〜（３）に示す画像の特徴に着目することが考えられる。
（１）カラー（連続調、多色）、モノクロ領域
（２）連続調、文字領域
（３）非可逆に符号化すると劣化が目立つ領域、非可逆でもよい領域
【００４５】
▲３▼領域判定過程
特徴判別過程における判別結果から最終的な領域分離に使用する領域情報を決定する。以下の（ａ）〜（ｃ）の手法が考えられる。
（ａ）あらかじめ後段の符号化方式が決められている場合、それらの対象画像に分離される判別結果を領域情報とする。
（ｂ）複数の判別結果を比較して、もっとも良好に分離された判別結果を領域情報とする。
（ｃ）複数の判別手法を段階的に適用して階層的に領域情報を決定する。
【００４６】
▲４▼出力過程
上記▲３▼の過程で決定された領域情報に基づき、原画像を排他的に分割して二通りの画像出力を得る。さらに画像を再構成する際に、両者を選択するための２値の領域情報を出力する。
【００４７】
図９は、画像の再構成について説明する図である。二通りの画像出力と２値の領域情報は、画像蓄積過程に蓄積される画像と同じ解像度を有し、画素位置ごとに２値判断情報に従って二つの画像出力のいずれかの対応する画素を選択し、出力することで画像が再構成される。
【００４８】
【実施例】
以下、本発明の実施例について説明する。
＜概略説明＞
図１に従い、本発明の概略の構成について説明する。図において、１００は原稿を読み取りデジタル画像データを出力する画像入力部、２００は、前記デジタル画像を一時蓄積する画像蓄積部、３００ａ〜ｃは、前記画像蓄積部２００の画像を読み出して領域を判別するための特徴を計算する特徴判別部、４００ａ〜ｃは前記判別結果を蓄積する判別結果記憶部、５００は、前記判別結果記憶部４００ａ〜ｃの判別結果にしたがって、領域を選択するための２値情報を決定する領域選択部、６００は前記領域選択部５００の出力する２値の領域情報に従い、前記画像蓄積部２００から読み出した画像データを分離・出力する出力選択部である。
【００４９】
続いて、図１に従い、本発明の動作について説明する。
【００５０】
原稿は、画像入力部１００によって読み込まれ、デジタル化されて明度情報と色度情報という相関性の少ない信号成分に変換される。これにより原稿のモノクロ領域は、明度情報のみで表現することができる。
【００５１】
このような明度情報と色度情報からなる色空間としては、ＣＩＥ（国際照明学会）の定めるＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊空間）や、ＣＩＥＬＵＶ（Ｌ＊ｕ＊ｖ＊空間）が知られている。いずれもＬ＊が明度情報であり、他の二つが色度情報である。
【００５２】
また、同様に相関性の少ない信号として、輝度成分と色差成分から成るものがある。例えば、テレビジョンの分野においては、ＹｃｂＣｒ，ＹＩＱ等のように輝度成分（Ｙ）と色差成分（ＣｂとＣｒ、または、ＩとＱ）から成る色空間を用いることによって白黒放送とカラー放送の両立性を維持している。これは先に説明した明度情報と同様に、画像中のモノクロ情報は輝度成分のみを用いて表現できるためである。
【００５３】
以下、本発明ではＬ＊ａ＊ｂ＊空間を例にとって説明するが、色空間についてはこれに限定するものではなく、以上に述べた他の色空間を用いることも可能である。
【００５４】
画像入力部１００によって入力された画像信号は、色成分ごとに画像蓄積部２００に蓄積される。画像記憶部２００の容量としては、原稿全体を蓄積できるものであってもよいし、原稿を複数領域に分割して順次蓄積するようにしてもよい。
【００５５】
特徴判別部３００ａ〜ｃは、画像蓄積部２００から画像を画素単位、または、所定の大きさを持つ矩形領域ごとに読み出し、所定の特徴について２値の判別を行い、結果をそれぞれ判別結果記憶部４００ａ〜ｃに記憶する。なお、判別結果記憶部４００ａ〜ｃは、画像蓄積部２００に蓄積される画素数と同じ数の判定結果が記憶できるものとする。
【００５６】
領域決定部５００は、判別結果記憶部４００ａ〜ｃに記憶されている判別結果に基づいて、原稿蓄積部２００内の画像を２領域に分離する領域情報を決定する。
【００５７】
出力選択部６００は、原稿蓄積部２００内の画素データを順次読み出し、領域決定部５００の決定した領域情報に従って二つの領域を振り分けて第１の領域を含む画像信号７００と第２の領域を含む画像信号７０１の２通りの画像出力を得る。
【００５８】
＜特徴判別の詳細説明＞
以下、特徴判別部３００ａ〜ｃの構成と動作について詳細に説明する。
（１） カラー／モノクロ領域の判定
カラーモノクロ領域の判定については、例えば、本出願人により特願平５−２３４９１５号として出願されている（特開平７−９５４１６号公報）。同出願明細書に開示される領域分析手法では、明度、色度情報で蓄積された画像データを色成分ごとにｍ×ｎ（ｍ，ｎは正整数）の矩形領域で読み出し、平均値を算出する。明度情報と色度情報がともに、それぞれに対する所定の閾値以下の場合を背景領域とし、明度情報が所定の閾値以上であり、かつ、色度情報の平均値が所定の閾値以下となるような画素領域をモノクロ領域とし、それ以外をカラーの領域と判別するものである。
【００５９】
図２は、上述したカラー・モノクロに関する特徴判別部の構成を示す図である。以下、図に基づいて構成と動作について説明する。
【００６０】
図において３１０，３１１，３１２は、画像蓄積部２００から色成分ごとに同一の原稿領域に対応するｍ×ｎの画素領域を読み出す矩形領域読み出し部、３１３，３１４，３１５は、各色成分の矩形領域ごとに平均値を計算する平均値算出部、３１６は、各色成分の平均値情報の大小を閾値により判定し、現在処理されているｍ×ｎの画素領域がカラーかモノクロ領域か、または背景領域であるかを判定する閾値処理部である。
【００６１】
例えば、Ｌ＊，ａ＊，ｂ＊成分のｍ×ｎの画素領域の平均値をそれぞれ、μＬ＊，μａ＊，μｂ＊とし、原稿中の余白領域のＬ＊，ａ＊，ｂ＊成分の値をＷＬ＊，Ｗａ＊，Ｗｂ＊とすると両者の差が次式を満たす時背景部と判定する。
【００６２】
【数１】
｜μＬ＊−ＷＬ＊｜≦εＬ＊
｜μａ＊−Ｗａ＊｜≦εａ＊
｜μｂ＊−Ｗｂ＊｜≦εｂ＊
ただし、εＬ＊，εａ＊，εｂ＊は使用される用紙に応じて予め設定される閾値である。
【００６３】
次に、モノクロ領域の判定法について説明する。背景領域以外と判定され、Ｌ＊の平均値だけが、背景色と異なる値を持っているかどうかで判定される。
すなわち
【００６４】
【数２】
｜μＬ＊−ＷＬ＊｜＞εＬ＊
｜μａ＊−Ｗａ＊｜≦εａ＊
｜μｂ＊−Ｗｂ＊｜≦εｂ＊
を満たすような場合はモノクロ領域と判定する。
【００６５】
なお、本発明では、カラーの領域が存在する場合は、背景領域とモノクロ領域を統合してカラー領域とそれ以外の２領域に分離する。カラーの領域が存在しない場合は、モノクロ領域と背景領域の２領域に分離するものとする。
【００６６】
さらに、上記の判別の間にカラーの領域と判定された領域の色度情報ａ＊とｂ＊のヒストグラムをとることで多色領域か連続調の領域であるかを判別することも可能である。
【００６７】
色度情報ａ＊とｂ＊のヒストグラムがいくつかのピークを持つ分布であれば、多色領域と判定することができ、広がりを持つ分布であれば連続調の領域と判定することができる。
【００６８】
（２） 連続調／文字領域の判定
連続調／文字領域の判定については、例えば、本出願人により特願平５−１２８２９７号として出願されている（特開平６−３１９１３３号公報）。
【００６９】
同出願明細書に開示される領域分析装置では、はじめに入力されるｍ×ｎ画素領域の平均値をｍ×ｎ画素領域内の各画素から減算して、平均値分離ブロックが生成される。つぎにこの平均値分離ブロックの分散、ヒストグラム、及び最大値・最小値を測定する。それぞれの特徴量の大小関係により、画素ブロック内の画素分布が文字的であるか、写真的（連続調）な領域であるかを分析するものである。
【００７０】
図３は、上述した連続調・文字に関する特徴判別部の構成を示す図である。以下、図に基づいて構成と動作について説明する。
【００７１】
図において３２０は、画像蓄積部２００から特定の色成分のｍ×ｎの画素領域を読み出す矩形領域読み出し部、３２１は、矩形領域内の画素の平均値を計算し、各画素からこれを減じて平均値分離ブロックを出力する平均値計算・分離部、３２２は、平均値分離ブロックの分散を計算する分散計算部、３２３は、分散計算部３２２によって計算された分散に基づく閾値を設定し、閾値で区分される範囲ごとに平均値分離ブロック内の画素値の出現頻度を計数し分布の型を決定するヒストグラム計数部、３２４は、平均値分離ブロック内の最大値と最小値とを検出する最大値・最小値検出部、３２５は、分散計算部３２２、ヒストグラム計数部３２３、最大値・最小値検出部３２４がそれぞれ出力する、分散、分布の型、最大値・最小値に基づいて現在処理中のｍ×ｎの画素領域が連続調な階調分布であるか文字的な階調分布であるかを判定する判定テーブルである。
【００７２】
なお、図においては、明度情報Ｌ＊が入力となっているが、これは通常の原稿においては文字色として黒が使用されていることが圧倒的に多いと考えられるからである。色文字などが原稿に含まれる場合には、他のａ＊，ｂ＊の色度情報について同様の連続調・文字の特徴判別処理を適用してもよい。
【００７３】
（３） 可逆／非可逆の領域の判定
ＪＰＥＧ方式による圧縮は、歪みを伴うものである。このため、原稿内容と、圧縮率の指定によっては復号画像に大きな劣化が発生することがある。
【００７４】
例えば、階調変化の緩やかな領域を含む画像では、ＪＰＥＧ方式の処理の単位である８×８画素のブロック境界に画素値の段差が発生することがあり、ブロックノイズと呼ばれている。
【００７５】
このため、本発明においては、ＪＰＥＧアルゴリズムにおいて誤差を発生させる要因であるＤＣＴ（離散コサイン変換）と量子化、逆量子化、及び逆ＤＣＴを施して得られる復号画素ブロックを元の画素領域との歪みを計算する。これをあらかじめ実験によって求めた閾値と比較することで、非可逆に符号化できるか否かを判定する。
【００７６】
図４は、上述した非可逆・可逆に関する特徴判別部の構成を示す図である。以下、図に基づいて構成と動作について説明する。
【００７７】
図において３３０は、画像蓄積部２００から特定の色成分の８×８の画素領域を読み出す矩形領域読み出し部、３３１は、矩形領域内の画素に離散コサイン変換を施して変換係数を得るＤＣＴ部、３３２は前記変換係数を変換係数位置ごとに定められるステップ幅で除算して丸めて量子化係数を得る量子化部、３３３は、前記量子化係数の各要素に先の量子化処理に用いられたステップ幅を乗じることで変換係数を復元する逆量子化部、３３４は復元された変換係数に離散コサイン変換の逆変換を施すことで復号画素ブロックを得るＩＤＣＴ部、３３５はもとの８×８の画素領域と復号画素ブロックの画素同士の誤差を計算する誤差計算部、３３６は誤差計算部３３６の誤差を閾値処理することで、現在処理中の８×８の画素領域が非可逆に符号化できるかを判定する判定テーブルである。
【００７８】
ＪＰＥＧ符号化における歪みの発生は、その量子化処理の際のステップ幅に依存している。このため、非可逆・可逆に関するより正確な特徴判別のためには、量子化部３３２、及び逆量子化部３３３で使用する量子化のステップ幅を、領域分離後に適用されるＪＰＥＧ符号化の量子化のステップ幅と同じに設定する必要がある。
【００７９】
＜領域の決定方法の詳細説明＞
特徴判別過程の結果に基づく領域判定の方法について説明する。
【００８０】
図５は、領域決定部の構成を示す図である。以下、図に基づいて構成と動作について説明する。
【００８１】
図において５０１は、判別結果記憶部４００ａ〜ｃのいずれかから判別結果を読み出す判別結果読み出し部、５０２は、判別結果が周囲と異なる場合に周囲と一致させる孤立点除去部、５０３は、読み出された判別結果の周辺分布として頻度を計数する周辺分布計数部、５０４は、周辺分布の計数結果に基づき矩形領域を決定する矩形領域判定部である。
【００８２】
以下、図に基づいて動作について説明する。
【００８３】
判別結果読み出し部５０１は、判別結果記憶部４００ａ〜ｃから判別の単位となったｍ×ｎ画素領域に対する判別結果を読み出す。以降の処理についてもｍ×ｎ画素領域を単位として行われる。孤立点除去部５０２では、周囲８近傍の判定結果と異なる判定結果を反転し、判別結果記憶部４００ａ〜ｃの該当する部分を修正する。次に、周辺分布計数部５０３では、判別結果についての周辺分布を計数し、さらに矩形領域判定部５０４で矩形領域の開始点画素位置、幅、高さを決定する。
【００８４】
なお、本発明では画素単位で領域を分離することが可能であるが、画像符号化が近隣画素間の相関の高い性質を利用していることから符号化効率の観点からはあまり細かな領域に分割されない方がよい、また、実際の原稿に写真などが含まれる場合は矩形の領域である場合が多い、などの理由から判別結果を矩形領域としてまとめている。
【００８５】
図１０に周辺分布の計測法の説明図を示す。
【００８６】
周辺分布計数部５０３では、原稿の横方向（ｘ方向）、縦方向（ｙ方向）にそれぞれ頻度の計数領域を持ち、判別結果として、例えば１が検出されるごとに、縦方向と横方向の対応する位置の頻度の計数値を１ずつ増加する。
【００８７】
全判別結果についての集計が終了した時点で、計数値に基づいて矩形領域を決定する。図１０の例では、計数値が少ない部分から急激に増加する位置を開始座標（ｘ１、ｙ１）とし、再び急激に減少する位置を終了座標（ｘ２、ｙ２）とみなすことができる。
【００８８】
最終的に、矩形領域判定部５０４より、矩形領域の内外を区別する２値情報が領域情報として出力される。出力の順序は、例えば、画像を最も左上の画素から水平に走査していく順序で、対応する画素ごとに２値の領域情報が出力される。
【００８９】
また、領域情報を決定するために使用した特徴判別部を示す識別情報９００が出力される。
【００９０】
矩形領域判定部５０４における領域情報の決定については、上述した（ａ）〜（ｃ）の考え方に基づくことができる。
【００９１】
（ａ）あらかじめ後段の符号化方式が決められている場合、それらの対象画像に分離される判別結果を領域情報とする。
【００９２】
例えば、後段に用意される符号化方式が、２値画像を対象としたものであれば、カラー・モノクロ判別は使用されない。連続調と文字領域の判別結果を用いて、適応的な２値化に適した分離を行う。
【００９３】
また、後段の符号化方式がＪＰＥＧとＭＨ／ＭＲ／ＭＭＲであれば、連続調と２値の領域に分離するのが望ましいので、文字／連続調領域の判別、または、これにモノクロ／カラー判別を用いて領域を分離する。
【００９４】
また、ＪＰＥＧの必須アルゴリズムであるｂａｓｅｌｉｎｅ ｓｙｓｔｅｍのような非可逆の方式と、例えばＪＰＥＧのＩｎｄｅｐｅｎｄｅｎｔ ｆｕｎｃｔｉｏｎ方式やＬＺ（Ｌｅｍｐｅｌ Ｚｉｖ）方式のような可逆符号化が用意されていれば、非可逆／可逆判別を用いて領域を分離する。
【００９５】
（ｂ）複数の判別方法の内、もっとも良好に分離された判別結果を領域情報とする。
【００９６】
判別結果が良好であるか否かを判定するためには、例えば、孤立点の数が少ないものを選択する、矩形領域の数が少なくなるべく一かたまりの領域に分離されたものを選ぶ、または、各判別結果を利用者に提示して選択する、などの方法が考えられる。
【００９７】
図６は、このような領域決定部の構成を示す図である。以下、図に基づいて構成と動作について説明する。なお、図５と同一の構成については、同一番号を付して説明を省略する。
【００９８】
図において、５０５は孤立点数を計数する孤立点カウンタ、５０７は検出された矩形領域の数を計数する矩形領域カウンタ、５０６は孤立点カウンタ５０５と矩形領域カウンタ５０７の計数値に基づいて領域分離の成否を判定し、出力選択信号を決定する成否判定部。５０８は連続して同じ領域情報を発生する固定領域情報発生部。５０９は、成否判定部５０６の出力選択信号に従い、領域分離が成功した場合には、矩形領域判定部５０４の判定結果に基づく領域情報を出力し。また、領域分離が失敗したと判定された場合は、固定領域情報発生部５０８の出力を領域情報として出力する切り替え部である。
【００９９】
原稿によっては、複数の領域分離のいずれもが良好に機能しない場合も考えられる。このような場合、無理に分離して符号化することは、かえって画質や圧縮率の点で問題となることが予想される。上記の判断基準に照らして、または、利用者への提示の結果が、領域分離が良好ではない判断された場合には、以下のように回避する。
【０１００】
例えば、モノクロとカラーが混在しているが明確に領域を分離できない場合、全体をモノクロと判別するとカラーの情報が失われてしまうので、全体をカラー領域と判別するように固定領域情報発生部５０８の出力を決定する。
【０１０１】
また、モノクロで文字、写真が混在しているが両者の分離が不明瞭な場合は、全体を文字向けに２値かすると写真領域の画質が低下するため、階調を持ったモノクロ画像として出力するようにするように固定領域情報発生部５０８の出力を決定する。
【０１０２】
（ｃ）複数の判別手段を段階的に適用して領域情報を決定する。
【０１０３】
複数の判別結果を使用して領域を段階的に分割することで複雑な領域分離を行うことができる。
【０１０４】
図７は、このような領域決定部５００の構成を示す図である。以下、図に基づいて構成と動作について説明する。なお、この図において、図５、及び図６と同一の構成については、同一番号を付して説明を省略する。図７の構成を、図６の構成と対比すると、矩形領域判定部５０４ａの構成・動作が異なる。
【０１０５】
図において、矩形領域判定部５０４ａの指示により、判別結果読み出し部５０１が判別結果記憶部４００ａ〜ｃの指定された領域の特徴判別結果を読み出し、この領域内で再度矩形領域が構成できるかを判定することで原稿を段階的に領域分離することができる。
【０１０６】
図１１は、原稿を段階的に分離する方法を説明する図である。図において、はじめにカラーとモノクロ領域の分離が行われ、次に、カラー領域を文字と連続調の領域に分離する。さらに連続調の領域内を非可逆・可逆の観点で分離を施す例を表している。
【０１０７】
図１２は、図１１の分離の手順を説明するフローチャートである。フローチャートの内容はその記述自体から明瞭であるので説明を行わない。
【０１０８】
＜画像の分割出力の詳細説明＞
図８は、出力選択部の構成を説明する図である。以下、図に従って構成と動作について説明する。
【０１０９】
図において、６０１は、画像蓄積部２００から画素を読み出す画素読み出し部、６０２は、領域情報にしたがって画素の出力先を切り替える出力切り替え部、６０３は、ダミー画素を生成するダミー画素生成部、６０４ａ，６０４ｂは、画素が入力されない場合にダミー画素生成部６０３と接続するダミー画素出力部、である。
【０１１０】
以下、図にしたがって動作について説明する。
【０１１１】
画素読み出し部６０１は、画像蓄積部２００からＬ＊ａ＊ｂ＊各８ビットの画素データを読み出す。出力切り替え部では、領域決定部５００の出力する２値の領域情報に従って画素データの出力先を切り替える。以後、領域情報が０の場合は、図８の画像出力０の端子に、領域情報が１の場合には、画像出力１の端子に切り替えるものとして説明する。ダミー画素出力部６０４ａでは、領域情報が０、すなわち画像出力０の端子に画素データが出力される場合は、出力切り替え部６０２からの画素データをそのまま出力し、逆に領域情報が１の場合には、ダミー画素生成部６０３の出力するダミー画素を画像出力０の端子に出力する。ダミー画素出力部６０４ｂの領域情報に対して逆の動作を行う。なお、ダミー画素とは、Ｌ＊ａ＊ｂ＊で白レベルなどに設定する。
【０１１２】
以上の構成、及び動作により、画像蓄積部２００の画像と同じ画素数を持ち、領域情報に従って分離された画像が画像出力０と画像出力１の端子から得られる。画像出力０と画像出力１のいずれか一方に元の画像の画素データが含まれ、他方の対応する画素位置はダミー画素に置き換えられることになる。
【０１１３】
＜実施例の変更形態＞
以上の説明においては、分離して出力される画像領域はいずれも画像蓄積部２００に蓄積された画像と同じ解像度を有していた。このため、分離された画像を符号化する場合、他方の出力に振り分けられた画素は白レベルとなっており、これについても符号化される必要があった。しかし、例えばＪＰＥＧ符号化では、余白（白レベルの連続）領域を符号化しても符号量が零にならないので、符号化効率の点では問題があった。
【０１１４】
そこで、領域決定部５００で決定された２領域の内、矩形領域を構成するものについては、開始座標（画素位置）と領域の幅、高さを直接出力し、出力選択部６００の出力も矩形領域内の画素だけにすることで、符号化の際に無駄な領域を省くことができる。
【０１１５】
また、出力選択部６００において、領域情報に対応して分離される画像に予め処理を加えてもよい。このような処理としては、例えば、モノクロとカラーに分離された場合、モノクロ領域についてはＬ＊成分（８ビット）のみを出力し、カラーの領域のみＬ＊ａ＊ｂ＊の２４ビットを出力するようにしてもよい。また、モノクロの文字領域領については２値化処理を、カラーの文字領域と判定された場合には、多色化処理を施してもよい。カラーの写真領域と判定された場合は、解像度が低下しても画質を維持できる場合がある。このため、色度情報ａ＊，ｂ＊、あるいは全成分に対して解像度変換（間引き）を施し、縮小率を合わせて出力してもよい。
【０１１６】
画像蓄積部２００に蓄積する画像は、必ずしも原稿全体である必要はない。例えば、原稿を走査して得られる画像データを複数走査線分ずつに上記の領域分離処理を行ってもよい。
【０１１７】
【発明の効果】
以上、述べてきたように、本発明の画像用領域分離方法、及び装置によれば、▲１▼複数の特徴判別部を備えたことにより、それらの判別結果で最も良好に画像を分離できる特徴を採用するようにしたので、原稿の特性に応じた領域分離が可能となる。
▲２▼また、複数の領域分離を段階的に適用することで、複雑な原稿を詳細に分離することが可能となる。
▲３▼さらに、本発明に係る領域分離では、一度の分離により、二つの画像領域と、両者の画素を切り替えるための２値情報を出力するようにしたので、ミクストラスタ符号化の標準フォーマットに好適な分離が行える。
【図面の簡単な説明】
【図１】 本発明の実施例の概略構成を示すブロック図である。
【図２】 実施例のカラー・モノクロに関する特徴判別部３００の構成例を示すブロック図である。
【図３】 実施例の連続調・文字に関する特徴判別部３００の構成例を示すブロック図である。
【図４】 実施例の非可逆・可逆に関する特徴判別部３００の構成例を示すブロック図である。
【図５】 実施例の領域決定部５００の構成例を示すブロック図である。
【図６】 実施例の領域決定部５００の他の構成例を示すブロック図である。
【図７】 実施例の領域決定部５００の他の構成例を示すブロック図である。
【図８】 実施例の出力選択部６００の構成例を示すブロック図である。
【図９】 画像の再構成を説明する図である。
【図１０】 周辺分布による領域の決定を説明する図である。
【図１１】 段階的な領域判定の説明図である。
【図１２】 段階的な領域判定のフローチャートである。
【符号の説明】
１００ 画像入力部
２００ 画像蓄積部
３００ａ，ｂ，ｃ 特徴判別部
４００ａ，ｂ，ｃ 判別結果記憶部
５００ 領域決定部
６００ 出力選択部
７００ 分割された第１の領域を含む画像信号
７０１ 分割された第２の領域を含む画像信号
８００ 領域情報
９００ 特徴判別部を識別する識別情報
３１０，３１１，３１２ 矩形領域読み出し部
３１３，３１４，３１５ 平均値算出部
３１６ 閾値処理
３２０ 矩形領域読み出し部
３２１ 平均値計算・分離部
３２２ 分散計算部
３２３ ヒストグラム計数部
３２４ 最大値・最小値検出部
３２５ 判定テーブル
３３１ ＤＣＴ部
３３２ 量子化部
３３３ 逆量子化部
３３４ ＩＤＣＴ部
３３５ 誤差計算部
３３６ 閾値処理部
５０１ 判定結果読み出し部
５０２ 孤立点除去部
５０３ 周辺分布計数部
５０４ 矩形領域判定部
５０５ 孤立点カウンタ
５０６ 矩形領域カウンタ
５０７ 成否判定部
５０８ 固定領域情報発生部
５０９ 切り替え部
６０１ 画素読み出し部
６０２ 出力先切り替え部
６０３ ダミー画素生成部
６０４ａ，ｂ ダミー画素出力部

Claims (12)

1. 画像を入力する入力手段と、
   入力された画像を一時蓄積するための画像蓄積手段と、
   前記蓄積された画像の特徴を異なる手法で判別する複数の特徴判別手段と、
   前記複数の特徴判別手段から出力される複数種類の判別結果のうち、孤立点の数が少ない判定結果を選択するという選択基準、または矩形領域が少ない判定結果を選択するという選択基準により、１種類の判別結果を選択する判別結果選択手段と、
   選択された前記１種類の判別結果に基づいて、前記画像蓄積手段内の画像を２種類の領域に分割するための領域情報を出力する領域判定手段と、
   前記蓄積手段内の画像を読み出し、前記領域判定手段が出力する領域情報に従って出力を分離し、領域情報とともに出力する出力選択手段とを有することを特徴とする画像用領域分離装置。
2. 前記特徴判別手段の一つは、原稿中のカラーの領域とモノクロの領域とを判別する請求項１に記載の画像用領域分離装置。
3. 前記特徴判別手段の一つは、原稿中の階調が連続的に変化する領域と階調が急激に変化する領域を判別する請求項１または２に記載の画像用領域分離装置。
4. 前記特徴判別手段の一つは、原稿中を非可逆に符号化できるかどうかを判別する請求項１〜３のいずれかに記載の画像用領域分離装置。
5. 前記蓄積手段は、入力された画像を輝度成分と色差成分とから成る色空間、または、明度成分と色度成分とから成る色空間で蓄積する請求項１に記載の画像用領域分離装置。
6. 前記特徴判別手段の一つは、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内の平均値を算出し、これを所定の閾値と比較することでカラーの領域とモノクロの領域とを判別する請求項２に記載の画像用領域分離装置。
7. 前記特徴判別手段の一つは、カラーと判別された領域について、色差成分、または、色度情報の値のヒストグラムをとり、これが複数の山を持つ場合には多色領域と判別し、それ以外は連続調のカラー領域であると判別する請求項２または６に記載の画像用領域分離装置。
8. 前記特徴判別手段の一つは、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内に対し、前記矩形領域内の分散値と、前記分散値によって決まる閾値を用いて計数したヒストグラムの分布と、前記矩形領域内の最大値と最小値とに基づいて、前記矩形領域内が文字的な画素分布を持つか写真的な画素分布を持つかを判定する請求項３に記載の画像用領域分離装置。
9. 前記特徴判別手段の一つは、色空間を構成する各成分のｍ×ｎ（ｍ，ｎは正整数）個の画素の矩形領域内に対し、前記矩形領域内の画素に直交変換を施し、所定の量子化閾値で量子化し、前記量子化閾値を用いて逆量子化し、さらに逆直交変換して得られたｍ×ｎの矩形領域内の画素を元の矩形領域内の画素と比較し、歪みを所定の閾値と比較することで非可逆に符号化できるか否かを判別する請求項４に記載の画像用領域分離装置。
10. 前記領域判定手段は、前記判別結果記憶手段に記憶される判別結果に対し、周辺の判定結果と異なるものを補正した後、前記判別結果の周辺分布を計数し、判別結果の同じものが大部分を占める矩形領域を決定する請求項１に記載の画像用領域分離装置。
11. 前記出力選択手段は、前記蓄積手段から画素を読み出し、前記領域判定手段からの領域情報に従って出力先を切り替えて出力する際に、前記領域情報によって選択されなかった出力先にも所定の値を持つ画素を出力する請求項１に記載の画像用領域分離装置。
12. 画像を入力する入力ステップと、
    入力された画像を画像蓄積手段に一時蓄積するための蓄積ステップと、
    前記蓄積された画像の特徴を異なる手法で判別する複数の特徴判別ステップと、
    前記複数の特徴判別ステップにより出力される複数種類の判別結果のうち、孤立点の数が少ない判定結果を選択するという選択基準、または矩形領域が少ない判定結果を選択するという選択基準により、１種類の判別結果を選択する判別結果選択ステップと、
    選択された前記１種類の判別結果に基づいて、前記画像蓄積手段内の画像を２種類の領域に分割するための領域情報を出力する領域判定ステップと、
    前記蓄積手段内の画像を読み出し、前記領域判定ステップにより出力される領域情報に従って出力を分離し、領域情報とともに出力する出力選択ステップとを有することを特徴とする画像用領域分離方法。

Images