JP5348411B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。

従来より、画像中に使用されている色数を低減する限定色化の処理が行われている。この限定色化の処理によって、画像中に含まれる各種のノイズやムラ、例えば画像が画像読取装置で原稿画像を読み取ったものである場合には、原稿の印刷ムラや読み取りの際のスキャンノイズ、手書き部分がある場合には手書きムラなどが低減される。また画像を圧縮する場合には、圧縮ノイズが低減され、また圧縮率が向上する。例えば特許文献１においては、色の頻度分布を生成し、その頻度分布中のピーク色を統合し、代表色の選択を行うことで、限定色化の処理を行っている。

例えば画像読取装置で読み取った画像などでは、読取の際のぼけなどにより色境界の部分に原稿画像に使用されていなかった色が存在する。また、もとの原稿に色版のズレが生じている場合にも、色境界部分に異なる色が存在してしまう。このような画像に対して限定色化の処理を行うと、境界の色が前景や背景とは異なる色に置換されてしまう。

色境界の補正を行う方法として、例えば特許文献２では、限定色化の処理を行ったあとで、色領域のサイズ、及び色領域同士の色差を参照し、画質が変化しない色境界の領域を隣接する色領域と統合する処理を行っている。また特許文献３でも、限定色化の処理を行ったあとで、画像平面上で隣接する色領域同士が、色空間でも近隣にある場合には、色領域を統合する処理を行っている。さらに特許文献４では、限定されたＮ色の色を抽出する際に、色出現頻度ヒストグラムに加え、画像平面上にて近隣する類似色に関するヒストグラムも生成し、双方から抽出する色を決定し、色境界などで生じる色を抽出しないようにしている。

特開２００８−０６５８０３号公報 特開平０６−１０３３７１号公報 特開平０８−１５４１７９号公報 特開平０８−２０２３２８号公報

本発明は、色境界を正しく再現した限定色化を行うことができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、予め処理対象画像から抽出されあるいは予め与えられたＭ色の代表色のうち第１の色と第２の色の中間色が１以上存在する場合に前記第１の色と前記第２の色とＮ色（Ｎ＜Ｍ−２）の前記中間色を選定する選定手段と、前記処理対象画像の各画素における色の違いを示す境界強度を算出する境界強度算出手段と、前記処理対象画像の各画素の色を前記代表色のいずれかに置換する色置換手段を有し、前記色置換手段は、前記境界強度算出手段が算出した境界強度に従って境界については前記第１の色と前記第２の色を置換色候補として決定し、境界でない場合には前記第１の色と前記第２の色と前記中間色を置換色候補として決定し、前記処理対象画像の処理対象画素について置換色候補のいずれかに置換することを特徴とする画像処理装置である。
また、本願請求項２に記載の発明は、予め処理対象画像から抽出されあるいは予め与えられたＭ色の代表色のうち第１の色と第２の色の中間色が１以上存在する場合に前記第１の色と前記第２の色とＮ色（Ｎ＜Ｍ−２）の前記中間色を選定する選定手段と、前記処理対象画像の各画素における色の違いを示す境界強度を算出する境界強度算出手段と、前記処理対象画像の各画素の色を前記代表色のいずれかに置換する色置換手段を有し、前記色置換手段は、前記境界強度算出手段が算出した境界強度が強い境界については前記第１の色と前記第２の色を置換色候補として決定し、境界強度が中程度の境界については前記第１の色または前記第２の色と中間色を置換色候補として決定し、前記処理対象画像の処理対象画素について置換色候補のいずれかに置換することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の画像処理装置における前記色置換手段が、色空間における前記第１の色と前記第２の色の距離を前記中間色が分割する内分比に従って、前記境界強度をもとに境界を判定するための閾値を制御し、該判定の結果に従って前記置換色候補を決定することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の画像処理装置における前記選定手段が、前記色置換手段における置換対象の画素を含む局所領域の色ヒストグラムにより前記第１の色と前記第２の色を選定することを特徴とする画像処理装置である。

本願請求項５に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の画像処理装置における前記色置換手段が、前記選定手段により前記第１の色と前記第２の色と前記中間色の組が複数選定されている場合に、置換対象の画素を含む局所領域の特性により前記局所領域の色を判定し、該判定の結果に基づいて前記組を選択することを特徴とする画像処理装置である。

本願請求項６に記載の発明は、本願請求項１から請求項５のいずれか１項に記載の画像処理装置の構成に、さらに、前記色置換手段における置換対象の画素について前景の画素か背景の画素かを判定する前景判定手段を有し、前記第２の色が背景色の場合に、前記色置換手段は、前記前景判定手段が背景と判定した画素については前記第２の色に置換することを特徴とする画像処理装置である。

本願請求項７に記載の発明は、コンピュータに、請求項１から請求項６のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

本願請求項１及び請求項２に記載の発明によれば、中間色が代表色として抽出されていても色境界を正しく再現した限定色化の処理を行うことができるという効果がある。

本願請求項３に記載の発明によれば、代表色として抽出されている中間色に応じて色の境界の再現を行うことができる。

本願請求項４に記載の発明によれば、色の境界を形成している色に応じて色境界を正しく再現することができる。

本願請求項５に記載の発明によれば、色の境界を形成している色に応じて色境界を正しく再現することができる。

本願請求項６に記載の発明によれば、前景部と背景部の色を正しく置換することができる。

本願請求項７に記載の発明によれば、本願請求項１から請求項６のいずれか１項に記載の発明の効果を得ることができる。

本発明の実施の一形態を示す構成図である。 本発明の実施の一形態における動作の一例を示す流れ図である。 中間色の判定方法の一例の説明図である。 置換色候補を選出する際の判定基準の一例の説明図である。 本発明の実施の一形態における動作の別の例を示す流れ図である。 本発明による限定化処理の第１の具体例の説明図である。 本発明による限定化処理の第２の具体例の説明図である。 本発明による限定化処理の第３の具体例の説明図である。 本発明による限定化処理の第４の具体例の説明図である。 置換色候補を選出する際の判定基準の別の例の説明図である。 本発明の実施の一形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

図１は、本発明の実施の一形態を示す構成図である。図中、１は前景判定部、２は境界強度算出部、３は選定部、４は色置換部である。以下の説明では処理対象画像の色数をＭ色の代表色に限定する限定色化の処理を行うに際し、Ｍ色の代表色は、例えば特許文献１に記載されている方法などの公知の方法によって予め処理対象画像から抽出されているか、あるいは予め与えられているものとする。

前景判定部１は、色置換部４における置換対象の画素について、前景の画素か背景の画素かを判定し、判定結果を色置換部４に渡す。前景か背景かの判定は、公知の方法により行えばよい。

境界強度算出部２は、色置換部４における置換対象の画素について、処理対象画像から色の違いを示す境界強度を算出する。処理対象画像がモノトーン画像であれば明度の差がどの程度であるかを示す値を算出し、境界強度とすればよい。またカラー画像であれば、色の違いがどの程度であるかを境界強度として算出すればよい。例えば各色成分について濃度差がどの程度であるかを示す値をそれぞれ算出し、境界強度とすればよい。あるいは、選定部３で選定されるか、または予め設定されている第１の色と第２の色の情報を用い、第１の色と第２の色の境界強度を算出してもよい。境界強度の算出は、例えば置換対象の画素を含む予め設定した大きさの局所領域の画素における重畳演算、具体的にはソベルフィルタ、１次微分フィルタ、２次微分フィルタなど、公知の方法により行えばよい。以下の説明では、局所領域内の色の違いが大きいほど境界強度として大きな値が得られるものとする。

選定部３は、Ｍ色の代表色のうち第１の色と第２の色の中間色が１以上存在する場合に、その第１の色と第２の色とＮ色（Ｎ＜Ｍ−２）の中間色を選定する。第１の色と第２の色は、色置換部４における置換対象の画素または画素領域の色に応じて選定するか、あるいは予め与えておく。例えば、色置換部４における置換対象の画素を含む予め定められている大きさの局所領域の色ヒストグラムにより、当該局所領域においてどのような色が使用されているかを判定し、第１の色と第２の色を選定してもよい。あるいは、Ｍ色の代表色から第１の色と第２の色の組み合わせを順に選び、代表色に中間色が存在する場合には当該第１の色と第２の色と中間色を組にして、存在していれば１または複数の組を一括して選定してもよい。この選定部３で選定した色の情報は色置換部４に渡す。また、境界強度算出部２で第１の色と第２の色を必要とする場合には、これらの情報を境界強度算出部２に渡してもよい。

色置換部４は、処理対象画像の各画素の色を、代表色のいずれかに置換する。基本的には色空間において距離が最も近い代表色に置換すればよい。ここで、例えば画像平面における第１の色と第２の色の境界では、中間色に置換されずに第１の色または第２の色に置換されるように、置換色候補を第１の色または第２の色に決定し、この置換色候補のいずれかに置換する。例えば第１の色と中間色との境界や中間色と第２の色との境界等も考えられ、これらの場合には置換色候補を第１の色と当該中間色あるいは第２の色と当該中間色などとして、これらの置換色候補のいずれかに置換する。どのような境界であるかは、境界強度算出部２で算出された境界強度により判定すればよい。この境界強度の判定には、その判定のための閾値を、色空間における第１の色と第２の色の距離を中間色が分割する内分比に従って制御するとよく、その閾値を用いて境界強度を判定すればよい。

また、置換対象の画素の色が、選定部３で選定された第１の色、第２の色、中間色のいずれかに置換される色であるのか、または第１の色と第２の色と中間色の組が複数選定されている場合にはいずれの組を使用して置換する色であるのか、あるいはその他の代表色に置換される色であるのかを判断してもよい。この判断は、置換対象の画素を含む予め定められている大きさの局所領域の特性、例えば色空間におけるヒストグラム分布、色空間における色変化を示すベクトルなどにより局所領域の色や色の傾向を判定し、判定結果に従って行えばよい。色変化を示すベクトルは、例えば境界強度算出部２で色成分ごとに境界強度を算出している場合、各色成分の境界強度を成分とするベクトルを用いればよい。このベクトルから色空間における色の変化方向を算出し、第１の色と第２の色、存在していればさらに中間色を特定して、上述のように置換色候補を決定して置換対象の画素の色を置換すればよい。

さらに、前景判定部１における前景か背景かの判定結果を加味して置換色候補を決定するとよい。例えば前景の判定結果であれば前景として使用されている色を置換色候補に含めるようにし、背景の判定結果であれば背景として使用されている色を置換色候補に含めるようにするとよい。例えば背景と判定された場合には背景色（例えば第２の色が背景の色であれば第２の色）に置換するように構成してもよい。

図２は、本発明の実施の一形態における動作の一例を示す流れ図である。処理対象画像を限定色化するためのＭ色の代表色は、予め与えられているか、あるいは処理対象画像から予め抽出しておく。

Ｓ１１において、選定部３はＭ色の代表色のうちから、第１の色、第２の色、及び第１の色と第２の色の中間色を選定する。第１の色と第２の色は予め与えておいてもよいし、処理対象画像中の置換対象の画素を含む予め設定した領域の画素から取得してもよい。例えば色置換部４における置換対象の画素を含む予め定められている大きさの局所領域の色ヒストグラムにより、当該局所領域においてどのような色が使用されているかを判定し、第１の色と第２の色を選定してもよい。また、第２の色を背景色とし、第１の色をそのほかの代表色から選択しながら中間色の存在を判定して行くように構成してもよい。

図３は、中間色の判定方法の一例の説明図である。図中、黒丸は第１の色、白丸は第２の色、二重丸は中間色の候補を示している。図３（Ａ）に示す例では、色空間において、第２の色から中間色候補へのベクトルＬ１と、中間色候補から第１の色へのベクトルＬ２とのなす角度θ₁₂が予め決められた角度θｃ以下（θ₁₂≦θｃ）であれば中間色であると判定する例を示している。角度θ₁₂は、
ｃｏｓθ₁₂＝Ｌ１・Ｌ２／｜Ｌ１｜｜Ｌ２｜
から求めればよい。

別の例として、上述の角度θ₁₂が予め決められた角度θｃの関数値以下であれば中間色であると判定してもよい。一例としては、
θ₁₂≦α・θｃ／（｜Ｌ１｜｜Ｌ２｜）^β
の場合に中間色と判定すればよい。ここで、α、βは常数である。この場合の角度θ₁₂も、
ｃｏｓθ₁₂＝Ｌ１・Ｌ２／｜Ｌ１｜｜Ｌ２｜
から求めればよい。なお、常数βによって中間色として判定する色領域が制御される。図３（Ｂ）、（Ｃ）において斜線を付して、中間色として判定する領域を示している。ここでは、図３（Ｂ）に示した例の方が図３（Ｃ）に示した例に比べてβの値が小さい場合を示している。

このようにして、第１の色と第２の色とその中間色の組を得る。なお、代表色の中に中間色が存在しない場合もあり、その場合には選択部３は第１の色と第２の色、あるいは局所的に単色であればその単色に対応する代表色を置換候補色として出力すればよい。

なお、ここでは第１の色と第２の色を決めて、その中間色を求めるものとしているが、例えば、代表色から第１の色と第２の色を選択しながら中間色の有無を確認して行くことにより、第１の色と第２の色とその中間色の組を予め求めておき、その組の中から置換対象の画素に対応する組を選定してもよい。例えば、置換対象の画素の色が、図３において斜線を付した色領域に含まれた組を選択すればよい。この場合も、該当する組が存在しない場合もあり、その場合は上述のように第１の色と第２の色、あるいは単色に対応する代表色を置換候補色として出力すればよい。

図２に戻り、Ｓ１２において、境界強度算出部２は、色置換部４における置換対象の画素について、処理対象画像から境界強度を算出する。例えば置換対象の画素を含む予め定められている大きさの局所領域について、明度あるいは各色成分に対してフィルタ処理などを行い、数値として境界強度を算出すればよい。なお、Ｓ１１において選択した第１の色と第２の色を受け取って、第１の色と第２の色の境界強度を算出してもよい。

Ｓ１１、Ｓ１２の処理と並行して、Ｓ１３において、前景判定部１は、色置換部４における置換対象の画素について、前景の画素か背景の画素かを判定して、判定結果を色置換部４に渡す。

Ｓ１４において、色置換部４は、選定部３で第１の色と第２の色と中間色の組が選定されている場合に、色空間における第１の色と第２の色の距離を中間色が分割する比（内分比）を求め、その内分比に従って境界強度を判定するための閾値を決定する。そして、決定した閾値を用いて、境界強度算出部２で算出された境界強度から、色の境界としての程度を判定する。色の境界の程度としては、第１の色と第２の色の境界とみなせるのか、あるいは第１の色と中間色または第２の色と中間色の境界であるのか、などを判定する。もちろん閾値が１つであれば、色の境界であるか否かが判定されることになる。

さらに色置換部４は、Ｓ１５において、Ｓ１４で判定した色の境界についての判定結果と、Ｓ１３で前景判定部１により判定した前景の画素か背景の画素かを示す判定結果に従って、置換色候補を選出する。図４は、置換色候補を選出する際の判定基準の一例の説明図である。置換色候補の選出は、例えば予め設定されている判定基準に従って行えばよい。図４に示す判定基準の例では、境界強度の閾値を１つとして、境界強度から境界か否かを判定した場合を示している。境界強度から境界であると判定された場合には、前景か背景かにかかわらず、置換色候補として中間色を除く第１の色及び第２の色とする。また、境界強度から境界でないと判定された場合には、前景の画素であれば、第１の色、第２の色とともに、中間色も置換色候補とする。境界でなく、背景の画素であれば、基本的には第１の色、第２の色、中間色を置換色候補とすればよいが、この場合には背景領域であることから、例えば背景色に対応する第１の色または第２の色のいずれかを置換色候補としてもよい。なお、選定部３で中間色が選定されていない場合には第１の色と第２の色、あるいは単色を置換色候補とすればよい。

Ｓ１６において、色置換部４は置換対象の画素の色を、Ｓ１６で選出された置換色候補のいずれかの代表色に置換する。置換は、例えば置換色候補の中で、置換対象の画素の色と色空間における距離が最も近い代表色に置き換えればよい。例えば境界強度から境界と判定された画素については置換色候補として第１の色と第２の色が選出されているので、このいずれかの色に置換される。従って、色の境界においては、画像の読み込みの際のぼけや原稿上の版のずれなどが生じていても中間色には置換されず、色の境界が再現されることになる。また、淡色などの境界では色の境界とは判定されず、中間色を含めた置換色候補の中から色の置換を行うことで、その淡色に対応する中間色への置換が行われることになる。

このような処理を各画素に対して繰り返して行い、処理対象画像の各画素の色を置換して行く。全体として、境界強度が大きな値となる色境界では中間色が排除され、それ以外の領域では中間色を含めた限定色化の処理が行われることになる。また、背景部分についても、置換色候補を背景に対応する代表色に限定しておけば、不要な色が背景に現れることはない。

図５は、本発明の実施の一形態における動作の別の例を示す流れ図である。図２に示した例では、選定部３で第１の色と第２の色と中間色の組を選定して以降の処理を行う例を示した。この例に限らず、例えば選定部３では第１の色と第２の色と中間色の組を存在していれば複数組選定しておいて、色置換部４においていずれかの組を選択して置換の処理を行うように構成してもよい。図５ではその場合の例を示している。なお、この例においても、処理対象画像を限定色化するためのＭ色の代表色は、予め与えられているか、あるいは処理対象画像から予め抽出しておく。また、図２を用いて説明した内容と異なる部分について主に説明する。

Ｓ１７において、選定部３はＭ色の代表色のうちから、第１の色、第２の色を順に選択し、中間色が存在するか否かを判定して行く。中間色の判定方法としては、例えば図３で説明した方法などを使用すればよい。中間色が存在する場合には、その際に選択した第１の色、第２の色と、存在している１または複数の中間色を組にする。このような処理を、第１の色と第２の色の選択を順に変えながら繰り返して行う。これにより第１の色と第２の色と１または複数の中間色の組が存在していれば選定されることになる。もちろん代表色によって、そのような組が存在しないこともあるし、複数の組が選定されることもある。選定された組を色置換部４に出力する。

一方、Ｓ１２においては境界強度算出部２で色置換部４における置換対象の画素について処理対象画像から境界強度を算出する。また、Ｓ１３において、前景判定部１は、色置換部４における置換対象の画素について、前景の画素か背景の画素かを判定する。これらの処理は図２で説明したとおりである。

Ｓ１８において、色置換部４は、選定部３で第１の色と第２の色と中間色の組が複数選定されている場合にいずれの組を用いるか、または、組が１つの場合にはその組を用いて色の置換を行うのか、あるいは、いずれの組にも属さないかを判定する。この判定は、例えば置換対象の画素の色が、図３（Ｂ）、（Ｃ）で斜線を施した色領域に含まれる組を選択すればよい。または、置換対象の画素を含む予め定められている大きさの局所領域の画素の色から色空間におけるヒストグラム分布を作成し、そのヒストグラム分布から組を選択すればよい。あるいは、境界強度算出部２で色成分ごとに境界強度を算出しておき、各色成分の境界強度を成分とするベクトルを用いて色空間における色の変化方向を算出し、この色の変化方向から組を選択してもよい。また、選定されている組が１つである場合には、その組について上述の判定を行って、その組を用いるか否かを判定すればよい。もちろん、いずれの組にも属さない場合もある。

第１の色と第２の色と中間色の組を選択した場合には、さらに色空間における第１の色と第２の色の距離を中間色が分割する比（内分比）を求め、その内分比に従って境界強度を判定するための閾値を決定する。なお、中間色が複数存在する場合には、閾値も複数決定するとよい。そして、決定した閾値を用いて、境界強度算出部２で算出された境界強度から、色の境界としての程度を判定する。色の境界の程度としては、第１の色と第２の色の境界とみなせるのか、あるいは第１の色と中間色または第２の色と中間色の境界であるのか、などを判定する。もちろん閾値が１つであれば、色の境界であるか否かが判定されることになる。

以下、図２を用いて説明したように、Ｓ１５において、Ｓ１４で判定した色の境界についての判定結果と、Ｓ１３で前景判定部１により判定した前景の画素か背景の画素かを示す判定結果に従って、置換色候補を選出する。なお、Ｓ１８でいずれの組にも属さないと判定されている場合には、予め定められている方法により代表色の中から置換色候補を選出すればよい。そしてＳ１６において、色置換部４は置換対象の画素の色を、Ｓ１６で選出された置換色候補のいずれかの代表色に置換する。置換は、例えば置換色候補の中で、置換対象の画素の色と色空間における距離が最も近い代表色に置き換えればよい。

このような処理を各画素に対して繰り返して行い、処理対象画像の各画素の色を置換して行けばよい。このような処理でも、全体として、境界強度が大きな値となる色境界では中間色が排除され、それ以外の領域では中間色を含めた限定色化の処理が行われることになる。また、背景部分についても、置換色候補を背景に対応する代表色に限定しておけば、不要な色が背景に現れることはない。

以下、いくつかの具体例について説明する。図６は、本発明による限定化処理の第１の具体例の説明図である。図６（Ａ）には原稿の一例を示しており、簡単な例としてここでは黒の図形と灰色の図形が描かれた例を示している。なお、灰色の領域には斜線を付して示している。このような原稿を画像読取装置で読み取った画像を図６（Ｂ）に示している。この画像を処理対象画像とする。

このような処理対象画像から限定色化のための代表色を抽出し、図６（Ｃ）に示すように背景色である白と、図形色である黒と灰色の３つが抽出されたものとしている。ここでは一例として、第１の色を黒、第２の色を白とする。すると、黒と白の中間色として灰色が存在するので、黒、灰色、白の組が選定部３で選定される。

境界強度算出部２では、境界強度を算出する。すると、図６（Ｄ）に示す領域で他の部分とは異なる値が得られる。なお、図６（Ｄ）では斜線の間隔を異ならせて境界強度の違いを表している。黒の図形の境界の方が境界強度は大きな値となり、灰色の図形の境界では黒の図形の境界に比べて境界強度は小さな値となる。

色置換部４では、第１の色である黒と第２の色である白との色空間における距離を、中間色である灰色が内分する内分比（図６（Ｃ）におけるａ：ｂ）に従って境界強度に対する閾値を設定する。なお、閾値として予め設定されている閾値を用いてもよい。そして、設定された閾値と境界強度算出部２で算出された境界強度を比較し、処理対象の画素が境界の画素であるか否かを判定する。

一方、前景判定部１では処理対象画像中の各画素について前景の画素であるか背景の画素であるのかを判定し、判定結果を色置換部４へ渡す。この例では、黒の図形と灰色の図形の部分が前景、その他の部分が背景と判定され、その判定結果が色置換部４へ渡される。

色置換部４は、境界強度の判定結果と前景判定部１での判定結果をもとに、例えば図４に示した判定基準に従って置換色候補を選出する。図６（Ｅ）では前景判定部１で前景として判定された部分を黒く示し、境界と判定した部分には斜線を付して示している。図６（Ａ）に示した黒の図形も灰色の図形も、いずれも前景と判定されるので、両者とも黒く示されている。また、黒の図形については境界部分で境界強度が大きな値となるため、境界部分は境界として判定され、ここでは斜線が付されている。灰色の図形については境界部分でも境界強度が小さい値であることから境界として判定されない。そのため、境界部分に斜線を付していない。

まず、黒い図形や灰色の図形の内部では、前景であって境界部分ではないので、図４に示した判定基準から、第１の色、第２の色とともに、中間色も置換色候補とする。従って、この例では置換色候補を黒と灰色と白とする（ア、ウ）。また、黒い図形の境界部分では、前景であって境界である部分と、背景であって境界である部分が存在するが、いずれも図４に示した判定基準から、置換色候補として中間色を除く第１の色及び第２の色とする。従って、この例では置換色候補を黒と白とする（イ）。境界以外の背景については、黒、灰色、白を置換色候補とするか、あるいは黒と白を置換色候補とすればよい。

そして、処理対象の画素について、置換色候補の色のうちのいずれかに置換する。例えば色空間における距離が最も近い置換色候補の色に置換すればよい。これにより、黒の図形の内部は「黒」に、灰色の図形は「灰色」に、背景については「白」に、それぞれ置換される。黒の図形の境界部分であって、黒の図形に含まれる画素は、実際の色が灰色に近くても置換色候補から「灰色」が除外されていることから「黒」に置換される。また、黒の図形の境界部分であって、背景側の画素は、実際の色は灰色に近いが、置換色候補から「灰色」が除外されていることから「白」に置換される。このようにして、図６（Ｆ）に示すような限定色化された結果が得られる。図６（Ｂ）では現れていた境界の灰色部分が除去されている。

図７は、本発明による限定化処理の第２の具体例の説明図である。図７（Ａ）には原稿の一例を示しており、簡単な例としてここでは色成分として赤（Ｒ）、緑（Ｇ）、青（Ｂ）を用いるものとし、緑（Ｇ）と赤（Ｒ）が隣接した図形と、黄（Ｙ）の図形が描かれた例を示している。なお、図示の都合上、各色の違いを斜線の違いにより示している。このような原稿を画像読取装置で読み取った画像を図７（Ｂ）に示している。この画像を処理対象画像とする。各図形と背景との境界とともに、緑と赤が隣接する境界においても、両者が混ざり合った色である黄が現れる。以下の説明では、この緑と赤の境界における動作について説明する。

このような処理対象画像から限定色化のための代表色を抽出し、図７（Ｃ）に示すように背景色である白と、図形色である緑、赤、黄の４つが抽出されたものとしている。緑と赤が隣接する図形では、第１の色と第２の色は緑と赤となる。すると、緑と赤の中間色として黄が存在するので、緑、黄、赤の組が選定部３で選定される。

境界強度算出部２では、この例では各色成分について境界強度を算出する。色成分として赤、緑、青とすると、各色成分について境界強度に変化が現れる。すなわち、赤成分については緑の図形部分の境界部分において境界強度の値が他の部分に比べて大きくなり、緑成分については赤の図形部分の境界部分において境界強度の値が他の部分に比べて大きくなり、青成分については赤と緑が隣接する図形の境界部分と黄の図形の境界部分において境界強度の値が他の部分に比べて大きくなる。

色置換部４では、第１の色と第２の色である緑と赤との色空間における距離を、中間色である黄が内分する内分比（図７（Ｃ）におけるａ：ｂ）に従って境界強度に対する閾値を設定する。なお、閾値として予め設定されている閾値を用いてもよい。そして、設定された閾値と境界強度算出部２で算出された境界強度を比較し、処理対象の画素が境界の画素であるか否かを判定する。

一方、前景判定部１では処理対象画像中の各画素について前景の画素であるか背景の画素であるのかを判定し、判定結果を色置換部４へ渡す。この例では、緑と赤が隣接した図形と黄の図形の部分が前景、その他の部分が背景と判定され、その判定結果が色置換部４へ渡される。

色置換部４は、境界強度の判定結果と前景判定部１での判定結果をもとに、例えば図４に示した判定基準に従って置換色候補を選出する。図７（Ｄ）では前景判定部１で前景として判定された部分を黒く示し、緑と赤の境界と判定した部分には斜線を付して示している。緑の部分も赤の部分も、いずれも前景と判定されるので、両者とも黒く示されているが、その境界部分で境界強度が大きな値となるため、境界部分は境界として判定され、ここでは斜線により示している。

まず、緑及び赤の部分の内部では、前景であって境界部分ではないので、図４に示した判定基準から、第１の色、第２の色とともに、中間色も置換色候補とする。従って、この例では置換色候補を緑と黄と赤とする（ア、ウ）。なお、背景色である白を置換色候補に含めてもよい。また、緑と赤の境界部分では、緑の境界である部分と赤の境界部分が存在するが、いずれも図４に示した判定基準から、置換色候補として中間色を除く第１の色及び第２の色とする。従って、この例では置換色候補を緑と赤とする（イ）。

そして、処理対象の画素について、置換色候補の色のうちのいずれかに置換する。例えば色空間における距離が最も近い置換色候補の色に置換すればよい。これにより、緑及び赤の内部は「緑」または「赤」に置換される。また、緑と赤の境界部分については図７（Ｂ）で説明したように黄が存在する。しかし、この部分では置換色候補が「緑」または「赤」であるので、それぞれ距離が近い色、すなわち緑側の境界部分は「緑」に、赤側の境界部分は「赤」に、それぞれ置換されることになる。このようにして、図７（Ｅ）に示すような限定色化された結果が得られる。図７（Ｂ）では緑と赤の境界に存在していた黄の部分が図７（Ｅ）では除去されている。

なお、この例においては、代表色として白、緑、赤、黄の４つが抽出されていることから、中間色が存在するのは緑と赤を第１の色、第２の色として選択した場合であり、他の色を第１の色と第２の色に選択した場合には中間色は存在しない。従って、緑と赤の境界部分について置換色候補を制限すればよく、他の境界部分では２色のうちいずれかに置換されることになる。

図８は、本発明による限定化処理の第３の具体例の説明図である。この例では、図６（Ａ）に示した例と図７（Ａ）に示した例が原稿上に混在している場合であり、原稿の一例を図８（Ａ）に示している。なお、図示の都合上、各色の違いを斜線の違いにより示している。このような原稿を画像読取装置で読み取った画像を図８（Ｂ）に示している。この画像を処理対象画像とする。

このような処理対象画像から限定色化のための代表色を抽出し、図８（Ｃ）に示すように背景色である白と、図形色である黒、灰色、緑、赤、黄の６つが抽出されたものとしている。この場合、２つの色の中間色が存在する組み合わせとして、黒と灰色と白の組み合わせと、緑と黄と赤の組み合わせの２つがある。選定部３では、処理対象の画素の色、あるいは処理対象画素を含む予め設定されている大きさの処理対象画像中の領域を参照して、いずれの組に含まれるのか、あるいはいずれの組にも含まれないのかを判定し、いずれかの組に含まれる場合にはその組を選定する。

この判定は、例えば置換対象の画素の色を含む予め定められている大きさの局所領域の画素の色から、色空間におけるヒストグラムを作成し、色の分布からいずれかの組を選択すればよい。例えば黒の図形や灰色の図形では局所領域の色分布は白、灰色、黒などにピークが存在することから黒と灰色と白の組が選定される。また、緑と赤が隣接した図形や黄の図形では、緑、赤、黄などの色にピークが存在することから緑と黄と赤の組が選定される。

境界強度算出部２では、この例では各色成分について境界強度を算出する。色成分として赤、緑、青とすると、赤成分については緑の図形部分と黒の図形と灰色の図形の境界部分において境界強度の値が他の部分に比べて大きくなる。また、緑成分については赤の図形部分と黒の図形と灰色の図形の境界部分において境界強度の値が他の部分に比べて大きくなる。さらに、青成分については緑と赤が隣接した図形と、黄の図形、黒の図形、灰色の図形のいずれの境界部分においても境界強度の値が他の部分に比べて大きくなる。

色置換部４では、選定部３で選定された組に対応する境界強度判定のための閾値を設定する。いずれの組の場合も、第１の色と第２の色との色空間における距離を、中間色が内分する内分比に従って、境界強度に対する閾値を設定すればよい。なお、閾値としてそれぞれの組に対して、あるいは一律に、予め設定されている閾値を用いてもよい。そして、設定された閾値と境界強度算出部２で算出された境界強度を比較し、処理対象の画素が境界の画素であるか否かを判定する。

一方、前景判定部１では処理対象画像中の各画素について前景の画素であるか背景の画素であるのかを判定し、判定結果を色置換部４へ渡す。この例では、黒の図形、灰色の図形、緑と赤が隣接した図形、黄の図形のそれぞれの部分が前景となり、その他の部分が背景と判定される。

色置換部４は、境界強度の判定結果と前景判定部１での判定結果をもとに、例えば図４に示した判定基準に従って置換色候補を選出する。図８（Ｄ）では前景判定部１で前景として判定された部分を黒く示しており、境界強度から境界部分として判定された部分には斜線を付して示している。黒の図形の境界部分が黒と白の境界として判定され、緑と赤の境界部分も境界として判定される。

黒い図形については境界部分で置換色候補が制限され、置換色候補は黒と白となる。従って、黒い図形の境界部分に灰色が存在していても、黒または白に置換されることになる。また、緑と赤が隣接した図形の緑と赤の境界部分でも置換色候補が制限され、置換色候補は緑と赤となる。従って、緑と赤の境界部分に両者が混合した黄の色が存在していても、緑または赤に置換されることになる。このほかの部分では置換色候補は制限せず、処理対象の各画素の色から色空間における距離が最も近い代表色に置換すればよい。このようにして、図８（Ｅ）に示すような限定色化された結果が得られる。図８（Ｂ）では黒い図形の境界部分に現れていた灰色の部分が除去され、また、緑と赤の境界に存在していた黄の部分が除去されている。

上述の第３の具体例の説明では、２つの色の中間色が存在する組み合わせとして黒と灰色と白の組と緑と黄と赤の組のいずれか（あるいはいずれにも含まれないか）を判定する処理を、選定部３において行うものとした。しかしこれに限らず、図５を用いて説明したように色置換部４で行うように構成してもよい。この場合には、選定部３は黒と灰色と白の組と緑と黄と赤の組を色置換部４に対して出力する。色置換部４では、例えば上述のように置換対象の画素の色を含む予め定められている大きさの局所領域の画素の色から、色空間におけるヒストグラムを作成し、色の分布からいずれかの組を選択すればよい。あるいは、境界強度算出部２で算出した各色成分の境界強度を成分とするベクトルを用いて色空間における色の変化方向を算出し、この色の変化方向から組を選択してもよい。例えば黒や灰色の図形の境界部分ではいずれの色成分についても有意の境界強度の値が算出されている。また緑と赤が隣接する部分では緑と赤について有意の境界強度の値が算出されている。このように各色成分の境界強度の値によるベクトルを用いることにより、どのような色が隣接しているのかが分かるので、これをもとに２つの色と中間色の組を選択すればよい。組が選択された後の処理は、上述したとおりである。

図９は、本発明による限定化処理の第４の具体例の説明図である。上述の各具体例では中間色が１色の場合を示したが、中間色が複数存在する場合もある。この第４の具体例では中間色が２色存在する場合について示す。そのための簡単な例として、図９（Ａ）に原稿の一例を示すように黒の図形と濃度が異なる２つの灰色の図形が描かれた例について説明する。説明の都合上、２つの灰色のうち、濃い灰色を灰１、淡い灰色を灰２とする。なお、図９において灰色の領域には濃度に応じた斜線を付して示している。このような原稿を画像読取装置で読み取った画像を図９（Ｂ）に示している。この画像を処理対象画像とする。

このような処理対象画像から限定色化のための代表色を抽出し、図９（Ｃ）に示すように背景色である白と、図形色である黒、灰１、灰２の４色が抽出されたものとしている。ここでは、第１の色を黒、第２の色を白とし、中間色として灰１、灰２の組が選定部３で選定される。

境界強度算出部２では、黒と白の境界強度を算出する。各図形の境界部分で、それぞれの色に応じた境界強度が算出される。

色置換部４では、第１の色である黒と第２の色である白との色空間における距離を、中間色である灰色が内分する内分比（図９（Ｃ）におけるａ：ｂ：ｃ）に従って境界強度に対する閾値を設定する。閾値は中間色の数以下で設定する。この例では２つの閾値を設定する。例えば１つの閾値はａ：（ｂ＋ｃ）の内分比に従った閾値を、もう１つの閾値は（ａ＋ｂ）：ｃの内分比に従った閾値を、それぞれ設定すればよい。もちろん、閾値として予め設定されている閾値を用いてもよい。そして、設定された閾値と境界強度算出部２で算出された境界強度を比較し、白と黒の境界として、どの程度の境界強度があるかを判定する。

一方、前景判定部１では処理対象画像中の各画素について前景の画素であるか背景の画素であるのかを判定し、判定結果を色置換部４へ渡す。この例では、黒の図形と２つの灰色の図形の部分が前景、その他の部分が背景と判定され、その判定結果が色置換部４へ渡される。

色置換部４は、境界強度の判定結果と前景判定部１での判定結果をもとに、予め設定されている判定基準に従って置換色候補を選出する。図１０は、置換色候補を選出する際の判定基準の別の例の説明図である。図１０に示す判定基準の例では、境界強度の閾値を２つとして、境界強度を強、中、弱に分類する判定を行った場合を示している。境界強度が強であれば、白と黒の境界と考えられる。従って、この場合には、置換色候補を白と黒に限定する。また境界強度が中であれば、白と黒ほどの境界とは考えられないが、白と灰１の境界と考えられる。従って、この場合には置換色候補を白と灰１に限定する。境界強度が弱の場合には、前景判定部１による判定結果に従い、前景であれば白、灰２、灰１、黒の代表色の組を置換色候補とする。また背景であれば、例えば白、灰２、灰１、黒の４色、あるいは背景であることから白と灰２に限定して置換色候補としてもよい。

図９（Ｄ）では前景判定部１で前景として判定された部分を黒く示し、境界と判定した部分には斜線を付して示している。図９（Ａ）に示した黒の図形も２つの灰色の図形も、いずれも前景と判定されるので、いずれの図形も黒く示されている。また、黒の図形については境界部分で境界強度が強と判定され、灰１の図形では境界部分で境界強度が中と判定される。なお、灰２の図形については境界部分でも境界強度が弱と判定される。そのため、ここでは境界部分に斜線を付していない。

まず、各図形の内部では、前景であって境界部分ではないので、図１０に示した判定基準から、黒、灰１、灰２、白を置換色候補とする（ア、ウ、オ）。それぞれの図形の内部の色に応じて、黒の図形であれば黒に、灰１の図形であれば灰１に、灰２の図形であれば灰２に、それぞれ置換されることになる。

また、黒い図形の境界部分では、前景であって境界である部分と、背景であって境界である部分が存在するが、境界強度が強となるので、図１０に示した判定基準から、置換色候補は黒と白となる（イ）。従って、前景であって境界である部分は灰１や灰２であっても黒に、背景であって境界である部分については灰１や灰２であっても白に、それぞれ置換されることになる。

灰１の図形の境界部分では、前景であって境界である部分と、背景であって境界である部分が存在するが、境界強度が中となるので、図１０に示した判定基準から、置換色候補は灰１と白となる（エ）。従って、前景であって境界である部分は灰２であっても灰１に、また背景であって境界である部分については、灰２であっても白に、それぞれ置換されることになる。

灰２の図形については、境界部分を含めて境界強度が弱と判定されているため、前景部分では置換色候補は黒、灰１、灰２、白となるが、もともと灰２の図形であることから黒や灰１に置換されることはなく、境界部分で灰２と白の中間の色が存在していても、灰２または白に置換されることになる。

背景部分については、図１０に示した判定基準から、置換色候補は灰２と白であり、いずれかに置換されることになる。背景にむらが存在している場合や、雑音が存在する場合でも、背景であって境界強度が弱と判定されれば、灰２か白に置換されることになる。このようにして得られる限定色化された結果を図９（Ｅ）に示している。

なお、この第４の具体例では中間色が２つの場合を示したが、３つ以上の場合もあり、その場合には中間色の数以下の閾値により境界強度を分類し、それぞれの分類あるいはその分類と前景判定結果に応じた置換色候補を求めて画素の色を置換すればよい。

また、この第４の具体例は第１の具体例の変形として示しているが、第２の具体例のように異なる色が隣接する場合でも中間色が複数存在する場合があり、その場合も上述の処理を行えばよい。もちろん、第３の具体例のように第１の色と第２の色とその中間色という組み合わせが複数存在する場合もあり、その組み合わせにより存在する中間色の数が異なる場合もある。処理対象の画素の色または処理対象の画素を含む処理対象画像上の予め設定されている領域内の色などから、いずれの組に該当するか、あるいはいずれの組にも該当しないのかを判断し、いずれかの組に該当するのであればその組に対応じた処理を行えばよい。

図１１は、本発明の実施の一形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、２１はプログラム、２２はコンピュータ、３１は光磁気ディスク、３２は光ディスク、３３は磁気ディスク、３４はメモリ、４１はＣＰＵ、４２は内部メモリ、４３は読取部、４４はハードディスク、４５はインタフェース、４６は通信部である。

上述の本発明の実施の一形態で説明した各部の機能の全部あるいは部分的に、コンピュータにより実行可能なプログラム２１によって実現してもよい。その場合、そのプログラム２１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部４３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部４３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク３１，光ディスク３２（ＣＤやＤＶＤなどを含む）、磁気ディスク３３，メモリ３４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム２１を格納しておき、例えばコンピュータ２２の読取部４３あるいはインタフェース４５にこれらの記憶媒体を装着することによって、コンピュータからプログラム２１を読み出し、内部メモリ４２またはハードディスク４４に記憶し、ＣＰＵ４１によってプログラム２１を実行することによって、上述の本発明の実施の一形態で説明した機能の全部あるいは部分的に実現される。あるいは、通信路を介してプログラム２１をコンピュータ２２に転送し、コンピュータ２２では通信部４６でプログラム２１を受信して内部メモリ４２またはハードディスク４４に記憶し、ＣＰＵ４１によってプログラム２１を実行することによって実現してもよい。

コンピュータ２２には、このほかインタフェース４５を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば出力装置としての画像形成装置がインタフェース４５を介して接続され、限定色化された画像を画像形成装置で形成するように構成してもよい。または、画像読取装置がインタフェース４５を介して接続され、画像読取装置で読み取った画像を処理対象画像として限定色化の処理を行ってデータ量を削減し、ハードディスク４４に記憶させ、あるいは通信部４６を通じて外部に送信するように構成してもよい。あるいは、画像読取装置及び画像形成装置がインタフェース４５に接続され、画像読取装置で読み取った画像に限定色化の処理を行い、画像形成装置で形成するように構成してもよい。

もちろん、部分的にハードウェアによって構成することもできるし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の実施の一形態で説明した機能の全部あるいは部分的に含めたプログラムとして構成してもよい。例えば複写機などの画像読取装置や画像形成装置を含む装置において制御プログラムとともに１つのプログラムとして構成し、あるいはプリンタなどの画像形成装置を含む装置において制御プログラムとともに１つのプログラムとして構成してもよい。もちろん、他の用途に適用する場合には、その用途におけるプログラムと一体化してもよい。

１…前景判定部、２…境界強度算出部、３…選定部、４…色置換部、２１…プログラム、２２…コンピュータ、３１…光磁気ディスク、３２…光ディスク、３３…磁気ディスク、３４…メモリ、４１…ＣＰＵ、４２…内部メモリ、４３…読取部、４４…ハードディスク、４５…インタフェース、４６…通信部。

Claims (7)

1. 予め処理対象画像から抽出されあるいは予め与えられたＭ色の代表色のうち第１の色と第２の色の中間色が１以上存在する場合に前記第１の色と前記第２の色とＮ色（Ｎ＜Ｍ−２）の前記中間色を選定する選定手段と、前記処理対象画像の各画素における色の違いを示す境界強度を算出する境界強度算出手段と、前記処理対象画像の各画素の色を前記代表色のいずれかに置換する色置換手段を有し、前記色置換手段は、前記境界強度算出手段が算出した境界強度に従って境界については前記第１の色と前記第２の色を置換色候補として決定し、境界でない場合には前記第１の色と前記第２の色と前記中間色を置換色候補として決定し、前記処理対象画像の処理対象画素について置換色候補のいずれかに置換することを特徴とする画像処理装置。
2. 予め処理対象画像から抽出されあるいは予め与えられたＭ色の代表色のうち第１の色と第２の色の中間色が１以上存在する場合に前記第１の色と前記第２の色とＮ色（Ｎ＜Ｍ−２）の前記中間色を選定する選定手段と、前記処理対象画像の各画素における色の違いを示す境界強度を算出する境界強度算出手段と、前記処理対象画像の各画素の色を前記代表色のいずれかに置換する色置換手段を有し、前記色置換手段は、前記境界強度算出手段が算出した境界強度が強い境界については前記第１の色と前記第２の色を置換色候補として決定し、境界強度が中程度の境界については前記第１の色または前記第２の色と中間色を置換色候補として決定し、前記処理対象画像の処理対象画素について置換色候補のいずれかに置換することを特徴とする画像処理装置。
3. 前記色置換手段は、色空間における前記第１の色と前記第２の色の距離を前記中間色が分割する内分比に従って、前記境界強度をもとに境界を判定するための閾値を制御し、該判定の結果に従って前記置換色候補を決定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記選定手段は、前記色置換手段における置換対象の画素を含む局所領域の色ヒストグラムにより前記第１の色と前記第２の色を選定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記色置換手段は、前記選定手段により前記第１の色と前記第２の色と前記中間色の組が複数選定されている場合に、置換対象の画素を含む局所領域の特性により前記局所領域の色を判定し、該判定の結果に基づいて前記組を選択することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
6. さらに、前記色置換手段における置換対象の画素について前景の画素か背景の画素かを判定する前景判定手段を有し、前記第２の色が背景色の場合に、前記色置換手段は、前記前景判定手段が背景と判定した画素については前記第２の色に置換することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. コンピュータに、請求項１から請求項６のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

Images