JP5867683B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。

従来より、画像を背景（下地）と前景（文字、絵柄、表など）に分離し、それぞれに対して種々の処理を行っている。例えば文書画像の解析、理解を行う際の最初の処理として、文書画像の領域分離を行うことが一般に知られている。一例として特許文献１では、第１段階として文書画像を絵柄と文字に分離した後、各絵柄領域に対して２値化処理を行い、文字抽出を実現している。

文書画像の領域分離において、まず、文書画像の前景と背景を分離する必要がある。文書画像の下地の画素値がある範囲内に収まる特性を利用して、文書画像から固定閾値を算出し、算出した固定閾値を使用して文書画像を前景と背景に分離する処理が広く行われている。固定閾値を算出する技術としては、特許文献２に記載されている濃度ヒストグラムを用いる技術や特許文献３に記載されているクラスタリングにより背景の色を抽出する技術などがある。また、特許文献４では、カラー画像に対して各色成分のヒストグラムを用いて前景と背景の分離を行っている。

図１１は、固定閾値を用いた場合の前景、背景の分離処理の一例の説明図である。固定閾値を用いた処理では、文書画像の各画素の画素値（例えば明度）と固定閾値を比較し、固定閾値よりも明るい場合は背景、暗い場合は前景と判定する。図１１において、一点鎖線で固定閾値を示している。この固定閾値により、図１１（Ｂ）に示す淡い文字については前景として正しい判定がなされる。しかし、図１１（Ａ）に示す裏写りや紙面汚れ等の雑音成分が存在する場合には、これらの成分が固定閾値により前景と判定される場合がある。また、例えば図１１（Ｃ）に示す例のように、予め想定した濃度よりも淡い色の領域が存在する場合、固定閾値よりも明るく、背景と判定される場合がある。例えば図１１（Ａ）に示す雑音成分を前景と判定しないように閾値を変更すると図１１（Ｂ）に示す淡い文字が背景と判定されてしまう。逆に図１１（Ｃ）に示す淡い文字を前景として判定するように閾値を変更しても、図１１（Ａ）に示す雑音成分は依然として前景として判定されたままである。このように、固定閾値を変更しても誤判定は発生する。

画像読取装置等で読み込んだ文書画像では、これらの領域において領域内で固定閾値を跨ぐ画素値を有する可能性があり、結果として、領域の一部が誤判定されて誤抽出される。このような誤抽出された領域の影響は、後続の処理にも影響してしまう。誤判定は固定閾値を算出する方法にかかわらず、固定閾値を使用した前景、背景分離技術に共通して発生し得る。

一方、画像を２値化する技術としては、単一の固定閾値を用いる方法以外にも、いくつかの技術が提案されている。例えば特許文献５では、注目画素を囲む予め決められた範囲の画素の平均値と注目画素の画素値に応じて注目画素の画素値を補正した後、閾値を設定して二値化している。また特許文献６では、注目画素がエッジ画素であるか否かに応じて、隣接画素の閾値と注目画素を取り囲む画素の濃度平均値とに基づく第１の閾値と、注目画素を取り囲む画素の濃度値に基づく第２の閾値とを切り替えて用い、二値化している。さらに特許文献７では、注目画素を含む３×３画素の濃度の平均値と注目画素の濃度との差がある範囲内であれば固定閾値により二値化し、濃度差がある範囲を超えている場合には３×３画素の濃度の平均値により二値化している。

これらの２値化の技術は、いずれも注目画素からある範囲の画素の状況に応じて閾値を切り替える技術である。そのため、例えば画像中に存在する絵柄上に文字が存在する場合には、絵柄部分を背景、文字を前景として２値化する。従って、背景（下地）とそれ以外の前景（文字、絵柄、表など）に分離されない場合がある。

特開２００５−１８４４０２号公報 特開平５−６３９６８号公報 特開２００１−２２２７１７号公報 特開２０１０−１８７２７０号公報 特開２００１−２９８６１５号公報 特開２００５−３１１９９２号公報 特開平６−２７６３９２号公報

本発明は、画像中の前景と背景との分離を、本構成を有しない場合に比べて確実に行うことができる画像処理装置および画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、注目画素の画素値が予め決められた第１の閾値から予め決められた範囲内であるか否かを判定する画素値判定手段と、注目画素を含む予め決められた範囲の画素から特徴量を抽出する特徴量抽出手段と、注目画素の画素値と前記第１の閾値と前記画素値判定手段による判定結果と前記特徴量抽出手段で抽出した特徴量に基づいて注目画素が前景に属するか背景に属するかを判定する前景背景判定手段と、輝度または明度を成分として有する色空間の画像について注目画素の輝度または明度の成分を画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する第１の判定手段と、前記第１の判定手段で背景と判定された注目画素について該注目画素の輝度または明度成分以外の色成分を画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する第２の判定手段を有することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、注目画素の画素値が予め決められた第１の閾値から予め決められた範囲内であるか否かを判定する画素値判定手段と、注目画素を含む予め決められた範囲の画素から特徴量を抽出する特徴量抽出手段と、注目画素の画素値と前記第１の閾値と前記画素値判定手段による判定結果と前記特徴量抽出手段で抽出した特徴量に基づいて注目画素が前景に属するか背景に属するかを判定する前景背景判定手段と、注目画素の値を構成する複数の色成分をそれぞれ画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する複数の色成分判定手段と、前記複数の色成分判定手段の判定結果のいずれかが前景であると判定した場合に前記注目画素が前景に属すると判定し、いずれも背景として判定している場合に前記注目画素が背景に属すると判定する総合判定手段を有することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の発明における前記前景背景判定手段が、前記画素値判定手段で注目画素の画素値が前記第１の閾値から予め決められた範囲内であると判定された場合に、注目画素の画素値と前記特徴量抽出手段で抽出した特徴量に従って注目画素が前景に属するか背景に属するかを判定することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、本願請求項３に記載の発明における前記特徴量抽出手段が、注目画素を含む予め決められた範囲の画素の画素値から平均の画素値を特徴量として抽出し、前記前景背景判定手段は、前記特徴量抽出手段で抽出した平均の画素値に従って第２の閾値を設定し、該第２の閾値と注目画素の画素値とを比較し、注目画素が前景に属するか背景に属するかを判定することを特徴とする画像処理装置である。

本願請求項５に記載の発明は、本願請求項１から請求項４のいずれか１項に記載の発明における前記前景背景判定手段は、前記画素値判定手段で注目画素の画素値が前記第１の閾値から予め決められた範囲外であると判定された場合に、注目画素の画素値と前記第１の閾値を比較して注目画素が前景に属するか背景に属するかを判定することを特徴とする画像処理装置である。

本願請求項６に記載の発明は、コンピュータに、請求項１から請求項５のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、カラー画像に対しても固定閾値のみを用いる場合に比べて確実に前景と背景を判定することができるという効果がある。

本願請求項２に記載の発明によれば、カラー画像に対しても固定閾値のみを用いる場合に比べて確実に前景と背景を判定することができるという効果がある。

本願請求項３に記載の発明によれば、第１の閾値では誤った判定を行う可能性がある場合について、本構成を有しない場合に比べて確実に前景と背景の判定を行うことができる。

本願請求項４に記載の発明によれば、裏写りや紙面汚れ等の雑音成分と淡い文字などの前景成分とを、本構成を有しない場合に比べて確実に判定することができる。

本願請求項５に記載の発明によれば、本構成を有しない場合に比べて、明らかに前景、背景と判定される領域を、特徴量を用いた判定から除外して処理を高速化することができる。

本願請求項６に記載の発明によれば、本願請求項１から請求項５のいずれか１項に記載の発明の効果を得ることができる。

本発明の実施の一形態を示す構成図である。 本発明の実施の一形態における動作の一例を示す流れ図である。 本発明の実施の一形態における前景、背景の分離処理の一例の説明図である。 本発明の実施の一形態における具体的な画像に対する前景、背景の判定処理の一例の説明図である。 本発明の実施の一形態の変形例を示す構成図である。 本発明の実施の一形態の変形例における動作の一例を示す流れ図である。 本発明の実施の一形態の第１の応用例の構成図である。 本発明の実施の一形態の第１の応用例における第２判定部３２の動作の一例を示す流れ図である。 本発明の実施の一形態の第２の応用例の構成図である。 本発明の実施の一形態またはその変形例、応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。 固定閾値を用いた場合の前景、背景の分離処理の一例の説明図である。

図１は、本発明の実施の一形態を示す構成図である。図中、１１は画素値判定部、１２は特徴量抽出部、１３は前景背景判定部である。ここでは、処理対象の画像が与えられ、その画像のそれぞれの画素を注目画素として、その注目画素が前景であるか背景であるのかを判定する処理を行ってゆくものとする。もちろん、複数の画素をまとめて注目画素とし、前景または背景の判定を行ってもよい。

また、第１の閾値は前景と背景を判別するために従来から用いられている固定閾値であり、予め与えられるものとする。例えば、想定される淡い文字の色が前景として判別される閾値を設定すればよい。処理対象の画像を用い、例えば濃度ヒストグラムなどから、この第１の閾値を生成するように構成してもよい。例えば特許文献１や特許文献２の技術を利用してもよい。もちろん、他の種々の技術により第１の閾値を設定してもよいし、手動で設定してもかまわない。文書画像を対象とする場合、ある程度の下地領域が存在する場合が想定され、基本的に固定閾値である第１の閾値による前景、背景の判定を行い、第１の閾値では誤判定の場合が想定される場合に、特徴量を用いた判定を行う。

画素値判定部１１は、注目画素の画素値が、与えられた第１の閾値から予め決められた範囲内であるか否かを判定する。この範囲は、固定閾値である第１の閾値を用いた前景と背景の判定を行った場合に誤判定される場合がある範囲として設定するものである。範囲の設定は予め行っておけばよく、例えば第１の閾値からの相対的な範囲として設定しておいてもよい。

特徴量抽出部１２は、注目画素を含む予め決められた範囲の画素から特徴量を抽出する。抽出する特徴量としては、注目画素を含む予め決められた範囲の画素の画素値から平均の画素値を特徴量とするとよい。もちろんそのほかにも、例えば１次微分、２次微分など、周囲の画素と注目画素との違いが得られる他の特徴量であってもよい。

前景背景判定部１３は、注目画素の画素値と、第１の閾値と、画素値判定部１１による判定結果と、特徴量抽出部１２で抽出した特徴量に基づいて、注目画素が前景に属するか背景に属するかを判定する。具体的な例としては、画素値判定部１１で注目画素の画素値が第１の閾値から予め決められた範囲外であると判定された場合に、注目画素の画素値と第１の閾値を比較して注目画素が前景に属するか背景に属するかを判定する。また、画素値判定部１１で注目画素の画素値が第１の閾値から予め決められた範囲内であると判定された場合に、注目画素の画素値と特徴量抽出部１２で抽出した特徴量に従って、注目画素が前景に属するか背景に属するかを判定する。特徴量抽出部１２で抽出した特徴量が平均の画素値である場合には、平均の画素値に従って第２の閾値を設定し、その第２の閾値と注目画素の画素値とを比較し、注目画素が前景に属するか背景に属するかを判定すればよい。特徴量抽出部１２で抽出する特徴量がそれ以外の特徴量である場合でも、その特徴量に応じた判定を行えばよい。

図２は、本発明の実施の一形態における動作の一例を示す流れ図である。Ｓ２１において、画像中の注目画素を設定し、その画素値を取得して各部に渡される。Ｓ２２において、特徴量抽出部１２は、注目画素を含む予め決められた範囲の画素から特徴量を抽出する。ここでは、平均の画素値を特徴量として抽出するものとする。なお、このＳ２２の処理は、次のＳ２３の処理と並行して、あるいはＳ２３の処理の後に行ってもよい。

Ｓ２３において、画素値判定部１１は注目画素の画素値が、与えられた第１の閾値から予め決められた範囲内であるか否かを判定する。予め決められた範囲外である場合には、固定閾値である第１の閾値を用いた前景と背景の判定を行っても支障はないものとし、Ｓ２４において、前景背景判定部１３は注目画素の画素値と第１の閾値を比較して、注目画素が前景に属するか背景に属するかを判定する。例えば第１の閾値よりも暗い画素であれば前景として判定し、第１の閾値よりも明るい画素であれば背景として判定すればよい。

一方、Ｓ２３で注目画素の画素値が第１の閾値から予め決められた範囲内であると判定されている場合には、固定閾値である第１の閾値を用いた前景と背景の判定では誤判定される場合があるものとして、Ｓ２５において、前景背景判定部１３は特徴量抽出部１２で抽出した平均の画素値に従って第２の閾値を設定し、この第２の閾値と注目画素の画素値とを比較し、注目画素が前景に属するか背景に属するかを判定する。第２の閾値は、平均の画素値そのもの、あるいは、雑音成分などによる変化量を見込んで平均の画素値に予め決めておいた値を加減算した値とするとよい。この注目画素の画素値が第１の閾値から予め決められた範囲内である場合には、周囲の画素に対して注目画素が異なる特徴を有していれば前景として判定し、周囲の画素と変わらぬ特徴を有していれば背景として判定するものである。具体的には第２の閾値よりも暗い画素であれば、その注目画素は周囲と異なる特徴を有しているものとして前景と判定し、第２の閾値よりも明るい画素であれば、その注目画素は周囲と変わらぬ特徴を有しているものとして背景と判定すればよい。

Ｓ２６において、与えられた画像の各画素についてすべて注目画素として処理を行ったか否かを判定し、未処理の画素が残っている場合にはＳ２１へ戻り、注目画素を変更して処理を繰り返す。未処理の画素がなくなれば処理を終了する。

図３は、本発明の実施の一形態における前景、背景の分離処理の一例の説明図である。図３においては、曲線により画像中の画素値の変化を示している。また、一点鎖線で示す第１の閾値から±αの範囲を予め決められた範囲として、この範囲の内外判定を画素値判定部１１で行うものとしている。

図３（Ａ）は背景部分を示しており、この場合には第１の閾値から±αの範囲外であるので、第１の閾値との比較により前景、背景の判定を行う。この例では第１の閾値よりも明るいので、背景と判定する。

図３（Ｂ）は濃い文字部分を示しており、この場合も第１の閾値から±αの範囲外であるので、第１の閾値との比較により前景、背景の判定を行う。この例では第１の閾値よりも暗いので、前景と判定する。

図３（Ｃ）、（Ｄ）、（Ｅ）は注目画素の画素値が第１の閾値から±αの範囲内となっている場合を示している。この場合には、固定閾値である第１の閾値で前景、背景の判定を行うと前景と誤判定する場合がある。このような場合には、周囲の画素に対して注目画素が異なる特徴を有していれば前景として判定し、周囲の画素と変わらぬ特徴を有していれば背景として判定する。ここでは注目画素を含む予め決められた範囲の画素、すなわち周辺を含む画素の画素値から平均の画素値を特徴量として求め、この平均の画素値を暗い側にずらして（平均の画素値に予め決めておいた値を加算して）第２の閾値として、この第２の閾値を用いて前景か背景かの判定を行う。この第２の閾値を破線で示している。

図３（Ｃ）は裏写りや紙面汚れ等の雑音成分が存在する部分を示しており、第１の閾値から±αの範囲内となっている。従って、注目画素と第２の閾値とを比較し、前景、背景の判定を行う。裏写りや紙面汚れ等の雑音成分は、ぼやけて広がりを有する場合が多く、注目画素と周囲の画素との特徴の違いは文字の場合と比べてはっきりとしない。そのため、注目画素の画素値は平均の画素値に類似した値となり、平均の画素値を暗くした第２の閾値よりも明るい、すなわち背景と判定されることになる。

図３（Ｄ）は淡い文字の場合を示しており、第１の閾値から±αの範囲内となっているので、注目画素と第２の閾値とを比較し、前景、背景の判定を行う。淡い文字では、その文字線は周囲と比べ、淡くても色の違いははっきりしており、特徴がある。そのため、平均の画素値から得た第２の閾値よりも注目画素の画素値は暗いと判断され、前景と判定される。

図３（Ｅ）に示す例では、図３（Ｄ）に示す例よりも淡い文字の場合を示している。この例では、固定閾値である第１の閾値を用いた前景、背景の判定では、注目画素の画素値が第１の閾値よりも明るいので背景と判定されてしまう。しかしこの例では、第１の閾値から±αの範囲内となっているので、第１の閾値との比較を行うのではなく、注目画素と第２の閾値とを比較し、前景、背景の判定を行う。この図３（Ｅ）に示した例でも、平均の画素値から得た第２の閾値よりも注目画素の画素値は暗いと判断され、前景と判定される。

この例のように、この実施の形態では、図１１に示した固定閾値では背景と判定されなかった雑音成分が存在する部分を背景として判定し、固定閾値では前景と判定されなかった淡い文字も前景として判定されている。

図４は、本発明の実施の一形態における具体的な画像に対する前景、背景の判定処理の一例の説明図である。図４（Ａ）に示す画像の具体例では、領域ａには色つきの矩形内に表題文字が描かれている。また、領域ｂには円グラフが、領域ｃには表が、領域ｄには写真が、領域ｅには淡い文字が、それぞれ描かれている。さらにこの画像には、雑音領域ｐが３カ所存在している。そして、前景と背景の判定結果を図４（Ｂ）に示しており、黒く示した領域が前景と判定された部分である。

領域ａについては、矩形の色が第１の閾値から予め決められた範囲外であるものとしており、矩形中に描かれている表題文字についても第１の閾値から予め決められた範囲外である。そのため、領域ａは全体として前景と判定される。なお、第１の閾値を用いずに、従来の二値化技術で用いられている平均の画素値から得られる第２の閾値を用いて判定すると、矩形内に背景と判定される部分が生じ、異なった判定結果となる。

領域ｂ、領域ｄについては、全体として第１の閾値から予め決められた範囲外であるものとし、前景と判定される。また領域ｃについては、表の罫線や文字の線分などの画素がそのまま前景と判定され、図４（Ｂ）に示すように判定される。この場合、領域ｃ全体が前景と判定されるわけではない。

領域ｅに描かれている淡い文字については、例えば第１の閾値から予め決められた範囲外となる濃さであれば前景と判定される。もし、第１の閾値から予め決められた範囲内である場合でも、周囲の画素の平均の画素値に従って得た第２の閾値を用いて判定することにより、前景と判定される。

雑音領域ｐについては、第１の閾値から予め決められた範囲外となる淡い雑音成分であれば背景と判定される。もし、第１の閾値から予め決められた範囲内である場合でも、周囲にも雑音成分の画素が広がっており、平均の画素値に従って得た第２の閾値を用いて判定することにより、背景と判定される。

このようにして、図４（Ａ）に示す画像の場合には、図４（Ｂ）に白（背景）と黒（前景）で示すような判定が行われることになる。

図５は、本発明の実施の一形態の変形例を示す構成図である。この変形例では、画素値判定部１１の判定結果を特徴量算出部１２にも渡している。特徴量算出部１２は注目画素を含む予め決められた範囲の画素から特徴量を抽出するが、この処理を、画素値判定部１１で注目画素の画素値が第１の閾値から予め決められた範囲内であると判定された場合について行う。それ以外については上述したとおりである。この構成では、すべての注目画素について特徴量算出部１２で特徴量を抽出する場合に比べて、特徴量の抽出処理が減ることになる。

図６は、本発明の実施の一形態の変形例における動作の一例を示す流れ図である。図２と比べて、Ｓ２２の処理をＳ２３により注目画素の画素値が第１の閾値から予め決められた範囲内であると判定された場合の処理に移動している点で異なっている。

Ｓ２１において、画像中の注目画素を設定し、Ｓ２３において、画素値判定部１１は注目画素の画素値が、与えられた第１の閾値から予め決められた範囲内であるか否かを判定する。予め決められた範囲外である場合には、Ｓ２４において、前景背景判定部１３は注目画素の画素値と第１の閾値を比較して、注目画素が前景に属するか背景に属するかを判定する。この処理の流れは図２で説明したとおりである。

一方、Ｓ２３で注目画素の画素値が第１の閾値から予め決められた範囲内であると判定されている場合には、Ｓ２２において、特徴量抽出部１２は、注目画素を含む予め決められた範囲の画素から特徴量を抽出する。例えば、注目画素を含む予め決められた範囲の画素の平均の画素値を特徴量として抽出する。Ｓ２５において、前景背景判定部１３は特徴量抽出部１２で抽出した平均の画素値に従って第２の閾値を設定し、この第２の閾値と注目画素の画素値とを比較し、注目画素が前景に属するか背景に属するかを判定する。このＳ２２およびＳ２５において行われる処理の内容自体は図２とともに説明したとおりである。

Ｓ２６において、与えられた画像の各画素についてすべて注目画素として処理を行ったか否かを判定し、未処理の画素が残っている場合にはＳ２１へ戻り、注目画素を変更して処理を繰り返す。未処理の画素がなくなれば処理を終了する。

カラー画像の場合、それぞれの画素の値は複数の色成分の値で構成されている。例えばＹＣｂＣｒ色空間であればＹ成分、Ｃｂ成分、Ｃｒ成分により画素値が構成される。また、例えばＬＡＢ色空間であれば、Ｌ＊成分、ａ＊成分、ｂ＊成分により画素値が構成される。他の色空間においても複数の成分により画素値が構成されることになる。カラー画像に対しては、例えば輝度あるいは明度成分に対して上述の判定を行えばよい。また、輝度あるいは明度成分以外の成分も用いて判定してもよく、その一例を応用例として示す。

図７は、本発明の実施の一形態の第１の応用例の構成図である。図中、３１は第１判定部、３２は第２判定部である。ここでは一例として、画像の色空間がＹＣｂＣｒ色空間であるものとし、画素値はＹ成分，Ｃｂ成分，Ｃｒ成分により構成されているものとする。この第１の応用例は特許文献４に記載されている構成に本発明の実施の一形態あるいはその変形例を適用した例を示している。

第１判定部３１は、画素の輝度成分であるＹ成分を用い、上述の実施の形態あるいはその変形例において説明した方法により前景と背景の判定を行う。

第２判定部３２は、画素の色差成分であるＣｂ成分、Ｃｒ成分を用い、第１判定部３１で背景と判定された画素について、さらに前景と背景の判定を行う。この判定は、基本的には上述の実施の形態あるいはその変形例において説明した方法により行う。その際に、画素値判定部１１はＣｂ成分、Ｃｒ成分のそれぞれについて、与えられた第１の閾値から予め決められた範囲内であるか否かを判定すればよい。あるいは、Ｃｂ成分とＣｒ成分から色差、例えば√（Ｃｂ² ＋Ｃｒ² ）などを算出して、この色差が与えられた第１の閾値から予め決められた範囲内であるか否かを判定してもよい。

図８は、本発明の実施の一形態の第１の応用例における第２判定部３２の動作の一例を示す流れ図である。Ｓ４１において、画像中の注目画素を設定し、その画素値を取得して各部に渡される。

Ｓ４２において、注目画素のＣｂ成分がＣｂ成分に対応する第１の閾値から予め決められた範囲内か否かを判定する。またＳ４３において、注目画素のＣｒ成分がＣｒ成分に対応する第１の閾値から予め決められた範囲内か否かを判定する。なお、この判定はいずれを先に行ってもかまわない。

Ｓ４２でＣｂ成分が対応する第１の閾値から予め決められた範囲外であると判定された場合、あるいは、Ｓ４３でＣｒ成分が対応する第１の閾値から予め決められた範囲外であると判定された場合には、固定閾値である第１の閾値を用いた前景と背景の判定を行っても支障はないものとし、Ｓ４４において、前景背景判定部１３で注目画素のＣｂ成分とＣｂ成分に対応する第１の閾値、Ｃｒ成分とＣｒ成分に対応する第１の閾値を比較して、注目画素が前景に属するか背景に属するかを判定する。例えば、Ｃｂ成分がＣｂ成分に対応する第１の閾値よりも大きい値であれば、Ｃｒ成分にかかわらず前景として判定し、Ｃｒ成分がＣｒ成分に対応する第１の閾値よりも大きい値であれば、Ｃｂ成分にかかわらず前景として判定すればよい。また、Ｃｂ成分がＣｂ成分に対応する第１の閾値よりも小さく、かつ、Ｃｒ成分がＣｒ成分に対応する第１の閾値よりも小さい場合には、背景として判定すればよい。

一方、Ｓ４２で注目画素のＣｂ成分がＣｂ成分に対応する第１の閾値から予め決められた範囲内であると判定され、かつ、Ｓ４３で注目画素のＣｒ成分がＣｒ成分に対応する第１の閾値から予め決められた範囲内であると判定された場合には、固定閾値である第１の閾値を用いた前景と背景の判定では誤判定される場合があるものとして、Ｓ４５において、注目画素を含む予め決められた範囲の画素から特徴量を抽出する。この処理は上述の特徴量抽出部１２の処理に対応するものであり、例えば、平均のＣｂ成分、Ｃｒ成分の値を特徴量として抽出すればよい。もちろん、そのほかの特徴量を抽出してもよい。図２で説明した処理の流れに従い、Ｓ４１の処理の後で行ってもよい。

Ｓ４６において、Ｓ４５で抽出した特徴量、例えば平均のＣｂ成分、Ｃｒ成分の値に従ってそれぞれの成分の第２の閾値を設定し、Ｃｂ成分とＣｂ成分に対応する第２の閾値、Ｃｒ成分とＣｒ成分に対応する第２の閾値とを比較し、注目画素が前景に属するか背景に属するかを判定する。この処理は、上述の前景背景判定部１３の処理に対応するものである。

Ｓ４７において、与えられた画像の各画素についてすべて注目画素として処理を行ったか否かを判定し、未処理の画素が残っている場合にはＳ４１へ戻り、注目画素を変更して処理を繰り返す。未処理の画素がなくなれば処理を終了する。

この第１の応用例では、第１判定部３１で輝度成分であるＹ成分を用いて前景と背景の判定を行っている。背景と彩度が異なる前景となる領域でも、輝度では背景と判定されてしまう場合があり、第２判定部３２で色差成分を用いて判定して、このような場合についても背景と前景を分離している。なお、この第１の応用例はＹＣｂＣｒ色空間に限らず、ＬＡＢ色空間などの明度成分を含む各種の色空間を用いる場合であってもよい。また、例えばＲＧＢ色空間やＣＭＹ色空間、ＣＭＹＫ色空間などでは、輝度あるいは明度成分を算出して第１判定部３１で前景と背景の判定を行い、背景と判定された画素について、第２判定部３２で各色成分を用いて前景と背景の判定を行えばよい。

図９は、本発明の実施の一形態の第２の応用例の構成図である。図中、５１はＲ判定部、５２はＧ判定部、５３はＢ判定部、５４は総合判定部である。この第２の応用例では、それぞれの色成分ごとに判定を行う場合について示しており、その一例としてＲＧＢ色空間の場合の構成を示している。

Ｒ判定部５１は、画素のＲ成分を用い、上述の実施の形態あるいはその変形例において説明した方法により前景と背景の判定を行う。またＧ判定部５２は、画素のＧ成分を用い、上述の実施の形態あるいはその変形例において説明した方法により前景と背景の判定を行う。さらにＢ判定部５３は、画素のＢ成分を用い、上述の実施の形態あるいはその変形例において説明した方法により前景と背景の判定を行う。Ｒ判定部５１、Ｇ判定部５２、Ｂ判定部５３とも、使用する色成分が異なるが、処理は上述の実施の形態あるいはその変形例において説明した方法により前景と背景の判定を行うものである。

総合判定部５４は、Ｒ判定部５１、Ｇ判定部５２、Ｂ判定部５３の判定結果を総合して前景に属するか背景に属するかを判定する。具体例としては、Ｒ判定部５１、Ｇ判定部５２、Ｂ判定部５３のいずれかが前景と判定していれば前景とし、Ｒ判定部５１、Ｇ判定部５２、Ｂ判定部５３とも背景と判定している場合に背景とすればよい。

この例ではＲＧＢ色空間の場合を示したが、これに限らず、ＣＭＹ色空間やＣＭＹＫ色空間、あるいは第１の応用例で用いたＹＣｂＣｒ色空間やＬＡＢ色空間、さらにはその他の各種の色空間において、それぞれの色成分についての判定とその判定結果を総合した判定を行えばよい。

図１０は、本発明の実施の一形態またはその変形例、応用例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、６１はプログラム、６２はコンピュータ、７１は光磁気ディスク、７２は光ディスク、７３は磁気ディスク、７４はメモリ、８１はＣＰＵ、８２は内部メモリ、８３は読取部、８４はハードディスク、８５はインタフェース、８６は通信部である。

上述の本発明の実施の一形態またはその変形例、応用例で説明した各部の機能を全部あるいは部分的に、コンピュータに実行させるプログラム６１によって実現してもよい。その場合、そのプログラム６１およびそのプログラムが用いるデータなどは、コンピュータが読み取る記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部８３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部８３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク７１，光ディスク７２（ＣＤ、ＤＶＤなどを含む）、磁気ディスク７３，メモリ７４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム６１を格納しておき、例えばコンピュータ６２の読取部８３あるいはインタフェース８５にこれらの記憶媒体を装着してコンピュータからプログラム６１を読み出し、内部メモリ８２またはハードディスク８４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ８１によってプログラム６１を実行することによって、上述の本発明の実施の一形態またはその変形例、応用例で説明した機能が全部あるいは部分的に実現される。あるいは、通信路を介してプログラム６１をコンピュータ６２に転送し、コンピュータ６２では通信部８６でプログラム６１を受信して内部メモリ８２またはハードディスク８４に記憶し、ＣＰＵ８１によってプログラム６１を実行することによって実現してもよい。

コンピュータ６２には、このほかインタフェース８５を介して様々な装置と接続してもよい。もちろん、部分的にハードウェアによって構成してもよいし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の実施の一形態で説明した機能の全部あるいは部分的に含めたプログラムとして構成してもよい。例えば本発明の実施の一形態またはその変形例、応用例で説明した前景、背景の判定結果を用いる他のプログラムとを一体としたプログラムとしてもよい。他の用途に適用する場合についても、その用途におけるプログラムと一体化してもよい。

１１…画素値判定部、１２…特徴量抽出部、１３…前景背景判定部、３１…第１判定部、３２…第２判定部、５１…Ｒ判定部、５２…Ｇ判定部、５３…Ｂ判定部、５４…総合判定部、６１…プログラム、６２…コンピュータ、７１…光磁気ディスク、７２…光ディスク、７３…磁気ディスク、７４…メモリ、８１…ＣＰＵ、８２…内部メモリ、８３…読取部、８４…ハードディスク、８５…インタフェース、８６…通信部。

Claims (6)

1. 注目画素の画素値が予め決められた第１の閾値から予め決められた範囲内であるか否かを判定する画素値判定手段と、注目画素を含む予め決められた範囲の画素から特徴量を抽出する特徴量抽出手段と、注目画素の画素値と前記第１の閾値と前記画素値判定手段による判定結果と前記特徴量抽出手段で抽出した特徴量に基づいて注目画素が前景に属するか背景に属するかを判定する前景背景判定手段と、輝度または明度を成分として有する色空間の画像について注目画素の輝度または明度の成分を画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する第１の判定手段と、前記第１の判定手段で背景と判定された注目画素について該注目画素の輝度または明度成分以外の色成分を画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する第２の判定手段を有することを特徴とする画像処理装置。
2. 注目画素の画素値が予め決められた第１の閾値から予め決められた範囲内であるか否かを判定する画素値判定手段と、注目画素を含む予め決められた範囲の画素から特徴量を抽出する特徴量抽出手段と、注目画素の画素値と前記第１の閾値と前記画素値判定手段による判定結果と前記特徴量抽出手段で抽出した特徴量に基づいて注目画素が前景に属するか背景に属するかを判定する前景背景判定手段と、注目画素の値を構成する複数の色成分をそれぞれ画素値として前記画素値判定手段と前記特徴量抽出手段と前記前景背景判定手段により前記注目画素が前景に属するか背景に属するかを判定する複数の色成分判定手段と、前記複数の色成分判定手段の判定結果のいずれかが前景であると判定した場合に前記注目画素が前景に属すると判定し、いずれも背景として判定している場合に前記注目画素が背景に属すると判定する総合判定手段を有することを特徴とする画像処理装置。
3. 前記前景背景判定手段は、前記画素値判定手段で注目画素の画素値が前記第１の閾値から予め決められた範囲内であると判定された場合に、注目画素の画素値と前記特徴量抽出手段で抽出した特徴量に従って注目画素が前景に属するか背景に属するかを判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記特徴量抽出手段は、注目画素を含む予め決められた範囲の画素の画素値から平均の画素値を特徴量として抽出し、前記前景背景判定手段は、前記特徴量抽出手段で抽出した平均の画素値に従って第２の閾値を設定し、該第２の閾値と注目画素の画素値とを比較し、注目画素が前景に属するか背景に属するかを判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記前景背景判定手段は、前記画素値判定手段で注目画素の画素値が前記第１の閾値から予め決められた範囲外であると判定された場合に、注目画素の画素値と前記第１の閾値を比較して注目画素が前景に属するか背景に属するかを判定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. コンピュータに、請求項１から請求項５のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。

Images