JP4340842B2 - 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 - Google Patents
画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP4340842B2 JP4340842B2 JP2003023093A JP2003023093A JP4340842B2 JP 4340842 B2 JP4340842 B2 JP 4340842B2 JP 2003023093 A JP2003023093 A JP 2003023093A JP 2003023093 A JP2003023093 A JP 2003023093A JP 4340842 B2 JP4340842 B2 JP 4340842B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- representative
- pixel
- image
- local area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー画像中の特定領域の代表的な位置の特定や特定領域の抽出、あるいはさらに代表的な色の算出を行う画像処理技術とその応用技術に関するものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影された自然画像において、人物の肌や、草木の緑や、空などの色調整を行ったり、画像のシーンを判定する場合は、画像中の特定領域を抽出する技術が不可欠となる。特に当該画像についてユーザの記憶に残る色（以下、記憶色と呼ぶ）の調整では、ユーザが記憶している色をなるべく再現することが望まれる。そのためには、正確に代表となる色を決定しなければならず、画像中の記憶色領域の正確な抽出が重要となる。
【０００３】
しかしながら、一般に、領域抽出などの画像認識手法は処理が複雑な場合が多く、処理時間もかかってしまう。そのため、実用的には、色調整などで用いられる記憶色領域の代表色決定には、画素のヒストグラムからおおよその代表色を決定するものが多い。
【０００４】
例えば、特許文献１に記載されている対象領域の代表色を決定する方法では、全画素に対し色相を計算し、あらかじめ分割されている色相領域のそれぞれに対しヒストグラムを作成し、分割された各色相領域に対して代表色候補指数を計算し、指数が最も大きい領域を代表色が存在する色相領域とし、該色相領域の画素の平均値を代表色としている。しかし、このような色相のヒストグラムから代表色を決定した場合、同色を有している対象外の領域の色が代表色として決定されてしまう場合があるという問題がある。
【０００５】
また、画像中から記憶色領域を抽出する画像認識方法としては、例えば、特許文献２に記載の「画像中の空を検出する方法」がある。この方法は、記憶色の中でも空領域の抽出に特化した方法で、自然画像から空領域のみを抽出する方法である。この方法では、ニューラルネットワークによって全画素について色を分類し、画素の空らしさを示すヒストグラムを作成して、そのヒストグラムから空候補領域を推定する。さらに、推定された空候補領域において、水平線から上に向かったときのグラデーションの特徴をＲＧＢの成分変化によって表し、該特徴と一般的な空領域の特徴を照合させることにより、空領域を決定している。
【０００６】
この方法では、空領域に関しては概ね抽出することができる。しかし、この方法でも、水平線から上に向かって近似されたＲＧＢグラデーションの特徴に当てはまらないような空などは、正確に抽出できない場合がある。また、空以外の領域については抽出することができない。
【０００７】
【特許文献１】
特許第３２６４２７３号公報
【特許文献２】
特開２００１−１９５５９１号公報
【０００８】
【発明が解決しようとする課題】
本発明は、このような問題を解決するためになされたもので、画像中の対象となる領域、特に、記憶色領域の代表位置や代表色を精度よく決定することができる画像処理方法および画像処理装置と、対象となる領域の代表領域を正確に決定する画像処理方法および画像処理装置、さらにこのような技術を応用して色調整を行い、またシーンの判定を行う画像処理方法及び画像処理装置を提供することを目的とするものである。また、このような画像処理方法を実行する画像処理プログラムと、その画像処理プログラムを格納した記憶媒体を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明は、ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表位置を特定する画像処理方法および画像処理装置において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし、前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置として特定することを特徴とするものである。さらに代表位置の画素あるいはさらに該画素の周辺の画素から、カラー画像中の対象となる領域の代表となる代表色を算出することを特徴とするものである。
【００１０】
上述の技術を用い、ＲＧＢで表されるカラー画像から対象となる領域を代表する代表領域を抽出する画像処理方法及び画像処理装置において、カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成するとともに、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の代表となる位置を表す代表位置として特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を生成し、前記代表領域画像が表す領域を代表領域とすることを特徴とするものである。さらに、得られた代表領域の画素を用いて、対象となる領域を代表する代表色を算出することを特徴とするものである。
【００１３】
別の代表位置を求める方法としては、複数のクラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を代表位置としてもよい。
【００１４】
なお、複数の局所領域特徴量によりあらかじめ学習させたニューラルネットワークの出力値によって、対象となる領域に最も近いと判断された局所領域内の画素の位置を代表位置として求めてもよい。
【００１５】
上述のような画像処理方法によって算出された対象となる領域の代表色を用い、その代表色が好ましい色に調整されるように、対象となる領域の色を調整することによって、カラー画像中の対象となる領域の色を調整する画像処理方法及び画像処理装置を提供することができる。また、上述のような画像処理方法によって算出された対象となる領域の代表色を用い、または代表領域の画素を用いて、カラー画像のシーンを判定する画像処理方法及び画像処理装置を提供することができる。
【００１６】
さらに本発明は、上述のような画像処理をコンピュータに実行させる画像処理プログラム、及び、そのようなプログラムを格納した記憶媒体を提供するものである。
【００１７】
【発明の実施の形態】
図１は、本発明の第１の実施の形態を表すブロック図である。図中、１１は代表位置算出部、１２は代表色算出部である。なお、入力画像としてはカラー画像が入力されるものとしている。
【００１８】
代表位置算出部１１では、入力画像から対象となる領域の中で、代表となる位置を決定する。そのための手法として、入力画像中の画素と、その画素の周辺の画素からなる局所的な領域を局所領域とし、局所領域の画素から、その局所領域の特徴を表す局所領域特徴量を算出する。入力画像中の多数の局所領域について局所領域特徴量を算出し、得られた局所領域特徴量から代表位置を特定することができる。局所領域特徴量は、局所領域中の画素の色を示す画素値から平均を求めて局所領域画素平均値とし、または、その画素値のばらつき度合いを表す局所領域画素分散値を求め、これらの少なくとも１つを局所領域特徴量として用いることができる。より詳細な説明について後述する。
【００１９】
代表色算出部１２は、上述のようにして代表位置算出部１１で決定された代表位置と、その代表位置を中心にもつ局所領域を用いて、局所領域内の画素平均（色の平均値）を算出し、それを対象となる領域の代表色とする。もちろん、画素平均以外の方法で代表色を算出してもよいし、代表位置の色（画素値）を代表色としてもよい。
【００２０】
図２は、本発明の第１の実施の形態における代表位置算出部の動作の一例の説明図である。なお、この例では入力画像として、例えばデジタルカメラで風景を撮影した画像や、風景写真をスキャナで読み取った画像など、風景画像が入力されるものとし、その風景画像中の「空」領域を対象領域とするものとして説明を行う。
【００２１】
図２中の太線の矩形が局所領域を示している。局所領域は、設定された大きさの局所的な領域であり、空色の代表位置は、この局所領域を用いて算出した特徴量が最も空領域らしい値を有する位置とすればよい。
【００２２】
このような代表位置を求めるため、図２（Ａ）に示した例では画像の左から順に局所領域を設定してゆき、それぞれの局所領域内の特徴である局所領域特徴量を算出してゆく。このようにして画像全体から局所領域毎に局所領域特徴量を算出して、その中で最も空領域らしい値となる局所領域特徴量が算出された局所領域の中心画素の位置を代表位置とすればよい。
【００２３】
局所領域の設定及び局所領域特徴量の算出は、例えば画像中のすべての画素をそれぞれ中心画素として局所領域を設定して局所領域特徴量を算出するほか、局所領域を重ならないように隣接して配置したり、あるいは、適当な間隔を持って離散的に局所領域を設定してもよい。また、画像の全領域について行わなくてもよく、例えば、空はおおよそ画像上半分の領域にあると仮定して、上半分で行ってもよい。または、図２（Ａ）に示すように画像の左から順に計算しなくとも、右、上、下から順に行ってもよいし、画像全体でランダムに行ってもよい。代表位置は、その画像の中で最も対象領域らしい領域の中心位置なので、この中心位置が決定できれば、画像中における局所領域の計算の順番はどのようにしてもよい。
【００２４】
局所領域特徴量としては、上述のように局所領域中の画素の色を示す画素値の平均値や画素値のばらつき度合いを用いることができる。特に対象領域が空領域であり、例えば、画素がＲＧＢで表されるときには、これらの局所領域平均値や局所領域画素分散値を用い、以下の条件を最もよく満たす局所領域の中心画素を、空領域の条件を満たす代表位置として決定することができる。
【００２５】
（１）局所領域内の画素平均値が、Ｂ成分が最大である。
この条件は、局所領域内の画素平均値を、（Ｒｒave ，Ｇｒave ，Ｂｒave ）としたとき、
Ｂｒave ＝ｍａｘ（Ｒｒave ，Ｇｒave ，Ｂｒave ） （式１）
で表すことができる。この条件は空の色の一般的な特徴を表すものである。例えば、壁のグレーと曇り空のグレーは、一見、同じような色をしている。しかし、空の場合は曇り空の場合でもＲＧＢ成分の中ではＢ成分が最大値をとることが多い。
【００２６】
（２）局所領域内の画素平均値の中でＲＧ成分のうち小さい方の成分とＢ成分の差が設定された閾値以上である。
この条件は、局所領域が（１）の条件を満たし、かつ、
｜Ｂｒave −ｍｉｎ（Ｒｒave ，Ｇｒave ）｜＞θ （式２）
であることを意味する。壁や他の領域のように、空領域以外と思われるグレーと分けるために、例えば、式２のような条件を入れればよい。
【００２７】
（３）局所領域内の画素の分散値が十分に小さい。
（１），（２）の条件を満たし、かつ、このような性質をもつ領域が最も空らしいものとすると、以下のように定式化できる。空らしさをＬとして、
Ｌ＝１／（１＋ｓ） （式３）
ここで、ｓは局所領域内の画素の分散を表すものとし、
ｓ＝ΣiΣj((Ｒij−Ｒｒave )＋(Ｇij−Ｇｒave )＋(Ｂij−Ｂｒave )) （式４）
と表すことができる。ここで、ｉ，ｊは局所領域の（ｉ，ｊ）番目の画素の位置であるとする。
【００２８】
空領域とよく似た領域として、海や湖の領域が挙げられる。しかし、例えば波の少ない澄んだ空のような湖面をした湖における局所領域でも、空領域で最も分散が小さい部分よりは画素の分散が大きいことが多い。空以外の他の青い領域でも同様である。このため、式４によって空領域らしい部分を見分けることができる。
【００２９】
上述のように、画像中の全領域における局所領域で、（１），（２）の条件を満足し、（３）で算出される空らしさが最も大きい（分散が最も小さい）領域である局所領域の中心値を、図２（Ｂ）に示すように空領域の代表位置とすればよい。
【００３０】
上述のようにして代表位置算出部１１で決定された代表位置と、代表位置を中心にもつ局所領域を用い、代表色算出部１２において局所領域内の画素平均（色の平均値）を算出し、それを対象となる領域（この例では空領域）の代表色とすればよい。このようにして、対象となる領域の代表位置と代表色を求めることができる。
【００３１】
図３は、本発明の第１の実施の形態における代表位置算出部の別の例の説明図である。１３は特徴量抽出部、１４はニューラルネットワークである。対象となる領域について、上述のように条件を予め設定することによって代表位置を決定することができるが、条件を設定する代わりに、ニューラルネットワークを利用して代表位置を決定することもできる。
【００３２】
図３に示す例では、いずれも特徴量抽出部１３において対象となる領域の色やその平均値、ばらつき度合い、あるいはその他様々な特徴量を抽出し、ニューラルネットワーク１４の入力とする。図３（Ａ）に示す例では、ニューラルネットワーク１４は教師ありニューラルネットワークであり、対象領域ならば１、そうでなければ０というようにあらかじめ学習させておく。そして、学習したニューラルネットワークの出力ニューロンが最も大きい値を算出した局所領域の中心位置を代表位置とすることができる。
【００３３】
また、図３（Ｂ）に示す例では、ニューラルネットワーク１４は教師なしのニューラルネットワークであり、空や草など複数の対象領域（対象領域Ａ，Ｂ，Ｃ）を自己組織的に学習させておく。そして、学習したニューラルネットワークを用い、対象領域Ａ，Ｂ，Ｃのうち特定したい領域の出力ニューロンが最も大きい値を算出した局所領域の中心位置を代表位置とすることもできる。
【００３４】
図４は、本発明の第２の実施の形態を表すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。２１は色空間クラスタリング部、２２は代表色クラスタ画素抽出部、２３は代表領域連結部である。この第２の実施の形態では、上述の第１の実施の形態に、色空間クラスタリング部２１と、代表色クラスタ画素抽出部２２と、代表領域連結部２３とを追加したものである。このような構成により、広範囲にわたる代表領域を抽出でき、抽出された代表領域から代表色を決定することができる。
【００３５】
色空間クラスタリング部２１では、入力画像の全画素の値（画素値）、すなわち全画素の色を色空間の点として表現し、その色空間においてクラスタリングを行う。クラスタリングは、例えば、Ｋ−ｍｅａｎｓ法を用いてもよいし、ニューラルネットワーク自己組織化アルゴリズムを用いるなど、任意のクラスタリング手法を用いることができる。
【００３６】
図５は、ＲＧＢ色空間におけるクラスタリング処理の一例の説明図である。ここでは色空間の一例としてＲＧＢ色空間を用いている。入力画像の画素毎の色を色空間に配置すると、例えば図５（Ａ）に白丸で示すようになる。黒丸で示す適当な初期クラスタ重心を与えてクラスタリング処理を行うと、図５（Ｂ）に細線で示すように類似した色ごとにクラスタに分割される。ここでは４つのクラスタに分割した例を示している。この時点では、同じクラスタに含まれている色に対応する画素が、必ずしも対象となる領域に含まれる画素であるとは限らない。
【００３７】
なお、色空間はＲＧＢ空間に限らず、Ｌ* ａ* ｂ* 色空間など、他の色空間を用いて行うこともできる。また、クラスタ数もこれに限らずどのように設定してもよく、例えば個数を予め決めておくほか、クラスタ分割の停止条件を設定して、その停止条件となるまでクラスタへの分割を繰り返してもよい。
【００３８】
さらに色空間クラスタリング部２１は、クラスタリング後、同じクラスタに属する色に対応する画素が同じラベルをもつような色領域分割画像を生成する。図６は、入力画像と色領域分割画像の一例の説明図である。図６（Ａ）に示すような入力画像が与えられ、この入力画像の全画素の色を色空間に配置してクラスタリングを行うことによって図５（Ｂ）に示したように４つのクラスタに分割されたとする。それぞれのクラスタ１〜４に含まれる色に対応する画素について、それぞれラベル１〜４を付与すると、図６（Ｂ）に示すように、色の類似している画素が同じラベルを有した色領域分割画像が得られる。
【００３９】
代表位置算出部１１は、上述の第１の実施の形態で説明した方法で代表位置を求めてもよいが、この第２の実施の形態では、図４中、点線の矢印で示したように、色空間クラスタリング部２１で生成された色領域分割画像を用いることにより、局所領域特徴量を計算する範囲を限定することができる。例えば、空領域を対象領域とし、図５（Ｂ）に示すように４つのクラスタに分割した場合、まず、クラスタ１〜４のそれぞれのクラスタ毎に、クラスタに含まれる画素に対応した色（画素値）の平均値を算出し、その平均値が上述の第１の実施の形態に示した式及び式２の条件を満たすクラスタを調べる。そして条件に適合するすべてのクラスタに分類された色（画素値）を有する画素により構成される領域について、局所領域特徴量を計算する範囲として設定する。この範囲内で式３と式４で示す空らしさが最大となるような局所領域の中心位置を代表位置とすればよい。
【００４０】
代表色クラスタ画素抽出部２２では、色空間クラスタリング部２１で生成された色領域分割画像と、代表位置算出部１１で算出された代表位置を用いて、代表位置の画素が属するクラスタを代表色クラスタとし、この代表色クラスタ中の画素がすべて抽出された代表色クラスタ画像を生成する。図７は、代表色クラスタ画像の生成方法の一例の説明図である。図７（Ａ）は図５（Ｂ）と同様のクラスタリング結果を示し、また図７（Ｂ）は図６（Ｂ）と同様の色領域分割画像を示している。ここで、図７（Ａ）に示すように、代表位置の画素に対応する色がクラスタ１に属しているものとする。この場合、クラスタ１が代表色クラスタとなる。従って、図７（Ｂ）に示す色領域分割画像のうち、代表色クラスタであるクラスタ１に対応するラベル１が付与された画素のみをすべて抽出する。これによって、図７（Ｃ）にハッチングによって示した部分の画素が抽出され、代表色クラスタ画像が生成される。
【００４１】
代表領域連結部２３では、代表色クラスタ画素抽出部２２で生成された代表色クラスタ画像と、代表位置算出部１１で算出された代表位置を用いて、対象領域の代表となる領域の画素の連結を行う。代表色クラスタ画素抽出部２２で生成された代表色クラスタ画像は、代表位置の画素の色（画素値）が属するクラスタに分類された色（画素値）の画素をすべて抽出している。そのため、例えば空を対象領域とした場合でも、代表色クラスタ画像には海などの空以外の領域の画素も抽出されている可能性がある。そこで代表領域連結部２３では、代表色クラスタ画像の中で、代表位置算出部１１で算出された代表位置から画素を連結してゆき、代表位置を含む領域を抽出する。連結している画素をすべて抽出した領域を、代表領域画像とする。
【００４２】
図８は、代表領域画像の抽出処理の一例の説明図である。図８（Ａ）には図７（Ｃ）に示した代表色クラスタ画像を示している。この中には、空の色と類似した色の水面部分も含まれている。ここで、例えば代表位置が図８（Ａ）中の黒丸で示した画素であったとすると、この代表位置から連続している画素を連結してゆく。これによって、図８（Ｂ）にハッチングを施して示す領域が代表領域として抽出されることになる。
【００４３】
代表色算出部１２では、代表領域連結部２３で生成された代表領域画像で表される代表領域中の画素の値から代表色を算出する。例えば代表領域中の画素値の平均値を代表色とすることができる。もちろん、他の算出方法でもよく、例えば代表位置との距離などに基づいた重みを用いるほか、種々の算出方法を適用可能である。なお、代表領域を抽出する用途においては、この代表色算出部１２を設けずに構成してもよい。
【００４４】
なお、上述の第１及び第２の実施の形態における説明中では対象領域が空領域の場合について例示しているが、本発明はこれに限らず、他の対象領域についても同様にして代表領域の抽出及び代表色の算出を行うことができる。例えばデジタルカメラ用のファイルフォーマットとしてＥｘｉｆがあるが、このフォーマット中には撮影モードに関する情報も含まれており、例えば風景モードで撮影された画像に対しては上述のような空領域の存在が予め予想されるし、山領域や海領域などの存在も予想される。またポートレートモードであれば人物の肌領域の存在が予想される。このようにそれぞれのモードにおいて存在が予想される領域を対象領域として、代表位置、代表色、代表領域の抽出などを行うことができる。
【００４５】
図９は、本発明の第３の実施の形態を示すブロック図である。図中、３１は代表色算出部、３２は色調整部である。この第３の実施の形態では、上述の第１，第２の実施の形態で説明した構成を色調整に応用した例を示している。代表色算出部３１は、上述の第１，第２の実施の形態で説明したようにして代表色を算出する。色調整部３２は、代表色算出部３１で算出された代表色が好ましい色に調整されるように、対象となる領域の色を調整する。
【００４６】
例えば対象領域が空である場合、知覚している空の色と入力画像中の空の色とを比べると、入力画像の方が明度が低下しているように感じる場合が多い。そのため、空領域については明度を高めに調整することが望まれる。このとき、どの程度の調整を行えばよいかを、代表色を基準として調整量あるいは調整比等を決めることができる。そして、例えば上述の第２の実施の形態で説明したようにして得られた代表領域に対して、決めた調整量や調整比等に従って色調整を行えばよい。もちろん、色の調整方法は任意であり、各種の方法を適用することができる。このように、精度よく求められた代表位置から得られる代表色と代表領域に基づいて色調整を行うことによって、画像毎に対象領域に対して最適な色調整を行うことができる。
【００４７】
図１０は、本発明の第４の実施の形態を示すブロック図である。図中、４１は代表特徴取得部、４２はシーン判定部である。この第４の実施の形態では、上述の第１，第２の実施の形態で説明した構成をシーン判定に応用した例を示している。代表特徴取得部４１は、上述の第１，第２の実施の形態で説明したようにして代表色の算出や代表領域の抽出などを行う。このような代表色の算出や代表領域の抽出などを、いくつかの対象領域について行ってもよい。
【００４８】
シーン判定部４２は、代表特徴取得部４１で取得された代表色や代表領域の特徴などをもとに、画像のシーンを判定することができる。例えば上述のように対象領域を空領域として代表色を抽出すれば、昼間の画像か、朝夕の画像化などを判定することができる。また、空領域以外にも各種の領域について、代表色や代表領域を取得し、それらの関係から、例えば風景の画像であるとか、人物をメインとした画像であるとか、何らかの物体を対象とした画像であるか、など、様々な画像シーンを判定することができる。シーンの判定方法は任意であり、各種の既存の技術を適用することが可能である。
【００４９】
上述の第３，第４の実施の形態では、第１及び第２の実施の形態として示した本発明の応用例について示したが、これらの例に限らず、種々の用途への応用が可能であることは言うまでもない。
【００５０】
図１１は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【００５１】
上述の本発明の各実施の形態で説明した機能は、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２（ＣＤやＤＶＤなどを含む）、磁気ディスク１１３，メモリ１１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００５２】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。なお、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像中の対象となる領域の代表位置や代表色、代表領域を精度よく決定することができる。特に記憶色領域の一つである空領域については、局所領域あるいはクラスタが上述の式１及び式２の条件を満たし、さらに局所領域内の平均値やばらつき度合いなどの特徴量から、空領域の代表点及びその代表点から代表色や代表領域を精度よく得ることができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を表すブロック図である。
【図２】 本発明の第１の実施の形態における代表位置算出部の動作の一例の説明図である。
【図３】 本発明の第１の実施の形態における代表位置算出部の別の例の説明図である。
【図４】 本発明の第２の実施の形態を表すブロック図である。
【図５】 ＲＧＢ色空間におけるクラスタリング処理の一例の説明図である。
【図６】 入力画像と色領域分割画像の一例の説明図である。
【図７】 代表色クラスタ画像の生成方法の一例の説明図である。
【図８】 代表領域画像の抽出処理の一例の説明図である。
【図９】 本発明の第３の実施の形態を示すブロック図である。
【図１０】 本発明の第４の実施の形態を示すブロック図である。
【図１１】 本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１１…代表位置算出部、１２…代表色算出部、１３…特徴量抽出部、１４…ニューラルネットワーク、２１…色空間クラスタリング部、２２…代表色クラスタ画素抽出部、２３…代表領域連結部、３１…代表色算出部、３２…色調整部、４１…代表特徴取得部、４２…シーン判定部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。
【発明の属する技術分野】
本発明は、カラー画像中の特定領域の代表的な位置の特定や特定領域の抽出、あるいはさらに代表的な色の算出を行う画像処理技術とその応用技術に関するものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影された自然画像において、人物の肌や、草木の緑や、空などの色調整を行ったり、画像のシーンを判定する場合は、画像中の特定領域を抽出する技術が不可欠となる。特に当該画像についてユーザの記憶に残る色（以下、記憶色と呼ぶ）の調整では、ユーザが記憶している色をなるべく再現することが望まれる。そのためには、正確に代表となる色を決定しなければならず、画像中の記憶色領域の正確な抽出が重要となる。
【０００３】
しかしながら、一般に、領域抽出などの画像認識手法は処理が複雑な場合が多く、処理時間もかかってしまう。そのため、実用的には、色調整などで用いられる記憶色領域の代表色決定には、画素のヒストグラムからおおよその代表色を決定するものが多い。
【０００４】
例えば、特許文献１に記載されている対象領域の代表色を決定する方法では、全画素に対し色相を計算し、あらかじめ分割されている色相領域のそれぞれに対しヒストグラムを作成し、分割された各色相領域に対して代表色候補指数を計算し、指数が最も大きい領域を代表色が存在する色相領域とし、該色相領域の画素の平均値を代表色としている。しかし、このような色相のヒストグラムから代表色を決定した場合、同色を有している対象外の領域の色が代表色として決定されてしまう場合があるという問題がある。
【０００５】
また、画像中から記憶色領域を抽出する画像認識方法としては、例えば、特許文献２に記載の「画像中の空を検出する方法」がある。この方法は、記憶色の中でも空領域の抽出に特化した方法で、自然画像から空領域のみを抽出する方法である。この方法では、ニューラルネットワークによって全画素について色を分類し、画素の空らしさを示すヒストグラムを作成して、そのヒストグラムから空候補領域を推定する。さらに、推定された空候補領域において、水平線から上に向かったときのグラデーションの特徴をＲＧＢの成分変化によって表し、該特徴と一般的な空領域の特徴を照合させることにより、空領域を決定している。
【０００６】
この方法では、空領域に関しては概ね抽出することができる。しかし、この方法でも、水平線から上に向かって近似されたＲＧＢグラデーションの特徴に当てはまらないような空などは、正確に抽出できない場合がある。また、空以外の領域については抽出することができない。
【０００７】
【特許文献１】
特許第３２６４２７３号公報
【特許文献２】
特開２００１−１９５５９１号公報
【０００８】
【発明が解決しようとする課題】
本発明は、このような問題を解決するためになされたもので、画像中の対象となる領域、特に、記憶色領域の代表位置や代表色を精度よく決定することができる画像処理方法および画像処理装置と、対象となる領域の代表領域を正確に決定する画像処理方法および画像処理装置、さらにこのような技術を応用して色調整を行い、またシーンの判定を行う画像処理方法及び画像処理装置を提供することを目的とするものである。また、このような画像処理方法を実行する画像処理プログラムと、その画像処理プログラムを格納した記憶媒体を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明は、ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表位置を特定する画像処理方法および画像処理装置において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし、前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置として特定することを特徴とするものである。さらに代表位置の画素あるいはさらに該画素の周辺の画素から、カラー画像中の対象となる領域の代表となる代表色を算出することを特徴とするものである。
【００１０】
上述の技術を用い、ＲＧＢで表されるカラー画像から対象となる領域を代表する代表領域を抽出する画像処理方法及び画像処理装置において、カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成するとともに、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の代表となる位置を表す代表位置として特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を生成し、前記代表領域画像が表す領域を代表領域とすることを特徴とするものである。さらに、得られた代表領域の画素を用いて、対象となる領域を代表する代表色を算出することを特徴とするものである。
【００１３】
別の代表位置を求める方法としては、複数のクラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を代表位置としてもよい。
【００１４】
なお、複数の局所領域特徴量によりあらかじめ学習させたニューラルネットワークの出力値によって、対象となる領域に最も近いと判断された局所領域内の画素の位置を代表位置として求めてもよい。
【００１５】
上述のような画像処理方法によって算出された対象となる領域の代表色を用い、その代表色が好ましい色に調整されるように、対象となる領域の色を調整することによって、カラー画像中の対象となる領域の色を調整する画像処理方法及び画像処理装置を提供することができる。また、上述のような画像処理方法によって算出された対象となる領域の代表色を用い、または代表領域の画素を用いて、カラー画像のシーンを判定する画像処理方法及び画像処理装置を提供することができる。
【００１６】
さらに本発明は、上述のような画像処理をコンピュータに実行させる画像処理プログラム、及び、そのようなプログラムを格納した記憶媒体を提供するものである。
【００１７】
【発明の実施の形態】
図１は、本発明の第１の実施の形態を表すブロック図である。図中、１１は代表位置算出部、１２は代表色算出部である。なお、入力画像としてはカラー画像が入力されるものとしている。
【００１８】
代表位置算出部１１では、入力画像から対象となる領域の中で、代表となる位置を決定する。そのための手法として、入力画像中の画素と、その画素の周辺の画素からなる局所的な領域を局所領域とし、局所領域の画素から、その局所領域の特徴を表す局所領域特徴量を算出する。入力画像中の多数の局所領域について局所領域特徴量を算出し、得られた局所領域特徴量から代表位置を特定することができる。局所領域特徴量は、局所領域中の画素の色を示す画素値から平均を求めて局所領域画素平均値とし、または、その画素値のばらつき度合いを表す局所領域画素分散値を求め、これらの少なくとも１つを局所領域特徴量として用いることができる。より詳細な説明について後述する。
【００１９】
代表色算出部１２は、上述のようにして代表位置算出部１１で決定された代表位置と、その代表位置を中心にもつ局所領域を用いて、局所領域内の画素平均（色の平均値）を算出し、それを対象となる領域の代表色とする。もちろん、画素平均以外の方法で代表色を算出してもよいし、代表位置の色（画素値）を代表色としてもよい。
【００２０】
図２は、本発明の第１の実施の形態における代表位置算出部の動作の一例の説明図である。なお、この例では入力画像として、例えばデジタルカメラで風景を撮影した画像や、風景写真をスキャナで読み取った画像など、風景画像が入力されるものとし、その風景画像中の「空」領域を対象領域とするものとして説明を行う。
【００２１】
図２中の太線の矩形が局所領域を示している。局所領域は、設定された大きさの局所的な領域であり、空色の代表位置は、この局所領域を用いて算出した特徴量が最も空領域らしい値を有する位置とすればよい。
【００２２】
このような代表位置を求めるため、図２（Ａ）に示した例では画像の左から順に局所領域を設定してゆき、それぞれの局所領域内の特徴である局所領域特徴量を算出してゆく。このようにして画像全体から局所領域毎に局所領域特徴量を算出して、その中で最も空領域らしい値となる局所領域特徴量が算出された局所領域の中心画素の位置を代表位置とすればよい。
【００２３】
局所領域の設定及び局所領域特徴量の算出は、例えば画像中のすべての画素をそれぞれ中心画素として局所領域を設定して局所領域特徴量を算出するほか、局所領域を重ならないように隣接して配置したり、あるいは、適当な間隔を持って離散的に局所領域を設定してもよい。また、画像の全領域について行わなくてもよく、例えば、空はおおよそ画像上半分の領域にあると仮定して、上半分で行ってもよい。または、図２（Ａ）に示すように画像の左から順に計算しなくとも、右、上、下から順に行ってもよいし、画像全体でランダムに行ってもよい。代表位置は、その画像の中で最も対象領域らしい領域の中心位置なので、この中心位置が決定できれば、画像中における局所領域の計算の順番はどのようにしてもよい。
【００２４】
局所領域特徴量としては、上述のように局所領域中の画素の色を示す画素値の平均値や画素値のばらつき度合いを用いることができる。特に対象領域が空領域であり、例えば、画素がＲＧＢで表されるときには、これらの局所領域平均値や局所領域画素分散値を用い、以下の条件を最もよく満たす局所領域の中心画素を、空領域の条件を満たす代表位置として決定することができる。
【００２５】
（１）局所領域内の画素平均値が、Ｂ成分が最大である。
この条件は、局所領域内の画素平均値を、（Ｒｒave ，Ｇｒave ，Ｂｒave ）としたとき、
Ｂｒave ＝ｍａｘ（Ｒｒave ，Ｇｒave ，Ｂｒave ） （式１）
で表すことができる。この条件は空の色の一般的な特徴を表すものである。例えば、壁のグレーと曇り空のグレーは、一見、同じような色をしている。しかし、空の場合は曇り空の場合でもＲＧＢ成分の中ではＢ成分が最大値をとることが多い。
【００２６】
（２）局所領域内の画素平均値の中でＲＧ成分のうち小さい方の成分とＢ成分の差が設定された閾値以上である。
この条件は、局所領域が（１）の条件を満たし、かつ、
｜Ｂｒave −ｍｉｎ（Ｒｒave ，Ｇｒave ）｜＞θ （式２）
であることを意味する。壁や他の領域のように、空領域以外と思われるグレーと分けるために、例えば、式２のような条件を入れればよい。
【００２７】
（３）局所領域内の画素の分散値が十分に小さい。
（１），（２）の条件を満たし、かつ、このような性質をもつ領域が最も空らしいものとすると、以下のように定式化できる。空らしさをＬとして、
Ｌ＝１／（１＋ｓ） （式３）
ここで、ｓは局所領域内の画素の分散を表すものとし、
ｓ＝ΣiΣj((Ｒij−Ｒｒave )＋(Ｇij−Ｇｒave )＋(Ｂij−Ｂｒave )) （式４）
と表すことができる。ここで、ｉ，ｊは局所領域の（ｉ，ｊ）番目の画素の位置であるとする。
【００２８】
空領域とよく似た領域として、海や湖の領域が挙げられる。しかし、例えば波の少ない澄んだ空のような湖面をした湖における局所領域でも、空領域で最も分散が小さい部分よりは画素の分散が大きいことが多い。空以外の他の青い領域でも同様である。このため、式４によって空領域らしい部分を見分けることができる。
【００２９】
上述のように、画像中の全領域における局所領域で、（１），（２）の条件を満足し、（３）で算出される空らしさが最も大きい（分散が最も小さい）領域である局所領域の中心値を、図２（Ｂ）に示すように空領域の代表位置とすればよい。
【００３０】
上述のようにして代表位置算出部１１で決定された代表位置と、代表位置を中心にもつ局所領域を用い、代表色算出部１２において局所領域内の画素平均（色の平均値）を算出し、それを対象となる領域（この例では空領域）の代表色とすればよい。このようにして、対象となる領域の代表位置と代表色を求めることができる。
【００３１】
図３は、本発明の第１の実施の形態における代表位置算出部の別の例の説明図である。１３は特徴量抽出部、１４はニューラルネットワークである。対象となる領域について、上述のように条件を予め設定することによって代表位置を決定することができるが、条件を設定する代わりに、ニューラルネットワークを利用して代表位置を決定することもできる。
【００３２】
図３に示す例では、いずれも特徴量抽出部１３において対象となる領域の色やその平均値、ばらつき度合い、あるいはその他様々な特徴量を抽出し、ニューラルネットワーク１４の入力とする。図３（Ａ）に示す例では、ニューラルネットワーク１４は教師ありニューラルネットワークであり、対象領域ならば１、そうでなければ０というようにあらかじめ学習させておく。そして、学習したニューラルネットワークの出力ニューロンが最も大きい値を算出した局所領域の中心位置を代表位置とすることができる。
【００３３】
また、図３（Ｂ）に示す例では、ニューラルネットワーク１４は教師なしのニューラルネットワークであり、空や草など複数の対象領域（対象領域Ａ，Ｂ，Ｃ）を自己組織的に学習させておく。そして、学習したニューラルネットワークを用い、対象領域Ａ，Ｂ，Ｃのうち特定したい領域の出力ニューロンが最も大きい値を算出した局所領域の中心位置を代表位置とすることもできる。
【００３４】
図４は、本発明の第２の実施の形態を表すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。２１は色空間クラスタリング部、２２は代表色クラスタ画素抽出部、２３は代表領域連結部である。この第２の実施の形態では、上述の第１の実施の形態に、色空間クラスタリング部２１と、代表色クラスタ画素抽出部２２と、代表領域連結部２３とを追加したものである。このような構成により、広範囲にわたる代表領域を抽出でき、抽出された代表領域から代表色を決定することができる。
【００３５】
色空間クラスタリング部２１では、入力画像の全画素の値（画素値）、すなわち全画素の色を色空間の点として表現し、その色空間においてクラスタリングを行う。クラスタリングは、例えば、Ｋ−ｍｅａｎｓ法を用いてもよいし、ニューラルネットワーク自己組織化アルゴリズムを用いるなど、任意のクラスタリング手法を用いることができる。
【００３６】
図５は、ＲＧＢ色空間におけるクラスタリング処理の一例の説明図である。ここでは色空間の一例としてＲＧＢ色空間を用いている。入力画像の画素毎の色を色空間に配置すると、例えば図５（Ａ）に白丸で示すようになる。黒丸で示す適当な初期クラスタ重心を与えてクラスタリング処理を行うと、図５（Ｂ）に細線で示すように類似した色ごとにクラスタに分割される。ここでは４つのクラスタに分割した例を示している。この時点では、同じクラスタに含まれている色に対応する画素が、必ずしも対象となる領域に含まれる画素であるとは限らない。
【００３７】
なお、色空間はＲＧＢ空間に限らず、Ｌ* ａ* ｂ* 色空間など、他の色空間を用いて行うこともできる。また、クラスタ数もこれに限らずどのように設定してもよく、例えば個数を予め決めておくほか、クラスタ分割の停止条件を設定して、その停止条件となるまでクラスタへの分割を繰り返してもよい。
【００３８】
さらに色空間クラスタリング部２１は、クラスタリング後、同じクラスタに属する色に対応する画素が同じラベルをもつような色領域分割画像を生成する。図６は、入力画像と色領域分割画像の一例の説明図である。図６（Ａ）に示すような入力画像が与えられ、この入力画像の全画素の色を色空間に配置してクラスタリングを行うことによって図５（Ｂ）に示したように４つのクラスタに分割されたとする。それぞれのクラスタ１〜４に含まれる色に対応する画素について、それぞれラベル１〜４を付与すると、図６（Ｂ）に示すように、色の類似している画素が同じラベルを有した色領域分割画像が得られる。
【００３９】
代表位置算出部１１は、上述の第１の実施の形態で説明した方法で代表位置を求めてもよいが、この第２の実施の形態では、図４中、点線の矢印で示したように、色空間クラスタリング部２１で生成された色領域分割画像を用いることにより、局所領域特徴量を計算する範囲を限定することができる。例えば、空領域を対象領域とし、図５（Ｂ）に示すように４つのクラスタに分割した場合、まず、クラスタ１〜４のそれぞれのクラスタ毎に、クラスタに含まれる画素に対応した色（画素値）の平均値を算出し、その平均値が上述の第１の実施の形態に示した式及び式２の条件を満たすクラスタを調べる。そして条件に適合するすべてのクラスタに分類された色（画素値）を有する画素により構成される領域について、局所領域特徴量を計算する範囲として設定する。この範囲内で式３と式４で示す空らしさが最大となるような局所領域の中心位置を代表位置とすればよい。
【００４０】
代表色クラスタ画素抽出部２２では、色空間クラスタリング部２１で生成された色領域分割画像と、代表位置算出部１１で算出された代表位置を用いて、代表位置の画素が属するクラスタを代表色クラスタとし、この代表色クラスタ中の画素がすべて抽出された代表色クラスタ画像を生成する。図７は、代表色クラスタ画像の生成方法の一例の説明図である。図７（Ａ）は図５（Ｂ）と同様のクラスタリング結果を示し、また図７（Ｂ）は図６（Ｂ）と同様の色領域分割画像を示している。ここで、図７（Ａ）に示すように、代表位置の画素に対応する色がクラスタ１に属しているものとする。この場合、クラスタ１が代表色クラスタとなる。従って、図７（Ｂ）に示す色領域分割画像のうち、代表色クラスタであるクラスタ１に対応するラベル１が付与された画素のみをすべて抽出する。これによって、図７（Ｃ）にハッチングによって示した部分の画素が抽出され、代表色クラスタ画像が生成される。
【００４１】
代表領域連結部２３では、代表色クラスタ画素抽出部２２で生成された代表色クラスタ画像と、代表位置算出部１１で算出された代表位置を用いて、対象領域の代表となる領域の画素の連結を行う。代表色クラスタ画素抽出部２２で生成された代表色クラスタ画像は、代表位置の画素の色（画素値）が属するクラスタに分類された色（画素値）の画素をすべて抽出している。そのため、例えば空を対象領域とした場合でも、代表色クラスタ画像には海などの空以外の領域の画素も抽出されている可能性がある。そこで代表領域連結部２３では、代表色クラスタ画像の中で、代表位置算出部１１で算出された代表位置から画素を連結してゆき、代表位置を含む領域を抽出する。連結している画素をすべて抽出した領域を、代表領域画像とする。
【００４２】
図８は、代表領域画像の抽出処理の一例の説明図である。図８（Ａ）には図７（Ｃ）に示した代表色クラスタ画像を示している。この中には、空の色と類似した色の水面部分も含まれている。ここで、例えば代表位置が図８（Ａ）中の黒丸で示した画素であったとすると、この代表位置から連続している画素を連結してゆく。これによって、図８（Ｂ）にハッチングを施して示す領域が代表領域として抽出されることになる。
【００４３】
代表色算出部１２では、代表領域連結部２３で生成された代表領域画像で表される代表領域中の画素の値から代表色を算出する。例えば代表領域中の画素値の平均値を代表色とすることができる。もちろん、他の算出方法でもよく、例えば代表位置との距離などに基づいた重みを用いるほか、種々の算出方法を適用可能である。なお、代表領域を抽出する用途においては、この代表色算出部１２を設けずに構成してもよい。
【００４４】
なお、上述の第１及び第２の実施の形態における説明中では対象領域が空領域の場合について例示しているが、本発明はこれに限らず、他の対象領域についても同様にして代表領域の抽出及び代表色の算出を行うことができる。例えばデジタルカメラ用のファイルフォーマットとしてＥｘｉｆがあるが、このフォーマット中には撮影モードに関する情報も含まれており、例えば風景モードで撮影された画像に対しては上述のような空領域の存在が予め予想されるし、山領域や海領域などの存在も予想される。またポートレートモードであれば人物の肌領域の存在が予想される。このようにそれぞれのモードにおいて存在が予想される領域を対象領域として、代表位置、代表色、代表領域の抽出などを行うことができる。
【００４５】
図９は、本発明の第３の実施の形態を示すブロック図である。図中、３１は代表色算出部、３２は色調整部である。この第３の実施の形態では、上述の第１，第２の実施の形態で説明した構成を色調整に応用した例を示している。代表色算出部３１は、上述の第１，第２の実施の形態で説明したようにして代表色を算出する。色調整部３２は、代表色算出部３１で算出された代表色が好ましい色に調整されるように、対象となる領域の色を調整する。
【００４６】
例えば対象領域が空である場合、知覚している空の色と入力画像中の空の色とを比べると、入力画像の方が明度が低下しているように感じる場合が多い。そのため、空領域については明度を高めに調整することが望まれる。このとき、どの程度の調整を行えばよいかを、代表色を基準として調整量あるいは調整比等を決めることができる。そして、例えば上述の第２の実施の形態で説明したようにして得られた代表領域に対して、決めた調整量や調整比等に従って色調整を行えばよい。もちろん、色の調整方法は任意であり、各種の方法を適用することができる。このように、精度よく求められた代表位置から得られる代表色と代表領域に基づいて色調整を行うことによって、画像毎に対象領域に対して最適な色調整を行うことができる。
【００４７】
図１０は、本発明の第４の実施の形態を示すブロック図である。図中、４１は代表特徴取得部、４２はシーン判定部である。この第４の実施の形態では、上述の第１，第２の実施の形態で説明した構成をシーン判定に応用した例を示している。代表特徴取得部４１は、上述の第１，第２の実施の形態で説明したようにして代表色の算出や代表領域の抽出などを行う。このような代表色の算出や代表領域の抽出などを、いくつかの対象領域について行ってもよい。
【００４８】
シーン判定部４２は、代表特徴取得部４１で取得された代表色や代表領域の特徴などをもとに、画像のシーンを判定することができる。例えば上述のように対象領域を空領域として代表色を抽出すれば、昼間の画像か、朝夕の画像化などを判定することができる。また、空領域以外にも各種の領域について、代表色や代表領域を取得し、それらの関係から、例えば風景の画像であるとか、人物をメインとした画像であるとか、何らかの物体を対象とした画像であるか、など、様々な画像シーンを判定することができる。シーンの判定方法は任意であり、各種の既存の技術を適用することが可能である。
【００４９】
上述の第３，第４の実施の形態では、第１及び第２の実施の形態として示した本発明の応用例について示したが、これらの例に限らず、種々の用途への応用が可能であることは言うまでもない。
【００５０】
図１１は、本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【００５１】
上述の本発明の各実施の形態で説明した機能は、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２（ＣＤやＤＶＤなどを含む）、磁気ディスク１１３，メモリ１１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００５２】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。なお、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像中の対象となる領域の代表位置や代表色、代表領域を精度よく決定することができる。特に記憶色領域の一つである空領域については、局所領域あるいはクラスタが上述の式１及び式２の条件を満たし、さらに局所領域内の平均値やばらつき度合いなどの特徴量から、空領域の代表点及びその代表点から代表色や代表領域を精度よく得ることができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を表すブロック図である。
【図２】 本発明の第１の実施の形態における代表位置算出部の動作の一例の説明図である。
【図３】 本発明の第１の実施の形態における代表位置算出部の別の例の説明図である。
【図４】 本発明の第２の実施の形態を表すブロック図である。
【図５】 ＲＧＢ色空間におけるクラスタリング処理の一例の説明図である。
【図６】 入力画像と色領域分割画像の一例の説明図である。
【図７】 代表色クラスタ画像の生成方法の一例の説明図である。
【図８】 代表領域画像の抽出処理の一例の説明図である。
【図９】 本発明の第３の実施の形態を示すブロック図である。
【図１０】 本発明の第４の実施の形態を示すブロック図である。
【図１１】 本発明の画像処理装置の機能または画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１１…代表位置算出部、１２…代表色算出部、１３…特徴量抽出部、１４…ニューラルネットワーク、２１…色空間クラスタリング部、２２…代表色クラスタ画素抽出部、２３…代表領域連結部、３１…代表色算出部、３２…色調整部、４１…代表特徴取得部、４２…シーン判定部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。
Claims (20)
- ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表位置を特定する画像処理方法において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし、前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置として代表位置算出手段により特定することを特徴とする画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表色を算出する画像処理方法において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし、前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の代表となる代表位置として代表位置算出手段により特定し、前記代表位置の画素あるいはさらに該画素の周辺の画素から前記代表色を代表色算出手段が算出することを特徴とする画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表領域を抽出する画像処理方法において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を色空間クラスタリング手段により生成するとともに前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の代表となる位置を表す代表位置として代表位置算出手段により特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を代表色クラスタ画素抽出手段により生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を代表領域連結手段により生成し、前記代表領域画像が表す領域を前記代表領域とすることを特徴とする画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表色を算出する画像処理方法において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を色空間クラスタリング手段により生成するとともに前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から該局所領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の代表となる位置を表す代表位置として代表位置算出手段により特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を代表色クラスタ画素抽出手段により生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を代表領域連結手段により生成し、前記代表領域画像が表す領域を代表領域とし、前記代表領域の画素を用いて前記代表色を代表色算出手段により算出することを特徴とする画像処理方法。
- 前記代表位置は、複数の局所領域特徴量によりあらかじめ学習させたニューラルネットワークの出力値によって、対象となる領域に最も近いと判断された局所領域内の画素の位置とすることを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表領域を抽出する画像処理方法において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を色空間クラスタリング手段により生成するとともに、複数のクラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を空領域の代表となる位置を表す代表位置として代表位置算出手段により特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を代表色クラスタ画素抽出手段により生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を代表領域連結手段により生成し、前記代表領域画像が表す領域を前記代表領域とすることを特徴とする画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表色を算出する画像処理方法において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を色空間クラスタリング手段により生成するとともに、複数のクラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を空領域の代表となる位置を表す代表位置として代表位置算出手段により特定し、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし、前記代表色クラスタに色が属する画素を抽出して代表色クラスタ画像を代表色クラスタ画素抽出手段により生成し、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより代表領域画像を代表領域連結手段により生成し、前記代表領域画像が表す領域を代表領域とし、前記代表領域の画素を用いて前記代表色を代表色算出手段により算出することを特徴とする画像処理方法。
- カラー画像中の対象となる領域の色を調整する画像処理方法において、請求項１ないし請求項７のいずれか１項に記載の画像処理方法によって算出された対象となる領域の代表色が好ましい色に調整されるように前記対象となる領域の色を調整することを特徴とする画像処理方法。
- カラー画像のシーンを判定する画像処理方法において、請求項１ないし請求項７のいずれか１項に記載の画像処理方法によって算出された対象となる領域の代表色または代表領域の画素を用いて、前記カラー画像のシーンを判定することを特徴とする画像処理方法。
- ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表位置を特定する画像処理装置において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から局所的な領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置として特定する代表位置算出手段を備えたことを特徴とする画像処理装置。
- ＲＧＢで表されるカラー画像から、対象となる領域の代表となる代表色を算出する画像処理装置において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から局所的な領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置として特定する代表位置算出手段と、前記代表位置の画素あるいはさらに該画素の周辺の画素から前記代表色を算出する代表色算出手段を備えたことを特徴とする画像処理装置。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表領域を抽出する画像処理装置において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成する色空間クラスタリング手段と、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から局所的な領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置を特定する代表位置算出手段と、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし前記代表色クラスタに属する画素を抽出して代表色クラスタ画像を生成する代表色クラスタ画素抽出手段と、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより前記代表領域を表す代表領域画像を生成する代表領域連結手段を備えたことを特徴とする画像処理装置。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表色を算出する画像処理装置において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成する色空間クラスタリング手段と、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域の画素から局所的な領域の特徴を表す局所領域特徴量として前記局所領域中の画素の色を示す画素値の平均である局所領域画素平均値および前記局所領域の前記画素値のばらつき度合いを表す局所領域画素分散値を算出し、前記局所領域の前記局所領域画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足し、前記局所領域の前記局所領域画素分散値が最も小さい前記局所領域内の画素の位置を空領域の前記代表位置を特定する代表位置算出手段と、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし前記代表色クラスタに属する画素を抽出して代表色クラスタ画像を生成する代表色クラスタ画素抽出手段と、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより前記代表領域を表す代表領域画像を生成する代表領域連結手段と、前記代表領域画像中の画素を用いて前記代表色を算出する代表色算出手段を備えたことを特徴とする画像処理装置。
- 前記代表位置算出手段は、複数の局所領域特徴量によりあらかじめ学習させたニューラルネットワークの出力値によって、対象となる領域に最も近いと判断された局所領域内の画素の位置を前記代表位置として特定することを特徴とする請求項１０ないし請求項１３のいずれか１項に記載の画像処理装置。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表領域を抽出する画像処理装置において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成する色空間クラスタリング手段と、複数クラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を空領域の前記代表位置として特定する代表位置算出手段と、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし前記代表色クラスタに属する画素を抽出して代表色クラスタ画像を生成する代表色クラスタ画素抽出手段と、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより前記代表領域を表す代表領域画像を生成する代表領域連結手段を備えたことを特徴とする画像処理装置。
- ＲＧＢで表されるカラー画像から、対象となる領域を代表する代表色を算出する画像処理装置において、前記カラー画像中の画素が表す色空間での点に対してクラスタリングを行うことにより複数のクラスタに分割し前記カラー画像から前記クラスタに含まれる色を有する画素からなる色領域分割画像を生成する色空間クラスタリング手段と、複数クラスタの中で、画素の色を示す画素値の平均である画素平均値のＢ成分が最大で、かつ、ＲＧ成分のうち小さい方の成分とＢ成分との差が所定の値以上である条件を満足するクラスタから生成された前記色領域分割画像において、前記カラー画像中の画素と該画素の周辺の画素からなる局所的な領域を局所領域とし前記局所領域中の画素の色を示す画素値のばらつき度合いを表す局所領域画素分散値を算出し、該局所領域画素分散値が最も小さい局所領域を求め、該局所領域中の画素の位置を空領域の前記代表位置として特定する代表位置算出手段と、前記複数のクラスタの中で前記代表位置の画素の色が属するクラスタを代表色クラスタとし前記代表色クラスタに属する画素を抽出して代表色クラスタ画像を生成する代表色クラスタ画素抽出手段と、前記代表色クラスタ画像の中で前記代表位置の画素から連結している画素を抽出することにより前記代表領域を表す代表領域画像を生成する代表領域連結手段と、前記代表領域画像中の画素を用いて前記代表色を算出する代表色算出手段を備えたことを特徴とする画像処理装置。
- カラー画像中の対象となる領域の色を調整する画像処理装置において、請求項１ないし請求項７のいずれか１項に記載の画像処理方法によって対象となる領域の代表色を算出する代表色算出手段と、前記代表色算出手段で算出された代表色が好ましい色に調整されるように前記対象となる領域の色を調整する色調整手段を備えたことを特徴とする画像処理装置。
- カラー画像のシーンを判定する画像処理装置において、請求項１ないし請求項７のいずれか１項に記載の画像処理方法によって対象となる領域の代表色を算出しまたは代表領域の画素を特定する代表特徴取得手段と、前記代表特徴取得手段で算出した代表色または特定した代表領域の画素を用いて前記カラー画像のシーンを判定する判定手段を備えた画像処理装置。
- カラー画像に対する画像処理をコンピュータに実行させる画像処理プログラムであって、請求項１ないし請求項９のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
- カラー画像に対する画像処理をコンピュータに実行させるプログラムを格納したコンピュータが読取可能な記憶媒体において、請求項１ないし請求項９のいずれか１項に記載の画像処理方法をコンピュータに実行させるプログラムを格納したことを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023093A JP4340842B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003023093A JP4340842B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004234409A JP2004234409A (ja) | 2004-08-19 |
| JP4340842B2 true JP4340842B2 (ja) | 2009-10-07 |
Family
ID=32951996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003023093A Expired - Fee Related JP4340842B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4340842B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4622874B2 (ja) * | 2006-02-02 | 2011-02-02 | 富士ゼロックス株式会社 | 色調整方法および色調整装置 |
| JP2012133679A (ja) * | 2010-12-22 | 2012-07-12 | Fujitsu Ltd | 画像照合プログラム、画像照合方法、及び画像照合装置 |
| JP6053272B2 (ja) * | 2011-10-19 | 2016-12-27 | オリンパス株式会社 | 顕微鏡装置 |
| JP6152818B2 (ja) * | 2014-03-31 | 2017-06-28 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
| JP6435740B2 (ja) * | 2014-09-22 | 2018-12-12 | 日本電気株式会社 | データ処理システム、データ処理方法およびデータ処理プログラム |
| JP7254440B2 (ja) * | 2017-10-25 | 2023-04-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| US10460210B1 (en) * | 2019-01-22 | 2019-10-29 | StradVision, Inc. | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles |
-
2003
- 2003-01-31 JP JP2003023093A patent/JP4340842B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004234409A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4335476B2 (ja) | 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 | |
| Wong et al. | Saliency-enhanced image aesthetics class prediction | |
| JP6639113B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
| US6738494B1 (en) | Method for varying an image processing path based on image emphasis and appeal | |
| US7933454B2 (en) | Class-based image enhancement system | |
| US7212668B1 (en) | Digital image processing system and method for emphasizing a main subject of an image | |
| JP4248812B2 (ja) | 明度調整のためのデジタル画像の処理方法 | |
| US8194992B2 (en) | System and method for automatic enhancement of seascape images | |
| US8285059B2 (en) | Method for automatic enhancement of images containing snow | |
| US6671405B1 (en) | Method for automatic assessment of emphasis and appeal in consumer images | |
| Hwang et al. | Context-based automatic local image enhancement | |
| JP2003153007A (ja) | 画像重要度に基づく画像圧縮制御システム及び方法 | |
| JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
| US20130170755A1 (en) | Smile detection systems and methods | |
| JP2001195591A (ja) | 画像中の空を検出する方法 | |
| CN102576461A (zh) | 评估数字图像的美学质量 | |
| TW201005673A (en) | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system | |
| WO2010078586A1 (en) | Detecting skin tone in images | |
| CN111476849B (zh) | 对象颜色识别方法、装置、电子设备以及存储介质 | |
| Solli et al. | Color based bags-of-emotions | |
| Obrador et al. | Towards category-based aesthetic models of photographs | |
| US7620246B2 (en) | Method and apparatus for image processing | |
| JP5016540B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP4340842B2 (ja) | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |