JP6230504B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像中の各カラーチャンネルの画像を合成する画像処理装置、方法、及びプログラムに関する。

従来より、２つ以上のカラーチャンネルを有するカラー画像を用いて画像認識処理（物体の追跡、対応点探索、物体識別など）を行う際、撮像装置の分光感度特性のばらつきや、照明環境の違い及び変化に対する頑健性を持たせるため、色情報を破棄する手法が知られている。

第１の手法として、各カラーチャンネルを加重平均し、カラー画像をグレースケール画像に変換する手法が広く用いられている。

第１の手法では、ＣＩＥ−ＲＧＢに基づく輝度画像への変換が行われている。例えば、カラーチャンネル数＝３の場合には、以下の（１）式によってグレースケール画像に変換される（非特許文献１参照）。

Grayscale = 0.30・Red + 0.59・Green + 0.11・Blue ・・・（１）

また、第２の手法として、各カラーチャンネルの重みを等しくし、各カラーチャンネル画像の画素値の平均をとってグレースケール画像に変換する手法が知られている。例えば、カラーチャンネル数＝Ｎの場合（ｉ番目のカラーチャンネルの画素値をＣ_ｉとする）、以下の（２）式によってグレースケール画像に変換される。

Grayscale = (C_１+C_２+…+C_Ｎ)/ N ・・・（２）

入力画像がマルチスペクトル画像（マルチバンド画像、又はマルチチャンネル画像ともいう）の場合、第２の手法に示した、各カラーチャンネルの平均化によるグレースケール画像が用いられる事が多い。

日下秀夫 監修，「カラー画像工学」，映像情報メディア学会，オーム社，ｐｐ. 121，式（6・5）

第１の手法の場合、ＲＧＢ画像（厳密にはＣＩＥで定義されたＲｅｄ、Ｇｒｅｅｎ、及びＢｌｕｅの分光感度特性を有するカメラで撮影された画像）に対してのみ適用可能であり、ＲＧＢ画像以外の入力には対応していない、という問題がある。

また、第２の手法の場合、ある特定のカラーチャンネル画像にのみ特徴的なテクスチャが存在する場合でも、他のカラーチャンネルの画像と平均化されてしまうため、得られるグレースケール画像においては、特定のカラーチャンネル画像にのみ特徴的なテクスチャが弱まってしまう。その結果、画像認識処理の精度が低下してしまう場合がある、という問題がある。例えば、カラーチャンネル数＝１０、座標（ｘ，ｙ）の画素において、ｉ番目のカラーチャンネルの画像が画素値＝１００、それ以外の画像が画素値＝０の場合、平均化処理により、グレースケール画像上での画素値は１０（元画像の１／１０）となってしまう。

これらの課題を解決するためには、各カラーチャンネルの重み係数を、画像単位若しくは画素単位に対して、何らかの手段により決定する必要がある。

本発明は、上記問題点を解決するために成されたものであり、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像処理装置は、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するカラーチャンネル分解部と、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成する周波数成分画像生成部と、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出する重み係数算出部と、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成する周波数成分画像合成部と、を含んで構成されている。

また、第１の発明に係る画像処理装置において、前記周波数成分画像合成部は、以下の（３）式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。

ただし、Ｆ（ｋ_１，ｋ_２）は、合成された周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）における画素値であり、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、また、ｗ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値の重み係数である。

ここで、各カラーチャンネルの重み係数ｗ_ｉ（ｋ_１，ｋ_２）は、
ｗ_ｉ（ｋ_１，ｋ_２）＝１／Ｎ
とする。

また、各カラーチャンネルの周波数インデックス（ｋ_１，ｋ_２）における画素値が、カラーチャンネルｊにおいて最大となるときの重み係数ｗ_ｉ（ｋ_１，ｋ_２）は、
ｗ_ｉ（ｋ_１，ｋ_２）＝１ ｗｈｅｎ ｉ＝ｊ
ｗ_ｉ（ｋ_１，ｋ_２）＝０ ｗｈｅｎ ｉ≠ｊ
としても良い。

また、第２の発明に係る画像処理装置において、前記重み係数算出部は、各カラーチャンネルｉについて、以下の（４）式に従って、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）のエネルギー値に比例するように前記周波数インデックス（ｋ_１，ｋ_２）に対する重み係数ｗ_ｉ（ｋ_１，ｋ_２）を算出し、前記周波数成分画像合成部は、上記の（３）式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。

ただし、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、

はＦ_ｉ（ｋ_１，ｋ_２）の複素共役であり、

はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）におけるエネルギー値である。

第３の発明に係る画像処理装置は、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するカラーチャンネル分解部と、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成する周波数成分画像生成部と、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出する重み係数算出部と、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成する周波数成分画像合成部と、を含んで構成されている。

また、第３の発明に係る画像処理装置において、前記重み係数算出部は、各カラーチャンネルｉの周波数成分画像について、以下の（５）式に従って、前記周波数成分画像のエネルギー値に比例するように前記カラーチャンネルｉの周波数成分画像に対する重み係数ｗ_ｉを算出し、前記周波数成分画像合成部は、以下の（６）式に従って、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記カラーチャンネルｉの周波数成分画像の重み係数ｗ_ｉを用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成してもよい。

ここで、Ｆ（ｋ_１，ｋ_２）は、合成された周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）における画素値であり、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、

はＦ_ｉ（ｋ_１，ｋ_２）の複素共役であり、

はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）におけるエネルギー値である。

第１の発明に係る画像処理方法は、カラーチャンネル分解部が、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するステップと、周波数成分画像生成部が、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成するステップと、重み係数算出部が、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出するステップと、周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成するステップと、を含んで実行することを特徴とする。

第３の発明に係る画像処理方法は、カラーチャンネル分解部が、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解するステップと、周波数成分画像生成部が、前記カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、各カラーチャンネルに対応した周波数成分画像を生成するステップと、重み係数算出部が、前記周波数成分画像生成部により生成された周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出するステップと、周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像生成部により生成された周波数成分画像を合成するステップと、を含んで実行することを特徴とする。

第１から第３の発明に係るプログラムは、コンピュータを、上記の第１から第３の発明に係る画像処理装置の各部として機能させるための画像処理プログラムである。

本発明の画像処理装置、方法、及びプログラムによれば、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる、という効果が得られる。

第１の実施の形態に係る画像処理装置の構成を示すブロック図である。 第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第１の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。 第２及び第３の実施の形態に係る画像処理装置の構成を示すブロック図である。 第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。 第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第４の実施の形態に係る画像処理装置の構成を示すブロック図である。 第４の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第４の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。 第５の実施の形態に係る画像処理装置の構成を示すブロック図である。 第５の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第６の実施の形態に係る画像処理装置の構成を示すブロック図である。 第６の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第７の実施の形態に係る画像処理装置の構成を示すブロック図である。 第７の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 第７の実施の形態に係る画像処理装置の構成の変形例を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る画像処理装置の構成＞

まず、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、第１の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１００は、機能的には図１に示すように画像処理部１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。

画像処理部１０には、画像入力部１１で得られたカラーチャンネル数Ｎの画像が入力される。本実施の形態では、画像入力部１１は、マルチスペクトルカメラ（マルチバンドカメラ及びハイパースペクトルカメラ）を備えており、マルチスペクトルカメラによりカラーチャンネル数Ｎの画像を撮像する。なお、画像入力部１１が備えるカメラは、マルチスペクトルカメラに限定されるものではなく、白黒カメラとマルチバンド光源の組み合わせにより、カラーチャンネル数Ｎの画像を撮像するようにしても良い。また、画像入力部１１は、カメラを備えずに、予め外部記録装置に記憶されている画像（例えば、ＣＧや、ＣＧと実写とを合成した画像等）を出力するようにしても良い。また、画像入力部１１は、カラーチャンネル数Ｎの画像ではなく、Ｎ枚の単色画像（以下、グレースケール画像と呼ぶ）を撮像して、出力するようにしても良い。

画像処理部１０は、カラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んで構成されている。

カラーチャンネル分解部３０は、画像入力部１１からカラーチャンネル数Ｎの画像の入力を受け付け、入力された、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。なお、画像入力部１１から入力された画像が、Ｎ枚のグレースケール画像である場合には、カラーチャンネル分解部３０における処理は省略が可能である。

周波数成分画像生成部３２は、カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、Ｎ個のカラーチャンネルに対応したＮ枚の周波数成分画像を生成し周波数成分画像記憶部３４に記憶する。本実施の形態では、周波数成分画像への変換は、離散フーリエ変換を用いる。なお、フーリエ変換のほかに、コサイン変換、又はウェーブレット変換など任意の変換手法を用いることができる。

周波数成分画像記憶部３４には、周波数成分画像生成部３２で生成された周波数成分画像が記憶される。

重み係数算出部４０は、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数空間における周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出して出力する。

周波数成分画像合成部３６は、重み係数算出部４０により各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。

具体的には、以下の（７）式に従って、重み係数算出部４０により各カラーチャンネルｉについて算出された周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。

ただし、Ｆ（ｋ_１，ｋ_２）は、合成された周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）における画素値であり、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、また、ｗ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値の重み係数である。

ここで、各カラーチャンネルの重み係数ｗ_ｉ（ｋ_１，ｋ_２）は、
ｗ_ｉ（ｋ_１，ｋ_２）＝１／Ｎ
とする。

また、各カラーチャンネルの周波数インデックス（ｋ_１，ｋ_２）における画素値が、カラーチャンネルｊにおいて最大となるときの重み係数ｗ_ｉ（ｋ_１，ｋ_２）は、
ｗ_ｉ（ｋ_１，ｋ_２）＝１ ｗｈｅｎ ｉ＝ｊ
ｗ_ｉ（ｋ_１，ｋ_２）＝０ ｗｈｅｎ ｉ≠ｊ
としても良い。

周波数成分画像変換部３８は、周波数成分画像合成部３６で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。なお、周波数成分画像生成部３２において、コサイン変換又はウェーブレット変換を行って周波数成分画像に変換した場合には、それぞれ、逆コサイン変換又は逆ウェーブレット変換を行って一枚のグレースケール画像に変換するようにすれば良い。

＜本発明の第１の実施の形態に係る画像処理装置の作用＞

次に、本発明の第１の実施の形態に係る画像処理装置１００の作用について説明する。画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、画像処理装置１００は、図２に示す画像処理ルーチンを実行する。

まず、ステップＳ１００では、画像入力部１１から入力された、カラーチャンネル数Ｎの画像を取得する。

次に、ステップＳ１０２では、ステップＳ１００で取得したカラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解する。

ステップＳ１０４では、ステップＳ１０２で分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、Ｎ個のカラーチャンネルに対応したＮ枚の周波数成分画像を生成し、周波数成分画像記憶部３４に記憶する。

ステップＳ１０５では、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出する。

ステップＳ１０６では、ステップＳ１０５で各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。

ステップＳ１０８では、ステップＳ１０６で周波数成分画像を合成して得られた一枚の新たな周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換し、変換したグレースケール画像を出力部５０に出力して処理を終了する。

以上説明したように、第１の実施の形態に係る画像処理装置によれば、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、周波数成分画像生成部３２にＮ枚のグレースケール画像の各々が入力されて、周波数成分画像生成部３２によりＮ枚の周波数成分画像の各々が生成され、周波数成分画像記憶部３４に記憶される場合を例に説明したが、図３に示すように、周波数成分画像記憶部３４を備えずに、周波数成分画像生成部３２がＮ個のカラーチャンネルと同じ数だけあるように構成しても良い。

＜本発明の第２の実施の形態に係る画像処理装置の構成＞

次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１００と同様の構成については、同一符号を付して詳細な説明を省略する。

第２の実施の形態では、周波数インデックスのエネルギー値に比例するように周波数インデックスに対する重み係数を算出している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る画像処理装置２００は、第１の実施の形態と同様に、機能的には図４に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。

第２の実施の形態に係る画像処理部２１０は、機能的には図４に示すようにカラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部２４０と、周波数成分画像合成部２３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。

重み係数算出部２４０は、各カラーチャンネルｉについて、以下の（８）式に従って、当該カラーチャンネルｉの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に、当該周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）のエネルギー値に比例するように当該周波数インデックス（ｋ_１，ｋ_２）に対する重み係数ｗ_ｉ（ｋ_１，ｋ_２）を算出して出力する。

ただし、

はＦ_ｉ（ｋ_１，ｋ_２）の複素共役であり、

はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）におけるエネルギー値である。

周波数成分画像合成部２３６は、上記（７）式に従って、重み係数算出部２４０により各カラーチャンネルｉについて算出された周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。

周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部２３６で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。

＜本発明の第２の実施の形態に係る画像処理装置の作用＞

次に、本発明の第２の実施の形態に係る画像処理装置２００の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、画像処理装置２００は、図５に示す画像処理ルーチンを実行する。

ステップＳ２００では、各カラーチャンネルｉについて、上記（８）式に従って、当該カラーチャンネルｉの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に、当該周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）のエネルギー値に比例するように当該周波数インデックス（ｋ_１，ｋ_２）に対する重み係数ｗ_ｉ（ｋ_１，ｋ_２）を算出する。

ステップＳ２０２では、上記（７）式に従って、ステップＳ２００で各カラーチャンネルｉについて算出された周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。

なお、第２の実施の形態に係る画像処理装置２００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る画像処理装置によれば、各カラーチャンネルｉについて、周波数インデックス（ｋ_１，ｋ_２）毎のエネルギー値に比例するように周波数インデックス（ｋ_１，ｋ_２）に対する重み係数ｗ_ｉ（ｋ_１，ｋ_２）を算出し、各カラーチャンネルｉについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、周波数成分画像生成部３２にＮ枚の各グレースケール画像が入力されて、周波数成分画像生成部３２によりＮ枚の周波数成分画像が生成され、周波数成分画像記憶部３４に記憶される場合を例に説明したが、図６に示すように、周波数成分画像記憶部３４を備えずに、周波数成分画像生成部３２がＮ個のカラーチャンネルと同じ数だけあるように構成しても良い。

＜本発明の第３の実施の形態に係る画像処理装置の構成＞

次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１及び第２の実施の形態と同様の構成については、同一符号を付して説明を省略する。

第３の実施の形態では、各カラーチャンネルの周波数成分画像に対する重み係数を算出し、算出された重み係数を用いて周波数成分画像の加重平均を行っている点が、第２の実施の形態と異なっている。

第３の実施の形態に係る画像処理装置２００は、第１の実施の形態と同様に、機能的には上記図４に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。

第３の実施の形態に係る画像処理部２１０は、第２の実施の形態と同様に、機能的には上記図４に示すようにカラーチャンネル分解部３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部２４０と、周波数成分画像合成部２３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。

第３の実施の形態に係る重み係数算出部２４０は、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像の周波数インデックスのエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、当該カラーチャンネルの周波数成分画像に対する重み係数を算出して出力する。

具体的には、各カラーチャンネルｉの周波数成分画像について、以下の（９）式に従って、当該カラーチャンネルｉの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルｉの周波数成分画像に対する重み係数ｗ_ｉを算出する。

ただし、

はｉ番目のカラーチャンネルの周波数成分画像のエネルギー値を表す。

なお、第３の実施の形態に係る重み係数算出部２４０は、周波数成分画像の画素値に基づいて、各カラーチャンネルの周波数成分画像に対する重み係数を算出しても良い。

第３の実施の形態に係る周波数成分画像合成部２３６は、重み係数算出部２４０により各カラーチャンネルの周波数成分画像について算出された各カラーチャンネルの周波数成分画像の重み係数を用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。

具体的には、下記（１０）式に従って、重み係数算出部２４０により各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルｉの周波数成分画像の重み係数ｗ_ｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部３２により生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成する。

周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部３６で生成された一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部５０に出力する。

＜本発明の第３の実施の形態に係る画像処理装置の作用＞

次に、本発明の第３の実施の形態に係る画像処理装置２００の作用について説明する。なお、第１及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第３の実施の形態に係る画像処理装置２００は、図７に示す画像処理ルーチンを実行する。

ステップＳ３００では、各カラーチャンネルｉの周波数成分画像について、上記（９）式に従って、当該カラーチャンネルｉの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルｉの周波数成分画像に対する重み係数ｗ_ｉを算出する。

ステップＳ３０２では、上記（１０）式に従って、ステップＳ３００で各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルｉの周波数成分画像の重み係数ｗ_ｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、ステップＳ１０４で生成され、周波数成分画像記憶部３４に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。

なお、第３の実施の形態に係る画像処理装置２００の他の構成及び作用については、第１及び第２の実施の形態と同様であるため、説明を省略する。

以上説明したように、第３の実施の形態に係る画像処理装置によれば、各カラーチャンネルｉの周波数成分画像について、周波数成分画像のエネルギー値に比例するように重み係数ｗ_ｉを算出し、各カラーチャンネルの周波数成分画像毎に算出された重み係数ｗ_ｉを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

＜本発明の第４の実施の形態に係る画像処理装置の構成＞

次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理装置について、第１の実施の形態と同様の構成については、同一符号を付して説明を省略する。

第４の実施の形態では、Ｎ枚のグレースケール画像に対して正規化を施す点が、第１の実施の形態と異なっている。

第４の実施の形態に係る画像処理装置４００は、第１の実施の形態と同様に、機能的には図８に示すように画像処理部２１０と、画像入力部１１と、出力部５０とを含んだ構成で表すことができる。

第４の実施の形態に係る画像処理部４１０は、機能的には図８に示すようにカラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。

正規化処理部４３０は、カラーチャンネル分解部３０により分解して得られた各グレースケール画像について、下記の（１１）式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。

ただし、ｆ_ｉ（ｘ，ｙ）はｉ番目のカラーチャンネルに対応したグレースケール画像の座標（ｘ，ｙ）における画素値を表す。また、

はｉ番目のカラーチャンネルに対応したグレースケール画像のエネルギーを表す。

なお、正規化処理部４３０は、上記の正規化で得られた結果に対して係数を掛けても良い（例えば８ｂｉｔ画像を対象とする場合は、係数＝２５５を、１６ｂｉｔ画像を対象とする場合は、係数＝６５５３５を掛ける）。また、正規化処理部４３０は、グレースケール画像の各画素値を、画像中の最大画素値で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。また、下記の（１２）式に従って、グレースケール画像の各画素を、画像全体の画素の和で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。

周波数成分画像生成部３２は、正規化処理部４３０により出力された各グレースケール画像を、第１の実施の形態と同様に、周波数成分画像に変換することにより、Ｎ個の各カラーチャンネルに対応したＮ枚の周波数成分画像を生成して出力する。

＜本発明の第４の実施の形態に係る画像処理装置の作用＞

次に、本発明の第４の実施の形態に係る画像処理装置４００の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第４の実施の形態に係る画像処理装置４００は、図９に示す画像処理ルーチンを実行する。

ステップＳ４００では、ステップＳ１０２で分解して得られた各グレースケール画像について、上記（１１）式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。

なお、第４の実施の形態に係る画像処理装置４００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第４の実施の形態に係る画像処理装置によれば、各グレースケール画像について正規化を施し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、正規化処理部４３０により、Ｎ枚のグレースケール画像に対して正規化を施す処理を繰り返す場合を例に説明したが、図１０に示すように、正規化処理部をＮ個備え、Ｎ個の正規化処理部毎にグレースケール画像に対して正規化を施すように構成しても良い。

また、本実施の形態では、第１の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第２又は第３の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。

＜本発明の第５の実施の形態に係る画像処理装置の構成＞

次に、第５の実施の形態について説明する。なお、第５の実施の形態の画像処理装置について、第４の実施の形態と同様の構成については、同一符号を付して説明を省略する。

第５の実施の形態では、カラーチャンネル数Ｎの基準白色画像を用いてホワイトバランスの調整を行っている点が、第１から第４の実施の形態と異なっている。

第５の実施の形態に係る画像処理装置６００は、機能的には図１１に示すように画像処理部６１０と、画像入力部１１と、撮影条件記憶部６１１と、ホワイトバランス調整用係数算出部６３０と、出力部５０とを含んだ構成で表すことができる。

撮影条件記憶部６１１には、画像撮影時に使用したカメラの分光感度特性、画像撮影時の照明光スペクトル、被写体表面の分光反射率の主成分、主成分の相関関数及び共分散行列、並びに分光反射率推定行列など、カラーチャンネル数Ｎの画像から分光反射率を推定するために必要な情報が記憶されている。

第５の実施の形態に係る画像処理部６１０は、機能的には図１１に示すようにホワイトバランス調整部６３２と、カラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。

ホワイトバランス調整用係数算出部６３０は、画像入力部１１で撮像されたカラーチャンネル数Ｎの画像と同じ条件（照明環境や露光時間、絞り値、感度などのカメラ設定）で撮像されたカラーチャンネル数Ｎの基準白色画像の入力を受け付ける。ホワイトバランス調整用係数算出部６３０は、受け付けたカラーチャンネル数Ｎの基準白色画像に基づいて、特許文献１（特開２０１１−２５９２０９号）に記載の手法と同様の手法を用いて、撮影条件記憶部６１１に記憶されている、カラーチャンネル数Ｎの画像から分光反射率を推定するために必要な情報を用いて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネルの画像にかけるホワイトバランス調整用係数を算出する。

なお、撮影条件記憶部６１１を備えずに、ホワイトバランス調整用係数算出部６３０は、受け付けたカラーチャンネル数Ｎの基準白色画像における各カラーチャンネルについて、基準白色に該当する箇所の画素値、又は該当する領域の画素値の平均値が等しくなるように、下記の（１３）式又は（１４）式に従って、ホワイトバランス調整用係数を算出するようにしても良い。

ホワイトバランス調整部６３２は、画像入力部１１からカラーチャンネル数Ｎの画像、及びホワイトバランス調整用係数算出部６３０から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数Ｎの画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部６３０により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。

カラーチャンネル分解部３０は、ホワイトバランス調整部６３２からカラーチャンネル数Ｎの画像の入力を受け付け、第１の実施の形態と同様に、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。

＜本発明の第５の実施の形態に係る画像処理装置の作用＞

次に、本発明の第５の実施の形態に係る画像処理装置６００の作用について説明する。なお、第４の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第５の実施の形態に係る画像処理装置６００は、図１２に示す画像処理ルーチンを実行する。

まず、ステップＳ５００では、画像入力部１１から入力された、カラーチャンネル数Ｎの画像及びカラーチャンネル数Ｎの基準白色画像を取得する。

次に、ステップＳ５０２では、ステップＳ５００で取得したカラーチャンネル数Ｎの基準白色画像に基づいて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネル画像にかけるホワイトバランス調整用係数を算出する。

ステップＳ５０４では、ステップＳ５００で取得したカラーチャンネル数Ｎの画像の画素値に対して、ステップＳ５０２で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。

なお、第５の実施の形態に係る画像処理装置６００の他の構成及び作用については、第４の実施の形態と同様であるため、説明を省略する。

以上説明したように、第５の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、カラーチャンネル分解部の前段にホワイトバランス調整部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後にホワイトバランス調整部を置くように構成し、Ｎ枚のグレースケール画像について、ホワイトバランスを調整するようにしても良い。

また、本実施の形態では、第４の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第３のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。

＜本発明の第６の実施の形態に係る画像処理装置の構成＞

次に、第６の実施の形態について説明する。なお、第６の実施の形態の画像処理装置について、第５の実施の形態と同様の構成については、同一符号を付して説明を省略する。

第６の実施の形態では、カラーチャンネル数Ｎの画像について、異なる色空間若しくは多次元信号空間へ変換を行っている点が、第１から第５の実施の形態と異なっている。

第６の実施の形態に係る画像処理装置８００は、第５の実施の形態と同様に、機能的には図１３に示すように画像処理部８１０と、画像入力部１１と、撮影条件記憶部６１１、ホワイトバランス調整用係数算出部６３０と、出力部５０とを含んだ構成で表すことができる。

第６の実施の形態に係る画像処理部８１０は、機能的には図１３に示すようにホワイトバランス調整部６３２と、信号空間変換処理部８３０と、カラーチャンネル分解部３０と、正規化処理部４３０と、周波数成分画像生成部３２と、周波数成分画像記憶部３４と、重み係数算出部４０と、周波数成分画像合成部３６と、周波数成分画像変換部３８とを含んだ構成で表すことができる。

信号空間変換処理部８３０は、ホワイトバランス調整部６３２でホワイトバランスが調整されたカラーチャンネル数Ｎの画像について、異なる色空間若しくは多次元信号空間へ変換し、カラーチャンネル数Ｍの画像を生成する。本実施の形態では、カラーチャンネル数Ｎの画像について、カラーチャンネル方向の主成分画像への変換を行うことで、カラーチャンネル数Ｍの画像を生成する。また、本実施の形態では全ての主成分画像を使用するが、全ての主成分画像を使用せず、一部の主成分画像を使用しても良い。

なお、主成分画像への変換は、本実施の形態における信号空間変換の一例であり、信号空間変換処理部８３０は、撮影条件記憶部６１１から取得した情報を用いて、カラーチャンネル数Ｎの画像について、分光反射率画像への変換を行うようにしても良い。また、変換した分光反射率画像について、更に、波長軸方向への主成分画像に変換するようにしても良い（全ての主成分画像を使用せず、一部の主成分画像を使用しても良い）。また、カラーチャンネル数Ｎの画像について、ＣＩＥ−ＸＹＺ画像、ＣＩＥ−Ｌａｂ画像、又はｘｖＹＣＣ画像などへの変換を行うようにしても良い。

カラーチャンネル分解部３０は、信号空間変換処理部８３０からカラーチャンネル数Ｍの画像の入力を受け付け、第１の実施の形態と同様に、カラーチャンネル数Ｍの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。

＜本発明の第６の実施の形態に係る画像処理装置の作用＞

次に、本発明の第６の実施の形態に係る画像処理装置８００の作用について説明する。なお、第５の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第６の実施の形態に係る画像処理装置８００は、図１４に示す画像処理ルーチンを実行する。

ステップＳ６００では、ステップＳ５０４でホワイトバランスが調整されたカラーチャンネル数Ｎの画像について、カラーチャンネル方向の信号空間への変換を行い、カラーチャンネル数Ｍの画像を生成する。

なお、第６の実施の形態に係る画像処理装置８００の他の構成及び作用については、第５の実施の形態と同様であるため、説明を省略する。

以上説明したように、第６の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像について、カラーチャンネル方向の主成分画像への変換を行うことでカラーチャンネル数Ｍの画像を生成し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、カラーチャンネル分解部の前段に信号空間変換処理部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後に信号空間変換処理部を置くように構成し、Ｎ枚のグレースケール画像について、信号空間変換処理を行うようにしても良い。

また、本実施の形態では、第５の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第４のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。

＜本発明の第７の実施の形態に係る画像処理装置の構成＞

次に、第７の実施の形態について説明する。なお、第７の実施の形態の画像処理装置について、第６の実施の形態と同様の構成については、同一符号を付して説明を省略する。

第７の実施の形態では、カラーチャンネル数Ｎの画像を、複数の領域に分割し、分割した各画像について、周波数成分画像の合成を行っている点が、第１から第６の実施の形態と異なっている。

第７の実施の形態に係る画像処理装置１０００は、機能的には図１５に示すように画像処理部１０１０と、画像入力部１１と、撮影条件記憶部６１１と、ホワイトバランス調整用係数算出部６３０と、画像領域分割処理部１０１１と、分割領域画像記憶部１０１３と、分割領域グレースケール画像記憶部１０４１と、分割領域画像統合部１０４３と、出力部５０とを含んだ構成で表すことができる。

画像領域分割処理部１０１１は、画像入力部１１からカラーチャンネル数Ｎの画像の入力を受け付け、受け付けたカラーチャンネル数Ｎの画像を、既存の手法を用いてＬ枚の領域画像に分割する。分割して得られたカラーチャンネル数ＮのＬ枚の分割領域画像は分割領域画像記憶部１０１３に記憶される。

分割領域画像記憶部１０１３は、画像領域分割処理部１０１１により分割されたカラーチャンネル数ＮのＬ枚の分割領域画像が記憶されており、画像処理部１０１０に入力される。

画像処理部１０１０のホワイトバランス調整部６３２は、第６の実施の形態と同様に、画像入力部１１からカラーチャンネル数ＮのＬ枚の分割領域画像、及びホワイトバランス調整用係数算出部６３０から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数ＮのＬ枚の分割領域画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部６３０により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの分割領域画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの分割領域画像を出力する。そして、画像処理部１０１０では、ホワイトバランス調整部６３２以降の処理において、ホワイトバランス調整部６３２により得られたカラーチャンネル数ＮのＬ枚の分割領域画像の各カラーチャンネルについて、第６の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、Ｌ枚の新たな周波数成分画像を合成する。

周波数成分画像変換部３８は、第１の実施の形態と同様に、周波数成分画像合成部３６で合成して得られた、Ｌ枚の周波数成分画像を、離散逆フーリエ変換により、Ｌ枚のグレースケール画像に変換して、分割領域グレースケール画像記憶部１０４１に記憶する。

分割領域グレースケール画像記憶部１０４１は、画像処理部１０１０によって変換して得られたＬ枚の分割領域画像の各グレースケール画像が記憶されている。

分割領域画像統合部１０４３は、分割領域グレースケール画像記憶部１０４１に記憶されたＬ枚のグレースケール画像を統合して、一枚のグレースケール画像を生成して出力する。

＜本発明の第７の実施の形態に係る画像処理装置の作用＞

次に、本発明の第７の実施の形態に係る画像処理装置１０００の作用について説明する。なお、第６の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

画像入力部１１において得られたカラーチャンネル数Ｎの画像を受け付けると、第６の実施の形態に係る画像処理装置１０００は、図１６に示す画像処理ルーチンを実行する。

ステップＳ７００では、ステップＳ５００で取得したカラーチャンネル数Ｎの画像を、Ｌ枚の領域画像に分割し、分割して得られたＬ枚の分割領域画像を分割領域画像記憶部１０１３に記憶する。

ステップＳ５０４では、ステップＳ７００で分割領域画像記憶部１０１３に記憶されたＬ枚の分割領域画像のうちの処理対象の分割領域画像に対して、ステップＳ５０２で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Ｎの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Ｎの画像を出力する。

ステップＳ７０１では、上記ステップＳ７００で分割領域画像記憶部１０１３に記憶されたＬ枚の分割領域画像の全てについて、上記ステップＳ５０４〜Ｓ１０８の処理を実行したか否かを判定し、上記ステップＳ５０４〜Ｓ１０８の処理を実行していない分割領域画像が存在する場合には、当該分割領域画像を処理対象として、上記ステップＳ５０４〜Ｓ１０８の処理を繰り返す。一方、Ｌ枚の分割領域画像の全てについて、上記ステップＳ５０４〜Ｓ１０８の処理を実行した場合には、ステップＳ７０２へ移行する。

ステップＳ７０２では、ステップＳ１０８で変換され、分割領域グレースケール画像記憶部１０４１に記憶されたＬ枚のグレースケール画像を統合し、一枚のグレースケール画像を生成して処理を終了する。

以上説明したように、第７の実施の形態に係る画像処理装置によれば、カラーチャンネル数Ｎの画像について、Ｌ枚の分割領域画像に分割し、分割領域画像のグレースケール画像を周波数成分画像に変換し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、Ｌ枚の新たな周波数成分画像を合成し、合成したＬ枚の周波数成分画像を変換して得たＬ枚のグレースケール画像を統合することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。

なお、本実施の形態では、第６の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第１から第５のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。

また、図１７に示すように、分割領域画像記憶部１０１３及び分割領域グレースケール画像記憶部１０４１を備えずに、Ｌ個の画像処理部を備えるようにしてＬ枚の分割領域画像の各々につい６、周波数成分画像を合成する処理を並列処理する構成としても良い。

また、本発明は、上述した第１から第７の実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０、２１０、４１０、６１０、８１０、１０１０ 画像処理部
１１ 画像入力部
３０ カラーチャンネル分解部
３２ 周波数成分画像生成部
３４ 周波数成分画像記憶部
３６、２３６ 周波数成分画像合成部
３８ 周波数成分画像変換部
４０、２４０ 重み係数算出部
５０ 出力部
１００、２００、４００、６００、８００、１０００ 画像処理装置
４３０ 正規化処理部
６１１ 撮影条件記憶部
６３０ ホワイトバランス調整用係数算出部
６３２ ホワイトバランス調整部
８３０ 信号空間変換処理部
１０１１ 画像領域分割処理部
１０１３ 分割領域画像記憶部
１０４１ 分割領域グレースケール画像記憶部
１０４３ 分割領域画像統合部

Claims (8)

1. カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出する重み係数算出部と、
   前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像を合成する周波数成分画像合成部と、
   前記周波数成分画像合成部により合成された前記周波数成分画像に対し、前記グレースケール画像から前記周波数成分画像への変換の、逆変換を施すことにより、グレースケール画像に変換して出力する周波数成分画像変換部と、
   を含む画像処理装置。
2. 前記周波数成分画像合成部は、以下の式に従って、前記重み係数算出部により各カラーチャンネルｉについて算出された前記周波数インデックス（ｋ_１，ｋ_２）毎の重み係数ｗ_ｉ（ｋ_１，ｋ_２）を用いて、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に加重平均を行うことにより、前記周波数成分画像を合成する請求項１記載の画像処理装置。
   
   ただし、Ｆ（ｋ_１，ｋ_２）は、合成された周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）における画素値であり、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、また、ｗ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値の重み係数である。
3. 前記重み係数算出部は、各カラーチャンネルｉについて、以下の式に従って、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）毎に、前記周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）のエネルギー値に比例するように前記周波数インデックス（ｋ_１，ｋ_２）に対する重み係数ｗ_ｉ（ｋ_１，ｋ_２）を算出する請求項１又は請求項２に記載の画像処理装置。
   
   ただし、
   
   はＦ_ｉ（ｋ_１，ｋ_２）の複素共役であり、
   
   はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）におけるエネルギー値である。
4. カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出する重み係数算出部と、
   前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成する周波数成分画像合成部と、
   前記周波数成分画像合成部により合成された前記周波数成分画像に対し、前記グレースケール画像から前記周波数成分画像への変換の、逆変換を施すことにより、グレースケール画像に変換して出力する周波数成分画像変換部と、
   を含む画像処理装置。
5. 前記重み係数算出部は、各カラーチャンネルｉの周波数成分画像について、以下の（１）式に従って、前記周波数成分画像のエネルギー値に比例するように前記カラーチャンネルｉの周波数成分画像に対する重み係数ｗ_ｉを算出し、
   前記周波数成分画像合成部は、以下の（２）式に従って、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記カラーチャンネルｉの周波数成分画像の重み係数ｗ_ｉを用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成する請求項４記載の画像処理装置。
   
   ただし、Ｆ（ｋ_１，ｋ_２）は、合成された周波数成分画像の周波数インデックス（ｋ_１，ｋ_２）における画素値であり、Ｆ_ｉ（ｋ_１，ｋ_２）はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）における周波数成分画像の画素値であり、
   
   はＦ_ｉ（ｋ_１，ｋ_２）の複素共役であり、
   
   はカラーチャンネルｉの周波数インデックス（ｋ_１，ｋ_２）におけるエネルギー値である。
6. 重み係数算出部が、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルについて、前記周波数インデックス毎に、前記周波数インデックスに対する重み係数を算出するステップと、
   周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルについて算出された前記周波数インデックス毎の重み係数を用いて、前記周波数成分画像の周波数インデックス毎に加重平均を行うことにより、前記周波数成分画像を合成するステップと、
   周波数成分画像変換部が、前記周波数成分画像合成部により合成された前記周波数成分画像に対し、前記グレースケール画像から前記周波数成分画像への変換の、逆変換を施すことにより、グレースケール画像に変換して出力するステップと、
   を含む画像処理方法。
7. 重み係数算出部が、カラーチャンネル数Ｎの画像を、各カラーチャンネルに対応した各グレースケール画像に分解し、分解して得られた各グレースケール画像を、周波数成分画像に変換することにより生成された、各カラーチャンネルに対応した周波数成分画像の画素値、又は周波数成分画像の周波数インデックス毎のエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、前記カラーチャンネルの周波数成分画像に対する重み係数を算出するステップと、
   周波数成分画像合成部が、前記重み係数算出部により各カラーチャンネルの周波数成分画像について算出された前記各カラーチャンネルの周波数成分画像の重み係数を用いて、前記周波数成分画像の加重平均を行うことにより、前記周波数成分画像を合成するステップと、
   周波数成分画像変換部が、前記周波数成分画像合成部により合成された前記周波数成分画像に対し、前記グレースケール画像から前記周波数成分画像への変換の、逆変換を施すことにより、グレースケール画像に変換して出力するステップと、
   を含む画像処理方法。
8. コンピュータを、請求項１〜請求項５の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。