以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の第1の実施の形態に係る画像処理装置の構成>
まず、本発明の第1の実施の形態に係る画像処理装置の構成について説明する。図1に示すように、第1の実施の形態に係る画像処理装置100は、CPUと、RAMと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この画像処理装置100は、機能的には図1に示すように画像処理部10と、画像入力部11と、出力部50とを含んだ構成で表すことができる。
画像処理部10には、画像入力部11で得られたカラーチャンネル数Nの画像が入力される。本実施の形態では、画像入力部11は、マルチスペクトルカメラ(マルチバンドカメラ及びハイパースペクトルカメラ)を備えており、マルチスペクトルカメラによりカラーチャンネル数Nの画像を撮像する。なお、画像入力部11が備えるカメラは、マルチスペクトルカメラに限定されるものではなく、白黒カメラとマルチバンド光源の組み合わせにより、カラーチャンネル数Nの画像を撮像するようにしても良い。また、画像入力部11は、カメラを備えずに、予め外部記録装置に記憶されている画像(例えば、CGや、CGと実写とを合成した画像等)を出力するようにしても良い。また、画像入力部11は、カラーチャンネル数Nの画像ではなく、N枚の単色画像(以下、グレースケール画像と呼ぶ)を撮像して、出力するようにしても良い。
画像処理部10は、カラーチャンネル分解部30と、周波数成分画像生成部32と、周波数成分画像記憶部34と、周波数成分画像合成部36と、周波数成分画像変換部38とを含んで構成されている。
カラーチャンネル分解部30は、画像入力部11からカラーチャンネル数Nの画像の入力を受け付け、入力された、カラーチャンネル数Nの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。なお、画像入力部11から入力された画像が、N枚のグレースケール画像である場合には、カラーチャンネル分解部30における処理は省略が可能である。
周波数成分画像生成部32は、カラーチャンネル分解部により分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、N個のカラーチャンネルに対応したN枚の周波数成分画像を生成し周波数成分画像記憶部34に記憶する。本実施の形態では、周波数成分画像への変換は、離散フーリエ変換を用いる。なお、フーリエ変換のほかに、コサイン変換、又はウェーブレット変換など任意の変換手法を用いることができる。
周波数成分画像記憶部34には、周波数成分画像生成部32で生成された周波数成分画像が記憶される。
重み係数算出部40は、周波数成分画像生成部32により生成され、周波数成分画像記憶部34に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数空間における周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出して出力する。
周波数成分画像合成部36は、重み係数算出部40により各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
具体的には、以下の(7)式に従って、重み係数算出部40により各カラーチャンネルiについて算出された周波数インデックス(k1,k2)毎の重み係数wi(k1,k2)を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス(k1,k2)毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成する。
ただし、F(k1,k2)は、合成された周波数成分画像の周波数インデックス(k1,k2)における画素値であり、Fi(k1,k2)はカラーチャンネルiの周波数インデックス(k1,k2)における周波数成分画像の画素値であり、また、wi(k1,k2)はカラーチャンネルiの周波数インデックス(k1,k2)における周波数成分画像の画素値の重み係数である。
ここで、各カラーチャンネルの重み係数wi(k1,k2)は、
wi(k1,k2)=1/N
とする。
また、各カラーチャンネルの周波数インデックス(k1,k2)における画素値が、カラーチャンネルjにおいて最大となるときの重み係数wi(k1,k2)は、
wi(k1,k2)=1 when i=j
wi(k1,k2)=0 when i≠j
としても良い。
周波数成分画像変換部38は、周波数成分画像合成部36で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部50に出力する。なお、周波数成分画像生成部32において、コサイン変換又はウェーブレット変換を行って周波数成分画像に変換した場合には、それぞれ、逆コサイン変換又は逆ウェーブレット変換を行って一枚のグレースケール画像に変換するようにすれば良い。
<本発明の第1の実施の形態に係る画像処理装置の作用>
次に、本発明の第1の実施の形態に係る画像処理装置100の作用について説明する。画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、画像処理装置100は、図2に示す画像処理ルーチンを実行する。
まず、ステップS100では、画像入力部11から入力された、カラーチャンネル数Nの画像を取得する。
次に、ステップS102では、ステップS100で取得したカラーチャンネル数Nの画像を、各カラーチャンネルに対応した各グレースケール画像に分解する。
ステップS104では、ステップS102で分解して得られた各グレースケール画像を、周波数成分画像に変換することにより、N個のカラーチャンネルに対応したN枚の周波数成分画像を生成し、周波数成分画像記憶部34に記憶する。
ステップS105では、ステップS104で生成され、周波数成分画像記憶部34に記憶された周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックス毎に、当該周波数インデックスに対する重み係数を算出する。
ステップS106では、ステップS105で各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、周波数成分画像生成部により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
ステップS108では、ステップS106で周波数成分画像を合成して得られた一枚の新たな周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換し、変換したグレースケール画像を出力部50に出力して処理を終了する。
以上説明したように、第1の実施の形態に係る画像処理装置によれば、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、周波数成分画像生成部32にN枚のグレースケール画像の各々が入力されて、周波数成分画像生成部32によりN枚の周波数成分画像の各々が生成され、周波数成分画像記憶部34に記憶される場合を例に説明したが、図3に示すように、周波数成分画像記憶部34を備えずに、周波数成分画像生成部32がN個のカラーチャンネルと同じ数だけあるように構成しても良い。
<本発明の第2の実施の形態に係る画像処理装置の構成>
次に、第2の実施の形態について説明する。なお、第2の実施の形態の画像処理装置について、第1の実施の形態の画像処理装置100と同様の構成については、同一符号を付して詳細な説明を省略する。
第2の実施の形態では、周波数インデックスのエネルギー値に比例するように周波数インデックスに対する重み係数を算出している点が、第1の実施の形態と異なっている。
第2の実施の形態に係る画像処理装置200は、第1の実施の形態と同様に、機能的には図4に示すように画像処理部210と、画像入力部11と、出力部50とを含んだ構成で表すことができる。
第2の実施の形態に係る画像処理部210は、機能的には図4に示すようにカラーチャンネル分解部30と、周波数成分画像生成部32と、周波数成分画像記憶部34と、重み係数算出部240と、周波数成分画像合成部236と、周波数成分画像変換部38とを含んだ構成で表すことができる。
重み係数算出部240は、各カラーチャンネルiについて、以下の(8)式に従って、当該カラーチャンネルiの周波数成分画像の周波数インデックス(k1,k2)毎に、当該周波数成分画像の周波数インデックス(k1,k2)のエネルギー値に比例するように当該周波数インデックス(k1,k2)に対する重み係数wi(k1,k2)を算出して出力する。
ただし、
はFi(k1,k2)の複素共役であり、
はカラーチャンネルiの周波数インデックス(k1,k2)におけるエネルギー値である。
周波数成分画像合成部236は、上記(7)式に従って、重み係数算出部240により各カラーチャンネルiについて算出された周波数インデックス(k1,k2)毎の重み係数wi(k1,k2)を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス(k1,k2)毎に加重平均を行うことにより、周波数成分画像生成部32により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
周波数成分画像変換部38は、第1の実施の形態と同様に、周波数成分画像合成部236で合成して得られた一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部50に出力する。
<本発明の第2の実施の形態に係る画像処理装置の作用>
次に、本発明の第2の実施の形態に係る画像処理装置200の作用について説明する。なお、第1の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、画像処理装置200は、図5に示す画像処理ルーチンを実行する。
ステップS200では、各カラーチャンネルiについて、上記(8)式に従って、当該カラーチャンネルiの周波数成分画像の周波数インデックス(k1,k2)毎に、当該周波数成分画像の周波数インデックス(k1,k2)のエネルギー値に比例するように当該周波数インデックス(k1,k2)に対する重み係数wi(k1,k2)を算出する。
ステップS202では、上記(7)式に従って、ステップS200で各カラーチャンネルiについて算出された周波数インデックス(k1,k2)毎の重み係数wi(k1,k2)を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス(k1,k2)毎に加重平均を行うことにより、ステップS104で生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
なお、第2の実施の形態に係る画像処理装置200の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
以上説明したように、第2の実施の形態に係る画像処理装置によれば、各カラーチャンネルiについて、周波数インデックス(k1,k2)毎のエネルギー値に比例するように周波数インデックス(k1,k2)に対する重み係数wi(k1,k2)を算出し、各カラーチャンネルiについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス(k1,k2)毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、周波数成分画像生成部32にN枚の各グレースケール画像が入力されて、周波数成分画像生成部32によりN枚の周波数成分画像が生成され、周波数成分画像記憶部34に記憶される場合を例に説明したが、図6に示すように、周波数成分画像記憶部34を備えずに、周波数成分画像生成部32がN個のカラーチャンネルと同じ数だけあるように構成しても良い。
<本発明の第3の実施の形態に係る画像処理装置の構成>
次に、第3の実施の形態について説明する。なお、第3の実施の形態の画像処理装置について、第1及び第2の実施の形態と同様の構成については、同一符号を付して説明を省略する。
第3の実施の形態では、各カラーチャンネルの周波数成分画像に対する重み係数を算出し、算出された重み係数を用いて周波数成分画像の加重平均を行っている点が、第2の実施の形態と異なっている。
第3の実施の形態に係る画像処理装置200は、第1の実施の形態と同様に、機能的には上記図4に示すように画像処理部210と、画像入力部11と、出力部50とを含んだ構成で表すことができる。
第3の実施の形態に係る画像処理部210は、第2の実施の形態と同様に、機能的には上記図4に示すようにカラーチャンネル分解部30と、周波数成分画像生成部32と、周波数成分画像記憶部34と、重み係数算出部240と、周波数成分画像合成部236と、周波数成分画像変換部38とを含んだ構成で表すことができる。
第3の実施の形態に係る重み係数算出部240は、周波数成分画像生成部32により生成され、周波数成分画像記憶部34に記憶された周波数成分画像の周波数インデックスのエネルギー値に基づいて、各カラーチャンネルの周波数成分画像について、当該カラーチャンネルの周波数成分画像に対する重み係数を算出して出力する。
具体的には、各カラーチャンネルiの周波数成分画像について、以下の(9)式に従って、当該カラーチャンネルiの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルiの周波数成分画像に対する重み係数wiを算出する。
ただし、
はi番目のカラーチャンネルの周波数成分画像のエネルギー値を表す。
なお、第3の実施の形態に係る重み係数算出部240は、周波数成分画像の画素値に基づいて、各カラーチャンネルの周波数成分画像に対する重み係数を算出しても良い。
第3の実施の形態に係る周波数成分画像合成部236は、重み係数算出部240により各カラーチャンネルの周波数成分画像について算出された各カラーチャンネルの周波数成分画像の重み係数を用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部32により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成する。そして、合成して得られた一枚の新たな周波数成分画像を出力する。
具体的には、下記(10)式に従って、重み係数算出部240により各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルiの周波数成分画像の重み係数wiを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、周波数成分画像生成部32により生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成する。
周波数成分画像変換部38は、第1の実施の形態と同様に、周波数成分画像合成部36で生成された一枚の周波数成分画像を、離散逆フーリエ変換により、一枚のグレースケール画像に変換して、出力部50に出力する。
<本発明の第3の実施の形態に係る画像処理装置の作用>
次に、本発明の第3の実施の形態に係る画像処理装置200の作用について説明する。なお、第1及び第2の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、第3の実施の形態に係る画像処理装置200は、図7に示す画像処理ルーチンを実行する。
ステップS300では、各カラーチャンネルiの周波数成分画像について、上記(9)式に従って、当該カラーチャンネルiの周波数成分画像のエネルギー値に比例するように当該カラーチャンネルiの周波数成分画像に対する重み係数wiを算出する。
ステップS302では、上記(10)式に従って、ステップS300で各カラーチャンネルの周波数成分画像について算出されたカラーチャンネルiの周波数成分画像の重み係数wiを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、ステップS104で生成され、周波数成分画像記憶部34に記憶された周波数成分画像を合成して、一枚の新たな周波数成分画像を得る。
なお、第3の実施の形態に係る画像処理装置200の他の構成及び作用については、第1及び第2の実施の形態と同様であるため、説明を省略する。
以上説明したように、第3の実施の形態に係る画像処理装置によれば、各カラーチャンネルiの周波数成分画像について、周波数成分画像のエネルギー値に比例するように重み係数wiを算出し、各カラーチャンネルの周波数成分画像毎に算出された重み係数wiを用いて、全カラーチャンネルの周波数成分画像の加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
<本発明の第4の実施の形態に係る画像処理装置の構成>
次に、第4の実施の形態について説明する。なお、第4の実施の形態の画像処理装置について、第1の実施の形態と同様の構成については、同一符号を付して説明を省略する。
第4の実施の形態では、N枚のグレースケール画像に対して正規化を施す点が、第1の実施の形態と異なっている。
第4の実施の形態に係る画像処理装置400は、第1の実施の形態と同様に、機能的には図8に示すように画像処理部210と、画像入力部11と、出力部50とを含んだ構成で表すことができる。
第4の実施の形態に係る画像処理部410は、機能的には図8に示すようにカラーチャンネル分解部30と、正規化処理部430と、周波数成分画像生成部32と、周波数成分画像記憶部34と、重み係数算出部40と、周波数成分画像合成部36と、周波数成分画像変換部38とを含んだ構成で表すことができる。
正規化処理部430は、カラーチャンネル分解部30により分解して得られた各グレースケール画像について、下記の(11)式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。
ただし、fi(x,y)はi番目のカラーチャンネルに対応したグレースケール画像の座標(x,y)における画素値を表す。また、
はi番目のカラーチャンネルに対応したグレースケール画像のエネルギーを表す。
なお、正規化処理部430は、上記の正規化で得られた結果に対して係数を掛けても良い(例えば8bit画像を対象とする場合は、係数=255を、16bit画像を対象とする場合は、係数=65535を掛ける)。また、正規化処理部430は、グレースケール画像の各画素値を、画像中の最大画素値で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。また、下記の(12)式に従って、グレースケール画像の各画素を、画像全体の画素の和で割り、得られた値を新しい画素値とすることで、グレースケール画像を正規化しても良い。
周波数成分画像生成部32は、正規化処理部430により出力された各グレースケール画像を、第1の実施の形態と同様に、周波数成分画像に変換することにより、N個の各カラーチャンネルに対応したN枚の周波数成分画像を生成して出力する。
<本発明の第4の実施の形態に係る画像処理装置の作用>
次に、本発明の第4の実施の形態に係る画像処理装置400の作用について説明する。なお、第1の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、第4の実施の形態に係る画像処理装置400は、図9に示す画像処理ルーチンを実行する。
ステップS400では、ステップS102で分解して得られた各グレースケール画像について、上記(11)式に従って、当該グレースケール画像の各画素を画像全体のエネルギーで割り、得られた値を新しい画素値とすることで、当該グレースケール画像を正規化する。
なお、第4の実施の形態に係る画像処理装置400の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
以上説明したように、第4の実施の形態に係る画像処理装置によれば、各グレースケール画像について正規化を施し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、正規化処理部430により、N枚のグレースケール画像に対して正規化を施す処理を繰り返す場合を例に説明したが、図10に示すように、正規化処理部をN個備え、N個の正規化処理部毎にグレースケール画像に対して正規化を施すように構成しても良い。
また、本実施の形態では、第1の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第2又は第3の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
<本発明の第5の実施の形態に係る画像処理装置の構成>
次に、第5の実施の形態について説明する。なお、第5の実施の形態の画像処理装置について、第4の実施の形態と同様の構成については、同一符号を付して説明を省略する。
第5の実施の形態では、カラーチャンネル数Nの基準白色画像を用いてホワイトバランスの調整を行っている点が、第1から第4の実施の形態と異なっている。
第5の実施の形態に係る画像処理装置600は、機能的には図11に示すように画像処理部610と、画像入力部11と、撮影条件記憶部611と、ホワイトバランス調整用係数算出部630と、出力部50とを含んだ構成で表すことができる。
撮影条件記憶部611には、画像撮影時に使用したカメラの分光感度特性、画像撮影時の照明光スペクトル、被写体表面の分光反射率の主成分、主成分の相関関数及び共分散行列、並びに分光反射率推定行列など、カラーチャンネル数Nの画像から分光反射率を推定するために必要な情報が記憶されている。
第5の実施の形態に係る画像処理部610は、機能的には図11に示すようにホワイトバランス調整部632と、カラーチャンネル分解部30と、正規化処理部430と、周波数成分画像生成部32と、周波数成分画像記憶部34と、重み係数算出部40と、周波数成分画像合成部36と、周波数成分画像変換部38とを含んだ構成で表すことができる。
ホワイトバランス調整用係数算出部630は、画像入力部11で撮像されたカラーチャンネル数Nの画像と同じ条件(照明環境や露光時間、絞り値、感度などのカメラ設定)で撮像されたカラーチャンネル数Nの基準白色画像の入力を受け付ける。ホワイトバランス調整用係数算出部630は、受け付けたカラーチャンネル数Nの基準白色画像に基づいて、特許文献1(特開2011−259209号)に記載の手法と同様の手法を用いて、撮影条件記憶部611に記憶されている、カラーチャンネル数Nの画像から分光反射率を推定するために必要な情報を用いて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネルの画像にかけるホワイトバランス調整用係数を算出する。
なお、撮影条件記憶部611を備えずに、ホワイトバランス調整用係数算出部630は、受け付けたカラーチャンネル数Nの基準白色画像における各カラーチャンネルについて、基準白色に該当する箇所の画素値、又は該当する領域の画素値の平均値が等しくなるように、下記の(13)式又は(14)式に従って、ホワイトバランス調整用係数を算出するようにしても良い。
ホワイトバランス調整部632は、画像入力部11からカラーチャンネル数Nの画像、及びホワイトバランス調整用係数算出部630から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数Nの画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部630により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Nの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Nの画像を出力する。
カラーチャンネル分解部30は、ホワイトバランス調整部632からカラーチャンネル数Nの画像の入力を受け付け、第1の実施の形態と同様に、カラーチャンネル数Nの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。
<本発明の第5の実施の形態に係る画像処理装置の作用>
次に、本発明の第5の実施の形態に係る画像処理装置600の作用について説明する。なお、第4の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、第5の実施の形態に係る画像処理装置600は、図12に示す画像処理ルーチンを実行する。
まず、ステップS500では、画像入力部11から入力された、カラーチャンネル数Nの画像及びカラーチャンネル数Nの基準白色画像を取得する。
次に、ステップS502では、ステップS500で取得したカラーチャンネル数Nの基準白色画像に基づいて、基準白色の分光反射率が全ての波長で等しくなるように各カラーチャンネル画像にかけるホワイトバランス調整用係数を算出する。
ステップS504では、ステップS500で取得したカラーチャンネル数Nの画像の画素値に対して、ステップS502で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Nの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Nの画像を出力する。
なお、第5の実施の形態に係る画像処理装置600の他の構成及び作用については、第4の実施の形態と同様であるため、説明を省略する。
以上説明したように、第5の実施の形態に係る画像処理装置によれば、カラーチャンネル数Nの画像のホワイトバランスを調整し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、カラーチャンネル分解部の前段にホワイトバランス調整部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後にホワイトバランス調整部を置くように構成し、N枚のグレースケール画像について、ホワイトバランスを調整するようにしても良い。
また、本実施の形態では、第4の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第1から第3のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
<本発明の第6の実施の形態に係る画像処理装置の構成>
次に、第6の実施の形態について説明する。なお、第6の実施の形態の画像処理装置について、第5の実施の形態と同様の構成については、同一符号を付して説明を省略する。
第6の実施の形態では、カラーチャンネル数Nの画像について、異なる色空間若しくは多次元信号空間へ変換を行っている点が、第1から第5の実施の形態と異なっている。
第6の実施の形態に係る画像処理装置800は、第5の実施の形態と同様に、機能的には図13に示すように画像処理部810と、画像入力部11と、撮影条件記憶部611、ホワイトバランス調整用係数算出部630と、出力部50とを含んだ構成で表すことができる。
第6の実施の形態に係る画像処理部810は、機能的には図13に示すようにホワイトバランス調整部632と、信号空間変換処理部830と、カラーチャンネル分解部30と、正規化処理部430と、周波数成分画像生成部32と、周波数成分画像記憶部34と、重み係数算出部40と、周波数成分画像合成部36と、周波数成分画像変換部38とを含んだ構成で表すことができる。
信号空間変換処理部830は、ホワイトバランス調整部632でホワイトバランスが調整されたカラーチャンネル数Nの画像について、異なる色空間若しくは多次元信号空間へ変換し、カラーチャンネル数Mの画像を生成する。本実施の形態では、カラーチャンネル数Nの画像について、カラーチャンネル方向の主成分画像への変換を行うことで、カラーチャンネル数Mの画像を生成する。また、本実施の形態では全ての主成分画像を使用するが、全ての主成分画像を使用せず、一部の主成分画像を使用しても良い。
なお、主成分画像への変換は、本実施の形態における信号空間変換の一例であり、信号空間変換処理部830は、撮影条件記憶部611から取得した情報を用いて、カラーチャンネル数Nの画像について、分光反射率画像への変換を行うようにしても良い。また、変換した分光反射率画像について、更に、波長軸方向への主成分画像に変換するようにしても良い(全ての主成分画像を使用せず、一部の主成分画像を使用しても良い)。また、カラーチャンネル数Nの画像について、CIE−XYZ画像、CIE−Lab画像、又はxvYCC画像などへの変換を行うようにしても良い。
カラーチャンネル分解部30は、信号空間変換処理部830からカラーチャンネル数Mの画像の入力を受け付け、第1の実施の形態と同様に、カラーチャンネル数Mの画像を、各カラーチャンネルに対応した各グレースケール画像に分解して出力する。
<本発明の第6の実施の形態に係る画像処理装置の作用>
次に、本発明の第6の実施の形態に係る画像処理装置800の作用について説明する。なお、第5の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、第6の実施の形態に係る画像処理装置800は、図14に示す画像処理ルーチンを実行する。
ステップS600では、ステップS504でホワイトバランスが調整されたカラーチャンネル数Nの画像について、カラーチャンネル方向の信号空間への変換を行い、カラーチャンネル数Mの画像を生成する。
なお、第6の実施の形態に係る画像処理装置800の他の構成及び作用については、第5の実施の形態と同様であるため、説明を省略する。
以上説明したように、第6の実施の形態に係る画像処理装置によれば、カラーチャンネル数Nの画像について、カラーチャンネル方向の主成分画像への変換を行うことでカラーチャンネル数Mの画像を生成し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、新たな周波数成分画像を合成することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、カラーチャンネル分解部の前段に信号空間変換処理部を置いているが、これに限定されるものではなく、カラーチャンネル分解部の直後に信号空間変換処理部を置くように構成し、N枚のグレースケール画像について、信号空間変換処理を行うようにしても良い。
また、本実施の形態では、第5の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第1から第4のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
<本発明の第7の実施の形態に係る画像処理装置の構成>
次に、第7の実施の形態について説明する。なお、第7の実施の形態の画像処理装置について、第6の実施の形態と同様の構成については、同一符号を付して説明を省略する。
第7の実施の形態では、カラーチャンネル数Nの画像を、複数の領域に分割し、分割した各画像について、周波数成分画像の合成を行っている点が、第1から第6の実施の形態と異なっている。
第7の実施の形態に係る画像処理装置1000は、機能的には図15に示すように画像処理部1010と、画像入力部11と、撮影条件記憶部611と、ホワイトバランス調整用係数算出部630と、画像領域分割処理部1011と、分割領域画像記憶部1013と、分割領域グレースケール画像記憶部1041と、分割領域画像統合部1043と、出力部50とを含んだ構成で表すことができる。
画像領域分割処理部1011は、画像入力部11からカラーチャンネル数Nの画像の入力を受け付け、受け付けたカラーチャンネル数Nの画像を、既存の手法を用いてL枚の領域画像に分割する。分割して得られたカラーチャンネル数NのL枚の分割領域画像は分割領域画像記憶部1013に記憶される。
分割領域画像記憶部1013は、画像領域分割処理部1011により分割されたカラーチャンネル数NのL枚の分割領域画像が記憶されており、画像処理部1010に入力される。
画像処理部1010のホワイトバランス調整部632は、第6の実施の形態と同様に、画像入力部11からカラーチャンネル数NのL枚の分割領域画像、及びホワイトバランス調整用係数算出部630から各カラーチャンネルについてのホワイトバランス調整用係数の入力を受け付け、受け付けたカラーチャンネル数NのL枚の分割領域画像の各カラーチャンネルの画素値に対して、ホワイトバランス調整用係数算出部630により算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Nの分割領域画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Nの分割領域画像を出力する。そして、画像処理部1010では、ホワイトバランス調整部632以降の処理において、ホワイトバランス調整部632により得られたカラーチャンネル数NのL枚の分割領域画像の各カラーチャンネルについて、第6の実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、L枚の新たな周波数成分画像を合成する。
周波数成分画像変換部38は、第1の実施の形態と同様に、周波数成分画像合成部36で合成して得られた、L枚の周波数成分画像を、離散逆フーリエ変換により、L枚のグレースケール画像に変換して、分割領域グレースケール画像記憶部1041に記憶する。
分割領域グレースケール画像記憶部1041は、画像処理部1010によって変換して得られたL枚の分割領域画像の各グレースケール画像が記憶されている。
分割領域画像統合部1043は、分割領域グレースケール画像記憶部1041に記憶されたL枚のグレースケール画像を統合して、一枚のグレースケール画像を生成して出力する。
<本発明の第7の実施の形態に係る画像処理装置の作用>
次に、本発明の第7の実施の形態に係る画像処理装置1000の作用について説明する。なお、第6の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
画像入力部11において得られたカラーチャンネル数Nの画像を受け付けると、第6の実施の形態に係る画像処理装置1000は、図16に示す画像処理ルーチンを実行する。
ステップS700では、ステップS500で取得したカラーチャンネル数Nの画像を、L枚の領域画像に分割し、分割して得られたL枚の分割領域画像を分割領域画像記憶部1013に記憶する。
ステップS504では、ステップS700で分割領域画像記憶部1013に記憶されたL枚の分割領域画像のうちの処理対象の分割領域画像に対して、ステップS502で算出されたホワイトバランス調整用係数を掛け合わせて、カラーチャンネル数Nの画像のホワイトバランスを調整し、その結果得られたカラーチャンネル数Nの画像を出力する。
ステップS701では、上記ステップS700で分割領域画像記憶部1013に記憶されたL枚の分割領域画像の全てについて、上記ステップS504〜S108の処理を実行したか否かを判定し、上記ステップS504〜S108の処理を実行していない分割領域画像が存在する場合には、当該分割領域画像を処理対象として、上記ステップS504〜S108の処理を繰り返す。一方、L枚の分割領域画像の全てについて、上記ステップS504〜S108の処理を実行した場合には、ステップS702へ移行する。
ステップS702では、ステップS108で変換され、分割領域グレースケール画像記憶部1041に記憶されたL枚のグレースケール画像を統合し、一枚のグレースケール画像を生成して処理を終了する。
以上説明したように、第7の実施の形態に係る画像処理装置によれば、カラーチャンネル数Nの画像について、L枚の分割領域画像に分割し、分割領域画像のグレースケール画像を周波数成分画像に変換し、各カラーチャンネルに対応した周波数成分画像の画素値に基づいて、各カラーチャンネルについて、周波数インデックスに対する重み係数を算出し、各カラーチャンネルについて算出された周波数インデックス毎の重み係数を用いて、全カラーチャンネルの周波数成分画像の周波数インデックス毎に加重平均を行うことにより、L枚の新たな周波数成分画像を合成し、合成したL枚の周波数成分画像を変換して得たL枚のグレースケール画像を統合することで、画像中の特徴的なテクスチャを反映したグレースケール画像を生成することができる。
なお、本実施の形態では、第6の実施の形態と同様の構成で、周波数成分画像を合成する場合を例に説明したが、これに限定されるものではなく、第1から第5のいずれかの実施の形態と同様の構成で、重み係数を算出し、算出した重み係数を用いて加重平均を行うことにより、新たな周波数成分画像を合成するようにしても良い。
また、図17に示すように、分割領域画像記憶部1013及び分割領域グレースケール画像記憶部1041を備えずに、L個の画像処理部を備えるようにしてL枚の分割領域画像の各々につい6、周波数成分画像を合成する処理を並列処理する構成としても良い。
また、本発明は、上述した第1から第7の実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。