JP5080934B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、マルチバンド画像データを処理する画像処理装置及び方法、及び撮像装置に関し、さらに詳しくは、マルチバンド画像データを異なる分光特性の画像データに変換する画像処理装置及び方法、及び撮像装置に関する。

透過する波長帯域が異なる複数のフィルタを用いて被写体を撮像することにより、被写体のスペクトル画像を取得することができるマルチバンド画像撮像装置（例えば、マルチバンドカメラ等）が近年実用化され始めている。このマルチバンド画像撮像装置から得られたマルチバンド画像を一般的な出力機器で見るためには、マルチバンド画像データからＲＧＢの３バンドデータ等に変換しなければならない。

この変換方法として、撮影目的に応じて多チャンネル画像データの中からチャンネルを選択して、ＲＧＢ等の３チャンネル画像データに変換する技術がある（例えば、特許文献１参照）。この技術を用いることにより、撮影目的に適した３チャンネル画像データの画像を出力することができるようになる。

一方、デジタルスチルカメラのような従来の原色ＲＧＢフィルタ等が用いられている撮像装置では、ｓＲＧＢの色空間で最適な画像が得られるような分光透過率特性を有するＲＧＢのカラーフィルタが使用されている。また、近年ＡｄｏｂｅＲＧＢ等のｓＲＧＢより広い色空間に対応したディスプレーやプリンタ等の出力デバイスも開発されている。そのため、入力機器である撮像装置が出力する画像においてもＡｄｏｂｅＲＧＢ等の、ｓＲＧＢよりも広い色空間に対応した画像を出力することが求められている。

しかしながら、ｓＲＧＢの色再現に最適化されているカラーフィルタでは、ＡｄｏｂｅＲＧＢ等の広い色空間に対応した画像データを取得することが困難である。

特開２００１−７８２２６号公報

しかしながら、特許文献１に記載されているように、分光透過率特性の異なる複数のフィルタを用いて得られた多チャンネル画像データの中からチャンネルを選択して３チャンネル画像データに変換する場合、選択できるチャンネルデータが限られてしまう。また、特許文献１に記載の技術では、多チャンネル画像データのホワイトバランスがとられていない。そのため、３チャンネル画像の作成に使用した３チャンネルの分光に応じて、３チャンネルデータへ変換後にホワイトバランスをあわせなければならない。

本発明は上記問題点を鑑みてなされたものであり、本発明の画像処理装置は、複数の異なる波長帯域の画像データから成るマルチバンド画像データから、各画素のスペクトルを推定する推定手段と、異なる複数の撮影モード毎にそれぞれ適する分光データを記憶する記憶手段と、前記入力されたマルチバンド画像データの撮影モードを判断し、該判断した撮影モードに適する前記記憶手段に記憶された前記分光データを用いて、前記スペクトルを、前記マルチバンド画像データとは異なる分光特性のバンドデータに変換する変換手段とを有し、前記撮影モードが天文撮影モードであると判断された場合、前記変換手段は、前記スペクトルを、Ｈα線周辺のＲ感度がＧ感度及びＢ感度よりも高い分光特性のバンドデータに変換し、前記撮影モードが前記天文撮影モードとは異なる撮影モードであると判断された場合、前記変換手段は、前記スペクトルを、Ｂ感度がＲ感度及びＧ感度よりも高い分光特性のバンドデータに変換することを特徴とする。

また、本発明の画像処理方法は、 推定手段が、複数の異なる波長帯域の画像データから成るマルチバンド画像データから、各画素のスペクトルを推定する推定工程と、 判断手段が、前記入力されたマルチバンド画像データの撮影モードを判断する判断工程と、 変換手段が、異なる複数の撮影モード毎にそれぞれ適する分光データを記憶した記憶手段から、前記判断工程で判断した撮影モードに適する分光データを選択し、選択した前記分光データを用いて、前記スペクトルを、前記マルチバンド画像データとは異なる分光特性のバンドデータに変換する変換工程とを有し、前記撮影モードが天文撮影モードであると判断された場合、前記変換工程では、前記スペクトルを、Ｈα線周辺のＲ感度がＧ感度及びＢ感度よりも高い分光特性のバンドデータに変換し、前記撮影モードが前記天文撮影モードとは異なる撮影モードであると判断された場合、前記変換工程では、前記スペクトルを、Ｂ感度がＲ感度及びＧ感度よりも高い分光特性のバンドデータに変換することを特徴とする。

好ましくは、上記画像処理装置は、前記推定手段による前記スペクトルの推定に先だって、入力されたマルチバンド画像データにホワイトバランス補正を施すホワイトバランス処理手段をさらに有する。

また、本発明の撮像装置は、互いに異なる分光透過率特性を有する複数の分光フィルタと、前記分光フィルタを透過した光を光電変換して、複数の異なる波長帯域の画像データから成るマルチバンド画像データを出力する撮像手段と、上記画像処理装置とを有することを特徴とする。

本発明によれば、マルチバンド画像データを異なるバンド数の画像データに変換する際の自由度を高めることができる。また、変換方法に応じてホワイトバランスを変更する手間を省くことができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
本第１の実施形態では、撮影用途に応じてマルチバンド画像データを３バンド画像データに変換する方法について説明する。

図１に本第１の実施形態で使用する、マルチバンドの分光透過率特性を示す。本実施形態では図１に示すように波長帯域（ａ）〜（ｉ）をそれぞれ主とする分光透過率特性を有する９バンドの分光フィルタを用いた撮像装置について説明するが、使用するバンド数や分光透過率特性の種類はこれに限るものではない。なお、以下の説明では、波長帯域（ａ）〜（ｉ）と、分光フィルタやデータなどとの対応を、（ａ）〜（ｉ）により表す。

図１に示す分光透過率特性をそれぞれ有する分光フィルタ（ａ）〜（ｉ）は、例えば図２の（ａ）〜（ｉ）のようにターレットに均等に配置される。以下、図３を用いてこのターレットの使用方法について説明する。

図３において、３０１は被写体、３０２は被写体を照明する光源、３０３は図２に示すマルチバンドターレット（以下、「ターレット」と呼ぶ。）、３０４はレンズ、３０５はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。レンズ３０４は、ターレット３０３の分光フィルタ（ａ）〜（ｉ）の内の１つのフィルタを透過した被写体の像が、撮像素子３０５に結像するように配置される。撮像素子３０５に入射した被写体の像は、光電変換により電気信号に変換されて、出力される。なお、レンズ３０４の前に配置されたターレット３０３は撮影する度に回転し、異なる分光フィルタを透過した被写体の像がレンズ３０４に入射するように制御される。分光フィルタを代えながら９回撮影を繰り返すことで、波長帯域（ａ）〜（ｉ）の画像データ（ａ）〜（ｉ）が出力される。

なお、分光フィルタ（ａ）〜（ｉ）はターレットに配置する他に、例えば、図４のように単板の撮像素子（例えば、ＣＣＤセンサやＣＭＯＳセンサ）上に配置することで、マルチスペクトル画像データを出力するようにしてもよい。

次に、本第１の実施形態におけるマルチバンド画像処理装置の処理の流れを説明するが、ここではターレット３０３を使用した場合について説明する。

図５は本第１の実施形態の画像処理装置の構成を示すブロック図である。

図５において、３０５は図３で説明した撮像素子である。なお、撮像素子３０５より被写体側の構成は図３と同様で、レンズ３０４及びターレット３０３が配置されている。

５０１は撮像素子３０５により変換されたアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換器である。

５０２はＡ／Ｄ変換された波長帯域（ａ）〜（ｉ）の各バンドの画像データ（ａ）〜（ｉ）を合成するマルチバンド画像合成部である。ここで行われる合成処理では、各波長帯域（ａ）〜（ｉ）の画像データを同一画素毎に集め、各画素が各波長帯域（ａ）〜（ｉ）のデータを有するように、撮影した９枚の画像を合成する。例えば、撮像素子３０５のある１画素に入射する被写体３０１の像のスペクトルが図６のようなスペクトルであった場合、マルチバンド画像合成部５０２による合成後のその画素のデータ（画素データ）は、図７の画素データ（ａ）〜（ｉ）のようになる。

ここで、図７に示す画素データには、被写体３０１からの反射光と、光源３０２から直接入射した光に起因するデータが含まれている。そこで、この画像データから光源３０２の影響を除外するのがホワイトバランス処理部（ＷＢ処理部）５０３である。ＷＢ補正を行うことで、光源３０２の影響を除外した被写体の反射率のみを表すマルチバンド画像データを求める。なお、このホワイトバランス補正（ＷＢ補正）の方法については後述する。

５０４は、ＷＢ補正が施されたマルチバンド画像データから被写体のスペクトルを推定する、分光推定部である。この９バンド分の画像データから被写体のスペクトルを推定する方法については後述する。

５０５は推定された被写体のスペクトルに所定のＲＧＢの分光係数を積分し、ＲＧＢ３バンドデータへの変換を行う変換部である。本第１の実施形態では、異なる撮影モードにそれぞれ対応した複数のＲＧＢの分光係数が予め設定されており、予めユーザによって設定された撮影モードに対応する分光係数を使用する。なお、この撮影モードとそれに対応する分光データについては後述する。

５０６は、ＲＧＢ３バンドデータに対して、一般的に従来のＲＧＢバンドの撮像装置で用いられているガンマ処理、色の色相、彩度、明度等を調整する画像処理部である。これらの処理が全て行われて、マルチバンド画像からＲＧＢ３バンドの画像が作成される。

次に、ＷＢ処理部５０３でＷＢ処理に用いるＷＢ補正係数を演算をする方法について、図８のフローチャートを用いて詳細に説明する。

まず、ホワイトバランスのＷＢ補正係数のもとになる光源のデータを取得する為に、被写体に照射している光源３０２下で、基準画像として、例えば反射率１８％のグレーの均一輝度面を撮影する（ステップＳ１１）。なお、光源３０２の光は、例えば、図９のような分光特性を有するものとする。基準画像を撮影して得た基準画像データに対して、Ａ／Ｄ変換器５０１によりＡ／Ｄ変換を行う（ステップＳ１２）。Ａ／Ｄ変換された１バンド分の画像データは、後でマルチバンドの画像データに合成する為に、一時、撮像装置内のメモリ（不図示）に記録しておく（ステップＳ１３）。

ステップＳ１４では、ターレット３０３に配置された分光フィルタ（ａ）〜（ｉ）全てについて、ステップＳ１１〜Ｓ１３の処理を行ったかどうかを判断する。全ての分光フィルタ（ａ）〜（ｉ）を用いた処理が終了するまで、分光フィルタを変えながら（ステップＳ１５）、ステップＳ１１〜Ｓ１３の処理を繰り返し行う。

ターレット３０３に配置された分光フィルタ（ａ）〜（ｉ）全てを用いた撮影が終了すると（ステップＳ１４でＹＥＳ）、マルチバンド画像合成部５０２により撮像装置内のメモリに記録しておいた全バンドの画像を１つの画像に合成する（ステップＳ１６）。この合成した画像は、図１０に示すように、各画素毎に波長帯域（ａ）〜（ｉ）それぞれに対応する画素データ（ａ）〜（ｉ）を持つ、画像データ（ａ）〜（ｉ）となる。

そして、９つの画像データ（ａ）〜（ｉ）の内、画像データ（ｄ）、（ｅ）、（ｆ）の平均値が１となるように、画像データ（ａ）〜（ｉ）に積分するＷＢ補正係数を決定する（ステップＳ１７）。

具体的には以下の式により演算される。
波長帯域（ａ）のＷＢ補正係数 ＝ Ｖａ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｂ）のＷＢ補正係数 ＝ Ｖｂ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｃ）のＷＢ補正係数 ＝ Ｖｃ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｄ）のＷＢ補正係数 ＝ Ｖｄ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｅ）のＷＢ補正係数 ＝ Ｖｅ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｆ）のＷＢ補正係数 ＝ Ｖｆ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｇ）のＷＢ補正係数 ＝ Ｖｇ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｈ）のＷＢ補正係数 ＝ Ｖｈ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）
波長帯域（ｉ）のＷＢ補正係数 ＝ Ｖｉ /（（ Ｖｄ＋Ｖｅ＋Ｖｆ）/ ３）

上述した式において、Ｖａ〜Ｖｉは波長帯域（ａ）〜（ｉ）にそれぞれ対応する各画素の画素データ（ａ）〜（ｉ）の平均値または積分値である。
本第１の実施形態では、画像データ（ｄ）、（ｅ）、（ｆ）を基準にＷＢ補正係数を演算しているが、基準にする画像データは画像データ（ａ）〜（ｉ）のいずれか１つであっても、本第１の実施形態のように複数の組み合わせであってもよい。

演算したＷＢ補正係数を撮像装置のメモリに記憶して（ステップＳ１８）、ＷＢ補正係数の演算処理を終了する。

ＷＢ処理部５０３は、前述した図７に示す被写体３０１からの反射光と、光源３０２から直接入射した光に起因する、各画素毎の画素データ（ａ）〜（ｉ）それぞれに対して、予め算出しておいたＷＢ補正係数を積分することによりＷＢ補正を行う。その結果、図１１に示したような光源３０２の影響を除外した、被写体３０１からの反射光のみに基づく画素データ（ａ）〜（ｉ）を得ることができる。

次に、分光推定部５０４で行われる処理について、図１２のＷＢ補正後の出力結果を示す図を用いて詳細に説明する。

図１２において、１２０１は画素データ（ａ）〜（ｉ）から推定される被写体３０１のスペクトルである。この推定分光データ１２０１は画素データ（ａ）〜（ｉ）それぞれの中心の波長の点１２０２〜１２１０を２次曲線等で結ぶことで推定することができる。なお、このスペクトルの推定についてはこれに限るものではなく、例えば一般に知られているウィナー分光推定方法等を用いてもよい。

次に、推定した被写体のスペクトルをＲＧＢ３バンドデータに変換する方法を、予め設定された撮影モードに応じて変更する方法について詳細に説明する。

本実施形態の撮像装置には異なる撮影モードを設定する機能（不図示）があり、本第１の実施形態では、被写体の色を忠実に出力する第１のモードと、天文撮影に適した第２のモードを備えているものとする。なお、撮影モードの数や種類についてはこれに限るものではない。第１のモードは、人間の見た目に忠実に色を再現するモードである。一方、第２のモードは天文撮影に適したモードであるが、天文撮影ではしばしば被写体にＨα線が含まれており、このＨα線が含まれた部分の赤味を強くすることが天文撮影画像として好まれている。このＨα線は図１３に示すように６５６．３ｎｍの波長域に輝線を持っていることが知られている。

２つの撮影モードの内、第１の撮影モードが選択された場合、図１４に示すように人間の目の分光に近いとされている等色関数と同等のＲＧＢの分光データを、推定した被写体のスペクトルに積分することでＲＧＢ３バンドのデータを得る。

また、第２の撮影モードが選択された場合には、図１５に示すようにＨα線（６５６．３ｎｍ）付近のＲ感度がＧ、Ｂに対して相対的に強くなるようなＲＧＢ分光データを、推定された被写体のスペクトルに積分することでＲＧＢ３バンドのデータを得る。

なお、本第１の実施形態においては、ＲＧＢ３バンドデータへの変換について説明したが、４バンド以上のデータへ変換できるようにしてもよい。その際は、その必要なバンド数と同数の分光データを、推定した被写体のスペクトルに積分することで実現することができる。

次に、上述した処理の一連の流れを、図１６のフローチャートを用いて説明する。なお、この処理の前に、図８のフローチャートを用いて説明したＷＢ補正係数が予め求められているものとする。

まず、撮像装置に備えられている撮影モードのいずれかをユーザが選択する（ステップＳ２１）。次に、撮影が行われ（ステップＳ２２）、撮像素子３０５から出力される画像データに対して、Ａ／Ｄ変換器５０１によりＡ／Ｄ変換を行う（ステップＳ２３）。Ａ／Ｄ変換された１バンド分の画像データは、後でマルチバンドの画像データに合成する為に、一時、撮像装置内のメモリ（不図示）に記録しておく（ステップＳ２４）。

ステップＳ２５では、ターレット３０３に配置された分光フィルタ（ａ）〜（ｉ）全てについて、ステップＳ２２〜Ｓ２４の処理を行ったかどうかを判断する。全ての分光フィルタ（ａ）〜（ｉ）を用いた処理が終了するまで、分光フィルタを変えながら（ステップＳ２６）、ステップＳ２２〜Ｓ２４の処理を繰り返し行う。

ターレット３０３に配置された分光フィルタ（ａ）〜（ｉ）全てを用いた撮影が終了すると（ステップＳ２５でＹＥＳ）、ステップＳ２７に進む。そして、マルチバンド画像合成部５０２により撮像装置内のメモリに記録しておいた全バンドの画像を、上述したようにして１つの画像に合成する。この合成処理により、各画素が画素データ（ａ）〜（ｉ）を持つことになる。

次に、合成して得た画素データ（ａ）〜（ｉ）それぞれに対して、予め算出しておいた対応する波長帯域のＷＢ補正係数を積分することによりＷＢ補正を行う（ステップＳ２８）。ＷＢ補正後の画素データ（ａ）〜（ｉ）から、前述した手法を用いて各画素について、被写体のスペクトルを推定する（ステップＳ２９）。そして、推定した各画素のスペクトルに、ステップＳ２１で設定された撮影モード（第１又は第２のモード）に対応するＲＧＢの分光データを積分し、ＲＧＢ３バンドデータを得る（ステップＳ３０）。ここで、第１のモードが設定されている場合には、図１４に示す分光データを用い、第２のモードが設定されている場合には、図１５に示す分光データを用いる。

最後に、ＲＧＢ３バンドデータに対して、一般的に従来のＲＧＢバンド撮像装置で用いられているガンマ処理、色の色相、彩度、明度を調整する画像処理が施され、一連の処理は終了となる（ステップＳ３１）。

上記の通り本第１の実施形態によれば、異なる撮影モード毎に、適した分光データを予め準備しておくことで、ユーザの撮影目的に応じたＲＧＢバンドデータに変換することが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態では、撮影モードに代えて、色空間に応じてマルチバンド画像データを３バンドデータに変換する方法について説明する。

なお、第２の実施形態におけるマルチバンド画像合成方法、ＷＢ補正係数算出方法、分光推定方法等は第１の実施形態と同様であるため、説明を省略する。ここでは、推定した被写体のスペクトルを、色空間に応じてどのようにＲＧＢデータに変換するかについてのみ説明する。

本第２の実施形態では、色空間の設定としてｓＲＧＢとＡｄｏｂｅＲＧＢの２種類の設定ができるものとして説明する。なお、色空間の種類や設定できる個数はこれに限るものではない。

図１７はｓＲＧＢが設定された際に用いる、推定した被写体のスペクトルに積分する分光データを示し、図１８はＡｄｏｂｅＲＧＢが設定された際に用いる分光データを示す。図１７に示す分光データは、ｓＲＧＢの色再現に最適化された分光データである。一方、図１７に対して図１８の分光データは、ＲＧＢの分光の分離幅が大きく設定されており、ｓＲＧＢよりも広い色空間の色再現を行いやすくしたものである。

本第２の実施形態においては、ＲＧＢ３バンドデータへの変換について述べているが、４バンド以上のデータへ変換できるようにしてもよい。その際は、その必要なバンド数と同数の分光データを、推定した被写体のスペクトルに積分することで実現できる。

次に、本第２の実施形態における処理の一連の流れを、図１９のフローチャートを用いて説明する。なお、この処理の前に、第１の実施形態で図８のフローチャートを用いて説明したＷＢ補正係数が予め求められているものとする。また、図１６の処理と同様の処理には同じ参照番号を付し、説明を適宜省略する。

まず撮像装置に備えられている色空間のいずれかをユーザが選択する（ステップＳ４１）。次に、各分光フィルタ（ａ）〜（ｉ）を用いて撮影を行い、各画素毎にスペクトルを推定するまでの処理を行う（ステップＳ２２〜Ｓ２９）。

そして、推定した各画素のスペクトルに、ステップＳ４１で設定された色空間（ｓＲＧＢまたはＡｄｏｂｅＲＧＢ）に対応するＲＧＢの分光データを積分し、ＲＧＢ３バンドデータを得る（ステップＳ４２）。ここで、ｓＲＧＢが選択されている場合には、図１７に示す分光データを用い、ＡｄｏｂｅＲＧＢが選択されている場合には、図１８に示す分光データを用いる。

最後に、ＲＧＢ３バンドデータに対して、一般的に従来のＲＧＢバンド撮像装置で用いられているガンマ処理、色の色相、彩度、明度を調整する画像処理を施し、一連の処理は終了となる（ステップＳ３１）。

上記の通り本第２の実施形態によれば、異なる色空間毎に、適した分光データを予め準備しておくことで、所望の色空間のＲＧＢバンドデータに変換することが可能となる。

なお、上記第１及び第２の実施形態では、ターレット３０３を用いて９枚の画像を撮影し、合成することで各画素毎に画素データ（ａ）〜（ｉ）を取得する場合について説明した。図４に示すように撮像素子３０５上にフィルタ（ａ）〜（ｉ）を配置した場合には、１回の撮影で得られる画像を９画素を１単位として処理することが考えられる。他に、撮像素子３０５上の被写体像の位置をずらしながら撮影行う、いわゆる画素ずらし撮影を９回行って、各画素が波長帯域（ａ）〜（ｉ）の画素データを有するように制御してもよい。また、補間処理により各画素が波長帯域（ａ）〜（ｉ）の画素データを有するようにしても良い。

なお、上記第１及び第２の実施形態では、９つのバンドを３つのバンドに減らす場合について説明しているが、本発明はバンド数を減らす場合に限るものではない。例えば、推定したスペクトルに、より多くのバンド数の分光データを積分することにより、バンド数を増やすことも可能である。

＜他の実施形態＞
本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッド、スキャナなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１及び第２の実施形態におけるマルチバンドの分光透過率特性の一例を示す図である。 本発明の第１及び第２の実施形態におけるマルチバンドターレットを示す図である。 本発明の第１及び第２の実施形態における撮像装置の概略構成を示す図である。 本発明の第１及び第２の実施形態における撮像素子上に配した分光フィルタ配列の一例を示す図である。 本発明の第１及び第２の実施形態における撮像装置の機能構成を示す図である。 本発明の第１及び第２の実施形態における被写体からの反射光と光源の光が合成された像のスペクトルの一例を示した図である。 図６に示すスペクトルを有する光により得られる画素データの一例を示す図である。 本発明の第１及び第２の実施形態における、マルチバンド画像処理におけるＷＢ補正係数の算出方法を示すフローチャートである。 本発明の第１及び第２の実施形態における、基準画像のスペクトルの一例を示す図である。 図９に示すスペクトルを有する光により得られる画素データの一例を示す図である。 本発明の第１及び第２の実施形態におけるＷＢ補正後のマルチバンド画素データを示す図である。 本発明の第１及び第２の実施形態におけるマルチバンド画素データから被写体のスペクトルを推定する方法を説明するための図である。 Ｈα線のスペクトルを示す図である。 本発明の第１の実施形態における第１のモードで使用する分光データを示す図である。 本発明の第１の実施形態における第２のモードで使用する分光データを示す図である。 本発明の第１の実施形態におけるマルチバンド画像処理の流れを示すフローチャートである。 本発明の第２の実施形態におけるｓＲＧＢ用の分光データを示した図である。 本発明の第２の実施形態におけるＡｄｏｂｅＲＧＢ用の分光データを示した図である。 本発明の第２の実施形態におけるマルチバンド画像処理の流れを示すフローチャートである。

符号の説明

３０１ 被写体
３０２ 光源
３０３ マルチバンドターレット
３０４ レンズ
３０５ 撮像素子
５０１ Ａ／Ｄ変換器
５０２ マルチバンド画像合成部
５０３ ホワイトバランス処理部
５０４ 分光推定部
５０５ 変換部
５０６ 画像処理部

Claims (7)

1. 複数の異なる波長帯域の画像データから成るマルチバンド画像データから、各画素のスペクトルを推定する推定手段と、
   異なる複数の撮影モード毎にそれぞれ適する分光データを記憶する記憶手段と、
   入力されたマルチバンド画像データの撮影モードを判断し、該判断した撮影モードに適する前記記憶手段に記憶された前記分光データを用いて、前記スペクトルを、前記マルチバンド画像データとは異なる分光特性のバンドデータに変換する変換手段と
   を有し、
   前記撮影モードが天文撮影モードであると判断された場合、前記変換手段は、前記スペクトルを、Ｈα線周辺のＲ感度がＧ感度及びＢ感度よりも高い分光特性のバンドデータに変換し、前記撮影モードが前記天文撮影モードとは異なる撮影モードであると判断された場合、前記変換手段は、前記スペクトルを、Ｂ感度がＲ感度及びＧ感度よりも高い分光特性のバンドデータに変換することを特徴とする画像処理装置。
2. 前記推定手段による前記スペクトルの推定に先だって、入力されたマルチバンド画像データにホワイトバランス補正を施すホワイトバランス処理手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、前記スペクトルに前記分光データを積分することにより変換を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 互いに異なる分光透過率特性を有する複数の分光フィルタと、
   前記分光フィルタを透過した光を光電変換して、複数の異なる波長帯域の画像データから成るマルチバンド画像データを出力する撮像手段と、
   請求項１乃至３のいずれか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
5. 推定手段が、複数の異なる波長帯域の画像データから成るマルチバンド画像データから、各画素のスペクトルを推定する推定工程と、
   判断手段が、入力されたマルチバンド画像データの撮影モードを判断する判断工程と、
   変換手段が、異なる複数の撮影モード毎にそれぞれ適する分光データを記憶した記憶手段から、前記判断工程で判断した撮影モードに適する分光データを選択し、選択した前記分光データを用いて、前記スペクトルを、前記マルチバンド画像データとは異なる分光特性のバンドデータに変換する変換工程と
   を有し、
   前記撮影モードが天文撮影モードであると判断された場合、前記変換工程では、前記スペクトルを、Ｈα線周辺のＲ感度がＧ感度及びＢ感度よりも高い分光特性のバンドデータに変換し、前記撮影モードが前記天文撮影モードとは異なる撮影モードであると判断された場合、前記変換工程では、前記スペクトルを、Ｂ感度がＲ感度及びＧ感度よりも高い分光特性のバンドデータに変換することを特徴とする画像処理方法。
6. コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。
7. 請求項６に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images