JP4201805B2 - 撮像方法 - Google Patents

Description

本発明は、カラー画像を撮像するための撮像方法に関する。

カラー画像を撮像することができるデジタルスチルカメラやデジタルムービーカメラが広く普及してきている。それらの撮像装置に搭載される撮像素子は、赤外線に対しても感度を持つため、入射光に赤外線が含まれている場合、その出力信号に可視光成分ばかりでなく赤外線による誤差成分も含まれることになり、その場合、色再現性が低下する。

これに対して、入射光に含まれる赤外線を除去するため、光学系に赤外線カットフィルタを使用する手法がある。ただし、赤外線カットフィルタは高価であり、光学系内に設置する必要があることから、光学系の設計に制約を与える。また、赤外線カットフィルタは、純粋に赤外線のみを除去することが難しく、可視光線の入力を減衰してしまう場合がある。その場合、撮像素子の感度を低下させ、色再現性を低下させてしまう。

これに対し、特許文献１は、赤外線カットフィルタを不要にしたカラー撮像装置を開示する。このカラー撮像装置は、撮像素子、赤外線受光素子、および撮像素子の出力信号より赤外線受光素子の出力信号を減算する。
特開平６−１０５３１９号公報

しかしながら、上記特許文献１に開示されたカラー撮像装置では、赤外線成分を撮像素子の出力信号から減算するため、赤外線カットフィルタを設ける場合と同様に感度が低下し、色再現性が低下してしまう。

本発明はこうした状況に鑑みなされたものであり、赤外線カットフィルタを使用せずに、高感度に色再現することができる撮像方法を提供することを目的とする。

上記課題を解決するために、本発明のある態様の撮像方法は、赤外線成分を透過する複数色のカラーフィルタを介して、入射光を受ける撮像素子の各色成分の出力信号に対して、それらの出力信号に含まれる赤外線成分が等しくなるよう、補正用の赤外線成分を加える。「赤外線成分が等しくなる」とは、赤外線成分が実質的に等しい場合も含む。各色成分の出力信号に含まれる、赤外線成分とみなせる波長領域の分光感度の積分値の差が、それぞれの積分値の１／１００以下であれば、赤外線成分が等しいとみなしてもよい。例えば、各色成分の出力信号において、分光感度特性における波長が７００ｎｍ以上の成分の積分値の差が１／１００以下であれば、赤外線成分が等しいとみなしてもよい。

この態様によると、赤外線成分を含む各色の出力信号に対して、それらに含まれる赤外線成分が等しくなるよう補正用の赤外線成分を加えるため、赤外線カットフィルタを使用せずとも、高感度に色再現することができる。

各色成分の出力信号を増減してホワイトバランスをとり、かつ各色成分の出力信号に含まれる赤外線成分が等しくなるよう、各色成分の出力信号に補正用の赤外線成分を加えてもよい。これによれば、赤外線成分の補正後にホワイトバランス調整が行われることによる赤外線成分のずれを回避することができる。赤外線透過フィルタを介して撮像素子で受けた赤外線成分に、各色成分の出力信号に含まれる赤外線成分を等しくするための係数を掛けて、前記補正用の赤外線成分を色成分ごとに求め、前記各色成分の出力信号に加えてもよい。これによれば、撮像素子の赤外線領域の入射光に対する感度を合わせることができる。

本発明の別の態様は、撮像装置である。この装置は、赤外線成分を透過する複数色のカラーフィルタと、カラーフィルタを介して入射光を受ける撮像素子と、撮像素子の各色成分の出力信号に対して、それらの出力信号に含まれる赤外線成分が等しくなるよう、補正用の赤外線成分を加える処理部と、を備える。

この態様によると、赤外線成分を含む各色の出力信号に対して、それらに含まれる赤外線成分が等しくなるよう補正用の赤外線成分を加えるため、赤外線カットフィルタを使用せずとも、高感度に色再現することができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、赤外線カットフィルタを使用せずに、高感度に色再現することができる。

図１は、本発明の実施形態における撮像装置１００の構成を示す図である。カラーフィルタ１０、赤外線透過フィルタ２０、撮像素子３０および処理部４０を備える。カラーフィルタ１０は、入射光を複数の色に分解して撮像素子３０に供給する。３原色フィルタで構成する場合、赤Ｒを透過するフィルタ、緑Ｇを透過するフィルタおよび青Ｂを透過するフィルタの３種類のフィルタを用いて、例えばベイヤ配列する。

また、補色フィルタで構成する場合、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに分解する。カラーフィルタ１０は、赤外線カットフィルタを備えていないため、上述したように可視光成分に加えて、可視光成分も透過する。

赤外線透過フィルタ２０は、赤外光成分を透過し、撮像素子３０に供給する。撮像素子３０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサで構成される。色ごとに一枚のイメージセンサを設けて、各色の画像を合成してもよいし、ベイヤ配列されたカラーフィルタ１０からの入射光を受け、周辺画素の出力を用いた補間演算を行い、カラー画像を生成してもよい。

撮像素子３０は、カラーフィルタ１０を透過した複数のカラー成分を受光する領域に加え、赤外線透過フィルタ２０を透過した赤外光成分を受光する領域を持つ。撮像素子３０は、受光したカラー成分を光電変換して生成した複数色の画像信号および受光した赤外光成分を光電変換して生成した信号（以下、ＩＲ信号と表記する。）を処理部４０に供給する。

処理部４０は、赤外線成分調整部４２およびホワイトバランス調整部４４を含む。処理部４０は、ハードウエア的には、任意のＤＳＰ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお、図１には本実施形態の説明に必要な限度の機能ブロックを描いており、その他の一般的な機能は省略してある。

赤外線成分調整部４２は、撮像素子３０から供給された複数色の画像信号にそれぞれ補正用の赤外線成分を加える。補正用の赤外線成分は、ＩＲ信号に所定の係数を掛けて生成する。その際、各色の画像信号に含まれる赤外線成分が実質的に等しくなうよう、補正用の赤外線成分をそれぞれ生成する。

ホワイトバランス調整部４４は、色温度が異なる光源状態でも、白色を正確に白く映し出すように補正する。そのために、撮像素子３０の各色の入射光に対する感度を調整する。具体的には、赤Ｒの画像信号、緑Ｇの画像信号および青Ｂの画像信号の大きさを増減して、それらを合成して白色を生成する際の各画像信号の割合を調整する。

以下、具体例を用いて、各色の画像信号に赤外線成分を加える手法を説明する。第１例は、赤Ｒ透過フィルタ、緑Ｇ透過フィルタ、青Ｂ透過フィルタおよび赤外線ＩＲ透過フィルタを用いる例である。
図２は、撮像素子の３原色フィルタおよび赤外透過フィルタを透過した入射光に対する分光感度特性の一例を示す図である。図２に示すように、当該撮像素子は３原色フィルタおよび赤外透過フィルタを透過した入射光に対して分光感度１を持つ。本実施形態におけるカラーフィルタは、赤外線成分を除去しないため、赤外線領域の波長に対しても感度をもつ。そこで、３原色の各カラーフィルタを透過した入射光の赤外線領域の波長に対する感度が実質的に等しくなるよう、上記撮像素子の各色の出力信号を補正する。

図３は、撮像素子の３原色フィルタを透過した入射光に対する補正後の分光感度特性の一例を示す図である。図３に示すように、当該撮像素子は３原色フィルタを透過した入射光に対して分光感度２を持つように補正された。この補正を行うために、当該撮像素子の赤色の出力信号Ｒ、緑色の出力信号Ｇおよび青色の出力信号Ｂに下記式１〜３が適用される。
Ｒ２＝α＊Ｒ＋β＊ＩＲ ・・・（式１）
Ｇ２＝γ＊Ｇ＋δ＊ＩＲ ・・・（式２）
Ｂ２＝ε＊Ｂ＋ζ＊ＩＲ ・・・（式３）

上記式１〜３の各係数（α〜ζ）は、ホワイトバランスがとれた状態で各色の出力信号に含まれる赤外線成分の値が実質的に等しくなるように決定される。係数α、係数γおよび係数εは、ホワイトバランスを合わせるための係数であり、係数β、係数δおよび係数ζは、各色の出力信号に含まれる赤外線成分の値を実質的に等しくするための係数である。これらの係数は、設計者がシミュレーションや実験により導出することができる。

図２および図３の例では、赤色の出力信号Ｒ、緑色の出力信号Ｇおよび青色の出力信号Ｂは、下記式４〜６により補正後の赤色の出力信号Ｒ２、緑色の出力信号Ｇ２および青色の出力信号Ｂ２に変換される。
Ｒ２＝１．３＊Ｒ ・・・（式４）
Ｇ２＝Ｇ＋０．６５ＩＲ ・・・（式５）
Ｂ２＝１．５５＊Ｂ ・・・（式６）

図３にて、領域ａはホワイトバランスがとれている状態を示し、領域ｂは赤外線成分の積分値が実質的に等しくなっている状態を示す。

次に、第２例について説明する。第２例は、イエローＹｅ透過フィルタ、シアンＣｙ透過フィルタ、マゼンダＭｇ透過フィルタおよび赤外線ＩＲ透過フィルタを用いる例である。
図４は、撮像素子の補色フィルタおよび赤外透過フィルタを透過した入射光に対する分光感度特性の一例を示す図である。図４に示すように、当該撮像素子は補色フィルタおよび赤外透過フィルタを透過した入射光に対して分光感度３を持つ。

図５は、撮像素子の補色フィルタを透過した入射光に対する補正後の分光感度特性の一例を示す図である。図５に示すように、当該撮像素子は補色フィルタを透過した入射光に対して分光感度４を持つように補正された。この補正を行うために、当該撮像素子のイエローの出力信号Ｙｅ、シアンの出力信号Ｃｙおよびマゼンダの出力信号Ｍｇに上記式１〜３と同様の変換式が適用される。図５にて、領域ｃはホワイトバランスがとれている状態を示し、領域ｄは赤外線成分の積分値が実質的に等しくなっている状態を示す。

以上説明したように本実施形態によれば、赤外線カットフィルタを使用せずとも、高感度に色再現することができる。すなわち、撮像素子から出力される各色の画像信号に対して、赤外線成分を加えたことにより高感度にすることができる。また、各色の画像信号に含まれる赤外線成分が等しくなるように処理するため、各色の画像信号は、赤外線成分について一定の増分が加わることになる。よって、可視光成分のバランスを保つことができ、色再現性を向上させることができる。また、赤外線成分を補正する際に、ホワイトバランスも調整するため、後の画像処理でホワイトバランス調整が行われる場合に、赤外線成分の調整が無効になる事態を回避することができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形例が可能である。また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本発明の実施形態における撮像装置の構成を示す図である。 撮像素子の３原色フィルタおよび赤外透過フィルタを透過した入射光に対する分光感度特性の一例を示す図である。 撮像素子の３原色フィルタを透過した入射光に対する補正後の分光感度特性の一例を示す図である。 撮像素子の補色フィルタおよび赤外透過フィルタを透過した入射光に対する分光感度特性の一例を示す図である。 撮像素子の補色フィルタを透過した入射光に対する補正後の分光感度特性の一例を示す図である。

符号の説明

１０ カラーフィルタ、 ２０ 赤外線透過フィルタ、 ３０ 撮像素子、 ４０ 処理部、 ４２ 赤外線成分調整部、 ４４ ホワイトバランス調整部、 １００ 撮像装置。

Claims (2)

1. 赤外線成分を透過する複数色のカラーフィルタを介して、入射光を受ける撮像素子の各色成分の出力信号に対して、それらの出力信号に含まれる赤外線成分が等しくなるよう、補正用の赤外線成分を加える撮像方法であって、
   赤外線透過フィルタを介して前記撮像素子で受けた赤外線成分に、前記各色成分の出力信号に含まれる赤外線成分を等しくするための係数を掛けて、前記補正用の赤外線成分を色成分ごとに求め、前記各色成分の出力信号に加えることを特徴とする撮像方法。
2. 前記各色成分の出力信号を増減してホワイトバランスをとり、かつ前記各色成分の出力信号に含まれる赤外線成分が等しくなるよう、前記各色成分の出力信号に補正用の赤外線成分を加えることを特徴とする請求項１に記載の撮像方法。

Images