WO2011141975A1

WO2011141975A1 - 撮像装置

Info

Publication number: WO2011141975A1
Application number: PCT/JP2010/006386
Authority: WO
Inventors: 信幸廣瀬
Original assignee: パナソニック株式会社
Priority date: 2010-05-12
Filing date: 2010-10-29
Publication date: 2011-11-17
Also published as: US8508633B2; EP2434761A4; US20120176513A1; CN102484722B; EP2434761A1; CN102484722A; JP2011239252A

Abstract

　赤外カットフィルタを不要とすることで撮像素子に入射する光量を大きくして感度を向上させるとともに、赤外カットフィルタを用いないことによる色再現性の劣化を回避できる撮像装置を提供する。撮像装置（１００）は、全波長帯域用の画素Ｗと、Ｒ用のＷ－Ｒ画素と、Ｇ用のＷ－Ｇ画素と、Ｂ用のＷ－Ｂ画素とが繰り返し配置されてなり、画素ごとに、受光量に応じた値を有する画像読み出し信号を取得する撮像素子（１０３）と、撮像素子（１０３）の前面に設けられ、画素Ｗに対応する部分が一定範囲の波長帯域の中の全波長帯域を通過させ、Ｗ－Ｒ画素、Ｗ－Ｇ画素、Ｗ－Ｂ画素に対応する部分が、それぞれ対応する色の波長帯域を反射するよう構成されたフィルタ（１０２）と、画素Ｗの画像読み出し信号の値から、Ｗ－Ｒ画素、Ｗ－Ｇ画素、Ｗ－Ｂ画素のそれぞれの画像読み出し信号の値を減算することにより、Ｒ、Ｇ、Ｂの信号値を演算する反射量演算部（１１３）と、Ｒ、Ｇ、Ｂの信号値に基づいて色差信号を生成する色差成分生成部（１１５）と、Ｗ画素の画像読み出し信号を用いて輝度信号を生成する輝度信号生成部（１１２）とを備えている。

Description

撮像装置

関連する出願

　本出願では、２０１０年５月１２日に日本国に出願された特許出願番号２０１０－１０９８９３の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。

　本発明は、撮像素子を用いた撮像装置に関し、特に、撮像素子を用いてカラー画像を撮影する撮像装置に関するものである。

　近年、デジタルカメラ用の撮像素子は、多画素化が進んでおり、これに伴って、撮像素子の画素も微細化している。撮像素子の画素が微小になると、各画素の飽和電荷量が少なくなり、その結果Ｓ／Ｎ比の低下が際立って、画質が劣化してしまう。

　Ｓ／Ｎ比の低下に対して、ノイズを信号処理により除去しようとする試みもされているが、このような信号処理では、ノイズと信号を完全に分離できず、それにより画質劣化を伴うことが多い。従って、画素が微細化されて飽和電荷量が少なくなっても画質を良好に保つためには、できるだけ多くの光を画素に入射させることが望ましい。このために、撮像素子の画素に入射される波長の帯域を広げる方法が検討されている。

　ところで、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を用いたカラー撮像装置では、通常は、色再現性の改善のため、入射光中の赤外成分をカットする赤外カットフィルタを撮像素子の前面に配置している。

　しかしながら、赤外カットフィルタを用いると画素に入射する光量が減少してしまう。そのため、十分な光量を得ようとする場合には、赤外カットフィルタを用いずに赤外領域の光も取り込むことになるが、この場合には、入射光に赤外成分が入ることにより、著しく色再現性が劣化してしまう。

　図を参照して、入射光に赤外成分が入った場合の色再現性の劣化の原因を説明する。一般に、撮像素子には、１画素につき１枚のカラーフィルタが取り付けられている。図７は、一般的なフィルタ配列を示している。図７に示すように、撮像素子に取り付けられたフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色系３色を使ういわゆるベイヤー配列を有している。図８は、原色フィルタにおける分光特性を示している。図９は、赤外カットフィルタを用いた場合の原色フィルタにおける分光特性を示している。図８に示すような入射光に対して、図９に示すように、赤外カット周波数より周波数が長い部分はカットされる。

　一般的なカメラ用画像信号処理では、白を写したときにＲ、Ｇ、Ｂの値が同じ大きさになるようにホワイトバランス調整が行われる。ホワイトバランス調整前のＲＧＢ値をＲｏｒｇ、Ｇｏｒｇ、Ｂｏｒｇ、ホワイトバランス調整ゲインをＲｇａｉｎ、Ｇｇａｉｎ、Ｂｇａｉｎ、ホワイトバランス調整後のＲＧＢ値をＲｗｈ、Ｇｗｈ、Ｂｗｈ、とすると、以下の式が成り立つ。
　Ｒｗｈ＝Ｒｏｒｇ×Ｒｇａｉｎ
　Ｇｗｈ＝Ｇｏｒｇ×Ｇｇａｉｎ
　Ｂｗｈ＝Ｂｏｒｇ×Ｂｇａｉｎ
　白を写したときにＲｗｈ＝Ｇｗｈ＝Ｂｗｈとなるのが、理想的なホワイトバランス調整ゲインである。図１０（ａ）及び（ｂ）は、理想的なホワイトバランスとなるときのＲＧＢの信号量の変化を示している。

　赤外カットフィルタがない場合、光源や被写体によっては、白色のものであっても図１１（ａ）に示すように赤外光分の信号を蓄積してしまう。赤外成分の信号は、正しいＲＧＢのバランスを持っていないため、ホワイトバランス調整ゲインをかけることで、図１１（ｂ）のように、Ｒｗｈ＝Ｇｗｈ＝Ｂｗｈとならず、着色を起こしてしまう。白以外の有彩色の被写体についても、同様に、赤外成分とホワイトバランス調整の影響によりＲ、Ｇ、Ｂのバランスが崩れてしまう。これら理由により、赤外成分が入った場合は、カメラの色再現性が劣化してしまう。

　上記の問題を克服する方法として、いくつかの方法が提案されている。特許文献１に記載の撮像装置は、図１２に示す構成を有している。この撮像装置では、照度が十分にある昼間は、赤外カットフィルタをＯＮとし、照度が不足する夜間は、赤外カットフィルタを撮像素子の前面から抜き取って、同時に撮像素子から得られる映像信号の信号処理結果に基づき、白黒信号を選択して出力させることで、明るい被写体に対する色再現性向上と暗い被写体に対する感度向上とを実現している。

　また、特許文献２に記載の撮像装置は、図１３に示すように、ＲＧＢそれぞれの画素と、可視光及び赤外光が入射されるＩＲ画素を有し、高照度時にはＲＧＢ画素を用いて画像を生成し、低照度時はＩＲ画素を用いて画像を生成することで、明るい被写体に対する色再現性向上と暗い被写体に対する感度向上とを実現している。

特開２００４－２２９０３４号公報特開２００５－６０６６号公報

　特許文献１に記載の方法では、近赤画像出力時には、画像が常に白黒画像となってしまうという課題があった。特に、一部のエリアに色の付いた明るい被写体がある場合でも、画像全部としては白黒の画像しか得られない。また、フィルタ切り替えを行う機構が必要であることから、撮像装置の小型化が困難であり、コストアップにつながるという課題もあった。

　特許文献２に記載の撮像装置は、図１３に示すフィルタ構成を有するが、昼間は、画素数全体の１／４を占める赤外光用のＩＲ画素を使用しないので、解像度及び受光量もその分少なくなってしまう。夜間に関しても、赤外成分を受光する画素は全体の画素数の１／４しかなく、全体の３／４の画素は使用しないので、解像度及び受光量もその分少なくなってしまう。

　通常のＲＧＢのフィルタは、赤外成分を透過してしまうので、これを除外するためにフィルタの前面に赤外成分を除去するための赤外カットフィルタを設けるのが一般的であるが、特許文献２に記載の撮像装置では、赤外成分を検出するためのＩＲ画素に赤外光を入射させる必要があるので、前面に赤外カットフィルタを設けることができない。このため、特許文献２の撮像装置において高い色再現性を確保するためには、ＲＧＢのフィルタがそれぞれ赤外成分を除去する性質を持つ必要があり、実用上の課題が多く、実現できた場合でもコストが大きく上がってしまうという課題もあった。

　本発明は、上記課題を解決するためになされたものであり、赤外カットフィルタを不要とすることで撮像素子に入射する光量を大きくして感度を向上させるとともに、赤外カットフィルタを用いないことによる色再現性の劣化を回避できる撮像装置を提供することを目的とする。

　前記従来の課題を解決するために、撮像装置は、全波長帯域用画素と３種類の特定色にそれぞれ対応した３種類の特定色用画素とが繰り返し配置されてなり、画素ごとに、受光量に応じた値を有する画像読み出し信号を取得する撮像素子と、撮像素子の前面に設けられ、全波長帯域用画素に対応する部分が一定範囲の波長帯域の中の全波長帯域を通過させ、３種類の特定色用画素に対応する部分が、それぞれ対応する特定色の波長帯域を反射するよう構成されたフィルタと、全波長帯域用画素の画像読み出し信号の値から、特定色用画素の画像読み出し信号の値を減算することにより、特定の色の信号値を演算する反射量演算部と、特定色の信号値に基づいて色差信号を生成する色差成分生成部と、全波長帯域用画素の画像読み出し信号を用いて輝度信号を生成する輝度信号生成部とを備えた構成を有する。

　上記の撮像装置において、３種類の特定色用画素は、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素であり、フィルタは、Ｗ－Ｒ画素に対応する部分が、赤色の波長帯域を反射し、Ｗ－Ｇ画素に対応する部分が、緑色の波長帯域を反射し、Ｗ－Ｂ画素に対応する部分が、青色の波長帯域を反射するよう構成され、反射量演算部は、全波長帯域用画素の画像読み出し信号の値から、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素の画像読み出し信号の値をそれぞれ減算することにより、赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値を演算する。

　上記の撮像装置において、一定範囲の波長帯域は、赤外領域を含み、フィルタは、特定色用画素及び全波長帯域用画素に赤外光が入射し得るよう構成されている。

　上記の撮像装置において、色差成分生成部は、輝度信号生成部にて生成された輝度信号の値が最大値である場合に、反射量演算部にて求められた赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値にかかわらず、色差をゼロとする。

　本発明は、赤外カットフィルタを不要とすることで感度を向上するとともに、赤外カットフィルタを用いないことによる色再現性の劣化を回避できる。

　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の実施の形態における撮像装置の構成図図２は、本発明の実施の形態におけるフィルタの構成図図３は、本発明の実施の形態におけるフィルタの分光特性図図４（ａ）は、本発明の実施の形態におけるフィルタの分光特性図（Ｗ画素対応部分）　図４（ｂ）は、本発明の実施の形態におけるフィルタの分光特性図（Ｗ－Ｒ画素対応部分）　図４（ｃ）は、本発明の実施の形態におけるフィルタの分光特性図（Ｗ－Ｇ画素対応部分）　図４（ｄ）は、本発明の実施の形態におけるフィルタの分光特性図（Ｗ－Ｂ画素対応部分）図５（ａ）は、本発明の実施の形態における撮像素子で得られる画像読み取り信号を示す図　図５（ｂ）は、本発明の実施の形態における撮像素子で得られる輝度信号を示す図　図５（ｃ）は、本発明の実施の形態における撮像素子の各画素（ＲＧＢ）の反射量を示す図　図５（ｄ）は、本発明の実施の形態における撮像素子の各画素（ＲＧＢ）に対してホワイトバランス調整をした後の反射量を示す図図６は、本発明の実施の形態における高輝度付近の色再現性改善用関数を説明するための図図７は、従来の原色フィルタの配置を示す図図８は、従来の原色フィルタにおける分光特性図図９（ａ）は、従来の原色フィルタにおける分光特性図（Ｗ－Ｂ画素対応部分）　図９（ｂ）は、従来の原色フィルタにおける分光特性図（Ｗ－Ｇ画素対応部分）　図９（ｃ）は、従来の原色フィルタにおける分光特性図（Ｗ－Ｒ画素対応部分）図１０（ａ）は、従来の撮像素子の各画素（ＲＧＢ）の画素値を示す図（赤外成分がカットされている場合）　図１０（ｂ）は、従来の撮像素子の各画素（ＲＧＢ）に対してホワイトバランス調整をした後の画素値を示す図（赤外成分がカットされている場合）図１１（ａ）は、従来の撮像素子の各画素（ＲＧＢ）の画素値を示す図（赤外成分がカットされていない場合）　図１１（ｂ）は、従来の撮像素子の各画素（ＲＧＢ）に対してホワイトバランス調整をした後の画素値を示す図（赤外成分がカットされていない場合）図１２は、従来の撮像装置の構成図図１３は、従来の撮像素子の構成図

　以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、特許請求の範囲を限定するものではない。

　本発明の実施の形態の撮像装置は、全波長帯域用画素と３種類の特定色にそれぞれ対応した３種類の特定色用画素とが繰り返し配置されてなり、画素ごとに、受光量に応じた値を有する画像読み出し信号を取得する撮像素子と、撮像素子の前面に設けられ、全波長帯域用画素に対応する部分が一定範囲の波長帯域の中の全波長帯域を通過させ、３種類の特定色用画素に対応する部分が、それぞれ対応する特定色の波長帯域を反射するよう構成されたフィルタと、全波長帯域用画素の画像読み出し信号の値から、特定色用画素の画像読み出し信号の値を減算することにより、特定の色の信号値を演算する反射量演算部と、特定色の信号値に基づいて色差信号を生成する色差成分生成部と、全波長帯域用画素の画像読み出し信号を用いて輝度信号を生成する輝度信号生成部とを備えた構成を有する。

　この構成により、赤外カットフィルタを用いる必要がなく、従って、被写体の光量が赤外カットフィルタによって減少しない高感度の撮像装置を実現できる。全波長帯域用画素には、一定範囲の波長帯域の中の全波長帯域が入射するので、輝度信号生成部はこの全波長帯域用画素の画像読み出し信号を用いて輝度信号を生成することで、高感度の輝度信号を得ることができる。全波長帯域用画素の画像読み出し信号及び特定色用画素の画像読み出し信号には赤外成分が含まれ得るが、全波長帯域用画素の画像読み出し信号及び特定色用画素の画像読み出し信号に含まれる赤外成分は同じ量であるので、全波長帯域用画素の画像読み出し信号の値から特定色用画素の画像読み出し信号の値を減算すると、その差分には赤外成分は含まれず、反射量演算部では赤外成分を含まない特定色の信号値が得られる。そして、色差成分生成部はそのように赤外成分を含まない特定色の信号値に基づいて色差信号を生成するので、赤外カットフィルタを設けないことで色差信号の色再現性が劣化することはない。すなわち、上記の撮像装置の構成によれば、高感度の撮像装置を実現しつつ、色再現性の劣化を回避できる。

　この構成により、赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値が得られるので、フルカラーの画像を得ることができる。また、赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値には赤外成分が含まれないので、ホワイトバランス調整において着色が生じることを防止できる。

　上記の撮像装置において、一定範囲の波長帯域は赤外領域を含み、フィルタは、特定色用画素及び全波長帯域用画素に赤外光が入射し得るよう構成されている。

　この構成により、各画素では赤外光も含めた十分な光量の光を入射することで、高いＳ／Ｎ比を有する輝度信号を生成できるとともに、上記のように全波長帯域の入射光量に応じた画像読み出し信号の値から、特定色の波長帯域を除く入射光量に応じた画像読み出し信号の値を減算することで当該特定色の成分を求めるという方法を採用することで、画素値から赤外成分を除去でき、高い色再現性を実現できる。

　上記の撮像装置は、色差成分生成部は、輝度信号生成部にて生成された輝度信号の値が最大値である場合に、反射量演算部にて求められた赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値にかかわらず、色差をゼロとする。

　上記のように全波長帯域の入射光量に応じた画像読み出し信号の値から、特定色の波長帯域を除く入射光量に応じた画像読み出し信号の値を減算することで当該特定色の画素値を求めるという方法を採用する場合において、全波長帯域の入射光量が飽和しているときには、色差をゼロとすることで、輝度が飽和している場合に色味が付くことを防止できる。

　以下、本発明を実施するための形態について、図面を参照しながら説明する。図１は、本発明の実施の形態における撮像装置の構成図である。図１において、撮像装置１００は、レンズ１０１、フィルタ１０２、撮像素子１０３、及び信号処理部１０４を備えている。撮像装置１００は、電子カメラを構成する。フィルタ１０２は、撮像素子１０３の前面、即ちレンズ１０１側に取り付けられている。レンズ１０１を通った光学像は、フィルタ１０２を介して、撮像素子１０３に照射される。撮像素子１０３は、１つのＷ－Ｒ画素、１つのＷ－Ｇ画素、１つのＷ－Ｂ画素、及び１つのＷ画素が１組となって、この組合せが二次元状に繰り返し配列されて構成されている。Ｗ－Ｒ画素、Ｗ－Ｇ画素、Ｗ－Ｂ画素は、本発明の特定色用画素に該当し、Ｗ画素は、本発明の全波長帯域用画素に該当する。

　図２は、フィルタ１０２の構成図である。フィルタ１０２は、図２に示すように、Ｗ－Ｒ画素対応部分と、Ｗ－Ｇ画素対応部分と、Ｗ－Ｂ画素対応部分と、Ｗ画素対応部分が、それぞれ、Ｗ－Ｒ画素の前面、Ｗ－Ｇ画素の前面、Ｗ－Ｂ画素の前面、Ｗ画素の前面に位置するよう構成されている。

　図３は、フィルタ１０２の分光特性を示す図である。図４（ａ）～（ｄ）は、それぞれ、フィルタ１０２のＷ画素対応部分、Ｗ－Ｒ画素対応部分、Ｗ－Ｇ画素対応部分、Ｗ－Ｂ画素対応部分の分光特性を示す図である。図４に示すように、Ｗ画素対応部分は、一定範囲の波長帯域の中の全波長帯域を通過させる。Ｗ－Ｒ画素対応部分は、Ｗ画素対応部分と同じ範囲の波長帯域の光と通過させるが、その一定範囲の波長帯域のうちのＲ（赤色）成分に該当する波長帯域の光を反射する。Ｗ－Ｇ画素対応部分は、Ｗ画素対応部分と同じ範囲の波長帯域の光と通過させるが、その一定範囲の波長帯域のうちのＧ（緑色）成分に該当する波長帯域の光を反射する。Ｗ－Ｂ画素対応部分は、Ｗ画素対応部分と同じ範囲の波長帯域の光と通過させるが、その一定範囲の波長帯域のうちのＢ（青色）成分に該当する波長帯域の光を反射する。

　Ｗ画素対応部分は、一定範囲の波長帯域の中の全波長帯域を通過させるので、Ｗ画素には、一定範囲の波長帯域の中の全波長帯域の光が入射する。また、Ｗ－Ｒ画素対応部分は、それぞれ上記の一定範囲の波長帯域のうち、反射したＲ成分以外の光を通過させるので、Ｗ－Ｒ画素には、上記の一定範囲の波長帯域のうち、Ｒ成分以外の光が入射する。Ｗ－Ｇ画素対応部分及びＷ－Ｂ画像対応部分も同様に、それぞれ上記の一定範囲の波長帯域のうち、Ｇ成分及びＢ成分以外の光を通過させるので、Ｗ－Ｇ画素及びＷ－Ｂ画素には、それぞれ上記の一定範囲の波長帯域のうち、Ｇ成分及びＢ成分以外の光が入射する。

　上記のように、本実施の形態の撮像装置１００では、Ｗ画素には、一定範囲の波長帯域の中の全波長帯域の光がそのまま入射されるので、被写体からの光量に対して、Ｗ画素に入射する光量を大きくできる。また、Ｗ－Ｒ画素、Ｗ－Ｇ画素、Ｗ－Ｂ画素についても、それぞれ一定範囲の波長帯域の中のＲ、Ｇ、Ｂの成分のみを差し引いた光量が入射されるので、被写体からの光量に対して、入射光量を大きくできる。さらに、本実施の形態の撮像装置１００では、赤外カットフィルタを用いないので、フィルタ１０２のＷ画素対応部分、Ｗ－Ｒ画素対応部分、Ｗ－Ｇ画素対応部分、及びＷ－Ｂ画素対応部分を通過する一定範囲の波長帯域に赤外光が含まれる場合には、入射光量はさらに大きくなる。即ち、本実施の形態の撮像装置１００では、被写体から撮像装置１００に届く光の量に対して、撮像素子１０３に入射する光の量の割合が高く、高感度の撮像装置を実現している。図７を用いて説明した従来の通常のＲ、Ｇ、Ｂベイヤー配列の場合は、被写体から撮像装置に届く光のうちのそれぞれＲ、Ｇ、Ｂ成分の光のみを通過させるので、この場合と比べても、本実施の形態の撮像装置１００の感度は大きく増加している。

　撮像素子１０３は、画素ごとに、受光した光を光電変換することで、受光した光の量に応じた値を有する画像読み出し信号を生成して、これを信号処理部１０４に入力する。信号処理部１０４は、前処理部１１０、輝度信号処理部１２０、色差信号処理部１３０、及び出力部１４０を有している。撮像素子１０３で得られた画像読み出し信号は、信号処理部１０４の前処理部１１０に入力される。

　前処理部１１０は、ＯＢ減算処理部１１１、輝度信号生成部１１２、反射量演算部１１３、ホワイトバランス調整部１１４、及び色差成分生成部１１５を有している。ＯＢ減算処理部１１１は、入力された画像読み出し信号に対して、ＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ）領域で検出される出力成分（暗電流）を差し引くＯＢ減算処理（暗電流補正ともいう）を行う。ＯＢ減算処理部１１１で補正された画像読み出し信号は、輝度信号生成部１１２及び反射量演算部１１３に入力される。

　図５は、画像読み出し信号から、輝度信号及び色差信号を生成する流れを示す図である。以下、図５を参照しながら、図１の前処理部１１０のＯＢ減算部１１１以降の構成を説明する。図５（ａ）は、ある１組のＷ－Ｒ画素、Ｗ－Ｇ画素、Ｗ－Ｂ画素、及びＷ画素で得られる画像読み出し信号（ＯＢ減算済み、以下同じ）を示す図である。図５（ａ）に示すように、Ｗ画素では、一定範囲の波長帯域の中の全波長帯域の光の光量に応じた画像読み出し信号が得られている。Ｗ－Ｂ画素では、Ｗ画素の画像読み出し信号の値から、反射されたＢ成分の光量に応じた値を差し引いた画像読み出し信号が得られている。同様に、Ｗ－Ｇ画素及びＷ－Ｒ画素では、それぞれＷ画素の画像読み出し信号の値から、反射されたＧ成分及びＲ成分の光量に応じた値を差し引いた画像読み出し信号が得られている。

　図５（ｂ）は、図５（ａ）の画素について輝度信号生成部１１２に入力される画像読み出し信号を示す図である。輝度信号生成部１１２は、画像読み出し信号に応じて輝度信号を生成する。Ｗ画素には、上で説明したとおり、被写体からの光のうち、一定範囲の波長帯域の中の全波長帯域の光が入射し、フィルタによる光の減衰がないため、輝度信号生成部１１２ではＳ／Ｎ比が十分に高い輝度信号が生成される。

　輝度信号生成部１１２は、Ｗ画素、Ｗ－Ｂ画素、Ｗ－Ｇ画素、及びＷ－Ｒ画素の画像読み出し信号を用いて輝度信号Ｙを生成する。具体的には、輝度信号生成部１１２は、各画素について、不足している色成分を周囲の画素から補間して生成することにより、当該画素に重心のある全波長成分の信号値Ｗ、全波長成分から赤色成分を差し引いた信号値Ｗ－Ｒ、全波長成分から緑色成分を差し引いた信号値Ｗ－Ｇ、及び全波長成分から青色成分を差し引いた信号値Ｗ－Ｂを求めた後に、下式（１）に従って輝度信号Ｙを求める。
　Ｙ＝（Ａ＊Ｗ＋Ｂ（Ｗ－Ｒ）＋Ｃ（Ｗ－Ｇ）＋Ｄ（Ｗ－Ｂ））／（Ａ＋Ｂ＋Ｃ＋Ｄ）　
　……（１）
　ここで、Ａ、Ｂ、Ｃ、Ｄは輝度生成に用いる重み付け係数である。なお、輝度信号生成部１１２は、Ｗ画素の画像読み取り信号をそのまま輝度信号としてもよい。

　図５（ｃ）は、図５（ａ）の画素で得られる反射量を示す図である。反射量演算部１１３は、各画素について、フィルタ１０２のＷ－Ｒ画素対応部分におけるＲ成分の反射量、Ｗ－Ｇ画素対応部分におけるＧ成分の反射量、及びＷ－Ｂ画素対応部分におけるＢ成分の反射量をそれぞれ算出する。

　具体的には、反射量演算部１１３は、Ｗ画素の画像読み出し信号の値から、Ｗ－Ｒ画素の画像読み出し信号の値を減算することにより、Ｒ成分の信号値を求める。同様に、反射量演算部１１３は、Ｗ画素の画像読み出し信号の値から、Ｗ－Ｇ画素の画像読み出し信号の値を減算することにより、Ｇ成分の信号値を求め、Ｗ画素の画像読み出し信号の値から、Ｗ－Ｂ画素の画像読み出し信号の値を減算することにより、Ｂ成分の信号値を求める。これらの信号値は、それぞれ、Ｗ－Ｒ画素に対応するフィルタ部分で反射されたＲ成分の量、Ｗ－Ｇ画素に対応するフィルタ部分で反射されたＧ成分の量、及びＷ－Ｂ画素に対応するフィルタ部分で反射されたＢ成分の量を示している。

　Ｗ画素の画像読み出し信号と、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素のぞれぞれの画像読み出し信号には、同一の量の赤外成分が含まれていることから、Ｗ画素の画像読み出し信号と、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素のそれぞれの画像読み出し信号との差分として求められたＲ、Ｇ、Ｂそれぞれの反射量では、赤外成分がゼロになっている。よって、反射量として求められたＲ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値は、それぞれ赤外成分を含まないＲ成分、Ｇ成分、及びＢ成分の光量を示している。

　Ｒ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値は、ホワイトバランス調整部１１４に入力される。図５（ｄ）は、図５（ｃ）の各画素に対してホワイトバランス調整をした後の画素値を示す図である。ホワイトバランス調整部１１４は、Ｒ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値にホワイトバランス調整ゲインをかけることによりホワイトバランス調整を行う。ホワイトバランス調整にて調整された信号値は、色差成分生成部１１５に入力される。

　色差成分生成部１１５は、ホワイトバランス調整後のＲ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値に基づいて、色差信号Ｕ、Ｖを生成する。具体的には、色差成分生成部１１５は、下式（２）、（３）に従って、色差信号Ｕ、Ｖを生成する。
　Ｕ＝－０．１６９Ｒ－　０．３３１Ｇ＋０．５００Ｂ　　……（２）
　Ｖ＝０．５００Ｒ－０．４１９Ｇ－０．０８１Ｂ　　……（３）

　ここで、Ｒ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値は、上記の反射量算出部１１３において、Ｗ画素の画像読み出し信号からＷ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素のそれぞれ画像読み出し信号を減算して求めたものであるが、Ｗの信号が飽和している場合にはＷ用画素の画像読み出し信号が示す値は、実際の入射光量に対応する値よりも小さくなってしまう。この結果、そのようなＷ画素の画像読み出し信号からＷ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素の画像読み出し信号を減算すると、得られたＲ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値は、入射光中の実際のＲ成分、Ｇ成分、Ｂ成分よりも小さくなってしまう可能性がある。このためＷ画素の画像読み出し信号が飽和する程度に高輝度である場合は、Ｒ成分の信号値、Ｇ成分の信号値、及びＢ成分の信号値が正しく求まらない場合がある。

　一方、Ｗ画素の画像読み出し信号が飽和しているということは、輝度が飽和しているということであり、この場合には、その画素には特に色をつける必要がなく、その画素の色差は０になっているのが望ましい。そこで、色差成分生成部１１５は、図６に示す特性を有する関数ｆ（ｘ）に、Ｗ画素の画像読み出し信号の値を代入して得た値を、上記のようにして求めた色差信号Ｕ、Ｖにかけることで、修正後の色差信号Ｕ’、Ｖ’を得て、この修正後の色差信号Ｕ’、Ｖ’を出力する。即ち、図６に示すように、Ｗ画素の画像読み出し信号の値が小さいときは、Ｕ、Ｖの値がそのままＵ’、Ｖ’として出力され、Ｗ画素の画像読み出し信号の値が所定の閾値を超えると、Ｗ画素の画像読み出し信号の値が増加するに従ってＵ、Ｖの値に対してＵ’、Ｖ’の値を小さくしていき、Ｗ画素の画像読み出し信号の値の最大値では、Ｕ’、Ｖ’をゼロにする。これにより、高輝度付近でも色再現の劣化をなくすことが可能であり、高輝度付近でより色再現性を高めることが可能となる。

　なお、関数ｆ（ｘ）は、図６に示すように高輝度部分で輝度に応じて徐々に減少するのではなく、最大値まではｆ（ｘ）＝１とし、最大値でｆ（ｘ）＝０となる関数であってもよい。

　輝度信号生成部１１２で生成された輝度信号Ｙは、輝度信号処理部１２０で処理され、色差成分生成部１１５で生成された色差信号Ｕ’、Ｖ’は、色差信号処理部１３０で処理され、出力部１４０にて同期信号とともに合成された後、映像信号として外部へ出力される。

　以上のように、本実施の形態の撮像装置によれば、赤外カットフィルタが不要であるので、夜間などの低照度時においても赤外カットフィルタによる光の減衰がなく、高いＳ／Ｎ比を確保できるので、画質の劣化を抑えることができる。また、フィルタ切り替えを行う機構を必要としない安価な構造で、上記の効果を達成できる。さらに、Ｗ画素には、一定範囲の波長帯域の全波長帯域の光が入射し、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素には、対応する色の波長帯域以外の成分の光が入射するので、撮像素子の各画素に入射する光量は非常に高くなる。特に、一定範囲の波長帯域の中に赤外の帯域が含まれる場合には、この赤外光も入射するので、入射光量はさらに高くなる。さらに、本実施の形態の撮像装置は、このように赤外光も含めて高い入射光量を得るのと同時に、赤外成分を含まない色差信号を作成することが可能であり、Ｓ／Ｎ比が高く、かつ色再現性の高い電子カメラを実現できる。

　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

　以上のように、本発明は、赤外カットフィルタを不要とすることで感度を向上するとともに、赤外カットフィルタを用いないことによる色再現性の劣化を回避でき、撮像素子を用いてカラー画像を撮影する撮像装置等として有用である。

　１００　撮像装置
　１０１　レンズ
　１０２　フィルタ
　１０３　撮像素子
　１０４　信号処理部
　１１０　前処理部
　１１１　ＯＢ減算部
　１１２　輝度信号生成部
　１１３　反射量演算部
　１１４　ホワイトバランス調整部
　１１５　色差成分生成部
　１２０　輝度信号処理部
　１３０　色差信号処理部
　１４０　出力部

Claims

　全波長帯域用画素と３種類以上の特定色にそれぞれ対応した３種類以上の特定色用画素とが繰り返し配置されてなり、画素ごとに、受光量に応じた値を有する画像読み出し信号を取得する撮像素子と、
　前記撮像素子の前面に設けられ、前記全波長帯域用画素に対応する部分が一定範囲の波長帯域の中の全波長帯域を通過させ、前記３種類以上の特定色用画素に対応する部分が、それぞれ対応する特定色の波長帯域を反射するよう構成されたフィルタと、
　前記全波長帯域用画素の画像読み出し信号の値から、前記特定色用画素の画像読み出し信号の値を減算することにより、前記特定の色の信号値を演算する反射量演算部と、
　前記特定色の信号値に基づいて色差信号を生成する色差成分生成部と、
　前記全波長帯域用画素の画像読み出し信号を用いて輝度信号を生成する輝度信号生成部と、
　を備えたことを特徴とする撮像装置。
　前記３種類以上の特定色用画素は、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素であり、
　前記フィルタは、前記Ｗ－Ｒ画素に対応する部分が、赤色の波長帯域を反射し、前記Ｗ－Ｇ画素に対応する部分が、緑色の波長帯域を反射し、前記Ｗ－Ｂ画素に対応する部分が、青色の波長帯域を反射するよう構成され、
　前記反射量演算部は、前記全波長帯域用画素の画像読み出し信号の値から、Ｗ－Ｒ画素、Ｗ－Ｇ画素、及びＷ－Ｂ画素の画像読み出し信号の値をそれぞれ減算することにより、赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値を演算する請求項１に記載の撮像装置。
　前記一定範囲の波長帯域は、赤外領域を含み、
　前記フィルタは、前記特定色用画素及び前記全波長帯域用画素に赤外光が入射し得るよう構成されている請求項１又は２に記載の撮像装置。
　前記色差成分生成部は、前記輝度信号生成部にて生成された輝度信号の値が最大値である場合に、前記反射量演算部にて求められた赤色成分の信号値、緑色成分の信号値、及び青色成分の信号値にかかわらず、色差をゼロとする請求項２に記載の撮像装置。