JP5920144B2

JP5920144B2 - 撮像装置および撮像方法

Info

Publication number: JP5920144B2
Application number: JP2012212113A
Authority: JP
Inventors: 孝小野; 信行松川; 卓哉平田; 剛五十嵐
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2016-05-18
Anticipated expiration: 2032-09-26
Also published as: JP2014068186A

Description

本発明は、撮像装置および撮像方法に関する。

露出条件が大きく異なる複数の被写体が同時に存在する撮像領域を１の撮像画像として撮影しようとする場合について考える。この場合、暗い被写体に露出を合わせると、明るい被写体は露出オーバーになる。また、明るい被写体に露出を合わせると、暗い被写体は露出アンダーな状態となる。そのため、従来では、このような撮像領域から１の撮像画像を得ようとする場合、それぞれの被写体に露出を合わせて撮像を行い複数の撮像画像を得て、この複数の撮像画像を１枚の画像に合成することが行われてた。

特許文献１には、複数の分光感度帯域のそれぞれを多分割した複数の分割波長帯域の中から、分光感度帯域毎に１つずつ選択した複数の分割波長帯域を、撮影の際の撮影光の通過波長帯域とする複数のバンドパスフィルタを、分光感度帯域の全ての分割波長帯域が１つずつ選択されるように用意し、この用意された複数のバンドパスフィルタ毎に、同一被写体を撮影した画像を取得し、撮像した画像から分光反射率画像を取得するようにした技術が開示されている。

特開２００２−２９６１１４号公報

従来では、露出差のある複数の被写体を１枚の画像として表現する場合には、上述したように、それぞれの被写体に露出を合わせて撮影した複数の画像を合成していた。

そのため、例えば静止画の場合は、撮影条件を変えた複数枚の画像を合成するための後処理が必要であり、手間が掛かるという問題点があった。それと共に、複数の露出条件に合わせるために複数回の撮影が必要となり、合成後の画像に動きブレや露出ブレが発生してしまうおそれがあるという問題点があった。また、動画の場合は、各フレームにおいて露出時間が異なる画像が合成されることになるため、露出ブレが発生すると共に、合成処理に関しても、１フレーム期間内に処理を完了させる必要があるため、より高速処理が必要となるという問題点があった。

上述の特許文献１の技術においても、複数のバンドパスフィルタ毎に撮影を行う必要があり、露出ブレや動きブレが発生するおそれがある点は、解決されていない。

本発明は、上記に鑑みてなされたものであって、露出差のある複数の被写体を１枚の画像として表現する場合の露出ブレや動きブレを抑制することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、受光面で受光した光を画素単位で光電変換して画像信号を出力する撮像素子と、撮像素子の受光面側に設けられ、それぞれ異なる色を抽出するための透過率の波長特性の異なる領域が、画素単位で重複せずに配列されたカラーフィルタと、カラーフィルタの領域のうち、撮像素子の受光面側に配置されたバンドパスフィルタが透過する特定の波長帯域における透過率が最も高い色の第１の領域を透過した光に基づく第１の画像信号のレベルを抑圧するレベル補正部と、レベル補正部で第１の画像信号のレベルが抑圧された画像信号と、カラーフィルタの領域のうち、第１の領域よりも特定の波長帯域の透過率が低い色の第２の領域を透過した光に基づく第２の画像信号とを合成して出力する合成部とを有することを特徴とする。

また、本発明は、受光面で受光した光を画素単位で光電変換して画像信号を出力する撮像素子と、撮像素子の受光面側に設けられ、それぞれ異なる色を抽出するための透過率の波長特性の異なる領域が、画素単位で重複せずに配列されたカラーフィルタとを有する撮像装置の撮像方法であって、カラーフィルタの領域のうち、撮像素子の受光面側に配置されたバンドパスフィルタが透過する特定の波長帯域における透過率が最も高い色の第１の領域を透過した光に基づく第１の画像信号のレベルを抑圧するレベル補正ステップと、レベル補正ステップで第１の画像信号のレベルが抑圧された画像信号と、カラーフィルタの領域のうち、第１の領域よりも特定の波長帯域の透過率が低い色の第２の領域を透過した光に基づく第２の画像信号とを合成して出力する合成ステップとを有することを特徴とする。

本発明によれば、露出差のある複数の被写体を１枚の画像として表現する場合の露出ブレや動きブレを抑制することができるという効果を奏する。

図１は、実施形態による撮像装置の構成を概略的に示すブロック図である。図２は、実施形態に適用可能なカラーフィルタの一例の構成を概略的に示す図である。図３は、実施形態に適用可能なカラーフィルタおよび狭帯域フィルタの透過率の波長特性の例を示す図である。図４は、実施形態による撮像方法における画像処理の概要を説明するための図である。図５は、実施形態による信号処理部の一例の構成をより詳細に示すブロック図である。図６は、実施形態に適用可能な、色相彩度補正による画像信号の色相補正処理を説説明するための図である。図７は、色ＧおよびＢの大小関係が異なる２の例を示す図である。図８は、実施形態の変形例に適用可能な撮像装置の一例の構成を示すブロック図である。

以下に図面を参照しながら、本発明に係る撮像装置および撮像方法の好適な実施形態を説明する。図１は、実施形態による撮像装置１の構成を概略的に示す。撮像装置１は、レンズユニット１０と、狭帯域フィルタ１１と、センサ部１２と、信号処理部１３とを有する。

被写体からの光がレンズユニット１０および狭帯域フィルタ１１を介してセンサ部１２に入射される。センサ部１２では、入射された光から例えばＲＧＢ各色の光を抽出し、抽出されたＲＧＢ各色の光を光電変換して画素単位の画像信号を得る。この画像信号は、信号処理部１３に入力され、ＲＧＢ各色に対する画像処理が施され、１枚の画像信号として出力される。

レンズユニット１０は、複数のレンズと、絞り機構とを含む光学系と、フォーカス調整のためのレンズ駆動や、絞り機構の駆動を行う駆動部とを有する。狭帯域フィルタ１１は、特定の波長帯域の光を選択的に透過させる光学的バンドパスフィルタである。例えば、狭帯域フィルタ１１は、特定の波長を中心として±数ｎｍの範囲の波長の光を選択的に透過させるように構成されている。

センサ部１２は、カラーフィルタ２０とイメージセンサ２１とを含む。イメージセンサ２１は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャを用いて、受光面に照射された光を光電変換により画素単位で電気信号に変換し、撮像画像の画像信号として出力する。

カラーフィルタ２０は、イメージセンサ２１の受光面側に配置され、入射された光から、フルカラー画像を形成するための各色を画素単位で抽出する。抽出された各色の光は、イメージセンサ２１の受光面に画素単位で照射される。以下の例では、カラーフィルタ２０は、入射された光から、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色を抽出する原色フィルタ方式を用いるものとする。これに限らず、例えばシアン、マゼンタ、黄色、緑色の各色を抽出する補色フィルタ方式を用いてもよい。

なお、図１では、狭帯域フィルタ１１がレンズユニット１０とカラーフィルタ２０の間に配置されているが、これはこの例に限定されない。すなわち、狭帯域フィルタ１１は、イメージセンサ２１の受光面側に配置されていればよく、狭帯域フィルタ１１は、レンズユニット１０の前面に配置されていてもよいし、カラーフィルタ２０とイメージセンサ２１との間に配置されていてもよい。

図２は、カラーフィルタ２０の一例の構成を概略的に示す。図２の例では、カラーフィルタ２０は、色Ｒを抽出するフィルタ領域Ｒと、色Ｇを抽出するフィルタ領域Ｇと、色Ｂを抽出するフィルタ領域Ｂとを有し、フィルタ領域ＧおよびＢが交互に配列される行と、フィルタ領域ＲおよびＧが交互に配列される行とが繰り返し配置されるベイヤ配列が採用されている。各フィルタ領域は、イメージセンサ２１の各画素に対応する。

信号処理部１３は、センサ部１２から出力された画像信号をディジタル信号に変換して、色相補正、彩度補正およびガンマ補正といった各種の補正処理を施す。信号処理部１３は、さらに、各種の補正処理を施された画像信号から輝度信号Ｙと色信号Ｃとをそれぞれ生成して出力する。

図３および図４を用いて、実施形態による撮像方法について、概略的に説明する。図３は、カラーフィルタ２０および狭帯域フィルタ１１の透過率の波長特性の例を示す。図３において、横軸は波長（ｎｍ）を示し、縦軸はフィルタ領域Ｇの最大分光感度を１．０とした場合の分光感度特性を示す。この分光感度特性は、フィルタ領域Ｇの最大透過率を１．０とした場合の透過率に対応する。

カラーフィルタ２０において、各フィルタ領域Ｒ、ＧおよびＢは、ＲＧＢ各色を代表する波長（例えば、色Ｒは６１０ｎｍ付近、色Ｇは５４０ｎｍ付近、色Ｂは４６５ｎｍ付近）を透過率のピークとして、当該波長に対して短波長および長波長側にそれぞれなだらかに透過率が減少する特性を持つ。

一方、狭帯域フィルタ１１は、図３に特性１１Ａとして例示されるように、波長λ_cを中心として極めて狭い幅ｗの波長帯域（以下、透過帯域と呼ぶ）内の波長の光を選択的に透過させるように構成される。図３の例では、中心波長λ_cを６５０ｎｍ近傍とし、透過帯域の幅ｗを数ｎｍ程度としている。

狭帯域フィルタ１１の中心波長λ_cおよび透過帯域の幅ｗは、下記の（１）および（２）の条件を共に満たすように定める。
（１）各色のフィルタ領域Ｒ、ＧおよびＢの透過率が０ではない。
（２）各色のフィルタ領域Ｒ、ＧおよびＢのうち少なくとも１の領域の透過率と、他の領域の透過率との差が所定以上である。

図３の例では、可視光領域の波長４００ｎｍ〜７００ｎｍの範囲では、各フィルタ領域Ｒ、ＧおよびＢの透過率が何れも０より大きいため、上述の条件（１）は満たしている。

一方、条件（２）に関し、例えば透過率の差分を透過率の比率として表し、２のフィルタ領域の透過率の比率が５：１以上であれば条件を満たしているものとする。この場合、条件を満たす中心波長λ_cは、フィルタ領域Ｒの透過率と他のフィルタ領域ＧおよびＢの透過率との比率が５：１以上である６５０ｎｍの近傍と、フィルタ領域Ｇの透過率と他のフィルタ領域ＲおよびＢの透過率との比率が５：１以上である５５０ｎｍの近傍とが考えられる。

一例として、後述するように天体観測による太陽の撮影を想定した場合、狭帯域フィルタ１１として、光球面１０１の表層部にある彩層面の観察に適した、中心波長λ_cが６５６．３ｎｍ、透過帯域が数ｎｍとされたＨαフィルタを適用することができる。

図４を用いて、実施形態による撮像方法における画像処理の概要について説明する。ここでは、天体観測により太陽を撮影する場合を例にとって説明する。例えば、対物側に太陽観測用のフィルタを取り付けた天体望遠鏡の接眼側にレンズユニット１０を取り付けて、撮像装置１による撮像を行う。

図４（ａ）は、天体望遠鏡にて観察される太陽１００を概略的に示す。大まかには、太陽１００は、視覚情報として、極めて輝度の高い光球面１０１と、光球１０１の周囲の、光球面１０１に対して輝度の低い周辺部分１０２を有する。光球面１０１は、粒状斑、黒点、白斑などを含む。また、周辺部分１０２は、彩層、紅炎、コロナなどを含む。光球面１０１と周辺部分１０２は、輝度差が極めて大きいため、従来の技術により太陽１００の画像を１度の撮影で取得しようとする場合、露出を光球面１０１および周辺部分１０２のうち何れかに合わせる必要がある。露出を光球面１０１に合わせた場合、周辺部分１０２が露出不足になり、周辺部分１０２の画像の取得が困難になる。また、露出を周辺部分１０２に合わせた場合、光球面１０１において輝度値が飽和して所謂白飛びを起こしてしまい、黒点や粒状斑などの画像の取得が困難になる。

実施形態では、カラーフィルタ２０の各フィルタ領域Ｒ、ＧおよびＢのうち、狭帯域フィルタ１１の透過帯域における透過率の高いフィルタ領域で低輝度の被写体の輝度成分を取得し、当該透過帯域における透過率の低いフィルタ領域で高輝度の被写体の輝度成分を取得する。実施形態では、図３を用いて説明したように、狭帯域フィルタ１１の透過帯域を、中心波長λ_cとして設定しているため、フィルタ領域Ｒを透過した光に基づき低輝度の被写体（例えば周辺部分１０２）の画像を形成し、フィルタ領域ＧおよびＢを透過した光に基づき高輝度の被写体（例えば光球面１０１）の画像を形成する。そして、低輝度の被写体の画像と高輝度の被写体の画像とを合成して、１枚の画像を形成する。

図４（ｂ）〜図４（ｄ）を用いて、各フィルタ領域Ｒ、ＧおよびＢを透過した光に基づく画像信号に対する処理を説明する。なお、図４（ｂ）〜図４（ｄ）において、縦軸は各フィルタ領域Ｒ、ＧおよびＢを透過した光に基づく画像信号のレベルを示す。また、横軸は、図４（ａ）に示される線Ａ−Ｂの各位置を示し、範囲ａ−ｂおよび範囲ｃ−ｄが周辺部分１０２を、範囲ｂ−ｃが光球面１０１をそれぞれ示す。

図４（ｂ）において、画像信号１１０は、狭帯域フィルタ１１およびカラーフィルタ２０のフィルタ領域Ｒを透過した光をセンサ部１２で光電変換して得られた色Ｒの画像信号である。画像信号１１０において、光球面１０１上の輝度の変化が反映されている。

信号処理部１３は、この画像信号１１０に対して、ゲインを与え、信号レベルを増大させ、画像信号１１１を得る。このとき、信号処理部１３は、画像信号１１１のピークの信号レベルがディジタル信号のフルスケール（図中で「Ｆｕｌｌ」として示す）を超え飽和するようにゲインを設定する。図４（ｂ）の例では、画像信号１１０に対して２倍のゲインが設定され、光球面１０１に対応する範囲ｂ−ｃの信号レベルが、画像信号１１１のピークの６０％程度のレベルで飽和し、飽和した画像信号１１１’となっている。この飽和した画像信号１１１’における範囲ｂ−ｃでは、光球面１０１上の輝度の変化が飽和によって失われてしまっている。一方、周辺部分１０２に対応する範囲ａ−ｂおよび範囲ｃ−ｄの領域は、ゲインを設定した後にも飽和せず、元の輝度変化が反映される。

図４（ｃ）において、画像信号１２０は、狭帯域フィルタ１１およびカラーフィルタ２０のフィルタ領域Ｇを透過した光をセンサ部１２で光電変換して得られた色Ｇの画像信号である。フィルタ領域Ｇを透過した光に基づく画像信号１２０に対しては、信号レベル増大の処理を行わないでよい。狭帯域フィルタ１１およびカラーフィルタ２０のフィルタ領域Ｂを透過した光に基づく画像信号についても、同様に、信号レベル増大などの処理を行わないでよい（図示しない）。

図４（ｂ）に示される色Ｒの飽和した画像信号１１１と、図４（ｃ）に示される色Ｇの画像信号と、図示されない色Ｂの画像信号とを合成して、輝度信号Ｙを生成する。合成処理は、ＲＧＢ各色の画像信号に対して、例えばＩＴＵ−Ｒ(International Telecommunication Union Radiocommunications Sector) ＢＴ．７０９に規定される方式によれば、下記の式（１）に従いＲＧＢ各色の画像信号に対して各係数を乗じて加算することで行う。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ …（１）

式（１）により、図４（ｂ）の飽和した画像信号１１１’に対して値０．２１の係数を乗ずる補正が行われ、レベルが抑圧されるため、輝度信号としては、図４（ｂ）に画像信号１１２として例示されるように、ディジタル値のフルスケールの途中でクリップし、輝度の変化が失われた信号となる。この場合、飽和画像信号１１１’における周辺部分１０２に対応する範囲ａ−ｂおよび範囲ｃ−ｄは、信号レベル増大後もクリップしていないため、係数を乗じた後も、輝度変化が反映される。

信号処理部１３は、この画像信号１１２に対して図４（ｃ）の画像信号１２０を重畳する。これにより、図４（ｄ）に画像信号１３０として例示されるように、光球面１０１に対応する範囲ｂ−ｃの輝度変化と、周辺部分１０２に対応する範囲ａ−ｂおよび範囲ｃ−ｄの輝度変化とがそれぞれ反映された画像を得ることができる。

図５は、実施形態による信号処理部１３の一例の構成をより詳細に示す。信号処理部１３は、色相補正部３０と、彩度補正部３１と、ガンマ補正部３２と、輝度処理部３３と、色抑圧用飽和検出部３４と、色処理部３５とを有する。センサ部１２から出力される画像信号は、フィルタ領域Ｒ、ＧおよびＢそれぞれに対応するＲＧＢ各色の画素単位の画像信号として信号処理部１３に供給される。このＲＧＢ各色の画像信号は、色相補正部３０に入力される。

色相補正部３０は、図６に例示されるような、ＲＧＢ各色と、ＲＧＢ各色の補色である色Ｙｅ（黄色）、色Ｃｙ（シアン）および色Ｍｇ（マゼンタ）を用いた色相彩度補正により、入力された画像信号の色相補正処理を行う。例えば、色相補正部３０は、入力されたＲＧＢ各色の画像信号から、色相彩度補正で用いる色Ｒ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇの画像信号をそれぞれ算出し、予め定められた各色の色相補正係数ｈＲ、ｈＧ、ｈＢ、ｈＹｅ、ｈＣｙおよびｈＭｇを用いて、Ｒ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇ各色に対して色相補正を行う。色相補正の結果として得られたＲ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇ各色の画像信号からＲＧＢ各色の画像信号を求めて出力する。

色相補正部３０で色相補正されたＲＧＢ各色の画像信号は、彩度補正部３１に入力される。彩度補正部３１では、入力されたＲＧＢ各色の画像信号に対して２段階で彩度補正処理を行う。彩度補正部３１は、色相補正部３０と同様にして、入力されたＲＧＢ各色の画像信号から、色相彩度補正で用いる色Ｒ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇの画像信号を算出し、予め定められた各色の色相補正係数ｃＲ＃１、ｃＧ＃１、ｃＢ＃１、ｃＹｅ＃１、ｃＣｙ＃１およびｃＭｇ＃１を用いて、Ｒ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇ各色に対して１段階目の色相彩度補正を行う。

さらに、彩度補正部３１は、１段階目の彩度補正がなされたＲ、Ｇ、Ｂ、Ｙｅ、ＣｙおよびＭｇ各色の画像信号に対して、予め定められた各色の彩度補正係数ｃＲ＃２、ｃＧ＃２、ｃＢ＃２、ｃＹｅ＃２、ｃＣｙ＃２およびｃＭｇ＃２を用いて、２段階目の色相彩度補正を行う。この２段階目の再度補正の際に、色Ｒに対する彩度補正係数ｃＲ＃２を最大に設定し、図４（ｂ）を用いて説明した、色Ｒの画像信号１１０に対して信号レベルを増大させる補正処理を行う。すなわち、彩度補正部３１は、２段階目の補正処理により、図６に例示される色Ｒのレベルを、図中に矢印で示されるように、原点に対して色Ｒの方向に増大させる。このように補正された色Ｒの画像信号は、図４（ｂ）で画像信号１１１’として示したように、補正前の色Ｒの画像信号においてレベルの高い部分が飽和した信号となる。

色相彩度補正により色Ｒの信号レベルを増大させる場合、この彩度補正部３１における２段階目のＲＧＢ各色に対する補正処理は、色ＧおよびＢのレベルの大小関係に応じて異なるものとなる。図７は、色ＧおよびＢの大小関係が異なる２の例を示す。図７（ａ）は、色Ｇのレベルが色Ｂのレベルよりも高い場合の例（Ｒ＞Ｇ＞Ｂ）であり、図７（ｂ）は、色Ｂのレベルが色Ｇのレベルよりも高い場合の例（Ｒ＞Ｂ＞Ｇ）である。

図７（ａ）の場合、補正後のＲＧＢ各色のレベルは、次式（２）〜（４）にて求められる。なお、式（２）〜（４）において、値Ｒ₀、Ｇ₀およびＢ₀は、それぞれ補正前のＲＧＢ各色のレベルを示す。また、値ｋｒ２、ｋｙ２およびｋｃ２は、それぞれ彩度補正係数ｃＲ＃２、ｃＹｅ＃２およびｃＣｙ＃２を示す。さらに、値Ｒ’および値Ｙｅ’は、それぞれ色相彩度補正に用いる色ＲおよびＹｅを示す。
Ｒ＝Ｒ₀＋ｋｒ２×Ｒ’＋ｋｙ２×Ｙｅ’ …（２）
Ｇ＝Ｇ₀＋ｋｃ２×Ｙｅ’ …（３）
Ｂ＝Ｂ₀ …（４）

図７（ｂ）の場合、補正後のＲＧＢ各色のレベルは、次式（５）〜（７）にて求められる。なお、式（５）〜（７）において、値ｋｍ２は、彩度補正係数ｃＭｇ＃２を示す。さらに、値Ｍｇ’は、色相彩度補正に用いる色Ｍｇを示す。なお、式（５）〜（７）において、上述の式（２）〜（４）と共通する各値については、説明を省略する。
Ｒ＝Ｒ₀＋ｋｒ２×Ｒ’＋ｋｍ２×Ｍｇ’ …（５）
Ｇ＝Ｇ₀ …（６）
Ｂ＝Ｂ₀＋ｋｍ２×Ｍｇ’ …（７）

彩度補正部３１で２段階の彩度補正処理を施されたＲＧＢ各色の画像信号は、ガンマ補正部３２でガンマ補正処理を施され、輝度処理部３３、色抑圧用飽和検出部３４および色処理部３５にそれぞれ供給される。輝度処理部３３は、上述した式（１）に従いＲＧＢ各色の画像信号に対して予め定められた係数を乗じて加算して合成し、輝度信号Ｙを生成して出力する。

色Ｒの画像信号は、色Ｒの元の画像信号レベルの高い部分が飽和してフルスケールの固定値となったまま、係数０．２１を乗ずる補正が行われレベルが抑圧されるため、輝度信号としては、図４（ｂ）の画像信号１１２に示されるように、フルスケールの途中でクリップされた信号となる。一方、色Ｒの画像信号において、元々光量が少なくレベルの低い部分は、元の画像信号の輝度変化が反映された輝度信号として残る。したがって、式（１）の計算結果は、図４（ｄ）で示したように、色Ｒの元の画像信号において輝度の低い部分の輝度変化が残り、色Ｒの元の画像信号において輝度の高い部分は、色ＧおよびＢの元の画像信号において輝度の高い部分の輝度変化が反映された画像信号となる。

色抑圧用飽和検出部３４は、ＲＧＢ各色の画像信号のそれぞれに対して、飽和状態にある部分を検出する。上述した図４の例では、図４（ｂ）における範囲ｂ−ｃの部分が飽和部分として検出される。色抑圧用飽和検出部３４は、飽和状態部分を例えば画素毎に検出して、色処理部３５に供給する。

色処理部３５は、入力されたＲＧＢ各色の画像信号に基づき、次式（８）および（９）に従い、色差信号Ｒ−ＹおよびＢ−Ｙを生成する。なお、式（８）および（９）において、値ＭＢおよびＭＲ、ならびに、値ＫＢおよびＫＲは、それぞれ予め定められたマトリクスゲインおよび色差ゲインである。上述したＩＴＵ−ＲＢＴ．７０９に規定される方式によれば、ＭＢ＝０．２２９２、ＭＲ＝０．０９１６、ＫＢ＝０．９２７８、ＫＲ＝０．７８７４となる。
Ｂ−Ｙ＝ＫＢ×｛(Ｂ−Ｇ)−ＭＢ×(Ｒ−Ｇ)｝ …（８）
Ｒ−Ｙ＝ＫＲ×｛(Ｒ−Ｇ)−ＭＲ×(Ｂ−Ｇ)｝ …（９）

このとき、色処理部３５は、色抑圧用飽和検出部３４から供給された飽和状態部分の検出結果に従い、飽和状態部分の色信号を抑圧する処理を行うため、飽和状態部分に色が付かない不自然な画像となってしまう。そのため、色処理部３５では、色差Ｒ−ＹおよびＢ−Ｙのゲインをオフとする。これは、例えば、上述の式（８）および（９）において、値ＫＢおよびＫＲをそれぞれ０とすることで、実現できる。このようにすることで、輝度処理部３３から出力される輝度信号Ｙと、色処理部３５から出力される色信号Ｃ（色差信号Ｒ−ＹおよびＢ−Ｙ）からなる出力画像信号を、モノクロ（無彩色）の画像信号とすることができる。

輝度処理部３３から出力された輝度信号Ｙと、色処理部３５から出力された色信号Ｃは、信号処理部１３から出力される。これら輝度信号Ｙおよび色信号Ｃを含む画像信号は、撮像装置１が有する図示されない表示装置に供給して画像として表示したり、撮像装置１に装填される図示されない記憶装置に記憶される。これに限らず、当該画像信号を撮像装置１の外部に出力することもできる。また、信号処理部１３は、輝度信号Ｙと色信号ＣとをＲＧＢ各色の画像信号に変換して出力してもよい。

このように、実施形態によれば、露出条件が異なる被写体が１の撮像領域に同時に存在するような場合であっても、それぞれの被写体に適した画像を１度の撮影で得ることができ、露出ブレや動きブレが発生することが防がれる。

なお、上述では、実施形態が静止画の撮影に適用されるように説明したが、これはこの例に限定されず、実施形態は、動画の撮影にも用いて好適なものである。すなわち、ＲＧＢ各色の画像信号毎に露出条件に応じた画像処理を行うため、１枚の画像に対する実施形態の処理による遅延が殆ど発生せず、動画の処理にも対応できる。

（実施形態の変形例）
次に、実施形態の変形例について説明する。図８は、実施形態の変形例に適用可能な撮像装置１’の一例の構成を示す。なお、図８において、上述の図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図８に例示されるように、実施形態の変形例による撮像装置１’は、上述の図１に示した撮像装置１に対してシャッタ制御部１４と、光学系駆動部１５とを追加し、これらシャッタ制御部１４および光学系駆動部１５を、信号処理部１３から出力される信号により制御できるようにしたものである。

シャッタ制御部１４は、信号処理部１３からの制御信号に応じて、イメージセンサ２１のシャッタ速度を制御する。光学系駆動部１５は、信号処理部１３からの制御信号に応じて、レンズユニット１０に含まれる絞り機構を制御する。これらシャッタ制御部１４によるシャッタ速度の制御と、光学系駆動部１５による絞り機構の制御により、イメージセンサ２１における受光量を調整することができる。

例えば、信号処理部１３は、センサ部１２から入射されたＲＧＢ各色の画像信号のレベルに応じて、シャッタ制御部１４および光学系駆動部１５に対する制御信号を生成することが考えられる。一例として、色ＧおよびＢの画像信号における図４（ｃ）の範囲ｂ−ｃのレベルや、色Ｒの画像信号における図４（ｂ）の範囲ａ−ｂおよび範囲ｃ−ｄのレベルがが所定以下の場合、光学系駆動部１５に対して絞りを開くように制御するための制御信号や、シャッタ制御部１４に対してシャッタ速度を遅くするように制御するための制御信号を生成する。

このように、被写体の光量に応じて絞り機構やシャッタ速度を制御することで、より被写体に応じた画像処理が可能となる。

上述では、実施形態および実施形態の変形例が天体観測による太陽の観察に適用されるように説明したが、これはこの例に限定されない。実施形態および実施形態の変形例は、適正な露出状態の異なる複数の被写体を含む撮像領域の画像を１度の撮影で得るような用途であれば、他の例にも適用可能である。例えば、強光源の発光部形状と、当該強光源以外の周辺の低輝度部の状態とを同時に知りたい場合や、スポット光が当たる高輝度の被写体と、光が当たらない低輝度部の状態とを被写体とが同時に含まれる画像を得たい場合などに適用可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１，１’ 撮像装置
１０レンズユニット
１１狭帯域フィルタ
１２センサ部
１３信号処理部
１４シャッタ制御部
１５光学系駆動部
２０カラーフィルタ
２１イメージセンサ
３０色相補正部
３１彩度補正部
３２ガンマ補正部
３３輝度処理部
３４色抑圧用飽和検出部
３５色処理部

Claims

受光面で受光した光を画素単位で光電変換して画像信号を出力する撮像素子と、
前記撮像素子の受光面側に設けられ、それぞれ異なる色を抽出するための透過率の波長特性の異なる領域が、前記画素単位で重複せずに配列されたカラーフィルタと、
前記カラーフィルタの前記領域のうち、前記撮像素子の受光面側に配置されたバンドパスフィルタが透過する特定の波長帯域における透過率が最も高い色の第１の領域を透過した光に基づく第１の画像信号のレベルを抑圧するレベル補正部と、
前記レベル補正部で前記第１の画像信号のレベルが抑圧された画像信号と、前記カラーフィルタの領域のうち、前記第１の領域よりも前記特定の波長帯域の透過率が低い色の第２の領域を透過した光に基づく第２の画像信号とを合成して出力する合成部と
を有する
ことを特徴とする撮像装置。
前記特定の波長帯域は、
前記カラーフィルタの前記領域それぞれの透過率が０でなく、且つ、前記第１の領域の透過率と、前記第２の領域の透過率との差分が所定以上の波長帯域である
ことを特徴とする請求項１に記載の撮像装置。
前記レベル補正部は、
前記第１の画像信号のレベルを増大させて飽和させ、飽和した該第１の画像信号のレベルを抑圧する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記カラーフィルタは、
それぞれ赤色、緑色および青色を抽出する領域が画素単位で配列され、該赤色を抽出する領域が前記第１の領域であって、該緑色および青色を抽出する領域のうち少なくとも１が前記第２の領域である
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
前記合成部は、
前記第１の画像信号のレベルが抑圧された画像信号と前記第２の画像信号とが合成された画像信号から色情報を除去して、該画像信号を出力する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
受光面で受光した光を画素単位で光電変換して画像信号を出力する撮像素子と、前記撮像素子の受光面側に設けられ、それぞれ異なる色を抽出するための透過率の波長特性の異なる領域が、前記画素単位で重複せずに配列されたカラーフィルタとを有する撮像装置の撮像方法であって、
前記カラーフィルタの前記領域のうち、前記撮像素子の受光面側に配置されたバンドパスフィルタが透過する特定の波長帯域における透過率が最も高い色の第１の領域を透過した光に基づく第１の画像信号のレベルを抑圧するレベル補正ステップと、
前記レベル補正ステップで前記第１の画像信号のレベルが抑圧された画像信号と、前記カラーフィルタの領域のうち、前記第１の領域よりも前記特定の波長帯域の透過率が低い色の第２の領域を透過した光に基づく第２の画像信号とを合成して出力する合成ステップと
を有する
ことを特徴とする撮像方法。