JP5475393B2

JP5475393B2 - 撮像システムおよび補正方法

Info

Publication number: JP5475393B2
Application number: JP2009241888A
Authority: JP
Inventors: 理小泉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-20
Filing date: 2009-10-20
Publication date: 2014-04-16
Anticipated expiration: 2029-10-20
Also published as: JP2011091513A; US8477221B2; US20110090379A1

Description

本発明は、撮像システムおよび補正方法に関する。

ＣＣＤ型撮像素子やＣＭＯＳ型撮像素子に代表される撮像素子は、人間の眼の分光感度特性（比視感度）と比較して赤外光に対する感度が高い。そのため、一般的には、撮像レンズと撮像素子の撮像面との間に赤外カットフィルタが配置されうる。赤外カットフィルタとしては、例えば、ダイクロイックフィルタが使用されうる。

撮像レンズを通過してダイクロイックフィルタの中心に入射する主光線はダイクロイックフィルタ面に対して垂直であるが、撮像素子の撮像面内の周辺部に入射する主光線はダイクロイックフィルタ面に対してある角度を持つ。撮像面の中心からの距離（つまり、像高）が大きいほど、また、撮像レンズの射出瞳距離が小さいほど、この入射角度が大きくなる。このように、ダイクロイックフィルタには入射角度依存性があり、ダイクロイックフィルタを通過して撮像素子に入射する光の強度が像高に応じて異なる。これにより、撮像された画像に色シェーディング（色ムラ）が発生する。

特許文献１に記載された装置では、色シェーディングを補正するために、蛍光灯フリッカを検出して蛍光灯光源とそれ以外の光源とが区別され、光源に応じて色シェーディング補正係数が調整される。

特開２００８−１５３８４８号公報

しかし、特許文献１に記載された装置では、撮像素子からの情報を利用して光源を判定するので、赤外カットフィルタのカットオフ波長より外側の帯域の情報が考慮されないし、入射角度依存性の影響も受ける。そのため、被写体の平均輝度に対するカットオフ波長近傍の相対輝度を高い精度で検出することができず、過剰補正や補正残りが発生しうる。

本発明は、上記の課題認識を契機としてなされたものであり、被写体の平均輝度に対するカットオフ波長近傍の相対輝度を高い精度で検出し、色シェーディング補正の精度を高めることを目的とする。

本発明の１つの側面は、撮像システムに係り、前記撮像システムは、撮像面を有する撮像素子と、前記撮像面に被写体の像を形成する光学系と前記撮像面との間に配置されたフィルタと、前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を前記光学系を通して検出するセンサと、前記センサによって検出された相対輝度によって決定される色シェーディング補正係数を使って、前記撮像素子によって撮像された画像に色シェーディング補正を行う補正部と、を備え、前記センサは、前記光学系を通過した光のうち前記フィルタのカットオフ波長近傍の帯域の光を通過させるバンドパスフィルタと、前記バンドパスフィルタを通過した光を検出する第１検出部と、前記光学系を通過した光のうち前記バンドパスフィルタよりも広い帯域の光を検出する第２検出部と、を含み、前記第２検出部を使って前記被写体の平均輝度を検出し、前記第１検出部を使って前記フィルタのカットオフ波長近傍の帯域における前記被写体の輝度を検出することによって、前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を検出する。

本発明によれば、被写体の平均輝度に対するカットオフ波長近傍の相対輝度を高い精度で検出し、色シェーディングの精度を高めることができる。

本発明の撮像システムの１つの実施形態としてのデジタル一眼レフカメラの構成を示すブロック図である。赤外カットフィルタにおけるカットオフ波長の入射角度依存性を例示する図である。第１検出部および第２検出部が持つべき理想的な分光感度を例示する図である。第１検出部のためのバンドパスフィルタの分光透過率を例示する図である。水平方向における像高と赤色信号のための色シェーディング補正係数（列毎のゲイン補正）を例示する図である。第１検出部のためのバンドパスフィルタの分光透過率を例示する図である。第１検出部のためのバンドパスフィルタの分光透過率を例示する図である。水平方向における像高と青色信号のための色シェーディング補正係数（列毎のゲイン補正）を例示する図である。

本発明の撮像システムは、例えば、デジタル一眼レフカメラ、デジタルコンパクトカメラ、デジタルムービーカメラ等のデジタルカメラに適用されうる。本発明の撮像システムにおいて、撮像素子の撮像面に被写体の像を形成する光学系は、交換式であってもよいし、固定式であってもよい。

図１を参照しながら本発明の撮像システムの１つの実施形態としてのデジタル一眼レフカメラ（以下、カメラ）１００の構成および動作を説明する。カメラ１００は、撮像面を有する撮像素子１０３と、該撮像面に被写体の像を形成する光学系１０１と該撮像面との間に配置された赤外カットフィルタ１０２とを備えている。カメラ１００はまた、センサ１１３と補正部１０６とを備えている。センサ１１３は、被写体の平均輝度に対する赤外カットフィルタ１０２のカットオフ波長近傍の帯域における該被写体の相対輝度を光学系１０１を通して検出する。補正部１０６は、センサ１１３によって検出された相対輝度が大きいほど大きい値を有する色シェーディング補正係数を使って、撮像素子１０３によって撮像された画像の赤色信号に色シェーディング補正を行う。ここで、撮像素子１０３によって撮像された画像は、撮像素子１０３から出力された後に処理された画像であってもよいし、撮像素子１０３から出力された後に処理されていない画像であってもよい。この実施形態では、撮像素子１０３からアナログ信号の形態で画像が出力され、その画像は、アナログ信号処理部１０４によって処理（例えば、ノイズ除去）される。その後、アナログ信号処理部１０４によって処理された画像は、Ａ／Ｄ変換部１０５によってデジタル信号の形態の画像に変換され、補正部１０６によって色シェーディング補正がなされる。

撮像素子１０３の露光時以外は、被写体から光学系１０１を通過する光は、不図示の光学系を介して光学ファインダー（不図示）とセンサ１１３に入射する。この実施形態では、センサ１１３は、ＡＦ（ＡｕｔｏＦｏｃｕｓ）センサおよびＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）センサの少なくとも一方を含むセンサモジュール１３０に組み込まれうる。

光学系制御部１０８は、光学系１０１の焦点および絞りなどを制御する。撮像素子制御部１０９は、撮像素子１０３の駆動タイミングを制御する。システム制御部１１０は、カメラ（撮像システム）１００の全体を制御する。画像処理部１０７は、色シェーディング補正された後の画像に対して現像処理（カラー処理等）を行う。内部メモリ１１１は、色シェーディング補正係数や、処理された画像を保存する。処理された画像は、液晶ディスプレイ等のディスプレイを含む画像出力部１１２に出力される。

次に、被写体の平均輝度に対する赤外カットフィルタ１０２のカットオフ波長近傍の帯域における該被写体の相対輝度を検出するための構成を説明する。図２は、赤外カットフィルタ１０２におけるカットオフ波長の入射角度依存性を例示している。入射角度は、赤外カットフィルタ１０２の表面の法線に対する角度である。図２において、実線は、入射角度が０度の場合（この場合、赤外カットフィルタ１０２の表面に対して垂直に光が入射する。）における分光透過率を示す。図２において、点線は、入射角度が２０度の場合における分光透過率を示す。図２により、入射角度が大きくなるとカットオフ波長が短波長側にシフトすることが分かる。これは、入射角度が大きくなると、赤外カット側では赤色の波長を通しにくくなり、紫外カット側では青色の波長を通しやすくなることを意味する。

センサ１１３は、この実施形態では、バンドパスフィルタ１２２と、第１検出部１２０と、第２検出部１２１とを含む。バンドパスフィルタ１２２は、光学系１０１を通過した光のうち赤外カットフィルタ１０２のカットオフ波長近傍の帯域の光を通過させる。第１検出部１２０は、バンドパスフィルタ１２２を通過した光を検出する。第２検出部１２１は、光学系１０１を通過した光のうちバンドパスフィルタ１２２よりも広い帯域の光を検出する。バンドパスフィルタ１２２は、光学系１０１と第１検出部１２０との間に配置され、例えば、第１検出部１２０に接触するように配置されうる。第２検出部１２１と光学系１０１との間には、フィルタが配置されないか、バンドパスフィルタ１２２よりも広い帯域（典型的には、可視光帯域）の光を通過させるフィルタが配置されうる。センサ１１３は、第２検出部１２１を使って被写体の平均輝度を検出し、第１検出部１２０を使って赤外カットフィルタ１０２のカットオフ波長近傍の帯域における被写体の輝度を検出する。これによって、センサ１１３は、被写体の平均輝度に対する赤外カットフィルタ１０２のカットオフ波長近傍の帯域における被写体の相対輝度を検出する。第１検出部１２０および第２検出部１２１は、それぞれ、少なくとも１つの光電変換素子（或いは画素）を含む。

ここで、センサ１１３がＡＦセンサおよびＡＥセンサの少なくとも一方を含むセンサモジュール１３０に組み込まれる場合において、センサモジュール１３０は、複数の画素を有する撮像素子を含みうる。センサモジュール１３０のそのような撮像素子は、第１検出部１２０を構成する複数の画素からなる第１領域と、第２検出部１２１を構成する複数の画素からなる第２領域とを含みうる。第２領域は、ＡＦセンサまたはＡＥセンサを構成する画素からなる領域と同一でありうる。或いは、第２領域の一部は、ＡＦセンサまたはＡＥセンサを構成する画素からなる領域の少なくとも一部と共通しうる。ＡＦセンサおよびＡＥセンサの少なくとも一方を構成する撮像素子の複数の画素の一部を第２検出部１２１を構成するための画素として利用することにより、部品点数の増加やコストアップを抑えることができる。また、ＡＦセンサは、一般的に少なくとも画面の中心（つまり、像高が０の位置）における焦点を検出するように構成されるので、第１検出部１２０および第２検出部１２１を画面の中心付近（つまり、像高が０またはその近傍）に配置することは容易である。

上記の例では、第１検出部１２０によって検出する光の帯域をバンドパスフィルタ１２２によって制限している。これに代えて、バンドパスフィルタ１２２を設ける代わりに、当該帯域の選択的に光を検出するように、第１検出部１２０の光電変換素子の深さ（半導体基板の表面からの深さ）を設定してもよい。また、バンドパスフィルタ１２２は、一般的なカラーフィルタであってもよい。

図３は、第１検出部１２０および第２検出部１２１が持つべき理想的な分光感度を例示している。なお、分光感度は、分光透過率として示されている。透過率が１００％であることは、光学系１０１を通過し第１検出部１２０または第２検出部１２１に入射すべき光がすべて第１検出部１２０または第２検出部１２１に入射することを意味する。図２に例示されるように、赤外カットフィルタ１０２は、６２０ｎｍ〜６８０ｎｍの帯域においてカットオフ波長の入射角度依存性が顕著でありうる。そこで、この帯域の光を精度良く検出するための第１検出部１２０の分光感度としては、図３における斜線部の様な矩形の分光感度を有することが理想的である。また、第２検出部１２１は、第１検出部１２０よりも広い帯域における平均輝度を検出するために平坦な分光感度を有することが理想的である。

バンドパスフィルタ１２２は、例えば、２つのフィルタ（以下、第１フィルタ、第２フィルタ）を積層した構成を有してもよい。ここで、第１フィルタは、光学系１０１と撮像素子１０３との間に配置されている赤外カットフィルタ１０２と同じ特性を有しうる。第２フィルタは、撮像素子１０３に配列されているＲｅｄ（赤）のカラーフィルタ（不図示）と同じ特性を有しうる。第１フィルタによってバンドパスフィルタ１２２の長波長側のカットオフ波長が規定され、第２フィルタによってバンドパスフィルタ１２２の短波長側のカットオフ波長が規定されうる。図４において、バンドパスフィルタ１２２の分光透過率が細い実線で囲まれた斜線部で例示されている。図４において、太い実線は第１フィルタの分光透過率を例示し、点線は第２フィルタの分光透過率を例示している。第１フィルタと第２フィルタの合成によってバンドパスフィルタ１２２の特性が決定される。

第１検出部１２０の光電変換素子および第２検出部１２１の光電変換素子は、光学系１０１の光軸（像高がゼロの位置）またはその近傍に配置されうる。よって、赤外カットフィルタ１０２のカットオフ波長近傍の帯域における第１検出部１２０および第２検出部１２１の出力値の低下は小さく、被写体の平均輝度と該被写体のカットオフ波長近傍の帯域における輝度とを高い精度で検出することができる。

次に、センサ１１３によって検出された相対輝度に応じて撮影条件ごとに色シェーディング補正係数を決定し、色シェーディング補正を行う方法を説明する。ここで、相対輝度は、被写体の平均輝度と該被写体のカットオフ波長近傍の帯域における輝度を意味する。また、相対輝度に応じて決定される色シェーディング補正係数は、赤色信号（Ｒ）、緑色信号（Ｇ）、青色信号（Ｂ）のうちカットオフ波長に近い色の信号、即ち、赤色信号を色シェーディング補正するために使用される。

撮影条件の決定時、例えば、撮影前におけるＡＥおよびＡＦ時に、センサ１３を用いて前述の方法によって相対輝度が検出されうる（検出ステップ）。この相対輝度は、色シェーディング補正部１０６に提供される。色シェーディング補正部１０６は、センサ１２２から提供された相対輝度が大きいほど大きい値を有する色シェーディング補正係数を使って、撮像素子１０３によって撮像された画像に色シェーディング補正を行う（補正ステップ）。ここで、相対輝度が大きいことは、撮像された画像が赤外カットフィルタ１０２の入射角度依存性の影響をより強く受けていることを意味する。そこで、相対輝度が大きいほど、補正部１０６は、赤色信号（Ｒ）の色シェーディング補正係数を大きくする。

図５は、水平方向における像高と色シェーディング補正係数（列毎のゲイン補正）を例示している。図５において、像高＝０は、撮像素子１０２の撮像面の中心を示し、ここでの色シェーディング補正係数の値を１として規格化されている。この実施形態では、相対輝度がある値であるときの色シェーディング補正係数が標準条件における色シェーディング補正係数として内部メモリ１１１に格納されている。図５において、実線は、標準条件における色シェーディング補正係数の値を例示している。図５において、点線は、相対輝度が標準条件における相対輝度よりも大きい場合における色シェーディング補正係数の値を例示している。ここで、センサ１３から提供される相対輝度をＬ、標準条件における相対輝度をＬＳ、像高をＨ、相対輝度Ｌおよび像高Ｈにおける色シェーディング補正係数の値をＣ、相対輝度ＬＳおよび像高Ｈにおける色シェーディング補正係数の値をＣＳとする。相対輝度Ｌおよび像高Ｈにおける色シェーディング補正係数の値Ｃは、（１）式で与えられる。補正部１０６は、（１）式に従って各像高Ｈにおける色シェーディング補正係数の値Ｃを決定して内部メモリ１１１に格納する（補正ステップにおける準備ステップ）。なお、相対輝度ＬＳにおける複数の像高Ｈのそれぞれについての色シェーディング補正係数の値は、内部メモリ１１１にあらかじめ格納されている。ここで、ｋ＝Ｌ／ＬＳである。

Ｃ＝ＣＳ×Ｌ／ＬＳ＝ＣＳ×ｋ・・・（１）式
撮影（被写体を撮像し、その画像を記録する動作）時には、光学系制御部１０８は、不図示のクイックリターンミラー等の光学部材を駆動し、光路を変更する。これにより、被写体からの光は、光学系１０１および赤外カットフィルタ１０２を通過して撮像素子１０３の撮像面に像を形成する。撮像素子１０３は、その撮像面に形成された像を撮像して、その画像を電気信号（ここでは、アナログ信号）として出力する素子である。撮像素子１０３は、例えば、ＣＣＤ型撮像素子やＣＭＯＳ型撮像素子でありうる。撮像素子１０３から出力されたアナログ信号は、アナログ信号処理部１０４で処理された後、Ａ／Ｄ変換部１０５によってデジタル信号に変換される。

Ａ／Ｄ変換部１０５からデジタル信号として出力された画像は、色シェーディング補正部１０６に提供される。色シェーディング補正部１０６は、上述した方法で決定され内部メモリ１１１に格納された各像高Ｈにおける色シェーディング補正係数の値Ｃを内部メモリ１１１から読み出す。そして、色シェーディング補正部１０６は、その色シェーディング補正係数の値Ｃを用いて、撮像素子１０３によって撮像された画像における赤色信号（Ｒ）に対して色シェーディング補正を行う（補正ステップにおける補正実行ステップ）。緑色信号（Ｇ）、青色信号（Ｂ）に対しては、内部メモリ１１１に標準の色シェーディング補正係数を格納されていて、これらを読み出すことで補正がなされる。色シェーディング補正後の画像は、画像処理部１０７で現像処理（カラー処理な）がなされた後に内部メモリ１１１に保存され、あるいは画像出力部１１２より出力される。

上記の説明の色シェーディング補正方法は列毎のゲイン補正によってなされるが、行方向も同時に行うことでより効果的な補正が実現できる。また、像高に応じて同心円状に補正を行うことも可能である。また、上記の説明では、色シェーディング補正係数を定数倍（ｋ＝Ｌ／ＬＳ）することによって個々の撮影条件における色シェーディング補正係数が決定される。画面を像高に応じて複数のブロックに分け、ブロック毎にｋｎ（ｎ＝１，２，３，・・）倍する調整制御を行ってもよい。色シェーディング補正係数は、ルックアップテーブルを参照する方法や、多項式関数近似によって算出する方法等によって与えられてもよい。

通常は、ＡＦセンサを構成する撮像素子の撮像領域の面積は、被写体を撮像する撮像素子１０３のそれよりも小さい。よって、センサ１２２をＡＦセンサを構成する撮像素子と共用する場合には、バンドパスフィルタ１２２を構成する第１フィルタとして赤外カットフィルタ１０２と同じ特性を有する赤外カットフィルタを使用しても、その入射角度依存性の影響は受けにくい。したがって、図４の斜線部のような分光透過率を有するバンドパスフィルタ１２２であっても充分に実用的である。しかし、より高精度にカットオフ波長近傍の相対強度を検出するためには、次のような第１フィルタおよび第２フィルタによってバンドパスフィルタ１２２を構成してもよい。即ち、光学系１０１と撮像素子１０３との間に配置されている赤外カットフィルタ１０２よりもやや長波長側で長波長カットを実現する分光透過率を有するフィルタを第１フィルタとして使用する。また、撮像素子１０２に形成されているＲｅｄ（赤）のカラーフィルタよりもやや長波長側で短波長カットを実現する分光透過率を有するフィルタを第２フィルタとして使用する。その分光透過率の一例を図６に示す。より理想的な分光透過率（図３）に近づけることができる。

紫外側カットオフ波長の入射角度依存性に関しても、上記と同様の考え方で色シェーディング補正を行うことが可能である。図７に紫外側カットオフ波長近傍の輝度を検出する第１検出部のためのバンドパスフィルタの分光透過率の例を示す。ただし、図２における点線のように入射角度が大きくなるとカットオフ波長が短波長側にシフトして、紫外カット側では青色の波長を通しやすくなる。したがって、補正部１０６は、紫外側カットオフ波長近傍の相対強度が大きいほど青色信号（Ｂ）の色シェーディング補正係数の値を小さくする。図８に青色信号（Ｂ）の色シェーディング補正係数の一例を示す。つまり、本発明は、赤外カットフィルタ１０２に代えて、紫外カットフィルタを搭載した場合または赤外および紫外カットフィルタを搭載した場合にも適用することができる。

Claims

撮像面を有する撮像素子と、
前記撮像面に被写体の像を形成する光学系と前記撮像面との間に配置されたフィルタと、
前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を前記光学系を通して検出するセンサと、
前記センサによって検出された相対輝度によって決定される色シェーディング補正係数を使って、前記撮像素子によって撮像された画像に色シェーディング補正を行う補正部と、を備え、
前記センサは、
前記光学系を通過した光のうち前記フィルタのカットオフ波長近傍の帯域の光を通過させるバンドパスフィルタと、
前記バンドパスフィルタを通過した光を検出する第１検出部と、
前記光学系を通過した光のうち前記バンドパスフィルタよりも広い帯域の光を検出する第２検出部と、を含み、
前記第２検出部を使って前記被写体の平均輝度を検出し、前記第１検出部を使って前記フィルタのカットオフ波長近傍の帯域における前記被写体の輝度を検出することによって、前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を検出する、
ことを特徴とする撮像システム。
前記色シェーディング補正係数は、像高が大きい位置についてのものほど大きい値を有する、
ことを特徴とする請求項１に記載の撮像システム。
前記フィルタは、赤外カットフィルタであり、前記補正部は、前記センサによって検出された相対輝度が大きいほど大きい値を有する色シェーディング補正係数を使って、前記撮像素子によって撮像された画像の赤色信号に対して色シェーディング補正を行う、
ことを特徴とする請求項１又は２に記載の撮像システム。
前記フィルタは、紫外カットフィルタであり、前記補正部は、前記センサによって検出された相対輝度が大きいほど小さい値を有する色シェーディング補正係数を使って、前記撮像素子によって撮像された画像の青色信号に対して色シェーディング補正を行う、
ことを特徴とする請求項１又は２に記載の撮像システム。
前記センサは、ＡＦセンサおよびＡＥセンサの少なくとも一方を含むセンサモジュールに組み込まれている、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
撮像面を有する撮像素子と、前記撮像面に被写体の像を形成する光学系と前記撮像面との間に配置されたフィルタとを有する撮像システムにおいて撮像された画像の色シェーディングを補正する補正方法であって、
前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を前記光学系を通して検出する検出ステップと、
前記検出ステップで検出された相対輝度によって決定される色シェーディング補正係数を使って、前記撮像素子によって撮像された画像に色シェーディング補正を行う補正ステップと、を含み、
前記検出ステップは、
前記光学系を通過した光のうち前記フィルタのカットオフ波長近傍の帯域の光を通過させるバンドパスフィルタを通過した光を検出することによって、前記フィルタのカットオフ波長近傍の帯域における前記被写体の輝度を検出する第１ステップと、
前記光学系を通過した光のうち前記バンドパスフィルタよりも広い帯域の光を検出することによって、前記被写体の平均輝度を検出する第２ステップと、
前記第１ステップで検出した、前記フィルタのカットオフ波長近傍の帯域における前記被写体の輝度と、前記第２ステップで検出した前記被写体の平均輝度とに基づいて、前記被写体の平均輝度に対する前記フィルタのカットオフ波長近傍の帯域における前記被写体の相対輝度を検出する第３ステップと、を含む、
ことを特徴とする補正方法。
前記フィルタは、赤外カットフィルタであり、前記補正ステップでは、前記検出ステップで検出された相対輝度が大きいほど大きい値を有する色シェーディング補正係数を使って、前記撮像素子によって撮像された画像の赤色信号に対して色シェーディング補正を行う、
ことを特徴とする請求項６に記載の補正方法。
前記フィルタは、紫外カットフィルタであり、前記補正ステップでは、前記検出ステップで検出された相対輝度が大きいほど小さい値を有する色シェーディング補正係数を使って、前記撮像素子によって撮像された画像の青色信号に対して色シェーディング補正を行う、
ことを特徴とする請求項６に記載の補正方法。