JP4134991B2 - 撮像装置および撮像装置を備えた携帯電話 - Google Patents

Description

本発明は、撮像装置において画面の中央と周辺とで色及び輝度が異なる色シェーディング（色むら）及びシェーディング（輝度むら）を補正する撮像装置、特に小型の光学系を有した撮像装置に関する。また、撮像装置を備えた携帯電話に関する。

近年、ＣＣＤ等の固体撮像素子であるイメージセンサは、デジタルカメラやビデオカメラ等に広く使用されている。固体撮像素子の中央部に入射する光は、主に垂直入射光であるのに対し、固体撮像素子の周辺部には浅い角度で入射する光が多くなる。このため、イメージセンサの中央部と周辺部では画素が受光する光強度が異なり、シェーディングが発生する。さらに、光学系の屈折率等が波長依存性を持つため、色シェーディングも同時に生じる。そこで、シェーディングや色シェーディングを抑制するため、イメージセンサ上に構成される画素毎の集光を目的として形成されたマイクロレンズ（以下で、オンチップマイクロレンズと呼ぶ）の配置を調整したり、画素位置や色信号ごとに異なる補正係数を予め設定し、これを用いて補正する方法等が知られている。

例えば、特許文献１に示された従来の撮像装置においては、イメージセンサの中心より遠ざかるに従って、オンチップマイクロレンズのピッチを徐々に画素ピッチよりも小さくなるよう配列することで、イメージセンサの周辺において、斜めに入射される入射光を効率良く集光させ、シェーディングを抑制していた。

また、特許文献２に示された従来の別の撮像装置においては、イメージセンサの座標（Ｘ、Ｙ）に対応した補正係数を座標（Ｘ，Ｙ）のＮ（Ｎは２以上）次曲面関数により色信号毎に近似し、この補正係数を座標（Ｘ、Ｙ）に対応する画素の各色信号と掛け合わせることで、シェーディングと色シェーディングの補正を行っていた。

特登２６００２５０号公報（第２頁、第１図） 特開平８−７９７７３号公報（第３頁、第２図）

上記従来の撮像装置では、オンチップマイクロレンズの配置調整により、シェーディング補正を行っていた。しかし、携帯電話等の携帯機器に具備されている小型の撮像装置では、光学系とイメージセンサとを近距離に配置する必要があるため、光線の入射角度は従来のデジタルカメラやビデオカメラに比べて大きくなり、２０度から２５度以上にもおよぶ（垂直入射時の角度を０度とする）。そのため、オンチップマイクロレンズの配置調整だけでは、シェーディングの発生を十分に抑えきれないという問題があった。さらに、オンチップマイクロレンズの屈折率が波長依存性を持つため、シェーディングと同時に色シェーディングが生じ、特に上記で述べた小型の撮像装置では、色シェーディングも顕著になるという問題点があった。

上記従来の別の撮像装置では、特定の照明下で最適な色シェーディング補正を可能にする補正係数を与える関数形（イメージセンサ上の座標に対するＮ次曲面関数の各係数）を予め定めていた。これにより、この特定の照明下では色シェーディングを補正することができるが、異なる照明下では、十分な色シェーディング補正ができないという問題があった。

また、小型の撮像装置においては省スペース化のため、薄膜層を積層した多層構造を持つ蒸着タイプ型の赤外カットフィルタを用いることが多い。このフィルタは、屈折率の異なる２種以上の薄膜層を積層した多層膜構造を電子ビーム蒸着やスパッタリング蒸着により作製したもので、光の干渉により、可視光領域にのみ透過率に持たせたものである。しかし、光の入射角度によって干渉効果が異なるため、例えば、カットオフ波長等が入射角度依存性を持つ。この依存性は色シェーディングを助長するため、蒸着タイプ型の赤外カットフィルタを用いた撮像装置では、適正な色シェーディング補正を行うことが特に困難であった。

この発明に係る撮像装置は、撮像面に配置され、複数の画素からなる撮像素子と、撮像素子の前に配置され、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）をそれぞれ透過させる色フィルタを有する撮像装置であって、前記Ｒ、Ｇ及びＢに対応する信号毎の補正係数を前記画素位置より算出する補正係数演算手段と、前記撮像素子の前記複数の画素より得られたＲ、Ｇ及びＢに対応する信号をそれぞれ少なくとも画面一面以上にわたり積算し、積算値ΣＲ、ΣＧおよびΣＢを得る積算手段と、前記積算値ΣＲ、ΣＧおよびΣＢのうち、少なくとも２つの前記積算値の比から、前記補正係数を調整するための調整係数を算出する補正係数調整手段と、前記積算値ΣＲ、ΣＧおよびΣＢから得られる２つの比からなる値と同じ相関色温度である黒体輻射の照明下で得られる積算値ΣＲ、ΣＧおよびΣＢから得られる値の２次元的な差の絶対値Ｈを算出し、前記絶対値Ｈに基づいて前記補正係数を調整するための調整係数を算出する手段を有した補正係数調整手段と、前記補正係数を、前記調整係数に応じて調整し、前記Ｒ、Ｇ及びＢに対応する信号毎にシェーディング補正を行うシェーディング補正手段を備え、前記調整係数調整手段が、前記絶対値Ｈが大きくなるにつれて少なくとも前記Ｒ信号の調整係数を小さくし、前記シェーディング補正手段において前記Ｒ信号の補正度が小さくなることを特徴とする。

この発明に係る撮像装置は、照明光毎に異なる色シェーディングに対しても良好に補正を行うことができる。

実施の形態１．
図１は、この発明の実施の形態１に係る撮像装置の構成を示すブロック図である。光学系１はレンズ１ａと赤外除去フィルタ（以後、ＩＲＣＦ（ＩｎｆｒａＲｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）と称する）１ｂから構成され、必要に応じて、図２に示す絞り１ｃが設けられる。光学系１から入射した光は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有する色フィルタが配列されたイメージセンサ２に結像する。赤外カットフィルタ１ｂはレンズ１ａから入射される光から不要な赤外光を除去するための光学部品であり、撮像に必要な波長の光のみを透過させる。イメージセンサ２においてＲの色フィルタが配置されている画素からはＲに対する信号（Ｒ信号）、Ｇの色フィルタが配置されている画素からはＧに対する信号（Ｇ信号）、Ｂの色フィルタが配置されている画素からはＢに対する信号（Ｂ信号）がそれぞれ出力される。

イメージセンサ２は入射光を光電変換し、入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はアナログ信号処理手段３において、必要なアナログ信号処理を行う。ここでのアナログ信号処理とはイメージセンサ２の出力値からノイズを除去する相関２重サンプリング及び、自動利得制御回路による信号の増幅を意味し、アナログ信号処理手段３にはこれらの信号処理手段が具備されている。次に、Ａ／Ｄ変換器４にて、画素ごとにデジタル信号に変換され、デジタル信号処理手段５へ送られる。

デジタル信号処理手段５ではイメージセンサ２の出力信号の黒レベルを調整するクランプ処理、及び各画素において、各画素のフィルタ色と異なる色に対応する信号を補間により生成する画素補間処理などを行う。デジタル信号処理手段５から出力された色信号であるＲ信号，Ｇ信号及びＢ信号は、それぞれ対応するシェーディング補正手段６ａ，６ｂ及び６ｃに入力され、それぞれの色信号のシェーディングが補正される。すなわち、シェーディング補正手段６ａはＲ信号のシェーディングを、シェーディング補正手段６ｂはＧ信号のシェーディングを、及び、シェーディング補正手段６ｃはＢ信号のシェーディングをそれぞれ補正し、補正された信号であるＲ’信号，Ｇ’信号及びＢ’信号が出力される。この補正に係る動作については後に詳しく示す。

シェーディング補正された信号であるＲ’信号，Ｇ’信号及びＢ’信号は、それぞれに対応するホワイトバランス手段７ａ，７ｂ及び７ｃによって、それぞれホワイトバランスのための利得調整が行われ、さらに、それぞれに対応するガンマ手段８ａ，８ｂ及び８ｃにより、それぞれ階調変換が行われる。最後にＲＧＢ／ＹＵＶ変換手段１１によって、Ｙ，Ｕ及びＶのそれぞれの信号に変換され出力される。

一方、積算手段９はデジタル信号処理手段５から出力されたＲ信号，Ｇ信号及びＢ信号をそれぞれ少なくとも１画面（フレーム）以上積算し、その積算値ΣＲ、ΣＧ及びΣＢを補正係数調整手段１０へ出力する。補正係数調整手段１０は、上記の３つの積算値から演算等により得られた各色信号に対応する３つの調整係数をそれぞれ対応するシェーディング補正手段６ａ，６ｂ及び６ｃへ出力する。各シェーディング補正手段６ａ，６ｂ、６ｃは、上記調整係数等を用いて、適切なシェーディング補正が行われるようにする。以下にシェーディング及び色シェーディングの補正について具体的に説明する。

図２に光学系１から入射され、イメージセンサ２に結像される光線を示す。図２において、レンズ１ａの光学的な絞り位置を絞り１ｃとして示す。絞り１ｃを介して入射した光線は、レンズ１ａによりイメージセンサ２上に像を結ぶ。光線のイメージセンサ２への入射角は、イメージセンサ２の端部では垂直より浅い角度になる。そのため、イメージセンサ２の中央部に比べ、端部の画素の受光量の入射光量は小さくなる。これを一般にシェーディングと称している。特に、小型の撮像装置の場合、絞り１ｃとイメージセンサ２との距離は短くなるため、イメージセンサ２の端部での入射角はさらに浅くなり、シェーディングは顕著になる。イメージセンサ２には、画素毎に図示しない光電変換のためのフォトダイオードが配置されており、このシェーディングにより、イメージセンサ位置毎に異なる出力信号レベルとなる。

また、レンズの屈折率が波長依存性を有するため、特にイメージセンサ２の端部付近では、波長毎に感度が異なる現象が生じる。これを一般に色シェーディングと称する。なお、図２に示したレンズ１ａと絞り１ｃの位置関係は一例であり、絞り１ｃがレンズ１ａよりもイメージセンサ２側に位置する場合もあるが、この場合はさらに入射角度が大きくなり、色シェーディングが顕著になる。

図３には、イメージセンサ２上において、その中心からの距離を示す像高（イメージセンサ２の中心が０％、対角端点が１００％とする）に対するＲ信号，Ｇ信号及びＢ信号の各信号レベルを示す。図３に示すように通常、像高が高くなるにつれて長波長側のＲの光がフォトダイオードから外れるようになり、他の色信号に比べてＲ信号が低下（減衰）し、色シェーディングが生じる。従来の技術ではイメージセンサ２上に画素ごとのフォトダイオードへ効率よく集光するためのオンチップマイクロレンズ位置を像高にあわせてずらす（一般にスケーリングと称する）ことで対応していたが、対応できる入射角度に限界があり、携帯電話などに搭載される小型の撮像装置ではマイクロレンズのスケーリングだけでは完全にシェーディング及び色シェーディングを改善できないという問題があった。

さらに、上記要因以外にも色シェーディングが生じる要因がある。イメージセンサ２は図４に示す分光感度特性をしており、撮像に不要な赤外領域（人間の目に見えない波長領域）にも感度がある。そのため通常撮像装置は、不要な赤外線を除去するためのＩＲＣＦ１ｂを具備している。小型の撮像装置では、ＩＲＣＦ１ｂは光学系を小型にするために、蒸着多層膜タイプの（蒸着等により薄いガラス板に屈折率の異なる２種以上の薄膜層を何十層も積層し、薄膜層間を透過・反射する光の干渉を利用して、赤外線を除去する分光透過率を有する）ＩＲＣＦを用いることが多い。

図５に、蒸着多層膜タイプのＩＲＣＦ１ｂの分光特性を示す。波長に応じた透過率を示している。図中０度はＩＲＣＦ１ｂを設計したときの目標とする分光特性であり、半値（透過率が５０％）が概６７０ｎｍになっており、人間の眼には見えない７００ｎｍを超える光の波長はほとんど透過しないことで不要な赤外光は除去している。しかし、薄膜を通過する時の光路長は、光の入射角により異なるため、入射角により分光特性が異なる結果となる。図５には、入射角度が０度、１５度、２０度、２５度の場合の分光特性を示した。入射角度が大きくなると、波長依存性の効果により、長波長側の透過率が低くなる。そのため、像高が大きくなるにつれてＲ信号の信号レベルがさらに低下することとなる。

このように、入射角度が大きくなるにつれて、レンズ１ａの屈折率の波長依存性及びＩＲＣＦ１ｂの透過率の波長依存性により、色シェーディングが顕在化する。この色シェーディングは、照明が特定されている場合には、予め補正係数を最適化することで補正可能であるが、照明が最適化した照明と異なった場合には、補正が不適切なものとなり、色シェーディングが生じる。

図６には、太陽光とほぼ同じ演色性である黒体輻射の３０００Ｋ（ケルビン）と５５００Ｋの色温度の分光特性、及び室内照明としてよく用いられる昼白色蛍光灯の分光特性を示す。それぞれの照明において、その分光特性は大きく異なっている。それぞれの照明における色信号毎のシェーディング量を図７から図９に示す。図７、図８は、それぞれ、色温度が３０００Ｋ、５５００Ｋの黒体輻射を照明として用いたときの色シェーディングを、図９は、昼白色蛍光灯を照明として用いたときの色シェーディングを示している。ここで用いた光学系は、携帯電話用カメラにおける通常の光学系であり、ＩＲＣＦ１ｂとしては、図５で示した特性を有する蒸着多層膜タイプのフィルタを用いている。図７から図９において横軸を光線の入射角度としている。０度は光軸であり、像高０％に対応する。携帯電話などに具備される小型の撮像装置ではイメージセンサ２の対角端点での入射角度が２５度程度であるため、例えば２５度の入射角度が像高１００％に対応する。いずれの図においても、入射角度が０度の時のＲ、Ｇ、Ｂが同じ信号レベルになるように正規化している。いずれの照明を用いた場合でも、入射角度が大きくなるにつれ、Ｒ信号が低下している。しかし、図９における昼白色蛍光灯を照明に用いた場合は、他の照明を用いた場合に比べて、Ｒ信号の低下がかなり緩やかであることがわかる。

図７から図９に示したように、照明光によって色シェーディングの度合いが大きく異なるため、従来技術のように固定の補正量を基準に色シェーディングの補正を行った場合、例えば、太陽光下の色シェーディングを基準に色シェーディング補正を行うと、蛍光灯下ではＲ信号の補正量が過補正となり画像の周辺が赤くなるという問題があった。また、逆に蛍光灯下での色シェーディング量を基準に補正量を定めた場合は、太陽光下では補正量が十分ではなく、周辺部において緑やシアンが過度に強調されたり、ホワイトバランスにおいて、周辺部の過度の緑を白くするため、逆に中央でマジェンタが過度に強くなるといった問題があった。これらの問題を解決するための本発明による動作を以下に説明する。

シェーディング補正手段６ａ、６ｂ及び６ｃは、それぞれ色信号であるＲ信号、Ｇ信号及びＢ信号を補正して、補正後の色信号であるＲ’信号、Ｇ’信号及びＢ’信号を出力する。シェーディング補正手段６ａ、６ｂ及び６ｃの構成並びに動作はいずれも同様なので、ここでは代表してＲ信号に対する補正手段６ａについて説明する。図１０はシェーディング補正手段６ａの具体的な構成を示した図である。座標値発生手段６ｇは、入力したＲ信号がイメージセンサ２上において、水平、垂直方向のどの位置に対応するかを示す座標値を出力する手段である。この座標値発生手段６ｇは、水平方向の座標値と垂直方向の座標値を画素クロックであるＣＬＫ、水平の同期信号ＨＤ、及び垂直の同期信号ＶＤから生成する。まず、水平方向の座標位置は、ＣＬＫのクロック数をカウントし、このカウント数で与えられる。このカウント数はＨＤによってリセットされる。また、垂直方向の座標位置は、ＨＤの数をカウントし、このカウント数で与えられる。このカウント数はＶＤによってリセットされる。さらに、前記水平方向の座標位置及び垂直方向の座標位置に２分の１画素をオフセット値として減算した値をイメージセンサ２上の座標（ｘ、ｙ）として出力する。この場合、座標の原点は、例えばイメージセンサ２の左上端とする。

補正係数演算手段６ｆは、座標値発生手段６ｇで得られた座標（ｘ、ｙ）に基づいて、色シェーディングを補正するための補正係数ｆｒ（ｘ、ｙ）を決める演算手段である。具体的には座標値発生手段６ｇから出力された座標値（ｘ、ｙ）を入力し、式１にしめす値ｆｒ＝ｆｒ（ｘ、ｙ）を算出する。

式１において、ａ０１、ａ０２、ａ１０、ａ１１、ａ１２，ａ２０，ａ２１，ａ２２は予め定めておいた定数であり、図８に示した黒体輻射５５００ＫのＲ信号の補正を適切に行なえるように定められている。すなわち、図８におけるＲ信号の相対値が、入射角度に依らず、ほぼ１に補正されるように各定数は最適化されている。

ところで上記では、イメージセンサ２の左上端を原点として処理を行なったが、イメージセンサ２の中心を原点として、座標値（ｘ，ｙ）を与えることも有効である。この場合、像高Ｄは、ベクトル（ｘ、ｙ）の長さで与えられる。シェーディング量は像高Ｄで決まるため、補正係数ｆｒは像高Ｄの関数ｆｒ（Ｄ）で与えられる。

式２において、ｂ０１、ｂ０２は予め定められた定数であり、図８に示した黒体輻射５５００ＫのＲ信号の補正を適切に行なえるように定められている。このようにイメージセンサ２の中心を原点として、座標値（ｘ，ｙ）を与えることで計算を簡単化することが可能である。

ここまではＲ信号について説明してきたが、Ｇ信号及びＢ信号の補正を行なう場合も上記と同様であり、それぞれシェーディング補正手段６ｂ及び６ｃを用いて補正係数ｆｇ、ｆｂが得られる。ただし、式１又は式２における各定数は、Ｇ信号及びＢ信号のそれぞれに対して最適化された別の定数が用いられ、図８におけるそれぞれの信号の相対値が、入射角度に依らず、ほぼ１になるように補正される

なお、ここでは黒体輻射５５００Ｋを照明として用いた場合を最適化するように各定数を定めたが、この理由は、黒体輻射５５００Ｋが撮像装置に最も良く用いられる太陽光の昼光にほぼ対応するため、これを基準照明としたためである。ただし後述するように、本実施の形態に係る発明においては、基準照明と異なる照明を用いた場合に対する補正手段を備えるため、蛍光灯などの他の照明に対して各定数を最適化することでも、ほぼ同様の効果が得られる。なお、補正式として与えた式１、式２は一例であり、例えば、さらに高次の項を追加することで、より精度の高い補正が行なえる。要求される特性に応じて適切な次数及び関数型を選択すれば良い。

上記で述べたように、補正係数演算手段６ｆは、例えば黒体輻射５５００Ｋを基準照明として用いた場合の各色信号のイメージセンサ２上におけるシェーディングを補正する補正係数を演算するものである。すなわち、図８における各色信号の相対値が入射角度に依らないように補正を行なう補正係数を与える。しかし、照明が異なった場合には、式１または式２で与えた各定数は、その照明に対して適正なものではないため、最適な補正を行なえない。そこで、後述する補正係数調整手段１０において、基準照明と異なる照明を用いた場合の各色信号ごとの調整係数Ｃｒ、Ｃｇ、Ｃｂを算出し、乗算器６ｅにより、各色信号ごとに、補正係数ｆｒ、ｆｇ、ｆｂとの乗算がそれぞれ行なわれ、その乗算値ｆｒ×Ｃｒ等が加算器６ｈに出力される。この乗算値に加算器６ｈにて加算される定数ａ００は、信号全体の利得であり、ａ００＝１であれば、シェーディング補正係数が０のときに入力信号をそのままの信号レベルで出力する。今ここで、ａ００＝１とした場合の各色信号に対する補正係数の一例を図１１に示す。図８に示したように、Ｇ信号とＢ信号は、入射角度に大きく依存せず、概１の相対値を示しているため、その補正係数ｆｇ、ｆｂも無補正である０としても良い近似となる。また、Ｒ信号は入射角度が大きくなるにつれて減衰していくため、その補正係数ｆｒは像高が大きくなるにつれて信号を増幅するように座標位置に応じて０より値が大きくなっていくように設けられている。

補正係数調整手段１０は、基準照明と異なる照明を用いた場合に、前記補正係数演算手段６ｆにて算出した補正係数ｆｒ、ｆｇ及びｆｂを、それぞれ調整するための調整係数Ｃｒ、Ｃｇ、Ｃｂを算出する。補正係数調整手段１０は、図１２に示すように、除算手段１０ａと調整係数算出手段１０ｂで構成されている。除算手段１０ａは、積算手段９から入力された積算値ΣＲ、ΣＧ、ΣＢの３値から２つの比を求める。ここでは、ΣＲとΣＧをそれぞれΣＢで除算した値ΣＲ／ΣＧ、ΣＢ／ΣＧを算出する場合を説明するが、他の比を用いてもよい。そして、調整係数算出手段１０ｂは、前記積算値の２つの比から調整係数Ｃｒ、Ｃｇ及びＣｂを算出する。
調整係数算出手段１０ｂによる調整係数Ｃｒ、Ｃｇ及びＣｂの算出方法を図１３により具体的に説明する。図１３において、除算手段１０ａにおいて得られた２つ積算値の比（ΣＲ／ΣＧ、ΣＢ／ΣＧ）を２次元平面上に黒点でプロットし、他方、異なる色温度の太陽光下で得られる（ΣＲ／ΣＧ、ΣＢ／ΣＧ）の軌跡を実線で示している。この実線で示す曲線と黒点の距離Ｈは、得られた２つ積算値の比と、同じ相関色温度の太陽光照明下で得られるであろう２つの積算値の比の２次元的な差の絶対値であり、このＨの値に応じて調整係数Ｃｒ、Ｃｇ及びＣｂを算出する。黒体輻射に準ずる照明（電球など）や太陽光下で撮像された場合、無彩色の被写体の色信号の積算値の２つの比（ΣＲ／ΣＧ、ΣＢ／ΣＧ）は、上記曲線上のいずれかの値となる。また、画像全面を積算すると無彩色の画像が得られる（エバンスの定理）。通常オートホワイトバランスなどはこの定理に従い、画像全面の積算値が白になるように各色信号の利得を調整する。よって、画像全体の積算値の値を算出すれば、その照明下で無彩色の被写体と撮像したときの色信号の積算値と等価の値を得ることができる。

一方、蛍光灯などの人工光は太陽光にくらべ演色性が悪く、例えば昼白色蛍光灯下の被写体撮像で得られる色信号の積算値の２つの比（ΣＲ／ΣＧ、ΣＢ／ΣＧ）は、図１３の黒点で示すように、前記曲線から離れた位置の値となる。照明の演色性がさらに悪くなると、図１３において、黒点は通常左下側へと曲線からさらに離れていく。この距離Ｈから、補正係数調整手段１０は調整係数Ｃｒ、Ｃｇ及びＣｂを算出する。距離Ｈと調整係数Ｃｒ、Ｃｇ及びＣｂとの関係の一例を図１４に示す。距離Ｈの値が概０のとき、照明は基準照明と同一と判断され、各調整係数の値は１である。距離Ｈが大きくなるにつれて各調整係数の値は１から小さくなっていく。尚、各調整係数Ｃｒ、Ｃｇ及びＣｂと距離Ｈの関係は同一ではなく、各調整係数ごとに異なる。例えば、図１４において、Ｈ＝０の時の各調整係数の値は１であるが、Ｈが増加した時の各調整係数の傾きは異なる。例えば、図８と図９を比較すると、Ｇ信号とＢ信号は照明が変化しても入射角度依存性に大きな変化は見られないため、距離Ｈにかかわらず、Ｃｇ＝Ｃｂ＝１としても、概ね良好な近似となる。一方、Ｒ信号に関しては、入射角度依存性が太陽光と蛍光灯とで大きく異なるため、図１４のように、Ｃｒは距離Ｈの増加に対して減少するように定める必要がある。

調整係数算出手段１０ｂにおける調整係数算出方法の別の一例を図１５に示す。除算手段１０ａにおいて得られた２つ積算値の比（ΣＲ／ΣＧ、ΣＢ／ΣＧ）に対応する色信号ごとの調整係数の値（Ｃｒ，Ｃｇ、Ｃｂ）を予め図１５に示すように定め、それを２次元メモリに記憶したＬＵＴ（ルックアップテーブル）を設けることで、得られた２つ積算値の比に対して（Ｃｒ，Ｃｇ、Ｃｂ）の値を算出できる。色信号の積分比ΣＲ／ΣＧをアドレスＡとし、ΣＢ／ΣＧをアドレスＢとして入力し、メモリ内には、距離Ｈに応じて設けられた調整係数（Ｃｒ，Ｃｇ、Ｃｂ）が記憶されており、アドレスＡ及びアドレスＢに対応する調整係数（Ｃｒ，Ｃｇ、Ｃｂ）を出力する。Ｒ信号の補正係数ｆｒに対する調整係数はＣｒであり、Ｇ信号の補正係数ｆｇに対する調整係数はＣｇであり、Ｂ信号の補正係数ｆｂに対する調整係数はＣｂである。以上のようにＬＵＴを設けることで、距離Ｈを算出する等の演算を行なうことなく調整係数を定めることができる。

メモリ内は大きく領域分けされており（図１５に示す一例では、領域ＡからＤ）、これらの領域は太陽光の曲線から距離Ｈに応じて決められる。各領域には色信号ごとの補正調整係数が（Ｃｒ，Ｃｇ，Ｃｂ）として記録されている。領域Ａは、太陽光下の光とみなして各色信号に対する補正のための調整係数Ｃｒ，Ｃｇ，Ｃｂはいずれも１である。領域Ｂから領域Ｃ、領域Ｄへ行くほど距離Ｈが大きくなるので、その調整係数は徐々に小さく、または等しくなるようにテーブル値として記録している。例えば、領域Ｂにおいて、（Ｃｒ，Ｃｇ，Ｃｂ）＝（ａ、ｂ、ｃ）、領域Ｃにおいて（Ｃｒ，Ｃｇ，Ｃｂ）＝（ｄ、ｅ、ｆ）、領域Ｄにおいて（Ｃｒ，Ｃｇ，Ｃｂ）＝（ｇ、ｈ、ｉ）とした場合、１≧ａ≧ｄ≧ｇ、１≧ｂ≧ｅ≧ｈ、１≧ｃ≧ｆ≧ｉの関係となる。このように補正係数調整手段１０は積算手段９から得られた値から色信号ごとの調整係数Ｃｒ，Ｃｇ，Ｃｂを算出し、それぞれをシェーディング補正手段６ａ、６ｂ及び６ｃへ出力する。

シェーディング補正手段６ａ、６ｂ及び６ｃにおいて、それぞれに入力された調整係数Ｃｒ、Ｃｇ及びＣｂを乗算器６ｅによって、補正係数演算手段６ｆから出力された補正係数ｆｒ、ｆｇ及びｆｂにそれぞれ乗じて、加算器６ｆでそれぞれにａ００（＝１）が加算された後、その値を乗算器６ｄにおいて入力信号であるＲ信号、Ｇ信号及びＢ信号にそれぞれ乗じることによって補正を行なう。今ここで、図１５に示した調整係数において、Ｃｒに関して、ａ＝０．５、ｄ＝０．４、ｇ＝０．２とし、Ｃｇに関して、ｂ＝ｅ＝ｈ＝１．０とし、Ｃｂに関して、ｃ＝ｆ＝ｉ＝１．０とする。つまり、Ｒ信号のみをシェーディング補正の対象としている。補正係数演算手段６ｆは、前述したように太陽光５５００Ｋで色シェーディングをなくすようにその補正係数ｆｒ、ｆｇ、ｆｂが図１１に示したように定められている。例えば昼白色蛍光灯のときは、補正調整係数Ｃｒ、Ｃｇ、Ｃｂが１以下の値となるため、前記補正係数ｆは減じる方向に調整される。昼白色蛍光灯は領域Ｂに位置すると、（Ｃｒ，Ｃｇ，Ｃｂ）＝（０．５，１．０，１．０）となる。よって、Ｒ信号の補正度は図１１に示した半分となるため、図９に示すように入射角度に対するＲ信号の減衰度が太陽光時に比べて小さい昼白色蛍光灯の場合でも、過補正とならず適切に補正を行うことができる。また、Ｇ信号及びＢ信号は昼白色蛍光灯のときでも太陽光とほとんど同じ値であるため、調整係数Ｃｇ及びＣｂは１とする。このように、補正係数調整手段１０から出力される調整係数によって、照明によらず常に適切な色シェーディング補正を行うことができる。

補正係数調整手段１０による調整係数の算出手段のさらに別の例を示す。補正係数調整手段１０は演算手段を具備しており、演算手段は図１６に示す太陽光の曲線を近似するＮ次の近次式を有しているか、または、蛍光灯などの人工光が多く有する相関色温度（４０００Ｋから５５００Ｋ程度）近辺の近似直線Ｂ＝−ｊＡ+ｋ（ここで、ｊ、ｋは定数。ＢはΣＢ／ΣＧ、ＡはΣＲ／ΣＧ）を有しており、得られた値（黒点）からの距離Ｈを算出し、図１４で示したようにその距離Ｈに応じたＣｒ、Ｃｇ、Ｃｂそれぞれを算出して出力することでも実現できる。

実施の形態２．
図１７は、この発明の実施の形態２に係る撮像装置の構成を示すブロック図である。イメージセンサ２から出力された信号がディジタル信号処理手段５から出力されるまでは、実施の形態１と同様である。

ディジタル信号処理手段５から出力されたＲ信号、Ｇ信号及びＢ信号は、積算手段９において、少なくとも１画面以上にわたり、それぞれ積算され、積算値ΣＲ，ΣＧ、ΣＢが得られる。これらを補正係数調整手段２０及び露出制御手段１２へ出力する。露出制御手段１２は、撮像装置の露出値を制御するための手段であり、積算値から得られた画像の明るさが目標とする画像の明るさより暗いときは、露出値を上げるように、タイミングジェネレータ（以下で、ＴＧという）１３へ制御信号を出力する。ＴＧ１３は、イメージセンサ２を駆動するための駆動パルスを発生する手段であり、露出値を上げるときはイメージセンサ２の露出時間が長くなるように、また、露出値を下げるときはイメージセンサ２の露出時間が短くなるように駆動パルスを出力する。また、ＴＧ１３により露出時間が最大となる駆動パルスを出力しても積算手段９から得られる値が小さいときには、露出制御手段１２は、アナログ信号処理手段３に具備される自動利得制御手段（図示せず）へ信号利得を上げる制御信号を出力する。上記のように、露出制御手段１２は、ＴＧ１３及びアナログ信号処理手段３へ制御信号を出力して露出の制御を行う。

また、露出制御手段１２は、露出制御１２を行うための制御信号を出力すると同時に、イメージセンサ２の蓄積時間Ｓとアナログ信号処理手段３での信号利得Ｇとを記録しており、前記蓄積時間Ｓ及び信号利得Ｇを補正係数調整手段２０へ出力する。

補正係数調整手段２０は、図１８に示すように積算手段９から得られた積算値から輝度信号の積算値ΣＹを生成する輝度信号生成手段２０ａと、輝度信号ΣＹを正規化する正規化手段２０ｂと、比較器２０ｃ及び調整係数算出手段２０ｄから構成されている。輝度信号生成手段２０ａは、入力された色信号の積算値から輝度信号の積算値ΣＹを算出する。例えば、ΣＹ＝ΣＲ＋２・ΣＧ＋ΣＢで輝度信号を算出する。正規化手段２０ｂは、輝度信号生成手段２０ａから出力されるΣＹを露出制御手段１２から出力された露出時間Ｓと信号利得Ｇとで除算し、ΣＹ／（Ｓ・Ｇ）を算出する。積算手段９から得られる色信号の積算値はすでに露出制御された信号値であるため、ΣＹは大体の被写体照度においてほぼ一定の値が得られる。よって、得られた輝度信号の積算値ΣＹをその信号を得たときの露出条件である蓄積時間Ｓと信号利得Ｇで割ることにより、被写体の明るさを算出することができる。ΣＹが一定のときでも、イメージセンサ２の蓄積時間Ｓや信号利得Ｇが大きくなるにつれて、被写体の明るさは暗くなっていっていること示す。正規化手段２０ｂから出力されたΣＹ／（Ｓ・Ｇ）は、比較器２０ｃに入力され、予め定めておいた値と比較し、その結果を調整係数算出手段２０ｄへ出力する。

一般に、外光（太陽光）は数千ｌｘ（ルクス）から数十万ｌｘの明るさであり、蛍光灯などの室内光は数十ｌｘから１０００ｌｘ程度の明るさで、外光に比べて著しくその明るさは低い。よって、例えば、概１０００ｌｘの明るさのときに得られる被写体の明るさ（一例として、被写体の反射率を１８％程度と考えた場合の明るさ）に相当する値を比較器２０ｃの比較する値として予め設けておくことで、正規化手段２０ｂから得られた値を比較器２０ｃに設けられた比較用の値より大きいときは外光（太陽光）、小さいときは室内光（蛍光灯）と判断することができる。

調整係数算出手段２０ｄは、実施の形態１と同様に、調整係数Ｃｒ、Ｃｇ、Ｃｂを出力するが、比較器２０ｃにより外光（太陽光）と判断されたときは、いずれの値も１を出力し、結果として、シェーディング補正手段６ａ、６ｂ及び６ｃにおける補正係数演算手段６ｆから出力された補正係数ｆｒ、ｆｇ及びｆｂをそのまま補正係数として用いるようにする。一方、比較器２０ｃにより室内光（蛍光灯）と判断されたときは、実施の形態１と同様に、Ｒ信号の補正度が小さくなるよう、Ｃｒは１より小さい値を出力する。この場合も、Ｃｒは１よりも小さく、太陽光とシェーディング量が余り変わらないＢとＧに対してはその調整係数ＣｇとＣｂは１と概同値の値が出力される。これにより、太陽光及び蛍光灯に応じて適切な色シェーディング補正を行うことができ、過補正または補正不足を解決することができる。

シェーディング補正手段６ａ、６ｂ及び６ｃから出力された各色信号は、以後実施の形態１と同様に処理される。

実施の形態３．
図１９は、この発明の実施の形態３に係る撮像装置の構成を示すブロック図である。イメージセンサ２から出力された信号が、ディジタル信号処理手段５から出力されるまでは、実施の形態１及び実施の形態２と同様である。

積算手段９は少なくとも色信号であるＲ信号とＢ信号とを１画面以上積算し、積算値ΣＲ、ΣＢを補正係数調整手段３０へ出力する。補正係数調整手段３０は図２０に示すようにΣＲ／ΣＢを算出する除算手段３０ａと、除算手段３０ａの出力値ΣＲ／ΣＢから調整係数Ｃｒ、Ｃｇ及びＣｂを算出する調整係数算出手段３０ｂから構成されている。除算手段３０ａから得られるΣＲ／ΣＢは照明の色温度に応じて変わる値であり、色温度が低くなるとΣＲ／ΣＢは大きくなり、色温度が高くなるとΣＲ／ΣＢは小さくなる。補正係数調整手段３０は、ΣＲ／ΣＢは大きくなると、すなわち色温度が低くなるにつれて、Ｃｇ及びＣｂの値を図２１に示すように１よりも小さくしていく。Ｃｒは概１の値を出力する。これにより、図７及び図８に示したように色温度に応じて異なるシェーディング量に対して、適切に色シェーディングの補正を行うことができる。

上記では、ΣＲ／ΣＢの値から調整係数を求めたが、ΣＲ／ΣＢの値の代わりにΣＲ／ΣＧやΣＲ／（ΣＧ＋ΣＢ）の値を用いても同様の効果が得られる。さらに、実施の形態１または２で示した調整係数を求める手段と、本実施の形態で示した調整係数を求める手段を組み合わせることで、さらに良好な色シェーディングの補正が可能となる。

この発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 この発明に係るイメージセンサに対する光線の入射角度を示す図である。 この発明に係る像高に対する色信号レベルを示した色シェーディングの説明図である。 この発明に係るイメージセンサの各色ごとの分光感度特性を示す図である。 この発明に係るＩＲＣＦの入射角度に対する分光特性を示す図である。 この発明に係る照明の種類ごとの分光特性を示す図である。 この発明に係る色温度３０００Ｋのときの入射角度に対する各色信号レベルの相対値を示す図である。 この発明に係る色温度５５００Ｋのときの入射角度に対する各色信号レベルの相対値を示す図である。 この発明に係る昼白光蛍光灯のときの入射角度に対する各色信号レベルの相対値を示す図である。 この発明に係るシェーディング補正手段の具体的な構成を示す図である。 この発明に係る座標位置に対するシェーディングの補正係数を示す図である。 この発明の実施の形態１に係る補正係数調整手段の具体的な構成を示す図である。 この発明の実施の形態１に係る太陽光下における色信号の積算値の比と蛍光灯下における色信号の積算値の比を示す図である。 この発明の実施の形態１に係る距離Ｈと調整係数Ｃとの関係図である。 この発明の実施の形態１に係るＬＵＴ内のテーブル構成を示す図である。 この発明の実施の形態１に係る得られた値が黒体輻射の軌跡からどれだけ距離が離れているかを算出するため近次式を示す図である。 この発明の実施の形態２に係る撮像装置の構成を示すブロック図である。 この発明の実施の形態２に係る補正係数調整手段の具体的な構成を示す図である。 この発明の実施の形態３に係る撮像装置の構成を示すブロック図である。 この発明の実施の形態３に係る補正係数調整手段の具体的な構成を示す図である。 この発明の実施の形態３に係る色信号の積算値の比ΣＲ／ΣＢに対する調整係数Ｃの関係を示す図である。

符号の説明

１ 光学系
１ａ レンズ
１ｂ 赤外除去フィルタ（ＩＲＣＦ）
２ イメージセンサ
３ アナログ信号処理手段
４ Ａ／Ｄコンバータ
５ デジタル信号処理手段
６ａ Ｒのシェーディング補正手段
６ｂ Ｇのシェーディング補正手段
６ｃ Ｂのシェーディング補正手段
６ｄ 乗算器
６ｅ 乗算器
６ｆ 補正係数演算手段
６ｇ 座標値発生手段
６ｈ 加算器
７ａ Ｒのホワイトバランス用利得回路
７ｂ Ｇのホワイトバランス用利得回路
７ｃ Ｂのホワイトバランス用利得回路
８ａ Ｒ用ガンマ補正手段
８ｂ Ｇ用ガンマ補正手段
８ｃ Ｂ用ガンマ補正手段
９ 積算手段
１０ 実施の形態１に係る補正係数調整手段
１０ａ 除算手段
１０ｂ 調整係数算出手段
１１ ＲＧＢ／ＹＵＶ変換手段
２０ 実施の形態２に係る補正係数調整手段
２０ａ 輝度信号生成手段
２０ｂ 正規化手段
２０ｃ 比較器
２０ｄ 調整係数算出手段
３０ 実施の形態３に係る補正係数調整手段
３０ａ 除算手段
３０ｂ 調整係数算出手段

Claims (11)

1. 撮像面に配置され、複数の画素からなる撮像素子と、
   この撮像素子の前に配置され、Ｒ、Ｇ及びＢをそれぞれ透過させる色フィルタを
   有する撮像装置であって、
   前記Ｒ、Ｇ及びＢに対応する信号毎の補正係数を前記画素位置より算出する補正係数演算手段と、
   前記撮像素子の前記複数の画素より得られたＲ、Ｇ及びＢに対応する信号をそれぞれ少なくとも画面一面以上にわたり積算し、積算値ΣＲ、ΣＧおよびΣＢを得る積算手段と、
   前記積算値ΣＲ、ΣＧおよびΣＢから得られる２つの比からなる値と同じ相関色温度である黒体輻射の照明下で得られる積算値ΣＲ、ΣＧおよびΣＢから得られる値の２次元的な差の絶対値Ｈを算出し、前記絶対値Ｈに基づいて前記補正係数を調整するための調整係数を算出する手段を有した補正係数調整手段と、
   前記補正係数を、前記調整係数に応じて調整し、前記Ｒ、Ｇ及びＢに対応する信号毎にシェーディング補正を行うシェーディング補正手段を備え、
   前記調整係数調整手段が、前記絶対値Ｈが大きくなるにつれて少なくとも前記Ｒ信号の調整係数を小さくし、前記シェーディング補正手段において前記Ｒ信号の補正度が小さくなることを特徴とする撮像装置。
2. 不要な赤外線を除去するための赤外カットフィルタを具備したことを特徴とする請求項１記載の撮像装置。
3. 前記赤外カットフィルタは、２種以上の屈折率の異なる薄膜層を積層した多層構造を有する薄膜を備えたことを特徴とする請求項２記載の撮像装置。
4. 前記シェーディング補正手段は、前記補正係数に前記調整係数を乗じることで前記調整された補正係数を得る乗算器を有したことを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 前記シェーディング補正手段は、調整された前記補正係数と信号の増幅率を加算する加算器と、前記加算された値に画素毎の信号値を乗ずるための乗算器とを有したことを特徴とする請求項１から３のいずれかに記載の撮像装置。
6. 前記シェーディング補正手段は、前記画素毎の前記撮像素子の中心からの距離である像高を算出する算出手段を備えたことを特徴とする請求項４または５に記載の撮像装置。
7. 前記調整係数算出手段は、前記積算値ΣＲ、ΣＧ及びΣＢの２つの比と前記調整係数が対応するテーブルを有することを特徴とする請求項１記載の撮像装置。
8. 前記補正係数調整手段は、前記積算手段から得られた前記積算値ΣＲ、ΣＧ及びΣＢから画像全体の明るさを示す輝度信号を算出する輝度信号生成手段と、前記輝度信号の大きさにより前記調整係数を算出する調整係数算出手段とを有したことを特徴とする請求項１から６のいずれかに記載の撮像装置。
9. 前記補正係数調整手段は、前記輝度信号生成手段から得られた前記輝度信号の値と予め定めておいた定数を比較する比較器を有し、前記比較器により前記輝度信号の値が前記定数より小さいと判定されたとき、前記調整係数の値を小さくすることを特徴とする請求項８記載の撮像装置。
10. 前記補正係数調整手段は、前記積算手段から得られた前記積算値ΣＲ、ΣＧ及びΣＢから得た比ΣＲ／ΣＢまたはΣＲ／ΣＧを算出する除算器を有し、前記除算器で得られた前記積算値の比が大きくなるにつれて前記調整係数を大きくすることを特徴とする請求項１から９のいずれかに記載の撮像装置。
11. 請求項１から１０のいずれかに記載の撮像装置を備えたことを特徴とする携帯電話。

Images