JP5163319B2 - 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム - Google Patents

Description

本発明は、ＣＭＯＳイメージセンサなどの固体撮像素子を有する撮像装置における隣接画素間の混色（カラークローストーク）等を補正する画像信号補正装置、撮像装置、画像信号補正方法、およびプログラムに関するものである。

一般に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ（ＣＩＳ）などの撮像素子では、隣接画素の影響を受ける混色（カラークロストーク）がおきている。

混色は大きく分けて、基板内部の拡散電荷混入による電気的混色と、入射光が隣接画素に乱反射などで漏れ込む光学的混色に分かれる。
これらの混色によって、色再現性を劣化させるなどの画質に悪影響を及ぼす要因となっている。

そこで、色毎に混色補正用の係数を持たせ、面内一律の補正を可能とする技術や、Ｆ値によって、同様に面内一律で補正する技術等が提案されている（たとえば特許文献１参照）。

また、一般に混色と同時に画素内では、光の吸収などによりフォトダイオードの光電変換に寄与しない光量が存在し、画素単位でケラレが発生している。
このようなケラレを画素シェーディングといい、界面反射やトランジスタを構成するポリシリコンなどへの光吸収などが影響しており、混色と同様に面内分布を持ち、画質を劣化させる要因となっている。

そこで、この画素シェーディングに関してのみ、撮像面内分布を考慮した補正装置が提案されている（特許文献２，３参照）。これらは、混色を無視したセンサ出力からの信号をシェーディング補正するというシステムになっている。
特開平１０−２７１５１９号公報 特開２００３−１６９２５５号公報 特開２００６−１３４１５７号公報

しかし、携帯電話に搭載されているような小型カメラなどにおいて、画素ピッチの微細化、射出瞳距離の短距離化により、センサの中央画素と周辺画素における入射角度の差は大きくなってきている（周辺に行くほど主光線が傾く）。

そのため、周辺へ行くほど隣接画素への光の混入が増え、またマイクロレンズからフォトダイオードまでの間において、隣の画素までのＡｌ配線構造など画素単位で対称でないため光の乱反射がフォトダイオードに到達するまでに複雑におきている。
つまり、これらの要因から混色率が面内一律ではなくなってきている。したがって、面内一律の混色補正が難しくなってきている。

また、特許文献２，３に開示された補正装置は、混色を無視したセンサ出力からの信号をシェーディング補正するというシステムになっている。
一般的に混色は、周辺画素からの光の吸収過程に依存し、シェーディングは対象画素の光の散逸過程に依存するため、両者は熱力学的に見て等価になりえないものである。

ところが、前記先行文献におけるシェーディング補正システムでは、光の散逸過程のみを考慮しており、吸収過程における変位分は考慮されていないため、正しい信号量を見積もることが困難である。
したがって、上記シェーディング補正システムでは、精度の高い補正をすることは困難である。

本発明は、面内一律の混色補正を実現でき、また、精度の高い補正を実現することが可能な画像信号補正装置、撮像装置、画像信号補正方法、およびプログラムを提供することにある。

本発明の第１の観点の画像信号補正装置は、カラーの撮像素子で光電変換された画像信号を受けて、当該画像信号に含まれる混色成分を補正する混色補正部と、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部と、を少なくとも有し、上記混色補正部は、混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う。

本発明の第２の観点の撮像装置は、被写体像を撮像するカラーの撮像素子と、カラーの撮像素子で光電変換された画像信号を受けて補正を行う画像信号補正装置と、を有し、上記画像信号補正装置は、カラーの撮像素子で光電変換された画像信号に含まれる混色成分を補正する混色補正部と、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部と、を少なくとも有し、上記混色補正部は、混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う。

好適には、上記混色補正部は、複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する。

好適には、上記混色補正部は、取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う。

好適には、上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される。

好適には、上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、上記シェーディング補正部は、上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う。

好適には、上記シェーディング補正部は、取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う。

本発明の第３の観点の画像信号補正方法は、カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出すステップと、上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得するステップと、上記取得した混色率を用いて混色成分の補正を行うステップと、混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うステップとを有する。

本発明の第４の観点は、カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出す処理と、上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得する処理と、上記取得した混色率を用いて混色成分の補正を行う処理と、混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行う処理とを有する画像信号補正処理をコンピュータに実行させるプログラムである。

本発明によれば、カラーの撮像素子で光電変換された画像信号が混色補正部に入力される。
混色補正部においては、混色補正時に記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率が取得される。
そして、混色補正部では、取得した混色率を用いて混色成分の補正が行われる。

本発明によれば、面内分布に応じて混色補正を実現でき、また、精度の高い補正を実現することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る画像信号補正装置を適用した撮像装置の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、レンズ系１１、撮像素子１２、Ａ／Ｄ変換器１３、クランプ部１４、画像信号補正装置１５、デモザイク部１６、リニアマトリクス部１７、ガンマ補正部１８、輝度クロマ信号生成部１９を有する。
また、輝度クロマ信号生成部１９の出力側にはビデオインタフェース（Ｉ／Ｆ）２０が配置されている。

レンズ系１１は、絞り１１１を含み、被写体像を撮像素子１２の撮像面に結像する。

撮像素子１２は、ＣＭＯＳイメージセンサ等により形成され、複数の単位画素がマトリクス状に配列されている。各画素には、対応してカラーフィルタが配置されている。
撮像素子１２は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。

図３は、本実施形態に係る撮像素子１２の単位画素の構成例を示す回路図である。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。

各画素１２０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１２１を有する。
そして、画素１２０は、この１個の光電変換素子１２１に対して、転送トランジスタ１２２、リセットトランジスタ１２３、増幅トランジスタ１２４、および選択トランジスタ１２５の４つのトランジスタを能動素子として有する。

光電変換素子１２１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１２２は、光電変換素子１２１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１２２は、光電変換素子１２１で光電変換された電子をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ１２３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１２３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。

フローティングディフュージョンＦＤには、増幅トランジスタ１２４のゲートが接続されている。増幅トランジスタ１２４は、選択トランジスタ１２５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１２６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１２５のゲートに与えられ、選択トランジスタ１２５がオンする。
選択トランジスタ１２５がオンすると、増幅トランジスタ１２４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ１２２、リセットトランジスタ１２３、および選択トランジスタ１２５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。

撮像素子１２は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、信号線ＬＳＧＮは、ＣＤＳ回路（相関二重サンプリング回路）等を含むカラム読み出し回路に接続される。

図４は、撮像素子のデバイス構造を模式的に示し、かつ混色について説明するための図である。

図４において、撮像素子１２は、光電変換素子であるフォトダイオードＰＤの受光面に対して、導波路ＷＧＤを挟んでカラーフィルタＣＦが配置され、各カラーフィルタＣＦの光入射側にマイクロレンズＭＬがそれぞれ位置された多層配線構造を有する。
導波路ＷＧＤには、Ａｌ配線や層間膜などが形成されている。

混色は、ＣＭＯＳイメージセンサなど多層配線構造をもつ撮像素子に多く見られる。主な原因としては、斜めに入射した光の乱反射の成分がＡｌ遮光膜を抜け隣接画素に漏れ込むことから起こる。
ここでは、これを光学混色と呼ぶ。
そのほか、フォトダイオードＰＤ間で電子の拡散による混色などもあるが、現在のプロセスでは混色の主要因ではない。

混色現象は、導波路カラーフィルタＣＦからフォトダイオードＰＤまでの経路を形成する導波路ＷＧＤ内での乱反射により、周辺画素から入射あるいは、周辺画素へ散逸したりする光の収支がフォトダイオードＰＤに到達するまでに複雑に起こっている。
一般に画素の構造が隣接間で対称でないため、乱反射の推定も困難である。
本発明での混色補正およびシェーディング補正については、後で詳述する。

Ａ／Ｄ変換器１３は、撮像素子１２による画像信号をアナログ信号からデジタル信号に変換してクランプ部１４に出力する。

クランプ部１４は、Ａ／Ｄ変換器１３によるデジタル画像信号の黒レベルを補正し、画像信号補正装置１５に出力する。

画像信号補正装置１５は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θに用い、この混色率を必要な画素位置（座標）でのθを補間により近似して得られるθに関連付けた混色補正を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。

画像信号補正装置１５は、図１に示すように、混色補正部１５１、画素シェーディング補正部１５２、第１の記憶部１５３、および第２の記憶部１５４を有する。

記憶部１５３は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θが保存される。
混色補正部１５１は、記憶部１５３に保存されている混色率θのうち、混色補正時に必要な画素位置（座標）でのθを補間により近似して算出し、この近似された混色率θを用いて混色補正を行う。
混色補正部１５１は、記憶部１５３に保存されている混色率（補正係数）を用いたＢスプライン補間を行って混色補正を行う。

記憶部１５４は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に定義された補正係数が保存される。
シェーディング補正部１５２は、記憶部１５４に保存されている補正係数を用いたＢスプライン補間を行ってシェーディング補正を行う。

画像信号補正装置１５における混色補正およびシェーディング補正については、後でさらに詳述する。

画像信号補正装置１５は、混色補正した後に、シェーディング補正された画像信号をデモザイク部１６に出力する。

混色補正した後に、シェーディング補正された画像信号は、デモザイク部１６で同時化処理が施され、リニアマトリクス部１７で色再現処理が施され、ガンマ補正部１８でガンマ補正された後、輝度クロマ信号生成部１９に供給される。
そして、輝度クロマ信号生成部１９で輝度信号、クロマ信号が生成され、ビデオＩ／Ｆ２０を通して図示しない表示デバイスに映像が表示される。

以下、画像信号補正装置１５における混色補正およびシェーディング補正について、原理的な説明も含めて具体的に説明する。

図５は、光の散逸、吸収過程のイメージ図である。
図６は、光の散逸、吸収逆過程のイメージ図である。

図５は、画素０における入射光Ｑ_０から光電変換直前までの光ｑ_０の散逸・吸収過程を示している（Ｑ_０→ｑ_０）。
図６は、画素０における入射光Ｑ_０への逆過程を示している（ｑ_０→Ｑ_０）。
この場合、散逸過程（ケラレ）と吸収過程（混色）は同一ではない。すなわち、散逸過程（ケラレ）≠吸収過程（混色）である。

混色は、図５に示すように、周辺画素からの光の吸収過程に依存し、シェーディングは対象画素の光の散逸過程に依存するため、両者は熱力学的に見て等価になりえないものである。
したがって、図６に示すように、光の散逸・吸収過程を逆に辿っていくと、まず周辺画素からの吸収量を補正し（これを混色補正という）、光の散逸量を補正する（これを画素シェーディング補正という）という順序で行わなければならないことがわかる。
既存技術におけるシェーディング補正システムでは、光の散逸過程のみを考慮しており、吸収過程における変位分は考慮されていないため、正しい信号量が見積もれないことが原理的にいえる。
つまり、混色と画素シェーディングは両者を排他的に補正する必要があり、この点を考慮したシステムが必要不可欠といる。
すなわち、混色補正とシェーディング補正は独立にかつ混色補正→シェーディング補正の順序で行わなければならないことがわかる。
本実施形態の画像信号補正装置１５は、混色補正した後に、シェーディング補正を行うように構成されている。

ここで、光学混色をモデル化してみる。
図７は、画素間混色モデルを示す図である。
図８は、各画素における光の散逸、吸収モデルを示す図である。

図７にある対象画素０番の光量収支を表すのに、光学通路内（カラーフィルからフォトダイオードまでのパス）で起こる光の散乱、吸収量が、各カラーフィルタ通過直後の光量Ｑ_ｉに比例した係数（ξ,η)でおのおのξＱ_ｉ、ηＱ_ｊとして、図８に示すように定義する。

ここで、ξＱ_ｉは画素ｉから周辺画素へ散逸する光量または電圧を、ηＱ_ｊは画素ｊから乱反射して入射した光量または電圧（＝画素ｉの吸収光量または電圧）を、ｑ_ｉ は画素ｉのセンサ出力信号量(光量または電圧またはデジタル信号値）をそれぞれ表している。

また、図９（Ａ）および(Ｂ)は撮像素子(センサ)１２の入出力信号の例を示す図である。図９（Ａ）は撮像素子(センサ)１２のカラーフィルタ通過直後の入力信号を示し、図９(Ｂ)は撮像素子（センサ）１２の出力信号を示している。

この混色モデルを定式化すると、次のようになる。

ここで、ｑ_０は対象画素に対する光電変換後の電圧またはそれをＡＤ変換したデジタル信号量を示す。
Ｑ_０は対象画素のカラーフィルタ通過直後の光量を電圧で換算した量またはそれをＡＤ変換したデジタル信号量を示す。
Ｑ_ｊは対象画素に隣接する画素のカラーフィルタ通過直後の光量を電圧に換算した量またはそれをＡＤ変換したデジタル信号量を示す。
ξ_０ｊは対象画素から周辺へ散逸する光量（＝対象画素の信号量ｑ_０に寄与しないＱ_０の部分光量）を対象画素の入射光量Ｑ_０で割った無次元係数を示す。一般に、０．０＜ξ_０ｊ＜１．０である。
η_ｊ０は周辺から対象画素へ散乱してきた光量(＝Ｑ_０以外に対象画素の信号量ｑ_０に寄与する周辺Ｑ_ｊからの部分光量)を各周辺画素の入射光量Ｑ_ｊで割った無次元係数を示す。一般に、０．０＜η_ｊ０＜１．０である。
χ_０は吸収係数、対象画素と周辺画素との間で行われる光量収支に無関係な対象画素の信号量ｑ_０に寄与しないＱ_０に対する吸収率(例：画素周辺のトランジスタのポリシリコンへの吸収など）を示す。ここでは、０＜χ_０＜１である。
ｎは対象画素に隣接する画素数を示す。

式１を変形して、式２に示すように画素入射光の信号量を表すことができる。

式２は、光学系路内に起こる光の散乱吸収を補正した信号量を表している。
光学経路とは、図４のカラーフィルタＣＦからフォトダイオードＰＤまでの経路を形成する導波路ＷＧＤ内の光学通路である。
つまり、式２の分母は、光が散逸され対象画素の信号成分に寄与しない量を補正するための画素シェーディング補正を意味する。
式２の分子は、周辺画素から散乱された光が対象画素の信号成分へ寄与してしまう混色量を補正する、という意味になっている。
なお、画素シェーディングとはいわゆる画素におけるケラレのことである。ここではレンズシェーディングと区別するため画素シェーディングと呼んでいる。

次に、混色補正式について述べる。
混色補正後の信号量Ｃ_０は、式２を変形して次のように表される。

式３の右辺の第２項の意味は、たとえば、対象画素０番の周辺画素(ｎ個)をξＱで積和演算するということを意味する。

さて、本発明の実施形態におけるモデルでは、式３から明らかなように、まず混色補正を行い、続いて画素シェーディング補正を行えば、対象画素のＱ０が求められる。

ところで、式３の右辺にあるＱ_ｊは、図９（Ａ）に示すような、カラーフィルタ通過直後の光量であるため、一般に測定不能量である。
したがって、図９（Ｂ）に示すような、測定可能なセンサ出力ｑ_ｊで、後で示す式４〜式６のように別途展開する必要がある。

図１０は、本実施形態に係る画像信号補正装置１５の信号処理の流れを示す図である。
図１１は、モデル式２に応じた補正処理を示す図である。

本実施形態の画像信号補正装置１５において、図１０に示すように、あるセンサ出力ｑ_０に対し、混色補正を施すことで、後段の画素シェーディング補正が正しく行えることがわかる。
もし、本信号処理を実施しないと（スキップすると）、式３から分かるように、ΣηＱ項がシェーディングゲイン分だけ増幅され最終的にＱ_０が正しく再現できないことがわかる。

以上の点を踏まえて、式２を隣接画素測定可能量ｑで展開すると、次式４のようになる。

この式４は、図１１に示すように、隣接、次隣接、次々隣接画素・・・の混色補正、シェーディング補正を対象画素の遠い方から順次施し、最後に対象画素０番の補正を行うという漸化式になっている。

同様に、混色補正式である式３を隣接画素の測定可能量ｑ_ｊを使って展開すると、次式５のようになる。

さらに、この混色補正式５を隣接および次隣接画素まで展開すると、次式６のようになる。

この式６の右辺第５項は測定不能量Ｑを含む。

さて、各画素の散乱収支は高々画素に入射する光量の数％〜十数％程度であるとすると、η＋Σξ＋Χ＜１が成り立つ。
つまりβ＜１であることから、式６からわかるように、補正Ｃはｑ−Σβｑまでの近似で十分表すことができる。β<<１になればなるほど混色・画素シェーディングが少ない良質なセンサ（撮像素子）であるといえる。

したがって、本発明の実施形態において基本となる混色補正式は、次式７の下線部のようになる。

さて、式７の右辺第２項の加算部(Σβｑ)は、対象画素の混色量そのものである。
そこでたとえば赤(Ｒ)、緑（Ｇ）、青（Ｂ）のカラーフィルタをモザイク配列した撮像素子１２において、βを次の方法で原理的に求めることができる。
ここで実験的に混色量を求めるため以後、β→θと定義し、式７の右辺第２項の加算部をΣθqと書き直す。そしてθを新たに実効的な混色率と定義する。

＜混色率θの求め方＞：
図１２は、本実施形態に係る混色量の測定系の一例を示す図である。
図１３は、単色光Ｒによる各画素の応答と混色量について示す図である。

図１２の混色量の測定系３０は、白色光源３１、バンドパスフィルタ（ＢＰＦ）３２、レンズ３３、および撮像素子３４を含んで構成される、撮像素子３４は、図１の撮像素子１２と同様の構成、機能を有する。

たとえば図１２に示すように、各カラーフィルタＣＦの感度最大の波長付近のバンドパスフィルタ３２を通過した単色光を用意する。各色の単色光を撮像素子３４にレンズ３３を通して照射し、各画素の応答量を求める。
そして、各色の光源別に求めた画素値から混色量をもとめる。

すなわち、図１３の例のように、単色光Ｒを照射させると、バンドパスフィルタの特性がＧ画素とＢ画素に寄与しない場合は、基本的にＧ画素およびＢ画素は、Ｇ，Ｂカラーフィルタで吸収されるため、Ｒ光に直接応答しない。なお、単色光Ｒ（カラーフィルタＲの感度が最大になり且つ、波長帯域に制限をもつ光源：白色光源にＲ波長付近のバンドパスフィルタを通過させたものなどで実現する。
したがって、このような条件下において、図１３に示すように、Ｇ画素とＢ画素に存在する応答量（信号量）は、隣接Ｒ画素からの混色量に相当する。
同様にＧ画素およびＢ画素に対しても各Ｇ光、Ｂ光を照射することで互いに混色量を測定することができる。

たとえば、Ｒ画素からＧ画素の混色率θ_ＲＧは次式8で求めることができる。

同様にＧ画素からＲ画素へ、Ｇ画素からＢ画素へ、・・・と各画素ごとに求めることができる。

そして、本実施形態における混色補正式は、下記の式９、式１０のように表すことができる。

これまでは、各画素ごとに混色量を定義し、測定によって混色率を求めてきた。
このように、全画素ごとの混色率を保持し補正するには膨大な記憶部が必要になるため、本実施形態では、好適な方法として以下の方法を採用する。

すなわち、代表点を作り、代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の混色率を決定していく方法である。

図１４は、代表点による混色率θの推定例について説明するための図である。

画像信号補正装置１５においては、図１４に示すように、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θが記憶部１５３に保存される。
図１４の例は、４×５のマトリクス状に区分した例で、混色率θ_０〜θ_１９が示されている。

混色補正部１５１は、記憶部１５３に保存されている混色率θのうち、混色補正時に必要な画素位置（座標）でのθを補間により近似して算出し、この近似された混色率θを用いて混色補正を行う。
混色補正部１５１は、混色補正を上記式９に従って行う。

図１５は、本実施形態に係る混色補正部１５１における混色補正例(原理)を模式的に示す図である。

図１５の例では、記憶部１５３には混色補正係数代表点テーブルＴＢＬ１が色ごとに保存されている。
混色補正部１５１は、混色補正時に記憶部１５３から必要な混色率θを読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の混色率を決定していく。
そして、混色補正部１５１は、補正前のクランプ部１４からの画像信号と決定した混色率について積和演算器１５１１で積和演算し、減算器１５１２で積和演算結果と補正前の画像信号の減算処理を行うことにより混色補正を行う。

図１６は、本実施形態に係るシェーディング補正部１５２におけるシェーディング補正例(原理)を模式的に示す図である。

図１６の例では、記憶部１５４にはシェーディング補正係数代表点テーブルＴＢＬ２が色ごとに保存されている。
シェーディング補正部１５２は、シェーディング補正時に記憶部１５４から必要なシェーディング補正係数を読み出し、所定のタイミングで代表点の間をスプライン、ベジェ、線形補間といった手法で各画素の補正係数を決定していく。
そして、シェーディング補正部１５２は、混色補正部１５１で混色補正されたシェーディング補正前の画像信号と決定した補正係数とを乗算器１５２１で積算処理を行うことによりシェーディング補正を行う。

図１７は、本実施形態に係る混色、画素シェーディング補正の補間演算の実例を示す図である。

補間演算においては、代表点間（メッシュ単位)をＮ等分（２のべき乗）して、図１７に示すように、３つの代表点に対するそれぞれの重み係数を各メッシュで定義して、［各代表点×補間位置における重み係数］で求める。
ここで、ｔ＝０〜１．０をとり、１／Ｎステップ＝１画素ステップとする。
そして、次のように、いわゆるＢスプライン補間で行う。

［数１１］
補間位置ｔ０の値＝ｗ１（t0）・代表点１の値(θ１)
＋ｗ２（t0）・代表点２の値(θ２)
＋ｗ３（t0）・代表点３の値(θ３)

以上説明したように、本実施形態の画像信号補正装置１５は、以下の特徴的な構成を有している。
画像信号補正装置１５は、撮像素子１２の撮像面に合わせてマトリクス状（メッシュ状）に区分した領域毎に推定された実効的な混色率θに用い、この混色率を必要な画素位置（座標）でのθを補間により近似して得られるθに関連付けた混色補正を行う。
画像信号補正装置１５は、混色補正が施された画像信号に対してシェーディング補正を行う。
画像信号補正装置１５は、混色補正およびシェーディング補正時に、たとえば撮像素子１２の撮像面（補正対象面）に合わせてマトリクス状（メッシュ状）に区分し、メッシュ単位の複数の代表点に対する各重み付け係数を用いて、いわゆるＢスプライン補間を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。

すなわち、面内分布に応じた混色補正を実現できる。
また、本実施形態においては、光の散逸過程のみならず、吸収過程における変位分を考慮した補正を行っているため、正しい信号量を見積もることが可能である。
その結果、精度の高い補正を実現することができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

図１は、本発明の実施形態に係る画像信号補正装置を適用した撮像装置の構成例を示すブロック図である。 画素配列例としてベイヤ配列を示す図である。 本実施形態に係る撮像素子の単位画素の構成例を示す回路図である。 撮像素子のデバイス構造を模式的に示し、かつ混色について説明するための図である 光の散逸、吸収過程のイメージ図である。 光の散逸、吸収逆過程のイメージ図である。 画素間混色モデルを示す図である。 各画素における光の散逸、吸収モデルを示す図である。 撮像素子(センサ)の入出力信号の例を示す図である。 本実施形態に係る画像信号補正装置の信号処理の流れを示す図である。 モデル式２に応じた補正処理を示す図である。 本実施形態に係る混色量の測定系の一例を示す図である。 単色光Ｒによる各画素の応答と混色量について示す図である。 代表点による混色率θの推定例について説明するための図である。 本実施形態に係る混色補正部における混色補正例(原理)を模式的に示す図である。 本実施形態に係るシェーディング補正部におけるシェーディング補正例(原理)を模式的に示す図である。 本実施形態に係る混色、画素シェーディング補正の補間演算の実例を示す図である。

符号の説明

１０・・・撮像装置、１１・・・レンズ系、１２・・・撮像素子、１３・・・Ａ／Ｄ変換器、１４・・・クランプ部、１５・・・画像信号補正装置、１５１・・・混色補正部、１５２・・・画素シェーディング補正部、１５３，１５４・・・記憶部、１６・・・デモザイク部、１７・・・リニアマトリクス部、１８・・・ガンマ補正部、１９・・・輝度クロマ信号生成部。

Claims (14)

1. カラーの撮像素子で光電変換された画像信号を受けて、当該画像信号に含まれる混色成分を補正する混色補正部と、
   上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、
   上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部と、を少なくとも有し、
   上記混色補正部は、
   混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う
   画像信号補正装置。
2. 上記混色補正部は、
   複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する
   請求項１記載の画像信号補正装置。
3. 上記混色補正部は、
   取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う
   請求項１または２記載の画像信号補正装置。
4. 上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される
   請求項１から３のいずれか一に記載の画像信号補正装置。
5. 上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、
   上記シェーディング補正部は、
   上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う
   請求項１から４のいずれか一に記載の画像信号補正装置。
6. 上記シェーディング補正部は、
   取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う
   請求項５記載の画像信号補正装置。
7. 被写体像を撮像するカラーの撮像素子と、
   カラーの撮像素子で光電変換された画像信号を受けて補正を行う画像信号補正装置と、を有し、
   上記画像信号補正装置は、
   カラーの撮像素子で光電変換された画像信号に含まれる混色成分を補正する混色補正部と、
   上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を保存する記憶部と、
   上記混色補正部で混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うシェーディング補正部と、を少なくとも有し、
   上記混色補正部は、
   混色補正時に上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得し、当該取得した混色率を用いて混色成分の補正を行う
   撮像装置。
8. 上記混色補正部は、
   複数の代表点を設定し、代表点間を補間して各画素の混色率を決定する
   請求項７記載の撮像装置。
9. 上記混色補正部は、
   取得した混色率と入力画像信号との積和演算を行い、入力画像信号と当該積和演算結果の減算処理を行って混色補正を行う
   請求項７または８記載の撮像装置。
10. 上記記憶部に保存される混色補正係数は、一のカラー画素からの他のカラー画素の混色率としてあらかじめ測定されて保存される
    請求項７から９のいずれか一に記載の撮像装置。
11. 上記撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された画素シェーディング補正係数を保存する第２の記憶部を有し、
    上記シェーディング補正部は、
    上記第２の記憶部に保存された画素シェーディング補正係数を補間により近似して必要な画素位置での補正係数を取得し、当該取得した補正係数を用いてシェーディング補正を行う
    請求項７から１０のいずれか一に記載の撮像装置。
12. 上記シェーディング補正部は、
    取得した補正係数と上記被混色補正画像信号との積算を行ってシェーディング補正を行う
    請求項１１記載の撮像装置。
13. カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出すステップと、
    上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得するステップと、
    上記取得した混色率を用いて混色成分の補正を行うステップと、
    混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行うステップと
    を有する画像信号補正方法。
14. カラーの撮像素子の撮像面に対応させて複数に区分けした各領域ごとにあらかじめ設定された混色補正係数を記憶部から読み出す処理と、
    上記撮像素子で光電変換された画像信号を受けて、上記記憶部から読み出した混色補正係数を補間により近似して必要な画素位置での混色率を取得する処理と、
    上記取得した混色率を用いて混色成分の補正を行う処理と、
    混色補正された画像信号を受けて、当該被混色補正画像信号に対して画素シェーディング補正を行う処理と
    を有する画像信号補正処理をコンピュータに実行させるプログラム。

Images