JP4471890B2 - 電子カメラ - Google Patents

Description

この発明は、電子カメラに関し、特にたとえば、複数の撮像領域で生成された複数の部分画像を互いに結合して１つの画像を作成する、電子カメラに関する。

従来のこの種の電子カメラの一例が、特許文献１に開示されている。この従来技術によれば、イメージセンサは、右チャネルおよび左チャネルを有する。撮像面の右側領域で生成された画像情報は右チャネルから出力され、撮像面の左側領域で生成された画像情報は左チャネルから出力される。出力された画像情報は、チャネル毎に黒レベル補正処理を施され、チャネル間のゲイン差が解消されるようにゲイン補正処理を施される。特に、ゲイン補正値は、右側領域および左側領域の境界を跨ぐ数画素に注目して決定される。これによって、右側領域および左側領域の境界線が再生画像に現れるのを防止することができる。
特開２００２−２５２８０８号公報［H04N 5/335, 5/16, G06T 1/00,H01L 27/148］

しかし、従来技術では、ゲイン補正値の決定にあたって、注目する１フレームにおける輝度や色の変化が考慮されない。このため、右側領域および左側領域の境界の周辺にエッジが現れると、ゲイン補正値が最適値からずれてしまい、境界線の出現を効果的に防止できない可能性がある。

それゆえに、この発明の主たる目的は、画像の境界線の出現をより効果的に防止できる、電子カメラを提供することである。

請求項１の発明に従う電子カメラ(10)は、複数の部分撮像領域が形成された撮像面と複数の部分撮像領域にそれぞれ対応する複数の出力経路とを有する撮像手段(14)、複数の出力経路からそれぞれ出力された複数の部分画像の間のゲイン差を抑制する抑制手段(28r, 28g, 28b)、抑制手段によって抑制されたゲイン差を有する複数の部分画像を互いに結合する結合手段(38)、抑制手段によって抑制処理を施される複数の部分画像の間のゲイン差を第１明るさ範囲について検出する第１検出手段(60, 62, 64, S43, S65, S87)、第１検出手段によって検出されたゲイン差に補間演算処理を施して抑制手段の動作特性を第１明るさ範囲について補正する第１補正手段(S21)、抑制手段によって抑制処理を施される複数の部分画像の各々のゲインを第２明るさ範囲について検出する第２検出手段(S27, S31, S51, S55, S73, S77)、および第２検出手段によって検出されたゲインに補外演算処理を施して抑制手段の動作特性を第２明るさ範囲について補正する第２補正手段(S29, S33, S35, S41, S53, S57, S59, S63, S75, S79, S81, S85)を備える。

撮像手段は、複数の部分撮像領域が形成された撮像面と、複数の部分撮像領域にそれぞれ対応する複数の出力経路とを有する。複数の出力経路からそれぞれ出力された複数の部分画像の間のゲイン差は、抑制手段によって抑制される。抑制されたゲイン差を有する複数の部分画像は、結合手段によって互いに結合される。

第１検出手段は、抑制手段によって抑制処理を施される複数の部分画像の間のゲイン差を、第１明るさ範囲について検出する。第１補正手段は、第１検出手段によって検出されたゲイン差に補間演算処理を施して、抑制手段の動作特性を第１明るさ範囲について補正する。

一方、第２検出手段は、抑制手段によって抑制処理を施される複数の部分画像の各々のゲインを、第２明るさ範囲について検出する。第２補正手段は、第２検出手段によって検出されたゲインに補外演算処理を施して、抑制手段の動作特性を第２明るさ範囲について補正する。

このように、注目する明るさ範囲が第１明るさ範囲であれば複数の部分画像の間のゲイン差が検出され、注目する明るさ範囲が第２明るさ範囲であれば複数の部分画像の各々のゲインが検出される。また、第１明るさ範囲に関する抑制手段の動作特性は検出されたゲイン差に対する補間演算処理によって補正され、第２明るさ範囲に関する抑制手段の動作特性は検出されたゲインに対する補外演算処理によって補正される。

つまり、請求項１の発明では、ゲインの変動態様が第１明るさ範囲と第２明るさ範囲とで異なることを考慮して、検出対象（ゲイン差，ゲイン）および補正方法（補間演算処理，補外演算処理）を第１明るさ範囲と第２明るさ範囲とで異ならせるようにしている。これによって、画像の境界線の出現をより効果的に防止することができる。

請求項２の発明に従う電子カメラは、請求項１に従属し、第２補正手段は、入射光量に対するゲインの変化を示す関係式を複数の部分画像の各々について特定する特定手段(S29, S33, S53, S57, S75, S79)、および特定手段によって特定された複数の関係式の１つによって規定されるゲインと複数の関係式の他の１つによって規定されるゲインとの差分を補外演算処理によって検出するゲイン差検出手段(S35, S59, S81)を含む。

請求項３の発明に従う電子カメラは、請求項２に従属し、特定手段は最小２乗法を用いて関係式を特定する。

請求項４の発明に従う電子カメラは、請求項１ないし３のいずれかに従属し、抑制手段によって抑制処理を施される複数の部分画像が平坦度条件を満足するか否かを判別する判別手段(S23, S47, S69)をさらに備え、第１検出手段および第２検出手段の各々は判別手段の判別結果が肯定的であるとき検出動作を行う。平坦度条件が満足されるときのゲインに注目することで、抑制手段の動作特性を正確に補正することができる。

請求項５の発明に従う電子カメラは、請求項１ないし４のいずれかに従属し、複数の部分画像は複数色の色情報を有し、抑制手段は複数色にそれぞれ対応する複数の動作特性を有する。この結果、複数の部分画像の間のゲイン差は色毎に抑制され、境界線の出現を効果的に防止できる。

請求項６の発明に従う電子カメラは、請求項５に従属し、第１補正手段および第２補正手段の各々は複数の部分画像が有する色毎に補正動作を行う。

請求項７の発明に従う電子カメラは、請求項１ないし６のいずれかに従属し、複数の部分画像をそれぞれ形成する複数の小画像を抽出する抽出手段(46)をさらに備え、第１検出手段および第２検出手段の各々は抽出手段によって抽出される複数の小画像に注目する。

請求項８の発明に従う電子カメラは、請求項７に従属し、第１検出手段は、抽出手段によって抽出された複数の小画像の各々の成分の平均値を算出する平均値算出手段(60, 62, 64)、および平均値算出手段によって求められた複数の平均値の間の差分値をゲイン差として算出する差分値算出手段(S43, S65, S87)を含む。

請求項９の発明に従う電子カメラは、請求項７または８に従属し、抽出手段によって抽出される複数の小画像は複数の部分画像の境界の近傍に存在する。

請求項１０の発明に従う電子カメラは、請求項１ないし９のいずれかに従属し、複数の部分画像の基準レベルを互いに一致させる調整手段(22a, 22b)をさらに備える。

請求項１１の発明に従う電子カメラは、請求項１０に従属し、調整手段は抑制手段の抑制動作に先立ってレベル調整を行う。

請求項１２の発明に従う電子カメラは、請求項１ないし１１のいずれかに従属し、第１明るさ範囲は第２明るさ範囲よりも暗い範囲である。

この発明によれば、検出対象（ゲイン差，ゲイン）および補正方法（補間演算処理，補外演算処理）を第１明るさ範囲と第２明るさ範囲とで異ならせるようにしているため、画像の境界線の出現をより効果的に防止することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ（電子カメラ）１０は、光学レンズ１２を含む。被写界の光学像は、光学レンズ１２を介してＣＣＤイメージャ１４の撮像面に照射される。撮像面は、Ｒ（Red），Ｇ（Green）またはＢ（Blue）のフィルタ要素がベイヤ態様で配列された色フィルタ１４ｆによって覆われる。

このため、Ｒの色情報を有する電荷はＲのフィルタ要素によって覆われた受光素子であるＲ画素で生成され、Ｇの色情報を有する電荷はＧのフィルタ要素によって覆われた受光素子であるＧ画素で生成され、そしてＢの色情報を有する電荷はＢのフィルタ要素によって覆われた受光素子であるＢ画素で生成される。

キー入力装置３２によって撮影操作が行われると、ＴＧ（Timing Generator）１８がＣＰＵ３０によって起動される。ＴＧ１８は、水平同期信号Ｈｓｙｎｃおよび垂直同期信号Ｖｓｙｎｃを含む複数のタイミング信号を発生する。ドライバ１６ａおよび１６ｂの各々は、かかるタイミング信号に応答してＣＣＤイメージャ１４を駆動する。これによって、１フレームに相当する電荷つまり生画像信号が、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＣＣＤイメージャ１４から出力される。

図２を参照して、ＣＣＤイメージャ１４の撮像面は、左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲを有する。左側撮像領域ＩＭＬは、撮像面の中心から垂直方向に伸びる境界線ＢＬの左側に形成され、右側撮像領域ＩＭＲは、同じ境界線ＢＬの右側に形成される。つまり、左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲは、境界線ＢＬで互いに接する。

左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲの各々には、図示しない複数の垂直転送レジスタが割り当てられる。また、左側撮像領域ＩＭＬには水平転送レジスタＨＬが割り当てられ、右側撮像領域ＩＭＲには水平転送レジスタＨＲが割り当てられる。さらに、水平転送レジスタＨＬの出力端にはアンプＡＰＬが設けられ、水平転送レジスタＨＲの出力端にはアンプＡＰＲが設けられる。

したがって、左側撮像領域ＩＭＬ上の複数の受光素子で生成された電荷は、図示しない垂直転送レジスタ，水平転送レジスタＨＬおよびアンプＡＰＬを介して、チャネルＣＨ１から出力される。右側撮像領域ＩＭＲ上の複数の受光素子で生成された電荷も同様に、図示しない垂直転送レジスタ，水平転送レジスタＨＲおよびアンプＡＰＲを介して、チャネルＣＨ２から出力される。

つまり、ドライバ１６ａは、ＴＧ１８からのタイミング信号に基づいて左側撮像領域ＩＭＬにラスタ走査を施し、左側１／２フレームの生画像信号をチャネルＣＨ１から出力する。ドライバ１６ｂも同様に、ＴＧ１８からのタイミング信号に基づいて右側撮像領域ＩＭＲにラスタ走査を施し、右側１／２フレームの生画像信号をチャネルＣＨ２から出力する。

ただし、水平転送レジスタＨＲの転送方向は、水平転送レジスタＨＬの転送方向と逆の方向である。このため、ラスタ走査方向もまた、左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲの間で互いに反転する。

ＣＤＳ／ＡＧＣ／ＡＤ回路２０ａは、チャネルＣＨ１の生画像信号に相関２重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施す。同様に、ＣＤＳ／ＡＧＣ／ＡＤ回路２０ｂは、チャネルＣＨ２の生画像信号に相関２重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施す。なお、ＣＤＳ／ＡＧＣ／ＡＤ回路２０ａおよび２０ｂも、ＴＧ１８から出力されたタイミング信号に同期して、上述の処理を行う。

クランプ回路２２ａは、ＣＤＳ／ＡＧＣ／ＡＤ回路２０ａから出力された生画像データの基準レベルを、レベル調整回路２４によって設定された黒レベルに合わせる。クランプ回路２２ｂも同様に、ＣＤＳ／ＡＧＣ／ＡＤ回路２０ｂから出力された生画像データの基準レベルを、レベル調整回路２４によって設定された黒レベルに合わせる。

クランプ回路２２ａから出力された生画像データは、メモリ制御回路３８によってＳＤＲＡＭ３６に書き込まれる。また、クランプ回路２２ｂから出力された生画像データは、ＬＵＴ（Look Up Table）２８ｒによるＲ成分のゲイン調整，ＬＵＴ２８ｇによるＧ成分のゲイン調整およびＬＵＴ２８ｂによるＢ成分のゲイン調整を経て、メモリ制御回路３８によってＳＤＲＡＭ３６に書き込まれる。

ＳＤＲＡＭ３６は、図３に示すように生画像領域３６ａ，ＹＵＶ画像領域３６ｂおよび圧縮画像領域３６ｃを有する。メモリ制御回路３８は、チャネルＣＨ１の生画像データを生画像領域３６ａの左側に格納し、チャネルＣＨ２の生画像データを生画像領域３６ａの右側に格納する。こうして生画像領域３６ａに格納された生画像データは、撮像された１フレームの被写界像を表す。また、ＬＵＴ２８ｒ，２８ｇおよび２８ｂによるゲイン調整によってチャネルＣＨ１およびＣＨ２の間での生画像データのゲイン差が解消され、境界線の出現が防止される。

なお、クランプ回路２２ａおよび２２ｂの各々から出力される生画像データは１２ビットで表現される。このため、ＬＵＴ２８ｒ，２８ｇおよび２８ｂの各々は、４０９６個の設定値を有する。

後処理回路４０は、このような生画像データをメモリ制御回路３８を通してＳＤＲＡＭ３６から読み出し、読み出された生画像データに色分離，ＹＵＶ変換などの処理を施し、そしてＹＵＶ形式の画像データをメモリ制御回路３８を通してＹＵＶ画像領域３６ｂに書き込む。ＪＰＥＧコーデック４２は、ＹＵＶ画像領域３６ｂに格納された画像データをメモリ制御回路３８を通して読み出し、読み出された画像データにＪＰＥＧ圧縮を施し、そして圧縮画像データをメモリ制御回路３８を通して圧縮画像領域３６ｃに書き込む。このような圧縮動作は、垂直同期信号Ｖｓｙｎｃが発生する毎に実行される。

ＣＰＵ３０は、圧縮画像領域３６ｃに蓄積された圧縮画像データをメモリ制御回路３８を通して読み出し、読み出された圧縮画像データをＩ／Ｆ４４を通して記録媒体４６に記録する。こうして、複数フレームの圧縮画像データを収めた動画像ファイルが記録媒体４６に形成される。

図４を参照して、クランプ回路２２ａに入力されるチャネルＣＨ１の生画像データのＲ成分，Ｇ成分およびＢ成分がそれぞれ入射光量に対して曲線Ｃ１ｒｉｎ，Ｃ１ｇｉｎおよびＣ１ｂｉｎを描く場合、クランプ回路２２ａから出力されるチャネルＣＨ１の生画像データのＲ成分，Ｇ成分およびＢ成分はそれぞれ入射光量に対して曲線Ｃ１ｒｏｕｔ，Ｃ１ｇｏｕｔおよびＣ１ｂｏｕｔを描く。また、クランプ回路２２ｂに入力されるチャネルＣＨ２の生画像データのＲ成分，Ｇ成分およびＢ成分がそれぞれ入射光量に対して曲線Ｃ２ｒｉｎ，Ｃ２ｇｉｎおよびＣ２ｂｉｎを描く場合、クランプ回路２２ｂから出力されるチャネルＣＨ２の生画像データのＲ成分，Ｇ成分およびＢ成分はそれぞれ入射光量に対して曲線Ｃ２ｒｏｕｔ，Ｃ２ｇｏｕｔおよびＣ２ｂｏｕｔを描く。

アンプＡＰＬおよびＡＰＲの増幅特性の相違から、生画像データの黒レベルおよびゲインもまたチャネルＣＨ１およびＣＨ２の間で相違する。このうち黒レベルのずれが、クランプ回路２２ａ，２２ｂおよびレベル調整回路２４によって解消される。

なお、図４によれば、複数のレベル域ＬＶ１〜ＬＶ１０が生画像データのダイナミックレンジに割り当てられる。このうち、レベル域ＬＶ１〜ＬＶ４は低輝度範囲（第１明るさ範囲）を形成し、レベル域ＬＶ５〜ＬＶ１０は高輝度範囲（第２明るさ範囲）を形成する。

チャネルＣＨ１およびＣＨ２の間のゲインのずれは、次の要領で解消される。クランプ回路２２ａから出力された生画像データはブロック演算回路２６ａに与えられ、クランプ回路２２ｂから出力された生画像データはブロック演算回路２６ｂに与えられる。図５を参照して、ブロック演算回路２６ａは、境界線ＢＬに近接するように左側撮像領域ＩＭＬに割り当てられた境界ブロックＢ１Ｌ，Ｂ２Ｌ，…ＢｎＬの各々に属する小画像について、高周波成分の色毎の積算値と画像レベルの色毎の平均値を求める。ブロック演算回路２６ｂは、境界線ＢＬに近接するように右側撮像領域ＩＭＲに割り当てられた境界ブロックＢ１Ｒ，Ｂ２Ｒ，…ＢｎＲの各々に属する小画像について、高周波成分の色毎の積分値と画像レベルの色毎の平均値を求める。

ブロック演算回路２６ａおよび２６ｂの各々は、詳しくは、図６に示すように構成される。クランプ回路２２ａまたは２２ｂから出力された生画像データは、ブロック抽出回路４６に与えられる。ブロック抽出回路４６は、境界ブロックＢ１Ｌ〜ＢｎＬの各々あるいは境界ブロックＢ１Ｒ〜ＢｎＲの各々に属する生画像データを抽出する。

Ｒ差分値算出回路４８は、抽出された生画像データのうち隣り合うＲ画素の差分値であるＲ差分値を算出する。Ｇ差分値算出回路５０は、抽出された生画像データのうち隣り合うＧ画素の差分値であるＧ差分値を算出する。抽出された生画像データのうち隣り合うＢ画素の差分値であるＢ差分値を算出する。

積算回路５４は算出されたＲ差分値の絶対値を境界ブロック毎に積算し、積算回路５６は算出されたＧ差分値の絶対値を境界ブロック毎に積算し、そして積算回路５８は算出されたＢ差分値の絶対値を境界ブロック毎に積算する。これによって、同じ境界ブロックに対応する積算値Ｒｈ，ＧｈおよびＢｈが、積算回路５４，５６および５８からそれぞれ出力される。

Ｒ平均値算出回路６０は、ブロック抽出回路４６からの生画像データのうちＲ画素のレベルを境界ブロック毎に平均し、Ｇ平均値算出回路６２は、ブロック抽出回路４６からの生画像データのうちＧ画素のレベルを境界ブロック毎に平均し、そしてＢ平均値算出回路６４は、ブロック抽出回路４６からの生画像データのうちＢ画素のレベルを境界ブロック毎に平均する。これによって、同じ境界ブロックに対応する平均値Ｒａｖ，ＧａｖおよびＢａｖが、Ｒ平均値算出回路６０，Ｇ平均値算出回路６２およびＢ平均値算出回路６４からそれぞれ出力される。

図１に戻って、ブロック演算回路２６ａおよび２６ｂの各々は、こうして算出された積算値Ｒｈ，Ｇｈ，Ｂｈおよび平均値Ｒａｖ，Ｇａｖ，ＢａｖをＣＰＵ３０に与える。ＣＰＵ３０はまず、互いに隣接する２つの境界ブロックＢＫＬおよびＢＫＲ（Ｋ：１〜ｎ）の小画像が平坦であるか否かを判別する。

注目する２つの境界ブロックの各々で求められた積算値Ｒｈが閾値ＴＨ未満であれば、これらの境界ブロックに属する小画像のＲ成分は平坦であると判別される。注目する２つの境界ブロックの各々で求められた積算値Ｇｈが閾値ＴＨ未満であれば、これらの境界ブロックに属する小画像のＧ成分は平坦であると判別される。注目する２つの境界ブロックの各々で求められた積算値Ｂｈが閾値ＴＨ未満であれば、これらの境界ブロックに属する小画像のＢ成分は平坦であると判別される。

ＣＰＵ３０は、Ｒ成分が平坦であると判別された２つの境界ブロックのうち境界ブロックＢＫＲで求められた積分値Ｒｈを閾値ＴＨｒと比較し、Ｇ成分が平坦であると判別された２つの境界ブロックのうち境界ブロックＢＫＲで求められた積分値Ｇｈを閾値ＴＨｇと比較し、そしてＢ成分が平坦であると判別された２つの境界ブロックのうち境界ブロックＢＫＲで求められた積分値Ｂｈを閾値ＴＨｂと比較する。なお、閾値ＴＨｒ，ＴＨｇおよびＴＨｂは、図４に示す低輝度範囲の最大値を示す。

積分値Ｒｈが閾値ＴＨｒを下回るときはＲ成分によって再現される画像は暗いと判別され、積分値Ｒｈが閾値ＴＨｒ以上のときはＲ成分によって再現される画像は明るいと判別される。同様に、積分値Ｇｈが閾値ＴＨｇを下回るときはＧ成分によって再現される画像は暗いと判別され、積分値Ｇｈが閾値ＴＨｇ以上のときはＧ成分によって再現される画像は明るいと判別される。さらに、積分値Ｂｈが閾値ＴＨｂを下回るときはＢ成分によって再現される画像は暗いと判別され、積分値Ｂｈが閾値ＴＨｂ以上のときはＢ成分によって再現される画像は明るいと判別される。

Ｒ成分に基づく画像が暗いと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｒａｖに基づいて差分値ΔＲａｖを算出する。また、Ｇ成分に基づく画像が暗いと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｇａｖに基づいて差分値ΔＧａｖを算出する。さらに、Ｂ成分に基づく画像が暗いと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｂａｖに基づいて差分値ΔＢａｖを算出する。

差分値ΔＲａｖは、境界ブロックＢＫＬの平均値Ｒａｖから境界ブロックＢＫＲの平均値Ｒａｖを引き算することによって求められ、差分値ΔＧａｖは、境界ブロックＢＫＬの平均値Ｇａｖから境界ブロックＢＫＲの平均値Ｇａｖを引き算することによって求められ、差分値ΔＢａｖは、境界ブロックＢＫＬの平均値Ｂａｖから境界ブロックＢＫＲの平均値Ｂａｖを引き算することによって求められる。

こうして求められた差分値ΔＲａｖ，ΔＧａｖ，ΔＢａｖおよび境界ブックＢＫＲで求められた平均値Ｒａｖ，Ｇａｖ，Ｂａｖは、図７に示す低輝度用レジスタ３４ａに書き込まれる。図７によれば、レベル域ＬＶ１〜ＬＶ４の各々に５つの欄が割り当てられる。平均値Ｒａｖ，Ｇａｖ，Ｂａｖの各々は、自分が属するレベル域の欄に、数値が小さい方から順に書き込まれる。差分値ΔＲａｖ，ΔＧａｖ，ΔＢａｖはそれぞれ、関連する平均値Ｒａｖ，Ｇａｖ，Ｂａｖに割り当てられる。

たとえば、境界ブロックＢＫＲの平均値Ｒａｖ，ＧａｖおよびＢａｖがそれぞれレベル域ＬＶ３，ＬＶ４およびＬＶ１に属する場合、平均値Ｒａｖおよびこれに関連する差分値ΔＲａｖは低輝度用レジスタ３４ａのレベル域ＬＶ３の欄に書き込まれ、平均値Ｇａｖおよびこれに関連する差分値ΔＧａｖは低輝度用レジスタ３４ａのレベル域ＬＶ４の欄に書き込まれ、そして平均値Ｂａｖおよびこれに関連する差分値ΔＢａｖは低輝度用レジスタ３４ａのレベル域ＬＶ１の欄に書き込まれる。

低輝度用レジスタ３４ａの全ての欄が数値によって埋められると、低輝度用レジスタ３４ａが完成する。ＣＰＵ３０は、低輝度レジスタ３４ａに書き込まれた２０個の差分値ΔＲａｖに補間演算を施して低輝度用Ｒ補正データを作成し、低輝度レジスタ３４ａに書き込まれた２０個の差分値ΔＧａｖに補間演算を施して低輝度用Ｇ補正データを作成し、そして低輝度レジスタ３４ａに書き込まれた２０個の差分値ΔＢａｖに補間演算を施して低輝度用Ｂ補正データを作成する。

クランプ回路２２ａから出力されたチャネルＣＨ１の生画像データのＲ成分，Ｇ成分およびＢ成分が図４に示す曲線Ｃ１ｒｏｕｔ，Ｃ１ｇｏｕｔおよびＣ１ｂｏｕｔを描き、クランプ回路２２ｂから出力されたチャネルＣＨ２の生画像データが図４に示す曲線Ｃ２ｒｏｕｔ，Ｃ２ｇｏｕｔおよびＣ２ｂｏｕｔを描く場合、低輝度用Ｒ補正データ，低輝度用Ｇ補正データおよび低輝度用Ｂ補正データはそれぞれ図８に示す曲線Ｃｒ，ＣｇおよびＣｂを描く。

曲線Ｃｒ，ＣｂおよびＣｇの各々は、チャネルＣＨ１の生画像データからチャネルＣＨ２の生画像データを減算して得られた差分画像データがチャネルＣＨ２の生画像データに対してどのように変化するかを示す特性曲線に等しい。

ＣＰＵ３０は、低輝度用Ｒ補正データの値をＬＵＴ２８ｒの低輝度デフォルト設定値に加算し、低輝度用Ｇ補正データの値をＬＵＴ２８ｇの低輝度デフォルト設定値に加算し、そして低輝度用Ｂ補正データの値をＬＵＴ２８ｂの低輝度デフォルト設定値に加算する。

Ｒ成分に基づく画像が明るいと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｒａｖを高輝度用レジスタ３４ｂに書き込む。同様に、Ｇ成分に基づく画像が明るいと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｇａｖを高輝度用レジスタ３４ｂに書き込む。さらに、Ｂ成分に基づく画像が明るいと判別されたとき、ＣＰＵ３０は、注目する２つの境界ブロックからそれぞれ求められた２つの平均値Ｂａｖを高輝度用レジスタ３４ｂに書き込む。

左側撮像領域ＩＭＬに属する境界ブロックの平均値Ｒａｖ，ＧａｖまたはＢａｖは図９に示す高輝度用レジスタ３４ｂの左側領域の欄に書き込まれ、右側撮像領域ＩＭＲに属する境界ブロックの平均値Ｒａｖ，ＧａｖまたはＢａｖは高輝度用レジスタ３４ｂの右側領域の欄に書き込まれる。なお、高輝度用レジスタ３４ｂはリングバッファの機能を有し、平均値Ｒａｖ，ＧａｖおよびＢａｖの書き込み先は循環的に更新される。

ＣＰＵ３０は続いて、高輝度用レジスタ３４ｂの左側領域の欄に設定された平均値Ｒａｖ，ＧａｖおよびＢａｖの各々に最小２乗法に従う演算を施して、チャネルＣＨ１の生画像データにおけるＲゲイン特性，Ｇゲイン特性およびＢゲイン特性をそれぞれ示す３つの１次関数Ｆ１ｒ，Ｆ１ｇおよびＦ１ｂを特定する。

ＣＰＵ３０はまた、高輝度用レジスタ３４ｂの右側領域の欄に設定された平均値Ｒａｖ，ＧａｖおよびＢａｖの各々に最小２乗法に従う演算を施して、チャネルＣＨ２の生画像データにおけるＲゲイン特性，Ｇゲイン特性およびＢゲイン特性をそれぞれ示す３つの１次関数Ｆ２ｒ，Ｆ２ｇおよびＦ２ｂを特定する。

たとえば、Ｒ画素レベル，Ｇ画素レベルまたはＢ画素レベルの各々が左側撮像領域ＩＭＬの水平方向において図１０（Ａ）に示すように変化した場合、１次関数Ｆ１ｒ，Ｆ１ｇまたはＦ１ｂは同じ図１０（Ａ）に示す直線を描く。また、Ｒ画素レベル，Ｇ画素レベルまたはＢ画素レベルの各々が右側撮像領域ＩＭＲの水平方向において図１０（Ｂ）に示すように変化した場合、１次関数Ｆ２ｒ，Ｆ２ｇまたはＦ２ｂは同じ図１０（Ｂ）に示す直線を描く。

ＣＰＵ３０は、右側撮像領域ＩＭＲで生成された電荷にチャネルＣＨ１における一連の処理を施したときに得られるであろう生画像データの高輝度範囲に属する複数のＲゲイン，複数のＧゲインおよび複数のＢゲインを、１次関数Ｆ１ｒ，Ｆ１ｇおよびＦ１ｂに従う補外演算によって推定する。ＣＰＵ３０はまた、チャネルＣＨ１の生画像データの高輝度範囲に属する複数のＲゲイン，複数のＧゲインおよび複数のＢゲインを、１次関数Ｆ２ｒ，Ｆ２ｇまたはＦ２ｂに従う補外演算によって推定する。こうして推定されたゲインを有するＲ画素，Ｇ画素およびＢ画素は、右側撮像領域ＩＭＲの水平方向において図１０（Ｃ）に示すように分布する。

ＣＰＵ３０はその後、１次関数Ｆ１ｒに基づく複数のＲゲインから１次関数Ｆ２ｒに基づく複数のＲゲインをそれぞれ引き算して、複数のＲゲイン差によって表される高輝度用Ｒ補正データを作成する。ＣＰＵ３０はまた、１次関数Ｆ１ｇに基づく複数のＧゲインから１次関数Ｆ２ｇに基づく複数のＧゲインを引き算して、複数のＧゲイン差によって表される高輝度用Ｇ補正データを作成する。ＣＰＵ３０はさらに、１次関数Ｆ１ｂに基づく複数のＢゲインから１次関数Ｆ２ｂに基づく複数のＢゲインを引き算して、複数のＢゲイン差によって形成される高輝度用Ｂ補正データを作成する。作成された高輝度用Ｒ補正データ，高輝度用Ｇ補正データおよび高輝度用Ｂ補正データは、図４に示す高輝度範囲にわたる。

ＣＰＵ３０は、高輝度用Ｒ補正データの値をＬＵＴ２８ｒの高輝度デフォルト設定値に加算し、高輝度用Ｇ補正データの値をＬＵＴ２８ｇの高輝度デフォルト設定値に加算し、そして高輝度用Ｂ補正データの値をＬＵＴ２８ｂの高輝度デフォルト設定値に加算する。

ＬＵＴ２８ｒのデフォルト設定値，ＬＵＴ２８ｇのデフォルト設定値およびＬＵＴ２８ｂのデフォルト設定値がそれぞれクランプ回路２２ｂの出力に対して図１１に示す曲線ＴＳｒ，ＴＳｇおよびＴＳｂを描く場合、上述の低輝度用Ｒ補正データ，低輝度用Ｇ補正データ，低輝度用Ｂ補正データ，高輝度用Ｒ補正データ，高輝度用Ｇ補正データおよび高輝度用Ｂ補正データが加算されると、ＬＵＴ２８ｒの設定値，ＬＵＴ２８ｇの設定値およびＬＵＴ２８ｂの設定値はそれぞれ、図１１に示す曲線ＴＭｒ，ＴＭｇおよびＴＭｂを描く。この結果、生画像データのゲインは、チャネルＣＨ１およびＣＨ２の間でほぼ一致することとなる。

ＬＵＴ２８ｒ，２８ｇおよび２８ｂの設定値を調整するとき、ＣＰＵ３０は、図１２〜図１８に示すフロー図に従う処理を実行する。なお、このフロー図に対応する制御プログラムは、フラッシュメモリ４８に記憶される。

まずステップＳ１およびＳ３で高輝度用レジスタ３４ｂおよび低輝度用レジスタ３４ａをクリアし、ステップＳ５で変数Ｋを“０”に設定する。ステップＳ７では垂直同期信号Ｖｓｙｎｃが発生したか否かを判断し、ＹＥＳであればステップＳ９で変数Ｋをインクリメントする。ステップＳ１１では、変数Ｋが所定値ｎを上回ったかどうかを判別する。ここでＮＯであればステップＳ１１に進み、ＹＥＳであればステップＳ１７に進む。

ステップＳ１３では境界ブロックＢＫＬの積算値Ｒｈ，Ｇｈ，Ｂｈおよび平均値Ｒａｖ，Ｇａｖ，Ｂａｖをブロック演算回路２６ａから取り込み、ステップＳ１５では境界ブロックＢＫＲの積算値Ｒｈ，Ｇｈ，Ｂｈおよび平均値Ｒａｖ，Ｇａｖ，Ｂａｖをブロック演算回路２６ｂから取り込む。

ステップＳ２３では、取り込まれた２つの積算値Ｒｈが平坦度条件を満足するか否かを判別する。具体的には、取り込まれた２つの積分値Ｒｈのいずれもが閾値ＴＨ未満であるか否かを判別する。この平坦度条件が満たされなければ、境界ブロックＢＫＬに属するＲ成分によって再現される小画像および境界ブロックＢＫＲに属するＲ成分によって再現される小画像の少なくとも一方が平坦画像ではないとみなし、ステップＳ４７に進む。一方、この条件が満たされると、境界ブロックＢＫＬおよびＢＫＲの各々に属するＲ成分によって再現される小画像はいずれも平坦画像であるとみなし、ステップＳ２５に進む。

ステップＳ２５では、境界ブロックＢＫＲの平均値Ｒａｖが閾値ＴＨｒを上回るか否かを判別する。ここでＮＯであればステップＳ４３に進み、境界ブロックＢＫＬの平均値Ｒａｖから境界ブロックＢＫＲの平均値Ｒａｖを引き算する。これによって、差分値ΔＲａｖが求められる。ステップＳ４５では、算出された差分値ΔＲａｖと境界ブロックＢＫＲの平均値Ｒａｖとを図７に示す低輝度用レジスタ３４ａに書き込む。書き込みが完了すると、ステップＳ４７に進む。

ステップＳ２５でＹＥＳであればステップＳ２７に進み、境界ブロックＢＫＬの平均値Ｒａｖを図９に示す高輝度用レジスタ３４ｂの左側領域の欄に書き込む。ステップＳ２９では、高輝度用レジスタ３４ｂの左側領域の欄に書き込まれた複数の平均値Ｒａｖに最小２乗法に従う演算を施して、チャネルＣＨ１の生画像データのＲゲイン特性を示す１次関数Ｆ１ｒを特定する。

ステップＳ３１では、境界ブロックＢＫＲの平均値Ｒａｖを図９に示す高輝度用レジスタ３４ｂの右側領域の欄に書き込む。ステップＳ３３では、高輝度用レジスタ３４ｂの右側領域の欄に書き込まれた複数の平均値Ｒａｖに最小２乗法に従う演算を施して、チャネルＣＨ２の生画像データのＲゲイン特性を示す１次関数Ｆ２ｒを特定する。

ステップＳ３５では、こうして求められた２つの１次関数Ｆ１ｒおよびＦ２ｒに基づく補外演算処理を実行して、高輝度用Ｒ補正データを作成する。ステップＳ３９では、作成された高輝度用Ｒ補正データが前回作成された高輝度用Ｒ補正データから大きく変動しているか否かを判別する。変動量が大きいときはステップＳ４１に進み、作成された高輝度用Ｒ補正データをＬＵＴ２８ｒの高輝度デフォルト設定値に加算する。ステップＳ４１の処理が完了すると、ステップＳ４７に進む。ステップＳ３９でＮＯと判断されたときは、そのままステップＳ４７に進む。

なお、１回目のステップＳ２９の処理では１次関数Ｆ１ｒを特定することは不可能であり、１回目のステップＳ３３の処理では１次関数Ｆ２ｒを特定することは不可能である。このため、この実施例では、１回目のステップＳ３９で強制的にＮＯと判断する。

ステップＳ４７〜Ｓ６７の処理は、Ｒ成分に代えてＧ成分に注目する点を除き、上述のステップＳ２３〜４５と同じである。図１４に示すステップＳ６９〜Ｓ８９の処理も、Ｒ成分に代えてＢ成分に注目する点を除き、上述のステップＳ２３〜４５と同じである。したがって、重複した説明は省略する。

なお、ステップＳ５３ではチャネルＣＨ１の生画像データのＲゲイン特性を示す１次関数Ｆ１ｇが特定され、ステップＳ５７ではチャネルＣＨ２の生画像データのＲゲイン特性を示す１次関数Ｆ２ｇが特定される。ステップＳ４７またはＳ６１でＮＯと判断されるか、あるいはステップＳ６３またはＳ６７の処理が完了すると、ステップＳ６９に進む。

また、ステップＳ７５ではチャネルＣＨ１の生画像データのＲゲイン特性を示す１次関数Ｆ１ｂが特定され、ステップＳ７９ではチャネルＣＨ２の生画像データのＲゲイン特性を示す１次関数Ｆ２ｂが特定される。ステップＳ６９またはＳ８３でＮＯと判断されるか、あるいはステップＳ８５またはＳ８９の処理が完了すると、ステップＳ９に戻る。

図１０に戻って、ステップＳ１１でＹＥＳであれば、低輝度用レジスタ３４ａが完成したか否かをステップＳ１７で判別する。低輝度用レジスタ３４ａは、全ての欄に数値が書き込まれたときに完成する。ここでＮＯと判断されるとステップＳ７に戻り、ＹＥＳと判断されるとステップＳ１９に進む。

ステップＳ１９では、低輝度用レジスタ３４ａに設定された差分値ΔＲａｖの補間演算によって低輝度用Ｒ補正データを作成し、低輝度用レジスタ３４ａに設定された差分値ΔＧａｖの補間演算によって低輝度用Ｇ補正データを作成し、そして低輝度用レジスタ３４ａに設定された差分値ΔＢａｖの補間演算によって低輝度用Ｂ補正データを作成する。

ステップＳ２１では、作成された低輝度用Ｒ補正データをＬＵＴ２８ｒの低輝度デフォルト設定値に加算し、作成された低輝度用Ｇ補正データをＬＵＴ２８ｇの低輝度デフォルト設定値に加算し、そして作成された低輝度用Ｂ補正データをＬＵＴ２８ｂの低輝度デフォルト設定値に加算する。ステップＳ２１の処理が完了すると、ステップＳ１に戻る。

ステップＳ３５の補外演算処理は、図１６に示すサブルーチンに従って実行される。ステップＳ３５１では、右側撮像領域ＩＭＲで生成された電荷にチャネルＣＨ１における一連の処理を施したときに得られるであろう生画像データの高輝度範囲に属する複数のＲゲインを、１次関数Ｆ１ｒに従う補外演算によって推定する。ステップＳ３５３では、チャネルＣＨ１の生画像データの高輝度範囲に属する複数のＲゲインを、１次関数Ｆ２ｒに従う補外演算によって推定する。ステップＳ３５５では、ステップＳ３５１で求められた複数のＲゲインからステップＳ３５３で求められた複数のＲゲインをそれぞれ引き算し、高輝度用Ｒ補正データを算出する。ステップＳ３５５の処理が完了すると、上階層のルーチンに復帰する。

図１４に示すステップＳ５９の補外演算処理は図１７に示すサブルーチンに従って実行され、図１５に示すステップＳ８１の補外演算処理は図１８に示すサブルーチンに従って実行される。ただし、図１７に示すステップＳ５９１〜Ｓ５９５の処理は、Ｒ成分に代えてＧ成分に注目する点を除き図１６に示すステップＳ３５１〜Ｓ３５５の処理と同じである。また、図１８に示すステップＳ８１１〜Ｓ８１５の処理は、Ｒ成分に代えてＢ成分に注目する点を除き図１６に示すステップＳ３５１〜Ｓ３５５の処理と同じである。したがって、重複した説明は省略する。

以上の説明から分かるように、ＣＣＤイメージャ１４は、左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲが形成された撮像面と、左側撮像領域ＩＭＬおよび右側撮像領域ＩＭＲにそれぞれ対応するチャネルＣＨ１およびＣＨ２とを有する。チャネルＣＨ１およびＣＨ２からそれぞれ出力された２つの部分画像の間のゲイン差は、ＬＵＴ２８ｒ，２８ｇおよび２８ｂによって抑制される。抑制されたゲイン差を有する２つの部分画像は、メモリ制御回路３８によって互いに結合される。

ＣＰＵ３０は、抑制処理を施される２つの部分画像の間のゲイン差を低輝度範囲について検出し(S43, S65, S87)、検出されたゲイン差に補間演算処理を施してＬＵＴ２８ｒ，２８ｇおよび２８ｂの低輝度設定値を補正する(S21)。

ＣＰＵ３０はまた、抑制処理を施される２つの部分画像の各々のゲインを高輝度範囲について検出し(S27, S31, S51, S55, S73, S77)、検出されたゲインに補外演算処理を施してＬＵＴ２８ｒ，２８ｇおよび２８ｂの高輝度設定値を補正する(S29, S33, S35, S41, S53, S57, S59, S63, S75, S79, S81, S85)。

このように、注目する輝度範囲が低輝度範囲であれば２つの部分画像の間のゲイン差が検出され、注目する輝度範囲が高輝度範囲であれば２つの部分画像の各々のゲインが検出される。また、低輝度範囲に関するＬＵＴ２８ｒ，２８ｇおよび２８ｂの動作特性は、検出されたゲイン差に対する補間演算処理によって補正され、高輝度範囲に関するＬＵＴ２８ｒ，２８ｇおよび２８ｂの動作特性は、検出されたゲインに対する補外演算処理によって補正される。

つまり、この実施例では、ゲインの変動態様が低輝度範囲と高輝度範囲とで異なることを考慮して、検出対象（ゲイン差，ゲイン）および補正方法（補間演算処理，補外演算処理）を低輝度範囲と高輝度範囲とで異ならせるようにしている。これによって、画像の境界線の出現をより効果的に防止することができる。

なお、この実施例では、ＬＵＴ２８ｒ，２８ｇおよび２８ｂによるゲイン調整処理に先立ってクランプ処理を行うようにしているが、クランプ処理をゲイン調整処理の後に実行するようにしてもよい。また、この実施例では、撮像面に形成される部分撮像領域の数は２つであるが、部分撮像領域の数は３以上であってもよい。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるイメージセンサの構成の一例を示す図解図である。 図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図１実施例に適用されるクランプ回路の動作の一部を示すグラフである。 図１実施例の動作の一部を示す図解図である。 図１実施例に適用されるブロック演算回路の構成の一例を示すブロック図である。 図１実施例に適用される低輝度用レジスタの構成の一例を示す図解図である。 図１実施例の動作の他の一部を示すグラフである。 図１実施例に適用される高輝度用レジスタの構成の一例を示す図解図である。 （Ａ）は左側撮像領域に対応する高輝度画像に最小２乗法に従う演算を施すときの動作の一部を示す図解図であり、（Ｂ）は右側撮像領域に対応する高輝度画像に最小２乗法に従う演算を施すときの動作の一部を示す図解図であり、（Ｃ）は右側撮像領域について補外演算を行うときの動作の一部を示す図解図である。 図１実施例の動作のその他の一部を示すグラフである。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１４ …イメージセンサ
２２ａ，２２ｂ …クランプ回路
２６ａ，２６ｂ …ブロック演算回路
２８ｒ，２８ｇ，２８ｂ …ＬＵＴ
３０ …ＣＰＵ
３４ａ …低輝度用レジスタ
３４ｂ …高輝度用レジスタ

Claims (12)

1. 複数の部分撮像領域が形成された撮像面と前記複数の部分撮像領域にそれぞれ対応する複数の出力経路とを有する撮像手段、
   前記複数の出力経路からそれぞれ出力された複数の部分画像の間のゲイン差を抑制する抑制手段、
   前記抑制手段によって抑制されたゲイン差を有する複数の部分画像を互いに結合する結合手段、
   前記抑制手段によって抑制処理を施される複数の部分画像の間のゲイン差を第１明るさ範囲について検出する第１検出手段、
   前記第１検出手段によって検出されたゲイン差に補間演算処理を施して前記抑制手段の動作特性を前記第１明るさ範囲について補正する第１補正手段、
   前記抑制手段によって抑制処理を施される複数の部分画像の各々のゲインを第２明るさ範囲について検出する第２検出手段、および
   前記第２検出手段によって検出されたゲインに補外演算処理を施して前記抑制手段の動作特性を前記第２明るさ範囲について補正する第２補正手段を備える、電子カメラ。
2. 前記第２補正手段は、入射光量に対するゲインの変化を示す関係式を前記複数の部分画像の各々について特定する特定手段、および前記特定手段によって特定された複数の関係式の１つによって規定されるゲインと前記複数の関係式の他の１つによって規定されるゲインとの差分を前記補外演算処理によって検出するゲイン差検出手段を含む、請求項１記載の電子カメラ。
3. 前記特定手段は最小２乗法を用いて前記関係式を特定する、請求項２記載の電子カメラ。
4. 前記抑制手段によって抑制処理を施される複数の部分画像が平坦度条件を満足するか否かを判別する判別手段をさらに備え、
   前記第１検出手段および前記第２検出手段の各々は前記判別手段の判別結果が肯定的であるとき検出動作を行う、請求項１ないし３のいずれかに記載の電子カメラ。
5. 前記複数の部分画像は複数色の色情報を有し、
   前記抑制手段は前記複数色にそれぞれ対応する複数の動作特性を有する、請求項１ないし４のいずれかに記載の電子カメラ。
6. 前記第１補正手段および前記第２補正手段の各々は前記複数の部分画像が有する色毎に補正動作を行う、請求項５記載の電子カメラ。
7. 前記複数の部分画像をそれぞれ形成する複数の小画像を抽出する抽出手段をさらに備え、
   前記第１検出手段および前記第２検出手段の各々は前記抽出手段によって抽出される複数の小画像に注目する、請求項１ないし６のいずれかに記載の電子カメラ。
8. 前記第１検出手段は、前記抽出手段によって抽出された複数の小画像の各々の成分の平均値を算出する平均値算出手段、および前記平均値算出手段によって求められた複数の平均値の間の差分値を前記ゲイン差として算出する差分値算出手段を含む、請求項７記載の電子カメラ。
9. 前記抽出手段によって抽出される複数の小画像は前記複数の部分画像の境界の近傍に存在する、請求項７または８記載の電子カメラ。
10. 前記複数の部分画像の基準レベルを互いに一致させる調整手段をさらに備える、請求項１ないし９のいずれかに記載の電子カメラ。
11. 前記調整手段は前記抑制手段の抑制動作に先立ってレベル調整を行う、請求項１０記載の電子カメラ。
12. 前記第１明るさ範囲は前記第２明るさ範囲よりも暗い範囲である、請求項１ないし１１のいずれかに記載の電子カメラ。

Images