JP4998092B2

JP4998092B2 - 固体撮像回路およびカメラシステム

Info

Publication number: JP4998092B2
Application number: JP2007145060A
Authority: JP
Inventors: 博大工
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2007-05-31
Filing date: 2007-05-31
Publication date: 2012-08-15
Anticipated expiration: 2027-05-31
Also published as: KR20080106006A; KR101136217B1; JP2008301181A; US20080297631A1

Description

本発明は、固体撮像回路およびカメラシステムに関し、特に、固体撮像回路のシェーディング補正機能に関する。

近時、固体撮像回路は、ディジタルスチルカメラや携帯型端末機などの様々な電子機器に内蔵されている。例えば、携帯型端末機に関しては、カメラシステムの小型化が必須であるため、カメラシステムに搭載される固体撮像回路の小型化が進んでおり、固体撮像回路内のピクセルアレイの許容面積が小さくなってきている。ピクセルアレイを構成するピクセル回路内のフォトダイオード（感光領域）の面積を小さくすることで、ピクセルアレイの小面積化が実現されるが、ピクセル回路の感度低下が生じる。また、カメラシステムの小型化を実現するために、固体撮像回路の小型化のみならず撮影レンズの小型化も実施されている。撮影レンズが小型化されると、撮影レンズから固体撮像回路におけるピクセルアレイの周辺部への入射光の角度が大きくなり、シェーディングが生じる。このような問題点を解決するための従来技術としては、固体撮像回路の画像処理部において撮影レンズに起因するシェーディングに合わせてゲイン補正を実施するシェーディング補正回路を設ける手法が知られている。また、シェーディング補正機能に関連する技術は、例えば、特許文献１〜３に開示されている。
特開２００５−３４１０３３号公報特開平１１−２７５２６号公報特開２００６−２５３９７０号公報

携帯型端末機などのカメラシステムに利用される固体撮像回路については、カメラシステムの小型化に対応すべくピクセルアレイの面積を小さくする必要がある。しかしながら、カメラシステムの小型化が進むのに伴って、ピクセルアレイを構成するピクセル回路にてフォトダイオードの領域を確保するためには、隣接して配置されるピクセル回路に対して異なる構成を適用することが必要になってきている。このような構成のピクセルアレイにおいては、入射光量が隣接行で上下変動するため、撮像レンズに起因するシェーディングとは別に、ピクセルアレイに起因するシェーディングが生じ、入射光量の減衰率が最小になる位置（入射光量が最大になる位置）が撮像レンズの光軸に対応する位置とは異なる位置に存在することになる。従来技術におけるシェーディング補正では、ピクセルアレイにおいて入射光量の減衰率が最小になる位置が撮像レンズの光軸に対応する位置に存在することを前提にしており、前述のようなピクセルアレイに起因するシェーディングを適切に補正することはできない。

本発明は、このような問題点に鑑みてなされたものであり、ピクセルアレイに起因するシェーディングを適切に補正することを目的とする。

本発明の一形態では、カメラシステムに搭載される固体撮像回路は、ピクセルアレイを有する撮像部と、画像処理部とを備えて構成される。ピクセルアレイは、撮影光学系により結像された光像を光電変換する複数のピクセル回路を配列して構成される。また、ピクセルアレイは、所定数のピクセル回路毎に共通のデータ出力経路を設けて構成される。画像処理部は、撮像部により取得された２次元画像に対して、撮影光学系の光軸に対応する位置とは異なる位置に極値位置を有する複数の第１補正係数を用いた第１シェーディング補正を実施する。複数の第１補正係数の極値位置は、ピクセルアレイにおいてピクセルピッチとフォトダイオードピッチとが異なることによるフォトダイオードへの入射光量の減衰率が最小になる位置に応じて設定される。複数の第１補正係数は、２次元画像の行毎または列毎に極値位置を設定可能である。複数の第１補正係数は、２次元画像の色成分毎に極値位置を設定可能である。複数の第１補正係数は、極値位置に関して非対称に設定可能である。また、画像処理部は、２次元画像に対して、第１シェーディング補正を実施するのに加えて、撮影光学系の光軸に対応する位置に極値位置を有する複数の第２補正係数を用いた第２シェーディング補正を実施する。複数の第２補正係数は、極値位置に関して対称である。第１シェーディング補正は、ピクセルアレイに起因するシェーディングに関するシェーディング補正である。第２シェーディング補正は、撮影光学系に起因するシェーディングに関するシェーディング補正である。以上のような構成により、ピクセルアレイに起因するシェーディングおよび撮影光学系に起因するシェーディングの双方を適切に補正することができる。従って、固体撮像回路の性能向上および回路規模低減に大きく寄与できる。

本発明によれば、ピクセルアレイに起因するシェーディングを適切に補正できる。

以下、本発明の実施形態について図面を用いて説明する。

図１は、本発明の一実施形態を示している。本発明の一実施形態において、イメージセンサ１０は、例えば、携帯電話機のカメラシステムに適用されている。イメージセンサ１０は、センサ部２０およびＩＳＰ（Image Signal Processing）部３０を備えて構成されている。センサ部２０は、ピクセルアレイ２１およびデータ読出回路２２を備えて構成されている。ピクセルアレイ２１は、カメラシステムの撮影レンズにより結像された光像を光電変換する複数のピクセル回路を２次元的に配列して構成されている。なお、ピクセルアレイ２１は、周知のベイヤー配列を適用して構成されている。また、ピクセルアレイ２１は、イメージセンサ１０の小型化を目的として、例えば、１×４シェアード構成（４個のピクセル回路毎に共通のデータ読出経路を設けた構成）を採用している。データ読出回路２２は、ピクセルアレイ２１から読み出したデータに対して、ＣＤＳ（Correlated Double Sampling）処理やＡＤＣ（Analog-to-Digital Conversion）処理などを実施する。

ＩＳＰ部３０は、ベイヤーデータ補正回路３１、補間処理回路３２、画質調整回路３３、明るさ調整回路３４、出力フォーマット変換回路３５、ＰＬＬ（Phase Locked Loop）３６、タイミングジェネレータ３７およびＩ^２Ｃ（Inter Integrated Circuit）３８を備えて構成されている。ベイヤーデータ補正回路３１は、センサ部２０におけるデータ読出回路２２の出力データ（ベイヤーデータ）に対して、欠陥補正処理、感度補正処理、シェーディング補正処理やノイズフィルタ処理などを実施する。補間処理回路３２は、ベイヤーデータ補正回路３１の出力データ（ＲＡＷデータ）に対して、ＲＧＢ補間処理などを実施する。画質調整回路３３は、補間処理回路３２の出力データに対して、色調整処理、ＡＷＢ（Auto White Balance）処理、輪郭強調処理、ノイズフィルタ処理やガンマ補正処理などを実施する。明るさ調整回路３４は、センサ部２０におけるデータ読出回路２２に対する制御処理として、画質調整回路３３の出力データに基づくＡＧＣ（Auto Gain Control）処理やフリッカキャンセル処理などを実施する。出力フォーマット変換回路３５は、画質調整回路３３の出力データに対して、解像度変換処理やフォーマット変換処理などを実施する。例えば、出力フォーマット変換回路３５では、ＹＵＶ４２２形式、ＹＣｂＣｒ形式やＲＧＢ５６５形式などへのフォーマット変換が可能である。ＰＬＬ３６は、ＩＳＰ部３０内で使用される基準クロック信号を生成する。タイミングジェネレータ３７は、ＩＳＰ部３０内の各回路の動作タイミングを規定するタイミング信号を生成する。Ｉ^２Ｃ３８は、外部装置とのインタフェース回路として機能する。以上のような構成のイメージセンサ１０において、主にベイヤーデータ補正回路３１のシェーディング補正処理に対して本発明が適用されている。

図２、３は、１×４シェアード構成のピクセルアレイの問題点を示している。１×４シェアード構成のピクセルアレイ２１において、縦方向（上下方向）に隣接する４個のピクセル回路（フォトダイオードＲ１を有するＲ成分用ピクセル回路、フォトダイオードＢ１を有するＢ成分用ピクセル回路、フォトダイオードＲ２を有するＲ成分用ピクセル回路およびフォトダイオードＢ２を有するＢ成分用ピクセル回路）に着目すると、図２からも分かるように、フォトダイオードに対する配線Ｗ１、Ｗ２の位置が異なり、ピクセルピッチとフォトダイオードピッチとが異なる構成になっている。このため、ｉ番目のＲＧ行とｉ＋１番目のＲＧ行とでは、Ｒ成分用ピクセル回路のフォトダイオードへの入射光量が変わってくる。また、ピクセルアレイ２１の中心（撮影レンズの光軸に対応する位置）付近でも、フォトダイオードピッチとピクセルピッチとのずれが存在するため、フォトダイオードへの入射光量に差が生じる。従って、Ｒ成分用ピクセル回路のフォトダイオードＲ１、Ｒ２への入射光量とピクセルアレイ２１の縦方向位置との関係は、ピクセルアレイ２１の上側境界Ｕ、中心Ｃおよび下側境界Ｄを用いると、図３に示すようになり、入射光量の減衰率が最小になる位置（入射光量が最大になる位置）はピクセルアレイ２１の中心Ｃからずれる。このような現象はＧＢ行におけるＢ成分用ピクセル回路のフォトダイオードＢ１、Ｂ２への入射光量に関しても同様に生じるが、ピクセルアレイ２１の構成上、入射光量の減衰率が最小になる位置はピクセルアレイ２１の中心Ｃに関してＲＧ行におけるＲ成分用ピクセル回路のフォトダイオードＲ１、Ｒ２への入射光量とは反対側に存在する。

図４は、ベイヤーデータ補正回路のシェーディング補正処理で用いられる第１補正係数の一例を示している。図５は、ベイヤーデータ補正回路のシェーディング補正処理で用いられる第２補正係数の一例を示している。ベイヤーデータ補正回路３１のシェーディング補正処理では、前述したような傾向を有するピクセルアレイ２１に起因するシェーディングを補正するために、複数の第１補正係数を用いた第１シェーディング補正処理が実施される。第１補正係数については、データ読出回路２２の出力データに対応する２次元画像の列毎に、２次元画像の中心（撮影レンズの光軸に対応する位置）に対する極値位置のオフセットを設定可能である。また、第１補正係数については、２次元画像の色成分毎に、２次元画像の中心に対する極値位置のオフセットを設定可能である。更に、第１補正係数については、極値位置に関して非対称に設定可能である。例えば、図３に示したようなピクセルアレイ２１に起因するシェーディングを補正する場合、シェーディング補正処理で用いられる第１補正係数の値と２次元画像の縦方向位置との関係は、２次元画像の上側境界Ｕ、中心Ｃおよび下側境界Ｄを用いると、図４に示すようになる。フォトダイオードＲ１（Ｒ２）を有するＲ成分用ピクセル回路に対応する第１補正係数に関しては、フォトダイオードＲ１（Ｒ２）への入射光量の減衰率が最小になるピクセルアレイ２１の縦方向位置に対応する２次元画像の縦方向位置が極値位置Ｃｒ１（Ｃｒ２）として設定される。同様に、フォトダイオードＢ１（Ｂ２）を有するＢ成分用ピクセル回路に対応する第１補正係数に関しては、フォトダイオードＢ１（Ｂ２）への入射光量の減衰率が最小になるピクセルアレイ２１の縦方向位置に対応する２次元画像の縦方向位置が極値位置Ｃｂ１（Ｃｂ２）として設定される。このような第１シェーディング補正処理が実施されることで、ピクセルアレイ２１に起因するシェーディングが適切に補正される。

また、撮影レンズに起因するシェーディングに関しては、ピクセルアレイ２１への入射光量の減衰率は、ピクセルアレイ２１の中心で最小になり、ピクセルアレイ２１の中心に関して対称になる。また、撮影レンズに起因するシェーディングに関しては、ピクセルアレイ２１への入射光量の減衰率は、色成分毎の相違が存在しない。ベイヤーデータ補正回路３１のシェーディング補正処理では、このような傾向を有する撮影レンズに起因するシェーディングを補正するために、複数の第２補正係数を用いた第２シェーディング補正処理も実施される。第２補正係数については、２次元画像の中心が極値位置として設定され、２次元画像の中心に関して対称になるように設定される。例えば、シェーディング補正処理で用いられる第２補正係数の値と２次元画像の縦方向位置との関係は、２次元画像の上側境界Ｕ、中心Ｃおよび下側境界Ｄを用いると、図５に示すようになる。このような第２シェーディング補正処理が実施されることで、撮影レンズに起因するシェーディングも適切に補正される。

以上ような本発明の一実施形態では、第１および第２シェーディング補正処理が実施されることにより、ピクセルアレイ２１に起因するシェーディングおよび撮影レンズに起因するシェーディングの双方を適切に補正することができ、撮影画像における色ムラを無くすことが可能になる。従って、イメージセンサ１０の性能向上および小型化に大きく寄与できる。

なお、本発明の一実施形態では、第１補正係数に関して２次元画像の列毎に２次元画像の中心に対する極値位置のオフセットを設定可能である例について述べたが、本発明はかかる実施形態に限定されるものではなく、ピクセルアレイの構成によっては第１補正係数に関して２次元画像の行毎に２次元画像の中心に対する極値位置のオフセットを設定可能にしてもよい。

以上、本発明について詳細に説明してきたが、前述の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれらに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本発明の一実施形態を示す説明図である。１×４シェアード構成のピクセルアレイの問題点を示す説明図（その１）である。１×４シェアード構成のピクセルアレイの問題点を示す説明図（その２）である。ベイヤーデータ補正回路のシェーディング補正処理で用いられる第１補正係数の一例を示す説明図である。ベイヤーデータ補正回路のシェーディング補正処理で用いられる第２補正係数の一例を示す説明図である。

符号の説明

１０‥イメージセンサ；２０‥センサ部；２１‥ピクセルアレイ；２２‥データ読出回路；３０‥ＩＳＰ部；３１‥ベイヤーデータ補正回路；３２‥補間処理回路；３３‥画質調整回路；３４‥明るさ調整回路；３５‥出力フォーマット変換回路；３６‥ＰＬＬ；３７‥タイミングジェネレータ；３８‥Ｉ^２Ｃ

Claims

撮影光学系により結像された光像を光電変換する複数のピクセル回路を配列したピクセルアレイを有する撮像部と、
前記撮像部により取得された２次元画像に対して、前記撮影光学系の光軸に対応する位置とは異なる位置に極値位置を有する複数の第１補正係数を用いた第１シェーディング補正を実施する画像処理部とを備え、
前記複数の第１補正係数の極値位置は、前記ピクセルアレイにおいてピクセルピッチとフォトダイオードピッチとが異なることによるフォトダイオードへの入射光量の減衰率が最小になる位置に応じて設定されることを特徴とする固体撮像回路。
請求項１に記載の固体撮像回路において、
前記複数の第１補正係数は、前記２次元画像の行毎または列毎に極値位置を設定可能であることを特徴とする固体撮像回路。
請求項１に記載の固体撮像回路において、
前記複数の第１補正係数は、前記２次元画像の色成分毎に極値位置を設定可能であることを特徴とする固体撮像回路。
請求項１に記載の固体撮像回路において、
前記複数の第１補正係数は、極値位置に関して非対称に設定可能であることを特徴とする固体撮像回路。
請求項１に記載の固体撮像回路において、
前記ピクセルアレイは、所定数のピクセル回路毎に共通のデータ出力経路を設けて構成されることを特徴とする固体撮像回路。
請求項１に記載の固体撮像回路において、
前記画像処理部は、前記２次元画像に対して、前記第１シェーディング補正を実施するのに加えて、前記撮影光学系の光軸に対応する位置に極値位置を有する複数の第２補正係数を用いた第２シェーディング補正を実施することを特徴とする固体撮像回路。
請求項６に記載の固体撮像回路において、
前記複数の第２補正係数は、極値位置に関して対称であることを特徴とする固体撮像回路。
請求項６に記載の固体撮像回路において、
前記第１シェーディング補正は、前記ピクセルアレイに起因するシェーディングに関するシェーディング補正であり、
前記第２シェーディング補正は、前記撮影光学系に起因するシェーディングに関するシェーディング補正であることを特徴とする固体撮像回路。
請求項１〜８の何れかに記載の固体撮像回路を備えることを特徴とするカメラシステム。