JP4241754B2

JP4241754B2 - 撮像装置

Info

Publication number: JP4241754B2
Application number: JP2006111633A
Authority: JP
Inventors: 正章佐藤; 新一郎齊藤; 洪偉張
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-04-14
Filing date: 2006-04-14
Publication date: 2009-03-18
Anticipated expiration: 2026-04-14
Also published as: TW200818885A; US7792356B2; TWI339064B; EP1845712A1; CN101080023A; KR101354128B1; JP2007288394A; US20080123943A1; CN101080023B; KR20070102398A

Description

本発明は、輝度情報を含む画素が配置された撮像装置に関する。

従来のＲＧＢ正方ベイヤ配列のイメージセンサは、上下左右に配置されたＧ（Green）画素の相関情報を基に画素補間を行っていた（例えば、特許文献１参照。）。また、輝度情報を含む画素が配置され、かつ正方に対して４５°傾いた配列を持つイメージセンサでは、Ｇ画素が上下左右に配置されていないため、従来の画素補間方法を実施することができない。そこで、このような画素配列のイメージセンサにおける画素補間の相関検出では、同色画素からの平均によって求めることが一般的である。しかしながら、この補間方法では、高域の空間周波数が伸びない欠点と色偽が発生する欠点がある。また、この相関検出方法では、輝度系信号Ｙとクロマ系信号Ｃｒ／Ｃｂの信号処理において、正確な色分離ができない。

特開２００１−２１８０７３号公報

解決しようとする問題点は、相関検出において、高域の空間周波数が伸びない欠点と色偽が発生する点である。また、輝度系信号Ｙとクロマ系信号Ｃｒ／Ｃｂの信号処理において、正確な色分離ができない点である。

本発明は、有彩色被写体の偽色を抑え、単純平均画素補間に対して、周波数帯域を伸ばすことを課題とする。

本発明は、複数色の有彩色画素と、前記有彩色画素に比べ入射光に対する感度の高い高感度画素とが互いに市松状に配置されたイメージセンサを有する撮像装置であって、前記高感度画素の信号成分と前記有彩色画素の信号成分とから撮像した被写体の相関関係を検出する相関検出部と、前記有彩色画素の信号成分から撮像した被写体が有彩色か否かを判別する色判別ブロックと、前記色判別ブロックで判別された信号によって、被写体が有彩色か否かで、画素補間方法を切り替える処理を行い、前記色判別ブロックで有彩色と判別された場合、前記相関検出部の情報を基に相関の高い画素からの補間を優先する処理を行う画素補間部と、輝度信号を検出信号として前記画素補間処理の判定を行う相関検出ブロックから出力された高感度画素から検出した相関結果を適用してクロマ信号を生成するクロマ補間ブロックとを備えたことを特徴とする。

本発明では、撮像した被写体が有彩色か否かを判別する色判別ブロックと、前記色判別ブロックで判別された信号によって、被写体が有彩色か否かで、画素補間方法を切り替える処理を行い、前記色判別ブロックで有彩色と判別された場合、前記相関検出部の情報を基に相関の高い画素からの補間を優先する処理を行う画素補間部とを備えたため、有彩色画素の補間が可能になる。

本発明によれば、色判別ブロックで有彩色と判別された場合、相関検出部の情報を基に相関の高い画素からの補間を優先する処理を行う画素補間部とを備えたため、有彩色画素の補間ができるので、単純平均画素補間に対して、周波数帯域が伸びるという利点がある。また、有彩色被写体の偽色が、単純平均による画素補間に比べ抑えられるという利点がある。

本発明の撮像装置に係る一実施の形態（第１実施例）を、図１〜図９によって以下に説明する。

まず、本発明が適用される撮像装置の一例を、図８のブロック図によって説明する。図８では、一例として、イメージセンサを用いたカメラシステムの全体図を示す。

図８に示すように、撮像装置１は、像を結像するレンズ系２と、光電変換を行う画素部を有するセンサ３と、電気信号を受けて、１／ｆノイズを取り除き、信号成分のみ抽出する相関２重サンプリング（ＣＤＳ）部４と、アナログ信号であるセンサの画素信号をデジタル信号に変換するアナログデジタル変換器（ＡＤＣ）５と、デジタル信号化されたセンサ信号を最終的な映像信号として出力する信号処理ブロック６とが備えられている。

上記撮像装置１では、レンズ系２により集光された像はセンサ３の画素部で結像し、電気信号としてＣＤＳ部４に出力される。ＣＤＳ部４で１／ｆノイズを取り除き、信号成分のみ抽出し、ＡＤＣ５によりアナログ信号であったセンサの画素信号をデジタル信号に変換する。デジタル信号に変換されたセンサ信号は、さらに信号処理ブロック６に入力され最終的な映像信号として処理される。

次に、上記撮像装置１のセンサ３における色配列の一例を図９によって説明する。

図９に示すように、センサ３の色配列は、従来のＲＧＢ正方ベイヤの画素配列に対して、空間位相が１／２ずれた位相位置に輝度情報を得るための画素（本例では、有彩色画素に比べ入射光に対する感度の高い高感度画素）を配置した配列となっている。この高感度画素は、例えばホワイト画素もしくはグレー画素からなる。以下、ホワイト（Ｗ）画素を配列した一例で説明する。

次に、本発明の要部について説明する。図１は、上記信号処理ブロック６の詳細を示すブロック図であり、図２は、図１に示したカメラシステムの信号処理部における画素補間ブロック１３内を示すブロック図である。

図１に示すように、アナログデジタル変換器（ＡＤＣ）によりデジタル信号に変換されたセンサの画素信号は、ホワイトバランス（ＷＢ）ブロック１１で、センサの画素出力を有彩色画素のＧ（Green）画素または高感度画素のＷ画素に正規化する。ここでは、一例として、Ｗ画素に正規化したが、グレー画素に正規化することもできる。以下、Ｗ画素で説明する。

正規化された信号は、色判別ブロック１２と画素補間ブロック１３のそれぞれに、独立に入力される。色判別ブロック１２では対象となる画素およびその周辺が有彩色か否かを判定し、その結果を画素補間ブロック１３に伝達する。

画素補間ブロック１３では、Ｒ／Ｇ／Ｂ画素が存在する位相に補間により足りない２色を補間する。例えば、Ｇ画素が存在する位置にはＢ／Ｒ画素を補間する。なお、画素補間ブロック１３は前述の色判別ブロック１２の判定結果により、補間処理を動的に変更する。有彩色でない場合は、補間する画素を生成する際に、存在している画素の画素信号を積極的に利用することで解像度を向上させ、一方、有彩色の場合は、補間する画素と同色の画素信号を周囲画素から補間で行う。

画素補間を実施した後は、輝度生成とクロマ生成の２系統に分けて処理を行う。最初に輝度生成の処理系について説明する。

画素補間ブロック１３にて生成されたＲ／Ｇ／Ｂ画素信号に対して、ＮＴＳＣの輝度変換式などに代表される変換を行い、Ｙ信号を生成する。生成されたＹ信号とＷ画素は、信号レベルが合っていないためレベル合わせをレベルバランスブロック１４で行う。このレベルバランスブロック１４によりＷ信号とＹ信号のレベル差のない輝度信号（高域）が生成される。

しかしながら、空間的には輝度信号が存在する画素としない画素が交互（空間位相で１／２）に現れるため、画素の存在しない位相に画素を補完する。これを輝度補間ブロック１６で行う。この補完処理の判定を相関検出ブロック１５で行う。この相関検出ブロック１５は、輝度信号を検出信号として処理を行う。この検出結果は輝度生成およびクロマ生成でそれぞれ利用される。

クロマ補間ブロック１７では、最初にＷ画素が存在する位相にＲ／Ｇ／Ｂ画素を補間する。補間は周囲のＷ画素とＲ／Ｇ／Ｂ画素から比率演算等によって算出する。さらに空間的にＲ／Ｇ／Ｂ画素が存在しない位相に画素補完を行うために、輝度生成の説明にあった相関検出ブロック１５の検出結果を反映させ、画素補完する。

輝度補間ブロック１８は、前述の高域の輝度信号とクロマ生成処理により演算されたＲ／Ｇ／Ｂ信号からＹ生成された低域の輝度信号を再合成するブロックである。この処理により低域部分の輝度再現性の劣化を抑える。

以上により、Ｙ／Ｃｒ／Ｃｂ信号を生成し画素補間処理を完了する。

次に、上記画素補間ブロック１３の詳細は、一例として、図２に示すように、色識別ブロック２１により補間対象となる位相にある画素の色フィルタを識別し、マルチプレックス(ＭＰＸ)２２でそれぞれに適切な補間処理（例えば補間処理Ａ部２３もしくは補間処理Ｂ部２４）に信号を切り替えている構成となっている。

次に、補間対象となる位相の画素の色フィルタがＲ（Red）またはＢ（Blue）の場合の補間処理(例えば補間処理Ａ部２３)を図３、図４によって説明する。図３は、補間処理Ａ部２３のブロック図を示し、図４は補間処理Ａ部２３の画素補間イメージを示す。

図４に示すように、補間対象となる位相の画素はＢ画素であり、補間する画素はＲ画素とＧ画素になる。補間に利用できるＲ画素はＢ画素に対して、斜め４方向（図４（１）参照）に位置しているため、図３に示す相関検出部２５にて、斜め方向に相関検出を行い、相関検出部２５から出力された相関強度に応じて、画素補間部２６にて、４方向のＲ画素の混合比を変えることでＲ画素の補間を行う。Ｇ画素も同様に考え、上下左右４方向（図４（２）参照）から、図３に示す相関検出部２７にて、水平・垂直方向に相関検出を行い、相関検出部２７から出力された相関検出結果に従って、画素補間部２８にて、４方向のＧ画素の混合比によりＧ画素の補間を行う。

また、補間対象となる位相の画素がＲの場合は、ＢをＲに、ＲをＢに読み替えることで同等の処理が可能である。すなわち、補間対象となる位相の画素はＲ画素であり、補間する画素はＢ画素とＧ画素になる。補間に利用できるＢ画素はＲ画素に対して、斜め４方向に位置しているため、斜め方向に相関検出を行い、相関強度に応じて４方向のＢ画素の混合比を変えることでＢ画素の補間を行う。Ｇ画素も同様に考え、上下左右４方向から相関検出結果に従って、４方向のＧ画素の混合比によりＧ画素の補間を行う。

次に、補間対象となる位相の画素の色フィルタがＧの場合の処理(補間処理Ｂ部２４)を図５、図６によって説明する。図５は、補間処理Ｂ部２４のブロック図を示し、図６（１）は水平方向に相関が強い場合の補間処理Ｂ部２４の画素補間イメージを示し、図６（２）は垂直方向に相関が強い場合の補間処理Ｂ部２４の画素補間イメージを示す。なお、補間する画素がＲ画素およびＢ画素となるが、Ｇ画素の位相によってＲ画素およびＢ画素の配置方向が異なる。

図６に示すように、水平方向に６画素分Ｒ画素が存在し、垂直方向に６画素分Ｂ画素が存在しているが、Ｇ画素の位相によって、この関係が逆になる。そして図５に示すように、Ｇ画素およびＷ画素を相関検出信号として相関検出部２９に入力し、上下左右の相関強度を求める。

相関検出部２９の相関結果として左右方向が強くなった場合、図６（１）に示すように、Ｒ画素の補間は、補間対象位置のＧ画素の上下の水平方向６画素分のＲ画素より算出し、Ｂ画素は、補間対象位置のＧ画素の左右の２画素分のＢ画素から補間する。この補間を図５に示した画素補間部３０で行う。

相関検出部２９の相関結果として上下方向の相関が強い場合も同様に処理する。すなわち、図６（２）に示すように、Ｂ画素の補間は、補間対象位置のＧ画素の左右の垂直方向６画素分のＢ画素より算出し、Ｒ画素の補間は、補間対象位置のＧ画素の上下の２画素分のＲ画素から補間する。この補間を図５に示した画素補間部３０で行う。

前記図５に示した実際の処理は、図７に示すようなフィルタにより演算を行う。相関結果により、ｖｋとｈｋの係数を１または０にすることで、前述の処理を実現する。

以上の処理により、同色での画素補間を精度よく行うことが可能となる。

次に、相関検出の一実施例を図１０〜図１７によって説明する。

図１０は、補間対象位置の画素がＢ画素の場合のＲ画素配列との相関係数を図示したものである。また図１１は相関検出アルゴリズムを図示したものである。

図１０に示すように、Ｒ画素はＢ画素に対して斜め４５度方向に４画素配置されており、右上のＲ画素をＲ０として、時計回りにＲ３まで便宜上名称をつける。また、相関ゲインをＲＴGain、ＲＢGain、ＬＢGain、ＬＴGainとして、Ｒ０から順に対応させる。

図１１に示すように、本例の場合、補間対象位置のＢ画素を中心に斜め方向にそれぞれローパスフィルタ（ＬＰＦ）をかける。このときローパスフィルタ（ＬＰＦ）をかける対象はＷ画素（Ｗwb）とする。その結果に対して、次にハイパスフィルタ（ＨＰＦ）をかけることで、差分値ＲＴ、ＬＢ、ＬＴ、ＲＢを算出する。相関が強いほどこの差分値は小さくなる。

次に、相関係数算出式を図１２に示す。この相関係数算出式に上記差分値ＲＴ、ＬＢ、ＬＴ、ＲＢを代入し、相関係数を求める。この計算式により、４方向の合成比率を１にし、かつ、相関の強い方向の係数が大きくなるようする。

最後に画素補間処理を行う。この画素補間処理は図１３に示すアルゴリズムにより行う。前記図１０の例で示すと以下のようになる。

Ｂ画素位置に補間するＲ画素＝Ｒ０＊ＲＴGain＋Ｒ１＊ＲＢGain＋Ｒ２＊ＬＢGain＋Ｒ３＊ＬＴGain

次に、補間対象位置の画素がＢ画素の場合のＧ画素配列と相関係数を図１４に示す。
図１４に示すように、Ｇ画素はＢ画素に対して上下左右方向に位置しており、これらの相関検出は図１５に示す相関検出アルゴリズムの回路で行う。

Ｇ画素の相関を求める場合はＧ画素の繰り返し周期が４周期となるため、Ｂ画素に隣接するＷ画素も利用して検出精度を高める。ローパスフィルタ（ＬＰＦ）後にハイパスフィルタ（ＨＰＦ）をかけて差分値を求める方法は上記と同様であるが、Ｗ画素での算出結果とＧ画素での算出結果で、被写体の色による影響を抑える目的で重み付けを行っている。この結果求められた差分値ＳＲ、ＳＬ、ＳＴ、ＳＢを図１６に示す相関係数算出式に代入し、相関係数を求める。

最後に画素補間処理を行う。この画素補間処理は、例えば図１７に示すアルゴリズムによって行い、Ｂ画素位置に補間するＧ画素を求める。

次に、本発明の撮像装置に係る一実施の形態（第２実施例）を、図１８〜図２６によって説明する。まず、前記図１によって説明した信号処理部の詳細におけるレベルバランスブロック１４によりＷ信号とＹ信号のレベル差のない輝度信号（高域）を生成する。このレベルバランス処理後の信号配列を図１８に示す。

図１８では、ＷはＷ画素(無地の四角形で示した画素)を示し、Ｙは補間処理によって求められたＲ／Ｇ／Ｂ画素の信号量から算出した輝度(斜線の四角形で示した画素)を示す。また、破線は画素が存在しない位相を示す。この位相の情報は後述する処理により補完される。

なお、ＷとＹの信号レベルはそのままではレベル差を生じているため、図１９に一例を示すようなローパスフィルタ（ＬＰＦ）を通し、図２０の輝度系の式およびクロマ系の式に示すように、Ｗの平均をＷaveとし、Ｙの平均をＹaveとして、Ｗave／Ｙaveの比率をＹに掛け合わせ、Ｗのレベルに正規化する処理を行う。また、この処理により輝度が変わるため、色差のレベルも合うようにＲ／Ｇ／Ｂに対しても、同様の正規化を行う。すなわち、Ｗの平均をＷaveとし、Ｒの平均をＲaveとして、Ｗave／Ｒaveの比率をＲに掛け合わせ、Ｗのレベルに正規化する処理を行う。Ｇ、Ｂの場合も同様に、ＲをＧ、Ｂに変えることで、正規化を行う。

次に、Ｗ画素の存在する位置にＲ／Ｇ／Ｂ画素の補間を行う。図２１に示すように、Ｗ画素は、画素のある位相に全て存在するため、Ｗ画素を利用することでＲ／Ｇ／Ｂ画素を補間する。図２１にＲ画素の補間式を示す。また、Ｂ画素およびＧ画素についても、Ｒ画素と同様の演算により算出が可能である。

最後に画素の存在していない位相への画素補完を行う。この処理は、図２２に示すように、Ｗ画素を相関検出信号として、上下左右の４画素の相関強度に応じて動的に補完処理を行う。

以上の処理により、輝度及びクロマ信号の生成を行う。

次に、上記相関検出の一実施例を図２３〜図２６によって説明する。図２３は、画素の存在しない位相への画素補完の関係図を示す。

図２３に示すように、斜線で示した画素は、補間によって求められたＲ／Ｇ／Ｂ画素からＹを生成し、さらにＷ画素に正規化したものであり、無地の四角形で示した画素はＷ画素そのものを示している。この状態で図の中央に位置する画素が存在しない位相への画素補完を行うため、以下の処理を行う。

図２４に示すように、本例の場合、Ｗ画素をそれぞれ水平／垂直方向にローパスフィルタ（ＬＰＦ）を通す。次にハイパスフィルタ（ＨＰＦ）をかけることで、差分値ＳＲ、ＳＬ、ＳＴ、ＳＢを算出する。

次に、相関係数算出式を図２５に示す。この相関係数算出式に上記差分値ＳＲ、ＳＬ、ＳＴ、ＳＢを代入し、相関係数ＲGain、ＬGain、ＴGain、ＢGainをそれぞれ求める。

最後に画素補間処理を行う。この画素補間処理は図２６に示すアルゴリズムにより画素の存在しない位相への画素補完を行う。なお、この補完処理はＷ画素のみならず、Ｒ、Ｇ、Ｂ各画素の補完にも適用する。

上記説明したように、本発明によれば、撮像した被写体が有彩色か否かを判別する色判別ブロック１２と、この色判別ブロック１２で判別された信号によって、被写体が有彩色か否かで、画素補間方法を切り替える処理を行い、色判別ブロック１２で有彩色と判別された場合、相関検出部２５、２７、２９等の情報を基に相関の高い画素からの補間を優先する処理を行う画素補間部２６、２８、３０等を備えたため、有彩色画素の補間が可能になるので、単純平均画素補間の場合より周波数帯域が伸びる。また、有彩色被写体の偽色が、単純平均による画素補間に比べ、抑えられる。

上記の説明においては高感度画素の例として「ホワイト（白色）画素」を用いて説明したが、厳密な意味での（理想的な）白色や透明な画素に限定されるわけではなく、従来の色再現用の各色成分を得るための原色画素や補色画素に比べて感度の高い画素であればよく、例えば理想的な白色や透明の状態に光を通さない成分が少し混ざったグレーフィルタが設けられた画素や、少量の色素成分が混ざっているフィルタが設けられた画素であってもよい。但し、特定の色素成分が偏って混ざったフィルタである場合よりも、グレーフィルタなどのように透過する光の色成分のバランスがよいフィルタの方が、信号処理を行うという観点では好ましい。

本発明の撮像装置に係る一実施の形態（第１実施例）を示したブロック図である。画素補間ブロックの詳細の一例を示したブロック図である。補間処理Ａ部の一例を示したブロック図である。補間処理Ａ部の画素補間イメージの一例を示したレイアウト図である。補間処理Ｂ部の一例を示したブロック図である。水平方向に相関が強い場合および垂直方向に相関が強い場合の補間処理Ｂ部の画素補間イメージ例を示したレイアウト図である。補間処理Ｂの一例を示したアルゴリズムである。本発明が適用される撮像装置の一例を示したブロック図である。撮像装置のセンサにおける色配列の一例を示した画素レイアウト図である。補間対象位置の画素がＢ画素の場合のＲ画素配列との相関係数の一例を示したレイアウト図である。相関検出処理の一例を示したアルゴリズムである。相関係数算出式である。画素補間処理の一例を示したアルゴリズムである。補間対象位置の画素がＢ画素の場合のＧ画素配列と相関係数を示したレイアウトである。相関検出処理の一例を示したアルゴリズムである。相関係数算出式である。画素補間処理の一例を示したアルゴリズムである。レベルバランス処理後の信号配列の一例を示したレイアウト図である。ローパスフィルタの一例を示したアルゴリズムである。輝度系の式およびクロマ系の式である。Ｗ画素の存在する位置にＲ／Ｇ／Ｂ画素の補間の一例を示したレイアウト図および補間式である。Ｗ画素を相関検出信号とした補完処理の一例を示したレイアウト図である。画素の存在しない位相への画素補完の一例を示したレイアウト図である。Ｗ画素をそれぞれ水平／垂直方向に通すローパスフィルタの一例を示したアルゴリズムである。相関係数算出式である。画素補間処理の一例を示したアルゴリズムである。

符号の説明

１…撮像装置、１２…色判別ブロック、１３…画素補間ブロック、２５，２７，２９…相関検出部、２６，２８，３０…画素補間部

Claims

複数色の有彩色画素と、前記有彩色画素に比べ入射光に対する感度の高い高感度画素とが互いに市松状に配置されたイメージセンサを有する撮像装置であって、
前記高感度画素の信号成分と前記有彩色画素の信号成分とから、撮像した被写体の相関関係を検出する相関検出部と、
前記有彩色画素の信号成分から、撮像した被写体が有彩色か否かを判別する色判別ブロックと、
前記色判別ブロックで判別された信号によって、被写体が有彩色か否かで、画素補間方法を切り替える処理を行い、前記色判別ブロックで有彩色と判別された場合、前記相関検出部の情報を基に相関の高い画素からの補間を優先する処理を行う画素補間部と
輝度信号を検出信号として前記画素補間処理の判定を行う相関検出ブロックから出力された高感度画素から検出した相関結果を適用してクロマ信号を生成するクロマ補間ブロックと
を備えた撮像装置。
前記高感度画素はホワイト画素またはグレー画素である
ことを特徴とする請求項１記載の撮像装置。
前記有彩画素と高感度画素の信号レベルをレベル差のない輝度信号を生成するレベルバランスブロックを備えた
請求項１記載の撮像装置。