JP4309506B2

JP4309506B2 - 撮像素子及び撮像装置

Info

Publication number: JP4309506B2
Application number: JP05594099A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-03-03
Filing date: 1999-03-03
Publication date: 2009-08-05
Anticipated expiration: 2019-03-03
Also published as: JP2000253413A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー撮像素子を含む撮像装置に関する。
【０００２】
【従来の技術】
撮像管および固体撮像素子に代表される撮像素子は撮像装置に広く用いられている。特に単管または単板（Single Sensor）カラー撮像装置に使用されるカラー撮像素子は１つの撮像素子で撮像装置が構成できるため、色分離プリズムが不要でレンズの小型化が可能・レジストレーションなどの多板式カラー撮像装置で必要とされる各種調整が必要ない・消費電力が小さいなど多くの特徴を有しており、撮像装置の小型化・省電力化に多くの貢献を果たしている。特に固体素子であるカラーＣＣＤ撮像素子を用いた単板カラーカメラは撮像装置の主流となっている。
【０００３】
上記カラーＣＣＤ撮像素子はいずれも一つの受光面で色情報を得るため、ストライプフィルタまたはモザイクフィルタなどと称される色フィルタを用いて受光平面内で色変調（色コーディング）を行なっている。たとえばＲＧＢ３色のフィルタを所定の規則的配列で各光電変換素子上に張り付けることで各画素毎に異なる分光感度を持たせる。従って被写体撮像によって得られた映像信号にはこのフィルタ配列に従った点順次の色情報が含まれているから、上記所定の配列にしたがって各色フィルタに対応した信号毎に分離してこれを取り出せば色情報が取り出せる。輝度信号（Ｙ信号）を得るためにはＲＧＢ情報が全て必要であるから、１画素の輝度情報を得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要とし、輝度解像度は犠牲になるものの一つの撮像素子でカラー撮像を行なうことができる。
【０００４】
このような公知の配列の１つにＲＧＢベイヤ配列がある。ベイヤ配列の名で知られるものは幾つかあるが、代表的な１つを図５に示す。これは２×２の４画素を２次元の基本配列としてこれを順次ならべて平面を埋め尽くすものであって、２×２の４画素を単位配列とした２次元の周期配列となっている。
【０００５】
このベイヤ配列は、色再現性の良い原色（ＲＧＢ）フィルタを用いており、ＲＧＢへの画素数の配分比率を１：２：１として輝度信号に対する寄与の大きいＧの密度を高めることで輝度解像度を高くした点に特徴がある。また垂直水平の２方向に等方配置しているのでストライプフィルタと異なり等方的な解像度が得られる。
【０００６】
【発明が解決しようとする課題】
上記ベイヤ配列は上記のとおり色再現性が良く、等方的な高解像度が得られる優れたものであるが、撮像素子一般の課題としての被写体に対する撮像レンジ（輝度再現域）の確保については特別な考慮が為されておらず、輝度分布が高輝度から低輝度まで輝度レンジの大きな被写体の撮影に際しては白飛びや黒潰れを生じ易いものであった。
【０００７】
詳述すれば撮像レンジは単純に撮像素子の性能だけでは決まらず、それを使用した撮像装置の信号処理も含めた全体の性能で決まるが、少なくとも高輝度側の撮像レンジは撮像素子の飽和レベルによって限界が決まり、低輝度側の撮像レンジは撮像装置に組み込まれた状態での撮像素子出力のノイズレベルによって限界が決まるから、少なくともそれを超えた撮像レンジを得ることはできない。
【０００８】
従来、一般的な撮像素子を用いて撮像装置を構成した場合の撮像素子の光電変換特性は、例えば図６で模式的に示されるようなものであった。この図において、横軸は入射光量を、縦軸は信号レベルをそれぞれ対数的に示すものである。図中ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベルをそれぞれ示すものである。ＵＬは撮像素子の飽和レベルにほぼ対応するレベルであり、一方ＬＬについてはノイズレベルＮＬそのものではなく、ノイズと共存しても鑑賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとして定まる。そしてＵＬとＬＬの間が有効輝度域となり、これらの（対数軸上での）差ＤＲ＝ＵＬ−ＬＬが撮像レンジとなる。
【０００９】
このＤＲは撮像装置の設計製造によって異なるが、多くの場合５〜６ＥＶ（３０〜３６dB）程度であり、更なる改善が望まれていた。しかしながら、撮像素子の飽和レベルやノイズレベルの改善には限界があり、実現が困難であるという問題があった。
【００１０】
本発明の目的は、上記問題点を解決し、従来と同等の撮像素子を用いつつ、かつ従来のベイヤ配列の持つ特長を基本的に有したまま撮像レンジを飛躍的に向上した高画質な撮像装置と、それに適した撮像素子を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、２×２の４画素配列を単位配列とする２次元の周期配列として構成された撮像画素配列を有し、上記単位配列を構成する第１〜第４の４画素のうち第１〜第３画素は相異なる３つの相対分光感度特性を有し、上記第４画素は上記第１の画素と絶対感度が異なる同一の相対分光感度特性を有したものであることを特徴とする撮像素子と、該撮像素子の上記第１〜第４の各画素に対応して得られる第１〜第４の各画素情報信号に基づいて所定の態様の映像信号を生成する映像信号生成手段とを有してなり、上記撮像素子の上記第１の画素と第４の画素の相異なる絶対感度は、上記第１の画素情報信号の有効輝度域と上記第４の画素情報信号の有効輝度域とが共通領域を有するように設定されたものであり、上記映像信号生成手段は、上記第１、第４の各画素情報信号の処理に際して有効輝度域からの逸脱が生じておりかつ隣接する第４、第１の各画素情報信号が逸脱を生じていない場合には、上記隣接する第４、第１の各画素情報信号によって補完し、上記第１、第４の各画素情報信号の処理に際して有効輝度域からの逸脱が生じていても、隣接する第４、第１の各画素情報信号が逸脱を生じている場合には、当該補完を行なわないように構成された画素情報補完手段を有したものであることを特徴とする。
【００１７】
【発明の実施の形態】
図１は、本発明の実施の形態に係る撮像装置１の全体の概略ブロック図、図２は本発明の実施の形態に係る撮像素子のフィルタ配列を示す図、図３は撮像素子のＬＧ，ＤＧ画素の特性曲線、図４は撮像装置のＧ信号に関する総合特性曲線である。
【００１８】
図１に示すように、撮像装置１は被写体像を結像するための撮影レンズ系１０１、撮影レンズの焦点を被写体に合わせるための撮影レンズ駆動機構１０２、適正レベルの撮像信号を得るための露出制御機構１０３、色分離を行なうためのフィルタ系１０４、被写体光を電気信号に変換し撮像信号を生成するための撮像素子としてのＣＣＤ１０５、上記ＣＣＤ１０５を駆動するためのＣＣＤドライバ１０６、Ａ／Ｄ変換等を行なうプリプロセス１０７、映像信号処理などの全てのディジタルプロセスを実行するディジタルプロセス１０８、カードインターフェース１０９、ディジタルプロセス１０８で処理されたディジタル信号を該カードインターフェース１０９を介して記録するためのメモリカード１１０、撮影された画像や種々の情報を表示するためのＬＣＤ画像表示系１１１、全体システムのコントロールを行なうシステムコントローラ（主構成としてマイコン含む）１１２、撮影開始や各種モード設定などを行なうための操作スイッチ系１１３、該操作スイッチ系１１３により操作された操作内容を表示するための操作表示系１１４、被写体に補助光を照射するためのストロボ１１５、上記撮影レンズ駆動機構１０２を駆動するためのレンズドライバ１１６、上記露出制御機構１０３およびストロボ１１５の露出を制御するための露出制御ドライバ１１７とを備えている。
【００１９】
図２は、上記ＣＣＤ１０５の色フィルタ配列を示したものである。ＬＧはLight Green、ＤＧはDark Greenを表わし、それぞれ上記従来のベイヤ配列のＣＣＤのＧフィルタと同じ色（相対分光透過率）のフィルタであるが、前者はＧフィルタの２倍の透過率、後者はＧフィルタの１／２の透過率を有している。
【００２０】
さてこのようなＣＣＤ１０５を備えた撮像装置は、従来のカメラと同様に信号を読み出し処理して撮像された画像をメモリカード１１０に記録、あるいはＬＣＤ画像表示系１１１に表示する。ここで、従来と異なるのは映像信号生成処理であるが、以下で述べる本発明に直接関連する部分以外については従来公知のベイヤ配列ＣＣＤに対するものと全く同様に行われるものとする。この映像信号生成処理は、システムコントローラ１１２の制御の下にディジタルプロセス１０８によって行われる。
【００２１】
上記ＣＣＤから読み出される画素情報信号の光電変換特性はＲ、Ｂ画素については従来のものと同じであるが、Ｇ（ＬＧ，ＤＧ）については図３に示すようなものとなっている。
【００２２】
すなわち、従来Ｇの特性をフィルタ透過率の違いに相当する分だけ左右に平行移動させたものになっている。（図の基準感度線は従来のＧの有効輝度域の光電変換特性に対応する補助線である。）従って、Ｇ信号の生成に関しては従来とは異なる処理により色信号生成を行なう。
【００２３】
ところで、従来の映像信号処理における色信号生成処理（通例色分離処理と称される）とは、基本的には対応色信号の存在しない画素（例えばＢ信号生成処理におけるＲフィルタ画素など）に対する近隣画素情報等を用いた信号補完処理である。すなわち、ＣＣＤから画素配列順に出力されるところの画素情報に直接対応した間欠的色信号から連続的な色信号を生成するから信号同時化とも称される。本例のようにディジタルプロセスを用いる場合は一旦画素配列のまま所定のメモリ領域に画素情報信号を格納し、これを用いて適当な補完処理を施しつつＲＧＢの３同時化信号を発生させれば良い（必要に応じて、ＲＧＢ３つの画像としてメモリ内の所定領域に個別格納してからそれぞれ出力しても良い）。
【００２４】
従って本実施の形態に係る撮像装置１の場合も、Ｇ信号の生成を除けばいずれの画素においても従来の処理と異なるところは無い。Ｇ信号の生成処理は以下のように行なわれる。
【００２５】
（１）ＬＧ画素の位置に対応するＧ信号の生成処理
▲１▼ 自己の画素情報信号が図３のＵＬ（ＬＧ）より小さい値のときは自己の画素情報信号の値の１／２の値をＧ信号値とする。
▲２▼ 自己の画素情報信号が図３のＵＬ（ＬＧ）以上のときは自己に対角隣接する４つのＤＧ画素の画素情報信号の値を判定した結果によって、
（▲２▼−ａ）それが図３のＬＬ（ＤＧ）より大きく同図のＵＬ（ＤＧ）より小さいときはそのＤＧ画素の値（複数ある場合はその代表値）の２倍の値をＧ信号値とする。
（▲２▼−ｂ）それが図３のＬＬ（ＤＧ）以下または同図のＵＬ（ＤＧ）以上のときは自己の画素情報信号の値の１／２の値をＧ信号値とする。
【００２６】
（２）ＤＧ画素の位置に対応するＧ信号の生成処理
▲１▼ 自己の画素情報信号が図３のＬＬ（ＤＧ）より大きい値のときは自己の画素情報信号の値の２倍の値をＧ信号値とする。
▲２▼ 自己の画素情報信号が図３のＬＬ（ＤＧ）以下のときは自己に対角隣接する４つのＬＧ画素の画素情報信号の値を判定した結果によって、
（▲２▼−ａ）それが図３のＬＬ（ＬＧ）より大きく同図のＵＬ（ＬＧ）より小さいときはそのＬＧ画素の値（複数ある場合はその代表値）の１／２の値をＧ信号値とする。
（▲２▼−ｂ）それが図３のＬＬ（ＬＧ）以下または同図のＵＬ（ＬＧ）以上のときは自己の画素情報信号の値の２倍の値をＧ信号値とする。
【００２７】
（３）ＲまたはＢ画素の位置に対応するＧ信号の生成処理
自己に辺隣接する４つの（ＬＧまたはＤＧ）画素に関して画像情報信号の値を判定し、上記項目（１）▲１▼又は項目（２）▲１▼を満たすかどうかを判定する。
▲１▼ 条件を満たす画素が存在するときはその画素の出力するＧ信号値（複数ある場合はその代表値）をＧ信号値とする。
▲２▼ 条件を満たす画素が存在しないときは辺隣接４画素の出力する４つのＧ信号値の代表値をＧ信号値とする。
【００２８】
なお、複数の値から「代表値」を得るに関しては、より高い解像度が得られる選択法（例えば、右より左、下より上など位置によって優先順位を与えておき、最優先に位置するものを一つ選択する方法）や、疑似信号の発生レベルが小さい補間法（例えば、平均値を算出する方法）のいずれを用いても良く、従来技術相当として行なわれるＲ信号Ｂ信号の生成で使用されているものと同じ方法を採用すればよい。
【００２９】
上記のような色分離処理の結果得られた色信号は、全画素に関する同時化されたＲＧＢ３原色信号として従来のＲＧＢ３原色信号と同様に後段の回路で処理され、最終的にメモリカード１１０に記録、あるいはＬＣＤ画像表示系１１１に表示される。
【００３０】
上記Ｇ信号生成処理において、上記項目（１）▲１▼又は項目（２）▲１▼は要するにＬＧ、ＤＧそれぞれの画素について「所定の撮像レンジ（有効輝度域）に収まっている場合はその画素の情報をそのまま使用する」ということであり、その際各画素が従来技術におけるＧ相当の「基準となる感度に対して有している感度差を所定の係数を乗じて（すなわちディジタルゲイン調節を行なって）補償」しているものである。従って、ＬＧ、ＤＧ共通のレンジ内の被写体に関しては従来公知のベイヤ配列によって撮像したものと全く同一のＧ信号が得られる。
【００３１】
これに対して上記項目（１）▲２▼（▲２▼−ａ）又は項目（２）▲２▼（▲２▼−ａ）は「自己の画素情報信号がレンジを逸脱している場合、隣接の他方のＧが逸脱していない場合はそれで補完する」ことを意味している。すなわちどちらか一方の画素のレンジでのみカバーされる高輝度や低輝度の被写体部分」に関しては、画素密度が半分になった状態でのＧ信号が得られることになるが、この場合もＲやＢと同じ画素密度は確保されているので色解像度の低下や偽色の増加などは特に生じない。
【００３２】
この場合従来のＧを基準にとるとＬＧは２倍、ＤＧは１／２の感度であるから、それぞれ低輝度側、高輝度側に１ＥＶ（６dB）ずつ撮像レンジがシフトしたことになり、合わせて２ＥＶ（１２dB）撮像レンジが拡大したことになる。従来のＣＣＤを用いた場合に、ＤＲ＝６ＥＶ（３６dB）が限界であったとすれば、本実施例によって８ＥＶ（４８dB）の広ダイナミックレンジの撮像装置を得ることができる。なお、この場合上記共通レンジ（高解像度の得られるレンジ）は４ＥＶあるから、通常の撮影において解像度の低下は無く、ただハイライト部分やシャドウ部分で低下するのみである。
【００３３】
このような総合特性を図示したのが図４である。上記ディジタルゲイン調節によって２つの特性が上下に平行移動して一つに重なっている。ＥＵＬ，ＥＬＬ等はそれぞれ拡大された高輝度、低輝度の限界レベルである。
【００３４】
上記のようにＧ信号のダイナミックレンジが拡大するからＧのレンジが支配的になる緑色の被写体に関しては直接的に効果を発揮し、色再現域が拡大するとともに低輝度部でのＳ／Ｎ向上の結果視覚的な色忠実度も向上する。またＧ信号を主要成分とするＹ（輝度信号）に関しても大きな効果があり、上記ハイライト、シャドウ部分などの低彩度表現が可能な被写体領域の画質改善に極めて有効である。
【００３５】
さらには、従来輝度感度を高くするために色フィルタの分光特性曲線のいわゆるすそ野を広く設定せざるを得ず、すそ野の重なりが大きくなるため色再現が悪くなりがちであったが、Ｇのレンジに余裕があるため従来よりも設定自由度が上がりすそ野の重なりを最適化して色再現を改善することができる。
【００３６】
一方、上記項目（１）▲２▼（▲２▼−ｂ）又は項目（２）▲２▼（▲２▼−ｂ）は「ＬＧ、ＤＧいずれの撮像レンジも逸脱している場合は、本来の画素の情報をそのまま（ゲイン調節は行ない）使用する」ことを意味している。従って、拡大された総合レンジをも逸脱する被写体に対しては再び本来の高解像度が得られることになる。これは通常の被写体に対しては特に効果は無いが、完全な白黒パターン例えば解像度チャートなどの特殊な絵柄に対して解像度が低下する不具合を防止するものである。
【００３７】
なお、上記において、ＬＧの透過率は従来のＧの２倍としたが（以下これを「第１実施例」とする。）、この他にも様々な実施例が考えられる。
【００３８】
従来のＧフィルタのピーク波長における透過率が５０％以上の場合は、上記第１実施例は実現不可能である。この問題に対する解決を示すために仮想的に従来のＧのピーク波長透過率が１００％であった場合を想定して、以下の２つの実施例を挙げておく。
【００３９】
第２実施例はＬＧを従来のＧと同じ透過率とし、ＤＧを１／４の透過率とするものである。この場合Ｇ信号の撮像レンジは高輝度側にのみ２ＥＶ拡大することになる。
なお、この場合、ゲイン補正の数値も対応して変えることはいうまでもない。この点については以下に述べる例でも同じである。
【００４０】
第３実施例は上記第２実施例に加えてＲおよびＢの透過率を従来のＲおよびＢの１／２とするものである。この場合、撮像レンジは上記第１実施例と同様になり、全体の感度が１／２になる。
【００４１】
上記実施例１，２，３に従って、Ｇのピーク波長透過率に関してこれら実施例の中間の値はもちろん、任意の値に対して本発明を自明的容易に適用することができる。また、上記第２実施例と上記第３実施例に従って、ＲおよびＢの透過率設定に関しても、これら２例の中間の値はもちろん任意の値に対して本発明を自明的容易に適用することができる。
【００４２】
一方、これらとは異なる観点からの第４実施例として、上記第１実施例におけるＬＬのレベル設定を下げて、よりノイズレベルＮＬに近付けた値あるいは等しい値にすることが挙げられる。この場合、上記第１実施例に比較して一部の輝度域でＳ／Ｎの劣化等の画質劣化が生じるが、より共通輝度域すなわち高解像度領域が広くなる。なお、この際のＬＬの設定値を図３の特性曲線の下方の非直線部分にまで下げた時は一部の輝度域ではＳ／Ｎの劣化に加えてＬＧ画素とＤＧ画素にレベル差を生じ新たな画質劣化要因となるが、これはこの領域のＤＧ画素情報信号に対して特性曲線の非直線性を考慮したゲイン補正を施せば取り除ける。
【００４３】
また、上記全ての実施例に関して透過率等の数字はあくまでも一例であり、必要に応じて任意に変更し得ることは言うまでもなく、それによってレンジの拡大効果と一部輝度域に対する解像度低下のトレードオフをはかることができる。またフィルタもＲＧＢフィルタのみに限ること無く任意の３色フィルタ系例えば補色フィルタにも応用できる。すなわち、４色構成を基本としたものは別にして、例えばＹｅ・Ｍｇ・Ｃｙ３色補色フィルタにいずれか１色と同色異透過率の第４フィルタを加えた構成としても良い。
【００４４】
さらに、フィルタを使用せず、ＣＣＤ自体の素子構造で分光特性を異ならしめ、色コーディングを施したものであっても良い。また、単位配列の中の配置も基本的には任意の配置を採り得る。上記説明がベイヤ配列を基本にした理由はそれが優れた従来の代表的な一例であるからであるが、本発明の「３色フィルタに同色異透過率の第４フィルタを加えてレンジ拡大をはかる手法」自体はそれを適用する基本の３色フィルタの（２×２基本配列における）任意の配列に対して有効なことは上記説明から明らかである。
【００４５】
【発明の効果】
上記したように、本発明によれば従来と同等の撮像素子を用いつつ、かつ従来のベイヤ配列の持つ色再現が良く解像度が高いという特徴を基本的に有したまま撮像レンジを飛躍的に向上した高画質な撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の撮像装置の全体の構成を示すブロック図
【図２】本発明の撮像素子のフィルタ配列を示す図
【図３】本発明の撮像素子のＬＧ，ＤＧ画素の特性曲線
【図４】本発明の撮像装置のＧ信号に関する総合特性曲線
【図５】従来の撮像素子のフィルタ配列を示す図
【図６】従来の撮像素子の特性曲線
【符号の説明】
１０１・・・・撮影レンズ系
１０２・・・・撮影レンズ駆動機構
１０３・・・・露出制御機構
１０４・・・・フィルタ系
１０５・・・・撮像素子（ＣＣＤ）
１０６・・・・ＣＣＤドライバ
１０７・・・・プリプロセス
１０８・・・・ディジタルプロセス
１０９・・・・カードインターフェース
１１０・・・・メモリカード
１１１・・・・ＬＣＤ画像表示系
１１２・・・・システムコントローラ
１１３・・・・操作スイッチ系
１１４・・・・操作表示系
１１５・・・・ストロボ
１１６・・・・レンズドライバ
１１７・・・・露出制御ドライバ

Claims

２×２の４画素配列を単位配列とする２次元の周期配列として構成された撮像画素配列を有し、上記単位配列を構成する第１〜第４の４画素のうち第１〜第３画素は相異なる３つの相対分光感度特性を有し、上記第４画素は上記第１の画素と絶対感度が異なる同一の相対分光感度特性を有したものであることを特徴とする撮像素子と、
該撮像素子の上記第１〜第４の各画素に対応して得られる第１〜第４の各画素情報信号に基づいて所定の態様の映像信号を生成する映像信号生成手段とを有してなり、
上記撮像素子の上記第１の画素と第４の画素の相異なる絶対感度は、上記第１の画素情報信号の有効輝度域と上記第４の画素情報信号の有効輝度域とが共通領域を有するように設定されたものであり、
上記映像信号生成手段は、上記第１、第４の各画素情報信号の処理に際して有効輝度域からの逸脱が生じておりかつ隣接する第４、第１の各画素情報信号が逸脱を生じていない場合には、上記隣接する第４、第１の各画素情報信号によって補完し、上記第１、第４の各画素情報信号の処理に際して有効輝度域からの逸脱が生じていても、隣接する第４、第１の各画素情報信号が逸脱を生じている場合には、当該補完を行なわないように構成された画素情報補完手段を有したものであることを特徴とする撮像装置。
上記映像信号生成手段は、上記第１の画素情報信号と第４の画素情報信号の同一輝度被写体に対する信号レベル差を補償するレベル補償手段を有したものであることを特徴とする請求項１に記載の撮像装置。
上記第１画素と上記第４画素は上記単位配列の対角位置に配置されたものであることを特徴とする請求項１に記載の撮像装置。
上記第１〜第４の画素の有する相異なる３つの相対分光感度特性は、加色混合の３原色ＲＧＢであり、第１および第４の画素の相対分光感度特性はＧであることを特徴とする請求項１に記載の撮像装置。