JP5419659B2

JP5419659B2 - 撮像装置

Info

Publication number: JP5419659B2
Application number: JP2009276703A
Authority: JP
Inventors: 武大屋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-04
Filing date: 2009-12-04
Publication date: 2014-02-19
Anticipated expiration: 2029-12-04
Also published as: US8614748B2; JP2011120087A; US20110134267A1

Description

本発明は、撮像装置に関する。

撮像装置では、Ｓ／Ｎの改善やダイナミックレンジの拡大が求められている。それを実現する一つの方法として、特許文献１に開示されているような方法がある。この方法では、アナログ信号の大きさに応じて、ＡＤ変換前にかけるゲインを切り替えている。小さなアナログ信号には大きなゲインをかけることで、その後に加わるノイズの影響を相対的に小さくし、その結果Ｓ／Ｎの改善を実現している。撮像装置においては、画像読み出し後に種々の画像処理を行う画像処理部がある。例えば、特許文献１の撮像装置の場合は、ノイズキャンセラ＋ゲインミスマッチ回路の後段に接続されることになる。画像処理部において、ゲイン補正やシェーディング補正等の処理をする場合に、各画素データがどのゲインで読み出されたかという情報が必要になる場合がある。特許文献１においては、同文献の図１、図１０に示されるように、ＡＤ変換前にかけたゲイン情報については、出力データＮビットと別に、Ｍビットの信号として後段に出力している。

特開２００４−１５７０１号公報

しかしながら、特許文献１のように画像データとゲイン情報を別々に後段に出力することは、出力線数の増加・システムの煩雑化につながる。

本発明の目的は、簡素な構成で、ダイナミックレンジを拡大し、増幅部のゲインに応じて信号処理を行うことができる撮像装置を提供することである。

本発明の撮像装置は、光電変換により画素信号を生成する一の画素と、前記一の画素により生成された画素信号に対して複数のゲインで増幅し、前記複数のゲインに対応する複数の画素信号を出力する増幅部と、前記増幅部により出力された画素信号の大きさに応じて、前記増幅部により出力された複数の画素信号のうちの１つを選択し、前記選択した画素信号に基づく信号を出力する合成部と、前記合成部により選択された画素信号に対応する前記増幅部のゲインに応じて、前記合成部により出力された信号に対して信号処理する信号処理部とを有し、前記合成部は、前記増幅部により出力された画素信号と閾値とを比較し、前記比較の結果に応じて前記選択を行い、前記信号処理部は、前記合成部により出力された信号及び前記閾値を比較し、前記比較の結果を前記増幅部のゲインの情報として、前記増幅部のゲインに応じて、前記合成部により出力された信号に対して信号処理することを特徴とする。

本発明によれば、ダイナミックレンジを拡大することができ、簡素な構成で、増幅部のゲインに応じて信号処理を行うことができる。

本発明の第１の実施形態による撮像装置のブロック図である。ダイナミックレンジを拡大する動作を説明する図である。固体撮像素子の内部構成の一例を示す図である。列合成部の動作方式の一例を示す図である。列合成部の動作方式の一例を示す図である。列合成部の動作方式の一例を示す図である。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。光学部１１０を通って入射した被写体光は、画素部１２１上に結像される。画素部１２１は、例えば画素が２次元行列状に配置されており、入射した被写体光が結像されると、各画素により被写体光が電気信号（画素信号）に変換されて画像が撮像される。画素部１２１の各画素で変換された画像信号は、列増幅部１２２によって複数のゲインで増幅される。列増幅部１２２は、複数のゲインに対応する複数の画素信号を出力する。列増幅部１２２からのゲインの異なる複数の出力が、ＡＤ変換部１２３でアナログデジタル（ＡＤ）変換され、さらに合成部１２４で合成される。合成部１２４は、入力した画素信号の大きさに応じて、入力した複数の画素信号のうちの１つを選択し、選択した画素信号に基づく信号を出力する。合成の方法については後述する。信号処理部１３０は、合成部１２４により選択された画素信号に対応する列増幅部１２２のゲインに応じて、合成部１２４により出力された信号に対して、予め決められた方法によって信号処理を行う。そして、信号処理部１３０で信号処理された画像信号は、記録・通信部１４０によって記録媒体への記録や外部装置への出力が行われたり、あるいは、再生・表示部１５０に直接出力されて再生や表示がなされたりする。また、記録・通信部１４０によって記録媒体に記録された画像信号は、必要に応じて、再生・表示部１５０に出力されて再生や表示がなされる。

タイミング制御部１６０は、システムコントロール部１７０による制御に基づき、光学部１１０、画素部１２１、列増幅部１２２、ＡＤ変換部１２３、合成部１２４、及び信号処理部１３０の駆動タイミングを制御する。システムコントロール部１７０は、撮像装置１００の動作を統括的に制御するものであり、記録・通信部１４０、再生・表示部１５０、及びタイミング制御部１６０の各構成部を制御する。また、システムコントロール部１７０は、タイミング制御部１６０を通じて、光学部１１０、画素部１２１、列増幅部１２２、ＡＤ変換部１２３、合成部１２４、及び信号処理部１３０の駆動を制御する。フラグ生成部１８０は、合成部１２４で用いられた元データを特定するためのフラグを生成し、信号処理部１３０に出力する。フラグの付け方の詳細は、後述する。信号処理部１３０はそのフラグ情報により元データを判断し、信号処理をする。なお、ここでは、フラグ生成部１８０が合成部１２４の内部にある例を示しているが、この限りでなく、例えばタイミング制御部１６０やシステムコントロール部１７０内にある場合や、独立してある場合も考えられる。

ダイナミックレンジを拡大するための原理及び合成部１２４の基本動作について説明する。本実施形態では、同一の画素データを複数のゲインで列増幅部１２２から読み出し、合成部１２４にて合成する。なお、以下では簡単のため×１と×８のゲインで増幅された信号を合成する場合を例にするが、この限りでなく、ゲインの組み合わせは例えば×１と×１６、×２と×１６等、他の組み合わせであってもよい。また、以下では列増幅部１２２のゲインは固定として書いているが、当然、列増幅部１２２は可変でもよい。また合成するゲインの組み合わせは２組に限らず、３組以上でもよい。

図２は、画素部１２１の画素に入射される光量Ｉと、列増幅部１２２から出力されるデータＶの関係をグラフにしたものである。ゲインが×１のときのデータと、ゲインが×８の時のデータを示してある。ゲインが×１のデータは、光量Ｉｓａｔで飽和出力Ｖｓａｔに達する。一方、ゲインが×８のデータは、その１／８の光量Ｉｓａｔ／８で飽和出力Ｖｓａｔに達する。この方法では、列増幅部１２２はゲインが×１とゲインが×８の２種類のデータを出力する。その２種類のデータはＡＤ変換部１２３によりＡＤ変換され、合成部１２４に伝えられる。合成部１２４では、図２のグラフ下に示すように、例えば×８のデータが飽和していない場合には、×８のデータを１／８倍したデータを出力データとして採用する。それ以外の場合には、×１のデータを出力データとして採用する。

このときのノイズ、及びダイナミックレンジについて説明する。信号には、画素部１２１から列増幅部１２２の手前までに画素ノイズｎが、列増幅部１２２からＡＤ変換部１２３の手前までに出力ノイズＮが加重される。ゲインが×１のときの画素ノイズｎを“ｎ１”とすると、ゲインが×８のときの画素ノイズｎはその８倍の“８×ｎ１”である。一方、出力ノイズＮはゲインの影響を受けないため、ゲインが×１でも×８でも同等である。この出力ノイズＮを“Ｎ０”とする。ゲインが×１のときの全ノイズは“ｎ１＋Ｎ０”であり、ゲインが×８のときの全ノイズは“８×ｎ１＋Ｎ０”である。ここで、‘＋’はノイズの和を表しており、２乗和の平方根を表す。以下の記述も同様である。

ゲインが×８のデータを１／８にすると、ノイズも１／８となる。よって、ゲインが×８のデータを１／８倍したときの全ノイズは“ｎ１＋Ｎ０／８”となり、ゲインが×１の場合にくらべて、出力ノイズＮの影響が１／８に減少する。つまり、前述のように合成部１２４によって合成されたデータは、×１のデータに対して出力ノイズＮの影響が１／８になっている。一方、飽和出力はＶｓａｔで変わらないので、“飽和出力／全ノイズ”を指標として表されるダイナミックレンジは大きくなる。

図３は、固体撮像素子１２０の内部構成の一例を示す図である。図３を用いて固体撮像素子１２０の動作を簡単に説明する。以下では固体撮像素子１２０がＣＭＯＳセンサの場合を例に説明するが、この限りでなく、固体撮像素子１２０がＣＣＤセンサであってもよい。また、ここでは、画素部１２１、列増幅部１２２、ＡＤ変換部１２３、及び合成部１２４が、１つの固体撮像素子１２０の中にある場合を例に説明する。しかしながら、この限りでなく、例えば固体撮像素子１２０内には画素部１２１と列増幅部１２２があり、ＡＤ変換部１２３以降は固体撮像素子１２０外にあってもよい。

画素部１２１には、画素１２１１が２次元マトリクス状に配列されている。画素１２１１は、光電変換により画素信号を生成する。垂直走査回路１２５の動作に応じて水平選択線ＨＬの出力が定まり、水平方向の画素１２１１の行が順次選択される。選択された画素１２１１の行のデータが、垂直信号線ＶＬを介して、列増幅部１２２内の列アンプ１２２１に伝えられる。列アンプ１２２１は、各列に対してゲインが×１倍のもの、ゲインが×８倍のものの２つが配置されている。列アンプ１２１１により×１倍及び×８倍されたデータは、ＡＤ変換部１２３内の列ＡＤ変換部１２３１によりＡＤ変換される。以下では１２ビットのＡＤ変換が行われるものとするが、その他のビット数のＡＤ変換でもよく、またゲインごとに異なるビット数でもよい。その後、２種類のゲインのデータが、合成部１２４内の列合成部１２４１により合成される。合成後のデータは信号保持部１２６に一時保持され、水平走査回路１２７の動作に応じて一画素データずつ、固体撮像素子１２０の外部へ出力される。

図４は、本発明の第１の実施形態による列合成部１２４１の動作を表す図である。列合成部１２４１は、列ＡＤ変換部１２３１より、ゲインが×１倍の１２ビットデータ（画素信号）と、ゲインが×８倍の１２ビットデータ（画素信号）を入力する。列合成部１２４１は、ゲインが×１倍の１２ビットデータを左に３ビットシフト、つまり８倍して、１５ビットデータとする。これによりゲインが×８倍のデータと、光量対出力の傾きが揃うことになる。ゲインが×８倍のデータには、上位の左側に‘０’を３ビット追加し、こちらも１５ビットとする。ゲインが×８倍のデータの出力レベルを判定し、判定閾値より小さいレベルであれば、セレクタは元データのゲインが×８倍のデータを採用し、判定閾値以上のレベルであれば、セレクタは元データのゲインが×１倍のデータを採用するように動作する。判定閾値とは、例えば１２ビットの最大値４０９５の９割に相当する３６８５、等といったように、システムによってあらかじめ定められたレベルである。すなわち、列合成部１２４１は、入力された複数のデータが同じゲインのデータになるようにビットシフトにより正規化し、正規化された複数のデータのうちの１つを選択して出力する。

セレクタのデータ出力は１５ビットである。列合成部１２４は、セレクタで選択されたデータの上位ビット（１ビット）として、セレクタがどちらのデータを採用したかを示すフラグを付加し、データとフラグを同一配線で信号処理部１３０に出力する。これにより、簡素な構成の撮像装置１００を実現することができる。例えばフラグが０であれば元データのゲインは×１倍であり、フラグが１であれば元データのゲインは×８倍である、といったように定める。列合成部１２４は、ゲインが×８のデータの大きさに応じて、セレクタで選択するデータに対応するゲインのフラグ（情報）を付加する。すなわち、ゲインが×８のデータが判定閾値より小さければ１のフラグを付加し、判定閾値以上であれば０のフラグを付加する。後段の信号処理部１３０は、このフラグを観測することにより元データを判別することができる。例えば、信号処理部１３０は、フラグに応じて、ゲイン補正やシェーディング補正等の信号処理を行う。なお、ここに示した列合成部１２４１の方式は一例であり、合成方式や判定閾値、フラグの付け方等はこの限りでない。例えば、フラグは、必ずしもデータの上位ビット側に付加する必要はなく、下位ビット側等に付加してもよい。

（第２の実施形態）
図５は、本発明の第２の実施形態による列合成部１２４１の動作を表す図である。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態の基本的な合成動作は第１の実施形態の場合と同様である。判定閾値とフラグのみが異なる。本実施形態では、１２ビットの最大値４０９５を判定閾値とし、合成後のデータの１５ビット中の上位３ビットをフラグとして利用する。元データのゲインが×８倍の場合、上位３ビットは必ず新たに付加された“０００”である。また判定閾値はゲインが×８倍の場合で４０９５であり、これはゲインが×１倍の場合の５１２に相当する（４０９５／８）。ゲインが×１倍のデータは左３ビットシフト、つまり８倍されるので、セレクタへの入力は４０９６以上になる。つまり元データのゲインが×１倍の場合は、上位３ビットは必ず“０００”以外となる。以上より、上位ビット（３ビット）をフラグ（ゲインの情報）として用い、後段の信号処理部１３０は、上位３ビットが“０００”以外であれば元データのゲインは×１倍、“０００”であれば元データのゲインは×８倍と判断することができる。なお、フラグに用いる‘０’のビットは、データのうちの複数のゲインの倍率差に相当するビット数の上位ビットを用いることが有効である（本実施形態の場合、８倍＝３ビット）。また、フラグは、必ずしもデータの上位ビット側に付加する必要はなく、下位ビット側等に付加してもよい。

（第３の実施形態）
図６は、本発明の第３の実施形態による列合成部１２４１の動作を表す図である。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態の基本的な合成方法は、第１の実施形態の場合と同様である。本実施形態ではフラグを用いず、全画素データに先立ち、判定閾値を合成部１２４から信号処理部１３０に出力する。これにより、信号処理部１３０では、その後に出てくる各画素データと、判定閾値とを比べることで、画素データが判定閾値以上であれば元データのゲインは×１倍、画素データが判定閾値より小さければ元データのゲインは×８倍と判断できる。すなわち、列合成部１２４１は、ゲインが×８のデータと判定閾値とを比較し、その比較の結果に応じてセレクタで選択を行う。そして、合成部１２４は、先立って、判定閾値を信号処理部１３０に出力する。信号処理部１３０は、合成部１２４により出力されたデータ及び判定閾値を比較し、その比較の結果を列増幅部１２２のゲインの情報として、列増幅部１２２のゲインに応じて、合成部１２４により出力されたデータに対して信号処理する。なお、上記では全画素データの前のヘッダ情報として判定閾値を出力するとしたが、出力するタイミングはこの限りではない。また、他の例として、図１のシステムコントロール部１７０から、タイミング制御部１６０を介して、合成部１２４と信号処理部１３０の両方に判定閾値の情報を出力する方法もある。この方法でも、判定閾値を合成部１２４と信号処理部１３０で共有できるので、信号処理部１３０による元データのゲインの判別が可能となる。また、信号処理部１３０が合成部１２４に対して判定閾値を出力して指定する方法もある。

（第４の実施形態）
上記の第２の実施形態及び第３の実施形態では、ゲインが×１倍とゲインが×８倍の倍率差が、ぴったり８倍の場合を想定している。実際にはゲインは誤差を持ち、８倍からずれる可能性が大きい。本発明の第４の実施形態は、ゲイン誤差がある場合の解決策を示すものである。本発明の第４の実施形態の説明にも図６を用いる。例えば、列アンプ１２２１のゲインの×８倍の実際値が、設計値（設定値）に対して±２％ばらつくとする。このときゲインの設計値が×８倍だと、最大で実際値は×８．１６倍となる。実際のゲインが×８．１６倍のとき、×８倍の方のデータが３６９０であった場合を考える。判定閾値以上なので、×１倍のデータが採用される。このとき、×１倍のデータは、×８倍のデータの“１／実ゲイン”の出力が、３ビットシフトで８倍されるので、（３６９０）／（８．１６）×８＝３６１８である。これは判定閾値３６８５よりも小さい。よって後段の信号処理部１３０は、元データを×８倍データだと判断してしまう。

このように、ゲインが×８倍を超えると、「合成部１２４から出力されるデータは判定閾値以下にも関わらず、元データが×１倍」という状況が発生してしまい、信号処理部１３０は正しく元データのゲインを判定できない。このようなことを避けるため、本実施形態では、例えば設計値を×７．８倍とし、±２％誤差で最大×７．９６倍とすることで、最大でも×８倍を超えないように設定する。これにより、×１倍のデータは必ず判定閾値を下回らないようにできる。なお、ここに挙げた数字は一例である。一般的には、列増幅部１２２の２つのゲインの設定値ａｉ及びｂｉに対し、その２つのゲインの実際値がａｒ及びｂｒである場合、ａｉ＞ｂｉであるとき、ａｒ＜ｂｒ×ａｉ／ｂｉの関係が成立するようにすればよい。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００撮像装置、１１０光学部、１２０固体撮像素子、１３０信号処理部、１４０記録・通信部、１５０再生・表示部、１６０タイミング制御部、１７０システムコントロール部、１８０フラグ生成部

Claims

光電変換により画素信号を生成する一の画素と、
前記一の画素により生成された画素信号に対して複数のゲインで増幅し、前記複数のゲインに対応する複数の画素信号を出力する増幅部と、
前記増幅部により出力された画素信号の大きさに応じて、前記増幅部により出力された複数の画素信号のうちの１つを選択し、前記選択した画素信号に基づく信号を出力する合成部と、
前記合成部により選択された画素信号に対応する前記増幅部のゲインに応じて、前記合成部により出力された信号に対して信号処理する信号処理部と
を有し、
前記合成部は、前記増幅部により出力された画素信号と閾値とを比較し、前記比較の結果に応じて前記選択を行い、
前記信号処理部は、前記合成部により出力された信号及び前記閾値を比較し、前記比較の結果を前記増幅部のゲインの情報として、前記増幅部のゲインに応じて、前記合成部により出力された信号に対して信号処理することを特徴とする撮像装置。
前記合成部は、前記選択した画素信号に基づく信号に前記増幅部のゲインの情報を付加して前記信号処理部に出力することを特徴とする請求項１記載の撮像装置。
前記信号処理部は、前記合成部により出力された信号に含まれる前記増幅部のゲインの情報に応じて、前記合成部により出力された信号に対して信号処理することを特徴とする請求項１記載の撮像装置。
前記増幅部のゲインの情報は、前記合成部により出力された信号のうちの前記複数のゲインの倍率差に相当するビット数であることを特徴とする請求項３記載の撮像装置。
前記合成部は、前記閾値を前記信号処理部に出力することを特徴とする請求項１記載の撮像装置。
前記信号処理部は、前記閾値を前記合成部に出力することを特徴とする請求項１記載の撮像装置。
さらに、前記閾値を前記合成部及び前記信号処理部に出力するコントロール部を有することを特徴とする請求項１記載の撮像装置。
前記増幅部の２つのゲインの設定値ａｉ及びｂｉに対し、前記２つのゲインの実際値がａｒ及びｂｒである場合、ａｉ＞ｂｉであるとき、ａｒ＜ｂｒ×ａｉ／ｂｉの関係が成立することを特徴とする請求項３〜７のいずれか１項に記載の撮像装置。
前記画素が行列状に複数設けられ、
前記増幅部が前記画素の各列に対応して複数設けられ、
さらに、前記複数の増幅部に対応して設けられ、前記複数の増幅部により出力される画素信号をアナログデジタル変換する複数のアナログデジタル変換部を有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
前記合成部は、前記増幅部により出力された複数の画素信号が同じゲインの信号になるようにビットシフトにより正規化し、前記正規化された複数の画素信号のうちの１つを選択して出力することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。