JP4958602B2

JP4958602B2 - 撮像装置及びその画像合成方法

Info

Publication number: JP4958602B2
Application number: JP2007094675A
Authority: JP
Inventors: 宗之大島; 寛和小林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2012-06-20
Anticipated expiration: 2027-03-30
Also published as: CN101277374A; US20080239129A1; JP2008252790A

Description

本発明は、広ダイナミックレンジの画像を撮像することができる撮像装置及びその画像合成方法に関する。

広ダイナミックレンジの画像を撮像するカメラとして、例えば下記特許文献１記載の従来技術がある。この従来技術では、同一被写体の露出オーバー画像と露出アンダー画像を２枚連続して撮像し、両者を合成することで、画像のダイナミックレンジを広げている。

また、下記特許文献２記載の従来技術では、低感度画素と高感度画素との両方を固体撮像素子に設け、低感度画素が撮像した低感度画像データと、高感度画素が撮像した高感度画像データとを合成することで、画像のダイナミックレンジを広げている。

特開平６―１４１２２９号公報特開昭５９―２１０７７５号公報

近年の固体撮像素子は、画素の微細化が進展しており、一画素あたりの感度、最大飽和信号量が共に低下している。感度低下に関しては表面にマイクロレンズを形成し、一画素あたりの集光効率を向上させることで対処しているが、飽和信号量の向上は感度に比べ困難である。そのため、感度に対して飽和信号量が不足となり、実際の撮影では各画素が容易に飽和領域に達してしまい、適切な階調を持った画像を得ることができない。

また異なる露出の画像を合成し、ダイナミックレンジを拡大する場合においては、露出オーバー画像の露光量を増加させ、露出アンダー画像の露光量を下げる必要がある。特に露光量を増加させる際にはシャッタスピードが遅くなり、フレームレートの低下や被写体ブレの要因となる。

また、１画素１画素が微細なため、これを低感度画素と高感度画素とに分割するのも困難になっている。

本発明の目的は、感度に対して飽和出力信号量が小さな固体撮像素子でも広ダイナミックレンジの画像を撮像することができる撮像装置及びその画像合成方法を提供することにある。

本発明の撮像装置は、入射光量に応じた信号電荷を蓄積する複数の画素が二次元アレイ状に配列形成された固体撮像素子を備える撮像装置において、
一回の露光により前記の各画素に夫々蓄積される信号電荷のうちの夫々の一部の電荷を第１の読出パルスで読み出して前記固体撮像素子から第１の撮像画像信号として出力させると共に第２の読出パルスで残りの電荷を読み出して前記固体撮像素子から第２の撮像画像信号として出力させるに際し、前記一部の電荷を第１所定増倍率で電子増倍して前記第１の撮像画像信号を出力させ、前記残りの電荷を第２所定増倍率で電子増倍して前記第２の撮像画像信号を出力させる駆動手段を備えると共に、
前記信号電荷に対する前記一部の電荷の割合の、各画素毎のバラツキ量で、前記撮像画像信号をデータ補正する制御手段を備えることを特徴とする。

本発明の撮像装置の前記バラツキ量は、前記固体撮像素子の検査時に求めておくことを特徴とする。

本発明の撮像装置は、前記第１所定増倍率と前記第２所定増倍率の少なくとも一方が増倍率＝１であることを特徴とする。

本発明の撮像装置は、前記電子増倍を、前記画素から前記電荷を読み出すときに行うことを特徴とする。

本発明の撮像装置は、前記固体撮像素子が垂直電荷転送路を備える固体撮像素子であり、前記電子増倍を該垂直電荷転送路上で行うことを特徴とする。

本発明の撮像装置は、前記垂直電荷転送路の転送停止中に、該垂直電荷転送路の所定転送電極下に電子増倍用電位井戸を繰り返し形成し、該垂直電荷転送路に前記画素から読み出した前記電荷を前記電子増倍用電位井戸に繰り返し落とすことで前記電子増倍を行うことを特徴とする。

本発明の撮像装置は、前記固体撮像素子が水平電荷転送路と該水平電荷転送路の出力段部に連続して設けられた電子増倍転送路とを備え、該電子増倍転送路で前記電子増倍を行うことを特徴とする。

本発明の撮像装置は、前記電荷を前記電子増倍転送路で転送する毎に前記電子増倍を行ことを特徴とする。

本発明の撮像装置は、前記電子増倍転送路が少なくとも第１分岐部と第２分岐部とに２分岐され、前記第１の撮像画像信号が前記第１分岐部を通して出力され、前記第２の撮像画像信号が前記第２分岐部を通して出力されることを特徴とする。

本発明の撮像装置は、前記固体撮像素子から出力された前記第１の撮像画像信号と前記第２の撮像画像信号とを合成する合成手段を備えることを特徴とする。

本発明の撮像装置は、前記合成後の撮像画像信号のダイナミックレンジ拡大の有無または幅を指示入力する操作部と、該操作部から指示入力されたダイナミックレンジ拡大の有無または幅を実現する前記第１所定増倍率と前記第２所定増倍率との関係を制御する増倍制御手段とを備えることを特徴とする。

本発明の撮像装置の前記増倍制御手段は、電子増倍用パルスの電圧振幅，該電子増倍用パルスのパルス幅、該電子増倍用パルスのパルス繰り返し数の少なくとも１つを制御することを特徴とする。

本発明の撮像装置は、前記第１，第２の撮像画像信号を前記固体撮像素子から読み出すときの電子増倍の増倍率に応じて後段処理で行うゲイン設定を制御するゲイン調整手段を備えることを特徴とする。

本発明の撮像装置の画像合成方法は、固体撮像素子と上記記載の駆動手段とを備える撮像装置の画像合成方法において、前記固体撮像素子から出力された前記第１の撮像画像信号と前記第２の撮像画像信号とを別々に画像処理し、画像処理後の前記第１の撮像画像信号と前記第２の撮像画像信号とを加算することで合成することを特徴とする。

本発明の撮像装置の画像合成方法は、前記画像処理のうち信号レベルに応じた重み付けを行うガンマ補正の補正量を、第１の撮像画像信号に対する補正量と、前記第２の撮像画像信号に対する補正量で異ならせることを特徴とする。

本発明によれば、電子増倍率の高い被写体の撮像画像信号と、電子増倍率の低い被写体の撮像画像信号とを合成するため、露出オーバー画像を撮像する際に露光量を増加させなくても、撮像素子内で信号量を増幅させ、所望の露出オーバー画像が得られるため、シャッタスピードを短縮でき、フレームレート低下や被写体ブレを抑制できる。また、ノイズが付与される前に撮像素子内部で信号増幅を行うため、信号成分のみが増幅され、後段でゲインをかける処理に対してＳ／Ｎが良好な広ダイナミックレンジの被写体画像を撮像することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の第１実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、固体撮像素子１を備える。図示する固体撮像素子１は、インターライントランスファー型のＣＣＤ固体撮像素子であり、半導体基板表面に二次元アレイ状に形成された複数のフォトダイオード（画素）２と、各フォトダイオード列に沿って形成された垂直電荷転送路（ＶＣＣＤ）３と、各垂直電荷転送路３の端部に沿って設けられた水平電荷転送路（ＨＣＣＤ）４と、水平電荷転送路４の出力端部に設けられ信号電荷量に応じた電圧値信号を出力するアンプ５とを備える。

以下、このインターライントランスファー型のＣＣＤ固体撮像素子を例に説明するが、フルフレームトランスファー型等の他の形式の固体撮像素子にも本発明を同様に適用可能である。

デジタルカメラは、カメラ全体を統括制御する演算処理装置（ＣＰＵ）１１と、ＣＰＵ１１からの指示よって各種駆動タイミング信号を生成するタイミングジェネレータ（ＴＧ）１２と、タイミングジェネレータ１２からのタイミング信号によって駆動パルスを生成し出力する各種ドライバ回路１３，１４，１５，１６と、アンプ５から出力されるアナログの撮像画像信号を処理するアナログフロントエンド（ＡＦＥ）回路１７と、詳細は後述する様にしてデジタルの撮像画像信号を一時的に保存するメインメモリ１８とを備える。

ＯＦＤパルスドライバ１３はオーバーフロードレイン（ＯＦＤ）パルスを生成して固体撮像素子１に印加し、Ｖ（垂直）ドライバ１４は、垂直電荷転送路３に対して読出パルスや転送パルス、詳細は後述する電子増倍パルスを印加し、Ｈ（水平）ドライバ１５は、水平電荷転送路４に対して転送パルスを印加し、ＲＳ（リセット）パルスドライバ１６は、水平電荷転送路４の出力段にリセットパルスを印加する。

ＡＦＥ回路１７は、固体撮像素子１から出力されたアナログの撮像画像信号に対し相関二重サンプリング処理や利得制御（ＧＡＩＮ）処理、アナログデジタル変換（Ａ／Ｄ）処理を施してデジタルの撮像画像信号を生成し、これをメモリ１８に一時的に格納する。

図示するデジタルカメラは更に、デジタルシグナルプロセッサ（ＤＳＰ）で構成される信号処理部２１と、詳細は後述する電子増倍制御部２２と、撮像画像信号をＪＰＥＧ形式等の画像データに圧縮したり逆に伸長したりする圧縮伸長回路２３と、撮像画像信号を記録メディア２４に書き込んだり読み出したりするメディアインタフェース部２５と、これら及びメモリ１８，ＣＰＵ１１を相互に接続するバス２７と、ＣＰＵ１１に対してユーザが指示入力を行う操作部２８とを備える。操作部２８には、撮像画像のダイナミックレンジ拡大の有無または幅を指示入力するＲ／Ｄ設定部２８ａが設けられている。

信号処理部２１は、ガンマ補正部２１ａ，ＡＥ／ＡＦ演算部２１ｂ，ＡＷＢ演算部２１ｃ，合成演算部２１ｄ，ゲイン制御部２１ｅ，輝度・色差処理部２１ｆを備える。

図２は、図１に示すデジタルカメラで被写体画像を撮像するときのタイミングチャートである。撮像処理は、垂直同期信号ＶＤ，水平同期信号ＨＤに従って行われ、ＯＦＤパルス３１の印加が終了した時点ａからメカニカルシャッタが閉じる時点ｂまでの間が露光期間となり、この露光期間に、各フォトダイオード２が露光量に応じた信号電荷（多くの場合、電子）を蓄積する。

ユーザが図１の操作部２８からダイナミックレンジ拡大指示を入力している場合には、電子増倍制御部２２がダイナミックレンジ拡大指示を示すＩＥ制御信号３２を出力しており、以後の固体撮像素子の駆動制御がこの指示の基で行われる。

先ず、メカニカルシャッタ閉のタイミングｂから垂直電荷転送路３，水平電荷転送路４の高速掃き出し処理３３が行われ、次に読み出しパルス３４が読出電極に印加される。

このとき、読出パルス３４のパルス幅および／または振幅が制御され、個々のフォトダイオード２の蓄積電荷の５０％を垂直電荷転送路３に読み出す。図３は、フォトダイオード２から垂直電荷転送路３に信号電荷を読み出すときの説明図である。フォトダイオード２には信号電荷が蓄積されており、読出ゲート３５に読出パルス３４が印加されると、読出ゲート３５に近い方に印加される電界が強いため、読出ゲート３５に近い方の信号電荷３６から順に垂直電荷転送路３に流れ込むことになる。

このため、読出パルス３４のパルス幅を制御したり、振幅を調整し電界制御を行うことで、フォトダイオード２の蓄積電荷の５０％を垂直電荷転送路３に読み出すことができる。尚、同一フォトダイオードの蓄積電荷を複数回に分けて読み出す従来技術に関連するものとして、例えば特開平７―３２２１４７号公報等がある。

読み出す信号電荷量の割合は、５０％である必要はなく、３０％でも４０％でも６０％でも良く、固体撮像素子１の各画素２において所定の同一％（割合）であれば良い。しかし、固体撮像素子１の製造誤差によって同一読出パルスを印加しても各画素における読出％に大きなバラツキが生じることも考えられる。この場合には、製造後の固体撮像素子の検査時に同一照度の光を固体撮像素子１に照射し同一読出パルスで読み出したときの読出％のバラツキ量を求め、これをメモリ等に補正データとして保持しておき後処理でのデータ補正に用いれば良い。

次に、読出パルス３４で読み出した信号電荷を、垂直電荷転送路３、水平電荷転送路４と転送する出力処理３７を行い、出力アンプ５から出力されＡＦＥ回路１８でデジタルの撮像画像データに変換された後、メモリ１８に保存する。以下、説明の都合上、この撮像画像データを「非増倍画像データ」ということにする。

非増倍画像データを固体撮像素子１から出力した後は、再び垂直電荷転送路３，水平電荷転送路４を高速掃き出し処理３８し、次に、垂直電荷転送路３に、電子増倍パルス３９を印加する。これにより、図３のフォトダイオード２に残っている信号電荷４０が垂直電荷転送路３に読み出される。

図４は電子増倍パルスの説明図である。図示する例では、転送電極Ｖ３，Ｖ４下に電位井戸が形成され、電極Ｖ３に電子増倍パルス３９の最初のパルスが印加されたとき、フォトダイオード２の残留信号電荷４０がこの電位井戸内に流れ込む。

通常のＣＣＤ型固体撮像素子では、垂直電荷転送路に信号電荷を読み出した後、この信号電荷を水平電荷転送路方向に転送するのであるが、本実施形態の固体撮像素子では、直ぐに転送を行わず、垂直電荷転送路上で信号電荷の電子増倍を行う。図示する例では、時刻Ｔ３の状態すなわち電極Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６下に保持された信号電荷に対し、電極Ｖ４下に深い電位井戸を時刻Ｔ４で形成する。

例えば、電極Ｖ４に１５Ｖ程度の電圧を印加して深い電位井戸を形成すると、信号電荷はこの電極Ｖ４下の電位井戸内に落ち込み、このとき、アバランシェ効果により電子増倍が起こる。１回の電子増倍率は１％〜２％程度と低くても、電子増倍パルスを１０回〜５０回と繰り返し与えることで、トータルで２倍，３倍の電子増倍率を得ることができる。

尚、垂直電荷転送路上で電子増倍を行う従来技術に関連するものとして、例えば特開２００２―２９０８３６号公報等がある。

電子増倍率は、パルス３９のパルス数を変化させることで制御でき、また、１回の電子増倍率を変えることでも制御できる。１回の電子増倍率は、図４のタイミングＴ４で示す電極Ｖ４下に形成される電位井戸の深さすなわちパルス振幅によって制御でき、また、パルス幅（タイミングＴ４の状態を保つ時間幅）によっても制御できる。

信号電荷の電子増倍を行った後は、この信号電荷を、垂直電荷転送路３、水平電荷転送路４と転送する出力処理４１を行い、出力アンプ５から出力されＡＦＥ回路１８でデジタルの撮像画像データに変換された後、メモリ１８に、非増倍画像データとは別に、増倍画像データとして保存する。

図１の信号処理部２１は、図５に示す様に、非増倍画像データと増倍画像データとを夫々画像処理し、加算することで合成し、ダイナミックレンジを拡大した撮像画像データを生成する。

この図５の処理では、増倍画像データと非増倍画像データの夫々に対してオフセット処理４３ａ，４３ｂを行い、次に、ゲイン調整４４ａ，４４ｂを行い、次に、リニアマトリクス処理４５ａ，４５ｂを行い、ホワイトバランス処理４６ａ，４６ｂを行い、γ補正処理４７ａ，４７ｂ（増倍画像データと非増倍画像データとに夫々異なるγの値を適用する。）を行い、次に階調処理４８ａ，４８ｂを行い、最後に両者を加算器４９で加算することで合成する。

そして、合成した画像データから圧縮伸長回路２３がＪＰＥＧ画像データを生成し、これを記録メディア２４に書き込む。尚、増倍画像データと非増倍画像データとをそのまま記録メディア２４にＲＡＷデータとして記録し、ユーザがパーソナルコンピュータ等で合成ソフトを用い、前記の補正データで補正しながら合成することも可能である。

合成された画像データのダイナミックレンジの幅は、合成する増倍画像データの電子増倍率や１回目に読み出す信号電荷の割合に依存するため、増倍制御部２２は、予め、ダイナミックレンジ拡大幅毎に、読出パルス３４や電子増倍パルス３９の各パルス幅や振幅，増倍繰り返し数等のデータを撮影条件毎に持っており、ユーザがＤ／Ｒ設定部２８ａからダイナミックレンジ拡大幅を指示すれば、最適なパルス幅，振幅，繰り返し数等が自動的に制御される。

以上述べた実施形態によれば、撮像画像のダイナミックレンジを拡大することが可能となる。上述した説明では、先に非増倍画像データを読み出し、次に増倍画像データを読み出して加算合成する例について説明したが、読み出し順序は逆でも良い。また、「非」増倍画像データ（電子増倍率＝１）である必要はなく、両方の画像データの電子増倍率が異なるデータであれば、両者を合成することで、ダイナミックレンジを拡大することができる。また、「２」つの画像データを合成するのでなく、３つ以上の電子増倍率の異なる画像データを合成することでも良い。以下に述べる他の実施形態でも同様である。

図６は、本発明の第２実施形態に係る固体撮像素子の駆動方法の説明図である。第１実施形態では、垂直電荷転送路を電子増倍駆動することで、合成する一方の画像データを増倍したが、垂直電荷転送路で電子増倍する代わりに、フォトダイオード２から垂直電荷転送路３に信号電荷を読み出すときに電子増倍を行うことも可能である。尚、フォトダイオードの読出時に電子増倍する従来技術に関連するものとして、例えば特開平５―３３５５４９号公報等がある。

フォトダイオード２から垂直電荷転送路３に信号電荷を読み出す場合、ゲート長が短いほど、また、読出パルスの振幅が大きいほど、フォトダイオード２と垂直電荷転送路３との間に形成される電位勾配が急となる。電子増倍率はこの電位勾配に比例するため、電位勾配制御を行うことで、電子増倍率の制御を行うことができる。

従って、これを第１実施形態に適用する場合、最初の５０％の信号電荷を読み出すときは普通に読出動作を行って画像信号を固体撮像素子から出力させ、次の残りの５０％を読み出すときは高圧の読出パルスを印加することで電子増倍を行わせることで広ダイナミックレンジの撮像画像データを得ることができる。

フォトダイオードから信号電荷を読み出すときに電子増倍を起こさせる場合、第１実施形態と異なり、何回も繰り返し電子増倍できる訳ではないので、１回の電子増倍率を高める必要がある。また、第１実施形態の垂直電荷転送路での電子増倍と併用することも可能である。

尚、フォトダイオードから信号電荷を読み出すときに電子増倍を起こさせる実施形態は、ＣＣＤ型固体撮像素子ではなく、ＣＭＯＳ型固体撮像素子の駆動にも適用でき、非増倍撮像画像データと増倍撮像画像データとを合成することで、ダイナミックレンジを拡大することができる。

図７は、本発明の第３実施形態に係る固体撮像素子の駆動方法を示すタイミングチャートである。第１実施形態では、１回の露光処理でフォトダイオードに蓄積された信号電荷を２回に分けて読み出し、一方を非増倍画像データ、他方を増倍画像データとしたが、同一被写体の露光処理を連続して２回行い、一方を非増倍画像データ、他方を増倍画像データとすることでも良い。

先ず一回目の露光期間５１で被写体画像を撮像し、この撮像画像データをそのまま読み出してデジタルの非増倍画像データとしてメモリ１８に保存する。そして次の露光期間５２で、同一被写体画像を撮像し、この撮像画像データを図４で説明した様に垂直電荷転送路上で電子増倍し、その後、増倍画像データとしてメモリ１８に保存する。これらを図５の画像処理によって合成することで、第１実施形態と同様にダイナミックレンジの拡大を図ることができる。

第１実施形態では、動画を撮影した場合でも２重像になることは無いが、この実施形態では、動画を撮像したときに、１回目の露光による画像と２回目の露光による画像とがずれて２重像になる虞がある。しかし、静止画像の撮像であれば、２重像になる虞は小さい。この実施形態では、１回目のシャッタスピード等の撮影条件と２回目の撮影条件とを変更することも可能となる。

図８は、本発明の第４実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、第１実施形態のデジタルカメラと、搭載している固体撮像素子が異なる。本実施形態で用いる固体撮像素子６１は、水平電荷転送路４の出力段側に電子増倍転送路６２を備えており、このため、電子増倍転送パルスドライバ６３を備える点が第１実施形態と異なり、その他の点は同じであるため、同じ部材には同一符号を付してその説明は省略する。尚、水平電荷転送路の出力端部側に電子増倍転送路を備える従来技術に関連するものとして、例えば特開２００３―３４７３１７号公報等がある。

本実施形態では、垂直電荷転送路３の各端部に沿う位置から外れる位置まで転送されて来た信号電荷を、電子増倍転送路６２で１段毎に電子増倍しながら出力アンプ５まで転送する。１段当たりの電子増倍率は１％〜２％と小さいが、５０段〜１００段の転送・増倍を行うことで、２〜３倍とすることができる。勿論、電子増倍パルスの振幅によっても増倍率が変わるのは当然である。

この実施形態でも、同一シーンを撮像した複数の異なる電子増倍率の画像データを合成することで、ダイナミックレンジを拡大した画像を得ることができる。

図９は、図８に示す固体撮像素子６１の変形例を示す出力２分岐型固体撮像素子７０の表面模式図である。この固体撮像素子７０の水平電荷転送路４の端部が出力２分岐型の電子増倍転送路７１になっている。

図１０は、図９の出力２分岐部分の拡大図である。電子増倍転送路７１は、分岐部７２により先が２つの並列に設けられた増倍分岐転送路７３，７４に分岐されている。一方の分岐転送路７３の転送段数は少なく、出力端部に、信号電荷量に応じた電圧値信号を出力する第１アンプ７５が設けられている。他方の分岐転送路７４の転送段数は多く、出力端部に、信号電荷量に応じた電圧値信号を出力する第２アンプ７６が設けられている。

非増倍画像データを出力する場合には、水平電荷転送路４によって転送されてきた分岐部７２で転送路７３側に分岐させる。分岐転送路７３側は転送段数が少ないため電子増倍率が小さく、非増倍画像データ出力用として使用する。

増倍画像データを出力する場合には、分岐部７２で転送路７４側に分岐させる。分岐転送路７４は転送段数が多いため電子増倍率が高く、増倍画像データ出力用として使用する。

図１１は、出力２分岐部分の別実施形態の拡大図である。図１０の実施形態では、転送段数の多少によって電子増倍率を制御したが、図１１の実施形態では、転送段数は１段しか違わない。この実施形態では、転送段数で電子増倍率を制御するのではなく、転送パルスの振幅制御によって電子増倍率を制御している。

即ち、分岐転送路７３の転送は水平電荷転送路４と同一振幅の低圧転送パルスで転送が行われ、出力アンプ７５から非増倍画像データが出力される。一方、分岐転送路７４の転送は高圧の転送パルスで転送が行われるため、出力アンプ７６からは電子増倍された増倍画像データが出力される。

以上述べた各実施形態によれば、微小な画素を持つ固体撮像素子でも広ダイナミックレンジの画像を撮像することが可能となり、多画素化が更に進展してもダイナミックレンジが広く高感度撮影が可能な固体撮像素子や撮影装置を提供することができる。

尚、上述した実施形態では、メカニカルシャッタを搭載した撮影装置について述べたが、メカニカルシャッタを搭載しないで電子シャッタで露光期間を制御する場合にも上述した実施形態を適用可能である。この場合、ＯＦＤパルスオフから最初の読み出しパルスまでが第１回目の露光期間となり、最初の読み出しパルスから次の読み出しパルスまでが第２回目の露光期間となる。

また、第１〜第４の実施形態及び変形例を説明したが、これらを任意に組み合わせて増倍率を高めることも可能である。

本発明に係る固体撮像素子の駆動方法等は、微小な画素を持つ固体撮像素子において広ダイナミックレンジの画像を撮像することができるという効果を奏するため、多画素化の進んだ固体撮像素子を搭載するデジタルカメラに適用すると有用である。

本発明の第１実施形態に係るデジタルカメラのブロック構成図である。図１に示すデジタルカメラにおける撮像処理時のタイミングチャートである。図２の初回の読出パルスでフォトダイオードから信号電荷を垂直電荷転送路に読み出すときの説明図である。第１実施形態における垂直電荷転送路上での電子増倍動作を説明する図である。第１実施形態における非増倍画像データと増倍画像データとを合成する画像処理の説明図である。本発明の第２実施形態における電子増倍の説明図である。本発明の第３実施形態における撮像処理時のタイミングチャートである。本発明の第４実施形態に係るデジタルカメラのブロック構成図である。図８に示す固体撮像素子の変形例を示す図である。図９の出力２分岐部分の拡大図である。出力２分岐部分の別実施形態に係る説明図である。

符号の説明

１，６１，７０固体撮像素子
２フォトダイオード（ＰＤ：画素）
３垂直電荷転送路（ＶＣＣＤ）
４水平電荷転送路（ＨＣＣＤ）
５出力アンプ
１１ＣＰＵ
１８メモリ
２１信号処理部
２２増倍制御部
２４記録メディア
２８操作部
２８ａＤ／Ｒ（ダイナミックレンジ）設定部
３４初回の読出パルス
３６初回の読出パルスで読み出される信号電荷
３９電子増倍パルス
４０電子増倍パルスで読み出され増倍される信号電荷

Claims

入射光量に応じた信号電荷を蓄積する複数の画素が二次元アレイ状に配列形成された固体撮像素子を備える撮像装置において、
一回の露光により前記の各画素に夫々蓄積される信号電荷のうちの夫々の一部の電荷を第１の読出パルスで読み出して前記固体撮像素子から第１の撮像画像信号として出力させると共に第２の読出パルスで残りの電荷を読み出して前記固体撮像素子から第２の撮像画像信号として出力させるに際し、前記一部の電荷を第１所定増倍率で電子増倍して前記第１の撮像画像信号を出力させ、前記残りの電荷を第２所定増倍率で電子増倍して前記第２の撮像画像信号を出力させる駆動手段を備えると共に、
前記信号電荷に対する前記一部の電荷の割合の、各画素毎のバラツキ量で、前記撮像画像信号をデータ補正する制御手段を備える
撮像装置。
前記バラツキ量は、前記固体撮像素子の検査時に求めておく請求項１に記載の撮像装置。
前記第１所定増倍率と前記第２所定増倍率の少なくとも一方が増倍率＝１であることを特徴とする請求項１又は請求項２に記載の撮像装置。
前記電子増倍を、前記画素から前記電荷を読み出すときに行うことを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
前記固体撮像素子が垂直電荷転送路を備える固体撮像素子であり、前記電子増倍を該垂直電荷転送路上で行うことを特徴とする請求項１乃至請求項４のいずれかに記載の撮像装置。
前記垂直電荷転送路の転送停止中に、該垂直電荷転送路の所定転送電極下に電子増倍用電位井戸を繰り返し形成し、該垂直電荷転送路に前記画素から読み出した前記電荷を前記電子増倍用電位井戸に繰り返し落とすことで前記電子増倍を行うことを特徴とする請求項５に記載の撮像装置。
前記固体撮像素子が水平電荷転送路と該水平電荷転送路の出力段部に連続して設けられた電子増倍転送路とを備え、該電子増倍転送路で前記電子増倍を行うことを特徴とする請求項１乃至請求項６のいずれかに記載の撮像装置。
前記電荷を前記電子増倍転送路で転送する毎に前記電子増倍を行うことを特徴とする請求項７に記載の撮像装置。
前記電子増倍転送路が少なくとも第１分岐部と第２分岐部とに２分岐され、前記第１の撮像画像信号が前記第１分岐部を通して出力され、前記第２の撮像画像信号が前記第２分岐部を通して出力されることを特徴とする請求項７または請求項８に記載の撮像装置。
前記固体撮像素子から出力された前記第１の撮像画像信号と前記第２の撮像画像信号とを合成する合成手段を備えることを特徴とする請求項１乃至請求項９のいずれかに記載の撮像装置。
前記合成後の撮像画像信号のダイナミックレンジ拡大の有無または幅を指示入力する操作部と、該操作部から指示入力されたダイナミックレンジ拡大の有無または幅を実現する前記第１所定増倍率と前記第２所定増倍率との関係を制御する増倍制御手段とを備えることを特徴とする請求項１０に記載の撮像装置。
前記増倍制御手段は、電子増倍用パルスの電圧振幅，該電子増倍用パルスのパルス幅、該電子増倍用パルスのパルス繰り返し数の少なくとも１つを制御することを特徴とする請求項１１に記載の撮像装置。
前記第１，第２の撮像画像信号を前記固体撮像素子から読み出すときの電子増倍の増倍率に応じて後段処理で行うゲイン設定を制御するゲイン調整手段を備えることを特徴とする請求項１０乃至請求項１２のいずれかに記載の撮像装置。
請求項１乃至請求項１３のいずれかに記載の撮像装置の画像合成方法において、前記固体撮像素子から出力された前記第１の撮像画像信号と前記第２の撮像画像信号とを別々に画像処理し、画像処理後の前記第１の撮像画像信号と前記第２の撮像画像信号とを加算することで合成することを特徴とする撮像装置の画像合成方法。
前記画像処理のうち信号レベルに応じた重み付けを行うガンマ補正の補正量を、前記第１の撮像画像信号に対する補正量と、前記第２の撮像画像信号に対する補正量で異ならせることを特徴とする請求項１４に記載の撮像装置の画像合成方法。