JP4604098B2 - デジタルカメラ - Google Patents

Description

本発明は低感度画素と高感度画素の両方を有する固体撮像素子を搭載したデジタルカメラに関する。

デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。

この欠点を克服するため、例えば特開２００１―８１０４号公報（特許文献１）記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の２種類の画素を設け、高感度画素から得られた撮像画像データと、低感度画素から得られた撮像画像データとを合成することで、撮像画像のダイナミックレンジを広げるようにしている。

また、近年の様に固体撮像素子の高画素化が進展してくると、銀塩カメラと同等の画像が撮像されるようになり、このため、固体撮像素子から出力される撮像画像データを、ホワイトバランス補正やガンマ補正，ＪＰＥＧ圧縮などせずに未加工のままＲＡＷデータ（固体撮像素子から出力された撮像画像データの生データ）でメモリに保存し、パーソナルコンピュータ等でこの画像データを読み取り、ホワイトバランス補正やガンマ補正，色調補正などを自分の好みに応じて行いたいというユーザの要望が高くなってきている。このため、デジタルカメラには、特開平１１―２６１９３３号公報（特許文献２）や特開２００１―２２３９７９号公報（特許文献３）に記載されている様に、ＲＡＷデータで画像データを記録するものが増えてきている。

特開２００１―８１０４号公報 特開平１１―２６１９３３号公報 特開２００１―２２３９７９号公報

低感度画素で低感度の画像データを撮像し、高感度画素で高感度の画像データを撮像する従来のデジタルカメラでは、低感度の画像データと高感度の画像データとを一律に合成し出力してしまう。このため、例えば夜間に長時間露光撮影を行う撮影状況の場合、即ち、高感度画素ですら信号電荷の蓄積量が少ない撮影状況の場合には、低感度画素には殆ど信号電荷の蓄積量は無く、その殆どがノイズによる電荷量となる場合がある。斯かる場合でも高感度画素による画像データと低感度画素による画像データとを合成して出力すると、その合成画像は非常にノイズの多い画像になってしまうという問題がある。

また、撮像画像データをＲＡＷデータでメモリに出力し記録する場合、低感度の画像データと高感度の画像データの両方を記録することになり、あるいは、デジタルカメラで低感度の撮像画像データと高感度の撮像画像データを合成し合成後の撮像画像データをメモリに出力し記録することになるが、ＲＡＷデータで撮像画像データをメモリに出力し記録する場合、上述した様に低感度画素の蓄積電荷が殆どノイズである蓋然性が高いときに低感度の撮像画像データまでメモリに記録するとメモリ容量が無駄になり、また、合成した撮像画像データでメモリに記録すると、画像中のノイズが多くなってしまうという問題がある。

本発明の目的は、低感度画素による画像データと高感度画素による画像データの両方を撮像したとき撮影状況によらずに常に良好な画質の画像データを出力することができるデジタルカメラを提供することにある。

上記目的を達成するデジタルカメラは、低感度画像データが読み出される画素と高感度画像データが読み出される画素とを有する固体撮像素子と、該固体撮像素子から読み出された前記低感度画像データ及び前記高感度画像データを画素単位に加算して完成画像データを生成し出力する合成出力モードと前記低感度画像データを用いずに前記高感度画像データから完成画像データを生成し出力する非合成出力モードとのいずれかで動作する画像処理手段と、撮影モードが夜景モードに設定されているか否かを判定する撮影モード判定手段と、撮影の露光時間が所定閾値以上であるか否かを判定する露光時間判定手段と、前記撮影モード判定手段が夜景モードであると判定した場合であって、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定した場合には前記画像処理手段を前記非合成出力モードで動作させ、前記露光時間判定手段が前記所定閾値に満たない露光時間で撮影が行われると判定した場合には前記画像処理手段を前記合成出力モードで動作させ、前記撮影モード判定手段が夜景モードで無いと判定した場合には前記露光時間にかかわらず前記画像処理手段を前記合成出力モードで動作させる制御手段とを備えることを特徴とする。

上記目的を達成するデジタルカメラは、低感度画像データが読み出される画素と高感度画像データが読み出される画素とを有する固体撮像素子と、該固体撮像素子から読み出された前記低感度画像データ及び前記高感度画像データを画素単位に加算して完成画像を生成させるために前記低感度画像データをＲＡＷデータで出力すると共に前記高感度画像データをＲＡＷデータで出力する第１出力モードと、前記低感度画像データを用いずに前記高感度画像データから完成画像を生成させるために前記高感度画像データをＲＡＷデータで出力する第２出力モードとのいずれかで動作する出力手段と、撮影モードが夜景モードに設定されているか否かを判定する撮影モード判定手段と、撮影の露光時間が所定閾値以上であるか否かを判定する露光時間判定手段と、前記撮影モード判定手段が夜景モードであると判定した場合であって、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定した場合には前記出力手段を前記第２出力モードで動作させ、前記露光時間判定手段が前記所定閾値に満たない露光時間で撮影が行われると判定した場合には前記出力手段を前記第１出力モードで動作させ、前記撮影モード判定手段が夜景モードで無いと判定した場合には前記露光時間にかかわらず前記出力手段を前記第１出力モードで動作させる制御手段とを備えることを特徴とする。

好適には、上記デジタルカメラの前記制御手段は、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定したとき前記低感度画像データを破棄させ、あるいは前記低感度画像データの読み出しを停止させることを特徴とする。

好適には、前記撮影モード判定手段は、前記夜景モードの代わりに、マニュアル撮影モードであるか否か、或いはシャッタ優先撮影モードであるか否かを判定することを特徴とする。

好適には、前記夜景モードの他に、マニュアル撮影モードとシャッタ優先撮影モードとがあり、前記撮影モード判定手段は先ず前記マニュアル撮影モード又は前記シャッタ優先撮影モードに設定されているか否かを判定し、該判定の結果が否定の場合に前記夜景モードに設定されているか否かを判定し、前記露光時間判定手段は、撮影モードが前記マニュアル撮影モード，前記シャッタ優先撮影モード，前記夜景モードのいずれかに設定されている場合に前記露光時間の判定を行うことを特徴とする。

好適には、前記露光時間判定手段の代わりに、感度設定が所定感度以上であるか否かの判定を行う設定感度判定手段を設けたことを特徴とする。

本発明によれば、低感度画素の蓄積電荷量が微小となる撮影のときには低感度画素による撮像画像データを不使用とするため、暗いシーンを撮影しても画像中のノイズを低減することができ、また、低感度画素から得られる画像データ中にノイズの混入量が多いと推定される場合には、高感度画素から得られた画像データのみがＲＡＷデータとして出力されるため、暗いシーンを撮影しても画像中のノイズを低減することができる。

また、本発明によれば、低感度画素による撮像画像データの使用，不使用を感度設定（マニュアル設定、オート設定のいずれでもよい。）によっても選択可能となる。

以下、本発明の一実施形態を、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。

図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。

デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。

更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。

図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。

そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。

尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。

本実施形態のデジタルカメラには、撮像画像データの出力モードとして、完成画像出力モードとＲＡＷデータ出力モードがあり、更に、完成画像出力モードには、合成画像出力モードと非合成画像出力モードがあり、ＲＡＷデータ出力モードには低感度画像データ出力モードと低感度画像データ非出力モードとがある。

完成画像出力モードの合成画像出力モードとは、１回の撮像で得られた低感度画像データ（低感度画素２で得られた画像データ）と高感度画像データ（高感度画素３で得られた画像データ）を詳細は後述するように合成して完成画像を生成し、これを出力して記録媒体２９に記録するモードである。

完成画像出力モードの非合成画像出力モードとは、低感度画素から読み出した低感度画像データは破棄してしまいあるいは低感度画素から画像データの読み出しをせずに（以下の実施形態の説明では、破棄する例について述べる。）、高感度画像データのみから完成画像を生成して出力し、記録媒体２９に記録するモードである。

ＲＡＷデータ出力モードの低感度画像データ出力モードとは、低感度画像データと高感度画像データの両方をＲＡＷデータで出力し記録媒体２９に記録するモードである。

ＲＡＷデータ出力モードの低感度画像データ非出力モードとは、低感度画素から読み出した低感度画像データは破棄してしまいあるいは低感度画素から画像データの読み出しをせずに（以下の実施形態の説明では、破棄する例について述べる。）、高感度画像データのみをＲＡＷデータで出力し記録媒体２９に記録するモードである。

画像データの出力モードを完成画像出力モードとするかＲＡＷデータ出力モードとするかは、ユーザが操作部２１から指示入力することで行い、合成画像出力モードとするか非合成画像出力モードとするかは、あるいは、低感度画像データ出力モードとするか低感度画像データ非出力モードとするかは、ＣＰＵ１５がシャッタースピードや露光量，撮影モード等の撮影状況に応じて判断し選択する。

図３は、上述したデジタルスチルカメラの動作説明図である。固体撮像素子１１の高感度画素３から出力されるアナログの高感度画像信号Ｈは、Ａ／Ｄ変換器２３によって例えば１０ビットのデジタルデータに変換され、固体撮像素子１１の低感度画素２から出力されるアナログの低感度画像信号Ｌは、Ａ／Ｄ変換器２３によって例えば８ビットのデジタルデータに変換される。

ユーザが操作部２１で完成画像出力モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データをデジタル信号処理部２６が取り込み、合成画像出力モードのときは両画像データの合成処理その他の画像処理を行って完成画像データを生成し、非合成画像出力モードのときは低感度画像データを破棄し高感度画像データから完成画像データを生成し、外部メモリ制御部（記録回路）３０は、デジタル信号処理部２６から図１の圧縮伸張処理部２７（図３では図示省略）を介して渡された例えばＪＰＥＧ圧縮された完成画像データを記録媒体２９に出力し記録する。

ユーザが操作部２１でＲＡＷデータ出力モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データを、低感度画像データ出力モードのときは両方ともに外部メモリ制御部３０がそのまま記録媒体２９に出力して記録し、低感度画像データ非出力モードのときは低感度画像データを破棄し高感度画像データのみをそのまま記録媒体２９に出力して記録する。

図４は、完成画像出力モードのときに動作するデジタル信号処理部２６の処理構成図である。尚、以下、合成画像出力モードの場合を例に説明するが、非合成画像出力モードのときは、低感度画像データを入力時に破棄して高感度画像データのみで完成画像を生成し出力する。

このデジタル信号処理部２６は、高感度画像データと低感度画像データとを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。

デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。

上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像データと、ガンマ補正回路４３ｂから出力される低感度画像データとを次の数１に基づいて画素単位に合成し、出力する。

〔数１〕
data＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
である。尚、α＝１と固定してもよい。

閾値thとは、ガンマ補正後のデータが８ビットデータ（２５６階調）であれば、例えば値０〜２５５のうちの“２１９”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。

図５は、数１のMIN(high/th,1)の変化の様子を示すグラフである。この図５に示されるように、数１の第１項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値thに達していないときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。

本実施形態では、この第１項で求めた加算データをそのまま合成画像データとするのではなく、この第１項に、第２項（MAX〔（−ｋ×high/th）＋α,ｐ〕）を乗算した値を合成画像のデータとしている。図６は、このMAX〔（−ｋ×high/th）＋α,ｐ〕で、ｋ＝０．２としたときの変化の様子を示す図である。

この第２項において、係数ｋは、図２に示す実施形態の固体撮像素子１１では、値“０．２”を用いるのが良い。図２に示す固体撮像素子１１の様に、高感度画素３と低感度画素２の信号電荷の飽和比が異なる場合、係数ｋは、次の数２で便宜的に求めることができる。

〔数２〕
係数ｋ＝１−Ｓh／（Ｓh＋Ｓl）
ここで、Ｓh：高感度画素の信号電荷飽和量
Ｓl：低感度画素の信号電荷飽和量

図２に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
ｋ＝１−４／（４＋１）＝１−０．８
＝０．２
となる。

高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図２に例示するものに限らず、例えば、図７に示す様に、同一寸法形状に形成された多数のフォトダイオード（図示せず）の上に設けるマイクロレンズの開口面積を変え、高感度画素３と低感度画素２とを設けるものが考えられる。この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数２は適用できないが、係数ｋの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数１を適用することができる。この係数ｋの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。

数１において、トータルゲインｐの値として、本実施形態では、実験的に定めた値を採用する。ｐは、合成画像データの全体に対するゲインであり、このｐの値を制御することで、画像のダイナミックレンジの制御を行うことができる。

ｐのパラメータ値は可変であるが、その下限値ｐminも次の数３により決定される。

〔数３〕
ｐmin＝Ｓh／（Ｓh＋Ｓl）

高感度画像データが最大値で出力されたときに最終出力が最大値となるようなデジタルカメラでは、高感度画像データと低感度画像データとの合成値が最大値となるように高感度画像データと低感度画像データに対してゲイン操作が必要となる。つまり、飽和量分の高感度画像データと低感度画像データが固体撮像素子から出力されたとき、その出力値に対してｐmin（＜１）分のゲインを掛けて、最終出力値が最大値となるように画像データを変換する必要がある。

例えば、高感度画素と低感度画素の飽和比が４対１であった場合には
ｐmin＝４／（４＋１）＝０．８
となり、コントラストの高い撮影シーンではｐ＝ｐminにすればよく、また、あまりコントラストが高くない撮影シーンではトータルゲインｐの値をｐminより大きな値に設定する。

トータルゲインｐの値は小さいほどダイナミックレンジが広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高い撮影シーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、撮影シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが８ビットデータである場合、８ビット階調値をより有効に使用することが可能となる。

ｐの値は、ユーザが図１に示す操作部２１でシーンの種類を指定することでｐの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部２８による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、ｐの値の自動設定は可能である。

図８は、ｐの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。

このように、本実施形態の完成画像出力モードの合成画像出力モードでは、高感度画像データと低感度画像データとを加算した後に撮影シーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。

以上、完成画像出力モードにおける合成画像出力モードを詳細に説明したが、完成画像出力モードにおける非合成画像出力モードでは、低感度画像データは破棄してしまい、高感度画像データに対してのみ図４のオフセット補正、ゲイン補正、ガンマ補正、ＲＧＢ補間処理を行い、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正、色差マトリクス処理を施し、得られた輝度信号Ｙ，色差信号Ｃｒ，Ｃｂを、合成画像出力モードと同様に図１の圧縮伸張処理部２７にてＪＰＥＧデータに変換し、記録媒体２９に出力する。

図９は、完成画像出力モードのときに、合成画像出力モードで画像データを出力するか、非合成画像モードで画像データを出力するかの判定を行ってデジタル信号処理部２６に指示するＣＰＵ１５の判定手順を示すフローチャートである。

先ず、デジタルスチルカメラのユーザは、図１の操作部２１で銀塩フィルムカメラのＩＳＯ感度ど同様のＩＳＯ感度を設定する（ステップＳ１）。ＣＰＵ１５は、この入力設定データを取り込み、設定されたＩＳＯ感度が所定の閾値感度以上であるか否かを判定する。例えば、設定されたＩＳＯ感度がＩＳＯ１６００以上であるか否かを判定する（ステップＳ２）。

このステップＳ２における判定結果が肯定（ＹＥＳ）すなわちＩＳＯ感度が高く低感度画素２の蓄積電荷が微小でノイズ成分の割合が大きいと判定される場合には、ステップＳ３に進み、デジタル信号処理部２６に非合成画像出力モードを実行させて、低感度画像データを高感度画像データに合成させることはしない。

ステップＳ２における判定結果が否定（ＮＯ）すなわちＩＳＯ感度が高くなく低感度画素２の蓄積電荷のノイズ成分の割合が小さいと判定される場合には、ステップＳ４に進み、デジタル信号処理部２６に合成画像出力モードを実行させて、低感度画像データを高感度画像データに合成させる。

尚、上述したステップＳ１では、ユーザが感度設定を行ったが、デジタルスチルカメラ自身が自動で感度設定をすることでもよい。

図１０は、ＣＰＵ１５が完成画像出力モードのときに行う図９に代わる処理手順を示すフローチャートである。デジタルスチルカメラのユーザは、図１の操作部２１で、撮影モードの設定を行う（ステップＳ１１）。ＣＰＵ１５は、この設定が為されたとき、撮影モードが夜景モードであるか否かを判定する（ステップＳ１２）。そして、判定結果が否定（ＮＯ）となり夜景モードでない場合には、ステップＳ１３に進み、デジタル信号処理部２６に合成画像出力モードを実行させ、低感度画像データを高感度画像データに合成させる。

ステップＳ１２の判定結果が肯定（ＹＥＳ）の場合、即ち、夜景モードの場合には、シャッタースピードを遅くまで使用できるため、次にステップＳ１４に進んで測光を行い、この測光結果に基づいて決定されたシャッタースピードが所定の閾値よりも大きいか否かを判定する（ステップＳ１５）。例えば、シャッタースピードが１秒以上であるか否かを判定する。

このステップＳ１５における判定結果が否定（ＮＯ）の場合、即ち、測光結果により露光量がある程度とれる場合には低感度画素の蓄積電荷が有意であることが期待されるため、ステップＳ１３に進んでデジタル信号処理部２６に合成画像出力モードを実行させる。

ステップＳ１５における判定結果が肯定（ＹＥＳ）の場合、即ち、シャッタースピードが１秒以上あり、長時間露光しなければ信号電荷の蓄積が期待できない場合には、低感度画素の蓄積電荷のノイズ成分量が多いと判断されるため、ステップＳ１６に進み、デジタル信号処理部２６に非合成画像出力モードを実行させ、低感度画像データを高感度画像データに合成させることはしない。

このように、本実施形態では、低感度画像データと高感度画像データの合成処理を行うか否かの判断を、夜景モードのときだけ測光結果に応じて行う構成としている。即ち、本実施形態のステップＳ１４の測光作業は、夜景モード時のシャッタースピードを求めるために行うものであり、測光作業自体は、夜景モード以外の他の撮影モードでも行う。

図１１は、ＣＰＵ１５が完成画像出力モードのときに行う図１０に代わる処理手順を示すフローチャートである。先ず、デジタルスチルカメラのユーザは、図１の操作部２１から撮影モードの設定を行う（ステップＳ２１）。ＣＰＵ１５は、次のステップＳ２２で、ユーザ設定の撮影モードがマニュアルモードまたはシャッター優先モードであるか否かを判定する。ロングシャッターの領域（シャッタースピードが閾値より遅い領域）は、シャッタースピードを意図的に操作できる系でのみ設定可能であり、そのため、シャッター優先では、ロングシャッターは可能であるが、絞り優先では、ロングシャッター撮影はできないため、ステップＳ２２での判定を行う。そして、判定結果が、マニュアルモードでなくしかもシャッター優先モードでない場合には、ステップＳ２３に進み、デジタル信号処理部２６に合成画像出力モードを実行させる。

ステップＳ２２の判定の結果、マニュアルモードまたはシャッター優先モードの場合には次にステップＳ２４に進み、今度はシャッタースピードが所定の閾値例えば１秒より大であるか否かを判定する。この判定結果が否定（ＮＯ）の場合にはステップＳ２３に進み、デジタル信号処理部２６に合成画像出力モードを実行させる。

ステップＳ２４の判定結果が肯定（ＹＥＳ）の場合には、シャッター速度を大きくして露光時間を長時間とらないと有意な信号電荷の蓄積が期待できない撮影状況であると判断でき、ステップＳ２５に進み、デジタル信号処理部２６に非合成画像出力モードを実行させる。

尚、デジタルカメラの撮影モードとして、夜景モードと、マニュアル撮影モードと、シャッタ優先撮影モードとが混在する場合には、図１１の処理手順を実行し、ステップＳ２３の前で、図１０の処理手順を実行することになる。

以上、図９，図１０，図１１で説明したように、ＣＰＵ１５は、撮影状況を判断して低感度画素に有意な信号電荷の蓄積が期待できる場合には低感度画素による撮像画像データを高感度画像データに合成し、低感度画素に有意な信号電荷の蓄積が期待できずノイズ成分が多いと判断される場合には、低感度画素による撮像画像データを完成画像生成に使用しないようにしたため、撮影状況にかかわらず、ノイズ成分の少ない良好な画像を得ることが可能となる。

ＣＰＵ１５は、ＲＡＷデータ出力モードの場合にも、低感度画像データ出力モードと低感度画像データ非出力モードとを撮影状況に基づいて選択する。この選択の判定処理は、上述した図９，図１０，図１１と同様であり、ステップＳ３，ステップＳ１６，ステップＳ２５に進んだとき低感度画像非出力モードが実行されて、高感度画像データのみがＲＡＷデータとして出力され、記録媒体２９に記録される。そして、ステップＳ４，ステップＳ１３，ステップＳ２３に進んだとき低感度画像データ出力モードが実行されて、高感度画像データと低感度画像データの両方がＲＡＷデータとして出力され、記録媒体２９に記録される。

この低感度画像データ非出力モードを設けたことにより、記録媒体２９に格納するデータ量を削減でき、記録の高速化を図ることが可能となる。尚、ＲＡＷデータ読み出し装置が記録媒体２９上に低感度画像データが無いということを容易に判断して高感度画像データのみから完成画像をアプリケーションソフトで生成できるように、低感度画像データが記録されないモードであることをタグ情報として記録媒体２９に記録するのがよい。これにより、対応アプリケーションソフトのエラーが回避可能となる。

本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図１に示すデジタルスチルカメラの動作説明図である。 図３に示すデジタル信号処理部の処理構成図である。 本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。 本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。 固体撮像素子の別実施形態に係る画素配置図である。 ダイナミックレンジの変化の様子を示す図である。 本発明の一実施形態で合成画像出力モードと非合成画像出力モードを選択判定する処理手順を示すフローチャートである。 図９のフローチャートに代わる別実施形態に係る処理手順を示すフローチャートである。 図１０のフローチャートに代わる更に別実施形態に係る処理手順を示すフローチャートである。

符号の説明

１ 画素
２ 低感度画素（副画素）
３ 高感度画素（主画素）
１０ レンズ
１１ 固体撮像素子
１５ ＣＰＵ
２３ Ａ／Ｄ変換器
２６ デジタル信号処理部
２９ 記録媒体
４４ 画像合成処理回路

Claims (6)

1. 低感度画像データが読み出される画素と高感度画像データが読み出される画素とを有する固体撮像素子と、
   該固体撮像素子から読み出された前記低感度画像データ及び前記高感度画像データを画素単位に加算して完成画像データを生成し出力する合成出力モードと前記低感度画像データを用いずに前記高感度画像データから完成画像データを生成し出力する非合成出力モードとのいずれかで動作する画像処理手段と、
   撮影モードが夜景モードに設定されているか否かを判定する撮影モード判定手段と、
   撮影の露光時間が所定閾値以上であるか否かを判定する露光時間判定手段と、
   前記撮影モード判定手段が夜景モードであると判定した場合であって、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定した場合には前記画像処理手段を前記非合成出力モードで動作させ、前記露光時間判定手段が前記所定閾値に満たない露光時間で撮影が行われると判定した場合には前記画像処理手段を前記合成出力モードで動作させ、前記撮影モード判定手段が夜景モードで無いと判定した場合には前記露光時間にかかわらず前記画像処理手段を前記合成出力モードで動作させる制御手段と
   を備えることを特徴とするデジタルカメラ。
2. 低感度画像データが読み出される画素と高感度画像データが読み出される画素とを有する固体撮像素子と、
   該固体撮像素子から読み出された前記低感度画像データ及び前記高感度画像データを画素単位に加算して完成画像を生成させるために前記低感度画像データをＲＡＷデータで出力すると共に前記高感度画像データをＲＡＷデータで出力する第１出力モードと、前記低感度画像データを用いずに前記高感度画像データから完成画像を生成させるために前記高感度画像データをＲＡＷデータで出力する第２出力モードとのいずれかで動作する出力手段と、
   撮影モードが夜景モードに設定されているか否かを判定する撮影モード判定手段と、
   撮影の露光時間が所定閾値以上であるか否かを判定する露光時間判定手段と、
   前記撮影モード判定手段が夜景モードであると判定した場合であって、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定した場合には前記出力手段を前記第２出力モードで動作させ、前記露光時間判定手段が前記所定閾値に満たない露光時間で撮影が行われると判定した場合には前記出力手段を前記第１出力モードで動作させ、前記撮影モード判定手段が夜景モードで無いと判定した場合には前記露光時間にかかわらず前記出力手段を前記第１出力モードで動作させる制御手段と
   を備えることを特徴とするデジタルカメラ。
3. 前記制御手段は、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定したとき前記低感度画像データを破棄させ、あるいは前記低感度画像データの読み出しを停止させることを特徴とする請求項１または請求項２に記載のデジタルカメラ。
4. 前記撮影モード判定手段は、前記夜景モードの代わりに、マニュアル撮影モードであるか否か、或いはシャッタ優先撮影モードであるか否かを判定することを特徴とする請求項１乃至請求項３のいずれか１項に記載のデジタルカメラ。
5. 前記夜景モードの他に、マニュアル撮影モードとシャッタ優先撮影モードとがあり、前記撮影モード判定手段は先ず前記マニュアル撮影モード又は前記シャッタ優先撮影モードに設定されているか否かを判定し、該判定の結果が否定の場合に前記夜景モードに設定されているか否かを判定し、前記露光時間判定手段は、撮影モードが前記マニュアル撮影モード，前記シャッタ優先撮影モード，前記夜景モードのいずれかに設定されている場合に前記露光時間の判定を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載のデジタルカメラ。
6. 前記露光時間判定手段の代わりに、感度設定が所定感度以上であるか否かの判定を行う設定感度判定手段を設けたことを特徴とする請求項１乃至請求項５のいずれか１項に記載のデジタルカメラ。

Images