JP3707725B2 - 静止画固体撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、露光量の異なる複数の画像信号すなわち長時間露光信号と短時間露光信号とを合成することによって撮影画像のダイナミックレンジ拡大を行うように構成された静止画固体撮像装置に関するものである。
【０００２】
【従来の技術】
露光量の異なる複数の画像信号を出力することが可能な固体撮像素子を用いて、短時間露光信号と長時間露光信号との２つの画像を撮影し、これらを合成することによってダイナミックレンジを拡大した画像を撮影する方法が知られている。
【０００３】
このようなダイナミックレンジ拡大の原理を図１３を用いて説明する。図１３（ａ），（ｂ）は露光時の被写体の明るさ（固体撮像素子への入射光量）と固体撮像素子から出力される信号量の関係を示すものである。図１３（ａ）に示すように長時間露光時は入射光により固体撮像素子のホトダイオード上に発生する電荷量が大きく、当然のことながら出力される信号量も大きくなる。しかし、ホトダイオードに蓄積される電荷量には上限が存在し、この上限を超えると飽和、つまり信号がつぶれてしまう現象が発生し、被写体像を正確に再現することができない。逆に、図１３（ｂ）に示すように露光時間を短く設定すれば飽和を回避することは可能であるが、今度は被写体内の低輝度部分が黒つぶれし、Ｓ／Ｎが劣化する。
【０００４】
そこで、長時間露光により得られた信号（long信号）と短時間露光で得られた信号（short信号）を用いて、低輝度部はlong信号からなる画像を採用し、高輝度部はshort信号からなる画像を採用して両者を合成すれば、被写体の低輝度部から高輝度部までを再現でき、撮像装置のダイナミックレンジを拡大することが可能となる。この際に、図１３（ｃ）に示すようにshort信号にはlong信号との露光量の比（露光時間の比）に相当するゲインを乗じた後に合成を行えば、図１３（ｄ）に示すように露光量の比に応じたダイナミックレンジの拡大が実現できる。例えばshort信号とlong信号との露光量比（露光時間比）が１：Ｄの場合、short信号をＤ倍して合成することにより、ダイナミックレンジをＤ倍に拡大することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、long信号もしくはshort信号のシャッター時間の制御手段として、光学絞りを機械シャッターと兼用して用いた場合には、図１４に示すように機械シャッターの閉動作を行う直前の光学絞りの開き具合によって、閉動作開始から全閉までに要する時間が異なり、かつ閉動作中の入射露光の変化は複雑であり、また状況に応じてバラツキが生じる可能性がある。すなわち、図１４（ａ）に示す光学絞りの開き度が大きい場合のlong信号の露光量ａをshort信号の露光量ｂで乗算した露光量比ａ／ｂと、図１４（ｂ）に示す光学絞りの開き度が小さい場合のlong信号の露光量ａ′をshort信号の露光量ｂ′で乗算した露光量比ａ′／ｂ′とが等しくならない。したがって、この閉動作期間中に固体撮像素子に入射する露光量を正確に見積もることは困難である。また、long信号とshort信号の露光量の比を、単純に露光時間の比として求めることはできない。
【０００６】
また、蛍光灯のような周期的に輝度レベルが変化する照明下で被写体を撮影した場合には、図１５に示すように、撮影を行うタイミングによって、long信号とshort信号の露光量の比は異なるため、同様に、単純に露光量の比を露光時間の比として求めることはできない。
【０００７】
以上のような要因により露光量の比に相当するゲインとして正確なものがshort信号に与えられない場合には、画像合成処理後の合成画像信号は、図１６に示すようにlong信号が飽和する入射露光量Ｌ１の付近で、階調特性が不連続になってしまうという不具合が生じてしまい、その結果として、画像の品質が劣化するという問題がある。
【０００８】
本発明は上記した課題の解決を図るべく創作したものであって、撮像の条件・状況等の変動にかかわらず、常に安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することを目的としている。
【０００９】
【課題を解決するための手段】
本発明は、上記した問題の原因があらかじめ固定的に定められている露光量比を用いていることにあると考えて、撮像の条件・状況等の変動に対して適応的なゲイン調整を行うように工夫することにより、上記の課題を関係するものである。すなわち、撮像によって得た長時間露光信号と短時間露光信号とを合成することによってダイナミックレンジ拡大を行うように構成された静止画固体撮像装置についての本発明は、次のような手段を講じることにより、上記の課題を解決するものである。
【００１０】
長時間露光信号と短時間露光信号との合成において基本となるのは両信号の露光量比であるが、光学絞りの開き具合や光源種類など条件・状況等によって露光量比は変動する可能性がある。すなわち、露光量比をあらかじめ固定的に定めてしまうと、その露光量比の実際的な変動に対応することができない。そこで、本発明においては、撮像によって得た長時間露光信号と短時間露光信号との露光量比を実際的に検出する。つまり実測する。このように条件・状況等の実状に応じた実際的な露光量比を求め、そのような実際的な露光量比に基づいて、適応的に、ダイナミックレンジ拡大に際しての長時間露光信号と短時間露光信号とのゲイン調整を行った上で、長時間露光信号と短時間露光信号とを合成する。
【００１１】
上記のように本発明においては、条件・状況等の実状に応じた実際的な露光量比に基づいて長時間露光信号と短時間露光信号との適応的なゲイン調整を行った上で両信号の画像合成を行うので、合成画像においてその階調特性を安定的に連続したものとなすことができ、画像の品質を向上することができる。
【００１２】
例えば、光学絞りを機械シャッターと兼用するときのように光学絞りの開き具合の相違によってシャッターが全閉するまでの時間差に起因して露光量比が変動する場合や、蛍光灯のように周期的に輝度レベルが変化する照明下での撮影のときのように撮影タイミングの相違に起因して露光量比が変動する場合においても、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を総括的に説明する。
【００１６】
本願第１の発明の静止画固体撮像装置は、撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎に行うことを特徴としている。
【００１７】
この第１の発明による作用は次のとおりである。同一の撮像画面において、蛍光灯のように輝度レベルが周期的に変化する光源と、そのような変化がない太陽光のような光源のように複数種類の光源があるときには、それぞれの光源に照らされている複数態様の被写体部分は、長時間露光信号と短時間露光信号との露光量比に相違がある。このような場合に、画面全領域での実測による両信号の露光量比つまり平均的ないしは総合的な露光量比に基づいてゲイン調整を行い、長時間露光信号と短時間露光信号とを合成すると、前記複数種類光源による複数態様の被写体部分のいずれについても、あるいはいずれか一方について露光量比は精度が劣化したものとなってしまう。そこで、撮像画面をブロック分割すると、個々のブロックに対する光源照射光の種類をブロックごとに区分することが可能となる。そして、ブロック単位で両信号の露光量比を実測し、そのブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、ブロック単位での光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【００２０】
本願第２の発明の静止画固体撮像装置は、撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎にかつ色成分毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎にかつ色成分毎に行うことを特徴としている。
【００２１】
この第２の発明による作用は次のとおりである。撮像画面に分割形成したブロック単位でかつ色成分毎に長時間露光信号と短時間露光信号との露光量比を実測し、そのブロック単位および色成分毎の精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、光源種類のいかんにかかわらず、また露光のタイミングのいかんにかかわらず、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【００２５】
本願第３の発明の静止画固体撮像装置は、露光量の異なる複数の画像信号を独立に出力する撮像手段と、前記撮像手段からの露光量の異なる複数の画像信号を記憶する画像メモリと、前記露光量の異なる複数の画像信号の露光量比を検出する露光量比検出手段と、前記検出した露光量比に基づいて前記画像メモリから読み出された前記露光量の異なる複数の画像信号に対するゲイン調整を行うゲイン調整手段と、前記ゲイン調整後の前記露光量の異なる複数の画像信号を合成する画像合成手段とを備え、前記露光量比検出手段は、前記露光量の異なる複数の画像信号の信号レベルを判定する信号レベル判定手段と、そのレベル判定により所定の範囲内にある露光量の異なる複数の画像信号毎に積分値を求める積分手段と、それら複数の積分値の比を求める露光量比演算手段とから構成されていることを特徴としている。
【００２６】
この第３の発明による作用は次のとおりである。画像メモリから露光量比検出手段に送出された露光量の異なる複数の画像信号は、まず信号レベル判定手段に入力される。信号レベル判定手段においては、例えば、長時間露光信号については撮像手段の飽和レベル付近の高輝度な部分を除外し、短時間露光信号についてはノイズの影響が大きく作用する低輝度な部分を除外するといった具合に、露光量比を求めることが困難なレベルにあるゆえに精度を劣化することとなる要因を取り除いたあとで、それぞれの積分手段に送出する。この場合に、除外するレベルについては、長時間露光信号と短時間露光信号とで共通にすることが好ましい。それぞれの積分手段において各画像信号の積分値を求めると、それが各画像信号の露光量に対応する。そして、各積分手段の積分値を露光量比演算手段に送出し、除算等によって露光量比を求める。これによって、撮像の条件・状況等の実状にリアルタイム・ダイナミックに則した高精度の露光量比を実測することができる。したがって、ゲイン調整も高精度に行われ、ダイナミックレンジ拡大された合成画像を得るにおいて、その階調特性の安定的な連続性を高精度なものとなすことが可能となる。
【００２７】
本願第４の発明の静止画固体撮像装置は、上記の第３の発明において、前記積分手段は、画面を複数のブロックに分割したブロック単位で前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【００２８】
この第４の発明による作用は次のとおりである。前述したように、蛍光灯と太陽光とのように態様を異にする複数種類の光源で照射されているときには、同一の撮像画面において部位毎に長時間露光信号と短時間露光信号との露光量比に相違がある。そこで、撮像画面をブロック分割した個々のブロックそれぞれに対応した個別の積分手段を設けておき、そのブロック単位の積分手段で露光量の異なる複数の画像信号毎に積分値を求める。露光量比演算手段はブロック単位で露光量比を算出する。ゲイン調整もブロック単位で行う。その結果として、次のような利点が生じる。すなわち、画面全領域での実測による両信号の露光量比つまり平均的ないしは総合的な露光量比に基づいてゲイン調整を行い、長時間露光信号と短時間露光信号とを合成するとなると、前記複数種類光源による複数態様の被写体部分のいずれについても、あるいはいずれか一方において露光量比は精度が劣化したものとなってしまうが、ブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号とを合成するので、その合成画像は、ブロック単位での光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【００２９】
本願第５の発明の静止画固体撮像装置は、上記の第３の発明において、前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【００３０】
この第５の発明による作用は次のとおりである。前述したように、蛍光灯は、色成分毎に明るさの位相が相違し、長時間露光信号と短時間露光信号との露光量比は露光を行うタイミングによって色成分毎に相違する。そこで、色成分毎に個別の積分手段を設けておき、その色成分毎の積分手段で露光量の異なる複数の画像信号毎に積分値を求める。露光量比演算手段は色成分毎に露光量比を算出する。ゲイン調整も色成分毎にで行う。その結果として、次のような利点が生じる。すなわち、単なる輝度成分での実測による両信号の露光量比に基づいてゲイン調整を行って長時間露光信号と短時間露光信号とを合成するとなると、前記露光のタイミングによって露光量比は精度が劣化したものとなってしまうが、色成分毎に実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号とを合成するので、その合成画像は、色成分毎に光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【００３１】
本願第６の発明の静止画固体撮像装置は、上記の第３の発明において、前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、画面を複数のブロックに分割したブロック単位でかつ色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【００３２】
この第６の発明によると、上記の第４の発明と第５の発明との混成した作用が得られる。すなわち、ブロック単位および色成分毎の精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、光源種類のいかんにかかわらず、また露光のタイミングのいかんにかかわらず、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【００３７】
（具体的な実施の形態）
以下、本発明にかかわる静止画固体撮像装置の具体的な実施の形態を図面に基づいて詳細に説明する。
【００３８】
（実施の形態１）
本実施の形態１は、露光量の異なる複数の画像信号を用い、これを合成することでダイナミックレンジを拡大した画像を撮影する方法において、露光時間の制御について、光学絞りを兼ねる機械シャッターを用いて制御するように構成した場合、もしくは被写体の照明として、例えば蛍光灯のような輝度レベルが周期的に変化するような光源の照射条件下で被写体を撮影する場合などにおいて、露光量の異なる複数の信号の露光量の比が、単純に露光時間の比として求められない場合でも、長時間露光信号と短時間露光信号の各画素における全画面領域での露光量比を実際に求めることにより、画像合成処理後の合成画像が安定的に連続した階調特性を有するようにするものである。
【００３９】
図１は、本発明の実施の形態１における静止画固体撮像装置の構成を示すブロック図である。図１において、符号の１は光学絞りと兼用の機械シャッターである。２は固体撮像素子であり、本実施の形態１においては、全画素読み出し型のＣＣＤ（電荷結合デバイス）であるとする。３は固体撮像素子２からの出力に対して２つの水平ラインを加算する２水平ライン加算手段、４は固体撮像素子３からの水平ライン加算後の信号を２フレーム分記憶する画像メモリ、５は機械シャッター１の開閉制御を行うシャッター駆動制御手段、６は露光量の異なる複数の画像信号の露光量比を求める露光量比検出手段、７は露光量の異なる複数の画像信号に対してゲイン調整を行うゲイン調整手段、８はダイナミックレンジを拡大するために画像合成を行う画像合成手段である。
【００４０】
露光量比検出手段６のブロックの中における符号の６１は信号レベル判定手段、６２はlong信号の積分手段、６３はshort信号の積分手段、６４はlong信号積分手段６２による全画面領域での積分値LSUMとshort信号積分手段６３による全画面領域での積分値SSUMとの比（LSUM／SSUM）を求める露光量比演算手段である。
【００４１】
図２は、図１のブロック図における２水平ライン加算手段３の構成例を示すブロック図である。同図において、符号の３１は１ラインメモリであり固体撮像素子２から出力された画像信号の１ライン分を１水平同期期間だけ遅延させる手段である。３２は加算器であり、１ラインメモリ３１において遅延された水平ライン信号と、２水平ライン加算手段３に入力する水平ライン信号とが、この加算器３２において加算されることで、隣接する上下２ラインの加算が行われる。
【００４２】
図３に、図１のブロック図における画像メモリ４の構成例を示す。画像メモリ４としては、２フレーム分記憶できるメモリ容量が必要であり、例えば図３に示すように、long信号用フレームメモリ４１ａとshort信号用フレームメモリ４１ｂとの２つのフレームメモリをもち、long信号とshort信号が各フレームメモリに独立に記憶されるように制御できるものとして構成されている。
【００４３】
以上のように構成された本実施の形態１の静止画固体撮像装置に関して、以下にその動作を説明する。
【００４４】
本実施の形態１においては、短時間露光信号（short信号）と長時間露光信号（long信号）の２つの画像を撮影し、これを合成する場合についての具体例について説明する。
【００４５】
まず、short信号とlong信号の撮影方法に関し、図４を用いて説明する。図４は、固体撮像素子２における被写体像の露光及び露光した信号の読み出しと画像メモリ４のリード、ライト動作に関するタイミングチャートである。図４において、４０１は垂直方向の同期信号のタイミング、４０２は固体撮像素子２のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルスのタイミング、４０３は機械シャッター１の開閉状態を示すタイミング、４０４は固体撮像素子２のホトダイオード上の露光信号量を示すタイミング、４０５は固体撮像素子２から出力される信号のタイミング、４０６は画像メモリ４の入力（ライト）信号のタイミング、４０７は画像メモリ４のshort信号記憶部（short信号用フレ
ームメモリ４１ｂ）からの出力（リード）信号のタイミング、４０８は画像メモリ４のlong信号記憶部（long信号用フレームメモリ４１ａ）からの出力（リード）信号のタイミングである。
【００４６】
short信号の露光時は機械シャッター１を開いた状態にし、電子シャッター機能を用いて必要な露光時間、例えば１／１０００秒露光を行う。１／１０００秒露光が終了した後、読み出し制御パルスにより、ホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動される。このときの固体撮像素子２の読み出しモードは全画素読み出しモードで駆動するものとする。
【００４７】
次に、short信号を垂直転送ＣＣＤに移動した後、long信号の露光を行う。long信号の露光時間は例えば１／１００秒とする。long信号の露光時間は機械シャッター１の開閉で制御するものとする。これと並行して、short信号を固体撮像素子２から１フレーム分出力するのであるが、続く読み出し制御パルスにより、long信号についてホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動される。このときの固体撮像素子２の読み出しモードは全画素読み出しモードで駆動するものとする。なお、垂直同期信号の周期は、例えば１／３０秒とし、１フレーム分の信号読み出しは、垂直同期信号の１周期内で完了するものとする。
【００４８】
固体撮像素子２で得られた露光時間の異なるshort信号とlong信号との２つの信号は、それぞれ個別的に、２水平ライン加算手段３により固体撮像素子２上の隣接する上下２ラインの信号を加算混合する２水平ライン加算処理の後、４０６のタイミングに示すように、short信号は▲１▼の期間において画像メモリ４のshort信号用フレームメモリ４１ｂに一旦記憶され、long信号は▲２▼の期間において画像メモリ４のlong信号用フレームメモリ４１ａに一旦記憶される。
【００４９】
次に、画像メモリ４からは、図４中の４０７と４０８のタイミングに示すようなタイミングで▲３▼，▲４▼の期間で読み出される。
【００５０】
▲３▼の期間では、露光量比検出手段６において、short信号（shortフレーム信
号）、long信号（longフレーム信号）それぞれの全画面領域における各画素の露光量を積分することにより、露光量の総量（SSUM，LSUM）を求める。
【００５１】
▲３▼の期間において、画像メモリ４からshort信号とlong信号を読み出すタイミングは、１ライン目から順々に、固体撮像素子２上で対応する位置にあるラインを同タイミングで出力するように読み出す。ここで、▲３▼の期間において画像メモリ４から読み出されたshort信号とlong信号とは露光量比検出手段６に入力される。露光量比検出手段６においては、short信号とlong信号の全画面における露光量比検出を行うため、short信号とlong信号のそれぞれの全画面領域における各画素の露光量の積分値を求めて、その積分値の比（LSUM／SSUM）を求める。
【００５２】
露光量比検出手段６にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段６１においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段６２、short信号積分手段６３では積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子２の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【００５３】
図５は、信号レベル判定手段６１における構成を示すブロック図である。ここで、図５中の符号の６１０１はlong信号のレベルを判定する手段（コンパレータＡ）、６１０２はshort信号のレベルを判定する手段（コンパレータＢ）、６１０３はＯＲゲート、６１０４はlong信号にゲートをかけるゲート手段、６１０５はshort信号にゲートをかけるゲート手段である。long信号のレベルを判定する手段６１０１では、固体撮像素子２の飽和レベル付近の高輝度な信号についてゲート手段６１０４によりゲートをかけ、long信号積分手段６２で積分しないようにし、それに対応する画素のshort信号についてもゲート手段６１０５によりゲートをかけ、sho rt信号積分手段６３で積分しないようにする。
【００５４】
short信号のレベルを判定する手段６１０２では、ノイズの影響が大きく作用する低輝度な信号についてゲート手段６１０５によりゲートをかけ、short信号積分手段６３で積分しないようにし、それに対応する画素のlong信号についてもゲート手段６１０４によりゲートをかけ、long信号積分手段６２で積分しないようにする。
【００５５】
１画面の全領域においてlong信号積分手段６２で積分を行った結果の積分値LSUMと、short信号積分手段６３で積分を行った結果の積分値SSUMを露光量比演算手段６４に入力し、下記の（１）式に示す演算を行うことにより、全画面領域における露光量比Ｄを求める。
【００５６】
D＝LSUM／SSUM …………………………………………………（１）
以上の方法により、電子シャッターにより露光量が制御されたshort信号の露光量と、機械シャッター１により露光量が制御されたlong信号との全画面平均における露光量比Ｄをきわめて正確に求めることができる。
【００５７】
被写体の照明が蛍光灯の場合においても、以上の説明と全く同じ方法、タイミングによりshort信号とlong信号の露光量比を求めることが可能であるため、この場合の説明は省略する。
【００５８】
次に、図４中に示す▲４▼の期間においては、▲３▼の期間と同様に画像メモリ４よりlong信号とshort信号を読み出し、short信号に▲３▼の期間で演算された露光量比
Ｄに相当するＤ倍のゲインがゲイン調整手段７において乗算される。
【００５９】
short信号にＤ倍のゲインが与えられた後の信号を以下ではshort'信号とする。画像メモリ４から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図１３で説明したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段８により合成が行われる。
【００６０】
以上のようにしてlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段８による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性を得ることができる。
【００６１】
画像合成手段８において合成された信号は、それ以降の処理において、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。画像合成手段８での処理と、それ以降の処理に関しては、本発明の目的と直接の関係がないため詳細な説明は省略する。
【００６２】
なお、本実施の形態１において、固体撮像素子２としては、全画素読み出し型のＣＣＤ（電荷結合デバイス）を用いて説明したが、本発明はこれに限られるものではなく、フレーム読み出しを行うもの、固体撮像素子上で２ライン加算読み出しを行うものなど、種々の露光量の異なる複数の画像信号を出力することが可能な撮像手段に適用できる。
【００６３】
また、本実施の形態１において、２水平ライン加算手段３により固体撮像素子２からの出力を２ライン加算した信号について、露光量比検出手段６でlong信号とshort信号の露光量比を検出したが、本発明はこれに限られるものではなく、固体撮像素子２の出力に対して２水平ライン加算を行わない信号について露光量比を検出しても特に問題はない。
【００６４】
また、本実施の形態１において、画像メモリ４は、２フレーム分記憶できるものであったが、本発明はこれに限られるものではなく、撮像手段からの露光量の異なる複数の出力信号を記憶できる容量であればよい。
【００６５】
また、本実施の形態１では、固体撮像素子２から出力される露光量の異なるlong信号とshort信号は両方ともフレーム信号であったが、本発明はそれに限られるものではなく、両方ともフィールド信号の場合もしくは、片方がフィールドで片方がフレームなどの露光量の異なる信号別にライン数が異なる場合においても適用が可能である。このような露光量が異なる信号別にライン数が異なる場合には、露光量比検出期間において、画像メモリ４を制御することにより、ライン数が多い方の信号については、ライン数が少ない方に合わせて、対応する位置の画素を同タイミングで露光量比検出手段６へ出力させることで、露光量比を検出することが可能である。
【００６６】
（実施の形態２）
上述の実施の形態１の場合においては、露光量の異なる長時間露光信号と短時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影するに際して、画像合成処理後の合成画像として安定的に連続した階調特性が得られるようにするため、長時間露光信号と短時間露光信号の全画面領域での露光量比を実際に求め、その露光量比に相当するゲインを短時間露光信号に与えた信号と長時間露光信号とで画像合成処理を行った。
【００６７】
このとき、長時間露光信号と短時間露光信号の露光量比検出のために１フレーム時間に相当する時間を要し、さらに長時間露光信号と短時間露光信号との合成のために１フレーム時間に相当する時間を要するため、トータルで処理時間が長くなる傾向となっている。
【００６８】
本実施の形態２は、実施の形態１における構成において、撮像手段からの画像信号と画像メモリからの画像信号を切り換えて露光量比検出手段に送出するようにすることにより、実施の形態１で説明した撮像手段における撮影開始から画像合成処理が終了までに要する時間を短縮しようとするものである。
【００６９】
図６は、本発明の実施の形態２における静止画固体撮像装置の構成を示すブロック図である。図６において、符号の９で示す要素以外については、実施の形態１における構成と全く同じであるため、ここでは説明を省略する。図６中の符号の９は固体撮像素子２の出力を２水平ライン加算手段３で加算処理を行った後の信号（Ａ側とする）と画像メモリ４からのlong信号記憶部からの出力信号（Ｂ側とする）とを切り換えるための画像信号切換え手段である。すなわち、この画像信号切換え手段９は、long信号について、これを露光量比検出手段６に送出するときにはＡ側に切り換えて２水平ライン加算手段３からのlong信号を直接に露光量比検出手段６に送出し、画像合成手段８に送出するときにはＢ側に切り換えて画像メモリ４から読み出したlong信号を画像合成手段８に送出するようになっている。
【００７０】
以上のように構成された本実施の形態２の静止画固体撮像装置に関して、以下にその動作を説明する。
【００７１】
本実施の形態２においては、短時間露光信号（short信号）と長時間露光信号（long信号）の２つの画像を撮影し、これを合成する場合についての具体例について説明する。
【００７２】
まず、short信号とlong信号の撮影方法に関し、図７を用いて説明する。図７は、固体撮像素子２における被写体像の露光及び露光した信号の読み出しと画像メモリ４のリード、ライト動作に関するタイミングチャートである。図７において、１１０１は垂直方向の同期信号のタイミング、１１０２は固体撮像素子２のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルスのタイミング、１１０３は機械シャッター１の開閉状態を示すタイミング、１１０４は固体撮像素子２のホトダイオード上の露光信号量を示すタイミング、１１０５は固体撮像素子２から出力される信号のタイミング、１１０６は画像メモリ４の入力（ライト）信号のタイミング、１１０７は画像メモリ４のshort信号記憶部（short信号用フレームメモリ４１ｂ）からの出力（リード）信号のタイミング、１１０８は画像メモリ４のlong信号記憶部（long信号用フレームメモリ４１ａ）からの出力（リード）信号のタイミングである。
【００７３】
short信号の露光時は機械シャッター１を開いた状態にし、電子シャッター機能を用いて必要な露光時間、例えば１／１０００秒露光を行う。１／１０００秒露光が終了した後、読み出し制御パルスにより、ホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動される。このときの固体撮像素子２の読み出しモードは全画素読み出しモードで駆動するものとする。
【００７４】
次に、short信号を垂直転送ＣＣＤに移動した後、long信号の露光を行う。long信号の露光時間は例えば１／１００秒とする。long信号の露光時間は機械シャッター１の開閉で制御するものとする。これと並行して、short信号を固体撮像素子２から１フレーム分出力するのであるが、続く読み出し制御パルスにより、long信号についてホトダイオード上の蓄積電荷は垂直転送ＣＣＤに移動される。このときの固体撮像素子２の読み出しモードは全画素読み出しモードで駆動するものとする。なお、垂直同期信号の周期は、例えば１／３０秒とし、１フレーム分の信号読み出しは、垂直同期信号の１周期内で完了するものとする。
【００７５】
固体撮像素子２で得られた露光時間の異なるshort信号とlong信号との２つの信号は、それぞれ個別的に、２水平ライン加算手段３により、固体撮像素子２上の隣接する上下２ラインの信号を加算混合する２水平ライン加算処理の後、１１０６のタイミングに示すように、short信号は▲１▼の期間において画像メモリ４のshort信号用フレームメモリ４１ｂに一旦記憶され、long信号は▲２▼の期間において画像メモリ４のlong信号用フレームメモリ４１ａに一旦記憶される。
【００７６】
ここで▲２▼の期間において、画像信号切換え手段９をＡ側に切り換えることにより、画像メモリ４におけるlong信号記憶部に記憶されようとしているlong信号を露光量比検出手段６における信号レベル判定手段６１に入力すると同時に、１１０７のタイミングに示しているように画像メモリ４におけるshort信号記憶部に記憶されているshort信号を読み出して露光量比検出手段６における信号レベル判定手段６１に入力する。この場合に、画像信号切換え手段９を経由して入力されるlong信号と画像メモリ４から出力されるshort信号とについて、固体撮像素子２上で対応する位置にあるラインのlong信号とshort信号とを同タイミングで露光量比検出手段６の信号レベル判定手段６１に入力されるように制御し、▲２▼の期間において露光量比検出の処理を行う。▲２▼の期間における露光量検出の処理は、実施の形態１での▲３▼の期間での露光量検出の処理に準ずるものであり、ここでは説明を省く。実施の形態１の場合の▲３▼の期間での処理が、本実施の形態２の場合には１フレーム期間先行していることに特徴がある。
【００７７】
次に、図７中に示す▲３▼の期間においては、画像メモリ４よりlong信号とshort信号が読み出される。この▲３▼の期間では画像信号切換え手段９をＢ側に切り換えて、画像メモリ４のlong信号記憶部からのlong信号を画像合成手段８に入力されるとともに、画像メモリ４のshort信号記憶部からのshort信号に対しては▲２▼の
期間で演算された露光量比Ｄに相当するＤ倍のゲインがゲイン調整手段７において乗算された後、画像合成手段８に入力される。
【００７８】
short信号にＤ倍のゲインが与えられた後の信号をshort'信号とする。実施の形態１の場合と同じように、画像メモリ４から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図１３で説明したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段８により合成が行われる。
【００７９】
以上に示したように、撮像手段からの画像信号と画像メモリからの画像信号を切り換える画像信号切換え手段を追加することにより、実施の形態１で説明した撮像手段における撮影開始から画像合成処理が終了までに要する時間を１フレーム時間短縮することができる。
【００８０】
（実施の形態３）
露光量の異なる短時間露光信号と長時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影する方法で、屋外と屋内というような光源の異なる被写体を撮像する場合において、屋内は蛍光灯のために被写体の輝度レベルが周期的に変化するのに対して、屋外は太陽光のために周期的な輝度レベルの変化は起こらないといった光源態様の相違がある。そのため、このように光源が複数ある被写体では、画面の各部分において、長時間露光信号と短時間露光信号の露光量の比が異なっており、実施の形態１で説明したような、全画面領域で均一な露光量比に相当するゲインを短時間露光信号に与えることはできない。
【００８１】
本実施の形態３は、画面を複数のブロックに分割し、各ブロックごとに短時間露光信号（short信号）と長時間露光信号（long信号）の露光量比を求めることにより、複数の光源が存在するような場合でも、画面全体にわたって、ダイナミックレンジを拡大するための画像合成処理後の合成画像が安定的に連続した階調特性を有するようにするものである。
【００８２】
図８は、本発明の実施の形態３における静止画固体撮像装置の構成を示すブロック図である。図８において露光量比検出手段６の内部構成以外については、実施の形態１における構成と全く同じであるため、ここでは説明を省略する。図８において、露光量比検出手段６中の符号の６１は信号レベル判定手段、６５ａ，６５ｂはマルチプレクサ、６６ａ，６６ｂはセレクタ、６７は画面をｎ分割のブロックに分割し各ブロック毎にlong信号の積分値LSUMを求めるlong信号積分手段、６８は画面をｎ分割のブロックに分割し各ブロック毎にshort信号の積分値SSUMを求めるshort信号積分手段である。このブロック単位のlong信号積分手段６７とshort信号積分手段６８のそれぞれにおいて、ΣＢＬ１，ΣＢＬ２…ΣＢＬｎはｎ個のブロック単位の積分手段である。６４はlong信号積分手段６７による各ブロック毎の積分値LSUMとshort信号積分手段６８による対応するブロック毎の積分値SSUMをセレクタ６６ａ，６６ｂによって切り換えて入力し、ブロック単位で積分値LSUMと積分値SSUMとの比を求める露光量比演算手段である。
【００８３】
以上のように構成された本実施の形態３の静止画固体撮像装置に関して、以下にその動作を説明する。
【００８４】
まず、実施の形態３における具体例について、short信号とlong信号の撮影方法と露光時間と固体撮像素子２および画像メモリ４の制御方法に関しては、実施の形態１で説明した具体例の場合と全く同様であるため、ここでは説明を省略する。また、そのときの固体撮像素子２からの出力信号タイミング、画像メモリ４の入出力信号のタイミングは実施の形態１の説明で用いた図４のタイミング図と全く同じであるため、実施の形態３の説明においても図４を用いて説明する。
【００８５】
実施の形態３の具体例では、図９に示すように画面を８×６＝４８分割した各ブロックについて露光量比を求める場合について説明する。光源態様の相違の一例として、ブロックナンバーの６，７，８，１４，１５，１６，２２，２３，２４の領域が屋外の太陽光が光源となっている被写体領域であり、それ以外の領域が蛍光灯が光源となっている被写体領域である。
【００８６】
実施の形態３において、図４に示す▲１▼，▲２▼の期間では、固体撮像素子２から出力された信号を２水平ライン加算手段３により水平２ラインの加算処理を行った後に、画像メモリ４に一旦記憶する。
【００８７】
▲３▼の期間において、ブロック毎のlong信号積分手段６７とshort信号積分手段６８とは、画像メモリ４から読み出したshort信号（shortフレーム信号）、lo
ng信号（longフレーム信号）それぞれにおいて、ブロック分割した各ブロック毎に各画素の露光量を積分することにより、各ブロック単位で露光量の総量（SSUM，LSUM）を求める。▲３▼の期間において、画像メモリ４からshort信号とlong信号を読み出すタイミングは、１ライン目から順々に、固体撮像素子２上で対応する位置にあるラインを同タイミングで出力するように読み出す。
【００８８】
露光量比検出手段６にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段６１においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段６７、short信号積分手段６８ではブロック毎の積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子２の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【００８９】
信号レベル判定手段６１で所定の範囲内のレベルであると判定された信号は、各画素信号が対応するブロックで積分されるように、マルチプレクサ６５ａ，６５ｂにより経路が切り換えられて、各ブロック単位の積分手段ΣＢＬ１，ΣＢＬ２…ΣＢＬｎによって積分される。
【００９０】
▲４▼の期間においては、画像メモリ４からブロック分割したｎ（１〜４８）番目のブロック中の画素のlong信号とshort信号が出力されているときに、セレクタ６６を制御してｎ番目のブロックの露光量の積分値を求めた信号が露光量比演算手段６４に入力されるように制御し、ｎ番目のブロックにおけるlong信号とshort信号の比を演算し、その露光量比に相当するゲインがゲイン調整手段７により画像メモリ４からのshort信号に与えられる。short信号にゲイン調整手段７に
よりゲインを与えた後の信号を以下ではshort'信号とする。
【００９１】
そして、▲４▼の期間において、画像メモリ４から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図１３で示したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段８により合成が行われる。
【００９２】
以上のような方法により、複数態様の光源が存在するような被写体の場合でも、画面全体にわたって、ブロック単位でのlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段８による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性を得ることができる。
【００９３】
画像合成手段８において合成された信号は、それ以降の処理において、実施の形態１の場合と同様に、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。
【００９４】
なお、本実施の形態３において、画面を４８分割した各ブロックについて露光量比を求める場合について説明したが、本発明はこれに限られるものではなく、画面の分割数はいくつであってもよい。その分割数に合わせて、long信号積分手段６７、short信号積分手段６８におけるブロック毎の積分手段の個数を定めればよい。また、本実施の形態３において、ブロック分割の方法は水平、垂直方向に等間隔に区切ってもよいし、あるいは、被写体に応じて、水平、垂直方向の間隔を自由に可変できるようにしてもよい。
【００９５】
（実施の形態４）
蛍光灯の明るさは図１２の蛍光灯の色成分毎の明るさの変動図に示すように、色成分毎にその位相が異なるため、露光を行うタイミングによって各色成分毎にその露光量の比は異なる。よって、露光量の異なる短時間露光信号と長時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影する方法において、輝度成分のみで長時間露光信号と短時間露光信号の露光量比を求め、長時間露光信号と、その露光量比に相当したゲインを短時間露光信号に与えた信号とにより、ダイナミックレンジ拡大のための画像合成を行った合成画像は、長時間露光信号が飽和する付近で、色成分の特性が不連続になってしまう。
【００９６】
本実施の形態４は、色成分毎に短時間露光信号（short信号）と長時間露光信号（long信号）の露光量比を求めることにより、色成分毎にその位相が異なる場合でも、ダイナミックレンジを拡大するための画像合成処理後の合成画像が安定的に連続した階調特性と色特性を得るようにするものである。
【００９７】
図１０は、本発明の実施の形態４における静止画固体撮像装置の構成を示すブロック図である。図１０において、露光量比検出手段６の内部構成以外については、実施の形態１における構成と全く同じであるため、ここでは説明を省略する。図１０において、露光量比検出手段６中の符号の６１は信号レベル判定手段、６５ａ，６５ｂはマルチプレクサ、６６ａ，６６ｂはセレクタ、６９は色成分毎にlong信号の積分値LSUMを求めるlong信号積分手段、６１０は色成分毎にshort信号の積分値SSUMを求めるshort信号積分手段である。この色成分毎のlong信号積分手段６９とshort信号積分手段６１０のそれぞれにおいて、ΣＭＹ，ΣＭＣ，ΣＧＹ，ΣＧＣはそれぞれ、〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕、〔マゼンタ（Ｍｇ）＋シアン（Ｃｙ）〕、〔グリーン（Ｇ）＋イエロー（Ｙｅ）〕、〔グリーン（Ｇ）＋シアン（Ｃｙ）〕の混合色成分毎についての積分手段である。６４はlong信号積分手段６９による各色成分毎の積分値LSUMとshort信号積分手段６１０による各色成分毎の積分値SSUMをセレクタ６６ａ，６６ｂによって切り換えて入力し、色成分毎に積分値LSUMと積分値SSUMとの比を求める露光量比演算手段である。
【００９８】
以上のように構成された本実施の形態４の静止画固体撮像装置に関して、以下にその動作を説明する。
【００９９】
ここで固体撮像素子２のホトダイオード上のカラーフィルタは、図１１に示すようにマゼンタ（Ｍｇ）、グリーン（Ｇ）、イエロー（Ｙｅ）、シアン（Ｃｙ）の４つの異なる分光特性を持つ色フィルタが画素毎に配置されているものとする。
【０１００】
まず、実施の形態４における具体例について、short信号とlong信号の撮影方法と露光時間と固体撮像素子２および画像メモリ４の制御方法に関しては、実施の形態１で説明した具体例の場合と全く同じであるため、ここでは説明を省略する。また、そのときの固体撮像素子２からの出力信号タイミング、画像メモリ４の入出力信号のタイミングは実施の形態１の説明で用いた図４のタイミング図と全く同じであるため、実施の形態４の説明においても図４を用いて説明する。
【０１０１】
実施の形態４において、図４に示す▲１▼，▲２▼の期間では、固体撮像素子２から出力された信号を２水平ライン加算手段３により水平２ラインの加算処理を行った後に、画像メモリ４に一旦記憶する。
【０１０２】
▲３▼の期間では、画像メモリ４から読み出したshort信号、long信号それぞれにおいて、色成分毎に各画素の露光量を積分することにより、各色成分毎の露光量の総量（SSUM，LSUM）を求める。
【０１０３】
▲３▼の期間において、画像メモリ４からshort信号とlong信号を読み出すタイミングは、１ライン目から順々に、固体撮像素子２上で対応する位置にあるラインを同タイミングで出力するように読み出す。
【０１０４】
露光量比検出手段６にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段６１においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段６９、short信号積分手段６１０では色成分毎の積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子２の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【０１０５】
信号レベル判定手段６１で所定の範囲内のレベルであると判定された信号は、各画素信号が対応する色成分毎に積分されるように、マルチプレクサ６５ａ，６５ｂにより経路が切り換えられて、各色成分毎の積分手段ΣＭＹ，ΣＭＣ，ΣＧＹ，ΣＧＣによって積分される。
【０１０６】
画像メモリ４から出力される信号は、２水平ライン加算手段３で２ライン混合されているため、色成分としては、〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕、〔マゼンタ（Ｍｇ）＋シアン（Ｃｙ）〕、〔グリーン（Ｇ）＋イエロー（Ｙｅ）〕、〔グリーン（Ｇ）＋シアン（Ｃｙ）〕の４種類の信号が出力されるため、この４種類の色成分毎に積分される。
【０１０７】
▲４▼の期間においては、画像メモリ４から、〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕の色成分のlong信号とshort信号が出力されているときに、セレクタ６６ａ，６６ｂを制御して〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕の露光量の積分値を求めた信号が露光量比演算手段６４に入力されるように制御し、〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕におけるlong信号とshort信号の比を演算し、その露光量比に相当するゲインがゲイン調整手段７により画像メモリ４からの〔マゼンタ（Ｍｇ）＋イエロー（Ｙｅ）〕の色成分のshort信号に与えられる。
【０１０８】
同じように▲４▼の期間において、画像メモリ４から〔マゼンタ（Ｍｇ）＋シアン（Ｃｙ）〕、〔グリーン（Ｇ）＋イエロー（Ｙｅ）〕および〔グリーン（Ｇ）＋シアン（Ｃｙ）〕の色成分のlong信号とshort信号が出力されているときにも同様な処理がなされる。short信号にゲイン調整手段７によりゲインを与えた後の信号を以下ではshort'信号とする。
【０１０９】
long信号とゲイン調整されたshort'信号に基づいて、図１３で示したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段８により合成が行われる。
【０１１０】
以上のような方法により、蛍光灯のような色成分毎にその位相が異なる場合でも、画面全体にわたってlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段８による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性と色特性を得ることができる。
【０１１１】
画像合成手段８において合成された信号は、それ以降の処理において、実施の形態１の場合と同様に、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。
【０１１２】
なお、本実施の形態４において、固体撮像素子２のホトダイオード上のカラーフィルタ配列としてマゼンタ、シアン、グリーン、イエローのものについて説明を行ったが、本発明はこれに限られるものではなく、種々の分光特性の異なる色分離フィルタを有するものに対しても本発明を適用することができる。また、色分離フィルタに代えて色分離プリズムによるカラー化手段を有するものについても本発明を適用することができる。
【０１１３】
なお、図示はしていないが、実施の形態３と実施の形態４とを混成した実施の形態もある得る。すなわち、ブロック単位の積分手段ΣＢＬ１，ΣＢＬ２…ΣＢＬｎのそれぞれに対して色成分毎の積分手段ΣＭＹ，ΣＭＣ，ΣＧＹ，ΣＧＣを付加した構成とすればよい。
【０１１４】
【発明の効果】
本発明によれば、撮像によって得た長時間露光信号と短時間露光信号との露光量比、すなわち撮像の条件・状況等の実状に応じた実際的な露光量比を求め、その実際的な露光量比に基づいて、適応的に、ダイナミックレンジ拡大に際しての長時間露光信号と短時間露光信号とのゲイン調整を行った上で、長時間露光信号と短時間露光信号とを合成するように構成したので、露光量比があらかじめ固定的に定められている従来技術に比べて、合成画像においてその階調特性を安定的に連続したものとなすことができ、画像の品質を向上することができる。したがって、例えば、光学絞りを機械シャッターと兼用するときのように光学絞りの開き具合の相違によってシャッターが全閉するまでの時間差に起因して露光量比が変動する場合や、蛍光灯のように周期的に輝度レベルが変化する照明下での撮影のときのように撮影タイミングの相違に起因して露光量比が変動する場合においても、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することができる。
【０１１５】
また、撮像画面上でのブロック単位で長時間露光信号と短時間露光信号との露光量比を実測し、そのブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上で両信号を合成すれば、蛍光灯のように輝度レベルが周期的に変化する光源と、そのような変化のない太陽光のような光源のように複数種類の光源がある場合においても、ダイナミックレンジ拡大のために合成画像を、ブロック単位での光源種類に適応した状態での安定的に連続した階調特性をもつ高品質の画像となすことができる。
【０１１６】
また、色成分毎に長時間露光信号と短時間露光信号との露光量比を実測し、その色成分毎に実測した精度の高い露光量比に基づいてゲイン調整を行った上で両信号を合成すれば、色成分毎に明るさの位相が相違する蛍光灯のような光源下で撮影した場合においても、ダイナミックレンジ拡大のために合成画像を、光源種類のいかんにかかわらず、安定的に連続した階調特性をもつ高品質の画像となすことができる。
【０１１７】
また、露光量比検出手段に対する長時間露光信号および短時間露光信号の転送に際して、いずれか一方の露光信号については画像メモリに格納するが、他方の露光信号については画像メモリへの格納と並行して露光量比検出手段に送出し、併せて画像メモリからは前記一方の露光信号を読み出すように構成すれば、露光量比検出手段に対する両信号の転送のタイミングが早くなり、露光量比検出の処理に要する時間を短縮化することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における静止画固体撮像装置の構成を示すブロック図
【図２】 本発明の実施の形態における静止画固体撮像装置での２水平ライン加算手段の構成例を示すブロック図
【図３】 本発明の実施の形態における静止画固体撮像装置での画像メモリの構成例を示すブロック図
【図４】 本発明の実施の形態１における静止画固体撮像装置での固体撮像素子における被写体像の露光及び露光した信号の読み出しと画像メモリのリード、ライト動作に関するタイミングチャート
【図５】 本発明の実施の形態における静止画固体撮像装置での信号レベル判定手段における構成例を示すブロック図
【図６】 本発明の実施の形態２における静止画固体撮像装置の構成を示すブロック図
【図７】 本発明の実施の形態２における静止画固体撮像装置での固体撮像素子における被写体像の露光及び露光した信号の読み出しと画像メモリのリード、ライト動作に関するタイミングチャート
【図８】 本発明の実施の形態３における静止画固体撮像装置の構成を示すブロック図
【図９】 本発明の実施の形態３における画面ブロック分割の様子を示す模式図
【図１０】 本発明の実施の形態４における静止画固体撮像装置の構成を示すブロック図
【図１１】 本発明の実施の形態４における静止画固体撮像装置での固体撮像素子の色フィルタ配列を示す構成図
【図１２】 蛍光灯の色成分毎の明るさの変動図
【図１３】 従来の技術および本発明でのダイナミックレンジ拡大の原理の説明図
【図１４】 従来の技術における静止画固体撮像装置での機械シャッターの閉動作の説明図
【図１５】 従来の技術における静止画固体撮像装置での蛍光灯下の被写体撮影時の露光動作説明図
【図１６】 従来の技術における静止画固体撮像装置での露光量の比に相当するゲインがshort信号に与えられない場合の画像合成処理後の不具合説明図
【符号の説明】
１……光学絞りと兼用の機械シャッター
２……固体撮像素子
３……２水平加算処理手段
４……画像メモリ
５……シャッター駆動制御手段
６……露光量比検出手段
７……ゲイン調整手段
８……画像合成手段
９……画像信号切換え手段
４１ａ…long信号用フレームメモリ
４２ｂ…short信号用フレームメモリ
６１……信号レベル判定手段
６２……全画面領域のlong信号積分手段
６３……全画面領域のshort信号積分手段
６４……露光量比演算手段
６５ａ…マルチプレクサ
６５ｂ…マルチプレクサ
６６ａ…セレクタ
６６ｂ…セレクタ
６７……ブロック単位のlong信号積分手段
６８……ブロック単位のshort信号積分手段
６９……色成分毎のlong信号積分手段
６１０…色成分毎のshort信号積分手段

Claims (6)

1. 撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎に行うことを特徴とする静止画固体撮像装置。
2. 撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎にかつ色成分毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎にかつ色成分毎に行うことを特徴とする静止画固体撮像装置。
3. 露光量の異なる複数の画像信号を独立に出力する撮像手段と、前記撮像手段からの露光量の異なる複数の画像信号を記憶する画像メモリと、前記露光量の異なる複数の画像信号の露光量比を検出する露光量比検出手段と、前記検出した露光量比に基づいて前記画像メモリから読み出された前記露光量の異なる複数の画像信号に対するゲイン調整を行うゲイン調整手段と、前記ゲイン調整後の前記露光量の異なる複数の画像信号を合成する画像合成手段とを備え、
   前記露光量比検出手段は、前記露光量の異なる複数の画像信号の信号レベルを判定する信号レベル判定手段と、そのレベル判定により所定の範囲内にある露光量の異なる複数の画像信号毎に積分値を求める積分手段と、それら複数の積分値の比を求める露光量比演算手段とから構成されていることを特徴とする静止画固体撮像装置。
4. 前記積分手段は、画面を複数のブロックに分割したブロック単位で前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項３に記載の静止画固体撮像装置。
5. 前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項３に記載の静止画固体撮像装置。
6. 前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、画面を複数のブロックに分割したブロック単位でかつ色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項３に記載の静止画固体撮像装置。

Images