JP3707725B2 - 静止画固体撮像装置 - Google Patents
静止画固体撮像装置 Download PDFInfo
- Publication number
- JP3707725B2 JP3707725B2 JP2000159907A JP2000159907A JP3707725B2 JP 3707725 B2 JP3707725 B2 JP 3707725B2 JP 2000159907 A JP2000159907 A JP 2000159907A JP 2000159907 A JP2000159907 A JP 2000159907A JP 3707725 B2 JP3707725 B2 JP 3707725B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- exposure
- image
- short
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 115
- 230000015654 memory Effects 0.000 claims description 80
- 230000010354 integration Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 29
- 238000000926 separation method Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 19
- 230000002194 synthesizing effect Effects 0.000 description 16
- 239000000203 mixture Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 11
- 239000002131 composite material Substances 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Image Input (AREA)
Description
【発明の属する技術分野】
本発明は、露光量の異なる複数の画像信号すなわち長時間露光信号と短時間露光信号とを合成することによって撮影画像のダイナミックレンジ拡大を行うように構成された静止画固体撮像装置に関するものである。
【0002】
【従来の技術】
露光量の異なる複数の画像信号を出力することが可能な固体撮像素子を用いて、短時間露光信号と長時間露光信号との2つの画像を撮影し、これらを合成することによってダイナミックレンジを拡大した画像を撮影する方法が知られている。
【0003】
このようなダイナミックレンジ拡大の原理を図13を用いて説明する。図13(a),(b)は露光時の被写体の明るさ(固体撮像素子への入射光量)と固体撮像素子から出力される信号量の関係を示すものである。図13(a)に示すように長時間露光時は入射光により固体撮像素子のホトダイオード上に発生する電荷量が大きく、当然のことながら出力される信号量も大きくなる。しかし、ホトダイオードに蓄積される電荷量には上限が存在し、この上限を超えると飽和、つまり信号がつぶれてしまう現象が発生し、被写体像を正確に再現することができない。逆に、図13(b)に示すように露光時間を短く設定すれば飽和を回避することは可能であるが、今度は被写体内の低輝度部分が黒つぶれし、S/Nが劣化する。
【0004】
そこで、長時間露光により得られた信号(long信号)と短時間露光で得られた信号(short信号)を用いて、低輝度部はlong信号からなる画像を採用し、高輝度部はshort信号からなる画像を採用して両者を合成すれば、被写体の低輝度部から高輝度部までを再現でき、撮像装置のダイナミックレンジを拡大することが可能となる。この際に、図13(c)に示すようにshort信号にはlong信号との露光量の比(露光時間の比)に相当するゲインを乗じた後に合成を行えば、図13(d)に示すように露光量の比に応じたダイナミックレンジの拡大が実現できる。例えばshort信号とlong信号との露光量比(露光時間比)が1:Dの場合、short信号をD倍して合成することにより、ダイナミックレンジをD倍に拡大することができる。
【0005】
【発明が解決しようとする課題】
しかしながら、long信号もしくはshort信号のシャッター時間の制御手段として、光学絞りを機械シャッターと兼用して用いた場合には、図14に示すように機械シャッターの閉動作を行う直前の光学絞りの開き具合によって、閉動作開始から全閉までに要する時間が異なり、かつ閉動作中の入射露光の変化は複雑であり、また状況に応じてバラツキが生じる可能性がある。すなわち、図14(a)に示す光学絞りの開き度が大きい場合のlong信号の露光量aをshort信号の露光量bで乗算した露光量比a/bと、図14(b)に示す光学絞りの開き度が小さい場合のlong信号の露光量a′をshort信号の露光量b′で乗算した露光量比a′/b′とが等しくならない。したがって、この閉動作期間中に固体撮像素子に入射する露光量を正確に見積もることは困難である。また、long信号とshort信号の露光量の比を、単純に露光時間の比として求めることはできない。
【0006】
また、蛍光灯のような周期的に輝度レベルが変化する照明下で被写体を撮影した場合には、図15に示すように、撮影を行うタイミングによって、long信号とshort信号の露光量の比は異なるため、同様に、単純に露光量の比を露光時間の比として求めることはできない。
【0007】
以上のような要因により露光量の比に相当するゲインとして正確なものがshort信号に与えられない場合には、画像合成処理後の合成画像信号は、図16に示すようにlong信号が飽和する入射露光量L1の付近で、階調特性が不連続になってしまうという不具合が生じてしまい、その結果として、画像の品質が劣化するという問題がある。
【0008】
本発明は上記した課題の解決を図るべく創作したものであって、撮像の条件・状況等の変動にかかわらず、常に安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することを目的としている。
【0009】
【課題を解決するための手段】
本発明は、上記した問題の原因があらかじめ固定的に定められている露光量比を用いていることにあると考えて、撮像の条件・状況等の変動に対して適応的なゲイン調整を行うように工夫することにより、上記の課題を関係するものである。すなわち、撮像によって得た長時間露光信号と短時間露光信号とを合成することによってダイナミックレンジ拡大を行うように構成された静止画固体撮像装置についての本発明は、次のような手段を講じることにより、上記の課題を解決するものである。
【0010】
長時間露光信号と短時間露光信号との合成において基本となるのは両信号の露光量比であるが、光学絞りの開き具合や光源種類など条件・状況等によって露光量比は変動する可能性がある。すなわち、露光量比をあらかじめ固定的に定めてしまうと、その露光量比の実際的な変動に対応することができない。そこで、本発明においては、撮像によって得た長時間露光信号と短時間露光信号との露光量比を実際的に検出する。つまり実測する。このように条件・状況等の実状に応じた実際的な露光量比を求め、そのような実際的な露光量比に基づいて、適応的に、ダイナミックレンジ拡大に際しての長時間露光信号と短時間露光信号とのゲイン調整を行った上で、長時間露光信号と短時間露光信号とを合成する。
【0011】
上記のように本発明においては、条件・状況等の実状に応じた実際的な露光量比に基づいて長時間露光信号と短時間露光信号との適応的なゲイン調整を行った上で両信号の画像合成を行うので、合成画像においてその階調特性を安定的に連続したものとなすことができ、画像の品質を向上することができる。
【0012】
例えば、光学絞りを機械シャッターと兼用するときのように光学絞りの開き具合の相違によってシャッターが全閉するまでの時間差に起因して露光量比が変動する場合や、蛍光灯のように周期的に輝度レベルが変化する照明下での撮影のときのように撮影タイミングの相違に起因して露光量比が変動する場合においても、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することができる。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を総括的に説明する。
【0016】
本願第1の発明の静止画固体撮像装置は、撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎に行うことを特徴としている。
【0017】
この第1の発明による作用は次のとおりである。同一の撮像画面において、蛍光灯のように輝度レベルが周期的に変化する光源と、そのような変化がない太陽光のような光源のように複数種類の光源があるときには、それぞれの光源に照らされている複数態様の被写体部分は、長時間露光信号と短時間露光信号との露光量比に相違がある。このような場合に、画面全領域での実測による両信号の露光量比つまり平均的ないしは総合的な露光量比に基づいてゲイン調整を行い、長時間露光信号と短時間露光信号とを合成すると、前記複数種類光源による複数態様の被写体部分のいずれについても、あるいはいずれか一方について露光量比は精度が劣化したものとなってしまう。そこで、撮像画面をブロック分割すると、個々のブロックに対する光源照射光の種類をブロックごとに区分することが可能となる。そして、ブロック単位で両信号の露光量比を実測し、そのブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、ブロック単位での光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【0020】
本願第2の発明の静止画固体撮像装置は、撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎にかつ色成分毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎にかつ色成分毎に行うことを特徴としている。
【0021】
この第2の発明による作用は次のとおりである。撮像画面に分割形成したブロック単位でかつ色成分毎に長時間露光信号と短時間露光信号との露光量比を実測し、そのブロック単位および色成分毎の精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、光源種類のいかんにかかわらず、また露光のタイミングのいかんにかかわらず、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【0025】
本願第3の発明の静止画固体撮像装置は、露光量の異なる複数の画像信号を独立に出力する撮像手段と、前記撮像手段からの露光量の異なる複数の画像信号を記憶する画像メモリと、前記露光量の異なる複数の画像信号の露光量比を検出する露光量比検出手段と、前記検出した露光量比に基づいて前記画像メモリから読み出された前記露光量の異なる複数の画像信号に対するゲイン調整を行うゲイン調整手段と、前記ゲイン調整後の前記露光量の異なる複数の画像信号を合成する画像合成手段とを備え、前記露光量比検出手段は、前記露光量の異なる複数の画像信号の信号レベルを判定する信号レベル判定手段と、そのレベル判定により所定の範囲内にある露光量の異なる複数の画像信号毎に積分値を求める積分手段と、それら複数の積分値の比を求める露光量比演算手段とから構成されていることを特徴としている。
【0026】
この第3の発明による作用は次のとおりである。画像メモリから露光量比検出手段に送出された露光量の異なる複数の画像信号は、まず信号レベル判定手段に入力される。信号レベル判定手段においては、例えば、長時間露光信号については撮像手段の飽和レベル付近の高輝度な部分を除外し、短時間露光信号についてはノイズの影響が大きく作用する低輝度な部分を除外するといった具合に、露光量比を求めることが困難なレベルにあるゆえに精度を劣化することとなる要因を取り除いたあとで、それぞれの積分手段に送出する。この場合に、除外するレベルについては、長時間露光信号と短時間露光信号とで共通にすることが好ましい。それぞれの積分手段において各画像信号の積分値を求めると、それが各画像信号の露光量に対応する。そして、各積分手段の積分値を露光量比演算手段に送出し、除算等によって露光量比を求める。これによって、撮像の条件・状況等の実状にリアルタイム・ダイナミックに則した高精度の露光量比を実測することができる。したがって、ゲイン調整も高精度に行われ、ダイナミックレンジ拡大された合成画像を得るにおいて、その階調特性の安定的な連続性を高精度なものとなすことが可能となる。
【0027】
本願第4の発明の静止画固体撮像装置は、上記の第3の発明において、前記積分手段は、画面を複数のブロックに分割したブロック単位で前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【0028】
この第4の発明による作用は次のとおりである。前述したように、蛍光灯と太陽光とのように態様を異にする複数種類の光源で照射されているときには、同一の撮像画面において部位毎に長時間露光信号と短時間露光信号との露光量比に相違がある。そこで、撮像画面をブロック分割した個々のブロックそれぞれに対応した個別の積分手段を設けておき、そのブロック単位の積分手段で露光量の異なる複数の画像信号毎に積分値を求める。露光量比演算手段はブロック単位で露光量比を算出する。ゲイン調整もブロック単位で行う。その結果として、次のような利点が生じる。すなわち、画面全領域での実測による両信号の露光量比つまり平均的ないしは総合的な露光量比に基づいてゲイン調整を行い、長時間露光信号と短時間露光信号とを合成するとなると、前記複数種類光源による複数態様の被写体部分のいずれについても、あるいはいずれか一方において露光量比は精度が劣化したものとなってしまうが、ブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号とを合成するので、その合成画像は、ブロック単位での光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【0029】
本願第5の発明の静止画固体撮像装置は、上記の第3の発明において、前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【0030】
この第5の発明による作用は次のとおりである。前述したように、蛍光灯は、色成分毎に明るさの位相が相違し、長時間露光信号と短時間露光信号との露光量比は露光を行うタイミングによって色成分毎に相違する。そこで、色成分毎に個別の積分手段を設けておき、その色成分毎の積分手段で露光量の異なる複数の画像信号毎に積分値を求める。露光量比演算手段は色成分毎に露光量比を算出する。ゲイン調整も色成分毎にで行う。その結果として、次のような利点が生じる。すなわち、単なる輝度成分での実測による両信号の露光量比に基づいてゲイン調整を行って長時間露光信号と短時間露光信号とを合成するとなると、前記露光のタイミングによって露光量比は精度が劣化したものとなってしまうが、色成分毎に実測した精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号とを合成するので、その合成画像は、色成分毎に光源種類に対応した状態での安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【0031】
本願第6の発明の静止画固体撮像装置は、上記の第3の発明において、前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、画面を複数のブロックに分割したブロック単位でかつ色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されているというものである。
【0032】
この第6の発明によると、上記の第4の発明と第5の発明との混成した作用が得られる。すなわち、ブロック単位および色成分毎の精度の高い露光量比に基づいてゲイン調整を行った上での長時間露光信号と短時間露光信号との合成画像は、光源種類のいかんにかかわらず、また露光のタイミングのいかんにかかわらず、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大された画像となすことが可能となる。
【0037】
(具体的な実施の形態)
以下、本発明にかかわる静止画固体撮像装置の具体的な実施の形態を図面に基づいて詳細に説明する。
【0038】
(実施の形態1)
本実施の形態1は、露光量の異なる複数の画像信号を用い、これを合成することでダイナミックレンジを拡大した画像を撮影する方法において、露光時間の制御について、光学絞りを兼ねる機械シャッターを用いて制御するように構成した場合、もしくは被写体の照明として、例えば蛍光灯のような輝度レベルが周期的に変化するような光源の照射条件下で被写体を撮影する場合などにおいて、露光量の異なる複数の信号の露光量の比が、単純に露光時間の比として求められない場合でも、長時間露光信号と短時間露光信号の各画素における全画面領域での露光量比を実際に求めることにより、画像合成処理後の合成画像が安定的に連続した階調特性を有するようにするものである。
【0039】
図1は、本発明の実施の形態1における静止画固体撮像装置の構成を示すブロック図である。図1において、符号の1は光学絞りと兼用の機械シャッターである。2は固体撮像素子であり、本実施の形態1においては、全画素読み出し型のCCD(電荷結合デバイス)であるとする。3は固体撮像素子2からの出力に対して2つの水平ラインを加算する2水平ライン加算手段、4は固体撮像素子3からの水平ライン加算後の信号を2フレーム分記憶する画像メモリ、5は機械シャッター1の開閉制御を行うシャッター駆動制御手段、6は露光量の異なる複数の画像信号の露光量比を求める露光量比検出手段、7は露光量の異なる複数の画像信号に対してゲイン調整を行うゲイン調整手段、8はダイナミックレンジを拡大するために画像合成を行う画像合成手段である。
【0040】
露光量比検出手段6のブロックの中における符号の61は信号レベル判定手段、62はlong信号の積分手段、63はshort信号の積分手段、64はlong信号積分手段62による全画面領域での積分値LSUMとshort信号積分手段63による全画面領域での積分値SSUMとの比(LSUM/SSUM)を求める露光量比演算手段である。
【0041】
図2は、図1のブロック図における2水平ライン加算手段3の構成例を示すブロック図である。同図において、符号の31は1ラインメモリであり固体撮像素子2から出力された画像信号の1ライン分を1水平同期期間だけ遅延させる手段である。32は加算器であり、1ラインメモリ31において遅延された水平ライン信号と、2水平ライン加算手段3に入力する水平ライン信号とが、この加算器32において加算されることで、隣接する上下2ラインの加算が行われる。
【0042】
図3に、図1のブロック図における画像メモリ4の構成例を示す。画像メモリ4としては、2フレーム分記憶できるメモリ容量が必要であり、例えば図3に示すように、long信号用フレームメモリ41aとshort信号用フレームメモリ41bとの2つのフレームメモリをもち、long信号とshort信号が各フレームメモリに独立に記憶されるように制御できるものとして構成されている。
【0043】
以上のように構成された本実施の形態1の静止画固体撮像装置に関して、以下にその動作を説明する。
【0044】
本実施の形態1においては、短時間露光信号(short信号)と長時間露光信号(long信号)の2つの画像を撮影し、これを合成する場合についての具体例について説明する。
【0045】
まず、short信号とlong信号の撮影方法に関し、図4を用いて説明する。図4は、固体撮像素子2における被写体像の露光及び露光した信号の読み出しと画像メモリ4のリード、ライト動作に関するタイミングチャートである。図4において、401は垂直方向の同期信号のタイミング、402は固体撮像素子2のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルスのタイミング、403は機械シャッター1の開閉状態を示すタイミング、404は固体撮像素子2のホトダイオード上の露光信号量を示すタイミング、405は固体撮像素子2から出力される信号のタイミング、406は画像メモリ4の入力(ライト)信号のタイミング、407は画像メモリ4のshort信号記憶部(short信号用フレ
ームメモリ41b)からの出力(リード)信号のタイミング、408は画像メモリ4のlong信号記憶部(long信号用フレームメモリ41a)からの出力(リード)信号のタイミングである。
【0046】
short信号の露光時は機械シャッター1を開いた状態にし、電子シャッター機能を用いて必要な露光時間、例えば1/1000秒露光を行う。1/1000秒露光が終了した後、読み出し制御パルスにより、ホトダイオード上の蓄積電荷は垂直転送CCDに移動される。このときの固体撮像素子2の読み出しモードは全画素読み出しモードで駆動するものとする。
【0047】
次に、short信号を垂直転送CCDに移動した後、long信号の露光を行う。long信号の露光時間は例えば1/100秒とする。long信号の露光時間は機械シャッター1の開閉で制御するものとする。これと並行して、short信号を固体撮像素子2から1フレーム分出力するのであるが、続く読み出し制御パルスにより、long信号についてホトダイオード上の蓄積電荷は垂直転送CCDに移動される。このときの固体撮像素子2の読み出しモードは全画素読み出しモードで駆動するものとする。なお、垂直同期信号の周期は、例えば1/30秒とし、1フレーム分の信号読み出しは、垂直同期信号の1周期内で完了するものとする。
【0048】
固体撮像素子2で得られた露光時間の異なるshort信号とlong信号との2つの信号は、それぞれ個別的に、2水平ライン加算手段3により固体撮像素子2上の隣接する上下2ラインの信号を加算混合する2水平ライン加算処理の後、406のタイミングに示すように、short信号は▲1▼の期間において画像メモリ4のshort信号用フレームメモリ41bに一旦記憶され、long信号は▲2▼の期間において画像メモリ4のlong信号用フレームメモリ41aに一旦記憶される。
【0049】
次に、画像メモリ4からは、図4中の407と408のタイミングに示すようなタイミングで▲3▼,▲4▼の期間で読み出される。
【0050】
▲3▼の期間では、露光量比検出手段6において、short信号(shortフレーム信
号)、long信号(longフレーム信号)それぞれの全画面領域における各画素の露光量を積分することにより、露光量の総量(SSUM,LSUM)を求める。
【0051】
▲3▼の期間において、画像メモリ4からshort信号とlong信号を読み出すタイミングは、1ライン目から順々に、固体撮像素子2上で対応する位置にあるラインを同タイミングで出力するように読み出す。ここで、▲3▼の期間において画像メモリ4から読み出されたshort信号とlong信号とは露光量比検出手段6に入力される。露光量比検出手段6においては、short信号とlong信号の全画面における露光量比検出を行うため、short信号とlong信号のそれぞれの全画面領域における各画素の露光量の積分値を求めて、その積分値の比(LSUM/SSUM)を求める。
【0052】
露光量比検出手段6にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段61においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段62、short信号積分手段63では積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子2の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【0053】
図5は、信号レベル判定手段61における構成を示すブロック図である。ここで、図5中の符号の6101はlong信号のレベルを判定する手段(コンパレータA)、6102はshort信号のレベルを判定する手段(コンパレータB)、6103はORゲート、6104はlong信号にゲートをかけるゲート手段、6105はshort信号にゲートをかけるゲート手段である。long信号のレベルを判定する手段6101では、固体撮像素子2の飽和レベル付近の高輝度な信号についてゲート手段6104によりゲートをかけ、long信号積分手段62で積分しないようにし、それに対応する画素のshort信号についてもゲート手段6105によりゲートをかけ、sho rt信号積分手段63で積分しないようにする。
【0054】
short信号のレベルを判定する手段6102では、ノイズの影響が大きく作用する低輝度な信号についてゲート手段6105によりゲートをかけ、short信号積分手段63で積分しないようにし、それに対応する画素のlong信号についてもゲート手段6104によりゲートをかけ、long信号積分手段62で積分しないようにする。
【0055】
1画面の全領域においてlong信号積分手段62で積分を行った結果の積分値LSUMと、short信号積分手段63で積分を行った結果の積分値SSUMを露光量比演算手段64に入力し、下記の(1)式に示す演算を行うことにより、全画面領域における露光量比Dを求める。
【0056】
D=LSUM/SSUM …………………………………………………(1)
以上の方法により、電子シャッターにより露光量が制御されたshort信号の露光量と、機械シャッター1により露光量が制御されたlong信号との全画面平均における露光量比Dをきわめて正確に求めることができる。
【0057】
被写体の照明が蛍光灯の場合においても、以上の説明と全く同じ方法、タイミングによりshort信号とlong信号の露光量比を求めることが可能であるため、この場合の説明は省略する。
【0058】
次に、図4中に示す▲4▼の期間においては、▲3▼の期間と同様に画像メモリ4よりlong信号とshort信号を読み出し、short信号に▲3▼の期間で演算された露光量比
Dに相当するD倍のゲインがゲイン調整手段7において乗算される。
【0059】
short信号にD倍のゲインが与えられた後の信号を以下ではshort'信号とする。画像メモリ4から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図13で説明したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段8により合成が行われる。
【0060】
以上のようにしてlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段8による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性を得ることができる。
【0061】
画像合成手段8において合成された信号は、それ以降の処理において、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。画像合成手段8での処理と、それ以降の処理に関しては、本発明の目的と直接の関係がないため詳細な説明は省略する。
【0062】
なお、本実施の形態1において、固体撮像素子2としては、全画素読み出し型のCCD(電荷結合デバイス)を用いて説明したが、本発明はこれに限られるものではなく、フレーム読み出しを行うもの、固体撮像素子上で2ライン加算読み出しを行うものなど、種々の露光量の異なる複数の画像信号を出力することが可能な撮像手段に適用できる。
【0063】
また、本実施の形態1において、2水平ライン加算手段3により固体撮像素子2からの出力を2ライン加算した信号について、露光量比検出手段6でlong信号とshort信号の露光量比を検出したが、本発明はこれに限られるものではなく、固体撮像素子2の出力に対して2水平ライン加算を行わない信号について露光量比を検出しても特に問題はない。
【0064】
また、本実施の形態1において、画像メモリ4は、2フレーム分記憶できるものであったが、本発明はこれに限られるものではなく、撮像手段からの露光量の異なる複数の出力信号を記憶できる容量であればよい。
【0065】
また、本実施の形態1では、固体撮像素子2から出力される露光量の異なるlong信号とshort信号は両方ともフレーム信号であったが、本発明はそれに限られるものではなく、両方ともフィールド信号の場合もしくは、片方がフィールドで片方がフレームなどの露光量の異なる信号別にライン数が異なる場合においても適用が可能である。このような露光量が異なる信号別にライン数が異なる場合には、露光量比検出期間において、画像メモリ4を制御することにより、ライン数が多い方の信号については、ライン数が少ない方に合わせて、対応する位置の画素を同タイミングで露光量比検出手段6へ出力させることで、露光量比を検出することが可能である。
【0066】
(実施の形態2)
上述の実施の形態1の場合においては、露光量の異なる長時間露光信号と短時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影するに際して、画像合成処理後の合成画像として安定的に連続した階調特性が得られるようにするため、長時間露光信号と短時間露光信号の全画面領域での露光量比を実際に求め、その露光量比に相当するゲインを短時間露光信号に与えた信号と長時間露光信号とで画像合成処理を行った。
【0067】
このとき、長時間露光信号と短時間露光信号の露光量比検出のために1フレーム時間に相当する時間を要し、さらに長時間露光信号と短時間露光信号との合成のために1フレーム時間に相当する時間を要するため、トータルで処理時間が長くなる傾向となっている。
【0068】
本実施の形態2は、実施の形態1における構成において、撮像手段からの画像信号と画像メモリからの画像信号を切り換えて露光量比検出手段に送出するようにすることにより、実施の形態1で説明した撮像手段における撮影開始から画像合成処理が終了までに要する時間を短縮しようとするものである。
【0069】
図6は、本発明の実施の形態2における静止画固体撮像装置の構成を示すブロック図である。図6において、符号の9で示す要素以外については、実施の形態1における構成と全く同じであるため、ここでは説明を省略する。図6中の符号の9は固体撮像素子2の出力を2水平ライン加算手段3で加算処理を行った後の信号(A側とする)と画像メモリ4からのlong信号記憶部からの出力信号(B側とする)とを切り換えるための画像信号切換え手段である。すなわち、この画像信号切換え手段9は、long信号について、これを露光量比検出手段6に送出するときにはA側に切り換えて2水平ライン加算手段3からのlong信号を直接に露光量比検出手段6に送出し、画像合成手段8に送出するときにはB側に切り換えて画像メモリ4から読み出したlong信号を画像合成手段8に送出するようになっている。
【0070】
以上のように構成された本実施の形態2の静止画固体撮像装置に関して、以下にその動作を説明する。
【0071】
本実施の形態2においては、短時間露光信号(short信号)と長時間露光信号(long信号)の2つの画像を撮影し、これを合成する場合についての具体例について説明する。
【0072】
まず、short信号とlong信号の撮影方法に関し、図7を用いて説明する。図7は、固体撮像素子2における被写体像の露光及び露光した信号の読み出しと画像メモリ4のリード、ライト動作に関するタイミングチャートである。図7において、1101は垂直方向の同期信号のタイミング、1102は固体撮像素子2のホトダイオードからの信号電荷読み出しを制御する読み出し制御パルスのタイミング、1103は機械シャッター1の開閉状態を示すタイミング、1104は固体撮像素子2のホトダイオード上の露光信号量を示すタイミング、1105は固体撮像素子2から出力される信号のタイミング、1106は画像メモリ4の入力(ライト)信号のタイミング、1107は画像メモリ4のshort信号記憶部(short信号用フレームメモリ41b)からの出力(リード)信号のタイミング、1108は画像メモリ4のlong信号記憶部(long信号用フレームメモリ41a)からの出力(リード)信号のタイミングである。
【0073】
short信号の露光時は機械シャッター1を開いた状態にし、電子シャッター機能を用いて必要な露光時間、例えば1/1000秒露光を行う。1/1000秒露光が終了した後、読み出し制御パルスにより、ホトダイオード上の蓄積電荷は垂直転送CCDに移動される。このときの固体撮像素子2の読み出しモードは全画素読み出しモードで駆動するものとする。
【0074】
次に、short信号を垂直転送CCDに移動した後、long信号の露光を行う。long信号の露光時間は例えば1/100秒とする。long信号の露光時間は機械シャッター1の開閉で制御するものとする。これと並行して、short信号を固体撮像素子2から1フレーム分出力するのであるが、続く読み出し制御パルスにより、long信号についてホトダイオード上の蓄積電荷は垂直転送CCDに移動される。このときの固体撮像素子2の読み出しモードは全画素読み出しモードで駆動するものとする。なお、垂直同期信号の周期は、例えば1/30秒とし、1フレーム分の信号読み出しは、垂直同期信号の1周期内で完了するものとする。
【0075】
固体撮像素子2で得られた露光時間の異なるshort信号とlong信号との2つの信号は、それぞれ個別的に、2水平ライン加算手段3により、固体撮像素子2上の隣接する上下2ラインの信号を加算混合する2水平ライン加算処理の後、1106のタイミングに示すように、short信号は▲1▼の期間において画像メモリ4のshort信号用フレームメモリ41bに一旦記憶され、long信号は▲2▼の期間において画像メモリ4のlong信号用フレームメモリ41aに一旦記憶される。
【0076】
ここで▲2▼の期間において、画像信号切換え手段9をA側に切り換えることにより、画像メモリ4におけるlong信号記憶部に記憶されようとしているlong信号を露光量比検出手段6における信号レベル判定手段61に入力すると同時に、1107のタイミングに示しているように画像メモリ4におけるshort信号記憶部に記憶されているshort信号を読み出して露光量比検出手段6における信号レベル判定手段61に入力する。この場合に、画像信号切換え手段9を経由して入力されるlong信号と画像メモリ4から出力されるshort信号とについて、固体撮像素子2上で対応する位置にあるラインのlong信号とshort信号とを同タイミングで露光量比検出手段6の信号レベル判定手段61に入力されるように制御し、▲2▼の期間において露光量比検出の処理を行う。▲2▼の期間における露光量検出の処理は、実施の形態1での▲3▼の期間での露光量検出の処理に準ずるものであり、ここでは説明を省く。実施の形態1の場合の▲3▼の期間での処理が、本実施の形態2の場合には1フレーム期間先行していることに特徴がある。
【0077】
次に、図7中に示す▲3▼の期間においては、画像メモリ4よりlong信号とshort信号が読み出される。この▲3▼の期間では画像信号切換え手段9をB側に切り換えて、画像メモリ4のlong信号記憶部からのlong信号を画像合成手段8に入力されるとともに、画像メモリ4のshort信号記憶部からのshort信号に対しては▲2▼の
期間で演算された露光量比Dに相当するD倍のゲインがゲイン調整手段7において乗算された後、画像合成手段8に入力される。
【0078】
short信号にD倍のゲインが与えられた後の信号をshort'信号とする。実施の形態1の場合と同じように、画像メモリ4から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図13で説明したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段8により合成が行われる。
【0079】
以上に示したように、撮像手段からの画像信号と画像メモリからの画像信号を切り換える画像信号切換え手段を追加することにより、実施の形態1で説明した撮像手段における撮影開始から画像合成処理が終了までに要する時間を1フレーム時間短縮することができる。
【0080】
(実施の形態3)
露光量の異なる短時間露光信号と長時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影する方法で、屋外と屋内というような光源の異なる被写体を撮像する場合において、屋内は蛍光灯のために被写体の輝度レベルが周期的に変化するのに対して、屋外は太陽光のために周期的な輝度レベルの変化は起こらないといった光源態様の相違がある。そのため、このように光源が複数ある被写体では、画面の各部分において、長時間露光信号と短時間露光信号の露光量の比が異なっており、実施の形態1で説明したような、全画面領域で均一な露光量比に相当するゲインを短時間露光信号に与えることはできない。
【0081】
本実施の形態3は、画面を複数のブロックに分割し、各ブロックごとに短時間露光信号(short信号)と長時間露光信号(long信号)の露光量比を求めることにより、複数の光源が存在するような場合でも、画面全体にわたって、ダイナミックレンジを拡大するための画像合成処理後の合成画像が安定的に連続した階調特性を有するようにするものである。
【0082】
図8は、本発明の実施の形態3における静止画固体撮像装置の構成を示すブロック図である。図8において露光量比検出手段6の内部構成以外については、実施の形態1における構成と全く同じであるため、ここでは説明を省略する。図8において、露光量比検出手段6中の符号の61は信号レベル判定手段、65a,65bはマルチプレクサ、66a,66bはセレクタ、67は画面をn分割のブロックに分割し各ブロック毎にlong信号の積分値LSUMを求めるlong信号積分手段、68は画面をn分割のブロックに分割し各ブロック毎にshort信号の積分値SSUMを求めるshort信号積分手段である。このブロック単位のlong信号積分手段67とshort信号積分手段68のそれぞれにおいて、ΣBL1,ΣBL2…ΣBLnはn個のブロック単位の積分手段である。64はlong信号積分手段67による各ブロック毎の積分値LSUMとshort信号積分手段68による対応するブロック毎の積分値SSUMをセレクタ66a,66bによって切り換えて入力し、ブロック単位で積分値LSUMと積分値SSUMとの比を求める露光量比演算手段である。
【0083】
以上のように構成された本実施の形態3の静止画固体撮像装置に関して、以下にその動作を説明する。
【0084】
まず、実施の形態3における具体例について、short信号とlong信号の撮影方法と露光時間と固体撮像素子2および画像メモリ4の制御方法に関しては、実施の形態1で説明した具体例の場合と全く同様であるため、ここでは説明を省略する。また、そのときの固体撮像素子2からの出力信号タイミング、画像メモリ4の入出力信号のタイミングは実施の形態1の説明で用いた図4のタイミング図と全く同じであるため、実施の形態3の説明においても図4を用いて説明する。
【0085】
実施の形態3の具体例では、図9に示すように画面を8×6=48分割した各ブロックについて露光量比を求める場合について説明する。光源態様の相違の一例として、ブロックナンバーの6,7,8,14,15,16,22,23,24の領域が屋外の太陽光が光源となっている被写体領域であり、それ以外の領域が蛍光灯が光源となっている被写体領域である。
【0086】
実施の形態3において、図4に示す▲1▼,▲2▼の期間では、固体撮像素子2から出力された信号を2水平ライン加算手段3により水平2ラインの加算処理を行った後に、画像メモリ4に一旦記憶する。
【0087】
▲3▼の期間において、ブロック毎のlong信号積分手段67とshort信号積分手段68とは、画像メモリ4から読み出したshort信号(shortフレーム信号)、lo
ng信号(longフレーム信号)それぞれにおいて、ブロック分割した各ブロック毎に各画素の露光量を積分することにより、各ブロック単位で露光量の総量(SSUM,LSUM)を求める。▲3▼の期間において、画像メモリ4からshort信号とlong信号を読み出すタイミングは、1ライン目から順々に、固体撮像素子2上で対応する位置にあるラインを同タイミングで出力するように読み出す。
【0088】
露光量比検出手段6にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段61においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段67、short信号積分手段68ではブロック毎の積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子2の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【0089】
信号レベル判定手段61で所定の範囲内のレベルであると判定された信号は、各画素信号が対応するブロックで積分されるように、マルチプレクサ65a,65bにより経路が切り換えられて、各ブロック単位の積分手段ΣBL1,ΣBL2…ΣBLnによって積分される。
【0090】
▲4▼の期間においては、画像メモリ4からブロック分割したn(1〜48)番目のブロック中の画素のlong信号とshort信号が出力されているときに、セレクタ66を制御してn番目のブロックの露光量の積分値を求めた信号が露光量比演算手段64に入力されるように制御し、n番目のブロックにおけるlong信号とshort信号の比を演算し、その露光量比に相当するゲインがゲイン調整手段7により画像メモリ4からのshort信号に与えられる。short信号にゲイン調整手段7に
よりゲインを与えた後の信号を以下ではshort'信号とする。
【0091】
そして、▲4▼の期間において、画像メモリ4から読み出されたlong信号とゲイン調整されたshort'信号に基づいて、図13で示したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段8により合成が行われる。
【0092】
以上のような方法により、複数態様の光源が存在するような被写体の場合でも、画面全体にわたって、ブロック単位でのlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段8による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性を得ることができる。
【0093】
画像合成手段8において合成された信号は、それ以降の処理において、実施の形態1の場合と同様に、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。
【0094】
なお、本実施の形態3において、画面を48分割した各ブロックについて露光量比を求める場合について説明したが、本発明はこれに限られるものではなく、画面の分割数はいくつであってもよい。その分割数に合わせて、long信号積分手段67、short信号積分手段68におけるブロック毎の積分手段の個数を定めればよい。また、本実施の形態3において、ブロック分割の方法は水平、垂直方向に等間隔に区切ってもよいし、あるいは、被写体に応じて、水平、垂直方向の間隔を自由に可変できるようにしてもよい。
【0095】
(実施の形態4)
蛍光灯の明るさは図12の蛍光灯の色成分毎の明るさの変動図に示すように、色成分毎にその位相が異なるため、露光を行うタイミングによって各色成分毎にその露光量の比は異なる。よって、露光量の異なる短時間露光信号と長時間露光信号を用いて、これらを合成することでダイナミックレンジを拡大した画像を撮影する方法において、輝度成分のみで長時間露光信号と短時間露光信号の露光量比を求め、長時間露光信号と、その露光量比に相当したゲインを短時間露光信号に与えた信号とにより、ダイナミックレンジ拡大のための画像合成を行った合成画像は、長時間露光信号が飽和する付近で、色成分の特性が不連続になってしまう。
【0096】
本実施の形態4は、色成分毎に短時間露光信号(short信号)と長時間露光信号(long信号)の露光量比を求めることにより、色成分毎にその位相が異なる場合でも、ダイナミックレンジを拡大するための画像合成処理後の合成画像が安定的に連続した階調特性と色特性を得るようにするものである。
【0097】
図10は、本発明の実施の形態4における静止画固体撮像装置の構成を示すブロック図である。図10において、露光量比検出手段6の内部構成以外については、実施の形態1における構成と全く同じであるため、ここでは説明を省略する。図10において、露光量比検出手段6中の符号の61は信号レベル判定手段、65a,65bはマルチプレクサ、66a,66bはセレクタ、69は色成分毎にlong信号の積分値LSUMを求めるlong信号積分手段、610は色成分毎にshort信号の積分値SSUMを求めるshort信号積分手段である。この色成分毎のlong信号積分手段69とshort信号積分手段610のそれぞれにおいて、ΣMY,ΣMC,ΣGY,ΣGCはそれぞれ、〔マゼンタ(Mg)+イエロー(Ye)〕、〔マゼンタ(Mg)+シアン(Cy)〕、〔グリーン(G)+イエロー(Ye)〕、〔グリーン(G)+シアン(Cy)〕の混合色成分毎についての積分手段である。64はlong信号積分手段69による各色成分毎の積分値LSUMとshort信号積分手段610による各色成分毎の積分値SSUMをセレクタ66a,66bによって切り換えて入力し、色成分毎に積分値LSUMと積分値SSUMとの比を求める露光量比演算手段である。
【0098】
以上のように構成された本実施の形態4の静止画固体撮像装置に関して、以下にその動作を説明する。
【0099】
ここで固体撮像素子2のホトダイオード上のカラーフィルタは、図11に示すようにマゼンタ(Mg)、グリーン(G)、イエロー(Ye)、シアン(Cy)の4つの異なる分光特性を持つ色フィルタが画素毎に配置されているものとする。
【0100】
まず、実施の形態4における具体例について、short信号とlong信号の撮影方法と露光時間と固体撮像素子2および画像メモリ4の制御方法に関しては、実施の形態1で説明した具体例の場合と全く同じであるため、ここでは説明を省略する。また、そのときの固体撮像素子2からの出力信号タイミング、画像メモリ4の入出力信号のタイミングは実施の形態1の説明で用いた図4のタイミング図と全く同じであるため、実施の形態4の説明においても図4を用いて説明する。
【0101】
実施の形態4において、図4に示す▲1▼,▲2▼の期間では、固体撮像素子2から出力された信号を2水平ライン加算手段3により水平2ラインの加算処理を行った後に、画像メモリ4に一旦記憶する。
【0102】
▲3▼の期間では、画像メモリ4から読み出したshort信号、long信号それぞれにおいて、色成分毎に各画素の露光量を積分することにより、各色成分毎の露光量の総量(SSUM,LSUM)を求める。
【0103】
▲3▼の期間において、画像メモリ4からshort信号とlong信号を読み出すタイミングは、1ライン目から順々に、固体撮像素子2上で対応する位置にあるラインを同タイミングで出力するように読み出す。
【0104】
露光量比検出手段6にライン同期で入力されたlong信号とshort信号はそれぞれ信号レベル判定手段61においてレベル判定が行われ、所定の範囲外のレベルであると判定された信号については、long信号積分手段69、short信号積分手段610では色成分毎の積分をしないようにネグレクトする。ここで所定の範囲外のレベルとは、露光量の比を求めることが困難なレベルのことであり、具体的には、long信号については固体撮像素子2の飽和レベル付近の高輝度部の信号であり、short信号についてはノイズの影響が大きく作用する低輝度部の信号のことである。
【0105】
信号レベル判定手段61で所定の範囲内のレベルであると判定された信号は、各画素信号が対応する色成分毎に積分されるように、マルチプレクサ65a,65bにより経路が切り換えられて、各色成分毎の積分手段ΣMY,ΣMC,ΣGY,ΣGCによって積分される。
【0106】
画像メモリ4から出力される信号は、2水平ライン加算手段3で2ライン混合されているため、色成分としては、〔マゼンタ(Mg)+イエロー(Ye)〕、〔マゼンタ(Mg)+シアン(Cy)〕、〔グリーン(G)+イエロー(Ye)〕、〔グリーン(G)+シアン(Cy)〕の4種類の信号が出力されるため、この4種類の色成分毎に積分される。
【0107】
▲4▼の期間においては、画像メモリ4から、〔マゼンタ(Mg)+イエロー(Ye)〕の色成分のlong信号とshort信号が出力されているときに、セレクタ66a,66bを制御して〔マゼンタ(Mg)+イエロー(Ye)〕の露光量の積分値を求めた信号が露光量比演算手段64に入力されるように制御し、〔マゼンタ(Mg)+イエロー(Ye)〕におけるlong信号とshort信号の比を演算し、その露光量比に相当するゲインがゲイン調整手段7により画像メモリ4からの〔マゼンタ(Mg)+イエロー(Ye)〕の色成分のshort信号に与えられる。
【0108】
同じように▲4▼の期間において、画像メモリ4から〔マゼンタ(Mg)+シアン(Cy)〕、〔グリーン(G)+イエロー(Ye)〕および〔グリーン(G)+シアン(Cy)〕の色成分のlong信号とshort信号が出力されているときにも同様な処理がなされる。short信号にゲイン調整手段7によりゲインを与えた後の信号を以下ではshort'信号とする。
【0109】
long信号とゲイン調整されたshort'信号に基づいて、図13で示したダイナミックレンジ拡大の原理に示すような方法により、後段の画像合成手段8により合成が行われる。
【0110】
以上のような方法により、蛍光灯のような色成分毎にその位相が異なる場合でも、画面全体にわたってlong信号とshort信号の露光量の比を高い精度で求めることができるため、long信号とゲイン調整されたshort'信号を用いての画像合成手段8による合成画像は、低輝度部から高輝度部まで安定的に連続した階調特性と色特性を得ることができる。
【0111】
画像合成手段8において合成された信号は、それ以降の処理において、実施の形態1の場合と同様に、輝度信号と色差信号の分離、ノイズ除去、エッジ強調、ガンマ補正、マトリクス演算、特定のフォーマットへのエンコードなどの処理が施される。
【0112】
なお、本実施の形態4において、固体撮像素子2のホトダイオード上のカラーフィルタ配列としてマゼンタ、シアン、グリーン、イエローのものについて説明を行ったが、本発明はこれに限られるものではなく、種々の分光特性の異なる色分離フィルタを有するものに対しても本発明を適用することができる。また、色分離フィルタに代えて色分離プリズムによるカラー化手段を有するものについても本発明を適用することができる。
【0113】
なお、図示はしていないが、実施の形態3と実施の形態4とを混成した実施の形態もある得る。すなわち、ブロック単位の積分手段ΣBL1,ΣBL2…ΣBLnのそれぞれに対して色成分毎の積分手段ΣMY,ΣMC,ΣGY,ΣGCを付加した構成とすればよい。
【0114】
【発明の効果】
本発明によれば、撮像によって得た長時間露光信号と短時間露光信号との露光量比、すなわち撮像の条件・状況等の実状に応じた実際的な露光量比を求め、その実際的な露光量比に基づいて、適応的に、ダイナミックレンジ拡大に際しての長時間露光信号と短時間露光信号とのゲイン調整を行った上で、長時間露光信号と短時間露光信号とを合成するように構成したので、露光量比があらかじめ固定的に定められている従来技術に比べて、合成画像においてその階調特性を安定的に連続したものとなすことができ、画像の品質を向上することができる。したがって、例えば、光学絞りを機械シャッターと兼用するときのように光学絞りの開き具合の相違によってシャッターが全閉するまでの時間差に起因して露光量比が変動する場合や、蛍光灯のように周期的に輝度レベルが変化する照明下での撮影のときのように撮影タイミングの相違に起因して露光量比が変動する場合においても、安定的に連続した階調特性をもつ画像品質のすぐれたダイナミックレンジ拡大を実現することができる。
【0115】
また、撮像画面上でのブロック単位で長時間露光信号と短時間露光信号との露光量比を実測し、そのブロック単位で実測した精度の高い露光量比に基づいてゲイン調整を行った上で両信号を合成すれば、蛍光灯のように輝度レベルが周期的に変化する光源と、そのような変化のない太陽光のような光源のように複数種類の光源がある場合においても、ダイナミックレンジ拡大のために合成画像を、ブロック単位での光源種類に適応した状態での安定的に連続した階調特性をもつ高品質の画像となすことができる。
【0116】
また、色成分毎に長時間露光信号と短時間露光信号との露光量比を実測し、その色成分毎に実測した精度の高い露光量比に基づいてゲイン調整を行った上で両信号を合成すれば、色成分毎に明るさの位相が相違する蛍光灯のような光源下で撮影した場合においても、ダイナミックレンジ拡大のために合成画像を、光源種類のいかんにかかわらず、安定的に連続した階調特性をもつ高品質の画像となすことができる。
【0117】
また、露光量比検出手段に対する長時間露光信号および短時間露光信号の転送に際して、いずれか一方の露光信号については画像メモリに格納するが、他方の露光信号については画像メモリへの格納と並行して露光量比検出手段に送出し、併せて画像メモリからは前記一方の露光信号を読み出すように構成すれば、露光量比検出手段に対する両信号の転送のタイミングが早くなり、露光量比検出の処理に要する時間を短縮化することができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1における静止画固体撮像装置の構成を示すブロック図
【図2】 本発明の実施の形態における静止画固体撮像装置での2水平ライン加算手段の構成例を示すブロック図
【図3】 本発明の実施の形態における静止画固体撮像装置での画像メモリの構成例を示すブロック図
【図4】 本発明の実施の形態1における静止画固体撮像装置での固体撮像素子における被写体像の露光及び露光した信号の読み出しと画像メモリのリード、ライト動作に関するタイミングチャート
【図5】 本発明の実施の形態における静止画固体撮像装置での信号レベル判定手段における構成例を示すブロック図
【図6】 本発明の実施の形態2における静止画固体撮像装置の構成を示すブロック図
【図7】 本発明の実施の形態2における静止画固体撮像装置での固体撮像素子における被写体像の露光及び露光した信号の読み出しと画像メモリのリード、ライト動作に関するタイミングチャート
【図8】 本発明の実施の形態3における静止画固体撮像装置の構成を示すブロック図
【図9】 本発明の実施の形態3における画面ブロック分割の様子を示す模式図
【図10】 本発明の実施の形態4における静止画固体撮像装置の構成を示すブロック図
【図11】 本発明の実施の形態4における静止画固体撮像装置での固体撮像素子の色フィルタ配列を示す構成図
【図12】 蛍光灯の色成分毎の明るさの変動図
【図13】 従来の技術および本発明でのダイナミックレンジ拡大の原理の説明図
【図14】 従来の技術における静止画固体撮像装置での機械シャッターの閉動作の説明図
【図15】 従来の技術における静止画固体撮像装置での蛍光灯下の被写体撮影時の露光動作説明図
【図16】 従来の技術における静止画固体撮像装置での露光量の比に相当するゲインがshort信号に与えられない場合の画像合成処理後の不具合説明図
【符号の説明】
1……光学絞りと兼用の機械シャッター
2……固体撮像素子
3……2水平加算処理手段
4……画像メモリ
5……シャッター駆動制御手段
6……露光量比検出手段
7……ゲイン調整手段
8……画像合成手段
9……画像信号切換え手段
41a…long信号用フレームメモリ
42b…short信号用フレームメモリ
61……信号レベル判定手段
62……全画面領域のlong信号積分手段
63……全画面領域のshort信号積分手段
64……露光量比演算手段
65a…マルチプレクサ
65b…マルチプレクサ
66a…セレクタ
66b…セレクタ
67……ブロック単位のlong信号積分手段
68……ブロック単位のshort信号積分手段
69……色成分毎のlong信号積分手段
610…色成分毎のshort信号積分手段
Claims (6)
- 撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎に行うことを特徴とする静止画固体撮像装置。
- 撮像によって得た長時間露光信号と短時間露光信号とを合成することによりダイナミックレンジ拡大を行う静止画固体撮像装置であって、前記長時間露光信号と前記短時間露光信号との露光量比の検出を撮像画面に分割形成したブロック毎にかつ色成分毎に行い、その検出した露光量比に基づいて前記ダイナミックレンジ拡大における長時間露光信号と短時間露光信号とのゲイン調整をブロック毎にかつ色成分毎に行うことを特徴とする静止画固体撮像装置。
- 露光量の異なる複数の画像信号を独立に出力する撮像手段と、前記撮像手段からの露光量の異なる複数の画像信号を記憶する画像メモリと、前記露光量の異なる複数の画像信号の露光量比を検出する露光量比検出手段と、前記検出した露光量比に基づいて前記画像メモリから読み出された前記露光量の異なる複数の画像信号に対するゲイン調整を行うゲイン調整手段と、前記ゲイン調整後の前記露光量の異なる複数の画像信号を合成する画像合成手段とを備え、
前記露光量比検出手段は、前記露光量の異なる複数の画像信号の信号レベルを判定する信号レベル判定手段と、そのレベル判定により所定の範囲内にある露光量の異なる複数の画像信号毎に積分値を求める積分手段と、それら複数の積分値の比を求める露光量比演算手段とから構成されていることを特徴とする静止画固体撮像装置。 - 前記積分手段は、画面を複数のブロックに分割したブロック単位で前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項3に記載の静止画固体撮像装置。
- 前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項3に記載の静止画固体撮像装置。
- 前記撮像手段が分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有しており、さらに、前記積分手段は、画面を複数のブロックに分割したブロック単位でかつ色成分毎に前記露光量の異なる複数の画像信号毎に積分値を求めるように構成されていることを特徴とする請求項3に記載の静止画固体撮像装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000159907A JP3707725B2 (ja) | 2000-05-30 | 2000-05-30 | 静止画固体撮像装置 |
CNB008177694A CN1276646C (zh) | 1999-11-22 | 2000-11-20 | 固态成象设备 |
EP00976348A EP1237363B1 (en) | 1999-11-22 | 2000-11-20 | Solid-state imaging device |
PCT/JP2000/008153 WO2001039490A1 (fr) | 1999-11-22 | 2000-11-20 | Dispositif d'imagerie a semi-conducteur |
DE60025647T DE60025647T2 (de) | 1999-11-22 | 2000-11-20 | Festkörperbildaufnahemvorrichtung |
US10/130,696 US7466358B1 (en) | 1999-11-22 | 2000-11-20 | Solid-state imaging device for enlargement of dynamic range |
US12/277,054 US20090174792A1 (en) | 1999-11-22 | 2008-11-24 | Solid-state imaging device for enlargement of dynamic range |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000159907A JP3707725B2 (ja) | 2000-05-30 | 2000-05-30 | 静止画固体撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001339633A JP2001339633A (ja) | 2001-12-07 |
JP3707725B2 true JP3707725B2 (ja) | 2005-10-19 |
Family
ID=18664176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000159907A Expired - Fee Related JP3707725B2 (ja) | 1999-11-22 | 2000-05-30 | 静止画固体撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3707725B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3985134B2 (ja) * | 2001-12-25 | 2007-10-03 | ソニー株式会社 | 撮像装置及びその画像合成方法 |
US7830435B2 (en) * | 2003-09-03 | 2010-11-09 | Eastman Kodak Company | Image sensor and image capture system with extended dynamic range |
JP4769634B2 (ja) * | 2006-05-22 | 2011-09-07 | パナソニック株式会社 | 撮像装置および撮像装置におけるノイズ除去方法 |
JP4757828B2 (ja) * | 2007-03-28 | 2011-08-24 | 富士フイルム株式会社 | 画像合成装置、撮影装置、画像合成方法及び画像合成プログラム |
WO2010116922A1 (ja) * | 2009-04-07 | 2010-10-14 | コニカミノルタオプト株式会社 | 画像入力装置 |
JP5972057B2 (ja) * | 2012-06-07 | 2016-08-17 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
JP6020199B2 (ja) * | 2013-01-24 | 2016-11-02 | 株式会社ソシオネクスト | 画像処理装置、方法、及びプログラム、並びに撮像装置 |
CN104639845B (zh) * | 2015-03-17 | 2017-12-26 | 上海兆芯集成电路有限公司 | 高动态范围图像产生方法以及使用该方法的装置 |
-
2000
- 2000-05-30 JP JP2000159907A patent/JP3707725B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001339633A (ja) | 2001-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI390971B (zh) | 成像裝置,成像處理方法及成像控制程式 | |
JP5347707B2 (ja) | 撮像装置および撮像方法 | |
WO2001039490A1 (fr) | Dispositif d'imagerie a semi-conducteur | |
US20060119726A1 (en) | Solid-state image sensor obviating degradation of image quality and apparatus using the same | |
JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP3999321B2 (ja) | 電子カメラ | |
JP2004007298A (ja) | 撮像装置及び撮像方法 | |
JP3707725B2 (ja) | 静止画固体撮像装置 | |
US8154620B2 (en) | Imaging apparatus and imaging method | |
JP5277863B2 (ja) | 撮像装置および撮像方法 | |
JP3590242B2 (ja) | 電子的撮像装置 | |
JP3988760B2 (ja) | 固体撮像装置 | |
JP2004007133A (ja) | 撮像装置 | |
JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
JP2004112768A (ja) | 撮像装置 | |
JP4028395B2 (ja) | デジタルカメラ | |
JP2010068331A (ja) | 撮像装置および撮像方法 | |
JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
JP2004343177A (ja) | 撮像装置 | |
JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
JPH1023324A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3707725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |