JP3982987B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3982987B2 JP3982987B2 JP2000318192A JP2000318192A JP3982987B2 JP 3982987 B2 JP3982987 B2 JP 3982987B2 JP 2000318192 A JP2000318192 A JP 2000318192A JP 2000318192 A JP2000318192 A JP 2000318192A JP 3982987 B2 JP3982987 B2 JP 3982987B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- exposure
- signals
- time
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラやテレビカメラ，スチルカメラ，工業用カメラ，マルチメディア機器への画像取り込みカメラなど幅広く利用可能な撮像機器に係り、特に、固体撮像素子を用いた撮像装置のダイナミックレンジを拡大する処理に関する。
【０００２】
【従来の技術】
ビデオカメラや電子スチルカメラにより、室内から撮影する窓辺の人物などのような撮影対象を逆光状態で撮影する場合、一般的な露光制御を行なうと、撮影目的となる人物の画像が黒く潰れ、窓の外の風景に対しては適切な露光状態となる制御が行なわれる。そこで、このような逆光シーンを撮影する場合には、従来、逆光補正処理を行ない、撮影目的としての人物の映像信号が黒く潰れないような補正を行なっていた。ここで、逆光補正処理とは、カメラの絞りを通常よりも開き気味に設定するか、露光時間を長めに設定し、本来黒く潰れてしまう領域を明るく撮影するようにした露光処理である。しかしながら、この場合、逆光補正前に最適な露光であった室外の風景の画像は白く飛んでしまう。また、監視カメラなどにおいても、１台のカメラで室内と室外との両方を同時に監視する必要がある場合、室内外双方の露光の妥協点で撮影を行なっていた。
【０００３】
以上のような広いダイナミックレンジを必要とするシーンを撮影する場合、例えば、特開平１１−７５１１８号公報に記載のように、撮像素子で１フィールド毎に長い露光時間と短い露光時間とを設定して、夫々の露光時間毎の露光量が異なる２つの信号を得、これらを合成して信号処理を行ない、ダイナミックレンジが拡大され、かつＳ／Ｎを向上した映像信号を得るようにした技術が知られている。かかる従来技術は、各フィールド内で露光時間を異ならせて２回撮影し、これによって得られた２つの信号、即ち、長時間露光信号と短時間露光信号とを用いて非線型画像合成処理を行ない、その合成信号にマトリクス処理やホワイトバランス，ガンマ補正などのカメラ信号処理を行なってテレビジョン信号を生成するものである。
【０００４】
【発明が解決しようとする課題】
上記公開公報に記載の従来技術での非線型合成処理について、図６により説明する。
【０００５】
図６は横軸を入射光量Ｌとし、縦軸を信号レベルＳとして、上記の長時間露光信号Slongと上記の短時間露光信号Sshortとこれらの合成信号Smixとの入射光量Ｌに対する信号レベルＳを示すものである。
【０００６】
同図において、長時間露光信号Slongは、露光量が入射光量Ｌ１で飽和するとすると、短時間露光信号Sshortは、露光時間が短いために、この入射光量Ｌ１では飽和しない。このために、長時間露光信号Slongと短時間露光信号Sshortを加算して得られる合成信号Smixの階調特性は、長時間露光信号Slongのみからなる場合の階調特性より拡大されているため、見かけのダイナミックレンジが拡大される。
【０００７】
しかしながら、合成信号Smixの階調特性はこの入射光量Ｌ１で傾きの変化する非線形な直線となっているため、後段のホワイトバランスやガンマ補正が正しく行なわれないことになる。以下、その理由を説明する。
【０００８】
いま、Ｒ（赤），Ｇ（緑），Ｂ（青）の組成比がＲ：Ｇ：Ｂ＝２：４：１の白色の一様な光が入射しており、Ｒ，Ｇ，Ｂ原色の撮像素子で撮像しているものと仮定する。入射光Ｒ，Ｇ，Ｂ夫々の入射光量ＲＬ，ＧＬ，ＢＬが全て値Ｌ１より小さく、入射光量Ｌが値Ｌ１よりも小さいときの合成信号Smixの階調特性の傾きをＡとすると、合成信号SmixでのＲ，Ｇ，Ｂ信号の信号レベルは夫々、
Ａ×ＲＬ、Ａ×ＧＬ、Ａ×ＢＬ ……（１）
となる。そして、これらＲ，Ｇ，Ｂ信号を、上記のＲ，Ｇ，Ｂの入射光の組成比より、ホワイトバランスをとると、夫々のＲ，Ｇ，Ｂ信号の信号レベルは、
Ａ×ＲＬ×２、Ａ×ＧＬ、Ａ×ＢＬ×４ ……（２）
となる。Ｒ，Ｇ，Ｂ入射光の組成比より、
ＲＬ＝ＬＬ×２、ＧＬ＝ＬＬ×４、ＢＬ＝ＬＬ ……（３）
とおけるので、上記式２で示すＲ，Ｇ，Ｂ信号の信号レベルはともに、
Ａ×ＬＬ×４ ……（４）
となり、正しくホワイトバランスをかけることができることになる。
【０００９】
ところが、Ｒ，Ｇ，Ｂ光の入射光量Ｌのうち、Ｇ光の入射光量Ｌのみが値Ｌ１より大きく、入射光量が値Ｌ１よりも小さいときの合成信号Smixの階調特性の傾きをＡ、入射光量が値Ｌ１よりも大きいときの合成信号Smixの階調特性の傾きをＢとすると、合成信号SmixでのＲ，Ｇ，Ｂ信号の信号レベルは夫々、
Ａ×ＲＬ、Ｂ×ＧＬ、Ａ×ＢＬ ……（５）
となる。Ｒ，Ｇ，Ｂの入射光の組成比より、ホワイトバランスをとると、夫々のＲ，Ｇ，Ｂ信号の信号レベルは、
Ａ×ＲＬ×２、Ｂ×ＧＬ、Ａ×ＢＬ×４ ……（６）
となる。上記式６で表わされるＲ，Ｇ，Ｂ信号の信号レベルは夫々、上記式３より、
Ａ×ＬＬ×４、Ｂ×ＬＬ×４、Ａ×ＬＬ×４ ……（７）
となり、正しくホワイトバランスをかけることができないことになる。
【００１０】
同様にして、Ｒ，Ｇ，Ｂ光の入射光量Ｌのうちのいずれか１つでも、その入射光量が値Ｌ１を境として他の色光の入射光量とは反対側にある場合には、入射光量Ｌの値Ｌ１を境にして合成信号Smixの信号レベルが非線形に変化するので、所望のガンマ特性を得ることができない。また、補色の撮像素子を使用した場合でも、同様にして、ホワイトバランスやガンマ補正が正しく行なわれない。
【００１１】
かかる問題を解決するためには、入射光量Ｌが値Ｌ１よりも大きいときの合成信号Smixの階調特性の傾きＢを入射光量Ｌが値Ｌ１よりも小さいときのその傾きＡとするように、画像合成に際し、入射光量に対して信号レベルを線形とする処理を必要となる。しかしながら、このようにすると、合成信号Smixの出力レベルが増大化し、これをディジタル処理する場合のビット数が大きくなってしまって、後段のカメラ信号処理回路の回路規模が増大化するという問題がある。
【００１２】
本発明の目的は、かかる問題を解消し、回路規模を増大化することなく、映像信号のダイナミックレンジを拡大できて、なおかつホワイトバランスやガンマ補正を正しく行なうことができるようにした撮像装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明では、露光時間の異なる複数の露光信号を出力する撮像手段と、該撮像手段から出力される該露光信号から輝度信号と赤，青，緑の各色信号とを生成して処理する信号処理手段と、該信号処理手段からの該輝度信号と該各色信号を記憶するメモリ手段と、該メモリ手段から読み出された露光時間が異なる該輝度信号を加算し、かつ該メモリ手段から読み出された露光時間が異なる同じ色信号どおしを加算する加算手段と、該加算手段からの該輝度信号と該各色信号とからテレビジョン信号を生成する手段とを備え、該信号処理手段は、該色信号毎に所定のゲインをかけてホワイトバランス制御するホワイトバランス制御手段と、該輝度信号と該ホワイトバランス制御手段から出力される該各色信号に対して夫々独立にガンマ補正を行なうガンマ補正手段とを有し、該ガンマ補正手段は、露光時間の異なる該輝度信号や各色信号に夫々適したガンマ値を用い、露光時間の長い該輝度信号や各色信号の入力レベルが所望の入力値以上であるときには、出力レベルを所望の出力値とし、露光時間の短い該輝度信号や各色信号の入力レベルが所望の入力値以下であるときには、出力レベルを０とするものである。
【００１４】
また、本発明は、前記撮像手段が、１フィールド期間毎に、前記露光時間の異なる複数の露光信号を出力し、前記加算手段が、同じフィールド内での露光時間が異なる該輝度信号を加算し、同じフィールド内での露光時間が異なる同じ色信号を加算するものである。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図面により説明する。
【００１７】
図１は本発明による撮像装置の一実施形態を示すブロック図であって、１は撮像レンズ、２はＣＣＤ(Charge Coupled Device)などの撮像素子、３はタイミングジェネレータ、４はＡＧＣ回路、５はＡ／Ｄ（アナログ／ディジタル）変換器、６はカメラ信号処理回路、７はガンマ補正回路、８，９はメモリ回路、１０は加算部、１１はエンコーダ、１２はガンマ特性切替スイッチ、１３はメモリ書込切替スイッチである。
【００１８】
同図において、撮像レンズ１で撮像素子２の受光面に結像した被写体像は光電変換され、画像信号として読み出される。ここで、撮像素子２の各フォトダイオードに蓄積する時間はタイミングジェネレータ３で生成するパルスによって制御され、上記従来技術と同様、各フィールド内で長い露光時間と短い露光時間とに露光時間が切り替えられる。これにより、撮像素子２からは長い露光時間で得られる長時間露光信号と短い露光時間で得られる短時間露光信号とが所望のタイミングで出力される。
【００１９】
撮像素子２から出力されるこれら長時間露光信号と短時間露光信号とは、ＡＧＣ回路４で所定のゲインが与えられ、次いで、Ａ／Ｄ変換器５でデジタル信号へ変換さた後、カメラ信号処理回路６に供給されて色処理，輝度処理がなされる。
【００２０】
図２はこのカメラ信号処理回路６の一具体例を示すブロック図であって、１４は輝度信号生成部、１５は色分離部、１６は乗算部である。
【００２１】
同図において、Ａ／Ｄ変換器５（図１）から供給されるデジタル化された長時間露光信号と短時間露光信号とは輝度信号生成部１４に供給され、夫々毎にマトリックス演算によって低域周波数域の輝度信号と高域周波数域の輝度信号に分離され、高域周波数域の輝度信号が所望のゲインで強調されて低域周波数域の輝度信号と加算されて、高域周波数域が強調された輝度信号Ｙが得られる。この輝度信号はデジタル化された長時間露光信号と短時間露光信号とからなっている。
【００２２】
Ａ／Ｄ変換器５（図１）から供給されるこのデジタル化された長時間露光信号と短時間露光信号とは、また、色分離部１５に供給され、夫々毎にマトリックス演算によってＲ，Ｇ，Ｂの各色信号が分離される。これらＲ，Ｇ，Ｂ信号も、デジタル化された長時間露光信号と短時間露光信号とからなっている。
【００２３】
このとき、カメラ信号処理回路６の前段では、長時間露光信号と短時間露光信号とを合成するといった非線形な処理は行なわれていないので、輝度信号生成部１４から出力される輝度信号Ｙと色分離部１５から出力されるＲ，Ｇ，Ｂ信号とは、撮像素子２への入射光量に対して線形な信号レベルの信号となっている。
【００２４】
色分離部１５から出力されるＲ，Ｇ，Ｂ信号は乗算部１６に供給され、撮像素子２（図１）の被写体の白い部分が白い画像となるように、つまり被写体の白い部分のＲ，Ｇ，Ｂ信号が同一信号レベルになるように、夫々所望のゲインがかけられる。このとき、色分離部１５から出力されるＲ，Ｇ，Ｂ信号は、撮像素子２への入射光量に対して線形な信号レベルとなっているので、Ｒ，Ｇ，Ｂ信号のどれに対しても、被写体の白い部分が白くなるようなホワイトバランス制御をすることができる。
【００２５】
このようにカメラ信号処理回路６で処理された輝度信号ＹとＲ，Ｇ，Ｂ信号とは、図１に示すガンマ補正回路７に供給され、夫々の信号毎に独立にガンマ補正処理がなされる。このガンマ補正処理は、長時間露光信号と短時間露光信号毎に、ガンマ特性切替スイッチ１２により、夫々に適したガンマ値が切り替え設定されて行なわれるものである。即ち、長時間露光信号に対しては、これに適したガンマ値Ａがガンマ特性切替スイッチ１２によって選択され、このガンマ値Ａを用いて非線型変換処理が行なわれる。また、短時間露光信号に対しては、これに適したガンマ値Ｂがガンマ特性切替スイッチ１２によって選択され、このガンマ値Ｂを用いて非線型変換処理が行なわれる。
【００２６】
図３はこのガンマ補正回路７の動作を示す図であって、同図(ａ)は長時間露光信号に対するガンマ補正特性を、同図(ｂ)は短時間露光信号に対するガンマ補正特性を夫々示している。ここで、長時間露光信号に対してガンマ値Ａを用いて施されるガンマ補正をＧlongとし、短時間露光信号に対してガンマ値Ｂを用いて施されるガンマ補正をＧshortとする。なお、同図(ｃ)はガンマ補正された長時間露光信号と短時間露光信号とを加算して得られる合成信号のガンマ補正特性Ｇmixを示すものである。
【００２７】
ガンマ補正回路７に入力される長時間露光信号（その入力信号レベルSILをする）に対するガンマ補正Ｇlongは、図３（ａ）に示すように、予め設定された上限リミットULimitまでの入力信号レベルSILの範囲でかけられ、ガンマ補正回路７に入力される短時間露光信号（その入力信号レベルをSISとする）に対するガンマ補正Ｇshortは、図３（ｂ）に示すように、予め設定された下限リミットLLimit以上の入力信号レベルSIS の範囲でかけられる。
【００２８】
ここで、長時間露光信号は、撮像素子２（図１）への入射光量が大き過ぎると、信号レベルが飽和するが、上限リミットULimitは、長時間露光信号のこの飽和信号レベルより小さく、長時間露光信号と短時間露光信号との合成信号の低域の階調が充分であって、かつＳ／Ｎも劣化しない程度の所望の値に設定される。この入力長時間露光信号は上記のガンマ値Ａでガンマ補正されるが、このガンマ補正された長時間露光信号のうちの上限リミットULimitでの信号レベル(上限信号レベル）SLout以上のものが、この上限信号レベルSLoutに制限される(なお、ガンマ補正回路７の入力長時間露光信号の信号レベルSINは上記の飽和信号レベルまでの範囲にしか存在しないが、図３（ａ）では、後述する理由から、この飽和信号レベル以上の信号レベルが存在するものと仮想しており、その信号レベルでガンマ補正された長時間露光信号の信号レベルを上記の上限信号レベルSLoutに維持するものである）。
【００２９】
また、下限リミットLLimitは、撮像素子２での長時間露光時間をLtime、短時間露光時間をStimeとすると、
LLimit＝ULimit×Stime÷Ltime ……（８）
で表わされる。
【００３０】
上記のように、撮像素子２では、タイミングジェネレータ３からのパルスにより、図４に示すように、１フィールド期間内に上記の長時間露光時間Ltimeと短時間露光時間Stimeとが設定されており、これらは
Ltime＋Stime＝１フィールド、かつLtime＞Stime ……（９）
の関係にある。ここで、撮像素子２(図１)において、時刻ｔ0を１フィールドの撮像動作の開始時点、時刻ｔ1を長時間露光時間Ltimeの長時間露光から短時間露光時間Stimeの短時間露光への切替時点、時刻ｔ2を１フィールドの撮像動作の終了時点とすると、長時間露光は時刻ｔ0〜ｔ1（＝Ltime）の間露光するものであり、短時間露光は時刻ｔ1〜ｔ2(＝Stime）の間露光するものである。従って、時刻ｔ1での撮像素子２の光電変換素子の積算受光量（時刻ｔ0〜ｔ1の受光量）が長時間露光信号の信号レベルを決め、時刻ｔ2での撮像素子２の光電変換素子の積算受光量（時刻ｔ1〜ｔ2の受光量）が短時間露光信号の信号レベルを決めるものであるが、上記式８での露光時間Ltime，Stimeの関係から、長時間露光信号の信号レベルが上限リミットULimitとなるときの撮像素子２への入射光量と短時間露光信号の信号レベルが下限リミットLLimitとなるときの撮像素子２への入射光量とは等しい。この入射光量を、以下、境界入射光量Ldevide という。
【００３１】
短時間露光信号は、図３（ｂ）に示すように、下限リミットLLimit未満の入力信号レベルSISのものが除かれ、下限リミットLLimit以上の入力信号レベルSISのものに対してガンマ値Ｂによるガンマ補正がなされる。
【００３２】
なお、図３（ａ），（ｂ）の横軸（入力レベル軸）は撮像素子２での同じ入射光量軸（図示せず）を基準にして示しており、従って、図３（ｂ）の横軸の単位長での信号レベルSISは図３(ａ）の横軸の単位長での信号レベルSILのLtime/Stime倍となっている。
【００３３】
図３（ａ）に示すようにガンマ補正Ｇlongされた長時間露光信号と図３（ｂ）に示すようにガンマ補正Ｇshortされた短時間露光信号とが加算されて合成信号が形成されるのであるが、この合成信号のガンマ補正Ｇmixは、図３（ａ）で示すガンマ補正特性と図３（ｂ）に示すガンマ補正特性とをそのまま加算した特性となり、図３（ｃ）に示すようになる。
【００３４】
なお、図３（ａ）では、ガンマ補正回路７に入力される長時間露光信号は、上記の境界入射光量Ldevide以上の入射光量のときには、その信号レベルＳILが飽和信号レベルに保たれるから、この入力長時間露光信号には、この飽和信号レベル以上の信号レベルは存在しない。しかし、このガンマ補正回路７では、撮像素子２の入射光量に関してみると、境界入射光量Ldevide以上の入射光量のとき、かかる入射光量に対するガンマ補正回路７からの出力信号レベルSOLを上限信号レベルSLoutという一定の信号レベルとするものであり、このことから、図３（ａ）では、ガンマ補正回路７の入力長時間露光信号に対し、上限リミットULimit以上の信号レベルSILを想定し、この入力信号レベルSILに対するガンマ補正回路７からの長時間露光信号の出力レベルSOLを上限信号レベルSLoutとするものである。これにより、図３（ａ），（ｂ）の特性を対応させることができ、これらの特性を加算することにより、図３（ｃ）に示す合成信号のガンマ補正Ｇmixが得られるとすることができる。
【００３５】
図３（ｃ）に示すガンマ補正Ｇmixの合成信号は、撮像素子２での入射光量が長時間露光信号の上限リミットULimit，短時間露光信号の下限リミットLLimitに対する上記の境界入射光量Ldevideまでの入射光量の範囲では、図３（ａ）に示したガンマ補正Ｇlong後の長時間露光信号の上限リミットULimitまでのものであり、この境界入射光量Ldevide以上の入射光量の範囲では、図３（ａ）に示すガンマ補正された長時間露光信号での入力信号レベルSILが上限リミットULimitであるときの出力信号レベル、即ち、上限信号レベルSLoutに、図３（ｂ）に示すようにガンマ補正された短時間露光信号を加算したものである。
【００３６】
そこで、いま、ガンマ補正回路７への入力長時間露光信号の信号レベルSILに対してガンマ値Ａで、同じく短時間露光信号の信号レベルSISに対してガンマ値Ｂで夫々、上記のように、ガンマ補正されるから、図３（ｃ）に示すガンマ補正Ｇmixの合成信号の信号レベルSmixは、
入射光量＜Ldevideのとき、Smix ＝ （SIL)A
入射光量≧Ldevideのとき、Smix ＝ （ULimit)A ＋（SIS−LLimit)B
となるが、入射光量≧Ldevideのときのガンマ補正Ｇmixの合成信号の信号レベルSmixが、入射光量＜Ldevideのときのガンマ補正Ｇmixの合成信号の信号レベルSmixから滑らかに連続してガンマ値Ａでのガンマ補正特性を示すように、ガンマ値Ｂなどを設定する。
【００３７】
このようにして、図３（ｃ）に示すガンマ補正Ｇmixのように、ダイナミックレンジを拡大して、なおかつ所望のガンマ補正を行なうことができる。
【００３８】
また、入射光量が大きいて、しかも狭い範囲に集中している場合には、その集中している光量に対して階調を短時間露光信号に多く割り当てるようなガンマ補正Ｇshortを割り当てて、高輝度部のコントラストを上げるといったような、被写体に適応したガンマ補正を行なうようにしてもよい。
【００３９】
以上のようにガンマ補正された長時間露光信号と短時間露光信号とは、メモリ書込切替スイッチ１３により、長時間露光信号と短時間露光信号とに分離され、長時間露光信号はメモリ回路８に、短時間露光信号はメモリ回路９に夫々書き込まれる。そして、同じフィールドの長時間露光信号と短時間露光信号との位相が一致するようにして、夫々メモリ回路８，９から読み出され、これらが加算部１０で加算されてダイナミックレンジが拡大された映像信号が得られる。
【００４０】
以上の加算部１０までの処理は輝度信号やＲ，Ｇ，Ｂ信号毎になされるものであって、これにより、ダイナミックレンジが拡大された輝度信号ＹやＲ，Ｇ，Ｂ信号が得られる。これら輝度信号ＹやＲ，Ｇ，Ｂ信号はエンコーダ１１に供給され、ＮＴＳＣ方式やＰＡＬ方式などの所定方式のテレビジョン信号に変換されて出力される。
【００４１】
ここで、メモリ回路８，９による長時間露光信号と短時間露光信号との位相合わせについて説明する。
【００４２】
図１における撮像素子２の光電変換部には、水平，垂直方向にマトリクス状に光電変換素子が設けられているとともに、この光電変換素子の垂直方向の配列毎に垂直転送部が設けられ、また、これら垂直転送部の出力部毎にセルが対向する水平転送部が設けられている。また、これら垂直転送部の同じ順位のセルの配列（水平方向の配列）が１ライン（１水平走査期間）分の画素を保持する。
【００４３】
かかる構成の撮像素子２において、図４により、時刻ｔ1になると、各光電変換素子の長時間露光時間Ltimeの露光による画素電荷が対応する垂直転送部の１つおきのセルに転送される。垂直転送部では、１ライン期間毎に１セル分ずつ画素電荷が垂直方向に転送され、また、水平転送部では、１ライン期間毎に各垂直転送部から１つずつ画素電荷（従って、１ライン分の画素電荷）が転送されてきて、これらが１ラインの期間にわたって１セル分ずつ水平方向に転送されて出力される。このようにして、長時間露光による各画素電荷が同期して夫々の垂直転送部内を水平転送部の方に転送され、水平転送部から出力される。
【００４４】
また、図４での時刻ｔ2になると、各光電変換素子の短時間露光時間Stimeの露光による画素電荷が対応する垂直転送部での長時間露光時間Ltimeの露光による画素電荷が存在しない他の１つおきのセルに転送され、同様にして、これら垂直転送部内を１セル分ずつ水平転送部の方に転送され、さらに、水平転送部から出力される。
【００４５】
かかる動作によると、垂直転送部では、長時間露光時間Ltimeの露光による画素電荷と短時間露光時間Stimeの露光による画素電荷とが交互に配列されることになり（水平方向には、同じ露光の画素電荷が配列される）、これにより、垂直転送部から水平転送部には、長時間露光時間Ltimeの露光による１ライン分の画素電荷列（１ライン分の長時間露光信号）と短時間露光時間Stimeの露光による１ライン分の画素電荷列（１ライン分の短時間露光信号）とが、１ライン毎に交互に転送されてくることになる。従って、水平転送部からは、即ち、撮像素子２からは長時間露光信号と短時間露光信号とが１ライン毎に交互に出力されることになる。ガンマ補正回路７の入力信号も同様であり、これにより、ガンマ特性切替スイッチ１２は１ライン毎に切り替わることになる。
【００４６】
一方、垂直転送部と水平転送部とは常に画素電荷の転送動作を行なっているものであるから、図４での時刻ｔ1で長時間露光信号の画素電荷が垂直直転送部に転送されると、これら画素電荷は直ちに垂直方向に転送され、さらに、水平転送部で水平方向に転送されて順次出力され、次に、図４での時刻ｔ2で短時間露光信号の画素電荷が垂直転送部に転送されると、これら画素電荷は直ちに垂直方向に転送され、さらに、水平転送部で水平方向に転送されて順次出力されることになる。これにより、図５に示すように、同じフィールド内での長時間露光信号と短時間露光信号との間では、時間（ｔ2−ｔ1）、即ち、短時間露光時間Stimeの時間差が生することになる。
【００４７】
このように、撮像素子２から出力される同じフィールドの長時間露光信号と短時間露光信号とでは、短時間露光時間Stimeの時間差があるため、これらを加算して合成信号を生成する場合には、かかる時間差をなくして長時間露光信号と短時間露光信号との位相を一致させなければならない。このために、メモリ書込切替スイッチ１３とメモリ回路８，９とが設けられ、長時間露光信号と短時間露光信号との位相調整を行なっているのである。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、非線形な長時間露光信号と短時間露光信号の合成により、線形な信号に対するホワイトバランスやガンマ補正などのカメラ信号処理が正しく行なわれることになり、所望のガンマ補正で正しい色再現性の広ダイナミックレンジの映像信号を生成することができる。
【００４９】
また、従来のカメラ信号処理回路を用いて構成することができるので、回路規模を増大させることなく、映像信号のダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【図１】本発明による撮像装置の一実施形態を示すブロック図である。
【図２】図１におけるカメラ信号処理回路の一具体例を示すブロック図である。
【図３】図１におけるガンマ補正回路の動作とこれによってガンマ補正された長時間露光信号と短時間露光信号との合成方法とを示する図である。
【図４】図１における撮像素子の長時間露光時間と短時間露光時間とを説明するための図である。
【図５】図１における撮像素子で生成される長時間露光信号と短時間露光信号とのタイミング関係を示す図である。
【図６】従来技術の長時間露光信号と短時間露光信号の合成方法を示す図である。
【符号の説明】
１ 撮像レンズ
２ 撮像素子
３ タイミングジェネレータ
４ ＡＧＣ回路
５ Ａ／Ｄ変換回路
６ カメラ信号処理回路
７ ガンマ補正回路
８，９ メモリ回路
１０ 加算部
１１ エンコーダ
１２ ガンマ特性切替スイッチ
１３ メモリ書込切替えスイッチ
１４ 輝度処理部
１５ 色分離部
１６ 乗算部
【発明の属する技術分野】
本発明は、ビデオカメラやテレビカメラ，スチルカメラ，工業用カメラ，マルチメディア機器への画像取り込みカメラなど幅広く利用可能な撮像機器に係り、特に、固体撮像素子を用いた撮像装置のダイナミックレンジを拡大する処理に関する。
【０００２】
【従来の技術】
ビデオカメラや電子スチルカメラにより、室内から撮影する窓辺の人物などのような撮影対象を逆光状態で撮影する場合、一般的な露光制御を行なうと、撮影目的となる人物の画像が黒く潰れ、窓の外の風景に対しては適切な露光状態となる制御が行なわれる。そこで、このような逆光シーンを撮影する場合には、従来、逆光補正処理を行ない、撮影目的としての人物の映像信号が黒く潰れないような補正を行なっていた。ここで、逆光補正処理とは、カメラの絞りを通常よりも開き気味に設定するか、露光時間を長めに設定し、本来黒く潰れてしまう領域を明るく撮影するようにした露光処理である。しかしながら、この場合、逆光補正前に最適な露光であった室外の風景の画像は白く飛んでしまう。また、監視カメラなどにおいても、１台のカメラで室内と室外との両方を同時に監視する必要がある場合、室内外双方の露光の妥協点で撮影を行なっていた。
【０００３】
以上のような広いダイナミックレンジを必要とするシーンを撮影する場合、例えば、特開平１１−７５１１８号公報に記載のように、撮像素子で１フィールド毎に長い露光時間と短い露光時間とを設定して、夫々の露光時間毎の露光量が異なる２つの信号を得、これらを合成して信号処理を行ない、ダイナミックレンジが拡大され、かつＳ／Ｎを向上した映像信号を得るようにした技術が知られている。かかる従来技術は、各フィールド内で露光時間を異ならせて２回撮影し、これによって得られた２つの信号、即ち、長時間露光信号と短時間露光信号とを用いて非線型画像合成処理を行ない、その合成信号にマトリクス処理やホワイトバランス，ガンマ補正などのカメラ信号処理を行なってテレビジョン信号を生成するものである。
【０００４】
【発明が解決しようとする課題】
上記公開公報に記載の従来技術での非線型合成処理について、図６により説明する。
【０００５】
図６は横軸を入射光量Ｌとし、縦軸を信号レベルＳとして、上記の長時間露光信号Slongと上記の短時間露光信号Sshortとこれらの合成信号Smixとの入射光量Ｌに対する信号レベルＳを示すものである。
【０００６】
同図において、長時間露光信号Slongは、露光量が入射光量Ｌ１で飽和するとすると、短時間露光信号Sshortは、露光時間が短いために、この入射光量Ｌ１では飽和しない。このために、長時間露光信号Slongと短時間露光信号Sshortを加算して得られる合成信号Smixの階調特性は、長時間露光信号Slongのみからなる場合の階調特性より拡大されているため、見かけのダイナミックレンジが拡大される。
【０００７】
しかしながら、合成信号Smixの階調特性はこの入射光量Ｌ１で傾きの変化する非線形な直線となっているため、後段のホワイトバランスやガンマ補正が正しく行なわれないことになる。以下、その理由を説明する。
【０００８】
いま、Ｒ（赤），Ｇ（緑），Ｂ（青）の組成比がＲ：Ｇ：Ｂ＝２：４：１の白色の一様な光が入射しており、Ｒ，Ｇ，Ｂ原色の撮像素子で撮像しているものと仮定する。入射光Ｒ，Ｇ，Ｂ夫々の入射光量ＲＬ，ＧＬ，ＢＬが全て値Ｌ１より小さく、入射光量Ｌが値Ｌ１よりも小さいときの合成信号Smixの階調特性の傾きをＡとすると、合成信号SmixでのＲ，Ｇ，Ｂ信号の信号レベルは夫々、
Ａ×ＲＬ、Ａ×ＧＬ、Ａ×ＢＬ ……（１）
となる。そして、これらＲ，Ｇ，Ｂ信号を、上記のＲ，Ｇ，Ｂの入射光の組成比より、ホワイトバランスをとると、夫々のＲ，Ｇ，Ｂ信号の信号レベルは、
Ａ×ＲＬ×２、Ａ×ＧＬ、Ａ×ＢＬ×４ ……（２）
となる。Ｒ，Ｇ，Ｂ入射光の組成比より、
ＲＬ＝ＬＬ×２、ＧＬ＝ＬＬ×４、ＢＬ＝ＬＬ ……（３）
とおけるので、上記式２で示すＲ，Ｇ，Ｂ信号の信号レベルはともに、
Ａ×ＬＬ×４ ……（４）
となり、正しくホワイトバランスをかけることができることになる。
【０００９】
ところが、Ｒ，Ｇ，Ｂ光の入射光量Ｌのうち、Ｇ光の入射光量Ｌのみが値Ｌ１より大きく、入射光量が値Ｌ１よりも小さいときの合成信号Smixの階調特性の傾きをＡ、入射光量が値Ｌ１よりも大きいときの合成信号Smixの階調特性の傾きをＢとすると、合成信号SmixでのＲ，Ｇ，Ｂ信号の信号レベルは夫々、
Ａ×ＲＬ、Ｂ×ＧＬ、Ａ×ＢＬ ……（５）
となる。Ｒ，Ｇ，Ｂの入射光の組成比より、ホワイトバランスをとると、夫々のＲ，Ｇ，Ｂ信号の信号レベルは、
Ａ×ＲＬ×２、Ｂ×ＧＬ、Ａ×ＢＬ×４ ……（６）
となる。上記式６で表わされるＲ，Ｇ，Ｂ信号の信号レベルは夫々、上記式３より、
Ａ×ＬＬ×４、Ｂ×ＬＬ×４、Ａ×ＬＬ×４ ……（７）
となり、正しくホワイトバランスをかけることができないことになる。
【００１０】
同様にして、Ｒ，Ｇ，Ｂ光の入射光量Ｌのうちのいずれか１つでも、その入射光量が値Ｌ１を境として他の色光の入射光量とは反対側にある場合には、入射光量Ｌの値Ｌ１を境にして合成信号Smixの信号レベルが非線形に変化するので、所望のガンマ特性を得ることができない。また、補色の撮像素子を使用した場合でも、同様にして、ホワイトバランスやガンマ補正が正しく行なわれない。
【００１１】
かかる問題を解決するためには、入射光量Ｌが値Ｌ１よりも大きいときの合成信号Smixの階調特性の傾きＢを入射光量Ｌが値Ｌ１よりも小さいときのその傾きＡとするように、画像合成に際し、入射光量に対して信号レベルを線形とする処理を必要となる。しかしながら、このようにすると、合成信号Smixの出力レベルが増大化し、これをディジタル処理する場合のビット数が大きくなってしまって、後段のカメラ信号処理回路の回路規模が増大化するという問題がある。
【００１２】
本発明の目的は、かかる問題を解消し、回路規模を増大化することなく、映像信号のダイナミックレンジを拡大できて、なおかつホワイトバランスやガンマ補正を正しく行なうことができるようにした撮像装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明では、露光時間の異なる複数の露光信号を出力する撮像手段と、該撮像手段から出力される該露光信号から輝度信号と赤，青，緑の各色信号とを生成して処理する信号処理手段と、該信号処理手段からの該輝度信号と該各色信号を記憶するメモリ手段と、該メモリ手段から読み出された露光時間が異なる該輝度信号を加算し、かつ該メモリ手段から読み出された露光時間が異なる同じ色信号どおしを加算する加算手段と、該加算手段からの該輝度信号と該各色信号とからテレビジョン信号を生成する手段とを備え、該信号処理手段は、該色信号毎に所定のゲインをかけてホワイトバランス制御するホワイトバランス制御手段と、該輝度信号と該ホワイトバランス制御手段から出力される該各色信号に対して夫々独立にガンマ補正を行なうガンマ補正手段とを有し、該ガンマ補正手段は、露光時間の異なる該輝度信号や各色信号に夫々適したガンマ値を用い、露光時間の長い該輝度信号や各色信号の入力レベルが所望の入力値以上であるときには、出力レベルを所望の出力値とし、露光時間の短い該輝度信号や各色信号の入力レベルが所望の入力値以下であるときには、出力レベルを０とするものである。
【００１４】
また、本発明は、前記撮像手段が、１フィールド期間毎に、前記露光時間の異なる複数の露光信号を出力し、前記加算手段が、同じフィールド内での露光時間が異なる該輝度信号を加算し、同じフィールド内での露光時間が異なる同じ色信号を加算するものである。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図面により説明する。
【００１７】
図１は本発明による撮像装置の一実施形態を示すブロック図であって、１は撮像レンズ、２はＣＣＤ(Charge Coupled Device)などの撮像素子、３はタイミングジェネレータ、４はＡＧＣ回路、５はＡ／Ｄ（アナログ／ディジタル）変換器、６はカメラ信号処理回路、７はガンマ補正回路、８，９はメモリ回路、１０は加算部、１１はエンコーダ、１２はガンマ特性切替スイッチ、１３はメモリ書込切替スイッチである。
【００１８】
同図において、撮像レンズ１で撮像素子２の受光面に結像した被写体像は光電変換され、画像信号として読み出される。ここで、撮像素子２の各フォトダイオードに蓄積する時間はタイミングジェネレータ３で生成するパルスによって制御され、上記従来技術と同様、各フィールド内で長い露光時間と短い露光時間とに露光時間が切り替えられる。これにより、撮像素子２からは長い露光時間で得られる長時間露光信号と短い露光時間で得られる短時間露光信号とが所望のタイミングで出力される。
【００１９】
撮像素子２から出力されるこれら長時間露光信号と短時間露光信号とは、ＡＧＣ回路４で所定のゲインが与えられ、次いで、Ａ／Ｄ変換器５でデジタル信号へ変換さた後、カメラ信号処理回路６に供給されて色処理，輝度処理がなされる。
【００２０】
図２はこのカメラ信号処理回路６の一具体例を示すブロック図であって、１４は輝度信号生成部、１５は色分離部、１６は乗算部である。
【００２１】
同図において、Ａ／Ｄ変換器５（図１）から供給されるデジタル化された長時間露光信号と短時間露光信号とは輝度信号生成部１４に供給され、夫々毎にマトリックス演算によって低域周波数域の輝度信号と高域周波数域の輝度信号に分離され、高域周波数域の輝度信号が所望のゲインで強調されて低域周波数域の輝度信号と加算されて、高域周波数域が強調された輝度信号Ｙが得られる。この輝度信号はデジタル化された長時間露光信号と短時間露光信号とからなっている。
【００２２】
Ａ／Ｄ変換器５（図１）から供給されるこのデジタル化された長時間露光信号と短時間露光信号とは、また、色分離部１５に供給され、夫々毎にマトリックス演算によってＲ，Ｇ，Ｂの各色信号が分離される。これらＲ，Ｇ，Ｂ信号も、デジタル化された長時間露光信号と短時間露光信号とからなっている。
【００２３】
このとき、カメラ信号処理回路６の前段では、長時間露光信号と短時間露光信号とを合成するといった非線形な処理は行なわれていないので、輝度信号生成部１４から出力される輝度信号Ｙと色分離部１５から出力されるＲ，Ｇ，Ｂ信号とは、撮像素子２への入射光量に対して線形な信号レベルの信号となっている。
【００２４】
色分離部１５から出力されるＲ，Ｇ，Ｂ信号は乗算部１６に供給され、撮像素子２（図１）の被写体の白い部分が白い画像となるように、つまり被写体の白い部分のＲ，Ｇ，Ｂ信号が同一信号レベルになるように、夫々所望のゲインがかけられる。このとき、色分離部１５から出力されるＲ，Ｇ，Ｂ信号は、撮像素子２への入射光量に対して線形な信号レベルとなっているので、Ｒ，Ｇ，Ｂ信号のどれに対しても、被写体の白い部分が白くなるようなホワイトバランス制御をすることができる。
【００２５】
このようにカメラ信号処理回路６で処理された輝度信号ＹとＲ，Ｇ，Ｂ信号とは、図１に示すガンマ補正回路７に供給され、夫々の信号毎に独立にガンマ補正処理がなされる。このガンマ補正処理は、長時間露光信号と短時間露光信号毎に、ガンマ特性切替スイッチ１２により、夫々に適したガンマ値が切り替え設定されて行なわれるものである。即ち、長時間露光信号に対しては、これに適したガンマ値Ａがガンマ特性切替スイッチ１２によって選択され、このガンマ値Ａを用いて非線型変換処理が行なわれる。また、短時間露光信号に対しては、これに適したガンマ値Ｂがガンマ特性切替スイッチ１２によって選択され、このガンマ値Ｂを用いて非線型変換処理が行なわれる。
【００２６】
図３はこのガンマ補正回路７の動作を示す図であって、同図(ａ)は長時間露光信号に対するガンマ補正特性を、同図(ｂ)は短時間露光信号に対するガンマ補正特性を夫々示している。ここで、長時間露光信号に対してガンマ値Ａを用いて施されるガンマ補正をＧlongとし、短時間露光信号に対してガンマ値Ｂを用いて施されるガンマ補正をＧshortとする。なお、同図(ｃ)はガンマ補正された長時間露光信号と短時間露光信号とを加算して得られる合成信号のガンマ補正特性Ｇmixを示すものである。
【００２７】
ガンマ補正回路７に入力される長時間露光信号（その入力信号レベルSILをする）に対するガンマ補正Ｇlongは、図３（ａ）に示すように、予め設定された上限リミットULimitまでの入力信号レベルSILの範囲でかけられ、ガンマ補正回路７に入力される短時間露光信号（その入力信号レベルをSISとする）に対するガンマ補正Ｇshortは、図３（ｂ）に示すように、予め設定された下限リミットLLimit以上の入力信号レベルSIS の範囲でかけられる。
【００２８】
ここで、長時間露光信号は、撮像素子２（図１）への入射光量が大き過ぎると、信号レベルが飽和するが、上限リミットULimitは、長時間露光信号のこの飽和信号レベルより小さく、長時間露光信号と短時間露光信号との合成信号の低域の階調が充分であって、かつＳ／Ｎも劣化しない程度の所望の値に設定される。この入力長時間露光信号は上記のガンマ値Ａでガンマ補正されるが、このガンマ補正された長時間露光信号のうちの上限リミットULimitでの信号レベル(上限信号レベル）SLout以上のものが、この上限信号レベルSLoutに制限される(なお、ガンマ補正回路７の入力長時間露光信号の信号レベルSINは上記の飽和信号レベルまでの範囲にしか存在しないが、図３（ａ）では、後述する理由から、この飽和信号レベル以上の信号レベルが存在するものと仮想しており、その信号レベルでガンマ補正された長時間露光信号の信号レベルを上記の上限信号レベルSLoutに維持するものである）。
【００２９】
また、下限リミットLLimitは、撮像素子２での長時間露光時間をLtime、短時間露光時間をStimeとすると、
LLimit＝ULimit×Stime÷Ltime ……（８）
で表わされる。
【００３０】
上記のように、撮像素子２では、タイミングジェネレータ３からのパルスにより、図４に示すように、１フィールド期間内に上記の長時間露光時間Ltimeと短時間露光時間Stimeとが設定されており、これらは
Ltime＋Stime＝１フィールド、かつLtime＞Stime ……（９）
の関係にある。ここで、撮像素子２(図１)において、時刻ｔ0を１フィールドの撮像動作の開始時点、時刻ｔ1を長時間露光時間Ltimeの長時間露光から短時間露光時間Stimeの短時間露光への切替時点、時刻ｔ2を１フィールドの撮像動作の終了時点とすると、長時間露光は時刻ｔ0〜ｔ1（＝Ltime）の間露光するものであり、短時間露光は時刻ｔ1〜ｔ2(＝Stime）の間露光するものである。従って、時刻ｔ1での撮像素子２の光電変換素子の積算受光量（時刻ｔ0〜ｔ1の受光量）が長時間露光信号の信号レベルを決め、時刻ｔ2での撮像素子２の光電変換素子の積算受光量（時刻ｔ1〜ｔ2の受光量）が短時間露光信号の信号レベルを決めるものであるが、上記式８での露光時間Ltime，Stimeの関係から、長時間露光信号の信号レベルが上限リミットULimitとなるときの撮像素子２への入射光量と短時間露光信号の信号レベルが下限リミットLLimitとなるときの撮像素子２への入射光量とは等しい。この入射光量を、以下、境界入射光量Ldevide という。
【００３１】
短時間露光信号は、図３（ｂ）に示すように、下限リミットLLimit未満の入力信号レベルSISのものが除かれ、下限リミットLLimit以上の入力信号レベルSISのものに対してガンマ値Ｂによるガンマ補正がなされる。
【００３２】
なお、図３（ａ），（ｂ）の横軸（入力レベル軸）は撮像素子２での同じ入射光量軸（図示せず）を基準にして示しており、従って、図３（ｂ）の横軸の単位長での信号レベルSISは図３(ａ）の横軸の単位長での信号レベルSILのLtime/Stime倍となっている。
【００３３】
図３（ａ）に示すようにガンマ補正Ｇlongされた長時間露光信号と図３（ｂ）に示すようにガンマ補正Ｇshortされた短時間露光信号とが加算されて合成信号が形成されるのであるが、この合成信号のガンマ補正Ｇmixは、図３（ａ）で示すガンマ補正特性と図３（ｂ）に示すガンマ補正特性とをそのまま加算した特性となり、図３（ｃ）に示すようになる。
【００３４】
なお、図３（ａ）では、ガンマ補正回路７に入力される長時間露光信号は、上記の境界入射光量Ldevide以上の入射光量のときには、その信号レベルＳILが飽和信号レベルに保たれるから、この入力長時間露光信号には、この飽和信号レベル以上の信号レベルは存在しない。しかし、このガンマ補正回路７では、撮像素子２の入射光量に関してみると、境界入射光量Ldevide以上の入射光量のとき、かかる入射光量に対するガンマ補正回路７からの出力信号レベルSOLを上限信号レベルSLoutという一定の信号レベルとするものであり、このことから、図３（ａ）では、ガンマ補正回路７の入力長時間露光信号に対し、上限リミットULimit以上の信号レベルSILを想定し、この入力信号レベルSILに対するガンマ補正回路７からの長時間露光信号の出力レベルSOLを上限信号レベルSLoutとするものである。これにより、図３（ａ），（ｂ）の特性を対応させることができ、これらの特性を加算することにより、図３（ｃ）に示す合成信号のガンマ補正Ｇmixが得られるとすることができる。
【００３５】
図３（ｃ）に示すガンマ補正Ｇmixの合成信号は、撮像素子２での入射光量が長時間露光信号の上限リミットULimit，短時間露光信号の下限リミットLLimitに対する上記の境界入射光量Ldevideまでの入射光量の範囲では、図３（ａ）に示したガンマ補正Ｇlong後の長時間露光信号の上限リミットULimitまでのものであり、この境界入射光量Ldevide以上の入射光量の範囲では、図３（ａ）に示すガンマ補正された長時間露光信号での入力信号レベルSILが上限リミットULimitであるときの出力信号レベル、即ち、上限信号レベルSLoutに、図３（ｂ）に示すようにガンマ補正された短時間露光信号を加算したものである。
【００３６】
そこで、いま、ガンマ補正回路７への入力長時間露光信号の信号レベルSILに対してガンマ値Ａで、同じく短時間露光信号の信号レベルSISに対してガンマ値Ｂで夫々、上記のように、ガンマ補正されるから、図３（ｃ）に示すガンマ補正Ｇmixの合成信号の信号レベルSmixは、
入射光量＜Ldevideのとき、Smix ＝ （SIL)A
入射光量≧Ldevideのとき、Smix ＝ （ULimit)A ＋（SIS−LLimit)B
となるが、入射光量≧Ldevideのときのガンマ補正Ｇmixの合成信号の信号レベルSmixが、入射光量＜Ldevideのときのガンマ補正Ｇmixの合成信号の信号レベルSmixから滑らかに連続してガンマ値Ａでのガンマ補正特性を示すように、ガンマ値Ｂなどを設定する。
【００３７】
このようにして、図３（ｃ）に示すガンマ補正Ｇmixのように、ダイナミックレンジを拡大して、なおかつ所望のガンマ補正を行なうことができる。
【００３８】
また、入射光量が大きいて、しかも狭い範囲に集中している場合には、その集中している光量に対して階調を短時間露光信号に多く割り当てるようなガンマ補正Ｇshortを割り当てて、高輝度部のコントラストを上げるといったような、被写体に適応したガンマ補正を行なうようにしてもよい。
【００３９】
以上のようにガンマ補正された長時間露光信号と短時間露光信号とは、メモリ書込切替スイッチ１３により、長時間露光信号と短時間露光信号とに分離され、長時間露光信号はメモリ回路８に、短時間露光信号はメモリ回路９に夫々書き込まれる。そして、同じフィールドの長時間露光信号と短時間露光信号との位相が一致するようにして、夫々メモリ回路８，９から読み出され、これらが加算部１０で加算されてダイナミックレンジが拡大された映像信号が得られる。
【００４０】
以上の加算部１０までの処理は輝度信号やＲ，Ｇ，Ｂ信号毎になされるものであって、これにより、ダイナミックレンジが拡大された輝度信号ＹやＲ，Ｇ，Ｂ信号が得られる。これら輝度信号ＹやＲ，Ｇ，Ｂ信号はエンコーダ１１に供給され、ＮＴＳＣ方式やＰＡＬ方式などの所定方式のテレビジョン信号に変換されて出力される。
【００４１】
ここで、メモリ回路８，９による長時間露光信号と短時間露光信号との位相合わせについて説明する。
【００４２】
図１における撮像素子２の光電変換部には、水平，垂直方向にマトリクス状に光電変換素子が設けられているとともに、この光電変換素子の垂直方向の配列毎に垂直転送部が設けられ、また、これら垂直転送部の出力部毎にセルが対向する水平転送部が設けられている。また、これら垂直転送部の同じ順位のセルの配列（水平方向の配列）が１ライン（１水平走査期間）分の画素を保持する。
【００４３】
かかる構成の撮像素子２において、図４により、時刻ｔ1になると、各光電変換素子の長時間露光時間Ltimeの露光による画素電荷が対応する垂直転送部の１つおきのセルに転送される。垂直転送部では、１ライン期間毎に１セル分ずつ画素電荷が垂直方向に転送され、また、水平転送部では、１ライン期間毎に各垂直転送部から１つずつ画素電荷（従って、１ライン分の画素電荷）が転送されてきて、これらが１ラインの期間にわたって１セル分ずつ水平方向に転送されて出力される。このようにして、長時間露光による各画素電荷が同期して夫々の垂直転送部内を水平転送部の方に転送され、水平転送部から出力される。
【００４４】
また、図４での時刻ｔ2になると、各光電変換素子の短時間露光時間Stimeの露光による画素電荷が対応する垂直転送部での長時間露光時間Ltimeの露光による画素電荷が存在しない他の１つおきのセルに転送され、同様にして、これら垂直転送部内を１セル分ずつ水平転送部の方に転送され、さらに、水平転送部から出力される。
【００４５】
かかる動作によると、垂直転送部では、長時間露光時間Ltimeの露光による画素電荷と短時間露光時間Stimeの露光による画素電荷とが交互に配列されることになり（水平方向には、同じ露光の画素電荷が配列される）、これにより、垂直転送部から水平転送部には、長時間露光時間Ltimeの露光による１ライン分の画素電荷列（１ライン分の長時間露光信号）と短時間露光時間Stimeの露光による１ライン分の画素電荷列（１ライン分の短時間露光信号）とが、１ライン毎に交互に転送されてくることになる。従って、水平転送部からは、即ち、撮像素子２からは長時間露光信号と短時間露光信号とが１ライン毎に交互に出力されることになる。ガンマ補正回路７の入力信号も同様であり、これにより、ガンマ特性切替スイッチ１２は１ライン毎に切り替わることになる。
【００４６】
一方、垂直転送部と水平転送部とは常に画素電荷の転送動作を行なっているものであるから、図４での時刻ｔ1で長時間露光信号の画素電荷が垂直直転送部に転送されると、これら画素電荷は直ちに垂直方向に転送され、さらに、水平転送部で水平方向に転送されて順次出力され、次に、図４での時刻ｔ2で短時間露光信号の画素電荷が垂直転送部に転送されると、これら画素電荷は直ちに垂直方向に転送され、さらに、水平転送部で水平方向に転送されて順次出力されることになる。これにより、図５に示すように、同じフィールド内での長時間露光信号と短時間露光信号との間では、時間（ｔ2−ｔ1）、即ち、短時間露光時間Stimeの時間差が生することになる。
【００４７】
このように、撮像素子２から出力される同じフィールドの長時間露光信号と短時間露光信号とでは、短時間露光時間Stimeの時間差があるため、これらを加算して合成信号を生成する場合には、かかる時間差をなくして長時間露光信号と短時間露光信号との位相を一致させなければならない。このために、メモリ書込切替スイッチ１３とメモリ回路８，９とが設けられ、長時間露光信号と短時間露光信号との位相調整を行なっているのである。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、非線形な長時間露光信号と短時間露光信号の合成により、線形な信号に対するホワイトバランスやガンマ補正などのカメラ信号処理が正しく行なわれることになり、所望のガンマ補正で正しい色再現性の広ダイナミックレンジの映像信号を生成することができる。
【００４９】
また、従来のカメラ信号処理回路を用いて構成することができるので、回路規模を増大させることなく、映像信号のダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【図１】本発明による撮像装置の一実施形態を示すブロック図である。
【図２】図１におけるカメラ信号処理回路の一具体例を示すブロック図である。
【図３】図１におけるガンマ補正回路の動作とこれによってガンマ補正された長時間露光信号と短時間露光信号との合成方法とを示する図である。
【図４】図１における撮像素子の長時間露光時間と短時間露光時間とを説明するための図である。
【図５】図１における撮像素子で生成される長時間露光信号と短時間露光信号とのタイミング関係を示す図である。
【図６】従来技術の長時間露光信号と短時間露光信号の合成方法を示す図である。
【符号の説明】
１ 撮像レンズ
２ 撮像素子
３ タイミングジェネレータ
４ ＡＧＣ回路
５ Ａ／Ｄ変換回路
６ カメラ信号処理回路
７ ガンマ補正回路
８，９ メモリ回路
１０ 加算部
１１ エンコーダ
１２ ガンマ特性切替スイッチ
１３ メモリ書込切替えスイッチ
１４ 輝度処理部
１５ 色分離部
１６ 乗算部
Claims (2)
- 露光時間の異なる複数の露光信号を出力する撮像手段と、
該撮像手段から出力される該露光信号毎に輝度信号と赤，青，緑の各色信号とを生成して処理する信号処理手段と、
該信号処理手段からの該輝度信号と該各色信号を記憶するメモリ手段と、
該メモリ手段から読み出された露光時間が異なる該輝度信号を加算し、かつ該メモリ手段から読み出された露光時間が異なる同じ色信号どおしを加算する加算手段と、
該加算手段からの該輝度信号と該各色信号とからテレビジョン信号を生成する手段と
を備え、
該信号処理手段は、
該色信号毎に所定のゲインをかけてホワイトバランス制御するホワイトバラ
ンス制御手段と、
該輝度信号と該ホワイトバランス制御手段から出力される該各色信号に対し
て夫々独立にガンマ補正を行なうガンマ補正手段と
を有し、
該ガンマ補正手段は、露光時間の異なる該輝度信号や各色信号に夫々適したガンマ値を用い、露光時間の長い該輝度信号や各色信号の入力レベルが所望の入力値以上であるときには、出力レベルを所望の出力値とし、露光時間の短い該輝度信号や各色信号の入力レベルが所望の入力値以下であるときには、出力レベルを０とする
ことを特徴とする撮像装置。 - 請求項１において、
前記撮像手段は、１フィールド期間毎に、前記露光時間の異なる複数の露光信号を出力し、
前記加算手段は、同じフィールド内での露光時間が異なる該輝度信号を加算し、同じフィールド内での露光時間が異なる同じ色信号を加算する
ことを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318192A JP3982987B2 (ja) | 2000-10-18 | 2000-10-18 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000318192A JP3982987B2 (ja) | 2000-10-18 | 2000-10-18 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002135787A JP2002135787A (ja) | 2002-05-10 |
| JP3982987B2 true JP3982987B2 (ja) | 2007-09-26 |
Family
ID=18796848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000318192A Expired - Lifetime JP3982987B2 (ja) | 2000-10-18 | 2000-10-18 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3982987B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6744471B1 (en) * | 1997-12-05 | 2004-06-01 | Olympus Optical Co., Ltd | Electronic camera that synthesizes two images taken under different exposures |
| US7508421B2 (en) | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
| JP2005051695A (ja) | 2003-07-31 | 2005-02-24 | Fuji Photo Film Co Ltd | 画像合成方法及び固体撮像装置並びにデジタルカメラ |
| JP4706466B2 (ja) | 2005-12-16 | 2011-06-22 | 株式会社日立製作所 | 撮像装置 |
| JP2009152669A (ja) | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
| CN103873781B (zh) * | 2014-03-27 | 2017-03-29 | 成都动力视讯科技股份有限公司 | 一种宽动态摄像机实现方法及装置 |
| CN104301636B (zh) * | 2014-10-30 | 2017-07-28 | 西安电子科技大学 | 低复杂度高效高动态数字图像的合成方法 |
| KR102317752B1 (ko) * | 2016-09-23 | 2021-10-25 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 신호 처리 장치, 촬영 장치 및 신호 처리 방법 |
| JP7344648B2 (ja) * | 2019-02-19 | 2023-09-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体 |
-
2000
- 2000-10-18 JP JP2000318192A patent/JP3982987B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002135787A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6999119B1 (en) | Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element | |
| US5801773A (en) | Image data processing apparatus for processing combined image signals in order to extend dynamic range | |
| US20020057349A1 (en) | Image pickup apparatus and solid state image pickup device | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP3982987B2 (ja) | 撮像装置 | |
| US6707494B1 (en) | Solid-state image pickup apparatus free from limitations on thin-down reading in a four-field interline transfer system and method of reading signals out of the same | |
| JP2006129418A (ja) | 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置 | |
| US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| US4849813A (en) | Video camera with high-speed scanning | |
| JP4028395B2 (ja) | デジタルカメラ | |
| JP2007088842A (ja) | 撮像装置、および撮像素子の駆動方法 | |
| JPH10155158A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP3811610B2 (ja) | 撮像装置 | |
| JPH0795481A (ja) | 撮像装置 | |
| JP2007049533A (ja) | 撮像装置および電子情報機器 | |
| JP2004215063A (ja) | 撮像装置及び輪郭補正方法 | |
| JP4227203B2 (ja) | 撮像装置 | |
| JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
| JP2003348442A (ja) | テレビジョンカメラ装置 | |
| JPH0522669A (ja) | ビデオカメラ | |
| JPH04172086A (ja) | 撮像装置 | |
| JP3395237B2 (ja) | フィルム画像読取装置 | |
| JP2000278704A (ja) | デジタルカメラ | |
| JPH0937110A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070703 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3982987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |