JP3578246B2 - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP3578246B2 JP3578246B2 JP03751497A JP3751497A JP3578246B2 JP 3578246 B2 JP3578246 B2 JP 3578246B2 JP 03751497 A JP03751497 A JP 03751497A JP 3751497 A JP3751497 A JP 3751497A JP 3578246 B2 JP3578246 B2 JP 3578246B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- solid
- imaging device
- unit
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどに用いられる固体撮像装置に関するものである。
【０００２】
【従来の技術】
従来より、露光量の異なる画像を合成してダイナミックレンジが広くかつＳ／Ｎ比の優れた高い映像信号を得るための固体撮像装置として、従来特開平７−３２２１４７号公報に開示されたものが提案されている。
【０００３】
以下、この種の従来の固体撮像装置について、図７を参照して説明する。
【０００４】
図７において、１ａは撮像手段としての固体撮像素子、２は画像合成手段である。
【０００５】
固体撮像素子１ａは、２次元状に配置された光電変換部１１と、この光電変換部１１より読み出された各電荷を垂直方向に転送可能な垂直転送部１２と、垂直転送部１２に読み出された電荷を次のフィールド期間内にシリアルで出力する一対の水平転送部１３ａ，１３ｂと、各水平転送部１３ａ，１３ｂの出力を増幅する各出力アンプ１４ａ，１４ｂとからなる。なお、図７では、理解を容易にするために、画素数として横４画素×縦６画素で構成しているが、実際には、例えばＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）というコンピュータなどで使用される画像フォーマットなどでは、横６４０画素×縦４８０画素というような構成が採られる。
【０００６】
そして、この固体撮像素子１ａでは、１フィールドの有効期間内に、図示しない電子シャッタなどを用いて光電変換部１１に対する露光量が異なるように切り換えてそれぞれ１画面分の画像を撮像し、垂直ブランキング期間中に時分割でそれぞれ長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔを垂直転送部１２に読み出し、次の１フィールドの有効期間内に、上記の各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを垂直転送部１２から各水平転送部１３ａ，１３ｂにそれぞれ独立して順次転送して、各出力アンプ１４ａ，１４ｂを介して出力するようになっている。
【０００７】
したがって、この固体撮像素子１ａでは、１画面分の画像を撮像する１フィールドの有効期間内に２回に分けて読み出し動作が行なわれるため、各水平転送部１３ａ，１３ｂの出力Ｓｌｏｎｇ，Ｓｓｈｏｒｔをみれば、通常の場合の２倍の走査線数の信号が出力される。
【０００８】
また、従来の画像合成手段２は、単一の加算器で構成されており、固体撮像素子１ａから出力される露光量の異なる各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを単純に加算して合成画像信号Ｓｍｉｘを得ている。
【０００９】
図８に横軸に入射光量Ｌを、縦軸に信号レベルＶをとった場合の、各出力信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔ，Ｓｍｉｘの関係を示す。
【００１０】
ここで、長時間露光信号Ｓｌｏｎｇは、露光量が多いために、符号Ｌ１で示す入射光量で飽和するが、それ以下の入射光量では信号レベルの変化が大きいので、Ｓ／Ｎが良い。一方、短時間露光信号Ｓｓｈｏｒｔは、符号Ｌ１で示す入射光量以下では信号量が小さくてＳ／Ｎは悪いが、ダイナミックレンジが符号Ｌ２に示す範囲まであって広いために、Ｌ１以上の入射光量での信号の再現性が良い。
【００１１】
そして、画像合成手段２によって、この２つの信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを合成することにより、Ｓ／Ｎ比が良く、しかも、ダイナミックレンジの広い信号Ｓｍｉｘが得られることになる。
【００１２】
【発明が解決しようとする課題】
ところで、このような固体撮像装置においては、低輝度部（図中、Ｌ１以下の領域）でのＳ／Ｎ比が良く、かつ、ダイナミックレンジも広くなる（図中、Ｌ２までの領域まで飽和しない）といった利点があるものの、画像合成手段２においては、長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔとを単純に加算する処理をしているために、特に、高輝度部（図中、Ｌ１以上の領域）での階調特性が十分でなく、ダイナミックレンジの拡大と同時に、十分な階調特性を得ることができないという問題がある。
【００１３】
そこで、本発明は、広いダイナミックレンジを確保した場合においても、特に高輝度部において十分な階調特性が得られるようにすることを課題としている。
【００１４】
【課題を解決するための手段】
本発明は、この課題を解決するために、 一画面分の画像を撮像する期間内に、露光量の異なる複数の信号を出力する撮像手段を備えた固体撮像装置において、次の構成を採用している。
【００１５】
すなわち、第１の本発明に係る固体撮像装置は、前記撮像手段から出力される露光量の小さい方の信号に対して輪郭強調を行う輪郭強調回路と、前記撮像手段から出力される露光量の大きい方の信号と前記輪郭強調回路からの出力信号とを合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、輪郭強調回路によって露光量の小さい信号に対して輪郭強調を行うようにしたものである。
【００１６】
これにより、画像合成手段による合成後の画像の高輝度部における十分な階調特性が得られる。
【００１７】
また、第２の本発明に係る固定撮像装置は、撮像手段から出力される複数の信号を輝度信号成分と色信号成分とに分離する輝度色分離手段と、前記輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正を行う階調補正手段と、前記輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減を行うノイズ低減手段と、前記輝度色分離手段で得られる露光量の大きい方の輝度信号および色信号、ならびに前記階調補正手段からの出力信号、前記ノイズ低減手段からの出力信号を共に合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、撮像手段から出力される複数の信号を輝度色分離手段によって輝度信号成分と色信号成分とに分離し、この輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正手段によって階調補正を行う一方、、輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減手段によってノイズ低減を行うようにしたものである。
【００１８】
これにより、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号が得られる。
【００１９】
【発明の実施の形態】
第１の本発明に係る固体撮像装置は、前記撮像手段から出力される露光量の小さい方の信号に対して階調補正を行う階調補正手段と、前記撮像手段から出力される露光量の大きい方の信号と前記階調補正手段からの出力信号とを合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、階調補正手段によって露光量の小さい信号に対して階調補正を行うようにしたものであり、これによって、画像合成手段による合成後の画像の高輝度部における十分な階調特性が得られるという作用を有する。
【００２０】
また、第２の本発明に係る固定撮像装置は、撮像手段から出力される複数の信号を輝度信号成分と色信号成分とに分離する輝度色分離手段と、前記輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正を行う階調補正手段と、前記輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減を行うノイズ低減手段と、前記輝度色分離手段で得られる露光量の大きい方の輝度信号および色信号、ならびに前記階調補正手段からの出力信号、前記ノイズ低減手段からの出力信号を共に合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、撮像手段から出力される複数の信号を輝度色分離手段によって輝度信号成分と色信号成分とに分離し、この輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正手段によって階調補正を行う一方、、輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減手段によってノイズ低減を行うようにしたものであり、これによって、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号が得られるという作用を有する。
【００２１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（実施形態１）
図１は本発明の実施形態１に係る固体撮像装置の構成図である。
【００２３】
図１において、１ａは撮像手段としての固体撮像素子、２は階調補正手段、３ａは画像合成手段である。
【００２４】
固体撮像素子１ａは、通常の固体撮像素子に比較して１フィールドの有効期間内に２倍の走査線数の長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔがそれぞれ出力される全画素読み出し型ものであって、その構成は、図７に示した従来のものと同様であるから、ここでは詳しい説明は省略する。
【００２５】
上記の階調補正手段２は、高輝度部において十分な階調特性が得られるように、短時間露光信号Ｓｓｈｏｒｔに対して階調性を高めるようにしたものであって、輪郭強調回路４と増幅回路５とからなる。
【００２６】
そして、輪郭強調回路４は、短時間露光信号Ｓｓｈｏｒｔから輪郭成分の信号のみを取り出すためのバンドパスフィルタ６、このバンドパスフィルタ６で取り出された輪郭成分の信号に含まれるノイズ成分を除くコアリング回路７、コアリング回路７の出力を増幅する増幅器８ａ、および短時間露光信号Ｓｓｈｏｒｔに輪郭成分を加算する加算器９ａとで構成されている。また、増幅回路５は増幅器８ｂからなる。
【００２７】
一方、画像合成手段３ａは、階調補正手段２で輪郭強調された短時間露光信号Ｓｓｈｏｒｔ’に対して一定のオフセット値ｏｆｆｓｅｔを加算することにより補正された短時間露光信号Ｓｓｈｏｒｔ’’として出力する加算器９ｂ、固体撮像素子１ａで得られる長時間露光信号Ｓｌｏｎｇのレベルを、固体撮像素子１ａの性能によって決まる所定の飽和レベルｓａｔと比較し、その大小に応じて信号選択用の制御信号を出力する比較器１０、および長時間露光信号Ｓｌｏｎｇと加算器９ｂの出力Ｓｓｈｏｒｔ’’とを共に入力し、比較器１０からの制御信号に応じていずれか一方の露光信号ＳｌｏｎｇまたはＳｓｈｏｒｔ’’を合成画像信号Ｓｍｉｘとして出力するセレクタ１６ａからなる。
【００２８】
なお、上記のオフセット値ｏｆｆｓｅｔは、たとえば、固体撮像素子１ａの飽和レベルｓａｔやダイナミックレンジを考慮して設定される。
【００２９】
次に、上記構成の固体撮像装置の動作について説明する。
【００３０】
固体撮像素子１ａから出力された両露光信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔの内、長時間露光信号Ｓｌｏｎｇは画像合成手段３ａに、短時間露光信号Ｓｓｈｏｒｔは階調補正手段２の輪郭強調回路４にそれぞれ入力される。
【００３１】
輪郭強調回路４では、バンドパスフィルタ６によって短時間露光信号Ｓｓｈｏｒｔから周波数の高い輪郭成分が抽出され、続いてコアリング回路７によって輪郭成分の信号に含まれるノイズ成分が除かれ、この輪郭成分の信号のみが増幅器８ａで所定のゲインで増幅される。そして、加算器９ａにおいて輪郭成分の信号が短時間露光信号Ｓｓｈｏｒｔと加算されて出力される。
【００３２】
輪郭強調後の短時間露光信号は、次段の増幅回路５の増幅器８ｂによって１倍から４倍のゲインで増幅された後、階調補正手段２の出力信号Ｓｓｈｏｒｔ’として出力される。
【００３３】
画像合成手段３ａには、固体撮像素子１ａで得られる長時間露光信号Ｓｌｏｎｇと階調補正手段２で輪郭強調された後の出力信号Ｓｓｈｏｒｔ’とが共に入力される。そして、輪郭強調後の短時間露光信号Ｓｓｈｏｒｔ’は、加算器９ｂで一定のオフセット値ｏｆｆｓｅｔが加算されて補正された短時間露光信号Ｓｓｈｏｒｔ’’として出力される。
【００３４】
一方、長時間露光信号Ｓｌｏｎｇは、比較器１０において固体撮像素子１ａの飽和レベルｓａｔと比較され、その大小に応じて信号選択用の制御信号が出力される。
【００３５】
セレクタ１６ａには、長時間露光信号Ｓｌｏｎｇと加算器９ｂの出力Ｓｓｈｏｒｔ’’とが共に入力されており、比較器１０からの制御信号によって、長時間露光信号Ｓｌｏｎｇが飽和レベルｓａｔに達していない場合には長時間露光信号Ｓｌｏｎｇが、長時間露光信号Ｓｌｏｎｇが飽和レベルｓａｔに達している場合は、補正後の短時間露光信号Ｓｓｈｏｒｔ’’がそれぞれ選択され、これが合成画像信号Ｓｍｉｘとして出力される。
【００３６】
図２は、グレースケールを高輝度で撮像した場合に得られる各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔ，Ｓｓｈｏｒｔ’，Ｓｓｈｏｒｔ’’、Ｓｍｉｘの波形を示す。なお、図２において、一点鎖線は本発明を実施しない場合の従来の固体撮像装置による出力信号Ｓｍｉｘ０を示している。
【００３７】
ここにグレースケールとは、明るさが段階状に変化したようなチャートであり、このようなチャートを撮像することにより、図８に示したような固体撮像装置の階調特性の概要を知ることができると同時に、画像の輪郭における先鋭度を見ることができる。
【００３８】
図２から分かるように、合成画像信号Ｓｍｉｘの高輝度部は、階調補正手段２における輪郭強調回路４で短時間露光信号Ｓｓｈｏｒｔに対して輪郭強調成分が加算されて、階段状波形のエッジ部に輪郭強調が施されているので、階調性が改善されている。
【００３９】
なお、本実施形態では、高輝度部のみに階調補正を実施するために、画像合成手段３においてセレクタ１６ａによって長時間露光信号Ｓｌｏｎｇと、補正された短時間露光信号Ｓｓｈｏｒｔ’’とのいずれか一方を選択するような構成としたが、画像合成手段３を、従来例と同様に、単一の加算器によって構成し、長時間露光信号Ｓｌｏｎｇと補正された短時間露光信号Ｓｓｈｏｒｔ’’とを単純に加算しても輝度部の階調性を改善することが可能である。ただし、その場合は、低輝度部に対しても若干の階調補正がかかることになる。
【００４０】
（実施形態２）
図３は、本発明の実施形態２に係る固体撮像装置を示す構成図であり、図１に示した実施形態１に対応する部分には同一の符号を付す。
【００４１】
図３において、１ｂは固体撮像素子、１７は輝度／色分離手段、２は階調補正手段、３ｂは画像合成手段、３１はノイズ低減回路、２１はカメラ信号処理回路である。
【００４２】
この実施形態２の固体撮像素子１ｂは、図４に示すように、実施形態１における固体撮像素子１ａの光電変換部１１上にマゼンタ（Ｍｇ）、グリーン（Ｇｒ）、イェロー（Ｙｅ）、シアン（Ｃｙ）の４つの異なる分光特性を持つ色フィルタを画素ごとに配置してなるものであり、動作としては、実施形態１の場合と全く同じ動作を行う。ただし、固体撮像素子１ｂの画素混合動作によって、マゼンタ＋イェロー（ＭＹ）、マゼンタ＋シアン（ＭＣ）、グリーン＋イェロー（ＧＹ）、グリーン＋シアン（ＧＣ）の４種類の信号が長時間露光信号Ｓｌｏｎｇ、短時間露光信号Ｓｓｈｏｒｔとしてそれぞれ出力端子１５ａ，１５ｂから出力される。
【００４３】
上記の輝度／色分離手段１７は、固体撮像素子１で得られる長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔのそれぞれについて、輝度信号と色信号とに分離するもので、色信号を抽出するための一対のバンドパスフィルタ６ａ，６ｂ、輝度信号を抽出するための一対の減算器１８ａ，１８ｂ、色信号を規格化するための一対の割り算器１９ａ，１９ｂを備える。
【００４４】
また、階調補正手段２は、輝度／色分離手段１７で得られる各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの内、短時間露光信号Ｓｓｈｏｒｔに基づく輝度信号Ｙｓｈｏｒｔの方が長時間露光信号Ｓｌｏｎｇに基づく色信号Ｃｌｏｎｇよりも階調性が不足するので、これを改善するために設けられたものであって、その構成は、実施形態１の場合と同様であるから、詳しい説明は省略する。
【００４５】
ノイズ低減手段３１は、輝度／色分離手段１７で得られる各色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’の内、短時間露光信号Ｓｓｈｏｒｔに基づく色信号Ｃｓｈｏｒｔ’の方が長時間露光信号Ｓｌｏｎｇに基づく色信号ＣｌｏｎｇよりもＳ／Ｎ比が悪いので、これを改善するために設けられたものであって、その構成は、帯域圧縮用のバンドパスフィルタ６ｄ、このバンドパスフィルタ６ｄを通過した色信号Ｃｓｈｏｒｔ’に含まれるノイズ成分を低減するためのノイズ抑圧回路２０、ノイズ抑圧後の色信号Ｃｓｈｏｒｔ’の振幅を所定の量だけ減衰させる減衰回路２９ａとからなる。
【００４６】
そして、ノイズ抑圧回路２０は、図５に示すように、一対のバンドパスフィルタ６ｅ，６ｆ、一対のクリップ回路３２ａ，３２ｂ、一対の減衰器２９ｂ，２９ｃ、および減算器１８ｃからなる。ここで、バンドパスフィルタ６ｅ，６ｆ、クリップ回路３２ａ，３２ｂ、減衰器２９ｂ，２９ｃが２系統あるのは、異なる周波数成分のノイズを効果的に抑圧するためであり、１系統でもノイズ抑圧効果を奏することができる。
【００４７】
画像合成手段３ｂは、図１に示した実施形態１の場合と同じ作用をする加算器９ｂ、比較器１０、およびセレクタ１６ａを備えるとともに、比較器１０からの制御信号によって規格化された色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’の一方を選択して合成色信号Ｃｍｉｘとして出力するセレクタ１６ｂ、この合成色信号Ｃｍｉｘと合成輝度信号Ｙｍｉｘとを掛け合わして出力する乗算器３０、および乗算器３０の出力に合成輝度信号Ｙｍｉｘを加算して合成画像信号Ｓｍｉｘとして出力する加算器９ｂを有している。
【００４８】
カメラ信号処理回路２１は、周知のような、輝度色分離回路２２、輪郭改善回路２３、γ補正回路２４ａ，２４ｂ、ホワイトバランス補正回路２５、マトリクス回路２６を備えるとともに、さらに、合成画像信号Ｓｍｉｘに含まれる輝度信号Ｙの画面内におけるピーク値を検出するピーク検出回路２７、およびこのピーク検出回路２７の検出出力に基づいて、固体撮像素子１における長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔの露光量の比や、階調補正手段２における階調補正の量、ノイズ低減回路３１における減衰量などを調整するためのマイクロコンピュータ２８が設けられている。
【００４９】
次に、上記構成の固体撮像装置の動作について説明する。
【００５０】
固体撮像素子１ｂの色フィルタの配列により、１フィールドの有効期間内に、マゼンタ＋イェロー（ＭＹ）とグリーン＋シアン（ＧＣ）を１つの組とし、マゼンタ＋シアン（ＭＣ）とグリーン＋イェロー（ＧＹ）を１つの組とした信号がラインごとに交互に長時間露光信号Ｓｌｏｎｇ、短時間露光信号Ｓｓｈｏｒｔとしてそれぞれ出力端子１５ａ，１５ｂから出力される。しかも、この場合、各色フィルタの分光特性は、ＭＹとＧＣの和およびＭＣとＧＹの和が輝度信号Ｙの分光特性になるように設計されているため、ＭＹとＧＣ、ＭＣとＧＹの各信号列は、輝度信号成分Ｙに色信号成分Ｃｒ，Ｃｂが変調されて重畳された信号として出力される。
【００５１】
固体撮像素子１の各出力信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔは、輝度色分離手段１７に入力される。輝度色分離手段１７では、バンドパスフィルタ６ａ，６ｂによって変調色信号成分Ｃｌｏｎｇ，Ｃｓｈｏｒｔがそれぞれ抽出される。この場合のバンドパスフィルタ６ａ，６ｂの伝達関数は、
Ｆａｂ（ｚ）＝−（１＋Ｚ−２）２・（１−Ｚ−１）２／１６ （１）
で表される。
【００５２】
図６は、フィルタの周波数特性を示すもので、横軸は周波数、縦軸は各周波数における通過特性であり、Ｎは色信号成分のキャリア周波数であるナイキスト周波数を表している。
【００５３】
図６において、太実線で示されているのが、（１）式で表わされる伝達関数を有するバンドパスフィルタ６ａ，６ｂの周波数特性であって、このフィルタ６ａ，６ｂによって色信号成分が抜き出される。
【００５４】
次に、輝度色分離手段１７では、長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔから、バンドパスフィルタ６ａ，６ｂの出力信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔが各減算器１８ａ，１８ｂで減算されて、輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔが出力される。
【００５５】
これにより得られる輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの周波数特性を図６に破線で示す。各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの周波数特性は、ナイキスト周波数Ｎの１／２の周波数までほぼフラットとなっている。
【００５６】
次に、輝度色分離手段１７では、割り算器１９ａ，１９ｂによって変調色信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔが各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔでそれぞれ割り算されて、色信号成分が輝度信号成分で規格化された変調色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’として出力される。上述のように、ベースバンド信号である輝度信号に対して、固体撮像素子１ｂから出力される色信号は、特定の周波数で変調されている。したがって、このような色信号を合成するには、変調された２つの色信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔの振幅を一致させる必要がある。
【００５７】
本実施形態の固体撮像素子から出力される露光量の異なる信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔは、露光量が異なるために、同じ被写体に対する信号レベルが異なるが、色信号成分の振幅は、輝度信号成分の振幅に比例しているので、Ｃｌｏｎｇ／Ｙｌｏｎｇ＝Ｃｓｈｏｒｔ／Ｙｓｈｏｒｔが成り立つ。よって、このような規格化処理を施すことによって、露光量の比に関わらず色信号成分Ｃｌｏｎｇ’＝Ｃｌｏｎｇ／Ｙｌｏｎｇ、およびＣｓｈｏｒｔ’＝Ｃｓｈｏｒｔ／Ｙｓｈｏｒｔの振幅が等しくなり、後段におけるセレタク１６ｂによる切り換えなどの単純な回路構成でもって、合成処理を容易に行うことが可能となる。
【００５８】
階調補正手段２は、短時間露光輝度信号Ｙｓｈｏｒｔを入力し、実施形態１と同様の処理を施して輪郭強調された短時間露光輝度信号Ｙｓｈｏｒｔ’を出力する。この場合の階調補正手段２の動作は、実施形態１と同様であるから、ここでは詳しい説明は省略する。
【００５９】
図６には、階調補正手段２の輪郭強調回路４におけるバンドパスフィルタ６ｃの伝達関数の周波数特性を一点鎖線で示している。また、増幅器８ａおよび８ｂのゲインは、露光量の比に応じて０倍から４倍程度の範囲で変更する必要があるが、２倍程度が好ましい。
【００６０】
一方、輝度色分離手段１７で規格化された短時間露光色信号Ｃｓｈｏｒｔ’は、ノイズ低減手段３１に入力される。ノイズ低減手段３１は、入力された信号をバンドパスフィルタ６ｄによって帯域圧縮し、この信号がさらにノイズ抑圧回路２０に入力される。
【００６１】
ノイズ抑圧回路２０に入力された短時間露光色信号Ｃｓｈｏｒｔ’は、各バンドパスフィルタ６ｅ，６ｆおよびクリップ回路３２ａ、３２ｂを通過することでノイズ成分が抽出され、このノイズ成分が減衰器２９ｂ，２９ｃで所定の量だけ減衰されて、減算器１８ｃで元の入力信号Ｃｓｈｏｒｔ’から減算されることにより、ノイズのない出力信号が得られる。
【００６２】
続いて、このノイズ抑圧回路２０の出力は減衰器２９ａに入力されて所定の量だけ振幅が減衰されて出力される。この場合の減衰器２９ａの減衰量は、１倍から１／２倍の間で変化させることが望ましいが、振幅の減衰によって最終出力信号における色相が変化してしまう場合があるので、大きな減衰量を与えるべきではない。
【００６３】
このようにして、ノイズ低減手段３１からは、ノイズが抑圧されてＳ／Ｎ比が改善された短時間露光色信号Ｃｓｈｏｒｔ’が出力される。
【００６４】
画像合成手段３には、上記の各信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔ’，Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’が共に入力される。
【００６５】
ここで、輝度信号Ｙに関しては、実施形態１と同様の動作によって合成輝度信号Ｙｍｉｘが得られる。
【００６６】
一方、色信号Ｃについては、規格化された色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’が共にセレクタ１６ｂに入力され、輝度信号Ｙの場合と同様に、輝度信号が飽和レベルｓａｔに達するまではＣｌｏｎｇ’が、飽和レベルｓａｔに達した後はＣｓｈｏｒｔ’’が、それぞれ選択されて合成色信号Ｃｍｉｘとして出力される。
【００６７】
合成色信号Ｃｍｉｘは、乗算器３０で合成輝度信号Ｙｍｉｘと掛け合わされ、輝度信号のレベルに応じた振幅が与えられた後、加算器９ｂで合成輝度信号と加算されて色信号成分が重畳された合成画像信号Ｓｍｉｘとして出力されて、カメラ信号処理回路２１に入力される。
【００６８】
カメラ信号処理回路２１は、入力された合成画像信号Ｓｍｉｘに対し、輝度色分離回路２２で輝度信号Ｙと色信号Ｒ，Ｇ，Ｂとに分離され、これにより得られた輝度信号Ｙは、輪郭改善回路２３で輪郭改善され、引き続いてγ補正回路２４ａでγ補正処理が施された後、出力輝度信号Ｙｏｕｔとして出力される。
【００６９】
一方、色信号Ｒ，Ｇ，Ｂは、ホワイトバランス回路２５でホワイトバランス補正処理が施され、引き続いてγ補正回路２４ｂで輝度信号と同様にγ補正処理された後、マトリクス回路２６で所定の演算処理により色差信号に変換されて色差信号Ｒ−Ｙ，Ｂ−Ｙとして出力される。
【００７０】
また、輝度色分離回路２２から出力された輝度信号Ｙは、ピーク検出回路２７によって画面内におけるピーク値が検出され、これがマイクロコンピュータ２８に転送される。
【００７１】
マイクロコンピュータ２８は、ピーク検出回路２７から得たピーク値に基づいて、固体撮像素子１ｂにおける長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔの露光量の比、階調補正手段２の輪郭強調回路４における増幅器８ａおよび増幅回路８ｂのゲイン調整による階調補正の量、ノイズ低減手段３１のノイズ抑圧回路２０におけるクリップ回路３２ａ，３２ｂのクリップレベルや減衰回路２９ａにおける減衰量の調整によるノイズ抑圧の量を算出して、各部が適切な値となるように制御を行う。
【００７２】
ここで、得たピーク値は、固体撮像装置が再現できる明るさの範囲である固体撮像装置のダイナミックレンジと、撮像しようとする被写体のもつ明るさの範囲である被写体のダイナミックレンジの関係を示すパラメータとなる。
【００７３】
すなわち、被写体のダイナミックレンジに対して、固体撮像装置のダイナミックレンジが大きい場合にはピーク値が小さくなり、逆の場合はピーク値が大きくなる。つまり、ピーク値が小さい場合は、被写体のダイナミックレンジに対して固体撮像装置側のダイナミックレンジに余裕があるということなので、マイクロコンピュータ２８は、露光量の比を小さくして固体撮像装置のダイナミックレンジを小さくするというような制御を行う。
【００７４】
また、ピーク値が大きい場合、特に固体撮像装置側のダイナミックレンジに一致する場合は、その逆の動作をさせて固体撮像装置側のダイナミックレンジを大きくする。この場合、高輝度部の階調再現が不足しがちになるとともにＳ／Ｎ比の劣化量が大きくなる。そこで、階調補正量を大きくして、階調再現を強調すると同時にノイズ抑圧量を大きくしてＳ／Ｎ比の劣化を抑える。
【００７５】
以上のような構成によって、色信号成分が重畳された信号に対しても高輝度部の階調が改善された合成画像が得られる。また、高輝度部における階調補正のためにそれに応じて色信号成分のノイズ成分が強調されるが、ノイズ低減手段３１によってノイズ成分が抑圧されるために、ノイズの少ない出力信号が得られる。
【００７６】
なお、本実施形態において、露光量の小さい色信号に対しノイズ低減回路３１でノイズ抑圧処理を施しているが、合成色信号Ｃｍｉｘに対してノイズ低減の処理を施しても同様の効果が得られる。
【００７７】
【発明の効果】
本発明によれば、次の効果を奏する。
【００７８】
（１） 撮像手段から出力される露光量の異なる複数の信号を合成する前に、露光量の小さい信号に対して輪郭調整を行う輪郭強調回路を構成することにより、画像合成手段による合成後の画像の高輝度部における十分な階調調整を得ることができる。
【００７９】
（２） また、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る固体撮像装置の構成を示すブロック図である。
【図２】実施形態１の固体撮像装置でグレースケールを高輝度で撮像した場合の各部の信号波形図である。
【図３】本発明の実施形態２に係る固体撮像装置の構成を示すブロック図である。
【図４】実施形態２における固体撮像装置の固体撮像素子の構成を示すブロック図である。
【図５】実施形態２における固体撮像装置のノイズ抑圧回路の詳細を示すブロック図である。
【図６】実施形態２における固体撮像装置のバンドパスフィルタの伝達関数の周波数特性を示す説明図である。
【図７】従来の固体撮像装置の全画素読み出し型の固体撮像素子の構成を示すブロック図である。
【図８】従来の固体撮像装置の光電変換特性を示すグラフである。
【符号の説明】
１…固体撮像素子（撮像手段）、２…階調補正手段、３…画像合成手段、４…輪郭強調回路、５…増幅回路、１１…光電変換部、１２…垂直転送部、１３…水平転送部、１７…輝度色分離手段、２０…ノイズ抑圧回路、２１…カメラ信号処理回路、２７…ピーク検出回路、２８…マイクロコンピュータ、３１…ノイズ低減手段。
【発明の属する技術分野】
本発明は、ビデオカメラなどに用いられる固体撮像装置に関するものである。
【０００２】
【従来の技術】
従来より、露光量の異なる画像を合成してダイナミックレンジが広くかつＳ／Ｎ比の優れた高い映像信号を得るための固体撮像装置として、従来特開平７−３２２１４７号公報に開示されたものが提案されている。
【０００３】
以下、この種の従来の固体撮像装置について、図７を参照して説明する。
【０００４】
図７において、１ａは撮像手段としての固体撮像素子、２は画像合成手段である。
【０００５】
固体撮像素子１ａは、２次元状に配置された光電変換部１１と、この光電変換部１１より読み出された各電荷を垂直方向に転送可能な垂直転送部１２と、垂直転送部１２に読み出された電荷を次のフィールド期間内にシリアルで出力する一対の水平転送部１３ａ，１３ｂと、各水平転送部１３ａ，１３ｂの出力を増幅する各出力アンプ１４ａ，１４ｂとからなる。なお、図７では、理解を容易にするために、画素数として横４画素×縦６画素で構成しているが、実際には、例えばＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）というコンピュータなどで使用される画像フォーマットなどでは、横６４０画素×縦４８０画素というような構成が採られる。
【０００６】
そして、この固体撮像素子１ａでは、１フィールドの有効期間内に、図示しない電子シャッタなどを用いて光電変換部１１に対する露光量が異なるように切り換えてそれぞれ１画面分の画像を撮像し、垂直ブランキング期間中に時分割でそれぞれ長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔを垂直転送部１２に読み出し、次の１フィールドの有効期間内に、上記の各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを垂直転送部１２から各水平転送部１３ａ，１３ｂにそれぞれ独立して順次転送して、各出力アンプ１４ａ，１４ｂを介して出力するようになっている。
【０００７】
したがって、この固体撮像素子１ａでは、１画面分の画像を撮像する１フィールドの有効期間内に２回に分けて読み出し動作が行なわれるため、各水平転送部１３ａ，１３ｂの出力Ｓｌｏｎｇ，Ｓｓｈｏｒｔをみれば、通常の場合の２倍の走査線数の信号が出力される。
【０００８】
また、従来の画像合成手段２は、単一の加算器で構成されており、固体撮像素子１ａから出力される露光量の異なる各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを単純に加算して合成画像信号Ｓｍｉｘを得ている。
【０００９】
図８に横軸に入射光量Ｌを、縦軸に信号レベルＶをとった場合の、各出力信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔ，Ｓｍｉｘの関係を示す。
【００１０】
ここで、長時間露光信号Ｓｌｏｎｇは、露光量が多いために、符号Ｌ１で示す入射光量で飽和するが、それ以下の入射光量では信号レベルの変化が大きいので、Ｓ／Ｎが良い。一方、短時間露光信号Ｓｓｈｏｒｔは、符号Ｌ１で示す入射光量以下では信号量が小さくてＳ／Ｎは悪いが、ダイナミックレンジが符号Ｌ２に示す範囲まであって広いために、Ｌ１以上の入射光量での信号の再現性が良い。
【００１１】
そして、画像合成手段２によって、この２つの信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔを合成することにより、Ｓ／Ｎ比が良く、しかも、ダイナミックレンジの広い信号Ｓｍｉｘが得られることになる。
【００１２】
【発明が解決しようとする課題】
ところで、このような固体撮像装置においては、低輝度部（図中、Ｌ１以下の領域）でのＳ／Ｎ比が良く、かつ、ダイナミックレンジも広くなる（図中、Ｌ２までの領域まで飽和しない）といった利点があるものの、画像合成手段２においては、長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔとを単純に加算する処理をしているために、特に、高輝度部（図中、Ｌ１以上の領域）での階調特性が十分でなく、ダイナミックレンジの拡大と同時に、十分な階調特性を得ることができないという問題がある。
【００１３】
そこで、本発明は、広いダイナミックレンジを確保した場合においても、特に高輝度部において十分な階調特性が得られるようにすることを課題としている。
【００１４】
【課題を解決するための手段】
本発明は、この課題を解決するために、 一画面分の画像を撮像する期間内に、露光量の異なる複数の信号を出力する撮像手段を備えた固体撮像装置において、次の構成を採用している。
【００１５】
すなわち、第１の本発明に係る固体撮像装置は、前記撮像手段から出力される露光量の小さい方の信号に対して輪郭強調を行う輪郭強調回路と、前記撮像手段から出力される露光量の大きい方の信号と前記輪郭強調回路からの出力信号とを合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、輪郭強調回路によって露光量の小さい信号に対して輪郭強調を行うようにしたものである。
【００１６】
これにより、画像合成手段による合成後の画像の高輝度部における十分な階調特性が得られる。
【００１７】
また、第２の本発明に係る固定撮像装置は、撮像手段から出力される複数の信号を輝度信号成分と色信号成分とに分離する輝度色分離手段と、前記輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正を行う階調補正手段と、前記輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減を行うノイズ低減手段と、前記輝度色分離手段で得られる露光量の大きい方の輝度信号および色信号、ならびに前記階調補正手段からの出力信号、前記ノイズ低減手段からの出力信号を共に合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、撮像手段から出力される複数の信号を輝度色分離手段によって輝度信号成分と色信号成分とに分離し、この輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正手段によって階調補正を行う一方、、輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減手段によってノイズ低減を行うようにしたものである。
【００１８】
これにより、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号が得られる。
【００１９】
【発明の実施の形態】
第１の本発明に係る固体撮像装置は、前記撮像手段から出力される露光量の小さい方の信号に対して階調補正を行う階調補正手段と、前記撮像手段から出力される露光量の大きい方の信号と前記階調補正手段からの出力信号とを合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、階調補正手段によって露光量の小さい信号に対して階調補正を行うようにしたものであり、これによって、画像合成手段による合成後の画像の高輝度部における十分な階調特性が得られるという作用を有する。
【００２０】
また、第２の本発明に係る固定撮像装置は、撮像手段から出力される複数の信号を輝度信号成分と色信号成分とに分離する輝度色分離手段と、前記輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正を行う階調補正手段と、前記輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減を行うノイズ低減手段と、前記輝度色分離手段で得られる露光量の大きい方の輝度信号および色信号、ならびに前記階調補正手段からの出力信号、前記ノイズ低減手段からの出力信号を共に合成する画像合成手段とを備え、撮像手段から出力される露光量の異なる複数の信号を画像合成手段で合成する前に、撮像手段から出力される複数の信号を輝度色分離手段によって輝度信号成分と色信号成分とに分離し、この輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正手段によって階調補正を行う一方、、輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減手段によってノイズ低減を行うようにしたものであり、これによって、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号が得られるという作用を有する。
【００２１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（実施形態１）
図１は本発明の実施形態１に係る固体撮像装置の構成図である。
【００２３】
図１において、１ａは撮像手段としての固体撮像素子、２は階調補正手段、３ａは画像合成手段である。
【００２４】
固体撮像素子１ａは、通常の固体撮像素子に比較して１フィールドの有効期間内に２倍の走査線数の長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔがそれぞれ出力される全画素読み出し型ものであって、その構成は、図７に示した従来のものと同様であるから、ここでは詳しい説明は省略する。
【００２５】
上記の階調補正手段２は、高輝度部において十分な階調特性が得られるように、短時間露光信号Ｓｓｈｏｒｔに対して階調性を高めるようにしたものであって、輪郭強調回路４と増幅回路５とからなる。
【００２６】
そして、輪郭強調回路４は、短時間露光信号Ｓｓｈｏｒｔから輪郭成分の信号のみを取り出すためのバンドパスフィルタ６、このバンドパスフィルタ６で取り出された輪郭成分の信号に含まれるノイズ成分を除くコアリング回路７、コアリング回路７の出力を増幅する増幅器８ａ、および短時間露光信号Ｓｓｈｏｒｔに輪郭成分を加算する加算器９ａとで構成されている。また、増幅回路５は増幅器８ｂからなる。
【００２７】
一方、画像合成手段３ａは、階調補正手段２で輪郭強調された短時間露光信号Ｓｓｈｏｒｔ’に対して一定のオフセット値ｏｆｆｓｅｔを加算することにより補正された短時間露光信号Ｓｓｈｏｒｔ’’として出力する加算器９ｂ、固体撮像素子１ａで得られる長時間露光信号Ｓｌｏｎｇのレベルを、固体撮像素子１ａの性能によって決まる所定の飽和レベルｓａｔと比較し、その大小に応じて信号選択用の制御信号を出力する比較器１０、および長時間露光信号Ｓｌｏｎｇと加算器９ｂの出力Ｓｓｈｏｒｔ’’とを共に入力し、比較器１０からの制御信号に応じていずれか一方の露光信号ＳｌｏｎｇまたはＳｓｈｏｒｔ’’を合成画像信号Ｓｍｉｘとして出力するセレクタ１６ａからなる。
【００２８】
なお、上記のオフセット値ｏｆｆｓｅｔは、たとえば、固体撮像素子１ａの飽和レベルｓａｔやダイナミックレンジを考慮して設定される。
【００２９】
次に、上記構成の固体撮像装置の動作について説明する。
【００３０】
固体撮像素子１ａから出力された両露光信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔの内、長時間露光信号Ｓｌｏｎｇは画像合成手段３ａに、短時間露光信号Ｓｓｈｏｒｔは階調補正手段２の輪郭強調回路４にそれぞれ入力される。
【００３１】
輪郭強調回路４では、バンドパスフィルタ６によって短時間露光信号Ｓｓｈｏｒｔから周波数の高い輪郭成分が抽出され、続いてコアリング回路７によって輪郭成分の信号に含まれるノイズ成分が除かれ、この輪郭成分の信号のみが増幅器８ａで所定のゲインで増幅される。そして、加算器９ａにおいて輪郭成分の信号が短時間露光信号Ｓｓｈｏｒｔと加算されて出力される。
【００３２】
輪郭強調後の短時間露光信号は、次段の増幅回路５の増幅器８ｂによって１倍から４倍のゲインで増幅された後、階調補正手段２の出力信号Ｓｓｈｏｒｔ’として出力される。
【００３３】
画像合成手段３ａには、固体撮像素子１ａで得られる長時間露光信号Ｓｌｏｎｇと階調補正手段２で輪郭強調された後の出力信号Ｓｓｈｏｒｔ’とが共に入力される。そして、輪郭強調後の短時間露光信号Ｓｓｈｏｒｔ’は、加算器９ｂで一定のオフセット値ｏｆｆｓｅｔが加算されて補正された短時間露光信号Ｓｓｈｏｒｔ’’として出力される。
【００３４】
一方、長時間露光信号Ｓｌｏｎｇは、比較器１０において固体撮像素子１ａの飽和レベルｓａｔと比較され、その大小に応じて信号選択用の制御信号が出力される。
【００３５】
セレクタ１６ａには、長時間露光信号Ｓｌｏｎｇと加算器９ｂの出力Ｓｓｈｏｒｔ’’とが共に入力されており、比較器１０からの制御信号によって、長時間露光信号Ｓｌｏｎｇが飽和レベルｓａｔに達していない場合には長時間露光信号Ｓｌｏｎｇが、長時間露光信号Ｓｌｏｎｇが飽和レベルｓａｔに達している場合は、補正後の短時間露光信号Ｓｓｈｏｒｔ’’がそれぞれ選択され、これが合成画像信号Ｓｍｉｘとして出力される。
【００３６】
図２は、グレースケールを高輝度で撮像した場合に得られる各信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔ，Ｓｓｈｏｒｔ’，Ｓｓｈｏｒｔ’’、Ｓｍｉｘの波形を示す。なお、図２において、一点鎖線は本発明を実施しない場合の従来の固体撮像装置による出力信号Ｓｍｉｘ０を示している。
【００３７】
ここにグレースケールとは、明るさが段階状に変化したようなチャートであり、このようなチャートを撮像することにより、図８に示したような固体撮像装置の階調特性の概要を知ることができると同時に、画像の輪郭における先鋭度を見ることができる。
【００３８】
図２から分かるように、合成画像信号Ｓｍｉｘの高輝度部は、階調補正手段２における輪郭強調回路４で短時間露光信号Ｓｓｈｏｒｔに対して輪郭強調成分が加算されて、階段状波形のエッジ部に輪郭強調が施されているので、階調性が改善されている。
【００３９】
なお、本実施形態では、高輝度部のみに階調補正を実施するために、画像合成手段３においてセレクタ１６ａによって長時間露光信号Ｓｌｏｎｇと、補正された短時間露光信号Ｓｓｈｏｒｔ’’とのいずれか一方を選択するような構成としたが、画像合成手段３を、従来例と同様に、単一の加算器によって構成し、長時間露光信号Ｓｌｏｎｇと補正された短時間露光信号Ｓｓｈｏｒｔ’’とを単純に加算しても輝度部の階調性を改善することが可能である。ただし、その場合は、低輝度部に対しても若干の階調補正がかかることになる。
【００４０】
（実施形態２）
図３は、本発明の実施形態２に係る固体撮像装置を示す構成図であり、図１に示した実施形態１に対応する部分には同一の符号を付す。
【００４１】
図３において、１ｂは固体撮像素子、１７は輝度／色分離手段、２は階調補正手段、３ｂは画像合成手段、３１はノイズ低減回路、２１はカメラ信号処理回路である。
【００４２】
この実施形態２の固体撮像素子１ｂは、図４に示すように、実施形態１における固体撮像素子１ａの光電変換部１１上にマゼンタ（Ｍｇ）、グリーン（Ｇｒ）、イェロー（Ｙｅ）、シアン（Ｃｙ）の４つの異なる分光特性を持つ色フィルタを画素ごとに配置してなるものであり、動作としては、実施形態１の場合と全く同じ動作を行う。ただし、固体撮像素子１ｂの画素混合動作によって、マゼンタ＋イェロー（ＭＹ）、マゼンタ＋シアン（ＭＣ）、グリーン＋イェロー（ＧＹ）、グリーン＋シアン（ＧＣ）の４種類の信号が長時間露光信号Ｓｌｏｎｇ、短時間露光信号Ｓｓｈｏｒｔとしてそれぞれ出力端子１５ａ，１５ｂから出力される。
【００４３】
上記の輝度／色分離手段１７は、固体撮像素子１で得られる長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔのそれぞれについて、輝度信号と色信号とに分離するもので、色信号を抽出するための一対のバンドパスフィルタ６ａ，６ｂ、輝度信号を抽出するための一対の減算器１８ａ，１８ｂ、色信号を規格化するための一対の割り算器１９ａ，１９ｂを備える。
【００４４】
また、階調補正手段２は、輝度／色分離手段１７で得られる各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの内、短時間露光信号Ｓｓｈｏｒｔに基づく輝度信号Ｙｓｈｏｒｔの方が長時間露光信号Ｓｌｏｎｇに基づく色信号Ｃｌｏｎｇよりも階調性が不足するので、これを改善するために設けられたものであって、その構成は、実施形態１の場合と同様であるから、詳しい説明は省略する。
【００４５】
ノイズ低減手段３１は、輝度／色分離手段１７で得られる各色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’の内、短時間露光信号Ｓｓｈｏｒｔに基づく色信号Ｃｓｈｏｒｔ’の方が長時間露光信号Ｓｌｏｎｇに基づく色信号ＣｌｏｎｇよりもＳ／Ｎ比が悪いので、これを改善するために設けられたものであって、その構成は、帯域圧縮用のバンドパスフィルタ６ｄ、このバンドパスフィルタ６ｄを通過した色信号Ｃｓｈｏｒｔ’に含まれるノイズ成分を低減するためのノイズ抑圧回路２０、ノイズ抑圧後の色信号Ｃｓｈｏｒｔ’の振幅を所定の量だけ減衰させる減衰回路２９ａとからなる。
【００４６】
そして、ノイズ抑圧回路２０は、図５に示すように、一対のバンドパスフィルタ６ｅ，６ｆ、一対のクリップ回路３２ａ，３２ｂ、一対の減衰器２９ｂ，２９ｃ、および減算器１８ｃからなる。ここで、バンドパスフィルタ６ｅ，６ｆ、クリップ回路３２ａ，３２ｂ、減衰器２９ｂ，２９ｃが２系統あるのは、異なる周波数成分のノイズを効果的に抑圧するためであり、１系統でもノイズ抑圧効果を奏することができる。
【００４７】
画像合成手段３ｂは、図１に示した実施形態１の場合と同じ作用をする加算器９ｂ、比較器１０、およびセレクタ１６ａを備えるとともに、比較器１０からの制御信号によって規格化された色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’の一方を選択して合成色信号Ｃｍｉｘとして出力するセレクタ１６ｂ、この合成色信号Ｃｍｉｘと合成輝度信号Ｙｍｉｘとを掛け合わして出力する乗算器３０、および乗算器３０の出力に合成輝度信号Ｙｍｉｘを加算して合成画像信号Ｓｍｉｘとして出力する加算器９ｂを有している。
【００４８】
カメラ信号処理回路２１は、周知のような、輝度色分離回路２２、輪郭改善回路２３、γ補正回路２４ａ，２４ｂ、ホワイトバランス補正回路２５、マトリクス回路２６を備えるとともに、さらに、合成画像信号Ｓｍｉｘに含まれる輝度信号Ｙの画面内におけるピーク値を検出するピーク検出回路２７、およびこのピーク検出回路２７の検出出力に基づいて、固体撮像素子１における長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔの露光量の比や、階調補正手段２における階調補正の量、ノイズ低減回路３１における減衰量などを調整するためのマイクロコンピュータ２８が設けられている。
【００４９】
次に、上記構成の固体撮像装置の動作について説明する。
【００５０】
固体撮像素子１ｂの色フィルタの配列により、１フィールドの有効期間内に、マゼンタ＋イェロー（ＭＹ）とグリーン＋シアン（ＧＣ）を１つの組とし、マゼンタ＋シアン（ＭＣ）とグリーン＋イェロー（ＧＹ）を１つの組とした信号がラインごとに交互に長時間露光信号Ｓｌｏｎｇ、短時間露光信号Ｓｓｈｏｒｔとしてそれぞれ出力端子１５ａ，１５ｂから出力される。しかも、この場合、各色フィルタの分光特性は、ＭＹとＧＣの和およびＭＣとＧＹの和が輝度信号Ｙの分光特性になるように設計されているため、ＭＹとＧＣ、ＭＣとＧＹの各信号列は、輝度信号成分Ｙに色信号成分Ｃｒ，Ｃｂが変調されて重畳された信号として出力される。
【００５１】
固体撮像素子１の各出力信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔは、輝度色分離手段１７に入力される。輝度色分離手段１７では、バンドパスフィルタ６ａ，６ｂによって変調色信号成分Ｃｌｏｎｇ，Ｃｓｈｏｒｔがそれぞれ抽出される。この場合のバンドパスフィルタ６ａ，６ｂの伝達関数は、
Ｆａｂ（ｚ）＝−（１＋Ｚ−２）２・（１−Ｚ−１）２／１６ （１）
で表される。
【００５２】
図６は、フィルタの周波数特性を示すもので、横軸は周波数、縦軸は各周波数における通過特性であり、Ｎは色信号成分のキャリア周波数であるナイキスト周波数を表している。
【００５３】
図６において、太実線で示されているのが、（１）式で表わされる伝達関数を有するバンドパスフィルタ６ａ，６ｂの周波数特性であって、このフィルタ６ａ，６ｂによって色信号成分が抜き出される。
【００５４】
次に、輝度色分離手段１７では、長時間露光信号Ｓｌｏｎｇおよび短時間露光信号Ｓｓｈｏｒｔから、バンドパスフィルタ６ａ，６ｂの出力信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔが各減算器１８ａ，１８ｂで減算されて、輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔが出力される。
【００５５】
これにより得られる輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの周波数特性を図６に破線で示す。各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔの周波数特性は、ナイキスト周波数Ｎの１／２の周波数までほぼフラットとなっている。
【００５６】
次に、輝度色分離手段１７では、割り算器１９ａ，１９ｂによって変調色信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔが各輝度信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔでそれぞれ割り算されて、色信号成分が輝度信号成分で規格化された変調色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’として出力される。上述のように、ベースバンド信号である輝度信号に対して、固体撮像素子１ｂから出力される色信号は、特定の周波数で変調されている。したがって、このような色信号を合成するには、変調された２つの色信号Ｃｌｏｎｇ，Ｃｓｈｏｒｔの振幅を一致させる必要がある。
【００５７】
本実施形態の固体撮像素子から出力される露光量の異なる信号Ｓｌｏｎｇ，Ｓｓｈｏｒｔは、露光量が異なるために、同じ被写体に対する信号レベルが異なるが、色信号成分の振幅は、輝度信号成分の振幅に比例しているので、Ｃｌｏｎｇ／Ｙｌｏｎｇ＝Ｃｓｈｏｒｔ／Ｙｓｈｏｒｔが成り立つ。よって、このような規格化処理を施すことによって、露光量の比に関わらず色信号成分Ｃｌｏｎｇ’＝Ｃｌｏｎｇ／Ｙｌｏｎｇ、およびＣｓｈｏｒｔ’＝Ｃｓｈｏｒｔ／Ｙｓｈｏｒｔの振幅が等しくなり、後段におけるセレタク１６ｂによる切り換えなどの単純な回路構成でもって、合成処理を容易に行うことが可能となる。
【００５８】
階調補正手段２は、短時間露光輝度信号Ｙｓｈｏｒｔを入力し、実施形態１と同様の処理を施して輪郭強調された短時間露光輝度信号Ｙｓｈｏｒｔ’を出力する。この場合の階調補正手段２の動作は、実施形態１と同様であるから、ここでは詳しい説明は省略する。
【００５９】
図６には、階調補正手段２の輪郭強調回路４におけるバンドパスフィルタ６ｃの伝達関数の周波数特性を一点鎖線で示している。また、増幅器８ａおよび８ｂのゲインは、露光量の比に応じて０倍から４倍程度の範囲で変更する必要があるが、２倍程度が好ましい。
【００６０】
一方、輝度色分離手段１７で規格化された短時間露光色信号Ｃｓｈｏｒｔ’は、ノイズ低減手段３１に入力される。ノイズ低減手段３１は、入力された信号をバンドパスフィルタ６ｄによって帯域圧縮し、この信号がさらにノイズ抑圧回路２０に入力される。
【００６１】
ノイズ抑圧回路２０に入力された短時間露光色信号Ｃｓｈｏｒｔ’は、各バンドパスフィルタ６ｅ，６ｆおよびクリップ回路３２ａ、３２ｂを通過することでノイズ成分が抽出され、このノイズ成分が減衰器２９ｂ，２９ｃで所定の量だけ減衰されて、減算器１８ｃで元の入力信号Ｃｓｈｏｒｔ’から減算されることにより、ノイズのない出力信号が得られる。
【００６２】
続いて、このノイズ抑圧回路２０の出力は減衰器２９ａに入力されて所定の量だけ振幅が減衰されて出力される。この場合の減衰器２９ａの減衰量は、１倍から１／２倍の間で変化させることが望ましいが、振幅の減衰によって最終出力信号における色相が変化してしまう場合があるので、大きな減衰量を与えるべきではない。
【００６３】
このようにして、ノイズ低減手段３１からは、ノイズが抑圧されてＳ／Ｎ比が改善された短時間露光色信号Ｃｓｈｏｒｔ’が出力される。
【００６４】
画像合成手段３には、上記の各信号Ｙｌｏｎｇ，Ｙｓｈｏｒｔ’，Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’が共に入力される。
【００６５】
ここで、輝度信号Ｙに関しては、実施形態１と同様の動作によって合成輝度信号Ｙｍｉｘが得られる。
【００６６】
一方、色信号Ｃについては、規格化された色信号Ｃｌｏｎｇ’，Ｃｓｈｏｒｔ’’が共にセレクタ１６ｂに入力され、輝度信号Ｙの場合と同様に、輝度信号が飽和レベルｓａｔに達するまではＣｌｏｎｇ’が、飽和レベルｓａｔに達した後はＣｓｈｏｒｔ’’が、それぞれ選択されて合成色信号Ｃｍｉｘとして出力される。
【００６７】
合成色信号Ｃｍｉｘは、乗算器３０で合成輝度信号Ｙｍｉｘと掛け合わされ、輝度信号のレベルに応じた振幅が与えられた後、加算器９ｂで合成輝度信号と加算されて色信号成分が重畳された合成画像信号Ｓｍｉｘとして出力されて、カメラ信号処理回路２１に入力される。
【００６８】
カメラ信号処理回路２１は、入力された合成画像信号Ｓｍｉｘに対し、輝度色分離回路２２で輝度信号Ｙと色信号Ｒ，Ｇ，Ｂとに分離され、これにより得られた輝度信号Ｙは、輪郭改善回路２３で輪郭改善され、引き続いてγ補正回路２４ａでγ補正処理が施された後、出力輝度信号Ｙｏｕｔとして出力される。
【００６９】
一方、色信号Ｒ，Ｇ，Ｂは、ホワイトバランス回路２５でホワイトバランス補正処理が施され、引き続いてγ補正回路２４ｂで輝度信号と同様にγ補正処理された後、マトリクス回路２６で所定の演算処理により色差信号に変換されて色差信号Ｒ−Ｙ，Ｂ−Ｙとして出力される。
【００７０】
また、輝度色分離回路２２から出力された輝度信号Ｙは、ピーク検出回路２７によって画面内におけるピーク値が検出され、これがマイクロコンピュータ２８に転送される。
【００７１】
マイクロコンピュータ２８は、ピーク検出回路２７から得たピーク値に基づいて、固体撮像素子１ｂにおける長時間露光信号Ｓｌｏｎｇと短時間露光信号Ｓｓｈｏｒｔの露光量の比、階調補正手段２の輪郭強調回路４における増幅器８ａおよび増幅回路８ｂのゲイン調整による階調補正の量、ノイズ低減手段３１のノイズ抑圧回路２０におけるクリップ回路３２ａ，３２ｂのクリップレベルや減衰回路２９ａにおける減衰量の調整によるノイズ抑圧の量を算出して、各部が適切な値となるように制御を行う。
【００７２】
ここで、得たピーク値は、固体撮像装置が再現できる明るさの範囲である固体撮像装置のダイナミックレンジと、撮像しようとする被写体のもつ明るさの範囲である被写体のダイナミックレンジの関係を示すパラメータとなる。
【００７３】
すなわち、被写体のダイナミックレンジに対して、固体撮像装置のダイナミックレンジが大きい場合にはピーク値が小さくなり、逆の場合はピーク値が大きくなる。つまり、ピーク値が小さい場合は、被写体のダイナミックレンジに対して固体撮像装置側のダイナミックレンジに余裕があるということなので、マイクロコンピュータ２８は、露光量の比を小さくして固体撮像装置のダイナミックレンジを小さくするというような制御を行う。
【００７４】
また、ピーク値が大きい場合、特に固体撮像装置側のダイナミックレンジに一致する場合は、その逆の動作をさせて固体撮像装置側のダイナミックレンジを大きくする。この場合、高輝度部の階調再現が不足しがちになるとともにＳ／Ｎ比の劣化量が大きくなる。そこで、階調補正量を大きくして、階調再現を強調すると同時にノイズ抑圧量を大きくしてＳ／Ｎ比の劣化を抑える。
【００７５】
以上のような構成によって、色信号成分が重畳された信号に対しても高輝度部の階調が改善された合成画像が得られる。また、高輝度部における階調補正のためにそれに応じて色信号成分のノイズ成分が強調されるが、ノイズ低減手段３１によってノイズ成分が抑圧されるために、ノイズの少ない出力信号が得られる。
【００７６】
なお、本実施形態において、露光量の小さい色信号に対しノイズ低減回路３１でノイズ抑圧処理を施しているが、合成色信号Ｃｍｉｘに対してノイズ低減の処理を施しても同様の効果が得られる。
【００７７】
【発明の効果】
本発明によれば、次の効果を奏する。
【００７８】
（１） 撮像手段から出力される露光量の異なる複数の信号を合成する前に、露光量の小さい信号に対して輪郭調整を行う輪郭強調回路を構成することにより、画像合成手段による合成後の画像の高輝度部における十分な階調調整を得ることができる。
【００７９】
（２） また、色信号成分が重畳された信号に対しても高輝度部の階調が改善されると同時に、ノイズの少ない色信号を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る固体撮像装置の構成を示すブロック図である。
【図２】実施形態１の固体撮像装置でグレースケールを高輝度で撮像した場合の各部の信号波形図である。
【図３】本発明の実施形態２に係る固体撮像装置の構成を示すブロック図である。
【図４】実施形態２における固体撮像装置の固体撮像素子の構成を示すブロック図である。
【図５】実施形態２における固体撮像装置のノイズ抑圧回路の詳細を示すブロック図である。
【図６】実施形態２における固体撮像装置のバンドパスフィルタの伝達関数の周波数特性を示す説明図である。
【図７】従来の固体撮像装置の全画素読み出し型の固体撮像素子の構成を示すブロック図である。
【図８】従来の固体撮像装置の光電変換特性を示すグラフである。
【符号の説明】
１…固体撮像素子（撮像手段）、２…階調補正手段、３…画像合成手段、４…輪郭強調回路、５…増幅回路、１１…光電変換部、１２…垂直転送部、１３…水平転送部、１７…輝度色分離手段、２０…ノイズ抑圧回路、２１…カメラ信号処理回路、２７…ピーク検出回路、２８…マイクロコンピュータ、３１…ノイズ低減手段。
Claims (6)
- 一画面分の画像を撮像する期間内に、露光量の異なる複数の信号を出力する撮像手段を備えた固体撮像装置において、
前記撮像手段から出力される露光量の小さい方の信号に対して輪郭強調を行う輪郭強調回路と、
前記撮像手段から出力される露光量の大きい方の信号と前記輪郭強調回路からの出力信号とを合成する画像合成手段と
を備えることを特徴とする固体撮像装置。 - 露光量の小さい信号あるいは画像合成手段により合成された信号の最大値を検出する最大値検出手段と、
前記最大値検出手段の検出出力に基づいて前記輪郭強調回路による輪郭強調量を制御する制御手段と、
を備えることを特徴とする請求項１に記載の固体撮像装置。 - 一画面分の画像を撮像する期間内に、露光量の異なる複数の信号を出力する撮像手段を備えた固体撮像装置において、
撮像手段から出力される複数の信号を輝度信号成分と色信号成分とに分離する輝度色分離手段と、
前記輝度色分離手段で得られる露光量の小さい方の輝度信号に対して階調補正を行う階調補正手段と、
前記輝度色分離手段で得られる露光量の小さい方の色信号に対してノイズ低減を行うノイズ低減手段と、
前記輝度色分離手段で得られる露光量の大きい方の輝度信号および色信号、ならびに前記階調補正手段からの出力信号、前記ノイズ低減手段からの出力信号を共に合成する画像合成手段と、
を備えることを特徴とする固体撮像装置。 - 前記ノイズ低減手段は、帯域制限回路であることを特徴とする請求項３記載の固体撮像装置。
- 前記ノイズ低減手段は、減衰回路であることを特徴とする請求項３記載の固体撮像装置。
- 露光量の小さい信号あるいは画像合成手段により合成された信号の最大値を検出する最大値検出手段と、
前記最大値検出手段の検出出力に基づいて前記階調補正手段による階調補正量、およびノイズ低減手段によるノイズ低減量を共に制御する制御手段と、
を備えることを特徴とする請求項３ないし請求項５のいずれかに記載の固体撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03751497A JP3578246B2 (ja) | 1997-02-21 | 1997-02-21 | 固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03751497A JP3578246B2 (ja) | 1997-02-21 | 1997-02-21 | 固体撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10233966A JPH10233966A (ja) | 1998-09-02 |
| JP3578246B2 true JP3578246B2 (ja) | 2004-10-20 |
Family
ID=12499656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03751497A Expired - Lifetime JP3578246B2 (ja) | 1997-02-21 | 1997-02-21 | 固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3578246B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3645502B2 (ja) | 2001-06-29 | 2005-05-11 | 株式会社東芝 | 撮像装置及び映像信号処理方法 |
| JP4260707B2 (ja) | 2004-08-05 | 2009-04-30 | 三菱電機株式会社 | 撮像装置 |
| CN106851115B (zh) * | 2017-03-31 | 2020-05-26 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
-
1997
- 1997-02-21 JP JP03751497A patent/JP3578246B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10233966A (ja) | 1998-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5767899A (en) | Image pickup device | |
| US7102669B2 (en) | Digital color image pre-processing | |
| JP3074967B2 (ja) | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 | |
| JP4003399B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| CN101322416B (zh) | 图像信号处理装置及图像信号处理方法 | |
| EP0477884B1 (en) | Horizontal line interpolation circuit and image pickup apparatus including it | |
| US4638352A (en) | Color video camera signal processing circuit | |
| JP3134784B2 (ja) | 画像合成回路 | |
| JP3356201B2 (ja) | ビデオカメラおよび輪郭強調装置 | |
| JP3548504B2 (ja) | 信号処理装置、信号処理方法、及び撮像装置 | |
| JPH07184097A (ja) | 撮像装置 | |
| JPH0352276B2 (ja) | ||
| US20090245632A1 (en) | Method and apparatus for image signal color correction with reduced noise | |
| US6690418B1 (en) | Image sensing apparatus image signal controller and method | |
| JP3578246B2 (ja) | 固体撮像装置 | |
| JP2004064192A (ja) | 撮像装置 | |
| JP4240261B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2001189945A (ja) | 撮像装置 | |
| US5912702A (en) | Video camera and image enhancing apparatus | |
| JP3511073B2 (ja) | 固体撮像装置 | |
| JP2002010286A (ja) | 信号処理装置、信号処理方法、及び撮像装置 | |
| JP4477265B2 (ja) | カラーテレビジョンカメラ | |
| JP3153941B2 (ja) | ディジタル信号処理カメラ | |
| JP3540567B2 (ja) | 電子的撮像装置 | |
| JP3901808B2 (ja) | キャリアブースト補正回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |