JP4642036B2 - 撮像装置およびその雑音低減方法 - Google Patents

Description

本発明は、固体撮像素子を有するテレビジョンカメラ等の撮像装置に関し、特に電子増倍型撮像素子から出力される画像信号に含まれるスミア等の雑音を低減する方法に関するものである。

従来、光を電気信号に変換する撮像素子上にレンズで光学像を結像させるように構成された装置において、撮像素子の最小ブロックごとに対応した光学路に透過光量を調節する装置を設け、撮像素子の各々の光電変換部の受光量が素子固有のダイナミックレンジを逸脱しないように１／α（αは１以上の整数）に減光する制御機能と、撮像素子の後段に上記ブロックごとに対応した出力をα倍に増幅する機能とを有する撮像装置がある（例えば、特許文献１参照。）。
特開平０７−０２３２８３号公報

前述の従来技術には、撮像素子の最小ブロックごとに対応した光学路に透過光量を調節する装置を設ける必要がある。

本発明の目的は、特殊な光量調節装置を設けることなく、固体撮像素子から出力されるスミア等の雑音を低減することにある。

本発明の電子増倍型撮像素子を有する撮像装置は、電子増倍型撮像素子の電子増倍率制御手段と、電子増倍型撮像素子の遮光した画素から出力される信号を取得する取得手段と、取得手段で取得した信号のライン間平均を行う平均化手段と、平均化手段で平均化された信号に電子増倍率制御手段の電子増倍率に応じて所定の低レベルサプレスと高レベルサプレスを施すサプレス手段と、電子増倍型撮像素子の遮光されていない画素から出力される画像信号を取得する取得手段と、取得手段で取得した画像信号からサプレス手段でサプレスされた信号を減算する減算手段とを有する。

また、上記の撮像装置は、更に平均化手段で平均化された信号と所定のレベルを比較する比較手段と、サプレス手段の出力を比較手段の比較結果に応じて切断する切替手段とを有する。

さらに、電子増倍型撮像素子を有する撮像装置の雑音低減方法は、電子増倍型撮像素子の電子増倍率を制御し、電子増倍型撮像素子の遮光した画素から出力される信号を取得し、取得した信号のライン間平均化し、平均化された信号に電子増倍率に応じて所定の低レベルと高レベルのサプレスを施し、電子増倍型撮像素子の遮光されていない画素から出力される画像信号を取得し、取得した画像信号からサプレスされた信号を減算する。

また更に、上記の雑音低減方法は、更に平均化された信号は所定のレベルと比較し、比較結果に応じて画像信号からサプレスされた信号を減算する。

本発明によれば、固体撮像素子の遮光した画素からスミア信号を取得し、遮光していない画素の画像信号レベルに従って、取得したスミア信号に低レベルサプレスと高レベルサプレスを施し、画像信号レベルからサプレスされたスミア信号を減算することにより、スミア信号等の雑音を低減させた画像信号が得られる。

以下、本発明による撮像装置の一実施例について図１と図２を用いて説明する。

図１は本発明の一実施例の撮像装置を示すブロック図である。

図１において、１は撮像装置、２は入射光を結像するレンズ部、３はレンズ部２から入射した光を電気信号に変換するＥＭ−ＣＣＤ（Electron Multiplying - Charge Coupled Device、電子増倍型固体撮像素子）、４はＥＭ−ＣＣＤ３から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）部、５はＣＤＳ部４から出力された信号の利得を調整するアンプ部、６はアンプ部５から出力されたアナログ信号をデジタル信号の信号Ａに変換するＡ／Ｄ変換部（Analog Digital Converter）、７はＥＭ−ＣＣＤ３から出力されるスミア等の雑音信号の検出と補正を行うスミア補正部、８はスミア補正部７から出力された信号Ｌに種々の画像処理を施す映像信号処理部、９は映像信号処理部８から出力された信号を所定方式の映像信号に変換して出力する映像信号出力部、１０はＥＭ−ＣＣＤ３の駆動および電子増倍の利得制御を行うためのＣＣＤ駆動部、１１は撮像装置１内の各部を制御するＣＰＵ（Central Processing Unit）である。また、ＣＰＵ１１は信号Ｈでスミア補正部７の制御を行う。

映像信号出力部９から出力される所定方式の映像信号とは、例えば、ＮＴＳＣ（National Television System Committee）方式、ＰＡＬ（Phase Alternating by Line）方式またはＨＤＴＶ（High Definition TeleVision）方式等の動画像あるいは静止画像である。

図２は図１のスミア補正部７の詳細内容を示すブロック図である。

図２において、７０１−１〜７０１−ｎ（ｎは自然数）は走査線１本分（１Ｈ）のデジタル信号を記憶させるためのメモリ部である。７０２はメモリ部７０１−１〜７０１−ｎの出力信号を加算する加算部、７０３は加算部７０２の出力信号をｎ分の１倍にする１／ｎ部、７０４と７０５は画素１ケ分の時間を遅延させるための遅延部、７０６〜７０８は入力された信号を所定の倍率にする係数部、７０９は係数部７０６〜７０８の出力信号を加算する加算部、７１０は加算部７０９から出力される所定レベル以上の信号に対して所定の抑圧をかける高レベルサプレス部、７１１は高レベルサプレス部７１０から出力される所定レベル以下の信号に対して所定の抑圧をかける低レベルサプレス部、７１３は加算部７０９から出力される信号レベルと所定の信号レベルを比較する比較部、７１２は比較部７１３から出力される比較結果に従って出力する信号を切替える切替部、７１４は信号Ａから信号ｇを減算する減算部である。７１５は入力される信号に従って、信号ａ、信号ｂ、信号ｃ、信号ｄ、信号ｅ、信号ｆを出力する制御部である。

次に、本発明の一実施例の動作を図１で説明する。

撮像装置１のＥＭ−ＣＣＤ３はレンズ部２で光電変換部に結像された入射光を光電変換してＣＤＳ部４に出力する。ＣＤＳ部４はＥＭ−ＣＣＤ３から出力された信号から雑音を除去してアンプ部５に出力する。アンプ部５はＣＤＳ４から出力された信号をＣＰＵ１１から出力される利得制御信号に従って増幅してＡ／Ｄ変換部６に出力する。Ａ／Ｄ変換部６はアンプ部５から出力されたアナログ信号を例えば１０ビットのデジタル信号に変換してスミア補正部７に信号Ａを出力する。スミア補正部７はＥＭ−ＣＣＤ３から出力されるスミア信号の検出と補正を行い映像信号処理部８に信号Ｌを出力する。映像信号処理部８はスミア補正部７から出力された信号Ｌに種々の画像処理を施して映像信号出力部９に出力する。映像信号出力部９は映像信号処理部８から出力された信号を所定方式の映像信号に変換して出力する。ＣＣＤ駆動部１０はＣＰＵ１１から出力される制御信号に従ってＥＭ−ＣＣＤ３を駆動するための信号を出力する。また、ＣＰＵ１１はスミア補正部７の制御するための信号Ｈを出力する。

ＣＣＤ駆動部１０からＣＰＵ１１へは、ＥＭ−ＣＣＤ３から読み出す画素の位置情報を伝送する。または、ＣＰＵ１１からＣＣＤ駆動部１０へＥＭ−ＣＣＤ３から出力する映像信号の読み出し開始点を指示しても良い。ＣＰＵ１１からは映像信号処理部８から出力される画像信号に応じてアンプ部５に増幅率を制御する信号およびＣＣＤ駆動部１０にＥＭ−ＣＣＤ３の電子増倍の利得制御を行うための信号を出力する。また、ＣＰＵ１１から出力する信号ＨにＥＭ−ＣＣＤ３から読み出す画素の位置情報およびＥＭ−ＣＣＤ３の電子増倍の利得率の情報を重畳して制御部７１５に伝送し、制御部７１５から信号ａ、信号ｂ、信号ｃ、信号ｄ、信号ｅ、信号ｆが出力される。

次に、スミアについて説明する。スミアとはスポット光のような高輝度被写体を固体撮像素子で撮像した場合に、スポット光の上下に現れる光のにじみ現象で、固体撮像素子の飽和照度以下でも発生し、撮像する光の照度に比例する。スミアはスポット光を撮像した画素と同じ垂直方向の画素すべてに影響を及ぼす。

図４は固体撮像素子から出力される画像信号とスミア信号の関係を説明するための一例である。この固体撮像素子の画像信号は、入射光量が１００ルクスで飽和し、飽和レベルは１．０Ｖ、スミア信号は画像信号に対して１０％で、スミア信号は画像信号が飽和しても増加する。

図５は、図４の固体撮像素子が電子増倍型で、電子増倍の増倍率を１０００倍にした場合の電子増倍型固体撮像素子から出力される画像信号とスミア信号の関係を説明するための一例である。この電子増倍型固体撮像素子の画像信号は、入射光量が０．１ルクスで飽和し、飽和レベルは１．０Ｖ、スミア信号は画像信号に対して１０％で、スミア信号は画像信号が飽和しても増加し、１．０ルクスでスミア信号も飽和する。

本発明は、上記のスミアの特徴に基づき、スミア信号を遮光した画素から検出し、入射光を光電変換して得られた画像信号からスミア信号を減算することによりスミア補正するものである。

次に図２〜図６を用いて本発明の一実施例であるＥＭ−ＣＣＤ３から出力されるスミア信号の検出と補正の動作について説明する。

図３は固体撮像素子の画素配列を説明するための図であり、図６は本発明の一実施例であるスミア補正信号の低レベルサプレスと高レベルサプレスを説明するための図である。

図３は固体撮像素子の画素配列を示した図で、１個の四角が１画素を示し、四角の中に書かれた数字は画素の配置で、十の位の数字が行を示し、一の位の数字が列を示している。本画素配列は２つの領域に分かれていて、画素を遮光した領域（オプチカルブラック領域）と、画素を遮光しない領域、即ち入射光を撮像する撮像領域に分かれている。オプチカルブラック領域は、１ライン目がB11,B12,B13,B14,B15,・・・,B1Mの順に、２ライン目がB21,B22,B23,B24,B25,・・・,B2Mの順に、３ライン目がB31,B32,B33,B34,B35,・・・,B3Mの順に、ｎライン目がBn1, Bn2, Bn3, Bn4, Bn5,・・・,BnMの順である。撮像領域は、１ライン目がS11, S12,S13,S14,S15,・・・,S1Mの順に、２ライン目がS21,S22,S23,S24,S25,・・・,S2Mの順に、３ライン目がS31,S32,S33,S34,S35,・・・,S3Mの順に、Ｎライン目がSN1,SN2,SN3,SN4,SN5,・・・,SNMの順である。ｎとＭおよびＮは自然数である。また、映像信号を読み出す画素の順も上述の画素配列の順と同じである。即ちB11,B12,B13,・・・, SNMの順に映像信号を読み出す。

本発明は、図３に示す固体撮像素子からフィールドまたはフレーム単位に画像信号とスミア信号を読み出す。スミア信号は遮光されているオプチカルブラック領域の画素から読み出し、画像信号は遮光されていない撮像領域の画素から読み出す。

次に、図２を用いてスミア信号の検出と補正の動作について説明する。

まず、図２のスミア補正部７に入力される信号Ａで、図３のオプチカルブラック領域の１ライン目の画素の信号は図２のメモリ部７０１−１に記憶させ、オプチカルブラック領域の２ライン目の画素の信号はメモリ部７０１−２に記憶させ、オプチカルブラック領域の３ライン目の画素の信号は図メモリ部７０１−３に記憶させる。このように順に記憶させ、オプチカルブラック領域のｎライン目の画素の信号はメモリ部７０１−ｎに記憶させる。メモリ部７０１−１〜７０１−ｎに記憶させた信号は図３の撮像領域の画素の信号が読み出される毎に出力する。即ち、S11,S21,S31・・・SN1の信号が読み出された時に、メモリ部７０１−１〜７０１−ｎからB11,B21,B31,・・・Bn1の信号を出力する。メモリ部７０１−１〜７０１−ｎの記憶および出力は制御部７１５から出力される信号aによって制御される。メモリ部７０１−１〜７０１−ｎから出力された信号は加算部７０９で加算され、１／ｎ部７０３で１／ｎ倍される。メモリ部７０１−１〜７０１−ｎと加算部７０２および１／ｎ部７０３でオプチカルブラック領域信号のライン間平均を行うことができる。ライン間平均とは、B11,B21,B31,・・・Bn1の信号を加算して、１／ｎ倍することである。同様にB12の列、B13の列という順にB1Mの列までライン間平均を行う。

次にライン間平均された信号は遅延部７０４、遅延部７０５、係数部７０６、係数部７０７、係数部７０８および加算部７０９で構成された低域通過フィルタで高周波成分が除去される。この低域通過フィルタの特性は制御部７１５から出力される信号bによって設定される。

加算部７０９から出力された信号は高レベルサプレス部７１０で図６に示すような所定以上のレベルの信号に対して非線形処理が施される。本実施例では、ＥＭ−ＣＣＤ３から出力される画像信号が飽和する時（図４では１．０Ｖ）のスミア信号レベルを１００％（図４では０．１Ｖ）とすると、スミア信号レベルが９０％以上の信号に対して高レベルサプレス部７１０で非線形処理が施される。そして、スミア信号レベルが１１０％以上の信号に対してはクリップを施す。高レベルサプレス部７１０の非線形処理は制御部７１５から出力される信号dによって設定される。この非線形処理により、画像信号が飽和してもスミア補正が過補正となることを防ぐことができる。

高レベルサプレス部７１０から出力された信号は低レベルサプレス部７１１で図６に示すような所定以下のレベルの信号に対して非線形処理が施される。本実施例では、ＥＭ−ＣＣＤ３から出力される画像信号が飽和する時（図４では１．０Ｖ）のスミア信号レベルを１００％（図４では０．１Ｖ）とすると、スミア信号レベルが１０％以下の信号に対して低レベルサプレス部７１１で非線形処理が施される。低レベルサプレス部７１１の非線形処理は制御部７１５から出力される信号eによって設定される。この非線形処理により、画像領域に重畳しているランダム雑音に対して、オプチカルブラック領域に重畳しているランダム雑音が減算されないため、自然なスミア補正を施すことができる。

低レベルサプレス部７１１から出力された信号は切替部７１２に入力される。切替部７１２は比較部７１３から出力される信号で制御される。比較部７１３は加算部７０９から出力される信号と、制御部７１５から出力される信号cとをレベル比較し、信号cが小さい場合は、低レベルサプレス部７１１から出力される信号を切替部７１２から信号gとして出力するように切替部７１２を制御する。比較部７１３の比較結果で信号cが大きい場合は、制御部７１５から出力される信号fを切替部７１２から信号gとして出力するように切替部７１２を制御する。信号fは０（ゼロ）でも所定値でも良い。この比較部７１３は、映像信号出力部９から出力する定格信号レベルに対し、スミア補正信号レベルを比較して、スミア補正信号レベルが定格信号レベルの例えば１０％以上になると、画像信号１００％からスミア補正信号１０％以上を減算して、画像信号が９０％以下となる。即ち、比較部７１３と切替部７１２はスミア補正信号が画像信号そのものに影響を与えることを防ぐためのものである。

減算部７１４は、信号Ａからスミア補正信号である信号ｇを減算して、スミア信号を低減した信号Ｌを出力する。

次に本発明の他の一実施例を図２、図５、図７を用いてＥＭ−ＣＣＤ３から出力されるスミア信号の検出と補正の動作について説明する。

図７は本発明の他の一実施例であるスミア補正信号の低レベルサプレスと高レベルサプレスを説明するための図である。図２において、高レベルサプレス部７１０以外は上述の一実施例と同じであるため動作の説明を省略する。

図５に示すように、ＥＭ−ＣＣＤ３の電子増倍を１０００倍にして、スポット光のような高輝度被写体を撮像した場合に、スミア信号もすぐに飽和してしまう。本発明の他の一実施例は、ＥＭ−ＣＣＤ３の電子増倍の倍率に応じて高レベルサプレス部７１０の特性を変更するものである。例えば、ＥＭ−ＣＣＤ３の電子増倍の増倍率が１倍の場合は、図６に示すスミア補正信号とし、電子増倍の増倍率が増加するに従って、図７に示すスミア補正信号とする。即ち、加算部７０９から出力される信号で、映像信号出力部９の定格出力に換算して、５０％以上はスミア補正信号を減衰させ、１００％以上では、スミア補正信号を０（ゼロ）にする。このような特性を高レベルサプレス部７１０に持たせることにより、ＥＭ−ＣＣＤ３の電子増倍の倍率に応じて最適なスミア補正を施すことができる。

上述の実施例では、加算部７０９の次に高レベルサプレス部７１０、そして低レベルサプレス部７１１の順としたが、加算部７０９の次に低レベルサプレス部７１１、そして高レベルサプレス部７１０の順でも良い。また、高レベルサプレス部７１０と低レベルサプレス部７１１にレベル合わせのための増幅機能を持たせても良い。この増幅機能を持たせた場合の増幅率の制御は制御部７１５で行う。

更に本発明の他の一実施例として、図１のスミア補正部７をＣＰＵ（Central Processing Unit）等の電算機を使用してスミア信号の検出および補正を行うこともできる。スミア信号の検出および補正の一実施例を図８で説明する。

図８は本発明の他一実施例であるスミア信号の検出およびスミア補正の動作を説明するためのフローチャートである。

図８のステップＳ１で低域通過フィルタ特性、高レベルサプレス特性、低レベルサプレス特性、比較レベルの初期設定を行う。ステップＳ２でＥＭ−ＣＣＤ３の電子増倍率、アンプ部５の増幅率をＣＰＵ１１から読み込む。ステップＳ３で信号Ａを入力する。ステップＳ４で信号Ａがオプチカルブラック領域の信号かを判定し、信号Ａがオプチカルブラック領域の信号の場合はステップＳ５の処理に進み、撮像領域の信号の場合はステップＳ１１の処理に進む。ステップＳ５でオプチカルブラック領域の信号のライン間平均を行い、ステップＳ６の処理に進む。ステップＳ６で高周波成分を低域通過フィルタで除去し、ステップＳ７の処理に進む。ステップＳ７でＥＭ−ＣＣＤ３の電子増倍率とアンプ部５の増幅率に従って高レベルサプレスの処理を行い、ステップＳ８の処理に進む。ステップＳ８でＥＭ−ＣＣＤ３の電子増倍率とアンプ部５の増幅率に従って低レベルサプレスの処理を行い、ステップＳ９の処理に進む。ステップＳ９でステップＳ８まで処理した信号であるスミア補正信号ｇと初期設定した比較レベルと比較し、比較レベル以下の場合はステップＳ１１の処理に進み、比較レベルより大きい場合はステップＳ１０の処理に進む。ステップＳ１０でスミア補正信号ｇを０（ゼロ）として、ステップＳ１１の処理に進む。ステップＳ１１で信号Ａからスミア補正信号ｇを減算し、ステップＳ１２の処理に進む。ステップＳ１２で信号Ｌを出力する。

以上本発明について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の撮像装置に広く適用することができることは言うまでもない。

本発明の一実施例の撮像装置を示すブロック図。 本発明の一実施例のスミア補正部を示すブロック図。 固体撮像素子の画素配列を説明するための図。 固体撮像素子から出力される画像信号とスミア信号の関係を説明するための図。 電子増倍型固体撮像素子から出力される画像信号とスミア信号の関係を説明するための図。 本発明の一実施例であるスミア補正信号の低レベルサプレスと高レベルサプレスを説明するための図。 本発明の他の一実施例であるスミア補正信号の低レベルサプレスと高レベルサプレスを説明するための図。 本発明の更に他の一実施例であるスミア信号の検出およびスミア補正の動作を説明するためのフローチャート。

符号の説明

１：撮像装置、２：レンズ部、３：ＥＭ−ＣＣＤ、４：ＣＤＳ部、５：アンプ部、６：Ａ／Ｄ変換部、７：スミア補正部、８：映像信号処理部、９：映像信号出力部、１０：ＣＣＤ駆動部、１１：ＣＰＵ、７０１−１〜ｎ：メモリ部、７０２，７０９：加算部、７０３：１／ｎ部、７０４，７０５：遅延部、７０６〜７０８：係数部、７１０：高レベルサプレス部、７１１：低レベルサプレス部、７１２：切替部、７１３：比較部、７１４：減算部、７１５：制御部。

Claims (2)

1. 電子増倍型撮像素子の電子増倍率制御手段と、前記電子増倍型撮像素子の画素から出力される信号を取得する取得手段と、該取得手段で取得した信号の中から遮光した画素の信号と遮光されていない画素の信号を分離する分離手段と、該分離手段で分離された前記遮光した画素の信号のライン間平均を行う平均化手段と、該平均化手段で平均化された信号に前記電子増倍率制御手段の電子増倍率および前記平均化手段で平均化された信号レベルに応じて所定の高レベルサプレスを施すサプレス手段と、前記分離手段で分離された前記遮光されていない画素の信号から前記サプレス手段でサプレスされた信号を減算する減算手段とを有することを特徴とする電子増倍型撮像素子を有する撮像装置。
2. 電子増倍型撮像素子の電子増倍率を制御し、前記電子増倍型撮像素子の遮光した画素から出力される信号を取得し、該取得した信号のライン間平均化し、該平均化された信号に前記電子増倍率および前記平均化された信号レベルに応じて所定の高レベルのサプレスを施し、前記電子増倍型撮像素子の遮光されていない画素から出力される画像信号を取得し、該取得した画像信号から前記サプレスされた信号を減算することを特徴とする電子増倍型撮像素子を有する撮像装置の雑音低減方法。

Images