JP5473555B2 - 撮像装置 - Google Patents

Description

本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。

従来の撮像装置においては、水平方向に隣接した画素の電荷を混合することにより２倍の感度を実現できるように構成している（例えば、特許文献１参照）。

特公平７−６３１８１号公報（第４頁、段落００４５）

従来の撮像装置は、２倍までしか感度を高くできないという問題があった。

この発明は、上述のような課題を解決するためになされたもので、２倍より感度を大きくできるとともに、水平解像度および、垂直解像度の低下を最小限に留めた高感度な撮像装置を得ることを目的とする。

上記の課題を解決するため本発明の撮像装置は、
撮像手段と、
上記撮像手段から読み出された撮像信号に基づいて飛び越し走査方式の映像信号を出力する信号処理手段と、
上記撮像信号をフィールド単位及びライン単位で遅延させて注目画素およびその周囲の複数の参照画素の各画素値を同時に抽出する画素抽出手段を含み、
上記注目画素に、
上記注目画素の１フィールド前の画面真上方向に位置する第１の参照画素、
上記注目画素の１フィールド前の画面真下方向に位置する第２の参照画素、
上記注目画素の１フィールド後の画面真上方向に位置する第３の参照画素、及び
上記注目画素の１フィールド後の画面真下方向に位置する第４の参照画素の画素値を所定の割合で加算する画素加算手段と、
上記撮像手段から出力される撮像信号の大きさに基づいて露光時間や撮像信号を増幅する増幅手段の増幅利得を設定する制御手段を備え、
上記制御手段は、上記撮像信号のレベルに基づいて加算すべき画素の数を指定する信号を出力し、
上記画素加算手段は、上記制御手段から指定される加算すべき画素の数がｎであるとき、上記注目画素の画素値と、
上記参照画素のうち、優先順位の高いものから順に選択された（ｎ−１）個の参照画素の画素値を加算した値を加算画素値として出力する
ことを特徴とする。

本発明の撮像装置によれば、画像解像度の劣化を最小限に抑えつつ感度を最大５倍に向上させ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。

本発明の実施の形態１の撮像装置を示すブロック構成図である。 図１の画素加算回路の一例を示すブロック構成図である。 図２の画素加算回路で加算される画素の時間及び空間配置を示す図である。 図２の画素加算回路で加算される画素の空間配置を示す図である。 図１の撮像装置の各部に現れるデータを示すタイミング図である。 本発明の実施の形態２の撮像装置で用いられる画素加算回路の一例を示す内部ブロック構成図である。 本発明の実施の形態３の撮像装置を示すブロック構成図である。 図７の撮像装置の各部に現れるデータを示すタイミング図である。

実施の形態１．
図１は本発明の実施の形態１による撮像装置を示すブロック構成図である。以下、ＮＴＳＣ方式テレビジョンに対応した撮像装置を例に説明する。図１において、レンズ１は、被写体像を固体撮像素子２の撮像面上に合焦させる。固体撮像素子２で光電変換され転送出力された撮像信号は、相関二重サンプリング処理回路３でノイズ等が除去される。プログラマブル利得増幅回路４は、相関二重サンプリング処理回路３の出力信号を制御回路１３から出力された制御信号によって制御された利得で増幅して出力する。Ａ／Ｄ変換回路５は、プログラマブル利得増幅回路４の出力信号を、デジタル信号に変換する。

デジタル信号処理回路６は、Ａ／Ｄ変換回路５の出力信号に、欠陥画素補正処理や、色補間処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加え、飛び越し走査方式の映像信号を出力する。

撮像素子２からの読出しが全画素読出しで行なわれる場合には、読み出した撮像信号に対して走査線変換を行うことで飛び越し走査方式の映像信号が生成される。撮像素子２からの読出しが二行混合読出しで行なわれる場合には、上記の走査線変換を行うことなく、飛び越し走査方式の映像信号が得られる。
デジタル信号処理回路６はまた、信号振幅の平均レベルおよびノイズレベルを制御回路１３へ供給する。

画素加算回路７は、デジタル信号処理回路６から出力される輝度信号、Ｒ−Ｙ色差信号、Ｂ−Ｙ色差信号の各々について所定の周辺画素を加算する。

複合映像信号生成回路８は、画素加算回路７から出力されるＲ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂに基づいて色副搬送波変調色信号を生成し、画素加算回路７から出力される輝度信号Ｙに同期信号生成回路１２から出力された複合同期信号および上記色副搬送波変調色信号を重畳して複合映像信号を生成する。

Ｄ／Ａ変換回路９は、複合映像信号生成回路８の出力信号を、アナログ信号に変換する。このアナログ信号は、ＮＴＳＣテレビジョン信号であり、出力端子１４を介して出力される。

デジタル信号処理回路６はさらに、垂直走査周期毎に信号振幅の平均レベルおよびノイズレベルを算出し、制御回路１３へ供給する。

信号振幅の平均レベルの算出値ＡＳＡは、全有効画素の画素値の総和を全有効画素数で除算して求まる。このような平均レベルの算出は例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」と言うことがある。

ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値を総和し全有効画素数で除算することで求まる。ノイズ低減処理は、入力信号のノイズを低減したノイズ低減信号ＮＲＳを出力する。上記入力信号から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。

なお、上記の信号振幅の平均レベル算出およびノイズレベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数なので全有効画素数の除算を省略しても良い。

上記の例では、上記の信号振幅の平均レベルの算出およびノイズレベルの算出を、垂直走査周期毎に行なうものとして説明したが、デジタル信号処理回路６内部の信号処理時間やデジタル信号処理回路６から制御回路１３への伝送時間を考慮して、数回の垂直走査に１回だけ行なうようにしても良い。

同期信号発生回路１２は、垂直同期信号及び水平同期信号を生成してデジタル信号処理回路６及びタイミング発生回路１１に供給する。また上記垂直同期信号及び上記水平同期信号から所定時間遅延したタイミングの垂直同期信号（遅延垂直同期信号）及び水平同期信号（遅延水平同期信号）を生成して複合映像信号生成回路８に供給する。

タイミング発生回路１１は固体撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動回路１０に供給する。駆動回路１０は、タイミング発生回路１１から出力された駆動タイミング信号ＤＲＴに基づいて固体撮像素子２の駆動信号ＤＲＳを生成する。固体撮像素子２は、駆動回路１０から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。

制御回路１３は、撮像信号の大きさに基づいて、例えばデジタル信号処理回路６から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生回路１１が発生する固体撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、露光時間の制御）、プログラマブル利得増幅回路４の増幅利得の制御、並びに画素加算回路７の画素加算処理の制御を行なう。

次に、図２を参照して、画素加算回路７の詳細な動作を説明する。デジタル信号処理回路６からは輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂが出力される。
画素加算回路７は輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂの各々に対して処理を行うが、同じ処理であるため輝度信号Ｙを代表として説明し、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂに対する処理の説明は省略する。実際には、輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂの画素点順次のシリアル信号として処理する構成もあるし、輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂ各々に専用の画素加算回路を設けるパラレル構成もある。どちらの構成でも同じ効果が得られる。

デジタル信号処理回路６から出力された輝度信号Ｙは、入力端子７０１に印加され、画素抽出回路７１に供給される。この画素抽出回路７１は、後に図３及び図４を参照して詳しく説明するように、処理対象画素乃至注目画素Ｐ２２の信号と、上記注目画素Ｐ２２の１フィールド前の画面真上方向に位置する参照画素Ｐ１１の信号と、上記注目画素Ｐ２２の１フィールド前の画面真下方向に位置する参照画素Ｐ１３の信号と、上記注目画素Ｐ２２の１フィールド後の画面真上方向に位置する参照画素Ｐ３１の信号と、上記注目画素Ｐ２２の１フィールド後の画面真下方向に位置する参照画素Ｐ３３の信号とを抽出するものであり、２６３ライン遅延回路７０２と、１ライン遅延回路７０３と、５２５ライン遅延回路７０４と、５２６ライン遅延回路７０５とを備える。なお、以下では、各画素を表す符号（「Ｐ２２」、「Ｐ３３」など）を、当該画素の信号を表すのにも用いる。

入力端子７０１に印加された輝度信号Ｙは、そのまま１フィールド後の画面真下方向に位置する参照画素Ｐ３３の信号として、画素抽出回路７１から出力される。入力端子７０１に印加された輝度信号Ｙは「現信号」と呼ばれることもあり、また「現在の画素の信号」と呼ばれることもある。２６３ライン遅延回路７０２は、上記輝度信号Ｙ（現在の画素Ｐ３３の信号）を２６３ライン（１フィールド）遅延させた２６３ライン遅延信号を、上記注目画素Ｐ２２の信号として出力する。１ライン遅延回路７０３は、上記現在の画素Ｐ３３の信号（現信号）を１ライン遅延させた１ライン遅延信号を、上記注目画素Ｐ２２の１フィールド後の画面真上方向に位置する参照画素Ｐ３１の信号として出力する。５２５ライン遅延回路７０４は、上記現在の画素Ｐ３３の信号を５２５ライン遅延（２フィールド）させた５２５ライン遅延信号を、上記注目画素Ｐ２２の１フィールド前の画面真下方向に位置する参照画素Ｐ１３の信号として出力する。５２６ライン遅延回路７０５は、上記現在の画素Ｐ３３の信号を５２６ライン（２フィールドと１ライン）遅延させた５２６ライン遅延信号を、上記注目画素Ｐ２２の１フィールド前の画面真上方向に位置する参照画素Ｐ１１の信号として出力する。

第１の加算回路７０６は、画素抽出回路７１から出力される現在の画素Ｐ３３の信号と、注目画素Ｐ２２の１フィールド後の画面真上方向に位置する参照画素Ｐ３１の信号と、注目画素Ｐ２２の１フィールド前の画面真下方向に位置する参照画素Ｐ１３の信号と、注目画素Ｐ２２の１フィールド前の画面真上方向に位置する参照画素Ｐ１１の信号とを加算して４画素加算信号Ｐｓｕｍを出力する。

切換回路７０７は、第１の加算回路７０６から出力された上記４画素加算信号Ｐｓｕｍの後段への接続、すなわち４画素加算信号Ｐｓｕｍを第２の加算回路７０８に供給するか否かを、制御端子７１０に印加される制御回路１３からの加算制御信号ＣＳＷに基づいて切換える。加算制御信号ＣＳＷが無意（第１の値、例えば「０」）のときは、「０」を表す信号が切換回路７０７の出力信号Ｐｓｗとなる。加算制御信号ＣＳＷが有意（第２の値、例えば「１」）のときは、切換回路７０７からは４画素加算信号Ｐｓｕｍが出力される。

第２の加算回路７０８は、画素抽出回路７１から注目画素Ｐ２２の信号と、切換回路７０７の出力信号Ｐｓｗを加算する。出力端子７０９は第２の加算回路７０８の出力信号ＰＯを出力する。加算制御信号ＣＳＷが無意のときは、注目画素Ｐ２２の信号がそのまま出力信号ＰＯとして出力される。加算制御信号ＣＳＷが有意のときは注目画素Ｐ２２の信号と上記４画素加算信号Ｐｓｕｍを加算した５画素加算信号が出力信号ＰＯとして出力される。

図３を参照して画素抽出回路７１から出力される信号の時間的空間的位置関係を説明する。図３は、縦に垂直軸Ｖ、横に時間軸Ｔをとった飛び越し走査方式の映像信号の画素配置図である。１フレーム目のＡフィールド（例えば、奇数フィールド）を１Ａ、１フレーム目のＢフィールド（例えば、偶数フィールド）を１Ｂ、２フレーム目のＡフィールドを２Ａ、２フレーム目のＢフィールドを２Ｂ、３フレーム目のＡフィールドを３Ａと表記している。また実線でＡフィールドの画面を、破線でＢフィールドの画面を表記している。図において、フィールド周期は１／６０秒、フレーム周期は１／３０秒である。

入力端子７０１に印加された現信号の画素を符号Ｐ３３で示す位置としたとき（画素位置を画素と同じ符号で表すこととする）、１ライン遅延回路７０３から出力された上記１ライン遅延信号の画素は符号Ｐ３１で示す位置に、２６３ライン遅延回路７０２から出力された上記２６３ライン遅延信号の画素は符号Ｐ２２で示す位置に、５２５ライン遅延回路７０４から出力された上記５２５ライン遅延信号の画素は符号Ｐ１３で示す位置に、５２６ライン遅延回路７０５から出力された上記５２６ライン遅延信号の画素は符号Ｐ１１で示す位置にある。

画素位置Ｐ２２に位置する上記２６３ライン遅延信号を注目画素として、その最も近傍に位置する周辺画素Ｐ１１、Ｐ１３、Ｐ３１、Ｐ３３を注目画素に加算する参照画素としている。参照画素Ｐ１１は、注目画素Ｐ２２の１フィールド前の画面真上方向に位置し、参照画素Ｐ１３は、注目画素Ｐ２２の１フィールド前の画面真下方向に位置し、参照画素３１は、注目画素Ｐ２２の１フィールド後の画面真上方向に位置し、参照画素Ｐ３３は、注目画素Ｐ２２の１フィールド後の画面真下方向に位置する。

図４を参照して、画素加算回路７で加算される信号の空間的位置関係をさらに説明する。図４は、縦に垂直軸Ｖ、横に水平軸Ｈをとった飛び越し走査方式の映像信号の画素配置図である。ライン１からライン２６３の真ん中までがＡフィールド（奇数フィールド）の走査線、ライン２６３の真ん中からライン５２５までがＢフィールド（偶数フィールド）の走査線に対応する。また実線でＡフィールドの走査線を、破線でＢフィールドの走査線を表記している。入力端子７０１に印加された現信号の画素を符号Ｐ３３で示す位置としたとき、１ライン遅延回路７０３から出力された上記１ライン遅延信号の画素は符号Ｐ３１で示す位置に、２６３ライン遅延回路７０２から出力された上記２６３ライン遅延信号の画素は符号Ｐ２２で示す位置に、５２５ライン遅延回路７０４から出力された上記５２５ライン遅延信号の画素は符号Ｐ１３で示す位置に、５２６ライン遅延回路７０５から出力された上記５２６ライン遅延信号の画素は符号Ｐ１１で示す位置にある。

画素加算回路７の出力信号ＰＯは、上記加算制御信号ＣＳＷが無意の時、
ＰＯ＝Ｐ２２
であり、上記加算制御信号ＣＳＷが有意の時、
ＰＯ＝Ｐ１１＋Ｐ１３＋Ｐ２２＋Ｐ３１＋Ｐ３３
である。（ここで、Ｐ１１、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ３３は、それぞれ画素Ｐ１１、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ３３の画素値を表す。）

画素加算回路７の上記の動作は、画素値Ｐ１１、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ３３を加算比０：０：１：０：０で加算した第１の加算結果と、画素値Ｐ１１、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ３３を加算比１：１：１：１：１で加算した第２の加算結果とを切替出力するものであるということもできる。このような切替を行なうことにより、以下で詳しく述べるように、画素加算回路による感度制御も露光制御の一環として制御できるので照度環境が変化しても、常に最適な条件で被写体を視認できる効果がある。また、画素加算回路７は、加算する画素の数を変えることで、信号振幅を調整する手段を構成しているとも言える。

図３および図４の空間画素配置のとおり、注目画素Ｐ２２に最も近い周辺画素（Ｐ１１、Ｐ１３、Ｐ３１、Ｐ３３）を使っており５倍の感度向上を実現している。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素に最も近い位置の５画素を加算することで実効性の高い感度向上を実現している。

本発明の効果を同じフィールド内の画素を使った画素加算と比較して説明する。本発明は、同じフィールド内の水平方向に隣接した画素は加算しておらず水平解像度の劣化は生じない。空間的にも水平方向に隣接した画素は加算しておらず水平解像度の劣化は生じない。本発明は、同じフィールド内の垂直方向に隣接した画素は加算していないが、空間的には垂直方向にずれた位置の画素を加算している。空間的には垂直方向にずれた位置の画素を加算しているが、同じフィールド内の画素では隣接走査線間で２画素しか加算できないに対して、同じフレーム内では同じ画素間距離で３画素加算できる。加算演算に使う画素間距離が同じであれば解像度の低下も同じである。同じフィールド内の垂直方向隣接走査線の２画素加算では、垂直解像度が１／２に劣化するが感度が２倍にしか向上しなかった。ところが本発明は、同じフレーム内(２フィールド)では、垂直解像度が１／２に劣化するが感度を３倍に向上できる。さらに注目画素の反対側のフィールドまで加算演算の対象を広げることで感度を５倍に向上できる。

また、同じフィールド内の画素加算で５倍の感度向上をはかるには、注目画素を中心に垂直方向の上下に位置する画素と水平方向の左右に位置する画素を加算する必要がある。即ち、図４において、画素Ｐ２２の信号に、それぞれ符号Ｔ２２、Ｌ２２、Ｒ２２、Ｂ２２で示す画素の信号を加算する必要がある。このように、同じフィールド内の画素加算で感度を５倍に向上すると、垂直解像度が１／４に劣化し、さらに水平解像度も１／２に劣化する。これに対して、本発明では、垂直解像度が１／２に劣化するが水平解像度は劣化せずに感度を５倍に向上できる。

本発明の効果を長時間露光と比較して説明する。長時間露光で５倍の感度向上をはかると、１／６０秒の動解像度が５／６０秒の動解像度に劣化し、これとともに、フィールド画像となるため垂直解像度が１／２に劣化する。本発明では、感度を５倍にしたとき、１／６０秒の動解像度が３／６０秒の動解像度に劣化し、垂直解像度が１／２に劣化するに留まる。

飛び越し走査に対応した撮像素子を使って長時間露光による感度向上を行う場合、フィールド画像の垂直方向画素数に対応した転送段数しか垂直転送路を備えていないため垂直解像度は必ず１／２に劣化していた。

低照度時の感度向上モードにおける垂直解像度の１／２劣化が共通とすると、５倍の感度向上させるとき、長時間露光は、１／６０秒の動解像度が５／６０秒の動解像度に劣化するが、本発明は、１／６０秒の動解像度が３／６０秒の動解像度の劣化に留まる。

本発明は図３、図４の加算演算に使う画素の空間配置に基づき注目画素に最も近い相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。

制御回路１３は、デジタル信号処理回路６から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１３は、レンズ１の開口を絞るように制御して固体撮像素子２への入射光量を減らしたり、固体撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。

暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１３は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１３は、固体撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間回路が必要になる。

本実施の形態の制御回路１３は、画素加算回路７への上記加算制御信号ＣＳＷを有意に設定して、５画素を加算した信号を出力するように制御する。
図３のとおり注目画素の最も近傍に位置する５画素を加算することにより、５倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、水平解像度の劣化はなく、垂直解像度および動解像度の劣化も最小に抑えることができる。

制御回路１３は、上記加算制御信号ＣＳＷを無意から有意へ切換え画素加算回路７が５画素加算するように制御した時、出力端子１４から出力される出力信号の明るさが急変して、画面を見ている人が違和感を受けたり、見づらくなったりしないように他の信号振幅調整手段を使って総合的感度が大幅に変化しないように制御する。

以下、周辺照度が変化したときの感度調整のための手順の一例を説明する。
周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、デジタル信号処理回路６の出力の信号振幅の平均レベル、又は画素加算回路７の出力の信号振幅の平均レベルを維持することを意味する。画素加算回路７において加算される画素の数が変わらない限り、デジタル信号処理回路６の出力の信号振幅の平均レベルを一定値に維持すれば、画素加算回路７の出力の信号振幅の平均レベルも一定値に維持される。

レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が５倍よりも大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、画素加算回路７が５画素加算するように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の１／５に減らすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。さらに周辺照度が暗くなると、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。

周辺照度が徐々に明るくなり、信号振幅の平均レベルの検出値ＡＳＡが上がってくると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し、所定の下限値ＬＧＬよりも小さくなった後は、画素加算回路７が５画素加算を行なわないように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の５倍に増やすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。周辺照度がさらに明るくなると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。周辺照度がさらに明るくなると、レンズ１の絞りを遮光方向に制御して、信号振幅の平均レベルを維持する。

上記増幅利得の所定の上限値ＵＧＬは、デジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。（周辺照度の低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合）ＮＰＲ１を超えたときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１３は、プログラマブル利得増幅回路４に設定している利得、およびデジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４および画素加算回路７を制御する。あるいは、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合を超える増幅利得を測定し、上記増幅利得の所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶素子１６（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）に書込み、制御回路１３は上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４および画素加算回路７を制御するようにしても良い。

上記増幅利得の所定の下限値ＬＧＬは、デジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路７における加算画素数に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／２５０（＝｛（１／５０）×（１／５）｝）と定められる。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１３は、プログラマブル利得増幅回路４に設定している利得、およびデジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４および画素加算回路７を制御する。あるいは、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２を超える増幅利得を測定し、上記所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶素子１６に書込み、制御回路１３は上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４および画素加算回路７を制御するようにしても良い。

制御回路１３は、レンズ１の絞り、固体撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路７における画素加算の各々の信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。画素加算回路７における画素加算のように信号振幅の変化が大きい信号振幅調整機能を適用する場合は、適用の前後で振幅が急変しないように他の信号振幅調整手段を相殺するように設定する。適用の前後で全ての信号振幅調整手段による総合利得が同じになるよう設定することで出力信号の明るさが急変することがなくなり、画面を見ている人が違和感を受けたり、見づらいと感じたりすることがなくなる。

図５を参照して、各信号の位相関係を説明する。同期信号生成回路１２は、内部生成した水平同期信号ＨＤ、垂直同期信号ＶＤをタイミング発生回路１１及びデジタル信号処理回路６へ供給する。図５では水平同期信号ＨＤ及び垂直同期信号ＶＤをまとめて同期信号ＶＤＨＤと表記している。

タイミング発生回路１１は、水平同期信号ＨＤ及び垂直同期信号ＶＤに基づいて固体撮像素子２を駆動する。固体撮像素子２から出力された撮像信号は水平同期信号ＨＤ、垂直同期信号ＶＤに同期しており、デジタル信号処理回路６から出力される輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂも水平同期信号ＨＤ及び垂直同期信号ＶＤに同期している。

画素加算回路７の入力輝度信号Ｙとしては、入力同期信号ＶＤＨＤが１フレーム目のＡフィールド１Ａのタイミングで、Ｙ１フィールドの画像情報が重畳され、１フレーム目のＢフィールド１Ｂのタイミングで、Ｙ２フィールドの画像情報が重畳され、２フレーム目のＡフィールド２Ａのタイミングで、Ｙ３フィールドの画像情報が重畳され、２フレーム目のＢフィールド２Ｂのタイミングで、Ｙ４フィールドの画像情報が重畳され、３フレーム目のＡフィールド３Ａのタイミングで、Ｙ５フィールドの画像情報が重畳され、３フレーム目のＢフィールド３Ｂのタイミングで、Ｙ６フィールドの画像情報が重畳されている。なお、ここで言う「１フレーム目」、「２フレーム目」などは、説明の便宜のため、相対的なフレーム関係を表すものである。Ａフィールドでは垂直同期信号ＶＤに対する水平同期信号ＨＤの位相が揃っているが、Ｂフィールドでは垂直同期信号ＶＤに対する水平同期信号ＨＤの位相が１／２水平走査周期ずれている。このことからＡフィールドとＢフィールドが区別される。

画素加算回路７では、現フィールドの入力輝度信号Ｙ（図２のＰ３３、Ｐ３１）と、１フィールド前の輝度信号、即ち１フィールド遅延輝度信号Ｙ１ＤＬ（図２のＰ２２）と、２フィールド前の輝度信号、即ち２フィールド遅延輝度信号Ｙ２ＤＬ（図２のＰ１３、Ｐ１１）とを加算して、加算輝度信号ＹＡＤＤ（図２のＰＯ）を出力する。加算輝度信号ＹＡＤＤは、加算画素の中心に位置する注目画素Ｐ２２と位相が同期している必要がある。このため同期信号生成回路１２は、入力同期信号ＶＤＨＤを２６３ライン遅延させた１フィールド遅延同期信号ＶＤＨＤ１ＤＬを生成して複合映像信号生成回路８へ供給する。

同期信号生成回路１２は、撮像動作の基準となる水平同期タイミング、垂直同期タイミングから２６３ライン遅延した同期信号ＶＤＨＤ１ＤＬを複合映像信号生成回路８へ供給することにより、画素加算する各画素の中心に位置する注目画素の位相にあった信号の出力が可能となるとともに、制御回路１３による、画素加算回路７への上記加算制御信号ＣＳＷの無意から有意への切換、有意から無意への切換にあたって、画角が変動することを防ぐことができ、被写体の構図が同じまま感度を５倍大きくなるように制御できる。

なお、ここで言う「画角の変動」は、Ａフィールドの画像がＢフィールドの走査線位置に表示されることによる、水平走査線間隔の１／２のずれを意味する。図５において、加算輝度信号ＹＡＤＤは、ＹとＹ１ＤＬとＹ２ＤＬを加算して作られるので、中心フィールドのＹ１ＤＬが位置するフィールド信号として表示されなければならない。加算輝度信号ＹＡＤＤに対応する同期信号として、入力同期信号ＶＤＨＤではなく１フィールド遅延同期信号ＶＤＨ１ＤＬを生成することで、水平走査線間隔の１／２のずれた表示となることを防ぐことができる。

上記の例では、４つの参照画素の信号の和を加算するかしないかを選択することとしているが、４つの参照画素の信号の和に対して重みをつけることにより、所定の割合で加算することとしても良い。

実施の形態２．
本発明の実施の形態２による撮像装置を示すブロック構成は、実施の形態１と同様図１で示される。画素加算回路７及び制御回路１３を除く各回路の動作は上記実施の形態１の説明と同様であり、同様な効果を奏するので説明を省略する。

画素加算回路７としては、図２に示されるものの代わりに、図６に示されるものが用いられる。図６に示される画素加算回路７は、概して図２に示される画素加算回路と同じであるが、以下の点で異なる。即ち、図２の加算回路７０６及び切換回路７０７の代わりに、選択加算回路７１２及び順位決定回路７１１が設けられている。

デジタル信号処理回路６から画素加算回路７の入力端子７０１に印加された輝度信号Ｙは、画素抽出回路７１の２６３ライン遅延回路７０２、１ライン遅延回路７０３、５２５ライン遅延回路７０４、及び５２６ライン遅延回路７０５に各々入力される。遅延回路７０２、７０３、７０４、７０５は図２について説明したのと同様に動作する。

順位決定回路７１１は、入力端子７０１に印加された上記輝度信号Ｐ３３と、１ライン遅延回路７０３から出力された上記１ライン遅延信号Ｐ３１と、５２５ライン遅延回路７０４から出力された上記５２５ライン遅延信号Ｐ１３と、５２６ライン遅延回路７０５から出力された上記５２６ライン遅延信号Ｐ１１と、２６３ライン遅延回路７０２から出力された上記２６３ライン遅延信号Ｐ２２を受け、４つの画素Ｐ３３、Ｐ３１、Ｐ１３、Ｐ１１の画素値各々を画素Ｐ２２の画素値と比較して大きさが近い順番に順位をつけ順位を示す情報を選択加算回路７１２に供給する。

順位決定回路７１１による順位決定の一例を説明する。まず画素Ｐ２２の画素値に対する他の画素の各々の画素値の差分値の絶対値を求める。該絶対値は下記の式で表される。
ｄＰ３３＝｜Ｐ２２−Ｐ３３｜
ｄＰ３１＝｜Ｐ２２−Ｐ３１｜
ｄＰ１３＝｜Ｐ２２−Ｐ１３｜
ｄＰ１１＝｜Ｐ２２−Ｐ１１｜
次に、各画素と画素Ｐ２２との差分値の大きさを相互に比較して差分値の小さな順番に並べる。順位決定回路７１１は、画素Ｐ３３、Ｐ３１、Ｐ１３、Ｐ１１に対し、求まった差分値が小さい順に順番を付け、該順番（優先順位）を選択加算回路７１２に通知する。

選択加算回路７１２は、入力端子７０１に印加された上記輝度信号Ｐ３３と、１ライン遅延回路７０３から出力された上記１ライン遅延信号Ｐ３１と、５２５ライン遅延回路７０４から出力された上記５２５ライン遅延信号Ｐ１３と、５２６ライン遅延回路７０５から出力された上記５２６ライン遅延信号Ｐ１１を、順位決定回路７１１から通知される優先順位を示す情報と、制御端子７１０に印加される加算画素数を指定する加算制御信号ＣＳＷに基づいて画素値を選択しながら加算して加算回路７０８へ供給する。

制御回路１３は、デジタル信号処理回路６から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、後述のように増幅回路４の増幅利得の制御、レンズ１の絞りの制御と合わせて、加算画素数を決定し、加算画素数を指定する加算制御信号ＣＳＷを発生する。
制御端子７１０に印加される制御回路１３からの加算制御信号ＣＳＷが１画素加算を指示している場合は、選択加算回路７１２は、「０」を出力する。

上記加算制御信号ＣＳＷが２画素加算を指示している場合は、選択加算回路７１２は、順位決定回路７１１で決定した優先順位１番の画素の画素値を出力する。
上記加算制御信号ＣＳＷが３画素加算を指示している場合は、選択加算回路７１２は、順位決定回路７１１で決定した優先順位１番の画素の画素値と優先順位２番の画素の画素値とを加算した２画素加算値を出力する。

上記加算制御信号ＣＳＷが４画素加算を指示している場合は、選択加算回路７１２は、順位決定回路７１１で決定した優先順位１番の画素の画素値と優先順位２番の画素の画素値と優先順位３番の画素の画素値とを加算した３画素加算値を出力する。
上記加算制御信号ＣＳＷが５画素加算を指示している場合は、選択加算回路７１２は、順位決定回路７１１で決定した優先順位１番の画素の画素値と優先順位２番の画素の画素値と優先順位３番の画素の画素値と優先順位４番の画素の画素値とを加算して、即ち４つの入力画素値のすべてを加算して４画素加算値を出力する。

以上のように、選択加算回路７１２は、優先順位に従って、加算制御信号ＣＳＷが示す加算すべき画素の数（ｎ）から１を引いた数（ｎ−１）の画素の画素値を加算する。どの画素を加算に用いるかは、優先順位に従う。即ち、優先順位が１から優先順位が（ｎ−１）までの画素を加算に用いる。

２６３ライン遅延回路７０２は、上記輝度信号Ｐ３３を２６３ライン遅延させた２６３ライン遅延信号Ｐ２２を出力する。加算回路７０８は、２６３ライン遅延回路７０２から出力された上記２６３ライン遅延信号Ｐ２２と、選択加算回路７１２の出力信号を加算する。出力端子７０９は加算回路７０８の出力信号ＰＯを出力する。

以上の処理を行う結果、上記加算制御信号ＣＳＷが「１画素加算」を指示している場合は、上記２６３ライン遅延信号Ｐ２２がそのまま出力される。上記加算制御信号ＣＳＷが「２画素加算」を指示している場合は、注目画素Ｐ２２を含む２画素加算信号が出力される。上記加算制御信号ＣＳＷが「３画素加算」を指示している場合は、注目画素Ｐ２２を含む３画素加算信号が出力される。上記加算制御信号ＣＳＷが「４画素加算」を指示している場合は、注目画素Ｐ２２を含む４画素加算信号が出力される。上記加算制御信号ＣＳＷが「５画素加算」を指示している場合は、注目画素Ｐ２２を含む５画素加算信号が出力される。

図６における第２の加算回路７０８と、順位決定回路７１１と選択加算回路７１２の動作を別の構成（一体的に構成された回路）で実現しても良い。この場合、上記順位決定回路７１１に関して説明したのと同様の処理により求めた注目画素Ｐ２２の画素値に対する各画素値の差分値ｄＰ３３、ｄＰ３１、ｄＰ１３、ｄＰ１１の中で一番小さい差分値の画素値をＰＮ１とし、二番目に小さい差分値の画素値をＰＮ２とし、三番目に小さい差分値の画素値をＰＮ３とし、四番目に小さい差分値の画素値をＰＮ４とする。

画素加算回路７の出力信号ＰＯは、上記加算制御信号ＣＳＷが「１画素加算」を指示している時、
ＰＯ＝Ｐ２２
であり、上記加算制御信号ＣＳＷが「２画素加算」を指示している時、
ＰＯ＝Ｐ２２＋ＰＮ１
であり、上記加算制御信号ＣＳＷが「３画素加算」を指示している時、
ＰＯ＝Ｐ２２＋ＰＮ１＋ＰＮ２
であり、上記加算制御信号ＣＳＷが「４画素加算」を指示している時、
ＰＯ＝Ｐ２２＋ＰＮ１＋ＰＮ２＋ＰＮ３
であり、上記加算制御信号ＣＳＷが「５画素加算」を指示している時、
ＰＯ＝Ｐ２２＋ＰＮ１＋ＰＮ２＋ＰＮ３＋ＰＮ４
である。

被写体の垂直方向の変化量や、変化位置、被写体の時間方向の変化量や、変化タイミングによって、注目画素Ｐ２２に対する周辺４画素の相関性の高さは変化する。信号成分に対する雑音成分の割合が小さい画像の場合は、注目画素Ｐ２２と画素値が近い画素は相関の高い画素と判断できる。本実施の形態では、この特徴を活用して、注目画素との相関のより高い周辺画素を選択して加算することとしており、これにより、解像度低下の少ない感度向上を実現することができる。

動き検出や水平、垂直の相関判定を行って相関のより高い周辺画素を抽出する場合は、ノイズによる誤検出が生じて画像に違和感が生じる危険性がある。画像に違和感が生じない精度の高い相関判定を行うと回路規模が大きくなり製品価格が高くなったり、消費電力が高くなったりする問題がある。本実施の形態では、前後のフィールドの、注目画素に対して上下に位置する４画素のうち差分の小さいものを優先的に加算することとしているので、このような問題をも解決することができる。

制御回路１３は、デジタル信号処理回路６から得られる信号振幅の平均レベルＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御回路１３は、レンズ１の開口を絞るように制御して固体撮像素子２への入射光量を減らしたり、固体撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。

暗い環境での撮像で上記信号振幅が小さくなってきた時、制御回路１３は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり視認性の悪い画像となる。他の方法として、制御回路１３は、固体撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばす。しかしながら、上記露光時間が長すぎると動く被写体が残像となり視認性の悪い画像となる。さらに垂直走査周期単位で欠落する画像の補間回路が必要になると言う問題がある。

本実施の形態の制御回路１３は、画素加算回路７への上記加算制御信号ＣＳＷが表す加算画素数を指定して、指定した数の画素を加算した信号を出力するように制御する。
図３のとおり注目画素の最も近傍に位置する５画素を選択加算することにより、最大５倍の感度向上を実現でき、極めて暗い環境での撮像でも大幅に視認性を改善することができる。また、水平解像度の劣化はなく、垂直解像度および動解像度の劣化も最小に抑えることができる。

制御回路１３は、上記加算制御信号ＣＳＷで指定する加算画素数を１から５までの範囲で切換え、画素加算回路７による加算画素数を変更するように制御した時、出力端子１４から出力される出力信号の明るさが急変して、画面を見ている人が違和感を受けたり、見づらくなったりしないように他の信号振幅調整手段を使って総合的感度が大幅に変化しないように制御する。

以下、周辺照度が変化したときの感度調整のための手順の一例を説明する。
周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、レンズ１の絞りを開放方向に制御して、信号振幅の平均レベルを維持する。
レンズ１の絞りが開放(全開)になった後は、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が、所定の上限値ＵＧＬとなった後は、画素加算回路７の加算画素数を１画素から２画素へ増やすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の１／２に減らすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が、所定の上限値ＵＧＬとなった後は、画素加算回路７の加算画素数を２画素から３画素へ増やすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の２／３に減らすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が、所定の上限値ＵＧＬとなった後は、画素加算回路７の加算画素数を３画素から４画素へ増やすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の３／４に減らすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が、所定の上限値ＵＧＬとなった後は、画素加算回路７の加算画素数を４画素から５画素へ増やすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の４／５に減らすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると、プログラマブル利得増幅回路４の増幅利得を増やすように制御して、信号振幅の平均レベルを維持する。

制御回路１３が、画素加算回路７における加算画素数を段階的に切換えることにより、出力端子１４から出力される出力信号の垂直解像度および動解像度が急変することがなくなり、画面を見ている人が違和感を受けたり、見づらいと感じたりすることがなくなる。

制御回路１３が、画素加算回路７における加算画素数を段階的に切換えることにより、プログラマブル利得増幅回路４の制御における増幅利得の変化量を小さくすることができ、出力端子１４から出力される出力信号のＳ／Ｎが急変することがなくなり、画面を見ている人が違和感を受けたり、見づらいと感じたりすることがなくなる。

上記増幅利得の所定の上限値ＵＧＬは、デジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。
ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定ノイズ割合）ＮＰＲ１を超えたときのプログラマブル利得増幅回路４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１３は、プログラマブル利得増幅回路４に設定している利得、およびデジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅回路４および画素加算回路７を制御する。あるいは、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１を超える増幅利得を測定し、上記増幅利得の所定の上限値ＵＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶素子１６に書込み、制御回路１３は上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅回路４および画素加算回路７を制御するようにしても良い。

周辺照度が徐々に明るくなり、信号振幅の平均レベルの検出値ＡＳＡが上がってくると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し、所定の下限値ＬＧＬよりも小さくなった後は、画素加算回路７の加算画素数を５画素から４画素へ減らすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の５／４倍に増やすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に明るくなり、信号振幅の平均レベルの検出値ＡＳＡが上がってくると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し、所定の下限値ＬＧＬよりも小さくなった後は、画素加算回路７の加算画素数を４画素から３画素へ減らすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の４／３倍に増やすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に明るくなり、信号振幅の平均レベルの検出値ＡＳＡが上がってくると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し、所定の下限値ＬＧＬよりも小さくなった後は、画素加算回路７の加算画素数を３画素から２画素へ減らすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の３／２倍に増やすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が徐々に明るくなり、信号振幅の平均レベルの検出値ＡＳＡが上がってくると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。プログラマブル利得増幅回路４の増幅利得が減少し、所定の下限値ＬＧＬよりも小さくなった後は、画素加算回路７の加算画素数を２画素から１画素へ減らすように制御し、同時にプログラマブル利得増幅回路４の増幅利得を直前の設定利得の２倍に増やすよう制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

さらに周辺照度が明るくなると、プログラマブル利得増幅回路４の増幅利得を減らすように制御して、信号振幅の平均レベルを維持する。さらに周辺照度が明るくなると、レンズの絞りを遮光方向に制御して、信号振幅の平均レベルを維持する。

以上のように、制御回路１３は、加算画素数をＭ（Ｍは正の整数）からＮ（Ｎは正の整数）に変化するときは、増幅回路の増幅利得を同時にＭ／Ｎ倍に切り替えるよう制御を行っており、これにより、信号振幅が急に変わるのを防いでいる。

上記増幅利得の所定の下限値ＬＧＬは、デジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。
ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合ＮＰＲ２は、上記第１の所定のノイズ割合ＮＰＲ１と画素加算回路７における加算画素数の変化に基づいて決める。例えば画素加算回路７の加算画素数が５画素の時は、上記の第２の所定のノイズ割合ＮＰＲ２を４／２５０（＝｛（１／５０）×（４／５）｝）とし、ノイズレベルが信号振幅の平均レベルの４／２５０（＝｛（１／５０）×（４／５）｝の割合を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。例えば画素加算回路７の加算画素数が４画素の時は、上記の第２の所定のノイズ割合ＮＰＲ２を３／２００（＝｛（１／５０）×（３／４）｝）とし、ノイズレベルが信号振幅の平均レベルの３／２００（＝｛（１／５０）×（３／４）｝）の割合を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。例えば画素加算回路７の加算画素数が３画素の時は、上記の第２の所定のノイズ割合ＮＰＲ２を２／１５０（＝｛（１／５０）×（２／３）｝）とし、ノイズレベルが信号振幅の平均レベルの２／１５０（＝｛（１／５０）×（２／３）｝）の割合を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。例えば画素加算回路７の加算画素数が２画素の時は、上記の第２の所定のノイズ割合ＮＰＲ２を１／１００（＝｛（１／５０）×（１／２）｝）とし、ノイズレベルが信号振幅の平均レベルの１／１００（＝｛（１／５０）×（１／２）｝）の割合を下回ったときのプログラマブル利得増幅回路４の増幅利得を上記所定の下限値ＬＧＬとする。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御回路１３は、プログラマブル利得増幅回路４に設定している利得、およびデジタル信号処理回路６から制御回路１３へ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅回路４および画素加算回路７を制御する。あるいは、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２を超える増幅利得を測定し、上記増幅利得の所定の下限値ＬＧＬとして撮像装置の電源を切っても記憶内容を保持できる記憶素子１６に書込み、制御回路１３は上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅回路４および画素加算回路７を制御するようにしても良い。

制御回路１３は、レンズ１の絞り、固体撮像素子２の露光時間、プログラマブル利得増幅回路４の増幅利得、画素加算回路７における画素加算の各々の信号振幅調整機能を制御して信号振幅の平均レベル（画素加算回路７の出力ＰＯの信号振幅の平均レベル）を維持する。

画素加算回路７における画素加算のように信号振幅の変化が大きい信号振幅調整機能を適用する場合は、適用の前後で振幅が急変しないように他の信号振幅調整手段を相殺するように設定する。適用の前後で全ての信号振幅調整手段による総合利得が同じになるよう設定することで出力信号の明るさが急変することがなくなり、画面を見ている人が違和感を受けたり、見づらくなったりしなくなる。

上記の例では、４つの参照画素を優先順位を付けて、優先順位の高いもののみを選択して加算することとしているが、選択した参照画素の信号のそれぞれに対して重みをつけることにより、所定の割合で加算することとしても良い。

実施の形態３．
図７は本発明の実施の形態３による撮像装置を示すブロック構成図である。同期信号発生回路１７を除く各回路の構成及び動作は上記実施の形態１あるいは上記実施の形態２で説明したのと同様であり、これらによる効果も同様であるので説明を省略する。

外部同期信号入力端子１５には、外部から水平同期信号および垂直同期信号からなる外部同期信号が印加され同期信号発生回路１７に供給される。同期信号発生回路１７は、外部同期信号入力端子１５に印加される外部垂直同期信号及び外部水平同期信号に同期した内部垂直同期信号及び内部水平同期信号及びクロック信号を生成して複合映像信号生成回路８に供給する。また上記外部垂直同期信号及び上記外部水平同期信号から１フィールド進んだタイミングの垂直同期信号及び水平同期信号を生成してデジタル信号処理回路６及びタイミング発生回路１１に供給する。

図８を参照して、各信号の位相関係を説明する。外部同期信号入力端子１５に印加された外部入力同期信号ＶＤＨＤＥＸは、同期信号生成回路１７で、上記外部入力同期信号ＶＤＨＤＥＸから１フィールド進んだタイミングの同期信号ＶＤＨＤ０を生成してタイミング発生回路１１及びデジタル信号処理回路６へ供給する。

先にも述べたように、フィールド毎にＡフィールドとＢフィールドの同期信号が交互に配置され、Ａフィールドでは、垂直同期信号に対する水平同期信号の位相が揃っているが、Ｂフィールドでは、垂直同期信号に対する水平同期信号の位相が１／２水平走査周期ずれており、１フィールド進んだ同期信号は、現フィールドの同期信号から生成される。例えば、垂直同期信号、水平同期信号を生成するための垂直カウンタ、水平カウンタの初期値（初期位相）を変更することにより、位相が揃った垂直同期信号及び水平同期信号も、位相が１／２水平走査周期ずれた垂直同期信号及び水平同期信号も生成可能である。

タイミング発生回路１１は、１フィールド進んだタイミングの１フィールド先行同期信号ＶＤＨＤ０に基づいて固体撮像素子２を駆動する。固体撮像素子２から出力された撮像信号は１フィールド先行同期信号ＶＤＨＤ０に同期しており、デジタル信号処理回路６から出力される輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号も１フィールド先行同期信号ＶＤＨＤ０に同期している。

画素加算回路７の入力輝度信号Ｙとしては、１フィールド先行同期信号ＶＤＨＤ０が１フレーム目のＢフィールド１Ｂのタイミングで、Ｙ２フィールドの画像情報が重畳され、２フレーム目のＡフィールド２Ａのタイミングで、Ｙ３フィールドの画像情報が重畳され、２フレーム目のＢフィールド２Ｂのタイミングで、Ｙ４フィールドの画像情報が重畳され、３フレーム目のＡフィールド３Ａのタイミングで、Ｙ５フィールドの画像情報が重畳され、３フレーム目のＢフィールド３Ｂのタイミングで、Ｙ６フィールドの画像情報が重畳され、４フレーム目のＡフィールド４Ａのタイミングで、Ｙ７フィールドの画像情報が重畳されている。

画素加算回路７では、現フィールドの入力輝度信号Ｙ（図２のＰ３３、Ｐ３１）と、１フィールド前の輝度信号、即ち１フィールド遅延輝度信号Ｙ１ＤＬ（図２のＰ２２）と、２フィールド前の輝度信号、即ち２フィールド遅延輝度信号Ｙ２ＤＬ（図２のＰ１３、Ｐ１１）とを加算して、加算輝度信号ＹＡＤＤ（図２のＰＯ）を出力する。

加算輝度信号ＹＡＤＤは、加算画素の中心に位置する注目画素Ｐ２２と位相が同期している必要がある。また、加算輝度信号ＹＡＤＤは外部から入力された同期信号に同期して出力する必要がある。外部入力同期信号ＶＤＨＤＥＸと１フィールド遅延輝度信号Ｙ１ＤＬの同期信号位相が一致するように同期信号生成回路１７で、外部入力同期信号ＶＤＨＤＥＸを２６３ライン先行させた１フィールド先行同期信号ＶＤＨＤ０を生成してタイミング発生回路１１及びデジタル信号処理回路６へ供給する。

同期信号生成回路１７は、撮像動作の基準となる水平同期タイミング、垂直同期タイミングを出力信号の基準となる外部入力同期信号ＶＤＨＤＥＸから２６３ライン先行した同期信号をタイミング発生回路１１及びデジタル信号処理回路６へ供給することにより、画素加算する各画素の中心に位置する注目画素の位相にあった信号を外部入力同期信号ＶＤＨＤＥＸに同期した出力が可能となる。制御回路１３による、画素加算回路７への上記加算制御信号ＣＳＷの加算画素数の切換にあたって、画角が変動することを防ぐことができる。被写体が同じ構図のまま感度を１倍から５倍まで制御できる。

上記各実施の形態において、空間画素配置から原理的に生じる演算対象画素間の位相を合わせるための遅延回路だけを明示して説明した。実際には各回路の処理遅延も考慮する必要があるが遅延量は実装手段に依存するため構成図には明示していない。

上記各実施の形態において、固体撮像素子の一構成例に基づいて説明を行ったが、動画撮像可能な２次元イメージセンサであれば実際にはＣＣＤでもＣＭＯＳイメージセンサでも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。

上記各実施の形態において、説明の便宜上、画素加算回路７の入力信号が輝度信号Ｙ、Ｒ−Ｙ色差信号Ｃｒ、Ｂ−Ｙ色差信号Ｃｂのカラー信号であるシステムを例に説明したが、画素加算回路７の入力信号は輝度信号だけのモノクロ信号であっても良く、カラー信号の場合と同様に動作し同等な効果が得られる。

上記各実施の形態において、説明の便宜上、画素加算回路７の入力信号が輝度信号、Ｒ−Ｙ色差信号、Ｂ−Ｙ色差信号であるシステムを例に説明したが、画素加算回路７の入力信号はＲ信号、Ｇ信号、Ｂ信号でもよく、輝度信号、Ｒ−Ｙ色差信号、Ｂ−Ｙ色差信号の場合と同様に動作し同等な効果が得られる。

上記各実施の形態において、説明の便宜上、撮像装置の出力が複合映像信号であるシステムを例に説明したが、輝度信号、Ｒ−Ｙ色差信号、Ｂ−Ｙ色差信号、水平同期信号、垂直同期信号をパラレルに出力する構成であっても、輝度信号、Ｒ−Ｙ色差信号、Ｂ−Ｙ色差信号、複合同期信号をパラレルに出力する構成であっても、また、Ｒ信号、Ｇ信号、Ｂ信号、水平同期信号、垂直同期信号をパラレルに出力する構成であっても、Ｒ信号、Ｇ信号、Ｂ信号、複合同期信号をパラレルに出力する構成であってもよく、複合映像信号の場合と同様に動作し同等な効果が得られる。

上記各実施の形態において、説明の便宜上、ＮＴＳＣ方式テレビジョンに対応した撮像装置を例に説明したが、ＰＡＬ方式テレビジョンに対応した撮像装置であっても良く、１：２飛び越し走査方式に対応していれば良く、ＮＴＳＣ方式テレビジョン対応の場合と同様に動作し同等な効果が得られる。なお、ＰＡＬ方式の場合には、１フィールド遅延は３１３ライン遅延とし、２フィールド遅延を６２５ライン遅延とする。このように構成することで、ＰＡＬ方式テレビジョンに対応した撮像装置で注目画素の周辺画素を使った画素加算により感度を向上でき、極めて暗い低照度環境において被写体を視認できる効果がある。

上記各実施の形態において、説明の便宜上Ａフィールド、Ｂフィールドの表現を行っているが、実際には固体撮像素子の構成や、同期信号、駆動パターン、テレビジョン信号フォーマット等で決まる飛び越し走査のフィールド定義に従うものである。

上記各実施の形態において、説明の便宜上、アナログ信号出力の撮像装置を例に説明したが、画素加算回路の後段にデジタルインタフェース回路を配置してデジタル信号を出力しても良く、アナログ信号出力の場合と同様に動作し同等な効果が得られる。

１ レンズ、 ２ 固体撮像素子、 ３ 相関二重サンプリング処理回路、 ４ プログラマブル利得増幅回路、 ５ Ａ／Ｄ変換回路、 ６ デジタル信号処理回路、 ７ 画素加算回路、 ８ 複合映像信号生成回路、 ９ Ｄ／Ａ変換回路、 １０ 駆動回路、 １１ タイミング発生回路、 １２ 同期信号発生回路、 １３ 制御回路、 １４ 出力端子、 １５ 外部同期信号入力端子、 １６ 記憶素子、 １７ 同期信号生成回路、 ７１ 画素抽出回路、 ７０１ 入力端子、 ７０２ ２６３ライン遅延回路、 ７０３ １ライン遅延回路、 ７０４ ５２５ライン遅延回路、 ７０５ ５２６ライン遅延回路、 ７０６ 第１の加算回路、 ７０７ 切換回路、 ７０８ 第２の加算回路、 ７０９ 出力端子、 ７１０ 制御端子、 ７１１ 順位決定回路、 ７１２ 選択加算回路。

Claims (10)

1. 撮像手段と、
   上記撮像手段から読み出された撮像信号に基づいて飛び越し走査方式の映像信号を出力する信号処理手段と、
   上記撮像信号をフィールド単位及びライン単位で遅延させて注目画素およびその周囲の複数の参照画素の各画素値を同時に抽出する画素抽出手段を含み、
   上記注目画素に、
   上記注目画素の１フィールド前の画面真上方向に位置する第１の参照画素、
   上記注目画素の１フィールド前の画面真下方向に位置する第２の参照画素、
   上記注目画素の１フィールド後の画面真上方向に位置する第３の参照画素、及び
   上記注目画素の１フィールド後の画面真下方向に位置する第４の参照画素の画素値を所定の割合で加算する画素加算手段と、
   上記撮像手段から出力される撮像信号の大きさに基づいて露光時間や撮像信号を増幅する増幅手段の増幅利得を設定する制御手段を備え、
   上記制御手段は、上記撮像信号のレベルに基づいて加算すべき画素の数を指定する信号を出力し、
   上記画素加算手段は、上記制御手段から指定される加算すべき画素の数がｎであるとき、上記注目画素の画素値と、
   上記参照画素のうち、優先順位の高いものから順に選択された（ｎ−１）個の参照画素の画素値を加算した値を加算画素値として出力する
   ことを特徴とする撮像装置。
2. 上記画素抽出手段は、
   上記映像信号を、上記注目画素の１フィールド後の画面真下方向に位置する参照画素の画素値を表す現信号として用い、
   上記現信号を１フィールド遅延させて上記注目画素の画素値を抽出する第１の遅延手段と、
   上記現信号を１ライン遅延させて上記注目画素の１フィールド後の画面真上方向直近に位置する参照画素の画素値を抽出する第２の遅延手段と、
   上記現信号を２フィールド遅延させて上記注目画素の１フィールド前の画面真下方向直近に位置する参照画素の画素値を抽出する第３の遅延手段と、
   上記現信号を２フィールドと１ライン遅延させて上記注目画素の１フィールド前の画面真上方向直近に位置する参照画素の画素値を抽出する第４の遅延手段を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記注目画素の画素値と上記参照画素の各々の画素値との差の絶対値が小さいものほど、当該参照画素の優先順位が高いことを特徴とする請求項１に記載の撮像装置。
4. 上記制御手段は、上記撮像信号のレベルが小さいほど上記加算すべき画素の数を多くして指定することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 上記撮像信号を増幅する増幅手段をさらに備え、
   上記制御手段は、加算画素数の切り替え、加算画素数がＭ（Ｍは正の整数）からＮ（Ｎは正の整数）に変化するときは、上記増幅手段の増幅利得を同時に（Ｍ／Ｎ）倍に切り替えるよう制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 上記画素加算手段の出力信号に同期信号を重畳して複合映像信号を生成する複合映像信号生成手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
7. 複合映像信号生成手段は、上記現信号の水平同期タイミングおよび垂直同期タイミングを１フィールド遅延させたタイミングに基づいて上記複合映像信号を生成することを特徴とする請求項６に記載の撮像装置。
8. 複合映像信号生成手段は、外部から入力される基準信号に同期した水平同期タイミングおよび垂直同期タイミングに基づいて複合映像信号を生成し、
   上記同期信号から１フィールド進んだタイミングに基づいて上記撮像手段を駆動する
   ことを特徴とする請求項６に記載の撮像装置。
9. 上記１フィールド遅延は２６３ライン遅延であり、上記２フィールド遅延は５２５ライン遅延であることを特徴とする請求項２に記載の撮像装置。
10. 上記１フィールド遅延は３１３ライン遅延であり、上記２フィールド遅延は６２５ライン遅延であることを特徴とする請求項２に記載の撮像装置。

Images