JP5991932B2

JP5991932B2 - 撮像装置

Info

Publication number: JP5991932B2
Application number: JP2013023052A
Authority: JP
Inventors: 翼恩田; 大祐鈴木; 山下　孝一; 孝一山下; 的場　成浩; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-02-08
Filing date: 2013-02-08
Publication date: 2016-09-14
Anticipated expiration: 2033-02-08
Also published as: JP2014155034A

Description

本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。

従来の撮像装置として、Ｎ画素前までのデジタル信号を全て加算する機能を実行することにより、高感度化やＳ／Ｎ向上を図るように構成したものが知られている（例えば、特許文献１参照）。

特開２０００−１８４２７４号公報（第４頁、段落００１０）

従来の撮像装置は、連続する隣接画素からの撮像信号を加算しているため、カラー撮像素子を用いた場合には色が混ざりカラー信号を再生できないという問題があった。また、高感度化が十分でないという問題があった。

この発明は、上述のような課題を解決するためになされたもので、カラー撮像素子から読み出した撮像信号を画素加算しても、色が混ざることなく、撮像信号の十分な高感度化を可能にすることを目的とする。

本発明の撮像装置は、
撮像を行って、時間的に連続するフレームの各々を構成する複数の画素の、画素毎の画素値を示す撮像信号を生成する撮像信号生成部と、
前記撮像信号生成部で生成された撮像信号に基づいて、前記連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素の画素値との相関性が高い画素値を有する画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する面内画素加算部と、
前記面内画素加算部が出力する前記面内増感信号を有する画素で構成される、互いに連続するフレームを順次注目フレームとして指定し、前記注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する１又は２以上のフレームの各々から、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素の前記面内増感信号との相関性が高い前記面内増感信号を有する画素を選択し、前記１又は２以上の近傍のフレームの各々から選択された画素についての前記面内増感信号と前記注目画素についての前記面内増感信号を加算して加算結果を三次元増感信号として出力する面間画素加算部と
を有することを特徴とする。

本発明によれば、撮像素子から読み出した撮像信号を、十分に高感度化することができ、極めて暗い低照度環境においても被写体を視認できるという効果が得られる。また、撮像素子がカラー撮像素子であっても色が混ざることがない。

本発明の実施の形態１の撮像装置を示すブロック構成図である。撮像素子から出力される画素値を有する、注目画素を中心とした画素空間配置を示す図である。図２の画素空間配置で注目画素がＧ画素のときの周辺の画素の配置を示す図である。図２の画素空間配置で注目画素がＲ画素のときの周辺の画素の配置を示す図である。図２の画素空間配置で注目画素がＢ画素のときの周辺の画素の配置を示す図である。図１の三次元画素加算部（６）の一例を示すブロック構成図である。図６の面内画素加算部（２０）の一例を示すブロック構成図である。図７の画素抽出部（２１）の一例を示すブロック構成図である。図７の領域選択部（２２）の一例を示すブロック構成図である。（ａ）〜（ｄ）は、画素加算部の注目画素がＧ画素の時の第１から第４の組合せのパターンを示す図である。（ａ）〜（ｄ）は、画素加算部の注目画素がＧ画素の時の第５から第８の組合せのパターンを示す図である。（ａ）〜（ｄ）は、画素加算部の注目画素がＧ画素の時の第９から第１２の組合せのパターンを示す図である。（ａ）〜（ｄ）は、画素加算部の注目画素がＲ画素の時の第１から第４の組合せのパターンを示す図である。（ａ）〜（ｄ）は、画素加算部の注目画素がＢ画素の時の第１から第４の組合せのパターンを示す図である。図７の選択加算部（２３）の一例を示すブロック構成図である。図６の面間画素加算部（３０）の一例を示すブロック構成図である。図１６の画素抽出部（３１）の一例を示すブロック構成図である。図１６の画素選択部（３５１）の一例を示すブロック構成図である。図１８のパターン判別部（３６１）の具体例を、相関判別部（３８１）とともに示すブロック構成図である。図１９の判別部（３６１１）の一例を示すブロック構成図である。本発明の実施の形態２で用いられる画素加算部（３５ｂ）を示すブロック構成図である。図２１の第２のパターン判別部（６６２）の具体例を、相関判別部（６８２）とともに示すブロック構成図である。図２２の判別部（６６２１）の一例を示すブロック構成図である。図２１の第１のパターン判別部（６６１）の具体例を、相関判別部（６８１）とともに示すブロック構成図である。図２４の判別部（６６１１）の一例を示すブロック構成図である。本発明の実施の形態３で用いられる面間画素加算部（３０ｂ）を示すブロック図である。本発明の実施の形態４の撮像装置を示すブロック構成図である。本発明の実施の形態５の撮像装置を示すブロック構成図である。（ａ）〜（ｅ）は、被写体照度と、レンズの絞り、プログラマブル利得増幅部の増幅利得、画素加算部の増感倍率、撮像部の露光時間、及び画素加算部の出力信号の振幅との関係を示す図である。本発明の実施の形態６の撮像装置を示すブロック構成図である。

実施の形態１．
図１は本発明の実施の形態１による撮像装置を示す。図示の撮像装置は、連像して撮像を行って、時間的に連続するフレームの画像を表す画像信号を順次出力するものである。以下では、画像は赤、緑、青の画素から成るカラー画像であるとする。

図１において、レンズ１は、被写体像をＣＣＤ撮像素子２の撮像面上に合焦させる。
ＣＣＤ撮像素子（ＣＣＤ）２は、後述の図３〜図５に示すように、赤色の光（第１の色成分の光）を検出するＲ画素、緑色の光（第２の色成分の光）を検出するＧ画素、及び青色の光（第３の色成分の光）を検出するＢ画素がベイヤ配列されたものである。

Ｒ画素、Ｇ画素、Ｂ画素は、例えば、それぞれ赤色の光のみを透過させる色フィルタを備えた光電変換素子、緑色の光のみを透過させる色フィルタを備えた光電変換素子、青色の光のみを透過させる色フィルタを備えた光電変換素子で構成される。
Ｒ画素、Ｇ画素、Ｂ画素により、赤色の光、緑色の光、青色の光（第１の色成分の光、第２の色成分の光、第３の色成分の光）が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号（撮像信号）として出力される。撮像信号の出力はフレーム毎に順次行われる。

撮像信号は、Ｒ画素からの画素信号であるＲ信号（第１の色成分値を表す信号）、Ｇ画素からの画素信号であるＧ信号（第２の色成分値を表す信号）、及びＢ画素からの画素信号であるＢ信号（第３の色成分値を表す信号）を含む。

ＣＣＤ撮像素子２から信号された撮像信号は、相関二重サンプリング処理部（ＣＤＳ）３でノイズ等が除去される。
プログラマブル利得増幅部（ＰＧＡ）４は、相関二重サンプリング処理部３の出力信号を制御部１２から出力された制御信号によって制御された利得で増幅して出力する。
Ａ／Ｄ変換部（ＡＤＣ）５は、プログラマブル利得増幅部４の出力信号を、デジタル信号Ｐｃに変換する。

撮像素子２と、相関二重サンプリング処理部３と、プログラマブル利得増幅部４と、Ａ／Ｄ変換部５とで、被写体の撮像の結果得られる複数の色成分のフレーム毎の撮像信号を順次生成する撮像信号生成部１３が構成されている。この撮像信号は、時間的に連続するフレームの各々を構成する複数の画素の画素毎の画素値を示すものである。

三次元画素加算部６は、Ａ／Ｄ変換部５から出力される撮像信号Ｐｃを受け、面内画素加算及び面間画素加算を行って、三次元増感信号を生成する。

面内画素加算においては、連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、指定された画素の周辺に位置する画素のうち、指定された画素との画素値の相関性が高い画素を選択し、選択された画素の画素値と、指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する。

面間画素加算においては、連続するフレームを順次注目フレームとして指定し、注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する１又は２以上のフレームの各々から、注目画素と同じ位置及びその周辺に位置する画素のうち、注目画素との面内増感信号の相関性が高い画素を選択し、１又は２以上の近傍のフレームの各々から選択された画素についての面内増感信号と注目画素についての面内増感信号を加算して加算結果を三次元増感信号として出力する。

面内画素加算において順次指定された画素についての面内増感信号を求め、面間画素加算においては、複数のフレームのそれぞれの画素についての面内増感信号を用いて画素加算を行うので、各時点で実行される面間画素加算における注目フレームの注目画素と、面内画素加算の際に「指定された画素」とは同じではないが、面内画素加算に関する説明では、上記の「指定された画素」を注目画素と言う。

映像信号処理部７は、三次元画素加算部６の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを加えた映像信号を映像信号出力端子８から出力する。

同期信号発生部１１は、垂直同期信号ＶＤ及び水平同期信号ＨＤを生成して三次元画素加算部６、映像信号処理部７及びタイミング発生部１０に供給する。

タイミング発生部１０は、ＣＣＤ撮像素子２の駆動タイミング信号ＤＲＴを発生して駆動部９に供給する。駆動部９は、タイミング発生部１０から出力された駆動タイミング信号ＤＲＴに基づいてＣＣＤ撮像素子２の駆動信号ＤＲＳを生成する。ＣＣＤ撮像素子２は、駆動部９から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。

制御部１２は、レンズ１の絞りの制御、タイミング発生部１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅部４の増幅利得の制御、並びに三次元画素加算部６に対する増感倍率Ｌａ、Ｌｂの設定を含む、画素加算処理の制御を行う。

撮像素子２の撮像画面上の画素は、図２に示すように水平方向（行方向）Ｈ及び垂直方向（列方向）Ｖに整列し、全体としてマトリクス状に配置されている。各画素の画面上の位置は、水平方向位置ｈ、及び垂直方向位置ｖにより座標（ｈ，ｖ）で表され、座標（ｈ，ｖ）の画素は符号Ｐｈｖで表される。水平方向に隣接する画素間ではｈの値が１だけ異なり、垂直方向に隣接する画素間ではｖの値が１だけ異なる。即ち隣接画素間の距離（画素ピッチ）は１で表される。

図２には、（面内画素加算における）注目画素Ｐ３３を中心とした水平５画素、垂直５画素の５範囲（５×５画素の範囲）及びその周辺に位置する画素（水平９画素、垂直９画素の範囲内の画素の一部）の配置が示されている。

図３、図４及び図５は、Ｒ画素、Ｇ画素及びＢ画素の配列を示す。この配列においては、Ｒ画素、Ｇ画素、Ｂ画素が市松模様状に配列され、水平２画素、垂直２画素の４画素の配列を基本単位として繰り返している。この基本単位においては、２つのＧ画素が一方の対角線に並び、Ｒ画素とＢ画素が他方の対角線上に並んでいる。これらの図で、Ｒｈｖ、Ｇｈｖ、Ｂｈｖはそれぞれ座標（ｈ，ｖ）のＲ画素、Ｇ画素、Ｂ画素を示す。これらの図でも（ｈ，ｖ）＝（３，３）が注目画素の座標である。

図３は、図２の画素空間配置で注目画素がＧ画素（Ｇフィルタを備えた画素）の時の５×５画素の領域及びその周辺の画素の配置を示す。例えば、Ｒ３２、Ｇ３３、Ｂ４３、Ｇ４２から成る、水平２画素、垂直２画素の４画素の組合せを基本単位として繰り返すように、それぞれの色の画素が配列されている。

図３は、Ｇ３３の同じライン上の隣接画素（１画素前及び１画素後の画素）がＢ画素の場合を例に説明したが、Ｇ２２のように同じライン上の隣接画素がＲ画素である配列パターンも存在する。その場合は、Ｒ画素とＢ画素が入れ替わった色配置となるが、注目画素がＧ画素の時の加算対象画素はＧ画素のみなので、一方の色配置についての説明は他方にも若干の修正のみで当てはまる。

図４は、図２の画素空間配置で注目画素がＲ画素（Ｒフィルタを備えた画素）の時の５×５画素の領域及びその周辺の画素の配置を示す。例えば、Ｒ３３、Ｇ３４、Ｂ４４、Ｇ４３から成る、水平２画素、垂直２画素の４画素の組合せを基本単位として繰り返すように、それぞれの色の画素が配列されている。

図５は、図２の画素空間配置で注目画素がＢ画素（Ｂフィルタを備えた画素）の時の５×５画素の領域及びその周辺の画素の配置を示す。例えば、Ｒ２２、Ｇ２３、Ｂ３３、Ｇ３２から成る、水平２画素、垂直２画素の４画素の組合せを基本単位として繰り返すように、それぞれの色の画素が配列されている。

三次元画素加算部６は、図６に示すように、面内画素加算部２０と面間画素加算部３０とを有する。

Ａ／Ｄ変換部５からベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素の撮像信号Ｐｃが入力端子６０１を介して面内画素加算部２０へ供給される。

面内画素加算部２０は、撮像信号生成部１３で生成された撮像信号に基づいて、連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素との画素値の相関性が高い画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号ＶＡＬとして出力する。

面間画素加算部３０は、連続するフレームを順次注目フレームとして指定し、注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する１又は２以上のフレームの各々から、注目画素と同じ位置及びその周辺に位置する画素のうち、注目画素との面内増感信号ＶＡＬの相関性が高い画素を選択し、上記１又は２以上の近傍のフレームの各々から選択された画素についての面内増感信号ＶＡＬと注目画素についての面内増感信号ＶＡＬを加算して加算結果を三次元増感信号Ｐｆとして出力する。

面内増感信号ＶＡＬは、面内画素加算部２０で元の撮像信号を例えば４個加算することで得られるものとされ、その場合４倍まで増感したものとすることができ、三次元増感信号Ｐｆは、面間画素加算部３０で面内増感信号ＶＡＬを例えば５個加算することで得られるものとされ、その場合さらに５倍まで増感することができ、従って、三次元増感信号Ｐｆとして元の撮像信号を２０倍まで増感したものを得ることができる。
面間画素加算部３０は、三次元増感信号Ｐｆを出力端子６０２から映像信号処理部７へ供給する。

面内画素加算部２０は、図７に示すように、画素抽出部２１と、領域選択部２２と、選択加算部２３と、信号結合部２４とを有する。

三次元画素加算部６の入力端子６０１には、Ａ／Ｄ変換部５から出力される撮像信号Ｐｃが入力され、出力端子６０４からは、上記の面内増感信号ＶＡＬと、後述の加算画素パターン符号ＰＡＴを結合した複合信号ＭＩＸが出力される。
領域選択部２２及び選択加算部２３には、図１の同期信号発生部１１から出力される水平同期信号ＨＤ及び垂直同期信号ＶＤが入力される。
選択加算部２３にはまた、図１の制御部１２から出力される増感倍率Ｌａを示す情報が入力される。

入力端子６０１を介して画素抽出部２１に供給される撮像信号Ｐｃは、上記のようにベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素の画素値を表すものである。

画素抽出部２１は、入力された撮像信号Ｐｃを互いに異なる時間だけ遅延させて、同じフレーム内の互いに近傍に位置する、注目画素と同じ色フィルタを備えた(同じ色成分の光を検出する)複数の画素の画素値を同時に抽出する。この場合、複数の画素のうちの中心に位置するものが注目画素として扱われ、他のものが参照画素として扱われる。従って、上記の抽出処理は、注目画素と、注目画素と同じフレーム内において、注目画素の周辺に位置し、注目画素と同じ色フィルタを備えた(同じ色成分の光を検出する)、複数の画素（参照画素）の画素値を同時に抽出する処理であると言うことができる。抽出される画素は順次切り替わるので、上記の処理はまた、フレーム内の画素を順次指定して、指定された画素と、その周辺に位置し、指定された画素と同じ色フィルタを備えた(同じ色成分の光を検出する)、複数の画素の画素値を同時に抽出する処理であると言うこともできる。
注目画素と同じ色フィルタを備えた(同じ色成分の光を検出する)複数の画素は、注目画素と同じ色成分の撮像信号を出力するものである。

領域選択部２２は、画素抽出部２１で抽出された注目画素及びその周辺の参照画素の画素値を表す信号を受け、注目画素とその周辺に位置する１又は２以上の画素とから成る組合せ、従って組合せで構成される画素領域を複数個形成し、形成された複数個の画素領域のうちの、相互間の相関性が高い画素から成る画素領域を選択して出力する。各画素領域には、注目画素が含まれるので、相互間の相関性が高い画素から成る画素領域を選択することで、注目画素に対する相関性が高い画素から成る画素領域を選択することができる。相互間の相関の高い画素から成る画素領域の選択のため、各画素領域の画素の画素値の最大値と最小値の差が最小の組合せが選択される。
選択された画素領域を構成する画素の位置を示す情報（加算画素位置情報）ＰＯＳが選択加算部２３に出力される。

加算画素位置情報ＰＯＳとともに、選択された画素領域のパターン（類型）を示す情報（例えば、予め定められた複数の類型のいずれに属するものであるかを示す情報）を加算画素パターン符号ＰＡＴとして生成し、信号結合部２４に出力する。ここで言うパターン（類型）は、例えば、注目画素に対する選択された領域の相対的位置或いは方位によって定義され、さらに領域の形状によって定義される。

例えば、上記の複数の画素領域として、パターンの異なるもの、例えば、注目画素に対する相対的位置乃至方位が異なるものが複数個用意され、或いは相対的方位乃至方位とともに形状が異なるものが複数個用意され、これらの複数の画素領域の中から、最も相関の高いものが選択され、選択された領域のパターンを示す情報が加算画素パターン符号ＰＡＴとして出力される。

選択加算部２３は、画素抽出部２１で抽出された撮像信号を受け、各注目画素の撮像信号について、領域選択部２２で選択された画素領域に含まれる画素、即ち加算画素位置情報ＰＯＳで指定された画素の撮像信号を加算して、加算結果を面内増感信号ＶＡＬとして出力する。選択加算部２３から出力された面内加算画素信号ＶＡＬは信号結合部２４へ供給される。

信号結合部２４は、選択加算部２３から出力された面内増感信号ＶＡＬと、領域選択部２２から出力された加算画素パターン符号ＰＡＴを１つの信号に結合して複合信号ＭＩＸを生成して出力する。
例えば、面内増感信号ＶＡＬが１２ｂｉｔ、加算画素パターン符号ＰＡＴが４ｂｉｔのとき、複合信号ＭＩＸは１６ｂｉｔとなる。
信号結合部２４で生成された複合信号ＭＩＸは出力端子６０４を介して面間画素加算部３０へ供給される。

以下、画素抽出部２１、領域選択部２２、選択加算部２３、及び信号結合部２４について詳しく説明する。

画素抽出部２１は、例えば、図８に示すように構成されている。
図８で、「１Ｌ−ＤＬ」は１ライン遅延部を示し、「２Ｌ−ＤＬ」は２ライン遅延部を示し、「１Ｄ−ＤＬ」は１画素遅延部を示し、「２Ｄ−ＤＬ」は２画素遅延部を示す。
「４Ｄ−ＤＬ」は４画素遅延部を示す。

画素抽出部２１は、２ライン遅延部５１１、５１２と、１ライン遅延部５２２〜５２５と、４画素遅延部５３０、５３１と、２画素遅延部５３２〜５３７と、１画素遅延部５４２〜５４５、５４７〜５５０、５５２〜５５５、５５７〜５６０、５６２〜５６５とを図示のように接続して構成されており、撮像信号Ｐｃを互いに異なる時間遅延させて、互いに近傍に位置する画素の信号を出力する。

画素抽出部２１から出力される信号のうち、遅延部５５３から出力される信号が注目画素Ｐ３３（図２）の信号として用いられる。遅延部５５３からの信号を注目画素Ｐ３３（図２）の信号とすると、このとき入力端子６０１に入力される撮像信号Ｐｃは、画素ＰＲＢ（図２）の信号であり、注目画素Ｐ３３とその周辺の画素Ｐ１１〜Ｐ５５、ＰＬ３、Ｐ３Ｔ、Ｐ３Ｂ、ＰＲ１〜ＰＲ５の画素値（画素値を表す画素信号）が同時に出力される。

以下では、各画素と、当該画素の画素値及び画素信号を同じ符号で表す。例えば、画素Ｐ３３の画素値及び画素信号をも符号Ｐ３３で表す。

以下、画素抽出部２１の各遅延部による処理を詳しく説明する。
画素信号ＰＲＢは、２ライン遅延部５１１、１ライン遅延部５２２〜５２５、２ライン遅延部５１２で順次遅延されて、画素信号ＰＲＢに対して、それぞれ２、３、４、５、６、８ライン遅延した画素信号ＰＲ５、ＰＲ４、ＰＲ３、ＰＲ２、ＰＲ１、ＰＲＴが出力される。
画素信号ＰＲＢはまた、４画素遅延部５３０で遅延されて、画素信号Ｐ３Ｂとして出力される。

２ライン遅延部５１１から出力された画素信号ＰＲ５は、２画素遅延部５３２で２画素遅延され、さらに、１画素遅延部５４２〜５４５で順次１画素遅延されて、画素信号ＰＲ５に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５５、Ｐ４５、Ｐ３５、Ｐ２５、Ｐ１５が出力される。
１ライン遅延部５２２から出力された画素信号ＰＲ４は、２画素遅延部５３３で２画素遅延され、さらに、１画素遅延部５４７〜５５０で順次１画素遅延されて、画素信号ＰＲ４に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５４、Ｐ４４、Ｐ３４、Ｐ２４、Ｐ１４が出力される。
１ライン遅延部５２３から出力された画素信号ＰＲ３は、２画素遅延部５３４で２画素遅延され、さらに、１画素遅延部５５２〜５５５で順次１画素遅延され、さらに、２画素遅延部５３５で２画素遅延されて、画素信号ＰＲ３に対してそれぞれ２、３、４、５、６、８画素遅延した画素信号Ｐ５３、Ｐ４３、Ｐ３３、Ｐ２３、Ｐ１３、ＰＬ３が出力される。

１ライン遅延部５２４から出力された画素信号ＰＲ２は、２画素遅延部５３６で２画素遅延され、さらに、１画素遅延部５５７〜５６０で順次１画素遅延されて、画素信号ＰＲ２に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５２、Ｐ４２、Ｐ３２、Ｐ２２、Ｐ１２が出力される。
１ライン遅延部５２５から出力された画素信号ＰＲ１は、２画素遅延部５３７で２画素遅延され、さらに、１画素遅延部５６２〜５６５で順次１画素遅延されて、画素信号ＰＲ１に対してそれぞれ２、３、４、５、６画素遅延した画素信号Ｐ５１、Ｐ４１、Ｐ３１、Ｐ２１、Ｐ１１が出力される。
２ライン遅延部５１２から出力された画素信号ＰＲＴは、４画素遅延部５３１で遅延されて画素信号Ｐ３Ｔとして出力される。

画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、それぞれ図２の画素Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔの画素値を表すものであり、画素信号ＰＲＢが入力されたタイミングで、画素抽出部２１から同時に出力され、領域選択部２２及び選択加算部２３に供給される。

領域選択部２２は、例えば図９に示されるように、画素選択部５７０と、変化幅算出部５７１〜５８２と、最小値算出部５８５と、画素指定部５８７とを有する。

図１の同期信号発生部１１から出力された水平同期信号ＨＤ及び垂直同期信号ＶＤは、画素選択部５７０、最小値算出部５８５、及び画素指定部５８７に供給される。

画素選択部５７０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。画素選択部５７０は、注目画素が、Ｒ画素、Ｇ画素及びＢ画素のいずれであるかをも特定する。
そして、画素抽出部２１から供給された画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔを受け、注目画素とその周辺の画素から成る組合せ（乃至画素領域）を複数個生成する。各注目画素についてそのような組合せは複数個生成される。

選択加算部２３における画素加算に用いられる画素として、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化を小さくすることができる。そこで、領域選択部２２では上記のように注目画素とその周辺の画素との組合せを複数個、異なるパターンのものを用意乃至形成し、各組合せについて相関の高さを求め、選択加算部２３で、最も相関の高い組合せに属する画素を用いて画素加算を行う。

各組合せについて、相関の高さは、各組合せに属する画素の画素値のうちの最大値（最大画素値）と最小値（最小画素値）の差で与えられる画素値の変化幅に基づいて評価される。即ち、上記の変化幅が最も小さい組合せが最も相関の高い組合せとして選択される。

図２の画素空間配置で注目画素がＧ画素の時の４画素加算を行う場合の４個の画素の組合せのパターンを図１０（ａ）から図１２（ｄ）に示す。Ｇ画素の４画素加算の場合は、１２個の組合せのパターンのうちの最も相関の高い組合せのパターンを求める。

図１０（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の画素Ｇ３１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン前の１画素後の画素Ｇ４２で構成される上側ブロックパターンの組合せＧＰ１を示す。

図１０（ｂ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素後の画素Ｇ５３、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素後の画素Ｇ４４で構成される右側ブロックパターンの組合せＧＰ２を示す。

図１０（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２画素前の画素Ｇ１３、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素前の画素Ｇ２４で構成される左側ブロックパターンの組合せＧＰ３を示す。

図１０（ｄ）は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の画素Ｇ３５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン後の１画素後の画素Ｇ４４で構成される下側ブロックパターンの組合せＧＰ４を示す。

図１１（ａ）は、注目画素とその上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン前の画素Ｇ３Ｔ、注目画素の２ライン前の画素Ｇ３１、及び注目画素の２ライン後の画素Ｇ３５で構成される上側縦ラインパターンの組合せＧＰ５を示す。

図１１(ｂ)は、注目画素とその下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４ライン後の画素Ｇ３Ｂ、注目画素の２ライン後の画素Ｇ３５、及び注目画素の２ライン前の画素Ｇ３１で構成される下側縦ラインパターンの組合せＧＰ６を示す。

図１１（ｃ）は、注目画素とその左側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素前の画素ＧＬ３、注目画素の２画素前の画素Ｇ１３、及び注目画素の２画素後の画素Ｇ５３で構成される左側横ラインパターンの組合せＧＰ７を示す。

図１１（ｄ）は、注目画素とその右側の周辺画素、即ち、注目画素Ｇ３３、注目画素の４画素後の画素ＧＲ３、注目画素の２画素後の画素Ｇ５３、及び注目画素の２画素前の画素Ｇ１３で構成される右側横ラインパターンの組合せＧＰ８を示す。

図１２（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素前の画素Ｇ１１、注目画素の１ライン前の１画素前の画素Ｇ２２、及び注目画素の１ライン後の１画素後の画素Ｇ４４で構成される左上側斜めラインパターンの組合せＧＰ９を示す。

図１２（ｂ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素後の画素Ｇ５５、注目画素の１ライン後の１画素後の画素Ｇ４４、及び注目画素の１ライン前の１画素前の画素及びＧ２２で構成される右下側斜めラインパターンの組合せＧＰ１０を示す。

図１２（ｃ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン前の２画素後の画素Ｇ５１、注目画素の１ライン前の１画素後の画素Ｇ４２、及び注目画素の１ライン後の１画素前の画素Ｇ２４で構成される右上側斜めラインパターンの組合せＧＰ１１を示す。

図１２（ｄ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｇ３３、注目画素の２ライン後の２画素前の画素Ｇ１５、注目画素の１ライン後の１画素前の画素Ｇ２４、及び注目画素の１ライン前の１画素後の画素Ｇ４２で構成される左下側斜めラインパターンの組合せＧＰ１２を示す。

画素選択部５７０は、上記の組合せＧＰ１〜ＧＰ１２をそれぞれ第１乃至第１２の組合せＡＰ１〜ＡＰ１２とし、これらを構成する画素の画素値をそれぞれ第１乃至第１２の変化幅算出部５７１〜５８２へ供給する。

図２の画素空間配置で注目画素がＲ画素の時の４画素加算を行う場合の４個の画素の組合せのパターンを図１３(ａ）〜（ｄ）に示す。Ｒ画素の４画素加算の場合は、４個の組合せのパターンのうちの最も相関の高い組合せのパターンを求める。

図１３（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素前の画素Ｒ１１、及び注目画素の２画素前の画素Ｒ１３で構成される左上側ブロックパターンの組合せＲＰ１を示す。

図１３（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２ライン前の画素Ｒ３１、注目画素の２ライン前の２画素後の画素Ｒ５１、及び注目画素の２画素後の画素Ｒ５３で構成される右上側ブロックパターンの組合せＲＰ２を示す。

図１３（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素前の画素Ｒ１３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素前の画素Ｒ１５で構成される左下側ブロックパターンの組合せＲＰ３を示す。

図１３（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｒ３３、注目画素の２画素後の画素Ｒ５３、注目画素の２ライン後の画素Ｒ３５、及び注目画素の２ライン後の２画素後の画素Ｒ５５で構成される右下側ブロックパターンの組合せＲＰ４を示す。

画素選択部５７０は、上記の組合せＰＲ１〜ＰＲ４をそれぞれ第１乃至第４の組合せＡＰ１〜ＡＰ４とし、これらを構成する画素の画素値をそれぞれ第１乃至第４の変化幅算出部５７１〜５７４へ供給する。

図２の画素空間配置で注目画素がＢ画素の時の４画素加算を行う場合の４個の画素の組合せのパターンを図１４（ａ）〜（ｄ）に示す。Ｂ画素の４画素加算の場合は、４個の組合せのパターンのうちの最も相関の高い組合せのパターンを求める。

図１４（ａ）は、注目画素とその左上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素前の画素Ｂ１１、及び注目画素の２画素前の画素Ｂ１３で構成される左上側ブロックパターンの組合せＢＰ１を示す。

図１４（ｂ）は、注目画素とその右上側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２ライン前の画素Ｂ３１、注目画素の２ライン前の２画素後の画素Ｂ５１、及び注目画素の２画素後の画素Ｂ５３で構成される右上側ブロックパターンの組合せＢＰ２を示す。

図１４（ｃ）は、注目画素とその左下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素前の画素Ｂ１３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素前の画素Ｂ１５で構成される左下側ブロックパターンの組合せＢＰ３を示す。

図１４（ｄ）は、注目画素とその右下側の周辺画素、即ち、注目画素Ｂ３３、注目画素の２画素後の画素Ｂ５３、注目画素の２ライン後の画素Ｂ３５、及び注目画素の２ライン後の２画素後の画素Ｂ５５で構成される右下側ブロックパターンの組合せＢＰ４を示す。

画素選択部５７０は、上記の組合せＰＢ１〜ＰＢ４をそれぞれ第１乃至第４の組合せＡＰ１〜ＡＰ４とし、これらを構成する画素の画素値をそれぞれ第１乃至第４の変化幅算出部５７１〜５７４へ供給する。

以上のように、注目画素がＧ画素である場合に用意される画素の組合せ、組合せを構成する領域の形状によってブロック状（菱形状）のものと、ライン状（帯状）とに分けられ、ブロック状のものについては、上記領域の中心が、注目画素に対して上側、右側、左側、下側のいずれにあるかによって分けられ、ライン状のものについては、上記領域の中心が、注目画素に対して上側、下側、左側、右側、斜め左上側、斜め右下側、斜め右上側、斜め左下側のいずれであるかによって分けられる。

従って、加算画素パターン符号ＰＡＴとしては、選択された組合せが図１０（ａ）〜図１２（ｄ）のいずれであるか、即ち、注目画素及びその周辺に位置する画素から成る領域の形状、即ち、ブロック状（菱形状）であるか、又はライン状（帯状）のものであるか、並びに、領域の中心の、指定された画素に対する相対的位置乃至方位、即ち、ブロック状のものについては、上、右、左、下のいずれの側であるか、ライン状のものについては、上、右、左、下、斜め左上、斜め右上、斜め左下、斜め右上のいずれの側であるかを示すものが用いられる。

これに対して、注目画素がＲ画素又はＢ画素である場合に用意される画素の組合せは、組合せを構成する領域の形状がすべてブロック状のものであり、上記領域の中心が、注目画素に対して左斜め上側、右斜め上側、左斜め下側、右斜め下側のいずれにあるかによって分けられる。

従って、加算画素パターン符号ＰＡＴとしては、選択された組合せが図１３（ａ）〜（ｄ）又は図１４（ａ）〜（ｄ）のいずれであるか、即ち、注目画素及びその周辺に位置する画素から成る領域の中心の、指定された画素に対する相対的位置乃至方位、即ち、斜め左上、斜め右上、斜め左下、斜め右下のいずれの側であるかを示すものが用いられる。

しかしながら、本発明は上記の例に限定されない。即ち、注目画素及びその周辺の画素から成る領域の形状、及び、該領域の中心の、注目画素に対する方位は、図１０（ａ）〜図１４（ｄ）に示すもの以外のものであっても良い。いずれにしても、加算画素パターン符号ＰＡＴは注目画素及びその周辺の画素から成る領域の、注目画素に対する相対的位置乃至方位を示すものであれば良い。

第１乃至第１２の変化幅算出部５７１〜５８２は、各々、入力された第１乃至第１２の組合せＡＰ１〜ＡＰ１２について最大画素値と最小画素値の差を変化幅として算出する。
即ち、変化幅算出部５７１〜５８２は、入力される４画素の画素値同士を比較して、最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該組合せ（画素領域）の変化幅として最小値算出部５８５へ供給する。

注目画素がＧ画素の場合、
変化幅算出部５７１は、第１の組合せＡＰ１として入力された上側ブロックパターンＧＰ１の組合せの変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出部５７２は、第２の組合せＡＰ２として入力された右側ブロックパターンＧＰ２の組合せの変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出部５７３は、第３の組合せＡＰ３として入力された左側ブロックパターンＧＰ３の組合せの変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出部５７４は、第４の組合せＡＰ４として入力された下側ブロックパターンＧＰ４の組合せの変化幅を算出し、第４の変化幅ＷＰ４として出力し、
変化幅算出部５７５は、第５の組合せＡＰ５として入力された上側縦ラインパターンＧＰ５の組合せの変化幅を算出し、第５の変化幅ＷＰ５として出力し、
変化幅算出部５７６は、第６の組合せＡＰ６として入力された下側縦ラインパターンＧＰ６の組合せの変化幅を算出し、第６の変化幅ＷＰ６として出力し、
変化幅算出部５７７は、第７の組合せＡＰ７として入力された左側横ラインパターンＧＰ７の組合せの変化幅を算出し、第７の変化幅ＷＰ７として出力し、
変化幅算出部５７８は、第８の組合せＡＰ８として入力された右側横ラインパターンＧＰ８の組合せの変化幅を算出し、第８の変化幅ＷＰ８として出力し、
変化幅算出部５７９は、第９の組合せＡＰ９として入力された左上側斜めラインパターンＧＰ９の組合せの変化幅を算出し、第９の変化幅ＷＰ９として出力し、
変化幅算出部５８０は、第１０の組合せＡＰ１０として入力された右下側斜めラインパターンＧＰ１０の変化幅を算出し、第１０の変化幅ＷＰ１０として出力し、
変化幅算出部５８１は、第１１の組合せＡＰ１１として入力された右上側斜めラインパターンＧＰ１１の組合せの変化幅を算出し、第１１の変化幅ＷＰ１１として出力し、
変化幅算出部５８２は、第１２の組合せＡＰ１２として入力された左下側斜めラインパターンＧＰ１２の組合せの変化幅を算出し、第１２の変化幅ＷＰ１２として出力する。

注目画素がＲ画素或いはＢ画素の場合、
変化幅算出部５７１は、第１の組合せＡＰ１として入力された左上側ブロックパターンＲＰ１或いはＢＰ１の組合せの変化幅を算出し、第１の変化幅ＷＰ１として出力し、
変化幅算出部５７２は、第２の組合せＡＰ２として入力された右上側ブロックパターンＲＰ２或いはＢＰ２の組合せの変化幅を算出し、第２の変化幅ＷＰ２として出力し、
変化幅算出部５７３は、第３の組合せＡＰ３として入力された左下側ブロックパターンＲＰ３或いはＢＰ３の組合せの変化幅を算出し、第３の変化幅ＷＰ３として出力し、
変化幅算出部５７４は、第４の組合せＡＰ４として入力された右下側ブロックパターンＲＰ４或いはＢＰ４の組合せの変化幅を算出し、第４の変化幅ＷＰ４として出力する。
変化幅算出部５７５〜５８２は変化幅算出の動作を行わない。

最小値算出部５８５の注目画素がＧ画素の場合の動作について説明する。
最小値算出部５８５は、変化幅算出部５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン（加算画素パターン）を示す情報（加算画素パターン符号）ＰＡＴを画素指定部５８７及び信号結合部２４へ通知する。
画素指定部５８７は、最小値算出部５８５から通知された加算画素パターン符号ＰＡＴで特定される組合せを構成する画素の画素位置を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給する。

上側ブロックパターンＧＰ１の組合せの変化幅が最小の場合は、画素Ｇ３１、Ｇ２２、Ｇ４２、Ｇ３３の位置情報ＰＯＳが選択加算部２３へ供給される。
右側ブロックパターンＧＰ２の組合せの変化幅が最小の場合は、画素Ｇ４２、Ｇ３３、Ｇ５３、Ｇ４４の位置情報ＰＯＳが選択加算部２３へ供給される。
左側ブロックパターンＧＰ３の組合せの変化幅が最小の場合は、画素Ｇ２２、Ｇ１３、Ｇ３３、Ｇ２４の位置情報ＰＯＳが選択加算部２３へ供給される。
下側ブロックパターンＧＰ４の組合せの変化幅が最小の場合は、画素Ｇ３３、Ｇ２４、Ｇ４４、Ｇ３５の位置情報ＰＯＳが選択加算部２３へ供給される。

上側縦ラインパターンＧＰ５の組合せの変化幅が最小の場合は、画素Ｇ３Ｔ、Ｇ３１、Ｇ３３、Ｇ３５の位置情報ＰＯＳが選択加算部２３へ供給される。
下側縦ラインパターンＧＰ６の組合せの変化幅が最小の場合は、画素Ｇ３１、Ｇ３３、Ｇ３５、Ｇ３Ｂの位置情報ＰＯＳが選択加算部２３へ供給される。
左側横ラインパターンＧＰ７の組合せの変化幅が最小の場合は、画素ＧＬ３、Ｇ１３、Ｇ３３、Ｇ５３の位置情報ＰＯＳが選択加算部２３へ供給される。
右側横ラインパターンＧＰ８の組合せの変化幅が最小の場合は、画素Ｇ１３、Ｇ３３、Ｇ５３、ＧＲ３の位置情報ＰＯＳが選択加算部２３へ供給される。

左上側斜めラインパターンＧＰ９の組合せの変化幅が最小の場合は、画素Ｇ１１、Ｇ２２、Ｇ３３、Ｇ４４の位置情報ＰＯＳが選択加算部２３へ供給される。
右下側斜めラインパターンＧＰ１０の組合せの変化幅が最小の場合は、画素Ｇ２２、Ｇ３３、Ｇ４４、Ｇ５５の位置情報ＰＯＳが選択加算部２３へ供給される。
右上側斜めラインパターンＧＰ１１の組合せの変化幅が最小の場合は、画素Ｇ５１、Ｇ４２、Ｇ３３、Ｇ２４の位置情報ＰＯＳが選択加算部２３へ供給される。
左下側斜めラインパターンＧＰ１２の組合せの変化幅が最小の場合は、画素Ｇ４２、Ｇ３３、Ｇ２４、Ｇ１５の位置情報ＰＯＳが選択加算部２３へ供給される。

このような処理により、最小値算出部５８５と画素指定部５８７とで構成される相関領域検出部５９０は、変化幅算出部５７１〜５８２から出力される第１乃至第１２の変化幅ＷＰ１〜ＷＰ１２を受け、変化幅が最小の組合せを構成する画素から成る画素領域を、最も相関の高い画素領域と判定し、該領域の位置（該領域を構成する画素の位置）を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給するとともに、上記最小の組合せのパターン（類型）を示す情報（該最小の組合せが図１０（ａ）〜図１２（ｄ）のいずれのパターンのものであるか示す情報）を加算画素パターン符号ＰＡＴとして信号結合部２４へ供給する。

最小値算出部５８５の注目画素がＲ画素の場合の動作について説明する。
最小値算出部５８５は、変化幅算出部５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン（加算画素パターン）を示す情報（加算画素パターン符号）ＰＡＴを画素指定部５８７及び信号結合部２４へ通知する。
画素指定部５８７は、最小値算出部５８５から通知された加算画素パターン符号ＰＡＴで特定される組合せを構成する画素の画素位置を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給する。

左上側ブロックパターンＲＰ１の組合せの変化幅が最小の場合は、画素Ｒ１１、Ｒ３１、Ｒ１３、Ｒ３３の位置情報ＰＯＳが選択加算部２３へ供給される。
右上側ブロックパターンＲＰ２の組合せの変化幅が最小の場合は、画素Ｒ３１、Ｒ５１、Ｒ３３、Ｒ５３の位置情報ＰＯＳが選択加算部２３へ供給される。
左下側ブロックパターンＲＰ３の組合せの変化幅が最小の場合は、画素Ｒ１３、Ｒ３３、Ｒ１５、Ｒ３５の位置情報ＰＯＳが選択加算部２３へ供給される。
右下側ブロックパターンＲＰ４の組合せの変化幅が最小の場合は、画素Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５の位置情報ＰＯＳが選択加算部２３へ供給される。

このような処理により、相関領域検出部５９０は、変化幅算出部５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の組合せを構成する画素から成る画素領域を、最も相関の高い画素領域と判定し、該領域の位置（該領域を構成する画素の位置）を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給するとともに、上記最小の組合せのパターン（類型）を示す情報（該最小の組合せが図１３（ａ）〜図１３（ｄ）のいずれのパターンのものであるか示す情報）を加算画素パターン符号ＰＡＴとして信号結合部２４へ供給する。

最小値算出部５８５の注目画素がＢ画素の場合の動作について説明する。
最小値算出部５８５は、変化幅算出部５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン（加算画素パターン）を示す情報（加算画素パターン符号）ＰＡＴを画素指定部５８７及び信号結合部２４へ通知する。
画素指定部５８７は、最小値算出部５８５から通知された加算画素パターン符号ＰＡＴで特定される組合せを構成する画素の画素位置を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給する。

左上側ブロックパターンＢＰ１の組合せの変化幅が最小の場合は、画素Ｂ１１、Ｂ３１、Ｂ１３、Ｂ３３の位置情報ＰＯＳが選択加算部２３へ供給される。
右上側ブロックパターンＢＰ２の組合せの変化幅が最小の場合は、画素Ｂ３１、Ｂ５１、Ｂ３３、Ｂ５３の位置情報ＰＯＳが選択加算部２３へ供給される。
左下側ブロックパターンＢＰ３の組合せの変化幅が最小の場合は、画素Ｂ１３、Ｂ３３、Ｂ１５、Ｂ３５の位置情報ＰＯＳが選択加算部２３へ供給される。
右下側ブロックパターンＢＰ４の組合せの変化幅が最小の場合は、画素Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５の位置情報ＰＯＳが選択加算部２３へ供給される。

このような処理により、相関領域検出部５９０は、変化幅算出部５７１〜５７４から出力される第１乃至第４の変化幅ＷＰ１〜ＷＰ４を受け、変化幅が最小の組合せを構成する画素から成る画素領域を、最も相関の高い画素領域と判定し、該領域の位置（該領域を構成する画素の位置）を示す情報（加算画素位置情報）ＰＯＳを選択加算部２３へ供給するとともに、上記最小の組合せのパターン（類型）を示す情報（該最小の組合せが図１４（ａ）〜図１４（ｄ）のいずれのパターンのものであるか示す情報）を加算画素パターン符号ＰＡＴとして信号結合部２４へ供給する。

以上のように、Ｇ画素の場合は１２個の組合せから、Ｒ画素、Ｂ画素の場合は４個の組合せから、最も相関の高い組合せを求めるように構成したので画素加算に用いられる画素として、注目画素と相関の高い画素を正しく選択することができ、画素加算後の画像の解像度劣化を小さくすることができる。

次に、図１５を参照して、選択加算部２３について説明する。選択加算部２３は、図１５に示すように、画素選択部５９３と、画素加算部５９５を有する。

画素抽出部２１で抽出された画素信号Ｐ５５〜Ｐ１１、Ｐ３Ｂ、ＰＲ３、ＰＬ３、Ｐ３Ｔは、画素選択部５９３に供給される。

領域選択部２２の画素指定部５８７から通知される加算画素位置情報ＰＯＳ、並びに図１の同期信号発生部１１から出力された水平同期信号ＨＤ及び垂直同期信号ＶＤも、画素選択部５９３へ供給される。

画素選択部５９３は、水平同期信号ＨＤ及び垂直同期信号ＶＤに基づいて注目画素Ｐ３３の画素位置を判断して、注目画素の色フィルタ配列上の画素位置を特定する。
画素選択部５９３は、注目画素が、Ｒ画素、Ｇ画素、及びＢ画素のいずれであるかをも特定する。そして画素指定部５８７からの加算画素位置情報ＰＯＳに基づいて、選択領域を構成する４個の画素の画素位置をも特定する。

画素選択部５９３は、加算画素位置情報ＰＯＳで示される画素位置にある４個の画素の画素値Ｐｓ１〜Ｐｓ４を画素加算部５９５へ供給する。

制御部１２から出力される増感倍率Ｌａ（Ｌａ＝１〜４）を示す信号は画素加算部５９５へ供給される。

画素加算部５９５は、画素選択部５９３から供給された４個の画素の画素値を加算して、加算結果を面内増感信号Ｐｅとして、出力端子６０２を介して映像信号処理部７へ供給する。この加算に当たり、加算前の画素値に対して加算結果が所定の増感倍率Ｌａを有するように、加算係数（重み付け係数）が掛けられる。
例えば、４個の画素の画素値をＰｓ１、Ｐｓ２、Ｐｓ３、Ｐｓ４、増感倍率をＬａとすると、
Ｐｅ＝（Ｐｓ１＋Ｐｓ２＋Ｐｓ３＋Ｐｓ４）×Ｌａ／４
で表される演算により、面内増感信号（の値）Ｐｅを求める。以下の説明で、Ｇ画素についての面内増感信号（の値）はＧｅで、Ｒ画素についての面内増感信号（の値）はＲｅで、Ｂ画素についての面内増感信号（の値）はＢｅで示される。

注目画素がＧ画素の時の動作を説明する。
第１の組合せＡＰ１としての上側ブロックパターンＧＰ１の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ２２＋Ｇ４２＋Ｇ３３）×Ｌａ／４
第２の組合せＡＰ２としての右側ブロックパターンＧＰ２の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ４２＋Ｇ３３＋Ｇ５３＋Ｇ４４）×Ｌａ／４
第３の組合せＡＰ３としての左側ブロックパターンＧＰ３の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ１３＋Ｇ３３＋Ｇ２４）×Ｌａ／４
第４の組合せＡＰ４としての下側ブロックパターンＧＰ４の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ３３＋Ｇ２４＋Ｇ４４＋Ｇ３５）×Ｌａ／４

第５の組合せＡＰ５としての上側縦ラインパターンＧＰ５の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ３Ｔ＋Ｇ３１＋Ｇ３３＋Ｇ３５）×Ｌａ／４
第６の組合せＡＰ６としての下側縦ラインパターンＧＰ６の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ３１＋Ｇ３３＋Ｇ３５＋Ｇ３Ｂ）×Ｌａ／４
第７の組合せＡＰ７としての左側横ラインパターンＧＰ７の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（ＧＬ３＋Ｇ１３＋Ｇ３３＋Ｇ５３）×Ｌａ／４
第８の組合せＡＰ８としての右側横ラインパターンＧＰ８の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ１３＋Ｇ３３＋Ｇ５３＋ＧＲ３）×Ｌａ／４

第９の組合せＡＰ９としての左上側斜めラインパターンＧＰ９の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ１１＋Ｇ２２＋Ｇ３３＋Ｇ４４）×Ｌａ／４
第１０の組合せＡＰ１０としての右下側斜めラインパターンＧＰ１０の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ２２＋Ｇ３３＋Ｇ４４＋Ｇ５５）×Ｌａ／４
第１１の組合せＡＰ１１としての右上側斜めラインパターンＧＰ１１の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇｅ＝（Ｇ５１＋Ｇ４２＋Ｇ３３＋Ｇ２４）×Ｌａ／４
第１２の組合せＡＰ１２としての左下側斜めラインパターンＧＰ１２の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｇ＝（Ｇ４２＋Ｇ３３＋Ｇ２４＋Ｇ１５）×Ｌａ／４

注目画素がＲ画素の時の動作を説明する。
第１の組合せＡＰ１としての左上側ブロックパターンＲＰ１の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｒｅ＝（Ｒ１１＋Ｒ３１＋Ｒ１３＋Ｒ３３）×Ｌａ／４
第２の組合せＡＰ２としての右上側ブロックパターンＲＰ２の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｒｅ＝（Ｒ３１＋Ｒ５１＋Ｒ３３＋Ｒ５３）×Ｌａ／４
第３の組合せＡＰ３としての左下側ブロックパターンＲＰ３の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｒｅ＝（Ｒ１３＋Ｒ３３＋Ｒ１５＋Ｒ３５）×Ｌａ／４
第４の組合せＡＰ４としての右下側ブロックパターンＲＰ４の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｒｅ＝（Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５）×Ｌａ／４

注目画素がＢ画素の時の動作を説明する。
第１の組合せＡＰ１としての左上側ブロックパターンＢＰ１の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｂｅ＝（Ｂ１１＋Ｂ３１＋Ｂ１３＋Ｂ３３）×Ｌａ／４
第２の組合せＡＰ２としての右上側ブロックパターンＢＰ２の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｂｅ＝（Ｂ３１＋Ｂ５１＋Ｂ３３＋Ｂ５３）×Ｌａ／４
第３の組合せＡＰ３としての左下側ブロックパターンＢＰ３の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｂｅ＝（Ｂ１３＋Ｂ３３＋Ｂ１５＋Ｂ３５）×Ｌａ／４
第４の組合せＡＰ４としての右下側ブロックパターンＢＰ４の組合せが選択された場合、画素加算部５９５は、次式の演算を行う。
Ｂｅ＝（Ｂ３３＋Ｂ５３＋Ｂ３５＋Ｂ５５）×Ｌａ／４

上記の例では、Ｇ画素について、画素加算を、縦、横、斜めラインパターン、ブロックパターンなど、解像度の高い被写体を含む画像を想定した組合せのパターンを使うように構成したので、相関の高い画素同士を加算に用いることができる。細かな模様や細かな凹凸を含む被写体を含むシーンを画素加算した場合でも、高解像度部分がぼやけることを防ぐ効果がある。

上記の例ではＲ画素とＢ画素については、ブロックパターンの組合せのみを用いているが、Ｒ画素とＢ画素の組合せとして、Ｇ画素同様に、縦、横、斜めラインパターンの組合せをも用い、これらについて相関を判定するように構成しても良い。
但し、Ｒ画素とＢ画素の場合は、Ｇ画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して組合せのパターンを決める。

また、上記の例では、注目画素に周辺の３画素を加算しているが、さらに多くの周辺の画素をも加算対象画素に含める組合せを用いることとしても良い。そのようにすれば、一層の高感度化を図ることができる。

また、Ｇ画素について、上記の１２の組合せのパターンのすべてを用いず、その一部のみを用いても良い。例えば、図１０（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１１（ａ）〜（ｄ）に示す４つのパターンのみを用いても良く、図１２（ａ）〜（ｄ）に示す４つのパターンのみを用いても良い。

また、Ｒ画素とＢ画素のベイヤ配置に対応して面内画素加算のための組合せのパターンを１種類としても良い。その場合には後述の面間画素加算において、加算画素パターン符号が一致するか否かの判定を行わずに、画素値の相関判定のみで近傍フレームの加算対象画素を選択する。

次に、図１６を参照して、面間画素加算部３０の動作を説明する。
面間画素加算部３０は、図１６に示されるように、画素抽出部３１と、信号分離部３５０と、加算画素選択部３５と、画素加算部３９とを有する。加算画素選択部３５は、第１乃至第４の画素選択部３５１〜３５４を有する。

面内画素加算部２０から連続するフレームの各画素についての複合信号ＭＩＸが面内画素加算部２０の出力端子６０４から順次出力され、面間画素加算部３０の入力端子６０５を介して画素抽出部３１に順次入力される。

画素抽出部３１は、入力端子６０５に入力された複合信号ＭＩＸを、互いに異なる期間遅延させて、互いに近傍に位置する、複数のフレーム内の複数の画素について複合信号ＭＩＸを同時に抽出する。この場合、複数のフレームのうちの中心に位置するものが注目フレームとして扱われ、注目フレーム内の一つの画素が注目画素として抽出され、他のフレームの各々から、注目フレームの注目画素と同じ位置及びその周辺に位置する、１又は２以上の画素が抽出される。従って、上記の抽出処理は、注目フレーム内の注目画素についての複合信号ＭＩＸと、注目フレームの近傍に位置するフレーム（参照フレーム）内の１又は２以上の画素（参照画素）について複合信号ＭＩＸとを同時に抽出する処理であると言うことができる。抽出されるフレーム及び画素は順次切り替わるので、上記の処理はまた、連続するフレームを順次注目フレームとして指定し、注目フレーム内の画素を順次注目画素として指定し、注目フレームの注目画素についての複合信号ＭＩＸと、注目フレームの近傍に位置するフレーム内の参照画素についての複合信号ＭＩＸとを同時に抽出する処理であると言うこともできる。

画素抽出部３１は例えば、図１７に示すように構成されている。
図１７で、「１Ｆ−ＤＬ」は１フレーム遅延部を示し、「１Ｌ−ＤＬ」は１ライン遅延部を示し、「１Ｄ−ＤＬ」は１画素遅延部を示し、「２Ｄ−ＤＬ」は２画素遅延部を示す。

画素抽出部３１は、１フレーム遅延部３１１〜３１４と、１ライン遅延部３２１〜３２９と、２画素遅延部３３１〜３３８と、１画素遅延部３４１〜３４５とを図示のように接続して構成されており、入力端子６０５に入力された複合信号ＭＩＸを互いに異なる時間遅延させて、互いに近傍に位置するフレーム内の画素についての複合信号を出力する。
出力される信号のうち、遅延部３４３から出力される信号が注目フレームＦ２の注目画素Ｐ３３（図２）についての複合信号として用いられる。遅延部３４３からの信号を注目フレームＦ２の注目画素Ｐ３３（図２）の信号とすると、このとき入力端子６０５に入力される複合信号ＭＩＸは、２フレーム後のフレームＦ０の画素Ｐ４４（図２）についての複合信号ＭＩＸであり、注目フレームＦ２の注目画素Ｐ３３についての複合信号ＭＩＸと、注目フレームＦ２の近傍に位置するフレームＦ０、Ｆ１、Ｆ３、Ｆ４内の、注目画素と同じ位置Ｐ３３、及びその周辺に位置する画素Ｐ２２、Ｐ４２、Ｐ２４、Ｐ４４について複合信号ＭＩＸが同時に出力される。Ｆ１、Ｆ３、Ｆ４はそれぞれ注目フレームＦ０の１フレーム後のフレーム（後フレーム）、１フレーム前のフレーム（前フレーム）、２フレーム前のフレームを表す。

フレームＦ０の画素Ｐ４４についての複合信号ＭＩＸを区別のためＭＩＸ（Ｆ２，Ｐ４４）と表すことがある。他の画素についての複合信号ＭＩＸについても同様である。面内画素信号ＶＡＬ、加算画素パターン符号ＰＡＴ、三次元増感信号Ｐｆについても同様である。但し、区別の必要がないときは、単に「ＭＩＸ」、「ＶＡＬ」、「ＰＡＴ」、「Ｐｆ」で表す。

以下、画素抽出部３１の各遅延部による処理を詳しく説明する。
入力端子６０５に入力された複合信号ＭＩＸ（Ｆ０，Ｐ４４）は、１フレーム遅延部３１１〜３１４で順次遅延されて、信号ＭＩＸ（Ｆ１，Ｐ４４）、信号ＭＩＸ（Ｆ２，Ｐ４４）、信号ＭＩＸ（Ｆ３，Ｐ４４）、信号ＭＩＸ（Ｆ４，Ｐ４４）となる。

入力端子６０５に入力された信号ＭＩＸ（Ｆ０，Ｐ４４）はまた２画素遅延部３３１で遅延されて信号ＭＩＸ（Ｆ０，Ｐ２４）となり、１ライン遅延部３２１及び１画素遅延部３４１で遅延されて信号ＭＩＸ（Ｆ０，Ｐ３３）となる。
１ライン遅延部３２１の出力は、１ライン遅延部３２２で遅延されて信号ＭＩＸ（Ｆ０，Ｐ４２）となり、さらに２画素遅延部３３２で遅延されて信号ＭＩＸ（Ｆ０，Ｐ２２）となる。

１フレーム遅延部３１１から出力された信号ＭＩＸ（Ｆ１，Ｐ４４）は、２画素遅延部３３３で遅延されて信号ＭＩＸ（Ｆ１，Ｐ２４）となり、１ライン遅延部３２３及び１画素遅延部３４２で遅延されて信号ＭＩＸ（Ｆ１，Ｐ３３）となる。
１ライン遅延部３２３の出力は、１ライン遅延部３２４で遅延されて信号ＭＩＸ（Ｆ１，Ｐ４２）となり、さらに２画素遅延部３３４で遅延されて信号ＭＩＸ（Ｆ１，Ｐ２２）となる。

１フレーム遅延部３１２から出力された信号ＭＩＸ（Ｆ２，Ｐ４４）は、１ライン遅延部３２５及び１画素遅延部３４３で遅延されて信号ＭＩＸ（Ｆ２，Ｐ３３）となる。

１フレーム遅延部３１３から出力された信号ＭＩＸ（Ｆ３，Ｐ４４）は、２画素遅延部３３５で遅延されて信号ＭＩＸ（Ｆ３，Ｐ２４）となり、１ライン遅延部３２６及び１画素遅延部３４４で遅延されて信号ＭＩＸ（Ｆ３，Ｐ３３）となる。
１ライン遅延部３２６の出力は、１ライン遅延部３２７で遅延されて信号ＭＩＸ（Ｆ３，Ｐ４２）となり、さらに２画素遅延部３３６で遅延されて信号ＭＩＸ（Ｆ３，Ｐ２２）となる。

１フレーム遅延部３１４から出力された信号ＭＩＸ（Ｆ４，Ｐ４４）は、２画素遅延部３３７で遅延されて信号ＭＩＸ（Ｆ４，Ｐ２４）となり、１ライン遅延部３２８及び１画素遅延部３４５で遅延されて信号ＭＩＸ（Ｆ４，Ｐ３３）となる。
１ライン遅延部３２８の出力は、１ライン遅延部３２９で遅延されて信号ＭＩＸ（Ｆ４，Ｐ４２）となり、さらに２画素遅延部３３８で遅延されて信号ＭＩＸ（Ｆ４，Ｐ２２）となる。

このようにして生成された信号ＭＩＸ（Ｆ０，Ｐ４４）〜ＭＩＸ（Ｆ４，Ｐ２２）のうち、信号ＭＩＸ（Ｆ０，Ｐ４４）〜ＭＩＸ（Ｆ０，Ｐ２２）は、第１の画素選択部３５１に供給され、信号ＭＩＸ（Ｆ１，Ｐ４４）〜ＭＩＸ（Ｆ１，Ｐ２２）は、第２の画素選択部３５２に供給され、信号ＭＩＸ（Ｆ３，Ｐ４４）〜ＭＩＸ（Ｆ３，Ｐ２２）は、第３の画素選択部３５３に供給され、信号ＭＩＸ（Ｆ４，Ｐ４４）〜ＭＩＸ（Ｆ４，Ｐ２２）は、第４の画素選択部３５４に供給される。

信号分離部３５０は、注目フレームＦ２の注目画素Ｐ３３についての複合信号ＭＩＸ（Ｆ２，Ｐ３３）を、面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）と、加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）に分離する。
信号分離部３５０から出力された加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）及び面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）は、加算画素選択部３５の第１乃至第４の画素選択部３５１〜３５４に供給される。
面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）はまた、画素加算部３９にも供給される。

第１の画素選択部３５１は、図１８に示すように、パターン判別部３６１と相関判別部３８１を有する。
同様に、第２乃至第４の画素選択部３５２〜３５４は、それぞれパターン判別部３６２〜３６４と相関判別部３８２〜３８４を有する。

パターン判別部３６１〜３６４は、それぞれ画素抽出部３１から出力される復号信号ＭＩＸ、即ち、それぞれフレームＦ０、Ｆ１、Ｆ３、Ｆ４内において、注目画素位置（注目フレーム内の注目画素と同じ位置）及びその周辺の位置の画素についての複合信号ＭＩＸの各々について、加算画素パターン符号ＰＡＴが、注目フレームＦ２の注目画素についての複合信号ＭＩＸの加算画素パターン符号ＰＡＴと同じであるか否かの判定を行い、判定結果（一致／不一致情報）ＰＡＧとともに、複合信号ＭＩＸのうちの面内増感信号ＶＡＬを、それぞれ対応する相関判別部３８１〜３８４へ供給する。同じ画素についての面内増感信号ＶＡＬと一致／不一致情報ＰＡＧとは互いに関連付けて出力される。

相関判別部３８１〜３８４の各々は、対応するパターン判別部（３６１〜３６４のいずれか）から供給された複数の画素（注目画素位置及びその周辺の画素）についての面内増感信号ＶＡＬと一致／不一致情報ＰＡＧに基づいて、複数の面内増感信号ＶＡＬのいずれか一つを選択する。即ち、いずれかの一致／不一致情報ＰＡＧが「一致」を示す場合には、「一致」を示す一致／不一致情報ＰＡＧに関連付けられている（「一致」を示す一致／不一致情報ＰＡＧと同じ画素についての）面内増感信号ＶＡＬのうち、注目画素の面内増感信号ＶＡＬの相関が最も高いものを選択して、出力する。いずれの一致／不一致情報ＰＡＧも「一致」を示すものではない場合には、入力されたすべての面内増感信号ＶＡＬのうち、注目画素についての面内増感信号ＶＡＬとの相関が最も高いものを選択して、出力する。

相関は例えば差によって評価され、差が小さいほど相関が高いと判断される。従って、注目画素の面内増感信号ＶＡＬとの相関が最も高い面内増感信号としては、注目画素の面内増感信号ＶＡＬとの差が最も小さい面内増感信号が選択される。
ある画素についての面内増感信号ＶＡＬが選択されたとき、当該画素が選択されて加算対象画素となる。

第１の画素選択部３５１のパターン判別部３６１は、図１９に示すように、第１乃至第５の判別部３６１１〜３６１５を有する。第１の判別部３６１１は、図２０に示すように、信号分離部３６１１１と、判定部３６１１２を有する。

信号分離部３６１１１は、フレームＦ０の画素Ｐ４４についての複合信号ＭＩＸ（Ｆ０，Ｐ４４）を受けて、面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）と、加算画素パターン符号ＰＡＴ（Ｆ０，Ｐ４４）とに分離する。

判定部３６１１２は、信号分離部３６１１１からの加算画素パターン符号ＰＡＴ（Ｆ０，Ｐ４４）と信号分離部３５０からの加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）とを比較し、一致するか否かの判定を行い、判定結果を示す情報（一致／不一致情報）ＰＡＧ（Ｆ０，Ｐ４４）を出力する。

第２乃至第５の判別部３６１２〜３６１５も第１のパターン判別部３６１１と同様に構成され、それぞれ複合信号ＭＩＸ（Ｆ０，Ｐ２４）、ＭＩＸ（Ｆ０，Ｐ３３）、ＭＩＸ（Ｆ０，Ｐ４２）、ＭＩＸ（Ｆ０，Ｐ２２）に対して同様の処理を行って、面内増感信号ＶＡＬ（Ｆ０，Ｐ２４）、ＶＡＬ（Ｆ０，Ｐ３３）、ＶＡＬ（Ｆ０，Ｐ４２）、ＶＡＬ（Ｆ０，Ｐ２２）と、一致／不一致情報ＰＡＧ（Ｆ０，Ｐ２４）、ＰＡＧ（Ｆ０，Ｐ３３）、ＰＡＧ（Ｆ０，Ｐ４２）、ＰＡＧ（Ｆ０，Ｐ２２）を出力する。

相関判別部３８１は、対応するパターン判別部３６１から出力されたフレームＦ０の画素Ｐ４４、Ｐ２４、Ｐ３３、Ｐ４２、Ｐ２２についての面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）、ＶＡＬ（Ｆ０，Ｐ２４）、ＶＡＬ（Ｆ０，Ｐ３３）、ＶＡＬ（Ｆ０，Ｐ４２）、ＶＡＬ（Ｆ０，Ｐ２２）のうち、一致／不一致情報ＰＡＧにより、加算画素パターン符号ＰＡＴが一致することが示されているものの中から、注目フレームＦ２の注目画素Ｐ３３についての面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）と最も近い値を有する面内増感信号ＶＡＬを選択して当該フレームＦ０についての、選択された加算対象画素の面内増感信号ＶＡＬ（Ｆ０）として出力する。

パターン判別部３６１から出力された面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）、ＶＡＬ（Ｆ０，Ｐ２４）、ＶＡＬ（Ｆ０，Ｐ３３）、ＶＡＬ（Ｆ０，Ｐ４２）、ＶＡＬ（Ｆ０，Ｐ２２）の中に、一致／不一致情報ＰＡＧにより加算画素パターン符号が一致することが示されるものが１つもない場合、相関判別部３８１は、入力されたすべての面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）、ＶＡＬ（Ｆ０，Ｐ２４）、ＶＡＬ（Ｆ０，Ｐ３３）、ＶＡＬ（Ｆ０，Ｐ４２）、ＶＡＬ（Ｆ０，Ｐ２２）の中から、注目フレームＦ２の注目画素Ｐ３３についての面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）と最も近い値を有する面内増感信号ＶＡＬを選択してフレームＦ０についての、選択された加算対象画素の面内増感信号ＶＡＬ（Ｆ０）として出力する。
相関判別部３８１から出力された面内増感信号ＶＡＬは、第１の画素選択部３５１の出力となる。

第２乃至第４の画素選択部３５２〜３５４は、第１の画素選択部３５１と同様に構成されており、それぞれフレームＦ１、Ｆ３、Ｆ４の画素Ｐ４４、Ｐ２４、Ｐ３３、Ｐ４２、Ｐ２２についての複合信号ＭＩＸに対して、第１の画素選択部３５１と同様の処理を行って、フレームＦ１、Ｆ３、Ｆ４についての、選択された加算対象画素の面内増感信号ＶＡＬ（Ｆ１）、ＶＡＬ（Ｆ３）、ＶＡＬ（Ｆ４）を出力する。

第１乃至第４の画素選択部３５１〜３５４から出力された面内増感信号ＶＡＬ（Ｆ０）、ＶＡＬ（Ｆ１）、ＶＡＬ（Ｆ３）、ＶＡＬ（Ｆ４）は、信号分離部３５０から出力された面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）とともに、画素加算部３９へ供給される。

画素加算部３９は、第１乃至第４の画素選択部３５１〜３５４から出力された面内増感信号ＶＡＬ（Ｆ０）、ＶＡＬ（Ｆ１）、ＶＡＬ（Ｆ３）、ＶＡＬ（Ｆ４）と、信号分離部３５０から出力された面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）を加算する。

制御部１２は、画素加算部３９に、増感倍率Ｌｂ（Ｌｂ＝１〜５）を設定しており、画素加算部３９は、上記の加算に当たり、加算前の画素値に対して加算結果が所定の増感倍率Ｌｂを有するように、加算係数を掛ける。
増感信号Ｐｆ（Ｆ２，Ｐ３３）を求める演算は、下記の式で表される。
Ｐｆ（Ｆ２，Ｐ３３）
＝｛ＶＡＬ（Ｆ２，Ｐ３３）＋ＶＡＬ（Ｆ０）＋ＶＡＬ（Ｆ１）＋ＶＡＬ（Ｆ３）
＋ＶＡＬ（Ｆ４）｝×Ｌｂ／５

この加算により、注目フレームＦ２の注目画素Ｐ３３についての面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）に、注目フレームＦ２の前後の４フレームＦ０、Ｆ１、Ｆ３、Ｆ４内から各々１つずつ選択された、合計４つの、注目画素と相関の高い画素についての面内増感信号ＶＡＬ（Ｆ０）、ＶＡＬ（Ｆ１）、ＶＡＬ（Ｆ３）、ＶＡＬ（Ｆ４）が加算され、面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）を増感倍率Ｌｂで増感した三次元増感信号Ｐｆ（Ｆ２，Ｐ３３）が生成される。
生成された三次元増感信号Ｐｆは出力端子６０２を介して映像信号処理部７に供給される。

面内画素加算部２０の増感倍率Ｌａと面間画素加算部３０の増感倍率Ｌｂの積が三次元画素加算部６の増感倍率Ｌとなる。
増感倍率Ｌは、例えば、被写体照度との関係で定められる。
例えば、被写体照度が第１の所定の値（高照度側基準値）以上では、増感倍率Ｌは１と設定され、上記第１の所定の値よりも低い第２の所定の値（低照度側基準値）以下では、増感倍率を２０とし、高照度側基準値よりも低く、低照度側基準よりも高い範囲（中照度範囲）では、照度の低下とともに、増感倍率を次第に大きくする。

増感倍率Ｌを所望の値にするための増感倍率Ｌａ、Ｌｂの決定にあたっては、増感倍率Ｌａと増感倍率Ｌｂの比を一定に保つようにしても良い。代わりに、例えば、画像の動きが大きく、高い解像度がさほど必要とされないときは増感倍率Ｌａを比較的大きくし、増感倍率Ｌｂを比較的小さくし、逆に、画像の動きが少なく、解像度の高い画像が必要なときは増感倍率Ｌｂを比較的大きくし、増感倍率Ｌａを比較的小さくすることとしても良い。

面内画素加算部２０における画素加算に当たり、各画素の画素値に異なる値の加算係数を掛けて加重加算を行うこととしても良い。例えば、画素加算部５９５における加算にあたり、増感倍率Ｌａが１のときは、注目画素に対する加算係数を１とし、他の画素に対する加算係数を０とし、増感倍率Ｌａが最大値、例えば４のときは、すべての画素に対する加算係数を同じ値とし、増感倍率Ｌａが１と４の間では、増感倍率が１のときの値から、増感倍率Ｌａが最大値のときの値へ、加算係数を連続的に変化させるようにしても良い。

同様に、面間画素加算部３０における面内増感信号ＶＡＬの加算に当たり、各フレームの画素の画素値に異なる値の加算係数を掛けて加重加算を行うこととしても良い。例えば、増感倍率Ｌｂが１のときは、注目フレームの注目画素に対する加算係数を１とし、他のフレームの画素に対する加算係数を０とし、増感倍率Ｌｂが最大値、例えば５のときは、すべての画素に対する加算係数を同じ値とし、増感倍率Ｌｂが１と５の間では、増感倍率が１のときの値から、増感倍率Ｌｂが最大値のときの値へ、加算係数を連続的に変化させるようにしても良い。

なお、上記の例では、面内画素加算に当たり、４倍までの増感倍率Ｌａを設定した場合について説明したが、４倍以上に設定しても良い。４倍以上の増感倍率Ｌａを設定する場合には、階調落ちに注意する必要がある。
同様に、面間画素加算に当たり、５倍までの増感倍率Ｌｂを設定した場合について説明したが、５倍以上に設定しても良い。５倍以上の増感倍率Ｌｂを設定する場合には、階調落ちに注意する必要がある。

また、上記の例では、注目フレームの注目画素に対して、注目フレームの近傍の４つのフレームから一つずつ画素を選択して、合計で５つの画素についての面内増感信号を加算しているが、加算対象とする画素の選択に用いる近傍のフレームの数は４に限定されず、例えばより多くしても良く、逆により少なくしても良く、例えば注目フレームの１つ前のフレームのみ、或いは注目フレームの１つ後のフレームのみであっても良い。
より多数の近傍のフレームの画素を加算対象画素に含めれば、一層の高感度化を図ることができる。

また、色フィルタの画素配列は、ＲＧＢベイヤ配列の場合について説明したが、水平２画素、垂直２画素の４画素の配列を基本配列としていれば、インタライン配列でも、ストライプ配列でも、Ｙｅ画素、Ｍｇ画素、Ｇ画素、Ｃｙ画素の補色配列でも、Ｗ画素を使うものでも、他のいかなる色フィルタの組合せでも、本発明は適用可能であり、同様の効果が得られる。

以上撮像画像がカラー画像である場合について説明したが、本発明は撮像画像が白黒画像である場合にも適用可能である。
色フィルタが設けられておらず、白黒画像を生成することができる撮像素子の場合は、より近傍に位置する、相関の高い画素を加算することができるので、上記と同様の考え方で加算画素を決めることで解像度の低下を防ぎながら高感度化を図ることができる。

上記の実施の形態によれば、面内画素加算と面間画素加算を合わせて行うことで、面内画素加算のみの場合、或いは面間画素加算のみの場合に比べて、総合的な増感倍率を大きくすることができる。

また、面内画素加算に当たり、注目画素に相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上を実現することができる。

さらに、面間画素加算に当たり、注目フレームとの加算画素パターン符号の一致／不一致に基づいて面間画素加算のための加算対象画素を選択することとしたので、画像に動きがある場合にも、解像度を低下させることなく高感度化を図ることができる。

また、上記の例では、まず面内画素加算を行うことで面内増感信号を及び加算画素パターン符号を含む複合信号を生成し、これをフレーム遅延することで生成した信号を用いて面間画素加算を行うように構成したので、注目フレームの注目画素と相関の高い画素を用いた三次元増感を最小限の参照画素で実現でき、従って、回路規模の抑制、及び低コスト化を図ることができる。

さらにまた、同じフィルタ色の画素を加算するので、混色することなく高感度なカラー画像が得られる。

低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記の例で説明したように本発明は、空間的又は時間的に注目画素の近くに位置し、相関の高い画素を用いた画素加算で高感度化を行うので信号よりもノイズが相対的に小さくなる。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋な信号成分が大きくなる。

また、画素加算を撮像素子から出力された直後に(即ち映像信号処理部７による処理の前に)行うことにより、映像信号処理の影響を受けずに、画素加算による高感度信号の生成を行うことができる。映像信号処理の後段で画素加算を行うと、近傍に位置する画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。また、小振幅信号のまま、映像信号処理を行うので階調落ちの可能性がある。画素加算を撮像素子から出力された直後に（映像信号処理の前に）行うことにより、画像情報が損なわれる前に、画素加算して信号振幅を回復できるので、画像の細部の視認性が向上する効果がある。

また映像信号処理部７による映像信号処理では非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍の画像信号にならない可能性がある。上記した例では映像信号処理前に画素加算するように構成したので、２画素加算したら、２倍の画像信号になる効果がある。

さらにまた、フレーム周波数の低下を防止乃至抑制することができるので、動解像度の劣化はなく、水平解像度、垂直解像度の劣化は最小に抑えることができる。

実施の形態２．
上記の実施の形態１では、面間画素加算に当たり、注目フレームＦ２に対して１フレーム離れた（１フレーム期間後及び１フレーム期間前の）フレームＦ１、Ｆ３と、２フレーム離れた（２フレーム期間後及び２フレーム期間前の）フレームＦ０、Ｆ４のいずれについても注目フレームＦ２の加算画素パターン符号ＰＡＴとの一致／不一致、及び注目フレームＦ２の面内増感信号ＶＡＬとの相関に基づいて加算対象画素を選択している。

代わりに、注目フレームＦ２から２フレーム離れたフレームＦ０、Ｆ４では、注目フレームの注目画素ではなく、注目フレームの側で隣接するフレーム（直後又は直前のフレーム）Ｆ１、Ｆ３で加算対象画素として選択した画素との、加算画素パターン符号ＰＡＴとの一致／不一致、及び面内増感信号ＶＡＬとの相関に基づいて加算対象画素を選択することとしても良い。

具体的には、注目フレームＦ２の注目画素についての加算画素パターン符号ＰＡＴと面内増感信号ＶＡＬを参照して前フレームＦ３の加算対象画素を選択し、前フレームＦ３の加算対象画素についての加算画素パターン符号ＰＡＴと面内増感信号ＶＡＬを参照してさらに前のフレームＦ４の加算対象画素を選択する。
同様に、注目フレームＦ２の注目画素についての加算画素パターン符号ＰＡＴと面内増感信号ＶＡＬを参照して後フレームＦ１の加算対象画素を選択し、後フレームＦ１の加算対象画素についての加算画素パターン符号ＰＡＴと面内増感信号ＶＡＬを参照してさらに後のフレームＦ０の加算対象画素を選択する。
上記のようにして選択された、前後のフレームＦ０、Ｆ１、Ｆ３、Ｆ４の加算対象画素についての面内増感信号ＶＡＬを注目フレームＦ２の面内増感信号ＶＡＬに加算する。

このような処理を行うため、本実施の形態では、図１８の加算画素選択部３５の代わりに、図２１に示される加算画素選択部３５ｂが用いられる。
図２１の加算画素選択部３５ｂは図１８の加算画素選択部３５と概して同じであるが、図１８の画素選択部３５１〜３５４の代わりに、画素選択部６５１〜６５４を備えている。
画素選択部６５１〜６５４は、それぞれパターン判別部６６１〜６６４及び相関判別部６８１〜６８４を有する。

パターン判別部６６２及び６６３は、図１８のパターン判別部３６２及び３６３と概して同じであるが、それぞれの近傍フレームＦ１、Ｆ３内の画素についての面内増感信号ＶＡＬ、及び一致／不一致情報ＰＡＧに加えて、加算画素パターン符号ＰＡＴをも出力する。

具体的には、パターン判別部６６２は、図２２に示すように、判別部６６２１〜６６２５を有し、面内増感信号ＶＡＬ（Ｆ１，Ｐ４４）〜ＶＡＬ（Ｆ１，Ｐ２２）及び一致／不一致情報ＰＡＧ（Ｆ１，Ｐ４４）〜ＰＡＧ（Ｆ１，Ｐ２２）に加えて、加算画素パターン符号ＰＡＴ（Ｆ１，Ｐ４４）〜ＰＡＴ（Ｆ１，Ｐ２２）をも出力する。
そのため、判別部６６２１〜６６２５の各々は以下のように構成されている。

例えば、判別部６６２１は、図２３に示されるように、信号分離部６６２１１と判定部６６２１２を備える。

信号分離部６６２１１は、図２０の信号分離部３６１１１と同様に構成されており、複合信号ＭＩＸ（Ｆ１，Ｐ４４）を面内増感信号ＶＡＬ（Ｆ１，Ｐ４４）と加算画素パターン符号ＰＡＴ（Ｆ１，Ｐ４４）とに分離する。
信号分離部６６２１１から出力された加算画素パターン符号ＰＡＴ（Ｆ１，Ｐ４４）は、判定部６６２１２に供給されるのみならず、相関判別部６８２に出力される。

判定部６６２１２は図２０の判定部３６１１２と同様に構成されており、加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）と信号分離部６６２１１から供給された加算画素パターン符号ＰＡＴ（Ｆ１，Ｐ４４）との一致／不一致の判定を行って、一致／不一致情報ＰＡＧ（Ｆ１，Ｐ４４）を出力する。

他の判別部６６２２〜６６２５も同様に構成され、面内増感信号ＶＡＬ（Ｆ１，Ｐ２４）〜ＶＡＬ（Ｆ１，Ｐ２２）及び一致／不一致情報ＰＡＧ（Ｆ１，Ｐ２４）〜ＰＡＧ（Ｆ１，Ｐ２２）に加えて加算画素パターン符号ＰＡＴ（Ｆ１，Ｐ２４）〜ＰＡＴ（Ｆ１，Ｐ２２）を相関判別部６８２に出力する。

相関判別部６８２は、パターン判別部６６２から供給されたフレームＦ１内の画素についての面内増感信号ＶＡＬ（Ｆ１，Ｐ４４）〜ＶＡＬ（Ｆ１，Ｐ２２）、及び一致／不一致情報ＰＡＧ（Ｆ１，Ｐ４４）〜ＰＡＧ（Ｆ１，Ｐ２２）と、信号分離部３５０から供給された、注目フレームＦ２の注目画素Ｐ３３についての面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）に基づいて、フレームＦ１の加算対象画素を選択して、選択された画素についての面内増感信号を、フレームＦ１についての選択された面内増感信号ＶＡＬ（Ｆ１）として相関判別部６８１に出力する。
これとともに、選択された画素についての加算画素パターン符号ＰＡＴ（Ｆ１）をパターン判別部６６１に供給する。

パターン判別部６６１は、図２４に示されるように、判別部６６１１〜６６１５を有し、注目画素についての加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）の代わりに、フレームＦ１から選択された画素についての加算画素パターン符号ＰＡＴ（Ｆ１）を用いて、画素抽出部２１から供給されたフレームＦ０の画素についての加算画素パターン符号と一致するか否かの判定を行って、判定結果を示す一致／不一致情報ＰＡＧ（Ｆ０，Ｐ４４）〜ＰＡＧ（Ｆ０，Ｐ２２）を出力する。

そのため、判別部６６１１〜６６１５の各々は以下のように構成されている。
例えば、判別部６６１１は、図２５に示されるように、信号分離部６６１１１と判定部６６１１２を備える。

信号分離部６６１１１は、図２０の信号分離部３６１１１と同様に構成されており、複合信号ＭＩＸ(Ｆ０，Ｐ４４)を面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）と加算画素パターン符号ＰＡＴ（Ｆ０，Ｐ４４）とに分離する。

判定部６６１１２は、図２０の判定部３６１１２と同様に構成されているが、加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）の代わりに、加算画素パターン符号ＰＡＴ（Ｆ１）を用いて、信号分離部６６１１１から供給された加算画素パターン符号ＰＡＴ（Ｆ０，Ｐ４４）との一致／不一致の判定を行って、一致／不一致情報ＰＡＧ（Ｆ０，Ｐ４４）を出力する。

他の判別部６６１２〜６６１５も同様に構成され、面内増感信号ＶＡＬ（Ｆ２，Ｐ２４）〜ＰＡＧ（Ｆ２，Ｐ２２）及び一致／不一致情報ＰＡＧ（Ｆ２，Ｐ２４）〜ＰＡＧ（Ｆ２，Ｐ２２）を相関判別部６８１に出力する。

相関判別部６８１は、信号ＶＡＬ（Ｆ２，Ｐ３３）の代わりに、信号ＶＡＬ（Ｆ１）を用いて、対応するパターン判別部６６１から供給された信号ＶＡＬ（Ｆ０，Ｐ４４）〜ＶＡＬ（Ｆ０，Ｐ２２）との相関を算出して、加算対象画素を選択して、選択された画素についての面内増感信号ＶＡＬを当該フレームＦ０についての選択された面内増感信号ＶＡＬ（Ｆ０）として出力する。

パターン判別部６６３及び相関判別部６８３は、パターン判別部６６２及び相関判別部６８２と同様に構成され、信号分離部３５０から、注目フレームの注目画素についての加算画素パターン符号ＰＡＴ（Ｆ２，Ｐ３３）及び面内増感信号ＶＡＬ（Ｆ２，Ｐ３３）を受け、画素抽出部２１からの、フレームＦ３の複合信号ＭＩＸ（Ｆ３，Ｐ４４）〜ＭＩＸ（Ｆ３，Ｐ２２）に対して同様の処理を行って、フレームＦ３についての面内増感信号ＶＡＬ（Ｆ３）を出力する。

パターン判別部６６４及び相関判別部６８４は、パターン判別部６６１及び相関判別部６８１と同様に構成され、相関判別部６８３から、フレームＦ３の選択された画素についての加算画素パターン符号ＰＡＴ（Ｆ３）及び面内増感信号ＶＡＬ（Ｆ３）を受け、画素抽出部２１からの、フレームＦ４の複合信号ＭＩＸ（Ｆ４，Ｐ４４）〜ＭＩＸ（Ｆ４，Ｐ２２）に対して同様の処理を行って、フレームＦ４についての面内増感信号ＶＡＬ（Ｆ４）を出力する。

以上のような処理を行うことで、画像の動き考慮した加算対象画素の選択をより適切に行うことができ、動きぼけによる解像度低下を抑制することができる。

以上、注目フレームの近傍のフレームが注目フレームに隣接する２つのフレームと、注目フレームから２フレーム離れた２つのフレームから成る場合について説明したが、注目フレームから３フレーム以上離れたフレームが含まれる場合にも本実施の形態を適用することができる。
この場合、各フレームについては、それに対して注目フレーム側で隣接する他のフレームについての加算画素パターン符号ＰＡＴ及び面内増感信号ＶＡＬを用いて当該フレームにおける画素の選択を行う。

即ち、パターン判別部が、各フレーム（例えば注目フレームからｍフレーム（ｍは正の整数）離れたフレーム）内の画素についての加算画素パターン符号ＰＡＴが、当該フレームに対して注目フレーム側で隣接する他のフレーム（注目フレームから（ｍ−１）フレーム離れたフレーム）において選択された画素についての加算画素パターン符号ＰＡＴと一致するか否かの判定を行い、相関判別部が、当該フレーム（注目フレームからｍフレーム離れたフレーム）内の画素についての面内増感信号ＶＡＬと、当該フレームに対して注目フレーム側で隣接する他のフレーム（注目フレームから（ｍ−１）フレーム離れたフレーム）において選択された画素についての面内増感信号ＶＡＬとの相関性と、上記パターン判別部での判定結果とに基づいて、当該フレーム内において、注目画素位置及びその周辺位置する画素のうちのいずれかを選択することとすれば良い。

実施の形態３．
上記の実施の形態１では、面内画素加算部２０が信号結合部２４を有して、複合信号ＭＩＸを出力し、面間画素加算部３０の画素抽出部３１が、複合信号ＭＩＸを互いに異なる時間だけ遅延させて注目フレームの注目画素及び近傍フレームの注目画素位置及びその周辺の位置の画素についての複合信号ＭＩＸを同時に抽出しているが、面内画素加算部２０が信号結合部２４を有さず、加算画素パターン符号ＰＡＴ及び面内増感信号ＶＡＬを結合せずに（但し互いに関連付けて）出力し、図２６に示される面間画素加算部３０ｂを用いることとしても良い。

図２６の面間画素加算部３０ｂは図１６の面間画素加算部３０と概して同じであるが、図１６の画素抽出部３１の代わりに、加算画素パターン符号ＰＡＴを互いに異なる時間だけ遅延させて注目フレームの注目画素及び近傍フレームの注目画素位置及びその周辺の位置の画素についての加算画素パターン符号ＰＡＴ（Ｆ０，Ｐ４４）〜ＰＡＴ（Ｆ４，Ｐ２２）を同時に抽出するパターン符号抽出部３１ｐを有するとともに、面内増感信号ＶＡＬを互いに異なる時間だけ遅延させて注目フレームの注目画素及び近傍フレームの注目画素位置及びその周辺の位置の画素についての面内増感信号ＶＡＬ（Ｆ０，Ｐ４４）〜ＶＡＬ（Ｆ４，Ｐ２２）を同時に抽出する面内増感信号抽出部３１ｖを備える。

また、面間画素加算部３０内の信号分離部３５０（図１６）は用いられず、加算画素選択部３５の代わりに加算画素選択部３５ｃが用いられる。
加算画素選択部３５ｃは、図１８の加算画素選択部３５と同様のものであるが、パターン判別部３６１〜３６４の各々の判別部（図１９の判別部３６１１〜３６１５に相当するもの）に信号分離部（図２０の符号３６１１１）が設けられておらず、パターン符号抽出部３１ｐから供給される近傍フレームの各画素についての加算画素パターン符号ＰＡＴと、注目フレームの注目画素についての加算画素パターン符号ＰＡＴとを、判定部（図２０の判定部３６１１２に相当するもの）で比較して比較結果を出力する。

実施の形態４．
上記の実施の形態１において、固体撮像素子として図１のようにＣＣＤ撮像素子２を使った構成について説明したが、２次元イメージセンサであればＣＣＤ撮像素子に限らず、ＣＭＯＳ撮像素子でも、どのようなものでも良い。またインターライントランスファーＣＣＤに限らず、フレームトランスファーＣＣＤでもフレームインターライントランスファーＣＣＤであっても良い。

図２７に、ＣＭＯＳ撮像素子１４を使った構成を示す。ＣＭＯＳ撮像素子は、撮像機能単体のデバイスの場合もあるし、周辺機能を集積したデバイスの場合もある。
図２７は、周辺機能を集積したＣＭＯＳ撮像素子の場合について示す。
図１のＣＣＤ撮像素子２、相関二重サンプリング処理部３、プログラマブル利得増幅部４、Ａ／Ｄ変換部５、タイミング発生部１０の持つ機能は、ＣＭＯＳ撮像素子１４の中に含まれており、ＣＭＯＳ撮像素子１４のみにより、図１の撮像信号生成部１３と同等の機能を有するもの、即ち被写体の撮像による撮像の結果得られる複数の色成分の撮像信号を生成する撮像信号生成部１３ｂが構成されている。

実施の形態５．
図２８は本発明の実施の形態５による撮像装置を示す。図２８において、検波部１５が付加されていること、及び図１の制御部１２の代わりに制御部１２ｂが設けられている点を除き、実施の形態１の説明と同様であり、同様な効果を奏する。

検波部１５は、三次元画素加算部６から出力された信号Ｐｆの大きさを検波し、信号振幅のレベル、例えば平均レベルの検出値ＡＳＡを求め、照度情報として出力する。

検波部１５は、上記の検波において、全有効画素の画素値の総和を全有効画素数で除算することで信号振幅の平均レベルの算出値ＡＳＡを求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」とも言う。

なお、上記の信号振幅の平均レベル算出における全有効画素数での除算は、画素数が２のｎ乗（ｎは整数）で与えられるときは、デジタル値のビットシフト処理で実現しても良い。また全有効画素数は、同じシステムでは定数であるので全有効画素数の除算を省略しても良い。

制御部１２ｂは、実施の形態１の制御部１２と同様であるが、以下のように付加的な機能を有する。即ち、制御部１２ｂは、検波部１５から供給された信号振幅の平均レベルの検出値ＡＳＡに基づいて、レンズ１の絞りの制御、タイミング発生部１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅部４の増幅利得の制御、並びに三次元画素加算部６の画素加算処理の制御を行う。
さらに、映像信号処理部７は、垂直走査周期毎に三次元画素加算部６の出力に含まれるノイズのレベルを算出し、制御部１２ｂへ供給する。

なお、検波部１５は、信号振幅の平均レベルの算出及びノイズレベルの算出を、垂直走査周期毎に行う代わりに、検波部１５及び映像信号処理部７内部の信号処理時間並びに検波部１５及び映像信号処理部７から制御部１２ｂへの伝送時間を考慮して、数回の垂直走査に１回だけ行うようにしても良い。

また、検波部１５は、信号振幅の平均レベルを算出する代わりに、信号振幅のピーク検波とする場合もある。検波部１５の出力は、着目する被写体の視認性が高くなるように生成する。例えば、ハイライト部分を白く飽和させたくない場合は、ピーク検波とし、ハイライト部分が白く飽和しても中間階調がはっきり見えれば良い場合は、平均値検波とする。

以下で詳しく述べるように、三次元画素加算部６による感度制御も露光制御の一環として制御できるので、照度環境が変化しても、常に最適な条件で被写体を視認できる画像が得られる効果がある。また、三次元画素加算部６で、加算係数を変えることで、信号振幅を調整することも可能である。

制御部１２ｂは、検波部１５から得られる信号振幅の平均レベルの検出値ＡＳＡが一定となるように自動露光制御を行う。明るい環境での撮像で上記信号振幅が大きい時、制御部１２ｂは、レンズ１の開口を絞るように制御してＣＣＤ撮像素子２への入射光量を減らしたり、タイミング発生部１０による電荷強制排出タイミングの調整で、ＣＣＤ撮像素子２の光電変換素子に蓄積される電荷を強制排出するように制御して露光時間を減らしたりする。

暗い環境での撮像で上記信号振幅が小さくなってきた時、制御部１２ｂは、プログラマブル利得増幅部４の増幅利得を増やすように制御して撮像信号を増幅する。しかしながら、上記増幅利得が大き過ぎるとノイズが目立つようになり画質が低下する。他の方法として、制御部１２ｂは、ＣＣＤ撮像素子２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間を延ばすこともできる。しかしながら、露光時間が長すぎると動く被写体が残像となり画質が低下する。さらに垂直走査周期単位で欠落する画像の補間（フレーム補間）を行なう部が必要になる。

実施の形態１と同様に、本実施の形態の制御部１２ｂは、三次元画素加算部６への増感倍率Ｌを変更することができ、例えば１倍から２０倍に設定する。増感倍率Ｌの設定（調整）は、検波部１５からの照度情報並びに露光パラメータに基づいて行われる。設定された増感倍率Ｌに基づいて、面内画素加算での増感倍率Ｌａ及び面間画素加算での増感倍率Ｌｂが定められる。
実施の形態１で述べたように、設定された増感倍率Ｌａに応じて面内画素加算部２０の画素加算部５９５での画素加算に用いられる加算係数が調整され、設定された増感倍率Ｌｂに応じて面間画素加算部３０の画素加算部３９での画素加算に用いられる加算係数が調整される。従って、照度情報に基づいて面内画素加算における加算係数及び面間画素加算における加算係数が調整される。

以下、被写体照度が変化したときの感度調整のための手順の一例を説明する。まず、露光時間は一定値（標準露光時間）Ｔｒに維持するものとして説明する。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ＡＳＡが下がってくると(図２９（ｅ）)、レンズ１の絞りを開放方向に制御して（図２９（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、三次元画素加算部６の出力の信号振幅の平均レベル、従って検波部１５の出力で表される、信号振幅の平均レベルＡＳＡを維持することを意味する。

レンズ１の絞りが開放（全開）になった後は、プログラマブル利得増幅部４の増幅利得を増やすように制御して（図２９（ｂ）の範囲Ｓｂ）、信号振幅の平均レベルを維持する。プログラマブル利得増幅部４の増幅利得が大きくなり、増幅利得の所定の上限値ＵＧＬよりも大きくなった後は、三次元画素加算部６の増感倍率Ｌを大きくなるように制御して（図２９（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルを維持する。

増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝２０）となるまで可能である。それよりもさらに被写体照度が低下すると、平均レベルＡＳＡは低下を開始する。

標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが１であるときに三次元画素加算部６の出力が所定のレベルとなる照度ＨＬを高照度側基準値とし、高照度基準値ＨＬの１／２０の照度、即ち、標準露光時間Ｔｒにおいて、レンズ絞りを開放とし、増幅利得を最大とし、増感倍率Ｌが２０であるときに三次元画素加算部６の出力が所定のレベルとなる照度ＬＬを、低照度側基準値とする。

被写体照度が徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、三次元画素加算部６の増感倍率Ｌを減らすように制御して（図２９（ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを維持する。増感倍率Ｌが１倍まで小さくなると、次にプログラマブル利得増幅部４の増幅利得を減らすように制御して、信号振幅の平均レベルＡＳＡを維持する。プログラマブル利得増幅部４の増幅利得が減少し（図２９（ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬよりも小さくなった後は、レンズ１の絞りを遮光方向に制御して（図２９（ａ）の範囲Ｓａ）、信号振幅の平均レベルを維持する（図２９（ｅ））。さらに照度が高くなると、平均レベルＡＳＡは上昇する。

以上の制御を行う結果、図２９（ｅ）に実線で示すように、下限ＬＬから上限ＵＬまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。

なお、露光時間を一定としたが、被写体の照度に応じて露光時間をも制御しても良い。例えば、照度が低下して、増感倍率Ｌが最大値になってもなおも、信号振幅が十分な値とならないときに、露光時間を長くすることとしても良い（図２９（ｄ）の範囲Ｓｄ）。逆に、照度が高くなり、絞りを最大に絞っても（Ｆ値を最も高くしても）、信号振幅が大きすぎる場合には、露光時間を短くしても良い（図２９（ｄ）の範囲Ｓｅ）。
このような露光時間の制御を加えると、図２９（ｅ）に点線で示すように、下限ＬＬｅから上限ＵＬｅまでの範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。

上記増幅利得の所定の上限値ＵＧＬは、映像信号処理部７で検出されるノイズレベルの検出値ＡＮＬに基づいて決まる。（被写体照度が低下し、それに伴い撮像素子２の出力のＳ／Ｎが低下した場合に増幅利得を増加させる必要があることを考慮し、）ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第１の所定のノイズ割合、即ち許容上限値）ＮＰＲ１に達したときのプログラマブル利得増幅部４の増幅利得を上記所定の上限値ＵＧＬとする。上記第１の所定のノイズ割合ＮＰＲ１は例えば１／５０と定められる。

ノイズレベルの算出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理部７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御部１２ｂは、プログラマブル利得増幅部４に設定している利得、及び検波部１５から制御部１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅部４及び三次元画素加算部６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして、撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御部１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅部４及び三次元画素加算部６を制御するようにしても良い。

上記増幅利得の所定の下限値ＬＧＬは、映像信号処理部７から制御部１２ｂへ供給されるノイズレベルの検出値ＡＮＬに基づいて決まる。ノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して所定のノイズ割合（第２の所定のノイズ割合）ＮＰＲ２を下回ったときのプログラマブル利得増幅部４の増幅利得を上記所定の下限値ＬＧＬとする。上記第２の所定のノイズ割合は、上記第１の所定のノイズ割合ＮＰＲ１と三次元画素加算部６による感度倍率（２０倍）に基づいて決める。例えば、上記第２の所定のノイズ割合ＮＰＲ２は、１／１０００（＝（１／５０）×（１／２０））と定められる。

用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御部１２ｂは、プログラマブル利得増幅部４に設定している利得、及び検波部１５から制御部１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅部４及び三次元画素加算部６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして、撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御部１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅部４及び三次元画素加算部６を制御するようにしても良い。

制御部１２ｂは、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅部４の増幅利得、三次元画素加算部６における画素加算による信号振幅調整機能を制御して信号振幅の平均レベル（三次元画素加算部６の出力の信号振幅の平均レベル）を維持する。

以上のような制御を行っているので、検波部１５の出力に対し、露光制御パラメータに基づく逆算を行うことで得られる換算値は、被写体の照度に対応した値である。即ち、そのような逆算によって得られた照度が高照度側基準値以上か、低照度側輝度値以下か、それらの基準値の間の範囲にあるかを判断し、判断結果に応じ画素加算の制御（増感感度の調整）を行うことができる。

上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御、露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。

また、画素加算部において、加算する画素の数ではなく加算係数で増感倍率を設定できるように構成し、増感倍率Ｌを整数に限らず小数を含む値で設定できることとしたので、露光制御の中で、画素加算制御も加算係数を小数点以下の値をも使ってシームレスに切替えられ、照度変化の過程で、画像の明るさが急変することなく見やすい画像が出力できる効果がある。

実施の形態６．
図３０は本発明の実施の形態６による撮像装置を示す。図３０において、測光部１７が付加されている点、及び制御部１２の代わりに制御部１２ｃが設けられている点を除き、実施の形態１と同様であり、同様な効果を奏する。

測光部１７は、レンズ１への光の入射方向の被写体照度を測光する。測光部１７の照度センサ（図示せず）の取り付け及び位置決めはレンズの光軸に基づいて決められ、レンズ１が撮像する被写体の照度を測光する。

制御部１２ｃは、実施の形態１の制御部１２と同様であるが、以下のように付加的な機能を有する。即ち、制御部１２ｃは、測光部１７から供給された照度値に基づいて、レンズ１の絞りの制御、タイミング発生部１０が発生するＣＣＤ撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（従って、電荷蓄積時間、即ち露光時間の制御）、プログラマブル利得増幅部４の増幅利得の制御、並びに三次元画素加算部６の画素加算処理の制御を行う。

制御部１２ｃは、記憶部１６内に保持されている設定値テーブルに従って、レンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅部４の増幅利得、三次元画素加算部６の増感倍率の設定を行う。
設定値テーブルには、照度値ごとにレンズ１の絞り、ＣＣＤ撮像素子２の露光時間、プログラマブル利得増幅部４の増幅利得、三次元画素加算部６の増感倍率が登録されている。

照度が明るいときは、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅部４の増幅利得は１倍に、三次元画素加算部６の増感倍率Ｌは１倍に設定してレンズ１の絞りを絞っていく（図２９（ａ）の範囲Ｓａ）。レンズ１が最大絞りになって照度がさらに明るくなると、撮像素子２の露光時間を標準露光時間Ｔｒから短く制御する（図２９(ｄ）の範囲Ｓｅ）。

照度が暗くなると、撮像素子２の露光時間はフレームレートに基づく標準露光時間Ｔｒに、プログラマブル利得増幅部４の増幅利得は１倍に、三次元画素加算部６の増感倍率Ｌは１倍に設定してレンズ１の絞りを開いていく（図２９（ａ）の範囲Ｓａ）。レンズ１が絞り開放になって照度がさらに暗くなると、プログラマブル利得増幅部４の増幅利得を１倍から大きくしていく（図２９（ｂ）の範囲Ｓｂ）。プログラマブル利得増幅部４の増幅利得が、上記の上限値（三次元画素加算部６の出力に含まれるノイズのレベルが上記の第１の所定の割合に達したときの増幅利得の値、即ち、該ノイズレベルが上記の第１の所定の割合（許容範囲の上限値）を超えないという条件を満たす最大利得値）となって照度がさらに暗くなると、三次元画素加算部６の増感倍率を１倍から大きくしていく（図２９（ｃ）の範囲Ｓｃ）。さらに暗くなると、露光時間を長くする（図２９（ｄ）の範囲Ｓｄ）。

上記のように構成したので、露光制御の中で、絞り制御、増幅利得制御、画素加算制御及び露光時間制御を順番に切替えることで、視認性の良い最適な明るさの画像を出力することができる効果がある。

なお、実施の形態５及び６において、増感倍率を最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率を大きくすることとしても良く、増感倍率を大きくする制御と露光時間を長くする制御を平行して行っても良い。

１レンズ、２ＣＣＤ撮像素子、３相関二重サンプリング処理部、４プログラマブル利得増幅部、５Ａ／Ｄ変換部、６三次元画素加算部、７映像信号処理部、８映像信号出力端子、９駆動部、１０タイミング発生部、１１同期信号発生部、１２、１２ｂ、１２ｃ制御部、１３、１３ｂ撮像信号生成部、１４ＣＭＯＳ撮像素子、１５検波部、１６記憶部、１７測光部、２０面内画素加算部、３０面間画素加算部、２１画素抽出部、２２領域選択部、２３選択加算部、２４信号結合部、３１画素抽出部、３５加算画素選択部、３９画素加算部、３５０信号分離部、
３５１〜３５４、６５１〜６５４画素選択部、
３６１〜３６４、６６１〜６６４パターン判別部、
３８１〜３８４、６８１〜６８４相関判別部、
５７０画素選択部、５７１〜５８２変化幅算出部、５８５最小値算出部、５８７画素指定部、５９０相関領域検出部、５９３画素選択部、５９５画素加算部、
３６１１〜３６１５、６６１１〜６６１５判別部、
３６１１１、６６１１１、６６１２１信号分離部、
３６１１２、６６１１２、６６１２２判定部。

Claims

撮像を行って、時間的に連続するフレームの各々を構成する複数の画素の、画素毎の画素値を示す撮像信号を生成する撮像信号生成部と、
前記撮像信号生成部で生成された撮像信号に基づいて、前記連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素の画素値との相関性が高い画素値を有する画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する面内画素加算部と、
前記面内画素加算部が出力する前記面内増感信号を有する画素で構成される、互いに連続するフレームを順次注目フレームとして指定し、前記注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する１又は２以上のフレームの各々から、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素の前記面内増感信号との相関性が高い前記面内増感信号を有する画素を選択し、前記１又は２以上の近傍のフレームの各々から選択された画素についての前記面内増感信号と前記注目画素についての前記面内増感信号を加算して加算結果を三次元増感信号として出力する面間画素加算部と
を有する撮像装置。
前記面内画素加算部は、
各々前記指定された画素とその周辺の画素で形成される、予め定められた複数の領域のうち、相互間の相関性が高い画素から成る領域を選択し、選択された領域内の画素の位置を示す加算画素位置情報と、選択された領域のパターンを示す加算画素パターン符号を出力する領域選択部と、
前記指定された画素の撮像信号について、前記領域選択部で選択された領域に含まれる画素の撮像信号を加算することで得られる加算結果を当該指定された画素についての面内増感信号として出力する選択加算部とを有し、
前記面間画素加算部は、
前記近傍のフレームうちの少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号及び前記加算画素パターン符号と、前記注目画素についての前記面内増感信号及び前記加算画素パターン符号との比較の結果に基づいて、当該フレームから一つの画素を選択する
ことを特徴とする請求項１に記載の撮像装置。
前記パターンは前記指定された画素及びその周辺の画素から成る領域の、前記指定された画素に対する相対的位置又は方位によって定義されるものであることを特徴とする請求項２に記載の撮像装置。
前記パターンは前記指定された画素及びその周辺の画素から成る領域の、形状によっても定義されるものであることを特徴とする請求項３に記載の撮像装置。
前記面間画素加算部は、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の中に、前記注目画素と前記加算画素パターン符号が同じである画素が存在する場合には、前記加算画素パターン符号が一致する画素のうちで、前記注目画素の前記面内増感信号との相関性が最も高い前記面内増感信号を有する画素を選択し、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素と前記加算画素パターン符号が同じである画素が存在しない場合には、前記注目画素と同じ位置及びその周辺に位置する画素のうちで、前記注目画素の前記面内増感信号との相関性が最も高い前記面内増感信号を有する画素を選択する
ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
前記面内画素加算部は、
前記撮像信号生成部で生成された撮像信号を互いに異なる時間だけ遅延させて、前記指定された画素とその周辺の画素の画素値を表す信号を同時に抽出する画素抽出部をさらに有し、
前記領域選択部は、
前記画素抽出部で抽出された画素のうちの、前記指定された画素と、その周辺に位置する１又は２以上の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを、前記相関性が高い画素から成る領域を構成するものとして選択する
ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
前記面間画素加算部は、
前記面内画素加算部から出力された前記加算画素パターン符号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記加算画素パターン符号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記加算画素パターン符号を同時に抽出するパターン符号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と
を備えることを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
前記面間画素加算部は、
前記面内画素加算部から出力された前記面内増感信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記面内増感信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号を同時に抽出する面内増感信号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記面内増感信号と前記注目フレームの前記注目画素についての前記面内増感信号との相関性に基づいて当該フレーム内において、前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項７に記載の撮像装置。
前記面内画素加算部は、
前記面内増感信号と、前記加算画素パターン符号とを結合して、複合信号を生成して出力する信号結合部を有し、
前記面間画素加算部は、
前記面内画素加算部の前記信号結合部から出力された前記複合信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記複合信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記複合信号を同時に抽出する抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々ついての前記複合信号に含まれる前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記複合信号に含まれる前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記複合信号に含まれる前記面内増感信号と前記注目フレームの前記注目画素についての前記複合信号に含まれる前記面内増感信号との相関性と、前記パターン判別部での判定結果とに基づいて当該フレーム内において前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
前記近傍のフレームは、前記注目フレームに隣接するフレームのみならず、前記注目フレームから２フレーム以上離れたフレームをも含み、
前記パターン判別部は、
前記注目フレームから２フレーム以上離れたフレーム内の画素についての前記加算画素パターン符号が、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記加算画素パターン符号と一致するか否かの判定を行い、
前記相関判別部は、前記注目フレームから２フレーム以上離れたフレーム内の画素についての前記面内増感信号と、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記面内増感信号との相関性と、前記パターン判別部での判定結果とに基づいて、当該フレーム内において、前記注目画素と同じ位置及びその周辺位置する画素のうちのいずれかを選択する
ことを特徴とする請求項８又は９に記載の撮像装置。
前記近傍のフレームは、
前記注目フレームに対して１フレーム期間前のフレーム及び１フレーム期間後のフレームの少なくとも一方を含む
ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
前記近傍のフレームは、
前記注目フレームに対して１フレーム期間前のフレームと、
前記注目フレームに対して２フレーム期間前のフレームと、
前記注目フレームに対して１フレーム期間後のフレームと、
前記注目フレームに対して２フレーム期間後のフレームとを含む
ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
前記面内画素加算部における画素値の加算、及び前記面間画素加算部における前記面内増感信号の加算の少なくとも一方は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御部とをさらに備える
ことを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。