JP6066942B2 - 画像処理装置 - Google Patents

Description

この発明は、例えば、ＣＣＤ画像センサやＣＭＯＳ画像センサなどの固体撮像素子から出力された撮像信号（画像データ）に対する画像処理を実施する画像処理装置に関するものである。

近年、ＣＣＤ画像センサやＣＭＯＳ画像センサなどの固体撮像素子を搭載しているディジタル方式のカラー撮像装置（例えば、ディジタルビデオカメラ、ディジタルスチルカメラなど）が普及している。
また、近年の技術の進歩に伴って、カラー撮像装置に搭載される固体撮像素子の画素数が多くなってきており、また、固体撮像素子の各ピクセルが微細になってきている。これにより、解像度の向上が図られているが、そのトレードオフとして、固体撮像素子の感度が低くなっている。
このため、暗所や夜間における撮影時に適度な感度を得ることができないことがある。また、固体撮像素子から出力された撮像信号を増幅する必要があるが、適度な感度が得られていない状況下では、固体撮像素子から出力された撮像信号に多くのノイズが含まれており、そのノイズも同時に増幅してしまうことがある。

以下の特許文献１には、ビデオメモリーを用いる３次元（時間軸）ノイズリダクションを実施することで、固体撮像素子から出力された画像データに含まれているノイズを低減する３Ｄ−ＤＮＲ処理部を備える画像処理装置が開示されている。
また、以下の特許文献２には、現フレームの画像データと、１フレーム前の画像データと、２フレーム前の画像データとを用いて、画素値を加算する画素加算処理を実施することで、現フレームの画像データの感度を高める画素加算処理部を備える画像処理装置が開示されている。

ここで、特許文献１に開示されている３Ｄ−ＤＮＲ処理部と、特許文献２に開示されている画素加算処理部とを適宜組み合わせて、画像処理装置を構成することが可能であるとすれば、ノイズの低減と、画像データの感度の向上とを図ることができる。
ただし、３Ｄ−ＤＮＲ処理部がノイズの低減処理を実施する際には、固体撮像素子から出力された現フレームの画像データの他に、１フレーム前の画像データを必要とする。また、画素加算処理部が画素加算処理を実施する際には、上述したように、現フレームの画像データと、１フレーム前の画像データと、２フレーム前の画像データとを必要とする。
このため、各フレームの画像データを格納するフレームメモリを搭載するとともに、３Ｄ−ＤＮＲ処理部及び画素加算処理部とフレームメモリの間で画像データの入出力を行うメモリ制御部を搭載する必要がある。

メモリ制御部は、３Ｄ−ＤＮＲ処理部がノイズの低減処理を実施する際、フレームメモリから１フレーム前の画像データを読み出して、１フレーム前の画像データを３Ｄ−ＤＮＲ処理部に出力するデータリード処理と、３Ｄ−ＤＮＲ処理部によるノイズ低減処理後の現フレームの画像データをフレームメモリに書き込むデータライト処理とを実施する。
また、メモリ制御部は、画素加算処理部が画素加算処理を実施する際、フレームメモリから１フレーム前の画像データを読み出して、１フレーム前の画像データを画素加算処理部に出力するデータリード処理と、フレームメモリから２フレーム前の画像データを読み出して、２フレーム前の画像データを画素加算処理部に出力するデータリード処理と、画素加算処理部による画素加算処理後の画像データをフレームメモリに書き込むデータライト処理とを実施する。
したがって、３Ｄ−ＤＮＲ処理部によるノイズ低減処理と、画素加算処理部による画素加算処理とが完了するまでに、合計５回のリード／ライト処理（３回のデータリード処理と、２回のデータライト処理）を実施する必要がある。

特開２００６−１９７４５５号公報（段落番号［００１５］） 特開２００５−４５４３５号公報（段落番号［０００７］）

従来の画像処理装置は以上のように構成されているので、メモリ制御部が、３Ｄ−ＤＮＲ処理部によるノイズ低減処理と、画素加算処理部による画素加算処理とが完了するまでに、合計５回のリード／ライト処理を実施する必要がある。したがって、合計５回のリード／ライト処理を実施するための広いメモリ帯域幅が必要であるため、大きな容量のメモリを搭載しなければならない課題があった。

この発明は上記のような課題を解決するためになされたもので、メモリ帯域幅を削減して、メモリ容量を低減することができる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、固体撮像素子から出力された現フレームの画像データと１フレーム前の画像データを用いて、現フレームの画像データに含まれているノイズを低減するノイズ低減処理を実施するノイズ低減手段と、ノイズ低減手段によるノイズ低減処理後の現フレームの画像データと、ノイズ低減手段によるノイズ低減処理後の１フレーム前及びノイズ低減処理後の２フレーム前の画像データとを用いて、ノイズ低減処理後の現フレームの画像データの感度を高める感度向上手段と、ノイズ低減手段によるノイズ低減処理後の画像データを格納するフレームメモリと、ノイズ低減手段及び感度向上手段とフレームメモリの間で画像データの入出力を行う入出力制御手段とを備え、入出力制御手段が、フレームメモリからノイズ低減処理後の１フレーム前の画像データを読み出して、ノイズ低減処理後の１フレーム前の画像データをノイズ低減手段及び感度向上手段に出力するとともに、フレームメモリからノイズ低減処理後の２フレーム前の画像データを読み出して、ノイズ低減処理後の２フレーム前の画像データを感度向上手段に出力する一方、ノイズ低減手段によるノイズ低減処理後の現フレームの画像データをフレームメモリに書き込むようにしたものである。

この発明によれば、入出力制御手段が、フレームメモリからノイズ低減処理後の１フレーム前の画像データを読み出して、ノイズ低減処理後の１フレーム前の画像データをノイズ低減手段及び感度向上手段に出力するとともに、フレームメモリからノイズ低減処理後の２フレーム前の画像データを読み出して、ノイズ低減処理後の２フレーム前の画像データを感度向上手段に出力する一方、ノイズ低減手段によるノイズ低減処理後の現フレームの画像データをフレームメモリに書き込むように構成したので、ノイズ低減処理と画素加算処理が完了するまでに、合計３回のリード／ライト処理を実施すれば足りるようになり、その結果、メモリ帯域幅を削減することができるため、メモリ容量を低減することができる効果がある。

この発明の実施の形態１による画像処理装置を示す構成図である。 画像処理装置を構成するコンピュータのハードウェア構成図である。 この発明の実施の形態１による画像処理装置の３Ｄ−ＤＮＲ処理部２２を示す構成図である。 この発明の実施の形態１による画像処理装置の画素加算処理部２３を示す構成図である。 この発明の実施の形態１による画像処理装置のメモリ制御部２６を示す構成図である。 メモリ制御部２６における書き込み／読み出しポインタ制御部５１の動作概要を示す説明図である。 この発明の実施の形態２による画像処理装置の一部を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、撮像光学系１はディジタル方式のカラー撮像装置（例えば、ディジタルビデオカメラ、ディジタルスチルカメラなど）のレンズ機構である。
固体撮像素子２はカラー撮像装置に搭載されているＣＣＤ画像センサやＣＭＯＳ画像センサなどの画像センサである。
この固体撮像素子２の撮像信号が画像データとして画像処理装置に入力される。

画像処理部１１は固体撮像素子２から出力された画像データに対する所定の画像処理（ノイズ低減処理、画素加算処理、電子ズーム処理（画像の拡大処理／画像の縮小処理））を実施する処理部である。
フレームメモリ１２は画像処理部１１による処理中の画像データを格納する記録媒体である。

入力Ｉ／Ｆ部２１は固体撮像素子２に対する入力インタフェースを備えており（例えば、固体撮像素子２が画像処理部１１とＵＳＢ接続される場合にはＵＳＢインタフェース機器などを備え、固体撮像素子２が画像処理部１１とＬＡＮなどのネットワークで接続される場合には、ＬＡＮカードなどのネットワークインタフェース機器などを備える）、固体撮像素子２から出力された現フレームの画像データを入力し、その画像データを３Ｄ−ＤＮＲ処理部２２に出力する。

３Ｄ−ＤＮＲ処理部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力Ｉ／Ｆ部２１から出力された現フレームの画像データと、メモリ制御部２６から出力された１フレーム前の画像データを用いて、現フレームの画像データに含まれているノイズを低減する処理を実施し、ノイズ低減処理後の現フレームの画像データを画素加算処理部２３及びメモリ制御部２６に出力する。なお、３Ｄ−ＤＮＲ処理部２２はノイズ低減手段を構成している。
画素加算処理部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、３Ｄ−ＤＮＲ処理部２２から出力されたノイズ低減処理後の現フレームの画像データと、メモリ制御部２６から出力された１フレーム前及び２フレーム前の画像データ（ノイズ低減処理後の画像データ）を用いて、現フレームの画像データの感度を高める画素加算処理を実施し、画素加算処理後の画像データをメモリ制御部２６に出力する。なお、画素加算処理部２３は感度向上手段を構成している。

電子ズーム処理部２４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、メモリ制御部２６から出力された画像データ（画素加算処理部２３により感度が高められた画像データ）に対する電子ズーム処理（画像の拡大処理／画像の縮小処理）を実施する。なお、電子ズーム処理部２４はズーム処理手段を構成している。
出力Ｉ／Ｆ部２５は例えばＵＳＢインタフェース機器やネットワークインタフェース機器などから構成されており、電子ズーム処理部２４による電子ズーム処理後の画像データを出力する。

メモリ制御部２６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、３Ｄ−ＤＮＲ処理部２２、画素加算処理部２３及び電子ズーム処理部２４とフレームメモリ１２の間で画像データの入出力を行う。
即ち、メモリ制御部２６は３Ｄ−ＤＮＲ処理部２２がノイズの低減処理を実施し、画素加算処理部２３が画素加算処理を実施する際、フレームメモリ１２から１フレーム前の画像データを読み出して、その１フレーム前の画像データを３Ｄ−ＤＮＲ処理部２２及び画素加算処理部２３に出力するデータリード処理、フレームメモリ１２から２フレーム前の画像データを読み出して、その２フレーム前の画像データを画素加算処理部２３に出力するデータリード処理、３Ｄ−ＤＮＲ処理部２２によるノイズ低減処理後の現フレームの画像データをフレームメモリ１２に書き込むデータライト処理などを実施する。
また、メモリ制御部２６は画素加算処理部２３による画素加算処理が完了すると、画素加算処理後の現フレームの画像データをフレームメモリ１２に書き込むデータライト処理を実施するとともに、フレームメモリ１２から画素加算処理後の画像データを読み出して、その画像データを電子ズーム処理部２４に出力するデータリード処理を実施する。なお、メモリ制御部２６は入出力制御手段を構成している。

図１の例では、画像処理装置の構成要素であるフレームメモリ１２、入力Ｉ／Ｆ部２１、３Ｄ−ＤＮＲ処理部２２、画素加算処理部２３、電子ズーム処理部２４、出力Ｉ／Ｆ部２５及びメモリ制御部２６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置が図２に示すようなコンピュータで構成されていてもよい。
画像処理装置をコンピュータで構成する場合、フレームメモリ１２をＲＡＭ１０３又はハードディスク１０２上に構成するとともに、入力Ｉ／Ｆ部２１、３Ｄ−ＤＮＲ処理部２２、画素加算処理部２３、電子ズーム処理部２４、出力Ｉ／Ｆ部２５及びメモリ制御部２６の処理内容を記述しているプログラムをコンピュータのＲＯＭ１０４に格納し、あるいは、ＣＤ−ＲＯＭ駆動装置１０５がＣＤ−ＲＯＭに記録されている上記プログラムを読み出してハードディスク１０２にインストールし、当該コンピュータのＣＰＵ１０１がＲＯＭ１０４又はハードディスク１０２に格納されているプログラムを実行するようにすればよい。

図３はこの発明の実施の形態１による画像処理装置の３Ｄ−ＤＮＲ処理部２２を示す構成図である。
図３において、動き検出部３１は入力Ｉ／Ｆ部２１から出力された現フレームの画像データと、メモリ制御部２６から出力された１フレーム前の画像データとを比較して、フレーム間の動き量を算出し、その動き量に対応する帰還係数Ｋ（０＜Ｋ＜１）を算出する処理を実施する。
ノイズ低減処理部３２は動き検出部３１により算出された帰還係数Ｋを１フレーム前の画像データが示す各画素値に乗算するとともに、（１−Ｋ）を現フレームの画像データが示す各画素値に乗算し、双方の乗算結果を足し合わせることで、現フレームの画像データに含まれているノイズを低減する。

図４はこの発明の実施の形態１による画像処理装置の画素加算処理部２３を示す構成図である。
図４において、画内画素加算部４１は３Ｄ−ＤＮＲ処理部２２から出力されたノイズ低減処理後の現フレームの画像データから注目画素（現フレームを構成する全ての画素が順番に注目画素になる）の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。
注目画素に隣接している複数の近傍画素は、予め用意されている複数の加算パターン（例えば、注目画素を中心にして、上下方向に存在している数画素のパターン、左右方向に存在している数画素のパターン、斜め左右方向に存在している数画素のパターンなど）の中で、注目画素との相関が最も高い加算パターンにしたがって決定される。即ち、注目画素に隣接している複数の近傍画素は、注目画素との相関が最も高い加算パターンにおける加算対象の画素である。
なお、予め用意されている加算パターン毎に、加算対象の複数の画素の画素値の中で、最大の画素値と最小の画素値との差を相対相関値として求め、複数の加算パターンの中で、相対相関値が最も小さい加算パターンを、注目画素との相関が最も高い加算パターンとする。

画内画素加算部４２はメモリ制御部２６から出力された１フレーム前の画像データ（ノイズ低減処理後の画像データ）から注目画素の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。
画内画素加算部４３はメモリ制御部２６から出力された２フレーム前の画像データ（ノイズ低減処理後の画像データ）から注目画素の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。
画間画素加算部４４は画内画素加算部４１により加算された画素値と、画内画素加算部４２により加算された画素値と、画内画素加算部４３により加算された画素値とを加算し、現フレームの画像データの感度を高める画素加算処理後の画像データとして、上記の画素値の加算結果を出力する。

図５はこの発明の実施の形態１による画像処理装置のメモリ制御部２６を示す構成図である。また、図６はメモリ制御部２６における書き込み／読み出しポインタ制御部５１の動作概要を示す説明図である。
図５及び図６において、メモリ制御部２６は３Ｄ−ＤＮＲ処理部２２、画素加算処理部２３又は電子ズーム処理部２４に対する３つの読み出しポート（１）〜（３）と、３Ｄ−ＤＮＲ処理部２２又は画素加算処理部２３に対する２つの書き込みポート（１）〜（２）と、フレームメモリ１２に対する入力ポート及び出力ポートとを備えている。
書き込み／読み出しポインタ制御部５１は３Ｄ−ＤＮＲ処理部２２又は画素加算処理部２３が読み出しポート（１）を利用して、フレームメモリ１２から１フレーム前の画像データを取得する際には、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ１に設定し、画素加算処理部２３が読み出しポート（２）を利用して、フレームメモリ１２から２フレーム前の画像データを取得する際には、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ２に設定し、電子ズーム処理部２４が読み出しポート（３）を利用して、フレームメモリ１２から画素加算処理後の画像データを取得する際には、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ３に設定する処理を実施する。

また、書き込み／読み出しポインタ制御部５１は３Ｄ−ＤＮＲ処理部２２が書き込みポート（１）を利用して、ノイズ低減処理後の現フレームの画像データをフレームメモリ１２に書き込む際には、フレームメモリ１２に対するアクセスポイントをライト用ポインタＷ１に設定し、画素加算処理部２３が書き込みポート（２）を利用して、画素加算処理後の画像データをフレームメモリ１２に書き込む際には、フレームメモリ１２に対するアクセスポイントをライト用ポインタＷ２に設定する処理を実施する。
書き込み／読み出しポート調停部５２は、例えば、書き込み／読み出しポインタ制御部５１により複数のポートが同時に設定されないように設定ポートを調整する処理を実施する。

次に動作について説明する。
まず、画像処理部１１の入力Ｉ／Ｆ部２１は、固体撮像素子２が画像を撮像して、その撮像信号を出力すると、その撮像信号を現フレームの画像データとして入力し、現フレームの画像データを３Ｄ−ＤＮＲ処理部２２に出力する。

３Ｄ−ＤＮＲ処理部２２は、入力Ｉ／Ｆ部２１から現フレームの画像データを受けると、現フレームの画像データと、メモリ制御部２６から出力された１フレーム前の画像データを用いて、現フレームの画像データに含まれているノイズを低減する処理を実施し、ノイズ低減処理後の現フレームの画像データを画素加算処理部２３及びメモリ制御部２６に出力する。
即ち、３Ｄ−ＤＮＲ処理部２２の動き検出部３１は、入力Ｉ／Ｆ部２１から現フレームの画像データを受けると、メモリ制御部２６に対して、１フレーム前の画像データの取得を要求する。
メモリ制御部２６の書き込み／読み出しポインタ制御部５１は、３Ｄ−ＤＮＲ処理部２２の動き検出部３１から１フレーム前の画像データの取得要求を受けると、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ１に設定して、フレームメモリ１２から１フレーム前の画像データを読み出し、読み出しポート（１）を用いて、１フレーム前の画像データを３Ｄ−ＤＮＲ処理部２２の動き検出部３１に出力する。
このとき、読み出しポート（１）は、３Ｄ−ＤＮＲ処理部２２の動き検出部３１の他に、画素加算処理部２３の画内画素加算部４２とも接続されているので、１フレーム前の画像データは、３Ｄ−ＤＮＲ処理部２２の動き検出部３１に出力される際に、画素加算処理部２３の画内画素加算部４２にも出力される。

３Ｄ−ＤＮＲ処理部２２の動き検出部３１は、メモリ制御部２６から１フレーム前の画像データを受けると、入力Ｉ／Ｆ部２１から出力された現フレームの画像データと、メモリ制御部２６から出力された１フレーム前の画像データとを比較して、フレーム間の動き量を算出する。
即ち、動き検出部３１は、現フレームの画像において、動き検出対象領域における中心画素の画素値と、その中心画素の周囲に存在している複数の周辺画素の画素値との加算平均値（以下、「第１の加算平均値」と称する）を算出する。
また、動き検出部３１は、１フレーム前の画像において、上記の動き検出対象領域に対応する領域における中心画素の画素値と、その中心画素の周囲に存在している複数の周辺画素の画素値との加算平均値（以下、「第２の加算平均値」と称する）を算出する。

次に、動き検出部３１は、第１の加算平均値と第２の加算平均値との差分の絶対値を動き量とし、予め用意されている動き量と帰還係数Ｋ（ノイズ低減係数）の対応関係を示す特性曲線を参照して、その算出した動き量に対応する帰還係数Ｋを特定する。ただし、帰還係数Ｋは、０＜Ｋ＜１の値である。
３Ｄ−ＤＮＲ処理部２２のノイズ低減処理部３２は、動き検出部３１が帰還係数Ｋを特定すると、その帰還係数Ｋを１フレーム前の画像データが示す各画素値に乗算するとともに、（１−Ｋ）を現フレームの画像データが示す各画素値に乗算し、双方の乗算結果を足し合わせることで、現フレームの画像データに含まれているノイズを低減する。
なお、画像に動きがある場合、時間軸方向の相関が成り立たなくなり、残像が目立つようになるため、上記のように、動き量に応じて、現フレームの画像と１フレーム前の画像との合成比（帰還係数Ｋ）を調整しながら画像合成を行うことで、残像を軽減することができる。

ノイズ低減処理部３２は、現フレームの画像データに含まれているノイズを低減する処理が完了すると、ノイズ低減処理後の現フレームの画像データを画素加算処理部２３に出力するとともに、書き込みポート（１）を利用して、ノイズ低減処理後の現フレームの画像データをメモリ制御部２６に出力する。
メモリ制御部２６の書き込み／読み出しポインタ制御部５１は、ノイズ低減処理部３２からノイズ低減処理後の現フレームの画像データを受けると、フレームメモリ１２に対するアクセスポイントをライト用ポインタＷ１に設定することで、フレームメモリ１２に対して、ノイズ低減処理後の現フレームの画像データの書き込みを行う。

画素加算処理部２３は、３Ｄ−ＤＮＲ処理部２２からノイズ低減処理後の現フレームの画像データを受けると、ノイズ低減処理後の現フレームの画像データと、メモリ制御部２６から出力された１フレーム前及び２フレーム前の画像データ（ノイズ低減処理後の画像データ）を用いて、現フレームの画像データの感度を高める画素加算処理を実施し、画素加算処理後のメモリ制御部２６に出力する。
ここで、１フレーム前の画像データは、３Ｄ−ＤＮＲ処理部２２が取得する際に、メモリ制御部２６から受けているが、２フレーム前の画像データについては未だメモリ制御部２６から受けていないので、メモリ制御部２６に対して、２フレーム前の画像データの取得を要求する。
メモリ制御部２６の書き込み／読み出しポインタ制御部５１は、画素加算処理部２３から２フレーム前の画像データの取得要求を受けると、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ２に設定して、フレームメモリ１２から２フレーム前の画像データを読み出し、読み出しポート（２）を用いて、２フレーム前の画像データを画素加算処理部２３に出力する。

画素加算処理部２３の画内画素加算部４１は、３Ｄ−ＤＮＲ処理部２２からノイズ低減処理後の現フレームの画像データを受けると、現フレームの画像データから注目画素（現フレームを構成する全ての画素が順番に注目画素になる）の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。
注目画素に隣接している複数の近傍画素は、上述したように、予め用意されている複数の加算パターンの中で、注目画素との相関が最も高い加算パターンにしたがって決定される。即ち、注目画素に隣接している複数の近傍画素は、注目画素との相関が最も高い加算パターンにおける加算対象の画素である。
なお、予め用意されている加算パターン毎に、加算対象の複数の画素の画素値の中で、最大の画素値と最小の画素値との差を相対相関値として求め、複数の加算パターンの中で、相対相関値が最も小さい加算パターンを、注目画素との相関が最も高い加算パターンとする。

画内画素加算部４２は、メモリ制御部２６からノイズ低減処理後の１フレーム前の画像データを受けると、１フレーム前の画像データから注目画素の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。
画内画素加算部４３は、メモリ制御部２６からノイズ低減処理後の２フレーム前の画像データを受けると、２フレーム前の画像データから注目画素の画素値と、その注目画素に隣接している複数の近傍画素の画素値とを取得し、その注目画素の画素値と複数の近傍画素の画素値とを加算する。

画間画素加算部４４は、画内画素加算部４１により加算された画素値と、画内画素加算部４２により加算された画素値と、画内画素加算部４３により加算された画素値とを加算し、書き込みポート（２）を利用して、現フレームの画像データの感度を高める画素加算処理後の画像データとして、上記の画素値の加算結果をメモリ制御部２６に出力する。
メモリ制御部２６の書き込み／読み出しポインタ制御部５１は、画素加算処理部２３の画間画素加算部４４から画素加算処理後の画像データを受けると、フレームメモリ１２に対するアクセスポイントをライト用ポインタＷ２に設定することで、フレームメモリ１２に対して、画素加算処理後の画像データの書き込みを行う。

電子ズーム処理部２４は、画間画素加算部４４による画素加算処理が完了すると、メモリ制御部２６に対して、画素加算処理後の画像データの取得を要求する。
メモリ制御部２６の書き込み／読み出しポインタ制御部５１は、電子ズーム処理部２４から画素加算処理後の画像データの取得要求を受けると、フレームメモリ１２に対するアクセスポイントをリード用ポインタＲ３に設定して、フレームメモリ１２から画素加算処理後の画像データを読み出し、読み出しポート（３）を用いて、画素加算処理後の画像データを電子ズーム処理部２４に出力する。

電子ズーム処理部２４は、メモリ制御部２６から画素加算処理後の画像データを受けると、画素加算処理後の画像データに対する電子ズーム処理（画像の拡大処理／画像の縮小処理）を実施し、電子ズーム処理後の画像データを出力Ｉ／Ｆ部２５に出力する。
画像データに対する電子ズーム処理自体は、公知の技術であるため詳細な説明を省略する。
出力Ｉ／Ｆ部２５は、電子ズーム処理部２４による電子ズーム処理後の画像データを出力する。

上記の背景技術の欄に記載している従来の画像処理装置では、上述したように、３Ｄ−ＤＮＲ処理部によるノイズ低減処理と、画素加算処理部による画素加算処理とが完了するまでに、合計５回のリード／ライト処理（３回のデータリード処理と、２回のデータライト処理）を実施する必要がある。
これに対して、この実施の形態１の画像処理装置では、３Ｄ−ＤＮＲ処理部２２によるノイズ低減処理と、画素加算処理部２３による画素加算処理とが完了するまでに、合計３回のリード／ライト処理（２回のデータリード処理と、１回のデータライト処理）を実施すれば足りる。
したがって、この実施の形態１の画像処理装置では、従来の画像処理装置よりも、リード／ライト処理の実施回数が２回減り、リード／ライト処理を実施するためのメモリ帯域幅を削減することができる。

以上で明らかなように、この実施の形態１によれば、メモリ制御部２６が、フレームメモリ１２から１フレーム前の画像データを読み出して、１フレーム前の画像データを３Ｄ−ＤＮＲ処理部２２及び画素加算処理部２３に出力するとともに、フレームメモリ１２から２フレーム前の画像データを読み出して、２フレーム前の画像データを画素加算処理部２３に出力する一方、３Ｄ−ＤＮＲ処理部２２によりノイズが低減された現フレームの画像データをフレームメモリ１２に書き込むように構成したので、ノイズ低減処理と画素加算処理が完了するまでに、合計３回のリード／ライト処理を実施すれば足りるようになり、その結果、メモリ帯域幅を削減することができるため、メモリ容量を低減することができる効果を奏する。

実施の形態２．
図７はこの発明の実施の形態２による画像処理装置の一部を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
遅延処理部６０はメモリ制御部２６と画素加算処理部２３を接続している読み出しポート（１）に接続されており、メモリ制御部２６から出力された１フレーム前の画像データに遅延を与えることで、３Ｄ−ＤＮＲ処理部２２から画素加算処理部２３に出力される現フレームの画像データと、メモリ制御部２６から画素加算処理部２３に出力される１フレーム前の画像データとの出力タイミングを合わせている。

上記実施の形態１では、メモリ制御部２６から１フレーム前の画像データが画素加算処理部２３に出力されてから、３Ｄ−ＤＮＲ処理部２２から現フレームの画像データが画素加算処理部２３に出力されるが、遅延処理部６０がメモリ制御部２６から出力された１フレーム前の画像データに遅延を与えることで、３Ｄ−ＤＮＲ処理部２２から画素加算処理部２３に出力される現フレームの画像データと、メモリ制御部２６から画素加算処理部２３に出力される１フレーム前の画像データとの出力タイミングを合わせるようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 撮像光学系、２ 固体撮像素子、１１ 画像処理部、１２ フレームメモリ、２１ 入力Ｉ／Ｆ部、２２ ３Ｄ−ＤＮＲ処理部（ノイズ低減手段）、２３ 画素加算処理部（感度向上手段）、２４ 電子ズーム処理部（ズーム処理手段）、２５ 出力Ｉ／Ｆ部、２６ メモリ制御部（入出力制御手段）、３１ 動き検出部、３２ ノイズ低減処理部、４１，４２，４３ 画内画素加算部、４４ 画間画素加算部、５１ 書き込み／読み出しポインタ制御部、５２ 書き込み／読み出しポート調停部、６０ 遅延処理部、１０１ ＣＰＵ、１０２ ハードディスク、１０３ ＲＡＭ、１０４ ＲＯＭ、１０５ ＣＤ−ＲＯＭ駆動装置。

Claims (3)

1. 固体撮像素子から出力された現フレームの画像データと１フレーム前の画像データを用いて、前記現フレームの画像データに含まれているノイズを低減するノイズ低減処理を実施するノイズ低減手段と、
   前記ノイズ低減手段によるノイズ低減処理後の現フレームの画像データと、前記ノイズ低減手段によるノイズ低減処理後の１フレーム前及びノイズ低減処理後の２フレーム前の画像データとを用いて、前記ノイズ低減処理後の現フレームの画像データの感度を高める感度向上手段と、
   前記ノイズ低減手段によるノイズ低減処理後の画像データを格納するフレームメモリと、
   前記ノイズ低減手段及び前記感度向上手段と前記フレームメモリの間で画像データの入出力を行う入出力制御手段とを備え、
   前記入出力制御手段は、前記フレームメモリからノイズ低減処理後の１フレーム前の画像データを読み出して、前記ノイズ低減処理後の１フレーム前の画像データを前記ノイズ低減手段及び前記感度向上手段に出力するとともに、前記フレームメモリからノイズ低減処理後の２フレーム前の画像データを読み出して、前記ノイズ低減処理後の２フレーム前の画像データを前記感度向上手段に出力する一方、前記ノイズ低減手段によるノイズ低減処理後の現フレームの画像データを前記フレームメモリに書き込むことを特徴とする画像処理装置。
2. 前記感度向上手段により感度が高められた画像データに対する画像の拡大処理又は画像の縮小処理を実施するズーム処理手段を備えたことを特徴とする請求項１記載の画像処理装置。
3. 前記ノイズ低減手段から前記感度向上手段に出力されるノイズ低減処理後の現フレームの画像データと、前記入出力制御手段から前記感度向上手段に出力されるノイズ低減処理後の１フレーム前の画像データとのタイミングを合わせる遅延処理部を前記入出力制御手段と前記感度向上手段の間に備えたことを特徴とする請求項１または請求項２記載の画像処理装置。

Images