JP4295709B2

JP4295709B2 - 撮像装置、画像処理装置、及び画像処理方法

Info

Publication number: JP4295709B2
Application number: JP2004299680A
Authority: JP
Inventors: 仁山下
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-10-14
Filing date: 2004-10-14
Publication date: 2009-07-15
Anticipated expiration: 2024-10-14
Also published as: JP2006115147A

Description

本発明は、デジタルカメラなどの撮像装置、撮像装置などに用いられる画像処理装置、及び画像処理方法に関し、特に、感度の異なる受光素子から得られた画像信号を合成して出力する撮像装置、画像処理装置、及び画像処理方法に関するものである。

現在広く普及しているデジタルカメラ等の撮像装置におけるＣＣＤ（Charge Coupled Device）等の撮像素子のダイナミックレンジは、フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子出力が飽和してしまい、被写体の情報が欠落してしまう場合がある。このため、従来より、高感度の受光素子及び低感度の受光素子を用いて撮影し、高感度の受光素子により得られた画像信号と低感度の受光素子により得られた画像信号とを合成することにより、ダイナミックレンジの拡大を図る技術が提案されている。

例えば、ラインごとに感度が異なる画像信号が出力される撮像素子と、低感度のゲイン調整回路と、このゲイン調整回路よりの画像信号と高感度の画像信号とを合成する合成手段を備え、白とびが発生したときには低感度の画像信号で補間してダイナミックレンジを拡張する電子カメラ装置が提案されている（例えば、特許文献１参照。）。ところが、低感度の画像信号はＳ／Ｎ比（信号対雑音比、Signal to Noise Ratio）が悪いため、合成する低感度の画像信号の高感度の画像信号に対する割合が大きくなるほど合成によって得られる合成信号にノイズが発生しやすくなる。このため、この電子カメラ装置では、合成後にＳ／Ｎ比の悪い低感度画像信号に対してのみノイズ低減処理を行って、ノイズを低減させるようにしている。

また、撮影により得られた画像信号はノイズ低減処理だけでなく、画像信号の周波数帯域を制限して（高周波成分をカットして）偽信号・偽色の発生を防止する処理等も行われるが、従来このような処理は高感度の画像信号と低感度の画像信号とを合成した合成信号に対して一律に行われている。
特開平７−７９３７２号公報

しかしながら、高感度の画像信号にも、低感度の画像信号ほど大きい割合では無いが、ノイズは発生する。特にＩＳＯ感度を高めにして撮影した場合には、電荷信号がＩＳＯ感度に応じて増幅されるので、低感度の画像信号のみならず高感度の画像信号においてもノイズが増幅される。従って、低感度の画像信号にのみノイズ低減処理を行う上記従来の電子カメラ装置ではノイズを十分に除去できず、画質が劣化する、という問題があった。また、高感度の画像信号と低感度の画像信号とを合成した後に一律にノイズ低減処理や周波数帯域制限処理を行うと、解像感が失われる場合もあり、画質が低下してしまう、という問題があった。

本発明は上記問題点を解決するためになされたものであり、感度の異なる受光素子から得られた画像信号を合成して出力する撮像装置、画像処理装置、及び画像処理方法であって、解像感を保ちつつノイズを低減でき、高品質な画像を得ることができる撮像装置、画像処理装置、及び画像処理方法を提供することを目的とする。

上記目的を達成するために、請求項１の発明の撮像装置は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子、及び受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子を備えた撮像素子と、前記第１受光素子から出力された信号のノイズを低減させるノイズ低減処理を予め定められた第１のパラメータを用いて行う第１信号処理手段と、前記第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１信号処理手段で行われるノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行う第２信号処理手段と、前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、を含んで構成されている。

この撮像装置は、被写体からの光を受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子と、被写体からの光を受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子とを備えた撮像素子を備えている。すなわち、この撮像装置では、高感度の受光素子（第１受光素子）と低感度の受光素子（第２受光素子）から、高感度の信号と低感度の信号とを得ることができる。なお、第２受光素子は、第１受光素子間に位置するよう設けられていてもよいし、チャネルストッパ等の受光量の混合を防止する手段を備えた第１受光素子上に設けられていてもよく、特に限定されない。

この撮像素子から出力された高感度の信号と低感度の信号は、合成処理手段により合成されるが、この合成前に、第１信号処理手段及び第２信号処理手段でノイズ低減処理が施される。

第１信号処理手段は、第１受光素子から出力された信号のノイズを低減させるノイズ低減処理を予め定められた第１のパラメータを用いて行う。第２信号処理手段は、第２受光素子から出力された信号のノイズを第１のパラメータとは異なる第２のパラメータを用いて第１信号処理手段で行われるノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行う。

従来の技術では、Ｓ／Ｎ比の悪い低感度の信号に対してのみノイズ低減処理を行って、ノイズを低減させるようにしていたが、高感度の信号にも多少のノイズは発生するため、本発明のように、高感度の信号に対してもノイズ低減処理を行うことによって、十分にノイズを除去できる。特にＩＳＯ感度を高めにして撮影した場合には、低感度の画像信号のみならず高感度の画像信号においてもノイズが増幅されることから、高感度の信号に含まれるノイズ量は無視できないものとなる。このため、高感度の信号に対してもノイズ低減処理を行うことによって、従来に比べてノイズを低減でき、画質を向上させることができる。

また、本発明では、第１信号低減処理手段と第２信号処理手段とで用いられるパラメータを各々異ならせるようにしたため、受光素子の感度に応じて好適なノイズ低減処理を施すことができる。例えば、高感度の信号に対してはノイズ低減処理の強度が小さくなるように（解像感が低下しないように）パラメータを設定すれば、解像感が低下せず画質を高品質に保つことができる。
なお、請求項２の発明では、前記第１信号処理手段は、注目画素に対する周辺画素の重み付けの値を前記第１のパラメータとして有するフィルタの前記第１のパラメータを用いて、移動平均法によりノイズ低減処理を行い、前記第２信号処理手段は、注目画素に対する周辺画素の重み付けの値であって前記第１のパラメータより大きな値を前記第２のパラメータとして有するフィルタの前記第２のパラメータを用いて、移動平均法によりノイズ低減処理を行う。

請求項３の発明の撮像装置は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子、及び受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子を備えた撮像素子と、前記第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第１信号処理手段と、前記第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第２信号処理手段と、前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、を含んで構成されている。

この撮像素子から出力された高感度の信号と低感度の信号は、合成処理手段により合成されるが、この合成前に、第１信号処理手段及び第２信号処理手段で周波数帯域制限処理が施される。

第１信号処理手段は、第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する周波数帯域制限処理を行う。第２信号処理手段は、第２受光素子から出力された信号の周波数帯域を第１周波数より低い第２周波数未満の周波数帯域に制限する波数帯域制限処理を行う。

従来の技術では、合成後に周波数帯域制限処理を行って一律に高周波成分をカットして折り返しノイズを低減させ、補間処理等で偽信号や偽色が発生しないようにしていたため、ノイズの少ない高感度の信号の高周波成分も必要以上にカットされてしまい、画像の鮮鋭度、解像感が低下してしまっていたが、本発明のように、合成前に、高感度の信号及び低感度の信号に対して別々に周波数帯域制限処理を行うと共に、低感度の信号の周波数帯域に比べて高い周波数帯域が残るように高感度の信号の周波数帯域制限処理を行うようにすれば、画像の鮮鋭度、解像感の低下を防止することができる。また、これにより高感度の信号には低感度の信号に比べて高い周波数帯域が残るが、高感度の信号はＳ／Ｎ比が比較的良いため、ノイズの残留量は小さい。
なお、請求項４に記載の発明は、前記第１受光素子及び第２受光素子の各々にはＲＧＢのいずれかの色のフィルタが配され、前記第１信号処理手段で周波数帯域制限処理が行われた信号に対して、前記第１受光素子の各々の位置に配したフィルタの色以外の他の２つの色の信号を生成する補間処理を行う第１補間処理手段と、前記第２信号処理手段で周波数帯域制限処理が行われた信号に対して、前記第２受光素子の各々の位置に配したフィルタの色以外の他の２つの色の信号を生成する補間処理を行う第２補間処理手段と、を更に含んで構成されている。
また、請求項５に記載の画像処理装置は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号のノイズを低減させるノイズ低減処理を予め定められた第１のパラメータを用いて行う第１信号処理手段と、受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１信号処理手段で行われるノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行う第２信号処理手段と、前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、を含んで構成されている。
また、請求項６に記載の画像処理装置は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第１信号処理手段と、受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する第２信号処理手段と、前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、を含んで構成されている。
また、請求項７に記載の画像処理方法は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号のノイズを低減させる第１ノイズ低減処理を予め定められた第１のパラメータを用いて行い、受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１ノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行い、前記第１ノイズ低減処理により処理された信号と前記第２ノイズ低減処理により処理された信号とを合成する。
また、請求項８に記載の画像処理方法は、受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する第１周波数帯域制限処理を行い、受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する第２周波数帯域制限処理を行い、前記第１周波数帯域制限処理により処理された信号と前記第２周波数帯域制限処理により処理された信号とを合成する。

以上説明した如く本発明によれば、解像感を保ちつつノイズを低減でき高品質な画像を得ることができる、という優れた効果を奏する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図１は、第１の実施の形態に係るデジタルカメラの概略構成を示したブロック図である。

図１に示されるように、デジタルカメラ１０には、ＣＰＵ（中央演算処理装置）５２、ＲＯＭ５４、及びＲＡＭ５６を備え、デジタルカメラ１０全体を制御する制御回路５０、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ、Ｇ、Ｂ３色のカラーアナログ画像信号を出力する撮像素子としてのＣＣＤ１８とが設けられている。

さらにまた、デジタルカメラ１０には、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動させるための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、ストロボ６０の発光の制御を行うストロボ制御部５８と、シャッタスイッチ等のカメラ操作部６２と、が設けられている。各駆動部２４、２６、２８、及びＣＣＤ制御部３０は上記制御回路５０により制御される。

ここで、本実施の形態に係るＣＣＤ１８の構造について図２を参照しながら説明する。

このＣＣＤ１８の撮像部は、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。

ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。

一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。

なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。

ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比べて低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図２に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲＧＢいずれかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比して低感度なＲＧＢ信号が得られる。

なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異ならせて設けられている。また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。

なお、本実施の形態の受光素子ＰＤ１は、本発明における第１受光素子に対応し、本実施の形態の受光素子ＰＤ２は、本発明における第２受光素子に対応する。

このＣＣＤ１８には、図１に示されるように、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタル信号に変換するアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２とが順に接続されている。

Ａ／Ｄ変換器２２から出力された高感度及び低感度のデジタル信号（Ｒ、Ｇ、Ｂ信号のデジタル値）は、デジタル信号処理部３２に入力される。

図３はデジタル信号処理部３２の概略構成を示したブロック図である。

デジタル信号処理部３２は、第１ノイズ低減処理部４０、第２ノイズ低減処理部４２、合成処理部４４、信号処理部４６、及びメモリ４８から構成されている。

第１ノイズ低減処理部４０には、高感度のデジタル信号が入力される。第１ノイズ低減処理部４０は、入力された高感度のデジタル信号に対して予め定められたパラメータを用いてノイズ低減処理を行う。

第２ノイズ低減処理部４２は、低感度のデジタル信号が入力される。第２ノイズ低減処理部４０は、第１ノイズ低減処理部４０で用いられたパラメータとは異なるパラメータを用いて、入力された低感度のデジタル信号に対してノイズ低減処理を行う。

なお、第１ノイズ低減処理部４０及び第２ノイズ低減処理部４２は、平滑化フィルタ、メディアンフィルタ等のノイズ低減用フィルタにより構成することができる。このようなフィルタで用いられるパラメータは、予め上述したように第１ノイズ低減処理部４０と第２ノイズ低減処理部４２とで異ならせて設定されている。これにより、ノイズ低減処理の強度（ノイズ低減効果）を第１ノイズ低減処理部４０と第２ノイズ低減処理部４２とで異ならせることができる。

例えば、各ノイズ低減処理部４０、４２が平滑化フィルタにより構成され、移動平均法によるノイズ除去が行われる場合には、パラメータとして、注目画素に対する周辺画素の重み付けを異ならせることができる。ノイズ低減処理の強度（ノイズ低減効果）を大きくする場合には、注目画素に対する周辺画素の重み付けの値を大きくして注目画素の値が平均化されるようにし、ノイズ低減効果を小さくするには、重み付けの値を小さくして、注目画素の元の値が残りやすくする。一般的には、低感度の画像信号はＳ／Ｎ比が悪く、高感度の画像信号はＳ／Ｎ比が比較的良いため、注目画素に対する周辺画素の重み付けを、第１ノイズ低減処理部４０よりも第２ノイズ低減処理部４２の方を大きくして、第２ノイズ低減処理部４２の方がノイズ低減効果が大きくなるようにする。これにより、低感度のデジタル信号については十分にノイズ低減処理を施すことができ、高感度のデジタル信号については解像感が失われない程度にノイズ低減処理を施すことができる。

合成処理部４４には、受光素子ＰＤ１から出力され第１ノイズ低減処理部４０でノイズ低減処理された高感度のデジタル信号と、受光素子ＰＤ２から出力され第２ノイズ低減処理部４２でノイズ低減処理された低感度のデジタル信号が入力される。合成処理部４４は、高感度のデジタル信号及び低感度のデジタル信号とを合成し、該合成して得られた合成信号を信号処理部４６に出力する。

信号処理部４６では、入力された合成信号が所定のγ特性となるように入出力特性を変更するγ補正処理、撮像素子に単板の色分解フィルタが用いられている場合に行われ、その位置に配した色フィルタの他の２つの色を生成する補間処理、補間処理されたＲ、Ｇ、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成するＹＣ変換処理、輪郭補正や色差補正処理等の様々な画像処理を行う。該画像処理された合成信号は、いったんメモリ４８に格納される。メモリ４８に格納された合成信号は、図１に示されるように、記録メディアＩ／Ｆ３６を介して記録メディア３８に格納されたり、液晶モニタ３４に出力されて表示される。

以上説明したように、受光素子ＰＤ１から出力された高感度の信号と受光素子ＰＤ２から出力された低感度の信号とを合成する前に、第１ノイズ低減処理部４０で、高感度の信号に対して所定のパラメータでノイズ低減処理を行い、第２ノイズ低減処理部４２で、低感度の信号に対して第１ノイズ低減処理部４０で用いられたパラメータとは異なるパラメータを用いてノイズ低減処理を施すことにより、解像感を保ちつつノイズを低減でき、高品質な画像を得ることができる。

詳述すると、従来のデジタルカメラでは、Ｓ／Ｎ比の悪い低感度の信号に対してのみノイズ低減処理を行ってノイズを低減させるようにしていたが、高感度の信号にも多少のノイズは発生するため、上述したように、高感度の信号に対してもノイズ除去を行うことによって、画像信号全体でノイズを十分に除去できる。特に、ＩＳＯ感度を高めにして撮影した場合には、電荷信号がＩＳＯ感度に応じて増幅されるので、低感度の信号のみならず高感度の信号においてもノイズが増幅され、高感度の信号に含まれるノイズ量は無視できないものとなる。このため、本発明のように高感度の画像信号に対してもノイズ低減処理を施すことにより、低感度の信号にのみノイズ低減処理を行う従来の技術に比べて、ノイズを十分に低減させることができる。また、第１ノイズ低減処理部４０と第２ノイズ低減処理部４２とで用いられるパラメータを各々異ならせるようにして、各々でノイズ低減処理の強度を異ならせるようにしたため、受光素子の感度に応じて好適なノイズ低減処理を施すことができる。例えば、高感度の信号に対してはノイズ低減処理の強度が小さくなるように（解像感が低下しないように）パラメータを設定すれば、解像感が低下せず画質を高品質に保つことができる。

なお、上記第１の実施の形態では、合成処理部４４による合成処理前にノイズ低減処理を行う例について説明したが、以下では、合成処理前に周波数帯域制限処理を行う第２の実施の形態について説明する。

デジタルカメラ等に使用されているＣＣＤの信号処理では、各画素について補間処理する際に折り返しノイズにより偽信号及び偽色が発生する。周波数帯域制限処理は、この偽信号及び偽色の発生を低減するために、画像信号の高周波成分を除去してノイズを低減させる処理であり、一般的に広く行われている処理である。

ここで、補間処理は、撮像素子で単板の色分解フィルタが用いられている場合に行われる処理であり、その位置に配した色フィルタの他の２つの色を、その周辺の画素データから推定して演算・生成する処理を行うものである。この演算を各画素について行うことにより、それぞれの画素についてＲＧＢ３原色のデータが得られ、これらを統合すれば隙間なく補間した画像を形成できる。通常は、この補間処理の前に周波数帯域制限処理を行って、偽信号及び偽色の発生を低減させている。

以下、第２の実施の形態について、図を参照しながら詳細に説明する。なお、第２の実施の形態におけるデジタルカメラ１０の概略構成は、第１の実施の形態の図１、図２と同様であるため、説明を省略する。ただし、デジタル信号処理部の概略構成は、図３に示す構成に代えて図４に示す構成を適用する。

図４は、第２の実施の形態におけるデジタル信号処理部の概略構成を示した図である。このデジタル信号処理部７０は、第１周波数帯域制限部７２、第２周波数帯域制限部７４、第１補間処理部７６、第２補間処理部７８、合成処理部８０、信号処理部８２、及びメモリ８４から構成されている。

第１周波数帯域制限部７２には、高感度のデジタル信号が入力される。第１周波数帯域制限部７２は、所定周波数ｆ１以上の高周波成分をカットするローパスフィルタ（ＬＰＦ；Low Pass Filter）を含んで構成されており、入力された高感度のデジタル信号の周波数帯域を所定周波数ｆ１未満の周波数帯域に制限する。

第２周波数帯域制限部７４には、低感度のデジタル信号が入力される。第２周波数帯域制限部７４は、所定周波数ｆ１よりも低い所定周波数ｆ２以上の高周波成分をカットするローパスフィルタを含んで構成されており、入力された低感度のデジタル信号の周波数帯域を所定周波数ｆ２未満の周波数帯域に制限する。

すなわち、低感度のデジタル信号の周波数帯域に比べて高い周波数帯域が残るように高感度のデジタル信号の周波数帯域制限処理が施される。

第１補間処理部７６は、第１周波数帯域制限部７２で周波数帯域制限処理された高感度のデジタル信号から各画素について補間処理を行う。

第２補間処理部７８は、第２周波数帯域制限部７４で周波数帯域制限処理された低感度のデジタル信号から各画素について補間処理を行う。

すなわち、第１補間処理部７６は、より高い周波数帯域を用いて補間処理を行い、第２補間処理部７８は、比較的低い周波数帯域を用いて補間処理を行う。

なお、周辺画素やその重み付け係数といった補間処理で用いられるパラメータは、第１補間処理部７６と第２補間処理部７８とで各々別々に設定されている。高感度の信号及び低感度の信号の各信号に対応した適切なパラメータを設定しておくことにより、画質をより細かく制御できる。

合成処理部８０には、第１補間処理部７６で補間処理された高感度のデジタル信号と、第２補間処理部７８で補間処理された低感度のデジタル信号が入力される。合成処理部４４は、高感度のデジタル信号及び低感度のデジタル信号とを合成し、該合成して得られた合成信号を信号処理部８２に出力する。

信号処理部８２では、入力された合成信号が所定のγ特性となるように入出力特性を変更するγ補正処理、γ補正処理された合成信号から輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂとを作成するＹＣ変換処理、さらには輪郭補正や色差補正処理等の様々な画像処理を行う。該画像処理された合成信号は、いったんメモリ８４に格納される。メモリ８４に格納された合成信号は、図１に示されるように、記録メディアＩ／Ｆ３６を介して記録メディア３８に格納されたり、液晶モニタ３４に出力されて表示される。

以上説明したように、受光素子ＰＤ１から出力された高感度の信号と受光素子ＰＤ２から出力された低感度の信号とを合成する前に、第１周波数帯域制限部７２で高感度の信号の周波数帯域を所定周波数ｆ１未満の周波数帯域に制限し、第２周波数帯域制限部７４で低感度の信号の周波数帯域を所定周波数ｆ１よりも低い所定周波数ｆ２未満の周波数帯域に制限することにより、解像感を保ちつつノイズを低減でき、高品質な画像を得ることができる
詳述すると、従来のデジタルカメラでは、合成後に周波数帯域制限処理を行って一律に高周波成分をカットして折り返しノイズを低減させ、偽信号や偽色が発生しないようにしていたため、ノイズの少ない高感度の信号の高周波成分も必要以上にカットされてしまい、画像の鮮鋭度、解像感が低下してしまっていたが、上述したように、合成前に、高感度の信号及び低感度の信号に対して別々に周波数帯域制限処理を行うと共に、低感度の信号の周波数帯域に比べて高い周波数帯域が残るように高感度の信号の周波数帯域制限処理を行うようにすれば、画像の鮮鋭度、解像感の低下を防止することができる。また、これにより高感度の信号には低感度の信号に比べて高い周波数帯域が残ってしまうが、高感度の信号はＳ／Ｎ比が比較的良いため、ノイズの残留量は小さい。

なお、上記第１及び第２の実施の形態において、高感度の信号と低感度の信号とを合成する前に、高感度の信号と低感度の信号に対して個別にノイズ低減処理、及び周波数低減処理のいずれか一方の処理を行う例について説明したが、これに限定されず、例えば、合成前にノイズ低減処理及び周波数低減処理の両方の処理を行うようにすればより好ましい。これにより、高感度の信号と低感度の信号の各々に好適な処理を施すことができ、十分にノイズ低減でき、画質も向上する。

第１及び第２の実施の形態に係るデジタルカメラの概略構成を示したブロック図である。ＣＣＤの構造を示した図である。第１の実施の形態におけるデジタル信号処理部の概略構成を示したブロック図である。第２の実施の形態におけるデジタル信号処理部の概略構成を示したブロック図である。

符号の説明

１０デジタルカメラ
３２デジタル信号処理部
４０第１ノイズ低減処理部
４２第２ノイズ低減処理部
４４合成処理部
７０デジタル信号処理部
７２第１周波数帯域制限部
７４第２周波数帯域制限部
７６第１補間処理部
７８第２補間処理部
８０合成処理部
ＰＤ１受光素子（第１受光素子）
ＰＤ２受光素子（第２受光素子）

Claims

受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子、及び受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子を備えた撮像素子と、
前記第１受光素子から出力された信号のノイズを低減させるノイズ低減処理を予め定められた第１のパラメータを用いて行う第１信号処理手段と、
前記第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１信号処理手段で行われるノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行う第２信号処理手段と、
前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、
を含む撮像装置。
前記第１信号処理手段は、注目画素に対する周辺画素の重み付けの値を前記第１のパラメータとして有するフィルタの前記第１のパラメータを用いて、移動平均法によりノイズ低減処理を行い、
前記第２信号処理手段は、注目画素に対する周辺画素の重み付けの値であって前記第１のパラメータより大きな値を前記第２のパラメータとして有するフィルタの前記第２のパラメータを用いて、移動平均法によりノイズ低減処理を行う
請求項１に記載の撮像装置。
受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子、及び受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子を備えた撮像素子と、
前記第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第１信号処理手段と、
前記第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第２信号処理手段と、
前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、
を含む撮像装置。
前記第１受光素子及び第２受光素子の各々にはＲＧＢのいずれかの色のフィルタが配され、
前記第１信号処理手段で周波数帯域制限処理が行われた信号に対して、前記第１受光素子の各々の位置に配したフィルタの色以外の他の２つの色の信号を生成する補間処理を行う第１補間処理手段と、
前記第２信号処理手段で周波数帯域制限処理が行われた信号に対して、前記第２受光素子の各々の位置に配したフィルタの色以外の他の２つの色の信号を生成する補間処理を行う第２補間処理手段と、
を更に含む請求項３に記載の撮像装置。
受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号のノイズを低減させるノイズ低減処理を予め定められた第１のパラメータを用いて行う第１信号処理手段と、
受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１信号処理手段で行われるノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行う第２信号処理手段と、
前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、
を含む画像処理装置。
受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する周波数帯域制限処理を行う第１信号処理手段と、
受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する第２信号処理手段と、
前記第１信号処理手段により処理された信号と前記第２信号処理手段により処理された信号とを合成する合成手段と、
を含む画像処理装置。
受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号のノイズを低減させる第１ノイズ低減処理を予め定められた第１のパラメータを用いて行い、
受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号のノイズを前記第１のパラメータとは異なる第２のパラメータを用いて前記第１ノイズ低減処理の強度より高い強度で低減させるノイズ低減処理を行い、
前記第１ノイズ低減処理により処理された信号と前記第２ノイズ低減処理により処理された信号とを合成する画像処理方法。
受光した光量に応じた信号を出力する第１の感度の複数の第１受光素子から出力された信号の周波数帯域を予め定められた第１周波数未満の周波数帯域に制限する第１周波数帯域制限処理を行い、
受光した光量に応じた信号を出力する前記第１の感度より低い第２の感度の複数の第２受光素子から出力された信号の周波数帯域を前記第１周波数より低い第２周波数未満の周波数帯域に制限する第２周波数帯域制限処理を行い、
前記第１周波数帯域制限処理により処理された信号と前記第２周波数帯域制限処理により処理された信号とを合成する画像処理方法。