JP4235408B2

JP4235408B2 - ノイズ低減回路及び撮像装置

Info

Publication number: JP4235408B2
Application number: JP2002205606A
Authority: JP
Inventors: 雅也田丸
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-07-15
Filing date: 2002-07-15
Publication date: 2009-03-11
Anticipated expiration: 2022-07-15
Also published as: JP2004048562A

Description

【０００１】
【発明の属する技術分野】
本発明はシェーディング補正量の大きい画像周辺部のノイズ低減量を大きくするノイズ低減回路とこのノイズ低減回路を搭載した撮像装置に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、レンズを通して被写体画像を固体撮像素子に結像させるため、シェーディングが発生してしまう。即ち、図８に示す様に、レンズの透過率は、レンズの光軸を中心にレンズ周辺に行くに従って落ち、撮像画像の周辺部ほど暗い画像になってしまう。このため、撮像装置では、固体撮像素子の画素配置位置に応じた補正係数で各画素からの読出信号を補正し、光量の落ち込みをゲイン調整する様になっている。
【０００３】
しかし、シェーディングを補正すると、画像周辺部は明るくなるが、画像周辺部のノイズも一緒にゲインが上がってしまい、撮像画像の周辺部ほどＳ／Ｎが劣化してしまう。このため、従来のシェーディング補正装置では、例えば特開２００１―３３９７３６号公報に記載されている様に、シェーディング補正量とノイズ低減量とを関連付け、シェーディング補正量が大きい画像周辺部ほどノイズ低減量を大きくするようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来技術に係るシェーディング補正装置では、シェーディング補正量と関連付けるノイズ低減量として、輪郭補正のゲイン量、コアリング量、色差ＬＰＦの周波数特性のみに限定しているため、ノイズ抑制が十分でない場合がある。例えば、高感度撮影を行った場合、画像に含まれるノイズレベルは大きく、このため、輪郭信号や色差信号のみをコントロールするだけでは十分でない。
【０００５】
本発明の目的は、高感度撮影画像に対してシェーディング補正を行った場合でもシェーディング補正量に応じてノイズ低減を図ることができるノイズ低減回路と撮像装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するノイズ低減回路は、固体撮像素子の出力信号から得られる画素単位の輝度信号に対してノイズ低減処理を施すノイズ低減回路において、
処理対象の画素（以下、対象画素という。）の輝度信号を取り込み、該輝度信号と前記対象画素の周辺画素の輝度信号との差を求め、該差をしきい値と比較し、該差が該しきい値以下となる場合には前記対象画素の輝度信号の代わりに、該対象画素及び前記周辺画素の各輝度信号値をフィルタ処理した値を出力させる手段と、
前記しきい値をシェーディング補正量に応じて決定するしきい値決定手段とを備えたことを特徴とする。
この構成により、高感度撮影画像に対してシェーディング補正を行った場合でもシェーディング補正量に応じてノイズ低減を図ることが可能となる。
【０００７】
上記目的を達成するノイズ低減回路はまた、固体撮像素子の出力から得られる画素単位の輝度信号に対してノイズ低減処理を施すノイズ低減回路において、前記ノイズ低減処理によるノイズ低減量をシェーディング補正量及び撮影モードが風景モードであるかポートレートモードであるかに応じて決定する手段を備えたことを特徴とする。
この構成により、風景モードによる撮像画像に対してよりも周辺ボケが気にならないポートレートモードによる撮像画像に対するノイズ低減量を大きくできる。
【０００８】
上記目的を達成する撮像装置は、レンズと、該レンズを通して被写体画像を撮像する固体撮像素子と、上記のいずれかのノイズ低減回路とを備えたことを特徴とする。この構成により、高画質の画像を撮像することができる撮像装置が提供される。
【０００９】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態に係るノイズ低減回路を搭載したデジタルスチルカメラの構成図である。この例ではデジタルスチルカメラに本実施形態のノイズ低減回路を搭載しているが、デジタルビデオカメラ等の他の種類の撮像装置に本実施形態のノイズ低減回路を同様に搭載可能である。尚、本実施形態では、ノイズ低減回路をソフトウェアにて実現するが、これをハードウェア回路で実現することも可能である。
【００１１】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、ＣＣＤ等の固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１２】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号（後述する「ポートレートモード」「風景モード」の選択指示を含む。）が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１３】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１４】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１５】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１６】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるデジタルのＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１と、ホワイトバランスをとるゲイン補正回路４２と、補正後の色信号に対してガンマ補正を行うガンマ補正回路４３を備える。オフセット補正後の信号に対してリニアマトリクス処理やニー補正を行う場合には、ゲイン補正回路４２とガンマ補正回路４３との間で行う。
【００１７】
このデジタル信号処理部２６は更に、ガンマ補正後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００１８】
ＲＧＢ補間演算部４４は、３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００１９】
ノイズフィルタ４６は、輝度信号Ｙからノイズを低減するものであり、本実施形態では、シェーディング補正情報（画素配置情報）が、ゲイン補正回路４３と輪郭補正回路４７の他に、このノイズフィルタ４６にも入力され、詳細は後述するようにして輝度信号のノイズ低減処理を行う。
【００２０】
図３は、ノイズフィルタ４６の詳細構成図である。このノイズフィルタ４６は、輝度信号Ｙを取り込み、メディアンフィルタ処理を施すメディアンフィルタ５１と、同じく輝度信号Ｙを取り込んでエッジ判定を行い、詳細は後述するようにして選択信号を出力するエッジ判定部５２と、輝度信号Ｙとメディアンフィルタ５１の出力信号とを取り込み、前記の選択信号に基づいて輝度信号Ｙまたはメディアンフィルタ５１の出力信号を選択し出力するセレクタ５３とを備える。
【００２１】
エッジ判定部５２は、輝度信号Ｙを取り込んで画像中のエッジ部分を検出するエッジ検出部５４と、エッジ検出部５４の出力信号と輝度信号Ｙとシェーディング補正情報とに基づいて選択信号を生成しセレクタ５３に出力するしきい値判定部５５とを備える。
【００２２】
次に、上述した構成のノイズフィルタ４６におけるノイズ低減処理方法について説明する。
【００２３】
図４は、ノイズフィルタ４６の動作手順を示すフローチャートである。この例では、画素Ｅを中心とする例えば３×３＝９の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉを考えるものとする。先ず、ステップＳ１で、３×３＝９画素のうち中心の画素Ｅを除く他の８画素の輝度信号値の平均値Ａveを算出する。そして、ステップＳ２で、画素Ｅの輝度信号値Ｅと上記平均値Ａveとの差分の絶対値Ｄevを算出する。このステップＳ１，Ｓ２の処理は、図３のエッジ検出部５４が行う。
【００２４】
次のステップＳ３で、しきい値判定部５５は、上記の差分値Ｄevがしきい値ＴＨ（Ｙ）より大きいか否かを判定する。この判定結果が肯定（ＹＥＳ）の場合、即ち、Ｄev＞ＴＨ（Ｙ）の場合、しきい値判定部５５は、セレクタ５３に選択信号を出力し、後段（輪郭補正回路４７）に出力させる画素Ｅの輝度信号値として、画素Ｅの輝度信号値としてセレクタ５３に入力された信号そのものを出力させ（ステップＳ４）、画素Ｅの出力信号に対する処理を終了する。即ち、ステップＳ４では、画素Ｅの輝度信号に対してノイズ低減処理は行わない。
【００２５】
ステップＳ３の判定結果が否定（ＮＯ）の場合、即ち、Ｄev≦ＴＨ（Ｙ）の場合、しきい値判定部５５は、セレクタ５３に選択信号を出力し、後段（輪郭補正回路４７）に出力させる画素Ｅの輝度信号値として、メディアンフィルタ５１の出力信号を出力させ（ステップＳ５）、画素Ｅの出力信号に対する処理を終了する。即ち、ステップＳ５では、画素Ｅの輝度信号に対してノイズ低減処理を施す。
【００２６】
図５は、メディアンフィルタ５１の機能説明図である。メディアンフィルタ５１は、ある画素Ｅの輝度信号値を出力する場合、この画素Ｅを中心とする例えば３×３＝９画素の各輝度信号値を高い順（あるいは低い順）にソートし、その中央値を求める。図示する例では、輝度信号値“１１”が中央値として求まる。画素Ｅの輝度信号値は図示する例では値“２５”であるが、メディアンフィルタ５１は、この画素Ｅの輝度信号値として、値“１１”をセレクタ５３に出力する。
【００２７】
図６は、しきい値判定部５５がステップＳ３で使用するしきい値ＴＨ（Ｙ）の説明図である。しきい値ＴＨ（Ｙ）は、輝度レベルＹ及びシェーディング補正量の関数として設定されており、入力してくる画素Ｅの輝度信号Ｙの値と、画素Ｅに対するシェーディング補正量とに基づいて決定される。このように、ノイズ低減処理（この実施形態では、メディアンフィルタ処理）を行うか否かを判定するしきい値ＴＨ（Ｙ）を、輝度信号Ｙのみならずシェーディング補正量の関数として決定するため、シェーディング補正量に応じてノイズ低減量を大きくすることが可能となる。
【００２８】
上述した実施形態では、ノイズフィルタ４６にシェーディング補正情報（量）を入力して輝度信号Ｙのノイズ低減処理を行うか否かを判定するしきい値ＴＨ（Ｙ）を決定したが、シェーディング補正量と撮影画像の種類とによって、ノイズ低減量を制御する構成とすることも可能である。
【００２９】
図７は、撮影モードとシェーディング補正量とによってノイズ低減量を異ならせる例を示すグラフである。ノイズ低減量をシェーディング補正量に応じて決定する特性線を、撮影モードがポートレートモードの場合と、風景モードとで異なる特性線を用いる。これはポートレートモードで撮像した画像は、画像周辺をぼかしても弊害が少ないためであり、これに対して、風景モードで撮像した画像は、画像周辺にも主要な情報があり得るためである。従って、ポートレートモードによる撮像画像のノイズ低減量を、風景モードによる撮像画像のノイズ低減量に比較して大きくする。
【００３０】
【発明の効果】
本発明によれば、輝度信号にかけるノイズ低減処理を行うか否かを判定するしきい値をシェーディング補正量に関連付けたため、高感度画像に対してもシェーディング補正量に応じたノイズ低減が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置のブロック構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】図２に示すノイズフィルタの詳細構成図である。
【図４】図３に示すノイズフィルタの処理手順を示すフローチャートである。
【図５】図３に示すメディアンフィルタの機能説明図である。
【図６】図３のしきい値判定部で使用するしきい値ＴＨ（Ｙ）の説明図である。
【図７】ノイズ低減量と撮影モードとの関係を示すグラフである。
【図８】レンズの透過率とレンズ中心軸からの距離との関係を示すグラフである。
【符号の説明】
１１固体撮像素子
１５ＣＰＵ
２２アナログ信号処理部
２３Ａ／Ｄ変換回路２３
２６デジタル信号処理部
４６ノイズフィルタ
５１メディアンフィルタ
５２エッジ判定部
５３セレクタ
５４エッジ検出部
５５しきい値判定部

Claims

固体撮像素子の出力信号から得られる画素単位の輝度信号に対してノイズ低減処理を施すノイズ低減回路において、
処理対象の画素（以下、対象画素という。）の輝度信号を取り込み、該輝度信号と前記対象画素の周辺画素の輝度信号との差を求め、該差をしきい値と比較し、該差が該しきい値以下となる場合には前記対象画素の輝度信号の代わりに、該対象画素及び前記周辺画素の各輝度信号値をフィルタ処理した値を出力させる手段と、
前記しきい値をシェーディング補正量に応じて決定するしきい値決定手段とを備えたことを特徴とするノイズ低減回路。
固体撮像素子の出力から得られる画素単位の輝度信号に対してノイズ低減処理を施すノイズ低減回路において、前記ノイズ低減処理によるノイズ低減量をシェーディング補正量及び撮影モードが風景モードであるかポートレートモードであるかに応じて決定する手段を備えたことを特徴とするノイズ低減回路。
レンズと、該レンズを通して被写体画像を撮像する固体撮像素子と、請求項１または請求項２に記載のノイズ低減回路とを備えたことを特徴とする撮像装置。