JP4822773B2 - 色ノイズ低減回路及びそれを用いた撮像装置 - Google Patents

Description

本発明は、デジタルカメラ、ビデオカメラなど、撮像素子を用いた撮像装置に好適に使用できる色ノイズ低減技術に関する。

ＣＣＤやＣＭＯＳセンサなどの光電気変換素子（撮像素子）を用いたカラー撮像装置が広く用いられている。このような撮像装置においては、カラーフィルタを透過した光を撮像素子に入射させることで、カラー画像の撮像を実現している。

図１１は、図１２のような原色カラーフィルタを備えた単板式撮像素子を用いる撮像装置の信号処理回路の例を示すブロック図である。

撮像素子（ここではＣＣＤ）１００１の出力信号はＯＢ回路１００２、ＷＢ回路１００３にて、それぞれ黒バランス、白バランス調整が実施される。色補間回路１００４の出力は色変換回路１００５にて色差信号（Ｒ−Ｙ、Ｂ−Ｙ）信号に変換され、ＣＳＵＰ(Chroma Suppress)回路１００６にて飽和領域の偽色除去が実施される。一方、ＷＢ回路１００３の出力は、輝度補間回路１００７にて輝度信号（Ｙｈ）に変換され、エッジ強調（ＡＰＣ）回路１００８にてエッジが強調される。ＣＳＵＰ回路１００６からの色差信号とエッジ強調回路１００８からの輝度信号は色変換回路１００９にてＲＧＢ信号に変換され、ガンマ回路１０１０にてモニターなどの出力装置に合わせたガンマ補正が実施される。ガンマ回路１０１０の出力信号は色変換回路１０１１にてＹＵＶ信号に変換される。

近年の撮像素子の小型化、高画素化に伴い画素ピッチが非常に極小化している。このため撮像素子の暗電流ノイズや光ショットノイズが非常に目立ち始めている。特に撮影感度を高くした場合など、ノイズが顕著に発生する。ノイズは、輝度信号に発生する点状の輝度ノイズ、色信号に発生する斑状の色ノイズに大別できる。このうち、色ノイズは低周波のランダムノイズであり、大幅な画質劣化の要因となっている。

従来、色ノイズ周波数以下の信号成分を通すローパスフィルタを用い、色ノイズを除去する方法が知られている。しかしながら色ノイズは非常に低い周波数特性を持ち、これを除去するためのローパスフィルタの設計は非常に困難で、フィルタタップ数が増大し回路規模が大きくなるという問題があり、更にはその効果が少ないという問題があった。また、ローパスフィルタを通すことにより、色の信号帯域が狭くなり、色エッジ部に色のにじみが発生するという問題があった。

このような問題に鑑み、特開２００４−１５３２２号公報（特許文献１）では、分散型ノイズ除去が提案されている。これは低周波ノイズをランダム置換法を用いてランダムに分散させ、結果的に高周波ノイズに変換し、その後ローパスフィルタで処理することで、色ノイズを除去するものである。

特開２００４−１５３２２号公報

特許文献１が提案する分散型ノイズ除去法は、色ノイズ除去に適したものであるが、この処理をこのまま撮像装置に適用すると、様々な問題がある。例えば、ランダム置換による弊害としてエッジ部分に色にじみ（エッジ部がボケる現象）が発生する問題がある。また、撮像素子の飽和による本来の色よりもある色味に偏りが生じた影響による偽色にじみ（広がり）の発生する問題がある。また、撮影感度や撮影時の温度変化によるノイズの発生の違いを吸収できない問題がある。

本発明はこのような従来技術の課題を解決することを目的とする。

上述の目的を達成するため、本発明の色ノイズ低減回路は、着目画素の色差信号を、着目画素を含む領域内でランダムに選択された他の画素の色差信号と置換し、置換後の色差信号に対して高周波除去して得られる置換画素色差信号と、置換前の着目画素の色差信号とを加算し、ノイズ除去後の着目画素の色差信号として出力する画素置換手段と、着目画素の輝度信号及び彩度信号と、他の画素の輝度信号及び彩度信号との差を表す輝度差分信号及び彩度差分信号とを求める差分信号生成手段と、輝度差分信号の値と、彩度差分信号と、予め定めた閾値とから、置換画素使用率を求める置換画素使用率算出手段と、を有し、画素置換手段は、置換画素使用率算出手段より求められた置換画素使用率に基づいて、置換画素色差信号と、置換前の着目画素の色差信号とを加算することを特徴とする。

また、上述の目的を達成するため、本発明の色ノイズ低減方法は、着目画素の色差信号を、着目画素を含む領域内でランダムに選択された他の画素の色差信号と置換し、置換後の色差信号に対して高周波除去して得られる置換画素色差信号と、置換前の着目画素の色差信号とを加算し、ノイズ除去後の着目画素の色差信号として出力する画素置換ステップを有する色ノイズ低減方法において、着目画素の輝度信号及び彩度信号と、他の画素の輝度信号及び彩度信号との差を表す輝度差分信号及び彩度差分信号とを求める差分信号生成ステップと、輝度差分信号の値と、彩度差分信号と、予め定めた閾値とから、置換画素使用率を求める算出ステップと、を有し、画素置換ステップは、算出ステップより求められた置換画素使用率に基づいて、置換画素色差信号と、置換前の着目画素の色差信号とを加算することを特徴とする。

このような構成により、本発明によれば、効率よい色ノイズの低減と、色にじみ発生の抑制とを両立することが可能となる。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
図２は、本発明の第１の実施形態に係る色ノイズ低減回路（色ノイズリダクション回路）を用いた、撮像装置の信号処理回路の構成例を示すブロック図である。図２において、図１１と同じ構成には同じ参照数字を付した。

図１１と図２とを比較すると分かるように、本実施形態においてはＣＳＵＰ１００６の代わりに色ノイズリダクション（色ＮＲ）回路２０６が設けられている点が異なる。それ以外の処理は上述したとおりであるため、ここでの説明は省略する。

図１は、本実施形態の特徴的な構成である色ノイズリダクション回路２０６の構成例を示すブロック図である。
色ＮＲ回路２０６には、色変換回路１００５の出力する色差信号Ｕ（Ｂ−Ｙ）、Ｖ（Ｒ−Ｙ）及び輝度信号Ｙが入力される。彩度算出回路１０３は、色差信号Ｕ，Ｖから以下の式１に基づいて彩度信号Ｃを生成する。
Ｃ＝√（Ｕ²＋Ｖ²） （１）

一方、色差信号Ｕ，Ｖ信号は、高輝度色抑圧回路１０２にて高輝度領域の色ゲインが抑圧される。ＣＣＤ１００１に用いられるカラーフィルタの色感度のばらつきにより、画素の高輝度領域部においては、例えば原色カラーフィルタを用いる撮像素子ではＧ信号がＲＢ信号にくらべて早めに飽和する。その結果、色がＲとＢ信号が飽和するまでの余裕があるためマゼンタがかる傾向がある。このような色づきを防ぐため、高輝度色抑圧回路１０２で高輝度領域の色ゲインを抑圧する。図１０は高輝度色抑圧回路の特性例を示す図である。図１０のような輝度信号に対する色ゲインカーブが予め設定されており、着目画素位置での輝度信号を参照することで色ゲインＣｇａｉｎが算出される。

例えば、輝度値Ｙ（レンジは０から１０２３とする）がＴｈ１以下の場合は
Ｃｇａｉｎ（ｉ，ｊ） ＝１．０
Ｔｈ１≦Ｙ≦Ｔｈ２の場合は、
Ｃｇａｉｎ（ｉ，ｊ） ＝ ａ×Ｙ（ｉ，ｊ）＋ｂ
Ｔｈ２＜Ｙ≦１０２３の場合には
Ｃｇａｉｎ（ｉ，ｊ） ＝ ０
となる。

従って、高輝度色抑圧回路１０２から出力されるＵＶ信号は、以下の式２で表すことができる。
Ｕ（ｉ，ｊ） ＝ Ｕ（ｉ，ｊ）×Ｃｇａｉｎ（ｉ，ｊ） （２）
Ｖ（ｉ，ｊ） ＝ Ｖ（ｉ，ｊ）×Ｃｇａｉｎ（ｉ，ｊ）

本実施形態では、高輝度色抑圧回路１０２をランダム置換回路１０４の前に配置しているため、高輝度の領域の色を補正してから画素置換が行われる。そのため、高輝度領域の色補正前の状態でランダム画素置換を行った場合に発生する、色エッジ部での飽和色にじみを防ぐことが可能となる。

高輝度色抑圧回路１０２からの色差信号Ｕ、Ｖ、色変換回路１００５からの輝度信号Ｙ及び彩度算出回路１０３からの彩度信号Ｃはそれぞれランダム画素置換回路１０４に入力される。ランダム画素置換回路１０４は、入力信号を、予め設定された領域内の任意の画素位置における色差信号、彩度信号に置換する。

ここで、ランダム画素置換回路１０４の動作について、図１３のフローチャートを用いてさらに説明する。
まず、ｍ×ｎ画素の置換対象領域を決定する（Ｓ１３０）。そして、置換される対象となる着目画素座標値を決定する（Ｓ１３１）。そして、色変換マトリクス１００５によって、着目画素位置（４，４）における色差信号Ｕ、Ｖ、輝度信号Ｙを、彩度算出回路１０３によって彩度信号Ｃをそれぞれ算出する（Ｓ１３２）。図３（ａ）及び図３（ｂ）は、着目画素座標値（４，４）を中心にして、９×９画素の置換対象領域内の任意の画素と置換する例を示している。

着目画素の座標値を（Ｘ，Ｙ）＝（ｉ，ｊ）（図３（ａ）の例では（Ｘ，Ｙ）＝（４，４））とすると、画素置換対象領域内でランダムに置換対象の画素座標値（Ｘ，Ｙ）＝（ｌ，ｍ）（図３（ａ）の例では（Ｘ，Ｙ）＝（５，６））が決定される（Ｓ１３３）。また、置換対象画素のＵ，Ｖ，Ｙ，Ｃ信号をそれぞれ算出する（Ｓ１３４）。

そして、図３（ｂ）のように、着目画素位置（４，４）における色差信号Ｕ、Ｖ、輝度信号Ｙ、彩度信号Ｃが、置換対象画素（５，６）の色差信号Ｕ、Ｖ、輝度信号Ｙ及び彩度信号Ｃで置換されて出力される（Ｓ１３５）。置換後のＵ，Ｖ，Ｙ，Ｃ信号をそれぞれＵ＿ｃｈｇ，Ｖ＿ｃｈｇ，Ｙ＿ｃｈｇ，Ｃ＿ｃｈｇとすると、以下のように表すことができる。
Ｕ＿ｃｈｇ（ｉ，ｊ）＝Ｕ（ｌ，ｍ）
Ｖ＿ｃｈｇ（ｉ，ｊ）＝Ｖ（ｌ，ｍ）
Ｙ＿ｃｈｇ（ｉ，ｊ）＝Ｙ（ｌ，ｍ）
Ｃ＿ｃｈｇ（ｉ，ｊ）＝Ｃ（ｌ，ｍ）
ランダム画素置換回路１０４の出力であるＵ、Ｖ信号Ｕ＿ｃｈｇ，Ｖ＿ｃｈｇは、ローパスフィルタ（ＬＰＦ）１０６により高周波成分が除去される（Ｓ１３６）。

また、差分信号生成回路１０５では、着目画素における輝度値Ｙ（ｉ，ｊ）及び彩度値Ｃ（ｉ，ｊ）と、ランダム画素置換回路１０４の出力輝度値Ｙ＿ｃｈｇ（ｉ，ｊ）及び彩度値Ｃ＿ｃｈｇ（ｉ，ｊ）との差分絶対値信号ＤｉｆｆＹ（ｉ，ｊ）、ＤｉｆｆＣ（ｉ，ｊ）が生成される（Ｓ１３７）。すなわち、
ＤｉｆｆＹ（ｉ，ｊ）＝｜Ｙ（ｉ，ｊ）−Ｙ＿ｃｈｇ（ｉ，ｊ）｜ （３）
ＤｉｆｆＣ（ｉ，ｊ）＝｜Ｃ（ｉ，ｊ）−Ｃ＿ｃｈｇ（ｉ，ｊ）｜
置換画素使用率算出回路１０７は、輝度差分絶対値信号ＤｉｆｆＹ（ｉ，ｊ）及び彩度差分絶対値信号ＤｉｆｆＣ（ｉ，ｊ）を用いて、置換画素使用率ｋ（ｉ，ｊ）を算出する（Ｓ１３８）。

算出された置換画素使用率ｋによって、元の画像のＵ、Ｖ信号と、置換されたＵ＿ｃｈｇ、Ｖ＿ｃｈｇ信号を以下の式（４）のように加重加算する（Ｓ１３９）。
Ｕ（ｉ，ｊ）＝ｋ×Ｕ＿ｃｈｇ（ｉ，ｊ）＋（１−ｋ）×Ｕ（ｉ，ｊ） （４）
Ｖ（ｉ，ｊ）＝ｋ×Ｖ＿ｃｈｇ（ｉ，ｊ）＋（１−ｋ）×Ｖ（ｉ，ｊ）
置換対象画素全てについて処理が終わったら、画素置換処理を終了する（Ｓ１４０）。
。

以下、Ｓ１３７とＳ１３８において行われる、置換画素使用率算出回路１０７による置換画素使用率ｋ（ｉ，ｊ）の算出方法について、詳細に説明する。本実施形態では、輝度差分絶対値信号ＤｉｆｆＹ（ｉ，ｊ）から第１の置換使用率Ｉ（ｉ，ｊ）を、彩度差分絶対値信号ＤｉｆｆＣ（ｉ，ｊ）から第２の置換使用率ｍ（ｉ，ｊ）をそれぞれ求める。そして、第１及び第２の置換使用率から最終的な置換使用率ｋ（ｉ，ｊ）を求める。

（１）第１の置換使用率ｌ（ｉ，ｊ）算出
図４は、本実施形態における、輝度差分絶対値信号ＤｉｆｆＹ（ｉ，ｊ）の値と第１の置換画素使用率ｌ（ｉ，ｊ）との関係を示した図である。
輝度差分絶対値信号ＤｉｆｆＹの値が大きいと輝度エッジ部である確率が高い。輝度エッジ部において画素置換を適用すると色のにじみが発生する虞があるため、輝度差分絶対値信号の値によって置換画素の使用率を変更してぼけの発生を抑制する。
なお、ここでは、輝度エッジ部を輝度差分絶対値信号ＤｉｆｆＹの値に基づいて判定することにより、平坦部とエッジ部とを判別した。しかし、画像信号の周波数特性から平坦部を検知するようにしても良い。また、平坦部の面積が大きい時は、置換対象領域を大きく設定し、平坦部の面積が小さい時には置換対象領域も小さく設定すると良い。

具体的には、図４に示す、輝度差分絶対値信号ＤｉｆｆＹの値が予め設定された閾値Ｔｈｙ１より小さい時には輝度エッジ部ではないと判定し、置換画素使用率Ｉ（ｉ，ｊ）を１００％とする（置換画素を１００％使用する）。ＤｉｆｆＹがＴｈｙ１以上Ｔｈｙ２以下では式５のような一次式で使用率が算出され、ＤｉｆｆＹがＴｈｙ２を超える場合は置換画素を使用しない。
ｌ（ｉ，ｊ）＝ａ×ＤｉｆｆＹ（ｉ，ｊ）＋ｂ （５）
（ａ、ｂは定数であり、ａ＜０、ｂ＞０である）

ここで、輝度閾値Ｔｈｙ、特にＴｈｙ１を大きく設定すると、全体として画素置換率が高くなるため、色ノイズ成分がランダムにちらばり、その後のＬＰＦ１０６によるノイズ除去の効果が大きくなる。しかしながら閾値Ｔｈｙを大きくしすぎると、輝度エッジ部における置換画素使用率も上昇するため、弊害として色のにじみが発生してしまう。従って、この閾値Ｔｈｙの設定が色ノイズ除去効果の改善と色にじみ発生の抑制を両立させる上で重要なポイントとなる。

そこで本実施形態では、輝度閾値Ｔｈｙ１及びＴｈｙ２を、撮像装置の撮影感度や撮像素子の温度、信号処理設定モードなど、輝度ノイズ成分の発生量に関係する条件に応じて変化させることで、条件に応じた適切な閾値を用いることを特徴としている。

図５は、カメラの撮影感度と閾値との関係例を示す図である。図５は、入力に撮影ＩＳＯ感度、出力に各感度におけるＴｈｙ値（Ｔｈｙ１、Ｔｈｙ２）を示している。感度が高くなるにつれ輝度ノイズ成分が大きくなるため、閾値を大きく設定し輝度ノイズ増加による輝度エッジの誤判別を防いでいる。なお、具体的な閾値は、予め測定した感度別輝度ノイズ発生量に応じて、各感度毎に設定することができる。

また例えば、図６に示すように、撮像素子の温度に応じた補正値（ゲイン）を感度別閾値に乗じることにより、撮影時の温度によるノイズの増減も加味した閾値を設定することが可能である。図６は、入力にセンサー温度、出力にゲインを示している。撮像素子の温度が高くなるにつれノイズ成分が大きくなるため、撮像素子の温度が所定の温度よりも高い場合には１よりも大きなゲインを用い、閾値を更に大きく補正する。逆に撮像素子の温度が低い場合には、１未満のゲインを用いて閾値を小さく補正する。

また例えば、図７のようなカメラの動作設定モード、例えばコントラストを可変とさせるモードにより輝度閾値を異ならせることを特徴としている。図７は、輝度閾値Ｔｈｙ１（Ｔｈｙ２も同じ）が、カメラの撮影感度別のみならず、信号処理設定モードごとに設定されていることを示している。（１）はノーマルモード、（２）はノーマルモードよりもコントラストを低くするモード、（３）はノーマルモードよりもコントラストを高くするモードである。コントラストを高く設定するとノイズ成分も大きくなるため、Ｔｈｙを大きくすることでノイズ除去の効果を大きくする。逆にコントラストを低く設定するとノイズ成分が小さくなるためＴｈｙを小さくすることで色にじみを抑える。

（２）第２の置換使用率ｍ（ｉ，ｊ）算出
次に、第２の置換使用率ｍ（ｉ，ｊ）の算出処理について説明する。
図８は、本実施形態における、彩度差分絶対値信号ＤｉｆｆＣ（ｉ，ｊ）の値と第２の置換画素使用率ｍ（ｉ，ｊ）との関係を示した図である。

彩度差分絶対値信号ＤｉｆｆＣの値が大きいと、色相エッジ部である確率が高い。色相エッジ部において画素置換を適用すると色のにじみが発生する虞があるため、色相差分絶対値信号の値によって置換画素の使用率を変更してぼけの発生を抑制する。

具体的には、図８に示す、色相差分絶対値信号ＤｉｆｆＣの値が予め設定された彩度閾値Ｔｈｃ１より小さい時には色相エッジ部ではないと判定し、置換画素使用率ｍ（ｉ，ｊ）を１００％とする（置換画素を１００％使用する）。ＤｉｆｆＣがＴｈｃ１以上Ｔｈｃ２以下では式６のような一次式で使用率が算出され、ＤｉｆｆＣがＴｈｃ２を超える場合は置換画素を使用しない。
ｍ（ｉ，ｊ）＝ａ×ＤｉｆｆＣ（ｉ，ｊ）＋ｂ （６）
（ａ、ｂは定数であり、ａ＜０、ｂ＞０である。式５のａ，ｂとは異なっていて良い）

彩度閾値設定も輝度閾値と同様、色ノイズ除去効果の改善と色にじみ発生の抑制を両立させる上で重要なポイントとなる。本実施形態では、第１の置換使用率算出と同様に、彩度閾値Ｔｈｃ１及びＴｈｃ２を条件に応じて変化させて、適切な閾値を用いることを特徴とする。条件は、輝度ノイズ成分の発生量に関係する条件であり、例えば、撮像装置の撮影感度や撮像素子の温度や、信号処理設定モードなど、がある。

カメラの撮影感度によって彩度閾値を異ならせるのは、撮影感度が高くなるにつれ色ノイズ成分が大きくなることを考慮している。つまり、色ノイズが増えるにつれ彩度閾値Ｔｈを大きく設定することにより色ノイズ除去の効果を強める。彩度閾値算出方法は、前述した感度別−輝度閾値算出方法と同様な手法を用いるため説明は省略する。また、撮像素子の温度により閾値に補正ゲインをかける処理も同様なため説明も省略する。

更に、図１２のように、カメラの動作設定モード、例えば色の濃さを可変とさせるモードにより彩度閾値を異ならせることを特徴としている。図１２は、彩度閾値Ｔｈｃ１（Ｔｈｃ２も同じ）が、カメラの撮影感度別のみならず、信号処理設定モードごとに設定されていることを示している。（１）はノーマルモード、（２）はノーマルモードよりも色を濃くする（高彩度）モード、（３）はノーマルモードよりも色を薄くする（低彩度）モードである。色を濃くするとノイズ成分も大きくなるため、Ｔｈを大きくすることでノイズ除去の効果を大きくする。逆に色を薄くするとノイズ成分が小さくなるためＴｈを小さくすることで色にじみを抑える。

また、設定されている撮影感度に応じて、置換対象領域（ｍ×ｎ）を変化させることによって適切なノイズ低減処理を行うことも出来る。すなわち、撮影感度が低い、例えば、ＩＳＯ５０の場合は、ノイズ量も少ないため、置換対象領域を例えば５×５（画素）と小さく設定する。これにより、色にじみも少なく、高画質な画像を得ることが出来る。また、感度が高い、例えばＩＳＯ１６００などの場合には、ノイズ量も増加するため、置換対象領域を例えば２３×２３（画素）と大きく設定することによってノイズの除去を適切に行う事が出来る。

（３）最終的な置換画素使用率ｋ（ｉ，ｊ）の算出
以上のようにして求めた第１の置換画素使用率ｌ（ｉ，ｊ）と第２の置換画素使用率ｍ（ｉ，ｊ）を用い、以下の式７に従って最終的な置換画素使用率ｋ（ｉ，ｊ）を算出する。
ｋ（ｉ，ｊ）＝ｌ（ｉ，ｊ）×ｍ（ｉ，ｊ）／１００ （７）
そして、算出された置換画素使用率ｋによって、元の画像のＵ、Ｖ信号と置換されたＵ＿ｃｈｇ、Ｖ＿ｃｈｇ信号を上述の式（４）によって加重加算する。

このように、本実施形態においては、輝度信号に対して求めた置換画素使用率と、彩度信号に対して求めた置換画素使用率の両方を考慮して最終的な画素置換率を決定している。従って、輝度エッジ部及び色相エッジ部をまたいで画素置換することが大幅に減少し、色にじみの発生を大幅に抑制できる。

このようにして求められた置換画素使用率ｋ（ｉ，ｊ）は、加重加算回路１０８に供給される。加重加算回路１０８では、高輝度色抑圧回路１０２から出力されるＵＶ信号と、ローパスフィルタ１０６から出力されたＵ＿ｃｈｇ信号及びＶ＿ｃｈｇ信号を置換画素使用率ｋを用いて加重加算する。

具体的には、ローパスフィルタ１０６から出力されたＵ＿ｃｈｇ信号及びＶ＿ｃｈｇ信号にはｋ／１００を乗じる。一方、高輝度色抑圧回路１０２から出力されるＵＶ信号には（１−ｋ／１００）を乗じ、Ｕ信号同士、Ｖ信号同士を加算し、最終的なＵ信号、Ｖ信号として出力する。

ここで、高輝度色抑圧回路１０２から出力されるオリジナルのＵＶ信号をローパスフィルタ１０６で処理しない。これは、平坦部には画素置換及びローパスフィルタによる色ノイズ除去を行い、エッジ部ではオリジナルＵＶ信号を用いて画素置換及びローパスフィルタによる色にじみの弊害を防ぐ目的からである。

以上説明したように、本実施形態によれば、ランダム画素置換とローパスフィルタとの組合せにより色ノイズの削減を行う色ノイズリダクション回路において、色ノイズの発生量に影響する条件に応じて異なる置換画素使用率を用いる。そのため、輝度及び彩度のエッジ部における色にじみ発生を抑制しながら、良好な色ノイズ除去を実現することが可能となるという効果を有する。

（他の実施形態）
上述の実施形態においては、色ノイズ除去回路をハードウェア的に構成した場合について説明したが、色ノイズ除去回路を構成する機能ブロックのうち少なくとも１つ以上の機能をソフトウェアによって実現することも可能である。

そして、前述のソフトウェアのプログラムを記録媒体から直接、実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することにより同等の機能が達成される場合も本発明に含む。或いは当該プログラムを有線／無線通信を用いて実行可能なコンピュータを有するシステム又は装置に供給しても良い。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体がある。また他の記録媒体として、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等がある。また、他の供給方法として、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続されたクライアントコンピュータにプログラムデータファイルをダウンロードする方法などがある。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給する。そして、ユーザは、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムは、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の実施形態に係る色ノイズリダクション回路の構成例を示すブロック図である。 図１の色ノイズリダクション回路を用いた撮像装置の信号処理回路の構成例を示すブロック図である。 ランダム画素置換を説明する図である。 図１の置換画素使用率算出回路１０７が第１の置換画素使用率を求める方法を説明する図である。 第１の置換画素使用率決定に用いる閾値を撮影感度毎に変化させる方法を説明する図である。 撮像素子温度により図５の閾値を補正する方法を説明する図である。 信号処理設定モードと撮影感度に応じて第１の置換画素使用率の算出に用いる閾値を変化させる方法を説明する図である。 図１の置換画素使用率算出回路１０７が第２の置換画素使用率を求める方法を説明する図である。 信号処理設定モードと撮影感度に応じて第２の置換画素使用率の算出に用いる閾値を変化させる方法を説明する図である。 図１の高輝度色抑圧回路１０２の特性例を示す図である。 従来の撮像装置の信号処理回路の構成例を示すブロック図である。 原色フィルタの色配置例を示す図である。 ランダム画素置換回路１０４の動作を説明するフローチャートである。

符号の説明

１００１ 撮像素子
１００２ ＯＢ（オプティカルブラック）回路
１００３ ＷＢ（ホワイトバランス）回路
１００４ 色補間回路
１００５，１００９，１０１１ 色変換回路
２０６ 色ノイズリダクション回路
１００７ 輝度補間回路
１００８ エッジ強調回路
１０１０ ガンマ補正回路
１００６，１０２ ＣＳＵＰ（色抑圧）回路
１０３ 彩度算出回路
１０４ ランダム置換回路
１０５ 差分信号生成回路
１０６ ローパスフィルタ
１０７ 置換画素使用率算出回路
１０８ 加重加算回路

Claims (12)

1. 着目画素の色差信号を、前記着目画素を含む領域内でランダムに選択された他の画素の色差信号と置換し、置換後の色差信号に対して高周波除去して得られる置換画素色差信号と、置換前の前記着目画素の色差信号とを加算し、ノイズ除去後の前記着目画素の色差信号として出力する画素置換手段と、
   前記着目画素の輝度信号及び彩度信号と、前記他の画素の輝度信号及び彩度信号との差を表す輝度差分信号及び彩度差分信号とを求める差分信号生成手段と、
   前記輝度差分信号の値と、前記彩度差分信号と、予め定めた閾値とから、置換画素使用率を求める置換画素使用率算出手段と、を有し、
   前記画素置換手段は、前記置換画素使用率算出手段より求められた置換画素使用率に基づいて、前記置換画素色差信号と、前記置換前の着目画素の色差信号とを加算することを特徴とする色ノイズ低減回路。
2. 前記置換画素使用率算出手段が、
   前記輝度差分信号の値と、輝度差分信号用閾値との関係に基づいて第１の使用率を求める第１の算出手段と、
   前記彩度差分信号の値と、彩度差分信号用閾値との関係に基づいて第２の使用率を求める第２の算出手段と、
   前記第１及び第２の使用率とから前記置換画素使用率を求める第３の算出手段とを有することを特徴とする請求項１記載の色ノイズ低減回路。
3. 前記第１及び第２の算出手段が、ノイズ発生量に関連する条件に応じて前記輝度差分信号用閾値及び彩度差分信号用閾値を変化させることを特徴とする請求項２記載の色ノイズ低減回路。
4. 前記ノイズ発生量に関連する条件が、前記着目画素を撮像する撮像装置において設定された撮影感度、信号処理条件及び前記撮像装置が用いる撮像素子の温度のうち、少なくとも前記撮影感度であることを特徴とする請求項３記載の色ノイズ低減回路。
5. 前記第１及び第２の算出手段が、前記撮影感度に応じて定められた値を、前記撮像素子の温度によって定まる値で補正した結果を前記輝度差分信号用閾値及び彩度差分信号用閾値として用いることを特徴とする請求項４記載の色ノイズ低減回路。
6. 前記第１及び第２の算出手段が、前記撮影感度に応じて定められた値を、前記信号処理条件に応じて補正した値を前記輝度差分信号用閾値及び彩度差分信号用閾値として用いることを特徴とする請求項４記載の色ノイズ低減回路。
7. 前記着目画素が有する輝度値に応じて前記色差信号の値を補正することで高輝度色抑圧を行う補正手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の色ノイズ低減回路。
8. 前記着目画素を含む領域の大きさを、前記撮像装置において設定された前記撮影感度に応じて変更することを特徴とする請求項４に記載の色ノイズ低減回路。
9. 請求項１乃至請求項８のいずれか１項に記載の色ノイズ低減回路を用いた撮像装置。
10. 着目画素の色差信号を、前記着目画素を含む領域内でランダムに選択された他の画素の色差信号と置換し、置換後の色差信号に対して高周波除去して得られる置換画素色差信号と、前記置換前の前記着目画素の色差信号とを加算し、ノイズ除去後の前記着目画素の色差信号として出力する画素置換ステップを有する色ノイズ低減方法において、
    前記着目画素の輝度信号及び彩度信号と、前記他の画素の輝度信号及び彩度信号との差を表す輝度差分信号及び彩度差分信号とを求める差分信号生成ステップと、
    前記輝度差分信号の値と、前記彩度差分信号と、予め定めた閾値とから、置換画素使用率を求める算出ステップと、を有し、
    前記画素置換ステップは、前記算出ステップより求められた置換画素使用率に基づいて、前記置換画素色差信号と、前記置換前の着目画素の色差信号とを加算することを特徴とする色ノイズ低減方法。
11. コンピュータに、請求項１０記載の色ノイズ低減方法を実現させるためのプログラム。
12. 請求項１１記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images