JP4645921B2 - 画像信号処理装置および方法、プログラム、並びに撮像装置 - Google Patents

Description

本発明は、画像信号処理装置および方法、プログラム、並びに撮像装置に関し、特に、階調補正処理とノイズリダクション処理を併用した場合でも、ノイズが適切に抑制された画像を得ることができるようにした画像信号処理装置および方法、プログラム、並びに撮像装置に関する。

近年、固体撮像素子の低ノイズ化などの進歩や信号処理技術の進歩により、デジタルカメラにおいても、広ダイナミックレンジを有する画像データの撮影が可能になってきた。この際、撮像素子での飽和を防ぐために、通常時の撮影よりも露光量を抑える制御が行われる（例えば、特許文献１参照）。

以下、この制御で行う撮影を、広DR撮影と称し、この制御で撮影された画像を、広DR画像と称する。

広DR画像のデータは、通常撮影の画像に較べて画面が一律に暗くなっている。そこで、出力に際しては、主要被写体の明るさが好適になるように、カメラ内部のデジタル信号処理で階調補正処理が行われる。この階調補正処理としては、例えば、トーンカーブ処理、または、ダイナミックレンジ圧縮処理などがよく用いられる。

ここで、階調補正処理は、主要被写体の見えを明るくするように働く。この動作は、主要被写体に割り当てられる信号の幅を広げる作用を持ち、それゆえ、デジタル信号処理においては、その部分の信号の連続性（レベル方向の変化の滑らかさ）が悪化してしまう。

一方、デジタルカメラにおいては、画像データのノイズを抑制するために、ノイズリダクション処理（以下、NR処理と称する）がよく行われる。NR処理では、入力レベルとノイズ成分の関係を示すノイズモデル（例えば、特許文献２参照）や、人間の視覚特性を考慮して（例えば、特許文献３参照）、画像データからノイズ成分を除去する。

NR処理は、例えば、バイラテラルフィルタを代表とする非線形平滑化によって行われることが多い。デジタル信号の平滑化処理には、量子化誤差とノイズを含む複数のデータを平均することで、レベル方向の連続性（分解能）を向上させる作用がある。そのため、NR処理は、ノイズ除去以外にも入力画像の信号の連続性を改善させる性質を合わせ持っている。

特開２００８−１４８１８０号公報 特開２００８−１３１５２９号公報 特開２００８−１１３２２２号公報

さて、ここで、広DR画像に対して、上述した階調補正処理とNR処理を共に用いた場合、階調補正処理を先に行っても、また、NR処理を先に行っても、以下のように、処理の性能が低下してしまう。

階調補正処理を先に行い、次にNR処理を行う場合、階調補正処理の影響で、ノイズが増幅されたり、原信号が抑圧されたりするため、ノイズと原信号の弁別が難しくなり、NR処理の性能が低下する恐れがある。また、階調補正処理後の画像においては、その影響によりノイズモデルが成立しなくなるため、NR処理を適切に行うことが困難になる。

一方、NR処理を先に行い、次に、階調補正処理を行う場合、階調補正が行われていないことにより、主要被写体の明るさが暗いため、人間の視覚特性が正しく反映されず、NR処理の性能が低下する恐れがある。また、階調補正処理が主要被写体を明るく補正することにより、その被写体のレベルの連続性が劣化する恐れがある。

本発明は、このような状況に鑑みてなされたものであり、階調補正処理とノイズリダクション処理を併用した場合における処理の性能劣化を抑制することができるようにするものである。

本発明の一側面の画像信号処理装置は、フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定する制御手段と、前記制御手段により決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分ける振り分け手段と、前記振り分け手段により振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加するゲイン処理手段と、前記ゲイン処理手段により前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行うノイズリダクション処理手段と、前記振り分け手段により振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理手段により前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行う階調補正処理手段とを備える。

前記関数は、前記階調補正代表値に対して前記階調補正関数を正規化した正規化階調補正関数である。

前記階調補正処理手段は、前記階調補正処理として、トーンカーブ処理を行うことができる。

前記階調補正処理手段は、前記階調補正処理として、ダイナミックレンジ圧縮処理を行うことができる。

前記階調補正処理手段は、前記階調補正処理として、シェーディング補正処理を行うことができる。

前記振り分け手段により振り分けられた前記階調補正代表値を用いて、前記ノイズリダクション処理のノイズモデルのパラメータを設定するパラメータ設定手段をさらに備えることができる。

本発明の一側面の画像信号処理方法は、画像信号処理装置が、フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定し、決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分け、振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加し、前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行い、振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行うステップを含む。

本発明の一側面のプログラムは、フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定し、決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分け、振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加し、前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行い、振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行うステップを含む処理をコンピュータに実行させる。

本発明の他の側面の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段により撮像された前記被写体に対応するフレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定する制御手段と、前記制御手段により決定された前記階調補正特性を、前記被写体のうち、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分ける振り分け手段と、前記振り分け手段により振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加するゲイン処理手段と、前記ゲイン処理手段により前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行うノイズリダクション処理手段と、前記振り分け手段により振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理手段により前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行う階調補正処理手段とを備える。

本発明の一側面においては、フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性が決定され、決定された前記階調補正特性が、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分けられる。そして、振り分けられた前記階調補正代表値が、前記フレームに対して一律にゲインとして印加され、前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理が行われ、振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理が行われる。

本発明の他の側面においては、被写体が撮像され、撮像された前記被写体に対応するフレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性が決定され、決定された前記階調補正特性が、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分けられる。そして、振り分けられた前記階調補正代表値が、前記フレームに対して一律にゲインとして印加され、前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理が行われ、振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理が行われる。

本発明によれば、階調補正処理とノイズリダクション処理を併用することができる。また、本発明によれば、階調補正処理とノイズリダクション処理を併用した場合における処理の性能劣化を抑制することができる。

以下、本発明が適用される画像信号処理装置の実施の形態として、第１の実施の形態と第２の実施の形態とについて説明する。なお、説明は以下の順序で行う。

１．第１の実施の形態(デジタルカメラで構成される例)
２．第２の実施の形態(パーソナルコンピュータで構成される例)

＜１．第１の実施の形態＞
［デジタルカメラの構成例］
図１は、本発明を適用した画像信号処理装置としてのデジタルカメラの実施の形態の構成例を示すブロック図である。

図１の例において、デジタルカメラ１は、露出制御コントローラ１１、露光量調整部１２、撮像素子１３、A/D(Analog to Digital)変換部１４、画像信号処理部１５、信号処理部１６、表示部１７、および記録部１８により構成される。

露出制御コントローラ１１と露光量調整部１２は、露出の制御を行う。露出制御コントローラ１１は、被写体の輝度分布とデジタルカメラ１の撮影モードに応じて、撮像素子１３の露光量が適正になるように、露出調整量（すなわち、露光量調整部１２の制御値）を設定する。また、露出制御コントローラ１１は、このときの露出調整量を、DET処理部２１に出力する。露光量調整部１２は、露出制御コントローラ１１からの制御値を用いて、撮像素子１３の露光量を調整し、露光を行う。この制御値としては、例えば、絞り開口、露光時間、および減光(ND)フィルタの濃度などがよく用いられる。

撮像素子１３は、例えば、CCD(charge coupled device)や、CMOS(complementary metal oxide semiconductor)などの固体撮像素子からなり、レンズなどからなる図示せぬ光学ブロックを通じて被写体などから入射された光を、アナログ信号に変換する。

A/D変換部１４は、撮像素子１３によりアナログ信号に変換された画像信号を量子化して、デジタルの画像データに変換する。A/D変換部１４からの画像データは、画像信号処理部１５のDET処理部２１およびゲイン処理部２３に出力される。

画像信号処理部１５は、A/D変換部１４からの画像データの画像信号処理を行う。すなわち、画像信号処理部１５は、A/D変換部１４からの画像データ（フレーム）における主要被写体の明るさが好適になるように階調補正を行うとともに、画像データのノイズを抑制するためにノイズリダクション処理を行う。その際、画像信号処理部１５は、明るさの階調補正処理を、実質的に、ノイズリダクション処理の前後に２段階に分けて行う。例えば、１段階目として、階調を持ち上げる階調補正処理が行われ、２段階目として、高輝度の階調を抑える階調補正処理が行われる。なお、以下、ノイズリダクション処理を、適宜、NR処理またはノイズ除去処理と称する。

画像信号処理部１５は、DET(detection)処理部２１、振分処理部２２、１段階目の階調補正処理を行うゲイン処理部２３、NR(noise reduction)調整処理部２４、NR処理部２５、および、２段階目の階調補正処理を行うTM(tone map:階調補正)処理部２６により構成される。

DET処理部２１は、A/D変換部１４からの画像データを解析し、露出制御コントローラ１１からの露出調整量を用いて、その画像データに対して適用する階調補正特性を決定し、決定した階調補正特性を、振分処理部２２に出力する。例えば、DET処理部２１は、階調補正特性の例として、階調補正関数を決定する。階調補正関数は、画像データの明るさを好適にする変換特性を、明るさの入出力関係として定めた関数であり、例えば、高輝度部分の白とびを抑え、かつ、主要被写体が明るくなるように決定される。

振分処理部２２は、DET処理部２１からの階調補正特性を、１段階目の明るさの階調補正処理を行うゲイン処理部２３に必要な成分と、２段階目の明るさの階調補正処理を行うTM処理部２６に必要な成分に分解し、それぞれに振り分ける。例えば、DET処理部２１からの階調補正特性としての階調補正関数が入力された場合、振分処理部２２は、階調補正関数を、階調補正代表値と、階調補正関数から階調補正代表値を除いた残りの階調補正関数である正規化階調補正関数に分解する。そして、振分処理部２２は、階調補正代表値を、ゲイン処理部２３に振り分け、正規化階調補正関数を、TM処理部２６に振り分ける。なお、階調補正代表値は、NR調整処理部２４にも出力される。

ここで、階調補正代表値は、主要被写体の代表値（代表レベル値）に対して行われる補正処理をゲインで表した際のゲイン量である。正規化階調補正関数は、主要被写体の代表値に対して階調補正関数の入出力が同一となるように正規化した階調補正関数である。

ゲイン処理部２３は、振分処理部２２からの階調補正代表値を用いて、１段階目の明るさの階調補正処理を行う。すなわち、ゲイン処理部２３は、振分処理部２２からの階調補正代表値を用いて、A/D変換部１４からの画像データに対して明るさを一律に補正（調整）し、明るさを補正した画像データをNR処理部２５に出力する。

NR調整処理部２４は、振分処理部２２からの階調補正代表値を用いて、入力レベルとノイズ成分の関係を示すノイズモデルのパラメータを計算し、NR処理部２５のノイズモデルに設定する。

NR処理部２５においては、例えば、特許文献３に記載のノイズ除去処理が行われる。NR処理部２５は、NR調整処理部２４により設定されたノイズモデルを用いて、ゲイン処理部２３からの画像データのノイズを除去し、TM処理部２６に出力する。なお、NR処理部２５におけるノイズの除去は、ノイズを完全に除去することを意味するだけでなく、ノイズの軽減も含まれる。

TM処理部２６は、振分処理部２２からの正規化階調補正関数を用いて、２段階目の明るさの階調補正処理を行う。すなわち、TM処理部２６は、振分処理部２２からの正規化階調補正関数を用いて、NR調整処理部２４からの画像データの階調補正を行い、階調補正された画像データを、信号処理部１６に出力する。この階調補正としては、トーンカーブ処理、ダイナミックレンジ圧縮処理、または、シェーディング処理などが用いられる。なお、以下においては、階調補正として、トーンカーブ処理を例に説明する。

信号処理部１６は、TM処理部２６からの画像データに対して、後段の表示部１７への表示や、記録部１８における記録に適した画像データに変換する信号処理を行い、対応する表示部１７や記録部１８に出力する。信号処理部１６においては、例えば、ガンマ変換やYCbCr変換といった信号フォーマットの変換や、LUTを用いた色変換処理を組み合わせた信号処理が行われる。

表示部１７は、例えば、LCD(Liquid Crystal Display)パネルなどで構成され、信号処理部１６からの画像データに対応する画像を表示する。記録部１８は、信号処理部１６からの画像データを、図示せぬ光ディスクまたは磁気ディスクなどの記録媒体に記録する。

［NR処理部の構成例］
図２は、NR処理部の構成例を示す図である。

図２に示すNR処理部２５は、物理特性値算出部３１、視覚特性値算出部３２、閾値決定部３３、およびノイズ除去部３４により構成される。

ゲイン処理部２３からの画像データは、物理特性値算出部３１、視覚特性値算出部３２、およびノイズ除去部３４にそれぞれ入力される。

物理特性値算出部３１は、NR調整処理部２４によりパラメータが設定されたノイズモデルを用いて、入力された画像データの輝度に依存する値であるノイズ量（物理特性値）σ²を算出し、閾値決定部３３に出力する。

視覚特性値算出部３２は、入力された画像データが示す画像の色R,G,Bを判別し、視覚モデルを用いて、物理特性値を補正する係数である補正パラメータ（視覚特性値）ｋを算出し、閾値決定部３３に出力する。

視覚モデルは、例えば、図３を参照して後述する、人間の視覚特性を考慮して作成されている色と補正値の変換テーブルで構成される。

閾値決定部３３は、物理特性値算出部３１からのノイズ量σ²と、視覚特性値算出部３２からの補正パラメータｋを用いて、ノイズ除去部３４がノイズ除去処理を行うために用いるフィルタ閾値εを計算し、計算したフィルタ閾値εを、ノイズ除去部３４に出力する。例えば、閾値決定部３３は、乗算器で構成され、物理特性値算出部３１からのノイズ量σ²と、視覚特性値算出部３２からの補正パラメータｋとを乗算し、乗算した値であるkσ²をフィルタ閾値εとして、ノイズ除去部３４に出力する。このように、フィルタ閾値εを決定することによって、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を用いたノイズ除去処理を行うことができる。

ノイズ除去部３４は、入力された画像データに対して、閾値決定部３３からのフィルタ閾値εを用いて、例えば、εフィルタによるノイズ除去を実行し、ノイズ除去処理が施された画像データを後段のTM処理部２６に出力する。なお、ノイズ除去部３４におけるノイズ除去方法は、εフィルタ以外の方法を用いることもできる。

［変換テーブルの構成例］
図３は、視覚モデルとして用いられる変換テーブルの例を示す図である。

変換テーブルは、色と、(r,g,b)の値と、補正パラメータkとが対応付けられている変換テーブルであり、画像の色R,G,Bの各値を、補正パラメータkに変換するものである。

変換テーブルにおいては、緑色、(r,g,b)=(100,170,100)、補正パラメータｋ=2.0が対応付けられており、黄色、(r,g,b)=(240,200,60)、補正パラメータｋ=2.0が対応付けられている。また、青色、(r,g,b)=(90,90,200)、補正パラメータｋ=3.0が対応付けられており、赤色、(r,g,b)=(200,50,70)、補正パラメータｋ=3.0が対応付けられている。さらに、肌色、(r,g,b)=(220,170,170)、補正パラメータｋ=3.0が対応付けられており、その他、補正パラメータｋ=2.5が対応付けられている。

視覚特性値算出部３２は、入力された画像データが示す画像の色R,G,Bを判別し、判別したR,G,Bの各値に最も近い値を、変換テーブルの(r,g,b)の中から選択する。そして、視覚特性値算出部３２は、変換テーブルから、選択した(r,g,b)の値に対応する補正パラメータkを選択し、選択した補正パラメータkを閾値決定部３３に出力する。

なお、R,G,Bの各値に最も近い値を、変換テーブルの(r,g,b)の値の中から選択する際には、各値の色空間距離（ベクトル）を基準に判断される。

［広DR撮影モードの説明］
次に、図４を参照して、デジタルカメラ１の撮影モードについて説明する。

デジタルカメラ１には、撮影モードとして、少なくとも、広ダイナミックレンジを有する画像の撮影を行う広DR撮影モードと、広ダイナミックレンジではなく、標準のダイナミックレンジを有する画像の撮影を行う標準撮影モードが設けられている。図４の例の場合、広DR撮影モードとして、それぞれ異なる露出の調整方法を用いる２種類の広DR撮影Ａモードと広DR撮影Ｂモードが設けられている。

デジタルカメラ１の撮影モードが広DR撮影Ａモードである場合、露出制御コントローラ１１は、例えば、特許文献１に記載の、撮像素子１３上での白とびを防ぎつつ、主要被写体の露光量が極端に少なくならないように露出を調整する方法を用い、露出調整量を設定する。

また、デジタルカメラ１の撮影モードが広DR撮影Ｂモードである場合、露出制御コントローラ１１は、例えば、撮像素子１３上での全ての白とびをなくすように露出を調整する方法を用い、露出調整量を設定する。

なお、露出の具体的な調整方法については、上述した広DR撮影Ａモードや広DR撮影Ｂモードの方法に限らず、任意であるが、標準モードの撮影と比較した場合、DR撮影モードの撮影のときの露出調整量は、露出が下がる。

図４の例においては、上述した各撮影モードで撮影された画像データの画像５１乃至５３と、それらの各ヒストグラム５４乃至５６が示されている。すなわち、上段には、標準撮影モードで撮影された画像データの画像５１と、そのヒストグラム５４が示されている。また、中段には、広DR撮影Ａモードで撮影された画像データの画像５２と、そのヒストグラム５５が示されており、下段には、広DR撮影Ｂモードで撮影された画像データの画像５３と、そのヒストグラム５６が示されている。

なお、ヒストグラム５４乃至５６においては、縦軸が度数を表し、横軸が明るさ（輝度）を表し、右にいくほど明るいことが示されている。また、画像５１乃至５３における主要被写体は、画面中央の人物であり、各ヒストグラム５４乃至５６における範囲Ｅは、主要被写体の明るさ分布を示している。以下、特に言及しないが、他のヒストグラムについても同様に表される。

標準撮影モードでの撮影では、主要被写体の明るさは、ヒストグラム５４の範囲Ｅに示されるように十分な明るさを有し、好ましい反面、画像５１の上部における高輝度の空の部分では、白とびが起こって、被写体（空の部分）を信号に反映できていない。

それに対して、広DR撮影Ａモードの撮影では、標準撮影モードの撮影よりも露出を下げて撮影される。広DR撮影Ａモードの撮影の場合、標準撮影モードの撮影よりも露出を下げたことで、標準撮影モードでの画像５１と比して、画像５２における空の部分が概ね信号に反映されている。

広DR撮影Ｂモードの撮影では、広DR撮影Ａモードの撮影よりもさらに露出を下げて撮影される。広DR撮影Ｂモードの撮影の場合、広DR撮影Ａモードの撮影よりさらに露出を下げたことで、画像５３における空の部分が完全に信号に反映されている。ただし、どちらの広DR撮影モードの撮影でも露出を下げたことにより、ヒストグラム５５および５６の範囲Ｅに示されるように、主要被写体の明るさが暗くなっている。

［階調補正特性の説明］
図５は、図４の各画像データの階調補正特性の例を示す図である。図５の例においては、図４の各撮影モードで撮影された画像データの階調補正特性を表すトーンカーブ６１乃至６３のグラフと、トーンカーブ６１乃至６３による階調補正後の画像データに対応する画像６４乃至６６と、画像６４乃至６６のヒストグラム６７乃至６９が示されている。

なお、トーンカーブ６１乃至６３の各グラフにおいて、横軸は入力レベルを表しており、右へ行くほど入力レベルが高輝度であることを示している。縦軸は出力レベルを表しており、上に行くほど出力レベルが高輝度であることを示している。以下、特に言及しないが、他のトーンカーブのグラフについても同様に表される。

これらの画像６４乃至６６における主要被写体は、画像５１乃至５３と同様に、画面中央の人物である。また、トーンカーブ６２および６３のグラフにおける範囲Ｆは、主要被写体の明るさ範囲を示しており、各ヒストグラム６７乃至６９における範囲Ｅは、主要被写体の明るさ分布を示している。

DET処理部２１においては、撮像により得られた画像データの明るさを補正する階調補正特性が決定される。この階調補正特性とは、高輝度の部分の信号を保持しつつ、広DR撮影モードの撮影により暗くなっている主要被写体の明るさを補正するための処理特性であり、例えば、トーンカーブ６２または６３で表される階調補正関数である。

この階調補正特性の決め方は任意であるが、DET処理部２１は、例えば、高輝度部分の白とびを抑え、かつ、主要被写体が明るくなるように階調補正特性を決定する。具体的には、DET処理部２１は、トーンカーブ６２のグラフの範囲Ｆに示される主要被写体の明るさ範囲では、露出制御コントローラ１１の露出調整量により、標準撮影モードの場合よりも下げられた露出を相殺（キャンセル）するように階調補正特性を決定する。そして、DET処理部２１は、その明るさの範囲Ｆを超えるにつれ、徐々に補正量を抑えるように階調補正特性を決定する。

同様に、DET処理部２１は、トーンカーブ６３のグラフの範囲Ｆに示される主要被写体の明るさ範囲では、露出制御コントローラ１１の露出調整量により、広DR撮影Ａモードの場合よりさらに下げられた露出を相殺するように階調補正特性を設定する。そして、DET処理部２１は、その明るさの範囲Ｆを超えるにつれ、徐々に補正量を抑えるように階調補正特性を決定する。したがって、トーンカーブ６３の範囲Ｆの傾きは、トーンカーブ６２の範囲Ｆの傾きよりも急になっている。なお、トーンカーブ６２および６３の各グラフに示される「×(１／露出調整量)」は、露出調整量を相殺することを表している。

このトーンカーブ（階調補正特性）６２により、図４の画像５２における輝度の低い側は明るく補正される。すなわち、図４の画像５２の主要被写体を、画像６５とヒストグラム６８に示されるように、好適な明るさ（例えば、標準撮影モードによる画像６４とヒストグラム６７の範囲Ｅに示される明るさと同等の明るさ）に補正することができる。

同様に、トーンカーブ（階調補正特性）６３により、図４の画像５３における輝度の低い側は明るく補正される。すなわち、図４の画像５３の主要被写体を、画像６６とヒストグラム６９の範囲Ｅに示されるように、好適な明るさ（例えば、標準撮影モードによる画像６４とヒストグラム６７の範囲Ｅに示される明るさと同等の明るさ）に補正することができる。

なお、標準撮影モードで撮影された画像データは、画像信号処理部１５における階調補正の対象ではないが、図５の例においては、広DR撮影モードの撮影された画像データとの比較のために、トーンカーブ６１、画像６４、およびヒストグラム６７が示されている。したがって、図５に示されるトーンカーブ６１は、リニアのトーンカーブとなっており、階調補正後の画像６４は、図４の画像５１と一致しており、階調補正後のヒストグラム６７は図４のヒストグラム５４と一致している。

［画像信号処理の説明］
次に、図６を参照して、画像信号処理部１５の処理の詳細について説明する。なお、図６の例においては、説明の便宜上、NR調整処理部２４が省略されており、振分処理部２２は、代表値検出部７１と階調補正正規化部７２とにより構成されている。

また、図６の例においては、トーンカーブ８１乃至８３の各グラフと、ヒストグラム９１乃至９３が示されている。トーンカーブ８１は、DET処理部２１により決定された階調補正特性を表しており、トーンカーブ８２は、代表値検出部７１により検出された階調補正代表値Gを一律に印加する処理の入出力特性を、説明のためトーンカーブとして表現しあものである。トーンカーブ８３は、階調補正正規化部７２により求められた正規化階調補正特性を表している。ヒストグラム９１乃至９３は、それぞれ、ゲイン処理部２３に入力される画像データのヒストグラム、ゲイン処理の後の画像データのヒストグラム、階調補正後の画像データのヒストグラムである。

DET処理部２１から、例えば、トーンカーブ８１で表される階調補正特性のデータが、代表値検出部７１および階調補正正規化部７２に入力される。

代表値検出部７１は、DET処理部２１が決めた階調補正特性において、主要被写体の代表値に対して行われる補正量を表す値である階調補正代表値Gを検出する。階調補正代表値Gは、ゲインで表される数値で、一例として、階調補正特性が関数y=f(x)で表されるとき、その入出力比f(x)/x（すなわち、関数y=f(x)の傾き）を用いて、次の式（１）から求められる。

G = argmax(f(x)/x) ・・・（１）

ただし、主要被写体の明るさ範囲が既知である場合、x∈主要被写体の明るさ範囲となる。なお、主要被写体の明るさが、例えば、検出されることにより既知で、ある値x0である場合（すなわち、主要被写体の代表値がx0である場合）には、G = f(x0)/x0となる。また、主要被写体の明るさが範囲を有する場合の階調補正代表値Gとしては、その範囲でのf(x)/xの最大値の他に、例えば、f(x)/xの平均値を用いるようにしてもよい。さらに、主要被写体の明るさが不明の場合には、f(x)/xの最大値を用いる。

この階調補正代表値Gの検出処理により、主要被写体の明るさを補正する要素が検出される。

階調補正正規化部７２は、DET処理部２１が決めた階調補正特性から、代表値検出部７１が検出した階調補正代表値Gを除いた残りの成分を求める。すなわち、階調補正正規化部７２は、DET処理部２１が決めた階調補正特性を主要被写体に対して正規化し、新しい階調補正特性を求める。例えば、新しい階調補正特性である正規化階調補正特性を表す関数f'(x)は、階調補正特性が関数y=f(x)で表されるとき、代表値検出部７１が検出した階調補正代表値Gを用いて、次の式（２）で求められる。

f'(x) = f(x×G)/G ・・・（２）

なお、式（２）においては、後述するゲイン処理部２３における階調補正代表値Gによるレベル幅の引き延ばしを相殺するために、x軸がG倍されており、階調補正代表値Gで明るくした分を元に戻すため、y軸が1/G倍されている。すなわち、このf'(x)を求める式（２）は、トーンカーブ８３に示されるように、階調補正特性を主要被写体x0の周囲でリニア直線となる特性にする式、換言するに、階調補正特性f(x)を正規化する式である。したがって、階調補正代表値Gの検出は、正規化の定数を検出していること同意である。

以上のように、振分処理部２２は、トーンカーブ８１で表される階調補正特性を、フレームに対して、トーンカーブ８２で表される一律のゲインGと、トーンカーブ８３で表される正規化階調補正特性に分解し、それぞれ、ゲイン処理部２３およびTM処理部２６に振り分ける。

すなわち、代表値検出部７１により検出された階調補正代表値Gは、ゲイン処理部２３に出力され、階調補正正規化部７２により求められた正規化階調補正特性は、TM処理部２６に出力される。なお、この階調補正代表値Gは、図６の例においては図示せぬNR調整処理部２４にも出力される。NR調整処理部２４における処理の詳細は、図７を参照して後述する。

ゲイン処理部２３は、入力される画像データに対して、トーンカーブ８２に示されるように、ゲイン（階調補正代表値）Gを一律に印加する。これにより、ヒストグラム９２に示されるように、明るさの軸（横軸）をゲイン分だけ引き延ばすことになるので、画像の信号のレベル幅が広がる。したがって、階調補正代表値Gの印加前には、ヒストグラム９１の範囲Ｅに示されるように暗かった主要被写体の明るさ分布は、ヒストグラム９２の範囲Ｅに示されるように、主要被写体に合わせて明るく補正される。

NR処理部２５は、ゲイン処理部２３の後の画像データに対して、NR処理を行う。このとき、画像データは、ゲイン処理部２３により明るさが調整されて、図２を参照して上述した視覚モデルが正常に動作する土台ができているので、NR処理部２５においては、主要被写体に対して好適なNR処理を行うことができる。

TM処理部２６は、NR処理後の画像データに対して、トーンカーブ８３で表される正規化階調補正特性を用いて、階調補正を行う。正規化階調補正特性は、主要被写体の代表値（例えば、x0）に対して正規化されたものであるので、その代表値x0まではリニアとなるが、一般的に、代表値x0より、輝度の高い部分の明るさを下げる性質を有する。これにより、後段の信号処理部１６における白とびが抑制される。

また、階調補正においては、主要被写体の代表値に対して正規化した階調補正特性が用いられる。これにより、ヒストグラム９２とヒストグラム９３に示されるように、主要被写体の明るさの範囲Ｅの幅を変えることなく、NR処理により広がった明るさの軸（画像信号のレベル幅）を狭めることができる。

以上のように、画像信号処理部１５においては、ゲイン処理部２３とTM処理部２６の２段階の明るさの階調補正処理により、DET処理部２１が決定した階調補正特性に従って、画像データの明るさが補正される。

すなわち、TM処理部２６が、ゲイン処理部２３と協調して動作することで、DET処理部２１の決定（階調補正特性）に応じた画像データの明るさ補正が達成される。

なお、参考として、TM処理部２６がない場合には、画像全体がゲイン処理部２３による明るさ調整で明るく補正されたまま、後段の信号処理部１６に入力されるため、白とびが起こり、広DR撮影の効果がでない恐れがある。

［デジタルカメラの動作］
次に、図７のフローチャートを参照して、デジタルカメラ１の広DR撮影処理について説明する。例えば、ユーザの操作によりデジタルカメラ１の電源が投入され、デジタルカメラ１の動作モードが広DR撮影モードに切り替えられたとき、図７の処理が開始される。

ステップＳ１１において、露出制御コントローラ１１と露光量調整部１２は、露出の制御を行う。すなわち、露出制御コントローラ１１は、デジタルカメラ１の撮影モードが広DR撮影モードであることを確認する。そして、露出制御コントローラ１１は、例えば、図４を参照して上述したように、撮像素子１３上での白とびを防ぎつつ、主要被写体の露光量が極端に少なくならないように露出を調整する方法を用い、露光調整量（露光量調整部１２の制御値）を設定する。露光量調整部１２は、露出制御コントローラ１１からの制御値を用いて、撮像素子１３の露光量を調整し、露光を行う。

ステップＳ１２において、撮像素子１３は、露光量調整部１２により調整された露光で、被写体を撮像する。すなわち、撮像素子１３は、レンズなどからなる図示せぬ光学ブロックを通じて被写体などから入射された光を、アナログ信号に変換する。

露光された光は、撮像素子１３によりアナログ信号に変換され、さらに、A/D変換部１４により量子化されてデジタルの画像データになる。A/D変換部１４からの画像データは、画像信号処理部１５のDET処理部２１およびゲイン処理部２３に出力される。

ステップＳ１３において、DET処理部２１は、A/D変換部１４からの画像データを解析し、露出制御コントローラ１１からの露出調整量を用いて、画像データの明るさを補正する階調補正特性、すなわち、階調補正特性を表す階調補正関数を決定する。階調補正関数は、図５を参照して上述したように、例えば、高輝度部分の白とびを抑え、かつ、主要被写体が明るくなるように決定される。DET処理部２１により決定された階調補正関数は、振分処理部２２の代表値検出部７１および階調補正正規化部７２に出力される。

ステップＳ１４において、代表値検出部７１は、DET処理部２１が決めた階調補正関数から、階調補正代表値Gを検出する。図６を参照して上述したように、階調補正代表値Gは、例えば、階調補正特性が関数y=f(x)で表されるとき、その入出力比f(x)/xを用いて、式（１）から求められる。代表値検出部７１により検出された階調補正代表値Gは、階調補正正規化部７２、ゲイン処理部２３、およびNR調整処理部２４に出力される。

ステップＳ１５において、階調補正正規化部７２は、DET処理部２１が決めた階調補正関数から、代表値検出部７１が検出した階調補正代表値Gを除いた残りの成分として、正規化階調補正特性を表す正規化階調補正関数f'(x)を求める。図６を参照して上述したように、正規化階調補正関数f'(x)は、例えば、階調補正特性が関数y=f(x)で表されるとき、代表値検出部７１が検出した階調補正代表値Gを用いて、式（２）で求められる。

階調補正正規化部７２により求められた正規化階調補正関数f'(x)は、TM処理部２６に出力される。

ステップＳ１６において、ゲイン処理部２３は、代表値検出部７１により決定された階調補正代表値Gを用いて、A/D変換部１４からの画像データの画像全体の明るさを補正する。すなわち、ゲイン処理部２３は、画像データに対して、ゲイン（階調補正代表値）Gを一律に印加する。これにより、主要被写体に合わせて画像データの画像全体の明るさが補正される。ゲイン処理部２３により明るさが補正された画像データは、NR処理部２５に出力される。

ステップＳ１７において、NR調整処理部２４は、代表値検出部７１により検出された階調補正代表値Gを用いて、NR処理部２５が使用するノイズモデルを設定する。例えば、NR処理部２５が使用するノイズモデルは、特許文献１に記載される次の式（３）により定義される。

式（３）において、パラメータaは、入力レベルに略比例するノイズ成分を定義するものであり、パラメータbは、入力レベルの平方根に略比例するノイズ成分を定義するものであり、パラメータcは、入力レベルに依存しないノイズ成分を定義するものである。なお、σ(x)は、ノイズ信号の振幅の分散を表しており、物理的に計算される値である。

この式（３）で表されるノイズモデルσ(x)で使用されるパラメータa,b,cは、それぞれ次の式（４）乃至（６）で定義できる。

a ≡ Ｖ_a ² ・・・（４）
b ≡ ｇ_FD ²・ｇ_sig ² ・・・（５）
c ≡ ｎ_ri ²・ｇ_sig ² ・・・（６）

式（４）のパラメータＶ_aは、撮像素子１３における開口（感度）ムラの特性を示す値であり、撮像素子１３の受光部に均一な光を入射させたときの画素ごとの出力の平均値のバラツキを割合として示したものである。より具体的には、受光部の均一な光を入射させたときの出力値の分散から、光学ショットノイズとフロアノイズの分散を減算した値の平方根として算出される。

パラメータbは、撮像素子１３が発生する光学ショットノイズに対応している。式（５）のパラメータｇ_FDは、撮像素子１３の電荷量を電圧値に変換する際に生じるゲイン値を示す。

パラメータcは、入力レベルに依存したいフロアノイズに対応している。式（６）のパラメータｎ_riは、熱雑音、ダークショットノイズ、ダークムラなどのフロアノイズをアナログ処理系入力部における信号レベルに換算した換算雑音値を示す。具体的には、撮像素子１３の受光部への入射光を遮断したときに得られた画素ごとの出力値の分散の平方根として算出される。

式（５）および式（６）におけるパラメータｇ_sigは、アナログ画像信号の伝送系とA/D変換系における総合ゲインを示す。このパラメータｇ_sigは、次の式（７）によって表される。

ここで、パラメータｇ_CDSは、図示せぬCDSにおいて生じるゲインを示す。パラメータｇ_aは、A/D変換部１４の前段に設けられる図示せぬアナログアンプにおいて生じるゲインをします。パラメータｎ_bitsは、A/D変換部１４の出力データの最大ビット数を示す。パラメータＶ_fsは、A/D変換部１４の入力電圧の許容最大値を示す。

パラメータｇ_dは、A/D変換後の画像データに対して、その後の画像信号処理部１５に設けられたゲイン処理部２３で印加されるゲイン（階調補正代表値）Gを示す。

すなわち、NR調整処理部２４は、式（７）に、ゲイン（階調補正代表値）Gを乗算して、パラメータを設定して、式（３）の関数の形状を求め、それをNR処理部２５が使用するノイズモデルに設定する。これにより、ゲイン処理部２３で印加されるゲイン（階調補正代表値）Gが式（７）のパラメータｇ_dに対して与える影響を加味することができる。

ステップＳ１８において、NR処理部２５は、ゲイン処理部２３の後の画像データに対して、NR処理を行う。ステップＳ１８の処理を具体的に説明すると、物理特性値算出部３１は、ステップＳ１６においてパラメータが設定されたノイズモデルを用いて、ゲイン処理部２３からの画像データの輝度に依存する値であるノイズ量σ²を算出し、閾値決定部３３に出力する。

視覚特性値算出部３２は、ゲイン処理部２３からの画像データが示す画像の色R,G,Bを判別し、図３を参照して上述した変換テーブルからなる視覚モデルを用いて、物理特性値を補正する係数である補正パラメータｋを算出し、閾値決定部３３に出力する。

閾値決定部３３は、物理特性値算出部３１からのノイズ量σ²と、視覚特性値算出部３２からの補正パラメータｋとを乗算し、乗算した値であるkσ²をフィルタ閾値εとして、ノイズ除去部３４に出力する。

ノイズ除去部３４は、ゲイン処理部２３からの画像データに対して、閾値決定部３３からのフィルタ閾値εを用いて、例えば、εフィルタによるノイズ除去を実行し、ノイズ除去処理が施された画像データを後段のTM処理部２６に出力する。

このように、NR処理部２５においては、ノイズモデルからのノイズ量σ²と視覚モデルからの補正パラメータｋとを乗算したフィルタ閾値εが決定される。したがって、入力される画像データがゲイン処理部２３により明るさが調整されていることにより、視覚モデルが正しく動作し、主要被写体に対して、ノイズの物理特性と人間の視覚特性とを考慮した適切な閾値を用いたノイズ除去処理を行うことができる。

ステップＳ１９において、TM処理部２６は、NR処理後の画像データに対して、例えば、図６を参照して上述したトーンカーブ８３で表される正規化階調補正関数を用いて、階調補正処理として、トーンカーブ処理を行う。階調補正された画像データは、信号処理部１６に出力される。

ステップＳ２０において、信号処理部１６は、TM処理部２６からの画像データに対して、後段の表示部１７への表示や、記録部１８における記録に適した画像データに変換する信号処理を行い、対応する表示部１７や記録部１８に出力する。

例えば、表示部１７への表示に適したカメラ信号処理が行われた画像データは、表示部１７に表示される。記録部１８における記録に適したカメラ信号処理が行われた画像データは、記録部１８により図示せぬ光ディスクまたは磁気ディスクなどの記録媒体に記録される。

以上のように、代表値検出部７１において、画像データに対して決定された階調補正関数から、階調補正代表値Gを検出し、ゲイン処理部２３において、検出された階調補正代表値Gを用いて、画像データの画像全体の明るさを補正するようにした。これにより、主要被写体に対してNR処理を好適に行うことができる。すなわち、階調補正処理とノイズリダクション処理を併用した場合でも、ノイズが適切に抑制された画像を得ることができる。

また、TM処理部２６が、ゲイン処理部２３と協調して動作することで、DET処理部２１の決定（階調補正関数）に応じた画像データの明るさ補正が達成される。すなわち、TM処理部２６において、一般的に輝度の高い部分の明るさを下げる性質を有する正規化階調補正特性を用いて階調補正が行われる。これにより、後段の信号処理部１６における白とびを抑制し、広DR撮影の効果を有効にすることができる。

さらに、階調補正正規化部７２により階調補正特性が正規化され、TM処理部２６により正規化階調補正関数を用いて階調補正が行われる。これにより、NR処理の性能を確保したまま、広DR撮影時の信号の連続性（レベル方向の変化の滑らかさ）の劣化を改善することができる。

以上により、階調補正処理とノイズリダクション処理を併用した場合における処理の性能劣化を抑制することができる。

［効果の説明］
上述した広DR撮影時の信号の連続性の劣化に対する改善効果について、図８乃至図１０を参照して詳しく説明する。図８においては、標準撮影時の従来構成の各処理における信号の連続性を表すグラフ１１１乃至１１４が示されている。図９においては、広DR撮影時の従来構成の各処理における信号の連続性を表すグラフ１２１乃至１２４が示されている。図１０においては、広DR撮影時の画像信号処理部１５の各処理における信号の連続性を表すグラフ１３１乃至１３５が示されている。

なお、図８および図９の従来構成として、先にNR処理を行い、次に階調補正処理を行う構成を考える。逆の構成（先に階調補正処理を行う構成）は、NR処理のノイズと原信号の弁別性を低下させるため、一般に用いることができないためである。また、図８乃至図１０においては、0.5/0.5 NR処理 LPF(Low Pass Filter)係数に示されるように、NR処理として、説明の便宜上、２タップのεフィルタを用いることとする。

図８のグラフ１１１は、アナログ信号の画像データの画素位置におけるレベルを表している。図８のグラフ１１２は、A/D変換後の画像データの信号の連続性を表している。図８のグラフ１１３は、NR処理後の画像データの信号の連続性を表している。図８のグラフ１１４は、階調補正後の画像データの信号の連続性を表している。

図９のグラフ１２１は、アナログ信号の画像データの画素位置におけるレベルを表している。図９のグラフ１２２は、A/D変換後の画像データの信号の連続性を表している。図９のグラフ１２３は、NR処理後の画像データの信号の連続性を表している。図９のグラフ１２４は、階調補正後の画像データの信号の連続性を表している。

図１０のグラフ１３１は、アナログ信号の画像データの画素位置におけるレベルを表している。図１０のグラフ１３２は、A/D変換後の画像データの信号の連続性を表している。図１０のグラフ１３３は、ゲイン処理後の画像データの信号の連続性を表している。図１０のグラフ１３４は、NR処理後の画像データの信号の連続性を表している。図１０のグラフ１３５は、階調補正後の画像データの信号の連続性を表している。

なお、図８のグラフ１１１、図９のグラフ１２１、および図１０のグラフ１３１においては、横軸が画素位置を表しており、縦軸がレベルを表している。すなわち、図９のグラフ１２１および図１０のグラフ１３１のレベルは、図８のグラフ１１１のレベルよりも、が低いことを示している。

また、図８のグラフ１１２乃至１１４、図９のグラフ１２２乃至１２４、および図１０のグラフ１３２乃至１３５における点線で示される目盛は、量子化精度を表しており、その目盛を用いた各グラフの段差が緩やかなほど、量子化精度が細かく、信号が連続していることを表している。すなわち、図８のグラフ１１２乃至１１４、図９のグラフ１２２および１２３、並びに、図１０のグラフ１３２、１３４、および１３５の目盛１つの段差は、図９のグラフ１２４および図１０のグラフ１３３の目盛２つの段差より、緩やかであり、量子化精度が細かく、信号が連続していることを示している。

これらのグラフを参照して、まず、従来構成における広DR撮影の場合について説明する。図８のグラフ１１１および図９のグラフ１２１に示されるように、従来構成における広DR撮影の場合、標準撮影の場合に比べて、レベルの低いアナログ信号に対してA/D変換が行われている。

そして、従来構成における広DR撮影の場合、A/D変換後、NR処理が行われた後に、階調補正が行われ、主要被写体の明るさが補正される。このとき、階調補正により主要被写体に割り当てる信号のレンジが広げられる。よって、従来の広DR撮影では、図９のグラフ１２４に示されるように、階調補正後には、図８のグラフ１１４に示される標準撮影時の画像データに較べ、信号の連続性が劣化した画像データが出力される。

一方、画像信号処理部１５においては、図８のグラフ１１１および図１０のグラフ１３１に示されるように、従来構成における広DR撮影の場合と同様に、標準撮影の場合に比べて、レベルの低いアナログ信号に対してA/D変換が行われている。

そして、画像信号処理部１５においては、A/D変換後、図１０のグラフ１３３に示されるように、ゲイン処理において、明るさの軸（横軸）がゲイン分だけ引き延ばされ、信号の連続性が劣化した画像データが生成される。すなわち、デジタル信号のゲインを上げることで、量子化誤差の影響が大きくなり、信号が飛び飛びの値しか持たなくなってしまう（変化量が大きくなり、連続性が悪化してしまう）。

しかしながら、その画像データは、図１０のグラフ１３４に示されるように、その後のNR処理の平滑化作用により信号の連続性が改善された画像データとなる。すなわち、通常、εフィルタの閾値εは、信号の精度（＝レベル方向の分解能）よりも大きいので、NR処理の平滑化作用により、信号の連続性の改善効果を得ることができる。

さらに、階調補正においては、正規化した階調補正特性を用いることにより、図６のヒストグラム９２とヒストグラム９３を用いて上述したように、NR処理により引き延ばされた画像の信号のレベル幅を狭めるように動作する。したがって、図９のグラフ１２４で示される従来の階調補正後の画像データと異なり、階調補正で信号の連続性が悪化することは起こらない。結果として、図１０のグラフ１３５に示されるように、画像信号処理部１５の階調補正後の画像データは、図９のグラフ１２４で示される従来の階調補正後の画像データと比べて、NR処理の平滑化の効果だけ、信号の連続性に優れたものとなる。

以上のように、主要被写体に対して明るさが調整された状態でNR処理が行われることにより、NR処理のパラメータが最適化されて、NR処理と階調補正処理とを併用した場合でも、ノイズが適切に抑制された画像を得ることができる。

また、ゲイン処理による信号の連続性の悪化が改善され、さらに、階調補正処理が信号の連続性を改善する方向に作用するため、全体として、信号の連続性に優れた画像を得ることができる。

なお、上記説明においては、階調補正の例として、トーンカーブ処理を用いて説明したが、トーンカーブ処理に限らず、ダイナミックレンジ圧縮処理を用いることもできる。

ダイナミックレンジ圧縮処理とは、画像中の細部の見えを確保しながら、信号のレンジを圧縮する処理であり、技術的には、画像信号を空間的な特徴に基づいて分解、あるいは、抽出して、２つ以上の成分にわけ、それぞれの信号の強度を個別に調整する処理である。

例えば、特開２００１−２７５０１５号公報（以下、特許文献４と称する）には、画像の低周波数帯域成分を抽出して、LUTによりレンジを圧縮するとともに、高周波数帯域成分を抽出して、強調するダイナミックレンジ圧縮処理が記載されている。また、特開２００７−０４９５４０号公報（以下、特許文献５と称する）には、画像の低周波数成分を抽出してレンジを圧縮し、コントラスト補正により高周波数成分を選択的に強調するダイナミックレンジ圧縮処理が記載されている。

すなわち、TM処理部２６で階調補正として、特許文献４および５に示されるようなダイナミックレンジ圧縮処理が用いられる場合、例えば、低周波数成分のレンジ圧縮の際に、低周波成分に、正規化階調補正関数でトーンカーブ処理が行われる。

また、階調補正の例としては、さらに、画像の周辺部の明るさを上げるシェーディング処理を用いることもできる。次に、図１１を参照して、TM処理部２６で階調補正として、画像の周辺部の露光量を少なくする働きを有するレンズのシェーディングの補正処理であるシェーディング処理が用いられる場合について説明する。

［画像信号処理の説明］
図１１は、階調補正として、シェーディング処理が用いられる場合の画像信号処理部１５の処理の詳細を示す図である。図１１の例において、DET処理部２１およびTM処理部２６が、それぞれ、DET処理部１５１およびTM処理部１５２に入れ替わったことが図６の例と異なっているだけであり、振分処理部２２、ゲイン処理部２３、およびNR処理部２５は共通している。

図１１の例においては、シェーディング補正用のゲインカーブ１７１乃至１７３の各グラフと、画像１８１乃至１８３が示されている。なお、画像１８１乃至１８３においては、主要被写体である人物の明るさの変化が表されていないが、実際には、人物の明るさは、それぞれの画像１８１乃至１８３の背景と同じように変化する。

また、ゲインカーブ１７１乃至１７３の各グラフにおいて、横軸は、画像１８１乃至１８３における像高（光軸の位置を原点とするピクセル位置）を表しており、像高0（図中左端）は、画面１８１の中央位置（光軸の位置）、像高x0は、主要被写体（画像１８１乃至１８３における人物）の像高を示している。縦軸はゲインを表している。

ゲインカーブ１７１は、DET処理部１５１により決定された階調補正特性を表しており、ゲインカーブ１７２は、代表値検出部７１により検出された階調補正代表値Gを一律に印加するゲインカーブ（直線）を表している。ゲインカーブ１７３は、階調補正正規化部７２により求められた正規化階調補正特性を表している。画像１８１乃至１８３は、それぞれ、ゲイン処理部２３に入力される画像データ、ゲイン処理後の画像データ、および階調補正後の画像データに対応する画像である。

撮像により得られた画像データの画像１８１は、レンズの特性により画面の外側に行くほど暗くなってしまう。これは、シェーディングと呼ばれ、DET処理部１５１においては、主要被写体のｃの明るさを好適にするシェーディング補正のための階調補正特性が決定される。

この場合、階調補正特性として、ゲインカーブ１７１で表されるような、主要被写体の像高x0のピクセル位置に応じたシェーディング補正ゲインが用いられる。DET処理部１５１から、例えば、ゲインカーブ１７１で表される階調補正特性のデータが、代表値検出部７１および階調補正正規化部７２に入力される。

代表値検出部７１は、図６の例の場合と同様に、式（１）を用いて、DET処理部１５１が決めた階調補正特性の補正量を代表する値である階調補正代表値Gを検出する。なお、階調補正として、ピクセル位置に応じたシェーディング補正ゲインが用いられる場合、階調補正代表値Gとしては、例えば、主要被写体のピクセル位置の範囲での補正ゲインの平均値あるいは最大値、または、単に補正ゲインの最大値を用いることもできる。この階調補正代表値Gの検出処理により、主要被写体の明るさを補正する要素が検出される。

階調補正正規化部７２は、図６の例の場合と同様に、式（２）を用いて、DET処理部１５１が決めた階調補正特性から、代表値検出部７１が検出した階調補正代表値Gを除いた残りの成分を求める。すなわち、階調補正正規化部７２は、DET処理部１５１が決めた階調補正特性を、主要被写体に対して正規化し、新しい階調補正特性を求める。

以上のように、振分処理部２２は、ゲインカーブ１７１で表される階調補正特性を、フレームに対して、ゲインカーブ１７２で表される一律のゲインGと、ゲインカーブ１７３で表される正規化階調補正特性に分解する。代表値検出部７１により検出された階調補正代表値Gは、ゲイン処理部２３に出力され、階調補正正規化部７２により求められた正規化階調補正特性は、TM処理部１５２に出力される。

ゲイン処理部２３は、入力される画像データに対して、ゲインカーブ１７２に示されるように、ゲイン（階調補正代表値）Gを一律に印加する。これにより、階調補正代表値Gの印加前には、画像１８１に示されるように暗かった背景および主要被写体の明るさは、画像１８２の背景に示されるのと同様に、主要被写体に合わせて明るく補正される。

NR処理部２５は、ゲイン処理部２３の後の画像データに対して、NR処理を行う。このとき、画像データは、ゲイン処理部２３により明るさが調整されているので、NR処理部２５においては、主要被写体に対して好適なNR処理を行うことができる。

TM処理部１５２は、NR処理後の画像データに対して、主要被写体の像高x0に対して正規化されたゲインカーブ１７３で表される正規化階調補正特性を用いて、階調補正としてのシェーディング補正を行う。これにより、シェーディング補正がなされた画像１８３を得ることができる。すなわち、画像１８３の背景に示されるように、画面の外側に行くほど明るく補正された画像１８３であって、画像の周辺部も、画像の中央部も、一律に補正された画像１８３を得ることができる。

以上のように、画像信号処理部１５においては、ゲイン処理部２３とTM処理部１５２の２段階の明るさの補正処理により、DET処理部１５１が決定した階調補正特性に従って、画像データのシェーディングを補正することもできる。

＜２．第２の実施の形態＞
［パーソナルコンピュータの構成例］
図１２は、本発明を適用した画像信号処理装置としてのパーソナルコンピュータを含む画像信号処理システムの実施の形態の構成例を示すブロック図である。

図１２の例においては、画像信号処理システム２０１は、図１のデジタルカメラ１のA/D変換部１４までの前段の各部を有する撮像装置２１１、および、デジタルカメラ１の画像信号処理部１５以降の後段の各部を有するパーソナルコンピュータ２１２により構成される。なお、図１２の例において、図１の例と対応する部分には対応する符号が付されており、その説明は繰り返しになるので適宜省略する。

すなわち、撮像装置２１１は、図１の露出制御コントローラ１１、露光量調整部１２、撮像素子１３、およびA/D変換部１４により構成される。撮像装置２１１は、撮像素子１３により撮像され、A/D変換部１４によりデジタルに変換された未現像の画像データ（RAW画像データ）を、図示せぬ記録媒体に記録する。このとき、撮像装置２１１は、露出制御コントローラ１１により制御された撮像時の露出調整量も、RAM画像ファイル内のメタデータとして記録する。この露出調整量は、例えば、Exif(Exchangeable image file format)情報のタグExposureBiasValue(ID:37380)などに付加される。なお、使用タグは、一例であり、メーカ固有のタグなど、他のタグを用いることもできる。

撮像装置２１１は、記録媒体に記録されている、メタデータが付加されたRAW画像データを、例えば、USB(Universal Serial Bus)ケーブルや記録媒体そのもの、あるいは、ネットワークなどを介して、パーソナルコンピュータ２１２に受け渡す。

パーソナルコンピュータ２１２は、図１のDET処理部２１、振分処理部２２、ゲイン処理部２３、NR調整処理部２４、NR処理部２５、およびTM処理部２６からなる画像信号処理部１５、信号処理部１６、表示部１７、並びに記録部１８により構成される。

パーソナルコンピュータ２１２は、メタデータが付加されたRAW画像データを、撮像装置２１１から取得し、取得したメタデータが付加されたRAW画像データを画像信号処理部１５に入力し、図６を参照して上述したNR処理と階調補正処理を実行させる。

すなわち、RAW画像データと、そのRAW画像データに付加されたメタデータである露出調整量は、画像信号処理部１５のDET処理部２１に入力され、階調補正特性の決定に用いられる。RAW画像データは、画像信号処理部１５のゲイン処理部２３にも入力され、明るさが調整された後にNR処理部２５に出力され、NR処理がなされた後にTM処理部２６に出力され、階調補正処理が行われる。

次に、図１３のフローチャートを参照して、パーソナルコンピュータ２１２の画像信号処理について説明する。なお、図１３のステップＳ１１２乃至Ｓ１１９の処理は、図７のステップＳ１３乃至Ｓ２０の処理と基本的に同様の処理を行うため、繰り返しになるので、その詳細な説明を適宜省略する。

例えば、ユーザの操作により撮像装置２１１の電源が投入され、撮像装置２１１の動作モードが広DR撮影モードに切り替えられる。撮像装置２１１の露出制御コントローラ１１は、撮影モードが広DR撮影モードであるので、撮像素子１３上での白とびを防ぎつつ、主要被写体の露光量が極端に少なくならないよう、露出調整量（露光量調整部１２の制御値）を設定する。露光量調整部１２は、露出制御コントローラ１１からの制御値を用いて、撮像素子１３の露光量を調整し、露光を行う。撮像素子１３は、露光量調整部１２により調整された露光で、被写体を撮像する。

露光した光は、撮像素子１３によりアナログ信号に変換され、さらに、A/D変換部１４により量子化されてデジタルの画像データになる。A/D変換部１４からの未現像の画像データ（RAW画像データ）は、露出制御コントローラ１１からの露光調整量がメタデータとして付加されて、図示せぬ記録媒体に記録される。

撮像装置２１１の記録媒体に記録されたRAW画像データは、ユーザの操作に応じて、例えば、USBケーブルなどを介して、パーソナルコンピュータ２１２に受け渡される。

ステップＳ１１１において、パーソナルコンピュータ２１２は、撮像装置２１１からのメタデータが付加されたRAW画像データを画像信号処理部１５に入力する。RAW画像データは、DET処理部２１およびゲイン処理部２３に入力される。RAW画像データにメタデータとして付加されていた露出調整量は、DET処理部２１に入力される。

ステップＳ１１２において、DET処理部２１は、撮像装置２１１からの画像データを解析し、露出制御コントローラ１１からの露出調整量を用いて、画像データの明るさを補正する階調補正特性、すなわち、階調補正特性を表す階調補正関数を決定する。階調補正関数は、図５を参照して上述したように、例えば、高輝度部分の白とびを抑え、かつ、主要被写体が明るくなるように決定される。DET処理部２１により決定された階調補正関数は、振分処理部２２の代表値検出部７１および階調補正正規化部７２に出力される。

ステップＳ１１３において、代表値検出部７１は、DET処理部２１が決めた階調補正関数から、階調補正代表値Gを検出する。図６を参照して上述したように、階調補正代表値Gは、例えば、階調補正特性が関数y=f(x)で表されるとき、その入出力比f(x)/xを用いて、式（１）から求められる。代表値検出部７１により検出された階調補正代表値Gは、ゲイン処理部２３およびNR調整処理部２４に出力される。

ステップＳ１１４において、階調補正正規化部７２は、DET処理部２１が決めた階調補正関数から、代表値検出部７１が検出した階調補正代表値Gを除いた残りの成分として、正規化階調補正を表す正規化階調補正関数f'(x)を求める。図６を参照して上述したように、正規化階調補正関数f'(x)は、例えば、階調補正特性が関数y=f(x)で表されるとき、代表値検出部７１が検出した階調補正代表値Gを用いて、式（２）で求められる。

階調補正正規化部７２により求められた正規化階調補正関数f'(x)は、TM処理部２６に出力される。

ステップＳ１１５において、ゲイン処理部２３は、代表値検出部７１により決定された階調補正代表値Gを用いて、撮像装置２１１からの画像データの画像全体の明るさを補正する。すなわち、ゲイン処理部２３は、画像データに対して、ゲイン（階調補正代表値）Gを一律に印加する。これにより、主要被写体に合わせて画像データの画像全体の明るさが補正される。ゲイン処理部２３により明るさが補正された画像データは、NR処理部２５に出力される。

ステップＳ１１６において、NR調整処理部２４は、代表値検出部７１により検出された階調補正代表値Gを用いて、NR処理部２５が使用するノイズモデルを設定する。すなわち、NR調整処理部２４は、上述した式（７）に、ゲイン（階調補正代表値）Gを乗算して、パラメータを設定して、上述した式（３）の関数の形状を求め、それをNR処理部２５が使用するノイズモデルに設定する。

ステップＳ１１７において、NR処理部２５は、ゲイン処理部２３の後の画像データに対して、NR処理を行う。このとき、画像データは、ゲイン処理部２３により明るさが調整されているので、NR処理部２５においては、主要被写体に対して好適なNR処理を行うことができる。ノイズ除去処理が施された画像データは、後段のTM処理部２６に出力される。

ステップＳ１１８において、TM処理部２６は、NR処理後の画像データに対して、正規化階調補正特性を用いて、階調補正として、トーンカーブ処理を行う。階調補正された画像データは、信号処理部１６に出力される。

ステップＳ１１９において、信号処理部１６は、TM処理部２６からの画像データに対して、後段の表示部１７への表示や、記録部１８における記録に適した画像データに変換する信号処理を行い、対応する表示部１７や記録部１８に出力する。

例えば、表示部１７への表示に適したカメラ信号処理が行われた画像データは、表示部１７に表示される。記録部１８における記録に適したカメラ信号処理が行われた画像データは、記録部１８により図示せぬ光ディスクまたは磁気ディスクなどの記録媒体に記録される。

以上のように、主要被写体に対して明るさが調整された状態でNR処理が行われる。これにより、図１２のパーソナルコンピュータ２１２においても、NR処理のパラメータが最適化されて、NR処理と階調補正処理とを併用した場合でも、ノイズが適切に抑制された画像を得ることができる。

なお、上記説明においては、視覚モデルを用いるブロック（視覚特性値算出部３２）を有するNR処理部２５の例を説明したが、本発明は、明示的にそのブロックを有しない構成のNR処理部にも適用することができる。

すなわち、明示的に視覚モデルを用いるブロックを持たないNR処理であっても、例えば、ピクセルのレベル毎にパラメータを変調する枠組みを有するものがあり、そのパラメータとノイズモデルとの間に差異がある場合には、そのパラメータに視覚モデルに相当する要素が含まれているものと考えられるので、本発明を適用することで、視覚モデルを用いるブロックを有するNR処理と同様に、NR処理の性能を改善することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、バス３０４には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。

CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したデジタルカメラの実施の形態の構成例を示すブロック図である。 図１のNR処理部の構成例を示すブロック図である。 変換テーブルの例を示す図である。 撮影モードで撮影された画像データの画像を示す図である。 図４の画像データの階調補正特性の例を示す図である。 画像信号処理部の処理について説明する図である。 図１のデジタルカメラの広DR撮影処理を説明するフローチャートである。 標準撮影時の従来構成の各処理における信号の連続性のグラフを示す図である。 広DR撮影時の従来構成の各処理における信号の連続性のグラフを示す図である。 広DR撮影時の画像信号処理部の各処理における信号の連続性のグラフを示す図である。 階調補正としての、シェーディング処理を説明する図である。 本発明を適用した画像信号処理システムの実施の形態の構成例を示すブロック図である。 図１２のパーソナルコンピュータの画像信号処理について説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

符号の説明

１ デジタルカメラ， １１ 露出制御コントローラ， １５ 画像信号処理部， ２１ DET処理部， ２２ 振分処理部， ２３ ゲイン処理部， ２４ NR調整処理部， ２５ NR処理部， ２６ TM処理部， ３１ 物理特性値算出部， ３２ 視覚特性値算出部， ３３ 閾値決定部， ３４ ノイズ除去部， ７１ 代表値検出部， ７２ 階調補正正規化部， １５１ DET処理部， １５２ TM処理部， ２０１ 画像信号処理システム， ２１１ 撮像装置， ２１２ パーソナルコンピュータ

Claims (9)

1. フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定する制御手段と、
   前記制御手段により決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分ける振り分け手段と、
   前記振り分け手段により振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加するゲイン処理手段と、
   前記ゲイン処理手段により前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行うノイズリダクション処理手段と、
   前記振り分け手段により振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理手段により前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行う階調補正処理手段と
   を備える画像信号処理装置。
2. 前記残りの階調補正特性は、前記主要被写体の代表値に対して前記階調補正特性を正規化した正規化階調補正関数である
   請求項１に記載の画像信号処理装置。
3. 前記階調補正処理手段は、前記階調補正処理として、トーンカーブ処理を行う
   請求項２に記載の画像信号処理装置。
4. 前記階調補正処理手段は、前記階調補正処理として、ダイナミックレンジ圧縮処理を行う
   請求項２に記載の画像信号処理装置。
5. 前記階調補正処理手段は、前記階調補正処理として、シェーディング補正処理を行う
   請求項２に記載の画像信号処理装置。
6. 前記振り分け手段により振り分けられた前記階調補正代表値を用いて、前記ノイズリダクション処理のノイズモデルのパラメータを設定するパラメータ設定手段
   をさらに備える請求項２に記載の画像信号処理装置。
7. 画像信号処理装置が、
   フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定し、
   決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分け、
   振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加し、
   前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行い、
   振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行うステップ
   を含む画像信号処理方法。
8. フレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定し、
   決定された前記階調補正特性を、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分け、
   振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加し、
   前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行い、
   振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行うステップ
   を含む処理をコンピュータに実行させるためのプログラム。
9. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像された前記被写体に対応するフレームの撮影時の露出調整量に基づいて、前記フレームの明るさを補正する変換特性を表す階調補正特性を決定する制御手段と、
   前記制御手段により決定された前記階調補正特性を、前記被写体のうち、主要被写体の代表値に対する補正量を表す階調補正代表値と、前記階調補正特性から前記階調補正代表値を除いた残りの階調補正特性とに振り分ける振り分け手段と、
   前記振り分け手段により振り分けられた前記階調補正代表値を、前記フレームに対して一律にゲインとして印加するゲイン処理手段と、
   前記ゲイン処理手段により前記階調補正代表値が印加された前記フレームに対してノイズリダクション処理を行うノイズリダクション処理手段と、
   前記振り分け手段により振り分けられた前記残りの階調補正特性を用いて、前記ノイズリダクション処理手段により前記ノイズリダクション処理が行われた前記フレームに対して階調補正処理を行う階調補正処理手段と
   を備える撮像装置。

Images