JP5157753B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、例えばデジタルカメラに用いて好適な画像処理装置、画像処理方法、画像処理プログラムに関するものである。

従来、特許文献１には、撮像装置における露光制御に際し、輝度レベルの低い領域の輝度レベルと他の領域の輝度レベルとにより、逆光の程度を示す逆光度を検出し、この逆光度に応じて、輝度レベルの低い領域の輝度レベルを持ち上げるように階調補正（ガンマ補正）の制御パラメータを設定する技術が提案されている（図１０参照）。

かかる従来技術によれば、輝度レベルの低い領域で階調を伸長することとなり、輝度レベルの低い局所的な領域でのコントラストを強調することができる。
特開２００３−１１６０４９号公報

ところで、上記技術のように、輝度レベルの低い領域の輝度レベルを持ち上げる階調補正を行うことにより、画像内の輝度レベルの低い局所的な領域でのコントラストを強調する技術は、露光制御時の制御パラメータの設定に限らず、撮像装置等により取得された後の撮影画像の画質調整を目的とした画像処理にも適用することができる。

しかしながら、上記従来技術では、輝度レベルの低い領域の輝度レベルを持ち上げるように階調補正を行うため、輝度レベルが低い領域においては、階調補正後の輝度レベルが階調補正前の輝度レベルよりも大幅に高くなってしまう。

すると、かかる階調補正がなされたことによって、画像全体としては、低輝度レベルの領域と高輝度レベルの領域との輝度レベルの差（コントラスト）が不可避的に小さくなってしまう。すなわち、上記従来技術においては、階調補正に際して、画像の全体的なコントラストが低下してしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、画像の階調補正に際してはコントラストを低下させる処理を行いつつも、最終的には、画像の全体的なコントラストを低下させずに良質な画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明にあっては、処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正手段と、所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成手段と、この大局輝度画像生成手段により生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算手段と、この減算手段によって減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算手段と、この乗算手段を含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得手段と、前記階調補正手段により階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得手段により前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整手段とを備えたことを特徴とする。

また、請求項２記載の発明にあっては、上記請求項１記載の発明において、前記大局輝度画像生成手段における所定のフィルタ処理とは、エッジの保持性能を有する所定の平滑化フィルタを用いたフィルタ処理であることを特徴とする。

また、請求項３記載の発明にあっては、上記請求項２記載の発明において、前記所定の平滑化フィルタとは、注目画素の輝度値と各周辺画素の輝度値との差分値が所定値以下になるように各周辺画素の輝度値を調整し、注目画素の輝度値と調整された各周辺画素の輝度値との平均値を、前記大局輝度画像の各画素の輝度値とするフィルタであることを特徴とする。

また、請求項４記載の発明にあっては、上記請求項１乃至３いずれか記載の発明において、前記階調情報取得手段は、前記階調情報として取得された情報画像データにおける各画素の輝度値を、当該輝度値に応じて補正する階調情報補正手段をさらに含み、前記調整手段は、前記補正画像の明るさを、前記階調情報補正手段による補正後の情報画像データに基づき画素毎に調整することを特徴とする。

また、請求項５記載の発明にあっては、上記請求項４記載の発明において、前記階調情報補正手段は、前記情報画像データにおける各画素の輝度値が第１の閾値よりも小さい場合には、当該輝度値に対し、決められている補正用輝度値を加算し、前記情報画像データにおける各画素の輝度値が前記第１の閾値よりも大きな第２の閾値よりも大きい場合には、当該輝度値に対し、前記補正用輝度値を減算し、前記情報画像データにおける各画素の輝度値が前記第１の閾値以上でかつ前記第２の閾値以下の場合には、前記情報画像データにおける各画素の輝度値を、前記第１の閾値と前記第２の閾値との中間の輝度値とする補正を行うことを特徴とする。

また、請求項６記載の発明にあっては、上記請求項５記載の発明において、前記調整手段は、前記階調情報補正手段による補正後の情報画像データにおける各画素のうちで所定の閾値よりも大きい輝度値を有する画素の輝度値を、前記補正画像における対応する画素の輝度値が大きいほど小さくなるように変化する特性を有する第１の補正係数を乗じて補正することを特徴とする。

また、請求項７記載の発明にあっては、上記請求項５記載の発明において、前記調整手段は、前記階調情報補正手段による補正後の情報画像データにおける各画素のうちで所定の閾値以下の輝度値を有する画素の輝度値を、前記補正画像における対応する画素の輝度値に比例する第２の補正係数を乗じて補正することを特徴とする。

また、請求項８記載の発明にあっては、上記請求項１乃至７いずれか記載の発明において、前記階調補正手段は、処理対象画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段と、前記複数のブロック領域の各々を注目領域としたときの前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せに基づいて前記注目領域の画像の明るさを補正する領域別補正手段と、この領域別補正手段が前記注目領域の画像の明るさを補正するときの各画素に対する補正係数を所定の補正関数を用いて算出する算出手段と、処理対象画像におけるコントラストの状態を判定するコントラスト判定手段と、このコントラスト判定手段により判定されたコントラストの状態に基づいて、前記領域別補正手段が前記注目領域の画像の明るさを補正するときの各画素に対する補正係数の上限を調整する上限調整手段とを含むことを特徴とする。

また、請求項９記載の発明にあっては、処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正ステップと、所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成ステップと、この大局輝度画像生成ステップにて生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算ステップと、この減算ステップにて減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算ステップと、この乗算ステップを含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得ステップと、前記階調補正ステップにて階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得ステップにて前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整ステップとを含むことを特徴とする。

また、請求項１０記載の発明にあっては、コンピュータを、処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正手段、所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成手段、この大局輝度画像生成手段によって生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算手段、この減算手段によって減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算手段、この乗算手段を含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得手段、前記階調補正手段により階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得手段により前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整手段として機能させることを特徴とする。

本発明によれば、画像の階調補正に際して、輝度レベルの低い領域の輝度レベルを持ち上げる階調補正を行いながら、画像の全体的なコントラストを低下させずに良質な画像を得ることが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係る画像処理装置を含むデジタルカメラ１の概略構成を示すブロック図である。

このデジタルカメラ１は、撮像素子としてＣＣＤ２を有している。ＣＣＤ２は感光面にベイヤー配列の原色フィルターが設けられたものであり、ＴＧ（Timing Generator）３で生成されるタイミング信号に基づき水平／垂直ドライバ４から供給される水平、及び垂直転送用の駆動信号により駆動され、図示しない光学系により結像された被写体の光学像を電気信号（撮像信号）に変換する。ＣＣＤ２の出力信号はＣＤＳ／ＡＤ回路５において相関二重サンプリングによるノイズ低減が行われるとともに、デジタル信号へ変換され、変換後の撮像信号（ベイヤーデータ）はＤＳＰ（Digital Signal Processor）６に入力される。

ＤＳＰ６は、ベイヤーデータから画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ変換、ＲＧＢデータを輝度信号（Ｙ信号）と色差信号（Ｃｂ（Ｕ）信号、Ｃｒ（Ｖ）信号）を含んだＹＵＶデータに変換するＹＵＶ変換などの各種のデジタル信号処理を行う。ＤＳＰ６おいて変換されたＹＵＶデータは順次ＳＤＲＡＭ（Synchronous DRAM）７に格納されるとともに、記録モードによる撮影待機時には１フレーム分のデータ（画像データ）が蓄積される毎にＬＣＤ（Liquid Crystal Display）８に送られライブビュー画像として画面表示される。また、静止画撮影時にＳＤＲＡＭ７に一時記憶されたＹＵＶデータは、最終的にはＣＰＵ９によって圧縮された後、外部メモリ１０に記録される。

外部メモリ１０は、図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードであり、外部メモリ１０に記録された画像ファイルは、再生モードにおいてユーザーの選択操作に応じてＣＰＵ９に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ７に展開された後、ＬＣＤ８に送られ静止画像として再生表示される。

フラッシュメモリ１１はプログラムメモリであって、ＣＰＵ９にカメラ全体を制御させるための各種のプログラムやデータが格納されている。各種のプログラムには、ＣＰＵ９にＡＥ、ＡＷＢの各制御を行わせるためのプログラムや、ＣＰＵ９を本発明の調整手段、階調情報補正手段として機能させるためのプログラム、及びそれに使用される各種データが記憶されている。

キー入力部１２は、ユーザーがデジタルカメラ１の操作に必要とする各種の操作キー、例えば電源キーやシャッターキー、記録モードや再生モードを設定するためのモード設定キーから構成され、各操作キーの操作状態はＣＰＵ９によって逐次検出される。

図２は、前述したＤＳＰ６の構成の一部を示したブロック図である。ＤＳＰ６には、静止画撮影時に生成した画像データであるＹＵＶデータに、撮影画像（処理対象画像）の階調を補正するための後述する処理を施し、階調補正後の画像データ（ｄｒｃ（ｘ，ｙ））をＣＰＵ９へ出力する階調補正部６１と、その階調補正後の画像データによる画像（補正画像）のコントラストバランスの調整に使用される後述する第３のコントラスト成分データ（Ｙ＿ｈｉｇｈ３（ｘ，ｙ））を生成し、ＣＰＵ９へ出力する調整データ生成部６２とが含まれている。ＤＳＰ６の内部には、ＤＳＰ６を制御するプログラムが格納されている。
＜階調補正部６１の説明＞

まず、前記階調補正部６１について説明する。階調補正部６１は本発明の階調補正手段であって、図示したようにＶ値変換部６３と、Ｖ値平均算出部６４、第１のキー判定部６５、第２のキー判定部６６、第３のキー判定部６７、ヒストグラム作成部６８、補正ゲイン演算部６９、階調変換部７０の各部から構成されている。

前記Ｖ値変換部６３は、ＹＵＶ変換後の画像データを、色相 (hue)、彩度 (saturation value)、明度 (value)の三成分からなるＨＳＶ色空間の画像データに変換し、その明度成分の値（Ｖ値）を取得する部分であり、取得したＶ値（Ｖｉｎ）をＶ値平均算出部６４及びヒストグラム作成部６８へ出力する。

Ｖ値平均算出部６４は、入力画像を予め決められている複数のブロック領域（分割領域）に分割し、各々のブロック領域をそれぞれ注目領域とし、面積が異なる２種類のキー判定領域について各々の領域内の全画素のＶ値の平均値（以下、平均Ｖ値）をそれぞれ算出する。図３は入力画像１００における上記ブロック領域１０１を示した模式図であり、同図（ａ）、及び同図（ｂ）に斜線で示した領域がキー判定領域である。

すなわち図３（ａ）に示したように、Ｖ値平均算出部６４は、注目領域であるブロック領域１０１（図でＡ）それ自体を第１のキー判定領域Ａとして平均Ｖ値を算出する。また、図２（ｂ）に示したように、注目領域となっているブロック領域１０１（図でＡ）と、その周囲に隣接する８つの他のブロック領域１０１（図でＢ１，Ｂ２，・・・Ｂ８）とからなる領域を第２のキー判定領域（包括領域）Ｂとして平均Ｖ値を算出する。

第１のキー判定部６５は、Ｖ値平均算出部６４により算出された上述した第１のキー判定領域Ａの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準（第１の明るさ基準）におけるいずれの明るさレベル（以下、第１の明るさレベル）に該当するのかを判定する。以下の説明では係る判定を第１のキー判定という。ここで判定する明るさレベルは「ロー」、「ミドル」、「ハイ」の３段階である。なお、各明るさレベルに対応する平均Ｖ値の範囲は例えば平均Ｖ値の全範囲（「０」〜「ＭＡＸ」）を３等分した範囲である。なお、Ｖ値平均算出部６４と第１のキー判定部６５とによって第１の判定手段が構成される。

第２のキー判定部６６は、Ｖ値平均算出部６４により算出された上述した第２のキー判定領域Ｂの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準（第２の明るさ基準）におけるいずれの明るさレベル（以下、第２の明るさレベル）に該当するのかを判定する。以下の説明では以下の説明では係る判定を第２のキー判定という。ここで判定する明るさレベルも上述した第１のキー判定の場合と同一基準に基づく明るさレベルであり、「ロー」、「ミドル」、「ハイ」のいずれかである。なお、Ｖ値平均算出部６４と第２のキー判定部６６とによって第２の判定手段が構成される。

第３のキー判定部６７は、上述した第１及び第２のキー判定の結果（第１及び第２の明るさレベル）の組合せに対応する明るさレベルであって、前述した明るさ基準よりも詳細にレベル分けされた明るさ基準（第３の明るさ基準）におけるいずれの明るさレベル（以下、第３の明るさレベル）に該当するのかを判定する。つまり注目領域となっているブロック領域１０１について、その周囲に隣接する８つの他のブロック領域１０１（Ｂ１，Ｂ２，・・・Ｂ８）との間における相対的な明るさの関係を考慮した明るさレベルを判定する。以下の説明では係る判定を第３のキー判定と呼ぶ。

本実施形態において、上記第３のキー判定で判定される明るさレベルは「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階のいずれかのレベルであり、「ロー１」が最低レベル、「ハイ２」が最高レベルである。また、第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係は予め決められている。図４は、それを示した図である。

ヒストグラム作成部６８は、前記Ｖ値変換部６３により変換された全画素のＶ値（Ｖｉｎ）からＶ値別の画素数をカウントし、カウント結果を入力画像全体の明るさの分布状態を示すヒストグラム情報として前記補正ゲイン演算部６９へ出力する。

補正ゲイン演算部６９は本発明の算出手段、コントラスト判定手段、上限調整手段であり、前述した第３のキー判定の結果とヒストグラム情報とに基づき、後述するゲイン関数（補正関数）を用いて階調変換部７０による画素毎のゲイン調整時における補正用のゲイン、つまり画像データの各画素値に乗じる階調補正用の補正係数を個別に算出し階調変換部７０に設定する。

階調変換部７０は本発明の領域別補正手段であり、補正ゲイン演算部６９において画素毎に演算されたゲインでＹＵＶデータの輝度を画素毎に調整する。すなわち各画素の輝度値（Ｙ値）を上記ゲインを乗じた輝度値に変換する。

ここで、前記補正ゲイン演算部６９における補正用のゲインの演算内容について詳述する。まず、補正ゲイン演算部６９は、ゲイン算出時に基本とする各画素のＶ値の変化に対するゲインの変化特性であって、後述するゲイン関数により得られる補正特性を全画素に個別に設定する。

具体的には、複数のブロック領域１０１（図３参照）の各々の中心画素に対し、前述した「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階の明るさレベル（図４参照）にそれぞれ対応して予め決められている複数種の補正特性のうちから、第３のキー判定でブロック領域１０１毎に判定された第３の明るさレベルに対応する補正特性を代表補正特性として設定する。

また、中心画素以外の画素には、それと隣接する複数の中心画素に設定した代表補正特性から線形補間により新たな補正特性を取得し、その補正特性を設定する。なお、他の画素に設定する補正特性の補間については、線形補間に限らずスプライン補間等の他の補間方法でも構わない。

図５（ａ）は、撮影画像（処理対象画像）１００を９つのブロック領域に分割する場合における各々のブロック領域と、それらの中心画素（図で「＋」）とを示した図であり、図５（ｂ）は、中心画素以外のある画素（図で「・」）と、当該画素の補正特性の取得（補間）に使用される中心画素との関係を示した図である。図５（ｂ）に示したように、前述した他の画素に設定する補正特性の補間に際しては、当該画素に隣接する最大で４つの中心画素の代表補正特性を使用する。但し、入力画像の上下左右の角部分に位置するブロック領域内の画素については、そのブロック領域の中心画素に設定した代表補正特性をそのまま補正特性として設定する。

次に、代表補正特性及び補正特性について詳述する。
ここで、各画素に設定する代表補正特性及び補正特性は、
ｇ（ｌｅｖ，ｘ）
で表される図６（ａ）に示した基本となるゲイン関数によって得られる特性であり、補正ゲイン演算部６９は、このゲイン関数においてその特性を決めるパラメータ（変数）であるゲインレベル（ｌｅｖ）及び次数（ｘ）の値を前述した代表補正特性又は補正特性として画素毎に設定する。

図６（ｂ）及び図６（ｃ）は、上記ゲイン関数によって得られるＶ値（Ｖｉｎ）の変化に対するゲイン（ｇ）の変化特性を示した図であり、上記ゲイン関数により算出されるゲイン（ｇ）は、Ｖ値（Ｖｉｎ）が大きくなるにつれて小さくなり、「Ｖ値＝ＭＡＸ」のとき１．０倍となる。また、前記パラメータの値の違いは以下のように特性に反映される。

すなわち、図６（ｂ）に示したように、次数（ｘ）の値が同一の場合、ゲインレベル（ｌｅｖ）が大きいほど全体のゲイン（ｇ）が大きくなり、「ｌｅｖ＝２」であるときゲイン（ｇ）の最大値が２．０倍となる。また、図６（ｃ）に示したように、ゲインレベル（ｌｅｖ）の値が同一の場合、次数（ｘ）が大きいほど、中間の明るさ領域、特にハイライト（Ｖ値が最大）側のゲイン（ｇ）が抑えられ、値によってはハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。

つまり上記ゲイン関数を用いて階調変換部７０に設定するゲインを画素毎に算出するとき、ゲインレベル（ｌｅｖ）を大きくして全体的にゲインを上げれば、入力画像の暗い部分の階調を向上することができる。同時に次数（ｘ）を大きくしてハイライト（Ｖ値が最大）側のゲインを１．０以下とすれば、入力画像の明るい部分での白とびを軽減することができる。

そのため、図示しないが前述した６段階（「ロー１」、・・・「ハイ２」）の各々の明るさレベルに対応するゲインレベル（ｌｅｖ）には、明るさレベルが上がるに従い順に小さくなる値が設定されており、また、各々の明るさレベルに対応する次数（ｘ）には、明るさレベルが上がるに従い順に大きくなる値が設定されている。また、双方のパラメータ（ｌｅｖ，ｘ）の値は経験則に基づいて予め決められた値である。

また、補正ゲイン演算部６９においては、前述したゲイン関数をそのまま用いてゲインを算出するのではなく、図７（ａ）に示した下記式で表されるゲイン関数
ｇｌｉｍ（ｌｅｖ，ｘ）＝
ｍｉｎ｛ｇ（ｌｅｖ，ｘ），（ｌｅｖ −１．０）×ｌｉｍ＋１．０｝
によってゲインを算出する。

このゲイン関数におけるパラメータ（ｌｉｍ）は、ゲインの上限を決めるゲイン制限係数であり、その値を１．０以下に設定することにより、ゲインレベル（ｌｅｖ）の値に対応してゲインの上限を調整することができる。なお、ゲイン制限係数の値は画像全体（全画素）で同一とする。以下の説明においては上記ゲイン関数を、便宜上、ゲイン制限後のゲイン関数という。

図７（ｂ）は「ｌｉｍ＝１」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、この場合はゲイン制限を行わない場合と同様の特性となる。同図（ｃ）は「ｌｉｍ＝０．５」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、ゲイン制限係数を１．０以下に設定することにより、ゲインレベル（ｌｅｖ）の値が小さいときほど、Ｖ値がより大きい側の画素に対するゲインを抑えることができる。つまり、暗い部分の画素に対するゲインを抑えることにより、画像のコントラスト（暗部の締まり）を強調することができる。

また、ゲイン制限係数（ｌｉｍ）の値は画像のコントラストに応じて設定する。本実施形態においては、前述した第３のキー判定の結果に基づき画像のコントラスト状態を判定（推定）するコントラスト判定を行い、その判定結果に応じた値を設定する。

具体的には、第３のキー判定に際して明るさレベルが最低である「ロー１」であったブロック領域の数と、明るさレベルが最高である「ハイ２」であったブロック領域の数とを個別にカウントし、双方の明るさレベルについて、各々のカウント数がレベル毎に決められている閾値（Ｎ，Ｍ）以上であるか、または閾値（Ｎ，Ｍ）未満であるかを確認する。そして、図７に示したように、「ロー１」の数（Ｎ以上の数、Ｎ未満の数）と、「ハイ２」の数（Ｍ以上の数、Ｍ未満の数）との組合せからコントラスト状態を判定し、その判定結果に応じてゲイン制限係数を設定する。

図７は、コントラスト状態を４段階に分けて判定する場合の例であり、例えば「ロー１」の数が閾値Ｎ以上で、かつ「ハイ２」の数が閾値Ｍ以上であったときには画像のコントラストが最も高い状態であると判定し、ゲイン制限係数の値を「１．０」に設定する。つまり実質的に前述したコントラスト強調を行わないようにする。また、「ロー１」の数が閾値Ｎ未満で、かつ「ハイ２」の数が閾値Ｍ未満であったときには、画像のコントラストが最も低い状態であると判定し、ゲイン制限係数の値を「０．５」に設定する。

一方、上述したゲイン制限後のゲイン関数を用いて各画素に対するゲインの上限を調整すれば、画像のコントラスト（暗部の締まり）を強調することができるが、その場合においても、図６（ｃ）に示したように、ゲインの算出に際して各画素に設定する次数（ｘ）の値がある程度大きいときには、ハイライト部分（Ｖ値が最大値の画素部分）を除くハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。つまり画像内の明るい部分の画素値をマイナス補正することなる。

これは、明るい部分の階調が乏しい画像ではコントラストの無用な低下につながり、また、白とびが大きい（白とびしている部分が多い）画像では、白とびが生じている部分と、その周囲における白とびに近い部分（Ｖ値が最大値付近）との間の階調差が大きくなるトーンジャンプを生じさせる要因となる。

そのため、補正ゲイン演算部６９においては、各画素のゲインの算出に際して、入力画像が、明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否か、つまり明るい部分の階調が乏しい画像、または白とびが大きい画像であるか否かの判定（以下、ハイライト判定）を行い、マイナス補正が不適切となる画像であると判定した場合においては、図９（ａ）に示した下記式で表されるゲイン関数
ｇｃｒｉｐ（ｌｅｖ，ｘ）＝ ｍａｘ｛ｇｌｉｍ（ｌｅｖ，ｘ），１．０｝
によってゲインを算出する。

つまり、ゲインの下限を「１．０」にクリップ（制限）することにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用の低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生を回避する。以下の説明においては上記ゲイン関数を、便宜上、クリップ後のゲイン関数という。

図９（ｂ）、図９（ｃ）は、前述したゲイン制限係数（ｌｉｍ）の値を「１．０」に設定している場合における、上記クリップの有無によるゲインの変化特性の違いを示した図であり、図９（ｂ）は上記クリップを行わないときの変化特性、図９（ｃ）は上記クリップを行うときの変化特性である。

また、前述したハイライト判定は、前記ヒストグラム作成部６８により取得されたヒストグラム情報（画像全体のＶ値別の画素数による明るさの分布状態）に基づき以下のようにして行う。すなわち図１０（ａ）に示したように、最大階調値（最大Ｖ値）から数％（例えば５〜１０％）下の階調位置の階調値Ｘよりも大きい階調値の画素数が予め決められている一定数以下であるときには、入力画像が明るい部分の階調が乏しく、マイナス補正が不適切となる画像であると判断する。また、図１０（ｃ）に示したように、最大階調値（最大Ｖ値）の画素数が予め決められている一定数以上であるときには、入力画像が白とびが大きく、マイナス補正が不適切となる画像であると判定する。そして、図１０（ｂ）に示したように、階調値Ｘよりも大きい階調値の画素数が予め決められている一定数を超え、かつ最大階調値（最大Ｖ値）の画素数が予め決められている一定数未満であるとき、つまり２つの判定条件のいずれにも該当しないときには、入力画像が明るい部分の階調が豊かであり、マイナス補正が適切となる画像であると判定する。

ここで、上記のハイライト判定に使用するヒストグラム情報はＶ値別の画素数による明るさの分布状態であるため、入力画像が、色飽和が生じている部分が多い画像である場合についても、白とびが大きい画像の場合と同様にマイナス補正が不適切である画像と判定することができる。そのため、白とびが生じている付近におけるトーンジャンプに加え、色飽和が生じている付近におけるトーンジャンプの発生を同時に回避することができる。

以上のように補正ゲイン演算部６９は、上記ハイライト判定の結果に応じ、入力画像が、ゲインのクリップが必要である画像である場合についてはクリップ後のゲイン関数
ｇｃｒｉｐ（ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、前記階調変換部７０に補正用のゲインとして設定し、また、入力画像が、ゲインのクリップが不要である画像である場合についてはクリップ後のゲイン関数
ｇｌｉｍ（ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、前記階調変換部７０に補正用のゲインとして設定する。

そして、階調変換部７０では、補正ゲイン演算部６９により上記ハイライト判定の結果に応じて算出されたゲインによってＹＵＶデータの輝度値を画素毎に調整する。すなわち入力した各画素の輝度値（Ｙｉｎ）を下記式
Ｙｏｕｔ ＝ Ｙｉｎ × ｇｌｉｍ（ｌｅｖ，ｘ）
または下記式
Ｙｏｕｔ ＝ Ｙｉｎ × ｇｃｒｉｐ（ｌｅｖ，ｘ）
により得られる輝度値Ｙｏｕｔに変換する。つまり入力画像の各画素の輝度レベル（明るさ）を画素毎に設定された補正特性に従い個別に変換することによって撮影画像の階調を補正し、補正後の画像データ（ｄｒｃ（ｘ，ｙ））をＣＰＵ９へ出力する。

図１１は、上述した階調補正部６１における信号処理内容を示したフローチャートである。図１１のフローチャートに示す各処理は、ＤＳＰ６と、ＤＳＰ６の内部に格納されているプログラムとの協働により実行される。図示したステップＳＡ１がＶ値平均算出部６４による処理、ステップＳＡ２〜ＳＡ４が第１のキー判定部６５、第２のキー判定部６６、第３のキー判定部６７による処理、ステップＳＡ５〜ＳＡ１２が補正ゲイン演算部６９による処理である。なお、ステップＳＡ１２，ＳＡ１３の処理は、実際には画素数に応じた回数だけ繰り返し行われる。また、各ステップの詳細については先の説明と重複するため説明を省略する。

ここで、上述したように前記階調補正部６１においては、画素毎のゲイン算出時の補正特性を決める際に基準となる各々のブロック領域１０１の明るさレベルが、先に述べたように周囲との相対的な明るさの関係を考慮して判定され、判定された明るさレベルに基づき各画素の明るさが補正される。これにより、画像内の各部の特徴が的確に反映されたより適切な階調補正を行うことができ、画像内における局部（明るい部分と暗い部分との境界付近）のコントラストバランスが維持された画像データ（補正画像）を生成することができる。

また、画素毎のゲイン算出に際しては、撮影画像について前述したコントラスト判定が行われ、その判定結果に応じて各画素に設定するゲインの上限が調整されるため、先に述べたように暗い部分の画素に対するゲインを抑えることができ、その結果、補正画像として、画像の暗い部分のコントラスト（暗部の締まり）が強調された画像が得られることとなる。

さらに、画素毎のゲイン算出に際しては、撮影画像について前述したハイライト判定によって、明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否かが判定され、上記マイナス補正が不適切となる画像である場合には、画素毎に設定するゲインの下限が「１．０」にクリップ（制限）される。これにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用な低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生や、色飽和が生じている部分の周囲におけるトーンジャンプの発生が防止される。

＜調整データ生成部６２の説明＞

次に、前述した調整データ生成部６２について説明する。調整データ生成部６２は本発明の階調情報取得手段であって、図２に示したように輝度データ抽出部７１と、第１のフィルタ処理部７２、第２のフィルタ処理部７３、輝度減算処理部７４の各部から構成されている。以下、各部の詳細を、調整データ生成部６２における信号処理内容を示した図１２のフローチャートを参照しながら説明する。図１２のフローチャートに示す各処理は、ＤＳＰ６と、ＤＳＰ６の内部に格納されているプログラムとの協働により実行される。

輝度データ抽出部７１は、撮影画像（処理対象画像）のＹＵＶデータから、輝度成分のみからなる輝度成分画像を構成する第１の輝度画像データ（Ｙ＿ｏｒｇ（ｘ，ｙ））を抽出し、第１のフィルタ処理部７２へ出力する（図１２でステップＳＢ１）。

第１のフィルタ処理部７２は、上記の輝度成分画像に含まれるノイズを除去するための例えばメディアンフィルタ等のＮＲフィルタを用いたフィルタ処理を行い、ノイズ除去後の輝度成分画像を構成する第２の輝度画像データ（Ｙ＿ｏｒｇ１（ｘ，ｙ））を生成し、第２のフィルタ処理部７３に出力する（図１２でステップＳＢ２）。なお、ＮＲフィルタによるノイズの除去は強めに行う。

第２のフィルタ処理部７３は本発明の大局輝度画像生成手段であって、第２の輝度画像データの各画素にεフィルタを用いた平滑化処理を施し、エッジが保持されたまま各部が大きくぼけた画像であって元画像の各部の大局的な明るさの状態を表す大局輝度画像を構成する第３の輝度画像データ（Ｙ＿ｌｏｗ（ｘ，ｙ））を生成し、輝度減算処理部７４に出力する（図１２でステップＳＢ３）。

本実施形態では、各注目画素に対するεフィルタ処理において、第２の輝度画像データにおける縦横３画素分でなる画素領域（各注目画素を中心とする合計９個の画素領域）に着目する。つまり、注目画素とその周辺に位置する８個の周辺画素に着目する。そして、注目画素の輝度値と各周辺画素の輝度値との各差分値が、閾値Ｔ（Ｔ＝２０）以下になるように、各周辺画素の輝度値を調整する。そして、注目画素の元の輝度値と調整された各周辺画素の輝度値とにそれぞれ所定の係数として１／９を乗じることにより得られる各輝度値の総和を算出する演算を行う。この演算により得られる輝度値を、εフィルタ処理後の注目画素（第３の輝度画像データにおける各画素）の輝度値とする。なお、εフィルタ処理に際して、着目する画素領域の範囲、閾値Ｔの値、各画素の輝度値に乗じる係数は、適宜変更してよい。

輝度減算処理部７４は、第１の輝度画像データの各画素の画素値から第３の輝度画像データの対応する画素の画素値を減算することにより得られるデータであって、撮影画像に含まれる高周波成分が反映された第１のコントラスト成分データ（Ｙ＿ｈｉｇｈ１（ｘ，ｙ））を、下記式
Ｙ＿ｈｉｇｈ１（ｘ，ｙ） ＝ Ｙ＿ｏｒｇ（ｘ，ｙ）−Ｙ＿ｌｏｗ（ｘ，ｙ）
に基づき生成し、第１の輝度補正部７５へ出力する（図１２でステップＳＢ４）。

第１の輝度補正部７５は、第１のコントラスト成分データに対し、各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じるとともに、各画素の輝度値に、画像データとして有効な有効輝度範囲の中間輝度値（１２８）を一律に加算する下記式
Ｙ＿ｈｉｇｈ２（ｘ，ｙ） ＝
Ｙ＿ｈｉｇｈ１（ｘ，ｙ）×［２５６−Ｙ＿ｌｏｗ（ｘ，ｙ）］／２５６＋１２８
に基づく第１の輝度補正を行う。

すなわち第１のコントラスト成分データに対し、全画素の輝度値を１２８だけ増加させることにより、輝度値が画像データとして有効な最小輝度（輝度値＝０）を下回っている画素についても、前述した階調補正部６１による階調補正後の画像データ（撮影画像）のコントラストバランスを調整する際に有効である画素の輝度値を有効輝度範囲（０〜２５５）内にシフトさせている。これにより、撮影画像の暗い部分の高周波成分に関する情報の欠落を防止する補正を行う。同時に元の輝度値が有効輝度範囲内であって増加分に対応する輝度値（１２８）を超えていた画素の輝度値を、元の輝度値が大きいほどより大きく減少させる補正を行う。そして、係る補正後の第２のコントラスト成分データ（Ｙ＿ｈｉｇｈ２（ｘ，ｙ））を第２の輝度補正部７６へ出力する（図１２でステップＳＢ５）。

なお、本実施形態においては、上述した第１のフィルタ処理部７２、第２のフィルタ処理部７３、輝度減算処理部７４、第１の輝度補正部７５が本発明の情報画像生成手段に相当する。

第２の輝度補正部７６は、本発明の階調情報補正手段であり、上記第２のコントラスト成分データのうち、輝度値が第１の閾値（１２３）から第２の閾値（１３３）までの範囲、つまり有効輝度範囲の中間域である画素の輝度値を有効輝度範囲の中間輝度値（１２８）に変換し、第１の閾値（１２３）よりも小さな画素値には所定の補正値（５）を一律に加算するとともに、第２の閾値（１３３）よりも大きな画素値には所定の補正値（５）を一律に減算する第２の輝度補正を行う（図１２でステップＳＢ６）。

すなわち第２のコントラスト成分データに含まれるノイズであって有効輝度範囲の中間域の画素値に含まれるノイズを低減する補正を行う。同時に、それに伴い生ずる中間域よりも輝度値が小さい側と大きい側との画素値の不連続性を解消する補正を行う。そして、係る補正後の第３のコントラスト成分データ（Ｙ＿ｈｉｇｈ３（ｘ，ｙ））をＣＰＵ９へ出力する。

一方、図１３は、静止画撮影時におけるＣＰＵ９の本発明に係る処理を示したフローチャートである。

記録モードにおいてＣＰＵ９は、ユーザーによりシャッターキーが押されると、ＣＣＤ２を駆動するとともに、ＤＳＰ６に前述した処理を行わせることによって、階調補正部６１により生成された階調補正後の画像データ（ｄｒｃ（ｘ，ｙ））と、調整データ生成部６２により生成された第３のコントラスト成分データ（Ｙ＿ｈｉｇｈ３（ｘ，ｙ））とを直ちに取得する（ステップＳＣ１）。

次に、第３のコントラスト成分データに以下に述べる第３の輝度補正を施し、第４のコントラスト成分データ（Ｙ＿ｈｉｇｈ４（ｘ，ｙ））を生成する（ステップＳＣ２）。係る第３の輝度補正では、第３のコントラスト成分データの各画素の輝度値を、有効輝度範囲の中間輝度値（１２８）よりも大きい画素でなる明領域と、中間輝度値（１２８）以下の画素でなる暗領域とに分けて次の補正を行う。

明領域における画素の輝度値については、下記式に基づき第３のコントラスト成分データの各画素の輝度値の補正を行う。
Ｙ＿ｈｉｇｈ４（ｘ，ｙ） ＝
１２８＋［Ｙ＿ｈｉｇｈ３（ｘ，ｙ）−１２８］
×［２５６−Ｙ＿ｄｒｃ（ｘ，ｙ）］／２５６

すなわち明領域における画素の輝度値については、第３のコントラスト成分データの生成過程において前述した第１の輝度補正（図１２のステップＳＢ５参照）で加算されていた中間輝度値分を減算した輝度値に、階調補正後の画像データの対応する画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じるとともに、中間輝度値（１２８）を一律に加算する。つまり元の輝度値を、階調補正後の画像データの対応する画素の輝度値が大きいほど小さくする補正を行う。換言すれば、第３のコントラスト成分データに対して、階調補正後の画像データ（補正画像）の明領域における画素の輝度値に加算する輝度値を、補正画像側の対応する画素の元の輝度値が大きいほど小さくなるように補正を行う。

また、暗領域における画素の輝度値については、下記式に基づき第３のコントラスト成分データの各画素の輝度値の補正を行う。
Ｙ＿ｈｉｇｈ４（ｘ，ｙ） ＝
１２８＋［Ｙ＿ｈｉｇｈ３（ｘ，ｙ）−１２８］
×［Ｙ＿ｄｒｃ（ｘ，ｙ）］／２５６

すなわち暗領域における画素の輝度値については、第３のコントラスト成分データの生成過程において前述した第１の輝度補正（図１２のステップＳＢ５参照）で加算されていた中間輝度値分を減算した輝度値に、階調補正後の画像データの対応する画素の輝度値の大きさに比例して変化する補正係数を乗じるとともに、中間輝度値（１２８）を一律に加算する。つまり元の輝度値を、階調補正後の画像データの対応する画素の輝度値が小さいほど小さくする補正を行う。換言すれば、第３のコントラスト成分データに対して、階調補正後の画像データ（補正画像）の暗領域における画素の輝度値に加算する輝度値を、補正画像側の対応する画素の元の輝度値に比例させる補正を行う。

しかる後、ＣＰＵ９は、階調補正後の画像データの輝度成分（Ｙ＿ｄｒｃ（ｘ，ｙ））を、第４のコントラスト成分データの対応する画素の輝度値を用いて補正する。すなわち下記式
Ｙ＿ｄｒｃ１（ｘ，ｙ） ＝
Ｙ＿ｄｒｃ（ｘ，ｙ）＋Ｙ＿ｈｉｇｈ４（ｘ，ｙ）−１２８
に基づき、階調補正後の画像データの各画素の輝度値に、前記第４のコントラスト成分データ（Ｙ＿ｈｉｇｈ４（ｘ，ｙ））の対応する各画素の輝度値を加算し、かつ中間輝度値（１２８）を一律に減算する処理を行う。これにより、補正後の輝度成分（Ｙ＿ｄｒｃ１（ｘ，ｙ））を有する新たな画像データを生成する（ステップＳＣ３）。つまり、階調補正部６１において階調補正が行われた後の撮影画像（補正画像）に、階調補正が行われる前の当初の撮影画像に含まれていた高周波成分を反映させることにより、補正画像の明るさを画素毎に調整する明るさ調整を行う。

そして、生成した画像データを圧縮するとともに、撮影画像として外部メモリ１０へ記録する（ステップＳＣ４）。

以上のように静止画撮影時には、先に説明したように前記階調補正部６１によって、撮影画像に対し、画像内の各部の特徴が的確に反映されたより適切な階調補正を行うことができ、画像内における局部（明るい部分と暗い部分との境界付近）のコントラストバランスが維持された画像データ（補正画像）を得ることができる。

しかも、上記階調補正に際しては、輝度レベルの低い領域の輝度レベルを持ち上げるため、画像全体としては、不可避的に低輝度レベル側の領域と高輝度レベル側の領域との輝度レベルの差（コントラスト）が小さくなるが、前述したように階調補正が行われた後の撮影画像（補正画像）には、最終的に、階調補正が行われる前の当初の撮影画像に含まれていた高周波成分を反映させることによって、階調補正に伴い失われた画像全体のコントラストを補うことができる。

図１４は、その一例を示した図であって、同図（ａ）は階調補正前の撮影画像の輝度ヒストグラム、同図（ｂ）が階調補正後の撮影画像の輝度ヒストグラム、同図（ｃ）が明るさ調整後の撮影画像の輝度ヒストグラムである。図示したように、階調補正が行われる前の当初の撮影画像に含まれていた高周波成分を反映させることにより、最終的な撮影画像として、画像内の各部の特徴が的確に反映された階調補正が行われると同時に、各部の相対的な明るさバランスが当初の状態に近い良質の画像を得ることができる。

また、本実施形態においては、ＤＳＰ６の調整データ生成部６２（第２のフィルタ処理部７３）において、ノイズ除去後の輝度成分画像を構成する第２の輝度画像データ（Ｙ＿ｏｒｇ１（ｘ，ｙ））から、大局輝度画像を構成する第３の輝度画像データ（Ｙ＿ｌｏｗ（ｘ，ｙ））を生成する際にはεフィルタを用いた。これにより、撮影画像として最終的に生成される画像データには、当初の撮影画像に含まれていた高周波成分（コントラスト情報）を正確に反映させることができる。以下に、その理由を説明する。

すなわち上記第３の輝度画像データは、例えば通常のＬＰＦ（ローパスフィルター）を用いてノイズ除去後の輝度成分画像を平滑化することによって生成してもよいが、その場合、通常のＬＰＦ処理（平滑化処理）により生成される大局輝度画像（第３の輝度画像データ）では、明暗の境界がぼやける。つまり、元画像（処理対象画像）における明暗の境界付近における明領域側が暗く（輝度値が小さく）なり、暗領域側が明るく（輝度値が大きく）なる。

係ることから、輝度成分画像（第１の輝度画像データ）の各画素の画素値から大局輝度画像（第３の輝度画像データ）の対応する画素の画素値を減算して得られる第１のコントラスト成分データ（Ｙ＿ｈｉｇｈ１（ｘ，ｙ））では、明暗の境界付近における明領域側の画素の輝度値は、独立した明領域内（背景の空など）の画素の輝度値よりも大きくなる（上述の通り、元画像の輝度値から減算する、ＬＰＦ処理後の画像の明暗境界の明領域側の画素の輝度値が小さいためである。）。そのため、明暗の境界付近のみの画素の輝度値が大きくなる。つまり第１のコントラスト成分データによって構成される輝度画像にあっては、明暗の境界付近の明領域側にあたかも白い「帯」が発生したかのようになる。図１７（ａ）は、その場合における第１のコントラスト成分データからなる画像、及び上記の白い「帯」を示した図である。なお、図示した白い「帯」はあくまで便宜的なものであり、その幅や表れ方は実際とは異なる。

また、明暗の境界付近における暗領域側の画素の輝度値は、独立した暗領域内（逆光下での人物被写体など）の画素の輝度値よりも小さくなる（上述の通り、元画像の輝度値から減算する、ＬＰＦ処理後の画像の明暗境界の暗領域側の画素の輝度値が大きいためである。）。そのため、明暗の境界付近のみの画素の輝度値が小さくなる。つまり第１のコントラスト成分データによって構成される輝度画像にあっては、明暗の境界付近の暗領域側にあたかも黒い「帯」が発生したかのようになる（図示せず）。

したがって、ノイズ除去後の輝度成分画像に明暗の差が非常に大きい部分が存在する場合には、通常のＬＰＦ処理に基づく減算処理によって第１のコントラスト成分データを生成したのでは、最終的に生成される画像データに当初の撮影画像に含まれていた高周波成分を正確に反映させることができない。

これに対しεフィルタは、エッジの保持性能を有する平滑化フィルタである。上述の通りεフィルタ処理に際しては、注目画素の輝度値と周辺画素との差分値が大きい周辺画素の輝度値との各差分値が閾値２０以下になるように、各周辺画素の輝度値が調整される。

ここで、図１５（ａ）に示すような、第２の輝度画像データにおける９個の画素Ｘ１，Ｙ１，Ｙ２，・・Ｙ９でなる領域２００Ａに着目し、エッジである明暗の境界２０１Ａ（太い実線）付近における暗領域２０３Ａ（灰色の領域）に位置する注目画素Ｘ１に対し、εフィルタ処理を施して平均化する場合について説明する。この場合、明領域２０２Ａ（無色の領域）の各周辺画素Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ６の輝度値（２００）は、暗領域２０３Ａに位置する注目画素Ｘ１の輝度値（１０）に対し、輝度値の差（１９０）が閾値２０以上である。そのため、図１５（ｂ）に示すように、この輝度値の差を閾値以下とすべく、明領域２０２Ａの各周辺画素の輝度値（２００）が、注目画素Ｘ１の輝度値（１０）と閾値２０との加算値である３０にそれぞれ調整される。これにより、明領域２０２Ａの各周辺画素の輝度値が元の輝度値（２００）よりも小さくなり、明領域２０２Ａの各周辺画素の輝度値が、注目画素の元の輝度値（１０）に近づくこととなる。そして、上述の通り本実施形態では、εフィルタ処理が施された注目画素の値は、注目画素の元の輝度値と調整された各周辺画素の輝度値にそれぞれ所定の係数として１／９を乗じることにより得られる各輝度値の総和である。

すると、εフィルタ処理が施された注目画素の輝度値は、（３０＋３０＋３０＋３０＋１０＋１０＋３０＋１０＋１０）／９≒２１となり、注目画素の元の輝度値（１０）に近い輝度値となる。これにより、明暗の境界２０１Ａ（エッジ）における暗領域２０３Ａに位置する注目画素Ｘ１に対し、εフィルタ処理を施して注目画素Ｘ１を平均化する場合、明領域２０２Ａの周辺画素の影響を小さくすることができる。

同様に、図１６（ａ）に示すような、第２の輝度画像データにおける９個の画素Ｘ１，Ｙ１，Ｙ２，・・Ｙ９でなる領域２００Ｂに着目し、エッジである明暗の境界２０１Ｂ（太い実線）付近における明領域２０２Ｂ（無色の領域）に位置する注目画素Ｘ１に対し、εフィルタ処理を施して平均化する場合について説明する。この場合、暗領域２０３Ｂ（灰色の領域）の各周辺画素Ｙ５，Ｙ７，Ｙ８の輝度値（１０）は、明領域２０２Ｂに位置する注目画素Ｘ１の輝度値（２００）に対し、輝度値の差（１９０）が閾値２０以上である。そのため、図１６（ｂ）に示すように、この輝度値の差を閾値以下とすべく、暗領域２０３Ｂの各周辺画素の輝度値（１０）が、注目画素Ｘ１の輝度値（２００）と閾値２０との減算値である１８０にそれぞれ調整される。これにより、暗領域２０３Ｂの各周辺画素の輝度値が元の輝度値（１０）よりも大きくなり、暗領域２０３の各周辺画素の輝度値が、注目画素の元の輝度値（２００）に近づくこととなる。そして、上述の通り本実施形態では、εフィルタ処理が施された注目画素の値は、注目画素の元の輝度値と調整された各周辺画素の輝度値にそれぞれ所定の係数として１／９を乗じることにより得られる各輝度値の総和である。

すると、εフィルタ処理が施された注目画素の輝度値は、（２００＋２００＋２００＋２００＋２００＋１８０＋２００＋１８０＋１８０）／９≒１９３となり、注目画素の元の輝度値（２００）に近い輝度値となる。これにより、明暗の境界２０１Ｂ（エッジ）における明領域２０２Ｂに位置する注目画素Ｘ１に対し、εフィルタ処理を施して注目画素Ｘ１を平均化する場合、暗領域２０３Ｂの周辺画素の影響を小さくすることができる。

したがって、εフィルタ処理が施された大局輝度画像（第３の輝度画像データ）の明暗の境界（エッジ）付近においては、明領域は明るい（各画素の輝度値が大きい）ままとなり、暗領域は暗い（各画素の輝度値が小さい）ままとなる。

係ることから、輝度成分画像（第１の輝度画像データ）の各画素の画素値から、εフィルタ処理が施された大局輝度画像（第３の輝度画像データ）の対応する画素の画素値を減算して得られる第１のコントラスト成分データでは、明暗の境界付近における明領域側の画素の輝度値は、独立した明領域内（背景の空など）の画素と同じになる（上述の通り、元画像の輝度値から減算する、εフィルタ処理後の画像における境界の明領域側の画素の輝度値が大きいためである。）。そのため、第１のコントラスト成分データによって構成される輝度画像にあっては、明暗の境界付近のみが明るくなることはなく、上述の白い「帯」が発生しない。図１７（ｂ）は、その場合における第１のコントラスト成分データからなる画像を示した図である。

また、第１のコントラスト成分データでは、明暗の境界付近における暗領域側の画素の輝度値は、独立した暗領域内（逆光下での人物被写体など）の画素と同じになる（上述の通り、元画像の輝度値から減算する、εフィルタ処理後の画像における境界の暗領域側の輝度値が小さいためである。）。そのため、第１のコントラスト成分データによって構成される輝度画像にあっては、明暗の境界付近のみが暗くなることはなく、上述の黒い「帯」が発生しない。

以上の理由により、εフィルタ処理に基づく減算処理によって第１のコントラスト成分データを生成すれば、ノイズ除去後の輝度成分画像に明暗の差が非常に大きい部分が存在する場合であっても、撮影画像として最終的に生成される画像データには、当初の撮影画像に含まれていた高周波成分を正確に反映させることができる。

なお、第２のフィルタ処理部７３において第３の輝度画像データ（Ｙ＿ｌｏｗ（ｘ，ｙ））の生成に使用するフィルタには、εフィルタと同様にエッジの保持性能を有する平滑化フィルタであれば、例えばバイラテラルフィルタ等の他の荷重平均値フィルタを使用してもよく、その場合であってもεフィルタを用いる場合と同様の効果を得ることができる。

なお、本実施形態においては、ノイズ除去後の輝度成分画像（第２の輝度画像データ）に、そのままεフィルタを用いた平滑化処理を施して大局輝度画像（第３の輝度画像データ）を生成するようにしたが、例えば以下のようにしてもよい。すなわち大局輝度画像は元画像の各部の大局的な明るさの状態を表す画像であればよい。したがって、ノイズ除去後の輝度成分画像をいったん縮小し、その縮小後の画像に平滑化処理を施した後、平滑化処理後の画像を元のサイズに拡大するものとし、係る拡大後の画像を大局輝度画像として使用するようにしても構わない。その場合、εフィルタによる平滑化処理に要する時間を短縮することができる。

一方、前述した階調補正部６１における上記階調補正では、元画像における明るさレベルの小さい画素（暗領域）により大きな補正係数を設定することによって、より具体的には、補正ゲイン演算部６９が階調変換部７０に設定する補正用のゲインとして図７（ａ）に示したゲイン関数によって得られる図７（ｂ）、同図（ｃ）に示した特性を有するゲインを設定することによって、輝度レベルの低い領域の輝度レベルを持ち上げている。そのため、階調補正後の画像データ（ｄｒｃ（ｘ，ｙ））においては、暗領域における本来のコントラストが大きく損なわれる。その反面、元画像における明るさレベルの大きい画素（明領域）に適用する補正係数が小さいため、明領域に対する階調補正の影響が小さく、階調補正後の画像データ（ｄｒｃ（ｘ，ｙ））においては、明領域における本来のコントラストはあまり損なわれない。

これに関し本実施形態においては、ＤＳＰ６において第１の輝度補正部７５が第１のコントラスト成分データに対し、各画素の輝度値の大きさが大きいほど小さくなるように変化する補正係数を乗じることによって（図１２のステップＳＢ５参照）、有効輝度範囲内の画素の輝度値を、元の輝度値が大きいほどより大きく減少させる第１の輝度補正を行うようにした。つまり補正後の第２のコントラスト成分データ（Ｙ＿ｈｉｇｈ２（ｘ，ｙ））において、暗領域の画素の輝度値が明領域の画素の輝度値よりも大きくなるよう補正した。

したがって、階調補正後の画像データ（補正画像）の暗領域（本来のコントラスト低下が大きい領域）に対して、当初の撮影画像に含まれていた高周波成分をより大きく反映させることができる。その結果、最終的な撮影画像において「黒つぶれ」を回避することができる。

同時に、階調補正後の画像データ（補正画像）の明領域（本来のコントラスト低下が少ない領域）に対して、当初の撮影画像に含まれていた高周波成分をより小さく反映させることができる。その結果、最終的な撮影画像において、明領域の輝度値がダイナミックレンジの限界値を越えることがなくなり、「白とび」を回避することができる。

さらに、本実施形態においては、ＤＳＰ６において第２の輝度補正部７６が第２のコントラスト成分データに対し、ノイズ低減と、それに伴い生ずる有効輝度範囲の中間域よりも輝度値が小さい側と大きい側との画素値の不連続性を解消する第２の輝度補正を行い第３のコントラスト成分データ（Ｙ＿ｈｉｇｈ３（ｘ，ｙ））を生成するようにした。したがって、ＣＰＵ９における階調補正後の画像データ（補正画像）の明るさ調整に際して使用される調整用のデータとして、ノイズ成分が少なく、しかも輝度値が小さい側と大きい側との画素値の連続性が確保された良好なデータを得ることができる。

また、ＣＰＵ９が、第３のコントラスト成分データに対して前述した第３の輝度補正によって、階調補正後の画像データ（補正画像）の明領域における画素の輝度値に加算する輝度値を、補正画像側の対応する画素の元の輝度値が大きいほど小さくなるようにした（図１３のステップＳＣ２参照）。これによっても、最終的な撮影画像において、明領域の輝度値がダイナミックレンジの限界値を大幅に越えることがなくなり、「白とび」を回避することができる。

同時に第３の輝度補正においては、階調補正後の画像データ（補正画像）の暗領域における画素の輝度値に加算する輝度値を、補正画像側の対応する画素の元の輝度値に比例させるようにした。これによっても、最終的な撮影画像の暗領域における輝度値を大きくすることにより、「黒つぶれ」を回避することができる。

なお、前述した第３の輝度補正では、第３のコントラスト成分データの明領域における各画素の輝度値には、補正画像側の対応する画素の元の輝度値が大きいほど小さくなる係数を乗じ、かつ第３のコントラスト成分データの暗領域における各画素の輝度値には、補正画像側の対応する画素の元の輝度値に比例して大きくなる係数を乗じるようにしたが、以下のようにしてもよい。

例えば、補正画像側の対応する画素の元の輝度値に応じた第３のコントラスト成分データの明領域又は暗領域における各画素の輝度値の変化特性を、必要に応じて調整できるように、第３のコントラスト成分データに、上記係数に加えて特性調整用の係数をさらに乗じるものとし、その係数の値を撮影モードや、補正画像の全体的な輝度分布状態に応じて自動的に変化させたり、予め決められた複数の値の何れかを自動的に設定したりするようにしてもよい。

また、ＤＳＰ６の第１のフィルタ処理部７２において輝度成分画像に含まれるノイズを予め除去した後の輝度成分画像に基づいて、第１のコントラスト成分データを生成するようにした。これにより、階調補正後の画像データ（補正画像）の明るさ調整に使用する調整用のデータである第４のコントラスト成分データ（Ｙ＿ｈｉｇｈ４（ｘ，ｙ））、つまり本発明の情報画像データとして良好なデータを得ることができる。なお、これに関しては、例えば第１のフィルタ処理部７２を廃止し、ノイズを除去していない輝度成分画像に基づいて第１のコントラスト成分データを生成した後、係る第１のコントラスト成分データにローパスフィルタ処理を施す構成としても同様の効果を得ることができる。

ここで、以上説明した本実施形態においては、撮影画像（処理対象画像）のＹＵＶデータから抽出した輝度成分のみからなる輝度成分画像に基づいて（但しノイズ除去後）、第１のコントラスト成分データを生成するようにしたが、これとは異なり、例えば階調補正部６１により生成された階調補正後の画像データ（ｄｒｃ（ｘ，ｙ））から輝度成分のみを抽出して輝度成分画像を取得し、その輝度成分画像に基づいて第１のコントラスト成分データを生成するようにしてもよい。

また、本実施形態においては、前述した第１の輝度補正、第２の輝度補正、第３の輝度補正を経て生成した第４のコントラスト成分データを本発明の情報画像データとしたが、本発明において前述した第１の輝度補正、第２の輝度補正、第３の輝度補正の実施は必須ではなく、必要に応じて選択的に実施したり、全てを廃止したりするようにしても構わない。また、本発明においては、ＤＳＰ６の第１のフィルタ処理部７２による輝度成分画像に含まれるノイズを除去するためのフィルタ処理も必須ではなく廃止することができる。

また、前述したＤＳＰ６の信号処理の一部又は全てをＣＰＵ９が、所定の画像処理プログラムに基づき行う構成としてもよいし、前述したＣＰＵ９による第３の輝度補正、さらには補正画像の明るさを画素毎に調整する明るさ調整をもＤＳＰ６に行わせる構成としてもよい。

また、本発明において、撮影画像等の処理対象画像の具体的な階調補正方法は、本実施形態で説明した方法に限定されるものでなく、輝度レベルの低い領域の輝度レベルを持ち上げる処理を含むものであれば、他の方法によって撮影画像等の階調を補正するようにしてもよい。

また、本発明は、本実施形態とは異なりＹＵＶデータに変換される以前のＲＧＢデータの状態の撮影画像を処理対象画像として階調補正を行う構成であっても適用可能である。その場合においては、ＲＧＢの各々の色成分データについて本実施形態と同様の手法により処理対象画像に含まれる高周波成分が反映された画素値を有する画素データからなるコントラスト成分データを取得し、係るコントラスト成分データを用いて階調補正が行われた後の画像データの各々の色成分データの画素値を調整すればよい。

また、ここでは本発明の画像処理装置をデジタルカメラ１に適用し、静止画撮影時に取得（撮像）した撮影画像を処理対象画像として前述した画像処理を行う場合について説明したが、処理対象画像は、例えば既に撮影され外部メモリ１０に記録されている記録画像であっても構わない。また、本発明の画像処理装置はデジタルカメラに限らず、画像データの処理機能を備えた装置であれば、例えばパーソナルコンピュータ等を含む他の装置においても実現することができる。

本発明に係るデジタルカメラの概略構成を示すブロック図である。 ＤＳＰの要部を示すブロック図である。 入力画像におけるブロック領域を示した模式図である。 第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係を示す図である。 （ａ）は、入力画像におけるブロック領域、及びその中心画素を示す図、（ｂ）は、補正特性の補間時における中心画素と他の画素との関係を示す概念図である。 基本となるゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ゲイン制限後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ゲイン制限係数の設定方法を示す図である。 クリップ後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ハイライト判定の方法を示す図である。 ＤＳＰの階調補正部による静止画撮影時の信号処理内容を示すフローチャートである。 ＤＳＰの調整データ生成部による静止画撮影時の信号処理内容を示すフローチャートである。 ＣＰＵによる静止画撮影時の処理手順を示すフローチャートである。 撮影画像の各段階における輝度ヒストグラムの一例を示す図である。 （ａ）はεフィルタ処理に際して着目する画素領域を示す図、（ｂ）はεフィルタ処理に際して、周辺画素の輝度値が調整されることを示す図である。 （ａ）はεフィルタ処理に際して着目する画素領域を示す図、（ｂ）はεフィルタ処理に際して、周辺画素の輝度値が調整されることを示す図である。 第１のコントラスト成分データからなる画像の例を便宜的に示した図である。

符号の説明

１ デジタルカメラ
２ ＣＣＤ
６ ＤＳＰ
７ ＳＤＲＡＭ
９ ＣＰＵ
１０ 外部メモリ
１１ フラッシュメモリ
１２ キー入力部
６１ 階調補正部
６２ 調整データ生成部
６３ Ｖ値変換部
６４ Ｖ値平均算出部
６５ 第１のキー判定部
６６ 第２のキー判定部
６７ 第３のキー判定部
６８ ヒストグラム作成部
６９ 補正ゲイン演算部
７０ 階調変換部
７１ 輝度データ抽出部
７２ 第１のフィルタ処理部
７３ 第２のフィルタ処理部
７４ 輝度減算処理部
７５ 第１の輝度補正部
７６ 第２の輝度補正部
１００ 入力画像

Claims (10)

1. 処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正手段と、
   所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成手段と、
   この大局輝度画像生成手段により生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算手段と、
   この減算手段によって減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算手段と、
   この乗算手段を含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得手段と、
   前記階調補正手段により階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得手段により前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整手段と
   を備えたことを特徴とする画像処理装置。
2. 前記大局輝度画像生成手段における所定のフィルタ処理とは、エッジの保持性能を有する所定の平滑化フィルタを用いたフィルタ処理であることを特徴とする請求項１記載の画像処理装置。
3. 前記所定の平滑化フィルタとは、注目画素の輝度値と各周辺画素の輝度値との差分値が所定値以下になるように各周辺画素の輝度値を調整し、注目画素の輝度値と調整された各周辺画素の輝度値との平均値を、前記大局輝度画像の各画素の輝度値とするフィルタであることを特徴とする請求項２記載の画像処理装置。
4. 前記階調情報取得手段は、前記階調情報として取得された情報画像データにおける各画素の輝度値を、当該輝度値に応じて補正する階調情報補正手段をさらに含み、
   前記調整手段は、前記補正画像の明るさを、前記階調情報補正手段による補正後の情報画像データに基づき画素毎に調整することを特徴とする請求項１乃至３いずれか記載の画像処理装置。
5. 前記階調情報補正手段は、
   前記情報画像データにおける各画素の輝度値が第１の閾値よりも小さい場合には、当該輝度値に対し、決められている補正用輝度値を加算し、
   前記情報画像データにおける各画素の輝度値が前記第１の閾値よりも大きな第２の閾値よりも大きい場合には、当該輝度値に対し、前記補正用輝度値を減算し、
   前記情報画像データにおける各画素の輝度値が前記第１の閾値以上でかつ前記第２の閾値以下の場合には、前記情報画像データにおける各画素の輝度値を、前記第１の閾値と前記第２の閾値との中間の輝度値とする補正を行うことを特徴とする請求項４記載の画像処理装置。
6. 前記調整手段は、前記階調情報補正手段による補正後の情報画像データにおける各画素のうちで所定の閾値よりも大きい輝度値を有する画素の輝度値を、前記補正画像における対応する画素の輝度値が大きいほど小さくなるように変化する特性を有する第１の補正係数を乗じて補正することを特徴とする請求項５記載の画像処理装置。
7. 前記調整手段は、前記階調情報補正手段による補正後の情報画像データにおける各画素のうちで所定の閾値以下の輝度値を有する画素の輝度値を、前記補正画像における対応する画素の輝度値に比例する第２の補正係数を乗じて補正することを特徴とする請求項５記載の画像処理装置。
8. 前記階調補正手段は、
   処理対象画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、
   前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段と、
   前記複数のブロック領域の各々を注目領域としたときの前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せに基づいて前記注目領域の画像の明るさを補正する領域別補正手段と、
   この領域別補正手段が前記注目領域の画像の明るさを補正するときの各画素に対する補正係数を所定の補正関数を用いて算出する算出手段と、
   処理対象画像におけるコントラストの状態を判定するコントラスト判定手段と、
   このコントラスト判定手段により判定されたコントラストの状態に基づいて、前記領域別補正手段が前記注目領域の画像の明るさを補正するときの各画素に対する補正係数の上限を調整する上限調整手段と
   を含むことを特徴とする請求項１乃至７いずれか記載の画像処理装置。
9. 処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正ステップと、
   所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成ステップと、
   この大局輝度画像生成ステップにて生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算ステップと、
   この減算ステップにて減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算ステップと、
   この乗算ステップを含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得ステップと、
   前記階調補正ステップにて階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得ステップにて前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整ステップと
   を含むことを特徴とする画像処理方法。
10. コンピュータを
    処理対象画像に対し、当該画像におけるコントラストを低下させる処理を含む階調補正を行う階調補正手段、
    所定のフィルタ処理によって前記処理対象画像における大局的な明るさの状態を表す大局輝度画像を構成する大局輝度画像データを生成する大局輝度画像生成手段、
    この大局輝度画像生成手段によって生成した大局輝度画像データにおける各画素の輝度値を、前記処理対象画像における対応する画素の輝度値から減算する処理を行う減算手段、
    この減算手段によって減算された各画素の輝度値に、これら各画素の輝度値が大きいほど小さくなるように変化する特性を有する補正係数を乗じる乗算処理を行う乗算手段、
    この乗算手段を含む所定の処理を行うことにより、前記処理対象画像に含まれる高周波成分が反映された輝度情報のみからなる情報画像データを生成し、これを前記処理対象画像における各部の相対的な明るさバランスを示す階調情報として取得する階調情報取得手段、
    前記階調補正手段により階調補正が行なわれた後の補正画像の各画素の輝度値に、前記階調情報取得手段により前記階調情報として取得された情報画像データにおける対応する画素の輝度値を加算することによって、前記補正画像の明るさを画素毎に調整する調整手段
    として機能させることを特徴とする画像処理プログラム。

Images