JP5034436B2 - 画像処理装置および画像処理方法、並びにカメラシステム - Google Patents

Description

本発明は、入力される画像データに対して輪郭補正を行うことができる画像処理装置および画像処理方法、並びにカメラシステムに関するものである。

入力される画像データに対して適切な輪郭補正を行うことができる画像処理装置に関する様々な提案がされている。

図１、図２、および図３は、デジタルカメラに適用される一般的な輪郭補正機能を有する画像処理装置の構成例を示す図であって、図１は第１の構成例を示す図であり、図２は第２の構成例を示す図であり、図３が第３の構成例を示す図である。

図１〜図３の画像処理装置１００，１００Ａ，１００Ｂは、それぞれ、輪郭信号抽出部１０１、輪郭強調部１０２、ガンマ（γ）補正部１０３、輪郭補正付加部１０４を有する。

図１の画像処理装置１００においては、装置に画像データを入力し、輪郭信号抽出部１０１で画像内の図形の輪郭を抽出し、その輪郭信号に対して輪郭強調部１０２で強調処理を行い、輪郭補正付加部１０４で抽出した図形の輪郭データ（輪郭強調画像）を、元の入力画像に足し合わせることで、輪郭強調補正を行っている。さらに、この後で、ガンマ補正部１０３でガンマ補正の処理を行っている。

しかし、図１の画像処理装置１００において、装置に画像データを入力し、画像に対して輪郭強調を行い、輪郭強調後の画像に対して、ガンマ補正を行うと、暗部では輪郭補正とガンマ補正が合わさった大きなゲインがかけられるため、ノイズが大きく目立ってしまい、最終的には画像の見た目が好ましくないものになっていた。

図２の画像処理装置１００Ａにおいては、装置に画像データを入力し、輪郭信号抽出部１０１で画像内の図形の輪郭を抽出し、その輪郭信号に対して輪郭強調部１０２で強調処理を行い、輪郭補正付加部１０４で抽出した図形の輪郭データ（輪郭強調画像）を、ガンマ補正部１０３でガンマ補正の処理を施した後の画像に足し合わせることで、輪郭強調補正を行っている。

ガンマ補正処理のゲインは、一般的に、低輝度および中輝度の画像データに対して大きく、画像の輝度が大きくなるに従って、掛ける（乗ずる）ゲインを単調に小さくしている。
輪郭強調処理において、輪郭を強調したいのは、主に中輝度の画像データに対してである。
図２の画像処理装置１００Ａにおいて、ガンマ補正処理により本来の画像データに対して大きなゲインを掛けた後のデータに対して、輪郭強調されていることが肉眼で認識できるように輪郭強調処理を行うには、ガンマ処理前の画像データに輪郭強調成分のデータを加えて、その後にガンマ補正処理を行う図１の画像処理装置１００よりも、輪郭強調処理において、輪郭強調成分に対して、より大きなゲインを掛けることが、当然必要となる。
ところが、図２の画像処理装置１００Ａにおいては、図１の画像処理装置１００よりも、輪郭強調成分に対して、より大きなゲインを掛けることにより、画像中の明度の高い部分の画像データに対して、輪郭強調が強く掛かりすぎて、最終的には画像の見た目が好ましくないものになっていた。

このように、図１および図２に示す画像処理装置１００，１００Ａにおいては、たとえば、与えられた画像に対してガンマ補正を行う前、あるいは行った後に輪郭補正を行うことで、暗部では輪郭補正とカンマ補正が合わさった大きなゲインがかけられるため、ノイズが大きく目立ってしまい画質の劣化に繋がっていた。
また、ガンマ補正を掛けることにより、輪郭補正の負極性成分に適用されるゲイン量に対して、正極性成分に適用されるゲイン量が相対的に小さくなり、負極性の輪郭成分だけが強調された画像になってしまう。

そういった画質劣化の問題点を回避する技術が提案されている（特許文献１，２参照）。図３の画像処理装置１００Ｂは、特許文献１に開示されている装置に対応している。
特許文献１に開示されている画像処理装置１００Ｂ(図３)においては、ガンマ補正後に輪郭補正を行っているが、輪郭補正を行う際のゲイン調整をガンマ補正時のゲインと連動させて求めることで暗部のノイズ改善を行っている。
また、特許文献２に開示されている輪郭補正技術においては、検出した輪郭信号の振幅レベルに応じて適応的に補正ゲインのレベルを設定することにより所望の絵作りを行おうとしている。
特開２００３−３１９２０１号公報 特開平８−２７９９１２号公報

しかし、特許文献１に開示された技術は、以下の不利益があった。

すなわち、ガンマ補正を行った後の画像では、輝度の高い部分（画像内部の明るい図形）は、ガンマ補正処理前よりもデータの階調性が小さくなってしまう。換言すれば、画像の周波数成分が小さくなってしまう。
このように、画像の周波数成分が小さくなっているため、図形の輪郭部分において、図形の輪郭成分を十分に抽出することが難しくなっている。
これにより、画像内部の明るい図形に対して、輪郭強調処理を行うことが難しくなっていると言う不利益があった。

また、特許文献１に開示された技術の場合、輪郭補正のゲインが、ガンマ補正カーブの特性によって決まってしまい、輪郭強調のゲインを、ガンマ補正のゲインから独立させて設定することができないという不利益があった。

一般的に、ガンマ補正のゲインは、以下のようになっている。
すなわち、補正対象画素の輝度データが最も小さい場合に、ガンマ補正のゲインが最大で、補正対象画素の輝度データが大きくなるに従って、ガンマ補正のゲインが単調に減少し、補正対象画素の輝度データが最も大きい場合に、ガンマ補正のゲインが最小となる。
このため、特許文献１に開示された技術の場合、輪郭強調補正のゲインも、補正対象画素の輝度データが最も小さい場合に、ガンマ補正のゲインが最大で、補正対象画素の輝度データが大きくなるに従って、ガンマ補正のゲインが単調に減少し、補正対象画素の輝度データが最も大きい場合に、ガンマ補正のゲインが最小となる。

しかし、輪郭強調処理においては、画像の暗部においては、輪郭強調を行わないようにしたいということが、当業者において一般的な見解である。
その理由は、暗部の画像は、明部の画像に比べて信号の値が小さい。したがって、暗部の画像データは、明部の画像データと比較して、Ｓ／Ｎ比が悪い。Ｓ／Ｎ比の悪いデータを、意図的に強調すると、信号とともにノイズも強調されてしまい、画像の見た目が汚くなってしまうからである。

上記の理由により、特許文献１に開示された技術の場合、暗部の画像データにおいて、好ましくないデータの強調が行われてしまい、最終的には画像の見た目が好ましくないものになっていた。

また、特許文献２に開示された技術の場合、強調したい輪郭の振幅が小さいときには、輪郭を強調することができなくなってしまうという不利益があった。

また、近年はデジタルカメラにおけるＩＳＯ感度の向上など、より一層の高画質化が求められており、特許文献１に開示された技術では設定するガンマ補正カーブの特性に基づいて輪郭補正のゲインが決定するため設定の自由度が狭く、特許文献２に開示された技術では強調したい輪郭の振幅が小さいときに強調することができなくなってしまうといった不利益がある。

本発明は、任意の輝度について適応的に輪郭補正を行うことが可能で、画像データの所望の箇所に対して十分な輪郭強調を行うことができる画像処理装置および画像処理方法、並びにカメラシステムを提供することにある。

本発明の第１の観点は、入力された画像信号を処理する画像処理装置であって、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
また、本発明の第１の観点は、入力された画像信号を処理する画像処理装置であって、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。

本発明の第２の観点は、入力された画像信号を処理する画像処理方法であって、前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第１ステップと、前記画像の輪郭信号を輪郭補正部で補正する第２ステップと、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第３ステップと、を少なくとも有し、前記第２ステップにおいては、画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、かつ、前記第２ステップにおいては、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号乗じることによって画像の輪郭強調を行い、かつ、前記第２ステップにおいては、輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
また、本発明の第２の観点は、入力された画像信号を処理する画像処理方法であって、前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第１ステップと、前記画像の輪郭信号を輪郭補正部で補正する第２ステップと、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第３ステップと、を少なくとも有し、前記第２ステップにおいては、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、かつ、前記第２ステップにおいては、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記第２ステップにおいては、画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。

本発明の第３の観点のカメラシステムは、撮像素子と、前記撮像素子に被写体像を結像する光学系と、前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、前記画像処理装置は、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
また、本発明の第３の観点のカメラシステムは、撮像素子と、前記撮像素子に被写体像を結像する光学系と、前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、前記画像処理装置は、前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、前記画像の輪郭信号を補正する輪郭補正部と、前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、前記輪郭補正部は、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、前記輝度変調ゲインテーブルは、輝度に対するゲイン特性を任意に設定可能であり、前記輪郭補正部は、前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、前記ゲイン生成部は、画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする。

本発明によれば、輪郭補正部において、ガンマ補正前の画像信号から輪郭信号を取り出し、輝度量を参照して輪郭強調ゲインを変化させて輪郭信号を補正し、任意の輝度について適応的に輪郭補正を行う。

本発明によれば、任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。

以下、本発明の実施の形態を図面に関連付けて説明する。

＜第１実施形態＞
図４は、本発明の第１の実施形態に係る画像処理装置の構成例を示す図である。

本画像処理装置２００は、図４に示すように、入力されたデジタル画像信号（Ｒ，Ｇ，Ｂ）の輪郭信号を補正する輪郭補正部２１０と、デジタル画像信号（Ｒ，Ｇ，Ｂ）に対してガンマ（γ）補正処理を行って輝度を生成する非線形輝度生成部２２０と、非線形輝度生成部２２０で生成される非線形輝度信号Ｓ２２０に対して輪郭補正部２１０から出力される最終輪郭画像信号Ｓ２１０を加算する輪郭補正付加部２３０と、を有する。
そして、輪郭補正部２１０は、デジタル画像の輝度信号を入力とし輝度量に応じた輪郭補正ゲインを生成するゲイン生成部を有し、生成したゲインを用いて輪郭信号に対して輝度変調補正を行う機能を有している。

輪郭補正部２１０は、図４に示すように、簡易輝度生成部２１１、輪郭信号抽出部２１２、メモリ装置２１３Ｍが接続されたゲイン生成部２１３、輪郭信号輝度変調部２１４、振幅調整部２１５、およびメモリ装置２１３Ｍに格納された輝度変調ゲインテーブル２１６を有する。

簡易輝度生成部２１１は、ＣＣＤやＣＭＯＳセンサといった撮像素子で生成された信号をデジタル値に変換したＲＧＢ信号が入力され、そのＲＧＢ信号から輪郭補正を行うため簡易輝度信号Ｓ２１１を生成し、輪郭信号抽出部２１２およびゲイン生成部２１３に出力する。
なお、簡易輝度生成部２１１で生成する輝度は計算量を重視して簡易的にしているが、たとえばＩＴＵ−Ｒ ＢＴ６０１に準拠した輝度でも良い。

輪郭信号抽出部２１２は、周波数特性が可変な高帯域通過フィルタを有し、簡易輝度信号Ｓ２１１の画像内から輪郭信号Ｓ２１２を抽出し、輪郭信号輝度変調部２１４に出力する。

ゲイン生成部２１３は、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブル２１６と、簡易輝度信号Ｓ２１１とを参照してゲイン量（値）を決定し、ゲイン量信号Ｓ２１３として輪郭信号輝度変調部２１４に出力する。
なお、輝度変調ゲインテーブル２１６については後で詳述する。

輪郭信号輝度変調部２１４は、輪郭信号抽出部２１２で抽出された輪郭信号Ｓ２１２にゲイン生成部２１３で生成されたゲイン値（量）を乗算して輝度変調を行い、輝度変調後の輪郭画像信号Ｓ２１４を振幅調整部２１５に出力する。

振幅調整部２１５は、輝度変調後輪郭画像の正成分と負成分の輪郭振幅成分に対して個別に、コアリング調整、クリップ調整、ゲイン調整を行い、最終輪郭画像を生成し、信号Ｓ２１０として輪郭補正付加部２３０に出力する。

非線形輝度生成部２２０は、ガンマ（γ）補正部２２１および輝度生成部２２２を有する。

ガンマ補正部２２１は、入力されたＲ、Ｇ、Ｂデジタル信号に対してガンマ補正を行い、非線形なＲ、Ｇ、Ｂ信号を生成し、輝度生成部２２２に出力する。

輝度生成部２２２は、ガンマ補正部２２１で生成された非線形のＲ、Ｇ、Ｂ信号を入力し、輝度を生成し、輝度信号Ｓ２２０を輪郭補正付加部２３０に出力する。
なお、輝度生成部２２２で生成する輝度は所望の画像フォーマットＩＴＵ−Ｒ ＢＴ６０１やＩＴＵ−Ｒ ＢＴ７０９で規定される輝度である。

輪郭補正付加部２３０は、輝度生成部２２２で作成した輝度信号Ｓ２２０に対して振幅調整部２１５で生成した最終輪郭画像信号Ｓ２１０を合成（加算）し、最終的な輝度信号Ｓ２３０を生成する。

ここで、本実施形態に係る輝度変調ゲインテーブル２１６について説明する。
輝度変調ゲインテーブル２１６は、不揮発性メモリ等のメモリ装置に記憶して形成される。

図５は、本実施形態に係る輝度変調ゲインテーブルの一例を示す図である。
図５において、横軸が輝度を、縦軸がゲインレベルをそれぞれ示している。
図５においては、輝度が０から２０程度の部分が低輝度側に該当し、それ以上の輝度の部分のゲインレベルに比べて、ゲインレベルが小さくなっていることを示している。

輝度変調ゲインテーブル２１６は、輝度に対する特性を任意に設定できる機能を有しており、図５のようにＳ／Ｎの改善のため低輝度部ゲインを低く設定することで暗部ノイズを低減させることが可能になる。また、ガンマ補正で掛けるゲインの微分値を輝度変調ゲインテーブル２１６に設定することで、ガンマ補正後に輪郭補正を行った画像を作成することが可能となる。

また、輝度変調ゲインテーブル２１６は、輪郭信号Ｓ２１２の正成分と負成分に対して個別に設定することも可能である。
たとえば、高輝度部では負成分を強調すると黒い輪郭が生成されることがある。その問題は、負成分の高輝度部分のゲイン量を低く設定することで回避することが可能になるといった利点がある。

このような特徴を有する輝度変調ゲインテーブル２１６を有する輪郭補正部２１０についてさらに詳述する。

前述したように、本実施形態の輪郭補正部２１０は、画像の輪郭成分を抽出する輪郭信号抽出部２１２と、各画素の画像データの輝度成分を求める簡易輝度生成部２１１と、各画素の輝度信号（データ）を入力とし、この入力に対して適応的に、輪郭強調成分に対して乗ずるゲイン量を生成し出力するゲイン生成部２１３とを有し、輪郭信号変調部２１４において、画像の輪郭成分のデータに対して、この画素の輝度信号（データ）に応じて適応的に変化させたゲインを掛けることによって画像の輪郭強調を行う。

そして、ゲイン生成部２１３において、輝度データに応じて適応的に変化させたゲインの値を得る際に、
（１）：暗部の画像データに対しては、画像データのノイズ成分を強調することを避けるために、前記のゲインを小さくする、
（２）：この暗部よりも明るい画像データに対しては、十分な輪郭強調効果を得るために、前記のゲインを、暗部の画像データに対するゲインよりも大きくする、
（３）：さらに明るい画像データに対しては、輪郭強調効果が目立ち過ぎないように、前記のゲインを、上記（２）の画像データに対するゲインよりも小さくする。

図６（Ａ）は、本第１の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図であって、比較として、図６（Ｂ）に図３の一般的な画像処理装置における輪郭強調処理を模式的に示している。
図６（Ａ）および（Ｂ）において、（１）は画像の輪郭部における輝度の変化が急峻である場合の輝度信号（データ）を、（２）は画像の輪郭部における第１の輪郭成分(１次微分)を、（３）は画像の輪郭部における第２の輪郭成分（２次微分の反転）を、（４）は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号（データ）Ｓ２１１を、（５）はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインＳ２１３を、（６）は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。

図６（Ａ），（Ｂ）に示すように、本実施形態の画像処理装置２００は、ゲイン生成部２１３において輝度−ゲイン変換を行い、輝度に応じて適応的に変化させたゲインの値を得ている。
その結果、本実施形態の画像処理装置２００は、一般的な画像処理装置に比較して、強調したいところのみに対して補正を行うことができるため、輪郭を強調させる必要のない暗部などでノイズの大幅な低減が実現できる。

さらに、画素の輝度信号（データ）に応じて輪郭強調のゲインを適応的に変化させるゲイン生成部２１３において、たとえばデジタルカメラが有する複数の写真撮影モード（人物撮影モードであるとか、風景撮影モードであるとか、夜景撮影モードであるとか）に応じて、入出力特性を変化させることを容易にすることを目的として、本実施形態において、ゲイン生成部２１３はメモリ装置２１３Ｍを有し、このメモリ装置に入力−出力の変換表（輝度−輪郭強調処理におけるゲインの変換表）を記憶させ、このメモリ装置に輝度を入力し、輪郭強調処理におけるゲインの値を得る構成にしている。

近年、デジタルカメラにおいては、階調性が豊かな画像を得ることを目的として、イメージセンサの出力データの階調をできるだけ大きくする、つまりイメージセンサの出力をできるだけビット化する、ことが好ましいとされている。
したがって、一般的にデジタルカメラの画像信号処理装置においては、たとえば、イメージセンサから１４ビットのＲＧＢデータが入力され、これに１６ビットのＲＧＢ−ＹＣ変換係数を乗じて、１６ビットのＹＣデータを得て、この１６ビットのＹＣデータに対して、各種の画像処理を施して、最終的な画像を得る、という処理が行われている。
しかし、輪郭強調処理において、前出のメモリ装置を用いて、画像の輝度データに応じて輪郭強調処理において乗じるゲインの値を適応的に出力するゲイン生成部を構成する場合、１６ビットのＹＣデータに対して、たとえば１対１対応で８ビットのゲインを出力すると仮定すると、前出のゲイン生成部を構成するために必要となるメモリの大きさは、８ビット＊２＾１６＝５１３ｋビットにもなる。

ところが、デジタルカメラの最終出力画像の階調性に対する人間の眼の感度と比較して、画像の輪郭部分における輪郭強調成分の階調性に対する人間の眼の感度が低い。
輪郭強調成分の階調性を、デジタルカメラの最終出力画像の階調性よりも小さくしても、好ましい画像を得ることが可能である。
そこで、本第１の実施形態においては、輪郭強調処理において、前出のメモリ装置の輝度変調ゲインテーブル２１６を用いて、画像の輝度データに応じて輪郭強調処理において乗じるゲインの値を適応的に出力するゲイン生成部２１３において、入力する輝度データの階調性を、輪郭強調成分にゲインを掛けた結果を加算(合成)する加算先である輪郭補正付加部２３０の本来の画像データの、輝度データの階調性よりも小さくした構成になっている。

さらに、上記の輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部２３０の本来の画像データの輝度データの階調性よりも階調性が小さい輝度データを算出する算出部は、
１．輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部２３０の本来の画像データの輝度データ下位ビットを捨てて、データのビット幅を小さくする構成にして良いし、あるいは、
２．輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部２３０の本来の画像データの輝度データを算出するＲＧＢ-ＹＣ変換部とは別に、
輪郭強調処理におけるゲインを求める際に使用する輝度データを、ＲＧＢデータから算する算出部を有し、ＲＧＢ-ＹＣ変換係数を、輪郭強調成分にゲインを掛けた結果を加算する加算先である輪郭補正付加部２３０の本来の画像データの輝度データを算出する、ＲＧＢ-ＹＣ変換部のＲＧＢ-ＹＣ変換係数よりも階調性を小さくした（ビット幅を小さくした）構成にしても良いし、
３．輪郭強調処理におけるゲインを求める際に使用する輝度データを、RGBデータのG（緑色）のデータで代用する構成にしても良い。

次に、図４の構成による動作を説明する。

ＣＣＤやＣＭＯＳセンサといった撮像素子で生成された信号をデジタル値に変換したＲＧＢ信号が輪郭補正部２１０に入力される。
輪郭補正部２１０においては、まずそのＲＧＢ信号から輪郭補正を行うため簡易輝度生成部２１１で簡易輝度信号Ｓ２１１が生成され、周波数特性が可変な高帯域通過フィルタを有する輪郭信号抽出部２１２で輪郭信号Ｓ２１２が抽出される。簡易輝度信号Ｓ２１１はゲイン生成部２１３に供給される。
ゲイン生成部２１３においては、メモリ装置２１３Ｍに格納されている輝度量に応じて輪郭補正量ゲイン量が決まる輝度変調テーブル２１６と、簡易輝度信号Ｓ２１１とを参照してゲイン量が決定される。そして、輪郭信号輝度変調部２０４において、輪郭信号Ｓ２１２に対してそのゲイン量が掛け合わされ、その結果が信号Ｓ２１４として振幅調整部２１５に出力される。
振幅調整部２１５においては、輝度変調後の輪郭画像の正成分と負成分の輪郭振幅成分に対して個別に、コアリング調整、クリップ調整、ゲイン調整が行われて、最終輪郭画像が生成される。この最終輪郭画像は信号Ｓ２１０として輪郭補正付加部２３０に供給される。

また、非線形輝度生成部２２０において、ガンマ補正部２２１に入力されたＲ、Ｇ、Ｂデジタル信号に対してガンマ補正が行われ、非線形なＲ、Ｇ、Ｂ信号が生成される。
そのＲ、Ｇ、Ｂ信号が輝度生成部２２２に入力し、輝度信号Ｓ２２０が生成される。
そして、輝度生成部２２２で生成した輝度に対して振幅調整部２１５で生成された最終輪郭画像が、輪郭補正付加部２１２で合成され、最終的な輝度信号Ｓ２３０が生成される。

以上説明したように、本第１の実施形態によれば、画像処理装置２００は、入力されたデジタル画像信号（Ｒ，Ｇ，Ｂ）の輪郭信号を補正する輪郭補正部２１０と、デジタル画像信号（Ｒ，Ｇ，Ｂ）に対してガンマ（γ）補正処理を行って輝度を生成する非線形輝度生成部２２０と、非線形輝度生成部２２０で生成される非線形輝度信号Ｓ２２０に対して輪郭補正部２１０から出力される最終輪郭画像信号Ｓ２１０を加算する輪郭補正付加部２３０と、を有し、輪郭補正部２１０は、デジタル画像の輝度信号を入力とし輝度量に応じた輪郭補正ゲイン量を生成し出力するゲイン生成部２１３を有し、生成したゲインを用いて輪郭信号に対して輝度変調補正を行う機能を有していることから、以下の効果を得ることができる。
任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。

すなわち、本第１の実施形態によれば、明るさに対する輪郭強調の輝度変調テーブルを与えることで、強調したいところのみに対して補正を行うことができるため、輪郭を強調させる必要のない暗部などでノイズの大幅な低減を実現できる。
また、輪郭強調信号にガンマ補正を行うことで発生する輪郭強調信号の明部側と暗部側のゲイン量のアンバランスさが解消され、好ましい輪郭強調を行うことができる。
さらに、輝度変調テーブルによるゲイン量の決定に広域輝度情報を用いることで、急激なゲイン量の変化や暗部にある単輝度点などの特異点に対して輪郭強調することを避けることができる。

＜第２実施形態＞
図７は、本発明の第２の実施形態に係る画像処理装置の構成例を示す図である。

本第２の実施形態の画像処理装置２００Ａが第１の実施形態の画像処理装置２００と異なる点は、ゲイン生成部２１３Ａの入力側に簡易輝度信号の広域輝度情報を得るための広域輝度情報取得部としての低帯域通過フィルタ（ＬＰＦ部）２１７を配置したことにある。

本第２の実施形態の画像処理装置２００Ａにおいて、ゲイン生成部２１３Ａは簡易輝度信号を参照してゲイン量を決定するが、簡易輝度信号に対して低帯域通過フィルタ(ＬＰＦ部)２１７を適用することで得られる広域輝度情報Ｓ２１７をゲイン生成部２１３Ａの入力として使用することで、急激なゲイン量の変化や特異点の輪郭を強調することを避けることが可能になる。

前述したように、第１の実施形態に係る画像処理装置２００によれば、任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。
しかし、第１の実施形態に係る画像処理装置２００によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。

すなわち、画像の輪郭部分において、輝度の変化が急峻である場合には、適応的輝度−ゲイン変換の出力として得られる輪郭強調処理のゲインの大きさの変化が急峻になる。
この急峻に変化するゲインを輪郭強調成分に乗ずると、たとえば、ゲインを乗じた結果得られる輪郭強調成分の変化が急峻で、輪郭強調された部分が、黒色と白色の２本の線に見えてしまうおそれがある。
たとえば、人の顔を撮影した画像においては、顔の輪郭が黒色と白色の２本の線で縁取られたような画像が得られてしまう場合がある。
また、画像の輪郭部分において、輝度の変化が急峻である際には、たとえば、輪郭強調される領域の幅が小さいために、輪郭強調された部分が、幅を持った領域ではなく、たとえば黒色の１本の線に見えてしまう場合もある。
このような画像を生成することは、あまり好ましくない。

そこで、本第２の実施形態の画像処理装置２００Ａの輪郭補正部２１０Ａにおいては、画像の輝度データをＬＰＦ（ローパスフィルタ）２１７に通すことにより急峻な変化を適度に緩和した輝度データを作り出し、画像の輪郭成分のデータに対して、ゲイン生成部２１３Ａにおいて輝度データに応じて適応的に変化させたゲインを掛けることによって画像の輪郭強調を行う。
その他の構成は、第１の実施形態と同様である。

図８（Ａ）は、本第２の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図であって、比較として、図８（Ｂ）に第１の実施形態の画像処理装置における輪郭強調処理を模式的に示し、図８（Ｃ）に図３の一般的な画像処理装置における輪郭強調処理を模式的に示している。
図８（Ａ）〜（Ｃ）において、（１）は画像の輪郭部における輝度の変化が急峻である場合の輝度信号（データ）を、（２）は画像の輪郭部における第１の輪郭成分(１次微分)を、（３）は画像の輪郭部における第２の輪郭成分（２次微分の反転）を、（４）は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号（データ）Ｓ２１１、Ｓ２１７を、（５）はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインＳ２１３、Ｓ２１３Ａを、（６）は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。

図８（Ａ）に示すように、本第２の実施形態の画像処理装置２００Ａは、画像の輝度データをＬＰＦ（ローパスフィルタ）２１７に通すことにより急峻な変化を適度に緩和した輝度データを作り出し、画像の輪郭成分のデータに対して、ゲイン生成部２１３Ａにおいて輝度データに応じて適応的に変化させたゲインを掛けることによって画像の輪郭強調を行う。
これにより、急激なゲイン量の変化や特異点の輪郭を強調することを避けることが可能になる。

図９は、実際に図３の画像処理装置、並びに本第２の実施形態に係る画像処理装置を適用して作成した画像例を示す図である。
図３の画像処理装置のような構成の輪郭補正を行った画像３０１から輝度成分のみを抽出した画像３０２と、本第２の実施形態の画像処理装置２００Ａに示すような構成例で図５の輝度変調ゲインテーブルを適用して作成した画像３０３から輝度成分のみを抽出した画像３０４を比較すると、中輝度部では解像感はほぼ同等であるのに対し、低輝度部でのノイズが改善されている。

＜第３実施形態＞
図１０は、本発明の第３の実施形態に係る画像処理装置の構成例を示す図である。

本第３の実施形態の画像処理装置２００Ｂが第１の実施形態の画像処理装置２００と異なる点は、ゲイン生成部２１３Ｂの入力側に簡易輝度信号の広域輝度情報を得るための低帯域通過フィルタ（ＬＰＦ部）２１７を配置し、ゲイン生成部２１３Ｂにおいて、輪郭成分の正の値に対して乗じるゲインの値を輝度データに応じて適応的に発生させる一方、輪郭成分の負の値に対して乗じるゲインの値を輝度データに応じて適応的に発生させるようにしたことにある。

前述したように、第１の実施形態に係る画像処理装置２００によれば、任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。
しかし、第１の実施形態に係る画像処理装置２００によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。

すなわち、デジタルカメラを用いて写真撮影を行った場合、デジタルカメラの固体撮像素子において、光学的入力を光電変換したデータに、ノイズが重畳される。
ノイズの発生原因の一例としては、固体撮像素子の各画素における熱雑音が挙げられる。
ノイズが重畳されているデータを輪郭強調すると、ノイズが一層目立ってしまう。
また、たとえば、ノイズを取り去るために、画像データをローパスフィルタに通した後、輪郭強調しようとしても、ローパスフィルタによって高周波成分を失った画像からは輪郭成分（高周波成分）を抽出する事が難しく、このため輪郭強調することが難しく、画像全体が、輪郭があいまいな寝ぼけた画像になってしまうおそれがある。

そこで、本第３の実施形態の画像処理装置２００Ｂの輪郭補正部２１０Ｂにおいては、画像の輝度データをＬＰＦ（ローパスフィルタ）２１７に通すことにより急峻な変化を適度に緩和した輝度データを作り出し、画像の輪郭成分のデータに対して、ゲイン生成部２１３Ｂにおいて輪郭成分の正の値に対して乗じるゲインの値を輝度データに応じて適応的に発生させる一方、輪郭成分の負の値に対して乗じるゲインの値を輝度データに応じて適応的に発生させ、輝度データに対して、このように適応的に変化させたゲインを掛けることによって、画像の輪郭強調を行う。
そして、ゲイン生成部２１３Ｂは、輝度データに応じて適応的に変化させたゲインの値を得る際に、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
これにより、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインと同じ値を用いている第１の実施形態の技術と比較して、本来の光電変換データにノイズが重畳されたデータにおいてノイズの強調を低減することが可能となる。

図１１（Ａ）は、本第３の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図であって、比較として、図１１（Ｂ）に第１の実施形態の画像処理装置における輪郭強調処理を模式的に示している。
図１１（Ａ）および（Ｂ）において、（１）は本来の光電変換データにノイズが重畳したセンサ出力の輝度データを、（２）は画像の輪郭部における第１の輪郭成分(１次微分)を、（３）は画像の輪郭部における第２の輪郭成分（２次微分の反転）を、（４）は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号（データ）Ｓ２１１、Ｓ２１７を、（５）はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインＳ２１３、Ｓ２１３Ｂを、（６）は輪郭成分にゲインを乗じた結果を、（７）は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。

図１１（Ａ）に示すように、本第３の実施形態の画像処理装置２００Ｂは、画像の輝度データをＬＰＦ（ローパスフィルタ）２１７に通すことにより急峻な変化を適度に緩和した輝度データを作り出し、ゲイン生成部２１３Ｂは、輝度データに応じて適応的に変化させたゲインの値を得る際に、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする。
これにより、輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインと同じ値を用いている第１の実施形態の技術と比較して、本来の光電変換データにノイズが重畳されたデータにおいてノイズの強調を低減することが可能となる。

＜第４実施形態＞
図１２は、本発明の第４の実施形態に係る画像処理装置の構成例を示す図である。
図１３は、本第４の実施形態におけるゲイン生成について説明するための図である。

本第４の実施形態の画像処理装置２００Ｃが第１の実施形態の画像処理装置２００と異なる点は、ゲイン生成部２１３Ｃにおいて、図１３に示すように領域に分けてゲイン値を輝度データに応じて適応的に発生させるようにしたことにある。
なお、ここで“領域“とは、輝度の値の範囲を意味する。

すなわち、図１３に示すように、輪郭強調処理において、ゲイン生成部２１３は、次のようにゲインの値を生成する。

[1]：画像内において、輝度が最暗部およびそれに近い値になっている第１の領域ＲＧＮ１においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、それ以外（第１の領域以外）の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくする。

[2]：上記[1]以外の第２の領域ＲＧＮ２においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記[1]の第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設ける。

また、上記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さくする。

以下に、このようにして、ゲインの値を生成する理由について説明する。

前述したように、第１の実施形態に係る画像処理装置２００によれば、任意の輝度について適応的に輪郭補正を行うことが可能で、暗部の画像データにおいて輪郭強調のゲインが大き過ぎてノイズが目立ってしまうことを防止でき、明部の画像データにおいて輪郭強調のゲインが大き過ぎて輪郭が目立ち過ぎてしまうことを防止できることはもとより、明部の画像データに対して十分な輪郭強調を行うことができ、画像データの輪郭部分の振幅が小さい場合に十分な輪郭強調を行うことができる。
しかし、第１の実施形態に係る画像処理装置２００によれば、以下のように、あまり好ましくない画像がもたらされる場合がある。

すなわち、
[1]：画像内において、輝度が最暗部およびそれに近い値になっている第１の領域ＲＧＮ１においては、それ以外の部分の画像に比べて信号の値が小さく、したがって、暗部の画像データは、明部の画像データと比較してＳ／Ｎ比が悪いので、Ｓ／Ｎ比の悪いデータを輪郭強調処理によって信号とともにノイズをも強調してしまう事態は、避けるのが好ましい。
[2]：一方、上記[1]以外の第２の領域ＲＧＮ２においては、輝度が小さい色と輝度が大きい色とを比較した場合、人間の眼の感度は、輝度が小さい色に対して高く、輝度が大きい色に対して低いため、輝度が小さい色に対して乗ずる輪郭強調のゲインを、上記[1]の第１の領域のデータに対して乗ずる輪郭強調のゲインよりも大きくして、階調性を豊かにすることが好ましい。
[3]：さらに、上記[2]の第２の領域ＲＧＮ２において、輝度が最明部およびそれに近い値になっている領域においては、輝度データに対して乗ずる輪郭強調のゲインを不適切に大きくすると、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を越えてしまい、最大値を越えたデータに関しては値を許容最大値に制限してしまう。このため、データの許容最大値を越えた領域においてデータに持たせた階調性が全て失われてしまうので、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を超えることを抑制するように輪郭強調におけるゲインの大きさを抑制することが好ましい。

そこで、本第４の実施形態の画像処理装置２００Ｃの輪郭補正部２１０Ｃにおいては、輪郭強調処理において、
[1]：画像内において、輝度が最暗部およびそれに近い値になっている第１の領域ＲＧＮ１においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、それ以外の第２の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
[2]：上記[1]以外の第２の領域ＲＧＮ２においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記[1]の第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
さらに、上記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さくするように、ゲイン生成部２１３Ｃが構成されている。

図１４（Ａ）は、本第４の実施形態に係る画像処理装置における第１の領域での輪郭強調処理を模式的に示す図であって、比較として、図１４（Ｂ）に第１の実施形態の画像処理装置における輪郭強調処理を模式的に示している。また、図１５（Ａ）は、本第４の実施形態に係る画像処理装置における第２の領域での輪郭強調処理を模式的に示す図であって、比較として、図１５（Ｂ）に第１の実施形態の画像処理装置における輪郭強調処理を模式的に示している。
図１４および図１５の（Ａ）および（Ｂ）において、（１）は画像の輪郭部における輝度データ（図１４では低輝度領域、図１５では高輝度領域）を、（２）は画像の輪郭部における第１の輪郭成分(１次微分)を、（３）は画像の輪郭部における第２の輪郭成分（２次微分の反転）を、（４）は輝度‐ゲイン変換部であるゲイン生成部に入力する輝度信号（データ）Ｓ２１１、Ｓ２１７を、（５）はゲイン生成部によって得られた輪郭強調成分に乗ずるゲインＳ２１３、Ｓ２１３Ｂを、（６）は輪郭成分にゲインを乗じた結果を、（７）は輪郭強調成分にゲインを乗じて得られた最終的な輪郭強調成分を、それぞれ示している。

図１４および図１５（Ａ）に示すように、本第４の実施形態の画像処理装置２００Ｃは、画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、それ以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、の第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、さらに、上記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さくする。

したがって、本第４の実施形態によれば、したがって、暗部の画像データは、明部の画像データと比較してＳ／Ｎ比が悪いので、Ｓ／Ｎ比の悪いデータを輪郭強調処理によって信号とともにノイズをも強調してしまう事態を避けることができる。
また、第２の領域においては、階調性を豊かにすることができる。
さらに、第２の領域において、本来の画像データの値に対して、輪郭強調データを加えた後のデータが最終出力画像における出力データのビット幅によって決まるデータの許容最大値を超えることを抑制するように輪郭強調におけるゲインの大きさを抑制することができる。

なお、第４の実施形態においては、第２の実施形態や第３の実施形態と同様に、ゲイン生成部２１３Ｃの入力側に簡易輝度信号の広域輝度情報を得るための低帯域通過フィルタ（ＬＰＦ部）２１７を配置するように構成することも可能である。

以上説明したように、本実施形態によれば、明るさに対する輪郭強調の輝度変調テーブルを与えることで、強調したいところのみに対して補正を行うことができるため、輪郭を強調させる必要のない暗部などでノイズの大幅な低減が実現できる。
また、輪郭強調信号にガンマ補正を行うことで発生する輪郭強調信号の明部側と暗部側のゲイン量のアンバランスさが解消され、好ましい輪郭強調を行うことが実現できる。
さらに、輝度変調テーブルによるゲイン量の決定に広域輝度情報を用いることで、急激なゲイン量の変化や暗部にある単輝度点などの特異点に対して輪郭強調することを避ける効果が実現できる。
このような効果を有する画像処理装置２００，２００Ａ〜２００Ｃは、デジタルカメラやビデオカメラの画像処理装置(信号処理装置)に適用することができる。

図１６は、本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム４００は、図１６に示すように、ＣＣＤやＣＭＯＳセンサ等の撮像デバイス４１０と、この撮像デバイス４１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ４２０と、撮像デバイス４１０を駆動する駆動回路４(ＤＲＶ)３０と、撮像デバイス４１０の出力信号を処理する画像処理装置(ＰＲＣ)４４０と、を有する。

そして、図１６の画像処理装置４４０として、前述した第１〜第４の実施形態に係る画像処理装置２００，２００Ａ〜２００Ｃが適用される。
また、駆動回路４３０は、水平シフトレジスタや垂直シフトレジスタ等を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス４１０を駆動する。

本カメラシステム４００によれば、前述した実施形態の効果と同様の効果を得ることができ、ＩＳＯ感度の向上など、より一層の高画質化が求められているデジタルカメラ等において、設定するガンマ補正カーブの特性に基づいて輪郭補正のゲインが決定するため設定の自由度を広くでき、また、強調したい輪郭の振幅が小さいときであっても強調することができる等の利点がある。

一般的な輪郭補正機能を有する画像処理装置の第１の構成例を示す図である。 一般的な輪郭補正機能を有する画像処理装置の第２の構成例を示す図である。 一般的な輪郭補正機能を有する画像処理装置の第３の構成例を示す図である。 本発明の第１の実施形態に係る画像処理装置の構成例を示す図である。 本実施形態に係る輝度変調ゲインテーブルの一例を示す図である。 本第１の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示す図である。 本第２の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図である。 実際に図３の画像処理装置、並びに本第２の実施形態に係る画像処理装置を適用して作成した画像例を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成例を示す図である。 本第３の実施形態に係る画像処理装置における輪郭強調処理を模式的に示す図である。 本発明の第４の実施形態に係る画像処理装置の構成例を示す図である。 本第４の実施形態におけるゲイン生成について説明するための図である。 本第４の実施形態に係る画像処理装置における第１の領域での輪郭強調処理を模式的に示す図である。 本第４の実施形態に係る画像処理装置における第２の領域での輪郭強調処理を模式的に示す図である。 本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

符号の説明

２００，２００Ａ〜２００Ｃ・・・画像処理装置、２１０，２１０Ａ〜２１０Ｃ・・・輪郭補正部、２１１・・・簡易輝度生成部、２１２・・・輪郭信号抽出部、２１３，２１３Ａ〜２１３Ｃ・・・ゲイン生成部、２１３Ｍ・・・メモリ装置、２１４・・・輪郭信号輝度変調部、２１５・・・振幅調整部、２１６・・・輝度変調ゲインテーブル、２１７・・・低帯域通過フィルタ（ＬＰＦ部）、２２０・・・非線形輝度生成部、２３０・・・輪郭補正付加部。

Claims (8)

1. 入力された画像信号を処理する画像処理装置であって、
   前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
   前記画像の輪郭信号を補正する輪郭補正部と、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
   前記輪郭補正部は、
   画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、
   輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、
   生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、
   前記輪郭補正部は、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、
   前記ゲイン生成部は、
   輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
   輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
   画像処理装置。
2. 前記広域輝度情報取得部は、前記輝度信号が通過する低帯域通過フィルタを含む
   請求項１記載の画像処理装置。
3. 入力された画像信号を処理する画像処理装置であって、
   前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
   前記画像の輪郭信号を補正する輪郭補正部と、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
   前記輪郭補正部は、
   輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、
   生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、
   前記輪郭補正部は、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
   前記ゲイン生成部は、
   画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
   前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
   前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
   画像処理装置。
4. 入力された画像信号を処理する画像処理方法であって、
   前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第１ステップと、
   前記画像の輪郭信号を輪郭補正部で補正する第２ステップと、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第３ステップと、を少なくとも有し、
   前記第２ステップにおいては、
   画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得、輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、かつ、
   前記第２ステップにおいては、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号乗じることによって画像の輪郭強調を行い、かつ、
   前記第２ステップにおいては、
   輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
   輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
   画像処理方法。
5. 入力された画像信号を処理する画像処理方法であって、
   前記画像信号に対してガンマ補正処理を行って輝度信号を非線形輝度生成部で生成する第１ステップと、
   前記画像の輪郭信号を輪郭補正部で補正する第２ステップと、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する第３ステップと、を少なくとも有し、
   前記第２ステップにおいては、
   輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成して、生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、かつ、
   前記第２ステップにおいては、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
   前記第２ステップにおいては、
   画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
   前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
   前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
   画像処理方法。
6. 撮像素子と、
   前記撮像素子に被写体像を結像する光学系と、
   前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、
   前記画像処理装置は、
   前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
   前記画像の輪郭信号を補正する輪郭補正部と、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
   前記輪郭補正部は、
   画像の輝度信号から輝度の急峻な変化を緩和した広域輝度情報を得る広域輝度情報取得部と、
   輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記広域輝度情報取得部で前記輝度信号から得られる急峻な変化が緩和された広域輝度情報とを参照し輪郭補正ゲイン量を決定し生成するゲイン生成部と、を有し、
   生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、
   前記輪郭補正部は、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを前記輝度信号に乗じることによって画像の輪郭強調を行い、
   前記ゲイン生成部は、
   輪郭成分の正の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生する一方、輪郭成分の負の値に対して乗じるゲインの値を輝度信号に応じて適応的に発生し、
   輝度データに応じて適応的に変化させたゲインの値を得る際に、当該輝度データの領域全体にわたって輪郭成分の正の値に対して乗じるゲインの値を輪郭成分の負の値に対して乗じるゲインの値よりも小さくする
   カメラシステム。
7. 前記広域輝度情報取得部は、前記輝度信号が通過する低帯域通過フィルタを含む
   請求項６記載のカメラシステム。
8. 撮像素子と、
   前記撮像素子に被写体像を結像する光学系と、
   前記撮像素子の出力画像信号を処理する画像処理装置と、を有し、
   前記画像処理装置は、
   前記画像信号に対してガンマ補正処理を行って輝度信号を生成する非線形輝度生成部と、
   前記画像の輪郭信号を補正する輪郭補正部と、
   前記非線形輝度生成部で生成される非線形輝度信号に対して前記輪郭補正部から出力される輪郭画像を合成する輪郭補正付加部と、を少なくとも有し、
   前記輪郭補正部は、
   輝度量に応じて輪郭補正ゲイン量が決まる輝度変調ゲインテーブルと、前記画像の輝度信号とを参照して輪郭補正ゲイン量を決定し生成するゲイン生成部を有し、
   生成したゲイン量で前記輪郭信号に対して輝度変調補正を行い、
   前記輝度変調ゲインテーブルは、
   輝度に対するゲイン特性を任意に設定可能であり、
   前記輪郭補正部は、
   前記輝度変調ゲインテーブルを前記輪郭信号の正成分と負成分の信号に対して独立に設定する機能を有し、
   画像の輪郭成分のデータに対して、当該画像の輝度信号に応じて適応的に変化させたゲインを乗じることによって画像の輪郭強調を行い、
   前記ゲイン生成部は、
   画像内において、輝度が最暗部およびそれに近い値になっている第１の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域以外の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも、小さくし、
   前記第１の領域以外の第２の領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくなる部分を設け、
   前記ゲインを最大値とする領域よりも輝度が高い領域においては、輪郭成分に対して乗ずる輪郭強調のゲインの大きさを、上記ゲインを最大値とする領域のゲインよりも小さく、前記第１の領域の輪郭成分に対して乗ずる輪郭強調のゲインの大きさよりも大きくする
   カメラシステム。

Images