JP7375313B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

人物等の被写体が撮像された画像において、室内照明やストロボ等から照射された撮影時の光が画像内の被写体に写り込み、「テカリ」と呼ばれる光沢が発生することがある。このテカリは、画像の閲覧者に対して不自然さを与えてしまうことがある。
そこでこのテカリに対して補正等を行うための前処理として、画像におけるテカリが発生している領域を検出する技術が存在する。このような技術の一例として、特許文献１に開示の技術では、画像データを解析し、明度が所定以上の明るい部分をテカリ領域として検出する。

特開２００７－１９０８８５号公報

しかしながら、明度に基づいてテカリ領域を検出する場合、肌部分とテカリ領域との分離が難しく、適切にテカリ領域を検出することができないおそれがあった。

本発明は上記課題に鑑みてなされたものであり、画像におけるテカリ領域を、より適切に補正することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
画像を取得し、
取得された画像の青色成分の値が周辺画素の画素値よりも所定値低い中心画素について、周辺画素の青色成分の値の影響が軽減されるぼかし処理を行い、
前記ぼかし処理がされた画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出し、
検出されたテカリ領域に対して、非テカリ領域に近づくよう、前記青色成分の値及び緑色成分の値を補正する、
処理部を有することを特徴とする。

本発明によれば、画像におけるテカリ領域を、より適切に補正することができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本発明の画像処理装置の一実施形態に係る撮像装置が行なうテカリ補正処理の処理過程を説明するための模式図である。 図１の撮像装置の機能的構成のうち、テカリ補正処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図１の撮像装置が実行するテカリ補正処理における器官保護領域マップの作成について説明する模式図である。 図３の機能的構成を有する図１の撮像装置が実行するテカリ補正処理におけるテカリ領域マップの作成について説明する模式図である。 図３の機能的構成を有する図１の撮像装置が実行するテカリ補正処理におけるテカリ領域マップの作成にて用いられる変換用テーブルの一例を示すグラフである。 図３の機能的構成を有する図１の撮像装置が実行するテカリ補正処理におけるレタッチ画像の作成について説明する模式図である。 図３の機能的構成を有する図１の撮像装置が実行するテカリ補正処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［ハードウェア構成］
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、画像処理機能を備えるデジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、撮像された画像としてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像を記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像等の各種データも、記憶部１９と同様に記憶することができる。

［テカリ補正処理］
次に、図２を参照して、テカリ補正処理について説明する。なお、以下の説明では、テカリの発生している肌領域を「テカリ領域」と称する。一方で、テカリの発生していない肌領域を「非テカリ領域」と称する。
図２は、図１に示すように構成される撮像装置１が行う、テカリ補正処理の処理過程を説明するための模式図である。ここで、テカリ補正処理は、被写体が撮像された画像におけるテカリ領域を、より適切に検出し、検出したテカリ領域に対して補正を施す一連の処理である。

図２に示すように、撮像装置１は、テカリ補正処理の対象となる画像である「元画像」を取得する。元画像がどのような画像であるかは特に限定されないが、ここでは、元画像として人物の顔が含まれる画像であって、画像パラメータとしてＹＵＶで表現される画像を元画像とすることを想定する。ここで、ＹＵＶでは、輝度成分の信号Ｙ、青色成分の差分信号Ｃｂ、及び赤色成分の差分信号Ｃｒそれぞれが示すディジタル値に基づいて画像が表現される。以下では、説明の一例として、被写体となった人物の顔表面の脂成分等が要因となり、顔にテカリが過剰に発生（例えば、輝度成分の信号Ｙの値が飽和するほどのテカリが発生）している画像を元画像と想定する。

次に、撮像装置１は、元画像から顔検出及び器官検出を行うことにより、補正対象とする人物の、顔及び所定の器官を検出する。
また、撮像装置１は、これらの検出結果に基づいて、所定の器官に対してテカリ補正がなされないように保護をするためのマップである「器官保護領域マップ」を作成する。
更に、撮像装置１は、元画像の器官保護領域マップに対応する領域を切り出して、「トリミング画像」を作成する。このように切り出しを行うのは、処理対象とする領域を限定することにより、以後の処理における演算処理量を削減するためである。

更に、撮像装置１は、トリミング画像から取得した画像情報であって、青色成分に対応する画像情報（例えば、ＹＵＶカラーモデルからＲＧＢカラーモデルに変換した後のＢの値）に基づいて、トリミング画像におけるテカリ領域を検出する。
ここで、青色成分は、非テカリ領域における肌色から遠い色成分である。従って、青色成分は、テカリ領域で多くなるが、非テカリ領域では少なくなるので、各領域での差分が出やすい。そのため、テカリ領域と、非テカリ領域とを、精度高く分離しやすい。
これに対して、肌色に近い色成分である赤成分や緑成分あるいは輝度は、テカリ領域でも多くなり、非テカリ領域でも多くなる。特に、非テカリ領域で肌色が濃い領域は多くなる。従って、これらの色成分や輝度では、各領域での差分が出にくい。そのため、テカリ領域と、非テカリ領域とを精度高く分離しにくい。

これらの点を考慮して、撮像装置１は、上述したように、各領域での差分が出やすい青色成分に基づいてテカリ領域を検出する。これにより、撮像装置１は、例えば、青色成分以外の成分によってテカリ領域を検出する場合や、青色成分以外の他の成分を優先して用いてテカリ領域を検出する場合と比較して、より適切にテカリ領域を検出することができる。

そして、撮像装置１は、このようにして、より適切に検出した、トリミング画像におけるテカリ領域に基づいて、検出したテカリ領域をテカリ補正の対象とするためのマップである「テカリ領域マップ」を作成する。

また、撮像装置１は、作成した器官保護領域マップとテカリ領域マップとに基づいて、「αマップ」を作成する。ここで、上述したように器官保護領域マップは、所定の器官に対してテカリ補正がなされないように保護をするためのマップであり、テカリ領域マップは、検出したテカリ領域をテカリ補正の対象とするためのマップである。従って、これら各マップの特性に基づいて作成されたαマップは、これら各マップの特性を兼ね備えたマップになる。すなわち、αマップは、所定の器官に対してテカリ補正がなされないように保護しつつも、検出したテカリ領域をテカリ補正の対象とすることを可能とするマップとなる。

これら、器官保護領域マップ、テカリ領域マップ、及びαマップは、補正対象となる画素を特定すると共に、各補正対象の画素における補正度合い（すなわち、補正実行時に重み付けとなる係数）を示すα値を含んだマップである。
なお、図２を含む各図において、α値の表現として、値が「０」の場合を黒色で示し、値が「１」の場合を白色で示し、値が「０から１までの中間値」の場合をハッチングで示す。すなわち、図の表現において、色が黒色の領域は補正対象とならず、色が白に近づくにつれて、より補正度合いが高まることを示す。

次に、撮像装置１は、トリミング画像を修正（すなわち、レタッチ）することにより、テカリ補正を実現するために、テカリを抑制した画像である「レタッチ画像」を作成する。例えば、撮像装置１は、テカリ部分を肌色に近づける処理と共に、テカリ領域と他の領域との境界をぼかす処理を行うことにより、レタッチ画像を作成する。

また、撮像装置１は、αマップにて特定される形状及びα値に基づいて、トリミング画像に対してレタッチ画像を合成することにより、トリミング画像の各画素に対するテカリ補正を行う。これにより、テカリ領域に対しては多くの割合でレタッチ画像が合成される。一方で、テカリ領域以外の非テカリ領域や所定の器官に対しては、より少ない割合でレタッチ画像が合成されるか、あるいはレタッチ画像は全く合成されない。

このように合成をすることにより、より適切に検出したテカリ領域に対してテカリ補正をすると共に、所定の器官に対してはテカリ補正をせずに保護をすることができる。
そして、撮像装置１は、このようにして補正した画像である「補正後画像」を元画像の対応する位置（すなわち、トリミング画像を切り出した位置）に貼り付けることにより「最終画像」を作成する。

以上説明したように、撮像装置１は、画像の青色成分に基づいてテカリ領域を検出することから、画像におけるテカリ領域を、より適切に検出することができる。
従って、撮像装置１は、より適切に検出したテカリ領域に対してテカリを抑制する補正を行うことができる。これにより、撮像装置１は、画像においてテカリによって生じる不自然さを抑制することができる。

また、撮像装置１は、画像の青色成分に基づいてテカリ領域を検出することから、青色成分以外の、他の色成分によるテカリ領域の検出処理を省略することができる。すなわち、撮像装置１は、複数の色成分によるテカリ領域の検出処理を行うよりも、演算処理量を削減することができる。
更に、撮像装置１は、器官保護領域マップを作成することから、テカリ補正の対象とするべきでない所定の器官に対して、テカリ補正を行わずに保護することができる。

［機能的構成］
図３は、図１の撮像装置１の機能的構成のうち、上述したテカリ補正処理を実行するための機能的構成を示す機能ブロック図である。

テカリ補正処理を実行する場合には、図３に示すように、ＣＰＵ１１において、画像取得部１１１と、被写体検出部１１２と、保護領域検出部１１３と、テカリ領域検出部１１４と、レタッチ画像作成部１１５と、αマップ作成部１１６と、テカリ補正部１１７と、が機能する。

また、記憶部１９の一領域には、画像記憶部１９１が設定される。
以下で特に言及しない場合も含め、これら機能ブロック間では、テカリ補正処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

画像記憶部１９１には、撮像部１６から出力された画像や、通信部２０を介した通信により受信した画像が記憶される。また、画像記憶部１９１には、テカリ補正処理の過程において作成される、器官保護領域マップ、テカリ領域マップ、トリミング画像、αマップ、レタッチ画像、補正後画像及び最終画像等も適宜記憶される。

画像取得部１１１は、撮像部１６により撮像され現像処理が行われた画像、或いは画像記憶部１９１に記憶されている画像を取得する。この画像は、上述した元画像に相当する。

被写体検出部１１２は、画像取得部１１１が取得した画像から被写体である人物の顔を検出すると共に、検出した顔を構成する各器官を検出する。この顔や各器官の検出を実現する技術は、特に限定されず、例えば、顔の輪郭や、各器官の特徴点である器官点に基づいて検出を行うような、既存の顔検出技術及び既存の器官検出技術を用いることができる。

保護領域検出部１１３は、被写体検出部１１２による検出結果に基づいて、所定の器官に対応する領域を検出し、この所定の器官に対してテカリ補正がなされないように保護をするためのマップである器官保護領域マップを作成する。保護領域検出部１１３による、この器官保護領域マップの作成について図４を参照して説明する。

まず保護領域検出部１１３は、図４（Ａ）に示すように、楕円のグラデーションデータを含んだ四辺形のデータを展開する。このグラデーションデータにおけるグラデーションの濃度は、α値に対応する濃度であり、楕円の中心のα値が高く、楕円の外側に近づくにつれてα値が段階的に低く設定されている。すなわち、中心から外側に近づくにつれて、補正の度合いが抑えられるように設定されている。仮に、このようなグラデーションを設定しない場合、α値が「１」のテカリ補正を行う領域と、α値が「０」テカリ補正を一切行わない領域との境界が明確となり、テカリ補正が不自然となってしまう。そこで、本実施形態では、このようにグラデーションを設定することによって境界をぼかし、テカリ補正が不自然となってしまうことを防止する。

なお、グラデーションデータを含んだ四辺形の形状や大きさ及び濃度は、被写体検出部１１２が元画像から検出した顔の領域に合わせて、都度決定されるようにしてもよいし、予め用意したテンプレートを拡大や縮小することにより決定されるようにしてもよい。

次に、保護領域検出部１１３は、図４（Ｂ）に示すように、展開したグラデーションデータを、被写体検出部１１２が元画像から検出した顔の方向に合わせて回転させる。すなわち、楕円形状をしているグラデーションデータと、楕円形状をしている元画像の顔の領域とが合致するようにグラデーションデータを回転させる。

また、保護領域検出部１１３は、所定の器官に対応する領域に対してテカリ補正がなされないように、図４（Ｃ）に示すように、グラデーションデータにおける、被写体検出部１１２が元画像から検出した所定の器官に対応する領域のα値を「０」に設定する。上述したように、図中ではα値「０」を黒で表現するので、所定の器官に対応する領域が黒く塗りつぶされる。なお、何れの器官を所定の器官として取り扱うのかは、任意に定めてよいが、ここでは一例として、左右の目、鼻、及び唇を所定の器官として取り扱う。なお、グラデーションデータのα値を楕円の外側に近づくにつれて低く設定したのと同様の考えに基づいて、所定の器官に対応する領域の外縁周辺のα値を「０」よりも高くなるように設定してもよい。これにより、所定の器官とそれ以外の領域との境界をぼかすことができ、テカリ補正が不自然となってしまうことを防止することができる。

更に、保護領域検出部１１３は、グラデーションデータの楕円に外接する長方形でトリミングすることにより、図４（Ｄ）に示すような器官保護領域マップを作成する。このようにトリミングを行い、処理対象とする領域を限定することにより、以後の処理における演算処理量を削減することができる。

テカリ領域検出部１１４は、元画像から器官保護領域マップに対応する領域を切り出して、トリミング画像を作成する。トリミング画像を作成する理由は、器官保護領域マップの作成の際に上述したように、処理対象とする領域を限定することにより、以後の処理における演算処理量を削減するためである。

そして、テカリ領域検出部１１４は、このトリミング画像からテカリ領域を検出し、検出したテカリ領域をテカリ補正の対象とするためのマップであるテカリ領域マップを作成する。テカリ領域検出部１１４による、このトリミング画像の作成と、テカリ領域マップの作成について図５を参照して説明する。

まず、テカリ領域検出部１１４は、元画像から器官保護領域マップに対応する領域を切り出して、図５（Ａ）に示すようなトリミング画像を作成する。

また、テカリ領域検出部１１４は、ＹＵＶカラーモデルで表現されているトリミング画像をＲＧＢカラーモデルに変換し、青色成分のみで表現された（すなわち、ＲＧＢカラーモデルにおけるＢチャンネルのみで表現された）、図５（Ｂ）に示すようなＢチャンネル画像を作成する。このように、テカリ領域を検出するために青成分のみを抽出して強調する理由は、上述したように、青色成分が非テカリ領域における肌色から遠い色成分であり、テカリ領域と、非テカリ領域とを、精度高く分離しやすい特性を有しているからである。

更に、テカリ領域検出部１１４は、青成分のみで表現された画像に対して、εフィルタを利用したぼかし処理を行うことにより、図５（Ｃ）に示すようなぼかし処理後の画像を作成する。このεフィルタには、所定のフィルタ係数が設定される。具体的には、Ｂの値が周辺画素の画素値よりも所定値低い中心画素については、周辺画素のＢの値の影響が軽減されるようにフィルタ係数が設定されたεフィルタが用いられる。このぼかし処理により、画像内の急峻な変化を維持しつつ小信号ノイズを除去し、エッジを残して小さな凹凸を除去することで平坦な画像を生成することができる。これにより、例えば、顔において化粧が施されている場合に、化粧品に用いられているラメ等の、凹凸の原因の影響を低減することができる。
なお、εフィルタを用いる以外の方法でぼかし処理を行うようにしてもよい。例えば、ローパスフィルタを用いてぼかし処理を行うようにしてもよい。

更に、テカリ領域検出部１１４は、ぼかし処理が施された画像に対して、Ｂの値を変換するための変換用ルックアップテーブル（Ｌｏｏｋｕｐ ｔａｂｌｅ）を用いて、Ｂの値の変換を行い、テカリ領域と、非テカリ領域とを強調して切り分けることにより、図５（Ｄ）に示すようなテカリ領域マップを作成する。

変換用ルックアップテーブルの一例を図６に示す。この変換用ルックアップテーブルでは、元画像のＢの値と変換後のＢの値との対応関係がＳ字状の実線で表される。
このＳ字状の実線で表されるように、元画像のＢの値と変換後のＢの値とは単純な１対１の比例関係にはなく、元画像のＢの値が、Ｓ字の曲線部分に相当する範囲よりも小さい場合は変換後のＢの値は「０」となり、このＳ字の曲線部分に相当する範囲よりも大きい場合は変換後のＢの値は「１」となるように設定されている。また、元画像のＢの値が、このＳ字の曲線部分に相当する範囲にある場合は、変換後のＢの値は、より「０」に近い値、又はより「１」に近い値となるように設定されている。すなわち、テカリ領域と、非テカリ領域とを、強調して切り分けるように設定されている。
テカリ領域検出部１１４は、このような変換用ルックアップテーブルを用いて、Ｂの値の変換を行い、テカリ領域と、非テカリ領域とを、強調して切り分けることにより、図５（Ｄ）に示すようなテカリ領域マップを作成する。

レタッチ画像作成部１１５は、テカリ領域検出部１１４と同様に、元画像からトリミング画像を作成する。あるいは、レタッチ画像作成部１１５は、テカリ領域検出部１１４が元画像から作成したトリミング画像を取得する。トリミング画像を作成する理由は、テカリ領域検出部１１４と同様に、処理対象とする領域を限定することにより、以後の処理における演算処理量を削減するためである。

そして、レタッチ画像作成部１１５は、このトリミング画像を修正（すなわち、レタッチ）することにより、テカリ補正を実現するために、テカリを抑制した画像であるレタッチ画像を作成する。レタッチ画像作成部１１５による、このトリミング画像の作成と、レタッチ画像の作成について図７を参照して説明する。

まず、レタッチ画像作成部１１５は、テカリ領域検出部１１４と同様にして（あるいはテカリ領域検出部１１４から取得して）、図７（Ａ）に示すようなトリミング画像を作成する。また、レタッチ画像作成部１１５は、後段の処理に用いるために、人物の肌色を計測する。計測対象とする領域は、非テカリ領域が多く含まれ、人物の肌色をよく示している領域が望ましい。例えば、図７に示す領域ＡＲ１を計測対象の領域とするとよい。そして、レタッチ画像作成部１１５は、計測対象の領域をＲＧＢカラーモデルに変換し、変換後の計測対象の領域における各画素のＲＧＢそれぞれの値を計測する。そして、レタッチ画像作成部１１５は、これら各画素の計測値の平均値（あるいは、中央値や最頻値）を算出し、この算出した値を、この人物の肌色を示すＲＧＢそれぞれの値とする。

この場合に、何れかの画素のＲＧＢの値が、一般的な肌色からかけ離れている値である場合には、この画素の値は平均値（あるいは、中央値や最頻値）の算出に用いないようにしてもよい。また、算出した平均値（あるいは、中央値や最頻値）が、一般的な肌色からかけ離れている値である場合には、計測結果を用いることなく、予め設定しておいた一般的な肌色の値を、この人物の肌色を示すＲＧＢそれぞれの値としてもよい。
また、ＹＵＶカラーモデルの画像に対して計測を行い、このＹＵＶモデルにおける計測値を、ＲＧＢカラーモデルの値に変換するようにしてもよい。

また、レタッチ画像作成部１１５は、作成したトリミング画像を縮小し、画像のサイズをより小さくする。これにより、処理対象となる領域が限定され、以後のレタッチ画像作成のための処理を高速に行うことができる。更に、レタッチ画像作成部１１５は、縮小後の画像に対して、εフィルタを利用したぼかし処理を行うことにより、図７（Ｂ）に示すようなぼかし処理後の画像を作成する。このεフィルタには、上述したテカリ領域検出部１１４が利用するεフィルタと同様に、所定のフィルタ係数が設定される。具体的には、ＹＵＶカラーモデルにおける各値が周辺画素の画素値よりも所定値低い中心画素については、周辺画素の対応する値の影響が軽減されるようにフィルタ係数が設定されたεフィルタが用いられる。このぼかし処理により、画像内の急峻な変化を維持しつつ小信号ノイズを除去し、エッジを残して小さな凹凸を除去することで平坦な画像を生成することができる。

これにより、例えば、レタッチ画像作成の過程で発生することがある、暗いエッジを滑らかにすることができる。また、Ｕの値やＶの値をぼかすことにより、テカリ領域と非テカリ領域の境界を、柔らかく見えるようにすることができる。

なお、上述したテカリ領域検出部１１４のぼかし処理と同様に、εフィルタを用いる以外の方法でぼかし処理を行うようにしてもよい。例えば、ローパスフィルタを用いてぼかし処理を行うようにしてもよい。

次に、レタッチ画像作成部１１５は、ぼかし処理後の画像をＲＧＢカラーモデルに変換し、Ｇの値及びＢの値のそれぞれが低下するようにゲインをかける。すなわち、Ｇの値及びＢの値のそれぞれを補正する。
この処理は、Ｇの値及びＢの値を下げることにより、テカリ領域の色を、この人物の肌の色（すなわち、非テカリ領域の色）に近づけるために行う。そのため、上述したようにして計測を行うことにより取得した、この人物の肌色を示すＧの値とＢの値に近づくようにゲイン量を決定する。このように、この人物から測定した肌の色に基づいて、ゲインをかけることから、人物それぞれ異なる肌の色であることを考慮した上で、人物それぞれに対して適切なゲイン量でゲインをかけることが可能となる。レタッチ画像作成部１１５は、ゲインをかけた画像を、再度ＹＵＶカラーモデルに変換することにより、図７（Ｃ）に示すようなゲイン補正後の画像を作成する。

また、レタッチ画像作成部１１５は、ＹＵＶカラーモデルに変換後の画像を拡大し、元画像から作成したトリミング画像と同じ大きさにリサイズすることにより、図７（Ｄ）に示すようなレタッチ画像を作成する。

αマップ作成部１１６は、αマップを作成する。αマップ作成部１１６は、保護領域検出部１１３が作成した器官保護領域マップのα値と、テカリ領域検出部１１４が作成したテカリ領域マップのα値とを、マップ内に含まれる各画素それぞれについて乗算することにより作成する。

ここで、上述したように器官保護領域マップは、所定の器官に対してテカリ補正がなされないように保護をするためのマップであり、テカリ領域マップは、検出したテカリ領域をテカリ補正の対象とするためのマップである。従って、これら各マップの特性に基づいて作成されたαマップは、これら各マップの特性を兼ね備えたマップになる。すなわち、αマップは、所定の器官に対してテカリ補正がなされないように保護しつつも、検出したテカリ領域をテカリ補正の対象とすることを可能とするマップとなる。

テカリ補正部１１７は、αマップ作成部１１６が作成したαマップにて特定される形状及びα値に基づいて、トリミング画像に対してレタッチ画像を合成することにより、トリミング画像の各画素に対するテカリ補正を行う。具体的には、α値の値が高いほどレタッチ画像が多くの割合で合成される。極端には、α値が「１」であれば合成後の画像はレタッチ画像そのものとなる。一方で、α値の値が低いほどレタッチ画像は少ない割合で合成される。極端には、α値が「０」であれば合成後の画像はトリミング画像そのものとなる。

ここで、テカリ領域マップではテカリ領域のα値は高く設定されていることから、これから作成されたαマップに基づいた補正を行うことにより、テカリ領域に対しては多くの割合でレタッチ画像が合成される。一方で、非テカリ領域に対しては、より少ない割合でレタッチ画像が合成されるか、あるいはレタッチ画像は全く合成されない。
また、器官保護領域マップでは所定の器官に対応する領域のα値が低く設定されていることから、所定の器官に対応する領域に対しては、より少ない割合でレタッチ画像が合成されるか、あるいはレタッチ画像は全く合成されない。一方で、所定の器官に対応する領域以外の領域については、テカリ領域マップで設定されたα値に基づいて、レタッチ画像が合成される。

このように合成をすることにより、より適切に検出したテカリ領域に対してテカリ補正をすると共に、所定の器官に対してはテカリ補正をせずに保護をすることができる。
そして、テカリ補正部１１７は、このようにして合成により補正した画像である補正後画像を元画像の対応する位置（すなわち、トリミング画像を切り出した位置）に貼り付けることにより最終画像を作成する。
また、テカリ補正部１１７は、最終画像を出力する。例えば、テカリ補正部１１７は、出力として、最終画像を出力部１８に表示させたり、最終画像を画像記憶部１９１に記憶させたりする。

［動作］
図８は、図３の機能的構成を有する図１の撮像装置１が実行するテカリ補正処理の流れを説明するフローチャートである。
テカリ補正処理は、ユーザによる入力部１７へのテカリ補正処理開始の操作により開始される。

テカリ補正処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部１６により撮像され、現像処理が行われた画像に対して、引き続きテカリ補正処理を行ってもよく、また、画像記憶部１９１に記憶されている画像を選択し、その選択された画像に対するテカリ補正処理開始の操作であってもよい。

ステップＳ１１において、画像取得部１１１は、撮像部１６により撮像され、現像処理が行われた画像、或いは画像記憶部１９１から処理対象となる画像を、元画像として取得する。
ステップＳ１２において、被写体検出部１１２は、ステップＳ１１で画像取得部１１１が取得した画像から被写体であるユーザの顔を検出すると共に、検出した顔において顔を構成する各器官を検出するための処理を行う。

ステップＳ１３において、被写体検出部１１２は、ステップＳ１２での検出結果において、画像からテカリ補正処理の対象とする被写体（ここでは、人物）が検出されたか否かを判定する。画像から被写体が検出された場合は、ステップＳ１３においてＹｅｓと判定され、処理はステップＳ１４に進む。一方で、画像に被写体が含まれておらず、被写体が検出されなかった場合は、ステップＳ１３においてＮｏと判定され、本処理は終了する。

ステップＳ１４において、保護領域検出部１１３は、器官保護領域マップを作成する。
ステップＳ１５において、テカリ領域検出部１１４は、テカリ領域マップを作成する。
ステップＳ１６において、レタッチ画像作成部１１５は、レタッチ画像を作成する。
ステップＳ１７において、αマップ作成部１１６は、αマップを作成する。

なお、説明の便宜上、ステップＳ１４からステップＳ１７の順番で説明をしているが、これらの処理の順番は限定されず、例えば、ステップＳ１７を行ってからステップＳ１６を行うようにしてもよい。また、これらの処理を並行して同時に行なうようにしてもよい。例えば、ステップＳ１５と、ステップＳ１６を並行して同時に行なうようにしてもよい。

ステップＳ１８において、テカリ補正部１１７は、αマップに基づいて、トリミング画像に対してレタッチ画像を合成することにより、トリミング画像の各画素に対するテカリ補正を行う。
ステップＳ１９において、テカリ補正部１１７は、補正後画像を元画像の対応する位置（すなわち、トリミング画像を切り出した位置）に貼り付けることにより最終画像を作成する。
ステップＳ２０において、テカリ補正部１１７は、最終画像を出力する。

以上説明したテカリ補正処理によれば、撮像装置１は、画像の青色成分に基づいてテカリ領域を検出することから、画像におけるテカリ領域を、より適切に検出することができる。
従って、撮像装置１は、より適切に検出したテカリ領域に対してテカリを抑制する補正を行うことができる。これにより、撮像装置１は、画像においてテカリによって生じる不自然さを抑制することができる。

また、撮像装置１は、画像の青色成分に基づいてテカリ領域を検出することから、青色成分以外の、他の色成分によるテカリ領域の検出処理を省略することができる。すなわち、撮像装置１は、複数の色成分によるテカリ領域の検出処理を行うよりも、演算処理量を削減することができる。
更に、撮像装置１は、器官保護領域マップを作成することから、テカリ補正の対象とするべきでない所定の器官に対して、テカリ補正を行わずに保護することができる。

［構成例］
以上のように構成される撮像装置１は、画像取得部１１１と、テカリ領域検出部１１４と、を有する。
画像取得部１１１は、画像を取得する。
テカリ領域検出部１１４は、画像取得部１１１により取得された画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出する。
このように、撮像装置１は、画像の青色成分を優先してテカリ領域を検出する。ここで、上述したように、青色成分は、非テカリ領域で少なくなる一方で、テカリ領域で多くなり、各領域での差分が出やすい。従って、撮像装置１は、画像におけるテカリ領域を、より適切に検出することができる。

テカリ領域検出部１１４は、画像取得部１１１により取得された画像における色成分に関する情報のうち、青色成分に関する情報のみを用いて、該画像におけるテカリ領域を検出する。
これにより、撮像装置１は、画像におけるテカリ領域を、より適切に検出することができると共に、青色成分以外の色成分によるテカリ領域検出処理を省略することができる。すなわち、撮像装置１は、複数の色成分によるテカリ領域の検出処理を行うよりも、演算処理量を削減することができる。

撮像装置１は、テカリ補正部１１７を更に有する。
テカリ補正部１１７は、テカリ領域検出部１１４により検出されたテカリ領域に対して、テカリを抑制する補正を施す。
これにより、撮像装置１は、より適切に検出したテカリ領域に対してテカリを抑制する補正を行うことができる。そのため、撮像装置１は、画像においてテカリによって生じる不自然さを抑制することができる。

テカリ補正部１１７は、画像取得部１１１により取得された画像にぼかし処理を少なくとも行う。
これにより、撮像装置１は、テカリ補正に伴い発生するエッジをなめらかにすると共に、テカリ領域と非テカリ領域との境界をやわらかく見えるように補正することができる。

テカリ領域検出部１１４は、画像取得部１１１により取得された画像から、該画像の青色成分に関する情報が強調された画像情報を取得する。
テカリ領域検出部１１４は、取得された画像情報に基づいて、該画像におけるテカリ領域を検出する。
これにより、撮像装置１は、青色成分に関する情報が強調された画像情報に基づいて、画像の青色成分を優先してテカリ領域を検出することができる。

撮像装置１は、被写体検出部１１２を更に有する。
被写体検出部１１２は、画像取得部１１１により取得された画像における人物の顔領域を検出する。
テカリ領域検出部１１４は、被写体検出部１１２により検出された顔領域における青色成分に関する情報に基づいて、該画像におけるテカリ領域を検出する。
これにより、撮像装置１は、人物の顔領域に対応するテカリ領域を検出することができる。

本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

＜変形例＞
上述の実施形態では、テカリ領域検出部１１４によるテカリ領域の検出において、青色成分のみで表現された（すなわち、ＲＧＢカラーモデルにおけるＢチャンネルのみで表現された）画像を作成し、この画像に含まれる青色成分のみに基づいて、テカリ領域を検出した。しかしこれに限らず、青色成分以外の色成分にも基づいて、テカリ領域を検出するようにしてもよい。例えば、他の色成分を用いると共に、青色成分を他の色成分をよりも優先して用いるようにして、テカリ領域を検出するようにしてもよい。

この場合、テカリ領域検出部１１４は、例えば、上述の説明と同様にして、青色成分のみに基づいてテカリ領域マップを作成する。他方で、テカリ領域検出部１１４は、上述の説明における青色成分を赤色成分に置き換えて、上述の説明と同様にして、赤色成分のみに基づいてテカリ領域マップを作成する。更に、テカリ領域検出部１１４は、上述の説明における青色成分を緑色成分に置き換えて、上述の説明と同様にして、緑色成分のみに基づいてテカリ領域マップを作成する。
これにより、青色成分、赤色成分、及び緑色成分の、３つの色成分それぞれに対応した３つのテカリ領域マップを作成することができる。

次に、テカリ領域検出部１１４は、テカリ領域マップのそれぞれの画素について、３つのテカリ領域マップのα値の平均値を算出する。そして、この平均値の算出において、青色成分を強調して優先して用いるために、青色成分のα値には優先度合いに応じた係数をかけて重み付けをすることにより、加重平均の値を算出する。そして、この加重平均の値として算出されたα値により、最終的なテカリ領域マップを作成する。

これにより、他の色成分を用いると共に、青色成分を他の色成分をよりも優先して用いるようにして、テカリ領域を検出して、テカリ領域マップを作成することができる。
従って、上述した、青色成分が非テカリ領域における肌色から遠い色成分であり、テカリ領域と、非テカリ領域とを、精度高く分離しやすいという特性を活かしつつも、他の色成分にも基づいて、テカリ領域を検出して、テカリ領域マップを作成することができる。

上述の実施形態では、人物の顔を対象としてテカリ補正処理を行っていたが、これに限らない。人物の顔以外の部位を対象としてテカリ補正処理を行ってもよい。また、人物ではなく、人間以外の生物や、非生物を対象としてテカリ補正処理を行ってもよい。
すなわち、上述の実施形態によるテカリ補正処理は、様々な被写体を処理対象として行なうことができる。

上述の実施形態では、本発明が適用される対象が、デジタルカメラで実現される撮像装置１である場合を例にとって説明したが、これに限らない。本発明は、情報処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、サーバ装置、スマートフォン、携帯電話機、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用することができる。

この場合に、これら電子機器は、自身で撮像した画像を対象として上述したテカリ補正処理を行ってもよいし、他の電子機器で撮像した画像を対象として上述したテカリ補正処理を行ってもよい。つまり、複数の電子機器が協働することにより、上述したテカリ補正処理を行ってもよい。例えば、或る電子機器が、他の電子機器で撮像した画像を、ネットワークや記憶媒体を介して取得し、この取得した画像を対象として上述したテカリ補正処理を行ってもよい。すなわち、本発明は、撮像機能を有さない画像処理装置によって実現することもできる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出するテカリ領域検出手段と、
を有することを特徴とする画像処理装置。
［付記２］
前記テカリ領域検出手段は、前記画像取得手段により取得された画像における色成分に関する情報のうち、青色成分に関する情報のみを用いて、該画像におけるテカリ領域を検出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記テカリ領域検出手段により検出されたテカリ領域に対して、テカリを抑制する補正を施すテカリ補正手段を更に有することを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記テカリ補正手段は、前記画像取得手段により取得された画像にぼかし処理を少なくとも行うことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記画像取得手段により取得された画像から、該画像の青色成分に関する情報が強調された画像情報を取得する画像情報取得手段を更に有し、
前記テカリ領域検出手段は、前記画像情報取得手段により取得された画像情報に基づいて、該画像におけるテカリ領域を検出することを特徴とする付記１から４のいずれか一に記載の画像処理装置。
［付記６］
前記画像取得手段により取得された画像における人物の顔領域を検出する顔領域検出手段を有し、
前記テカリ領域検出手段は、前記顔領域検出手段により検出された顔領域における青色成分に関する情報に基づいて、該画像におけるテカリ領域を検出することを特徴とする付記１から５のいずれか一に記載の画像処理装置。
［付記７］
画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出するテカリ領域検出ステップと、
を有することを特徴とする画像処理方法。
［付記８］
画像を取得する画像取得手段、
前記画像取得手段により取得された画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出するテカリ領域検出手段、
としてコンピュータを機能させることを特徴とする画像処理プログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，１１１・・・画像取得部，１１２・・・被写体検出部，１１３・・・保護領域検出部，１１４・・・テカリ領域検出部，１１５・・・レタッチ画像作成部，１１６・・・αマップ作成部，１１７・・・テカリ補正部，１９１・・・画像記憶部

Claims (6)

1. 画像を取得し、
   取得された画像の青色成分の値が周辺画素の画素値よりも所定値低い中心画素について、周辺画素の青色成分の値の影響が軽減されるぼかし処理を行い、
   前記ぼかし処理がされた画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出し、
   検出されたテカリ領域に対して、非テカリ領域に近づくよう、前記青色成分の値及び緑色成分の値を補正する、
   処理部を有することを特徴とする画像処理装置。
2. 前記処理部は、
   前記取得された画像における色成分に関する情報のうち、青色成分に関する情報のみを用いて、該画像におけるテカリ領域を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、
   前記取得された画像から、該画像の青色成分に関する情報が強調された画像情報を取得し、
   取得された画像情報に基づいて、該画像におけるテカリ領域を検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理部は、
   前記取得された画像における人物の顔領域を検出し、
   検出された顔領域における青色成分に関する情報に基づいて、該画像におけるテカリ領域を検出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. コンピュータが行う画像処理方法であって、
   画像を取得するステップと、
   取得された画像の青色成分の値が周辺画素の画素値よりも所定値低い中心画素について、周辺画素の青色成分の値の影響が軽減されるぼかし処理をするステップと、
   前記ぼかし処理がされた画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出するステップと、
   前記検出されたテカリ領域に対して、非テカリ領域に近づくよう、前記青色成分の値及び緑色成分の値を補正するステップと、
   を含むことを特徴とする画像処理方法。
6. コンピュータに、
   画像を取得させ、
   取得された画像の青色成分の値が周辺画素の画素値よりも所定値低い中心画素について、周辺画素の青色成分の値の影響が軽減されるぼかし処理を行わせ、
   前記ぼかし処理がされた画像における青色成分に関する情報を他の成分に関する情報よりも優先して用いて、該画像におけるテカリ領域を検出させ、
   検出されたテカリ領域に対して、非テカリ領域に近づくよう、前記青色成分の値及び緑色成分の値を補正させる、
   ことを特徴とする画像処理プログラム。

Images