JP6288816B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、印刷目的でポートレート画像に対して人の顔をより明るくする美白処理を行う技術が知られている（例えば、特許文献１参照）。この技術では、美白ルックアップテーブルを用いて肌色の領域に対応する輝度範囲を明るくするように階調変換をかけている。

特開２００６−１２１４１６号公報

しかしながら、特許文献１のようにポートレート画像のケースであればそのような補正は有効であるが、風景と人とが含まれる画像のケースの場合、顔の肌色領域を調整すると風景がこの調整の影響を受けて、不自然な風景になってしまう問題がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔以外の領域への影響を少なくしつつ、顔の補正を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
画像を取得する取得手段と、前記画像から顔領域を検出する検出手段と、この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正手段と、この補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更手段と、この第１変更手段により寸法が変更された画像に対して平滑化処理を施す平滑化手段と、前記平滑化手段により前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更手段と、前記第２変更手段により寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定手段と、前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得手段によって取得された画像全体の明るさと色味とを調整し、前記補正手段によって補正されたものとは異なる画像を生成する生成手段と、前記検出手段によって検出された顔領域の透過度を前記設定手段によって設定された透過度にして、前記補正手段によって補正された画像と前記生成手段によって生成された画像とを合成する合成手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像を取得する取得ステップと、前記画像から顔領域を検出する検出ステップと、この検出ステップにて検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正ステップと、この補正ステップにて肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更ステップと、この第１変更ステップにて寸法が変更された画像に対して平滑化処理を施す平滑化ステップと、前記平滑化ステップにて前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更ステップと、前記第２変更ステップにて寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定ステップと、前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得ステップにて取得された画像全体の明るさと色味とを調整し、前記補正ステップにて補正されたものとは異なる画像を生成する生成ステップと、 前記検出ステップにて検出された顔領域の透過度を前記設定ステップにて設定された透過度にして、前記補正ステップにて補正された画像と前記生成ステップにて生成された画像とを合成する合成ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、画像を取得する取得手段、前記画像から顔領域を検出する検出手段、この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正手段、この補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更手段、この第１変更手段により寸法が変更された画像に対して平滑化処理を施す平滑化手段、前記平滑化手段により前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更手段、前記第２変更手段により寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定手段、前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得手段によって取得された画像全体の明るさと色味とを調整し、前記補正手段によって補正されたものとは異なる画像を生成する生成手段、前記検出手段によって検出された顔領域の透過度を前記設定手段によって設定された透過度にして、前記補正手段によって補正された画像と前記生成手段によって生成された画像とを合成する合成手段、として機能させることを特徴としている。

本発明によれば、顔以外の領域への影響を少なくしつつ、顔の補正を適正に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による美白画像生成処理に係る動作の一例を示すフローチャートである。 図２の美白画像生成処理に係る画像の一例を模式的に示す図である。 図２の美白画像生成処理における美白用顔マップ生成処理に係る動作の一例を示すフローチャートである。 図４の美白用顔マップ生成処理に係る画像の一例を模式的に示す図である。 図４の美白用顔マップ生成処理に係る画像の一例を模式的に示す図である。 図２の美白画像生成処理により生成された美白合成画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、撮像制御部４と、画像処理部５と、記録媒体制御部６と、表示部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、撮像制御部４、画像処理部５、記録媒体制御部６及び表示部７は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、撮像部３、画像処理部５等によって処理されるデータ等を一時的に格納する。

また、メモリ２は、画像処理部５によるカラープロセス処理（後述）にて画像の色変換や輝度変換用の各種のルックアップテーブル２ａを記憶している。
ルックアップテーブル（ＬＵＴ）２ａとしては、例えば、標準的なカラー画像（例えば、背景用画像Ｉ２（図３（ｂ）参照；後述）等）の生成用の標準カラーＬＵＴ、顔領域Ａ１に美白処理を施した画像（例えば、顔用画像Ｉ３（図３（ｃ）参照；後述）等）の生成用の美白ＬＵＴ等が挙げられる。
なお、メモリ２は、上記したルックアップテーブル２ａの他にも、顔領域Ａ１の肌色を強調した画像の生成用の肌色強調ＬＵＴ、青空の色を強調した画像の生成用の青空強調ＬＵＴ、新緑の色を強調した画像の生成用の緑強調ＬＵＴ等を記憶していても良い。

撮像部３は、所定の被写体（例えば、人等）を撮像してフレーム画像を生成する。
具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂ等を備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、撮像部３は、レンズ部３ａ及び電子撮像部３ｂに加えて、レンズ部３ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像処理部５に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。

画像処理部５は、電子撮像部３ｂから転送されたフレーム画像のアナログデータをデジタルデータに変換する処理、ホワイトバランスを調整する処理、カラープロセス処理等を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成する。具体的には、画像処理部５は、画像取得部５ａと、顔検出部５ｂと、色味調整部５ｃと、明るさ調整部５ｄと、画像生成制御部５ｅと、肌色マップ生成部５ｆと、第１寸法変更部５ｇと、平滑化部５ｈと、第２寸法変更部５ｉと、透過率設定部５ｊと、画像合成部５ｋとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、美白画像生成処理（後述）の処理対象となる画像Ｉ１（図３（ａ）参照）を取得する。
即ち、画像取得部（取得手段）５ａは、撮像部３により撮像された画像Ｉ１を美白画像生成処理（後述）の処理対象として取得する。具体的には、画像取得部５ａは、例えば、電子撮像部３ｂから出力されて入力された画像Ｉ１の所定のカラーフィルタの配列（例えば、ベイヤー配列）に従った画像データ（ＲＧＢデータ）を取得する。ここで、画像取得部（複製手段）５ａは、取得された画像データを背景用画像Ｉ２用の画像データとする他、画像合成部５ｋにより合成される美白合成画像Ｉ９（図７参照）を構成する顔用画像Ｉ３に対応する画像データを複製する。
なお、画像取得部５ａは、処理対象となる画像Ｉ１の画像データの色空間をＹＵＶ色空間に変換したＹＵＶデータを取得しても良い。また、画像取得部５ａは、記録媒体Ｍに記録されている画像を処理対象として、その画像データを取得して複製しても良い。

顔検出部５ｂは、顔検出処理を行う。
即ち、顔検出部（検出手段）５ｂは、画像取得部５ａにより取得され複製された顔用画像Ｉ３用の複製画像の画像データに対して所定の顔検出処理を行って、当該画像内から顔が含まれる顔領域Ａ１を検出する。ここで、顔検出部５ｂは、例えば、顔領域Ａ１の検出後に、肌色成分に対応する画素からなる肌色領域を検出しても良い。このとき、顔検出部５ｂは、顔領域Ａ１の画素値を所定の色空間（例えば、ＨＳＶ色空間等）に変換した後、肌色領域を検出しても良い。
なお、上記した顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

色味調整部５ｃは、顔領域Ａ１の色味を調整する。
即ち、色味調整部（色味調整手段）５ｃは、顔検出部５ｂにより検出された顔領域Ａ１の色味を調整する。具体的には、色味調整部５ｃは、画像取得部５ａにより取得された画像データの複製に対してホワイトバランス調整処理やカラープロセス処理等を行って、顔領域Ａ１を含む画像全体の色味を調整する。
例えば、画像生成制御部５ｅが顔用画像Ｉ３を生成する際に、色味調整部５ｃは、メモリ２から美白用のホワイトバランスゲイン（例えば、Ｒ成分のゲイン量；-2.5％、Ｂ成分のゲイン量；+5.0％等）を読み出し、顔用画像Ｉ３用のＲＧＢデータを増幅することで顔用画像Ｉ３のホワイトバランスを調整する。また、色味調整部５ｃは、メモリ２から美白ＬＵＴを読み出して、当該美白ＬＵＴを用いて顔用画像Ｉ３用のＲＧＢデータを構成する各画素の色を顔領域Ａ１を基準として調整し、色空間をＹＵＶ色空間に変換したＹＵＶデータを生成する。
また、画像生成制御部５ｅが背景用画像Ｉ２を生成する際に、色味調整部５ｃは、メモリ２から標準カラーＬＵＴを読み出して、当該標準カラーＬＵＴを用いて背景用画像Ｉ２用のＲＧＢデータを構成する各画素の色を調整し、色空間をＹＵＶ色空間に変換したＹＵＶデータを生成する。なお、色味調整部５ｃは、背景用画像Ｉ２用のＲＧＢデータのホワイトバランスの調整を行っても良い。
ここで、美白ＬＵＴは、顔領域Ａ１、特に、顔領域Ａ１の肌色成分を基準として設定されている。例えば、美白ＬＵＴは、標準カラーＬＵＴに対して顔領域Ａ１の肌色をより自然に白くするような変換値に設定されている。

明るさ調整部５ｄは、顔領域Ａ１の明るさを調整する。
即ち、明るさ調整部（明るさ調整手段）５ｄは、顔検出部５ｂにより検出された顔領域Ａ１の明るさを調整する。具体的には、明るさ調整部５ｄは、画像取得部５ａにより取得された画像データの複製に対してガンマ補正を行って、顔領域Ａ１を含む画像全体の明るさを調整する。
例えば、画像生成制御部５ｅが顔用画像Ｉ３を生成する際に、明るさ調整部５ｄは、顔用画像Ｉ３用の画像データ（ＹＵＶデータ）を構成する各画素に対して、顔領域Ａ１の肌色領域を基準とする補正値でガンマ補正を行って、当該顔用画像Ｉ３全体の明るさを調整する。
また、画像生成制御部５ｅが背景用画像Ｉ２を生成する際に、明るさ調整部５ｄは、背景用画像Ｉ２用の画像データ（ＹＵＶデータ）を構成する各画素に対して、標準的なカラー画像に対応する補正値でガンマ補正を行って、当該背景用画像Ｉ２全体の明るさを調整する。
ここで、顔用画像Ｉ３に対応する補正値は、顔領域Ａ１、特に、顔領域Ａ１の肌色成分を基準として設定されている。例えば、顔用画像Ｉ３に対応する補正値は、背景用画像Ｉ２に対応する補正値に対して顔領域Ａ１の肌色領域の補正後の画素値をより白く（明るく）するような値に設定されている。

画像生成制御部５ｅは、顔用画像Ｉ３や背景用画像Ｉ２を生成する。
即ち、画像生成制御部５ｅは、色味調整部５ｃに美白用のホワイトバランスゲインで顔用画像Ｉ３用のＲＧＢデータを増幅させた後、美白ＬＵＴを用いてＲＧＢデータを構成する各画素の色を顔領域Ａ１を基準として調整させたＹＵＶデータを生成させる。続けて、画像生成制御部５ｅは、明るさ調整部５ｄに顔領域Ａ１の肌色領域を基準とするガンマ補正値でＹＵＶデータの各画素の画素値をガンマ補正させて、顔用画像Ｉ３の画像データを生成する。このとき、画像生成制御部５ｅは、顔領域Ａ１の肌色成分がより自然な明るさとなるように、明るさ調整部５ｄにより顔用画像Ｉ３全体の明るさを調整させるとともに色味調整部５ｃにより顔用画像Ｉ３全体の色味を調整させる。
このように、画像生成制御部５ｅは、補正手段として、顔検出部５ｂにより検出された顔領域Ａ１の肌色成分を所定の状態に（例えば、顔領域Ａ１の肌色成分がより自然な明るさとなるように）補正するため、顔用画像Ｉ３用の複製画像全体の明るさと色味とを調整するように補正する。

また、画像生成制御部５ｅは、色味調整部５ｃに標準カラーＬＵＴを用いて背景用画像Ｉ２用のＲＧＢデータを構成する各画素の色を調整させたＹＵＶデータを生成させ、続けて、明るさ調整部５ｄに標準的なカラー画像に対応するガンマ補正値でＹＵＶデータの各画素の画素値をガンマ補正させて、背景用画像Ｉ２の画像データを生成する。

なお、画像生成制御部５ｅは、顔用画像Ｉ３や背景用画像Ｉ２を生成する処理にて、先に明るさ調整部５ｄによる処理を行った後、色味調整部５ｃによる処理を行うようにしても良い。

肌色マップ生成部５ｆは、肌色マップＩ４（図５（ａ）参照）を生成する。
具体的には、肌色マップ生成部５ｆは、例えば、画像生成制御部５ｅにより生成された顔用画像Ｉ３の画像データの複製を取得し、当該画像データに対して、顔領域Ａ１から肌色成分を検出する肌色検出処理を施して、検出された肌色成分を８ｂｉｔ[0〜255]の階調で表した肌色マップＩ４を生成する。
なお、肌色検出処理は、顔用画像Ｉ３のＹＵＶデータに対して行われても良いし、色空間をＨＳＶ色空間に変換したＨＳＶデータに対して行われても良い。

第１寸法変更部５ｇは、肌色マップＩ４の寸法を変更する。
即ち、第１寸法変更部（第１変更手段）５ｇは、画像生成制御部５ｅにより顔領域Ａ１の肌色成分が補正されることで生成された画像（肌色マップＩ４）の寸法を、当該顔領域Ａ１の寸法を基準として変更する。具体的には、第１寸法変更部５ｇは、肌色マップ生成部５ｆにより生成された肌色マップＩ４を取得し、例えば、当該肌色マップＩ４内の顔領域Ａ１が所定の寸法（例えば、縦×横の画素数：６４×６４画素等）となるように肌色マップＩ４に対して縮小処理を施して、縦横の寸法（画素数）を縮小した縮小肌色マップＩ５（図５（ｂ）参照）を生成する。
これにより、肌色マップＩ４における顔領域Ａ１の寸法が肌色マップＩ４毎に異なっても、縮小肌色マップＩ５における顔領域Ａ１の寸法は略一定の大きさとなる。

平滑化部５ｈは、縮小肌色マップＩ５に対して平滑化処理を施す。
即ち、平滑化部（平滑化手段）５ｈは、第１寸法変更部５ｇにより寸法が変更されることで生成された縮小肌色マップＩ５に対して平滑化処理を施す。具体的には、平滑化部５ｈは、第１寸法変更部５ｇにより生成された縮小肌色マップＩ５を取得し、当該縮小肌色マップＩ５に対して所定のサイズのεフィルタをかけて、平滑化画像Ｉ６（図５（ｃ）参照）を生成する。
ここで、縮小肌色マップＩ５毎の顔領域Ａ１の寸法が略一定の大きさとなっているので、平滑化部５ｈは、如何なる縮小肌色マップＩ５に対しても、サイズが一定のεフィルタを一律にかけることができる。

第２寸法変更部５ｉは、平滑化画像Ｉ６の寸法を変更する。
即ち、第２寸法変更部（第２変更手段）５ｉは、平滑化部５ｈにより平滑化処理が施された平滑化画像Ｉ６の寸法を、対応する肌色マップＩ４の元の寸法とするように変更する。具体的には、第２寸法変更部５ｉは、平滑化部５ｈにより生成された平滑化画像Ｉ６を取得し、当該平滑化画像Ｉ６の縦横の寸法（画素数）が対応する肌色マップＩ４の縦横の寸法と等しくなるように、平滑化画像Ｉ６に対して拡大処理を施して、縦横の寸法（画素数）を拡大した拡大平滑化画像Ｉ７（図６（ａ）参照）を生成する。

透過率設定部５ｊは、顔領域Ａ１の透過率を設定する。
即ち、透過率設定部（設定手段）５ｊは、第２寸法変更部５ｉにより寸法が変更された拡大平滑化画像Ｉ７に基づいて、背景用画像Ｉ２と合成される顔用画像Ｉ３の顔領域Ａ１の透過率を設定する。具体的には、透過率設定部５ｊは、顔領域Ａ１を含む顔用画像Ｉ３全体の各画素の透過率を設定する。
例えば、透過率設定部５ｊは、第２寸法変更部５ｉにより生成された拡大平滑化画像Ｉ７を取得し、当該拡大平滑化画像Ｉ７のコントラストを調整した後、所定のサイズのεフィルタをかけて美白用顔マップＩ８（図６（ｂ）参照）を生成する。
ここで、美白用顔マップＩ８は、例えば、８ｂｉｔ[0〜255]の階調で表された画素値を有しており、当該画素値によって透過率が設定されている。つまり、透過率（画素値）は、例えば、美白用顔マップＩ８に対応する顔用画像Ｉ３の各画素について、背景用画像Ｉ２に対してアルファブレンディングする際の重みを表している。例えば、透過率（画素値）が「２５５」の画素は、背景用画像Ｉ２に対する透過度が０％となり、透過率（画素値）が「０」の画素は、背景用画像Ｉ２に対する透過度が１００％となる。
なお、美白用顔マップＩ８の透過率は、例えば、顔用画像Ｉ３を背景用画像Ｉ２に対して透過させるか否かを二値で表したものであっても良い。

画像合成部５ｋは、顔用画像Ｉ３と背景用画像Ｉ２とを合成する。
即ち、画像合成部（合成手段）５ｋは、顔検出部５ｂによって検出された顔領域Ａ１の透過度を他の領域（顔以外の領域）の透過度とは異ならせて、画像生成制御部５ｅによって補正された画像（顔用画像Ｉ３）と画像取得部５ａによって取得された画像（背景用画像Ｉ２）とを合成する。つまり、画像合成部５ｋは、肌色成分が補正された顔用画像Ｉ３の顔領域Ａ１を透過率設定部５ｊにより設定された透過率で背景用画像Ｉ２と合成する。
具体的には、画像合成部５ｋは、画像生成制御部５ｅの制御下にて明るさ調整部５ｄにより明るさが調整されるとともに色味調整部５ｃにより色味が調整された顔用画像Ｉ３を、透過率が設定されている美白用顔マップＩ８を用いて背景用画像Ｉ２と合成して、美白合成画像Ｉ９（図７参照）の画像データを生成する。例えば、画像合成部５ｋは、顔用画像Ｉ３の各画素について、美白用顔マップＩ８に設定されている透過率が「０」の画素は背景用画像Ｉ２に対して透過させ、透過率が「２５５」の画素は当該顔用画像Ｉ３の対応する画素の画素値で背景用画像Ｉ２の画素を上書きし、さらに、透過率が「１〜２５４」の画素は当該透過率に応じて顔用画像Ｉ３の画素の画素値と背景用画像Ｉ２の対応する画素の画素値とでブレンドする（アルファブレンディング）。
なお、上記したアルファブレンディングは、公知の技術であるので、ここでは詳細な説明を省略する。

記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示部７は、表示パネル７ａと、表示制御部７ｂとを具備している。
表示パネル７ａは、表示画面内に画像を表示する。なお、表示パネル７ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部７ｂは、メモリ２に一時的に格納されている表示用の画像データを読み出して、画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル７ａの表示画面に表示させる制御を行う。具体的には、表示制御部７ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなど（何れも図示略）を備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭに記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示パネル７ａに出力する。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１に出力する。

＜美白画像生成処理＞
次に、撮像装置１００による美白画像生成処理について、図２〜図７を参照して説明する。
図２は、美白画像生成処理に係る動作の一例を示すフローチャートである。

美白画像生成処理は、ユーザによる操作入力部８の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から美白画像撮像モードが選択指示された場合に、中央制御部１の制御下にて当該撮像装置１００の各部により実行される処理である。
なお、美白画像生成処理は、例えば、記録媒体Ｍに記録されている画像を処理対象として行われても良い。

図２に示すように、先ず、例えば、ユーザによる操作入力部８のシャッタボタンの所定操作に基づいて撮像指示が入力されると、中央制御部１のＣＰＵは、撮像制御指令を撮像制御部４に対して出力し、撮像制御部４は、撮像部３を制御して被写体の画像Ｉ１を撮像させる（ステップＳ１）。
次に、画像処理部５の画像取得部５ａは、撮像部３により撮像された画像Ｉ１（図３（ａ）参照）を美白画像生成処理の処理対象として取得する（ステップＳ２）。具体的には、画像取得部５ａは、例えば、電子撮像部３ｂから出力されて入力された画像Ｉ１の所定のカラーフィルタの配列（例えば、ベイヤー配列）に従った画像データ（ＲＧＢデータ）を取得した後、これを背景用画像Ｉ２用の画像データとするとともに、顔用画像Ｉ３用の画像データを複製する。

続けて、画像処理部５は、処理対象となる画像に応じて処理を分岐させる（ステップＳ３）。
即ち、背景用画像Ｉ２の場合（ステップＳ３；背景用）、処理をステップＳ４に移行させ、顔用画像Ｉ３の場合（ステップＳ３；顔用）、処理をステップＳ５１に移行させる。

＜背景用画像＞
ステップＳ４にて、画像生成制御部５ｅは、色味調整部５ｃに、メモリ２から読み出した標準カラーＬＵＴを用いて背景用画像Ｉ２用のＲＧＢデータを構成する各画素の色を調整させることでＹＵＶデータを生成させ、続けて、明るさ調整部５ｄに、標準的なカラー画像に対応するガンマ補正値でＹＵＶデータの各画素の画素値をガンマ補正させる。これにより、画像生成制御部５ｅは、背景用画像Ｉ２（図３（ｂ）参照）の画像データを生成する（ステップＳ４）。

＜顔用画像＞
ステップＳ５１にて、顔検出部５ｂは、顔用画像Ｉ３用の画像データに対して所定の顔検出処理を行って、当該画像内から顔が含まれる顔領域Ａ１を検出する（ステップＳ５１）。
続けて、画像生成制御部５ｅは、色味調整部５ｃに、美白用のホワイトバランスゲインで顔用画像Ｉ３用のＲＧＢデータを増幅させた後、メモリ２から読み出した美白ＬＵＴを用いてＲＧＢデータを構成する各画素の色を顔領域Ａ１を基準として調整させることでＹＵＶデータを生成させる。続けて、画像生成制御部５ｅは、明るさ調整部５ｄに、顔領域Ａ１の肌色領域を基準とするガンマ補正値でＹＵＶデータの各画素の画素値をガンマ補正させる。これにより、画像生成制御部５ｅは、顔用画像Ｉ３（図３（ｃ）参照）の画像データを生成する（ステップＳ５２）。

次に、画像処理部５は、美白用顔マップ生成処理（図４参照）を実行する（ステップＳ５３）。
以下に、美白用顔マップ生成処理について、図４を参照して説明する。図４は、美白用顔マップ生成処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、肌色マップ生成部５ｆは、顔用画像Ｉ３の画像データの複製を生成して取得し、当該顔用画像Ｉ３の顔領域Ａ１から肌色成分を検出する肌色検出処理を施して肌色マップＩ４（図５（ａ）参照）を生成する（ステップＳ５３１）。
次に、第１寸法変更部５ｇは、生成された肌色マップＩ４内の顔領域Ａ１が所定の寸法（例えば、縦×横の画素数：６４×６４画素等）となるように当該肌色マップＩ４に対して縮小処理を施して縮小肌色マップＩ５（図５（ｂ）参照）を生成する（ステップＳ５３２）。続けて、平滑化部５ｈは、生成された縮小肌色マップＩ５に対して所定のサイズのεフィルタをかけて、平滑化画像Ｉ６（図５（ｃ）参照）を生成する（ステップＳ５３３）。

次に、第２寸法変更部５ｉは、生成された平滑化画像Ｉ６の縦横の寸法を対応する肌色マップＩ４の元の縦横の寸法とするように、平滑化画像Ｉ６に対して拡大処理を施して拡大平滑化画像Ｉ７（図６（ａ）参照）を生成する（ステップＳ５３４）。
続けて、透過率設定部５ｊは、生成された拡大平滑化画像Ｉ７のコントラストを調整した後、所定のサイズのεフィルタをかけて、８ｂｉｔ[0〜255]の階調で表された画素値により透過率が設定されている美白用顔マップＩ８（図６（ｂ）参照）を生成する（ステップＳ５３５）。
これにより、美白用顔マップ生成処理を終了する。

図２に戻り、画像合成部５ｋは、画像生成制御部５ｅにより生成された顔用画像Ｉ３を、透過率設定部５ｊにより生成された美白用顔マップＩ８を用いて背景用画像Ｉ２と合成して、美白合成画像Ｉ９（図７参照）の画像データを生成する（ステップＳ６）。具体的には、画像合成部５ｋは、美白用顔マップＩ８に設定されている透過率を基準として、顔用画像Ｉ３と背景用画像Ｉ２とをアルファブレンディングにより合成して、美白合成画像Ｉ９の画像データを生成する。
その後、記録媒体制御部６は、画像処理部５から美白合成画像Ｉ９の画像データを取得して、記録媒体Ｍの所定の格納領域に記録させて（ステップＳ７）、美白画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、処理対象の画像Ｉ１（例えば、撮像画像等）から検出された顔領域Ａ１の明るさを調整するとともに顔領域Ａ１の色味を調整して、当該顔領域Ａ１の肌色成分を補正するので、顔領域Ａ１の肌色の領域に対応する輝度範囲の明るさのみを調整する場合に比べて、顔領域Ａ１の肌色成分がより自然な明るさとなるように補正することができ、顔の明るさの表現を適正に行うことができる。
そして、肌色成分が補正された顔領域Ａ１の透過度を他の領域の透過度とは異ならせて、顔用画像Ｉ３と背景用画像Ｉ２とを合成するので、顔領域Ａ１と当該顔領域Ａ１以外の領域に対して最適な画像処理を施すことができる。具体的には、検出された顔領域Ａ１を基準として、当該顔領域Ａ１を含む顔用画像Ｉ３全体の明るさを調整するとともに顔用画像Ｉ３全体の色味を調整し、肌色成分が補正された顔領域Ａ１を含む顔用画像Ｉ３を、設定された画像全体の透過率で背景用画像Ｉ２と合成することができ、合成された美白合成画像Ｉ９における顔の明るさの表現を適正に行うことができる。例えば、風景を背景として人を撮像した美白合成画像Ｉ９等の場合にも、顔を明るくしたために背景部分が引きづられて白っぽくなるといったことを抑制することができ、背景部分に対する影響を軽減しつつ顔の明るさの表現を適正に行うことができる。
このように、顔領域Ａ１以外の領域への影響を少なくしつつ、顔領域Ａ１を適正に補正することができる。

また、肌色成分が補正された顔領域Ａ１を含む顔用画像Ｉ３（肌色マップＩ４）の寸法を、当該顔領域Ａ１の寸法を基準として変更し、寸法が変更された画像（縮小肌色マップＩ５）に対して平滑化処理を施すので、肌色マップＩ４における顔領域Ａ１の寸法が肌色マップＩ４毎に異なっても、顔領域Ａ１が所定の寸法となるように変更することで、縮小肌色マップＩ５における顔領域Ａ１の寸法は略一定の大きさとなり、その後の平滑化処理における処理内容をほぼ共通化することができる。
そして、平滑化処理が施された画像の寸法を、対応する顔領域Ａ１を含む顔用画像Ｉ３（肌色マップＩ４）の元の寸法とするように変更した画像（拡大平滑化画像Ｉ７）に基づいて、顔領域Ａ１の透過率を設定するので、顔領域Ａ１の透過度及び顔領域Ａ１以外の領域の透過度の設定を適正に行うことができる。特に、肌色マップＩ４に対して平滑化処理を施すことで、透過率が設定されている美白用顔マップＩ８を生成するので、肌色マップＩ４をそのまま用いる場合に比べて、美白合成画像Ｉ９内で肌色に似ている色の領域が斑になり難くなって、見た目がより自然な美白合成画像Ｉ９を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、顔領域Ａ１の肌色成分を補正するために、顔用画像Ｉ３と背景用画像Ｉ２とを合成するようにしたが、一例であってこれに限られるものではなく、顔領域Ａ１の肌色成分を補正可能な手法であれば適宜任意に変更可能である。また、画像全体の明るさ及び色味を調整した顔用画像Ｉ３を生成するようにしたが、例えば、背景用画像Ｉ２と合成される部分である顔領域Ａ１のみについて明るさ及び色味の調整が施されていても良い。

また、上記実施形態では、顔領域Ａ１の明るさ及び色味を調整して美白処理を施すようにしたが、一例であってこれに限られるものではなく、例えば、より自然な黒さ（例えば、日焼け等）を表現する際に、顔領域Ａ１の明るさ及び色味を調整するようにしても良い。

さらに、上記実施形態では、顔領域Ａ１の色味の調整にルックアップテーブル２ａを用いるようにしたが、一例であってこれに限られるものではなく、例えば、所定の演算式に従って演算を行うようにしても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、外部の撮像手段により撮像された画像を取得して、顔領域Ａ１の肌色成分を補正する処理を行うようにしても良い。

加えて、上記実施形態にあっては、取得手段、複製手段、検出手段、補正手段、合成手段としての機能を、中央制御部１のＣＰＵの制御下にて、画像取得部５ａ、顔検出部５ｂ、画像生成制御部５ｅ、画像合成部５ｋが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、複製処理ルーチン、検出処理ルーチン、補正処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、画像を取得する手段として機能させるようにしても良い。また、複製処理ルーチンにより中央制御部１のＣＰＵを、取得された画像を複製する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１のＣＰＵを、複製された画像から顔領域Ａ１を検出する手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部１のＣＰＵを、検出された顔領域Ａ１の肌色成分を所定の状態に補正するため、複製された画像全体の明るさと色味とを調整するように補正する手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１のＣＰＵを、検出された顔領域Ａ１の透過度を他の領域の透過度とは異ならせて、補正された画像と取得された画像とを合成する手段として機能させるようにしても良い。

同様に、第１変更手段、平滑化手段、第２変更手段、設定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する取得手段と、
この取得手段により取得された画像を複製する複製手段と、
この複製手段によって複製された画像から顔領域を検出する検出手段と、
この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記複製された画像全体の明るさと色味とを調整するように補正する補正手段と、
前記検出手段によって検出された顔領域の透過度を他の領域の透過度とは異ならせて、前記補正手段によって補正された画像と前記取得手段によって取得された画像とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更手段と、
この第１変更手段により寸法が変更された画像に対して平滑化処理を施す平滑化手段と、
この平滑化手段により前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更手段と、
この第２変更手段により寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定手段と、を更に備えることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記第１変更手段は、更に、
前記補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域が所定の寸法となるように変更することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記補正手段は、更に、
前記検出手段により検出された顔領域の肌色成分がより自然な明るさとなるように、前記複製された画像全体の明るさと色味とを調整するように補正することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
画像処理装置を用いた画像処理方法であって、
画像を取得する取得ステップと、
この取得ステップにて取得された画像を複製する複製ステップと、
この複製ステップにて複製された画像から顔領域を検出する検出ステップと、
この検出ステップにて検出された顔領域の肌色成分を所定の状態に補正するため、前記複製された画像全体の明るさと色味とを調整するように補正する補正ステップと、
前記検出ステップにて検出された顔領域の透過度を他の領域の透過度とは異ならせて、前記補正ステップにて補正された画像と前記取得ステップにて取得された画像とを合成する合成ステップと、
を含むことを特徴とする画像処理方法。
＜請求項７＞
画像処理装置のコンピュータを、
画像を取得する取得手段、
この取得手段により取得された画像を複製する複製手段、
この複製手段によって複製された画像から顔領域を検出する検出手段、
この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記複製された画像全体の明るさと色味とを調整するように補正する補正手段、
前記検出手段によって検出された顔領域の透過度を他の領域の透過度とは異ならせて、前記補正手段によって補正された画像と前記取得手段によって取得された画像とを合成する合成手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
３ 撮像部
５ 画像処理部
５ａ 画像取得部
５ｂ 顔検出部
５ｃ 色味調整部
５ｄ 明るさ調整部
５ｅ 画像生成制御部
５ｆ 肌色マップ生成部
５ｇ 第１寸法変更部
５ｈ 平滑化部
５ｉ 第２寸法変更部
５ｊ 透過率設定部
５ｋ 画像合成部

Claims (7)

1. 画像を取得する取得手段と、
   前記画像から顔領域を検出する検出手段と、
   この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正手段と、
   この補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更手段と、
   この第１変更手段により寸法が変更された画像に対して平滑化処理を施す平滑化手段と、
   前記平滑化手段により前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更手段と、
   前記第２変更手段により寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定手段と、
   前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得手段によって取得された画像全体の明るさと色味とを調整し、前記補正手段によって補正されたものとは異なる画像を生成する生成手段と、
   前記検出手段によって検出された顔領域の透過度を前記設定手段によって設定された透過度にして、前記補正手段によって補正された画像と前記生成手段によって生成された画像とを合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１変更手段は、更に、
   前記補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域が所定の寸法となるように変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、更に、
   前記検出手段により検出された顔領域の肌色成分がより白くなるように、前記画像全体の明るさと色味とを調整するように補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像手段を更に備え、
   前記取得手段は、前記撮像手段により撮像された画像を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記取得手段により取得された画像を複製する複製手段を更に備え、
   前記補正手段は、この複製手段によって複製された画像全体の明るさと色味とを調整することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 画像処理装置を用いた画像処理方法であって、
   画像を取得する取得ステップと、
   前記画像から顔領域を検出する検出ステップと、
   この検出ステップにて検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正ステップと、
   この補正ステップにて肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更ステップと、
   この第１変更ステップにて寸法が変更された画像に対して平滑化処理を施す平滑化ステップと、
   前記平滑化ステップにて前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更ステップと、
   前記第２変更ステップにて寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定ステップと、
   前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得ステップにて取得された画像全体の明るさと色味とを調整し、前記補正ステップにて補正されたものとは異なる画像を生成する生成ステップと、
   前記検出ステップにて検出された顔領域の透過度を前記設定ステップにて設定された透過度にして、前記補正ステップにて補正された画像と前記生成ステップにて生成された画像とを合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置のコンピュータを、
   画像を取得する取得手段、
   前記画像から顔領域を検出する検出手段、
   この検出手段によって検出された顔領域の肌色成分を所定の状態に補正するため、前記画像全体の明るさと色味とを調整するように補正する補正手段、
   この補正手段により肌色成分が補正された前記顔領域を含む画像の寸法を、当該顔領域の寸法を基準として変更する第１変更手段、
   この第１変更手段により寸法が変更された画像に対して平滑化処理を施す平滑化手段、
   前記平滑化手段により前記平滑化処理が施された画像の寸法を、対応する前記顔領域を含む画像の元の寸法とするように変更する第２変更手段、
   前記第２変更手段により寸法が変更された画像に基づいて、前記顔領域の透過率を設定する設定手段、
   前記顔領域の有無にかかわらず画像全体を調整するために設定された補正量を用いて、前記取得手段によって取得された画像全体の明るさと色味とを調整し、前記補正手段によって補正されたものとは異なる画像を生成する生成手段、
   前記検出手段によって検出された顔領域の透過度を前記設定手段によって設定された透過度にして、前記補正手段によって補正された画像と前記生成手段によって生成された画像とを合成する合成手段、
   として機能させることを特徴とするプログラム。