JP6432399B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、人の顔が被写体として含まれる動画を補正する画像処理技術に関する。

近年、デジタルカメラ等を用いて撮影された、人の顔が含まれる画像（顔画像）を自動的に補正する技術が普及し始めている。このような技術の一つに、美肌補正がある。美肌補正とは、画像に対してフィルタリングを行うことで、肌をつややかにしたり、皺を除去するといった補正であり、これにより、画像に含まれる顔の見栄えを向上させることができる。

画像に対して美肌補正を行う技術として、例えば、特許文献１に記載の画像処理装置がある。当該画像処理装置では、顔画像から肌色の色相を有する画素を抽出し、当該色相に基づいて、補正を行うべき領域を決定している。

特開２００８−２４３０５９号公報

顔画像に含まれる、特定の系統の色（例えば、補正対象が肌であれば肌色、唇であれば赤色）を有する画素を補正したい場合、特許文献１に記載の装置のように、補正対象の色を代表する色（以下、代表色）を決定し、当該代表色に基づいて、補正対象の領域を生成することが一般に知られている。

ところで、美肌補正のような画像処理を、動画においても行いたいという要望がある。例えば、デジタルビデオカメラで撮影した動画の各フレームに対して、前述した技術を適用することで、同様の美肌効果を得ることができる。

しかし、補正の対象が動画である場合、顔の向きや照明の当たり方が大きく変化しない場合であっても、フレームごとに代表色がわずかに変動してしまう場合がある。これは、例えば、被写体である人物のわずかな動きや、動画の圧縮ノイズなどに起因して発生する。また、代表色が変動すると、補正を行う範囲や補正の強度が変動するため、補正後のフレームを連続して再生すると、補正範囲が浮いて見えたり、ちらついて見えてしまうという現象が発生する。すなわち、前述した技術を、動画の各フレームに対してそのまま適用しても、自然な補正結果を得ることができない。

本発明は上記の課題を考慮してなされたものであり、動画を構成する複数の連続した画像に対して補正を行う画像処理装置において、より自然な補正結果を得るための技術を提供することを目的とする。

本発明に係る画像処理装置は、動画を構成する複数の連続した画像に対して、順次補正を行う装置である。
具体的には、画像を取得する画像取得手段と、取得した画像から、補正を行う対象領域を代表する色である代表色を取得する代表色取得手段と、ｍ番目のフレームに対応する画像を補正する際に設定された基準色に基づいて、ｎ番目（ｍ＜ｎ）のフレームに対応する画像に対する補正処理を行う画像補正手段と、を有し、前記画像補正手段は、処理対象の画像に対応する代表色と、前記基準色との類似度が所定の閾値を下回る場合に、当該代表色によって基準色を更新し、類似度が所定の閾値を上回る場合に、基準色の更新を行わないことを特徴とする。

本発明に係る画像処理装置は、取得した画像から、補正を行う対象領域を特定し、当該対象領域を代表する色である代表色を取得する。対象領域とは、例えば、人の肌に対応する領域や、人の唇などに対応する領域であるが、これに限られない。ただし、特定の色彩を有している領域であることが好ましい。

画像補正手段は、設定された基準色に基づいて、画像に対する補正処理を行う手段である。基準色は、複数の画像に対して装置が補正処理を行っている間、保持される色であり、所定の条件を満たすと更新される。具体的には、基準色は、処理対象の画像に対応する代表色と、保持している基準色との類似度が所定の値を下回った場合に、当該代表色によって更新され、処理対象の画像に対応する代表色と、基準色との類似度が所定の値を上回った場合は、更新されずに保持される。

すなわち、基準色は、複数の画像を処理している間に、代表色同士のずれがある程度大きくなったタイミングで更新される。
係る構成によると、フレームごとに代表色がゆらぐような場合であっても、当該ゆらぎを吸収することができるため、補正範囲や補正強度の無用な変動を抑制でき、補正された動画を再生した際の不自然さを抑制することができる。

また、前記画像補正手段は、前記取得した画像に含まれる画素のそれぞれについて、前記基準色に対する色の類似度を表す値を演算し、前記値の分布に基づいて、画像に対する補正を行う際の重みの分布を表す補正マップを生成し、前記補正マップを用いて補正処理を行うことを特徴としてもよい。

補正マップとは、取得した画像に対して補正を行う際の、補正の強さを表すマップである。具体的には、補正マップは、基準色に対する色の類似度が大きい画素に対して、より強い補正がかかるように定義されたマップである。これにより、例えば、美肌補正を行うため、肌色の成分がより強い領域に対して、より強い補正をかけるといったことが可能になる。

また、前記画像補正手段は、前記取得した画像に対してぼかしを加える補正処理を行い、かつ、ぼかしの強度を、前記補正マップを用いて決定することを特徴としてもよい。

本発明は、特に、ぼかしを加えることで、特定の色彩を持つ領域に対して平滑化を行う画像処理装置に好適に適用できる。これにより、対象の領域から細かなノイズを除去することができ、被写体の見栄えを向上させることができる。

また、前記画像補正手段は、前記取得した画像に含まれる画素のそれぞれについて、エッジの強度を表す値を演算し、前記値の分布にさらに基づいて、前記補正マップを生成することを特徴としてもよい。

画像に対してぼかしを加えることで、ノイズ（例えば皮膚上の皺や凹凸）を平滑化する補正を行いたい場合、強いエッジが存在する領域に対して補正を行ってしまうと、エッジがぼやけ、不自然な画像となってしまう。そこで、エッジの強度を取得したうえで、エッジの強度が強い領域には弱い補正を行うような補正マップを生成するようにしてもよい。

また、前記補正を行う対象は、人の肌であることを特徴としてもよい。本発明は、特に
、人の肌を滑らかに見せる画像補正を行う画像処理装置に好適に適用できる。

なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が行う画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、動画を構成する複数の連続した画像に対して補正を行う画像処理装置において、より自然な補正結果を得ることができる。

実施形態に係る画像処理装置のシステム構成図である。 画像処理装置が行う処理のフローチャートである。 入力画像および顔領域の例である。 代表色を取得する処理を詳細に説明するフローチャートである。 補正領域マップを説明する図である。 代表色と基準色との関係を例示する図である。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理装置は、人の姿が含まれる動画を取得し、当該動画に含まれる複数の画像に対してフィルタを適用することで、肌をなめらかに見せる補正（以下、美肌補正）を行う装置である。図１は、本実施形態に係る画像処理装置１０のシステム構成図である。

実施形態に係る画像処理装置１０は、画像取得部１１、顔検出部１２、代表色取得部１３、補正マップ生成部１４、画像補正部１５、画像出力部１６から構成される。

画像取得部１１は、処理対象の画像（以下、入力画像）を取得する手段である。具体的には、固定ディスクドライブやフラッシュメモリといった記憶装置に記憶された動画ファイルから、各フレームに対応する入力画像を取得する。
なお、画像取得部１１は、記憶装置に記憶された動画ファイル以外から入力画像を取得してもよい。例えば、インタフェース装置や無線通信装置を介して入力画像を取得してもよいし、レンズと撮像素子を介して入力画像を取得してもよい。いずれの場合も、連続して再生される、または、再生されるべき複数の画像が取得できればよい。

顔検出部１２は、画像取得部１１が取得した入力画像から、人間の顔に対応する領域を抽出する手段である。具体的には、入力画像から人間の顔に対応する特徴点を検出し、検出結果に基づいて、顔が存在する領域（以下、顔領域）を特定する。

代表色取得部１３は、入力画像に含まれる、補正の対象となる領域を代表する色（以下、代表色）を取得する手段である。本実施形態に係る画像処理装置は、肌に対応する領域（以下、肌領域）に対して補正を行う装置であるため、代表色は肌色となる。
具体的には、肌領域に存在する複数の画素をサンプリングし、サンプリング結果に基づいて、単一の代表色を算出する。具体的な処理方法については後述する。

補正マップ生成部１４は、顔検出部１２が抽出した顔領域と、代表色取得部１３が取得した代表色に基づいて、補正マップを生成する手段である。補正マップとは、入力画像を
補正する際の重みを表すマップであり、より大きく色を補正すべき箇所に対してより大きな重みを与えたマップである。具体的な処理方法については後述する。

画像補正部１５は、補正マップ生成部１４が生成した補正マップを用いて、入力画像に対する補正を行う手段である。補正は、入力画像に対してぼかしを付加するフィルタ（平滑化フィルタ）を適用することで行う。画像補正部１５が補正を行うことで、肌領域が平滑化された画像を得ることができる。補正後の画像は、画像出力部１６に送信される。

画像出力部１６は、画像補正部１５によって補正された複数の画像を動画に再変換し、出力する手段である。画像出力部１６は、例えば、不図示の記憶手段に動画を保存してもよいし、液晶ディスプレイ等を通して動画をユーザに提供してもよい。また、インタフェースを経由して、他の装置やコンピュータに動画を送信してもよい。

なお、以上に説明した各手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
前述した手段がソフトウェアとして構成される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）
また、プログラムを実行する手段は、ＣＰＵに限られず、ＩＳＰ（Image Signal Processor）やＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）などであってもよい。

次に、取得した入力画像に含まれる肌領域に対して補正を行う処理を、画像処理装置１０が行う処理フローチャートである図２を参照しながら順番に説明する。図２の処理は、装置のユーザからの指示に基づいて開始される。

まず、画像取得部１１が画像を取得する（ステップＳ１１）。本実施形態では、記憶装置から、予め記憶されている動画ファイルを取得し、先頭から１フレームずつ画像を取得するものとするが、他の方法によって画像を取得してもよい。例えば、通信手段や撮像手段を介して画像を取得してもよい。いずれの場合も、連続して再生される複数の画像のうちの１枚を取得すればよい。図３は、取得した画像の例である。

次に、顔検出部１２が、取得した入力画像から特徴点を検出することで、顔に対応する領域（顔領域）を抽出する（ステップＳ１２）。特徴点に基づいて画像から顔領域を抽出する方法は公知であるため、詳細な説明は省略する。なお、特徴点の検出に失敗した場合、マッチング処理などによって顔の位置を検出するようにしてもよい。本実施形態では、符号３０１で示した楕円が顔領域を表す。

次に、代表色取得部１３が、入力画像に含まれる肌色を代表する色（代表色）を取得し、基準色に設定する（ステップＳ１３）。図４は、ステップＳ１３で行う処理の内容を詳細に示したフローチャートである。

まず、顔領域に対して顔の中心点を設定する（ステップＳ１３１）。顔の中心点は、例えば、鼻の頭や鼻あたり付近に設定することができるが、化粧や照明の影響を受けにくい箇所に設定することが好ましい。図３の例では、符号３０２が顔の中心点である。
次に、検出した中心点の近傍に、画素のサンプリングを行うための点（以下、サンプリング点）を配置する（ステップＳ１３２）。例えば、ステップＳ１３１で取得した中心点を中心とする、１６×１６ピクセルの領域に、２５６個のサンプリング点を配置する。な
お、サンプリング点は、画素と重なるように配置される。

次に、サンプリング点が配置された画素それぞれについて、色相のヒストグラムを生成する（ステップＳ１３３）。例えば、色相が３つの値によって表現されている場合、３つのヒストグラムが生成される。
次に、生成されたヒストグラムについて、平均値μを算出し、色相を表す値が共に、平均値を中心とする所定の範囲に属する画素のみを抽出し、サンプリング画素とする（ステップＳ１３４）。例えば、標準偏差をσ、所定の範囲を±２σとした場合、色相が、全て平均値を中心とする±２σの範囲に存在するサンプリング画素のみが抽出される。

次に、ステップＳ１３５で、抽出したサンプリング画素を用いて、肌の代表色を決定する。代表色は、サンプリング画素の色の平均値などを用いて決定することができるが、他の方法を用いて決定してもよい。
なお、本例では、顔の中心付近にサンプリング画素を配置したが、これ以外の方法を用いて代表色を決定してもよい。例えば、画像に含まれる全ての画素から、色相が所定の範囲内（肌色系の色）にある画素を抽出し、その平均値を取得して代表色としてもよい。

ステップＳ１３５１〜Ｓ１３５２に示した処理は、２回目以降のループで必要となる処理であるため、後ほど説明する。

次に、ステップＳ１３５で取得した代表色を、基準色に設定する。基準色は、代表色取得部１３によって、補正処理が終了するまで保持される。

次に、肌色マップを生成する（ステップＳ１４）。肌色マップとは、入力画像と同じサイズのマップであって、入力画像に含まれる画素と、基準色との色相の類似度を表すマップである。すなわち、肌色マップは、入力画像に含まれる画素の肌色の強度を表すマップであると言える。なお、色相の類似度とは、例えば、色空間上における距離を、所定の範囲に正規化したものであってもよい。本ステップでは、入力画像に含まれる全ての画素について、基準色との類似度を算出し、肌色マップを生成する。

なお、本実施形態では、肌色マップが有する値は２５６階調であり、色相が同一であった場合に２５５となり、色相の差が最大であった場合に０となるものとするが、別途重みを付してもよい。例えば、対象画素の色相が肌色に近いほど、より値を大きくする補正を行うようにしてもよい。

次に、補正領域マップを生成する（ステップＳ１５）。
肌色マップは、あくまで色に基づいて生成されたマップであるため、肌色マップのみを用いて補正を行った場合、肌に対応しない領域（例えば肌色の衣装など）に大きな重みが割り当たってしまう場合がある。そこで、本実施形態では、肌色マップに加え、顔との位置関係に基づいて重みを与えたマップである補正領域マップをさらに生成し、用いる。

補正領域マップが重みを与える領域は、例えば、顔に対応する領域（顔領域）や、首または胸に対応する領域などである。図５は、補正領域マップが重みを与える領域を説明する図である。本例では、顔領域３０１と、首および胸に対応する領域３０２に対して重みを与えているが、重みを与える領域は、肌が存在すると推定される領域であれば、他の領域であってもよい。

次に、エッジマップを生成する（ステップＳ１６）。エッジマップとは、入力画像のエッジを表すマップである。
美肌補正は主に、ぼかしをかける補正であるため、エッジに対応する画素に対して補正
を行ってしまうと、画像が不鮮明になってしまう。そこで、本実施形態では、エッジマップを生成することで、エッジに対応する画素を除外して補正を行う。

ステップＳ１６では、入力画像に対して、縦方向および横方向のエッジを抽出するフィルタをそれぞれ適用する。フィルタは、例えば、縦横の二方向に対して適用されるＳｏｂｅｌフィルタなどを好適に用いることができる。そして、出力結果に対して強調処理および平滑化処理を行い、エッジマップとする。

次に、肌色マップと、補正領域マップと、エッジマップを統合し、入力画像を補正する際に用いる単一のマップを生成する（ステップＳ１７）。
まず、肌色マップと、補正領域マップを合成し、得られた結果に対してエッジマップを合成する。合成は、３つのマップに割り当たった値をそれぞれ足し合わせ、３で割ることで行われる。この結果、より肌色であり、より補正領域に近く、よりエッジから離れている画素について、より強い補正がかかるようなマップが生成される。ここで生成されるマップを、補正マップと称する。

次に、入力画像にフィルタを適用し、肌をなめらかにする補正を行った画像を生成する（ステップＳ１８）。本ステップで生成される画像は、肌の存在に関係なく、一律にフィルタが適用された画像である。本ステップでは、例えば、入力画像に対して縦横方向にガウシアンフィルタを適用した画像を生成する。なお、ここではガウシアンフィルタを例に挙げたが、画像を平滑化、すなわち、ぼかしを加えることができれば、他のフィルタを用いてもよい。また、ぼかし以外の他のフィルタを併用してもよい。本ステップで生成された画像を、ぼかし画像と称する。

次に、補正マップを用いて、入力画像を補正する（ステップＳ１９）。
具体的には、ステップＳ１１で取得した入力画像と、ステップＳ１８で生成したぼかし画像を、ステップＳ１７で生成した補正マップを用いて合成し、出力する。合成は、補正マップに定義された値が大きいほど、ぼかし画像の混合比率が高くなるように行われる。例えば、補正マップに定義された値が２５５である場合、入力画像とぼかし画像の比を０：１００で合成し、補正マップに定義された値が０である場合、入力画像とぼかし画像の比を１００：０で合成する。

以上に説明した処理により、動画の一フレーム分に対応する画像に対して補正処理が行われる。補正後の画像は、画像出力部１６に送信され、一時的に記憶される。

そして、処理対象のフレームが残っているかを判定し（ステップＳ２０）、残っている場合は、ステップＳ１１へ遷移し、次フレームの画像に対する処理が行われる。

以上の説明は、処理対象のフレームが、最初のフレームであった場合（すなわち、１回目のループ）の処理である。処理対象が２フレーム目以降である場合（すなわち、２回目以降のループ）について、ステップＳ１３５１から説明する。

ステップＳ１３５１では、設定された基準色（すなわち、前回のループで取得された代表色）と、ステップＳ１３５で取得した代表色とを比較し、その類似度を求める。
色の類似度は、例えば、色空間における距離に基づいて決定することができる。例えば、入力画像が３つの成分で表される場合、各成分の差の絶対値を足し合わせた値（Sum of
Absolute Difference）を用いてもよいし、各成分の差の二乗を足し合わせた値（Sum of
Squared Difference）を用いてもよい。また、他の手法を用いてもよい。

ここで、算出された類似度が閾値以内である場合（ステップＳ１３５２−Ｙｅｓ）、基
準色の更新を行わず、ステップＳ１４の処理を行う。
一方、類似度が閾値を超える場合（ステップＳ１３５２−Ｎｏ）、基準色を、ステップＳ１３５で取得した代表色によって更新する。

なお、３回目以降のループにおいても、同様の処理が行われる。すなわち、補正に使用される基準色は、２フレームよりも前の画像を処理した際に取得した代表色となる場合もある。

図６は、代表色の変化と、補正に使用する基準色の変化を時系列によって例示した図である。本例の場合、フレーム１で代表色が取得されるが、フレーム２および３では、代表色の変化量が閾値以内であるため（符号６０１および６０２）、基準色は変化しない。一方、フレーム４では、代表色の変化量が閾値を超えるため（符号６０３）、基準色が更新される。また、フレーム５では、代表色の変化量が閾値以内であるため（符号６０４）、基準色は更新されない。

以上に説明したように、実施形態に係る画像処理装置は、代表色の変化量が閾値を超えない限り、既に取得した代表色を用いて画像に対する補正を行う。これにより、僅かな条件の変化に起因する代表色の変動を抑えることができるようになり、補正を行う領域や、補正の強さがフレームごとに変動することによる不自然さを抑制することができる。

なお、ステップＳ１３５２で判定を行う際の閾値は、照明の当たり具合や顔の向きが明らかに変化し、新たな代表色を設定したほうが自然な補正が行えると判断できる値であればよい。このような値は、装置の利用者が手動で設定してもよいし、過去の補正結果に基づいて装置が自動で算出するようにしてもよい。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

例えば、生成した補正マップに対して、さらに補正係数を乗算することで、補正の強さを調整できるようにしてもよい。例えば、図２に示した処理を開始する前に、装置の利用者が補正係数を指定できるようにしてもよい。

また、ステップＳ１３５２で用いる閾値は固定の値であってもよいが、被写体の状態に応じて変化する値としてもよい。例えば、被写体が、補正範囲の浮きやちらつきが目立ちやすい環境にある場合、閾値を大きくし、目立ちにくい環境にある場合は閾値を小さくするといった処理を行ってもよい。また、閾値を０にすることで、一時的にステップＳ１３５２の処理を無効にするようにしてもよい。

また、実施形態の説明では、記憶装置に記憶された画像に対して処理を行う画像処理装置を例に説明を行ったが、画像は必ずしも記憶装置から取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して取得してもよい。
また、本発明は、動画を撮像する撮像手段と、前述した画像処理装置とを組み合わせ、撮像した動画を補正する機能を有する撮像装置として実施してもよい。

１０ 画像処理装置
１１ 画像取得部
１２ 顔検出部
１３ 代表色取得部
１４ 補正マップ生成部
１５ 画像補正部
１６ 画像出力部

Claims (7)

1. 動画を構成する複数の連続した画像に対して順次補正を行う画像処理装置であって、
   画像を取得する画像取得手段と、
   取得した画像から、補正を行う対象領域を代表する色である代表色を取得する代表色取得手段と、
   ｍ番目のフレームに対応する画像を補正する際に設定された基準色に基づいて、ｎ番目（ｍ＜ｎ）のフレームに対応する画像に対する補正処理を行う画像補正手段と、
   を有し、
   前記画像補正手段は、処理対象の画像に対応する代表色と、前記基準色との類似度が所定の閾値を下回る場合に、当該代表色によって基準色を更新し、類似度が所定の閾値を上回る場合に、基準色の更新を行わない
   ことを特徴とする、画像処理装置。
2. 前記画像補正手段は、前記取得した画像に含まれる画素のそれぞれについて、前記基準色に対する色の類似度を表す値を演算し、前記値の分布に基づいて、画像に対する補正を行う際の重みの分布を表す補正マップを生成し、前記補正マップを用いて補正処理を行う
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像補正手段は、前記取得した画像に対してぼかしを加える補正処理を行い、かつ、ぼかしの強度を、前記補正マップを用いて決定する
   ことを特徴とする、請求項２に記載の画像処理装置。
4. 前記画像補正手段は、前記取得した画像に含まれる画素のそれぞれについて、エッジの強度を表す値を演算し、前記値の分布にさらに基づいて、前記補正マップを生成する
   ことを特徴とする、請求項３に記載の画像処理装置。
5. 前記補正を行う対象は、人の肌である
   ことを特徴とする、請求項３または４に記載の画像処理装置。
6. 動画を構成する複数の連続した画像に対して順次補正を行う画像処理装置が行う画像処
   理方法であって、
   画像を取得する画像取得ステップと、
   取得した画像から、補正を行う対象領域を代表する色である代表色を取得する代表色取得ステップと、
   ｍ番目のフレームに対応する画像を補正する際に設定された基準色に基づいて、ｎ番目（ｍ＜ｎ）のフレームに対応する画像に対する補正処理を行う画像補正ステップと、
   を含み、
   前記画像補正ステップでは、処理対象の画像に対応する代表色と、前記基準色との類似度が所定の閾値を下回る場合に、当該代表色によって基準色を更新し、類似度が所定の閾値を上回る場合に、基準色の更新を行わない
   ことを特徴とする、画像処理方法。
7. 請求項６に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。

Images