JP4768869B1 - 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム - Google Patents

Abstract

【課題】顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成する。
【解決手段】顔画像処理システムは、入力された顔画像を構成する入力顔画像情報に基づき各種画像処理を行う画像情報処理部１０と、画像情報処理部１０によって画像処理された顔画像情報に対して輪郭強調処理を行って出力される顔画像を表す出力顔画像を生成する強調処理部２０とを備える。画像情報処理部１０は、顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、顔の肌のしみ成分を示す第３の成分、顔の肌のしわ成分を示す第４の成分、及び顔の肌の自然な凹凸成分を示す第５の成分に分割し、第１、第２及び第５の成分を抽出すると共に第３及び第４の成分を除去する。そして、第１の成分に対して非線形勾配処理を施した後、第２及び第５の成分と合成して、強調処理部２０によって輪郭強調処理を行う。
【選択図】図１

Description

この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。

従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている（例えば、非特許文献１参照）。

このシステムは、いわゆるε−フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算（Ｉｎｔｅｒａｃｔｉｖｅ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔｉｎｇ：ＩＥＣ）を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。

田尻文雄、松井喬志、荒川薫、野本弘平；「インタラクティブ進化計算を用いた顔画像強調美観化システム」、社団法人電子情報通信学会技術研究報告ＳＩＳ２００５−６７、ｐｐ．４３−４７、２００６年３月

しかしながら、上述した非特許文献１に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。

この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。

本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第１の成分に対して非線形勾配処理を施す非線形処理手段と、前記非線形処理手段によって非線形勾配処理が施された第１の成分と、前記フィルタ手段によって抽出された第２及び第５の成分とを合成する合成手段と、前記合成手段によって合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する強調処理手段と、前記強調処理手段によって生成された顔画像情報に基づく出力顔画像を出力する出力手段とを備えたことを特徴とする。

前記顔画像情報は、例えば前記フィルタ手段、前記非線形処理手段及び前記強調処理手段を介して複数生成され、前記出力手段は、例えば複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記非線形処理手段及び前記強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備えた構成であっても良く、前記フィルタ手段、前記非線形処理手段及び前記強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行うものでも良い。

前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。

前記フィルタ手段は、ε−分離型非線形フィルタバンクにより構成され、前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。

前記非線形処理手段は、例えば非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。

前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記非線形処理手段、前記合成手段、及び前記強調処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。

前記出力手段は、前記強調処理手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部が抽出された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。

本発明の一態様に係る顔画像処理方法は、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施す工程と、前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成する工程と、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する工程と、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力する工程とを備えたことを特徴とする。

本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施させるステップと、前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成させるステップと、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施させて出力される顔画像を表す顔画像情報を生成させるステップと、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力させるステップとを実行させることを特徴とする。

本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。更に、入力された顔画像から輝度及び色情報などを用いて肌色領域部を抽出し、抽出した肌色領域部を示す顔画像情報のみに対して各処理を施すことにより、顔画像における処理対象領域を限定することができ肌色領域以外の顔画像領域への余計な影響を防いだり、処理時間を短縮したりすることができる。

本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。 同顔画像処理システムの画像情報処理部の構成を示すブロック図である。 同顔画像処理システムの画像情報処理部の具体的な構成を示すブロック図である。 同顔画像処理システムの画像情報処理部における非線形関数の例を示す図である。 同顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。 同顔画像処理システムのε−フィルタバンクの構成を示す図である。 同顔画像処理システムのε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。 同顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。 同顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。 同顔画像処理システムの顔画像処理前の顔画像を示す図である。 同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。 同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。 本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。 同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。

以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明する。

図１は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図２は、この顔画像処理システムの画像情報処理部の構成を示すブロック図である。図３は、この画像情報処理部の具体的な構成を示すブロック図である。図４は、この画像処理部における非線形関数の例を示す図である。

図１に示すように、顔画像処理システムは、図示しないコンピュータやワークステーション等のハードウェア上で実現されるものである。この顔画像処理システムは、例えば入力された顔画像を構成する入力顔画像情報（画像データ）に基づき各種画像処理を行う画像情報処理部１０と、画像情報処理部１０によって画像処理された顔画像情報に対して輪郭強調処理を行って出力される顔画像を表す出力顔画像情報を生成する強調処理部２０とを備えて構成されている。

画像情報処理部１０は、図２に示すように、具体的には入力された顔画像情報を振幅−周波数空間において所定の成分に分割し、抽出・除去するフィルタ処理部１１と、このフィルタ処理部１１から出力された特定の成分に対して非線形処理の一種である非線形勾配処理を施す非線形勾配処理部１２と、この非線形勾配処理部１２から出力された成分とフィルタ処理部１１にて抽出された成分とを加算する加算器１３とを備えて構成されている。

フィルタ処理部１１は、例えば図３に示すように、より具体的にはε−分離型非線形フィルタバンク（以下、「ε−フィルタバンク」と呼ぶ。）１１Ａにより構成される。また、非線形勾配処理部１２は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部（以下、「ＳＩＧＭ処理部」と略記する。）１２Ａにより構成される。

なお、フィルタ処理部１１は、ε−フィルタを用いたε−フィルタバンク１１Ａの他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができ、非線形勾配処理部１２は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。

ここで、まず、ε−フィルタバンク１１Ａで用いられるε−フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第ｎ時点における入力された顔画像情報を入力信号ｘ（ｎ）とし、出力される顔画像情報を出力信号ｙ（ｎ）とすると、ε−フィルタは、次式（１）からなる非再帰型低域通過フィルタに非線形関数Ｆを導入することにより実現され、次式（２）のように表される。

上記式（１），（２）において、ａ_ｉは、総和が１なる非再帰型低域通過フィルタ係数であり、Ｆは図４（ａ），（ｂ）に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号ｘ（ｎ）と出力信号ｙ（ｎ）との差は、次式（３）のようにある値ε’以下に制限される。

このとき、特に全てのａ_ｉが正とすると、ε’＝εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式（１）により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。

図５は、顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。このようなε−フィルタでは、出力信号ｙ（ｎ）としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、ｙ（ｎ）−ｘ（ｎ）として得られる。

従って、ｙ（ｎ）−ｘ（ｎ）をｕ（ｎ）と表すと、このε−フィルタは、入力信号ｘ（ｎ）に対して、その振幅−周波数空間を図５（ａ）に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅−周波数空間を図５（ｂ）に示すように分けるものに相当する。

図６は、顔画像処理システムのε−フィルタバンクの構成を示す図である。上記のようなε−フィルタをフィルタバンク状に組み合わせると、その入力信号ｘ（ｎ）をその振幅−周波数に応じて複数の領域に分割することができる。従って、これをε−フィルタバンク１１Ａとして、図６に示すように構成することができる。ここで、図６に示すように、ε−フィルタバンク１１Ａは、線形低域通過フィルタとε−フィルタとを組み合わせた構造からなる。

このε−フィルタバンク１１Ａにおいて、Ｌは線形低域通過フィルタであり、Ｅ１，Ｅ２，Ｅ３はε−フィルタである。各フィルタは二次元フィルタとし、ｎは二次元平面における画素の位置（ｉ，ｊ）を表すものとする。なお、各出力信号ｙ１（ｎ）〜ｙ５（ｎ）の総和は入力信号ｘ（ｎ）に等しく、線形低域通過フィルタＬとε−フィルタＥ２の窓サイズは等しくｗ０とし、更にε−フィルタＥ１，Ｅ３の窓サイズも等しくｗ１とする。また、各ε−フィルタＥ１，Ｅ２，Ｅ３の値ε（これを順にε１，ε２，ε３とする。）は、ε１＞ε２＞ε３の関係にあるとする。

図７は、顔画像処理システムのε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε−フィルタバンク１１Ａは、入力信号ｘ（ｎ）の振幅−周波数空間を図７に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。

また、顔のベース部分（例えば、頬など）は低周波数信号として表され、顔のしわ（特に、小じわ）部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。

そこで、本実施形態に係る顔画像処理システムにおいては、ε−フィルタバンク１１Ａは、入力信号ｘ（ｎ）を図７に示すような振幅−周波数空間にて分割する。すなわち、ε−フィルタバンク１１Ａは、顔の構造成分を示す第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）と、顔の肌のしみ成分を示す第３の成分ｙ３（ｎ）と、顔の肌のしわ成分を示す第４の成分ｙ４（ｎ）と、顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）とに分割する。

そして、顔の構造成分を示す第１及び第２の成分（すなわち、ｙ１（ｎ），ｙ２（ｎ））並びに顔の肌の自然な凹凸成分を示す第５の成分（すなわち、ｙ５（ｎ））を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分（すなわち、第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ））のみを除去する。これにより、まず、ε−フィルタバンク１１Ａを通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。

具体的には、図６に示したε−フィルタバンク１１Ａにおいて、線形低域通過フィルタＬ及びε−フィルタＥ１，Ｅ２，Ｅ３の窓サイズｗ０，ｗ１と、ε−フィルタＥ１，Ｅ２，Ｅ３のεの値ε１，ε２，ε３とを適切な値に設定する。すると、図７に示すように、第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）を顔の主要部分及びベース部分とし、第３の成分ｙ３（ｎ）を肌のしみ成分及び第４の成分ｙ４（ｎ）を肌のしわ成分とし、第５の成分ｙ５（ｎ）を肌の自然な凹凸成分とすることができる。

ここで、窓サイズｗ０は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズｗ１は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε−フィルタＥ１のεの値ε１は、除去すべき肌のしわ成分の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ２のεの値ε２は、肌のしみ成分の振幅（ピーク−ピーク）の最大値程度、及びε−フィルタＥ３のεの値ε３は、肌の自然な凹凸成分の振幅（ピーク−ピーク）の最大値程度とする。

このように構成されたε−フィルタバンク１１Ａにおいては、上述したように入力信号ｘ（ｎ）から顔の肌のしみ及びしわ成分を示す第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ）が除去される。そして、出力される第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、特定の成分である顔の構造成分を示す第１の成分ｙ１（ｎ）のみがＳＩＧＭ処理部１２Ａに入力される。

なお、例えば図２に示す顔構造成分ｕ（ｎ）として、例えば上記の顔の構造成分を示す第１の成分ｙ１（ｎ）のような顔の大まかな構造を表す成分を採用する。そして、これに対して非線形勾配処理部１２（例えば、ＳＩＧＭ処理部１２Ａ）にてコントラスト強調を行い、その後ε−フィルタバンク１１Ａにより除去された成分以外の成分の合成を行うと、顔画像の明るい箇所と暗い箇所の違いが際立ち、顔の陰影を強調することが可能となる。

これにより、ε−フィルタバンク１１Ａを通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、ＳＩＧＭ処理部１２Ａにて強調されて彫りの深い顔立ちを生成することができる。その結果、頬の影が強調されて小顔化されて見える顔画像を生成することができる。

ここで、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分ｕ（ｎ）を次式（４）のように変換する。

なお、式（４）中ａは［０，１］のパラメータで、ａが大きい程コントラスト強調が強く施され、ａが０ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分ｕ（ｎ）に対して次に説明する非線形関数Ｆを用いることにより施すことができる。

図８及び図９は、顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。ＳＩＧＭ処理部１２Ａは、非線形勾配処理として、具体的には第１の成分ｙ１（ｎ）に対してコントラスト強調を行う。このコントラスト強調には、図８及び図９に示すような強調関数の一種である非線形関数Ｆを用いることができる。

また、この非線形関数Ｆとしては、例えばシグモイド関数ＳＩＧＭを用いることができる。そして、コントラスト強調における輝度の最大値を２５５とすると、第１の成分ｙ１（ｎ）を次式（５）によりｙ１’（ｎ）に置き換える。

ここで、シグモイド関数ＳＩＧＭとしては、具体的には、例えば次式（６）のようなものを用いることができる。

こうして、ＳＩＧＭ処理部１２Ａにて非線形勾配処理が施された第１の成分ｙ１’（ｎ）と、ε−フィルタバンク１１Ａにより抽出された第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）とを、加算器１３にて加算する。これにより、画像情報処理部１０からの出力信号ｙ１’（ｎ）＋ｙ２（ｎ）＋ｙ５（ｎ）を得ることができる。

なお、上記式（６）のβは、ＳＩＧＭ（ｙ）がｙ＝０で０、ｙ＝２５５で２５５に近くなるような値として１／３０に設定しておく。また、非線形関数Ｆは、例えば図８に示すような曲線形のものであっても、輝度が高いところについては顔のテカリを防止するために一部直線形とするなど、上記の他にも種々の非線形関数を用いることができる。

画像情報処理部１０の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見える顔画像が生成される。しかし、このままでは画像全体としては多少ぼけた感じの顔画像となってしまう。このため、本実施形態に係る顔画像処理システムでは、更に強調処理部２０において、輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする（例えば、強調度合いのパラメータをγとした）処理が行われる。

そして、各処理において用いられる上述した窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３、αやγなどの各パラメータは、例えば公知の遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）を用いたインタラクティブ進化計算（ＩＥＣ）により最適値が設定される。

ここで、アンシャープマスキングは、例えば強調処理部２０への入力信号ｙ（ｉ）（ｊ）に対して出力信号ｚ（ｉ）（ｊ）を得ることにより行われ、このときの画像強調フィルタとしては、次式（７）で表すものを用いることができる。なお、式（７）中のγは強調の程度を決めるパラメータである。

図１０Ａは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図１０Ｂ及び図１０Ｃは、顔画像処理システムの顔画像処理による結果の顔画像を示す図である。なお、顔画像処理に用いられた原画像の大きさは２５６×２５６のＲＧＢ各８ビットのカラー画像であり、出力された結果もカラー画像であるが、図１０Ａ〜Ｃにおいてはカラー画像をモノクロ画像に変更している。

図１０Ａは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図１０Ｂは、ε−フィルタバンク１１Ａにより抽出された第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）に対し、強調処理部２０にて輪郭強調処理を施した結果の顔画像を示している。更に、図１０Ｃは、本実施形態にて説明したように非線形勾配処理が施された第１の成分ｙ１’（ｎ）と第２及び第５の成分とを加算したものに、強調処理部２０にて輪郭強調処理を施した結果の顔画像を示している。

図１０Ｂに示すように、第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のすべてに対して輪郭強調を施したものは、図１０Ａに示す入力顔画像よりは客観的に奇麗に見える結果となった。しかし、印象としては全体が幾分はっきりし過ぎて場合によってはきつい感じに見られる顔画像となった。すなわち、図１０Ｂに示す顔画像では、画像全体の輪郭強調はされているが、上述したような顔の陰影は強調されていない。

これに対し、図１０Ｃに示すように、第１の成分ｙ１（ｎ）に対してコントラスト強調を行い陰影を強めた後に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図１０Ｂに示すものよりも柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。

このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成することができる。これにより、実際の顔画像（入力顔画像）よりもより奇麗に見える顔画像を出力することができる。

図１１は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図１２は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。

この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ（図示せず）に実行させることにより実現する。このコンピュータは、ＣＰＵやＨＤＤ等の各種装置を備える本体と、出力手段として情報を表示画面上に表示するディスプレイと、入力手段として受け付けられた情報をＣＰＵ等に入力する入力インタフェース（入力Ｉ／Ｆ）及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。

図１１に示すように、まず、図１０Ａに示すような入力顔画像を表す顔画像情報（画像データ）を入力Ｉ／Ｆを介して入力する（ステップＳ１００）。次に、入力された顔画像情報に基づき、画像情報処理部１０及び強調処理部２０によって複数の初期候補顔画像を生成し（ステップＳ１０２）、これらの候補顔画像をディスプレイ上に表示する（ステップＳ１０４）。ここで、上述したようなｗ０，ｗ１，ε１，ε２，ε３，α，γなどの各パラメータの値の組をランダムにＭ通り作成し、各パラメータの値の組毎に１つの処理画像を求める。結果的にＭ個の出力画像（候補顔画像）が表示される。

このとき、顔画像処理システムの利用者（ユーザ）は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。

従って、コンピュータは、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する（ステップＳ１０６）。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合（ステップＳ１０６のＹｅｓ）は、その顔画像を表す顔画像情報を画像情報処理部１０及び強調処理部２０にて生成したときの各種パラメータを基準パラメータとして決定し（ステップＳ１０８）、記憶手段に記憶して顔画像情報を出力し（ステップＳ１１０）、本フローチャートによる一連の処理を終了する。なお、ステップＳ１１０における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。

一方、上記ステップＳ１０６にて、出力顔画像が決定されなかった場合（ステップＳ１０６のＮｏ）は、ＧＡを用いたＩＥＣを行って（ステップＳ１２０）次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して（ステップＳ１３０）、上記ステップＳ１０４に移行し、以降の処理を繰り返す。

上記ステップＳ１２０のＩＥＣは、図１２に示すように行われる。すなわち、上記ステップＳ１０６にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータは、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け（ステップＳ１２２）、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理（ステップＳ１２４）及び突然変異処理（ステップＳ１２６）を行う。

ここで、顔画像処理システムにおけるＧＡを用いたＩＥＣについて簡単に説明する。このＩＥＣにおいては、図示は省略するが、まず前提として、例えば上記窓サイズｗ０，ｗ１やεの値ε１，ε２，ε３、その他の各種パラメータを連結して二進数表現する。そして、連結したものを１つの染色とし、その染色体が１つの個体を表すものとする。

次に、この個体に対してＧＡを適用する。具体的には、例えばディスプレイ上に表示されたＭ個の候補顔画像（ステップＳ１０４）の中から、例えばユーザが好ましいと思うものをＳ個選択して貰う（例えば、ステップＳ１０６のＮｏ及びステップＳ１２２）。そして、選択されたＳ個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を再び連結して二進数表現の染色体とみなす。そして、選択されたＳ個の個体に対して交叉処理（ステップＳ１２４）を行い、Ｔ１個の個体を新たに生成する。更に、選択されたＳ個の個体と生成されたＴ１個の個体に対し突然変異処理（ステップＳ１２６）を行い、新たにＴ２個の個体を生成する。ここで、Ｓ＋Ｔ１＋Ｔ２はＭに等しいとする。

これら交叉処理及び突然変異処理で得られたＳ＋Ｔ１＋Ｔ２個の個体がそれぞれ表す各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を用いて顔画像を表す顔画像情報を処理する。これにより、Ｓ＋Ｔ１＋Ｔ２個の顔画像出力（すなわち、候補顔画像）が得られることとなる。

こうして得られたＳ＋Ｔ１＋Ｔ２個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をＳ個選択する。

その後、再びＳ個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される（ステップＳ１０６のＹｅｓ）まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。

以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。

なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、ＨＤ、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。

また、図示は省略するが、上述した顔画像処理システムにおいて、例えば画像情報処理部１０の前段に、入力顔画像情報の輝度や色情報（例えば、Ｒ，Ｇ，Ｂ成分やＹ信号など）が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、画像情報処理部１０や強調処理部２０は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。

１０ 画像情報処理部
１１ フィルタ処理部
１１Ａ ε−フィルタバンク
１２ 非線形勾配処理部
１２Ａ ＳＩＧＭ処理部
１３ 加算器

Claims (8)

1. 入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するε−分離型非線形フィルタバンクと、
   前記ε−分離型非線形フィルタバンクによって抽出された第１の成分に対して非線形勾配処理を施してコントラスト強調を行う非線形処理手段と、
   前記非線形処理手段によって非線形勾配処理が施された第１の成分と、前記ε−分離型非線形フィルタバンクによって抽出された第２及び第５の成分とから生成された顔画像情報に基づく出力顔画像を出力する出力手段とを備え、
   前記顔画像情報は、前記ε−分離型非線形フィルタバンク及び前記非線形処理手段を介して複数生成され、
   前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
   前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
   前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
   前記非線形処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
   ことを特徴とする顔画像処理システム。
2. 前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた
   ことを特徴とする請求項１記載の顔画像処理システム。
3. 前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行う
   ことを特徴とする請求項１又は２記載の顔画像処理システム。
4. 前記非線形処理手段は、非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する
   ことを特徴とする請求項１〜３のいずれか１項記載の顔画像処理システム。
5. 前記ε−分離型非線形フィルタバンクの前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、
   前記ε−分離型非線形フィルタバンク、及び前記非線形処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
   ことを特徴とする請求項１〜４のいずれか１項記載の顔画像処理システム。
6. 前記出力手段は、前記ε−分離型非線形フィルタバンク及び前記非線形処理手段を介して出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部が抽出された顔画像情報とを合成して前記出力顔画像を出力する
   ことを特徴とする請求項５記載の顔画像処理システム。
7. ε−分離型非線形フィルタバンク、非線形処理手段、出力手段、入力手段、及び演算手段を備えた顔画像処理システムにおける顔画像処理方法であって、
   入力された顔画像を構成する顔画像情報を前記ε−分離型非線形フィルタバンクによって振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、
   前記抽出された第１の成分に対して前記非線形処理手段によって非線形勾配処理を施してコントラスト強調を行う工程と、
   前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とから顔画像を表す顔画像情報を生成する工程と、
   前記生成された顔画像情報に基づく出力顔画像を前記出力手段によって表示画面上に複数出力する工程と、
   前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを前記入力手段により受け付ける工程と、
   前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、前記演算手段が、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する工程とを備え、
   前記非線形処理を施す工程は、前記非線形処理手段が、前記設定されたパラメータに基づく顔画像情報の生成を、前記出力顔画像の決定指示が受け付けられるまで繰り返し行われる
   ことを特徴とする顔画像処理方法。
8. ε−分離型非線形フィルタバンク、非線形処理手段、出力手段、入力手段、及び演算手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、
   前記コンピュータに、
   入力された顔画像を構成する顔画像情報を前記ε−分離型非線形フィルタバンクによって振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、
   前記抽出された第１の成分に対して前記非線形処理手段によって非線形勾配処理を施してコントラスト強調を行うステップと、
   前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とから顔画像を表す顔画像情報を生成させるステップと、
   前記生成された顔画像情報に基づく出力顔画像を前記出力手段によって表示画面上に複数出力させるステップと、
   前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを前記入力手段により受け付けるステップと、
   前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、前記演算手段が、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定するステップとを実行させ、
   前記非線形処理を施させるステップは、前記非線形処理手段が、前記設定されたパラメータに基づく顔画像情報の生成を、前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
   ことを特徴とする顔画像処理プログラム。