JP6667739B1 - 画像処理装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

複数の感性語の各々について、当該感性語に対応する特徴情報を記憶しておき、入力画像の肌領域の肌質感を表す特徴量を算出し、算出された特徴量及び記憶されている特徴情報に基づき、さらに操作者からの指示に応じて、肌領域が所望の肌質感を有するように補正するための補正情報を生成し、生成された補正情報に基づいて、入力画像の肌領域の肌質感を補正する。操作者の希望に応じて肌質感を改善するための補正を短時間で行うことが可能になる。

Description

本発明は、画像処理装置及び方法に関する。本発明は特に、感性語で表現される肌質感を改善するための画像の補正に関する。本発明はまたプログラム及び記録媒体に関する。

スマートフォン、ＰＣ（パーソナルコンピュータ）等の情報処理機能を有する端末の処理性能の向上或いは機能の充実に伴い、これらの端末で撮像画像の補正を行うことが可能となっている。撮像画像の補正においては、肌質感の改善のための補正が望まれることがある。

特許文献１に記載された画像処理方法では、複数の感性語に対する標準者の感性に基づく感性調整値と、該感性調整値に対応する色調整パラメータを記憶し、利用者個人の感性に基づいて感性調整値を算出し、記憶されている色調整パラメータの中から、上記の算出結果に対応する色調整パラメータを選択して、調整を行っている（例えば、特許文献１参照）。

特開２００５−２０３４４号公報

特許文献１の技術を、肌質感の改善のための補正に適用する場合、標準者によって求められた感性語と複数の色調整パラメータとを対応させ、入力画像を補正することになる。
このような色調整パラメータを用いて、所望の肌質感になるように調整を行う場合、調整に時間が掛るという問題がある。

本発明では、操作者が希望するように肌質感を改善するための補正が短時間で行えるようにすることにある。

本発明の画像処理装置は、
複数の感性語の各々について、当該感性語に対応する特徴情報を記憶する特徴情報記憶部と、
入力画像の肌領域の肌質感を表す特徴量を算出する特徴量算出部と、
前記特徴量算出部で算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成する補正情報生成部と、
前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正する画像補正部と
を備え、
前記特徴情報記憶部に記憶されている前記特徴情報は、前記感性語に対応する肌領域の色の平均値を表す情報と色の分布特性を表す情報とを含み、
前記色の平均値を表す情報が、色空間において、前記色の平均値の範囲のうちの、前記感性語で表される肌質感が最も小さい点を示す情報と、前記感性語で表される肌質感が最も大きい点を示す情報とを含む。

本発明によれば、操作者が希望するように肌質感を改善するための補正を短時間で行うことが可能になる。

本発明の実施の形態の画像処理装置を画像表示部及び操作入力部とともに示すブロック図である。 顔の肌領域を示す図である。 特徴情報記憶部が記憶する、各感性語に対応する特徴量を示す表である。 一つの感性語に対応する、色の平均値の、色空間における範囲の一例を示す図である。 感性語の一つに対応する、色の平均値の色空間における範囲を示す図である。 図１の補正情報生成部の構成例を示すブロック図である。 画像の肌質感の調整のために用いられるＧＵＩ画像の一例を示す図である。 （ａ）は図７の平均値調整用スライドバーの具体例を示す図であり、（ｂ）及び（ｃ）は、スライドバー上のマーカ及びスライダーの位置に対応する色空間内の位置を示す図である。 入力画像の肌領域の色の平均値と、ＧＵＩ画像のスライドバー上での位置との関係、及びスライダーの移動と、補正画像の肌領域の色の平均値の変化との関係の一例を示す図である。 入力画像の肌領域の色の平均値と、ＧＵＩ画像のスライドバー上での位置との関係、及びスライダーの移動と、補正画像の肌領域の色の平均値の変化との関係の他の例を示す図である。 図７の分布特性調整用スライドバーの具体例を示す図である。 ２つの感性語に対応する肌質感の変更のための補正ベクトルの合成を示す図である。 画像の輝度の中央値を変えるための階調変換のための変換特性の一例を示す曲線図である。 画像の輝度の分布の尖度を変えるための階調変換のための変換特性の一例を示す曲線図である。 図１の画像処理装置の機能を実現するコンピュータを、画像表示部及び操作入力部とともに示すブロック図である。 図１５で示されるコンピュータで、実施の形態の画像処理装置における処理を実施する場合の処理の手順を示すフローチャートである。

図１は、本発明の実施の形態の画像処理装置２を画像表示部４及び操作入力部６とともに示すブロック図である。
図示の画像処理装置２は、肌領域抽出部１０と、特徴量算出部２０と、特徴情報記憶部３０と、補正情報生成部４０と、画像補正部５０と、表示制御部６０とを有する。

画像処理装置２は、入力画像Ｄｉを読み込み、読み込んだ入力画像Ｄｉの肌領域の肌質感の補正を行うものである。ここで言う肌領域は、例えば顔の肌領域である。入力画像Ｄｉは、例えばカメラで人の顔を撮像することで得られた画像である。

画像処理装置２は、入力画像Ｄｉを、肌領域の肌質感を表す特徴量が、所望の値に近づくように補正し、補正された画像Ｄｏを出力する。画像表示部４は、モニターで構成されており、補正された画像の表示に用いられる。
操作入力部６は、操作者が補正に関する指示を入力するために用いられる。

補正される肌質感は、感性語で表される肌質感である。肌質感を表す感性語としては、例えば、「やわらかい肌」、「血色の良い肌」及び「透明感のある肌」がある。

操作者が操作入力部６を用いて感性語を入力すると、画像処理装置２は当該感性語に対応する特徴量と、入力画像における肌質感を表す特徴量との合致度（逆に言えば差異の程度）を画像表示部４に表示させる。表示に応じて、操作者が補正の要否を判断して、補正が必要なときは、操作入力部６を用いて補正を指示する。補正を指示する場合には、補正の程度を指定する。画像処理装置２は、補正の指示及び補正の程度の指定に応じて画像を補正する。
上記の合致度の表示、補正の指示及び補正の程度の指定は、例えば画像表示部４に表示され操作入力部６により操作されるＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）画像を利用して行い得る。

画像表示部４に表示されるＧＵＩによる操作入力は、例えば、マウス或いはキーボードで行われる。画像表示部４がタッチパネル付きのディスプレイで構成されている場合、ＧＵＩによる操作入力は、タッチパネルにより行われる。これらの場合、マウス、キーボード、或いはタッチパネルが操作入力部６を構成する。

肌質感を表す特徴量としては、本実施の形態では、肌領域の色の平均値と、肌領域の色の分布特性とが用いられる。

肌領域が顔の肌領域である場合、肌領域抽出部１０は、人の顔を含む入力画像から、顔の肌領域を抽出する。
例えば図２に示される画像２０１が入力された場合、顔の肌領域２０４は頭部２０２の内、目２１１、眉毛２１２、唇２１３及び髪２１４を除く領域である。
即ち、頭部２０２内の目２１１、眉毛２１２、唇２１３及び髪２１４を検出し、頭部２０２から、検出された目２１１、眉毛２１２、唇２１３及び髪２１４の部分を除いた部分を肌領域２０４として抽出する。
代わりに、頭部２０２から肌色の領域を抽出することで、肌領域２０４を抽出することとしても良い。

肌領域の抽出においては、肌領域の全体ではなく一部のみを抽出しても良い。例えば額２０５、頬２０６及び顎２０７のいずれか１つ以上を顔の肌領域として抽出しても良い。またこれらの領域のいずれかの、一部のみを抽出しても良い。
一部のみを抽出する場合、抽出すべき領域をＧＵＩで指定できるようにしても良い。

特徴量算出部２０は、肌領域抽出部１０で抽出された肌領域の画素値に基づいて、肌質感を表す特徴量を算出する。画素値は、例えば色成分値、即ちＲ値、Ｇ値及びＢ値で構成される。特徴量としては、例えば抽出された肌領域の色の平均値と、肌領域の色の分布特性とが算出される。

肌領域の色の平均値とは、抽出した肌領域の各画素の色を示す値の、抽出した肌領域の全体にわたる平均値である。
色の平均値としては、例えば、Ｌ^＊ａ^＊ｂ^＊表色系のａ^＊値の平均値及びｂ^＊値の平均値が用いられる。
入力画像の画素値が色成分値、即ち、Ｒ値、Ｇ値及びＢ値で構成される場合、Ｌ^＊ａ^＊ｂ^＊値は、抽出された肌領域の各画素のＲ値、Ｇ値及びＢ値からの変換で得られる。

肌領域の色の分布特性は、抽出した肌領域の各画素の色を示す値の、抽出した肌領域の全体にわたる分布特性である。

色の分布特性としては、輝度の分布特性が用いられ、輝度の分布特性としては、例えば輝度ヒストグラムの特性が用いられる。
入力画像が色成分値、即ちＲ値、Ｇ値及びＢ値で構成される場合、輝度（Ｙ値）は、例えば、各画素のＲ値、Ｇ値及びＢ値を加重加算することで得られる。

輝度ヒストグラムの特性を表す指標としては、例えば、輝度ヒストグラムの中央値、平均値、最頻値、歪度及び尖度の少なくとも一つが用いられる。

輝度の分布特性を表す指標としては、上記の例以外のものを用いても良い。要するに、輝度の分布の仕方、例えば分布の広がりの程度、ピークの位置等を把握できるものであれば良い。

色の分布特性としては、輝度の分布特性の代わりにそれぞれの成分値、即ちＲ値、Ｇ値及びＢ値の分布特性を用いても良い。

特徴情報記憶部３０は、複数の感性語の各々について、当該感性語に対応する特徴情報をデータベースとして記憶している。
記憶されている特徴情報の例を図３に示す。
図３は、複数の感性語の各々について対応する特徴情報が表形式で記憶されることを示す。感性語の例としては、「やわらかい肌」、「血色の良い肌」及び「透明感のある肌」が記入されている。

感性語に対応する特徴情報とは、平均的な利用者に当該感性語で表現されていると受け取られる肌質感を表す情報、即ちそのような肌質感を持つ肌領域の特徴を表す情報である。
特徴情報としては、特徴量算出部２０で算出される特徴量に対応する情報が記憶されている。
例えば、上記のように、特徴量算出部２０で、入力画像の肌領域の色の平均値と、肌領域の色の分布特性とを算出する場合、特徴情報記憶部３０は、感性語に対応する肌領域の色の平均値を表す情報と、肌領域の色の分布特性を表す情報とを記憶している。

色の平均値を表す情報としては、色の平均値の範囲が記憶される。
平均値の範囲は、色を表す空間内において多次元の拡がりを持つが、本実施の形態では、上記の範囲のうち、感性語に対応する肌質感が最も弱い点と最も強い点とが記憶されている。
例えば、色を表す空間がａ^＊ｂ^＊空間である場合、図４に示すように、肌質感に対応する平均値の範囲Ｈａは二次元の拡がりを持つが、本実施の形態では、該範囲のうち、感性語に対応する肌質感の程度が最も弱い点Ｐと最も強い点Ｑとが記憶されている。以下では便宜上、最も弱い点Ｐを最小点と言い、最も強い点Ｑを最大点と言う。

特徴情報記憶部３０は、肌質感を表す感性語ごとに、最小点Ｐの座標（ａ^＊ _ｐ，ｂ^＊ _ｐ）と最大点Ｑの座標（ａ^＊ _ｑ，ｂ^＊ _ｑ）を記憶する。
図３は、「やわらかい肌」という感性語に対応する色の範囲の最小点Ｐの座標（ａ^＊ _ｐ，ｂ^＊ _ｐ）及び最大点Ｑの座標（ａ^＊ _ｑ，ｂ^＊ _ｑ）がそれぞれ（１５，２０）及び（１３，２４）であることを示す。
図５は、図３に示される、「やわらかい肌」という感性語に対応する色の範囲の最小点Ｐの座標（ａ^＊ _ｐ，ｂ^＊ _ｐ）及び最大点Ｑの座標（ａ^＊ _ｑ，ｂ^＊ _ｑ）を示す。

色の分布特性を表す特徴情報としては、各感性語に対応する分布特性を表す指標の値の範囲内の代表的な値が記憶されている。

例えば、色の分布特性としては輝度の分布特性、例えば、輝度ヒストグラムの特性が用いられ、輝度ヒストグラムの特性を表す指標としては、輝度ヒストグラムの中央値、平均値、最頻値、歪度及び尖度の少なくとも一つが用いられる。
感性語に対応する色について述べたのと同様に、感性語に対応する上記の指標値の範囲も、ある拡がりを持つが、該範囲の中の代表的な値、例えば上記範囲の中心或いは重心に位置する値が記憶されている。

上記の指標が２つ以上用いられる場合、２つ以上の指標の代表的な値の組合せが記憶されている。

感性語から受ける印象は、人によって異なる。
特徴情報記憶部３０に記憶される情報は、画像処理装置２の多数の利用者の平均的な感性に基づいて定められる。

即ち記憶される情報の決定、及びそれによるデータベースの作成に当たっては、感性語と、肌質感との関係につき、画像処理装置２を利用する可能性のある多数の人に評価をしてもらい、その評価結果が利用される。
例えば、異なる画像を複数用意して、各感性語の各々に対応する画像を選択してもらうこととしても良い。選択に当たり一対比較評価を行なってもらっても良い。
記憶される情報の決定を機械学習、例えば深層学習により行っても良い。

感性語の受け取られ方が利用者層によって異なる場合がある。その場合、画像処理装置の利用が見込まれる利用者層（ターゲットとする利用者層）の感覚に適合するように、データベースを作成するのが望ましい。複数の異なる利用者層による利用が見込まれる場合には、利用者層毎に異なるデータベースを作成しておき、各利用者が、どの層に属するかに応じてデータベースを選択して使用するようにしても良い。

補正情報生成部４０は、特徴情報記憶部３０に記憶されている、複数の感性語のうちの少なくとも一つの感性語に対応する特徴情報と、特徴量算出部２０で算出された、入力画像の肌領域の肌質感を表す特徴量との関係を操作者に知らせ、操作者からの指示に応じて補正情報を生成する。
例えば複数の感性語のうちのいずれかを操作者に選択させ、選択された感性語に対応する特徴情報と、算出された特徴量との関係を操作者に知らせ、操作者に補正を行うか否かを決定させ、補正を行う場合には、補正の程度を決定させる。

補正情報生成部４０は、図６に示すように、案内情報生成部４１と、感性語選択部４２と、平均値設定部４３と、分布特性設定部４４とを有する。

案内情報生成部４１は、案内情報を生成する。案内情報としては、例えば、最初に初期案内情報が生成され、その後、操作者による操作入力に応じて初期案内情報に対する変更或いは追加が行われる。初期案内情報は、特徴情報記憶部３０に記憶されている感性語を操作者に知らせ、そのような感性語のうちの少なくとも一つを操作者に選択させるための情報である。操作者による操作入力が行われると、操作入力による選択或いは設定を示す情報、或いは操作入力に応じて次の操作を促す情報が追加され、或いはそれまで出力されていた情報の代わりに出力される。このように、案内情報は、操作入力に応じて更新される。

感性語選択部４２は、特徴情報記憶部３０に記憶されている複数の感性語のうちの一つ以上の感性語を操作者に選択させる。
感性語が選択されると、案内情報生成部４１は、選択された感性語を示すとともに、選択された感性語に対応する特徴情報と、特徴量算出部２０で算出された特徴量との関係、即ち合致度を操作者に知らせ、操作者に補正の要否及び補正の程度の決定を促す情報を生成する。

平均値設定部４３は、選択された感性語の各々について、補正後の画像の色の平均値を操作者に設定させる。補正後の画像の色の平均値の設定は、入力画像の特徴量と、記憶されている感性語に対応する特徴情報を参照しながら行われる処理である。
平均値の設定が行われると、案内情報生成部４１は、設定されている平均値を示す情報を生成する。

分布特性設定部４４は、選択された感性語の各々について、補正後の画像の色の分布特性の、感性語に対応して記憶されている色の分布特性に対する類似度を操作者に設定させる。類似度の設定は、記憶されている感性語に対応する特徴情報で示される分布特性との類似度の設定であり、分布特性の設定であるとも言える。
分布特性の設定、即ち分布特性の類似度の設定が行われると、案内情報生成部４１は、設定されている分布特性即ちその類似度を示す情報を生成する。

分布特性の類似度は、分布特性を表すために用いられている指標の差が小さいほど、大きい値を持つ。例えば、指標の差の絶対値の逆数、或いは指標の差の２乗の逆数が類似度として用いられる。分布特性を表すために２つ以上の指標が用いられている場合には、当該２つ以上の指標の差の絶対値の逆数の加重加算値、或いは当該２つ以上の指標の差の２乗の逆数の加重加算値が類似度として用いられる。

補正後の画像の色の平均値の設定及び分布特性の設定は、補正の程度の設定であるとも言える。

このような処理のための操作者に対する情報（案内情報）の提示、及び操作者による操作入力は、例えば、画像表示部４に表示され操作入力部６により操作されるＧＵＩ画像を利用して行われる。その場合、案内情報生成部４１は、ＧＵＩ画像を生成する。

ＧＵＩ画像の例を図７に示す。
図７には、それぞれ感性語を表す文字列Ｇａと、それぞれの文字列に対応して設けられた複数のチェックボックスＧｂ、複数の平均値調整用スライドバーＧｃ、及び複数の分布特性調整用スライドバーＧｄとがＧＵＩ部品として表示されている。
感性語の例としては「やわらかい肌」、「血色の良い肌」、及び「透明感のある肌」が示されている。

各感性語は、当該感性語に対応するチェックボックスＧｂにチェックマークを入力することで選択される。
操作者は、感性語を一つだけ選んでも良く、複数個を選んでも良い。

感性語選択部４２は、チェックボックスＧｂへのチェックマーク入力に応じて、選択された感性語を平均値設定部４３及び分布特性設定部４４に通知し、平均値設定部４３及び分布特性設定部４４での設定を可能にする。

図７の例では、予め複数の感性語Ｇａが表示されており、その中から、選択された感性語に対応するチェックボックスＧｂにチェックマークが入れられるものとしている。特徴情報記憶部３０に特徴情報が保存されている感性語のすべてを一度に画面に表示できない場合には、画面をスクロールすることにより、感性語が順次表示されるように構成されていても良い。

各感性語に対応するスライドバーＧｃ及びスライドバーＧｄによる入力は、当該感性語が選択された状態でのみ、行える。従って各感性語が選択された状態でのみ、スライドバーＧｃ及びスライドバーＧｄを表示するようにしても良い。

平均値調整用スライドバーＧｃは、色の合致度を示すものである。図８（ａ）に示される例では、各平均値調整用スライドバーＧｃの左端Ｇｃｐ及び右端Ｇｃｑは、それぞれ該当する感性語に対応する色の範囲の最小点Ｐ及び最大点Ｑに対応する。
スライドバーＧｃ上のマーカＧｃｉは、入力画像の色の平均値に対応する位置を示す。
スライダーＧｃｓは、所望の平均値（色の平均値）の指定に用いられる。操作者による平均値の指定が行われる前の状態（初期状態）では、スライダーＧｃｓは、マーカＧｃｉと同じ位置に表示されている。

平均値設定部４３は、スライダーＧｃｓの位置に対応する色の平均値を示す情報を画像補正部５０に出力する。

入力画像の色の平均値が、色空間内において、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線上にあれば、当該直線上の位置に対応する位置にマーカＧｃｉを表示すれば良い。
入力画像の色の平均値が、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線上にない場合には、該平均値を上記の直線に投影した位置に対応する位置にマーカＧｉを表示すれば良い。
投影は、例えば、上記の直線に垂直な直線に沿って行われる。

例えば、図９に示すように、入力画像の平均値の色空間内における位置Ｒ（この位置を「点」という場合がある）が、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にはないものとする。その場合、平均値の点Ｒを通り、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑと、該直線Ｌｐｑに垂直な線Ｌｒｎとの交点Ｓが、上記の「垂直な直線に沿って投影」した点である。

マーカＧｃｉは、上記の点Ｓの位置に対応する位置に表示される。ここでマーカＧｃｉの位置が、色空間内の位置Ｓに対応するとは、マーカＧｃｉから左端Ｇｃａまでの距離とマーカＧｃｉから右端Ｇｃｂまでの距離との比が、位置Ｓから最小点Ｐまでの距離と位置Ｓから最大点Ｑまでの距離との比に等しいことを意味する。図８（ｂ）には、左端Ｇｃａ及び右端Ｇｃｂが、最小点Ｐ及び最大点Ｑに整列するように作図した場合に、マーカＧｃｉの位置が位置Ｓに整列することを示している。

補正後の色の平均値の指定は、スライダーＧｃｓによって行われる。スライドバーＧｃ上で、スライダーＧｃｓをより右に位置させるほど、補正後の画像における肌領域の色の平均値は、対応する感性語で表される肌質がより強いものとなる。

上記のように、垂直な線に沿う投影が利用されている場合には、補正後の画像における肌領域の色の平均値は、スライダーＧｃｓの移動に伴い、図９に示すように、入力画像の肌領域の色の平均値の点Ｒを通り、上記の最小点Ｐと最大点Ｑを結ぶ直線Ｌｐｑに平行な直線Ｌｒｐに沿って移動する。
例えば、スライドバーＧｃ上において、スライダーＧｃｓをある位置に設定したとすると、当該位置に対応する色空間内の、直線Ｌｐｑ上の位置Ｕが指定され、これに伴い直線Ｌｒｐ上の位置Ｖが指定される。

位置Ｕは、最小点Ｐまでの距離と最大点Ｑまでの距離の比が、スライダーＧｃｓから左端Ｇｃａまでの距離とスライダーＧｃｓから右端Ｇｃｂまでの距離に等しい位置である。
位置Ｖは、位置Ｕを通り、直線Ｌｐｑに垂直な線Ｌｕｎが直線Ｌｒｐとが交わる位置である。
図８（ｃ）には、直線Ｌｒｐ上の位置が、図８（ｂ）の直線Ｌｒｑ上の対応する位置と整列するように示してある。
このように、スライダーＧｃｓの位置決めにより、色空間内の対応する位置Ｖが補正後の平均値として指定される。

補正は色空間内において平均値を点Ｒから点Ｖに移動させる処理であり、点Ｒから点Ｖに向かうベクトルＨｖｒを補正ベクトルと言う。

上記の例では、入力画像の色の平均値が、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にない場合に、該平均値の上記の直線への投影が、上記の直線Ｌｐｑに垂直な直線に沿って行われる。
代わりに、上記の投影を上記の最大点Ｑを中心とする円弧に沿って行っても良い。

例えば、図１０に示すように、入力画像の平均値の色空間内における位置Ｒが、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にないものとする。その場合、最大点Ｑを中心とし、点Ｒを通る円弧Ａｒと、直線Ｌｐｑとの交点Ｔが、上記の「円弧に沿って投影」した点である。

マーカＧｃｉは、上記の点Ｔの位置に対応する位置に表示される。マーカＧｃｉの位置が、色空間内の位置Ｔに対応するとは、マーカＧｃｉから左端Ｇｃａまでの距離とマーカＧｃｉから右端Ｇｃｂまでの距離との比が、位置Ｔから最小点Ｐまでの距離と位置Ｔから最大点Ｑまでの距離との比に等しいことを意味する。

上記の円弧に沿う投影が利用されている場合には、補正後の画像における肌領域の色の平均値は、スライダーＧｃｓの移動に伴い、図１０に示すように、入力画像の肌領域の色の平均値Ｒと最大点Ｑとを結ぶ直線Ｌｒｑに沿って移動する。
例えば、スライドバーＧｃ上において、スライダーＧｃｓをある位置に設定したとすると、当該位置に対応する色空間内の、直線Ｌｐｑ上の位置Ｕが指定され、これに伴い直線Ｌｒｑ上の位置Ｗが指定される。

位置Ｕは、最小点Ｐまでの距離と最大点Ｑまでの距離の比が、スライダーＧｃｓから左端Ｇｃａまでの距離とスライダーＧｃｓから右端Ｇｃｂまでの距離に等しい位置である。
位置Ｗは、最大点Ｑを中心とし、位置Ｕを通る円弧Ａｕと、直線Ｌｒｑとが交わる位置である。
このように、スライダーＧｃｓの位置決めにより、色空間内の対応する位置Ｗが補正後の平均値として指定される。

補正は色空間内において平均値を点Ｒから点Ｗに移動させる処理であり、点Ｒから点Ｗに向かうベクトルＨｗｒを補正ベクトルと言う。

分布特性調整用スライドバーＧｄは、分布特性の類似度を示すものである。図１１に示される例では、各分布特性調整用スライドバーＧｄは、その左端Ｇｄａに近いほど低い類似度に対応し、右端Ｇｄｂに近いほど、高い類似度に対応する。
スライドバーＧｄ上のマーカＧｄｉは、入力画像の肌領域の色の分布特性と、感性語に対応する色の分布特性との類似度に応じた位置に表示される。
スライダーＧｄｓは、所望の類似度の指定に用いられる。操作者による類似度の指定が行われる前の状態（初期状態）では、スライダーＧｄｓは、マーカＧｄｉと同じ位置に表示されている。

分布特性設定部４４は、スライダーＧｄｓの位置に対応する類似度を示す情報を画像補正部５０に出力する。

なお、ＧＵＩ画像におけるチェックボックスＧｂ内のチェックマークの有無、及びスライドバーＧｃ及びＧｄ上のスライダーの位置は操作入力に応じて変更されるが、そのような変更は、案内情報生成部４１によって行われる。即ち、案内情報生成部４１は、感性語選択部４２、平均値設定部４３及び分布特性設定部４４から処理の内容の通知を受け、該通知に応じて、上記の変更を行う。

画像補正部５０は、補正情報生成部４０で生成された色の平均値と色の分布特性の類似度とに基づき、肌領域の色の平均値が設定された色の値となるように、また、肌領域の色の分布特性が設定された類似度を有する分布特性となるように、入力画像を補正して補正画像を出力する。

例えば、色の平均値については、特徴量算出部２０で算出された、色の平均値に対する、補正情報生成部４０で設定された色の平均値を補正係数として求め、入力画像のうちの肌領域内の各画素の画素値に対して補正係数を乗算することで画像の補正を行う。

具体的には、特徴量算出部２０で算出された、色の平均値のａ^＊値に対する、補正情報生成部４０で設定された色の平均値のａ^＊値の比を補正係数として求め、入力画像のうちの肌領域内の各画素のａ^＊値に対して上記の補正係数を乗算する。同様に、特徴量算出部２０で算出された、色の平均値のｂ^＊値に対する、補正情報生成部４０で設定された色の平均値のｂ^＊値の比を補正係数として求め、入力画像のうちの肌領域内の各画素のｂ^＊値に対して上記の補正係数を乗算する。

各画素についてのａ^＊値及びｂ^＊値はＲ値、Ｇ値及びＢ値に戻された後、画像表示部４に供給される。

上記のように、操作者が複数個の感性語を選択する場合がある。複数の感性語を選択する場合、補正後の色の平均値は、複数の感性語についての補正ベクトルの和である合成ベクトルの終点の位置に相当する。
例えば、選択された感性語が２つであり、図１２に示すように、一つの感性語についての補正ベクトルがＶ１０であり、他の感性語についての補正ベクトルがＶ２０である場合、Ｖ１０とＶ２０の和であるＶ３０の終点である点Ｖ３が補正後の平均値となるように補正が行われる。

上記のように、画像補正部５０による色の分布特性の補正は、補正後の画像の色の分布特性が、指定された類似度を有する分布特性となるように行われる。

分布特性の類似度は、上記のように、分布特性を表すために用いられている指標の差が小さいほど大きい値を持つので、類似度を大きくするためには、指標の差を小さくするための補正が行われる。
分布特性を表すために２以上の指標が用いられている場合には、当該２以上の指標の差がともに小さくなるようにしても良く、指標に優先順位を与えておき、優先順位の高い指標から順に差が小さくなるようにしても良い。
「２以上の指標の差がともに小さくなる」とは、例えば、２以上の指標の差が同じ比率で減少することを意味する。
「優先順位の高い指標から順に差が小さくなるようにする」とは、各指標の差が予め定められた値以下になった後に、或いは当該指標の差をそれ以上小さくできないときに、それより低い優先順位の指標の差を小さくすることを意味する。

指標の変更は、例えば階調変換により行われる。
例えば、輝度ヒストグラムの中央値を変えるには、肌領域内の画素の画素値を同じ方向に変更する。例えば中央値を小さくする場合、図１３に例示する、下方に凸の階調変換曲線ＣＴａによる階調変換で、各画素の画素値がより小さくなるように変換する。逆に、中央値を大きくする場合、図１３に例示する、上方に凸の階調変換曲線ＣＴｂによる階調変換で、各画素の画素値がより大きくなるように、変換する。

また、輝度の分布の尖度を変えるには、肌領域内の画素のうち、比較的高い輝度の画素の画素値と、比較的低い輝度の画素の画素値とを逆方向に変更する。例えば、分布の尖度を小さくする（広がりを大きくする）場合、図１４に例示する、階調変換曲線ＣＴｃによる階調変換で、階調範囲の中間に位置する値（中間値）Ｐｋより大きい画素値はより大きくなる（中間値Ｐｋから遠ざかる）ように、中間値Ｐｋより小さい画素値はより小さくなる（中間値Ｐｋから遠ざかる）ように変換する。逆に、分布の尖度を大きくする（分布の広がりを小さくする）場合、図１４に例示する、階調変換曲線ＣＴｄによる階調変換で、中間値Ｐｋより大きい画素値はより小さくなる（中間値Ｐｋに近づく）ように、中間値Ｐｋより小さい画素値はより大きくなる（中間値Ｐｋに近づく）ように変換する。

階調変換曲線ＣＴｃは、中間値Ｐｋよりも大きい範囲では、上に凸であり、中間値Ｐｋよりも小さい範囲では、下に凸である。
階調変換曲線ＣＴｄは、中間値Ｐｋよりも大きい範囲では、下に凸であり、中間値Ｐｋよりも小さい範囲では、上に凸である。
曲線ＣＴｃ及びＣＴｄのいずれにおいても入力値が中間値Ｐｋに等しいとき、出力値も中間値Ｐｋに等しい。

上記の中間値Ｐｋは、例えば輝度ヒストグラムの中央値であっても良く、平均値であっても良い。

画像補正部５０は、補正により生成した画像を表示制御部６０を介して画像表示部４に供給する。
画像表示部４は、供給された画像を表示する。

操作者は、画像表示部４に表示された補正後の画像を見て満足すれば、それで補正の処理を終了する。満足しない場合には、さらに調整を続けても良い。その場合、感性語の選択の取り消し、変更、追加、選択した感性語についての補正の程度の変更等を行なっても良い。
例えば再調整のためのＧＵＩボタンを補正後の画像とともに表示して、該ボタンが押されたら、調整のためのＧＵＩ画像（図７）を表示する状態に戻ることとしても良い。
補正を終了するためのＧＵＩボタンをも表示して、該ボタンを押すことで補正を終了することとしても良い。

画像補正部５０で補正された画像（及び上記のＧＵＩボタン）と、補正情報生成部４０で生成されたＧＵＩ画像とは互いに合成されて画像表示部４の画面に同時に表示されるようにしても良く、切替えながら表示されるようにしても良い。
画像の合成或いは切替えは、表示制御部６０で行われる。

画像処理装置２は、その一部又は全部を処理回路で構成し得る。
例えば、画像処理装置２の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置２の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。

図１５は、画像処理装置２の全ての機能を実現するコンピュータ９を、画像表示部４とともに示す。
図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
メモリ９２には、画像処理装置２の各部の機能を実現するためのプログラムが記憶されている。

プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。

プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置２の機能を実現する。
画像処理装置２の機能には、画像表示部４にＧＵＩ画像を表示させる処理及び、画像表示部４のＧＵＩ画像を利用して行われた操作入力に応じて入力画像を補正して、補正画像を表す画像信号を出力する処理が含まれる。

図１５のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。
図１５で示されるコンピュータで、実施の形態の画像処理装置における処理を実施する場合の手順を図１６を参照して説明する。

ステップＳＴ１では、画像処理装置２が人の顔を含む入力画像の読み込みを行う。入力画像は、例えばカメラで人の顔を撮像することで得られた画像である。

ステップＳＴ２では、入力画像から顔の肌領域を抽出する。この処理は、図１の肌領域抽出部１０で行われる処理と同じである。

ステップＳＴ３では、抽出された肌領域の画素値から、肌質感を表す特徴量を算出する。この処理は、図１の特徴量算出部２０に関して説明したのと同様である。

ステップＳＴ４では、初期案内情報を生成する。この処理は、図１の案内情報生成部４１に関して説明したのと同様である。

ステップＳＴ５では、感性語の選択及び補正を行うか否かの選択、並びに補正を行う場合には補正の程度の指定を行う。この処理は、図１の感性語選択部４２、平均値設定部４３及び分布特性設定部４４に関して説明したのと同様である。

ステップＳＴ６では、選択された感性語、決定された補正を行うか否かの決定、及び補正の程度に応じて画像の補正を行う。
この処理は、図１の画像補正部５０について説明したのと同様である。

ステップＳＴ７では、補正画像を表示する。
補正画像とともに、再調整を行うか否かの決定を操作者に促すようにしても良い。

ステップＳＴ８では、操作者は、表示されている補正画像を見て、再調整を行うか否かを決定する。再調整を行う場合には、ステップＳＴ５に戻り、補正項目の選択、補正するか否かの決定、補正の程度の決定等をやり直す。
ステップＳＴ８で再調整を行わない場合には補正の処理を終了する。

実施の形態によれば、感性語を選択することで、感性語に対応する肌質感を改善するための補正を行うことができるので、補正のための操作が容易であり、短時間で補正を行うことができる。
また、肌質感に対応する特徴量のうち、色の平均値を表す情報が、感性語に対応する平均値の範囲のうちの２点を示す情報であるので、情報量が少なくて済み、データベースの規模を小さくすることができる。
さらに、複数の感性語が選択された場合にも組合せによる肌質感の改善を容易に行うことができる。

本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されず、種々の変形が可能である。

例えば、ＧＵＩのスライドバー上のマーカＧｃｉ、Ｇｄｉを省略しても良い。その場合、入力画像の肌の色の平均値は、スライダーＧｃｓ、Ｇｄｓの初期位置で示すこととしても良い。
即ち、新たに入力画像が取り込まれると、特徴量算出部２０で算出した特徴量に応じた色の平均値及び色の分布特性に対応する位置にスライダーが表示されることとしても良い。その場合、操作者が調整のためにスライダーを移動させると、それ以降は、スライダーの位置は、補正後の画像の色の平均値及び色の分布特性に対応するものとなる。
また、調整開始後であっても図示しない調整リセットボタンが押されたら、入力画像に応じた位置にスライダーが戻されるようにしても良い。

スライドバーＧｃ及びＧｄのいずれかのスライダーＧｃｓ、Ｇｄｓの移動によって、色の平均値及び色の分布特性の一方を変化させた結果、それに伴って色の平均値及び色の分布特性の他方が変化した場合には、変化後の値をスライダー又は図示しない付加的なマーカで表示することとしても良い。

上記の例では、平均値調整用のスライドバーの左端及び右端が、感性語に対応する色の範囲の最小点及び最大点にそれぞれ対応するが、上記の最小点及び最大点に対応する点が、スライドバー上の左端及び右端に位置しなくても良い。例えば、上記の最小点に対応する点が左端よりも右方向に位置し、上記の最大点に対応する点が右端よりも左方向に位置しても良い。

各感性語に対応する平均値調整用スライドバー内には、その位置に応じて次第に変化する色を表示しても良い。この場合スライドバー内の各位置には、当該位置にスライダーが位置決めされたときに指定される色が表示される。

上記の例では、色の調整及び分布特性の調整にスライドバーを用いているが、代わりに数値の増加を指示するボタン及び数値の減少を指示するボタンの組合せを用いても良い。
例えば、各感性語に対応する平均値の調整用のスライドバーの代わりに、当該感性語に対応する肌質感を強めるためのボタンと弱めるためのボタンとを用いても良い。
また、各感性語に対応する色の分布特性の調整用のスライドバーの代わりに、当該感性語に対応する色の分布特性の類似度を高くするためのボタンと低くするためのボタンとを用いても良い。

上記の例では、顔の肌領域を補正の対象としているが、人体の他の部分の肌領域を補正の対象としても良い。

上記の例では、補正画像が画像表示部で表示されるが、補正画像を印刷装置で印刷することとしても良い。
その場合、操作者は印刷された補正画像を見て、再調整するか否かの判断をしても良い。

以上本発明の画像処理装置について説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体、例えば非一時的な記録媒体もまた本発明の一部を成す。

２ 画像処理装置、 ４ 画像表示部、 ６ 操作入力部、 １０ 肌領域抽出部、 ２０ 特徴量算出部、 ３０ 特徴情報記憶部、 ４０ 補正情報生成部、 ４１ 案内情報生成部、 ４２ 感性語選択部、 ４３ 平均値設定部、 ４４ 分布特性設定部、 ５０ 画像補正部、 ６０ 表示制御部。

Claims (12)

1. 複数の感性語の各々について、当該感性語に対応する特徴情報を記憶する特徴情報記憶部と、
   入力画像の肌領域の肌質感を表す特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成する補正情報生成部と、
   前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正する画像補正部と
   を備え、
   前記特徴情報記憶部に記憶されている前記特徴情報は、前記感性語に対応する肌領域の色の平均値を表す情報と色の分布特性を表す情報とを含み、
   前記色の平均値を表す情報が、色空間において、前記色の平均値の範囲のうちの、前記感性語で表される肌質感が最も小さい点を示す情報と、前記感性語で表される肌質感が最も大きい点を示す情報とを含む
   画像処理装置。
2. 前記補正情報生成部は、
   前記複数の感性語のうちの一つ以上の感性語を操作者に選択させ、
   前記特徴情報記憶部に記憶されている前記特徴情報のうち、前記操作者によって選択された前記一つ以上の感性語の各々に対応する特徴情報と、前記特徴量算出部で算出された前記特徴量との合致度を前記操作者に知らせ、
   前記操作者に補正の要否及び補正の程度を決定させる
   請求項１に記載の画像処理装置。
3. 前記補正情報生成部は、
   前記複数の感性語を前記操作者に提示し、
   前記操作者に、前記感性語の選択を行わせる
   請求項２に記載の画像処理装置。
4. 前記特徴量算出部で算出される特徴量が、前記肌領域の色の平均値と色の分布特性とを含み、
   前記補正情報生成部は、選択された感性語について、前記操作者に色の平均値及び色の分布特性の少なくとも一方について補正を行うか否かを決定させる
   請求項２又は３に記載の画像処理装置。
5. 前記操作者が、色の平均値の補正を行うことを決定した場合には、前記補正情報生成部は、前記操作者に、補正後の色の平均値を指定させる
   請求項４に記載の画像処理装置。
6. 前記色の平均値の指定が、前記最も小さい点と最も大きい点とを結ぶ直線又はこれに平行な直線上での位置の指定、又は前記入力画像の平均値と前記最も大きい点とを結ぶ直線上での位置の指定である
   請求項５に記載の画像処理装置。
7. 前記操作者が第１及び第２の感性語を選択した場合、
   前記第１の感性語についての前記入力画像における色の平均値から前記指定された色の平均値に向かう第１の補正ベクトルと、前記第２の感性語についての前記入力画像における色の平均値から前記指定された色の平均値に向かう第２の補正ベクトルとの和である合成ベクトルの終点の位置を、補正後の色の平均値として補正を行う
   請求項６に記載の画像処理装置。
8. 前記操作者が、色の分布特性の補正を行うことを決定した場合には、前記補正情報生成部は、前記操作者に、補正後の色の分布特性の、前記特徴情報記憶部に記憶されている色の分布特性との類似度を指定させる
   請求項４から７のいずれか１項に記載の画像処理装置。
9. 前記色の分布特性を示す情報が、輝度の分布特性を表す少なくとも一つの指標を含む
   請求項４から８のいずれか１項に記載の画像処理装置。
10. 複数の感性語の各々について、当該感性語に対応する特徴情報を、特徴情報記憶部に記憶し、
    入力画像の肌領域の肌質感を表す特徴量を算出し、
    算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成し、
    前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正し、
    前記特徴情報記憶部に記憶されている前記特徴情報は、前記感性語に対応する肌領域の色の平均値を表す情報と色の分布特性を表す情報とを含み、
    前記色の平均値を表す情報が、色空間において、前記色の平均値の範囲のうちの、前記感性語で表される肌質感が最も小さい点を示す情報と、前記感性語で表される肌質感が最も大きい点を示す情報とを含む
    画像処理方法。
11. 請求項１０に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。

Images