WO2004084142A1

WO2004084142A1 - 画像処理装置

Info

Publication number: WO2004084142A1
Application number: PCT/JP2004/003726
Authority: WO
Inventors: Naohiro Tabata; Hideyuki Kishiba
Original assignee: Omron Corporation
Priority date: 2003-03-20
Filing date: 2004-03-19
Publication date: 2004-09-30
Also published as: US7587083B2; US20070041640A1; JP2004303193A; JP4461789B2; EP1612730A1; EP1612730A4; EP1612730B1

Abstract

画像補正処理の対象となる領域、例えば人物像を含む画像中における人物像の領域を自動的に特定し、特定された領域に限ってぼかし処理などの画像補正処理を実施する。

Description

明細書画像処理装置技術分野

本発明は、撮像された画像、特に人物を被写体とした画像に対する画像処理に適用されて有効な技術に関する。背景技術

従来、人物を被写体とした画像に対して画像補正を行うことにより、被写体の肌をなめらかに美しく見せる技術がある。このような画像捕正の具体的な例として、 ε—フィルタを用いることにより、画像全体のエッジや明るさ差分に対し局所的にぼかし処理を施す技術や、画像全体において肌の色成分の領域に対してのみぼかし処理を施す技術がある（例えば、特許文献 1参照）。

また、顔画像に含まれる望ましくない成分、例えば皺、しみ、肌荒れ、にきびなどを修正 ·除去することを目的とする技術として、以下のような技術もある (特許文献 2参照）。

まず、顔を主体とする画像を形成する各画素の信号値に対して、差分検出部により各画素の周囲の画素一つ一つとの信号レベル差が検出される。閾値判定部により、この信号レベル差と基準値とが比較される。演算部により、この比較の結果に応じて信号レベル差に所定の係数が乗じられ、各画素値に加えられる。この加算結果から、比較における基準値や乗算部における係数が画素の位置や画像に応じて選択されることにより、顔画像に含まれる望ましくない成分が取り除かれた画像が得られる。

また、従来技術として、人物画像の身体部分、特に、その顔部分や頭部分については装飾が重なることがないようにしたうえで装飾を付加することを可能とする人物画像処理装置がある（特許文献 3参照）。この人物画像処理装置は、人物画像の身体部分を構成する少なくとも一つの要素に基づいて身体部分領域の位置及び範囲を設定する手段と、身体部分領域を除いた背景領域のみに装飾を付加する手段とを備えている。また、この人物画像処理装置は、人物画像の身体部分を構成する少なくとも一つの要素に基づいて身体部分領域の位置及び範囲を設定する手段と、身体部分領域の外周囲に沿って装飾を付加する手段とを備えるように構成される場合もある。

[特許文献 1 ]

特許第 3 3 1 9 7 2 7号公報

[特許文献 2 ]

特開 2 0 0 0— 1 0 5 8 1 5号公報

[特許文献 3 ]

特開 2 0 0 0— 0 2 2 9 2 9号公報発明の開示

従来の技術では、被写体の肌に対するぼかし処理が行われる場合、画像内に存在する肌の色に近い成分の色を有するものを対象としてぼかし処理が実行されていた。このため、肌の色と異なる成分の色を有するものまでがぼかし処理の対象となりぼやけてしまうことは防止されていた。

しかしながら、従来の技術では、画像内に肌の色と近い成分の色を有する物体や背景があった場合、このような部分までぼかし処理の対象となっていた。このため、被写体の人物以外の、肌の色と近い成分の色を有する背景までがぼやけてしまうという問題があった。

また、従来の技術では、あらかじめぼかし処理の対象となる肌の色成分が固定的に保持されていた。このため、従来の技術では、人種や個人差による肌の色の差異に対応できない場合があった。このような場合、肌の領域に対するぼかし処理が正確に実施されないことがあった。

また、上記のようなぼかし処理における問題は、ぼかし処理に限らず他の画像処理においても問題となっていた。

本発明では、このような問題を解決し、本来はぼかし処理などの画像処理の対象とならない領域に対して画像処理が実施されることを防止することを目的とする。例えば、被写体となる人物の特定領域（例えば顔の肌部分）のみに限定して画像処理（例えばぼかし処理）を行うことにより、肌の色と近い成分の色を有する背景が画像処理によって不自然な状態（例えばぼやけてしまうこと）となることを防止することを目的とする。

また、例えば、画像処理（例えばぼかし処理）の対象となる領域を決定するための色成分、例えば肌の色成分を画像から特定することにより、人種や個人差による肌の色の差異に応じた画像処理を実施することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、画像処理装置であって、所定領域特定手段と画像生成手段とを備える。所定領域特定手段は、画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する。所定領域特定手段は、ユーザによって手動で所定領域が特定されるように構成されても良い。即ち、所定領域特定手段は、ユーザによつて指定された画像中の領域に基づいて前記身体部分を特定し、特定されたこの身体部分を基準として前記所定領域をさらに特定するように構成されても良い。例えば、所定領域特定手段は、ユーザによって指定された領域を身体部分として特定するように構成されても良いし、ユーザによって指定された点、領域、色、形状などに基づいて身体部分を特定するように構成されても良い。そして、所定領域特定手段は、このようにして特定された身体部分を基準として所定領域を特定するように構成されても良い。

また、所定領域特定手段は、ユーザによる入力から独立して所定領域を特定するように構成されても良い。例えば、所定領域特定手段は、画像中の被写体である人物の身体部分を検出する検出手段と、検出手段によつて検出された身体部分を基準として所定領域を特定する特定手段とを備えるように構成されても良い。具体的には、検出手段は、被写体の身体部分の位置及び範囲（大きさ）等を検出する。「身体部分」とは、頭，顔，手，足，胴体など、人物の身体の一部分又は全体を指す。検出手段は、既存のどのような手段を用いて構成されても良い。画像生成手段は、所定領域特定手段によって特定された所定領域に対して画像処理が施された画像を生成する。ここで言う「画像処理」とは、画像を操作する処理である。画像処理の例として、画像補正やテクスチャマッピング等の処理がある。

また、ここで言う「画像補正」とは、画像の被写体の本質を変えることなく画像を操作する処理である。画像補正の例として、ぼかし処理，エッジ強調，明るさ補正，色補正などがある。ぼかし処理とは、ここでは肌の皺やしみ等の画像部分をぼかすことにより、被写体となる人物の肌をなめらかに見せるための処理である。ぼかし処理は、例えば平滑化と呼ばれる技術を用いて行われる処理であり肌の画像中の高周波成分を除去することにより実施される。例として、移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタを含む）や ε —フィルタを用いた方法がある。

本発明の第一の態様によれば、所定領域特定手段によつて特定された所定領域以外の部分については画像処理が施されていない画像を取得できる。即ち、被写体となる人物の身体部分を基準とした所定領域のみに限定して画像処理が施された画像を取得できる。従って、画像処理の対象となるべき被写体とは異なる部分 (例えば背景）が画像処理によって不自然な状態となってしまうことが防止される。言い換えれば、ユーザが意図しない部分に対して画像処理が施されることが防止される。

例えば、画像に施される画像処理がぼかし処理である場合、所定領域特定手段によって特定された所定領域以外の部分についてはぼかし処理が施されな!/、画像を取得できる。言い換えれば、被写体となる人物の所定領域のみに限定してぼかし処理が施された画像を取得することが可能となる。従って、被写体とは異なる部分（例えば背景）がぼかし処理によってぼやけた画像となってしまうことを防止できる。

画像生成手段は、所定領域特定手段によつて特定された所定領域の基準となつた身体部分から抽出された、被写体である人物の肌の色の色成分に基づいた画像処理が施された画像を生成するように構成されても良い。

画像生成手段が上記のように構成されることにより、被写体である人物各々の肌の色に対応した画像処理が実行される。従って、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理が実施された画像を取得することが可能となる。同様の効果を奏する構成として、画像生成手段は、所定領域特定手段によって特定された所定領域内の領域であって、この所定領域の基準となつた身体部分を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成するように構成されても良い。

本発明の第二の態様では、第一の態様における画像生成手段は、強度値算出手段とマスク手段と画像処理手段と色成分算出手段とを備えるように構成される。強度値算出手段は、処理対象となっている画像の各画素について、各画素の色成分が、予め定められた肌の色成分にどれだけ近いかを示す強度値を算出する。色成分とは、どのような色空間に基づいた値であっても良く、例えば L a b値や R G B値や X y値などがある。肌の色成分は、予め定められた値であり、例えば画像捕正装置の R AM (Random Access Memory) に記憶される。例えば、強度値は、 0から 2 5 5までの 2 5 6階調の値で表現される。例えば、強度値は、 0の場合に最も肌の色成分から遠いことを示し、 2 5 5の場合に最も肌の色成分に近いこと（肌の色成分そのものであること）を示す。

. マスク手段は、所定領域特定手段によって特定された所定領域以外の画素についての強度値を、肌の色成分に遠いことを示す値にする。

例えば、肌の色成分に最も遠いことを示す値として 0を、最も近いことを示す値として 2 5 5を適用することが可能である。マスク手段は、所定領域以外の領域にマスク処理を行うためのマスク画像を生成し、生成されたマスク画像と、各画素の強度値を示す画像との乗算処理を行うことによって、強度値を上記のように設定しても良い。上記例示の場合、所定領域以外の領域の強度値は 0であり、所定領域内の強度値は 0以上の値であるように構成される。

画像処理手段は、処理対象となっている画像に対して画像処理を施す。画像処理手段が実施する画像処理の定義は、画像生成手段の説明において定義した画像処理と同じである。

色成分算出手段は、各画素における強度値が肌の色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が肌の色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する。色成分算出手段は、強度値算出手段及びマスク手段によって算出された強度値に基づいて、各画素の新たな色成分（即ち出力となる画像の各画素の色成分）を算出する。

例えば、画像処理がぼかし処理である場合、強度値が大きいほど、ぼかし画像 (元の画像に対してぼかし処理が実施されて得られる画像）の色成分を強く反映させた画像が生成されるように、色成分算出手段は構成される。また、強度値が小さいほど元の画像の色成分を強く反映させた画像が生成されるように、色成分算出手段は構成される。このように構成されることにより、肌の色以外の領域などに画像処理の影響が及んでしまうことが防止される。このような効果を最も顕著に得たい場合には、所定領域以外の画素についての強度値を、肌の色成分に最も遠いことを示す値となるように設定できる。

本発明の第三の態様では、本発明の第一の態様における画像生成手段は、強度値算出手段とマスク手段と画像処理手段とを備えるように構成される。本発明の第三の態様では、画像生成手段は色成分算出手段を備えず、画像処理手段によつて出力となる画像の色成分が算出される。第三の態様における強度値算出手段とマスク手段とは、第二の態様における強度値算出手段とマスク手段と同じである ₍ 一方、第三の態様における画像処理手段は、処理対象となっている画像に対し、各画素における強度値が肌の色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が肌の色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像処理を実施する _c この画像処理手段は、強度値算出手段及びマスク手段により得られる該画像の各画素の強度値に基づいて画像処理を実施する。このように、本発明の第三の態様では、色成分算出手段を備える必要がない。このため、装置の小型化や処理の高速化、コストの削減などを実現することができる。

本発明の第四の態様では、画像生成手段は、強度値算出手段と画像処理手段と色成分算出手段とを備える。第四の態様では、強度値算出手段が算出する強度値の定義が第二の態様と異なる。第四の態様では、強度値は、各画素の色成分が、所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す。従って、第四の態様における強度値算出手段は、処理対象となっている画像の各画素について、各画素の色成分が、所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する。

また、第四の態様では、マスク手段は備えられても備えられなくても良い点で、第二の態様と異なる。マスク手段が備えられない場合、当然のことではあるが、色成分算出手段は、マスク画像における強度値を用いずに、各画素の新たな色成分を算出する。また、マスク手段が備えられない場合、画像処理手段は、処理対象となっている画像の所定領域に対して画像処理を施すように構成される。

上記三点を除けば、第四の態様と第二の態様とは同様の構成をとる。第四の態様では、第二の態様と異なり、強度値は、所定領域特定手段の処理結果に応じて変化する。即ち、被写体である人物各々の身体部分における肌の色に対応した画像処理が実行される。従って、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理を実施することが可能となる。

本発明の第五の態様では、画像生成手段は、強度値算出手段と画像処理手段とを備えるように構成される。また、本発明の第五の態様では、本発明の第三の態様と同様に、色成分算出手段を備える必要はなく、画像処理手段によって出力となる画像の色成分が算出される。このため、本発明の第五の態様によれば、本発明の第三の態様と同様に、装置の小型化や処理の高速化、コストの削減などを実現することができる。ただし、本発明の第五の態様では、本発明の第四の態様と同様に、強度値は予め定められた肌の色成分を基準として求められるのではなく- 所定領域の基準となった身体部分を主に占める色成分に基づいて求められる。このため、本発明の第五の態様によれば、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理を実施することが可能となる。また、本発明の第五の態様では、第四の態様と同様にマスク手段は備えられても備えられなくても良い。

本発明の第二から第五の態様において、画像処理手段は、所定の範囲の強度値を有する画素については画像処理を実行しないように構成されても良い。「所定の範囲の強度値」とは、画像処理の対象となることを望まない領域を示す強度値である。具体的な例として、肌の色成分や所定領域の基準となった身体部分を主に占める色成分に最も遠いことを示す強度値がある。第二，第四の態様における色成分算出手段や第三，第五の態様における画像処理手段が、所定の範囲の強度値を有する画素に対しては画像処理の影響が瑰れないような出力画像を生成するように設定される場合がある。このような設定の場合、所定の範囲の強度値を有する画素に対しわざわざ画像処理を実行する必要は無い。従って、このような画素に対する画像処理を省略することにより、画像処理手段による画像処理に要する時間を削減することが可能となる。特に、このように構成されていない第二，第四の態様では、画像処理手段は各画素の強度値によらずに画像処理を実施する ₍ そして、色成分算出手段によって強度値に応じた処理が実行され、結果として画像処理手段によつて実施された画像処理が全く反映されない画素が生じることがある。このため、このように強度値に応じて画像処理を実施するか否か画像処理手段が判断する構成は、第二，第四の態様において特に有効である。

本発明の第六の態様では、画像生成手段は、実施する画像処理の内容を、所定領域特定手段によって特定された所定領域の基準となつた身体部分の大きさに基づいて決定する。例えば、画像生成手段は、所定の画像処理を実施する際のパラメタを、所定領域の基準となった身体部分の大きさに基づいて決定する。このようなパラメタの例として、ぼかし処理のぼかし度合い（さらに具体的には、ぼかし処理をガウシアンフィルタを用いて実行する場合にはその半径の大きさ等）、エッジ強調の度合い、明るさ補正の度合い等がある。画像処理の種類の決定の例として、エッジ強調を実行するか否か、明るさ補正を実行するか否か、ぼかし処理を実行するか否かなどの判断がある。

ぼかし処理を例に説明すると、小さい領域に対してぼかし処理を過度に実行してしまうと、領域全体がぼけてしまい所望の画像（例えば肌が適度になめらかに補正された画像）が得られない。一方、大きい領域に軽微なぼかし処理を実行してしまうと、ぼかされるべき箇所（例えば、顔画像に含まれる望ましくない成分. 例えば皺、しみ、肌荒れ、にきび等）が十分にぼかされず、所望の画像が得られない。エッジ強調の度合い等の他の画像処理についても同様である。このような問題に対し、本発明の第六の態様では、所定領域の基準となった身体部分の大きさに応じた適正な画像処理の内容が決定 ·実行され、ユーザの所望の画像を得ることが可能となる。

また、画像生成手段は、実施する画像処理の内容を、検出手段によって検出された身体部分の大きさに基づいて決定するように構成されても良い。

本発明の第七の態様では、要素抽出手段がさらに備えられる。要素抽出手段は、処理対象となっている画像中の被写体である人物の身体部分を構成する要素であつて、所定領域に含まれる要素を少なくとも一つ抽出する。「要素」とは、身体部分を構成する部位を指す。このような要素の例として、顔のパーツ（具体的には目、瞼、唇、鼻、鼻孔、眉、睫毛などがある）がある。この場合、顔が身体部分であり、顔のパーツが要素となる。要素抽出手段には、既存のどのような技術が適用されても良い。

本発明の第七の態様では、画像生成手段は、要素抽出手段によって抽出された要素を基準として決まる要素領域に対する画像処理を制限して実施する。具体的には、画像生成手段は、上記所定の領域に対して画像処理を行わないように構成されても良い。また、画像生成手段は、上記所定の領域に対して画像処理を実施する際に、画像処理が実施される他の領域に比べてパラメタが異なる（画像処理の度合いが抑えられた）処理を実施するように構成されても良い。

本発明の第七の態様では、画像生成手段は、要素抽出手段によって抽出された要素を基準として決まる要素領域に対し、制限された画像処理を実施する。このため、要素領域に対する画像処理の影響が抑制される。本発明の他の態様では、色成分及び所定領域の基準となった身体部分などに基づいて画像処理の内容が決定された。この場合、所定領域内であって肌の色成分やこの所定領域の基準となつた身体部分を主に占める色成分に近い色成分を有する画素については、上記要素に該当する画素についても無条件で画像処理が実施されていた。しかし、実際にはこれらの要素に対する画像処理の影響を制限したい（抑えたい）という要望がある。例えば、化粧の方法によっては、唇の色（口紅の色）や眉毛などの要素が肌の色成分に近い色成分によって構成される場合がある。このような場合、他の肌の部分と同じような画像処理（例えばぼかし処理）が各要素に対して実施されることは望まれないことがある。このような場合に本発明の第七の態様は有効である。即ち、強度値算出手段やマスク手段によって十分に区別ができない要素に対する画像処理を的確に抑制することが可能となる.。

本発明の第二から第五の態様では、画像生成手段は、エッジマスク手段がさらに備えられるように構成されても良い。エッジマスク手段は、処理対象となっている画像の各画素についてエッジの強度を取得し、各画素について、抽出されたェッジの強度が強いほど肌の色成分や所定領域の基準となつた身体部分を主に占める色成分に遠いことを示す強度値を与える。エッジの強度に基づいた上記の強度値が取得されることにより、被写体の身体部分を構成する要素の縁が、上記色成分に遠いことを示す強度値を持つ画素として取得される。エッジマスク手段は、ある画素について取得されたエッジの強度を、その画素から所定の範囲に位置する周囲の画素にも与えるように構成されても良い。

このように構成された本発明の第二から第五の態様では、色成分算出手段や画像処理手段は、エッジマスク手段によって取得された強度値にさらに基づいて、各画素における新たな色成分を取得するように構成される。このように構成された本発明の第二から第五の態様では、第七の態様と同様の効果を得ることが可能となる。

また、このように構成された本発明の第二から第五の態様において、エッジマスク手段は、処理対象となっている画像を縮小してから各画素に対し強度値を与え、さらに元の大きさの画像に拡大するように構成されても良い。

エッジマスク手段によって抽出されたエッジについては、上記のように画像処理が制限されて実施される。しかし、たとえば肌の不要な成分をぼかす処理を例にすると、肌の不要な成分がエッジとしてエッジマスク手段において検出されてしまっては、このような肌の不要な成分に対するぼかし処理が有効に機能しない _c 従って、エッジマスク手段によってこれらの不要な成分のェッジが抽出されないように制御する必要がある。

ところで、画像は、縮小される際に元の画像における微少なエッジの情報を喪失する。このため、縮小きれた画像に.おいてエッジ強度が取得されると、元の画像における微少なエッジについては取得されない。また、ぼかし処理の対象となる肌の不要な成分は、一般的に微少なエッジにより構成されることが多い。このような特徴を利用し、上記のように構成されることにより、エッジマスク手段によって肌の不要な成分についてのエッジ取得を防止することが可能となる。即ち、エッジマスク手段が上記のように構成されることにより、所望のぼかし処理を実施することが可能となる。同様の効果を得るために、メディアンフィルタ等の平滑化処理を実施した後にエッジ抽出を実施することや、ェッジ抽出処理に用いられるフィルタの半径を大きく設定することなども有効である。また、縮小された画像においてェッジが抽出されるため、ェッジの抽出処理に要する時間を削減することも可能となる。

本発明の第八の態様は、画像処理装置であって、像特定手段と画像処理手段とを備える。像特定手段は、画像中の任意の像を含む領域の位置及び範囲を特定する。任意の像とは、画像処理手段による画像処理の対象となる像であり、どのようなものであっても良い。例えば、顔や手などの人物の身体の一部分又は全体や、食物や自動車等の物や、空や山などの背景である。

像特定手段は、既存のどのような技術を用いて構成されても良い。例えば、像特定手段は、注目される任意の像と似た形状のパターンを用いることによるパターンマッチングを実行するように構成されても良い。

画像処理手段は、像特定手段によって特定された領域内の領域であって、この領域を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成する。画像処理手段が実行する画像処理の例として、ローパスフィルタやハイパスフィルタを用いた処理がある。他にも、本発明の第一の態様において定義した画像処理や色の反転処理や画像の回転処理など、様々な処理がある。

本発明の第八の態様によれば、特定された領域内の領域であっても、主要部とは異なる部位に対して、画像処理が実施されることを防止することが可能となる。例えば、車の車体（主要部）のみの色を変更したい場合に、窓ガラスやバンパー等（主要部と異なる部位）の色が変更されることを防止することが可能となる。本発明の第一から第八の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一から第八の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。

本発明によれば、被写体となる人物の特定の領域のみに限定して画像補正を行うことが可能となる。従って、被写体とは異なる部分（例えば背景）が画像補正によって不自然な状態となってしまうことが防止される。また、人種や個人差による肌の色の差異に応じた画像処理を実施することが可能となる。図面の簡単な説明

図 1は、画像補正装置の第一実施形態の機能ブロックを示す図であり；図 2は、画像補正装置の第一実施形態の処理フローを示す図であり；図 3は、マスク処理の概要を示す図であり；

図 4は、第一実施形態における肌の色領域抽出処理の概要を示す図であり；図 5は、肌の色強度抽出処理の概要を示す図であり；

図 6は、肌の色成分のヒストグラムの例を示す図であり；

図 7は、第一実施形態における美肌処理の概要を示す図であり；

図 8は、 n X nのオペレータの例を示す図であり；

図 9は、画像補正装置の第二実施形態の機能ブロックを示す図であり；図 1 0は、画像補正装置の第二実施形態の処理フローを示す図であり；図 1 1は、画像補正装置の第三実施形態の機能プロックを示す図であり；図 1 2は、画像補正装置の第三実施形態の処理フローを示す図であり；図 1 3は、ソーベルフィルタの例を示す図であり；

図 1 4は、肌の色強度画像とエッジマスク画像の違いの例を示す図である。発明を実施するための最良の形態

[第一実施形態]

次に、図を用いて本発明の実施形態における画像補正装置について説明する。以下の説明では、画像補正装置の具体例として、人物画像における肌領域への画像補正を行うための画像捕正装置の第一実施形態である画像補正装置 1 aについて説明する。具体的には、実施される画像処理の例としてぼかし処理の場合について説明する。ただし、画像補正装置 1 aは、人物画像以外の画像、例えば車の画像や風景の画像に適用されても良い。この場合は、色を変換する画像補正ゃハィパスフィルタを用いた画像補正など、様々な画像処理が考えられる。

この説明において、人物画像とは、少なくとも人物の顔の一部または全部の画像が含まれる画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様など

のいかなるパターンが含まれても良い。

なお、本実施形態の説明は例示であり、本発明の構成は以下の説明に限定されない。

〔システム構成〕

画像補正装置 l aは、ハードウェア的には、バスを介して接続された CPU (中央演算処理装置），主記憶（RAM) ，補助記憶装置等を備えている。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆる ROM (Read-Only Memory： E PROM (Erasable

Programmable Read-Only Memory) ， EE PROM (Electrically Erasable Programmable Read-Only Memory) ，マスク ROM等を含む）， FRAM

(Ferroelectric RAM) ，ハードディスク等を指す。

図 1は、画像補正装置 1 aの機能プロックを示す図である。画像補正装置 1 a は、補助記憶装置に記憶された各種のプログラム（OS, アプリケーション等）が主記憶にロードされ CPUにより実行されることによって、顔検出部 2，マスク処理部 3 , 肌の色領域抽出部 4 a，美肌処理部 5 a , 及び記憶部 S t等を含む装置として機能する。顔検出部 2, マスク処理部 3, 肌の色領域抽出部 4 a，及び美肌処理部 5 aは、本発明による画像補正プログラムが CPUによって実行されることにより実現される。

また、記憶部 S tは、いわゆる RAMを用いて構成される。記憶部 S tには、顔検出部 2, マスク処理部 3, 肌の色領域抽出部 4 a，及び美肌処理部 5 aによつて各処理が実行される際に利用される。例えば、記憶部 S tには、処理対象となる原画像 6のデータや、中間生成データとしてのマスク画像 7, 肌の色強度画像 8，マスク済肌の色強度画像 9 , 肌の色領域画像 1 0 a，及ぴぼかし画像 1 1 等のデータや、出力データとしての未肌画像 1 2のデータが読み書きされる。図 2は、図 1に示される各機能部によって実行される処理と、画像補正装置 1 aとしての全体の処理フローを示す図である。以下、図 1 3を用いて、各機能部について説明する。

〈顔検出部〉

顔検出部 2は、顔検出処理を実行する。以下、顔検出処理について説明する。顔検出処理では、原画像 6のデータが入力され、顔位置検出処理 S O 1が実行されることにより、顔矩形座標が出力される。即ち、顔検出処理では、被写体の身体部分として顔が検出される。この顔矩形座標により、原画像 6における被写体となった人物の顔の位置が特定され

る。

原画像 6のデータとは、画像補正装置 1 aに対して入力される人物画像のデータである。顔矩形とは、原画像 6に含まれる人物の顔部を含む矩形として認識される矩形（以下、顔矩形と呼ぶ：図 3 ( a ) の 1 7を参照）である。顔矩形座標とは、原画像 6における顏矩形の位置や大きさを示すデータである。

顔位置検出処理 S O 1は、既存のどのような方法によって実現されても良い (例えば、特許文献 3参照）。例えば、顏全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによつて顔矩形座標が得られても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔矩形座標が得られても良い。また、クロマキ一処理によって頭髪の頂点が検出され、この頂点に基づいて顔矩形座標が得られても良い。また、顔位置検出処理 S O 1 では、顔矩形や顔矩形座標がユーザによって手動で特定されても良い。同様に、ユーザによって入力された情報に基づいて、即ち半自動で顔矩形や顔矩形座標が特定されても良い。

〈マスク処理部〉

マスク処理部 3は、マスク処理を実行する。以下、マスク処理について説明する。マスク処理では、顔矩形座標が入力され、マスク画像作成処理 S 0 2が実行されることにより、マスク画像 7のデータが出力される。マスク画像作成処理 S 02では、被写体となった人物の顔の位置を基に、即ち本装置 1においては入力された顔矩形座標を基に、被写体となった人物の顔と顔の下部の領域を推測し、推測された領域以外にマスクをかけるためのマスク画像 7が生成される。言い換えれば、マスク画像作成処理 S 02では、身体部分としての顔の位置を基準として所定領域（ここでは顔と顔の下部の領域）が特定され、この領域以外にマスクをかけるためのマスク画像 7が生成される。このように、所定領域特定手段の一例として、この実施形態では顔検出部 2及びマスク処理部 3が適用される。また、特定手段，マスク手段の一例として、この実施形態ではマスク処理部 3が適用される。

図 3は、マスク画像作成処理 S 02の概要を示す図である。マスク画像作成処理 S 02では、まず、入力された顔矩形座標に応じた二つの楕円 1 3， 14の座標が、以下の数 1の式を用いて算出される。具体的には、まず、顔矩形の幅

(w) 及ぴ高さ（h) が算出又は入力される。そして、あらかじめ設定されている楕円縦軸係数（p O, p 1) 及び楕円横軸係数（q 0， q 1) と w及び hとがそれぞれ乗算されることにより、二つの楕円の長軸及ぴ短軸の長さ（a 0, b 0, a 1 , 1) が得られる。

楕円 1 3は被写体となった人物の顔の領域を、楕円 14は被写体となった人物の顔の下部（首，胸元，肩など）の領域を示す図形である。本発明では、楕円 1 3は顔矩形 1 7の 4点に接するように設定される。また、楕円 14は、その長軸が水平となる状態で、楕円 1 3の最下部に外接するように設定される。

[数 1] aO = h xpO

b0 =ν xqO

al- h x pi

bl =w xql マスク画像作成処理 S 02では、次に、得られた二つの楕円 1 3， 14がそれぞれ拡大されることにより、楕円 15， 16が得られる。ここでは、楕円 13及ぴ楕円 1 5と楕円 14及び楕円 1 6とは、それぞれ同一の中心（長軸と短軸との交点）を有する。そして、得られた楕円 1 3〜1 6を用いて、マスク画像 7が得られる。

例えば、まず楕円 1 3の内側及び楕円 1 4の内側が透過領域（マスクされない領域）に設定される。次に、楕円 1 5と楕円 1 3との間の領域、及び楕円.1 6と楕円 1 4との間の領域において、外側（楕円 1 5， 1 6側）から内側（楕円 1 3， 1 4側）へ向けて透過の割合が大きくなる透過率のグラデーションを生成する。このグラデーションは、線形であっても非線形であっても良い。そして、楕円 1 5の外側かつ楕円 1 6の外側である領域は、不透過領域（マスクされる領域）に設定される。

このようなマスク画像生成処理 S 0 2により、マスク画像 7のデータが出力される。マスク画像 7は、楕円以外のどのような図形を用いて生成されても良い。例えば、人物の上半身の形状をした特殊な図形を用いて生成されても良い。

〈肌の色領域抽出部〉

肌の色領域抽出部 4 aは、肌の色領域抽出処理を実行する。以下、肌の色領域抽出処理について説明する。肌の色領域抽出処理では、原画像 6のデータ，顔矩形座標，及びマスク画像 7のデータが入力され、肌の色強度抽出処理 S 0 3，合成処理 S O 4 a，及ぴ肌の色領域補正処理 S 0 5が実行されることにより、肌の色領域画像 1 0 aのデータが出力される。このように、強度値算出手段の一例として、この実施形態では肌の色領域抽出部 4 aが適用される。

< 〈肌の色強度抽出処理〉〉

図 4は、肌の色領域抽出処理の概要を示す図である。肌の色領域抽出処理では、まず、原画像 6のデータ及び顔矩形座標が入力され、肌の色強度抽出処理 S O 3 が実行される。

図 5は、肌の色強度抽出処理 S 0 3の概要を示す図であ。'図 6は、肌の色強度抽出処理 S 0 3において使用される肌の色成分のヒストグラムを示す図である。以下、図 5， 6を使用し肌の色強度抽出処理 S 0 3について説明する。

肌の色強度抽出処理 S 0 3では、まず、入力された顔矩形座標を用いて顔矩形 1 7の内側にサンプリング領域 1 8が特定される。サンプリング領域 1 8は、例えば顔矩形 1 7の中心座標と顔矩形 1 7の w及び hに定数が乗じられた値によつて特定される。サンプリング領域 1 8は他の方法によって特定されても良い。サンプリング領域 1 8は、目や鼻の穴など、肌の色とは明らかに異なる色を有する領域を含まないように設定されるのが望ましい。

肌の色強度抽出処理 S 0 3では、次に、サンプリング領域 1 8内の画素値（色成分の値）がサンプリングされる（肌の色サンプリング）。このサンプリングでは、被写体の顔における肌の色が主にサンプリングされる。サンプリングされた色成分の値を基に、図 6に示されるヒストグラムが形成される。図 6では、 L a b色空間に基づいて形成されたヒストグラムを例として示す。ヒストグラムが形成されると、横軸（L又は a， bの値）における上下 1 0 %の成分（図 6斜線部）がカットされる。ここで言う 1 0 %という数値は、設計者によって適宜変更されても良い。この後、肌の色成分のヒストグラムにおいてカットされていない部分の L a bの値を用いて、サンプリング領域 1 8内における標準偏差と重心とが算出される。そして、算出されたこれら六つの値を用いた数 2の式により、原画像 6の各画素における肌の色の度合い（以下、肌の色強度と呼ぶ：強度値に相当）が算出され（肌の色強度抽出）、肌の色強度画像 8が生成される。

[数 2 ] (b '—bヽ

肌色強度 = exp

L ,a',b ".サンプリング領域の Lab値の重心

W_L ,W_a W_b-サンプリング領域の Lab値の標準偏差 X定数肌の色成分のヒストグラムの形成において、図 6における横軸の両端から累積 1 0 %分がカットされるため、ノイズ成分を除去し、肌の色の成分の分布をより正確に得ることが可能となる。ここで言うノイズ成分とは、例えばサンプリング領域 1 8内の鼻の穴や目など、肌の色以外の色成分を主として有する画素についての情報である。このような処理により、サンプリング領域 1 8内に鼻の穴や目など、肌の色以外の色成分が含まれてしまった場合にも、これらについての情報を削除することが可能となる。 ( 〈合成処理〉〉

肌の色領域抽出処理では、次に、肌の色強度画像 8のデータ及ぴマスク画像 7 のデータが入力され、合成処理 S 0 4 aが実行される。

合成処理 S 0 4 aでは、入力される肌の色強度画像 8とマスク画像 7とが合成される。即ち、肌の色強度抽出処理 S 0 3によって生成された肌の色強度画像 8 とマスク処理によって生成されたマスク画像 7とを用いた乗算処理が実行される _t 合成処理 S 0 4 aの実行により、マスク済肌の色強度画像 9が生成される。

< 〈肌の色領域補正処理〉〉

肌の色領域抽出処理では、次に、マスク済肌の色強度画像 9のデータが入力され、肌の色領域補正処理 S 0 5が実行される。

肌の色領域補正処理 S 0 5では、合成処理 S 0 4 aによって生成されたマスク済肌の色強度画像 9に対し、縮退処理が実行される。縮退処理の実行により、目や口の周辺の肌の色強度が下げられる。即ち、ぼかし処理の対象外となる黒い領域（肌の色強度が低い又は 0の領域）が外側に広げられる。この縮退処理により. 目や口の周辺に対しぼかし処理が実行されることが防止される。言い換えれば、はっきりとした画像を取得すべきである目や口の周辺がぼやけてしまうことを防止することが可能となる。肌の色領域補正処理 S 0 5の実行により、肌の色領域画像 1 0 aが生成される。肌の色領域画像 1 0 aでは、肌の色強度の高い画素は大きい画素値で表現され、肌の色強度が低い画素は小さい画素値で表現される。

〈美肌処理部〉

美肌処理部 5 aは、美肌処理を実行する。以下、美肌処理部 5 aによって実行される美肌処理について説明する。この美肌処理では、原画像 6のデータ及び肌の色領域画像 1 0 aのデータが入力され、ぼかしフィルタ処理 S 0 6 a及ぴ美肌合成処理 S 0 7が実行されることにより、美肌画像 1 2のデータが出力される。このように、画像生成手段の一例として、この実施形態では、マスク処理部 3，肌の色領域抽出部 4 a，及び美肌処理部 5 aが適用される。また、色成分算出手段の一例として、この実施形態では、美肌処理部 5 aが適用される。この美肌画像 1 2のデータは、画像補正装置 1 aによって出力されるデータでもある。

< 〈ぼかしフィルタ処理〉 > 美肌処理では、まず、原画像 6のデータ及び肌の色領域画像 10 aのデータが入力され、ぼかしフィルタ処理 S 06 aが実行される。ぼかしフィルタ処理 S O 6 aでは、原画像 6に対し、ぼかし処理が実行される。ここで言うぼかし処理とは、既存のどのようなぼかし処理であっても良い。その例として、例えば移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタを含む）や ε—フィルタを用いた方法がある。

ぼかしフィルタ処理 S 06 aでは、原画像 6の各画素のうち、肌の色領域画像 10 aにおいて肌の色強度の値が 0より大きい画素についてのみぼかし処理が実行される。このため、肌の色強度が 0の画素、即ち明らかに肌の色ではない画素や合成処理 S 04 aによってマスクがかけられた画素については、ぼかし処理が実行されない。ぼかしフィルタ処理 S 06 aの実行により、ぼかし画像 1 1が生成される。

< 〈美肌合成処理〉〉

美肌処理では.、次に、原画像 6のデータ，肌の色領域画像 10 aのデータ及びぼかし画像 1 1のデータが入力され、美肌合成処理 S 07が実行される。美肌合成処理 S 07では、原画像 6とぼかし画像 1 1とについて、肌の色領域画像 10 aにおける肌の色強度を用いた半透明合成が実行される。数 3は、美肌合成処理 S 07において実行される半透明合成の式である。

[数 3]

R -R_arsx(l-V) + R_smmhxV

G = G_orsxQ.-V) + G_smaall,xV

B = B_orgx(l-V) + B_saoolhxV '

Ror_g,G_org,B_org：原画像の RGB成分

R一 G耀 _tl,,W'ぼかし画像の RGB成分

V：肌色領域画像の肌色強度 (0〜1) 数 3を用いた半透明合成では、肌の色強度に応じた合成処理が実行される。具体的には、肌の色強度が高い画素についてはぼかし画像 1 1の画素値（RGB成分）が強く反映され、肌の色強度が低い画素については原画像 6の画素値（RG B成分）が強く反映される。このような半透明合成により、肌の色強度の高い領域（即ち肌の色の領域）についてはぼかしの度合いが強くなり、肌の色強度の低い領域（即ち肌の色ではない領域）についてはぼかしの度合いが弱くなる。美肌合成処理 S 0 7の実行により、美肌画像 1 2が生成される。

〔作用/効果〕

本発明の画像補正装置 1 aでは、顔位置検出処理 S 0 1により、処理の対象となる画像中から被写体の顔が検出され、顔矩形座標が得られる。顔矩形座標に基づいて被写体の上半身以外をマスクするためのマスク画像 7が生成される。そして、美肌処理において、このマスク画像 7によるマスク処理が反映されたぼかし処理が実行される。このため、被写体の顔などの肌の色成分を有する領域に対してぼかし処理が実行される際に、同一画像中の肌の色成分を有する被写体以外の領域（例えば背景）に対してはぼかし処理が実行されない。従って、被写体の顔などにぼかし処理が実施される際に、肌の色成分を有する背景までがぼけてしまうことを防止し、このような背景を鮮明なままで維持することが可能となる。即ち、被写体の顔やその周辺に限って画像をなめらかにし、しわやしみ等を消すことが可能となる。

また、本発明の画像補正装置 1 aでは、サンプリング領域 1 8の内部、即ち顔位置検出処理 S 0 1によって検出された被写体の顔の領域の内部から被写体の肌の色成分が抽出される。そして、抽出された肌の色成分をもとに、ぼかし処理の対象となる領域が決定される。即ち、抽出された肌の色成分を基に、肌の色強度画像 8の作成時に肌の色として認識される肌の色成分が決定される。このため、例えば肌が白レ、人が被写体であれば、抽出された白、肌の色の色成分に基づいて肌の色強度画像 8が生成され、肌が黒い人が被写体であれば、抽出された黒い肌の色の色成分に基づいて肌の色強度画像 8が生成される。このように、本発明の画像補正装置 l aでは、肌の色を固定的に決めずに、原画像 6の顔の位置から肌の色がサンプリングされる。従って、人種や個人差による肌の色の違いに対応することが可能であり、安定した補正効果を得ることができる。

また、マスク画像作成処理 S 0 2において、外側の楕円と内側の楕円との間に, 不透明度についてのグラデーションが施される。このため、マスクされない領域である透過領域と、マスクされる不透過領域との境目において、不自然な画像が生成されることが防止される。

なお、本発明の画像補正装置 1 aは、既存の様々な装置に搭載されても良い。例えば、プリンタ，ディスプレイ，デジタルカメラ， M P E G (Moving Picture Experts Group) プレイヤ一等に搭載されても良い。このような場合、各装置に入力される画像のデータが、原画像 6のデータとして、記憶部 S tに入力される。そして、画像補正装置 1 aの出力である美肌画像 1 2のデータは、各装置の特性に応じて利用される。例えば、画像補正装置 1 aがプリンタに搭載された場合には、美肌画像 1 2はプリンタによって印刷される。

また、本発明の画像補正装置 1 aは、図²における各処理 S 0 1 〜 S 0 7が C P Uによって実行されることにより、 C P Uを備える情報処理装置上に仮想的に実現されても良い。この場合、情報処理装置に各処理 S 0 1 〜 S 0 7を実行させるプログラムが本願の発明となる。このプログラムは、 C D— R OM等の記録媒体に記録され、パーソナルコンピュータやサーバ（例えば A S P (Application Service Provider) に設置されるサーバ）によって直接実行されても良いし、ハードディスクや R O M等の不揮発性記憶装置に記憶されてこれらの装置に実行されても良い。この場合、原画像 6のデータは、情報処理装置に接続されたスキヤナゃデジタルカメラ等から入力されても良い。また、原画像 6のデータは、インターネット等のネットワークを介して他の装置からアップロード又はダウンロードされることにより入力されても良い。

〔変形例〕

顔検出部 2 , マスク処理部 3，肌の色領域抽出部 4 a , 及び美肌処理部 5 aは、それぞれハードウエアとして実装されたチップを用いて構成されても良い。また、記憶部 S tは、画像補正装置 1 aが取り付けられる他の装置の R AMを用いて構成されても良い。即ち、記憶部 S tは、必ずしも画像補正装置 1 aの内部に備えられる必要はなく、顔検出部 2，マスク処理部 3，肌の色領域抽出部 4 a，及ぴ美肌処理部 5 aからアクセス可能に構成されれば画像補正装置 1 aの外部に備えられても良い。この場合、記憶部 S tは、他の装置（例えば、画像補正装置 1 a が取り付けられた装置の C P U) と、画像補正装置 1 aの各処理部 2 〜 5とによつて共用されるように構成されても良い。

また、ぼかしフィルタ処理 S 0 6 aでは、顔位置検出処理 S 0 1によって検出された顔矩形の大きさに基づいてぼかし度合いが決定されても良い。具体的には、顔矩形が大きいほど、強い（大きい）ぼかし度合いのぼかし処理が実行される。逆に、顔矩形が小さいほど、弱い（小さい）ぼかし度合いのぼかし処理が実行される。例えば、移動平均フィルタや荷重平均フィルタの半径等のパラメタを操作することにより実現できる。また、ガウシアンフィルタの場合は、以下の式において標準偏差 _σを変えることでぼかし度合いを変化させることができる。

[数 4 ]

また、単純平滑化フィルタの場合は、 η X ηのオペレータにおいて、 ηの値を変えることでぼかし度合いを変化させることができる。図 8は、 η Χ ηのォペレータの具体例を示す図である。図 8 ( a ) は n = 3の場合、図 8 ( b ) は n = 5 の場合、図 8 ( c ) は n = 7の場合のオペレータの例をそれぞれ示す。 nの値が大きいほどぼかし度合いが大きくなる。

このように構成されることにより、顔の大きさに応じて適したぼかし度合いのぼかし処理を実施することが可能となる。従って、小さい顔に対して過度のぼかし度合いのぼかし処理を実施することにより発生する、顔全体がぼけてしまう等の問題を防止することが可能となる。

また、美肌処理ではぼかし処理が実施されるが、ぼかし処理以外の画像処理 (例：エッジ強調，明るさ補正，色補正，テクスチャマッピング）が実施されるように構成されても良い。

また、マスク処理部 3は必ずしも備えられる必要はない。ただし、マスク処理部 3が備えられない場合、マスク画像 7に基づく処理が実施されない。このため, 美肌画像 1 2を得るまでに要する時間が増加する可能性がある。

[第二実施形態]

〔システム構成〕次に、画像補正装置の第二実施形態である画像補正装置 1 bについて説明する。図 9は、画像補正装置 1 bの機能プロックを示す図である。画像補正装置 1 bは、美肌処理部 5 aに代えて美肌処理部 5 bを備える点で画像補正装置 1 aと異なる。以下、画像補正装置 1 bについて、画像補正装置 1 aと異なる点について説明する。

図 1 0は、図 9に示される各機能部によって実行される処理と、画像補正装置 1 bとしての全体の処理フローを示す図である。以下、図 9， 1 0を用いて、画像補正装置 1 bの各機能部について説明する。

〈美肌処理部〉

美肌処理部 5 bは、美肌合成処理 S 0 7を実施せず、ぼかしフィルタ処理 S O 6 aに代えてぼかしフィルタ処理 S 0 6 bを実施する点で、美肌処理部 5 aと異なる。以下、美肌処理部 5 bによって実施される美肌処理について説明する。

< 〈ぼかしフィルタ処理〉〉

美肌処理部 5 bによって実施される美肌処理では、原画像 6のデータ及び肌の色領域画像 1 0 aのデータが入力され、ぼかしフィルタ処理 S 0 6 bが実行される。ぼかしフィルタ処理 S 0 6 bでは、原画像 6の各画素に対し、肌の色領域画像 1 0 aに含まれる肌の色強度に応じたぼかし処理が実行される。具体的には、肌の色強度が高い画素に対するぼかし処理はぼかし度合いが大きく設定され、肌の色強度が低い画素に対するぼかし処理はぼかし度合いが低く設定される。また、ぼかしフィルタ処理 0 6 bは以下のように構成されても良い。

画像補正装置 1 aでは、ぼかしフィルタ処理 S O 6 aによってぼかし画像 1 1 が生成され、ぼかし画像 1 1と原画像 6と肌の色領域画像 1 0 aとを用いて美肌合成処理 S 0 7が美肌画像 1 2を生成した。一方、美肌補正装置 1 bでは、ぼかし画像 1 1が生成されることなく美肌画像 1 2が生成されても良い。具体的には、美肌画像 1 2の各画素の値を数 3の式に基づいて算出する際に、処理の対象となつている画素に対するぼかし処理をその都度実行する。即ち、数 3において使用されるぼかし画像の R G B成分の各値を、必要になった画素についてのみその都度算出するように構成される。このように構成されることにより、ぼかし画像 1 1をバッファリングする必要が無くなり、メモリ領域を節約することが可能となる。

〔作用/効果〕

本発明の画像補正装置 1 bでは、美肌処理において、ぼかし画像 1 1が生成されることなく、出力画像としての美肌画像 1 2が直接生成される。従って、ぼかし画像 1 1を生成するためのぼかしフィルタ処理 S 0 6 aや美肌合成処理 S 0 7 に要する時間を削減することが可能となる。

[第三実施形態]

〔システム構成〕

次に、画像補正装置の第三実施形態である画像補正装置 1 cについて説明する _c 図 1 1は、画像補正装置 1 cの機能プロックを示す図である。画像補正装置 1 c は、肌の色領域抽出部 4 aに代えて肌の色領域抽出部 4 cを備える点、エッジマスク処理部 1 9を備える点で画像捕正装置 1 bと異なる。以下、画像補正装置 1 cについて、画像補正装置 1 bと異なる点について説明する。

図 1 2は、図 1 1に示される各機能部によって実行される処理と、画像補正装置 1 cとしての全体の処理フローを示す図である。以下、図 1 1， 1 1を用いて、画像補正装置 1 cの各機能部について説明する。

〈エッジマスク処理部〉

エッジマスク処理部 1 9は、エッジマスク処理を実行する。以下、エッジマスク処理について説明する。エッジマスク処理では、原画像 6が入力され、エッジマスク画像作成処理 S 0 8が実行されることにより、エッジマスク画像 2 0のデータが出力される。

エッジマスク画像作成処理 S 0 8では、まず、入力された原画像 6が縮小され、縮小画像が取得される。例えば、顔矩形の大きさがさらに入力されることにより、顔矩形の大きさに基づいて縮小の割合が決定されても良い。例えば、入力された顔矩形のうち最も大きいものの幅が規定のピクセル（数十ピクセル〜百ピクセル程度）程度になるように縮小されても良い。

次に、縮小画像に基づいてエッジの抽出、即ちエッジ強度の取得が実施される。このエッジ抽出処理は、既存のどのような技術によって実施されても良い。例えば、ソーベルフィルタを用いたエッジ抽出が実施される。図 1 3は、ソ一べルフィルタの例を示す図である。図 1 3 ( a ) は、下方向のソーベルフィルタを示し、図 1 3 ( b ) は上方向のソーベルフィルタを示す。それぞれのソーベルフィルタを用いたェッジ抽出処理が実施され、各ソ一べルフィルタのェッジ画像が取得される。この場合、二つのエッジ画像が取得される。

次に、取得されたそれぞれのエッジ画像をグレー化し、合成することにより、合成エッジ画像が取得される。この合成処理により、下方向のソ^ "ベルフィルタによつて抽出されたェッジと上方向のソ一べルフィルタによつて抽出されたェッジとが、合成エッジ画像に表される。

次に、取得された合成エッジ画像が反転され、反転エッジ画像が取得される。次に、反転エッジ画像に対し、縮退処理が実施される。縮退処理の実行により、抽出されたエッジが周囲に広がった画像が取得される。そして、縮退処理が実施された反転エッジ画像が、原画像 6の大きさに拡大され、エッジマスク画像 2 0 が取得される。以後の処理では、エッジマスク画像 2 0における画素値は、肌の色強度として扱われる。即ち、取得されたエッジ部分の画素は、反転処理により画素値が低い又は 0となっているため、肌の色強度が低い画素として扱われる。また、縮退処理により、抽出されたエッジの影響が、その周囲にまで及ぶ。即ち、抽出されたエッジ及びその周囲における肌の色強度が低いことを示す画像として、エッジマスク画像 2 0が作成される。

〈肌の色領域抽出部〉

肌の色領域抽出部 4 cは、合成処理 S 0 4 aに代えて合成処理 S 0 4 cを実施する点で、肌の色領域抽出部 4 bと異なる。以下、肌の色領域抽出部 4 cによつて実施される肌の色領域抽出処理について、特に合成処理 S 0 4 cについて説明する。

< 〈合成処理〉〉

肌の色領域抽出部 4 cによって実施される肌の色領域抽出処理では、肌の色強度抽出処理 S 0 3が実施された後、肌の色強度画像 8 , マスク画像 7，及ぴエツジマスク画像 2 0が入力され、合成処理 S 0 4 cが実行される。

合成処理 S 0 4 cでは、入力される肌の色強度画像 8とマスク画像 7とエッジマスク画像 2 0とが合成される。即ち、肌の色強度抽出処理 S 0 3によって生成された肌の色強度画像 8とマスク処理によって生成されたマスク画像 7とエッジマスク処理によって生成されたエッジマスク画像 2 0とを用いた乗算処理が実行される。合成処理 S 0 4 cの実行により、マスク済肌の色強度画像⁹ cが生成される。

肌の色領域抽出部 4 cによって実施される肌の色領域抽出処理では、合成処理 S O 4 cの後、マスク済肌の色強度画像 9 cを用いた肌の色領域捕正処理 S 0 5 が実施され、肌の色領域画像 1 0 cが出力される。

〔作用/効果〕

画像補正装置 1 cでは、合成処理 S 0 4 cにおいて、エッジマスク画像 2 0が用いられる。エッジマスク画像 2 0では、抽出されたエッジ及ぴその周囲の肌の色強度が低く又は 0に設定されている。このため、合成処理 S 0 4 cによって、エッジ及ぴその周囲の肌の色強度が低く又は 0に設定されたマスク済肌の色強度画像 9 cが取得される。そして、このようなマスク済肌の色強度画像 9 cを用いて美肌処理が実施されるため、エッジ及ぴその周囲、即ち目元，眉，口元などの鮮鋭度を維持したままで、その他の肌の色部分に対しぼかし処理を実施することが可能となる。特に、肌色に近い口紅や、肌色に近い眉（例えば薄い眉毛など）等を有した顔画像に対する美肌処理の際に有効である。

図 1 4は、肌の色強度画像 8とエッジマスク画像 2 0との差異を示すための図である。図 1 4 ( a ) は肌の色強度画像 8の例であり、図 1 4 ( b ) はエッジマスク画像 2 0の例である。この場合、原画像 6における左の人物の眉の色が肌色に近いため、肌の色強度画像 8では、眉部分の肌の色強度が肌色に近いことを示す値になっている。また、原画像 6における右の人物の唇の色が肌色に近いため、肌の色強度画像 8では、唇部分の肌の色強度が肌色に近いことを示す値になっている。このままでは、左の人物の眉部分や右の人物の唇部分にまでぼかし処理が実施され、眉毛や唇がぼやけた美肌画像 1 2が取得されてしまう。一方、エッジマスク画像 2 0では、左の人物の眉部分や右の人物の唇部分のエッジが抽出されたため、左の人物の眉部分や右の人物の唇部分の肌の色強度が肌色に遠いことを示す値になっている。このため、エッジマスク画像 2 0を用いることにより、眉部分や唇部分などにぼかし処理が実施されず、これらの部分の鮮鋭度を維持することが可能となる。

〔変形例〕

エッジマスク画像作成処理 S 0 8において、拡大処理と反転処理と縮退処理とは、必要に応じて実施される順番が変更されても良い。ただし、反転処理の前に縮退処理が実施される場合、画素値（肌の色強度）が低い又は 0の領域が外側に拡げられるのではなく、画素値（肌の色強度）が高い又は 2 5 5 (肌の色強度である場合は" 1 ") の領域が外側に拡げられる。

ェッジマスク処理部 1 9，エッジマスク画像作成処理 S 0 8の代わりに、顔要素マスク処理部（顔要素抽出手段に相当），顔要素マスク画像作成処理が実行され、エッジマスク画像 2 0に代えて顔要素マスク画像が作成されても良い。顔要素マスク画像作成処理では、エッジが抽出されるのではなく、被写体の顔に含まれる要素（顔要素）が抽出される。このような顔要素は、例えばテンプレートマツチングを行うことにより抽出される。そして、顔要素マスク画像では、抽出された顔要素及ぴこの顔要素から所定の範囲の画素についての肌の色強度が低く又は 0に設定されるように構成される。

Claims

請求の範囲 .

1 . 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する所定領域特定手段と、

前記所定領域特定手段によって特定された所定領域に対して画像処理が施された画像を生成する画像生成手段と

を備える画像処理装置。

2 . 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する所定領域特定手段と、

前記所定領域特定手段によって特定された所定領域に対して、画像処理としてのぼかし処理が施された画像を生成する画像生成手段と

を備える画像処理装置。

3 . 前記所定領域特定手段は、

画像中の被写体である人物の身体部分を検出する検出手段と、

前記検出手段によつて検出された身体部分を基準として前記所定領域を特定する特定手段と

を備える請求項 1又は 2に記載の画像処理装置。

4 . 前記画像生成手段は、前記所定領域特定手段によって特定された所定領域内の領域であつて、この所定領域の基準となつた身体部分を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成する請求項 1〜 3のいずれかに記載の画像処理装置。

5 . 前記画像生成手段は、'

処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、

処理対象となっている画像の前記所定領域に対して画像処理を施す画像処理手段と、

各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記所定領域の基準となつた身体部分を主に占める色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する色成分算出手段とを備え、

前記色成分算出手段は、前記強度値算出手段によって算出された強度値に基づいて、各画素の新たな色成分を算出する

請求項 1〜 3のいずれかに記載の画像処理装置。

6 . 前記画像生成手段は、

処理対象となっている画像に対して画像処理を施す画像処理手段と、前記所定領域特定手段によって特定された所定領域以外の画素についての前記強度値を、前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す値にするマスク手段と、

各画素における強度値が前記所定領域の基準となつた身体部分を主に占める色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する色成分算出手段とを備え、

前記色成分算出手段は、前記強度値算出手段及び前記マスク手段によって算出された強度値に基づいて、各画素の新たな色成分を算出する

請求項 1〜 3のいずれかに記載の画像処理装置。

7 . 前記画像生成手段は、

処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となつた身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、

処理対象となっている画像の前記所定領域に対し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像処理を実施する画像処理手段とを備え、

前記画像処理手段は、前記強度値算出手段により得られる該画像の各画素の前記強度値に基づいて画像処理を実施する

請求項 1〜 3のいずれかに記載の画像処理装置。

8 . 前記画像生成手段は、

前記所定領域特定手段によって特定された所定領域以外の画素についての前記強度値を、前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す値にするマスク手段と、

処理対象となっている画像に対し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像

処理を実施する画像処理手段とを備え、

前記画像処理手段は、前記強度値算出手段及び前記マスク手段によつて得られる該画像の各画素の前記強度値に基づいて画像処理を実施する請求項 1〜 3のいずれかに記載の画像処理装置。

9 . 前記画像処理手段は、所定の範囲の強度値を有する画素については画像処理を実行しない

請求項 6に記載の画像処理装置。

1 0 . 前記画像生成手段は、実施する画像処理の内容を、前記所定領域特定手段によって特定された所定領域の基準となった身体部分の大きさに基づいて決定する

請求項 1〜 9のいずれかに記載の画像処理装置。

1 1 . 処理対象となっている画像中の被写体である人物の身体部分を構成する要素であって、前記所定領域に含まれる要素を少なくとも一つ抽出する要素抽出手段をさらに備え、

前記画像生成手段は、前記要素抽出手段によって抽出された要素を基準として決まる要素領域に対する画像処理を制限して実施する

請求項 1〜 1 0のいずれかに記載の画像処理装置。

1 2 . 前記画像生成手段は、

処理対象となっている画像の各画素についてエッジの強度を取得し、前記各画素について、抽出されたェッジの強度が強いほど前記所定領域の基準となつた身体部分を主に占める色成分に遠いことを示す前記強度値を与えるエッジマスク手段をさらに備え、

前記色成分算出手段は、前記ェッジマスク手段によって算出された強度値にさらに基づいて各画素の新たな色成分を算出する

請求項 5又は 6に記載の画像処理装置。

1 3 . 前記画像生成手段は、

処理対象となっている画像の各画素についてエッジの強度を取得し、前記各画素について、抽出されたエッジの強度が強いほど前記所定領域の基準となった身体部分を主に占める色成分に遠レ、ことを示す前記強度値を与えるエッジマスク手段をさらに備え、

前記画像処理手段は、前記エッジマスク手段により得られる該画像の各画素の前記強度値にさらに基づいて画像処理を実施する

請求項 7又は 8に記載の画像処理装置。

1 4 . 前記エッジマスク手段は、処理対象となっている画像を縮小してから各画素に対し前記強度値を与え、さらに元の大きさの画像に拡大する

請求項 1 2又は 1 3に記載の画像処理装置。

1 5 . 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定するステップと、特定された所定領域に対して画像処理が施された画像を生成するステップとを情報処理装置に実行させるためのプログラム。

1 6 . 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定するステップと、

特定された所定領域に対してぼかし処理が施された画像を生成するステップとを情報処理装置に実行させるためのプログラム。

1 7 . 前記画像を生成するステップにおいて、前記特定された所定領域の基準となった身体部分から抽出された、被写体である人物の肌の色の色成分に基づいた画像処理が施された画像の生成を、前記情報処理装置に実行させるための請求項 1 5又は 1 6に記載のプログラム。

1 8 . 画像中の任意の像を含む領域の位置及び範囲を特定するステップと、特定された領域内の領域であって、この領域を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成するステップとを情報処理装置に実行させるためのプログラム。