JP3950226B2 - 画像処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、とくに人物像を撮像することにより得られる写真やネガフイルムなどから読み取った画像データに対して画像処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
ネガフイルムやリバーサルフイルムなどを用いて人物像を撮影することにより得られた写真などの画像において、最も注目される部位は人物の顔である。しかしながら、アンダー露光や逆光で撮影を行った場合には、人物の顔が黒くなってしまったり、ストロボを使用して人物をアップで撮影した場合（ストロボハイコン）には顔の階調を失って白くなってしまうという問題がある。また天気の良い日に人物を撮影すると顔の半分程度が陰となってしまいコントラストが大きくなるという問題もある。このため、ネガフイルム等に記録された原画像を感光材料に焼き付ける場合に、人物の顔が適正な明るさとなるように、原画像中の人物の顔に相当する領域を覆い焼きなどの手法により露光量を調整するようにしている。
【０００３】
一方、写真や印刷物などの反射原稿、ネガフイルム、リバーサルフイルムなどの透過原稿から画像を読み取ってデジタルの画像データを得、この画像データに対してテンプレートやクリップアート画像との合成を行い、この合成により得られた画像をさらに感光材料に焼き付けてユーザに提供することが行われている。この際、上述したようなアンダー露光、逆光、ストロボハイコン等により原稿の撮影が行われた場合は、人物の顔に対応する領域の画像データに対して、明るさ、階調、色、シャープネスなど修正を施して、上述した問題を修正するようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、アンダー露光や逆光の影響が大きい場合、撮影によって得られる人物像においてはノイズが非常に多くなり、またストロボハイコンの影響が大きい場合、撮影により得られる人物像において人物の肌に特有のテクスチャなどの情報が欠落してしまう。したがって、このような人物像が記録された原稿を読み取ることにより得られる画像データは修正に限界があり、上述したような階調処理などの修正を施しても、人物像の顔を良好に再現することは困難であった。
【０００５】
本発明は上記事情に鑑みなされたものであり、人物像を良好に再現できるように画像データを修正できる画像処理方法および装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明による画像処理方法は、人物像を含む画像を表す画像データに対して画像処理を施す画像処理方法において、
前記画像データにより表される画像から前記人物像の顔領域を抽出し、
該顔領域に対応する顔領域画像データおよび／または前記画像データの特性値を求め、
該特性値に基づいて該顔領域に関する画像状態を判断し、
所望とする肌色画像を表す肌色画像データと前記顔領域画像データとを、前記画像状態に基づいて求められる重み係数により重み付け加算して修正顔領域画像データを得、
該修正顔領域画像データと、前記顔領域以外の領域に対応する顔領域外画像データとを合成して処理済み画像データを得ることを特徴とするものである。
【０００７】
また、本発明の画像処理方法においては、前記顔領域に加えて、前記顔領域以外の領域に対応する顔領域外画像データを修正し、
該修正された顔領域外画像データと前記修正顔領域画像データとを合成して前記処理済み画像データを得ることが好ましい。
【０００８】
ここで、「特性値」とは、顔領域内の画像データの分散値、平均値、濃度プロファイルの傾き、あるいは画像データのダイナミックレンジの値等のことであり、「特性値に基づいて顔領域の画像状態を判断する」とは、特性値の大小に基づいて、その顔領域の、アンダー露光、逆光、ストロボハイコン、コントラストの程度を判断することをいう。また、「所望とする肌色画像」とは、人物の理想的な肌色および明るさを有する画像のことであり、この肌色画像には人物の肌に特有のテクスチャも含まれる。
【０００９】
本発明による画像処理装置は、人物像を含む画像を表す画像データに対して画像処理を施す画像処理装置において、
前記画像データにより表される画像から前記人物像の顔領域を抽出する顔領域抽出手段と、
該顔領域に対応する顔領域画像データおよび／または前記画像データの特性値を求める特性値算出手段と、
該特性値に基づいて該顔領域に関する画像状態を判断する画像状態判断手段と、
所望とする肌色画像を表す肌色画像データと前記顔領域画像データとを、前記画像状態に基づいて求められる重み係数により重み付け加算して修正顔領域画像データを得る修正手段と、
該修正顔領域画像データと、前記顔領域以外の領域に対応する顔領域外画像データとを合成して処理済み画像データを得る合成手段とを備えたことを特徴とするものである。
【００１０】
また、本発明の画像処理装置においては、前記修正手段は、前記顔領域に加えて、前記顔領域以外の領域に対応する顔領域外画像データを修正する手段であり、
前記合成手段は、該修正された顔領域外画像データと前記修正顔領域画像データとを合成して前記処理済み画像データを得る手段であることが好ましい。
【００１１】
【発明の効果】
本発明によれば、人物像を撮影することにより得られる画像から、人物像の顔領域が抽出され、この顔領域に対応する顔領域画像データの、分散値、平均値、濃度プロファイルの傾き、ダイナミックレンジ等の特性値が求められる。そして、この特性値に基づいて、顔領域の画像状態、すなわちアンダー露光、逆光、ストロボハイコン、コントラスト等の程度が判断され、この画像状態に基づいて求められる重み係数により、所望とする肌色画像を表す肌色画像データと顔領域画像データとが重み付け加算されて修正顔領域画像データが得られる。
【００１２】
したがって、顔領域が上述した階調処理等によっては修正に限界があるような場合であっても、肌色画像データを用いることにより所望とする明るさや色を有するの肌色となるように、顔領域を修正することができ、したがって、人物像の顔の肌色を良好に再現できる画像データを得ることができる。
【００１３】
また、顔領域のみを修正すると、顔領域以外の領域と顔領域との明るさのバランスが崩れ、再生される画像が見た目に違和感のあるものとなってしまう。このため、顔領域以外の領域についても修正を行うことにより、見た目に違和感のないような画像を再現できる画像データを得ることができる。
【００１４】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００１５】
図１は本発明の実施形態による画像処理装置を適用した画像再生システムの構成を示すブロック図である。図１に示すように、本実施形態による画像再生システムは、写真やネガフイルムなどに撮影された人物像を含む画像を読み取って、この画像を表すデジタルの画像データＳを得るスキャナなどの画像読取手段１と、画像読取手段１により読み取られた画像データＳに対して画像処理を施して処理済み画像データＳ′を得る画像処理手段２と、画像処理手段２において得られた処理済み画像データＳ′をプリント画像として再生するプリンタなどの再生手段３とからなる。画像処理手段２は、画像データＳにより表される画像から人物像の顔領域を抽出する顔領域抽出手段４と、顔領域抽出手段４により抽出された顔領域に対応する顔領域画像データＳＨに基づいて、顔領域の画像状態を判断する画像状態判断手段５と、画像状態判断手段５において判断された画像状態に基づいて顔領域画像データＳＨを修正するとともに、画像データＳにより表される画像の顔領域以外の領域を所望とする明るさとなるように修正して処理済み画像データＳ′を得る修正手段６と、画像状態判断手段５において顔領域の画像状態の判断の基準となる関数式および修正手段６において顔領域画像データＳＨを修正するための所望とする肌色画像を表す肌色画像データが記録されたメモリ７とを備える。
【００１６】
顔領域抽出手段４は、例えば特開平９−１０１５７９号公報、特開平９−１３８４７０号公報に記載された顔領域抽出方法により画像データＳにより表される画像から人物像の顔領域を抽出するものである。特開平９−１０１５７９号に記載された方法は、以下のようにして顔領域を抽出する。すなわち、画像の各画素の色相が肌色の範囲に含まれるか否かを判断して画像を肌色領域と非肌色領域とに分割するとともに、画像中のエッジを検出して画像をエッジ部分および非エッジ部分とに分割する。そして、肌色領域内に位置しており非エッジ部分と分類した画素からなり、かつエッジ部分と判定された画素により囲まれた領域を顔候補領域として抽出し、この抽出された顔候補領域が人物の顔に相当するか否かを判定するものである。また、特開平９−１３８４７０号公報に記載された方法は、以下のようにして顔領域を抽出する。すなわち、互いに異なる複数の抽出方式の何れかにより、画像データにより表される画像から顔に相当すると推定される領域を抽出する。各抽出方式はあらかじめ顔領域抽出性能が評価されており、その評価結果に応じて重み係数が定められている。そして、抽出された顔領域候補をその抽出方式に応じた重み係数により重み付けし、重み付けした結果に基づいて顔に相当する領域である確度の高い領域を顔領域として抽出する。
【００１７】
画像状態判断手段５は、顔領域に対応する顔領域画像データＳＨの分散値、平均濃度値、濃度プロファイルの傾きおよび画像データＳにより表される画像の濃度ダイナミックレンジを特性値として求める。なお、濃度プロファイルの傾きは、図２に示すように、顔領域の重心Ｇを基準として図２の縦、横、斜めの３方向の濃度プロファイルの傾きを求め、この３つの傾きの平均値を濃度プロファイルの傾きの特性値とするものである。ここで、これらの特性値の大小と画像状態とには図３に示すような関係がある。すなわち、
（１）アンダー露光の場合は、平均濃度値が高く、濃度ダイナミックレンジが狭い。
【００１８】
（２）逆光の場合は、平均濃度値が高く、濃度プロファイルの傾きが小さい。
【００１９】
（３）ストロボハイコンの場合は、分散値が小さく、平均濃度値が低く、濃度プロファイルの傾きが小さく、濃度ダイナミックレンジが広い。
【００２０】
（４）コントラストが大きい場合は、分散値が大きく、濃度プロファイルの傾きが大きく、濃度ダイナミックレンジが広い。
【００２１】
したがって、特性値のそれぞれについて、例えば図４から図７に示すような、特性値と画像状態の度合との関係を表す関数式を設定し、各特性値ごとに、アンダー露光、逆光、ストロボハイコン、コントラストの度合を求め、その度合が最も大きいものを、顔領域の画像状態とする。なお、図４から図７に示す関数式は、各特性値ごとに設定されメモリ７に記憶されている。
【００２２】
修正手段６は、画像状態判断手段５において求められた画像状態に基づいて顔領域画像データＳＨおよび顔領域以外の画像データＳを修正する。具体的には、図８に示すように、メモリ７に記憶された好ましい肌色および好ましい肌のテクスチャを有する肌色画像を表す肌色画像データＨと、顔領域画像データＳＨとの重み付け加算を下記の式（１）により行う。
【００２３】
ＳＨ′＝（１−α）・ＳＨ＋α・Ｈ （１）
但し、ＳＨ′：修正顔領域画像データ
α ：重み係数
ここで、重み係数αは、アンダー露光、逆光、ストロボハイコン、コントラストの度合に応じて決定され、度合が大きいほど重み係数αの値を大きくする。なお、アンダー露光の場合には、顔領域にはノイズが多いため、顔領域に対してローパスフィルタ処理を施してノイズを除去する。また、ストロボハイコンの場合には、顔領域の階調が軟調化しているため、顔領域の階調を硬調化する。さらに、コントラストが大きい場合には、顔領域の階調が硬調化しているため、シャドウ部が明るくなるように階調を軟調化する。
【００２４】
また、顔領域がアンダー露光の場合には、顔領域以外の画像も暗くなっているため、顔領域以外の領域についてはハイライト点を最小濃度に合わせるように階調を硬調化する修正を行う。また、逆光、ストロボハイコンおよびコントラスト大の場合にも、必要に応じて顔領域以外の領域の画像を修正する。
【００２５】
そして、修正顔領域画像データＳＨ′と、修正された顔領域以外の領域に対応する画像データＳとを加算して、処理済み画像データＳ′を得る。
【００２６】
次いで、本実施形態の動作について説明する。
【００２７】
まず、画像読取手段１において、写真、ネガフイルム等に記録された画像が読み取られ画像データＳが得られる。画像データＳは画像処理手段２の顔領域抽出手段４に入力されて上述したように顔領域に対応する顔領域画像データＳＨが抽出される。顔領域画像データＳＨおよび画像データＳは画像状態判断手段５に入力され、顔領域画像データＳＨに基づいて、分散値、平均濃度値、濃度プロファイルが、画像データＳに基づいて画像全体のダイナミックレンジが特性値として求められる。そして、図４から図７に示す関数式を参照して特性値に基づいてアンダー露光、逆光、ストロボハイコン、コントラストの度合を求め、この求められた度合の内最も度合が高いものを顔領域の画像状態とする。
【００２８】
修正手段６は、メモリ７に記憶された肌色画像を表す肌色画像データＨと、顔領域画像データＳＨとの重み付け加算のための重み係数αを、上記画像状態から求め、この重み係数αにより、肌色画像データＨと顔領域画像データＳＨとの重み付け加算を行って修正顔領域画像データＳＨ′を得る。また、必要であれば顔領域以外の領域の画像データＳについても修正を行って、この修正された画像データと、修正顔領域画像データＳＨ′とを加算して処理済み画像データＳ′を得る。
【００２９】
得られた処理済み画像データＳ′は再生手段３に入力され、ここでプリント画像として再生される。
【００３０】
このように、本実施形態においては、抽出された顔領域の画像状態を判断し、この判断結果に基づいて、好ましい肌色および好ましい肌のテクスチャを有する肌色画像と、顔領域とを重み付け加算するようにしたため、顔領域が通常行われている階調処理等によっては修正できないような場合であっても、所望とする明るさの肌色となるように、顔領域を修正することができ、これにより、人物像の顔の肌色を良好に再現できる処理済み画像データＳ′を得ることができる。
【００３１】
なお、上記実施形態においては、図４から図７に示す関数式を参照して、アンダー露光、逆光、ストロボハイコンおよびコントラスト大の度合が最も大きいものを顔領域の画像状態と判断しているが、アンダー露光、逆光、ストロボハイコンおよびコントラスト大の度合の割合を求め、この割合を顔領域の画像状態として判断してもよい。すなわち、特性値に基づいて求められたアンダー露光、逆光、ストロボハイコンおよびコントラスト大の度合が、それぞれ、０．１，０．２，０．３，０．４であった場合、アンダー露光、逆光、ストロボハイコンおよびコントラスト大の割合を１：２：３：４として求めるものである。この場合、修正手段６においては、以下のように顔領域画像データＳＨの修正が行われる。
【００３２】
まずアンダー露光、逆光、ストロボハイコンおよびコントラストの度合に基づいて、下記の式（２）により４つの修正画像データＳＨ１′〜ＳＨ４′を得る。
【００３３】
ＳＨｉ′＝（１−αｉ）・ＳＨ＋αｉ・Ｈ （２）
但し、ｉ＝１〜４，１：アンダー露光
２：逆光
３：ストロボハイコン
４：コントラスト大
そして、修正画像データＳＨ１′〜ＳＨ４′を、アンダー露光、逆光、ストロボハイコンおよびコントラスト大の割合に応じて下記の式（３）により、重み付け加算して修正顔領域画像データＳＨ′を得る。
【００３４】
SH′=(a・SH1′+b・SH2′+c・SH3′+d・SH4′)/(a+b+c+d) （３）
但し、ａ：アンダー露光の度合の割合
ｂ：逆光の度合の割合
ｃ：ストロボハイコンの度合の割合
ｄ：コントラスト大の度合の割合
このように、各画像状態の度合に応じて、各画像状態ごとの修正画像データＳＨ１′〜ＳＨ４′を求め、修正画像データＳＨ１′〜ＳＨ４′を各画像状態の割合に応じて重み付け加算して最終的な修正顔領域画像データＳＨ′を求めることにより、アンダー露光、逆光、ストロボハイコンおよびコントラストが大きくなっている顔領域画像データＳＨを適切に修正することができ、これにより、人物像の肌をより適切に再現することができる処理済み画像データＳ′を得ることができる。
【００３５】
なお、上記実施形態においては、アンダー露光、逆光、ストロボハイコンおよびコントラストを画像状態としているが、これに限定されるものではなく、他の種々の画像状態に応じて顔領域データを修正してもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置を適用した画像再生システムの構成を示すブロック図
【図２】濃度プロファイルを求める状態を示す図
【図３】画像の特性値と画像状態との関係を示す図
【図４】分散値と画像状態の度合との関係を示す関数式を表すグラフ
【図５】平均濃度値と画像状態の度合との関係を示す関数式を表すグラフ
【図６】濃度プロファイルと画像状態の度合との関係を示す関数式を表すグラフ
【図７】ダイナミックレンジと画像状態の度合との関係を示す関数式を表すグラフ
【図８】修正手段において行われる処理を示すブロック図
【符号の説明】
１ 画像読取手段
２ 画像処理手段
３ 再生手段
４ 顔領域抽出手段
５ 画像状態判断手段
６ 修正手段
７ メモリ

Claims (6)

1. 人物像を含む画像を表す画像データに対して画像処理を施す画像処理方法において、
   前記画像データにより表される画像から前記人物像の顔領域を抽出し、
   該顔領域に対応する顔領域画像データおよび前記画像データの特性値を求め、
   該特性値に基づいて該顔領域のアンダー露光、逆光、ストロボハイコンおよびコントラストの度合いを表す画像状態を判断し、
   所望とする肌色画像を表す肌色画像データと前記顔領域画像データとを、前記画像状態に基づいて求められる重み係数により重み付け加算して修正顔領域画像データを得、
   該修正顔領域画像データと、前記顔領域以外の領域に対応する顔領域外画像データとを合成して処理済み画像データを得ることを特徴とする画像処理方法。
2. 前記顔領域に加えて、前記顔領域以外の領域に対応する顔領域外画像データを修正し、
   該修正された顔領域外画像データと前記修正顔領域画像データとを合成して前記処理済み画像データを得ることを特徴とする請求項１記載の画像処理方法。
3. 前記画像状態は、アンダー露光、逆光、ストロボハイコンおよびコントラストの度合いのうちの最も度合いが高いもの、またはこれらの度合いの割合であることを特徴とする請求項１または２記載の画像処理方法。
4. 人物像を含む画像を表す画像データに対して画像処理を施す画像処理装置において、
   前記画像データにより表される画像から前記人物像の顔領域を抽出する顔領域抽出手段と、
   該顔領域に対応する顔領域画像データおよび前記画像データの特性値を求める特性値算出手段と、
   該特性値に基づいて該顔領域のアンダー露光、逆光、ストロボハイコンおよびコントラストの度合いを表す画像状態を判断する画像状態判断手段と、
   所望とする肌色画像を表す肌色画像データと前記顔領域画像データとを、前記画像状態に基づいて求められる重み係数により重み付け加算して修正顔領域画像データを得る修正手段と、
   該修正顔領域画像データと、前記顔領域以外の領域に対応する顔領域外画像データとを合成して処理済み画像データを得る合成手段とを備えたことを特徴とする画像処理装置。
5. 前記修正手段は、前記顔領域に加えて、前記顔領域以外の領域に対応する顔領域外画像データを修正する手段であり、
   前記合成手段は、該修正された顔領域外画像データと前記修正顔領域画像データとを合成して前記処理済み画像データを得る手段であることを特徴とする請求項４記載の画像処理装置。
6. 前記画像状態は、アンダー露光、逆光、ストロボハイコンおよびコントラストの度合いのうちの最も度合いが高いもの、またはこれらの度合いの割合であることを特徴とする請求項４または５記載の画像処理装置。

Images