JPH051448B2 - - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、カラー写真フイルムあるいは写真的
に得られたカラー原稿（以下、両者を含めカラー
原画という）の肌色検出方法に関し、さらに詳し
くはカラースキヤナにおける画像処理条件の設
定、レイアウトスキヤナにおけるレタツチ作業、
カラープリンタにおける露光条件設定等の際にカ
ラー原画の各点の青色、緑色および赤色の各濃度
を測定し、この３色の濃度値が肌色の領域内にあ
るとき、その色を肌色と判定し、この肌色（例え
ば人間の顔）が適正な肌色に色再現されるように
信号処理条件及び露光条件を設定する為の肌色検
出方法に関するものである。

（従来技術） 例えばカラープリンタによりカラー写真フイル
ム（カラーネガフイルム、カラーポジフイルム
等、以下単に「フイルム」もしくは「カラーフイ
ルム」という。）をプリントする際、アマチユア
のカラーフイルムには、露出の過不足、コントラ
ストが大きいもの、色がかたよつたもの等、各種
のものが含まれているが、このようなフイルムで
あつてもプリント時に適正なカラーバランスと濃
度をもつたカラープリントが得られるように露光
量を補正することが行なわれている。この補正と
しては、LATD方式と称されるものが一般的で
あり、これはカラーフイルムの画面全体の平均透
過濃度に基づいて露光量の補正を行なうものであ
る。

ところで、アマチユアの撮影したカラーフイル
ムについての我々の調査結果によれば、カラーフ
イルム中約80％が人物を主要被写体としているこ
とが確認された。そしてアマチユアが、プリント
されたカラーペーパー（印画紙）を評価する際に
最も関心を持つのは、人間の顔であるということ
も良く知られている。したがつて人物が主要被写
体となつているカラー写真は、顔の部分が適正な
肌色に再現されていることが望ましい。

このように、顔の部分が適正な肌色に再現され
るためにはカラーフイルムの画面全体の平均濃度
に基づいて色補正がなされるのではなく、顔の部
分に着目して色補正がなされる必要があり、その
ためにカラーフイルム上で顔の部分を識別するこ
とが必要になる。

また、逆光で人物を撮影した場合、またはスト
ロボで人物を撮影した場合、あるいはコントラス
トが大きい場合等のカラーフイルムを前記
LATD方式により露光量補正した場合にはその
プリントの主要被写体にデンシテイフエリアが生
じる。すなわち画面全体の平均濃度で露光時間を
決定するとそのプリントでの主要被写体が濃すぎ
たり、あるいは薄すぎたりする現象がおきる。

このような場合には、通常、主要被写体となる
人物を識別し、この人物の色再現性を良好にすれ
ば前述したようなフイルムであつてもデンシテイ
フエリアが生じるおそれがない。

本発明者等は、上述したような見解に立つて人
物の識別について研究した結果、肌の色で人物を
明確に識別する方法を発明し、すでに開示してい
る（特開昭52−156624号）。この方法は、青色、
緑色、赤色の濃度もしくは組合せを軸とする２次
元座標もしくは３次元座標において、肌色と判定
することができる領域を楕円もしくは楕円断面を
有する立体として定め、各点を測定して得た青
色、緑色、赤色濃度がこの中に包含される場合に
その点の色を肌色であると判定し、その肌色と判
定した測定点の大小によりそのカラー写真フイル
ムの主要被写体が人物であるか否かを識別するも
のである。

しかしながら、上述したような方法によつて
は、フイルムが標準露光条件で撮影されたもので
あれば、かなり良い精度で肌色の識別を行なうこ
とができるが、オーバ露光あるいはアンダ露光の
場合にはフイルムの画面全体の濃度分布が大きく
シフトするため、前記楕円もしくは回転楕円体内
に包含された測定点が必ずしも人物の肌を表わす
ものではないことになり、高い精度で肌色の識別
を行なうことが困難であるという問題があつた。

（発明の目的） 本発明は、上記問題を解決するためになされた
ものであり、カラー原画がアンダ露光あるいはオ
ーバ露光の場合であつても精度良くカラー原画上
の肌色を識別することのできる肌色検出方法を提
供することを目的とするものである。

（発明の構成） 本発明の肌色検出方法は、上述した、肌色を判
定する領域を定める際に、測定対象たるカラー原
画がオーバ露光の場合にはその過剰露光量分に応
じてその領域を構成する総ての座標点の各座標を
増加するように、一方そのカラー原画がアンダ露
光の場合にはその不足露光量分に応じてその領域
を構成する総ての座標点の各座標を減少するよう
に修正し、その修正した後の領域内にそのカラー
原画の各点を測光して得た青色、緑色、赤色濃度
が包含される場合にその点の色を肌色と判定する
ような方法である。すなわち、たとえば３つの座
標軸が各々赤色、緑色、青色のい度値を表わす３
次元座標における回転楕円体によつて、肌色を表
わす領域が定義されているとすれば、観察対象で
あるカラー原画がオーバ露光の場合にはその回転
楕円体をその露光量に応じた分だけ各座標を増加
させるように移動するようにし、反対にアンダ露
光の場合にはその露光量に応じた分だけ各座標を
減少させるように移動するように修正するのであ
る。なお、この場合に基準となる領域は当然ノー
マル露光時の肌色を表わす回転楕円体領域であ
る。

（発明の効果） 本発明の肌色検出方法によれば、カラー原画の
露光量の過不足に応じて肌色と判定する領域を移
動するようにし、オーバ露光あるいはアンダ露光
のカラー原画におけるカラー原画全体の濃度分布
のシフトに伴ない肌色と判定する領域を移動させ
るようにしているから、いかなる露光条件で撮影
されたカラー原画であつてもそのカラー原画上の
肌色を精度よく識別することができる。このよう
にして識別した肌色の部分の青色、緑色、赤色濃
度から、その肌色部が肌色の目標濃度になるよう
に露光量を制御すれば、カラーバランスおよび濃
度が適正となり、特に顔の色再現性に優れたカラ
ーハードコピー（カラープリント）を得ることが
できる。また、デンシテイフエリアが生じやすい
カラーフイルムであつても主要被写体が人物であ
る場合には、これを精度よく識別することができ
るから、肌色の色再現性を図ることによつてデン
シテイフエリアが生じるのを防ぐことができる。

（実施態様） 以下、本発明の実施態様について図面を用いて
詳細に説明する。

本実施態様は、青色、緑色、赤色の各濃度値を
軸とする３次元空間において、ノーマル露光のカ
ラー原画における肌色の領域を表わす回転楕円体
を求め、次に実際に肌色を識別したいカラー原画
の露光量の過不足に応じて、その肌色を判定する
ための領域の中心を求め、次に前記回転楕円体の
中心が先に求めた領域の中心に重なるように前記
回転楕円体を移動してそのカラー原画における肌
色識別領域を形成し、そのカラー原画の各測定点
がその領域に含まれるか否かを判定して肌色か否
かを識別する方法である。

上述した各段階について、以下順を追つて説明
する。第１にノーマル露光のカラー原画における
肌色の領域を表わす回転楕円体を求める手順を説
明する。

肌色の領域を回転楕円体で定義することにした
のは本発明者等の研究から、回転楕円体によりそ
の領域を最も適確に表わすことができるという結
論が得られたからである。すなわち肌色の領域内
に他の色が含まれる場合には判定ミスが生じるた
め、肌色のほとんどを含むとともに肌色でない色
が含まれないような領域を定める必要があり、そ
の領域を適当な回転楕円体で定めた場合には上記
条件をかなりの精度で満足することができる。

楕円体もしくは楕円は次の一般式で表わされ
る。

ds²＝_o 〓^i,j=1 a_ijx_ix_j（a_ijは定数） ……(1) x₁＝Ｂ−Bo x₂＝Ｇ−Go x₃＝Ｒ−Ro ここで、a_ijは定数、Ｂは青色濃度値、Ｇは緑色
濃度値、Ｒは赤色濃度値、又（Bo，Go，Ro）は
楕円体もしくは楕円の中心座標である。

楕円を表わす場合はｎ＝２であり、第１図に示
すような回転楕円体を表わす場合はｎ＝３であ
る。

したがつて回転楕円体を表わす式は以下のよう
になる。

ds²＝a₁₁（Ｂ−Bo）²＋2a₁₂（Ｂ−Bo）（Ｇ−Go） ＋a₂₂（Ｇ−Go）²＋2a₂₃（Ｇ−Go）（Ｒ−Ro） ＋a₃₃（Ｒ−Ro）²＋2a₃₁（Ｒ−Ro）（Ｂ−Bo）
……(2) ここで、（Bo，Go，Ro）及び係数a_ijは、以下
のようにして予め求められる。

多くのノーマル露光のカラー原画の中から充
分多くの肌色部を測光してＢ，Ｇ，Ｒ各濃度値
の組を求める。

このデータからＢ，Ｇ，Ｒを各々軸とする３
次元空間における確率楕円体を求めると Bo＝ Go＝ Ro＝ となる。

ここで＝１／Ｎ_N 〓ⁱ⁼¹ Bi ＝１／Ｎ_N 〓ⁱ⁼¹ Gi ＝１／Ｎ_N 〓ⁱ⁼¹ Ri また、a_ijはつぎの分散・共分散行列Ａの逆行列
の要素である。

Ａ＝Var(B)，Cov（Ｂ，Ｇ），Cov（Ｒ，Ｂ） Cov（Ｂ，Ｇ），Var(G)，Cov（Ｇ，Ｒ） Cov（Ｒ，Ｂ），Cov（Ｇ，Ｒ），Var(R)） ここで、 Var(B)＝１／Ｎ−１_N 〓ⁱ⁼¹ （Bi−）² Var(G)＝１／Ｎ−１_N 〓ⁱ⁼¹ （Gi−）² Var(R)＝１／Ｎ−１_N 〓ⁱ⁼¹ （Ri−）² Vov（Ｂ，Ｇ）＝１／Ｎ−１_N 〓ⁱ⁼¹ （Bi−）（Gi−GB） Cov（Ｇ，Ｒ）＝１／Ｎ−１_N 〓ⁱ⁼¹ （Gi−）（Ri−） Cov（Ｒ，Ｂ）＝１／Ｎ−１_N 〓ⁱ⁼¹ （Ri−）（Bi−） ただし、Ｎはデータの数、Bi，Gi，Riは各肌
色点における濃度を示すのものである。

第２に、実際に肌色を識別したいカラー原画の
露光量の過不足に応じてその肌色を判定するため
の領域の中心の座標を求める。この座標を求める
場合には、第２図に示すように、まず粗いサンプ
リングピツチカラー原画の青色、緑色、赤色の濃
度データをサンプリングし、このデータに基づい
て累積ヒストグラムを作成し（２のステツプ）カ
ラー原画のハイライト濃度（B_H，G_H，R_H）を求
める（３のステツプ）。この場合には、たとえば
この累積ヒストグラムにおいて最もハイライトな
濃度の方向から全体の１％に相当する濃度をハイ
ライト濃度とするようにしてもよい。次に予め求
めておいたカラー原画の平均的ハイライト濃度
（_H，_H，_H）と（B_H，G_H，R_H）を次式に代入
して領域の中心（Bo′，Go′，Ro′）を求める（４
のステツプ）。

Bo′＝Bo＋α（B_H−_H） Go′＝Go＋α（G_H−_H） Ro′＝Ro＋α（R_H−_H） ……(3) ここで、 α：修正の強さを表わす係数ただし０≦α≦
１ （Bo，Go，Ro）：ノーマル露光フイルムの
回転楕円体中心 第３に、式(3)で求めた（Bo′，Go′，Ro′）を式
(2)の（Bo，Go，Ro）と置き替えて、そのカラー
原画において肌色を識別するための回転楕円体を
表わす以下の式をつくる。

ds²＝a₁₁(B-Bo′)²＋2a₁₂(B-Bo′)(G-Go′) ＋a₂₂(G-Go′)²＋2a₂₃(G-Go′)(R-Ro′) ＋a₃₃(R-Ro′)²＋2a₃₁(R-Ro′)(B-Bo′) ……(4) ここで、a_ij（ｉ，ｊ＝１，２，３）は式(2)の場
合と同じ値である。

式(4)によつて３次元空間に形成される回転楕円
体はカラー原画の露光量の過不足に応じて形成さ
れる位置が異なり、第３図に示すようにノーマル
露光原画の場合の回転楕円体５に比べてノーマル
露光原画の場合の回転楕円体６は原点の近くに形
成され、アンダ露光原画の場合の回転楕円体７は
原点から遠くに形成される。

第４にカラー原画の肌色部分の判定を行う。第
４図は、電子計算機によるこの判定の演算ステツ
プを示す図である。前述した第２図の１のステツ
プで得られたカラー原画の青色、緑色、赤色の濃
度信号は、第２図の４のステツプで求められた回
転楕円体の中心（Bo′，Go′，Ro′）を(2)式へ代入
して求められた修正後の回転楕円体表わす式(4)に
代入されds²の値が求められる（８のステツプ）。
一方、肌色領域の回転楕円体の径を表わす係数Ｋ
が定められる。この係数Ｋは、定数あるいは回転
楕円体の中心座標（Bo′，Go′，Ro′）の関数とし
て設定される（９のステツプ）。次に、上記８の
ステツプで求められたds²の値と９のステツプで
定められた係数Ｋとが大小比較され、ds²≦Ｋの
場合には、カラー原画の各色濃度値は回転楕円体
内に存在するので肌色と判定され、ds²＞Ｋの場
合には非肌色と判定される（10のステツプ）。

第５図は、本発明を応用したカラースキヤナー
の概略を示すブロツク図である。入力ドラム１１
上の原稿は走査され、読取ヘツド１２により色分
解された画像信号が読み取られる。画像信号は入
力部１３に入力され、濃度信号、更にデジタル信
号に変換された後、信号処理回路１４によりカラ
ーコレクシヨン、階調変換等の画像処理が行わ
れ、露光部１５でアナログ信号に変換され、この
アナログ信号を入力された変調器により光源（例
えばレーザ発振器）からの光が変調され、出力ヘ
ツド１６を介して出力ドラム１７上の感光材料に
露光が行われる。一方、上述した感光材料への露
光が行われる前に、入力ドラム１１上の原稿は、
予め粗いサンプリングピツチ（500μ程度）で走
査（プレスキヤン）され、原稿の粗い画像情報が
読取ヘツド１２から入力部１３を介してメモリ１
８に記憶される。この画像情報は、演算部１９に
入力され、前述した本発明に係る方法により、肌
色検出が行われ、検出された肌色部分が適切な肌
色の色味になるように、又他の条件に応じて自動
的に設定された階調変換カーブ、カラーコレクシ
ヨン等の信号処理条件に基づいて、条件データが
信号処理回路１４にセツトされる。この後、前述
したように、原稿が読み取られ、この条件により
画像処理が施され、感光材料に露光が行われる。
尚、信号処理条件を設定する方法は、本願出願人
が出願した特願昭58−145491、特願昭58−145492
の発明に係る方法を用いることができる。

また、第６Ａ図、第７Ａ図および第８Ａ図は本
実施態様の方法を用いて肌色と判定した点を星印
＊で示したデータであり、それぞれオーバ露光、
ノーマル露光およびアンダ露光のカラー原画を測
定した結果である。さらに、第６Ｂ図、第７Ｂ図
および第８Ｂ図は従来の方法を用いて同様の測定
を行なつたときのデータであり、それぞれ第６Ａ
図、第７Ａ図および第８Ａ図と同一のカラー原画
を測定した結果である。第６Ａ図、第７Ａ図およ
び第８Ａ図はそれぞれ第６Ｂ図、第７Ｂ図および
第８Ｂ図に比べて人物の顔や手の肌色部分が精度
よく検出されているのがわかる。すなわち、実施
態様の方法を用いれば、従来の方法を用いるより
もかなり高い精度で肌色を検出することができ
る。とくにアンダ露光のカラー原画においてその
効果は顕著である。

なお、この方法において肌色と判定された測定
点の個数が少ない場合には、たとえ人物が写つて
いても、それが主要被写体でない場合があるか
ら、一定数以上あつた場合にカラー原画中に肌色
ありと判定し、かつ主要被写体が人物であるとし
て識別するのがよい。そして肌色ありと判定した
場合に、その肌色をカラーハードコピー上（カラ
ープリント上）で好ましい濃度（目標濃度）に仕
上げれば、主要被写体である肌色が好ましい色に
色再現される。これと同時にデンシテイフエリア
が生じやすいカラーネガフイルムであつても、デ
ンシテイフエリアおよびカラーフエリアを生じる
ことなくカラーハードコピー（カラープリント）
を作成することができる。さらに、肌色部のシヤ
ープネス強調の抑制等も高精度で行なうことがで
きる。

なお、上述した実施態様においては、回転楕円
体の中心（Bo′，Go′，Ro′）を求める場合に、累
積ヒストグラムを用いてハイライト濃度（B_H，
G_H，R_H）を得るようにして得た値を式(3)に代入
するようにしているが、累積ヒストグラムを作成
せずにカラー原画のハイライト濃度（B_H′，G_H′，
R_H′）を直接式(3)に代入するようにしてもよい。
また、カラー原画中の肌色部分の青色、緑色、赤
色の濃度の組（B₁，G₁，R₁）、（B₂，G₂，R₂）…
（Bn，Gn，Rn）の平均（_o 〓ⁱ⁼¹ Bi／ｎ，_o 〓ⁱ⁼¹ Gi／ｎ，
_o 〓ⁱ⁼¹ Ri／ｎ）を算出して、この値を回転楕円体の
中心（Bo′，Go′，Ro′）とするようにしてもよ
い。

また、上述した実施態様においては、カラー原
画の露光量に応じて回転楕円体の中心の座標を定
めるようにしているが、その回転楕円体の径ある
いは方向性も露光量の関数として、露光量に応じ
て適切に変化させ、これにより回転楕円体を定義
すればより精度の高い肌色検出を行なうことがで
きる。

また、第１図に示すような回転楕円体を用いて
肌色の領域を定義する代わりに、濃度比または濃
度差を用いた２次元座標で肌色の楕円を定めても
よい。第９図は、濃度比によつて肌色の楕円を定
義した実施態様を示すものである。濃度比をｂ，
ｇ，ｒとすると、これらは ｂ＝Ｂ／Ｂ＋Ｇ＋Ｒ ｇ＝Ｇ／Ｂ＋Ｇ＋Ｒ ｒ＝Ｒ／Ｂ＋Ｇ＋Ｒ （但しｂ＋ｇ＋ｒ＝１である。） で表わされる。したがつて楕円は独立な２つの変
数によつて定義される。

第１０図は濃度差によつて肌色の楕円を定義し
た実施態様を示すものである。

上記の各実施態様の場合は、３次元の情報を２
次元の情報に圧縮しているため、いろいろな濃度
レベルのＢ，Ｇ，Ｒ濃度を一平面に投影したもの
になつている。これらの定義方法では、特性曲線
が直線でなく足部、肩部では彎曲しているため、
肌色の判定に若干誤りを生じる場合もある。

また、楕円体もしくは楕円の特別なものとして
は球体または円があるが、この球体もしくは円で
肌色を定義することもできる。本発明において楕
円体もしくは楕円とは球体、円をも含むものとす
る。また、Ｒ，Ｇ，Ｂの濃度をそのまま３次元の
軸にした場合には前述のように肌色は楕円体で定
義されるが、これらの組合せを軸にすれば、その
各種組合せによつて楕円体は楕円の断面を有する
種々の立体になり得る。

【図面の簡単な説明】

第１図は、本発明の１実施態様に係る肌色を表
わす回転楕円体の領域を示すグラフ、第２図は、
回転楕円体の中心座標を算出する演算ステツプを
示す図、第３図は、オーバ露光、ノーマル露光お
よびアンダ露光のカラーフイルムのそれぞれの場
合について肌色を表わす回転楕円体の領域の１例
を示すグラフ、第４図は、第３図の回転楕円体を
用いて肌色を識別する演算ステツプを示す図、第
５図は、本発明を応用したカラースキヤナの概略
を示すブロツク図、第６Ａ図、第７Ａ図および第
８Ａ図は本発明に係る方法の１実施態様を用いて
肌色と判定した点を星印＊で示した図、第６Ｂ
図、第７Ｂ図および第８Ｂ図は従来の方法を用い
て肌色と判定した点を星印＊で示した図、第９図
および第１０図は本発明の実施態様に係る肌色を
表わす楕円の領域を示すグラフである。 ５…ノーマル露光フイルムの肌色識別領域、６
…オーバ露光フイルムの肌色識別領域、７…アン
ダ露光フイルムの肌色識別領域。

Claims (1)

1. 【特許請求の範囲】 １ 青色、緑色、赤色濃度の組合せを軸とした３
   次元座標系において肌色の領域を楕円又は円断面
   を有する立体で定義し、カラー写真フイルムある
   いはカラー原稿の各点を測定して得た青色、緑
   色、赤色濃度が前記立体の中に含まれるとき、そ
   の測定点を肌色として判定する方法において、 前記フイルムあるいは原稿の露光量の過不足に
   応じて、前記立体の各座標を各座標軸において増
   減するように修正することを特徴とする肌色検出
   方法。 ２ 前記楕円又は円断面を有する立体が楕円体で
   あり、前記修正した後の楕円体の一般式を ds²＝₃ 〓^i,j=1 a_ijx_ix_j ここで a_ijは定数 x₁＝Ｂ−B₀ x₂＝Ｇ−G₀ x₃＝Ｒ−R₀ Ｂ：測定点の青色濃度 Ｇ：測定点の緑色濃度 Ｒ：測定点の赤色濃度 B₀：肌色の青色濃度の中心値 G₀：肌色の緑色濃度の中心値 R₀：肌色の赤色濃度の中心値 として表わしたとき、Ｋを定数とすると、 ds²≦Ｋならば肌色 ds²＞Ｋならば非肌色 として判定するようにしたことを特徴とする特許
   請求の範囲第１項記載の肌色検出方法。 ３ 前記B₀、G₀、R₀が、前記フイルムあるいは
   原稿のハイライト濃度B_H、G_H、R_Hを測定した後、
   その測定して得た値を変換式 B₀＝B_N＋α（B_H−_H） G₀＝G_N＋α（G_H−_H） R₀＝R_N＋α（R_H−_H） ここで （B_N、G_N、R_N）：ノーマル露光原画の回転楕円
   体中心 α：修正の強さを表わす係数 ただし０≦α≦１ （_H、_H、_H）：予め多数のフイルムから求め
   た平均ハイライト濃度 に代入して求められた値であることを特徴とする
   特許請求の範囲第２項記載の肌色検出方法。 ４ 前記B₀、G₀、R₀が、前記フイルムあるいは
   原稿の複数個の肌色部分の青色、緑色、赤色の濃
   度をそれぞれ平均した値であることを特徴とする
   特許請求の範囲第２項記載の肌色検出方法。 ５ 青色、緑色、赤色濃度の組合せを軸とした２
   次元座標において肌色を楕円又は円で定義し、カ
   ラー写真フイルムあるいはカラー原稿の各点の測
   定して得た青色、緑色、赤色濃度が前記楕円又は
   円の中に含まれるとき、その測定点を肌色として
   判定する方法において、 前記フイルムあるいは原稿の露光量の過不足に
   応じて、前記楕円の各座標を各座標軸において増
   減するように修正することを特徴とする肌色検出
   方法。 ６ 前記２次元座標が、前記青色、緑色、赤色の
   うちの２色の組合せの濃度比を縦軸とし、他の２
   色の組合せの濃度比を横軸としたものであること
   を特徴とする特許請求の範囲第５項記載の肌色検
   出方法。