JP2532700B2 - Ｒｇｂ画像から顔パタ―ンを抽出する方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、RGB画像から肌色領域および顔パターン領
域を抽出する方法および装置に関する。

特に、RGB画像から印刷等に用いるYMC画像に変換する
場合など、肌色（顔パターン）領域の色再現が最も重要
視される場合の色変換に有用なRGB画像から肌色（顔パ
ターン）領域を抽出する方法および装置に関するもので
ある。

［従来の技術］ 従来、TV画像、電子スチル画像、CG画像等、Ｒ（レッ
ド）、Ｇ（グリーン）およびＢ（ブルー）より成り立っ
ている画像を、印刷、コピー、プリント等するには、RG
B色をＹ（イエロー）、Ｍ（マゼンタ）、Ｃ（シア
ン）、更にはBL（ブラック）に変換している。今日、T
V、ハイビジョン、ビデオ、電子スチルカメラ、CG等カ
ラーモニター等の画像を、カラープリントあるいは印刷
する機会が増えており、画像全体はもちろんのこと、特
に肌色（顔色）の色再現を良くしたいという要望が強
く、カラーモニターに表示されたTV画像やCG等から色再
現性に優れる各種ハードコピーを得るための研究が活発
に行われている。

以下、TV画像から印刷画像を作成する場合の従来の方
法について述べる。

まず、最初、NTSC方式のコンポジット信号であるTV信
号は、デコーダーに入力され、ここでRGBの３色のカラ
ー画像信号にデコードされる。

そして、A/D変換され、コンピューターのメモリー等
に格納される。RGB画像を印刷に適したYMC画像に変換す
るためには、格納されたRGB画像をカラーモニター上に
まず表示し、カラーモニター（CRT）上のカラー画像を
見ながら、色修正（画像全体の）、調子補正（画像全体
の）、シャープネス処理等必要な処理を行う。そして、
最後にR,G,B信号を印刷色のY,M,Cに変換する処理を行
い、カラーコピーや印刷用フィルムに出力する。

この一連の処理においては、カラーモニターを見なが
ら画像全体の色再現、調子が最も良好になるような処
理、即ち、CRT画像上と、印刷画像上の多数の色の平均
色差が最小となるように色変換条件を設定して処理して
いたものである。

従って、カラーコピー、プリント、印刷において、常
識色として最も重要視される顔色等が好ましい顔色（肌
色）に処理され、再現されるとは限らないものであっ
た。

この従来法においては、カラーモニター画像を見て、
調子補正、色補正は出来るが、あくまでも画像全体のカ
ラーバランス上の補正であり、最も重要視される顔色
（肌色）の色再現を部分的に良くするものではなかっ
た。

そこで、ハードコピーの色再現において、最も重要視
されている肌色、特に顔領域の色再現を向上するための
方法として、実際の作業者が、カラーモニター上の画像
の顔の部分をライトペン、カーソル等でその輪郭をなぞ
り、エリア指定を行い、即ちマスキング処理を行い、そ
の部分を特別に色修正する方法も行われている。

［発明が解決しようとする課題］ しかし、この方法におけるマスキング処理は自動的に
行うものではなく、また多くの手間がかかるものであっ
た。一方、この方法はモニター上のRGB信号のレベルを
実際のモニターを見ながら画面の顔パターン部分のRGB
のレベル値を変更して色修正を行うものであるため、モ
ニター色のRGB色と印刷色のYMC色とを一致させるべくレ
ベル値の変更を行うためには、相当の熟練が要求される
ものであった。

また、この処理を行うには、この作業を行うためのメ
モリー領域および画像処理ソフト、デジタイザー等が必
要であり、システムの価格も高価となるものであった。

また、自動的に肌色領域を抽出する方法としては、ネ
ガカラーフィルムにおいて、撮影光源を同定しそれから
肌色領域を抽出する方法は既に報告されている。

しかし、テレビ画像については、撮影条件、使用機
材、色調節、受信状態等の差異から再現される肌色領域
は極めて広範囲に分布しているため、ネガカラーフィル
ムの場合の方法をそのまま適用することが出来ないもの
であった。

本発明は、TV、ビデオ画像等から自動的にカラーモニ
ター上の肌色および顔領域を抽出する方法を提供しよう
とするものである。

また、本発明は上記処理に適した装置を提供すること
をも目的とするものである。

［課題を解決するための手段］ 本発明である肌色領域の抽出方法及び装置について説
明する。

TV画像中の肌色領域の抽出においては、種々のTV画像
の肌色部分について、肌色に相当するRGB画像の色を測
定し、そこから色度を求めその色度分布から、肌色領域
を示す判別式を色度の関数として統計的に定める。そし
て、処理しようとするTV画像について、各画素ごとにRG
Bを測定し、色度を求め、それを前記判別式に適用し、
肌色領域の抽出（その他の色相領域とを区別）し、画像
の２値化処理を行う。

次に、肌色領域が抽出された２値化画像を、膨張・収
縮、孤立点除去、ラベル付け等の画像処理を施し画像の
前処理を行う。

更に、顔パターンの認識の精度を良くする為に前記処
理後の画像について、面積、周囲長、外接長方形の縦横
比を特徴ベクトルとして捕らえ、顔パターン部の確認処
理を行う。

以上の操作でもって、TV画像から肌色（顔パターン）
領域を自動的に抽出出来る。

［実施例１］ 以下、本発明の方法について詳細に説明する。

まず、RGB画像の肌色に相当する色度分布を統計的に
とらえ、色度の関数とした肌色領域を示す判別式の求め
方について説明する。

まず、多数のTV画像から、肌色に相当する多数（Ｎ
個）の画素のRGBデータを測定する。そして、得られたR
GBデータを（１）式に基づいて計算し、肌色色度を求め
る。

ri＝Ri/（Ri＋Gi＋Bi） gi＝Gi/（Ri＋Gi＋Bi） ……（１） ri＋gi＋bi＝１ （ただし、ｉは、１≦ｉ≦Ｎであり、Ri,Gi,Biは各画素
のRGBデータである） ついで、ri,giのバラツキ即ち分散δ²ri,δ²giを
（２）の分散式より求める。

ついで、ri,giの相関係数ａを下記（３）より求め
る。

ついで、肌色領域内に入る確率λを（４）式より求め
る。

（ただし、Ｎ′は、度数を示し、Ｎ′＜Ｎである。） なお、Ｎ′を変化させることにより、肌色領域の範囲
を変化させることが出来る。

一方、計算により求めた色度をｒ軸、ｇ軸のグラフに
プロットし、肌色に相当する色度の分布状況から、肌色
領域を規定する判別式を求める。

なお、第１図は、Ｎ＝4000の場合について、実際TV画
像の肌色領域について測定した場合のグラフであり、こ
の場合は、楕円の式で肌色領域を近似することが出来
る。ただし、判別式については、楕円に限定されること
なく、円もしくは方形であっても差し支えないものであ
る。

この実験結果に基づいて、肌色領域を楕円式で規定す
る場合は、下記（５）式で表現することが出来る。

以上のようにして求めた判別式（例えば、前記式
（５）式）に、処理すべきTV画像の各画素のRGB値より
計算されるr,gの色度を当てはめ、それを満足する要素
が、肌色領域として自動的に抽出することが可能とな
る。

さて、上記手順により肌色領域が抽出されたTV画像
は、２値化された後に、膨張・収縮・孤立点除去等の平
滑化処理、更にはラベル付け等の画像処理を施こすこと
が行われる。

膨張・収縮処理において、膨張処理とは、２値化され
た画像の境界点を太らせる処理であり、逆に収縮処理と
は、境界点を取り除き小さくする処理である。具体的に
は、２値化画像の一つの画素（xij）において、以下の
操作をすることである。

即ち、 上記膨張・収縮処理は、しばしば組み合わせて行い、
２値化画像の中の小成分や小さな孔を検出したり、消滅
させたりすることが出来る。

また、孤立点除去に関しては、２値化画像の一つの注
目画素（xij）において、上記処理と同様、近傍画素の
値との関係を考慮することで、操作をすることが出来
る。

また、ラベル付けに関しては、同じ連結成分に属する
すべての画素に同じラベル（番号）を割り当てること
で、連結成分の個々の属性を区別するための画像処理で
ある。

以上の操作で、TV画像中の肌色に相当する領域の抽出
並びに抽出画像の平滑化、属性ごとのラベリングがなさ
れるが、ラベル付けされた肌色２値化画像には、顔パタ
ーンに相当する部分以外に、肌色で構成される腕、脚等
の部分も多く含まれるものであ。これら部分は、顔とは
異なり、細長い領域で構成される場合が多いため、形状
を判別することで、顔パターン領域の認識の精度を良く
することが出来る。そのためには、顔パターン領域を面
積、周囲長、外接長方形の縦横比を特徴ベクトルとして
用いて処理することが好ましいものである。

具体的には、ラベル付けされた肌色領域について、そ
の面積Ｓと、周囲長Ｌの２乗の比ｑの式、 ｑ＝S/L² ……（６） を用いて、顔パターン部を認識することが出来るもので
ある。

即ち、前記（６）式を円形、正方形、正三角形の場合
に当てはめると、 円形:q＝πr²/（２πｒ）^２＝0.0769 正方形:q＝r²/（4r）^２＝0.0625 となり、形の大きさに関係なく、形状が複雑になればな
るほど、ｑの値は小さくなる。従って、予め多くの顔パ
ターンについて、ｑの値を測定し、ｑの値の範囲を定め
ることによって、顔パターンの認識・区別をすることが
出来る。

また、ラベル付けされた肌色領域の各々について、外
接長方形を算出し、肌色領域の面積Ｓとそれに対応する
外接長方形の面積Ｓ′との比ｐを求める式（７）即ち、 ｐ＝S/S′ ……（７） は、細長い形状を示す腕、脚に相当する部分の方が、小
さくなる。また、外接長方形の縦横比も同様小さくなる
ものである。

以上、ラベル付けされた肌色領域の面積、周囲長、外
接長方形の縦横比の特徴ベクトルとして用いて処理する
ことにより、より正確に顔パターン領域を判別すること
が出来るものである。

［実施例２］ 以上、本発明に係る顔パターンの抽出方法について説
明したが、本発明は、更に、この方法を実施するための
装置を提供しようとするものである。

即ち、本発明に係る装置は、RGB信号からなる画像か
ら、顔パターン部分を抽出するための画像処理装置にお
いて、RGB画像源から所望の画像を選択し、選択された
画像信号について、必要に応じてA/D変換を行った後、
画像を記憶する記憶部を具備する入力部と、前記記憶部
に記憶された画像信号を読出し、平滑化処理、アスペク
ト比補正、階調補正、シャープネス等の画質向上処理を
行い、該処理された画像信号を記憶する記憶部を具備す
る画質向上処理部と、前記記憶部に記憶された処理画像
信号を読出し、本発明の方法に従う該顔パターンの抽出
を行い、処理された画像を記憶する記憶部とを備えたこ
とを特徴とするものである。

以下においては、本発明の好適な実施例たる画像信号
の処理装置をより具体的に説明する。

本発明に従う画像信号の処理方法を実施するための画
像信号の処理装置は第２図に図示する如く構成される。

入力画像信号としては、テレビジョン１からのTV信
号、VTR2からのVTR信号、電子スチルカメラやレーザー
ディスク等のVDR装置３からのVDR信号が使用出来る。ま
た、フィルム、スライド、テロップ等のテレシネ装置４
を介して得られたテレシネ信号も利用出来る。以下、こ
れらの信号をも含めて総称的にTV信号と記す。これらの
TV信号は、RGBデコーダー７により、RGB信号に分離され
た後アナログ信号であるため、A/D変換器８により量子
化され、フレームメモリ９にアドレスをもった信号とし
て記憶される。一方、予め、デジタル化された信号、例
えば光ディスク５或はコンピューターグラフィックス
（CG）６等からのデジタル信号も入力信号として使用出
来、A/D変換器８を介さずにフレームメモリ９に記憶さ
れる。なお、入力画像信号の選択は、制御部10によって
行われる。D/A変換器11およびモニタディスプレイ12は
フレームメモリ９の信号を必要に応じディスプレイ上に
写し出すための装置である。

次に、フレームメモリ９に記憶された入力画像信号
は、画質向上処理部13に供給される。

以上のように、TV信号等入力画像信号の場合には、こ
のフレームメモリの（例えば512×512個の）各アドレス
（画素に相当する）に、例えば８ビット（従って256レ
ベル）の濃度値として記憶される。

フレームメモリ９に蓄えられた入力画像信号は、次い
で、画質向上処理部13で必要な画質向上処理が行われる
こととなる。

この画質向上処理部13においては、フレームメモリ９
より読出した画像信号について必要に応じてアスペクト
比補正、階調補正、シャープネス等の処理が行われ、処
理後の画像信号は、CPU14を経由して、RAM15に蓄えられ
る。このとき、RAM15に蓄えられた画像信号は、必要に
応じ、フロッピーディスク、ハードディスク等のイメー
ジファイル16に蓄えることも可能であるし、また必要に
応じCRTディスプレイ17でもって表示し、確認すること
も出来るものである。

このようにしてRAM15もしくはイメージファイル16か
ら読出され、RAM15に蓄えられた画像信号は、第３図
（ａ）および（ｂ）に示すフローチャートに従い、顔パ
ターンの抽出のための画像処理を行う。

前述のフローチャートによる顔パターンの抽出のため
の処理は、CPU14でもって行われ、RAM15に処理後の画像
が蓄えられる。このとき、RAM15に蓄えられた顔パター
ンの抽出された画像信号は、必要に応じ、フロッピーデ
ィスク、ハードディスク等のイメージファイル16に蓄え
ることも可能であるし、また必要に応じCRTディスプレ
イ17でもって表示し、確認することも出来るものであ
る。

以上、本発明に係る顔パターンの抽出方法を実施する
ための装置の主要部分の説明を行ったが、抽出後のパタ
ーンを利用して、印刷のためのYMC画像に変換し、出力
する場合は、以下のとおりとなる。

即ち、RAM15もしくはイメージファイル16から読出さ
れ、RAM15に蓄えられた画像信号は、RGB信号から、YMC
信号に変換されるものであり、通常RGB/YMC色変換式に
基づき行われるが、本発明の場合は、顔パターン部をマ
スキングするに必要なパターンが上記処理で得られてい
るため、顔パターン部と、その他の部分をそれぞれ適し
た色再現が出来る変換式を適用することが可能となる。

また必要に応じ、高解像度の画像を得るための補間処
理を行うことも出来る。

以上、色変換処理、補間処理がなされた後、画像メモ
リー18に蓄えられた画像データは、インターフェース19
を介して出力装置20により、例えば、写真フィルム、印
画紙等に出力されることとなる。なお、第２図では示し
ていないが、出力装置とは、レーザービームプロッター
等を意味しスキャナーの出力部を使用することも可能で
ある。また出力装置にバッファーメモリー等を設けてあ
る場合は、それに画像データを一時蓄えてから出力する
ことも可能であり、また印刷等の網点化画像を必要とす
る場合は、画像データを網かけした後出力することも可
能である。

［実施例３］ 実際に、本発明に従う処理方法を一般放映されている
TV映像に適用してみたところ良好な結果が得られてい
る。即ち一般放映されているTV映像の画像信号を用い
て、RGBデコーダーにより色分離し、そのRGB信号をA/D
変換器を通してデジタル変換したものを512×480の数の
画素についてフレームメモリーに濃度レベル８ビットの
分解能で記憶する。次にこの記憶されたデジタル画像に
ついて、第３図（ａ）および（ｂ）に示したフローチャ
ートに従い、顔パターンの抽出を行った。その結果、顔
パターン部分が自動的に区別出来た。

第４図（ａ）〜（ｃ）は、処理の過程を、CRT17上に
出力し、スチルカメラで撮影した写真である。

第４図において、（ａ）は、肌色部抽出前の画像の写
真を示し、（ｂ）は、肌色部抽出後の画像の写真を示
し、（ｃ）は更に、平滑化、ラベル化および顔パターン
の抽出を行った後の画像の写真である。

［発明の効果］ 以上説明したように、本発明の方法に従えば、TV、ビ
デオ等のアナログ電子映像から、肌色の顔パターン部分
を自動的に認識することが出来るもので、その後につづ
く色変換処理等に有効に利用出来るものであることがわ
かる。

【図面の簡単な説明】

第１図は肌色サンプルの色度分布を示す説明図。 第２図は本装置発明の一実施例の要部ブロック図。 第３図（ａ）および（ｂ）は本発明の一実施例のフロー
チャート。 第４図（ａ）〜（ｃ）は本発明を一般に放映されている
TV映像に適用したときの画像処理の状態を示す写真。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 法也 東京都武蔵野市堺２丁目10番６号 サカ タインクス株式会社武蔵野寮内 (72)発明者 梅村 宣史 東京都武蔵野市堺２丁目10番６号 サカ タインクス株式会社武蔵野寮内 (56)参考文献 特開 昭63−303339（ＪＰ，Ａ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】RGB信号からなる画像を各画像情報で記憶
   する記憶手段と、 前記記憶手段から前記画素情報を読出す読出手段と、 前記読出された画素情報をRGB画像からなる画像の肌色
   画素のRGB信号から色度を求め統計的手法に基づき肌色
   に相当する領域を色度の関数として表した判別式により
   肌色領域を判別して肌色領域データを作成する肌色領域
   データ作成手段と、 前記肌色領域データを膨張・収縮・孤立点除去を行い平
   滑化処理する第１の処理手段と、 前記第１の処理手段で平滑化処理されたデータをラベリ
   ング処理する第２の処理手段と、 前記ラベリング処理されたデータをラベル付けされた肌
   色領域の面積、周囲長、外接長方形の縦横比の特徴ベク
   トルとして用いて処理を行い顔パターンを抽出する抽出
   手段と、 を備えたことを特徴とするRGB画像から顔パターンを抽
   出する装置。
2. 【請求項２】RGB信号からなる画像を各画像情報で記憶
   するステップと、 前記記憶手段から前記画素情報を読出すステップと、 前記読出された画素情報をRGB画像からなる画像の肌色
   画素のRGB信号から色度を求め統計的手法に基づき肌色
   に相当する領域を色度の関数として表した判別式により
   肌色領域を判別して肌色領域データを作成するステップ
   と、 前記肌色領域データを膨張・収縮・孤立点除去を行い平
   滑化処理する第１の処理ステップと、 前記第１の処理手段で平滑化処理されたデータをラベリ
   ング処理する第２の処理ステップと、 前記ラベリング処理されたデータをラベル付けされた肌
   色領域の面積、周囲長、外接長方形の縦横比の特徴ベク
   トルとして用いて処理を行い顔パターンを抽出する抽出
   ステップと、 を備えたことを特徴とするRGB画像から顔パターンを抽
   出する方法。