JP5099434B2 - オブジェクト領域の抽出システムおよび方法 - Google Patents
オブジェクト領域の抽出システムおよび方法 Download PDFInfo
- Publication number
- JP5099434B2 JP5099434B2 JP2008047492A JP2008047492A JP5099434B2 JP 5099434 B2 JP5099434 B2 JP 5099434B2 JP 2008047492 A JP2008047492 A JP 2008047492A JP 2008047492 A JP2008047492 A JP 2008047492A JP 5099434 B2 JP5099434 B2 JP 5099434B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- skin
- area
- object region
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
第1の実施の形態では、オブジェクトが人物の肌、特に顔部分の肌であり、色度成分ヒストグラムがL*a*b*色空間における知覚色度a*ヒストグラム、色相ヒストグラムがL*a*b*色空間におけるメトリック色相角habヒストグラムである例について説明する。
図1にオブジェクト領域抽出システムの構成例を示す。図1において、1はオブジェクト領域抽出システムであり、例えば、パーソナルコンピュータ(PC)にプログラムをインストールするなどにより構成可能である。本実施の形態では、オブジェクトとして人物の肌を対象とし、色度成分ヒストグラムとしてL*a*b*色空間における知覚色度a*ヒストグラムを、色相ヒストグラムとしてL*a*b*色空間におけるメトリック色相角habヒストグラムを用いる例について説明する。2はオブジェクトのカラー画像を取得するカラー画像取得手段である。例えば、CCDカメラなどのデジタルカメラ、その他カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段2により取得する。カラー画像取得手段2はこのようなカメラを含んでも良く、カメラを含まず、他のカメラで撮影した画像を取得するものでも良い。
図2にオブジェクト領域抽出方法の処理フロー例を示す。はじめに、オブジェクトとしての人物の肌を含むカラー画像を取得する(S010)。例えば、カラー画像を得られるカメラで撮影し、これをデジタル情報としてカラー画像取得手段2により取得する。次に、部品領域抽出手段35にて、取得したカラー画像から口唇領域を検出する(S020)。肌領域に先駆けて口唇領域を抽出するのは、口唇領域は他の領域に比して特徴を識別し易く、又、顔領域と隣接しているので、これを手掛かりとして、容易に顔領域を抽出できるからである。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるL*a*b*色空間に着目し、知覚色度a*ヒストグラムおよび色相(メトリック色相角)habヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、第1のオブジェクト領域抽出手段31にて、同じ知覚色度a*ヒストグラムおよび色相habヒストグラムを用いて第1のオブジェクト領域としての肌領域を抽出する(S030)。すなわち、口唇と肌で2つのヒストグラムの分布範囲が分かれるので、両者を分離して抽出できる。知覚色度a*ヒストグラムおよび色相habヒストグラムは色温度(ホワイトバランス)に影響され難いので、ロバストな第1のオブジェクト領域を抽出できる。また、口唇領域や肌領域にあいまい性がある場合は、抽出にファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、効率良くオブジェクト領域の抽出ができる。次に、第2のオブジェクト領域抽出手段32にて、彩度ヒストグラムを用いて第2のオブジェクト領域としての肌領域を抽出する(S040)。また、第3のオブジェクト領域抽出手段33にて、輝度ヒストグラムを用いて第3のオブジェクト領域としての肌領域を抽出する(S050)。彩度ヒストグラムおよび輝度ヒストグラムは色温度によって影響を受けて変化するので、彩度ヒストグラムおよび輝度ヒストグラムを用いてホワイトバランスに応じた補正ができる。なお、第1ないし第3のオブジェクト領域の抽出は、どのような順序で行っても良く、併行して行なっても良い。次に、オブジェクト領域合成手段34にて、第1ないし第3のオブジェクト領域の重複領域を最終結果のオブジェクト領域として求める(S060)。これにより、第1ないし第3のオブジェクト領域との重複領域を最終結果のオブジェクト領域として求めるため、ホワイトバランスにロバストであり、また、テンプレートを用いなくても良いのでリアルタイム処理ができるオブジェクト領域の抽出方法を提供できる。以下に、本実施の形態におけるオブジェクト領域の抽出方法について詳細に説明する。
はじめに、顔部分で特徴的な口唇部分の検出を行なう。口唇部分の検出は部品領域抽出手段35にて行なう。顔面の肌と口唇の相違を示す特徴を有し、照明の影響にロバストであるL*a*b*色空間に着目し、知覚色度a*ヒストグラムおよび色相habヒストグラムを用い、ファジィ推論により口唇を検出し、口唇周辺領域の色彩情報を取得する。次に、肌領域を抽出する。
知覚色度a*ヒストグラム、色相habヒストグラムを使用すると、口唇と肌を分離して抽出できるので、これを利用して肌領域を抽出する。カラー画像から図3(a)で設定した口唇周辺領域について取得した、知覚色度a*ヒストグラム、メトリック色相角habヒストグラムを使用できる。肌情報取得は第1ないし第3のオブジェクト領域抽出手段31〜33にて行なう。
次に、取得した肌情報に基づいて、肌領域の判定を行なう。肌領域の判定にはパターン認識、例えばファジィ推論を使用できる。ファジィ推論を用いると、撮影環境の変化に伴う色味のあいまい性に自動的に対応できるので、肌領域を効率的に抽出することができる。まず、知覚色度a*の強度と色相habは照明にロバストであり、肌に良く対応した分布を有することに注目し、ファジィ推論などのパターン認識により肌らしさの度合いを演算し、肌領域を求める。例えば、カラー画像の各画素について、ヒストグラムの端点(最大値と最小値)とクラスの平均レベル(口唇と肌それぞれの2つの峰に対応、ただし分布が双峰性を有する必要はない)を用い、肌らしさの度合いを算出し、ヒストグラムに自動閾値選定法(肌らしさの度合を示す帰属度に閾値を設定する)で設定した閾値により、肌領域に属するか否かを判定する。色温度に独立なヒストグラムを用いた肌領域の判定は第1のオブジェクト領域抽出手段31で行なわれる。
y1=(w1×y1’+w2×y2’)/(w1+w2)
ここに、w1,w2は重み係数であり、w1=1.5、w2=1.0としたときの結果が良好であったので、これらの値を用いることとする。帰属度y1は肌らしさを表す評価値である。閾値をy2およびy3とし、y2<y1<y3の条件を満たせば、画素は肌領域に属するものとし、条件を満たさなければ、画素は肌領域に属さないものと判定する。これにより、カラー画像について肌領域とその他の領域を2値化表示できる。この例では、荷重平均法を用いているが、これに代えて簡略化ファジィ推論法などを用いても良い。
次に、カラー画像について、色温度により変化する部分がある。すなわち、太陽光、照明の当り方によって、カラー画像の色彩が変化し、肌部分の色彩も変化する。すなわち、彩度、輝度はホワイトバランス設定の影響を大きく受けるので、彩度ヒストグラム、輝度ヒストグラムは色温度により変化する。
図11に、第1ないし第3の抽出画像を重ね合わせて肌領域を抽出する工程を模式的に示す。すなわち、図7に示す第1のオブジェクト領域、図9に示す第2のオブジェクト領域、図10に示す第3のオブジェクト領域の重複部分を最終結果のオブジェクト領域として決定する。すなわち、肌領域判定で求めた3種類の画像のANDを求め、肌領域判定結果とする。この重ね合わせはオブジェクト領域合成手段34にて行なう。図11(a)に第1ないし第3のオブジェクト領域の画像を、図11(b)にこれらを重複して抽出されたオブジェクト領域の画像を、図11(c)に抽出されたオブジェクト領域に彩色処理した画像を示す。図11(b)によれば、壁、髪の毛、眉、眼の部分が除去され、正しい肌領域に補正されていることが分かる。また、図11(c)の彩色処理は、図11(b)のオブジェクト領域の範囲に、カラー画像取得手段2で取得した画像を前処理したカラー画像の彩色を施したものである。望ましくは、形状平滑化処理を加えても良い。
図12に、原画像、従来法による肌領域抽出結果例、本実施の形態による肌領域抽出結果例を比較して示す。図12(a)に色温度による原画像の変化を、図12(b)に色温度による従来法による肌領域抽出結果の変化を、図12(c)に本実施の形態による肌領域抽出結果の変化を示す。従来法では、色温度低〜中設定時には肌が抽出されているものの、色温度高では肌領域の抽出に失敗している。これに対し、本実施の形態では全ての色温度において、肌領域を抽出可能であることが分かる。本実施の形態では、画像1枚の処理に要した演算時間は約30msである。なお、デジタルカメラで撮影した画像データをリアルタイム処理が可能であることを確認している。以上より、本実施の形態におけるオブジェクト領域抽出システムまたは抽出方法は、ホワイトバランス変化に対応した肌領域抽出がリアルタイムで可能であることを示すものである。
第1の実施の形態では、色度成分ヒストグラムがL*a*b*色空間における知覚色度a*ヒストグラム、色相ヒストグラムがL*a*b*色空間におけるメトリック色相角habがヒストグラムである例について説明したが、第2の実施の形態では、他の色空間を用いる例を説明する。また、第1の実施の形態では、ファジィ推論を用いる例を説明したが、第2の実施の形態では、用いない例を説明する。
第1の実施の形態では、オブジェクトが人物の肌である例を説明したが、第3の実施の形態では他の例について説明する。例えば、カラー画像におけるパンダの白色部分、目玉領域の白身部分などは、ホワイトバランスに影響を強く受けるので、これらのオブジェクトに、第1、第2の実施の形態の手法を適用すれば、好適な結果を期待できる。知覚色度ヒストグラム、色相ヒストグラム、彩度ヒストグラム、輝度ヒストグラムを用いて、ロバストかつ、ホワイトバランス変化に対応したオブジェクト領域をリアルタイムで抽出が可能である。
2 カラー画像取得手段
3 オブジェクト領域抽出手段
4 記憶手段
5 入出力手段
6 演算手段
7 制御手段
31 第1のオブジェクト領域抽出手段
32 第2のオブジェクト領域抽出手段
33 第3のオブジェクト領域抽出手段
34 オブジェクト領域合成手段
35 部品領域抽出手段
Claims (7)
- オブジェクトとしての人物の肌を含むカラー画像を取得するカラー画像取得手段と;
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて前記肌を含む第1のオブジェクト領域を抽出する第1のオブジェクト領域抽出手段と;
前記カラー画像から彩度ヒストグラムを用いて前記肌を含む第2のオブジェクト領域を抽出する第2のオブジェクト領域抽出手段と;
前記カラー画像から輝度ヒストグラムを用いて前記肌を含む第3のオブジェクト領域を抽出する第3のオブジェクト領域抽出手段と;
前記第1のオブジェクト領域と前記第2のオブジェクト領域と前記第3のオブジェクト領域との重複領域を最終結果のオブジェクト領域である肌領域判定結果として求めるオブジェクト領域合成手段とを備える;
オブジェクト領域の抽出システム。 - 前記色度成分ヒストグラムとしてL*a*b*色空間におけるa*ヒストグラムを、前記色相ヒストグラムとしてL*a*b*色空間におけるhabヒストグラムを用いる;
請求項1に記載のオブジェクト領域の抽出システム。 - 前記第1のオブジェクト領域の抽出にファジィ推論を用いる;
請求項1または請求項2に記載のオブジェクト領域の抽出システム。 - 前記オブジェクトに対する前記色度成分ヒストグラム、前記色相ヒストグラム、前記彩度ヒストグラムおよび前記輝度ヒストグラムを記憶する記憶手段を有する;
請求項1ないし請求項3のいずれか1項に記載のオブジェクト領域の抽出システム。 - 前記記憶手段は、前記彩度ヒストグラムおよび前記輝度ヒストグラムを色温度と関連付けて記憶する;
請求項4に記載のオブジェクト領域の抽出システム。 - オブジェクトとしての人物の肌を含むカラー画像を取得するカラー画像取得工程と;
前記カラー画像から色度成分ヒストグラムおよび色相ヒストグラムを用いて前記肌を含む第1のオブジェクト領域を抽出する第1のオブジェクト領域抽出工程と;
前記カラー画像から彩度ヒストグラムを用いて前記肌を含む第2のオブジェクト領域を抽出する第2のオブジェクト領域抽出工程と;
前記カラー画像から輝度ヒストグラムを用いて前記肌を含む第3のオブジェクト領域を抽出する第3のオブジェクト領域抽出工程と;
前記第1のオブジェクト領域と前記第2のオブジェクト領域と前記第3のオブジェクト領域との重複領域を最終結果のオブジェクト領域である肌領域判定結果として求めるオブジェクト領域合成工程とを備える;
オブジェクト領域の抽出方法。 - 請求項6に記載のオブジェクト領域の抽出方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008047492A JP5099434B2 (ja) | 2008-02-28 | 2008-02-28 | オブジェクト領域の抽出システムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008047492A JP5099434B2 (ja) | 2008-02-28 | 2008-02-28 | オブジェクト領域の抽出システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009205469A JP2009205469A (ja) | 2009-09-10 |
JP5099434B2 true JP5099434B2 (ja) | 2012-12-19 |
Family
ID=41147653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008047492A Expired - Fee Related JP5099434B2 (ja) | 2008-02-28 | 2008-02-28 | オブジェクト領域の抽出システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5099434B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011142313A1 (ja) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
JP6396138B2 (ja) * | 2014-09-18 | 2018-09-26 | 株式会社メガチップス | 人体検出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3539539B2 (ja) * | 1998-04-28 | 2004-07-07 | シャープ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
JP3490910B2 (ja) * | 1998-09-28 | 2004-01-26 | 三洋電機株式会社 | 顔領域検出装置 |
JP2000123165A (ja) * | 1998-10-19 | 2000-04-28 | Canon Inc | 画像処理装置及びその方法 |
JP2003070742A (ja) * | 2001-08-31 | 2003-03-11 | Japan Science & Technology Corp | 視線検出装置及び視線検出方法 |
JP2005216094A (ja) * | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | 試着シミュレーション方法 |
JP4328286B2 (ja) * | 2004-12-14 | 2009-09-09 | 本田技研工業株式会社 | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム |
JP2007067559A (ja) * | 2005-08-29 | 2007-03-15 | Canon Inc | 画像処理方法、画像処理装置、及び撮像装置の制御方法 |
-
2008
- 2008-02-28 JP JP2008047492A patent/JP5099434B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009205469A (ja) | 2009-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
US8774503B2 (en) | Method for color feature extraction | |
EP2720190B1 (en) | Image processing device, image processing method, and control program | |
US9750326B2 (en) | Transparency evaluation device, transparency evaluation method and transparency evaluation program | |
CN105103187A (zh) | 用于阴影检测和减弱的多光谱成像系统 | |
EP3067865B1 (en) | Image processing apparatus and image processing method | |
CN113344836B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
Gritzman et al. | Comparison of colour transforms used in lip segmentation algorithms | |
CN109063598A (zh) | 人脸毛孔检测方法、装置、计算机设备和存储介质 | |
CN110648336B (zh) | 一种舌质和舌苔的分割方法及装置 | |
JP5099434B2 (ja) | オブジェクト領域の抽出システムおよび方法 | |
Berbar | Novel colors correction approaches for natural scenes and skin detection techniques | |
JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
CN111860643A (zh) | 基于调频模型的视觉模板匹配的鲁棒性提升方法 | |
JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
Parente et al. | Assessing facial image accordance to ISO/ICAO requirements | |
CN113781330A (zh) | 图像处理方法、装置及电子系统 | |
Porle et al. | Performance of histogram-based skin colour segmentation for arms detection in human motion analysis application | |
JP4171354B2 (ja) | カラー画像処理装置及び方法 | |
CN110751078B (zh) | 一种确定三维人脸的非肤色区域的方法和设备 | |
Ogorzałek et al. | New approaches for computer-assisted skin cancer diagnosis | |
KR102618610B1 (ko) | 이미지를 이용한 퍼스널 컬러 진단 플랫폼 제공 방법, 장치 및 프로그램 | |
JP7400198B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240054680A1 (en) | Method, apparatus and program for providing personal color diagnosis platform using image | |
JP2005094452A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120912 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5099434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |