JP5191665B2 - メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム - Google Patents
メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム Download PDFInfo
- Publication number
- JP5191665B2 JP5191665B2 JP2007005098A JP2007005098A JP5191665B2 JP 5191665 B2 JP5191665 B2 JP 5191665B2 JP 2007005098 A JP2007005098 A JP 2007005098A JP 2007005098 A JP2007005098 A JP 2007005098A JP 5191665 B2 JP5191665 B2 JP 5191665B2
- Authority
- JP
- Japan
- Prior art keywords
- makeup
- image
- user
- face
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims description 163
- 238000000034 method Methods 0.000 title claims description 149
- 238000012545 processing Methods 0.000 claims description 180
- 230000008569 process Effects 0.000 claims description 126
- 210000004709 eyebrow Anatomy 0.000 claims description 59
- 238000011946 reduction process Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims description 2
- 238000010422 painting Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 27
- 210000003467 cheek Anatomy 0.000 description 20
- 238000000605 extraction Methods 0.000 description 16
- 210000001331 nose Anatomy 0.000 description 16
- 238000007591 painting process Methods 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000003796 beauty Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009500 colour coating Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001237961 Amanita rubescens Species 0.000 description 1
- 240000002871 Tectona grandis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
図17はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図18はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ28の顔認識処理部33は、図17のようなイメージ画像からユーザの顔を認識する為の図18のような45点のトラッキングポイント34を得る。図18のトラッキングポイント34は一例であって、制御部8の処理能力やモニタ7の精細度に応じて調整してもよい。
シミュレータメインアプリ28に含まれる口紅処理部39は図20に示すように唇8点及び鼻3点のトラッキングポイント34を参照し、口紅処理を行う。図20は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
シミュレータメインアプリ28に含まれるシャドウ処理部38は図28に示すように左右別に目3点及び眉1点のトラッキングポイント34を参照し、シャドウ処理を行う。図28はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
シミュレータメインアプリ28に含まれるチーク処理部40は図33に示すように目尻&口角(左右別)、眼間&鼻中心(スタビライズ用)のトラッキングポイント34を参照して、チーク処理を行う。図33はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
シミュレータメインアプリ28に含まれる眉処理部37は図36に示すように左右別に目尻,目中心および眉2点のトラッキングポイント34を参照し、眉処理を行う。図36は眉処理により参照されるトラッキングポイントを示すイメージ図である。
シミュレータメインアプリ28に含まれるファンデーション処理部36は図40に示すように左右別に目尻,目頭および眉1点、眼間および鼻中心のトラッキングポイント34を参照し、ファンデーション処理を行う。図40はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
2 カメラ
3 ハーフミラー
4 操作パネル
5 プリンタ
6 照明
7 モニタ
8 制御部
9 透明板
10 演算処理装置
11 メモリ装置
12 ドライブ装置
13 補助記憶装置
14 記録媒体
15 タッチパネルモニタ
16 陳列ケース
17 ICタグリーダライタ
25 静止画システム
27 共有メモリ
28 シミュレータメインアプリ
29 インターフェースアプリ
33 顔認識処理部
34 トラッキングポイント
35 メイクアップ処理部
36 ファンデーション処理部
37 眉処理部
38 シャドウ処理部
39 口紅処理部
40 チーク処理部
41 商品情報
Claims (10)
- ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムであって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段と
を備え、
前記制御手段は、前記動画像からユーザの顔を認識するためのユーザの顔の輪郭の一部、眉の輪郭の一部、目の輪郭の一部、鼻の輪郭の一部及び唇の輪郭の一部を表したトラッキングポイントを得る顔認識処理手段と、
前記トラッキングポイントと関連付けてメイクアップの施し方及び色を、所定のメイクアップを施したあとのユーザの顔の全体のイメージを表すメイクアップパターン毎に設定したメイクアップ処理パラメータファイルに基づいて、前記動画像に含まれるユーザの顔が前記イメージとなるように所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段と
を備えることを特徴とするメイクアップシミュレーションシステム。 - 前記メイクアップ処理手段は、前記動画像に含まれるユーザの顔に口紅処理を施す口紅処理手段を備え、
前記口紅処理手段は、前記ユーザの鼻及び唇の輪郭の一部を表したトラッキングポイントを元に再探索して前記動画像に含まれるユーザの唇に口紅処理を施す輪郭の一部を表すデフォルトポイントを求め、前記デフォルトポイントを2次スプラインで補間して前記輪郭を生成し、その輪郭に基づき色塗り処理を行うこと
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - 前記メイクアップ処理手段は、
前記動画像に含まれるユーザの顔に口紅処理を施す口紅処理手段と、ファンデーション処理を施すファンデーション処理手段と、眉処理を施す眉処理手段と、チーク処理を施すチーク処理手段と、シャドウ処理を施すシャドウ処理手段と
のうち、少なくとも1つ以上を備え、
前記メイクアップ処理パラメータファイルは、口紅処理、ファンデーション処理、眉処理、チーク処理、シャドウ処理ごとに、前記トラッキングポイントと関連付けてメイクアップの施し方及び色をメイクアップパターン毎に設定すること
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - 前記メイクアップ処理手段は、前記メイクアップパターン毎に設定したメイクアップ処理パラメータファイルに基づいて、前記動画像に含まれるユーザの顔に複数種類のメイクアップパターンを所定時間ごとに順次施して、前記表示手段に出力すること
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - 前記メイクアップ処理手段は、前記動画像に含まれるユーザの顔に所定のメイクアップを施す前のイメージ画像および所定のメイクアップを施した後のイメージ画像から成る比較画面を前記表示手段に出力すること
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - 前記顔認識処理手段は、前記動画像にユーザの顔が含まれていることを認識すると、前記メイクアップ処理手段を起動させること
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - 前記制御手段は、前記撮影手段から出力された動画像に対して縮小処理を行って前記顔認識処理手段が前記トラッキングポイントを得るための顔認識処理用画像を得て、前記顔認識処理用画像から前記トラッキングポイントを得ると共に、
前記撮影手段から出力された動画像に対してトリミングを行って前記メイクアップ処理手段が所定のメイクアップを施すメイクアップ前画像を得て、前記メイクアップ前画像に含まれるユーザの顔に所定のメイクアップを施すこと
を特徴とする請求項1記載のメイクアップシミュレーションシステム。 - ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーション装置であって、
ユーザの顔を撮影して動画像を出力する撮影手段と、
前記撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段と、
前記制御手段から出力された動画像を表示する表示手段と
を備え、
前記制御手段は、前記動画像からユーザの顔を認識するためのユーザの顔の輪郭の一部、眉の輪郭の一部、目の輪郭の一部、鼻の輪郭の一部及び唇の輪郭の一部を表したトラッキングポイントを得る顔認識処理手段と、
前記トラッキングポイントと関連付けてメイクアップの施し方及び色を、所定のメイクアップを施したあとのユーザの顔の全体のイメージを表すメイクアップパターン毎に設定したメイクアップ処理パラメータファイルに基づいて、前記動画像に含まれるユーザの顔が前記イメージとなるように所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段と
を備えることを特徴とするメイクアップシミュレーション装置。 - ユーザの顔を撮影した動画像にメイクアップを施すメイクアップシミュレーションシステムにおけるメイクアップシミュレーション方法であって、
制御手段が、撮影手段の撮影した動画像からユーザの顔を認識し、メイクアップシミュレーションを開始するステップと、
前記制御手段が、前記動画像からユーザの顔を認識するためのユーザの顔の輪郭の一部、眉の輪郭の一部、目の輪郭の一部、鼻の輪郭の一部及び唇の輪郭の一部を表したトラッキングポイントを得るステップと、
前記制御手段が、前記トラッキングポイントと関連付けてメイクアップの施し方及び色を、所定のメイクアップを施したあとのユーザの顔の全体のイメージを表すメイクアップパターン毎に設定したメイクアップ処理パラメータファイルに基づいて、前記動画像に含まれるユーザの顔が前記イメージとなるように所定のメイクアップを施して前記表示手段に出力するステップと
を有することを特徴とするメイクアップシミュレーション方法。 - コンピュータを、
ユーザの顔を撮影して動画像を出力する撮影手段から出力された動画像を受信し、前記動画像を画像処理して出力する制御手段、
前記制御手段から出力された動画像を表示する表示手段と
して機能させ、
前記制御手段は、前記動画像からユーザの顔を認識するためのユーザの顔の輪郭の一部、眉の輪郭の一部、目の輪郭の一部、鼻の輪郭の一部及び唇の輪郭の一部を表したトラッキングポイントを得る顔認識処理手段と、
前記トラッキングポイントと関連付けてメイクアップの施し方及び色を、所定のメイクアップを施したあとのユーザの顔の全体のイメージを表すメイクアップパターン毎に設定したメイクアップ処理パラメータファイルに基づいて、前記動画像に含まれるユーザの顔が前記イメージとなるように所定のメイクアップを施して前記表示手段に出力するメイクアップ処理手段と
を有することを特徴とするメイクアップシミュレーションプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007005098A JP5191665B2 (ja) | 2006-01-17 | 2007-01-12 | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
TW96101598A TWI421781B (zh) | 2006-01-17 | 2007-01-16 | Make-up simulation system, make-up simulation device, make-up simulation method and make-up simulation program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006009268 | 2006-01-17 | ||
JP2006009268 | 2006-01-17 | ||
JP2007005098A JP5191665B2 (ja) | 2006-01-17 | 2007-01-12 | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012270838A Division JP5465768B2 (ja) | 2006-01-17 | 2012-12-11 | プログラム及びメイクアップシミュレーション装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007216000A JP2007216000A (ja) | 2007-08-30 |
JP5191665B2 true JP5191665B2 (ja) | 2013-05-08 |
Family
ID=38493846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007005098A Active JP5191665B2 (ja) | 2006-01-17 | 2007-01-12 | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5191665B2 (ja) |
TW (1) | TWI421781B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014171142A1 (ja) | 2013-04-17 | 2014-10-23 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4924376B2 (ja) * | 2007-11-19 | 2012-04-25 | 大日本印刷株式会社 | メイクアップ録画配信システム |
CN103885461B (zh) * | 2012-12-21 | 2017-03-01 | 宗经投资股份有限公司 | 自动彩妆机的彩妆工具的移动方法 |
JP6008323B2 (ja) * | 2013-02-01 | 2016-10-19 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
EP3100226A4 (en) | 2014-01-31 | 2017-10-25 | Empire Technology Development LLC | Augmented reality skin manager |
US9865088B2 (en) | 2014-01-31 | 2018-01-09 | Empire Technology Development Llc | Evaluation of augmented reality skins |
EP3100238A4 (en) | 2014-01-31 | 2017-07-05 | Empire Technology Development LLC | Subject selected augmented reality skin |
US9990772B2 (en) | 2014-01-31 | 2018-06-05 | Empire Technology Development Llc | Augmented reality skin evaluation |
CN104217350B (zh) * | 2014-06-17 | 2017-03-22 | 北京京东尚科信息技术有限公司 | 实现虚拟试戴的方法和装置 |
WO2017149778A1 (ja) * | 2016-03-04 | 2017-09-08 | 株式会社オプティム | 鏡、画像表示方法及びプログラム |
CN108875462A (zh) * | 2017-05-16 | 2018-11-23 | 丽宝大数据股份有限公司 | 眉毛造型指引装置及其方法 |
CN109583261A (zh) * | 2017-09-28 | 2019-04-05 | 丽宝大数据股份有限公司 | 身体信息分析装置及其辅助比对眉型方法 |
TWI708164B (zh) * | 2019-03-13 | 2020-10-21 | 麗寶大數據股份有限公司 | 虛擬彩妝系統與虛擬彩妝上色方法 |
WO2023089816A1 (ja) * | 2021-11-22 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4539585A (en) * | 1981-07-10 | 1985-09-03 | Spackova Daniela S | Previewer |
JP2001104050A (ja) * | 1999-10-06 | 2001-04-17 | Seiko Epson Corp | 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体 |
ATE458232T1 (de) * | 2000-06-27 | 2010-03-15 | Rami Orpaz | Make-up- und modeschmuckanzeigeverfahren und - system |
FR2818529A1 (fr) * | 2000-12-21 | 2002-06-28 | Oreal | Procede pour determiner un degre d'une caracteristique de la typologie corporelle |
JP3984191B2 (ja) * | 2002-07-08 | 2007-10-03 | 株式会社東芝 | 仮想化粧装置及びその方法 |
JP2004234571A (ja) * | 2003-01-31 | 2004-08-19 | Sony Corp | 画像処理装置、画像処理方法及び撮影装置 |
TWI227444B (en) * | 2003-12-19 | 2005-02-01 | Inst Information Industry | Simulation method for make-up trial and the device thereof |
-
2007
- 2007-01-12 JP JP2007005098A patent/JP5191665B2/ja active Active
- 2007-01-16 TW TW96101598A patent/TWI421781B/zh not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014171142A1 (ja) | 2013-04-17 | 2014-10-23 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
US9968176B2 (en) | 2013-04-17 | 2018-05-15 | Panasonic Intellectual Property Management Co., Ltd. | Image processing method and image processing device |
Also Published As
Publication number | Publication date |
---|---|
TWI421781B (zh) | 2014-01-01 |
JP2007216000A (ja) | 2007-08-30 |
TW200805175A (en) | 2008-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5465768B2 (ja) | プログラム及びメイクアップシミュレーション装置 | |
JP5191665B2 (ja) | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム | |
US20240193833A1 (en) | System and method for digital makeup mirror | |
CN101779218B (zh) | 化妆模拟系统及其化妆模拟方法 | |
US11450075B2 (en) | Virtually trying cloths on realistic body model of user | |
JP5261586B2 (ja) | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム | |
JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP3984191B2 (ja) | 仮想化粧装置及びその方法 | |
JP4435809B2 (ja) | 仮想化粧装置及びその方法 | |
CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
JP2009039523A (ja) | メイクアップシミュレーションに利用する端末装置 | |
US20100189357A1 (en) | Method and device for the virtual simulation of a sequence of video images | |
WO2018005884A1 (en) | System and method for digital makeup mirror | |
US20200065559A1 (en) | Generating a video using a video and user image or video | |
JP3993029B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
JP2011022733A (ja) | メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法 | |
JP7314509B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPH11175765A (ja) | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 | |
Ravikumar | Performance driven facial animation with blendshapes | |
Gu | Improving coarticulation performance of 3D avatar and gaze estimation using RGB webcam | |
Chee | Real time gesture recognition system for ADAS | |
Ersotelos et al. | A highly automated method for facial expression synthesis | |
Meriç | Generating 3d Face Models from Photographs | |
JPH11169357A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120730 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5191665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |