JP4421071B2 - Makeup counseling device - Google Patents

Makeup counseling device Download PDF

Info

Publication number
JP4421071B2
JP4421071B2 JP2000121648A JP2000121648A JP4421071B2 JP 4421071 B2 JP4421071 B2 JP 4421071B2 JP 2000121648 A JP2000121648 A JP 2000121648A JP 2000121648 A JP2000121648 A JP 2000121648A JP 4421071 B2 JP4421071 B2 JP 4421071B2
Authority
JP
Japan
Prior art keywords
color
subject
digital camera
value
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000121648A
Other languages
Japanese (ja)
Other versions
JP2001299448A (en
Inventor
康男 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000121648A priority Critical patent/JP4421071B2/en
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Priority to CNB018010253A priority patent/CN100426303C/en
Priority to EP01923968A priority patent/EP1202209B1/en
Priority to KR1020017016304A priority patent/KR100810813B1/en
Priority to DE1202209T priority patent/DE1202209T1/en
Priority to PCT/JP2001/003342 priority patent/WO2001082154A1/en
Priority to US10/018,756 priority patent/US7088386B2/en
Priority to TW090109548A priority patent/TW585752B/en
Publication of JP2001299448A publication Critical patent/JP2001299448A/en
Priority to US11/471,235 priority patent/US7499076B2/en
Application granted granted Critical
Publication of JP4421071B2 publication Critical patent/JP4421071B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明はメーキャップカウンセリング装置に関し、被験者の顔画像を取り込んで被験者のメーキャップをカウンセリングするために用いるメーキャップカウンセリング装置に関する。
【０００２】
【従来の技術】
メーキャップのカウンセリングを行う場合、その人の肌の色に合わせて口紅やその他の化粧料の色を選択するため、肌の色を正確に認識する必要がある。
【０００３】
本出願人は、特願平１０−１７４７３３号等により人の顔の肌の色を測定し分類したり、顔画像を取り込んでメーキャップのカウンセリングを行うシステムを提案している。このシステムは、測定ユニット内にストロボ及びデジタルカメラと、分光測定用のハロゲン照明器及び分光器を設け、この測定ユニットを被験者の座る椅子と所定距離だけ離間して設置する。測定ユニットの前面にはハーフミラーが全面に設けられ、ハーフミラーに記入されている撮影中心を示す基準線に顔の中心にくるよう被験者の姿勢を調整して、ハロゲン照明を被験者の顔に照射し、その反射光を分光器で分析することにより被験者の肌色を測定し、また、デジタルカメラで撮影した被験者の顔画像の肌色補正を行うと共に、その他の処理を行っている。
【０００４】
【発明が解決しようとする課題】
従来の装置の測定ユニットは、前面にハーフミラーを有し、ストロボ及びデジタルカメラ、ハロゲン照明器及び分光器を収納した大掛かりなものである。また、装置の規模が大きく、かつ、高価なものになるという問題があった。
【０００５】
ここで、システムの規模を小さくする場合、ハロゲン照明器及び分光器を削除し、デジタルカメラで撮影した顔画像から簡易的に肌色測定を行うことが考えられるが、システムが設置された環境により変化する外光の影響で顔画像の輝度及び色が変化してしまい、また、デジタルカメラから被験者の顔までの距離が変動すると顔画像の輝度が変化してしまい、環境に影響されることなく肌色を正確に測定することができないという問題があった。
【０００６】
本発明は、上記の点に鑑みなされたもので、装置規模が小さく簡易な構成であり、なおかつ被験者の顔の明るさ及び肌色を客観的かつ正確に測定できるメーキャップカウンセリング装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮影するデジタルカメラと、
前記被写体を照明するストロボと、
前記被写体までの距離を測定する距離センサと、
略一定距離に置かれた複数のカラーサンプルを持つ色校正板を前記ストロボで照明して前記デジタルカメラで撮影した所定色のカラーサンプル画像の色値と、予め所定条件下で測定された前記所定色のカラーサンプルの色値との色差が規定値内となるように、前記デジタルカメラのカラーバランスを調整するカラーバランス調整手段と、
前記デジタルカメラで色校正板を撮影して得たカラーサンプル画像の色値を、予め所定条件下で測定された前記カラーサンプルのＬａｂ値に変換する変換式を求める変換式算出手段と、
前記デジタルカメラで撮影した所定色のカラーサンプル画像の色値を前記変換式で変換したＬａｂ値と、予め所定条件下で測定された前記所定色のカラーサンプルのＬａｂ値との偏差を求める偏差算出手段と、
前記デジタルカメラで被写体として略一定距離にある被験者の顔画像を撮影したとき、前記距離センサで測定した距離に応じて前記顔画像の明るさを補正する明るさ補正手段と、
前記明るさを補正した顔画像を前記偏差に応じて補正する色補正手段、
前記色補正手段で補正した顔画像を被験者に対し表示するタッチパネル付きの第１の画像表示手段と、
前記色補正手段で補正した顔画像をカウンセラーに対し表示する第２の画像表示手段と
を有する。
【０００８】
このように、色校正板を用いてデジタルカメラのカラーバランスを調整し、デジタルカメラで撮影した画像をＬａｂ値に変換する変換式を求め、デジタルカメラで撮影した画像の基準に対する偏差を求め、距離センサで測定した距離に応じて被験者の顔画像の明るさを補正し、更に前記偏差で顔画像の色を補正することにより、デジタルカメラと、ストロボと、距離センサとの簡易な構成によって、環境に影響されることなく被験者の顔の明るさ及び肌色を正確に測定することができる。
【０００９】
【発明の実施の形態】
図１、図２、図３は本発明のメーキャップカウンセリング装置の一実施例の平面図、正面図、側面図を示す。図１〜図３において、メーキャップカウンセリング装置は、撮影ユニット１０と、パーソナルコンピュータ２０と、被験者用のタッチパネル付き液晶モニタ３０と、カウンセラー用のタッチパネル付き液晶モニタ４０とより構成されている。
【００１０】
パーソナルコンピュータ２０は装置の基低部に配置され、図３に示すようにパーソナルコンピュータ２０の平行な２辺に、液晶モニタ３０，４０がそれぞれの裏面３０Ｂ，４０Ｂを対向させ、かつ上端部を互いに接近させるよう傾斜した状態で立設固定されている。図１における左右両端近傍には、アクリル製で略台形状の側板部材５０，５２が立設されており、この側板部材５０，５２はパーソナルコンピュータ２０、液晶モニタ３０，４０それぞれに固定されて、撮影ユニット１０の収納スペースを形成している。
【００１１】
撮影ユニット１０は、アクリル製で断面Ｕ字状のフェース部材１１にデジタルカメラ１２、ストロボ１３、及び距離センサ１４それぞれを固定して構成されており、フェース部材１１にはデジタルカメラ１２のレンズ１２ａが突出する位置、ストロボ１３の光の照射位置、距離センサ１４の超音波（または電波）の入出力位置それぞれに貫通孔が設けられており、図２ではこれらの貫通孔を通してレンズ１２ａ，ストロボ１３，距離センサ１４が覗出している。
【００１２】
撮影ユニット１０は、図１に示す断面Ｕ字状のフェース部材１１の左右両端１１ａ，１１ｂを側板部材５０，５２にガイドされて、図３に示す矢印Ａ１，Ａ２方向に摺動自在とされており、図３に示す撮影状態ではフェース部材１１の図示しない係止部が側板部材５０，５２に係合している。また、レンズ１２ａをカメラ１２に引き込んで収納し上記係合を解除すると撮影ユニット１０は摺動可能となり、撮影ユニット１０を矢印Ａ２に摺動させて前記の収納スペースに収納することができる。
【００１３】
被験者用のタッチパネル付き液晶モニタ３０は、液晶表示部３１の全面に透明タッチパネル３２が重ねて貼られている。カウンセラー用のタッチパネル付き液晶モニタ４０も同様に液晶表示部４１の全面に透明タッチパネル４２が重ねて貼られている。なお、液晶モニタ３０，４０それぞれの液晶表示部３１，４１は表示面を互いに逆方向を向けている。
【００１４】
図４は本発明のメーキャップカウンセリング装置の一実施例のブロック図を示す。同図中、パーソナルコンピュータ２０内において、中央処理装置（ＣＰＵ）２１はバス２２を介し、ＲＡＭ２３、ＲＯＭ２４、ハードディスク装置（ＨＤＤ）２５、ＣＤ−Ｒ（コンパクト・ディスク・レコーダブル）装置２６にそれぞれと接続されている。また、Ｉ／Ｏインタフェース（Ｉ／Ｏ）を介して撮影ユニット１０のデジタルカメラ１２、ストロボ１３、距離センサ１４、及び液晶モニタ３０，４０の液晶表示部３１，４１、透明タッチパネル３２，４２が接続されている。なお、ＣＤ−Ｒの代わりに、フレキシブルディスクやＣＤ−ＲＷやＭＯ等の他の記憶媒体を用いるものであっても良い。
【００１５】
ＣＰＵ２１は、ＲＯＭ２４またはハードディスク装置２５に記憶されている各種処理プログラムを実行し、透明タッチパネル３２，４２からの入力に応じて処理を進める。また、処理の結果をＣＤ−ＲＷ装置２６に記憶すると共に、液晶表示部３１，４１それぞれに表示する。
【００１６】
図５に、本発明のメーキャップカウンセリング装置の使用形態を示す。同図中、メーキャップカウンセリング装置６０は机上に載置されている。被験者は背景スクリーン７０を背にして椅子８０に座り、メーキャップカウンセリング装置６０の撮影ユニット１０に正対する。この状態でデジタルカメラ１２により被験者の顔を撮影する。被験者はメーキャップカウンセリング装置６０を挟んでカウンセラーと対面する。
【００１７】
撮影ユニット１０の校正時には、背景スクリーン７０のデジタルカメラ１２に対向する顔撮影位置に、図６に示す色校正板７５が設けられる。色校正板７５には、赤み肌色、標準肌色、黄み肌色、黒赤み肌色、黒み肌色、黒黄み肌色、赤、緑、青、白赤み肌色、白み肌色、白黄み肌色、黒、色番号Ｎ３．５、色番号Ｎ５、色番号Ｎ６．５、色番号Ｎ８、白それぞれのカラーサンプルが印刷されている。なお、色番号Ｎ３．５、色番号Ｎ５、色番号Ｎ６．５、色番号Ｎ８それぞれは、マンセル表色系の明度スケールにおけるＮ３．５、Ｎ５、Ｎ６．５、Ｎ８のグレーである。
【００１８】
図７は本発明装置が実行する処理の一実施例のメインフローチャートを示す。まず、顔画像を取り込むための前処理として、ステップＳ１０でストロボ１３を発光させ、背景スクリーン７０の色校正板７５をデジタルカメラ１２にて撮影し、ステップＳ１２で色校正板画像内の各色毎のカラーサンプルの色値（複数の画素の平均値）を求める。次にステップＳ１４で色校正板画像の標準肌色の色値が、予めハードディスク装置２５に記憶されている標準肌色の色値との色差を求め、ステップＳ１６で上記色差が所定の規定値内であるか否かを判別し、規定値外であればステップＳ１８で上記色差が最小となるようにデジタルカメラ１２のカラーバランスを調整してステップＳ１０に進み、ステップＳ１０〜Ｓ１８を繰り返す。
【００１９】
ステップＳ１６で上記色差が所定の規定値内の場合にはステップＳ２０に進み、色校正板画像内のグレーチップ黒、色番号Ｎ３．５、色番号Ｎ５、色番号Ｎ６．５、色番号Ｎ８、白それぞれの色値Ｒ，Ｇ，Ｂを線形変換して、赤、緑、青に対する輝度のトーンカーブｒｅｄＴＲＣ，ｇｒｅｅｎＴＲＣ，ｂｌｕｅＴＲＣを求める。次にステップＳ２２で色校正板画像内の赤み肌色、標準肌色、黄み肌色それぞれについて色値Ｒ，Ｇ，ＢをトーンカーブｒｅｄＴＲＣ，ｇｒｅｅｎＴＲＣ，ｂｌｕｅＴＲＣで線形変換した値ｒｅｄＴＲＣ（Ｒ），ｇｒｅｅｎＴＲＣ（Ｇ），ｂｌｕｅＴＲＣ（Ｂ）と、予めハードディスク装置２５に記憶されている赤み肌色、標準肌色、黄み肌色それぞれのＣＩＥ（国際照明委員会）３刺激値ＸＹＺを、（１）式に代入して変換マトリクスの各要素ｒＸｃ，ｒＹｃ，ｒＺｃ，ｇＸｃ，ｇＹｃ，ｇＺｃ，ｂＸｃ，ｂＹｃ，ｂＺｃを求める。
【００２０】
【数１】

Figure 0004421071
次に、ステップＳ２４で、求められた変換マトリクスを用いた（１）式によって、色校正板画像内の赤み肌色、標準肌色、黄み肌色それぞれをＣＩＥ３刺激値ＸＹＺに変換し、この赤み肌色、標準肌色、黄み肌色それぞれのＣＩＥ３刺激値ＸＹＺを（２）式によってＬａｂ値に変換する。ここで、Ｌａｂ値とは、ＣＩＥの規定するメトリック明度（Ｌ），メトリック色相角（ａ），メトリック彩度（ｂ）で表される色空間の値である。
【００２１】
Figure 0004421071
次に、ステップＳ２５で、再度、色校正板７５をデジタルカメラ１２にて撮影し、色校正板画像内の赤み肌色、標準肌色、黄み肌色それぞれのＬ，ａ，ｂ値を求め、分光光度計で測定し予めハードディスク装置２５に記憶されている赤み肌色、標準肌色、黄み肌色それぞれのＬ，ａ，ｂ値との偏差をハードディスク装置２５に記憶する。
【００２２】
この後、ステップＳ２６でストロボ１３を発光させ、背景スクリーン７０を背にして椅子８０に座った被験者の顔をデジタルカメラ１２にて撮影する。これとほぼ同時に、ステップＳ２８で被験者の顔までの距離を距離センサ１４にて測定する。
【００２３】
次に、ステップＳ３０で測定した距離に基づき被験者の顔画像の輝度を画素単位で補正する。ここでは、一定の基準撮影距離Ｄに対して、距離センサ１４にて測定した距離をＤ１とすると、輝度補正係数ｋ＝（Ｄ１／Ｄ）２ を求め、被験者の顔画像のＣＩＥ３刺激値をＸ１，Ｙ１，Ｚ１とするとき、（３）式により、基準撮影距離Ｄにおける顔画像のＣＩＥ３刺激値Ｘ，Ｙ，Ｚを得る。
【００２４】
Figure 0004421071
この後、ステップＳ３２で顔画像について、先にステップＳ２４で求めた偏差により色補正を行う。その後、ステップＳ３４の各種カウンセリング処理において、補正後の顔画像を用いて、顔全体の肌色分布を判定したり、顔立ちを判定したり、口紅やアイシャドウ，アイラインや頬紅やヘアースタイル等を変更するシミュレーションを行ったりして、被験者に対するメーキャップカウンセリングを行う。
【００２５】
その後、ステップＳ３６で処理を継続するか否かを判別し、継続であればステップＳ２６に進んでステップＳ２６〜Ｓ３６を繰り返し、継続でなければこの処理を終了する。
【００２６】
このように、色校正板７５を用いてデジタルカメラ１２のカラーバランスを調整し、デジタルカメラ１２で撮影した画像をＬａｂ値に変換する変換式を求め、デジタルカメラで撮影した画像の基準に対する偏差を求め、距離センサ１４で測定した距離に応じて被験者の顔画像の明るさを補正し、更に前記偏差で顔画像の色を補正することにより、デジタルカメラ１２と、ストロボ１３と、距離センサ１４との簡易な構成によって、環境に影響されることなく被験者の顔の明るさ及び肌色を正確に測定することができ、正確なメーキャップカウンセリングを行うことができる。
【００２７】
ところで、図５の使用形態に示すように、液晶モニタ３０，４０それぞれの液晶表示部３１，４１は互いに逆方向を向いているため、被験者は液晶表示部３１を見ながら、また、カウンセラーは液晶表示部４１を見ながら、カウンセラーは被験者と対面してカウンセリングを行うことができる。このとき、液晶表示部３１の表示内容と液晶表示部４１の表示内容とは同一であっても良いが、液晶表示部４１には液晶表示部３１の表示内容にカウンセリング用のコメントを追加しても良く、更には両表示内容を全く別物にしても良い。
【００２８】
なお、ステップＳ１０〜Ｓ１８が請求項記載のカラーバランス調整手段に対応し、ステップＳ２０，Ｓ２２が変換式算出手段に対応し、ステップＳ２４，Ｓ２５が偏差算出手段に対応し、ステップＳ３０が明るさ補正手段に対応し、ステップＳ３２が色補正手段に対応する。
【００２９】
【発明の効果】
上述のように、請求項１に記載の発明は、色校正板を用いてデジタルカメラのカラーバランスを調整し、デジタルカメラで撮影した画像をＬａｂ値に変換する変換式を求め、デジタルカメラで撮影した画像の基準に対する偏差を求め、距離センサで測定した距離に応じて被験者の顔画像の明るさを補正し、更に前記偏差で顔画像の色を補正することにより、デジタルカメラと、ストロボと、距離センサとの簡易な構成によって、環境に影響されることなく被験者の顔の明るさ及び肌色を正確に測定することができ、正確なメーキャップカウンセリングを行うことができる。
【図面の簡単な説明】
【図１】本発明のメーキャップカウンセリング装置の一実施例の平面図である。
【図２】本発明のメーキャップカウンセリング装置の一実施例の正面図である。
【図３】本発明のメーキャップカウンセリング装置の一実施例の側面図である。
【図４】本発明のメーキャップカウンセリング装置の一実施例のブロック図である。
【図５】本発明のメーキャップカウンセリング装置の使用形態を示す図である。
【図６】色校正板７５の一実施例を示す図である。
【図７】本発明装置が実行する処理の一実施例のメインフローチャートである。
【符号の説明】
１０ 撮影ユニット
１１ フェース部材
１２ デジタルカメラ
１３ ストロボ
１４ 距離センサ
２０ パーソナルコンピュータ
３０ 被験者用のタッチパネル付き液晶モニタ
３１，４１ 液晶表示部
３２，４２ 透明タッチパネル
４０ カウンセラー用のタッチパネル付き液晶モニタ
５０，５２ 側板部材
７５ 色校正板[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a makeup counseling device, and more particularly to a makeup counseling device used to capture a subject's face image and counsel a subject's makeup.
[0002]
[Prior art]
When performing makeup counseling, it is necessary to accurately recognize the skin color in order to select the color of the lipstick and other cosmetics according to the skin color of the person.
[0003]
The present applicant has proposed a system that measures and classifies the skin color of a person's face and takes in a face image and performs makeup counseling according to Japanese Patent Application No. 10-174733. In this system, a strobe and a digital camera, a spectroscopic halogen illuminator, and a spectroscope are provided in the measurement unit, and the measurement unit is installed at a predetermined distance from the chair on which the subject sits. A half mirror is provided in front of the measurement unit, and the subject's posture is adjusted so that the subject's posture is centered on the reference line indicating the imaging center written on the half mirror, and the subject's face is irradiated with halogen illumination. Then, the skin color of the subject is measured by analyzing the reflected light with a spectroscope, and the skin color of the subject's face image photographed with a digital camera is corrected and other processing is performed.
[0004]
[Problems to be solved by the invention]
The measurement unit of the conventional apparatus has a half mirror on the front surface, and is a large-scale unit that houses a strobe, a digital camera, a halogen illuminator, and a spectroscope. There is also a problem that the scale of the apparatus is large and expensive.
[0005]
Here, when reducing the scale of the system, it is considered that the halogen illuminator and the spectroscope are deleted and the skin color measurement is simply performed from the face image taken with the digital camera, but it varies depending on the environment where the system is installed. The brightness and color of the face image change due to the influence of external light, and the brightness of the face image changes when the distance from the digital camera to the subject's face changes, and the skin color is not affected by the environment. There was a problem that it was impossible to measure accurately.
[0006]
The present invention has been made in view of the above points, and an object of the present invention is to provide a makeup counseling device that has a small apparatus size and a simple configuration, and that can objectively and accurately measure the brightness and skin color of a subject. And
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is a digital camera for photographing a subject;
A strobe for illuminating the subject;
A distance sensor for measuring the distance to the subject;
A color calibration plate having a plurality of color samples placed at a substantially constant distance is illuminated with the strobe and the color value of a color sample image of a predetermined color photographed by the digital camera, and the predetermined value measured in advance under predetermined conditions Color balance adjustment means for adjusting the color balance of the digital camera so that the color difference between the color value of the color sample and the color value is within a specified value;
A conversion equation calculation means for obtaining a conversion equation for converting the color value of the color sample image obtained by photographing the color calibration plate with the digital camera into the Lab value of the color sample measured in advance under a predetermined condition;
Deviation calculation for obtaining a deviation between a Lab value obtained by converting a color value of a color sample image of a predetermined color photographed by the digital camera by the conversion formula and a Lab value of the color sample of the predetermined color measured in advance under a predetermined condition Means,
Brightness correction means for correcting the brightness of the face image according to the distance measured by the distance sensor when a face image of a subject at a substantially constant distance is photographed as a subject by the digital camera;
Color correcting means for correcting the brightness-corrected face image according to the deviation;
First image display means with a touch panel for displaying the face image corrected by the color correction means to the subject;
And second image display means for displaying the face image corrected by the color correction means to the counselor.
[0008]
In this way, the color balance of the digital camera is adjusted using the color calibration plate, a conversion formula for converting an image captured by the digital camera into a Lab value, a deviation from the reference of the image captured by the digital camera is determined, and the distance By correcting the brightness of the face image of the subject according to the distance measured by the sensor and further correcting the color of the face image by the deviation, the environment can be reduced by a simple configuration of the digital camera, the strobe, and the distance sensor. It is possible to accurately measure the brightness and skin color of the subject's face without being affected by.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
1, 2 and 3 show a plan view, a front view and a side view of an embodiment of the makeup counseling device of the present invention. 1 to 3, the makeup counseling device includes a photographing unit 10, a personal computer 20, a liquid crystal monitor 30 with a touch panel for a subject, and a liquid crystal monitor 40 with a touch panel for a counselor.
[0010]
The personal computer 20 is arranged at the base of the apparatus, and as shown in FIG. 3, the liquid crystal monitors 30 and 40 are opposed to the two parallel sides of the personal computer 20 with the back surfaces 30B and 40B facing each other, and the upper ends are mutually connected. Standing and fixed in an inclined state so as to approach. In the vicinity of the left and right ends in FIG. 1, side plate members 50 and 52 made of acrylic and substantially trapezoidal are erected, and these side plate members 50 and 52 are fixed to the personal computer 20 and the liquid crystal monitors 30 and 40, respectively. A storage space for the photographing unit 10 is formed.
[0011]
The photographing unit 10 is configured by fixing a digital camera 12, a strobe 13, and a distance sensor 14 to a face member 11 made of acrylic and having a U-shaped cross section, and the lens 12 a of the digital camera 12 is attached to the face member 11. Through holes are provided in the protruding position, the light irradiation position of the strobe 13, and the ultrasonic wave (or radio wave) input / output position of the distance sensor 14, and in FIG. 2, the lens 12a, strobe 13, The distance sensor 14 is looking out.
[0012]
The photographing unit 10 is slidable in the directions of arrows A1 and A2 shown in FIG. 3 with the left and right ends 11a and 11b of the face member 11 having a U-shaped section shown in FIG. In addition, in the photographing state shown in FIG. 3, a locking portion (not shown) of the face member 11 is engaged with the side plate members 50 and 52. Further, when the lens 12a is retracted and stored in the camera 12 and the engagement is released, the photographing unit 10 becomes slidable, and the photographing unit 10 can be slid in the arrow A2 and stored in the storage space.
[0013]
A liquid crystal monitor 30 with a touch panel for a subject has a transparent touch panel 32 superimposed on the entire surface of a liquid crystal display unit 31. Similarly, the liquid crystal monitor 40 with a touch panel for the counselor has a transparent touch panel 42 superimposed on the entire surface of the liquid crystal display unit 41. Note that the liquid crystal displays 31 and 41 of the liquid crystal monitors 30 and 40 have their display surfaces facing in opposite directions.
[0014]
FIG. 4 shows a block diagram of an embodiment of the makeup counseling device of the present invention. In the figure, in a personal computer 20, a central processing unit (CPU) 21 is connected to a RAM 23, a ROM 24, a hard disk device (HDD) 25, and a CD-R (compact disc recordable) device 26 via a bus 22, respectively. It is connected. In addition, the digital camera 12, the strobe 13, the distance sensor 14, and the liquid crystal display units 31 and 41 of the liquid crystal monitors 30 and 40 and the transparent touch panels 32 and 42 are connected via the I / O interface (I / O). Has been. Instead of the CD-R, another storage medium such as a flexible disk, CD-RW, or MO may be used.
[0015]
The CPU 21 executes various processing programs stored in the ROM 24 or the hard disk device 25 and proceeds with processing in accordance with inputs from the transparent touch panels 32 and 42. The processing result is stored in the CD-RW device 26 and displayed on the liquid crystal display units 31 and 41, respectively.
[0016]
FIG. 5 shows a usage form of the makeup counseling device of the present invention. In the figure, the makeup counseling device 60 is placed on a desk. The subject sits on the chair 80 with the background screen 70 in the back and faces the imaging unit 10 of the makeup counseling device 60. In this state, the subject's face is photographed by the digital camera 12. The subject faces the counselor with the makeup counseling device 60 in between.
[0017]
When the photographing unit 10 is calibrated, a color calibration plate 75 shown in FIG. 6 is provided at a face photographing position on the background screen 70 facing the digital camera 12. The color calibration plate 75 includes reddish skin color, standard skin color, yellowish skin color, black reddish skin color, blackish skin color, black yellowed skin color, red, green, blue, white reddish skin color, whitened skin color, whitedish skin color, black, Color samples of color number N3.5, color number N5, color number N6.5, color number N8, and white are printed. The color numbers N3.5, N5, N6.5, and N8 are grays of N3.5, N5, N6.5, and N8 on the Munsell color system lightness scale.
[0018]
FIG. 7 shows a main flowchart of one embodiment of the processing executed by the apparatus of the present invention. First, as pre-processing for capturing a face image, the strobe 13 is caused to emit light in step S10, the color calibration plate 75 of the background screen 70 is photographed by the digital camera 12, and in step S12, for each color in the color calibration plate image. The color value (average value of a plurality of pixels) of the color sample is obtained. Next, in step S14, a color difference between the standard skin color value of the color calibration plate image and the standard skin color value previously stored in the hard disk device 25 is obtained, and in step S16, the color difference is within a predetermined specified value. In step S18, the color balance of the digital camera 12 is adjusted so that the color difference is minimized, and the process proceeds to step S10, and steps S10 to S18 are repeated.
[0019]
If it is determined in step S16 that the color difference is within the predetermined specified value, the process proceeds to step S20, where gray chip black, color number N3.5, color number N5, color number N6.5, color number N8 in the color calibration plate image, The color values R, G, and B of white are linearly converted to obtain luminance tone curves redTRC, greenTRC, and blueTRC for red, green, and blue. In step S22, the color values R, G, and B are linearly converted with tone curves redTRC, greenTRC, and blueTRC for red skin color, standard skin color, and yellow skin color in the color calibration board image, respectively, redTRC (R), greenTRC (G ), BlueTRC (B) and CIE tristimulus values XYZ of red skin color, standard skin color, and yellow skin color stored in advance in the hard disk device 25 are substituted into equation (1) and converted. Each element rXc, rYc, rZc, gXc, gYc, gZc, bXc, bYc, bZc of the matrix is obtained.
[0020]
[Expression 1]
Figure 0004421071
Next, in step S24, the red skin color, the standard skin color, and the yellow skin color in the color calibration board image are converted into CIE tristimulus values XYZ by the equation (1) using the obtained conversion matrix, and the red skin color, The CIE tristimulus values XYZ for the standard skin color and the yellow skin color are converted into Lab values according to equation (2). Here, the Lab value is a value in a color space represented by metric brightness (L), metric hue angle (a), and metric saturation (b) defined by CIE.
[0021]
Figure 0004421071
Next, in step S25, the color calibration plate 75 is photographed again with the digital camera 12, and the L, a, and b values of the reddish skin color, standard skin color, and yellow skin color in the color calibration plate image are obtained, and the spectrophotometer. Deviations from the L, a, and b values of the reddish skin color, standard skin color, and yellowish skin color that are measured in advance and stored in advance in the hard disk device 25 are stored in the hard disk device 25.
[0022]
Thereafter, the strobe 13 is caused to emit light in step S26, and the face of the subject sitting on the chair 80 with the background screen 70 in the back is photographed by the digital camera 12. At substantially the same time, the distance to the subject's face is measured by the distance sensor 14 in step S28.
[0023]
Next, the luminance of the face image of the subject is corrected in units of pixels based on the distance measured in step S30. Here, assuming that the distance measured by the distance sensor 14 is D1 with respect to a certain reference photographing distance D, a luminance correction coefficient k = (D1 / D) 2 is obtained, and the CIE tristimulus value of the face image of the subject is X1. , Y1, and Z1, the CIE tristimulus values X, Y, and Z of the face image at the reference photographing distance D are obtained by the expression (3).
[0024]
Figure 0004421071
Thereafter, in step S32, the face image is subjected to color correction based on the deviation previously obtained in step S24. After that, in various counseling processes in step S34, the corrected face image is used to determine the skin color distribution of the entire face, to determine the appearance of the face, and to change the lipstick, eye shadow, eyeline, blusher, hair style, etc. Make up counseling for the subject.
[0025]
Thereafter, in step S36, it is determined whether or not the process is continued. If the process is continued, the process proceeds to step S26, and steps S26 to S36 are repeated.
[0026]
In this way, the color balance of the digital camera 12 is adjusted using the color calibration plate 75, a conversion formula for converting an image photographed by the digital camera 12 into a Lab value is obtained, and a deviation from the reference of the image photographed by the digital camera is obtained. The digital camera 12, the strobe 13, and the distance sensor 14 are obtained by correcting the brightness of the face image of the subject according to the distance measured by the distance sensor 14 and further correcting the color of the face image by the deviation. With this simple configuration, the brightness and skin color of the subject's face can be accurately measured without being affected by the environment, and accurate makeup counseling can be performed.
[0027]
By the way, as shown in the usage pattern of FIG. 5, the liquid crystal display units 31 and 41 of the liquid crystal monitors 30 and 40 are directed in opposite directions, so that the subject is watching the liquid crystal display unit 31 and the counselor is a liquid crystal display. The counselor can face the subject and perform counseling while looking at the display unit 41. At this time, the display content of the liquid crystal display unit 31 and the display content of the liquid crystal display unit 41 may be the same, but a comment for counseling is added to the display content of the liquid crystal display unit 31 in the liquid crystal display unit 41. Furthermore, both display contents may be completely different.
[0028]
Steps S10 to S18 correspond to the color balance adjusting means described in the claims, steps S20 and S22 correspond to the conversion formula calculating means, steps S24 and S25 correspond to the deviation calculating means, and step S30 corresponds to the brightness correction. Step S32 corresponds to the color correction means.
[0029]
【The invention's effect】
As described above, according to the first aspect of the present invention, the color balance of the digital camera is adjusted using the color calibration plate, a conversion formula for converting the image captured by the digital camera into the Lab value is obtained, and the image is captured by the digital camera. By calculating the deviation of the image relative to the reference, correcting the brightness of the face image of the subject according to the distance measured by the distance sensor, and further correcting the color of the face image with the deviation, a digital camera, a strobe, With a simple configuration with the distance sensor, the brightness and skin color of the subject's face can be accurately measured without being affected by the environment, and accurate makeup counseling can be performed.
[Brief description of the drawings]
FIG. 1 is a plan view of an embodiment of a makeup counseling device according to the present invention.
FIG. 2 is a front view of an embodiment of the makeup counseling device according to the present invention.
FIG. 3 is a side view of an embodiment of the makeup counseling device of the present invention.
FIG. 4 is a block diagram of an embodiment of a makeup counseling device according to the present invention.
FIG. 5 is a diagram showing a usage pattern of the makeup counseling device of the present invention.
6 is a diagram illustrating an example of a color calibration plate 75. FIG.
FIG. 7 is a main flowchart of an embodiment of processing executed by the device of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Image pick-up unit 11 Face member 12 Digital camera 13 Strobe 14 Distance sensor 20 Personal computer 30 Liquid crystal monitor 31 and 41 with touch panel for test subjects Liquid crystal display part 32 and 42 Transparent touch panel 40 Liquid crystal monitor 50 and 52 with touch panel for counselor Side plate member 75 Color calibration board

Claims (1)

被写体を撮影するデジタルカメラと、
前記被写体を照明するストロボと、
前記被写体までの距離を測定する距離センサと、
略一定距離に置かれた複数のカラーサンプルを持つ色校正板を前記ストロボで照明して前記デジタルカメラで撮影した所定色のカラーサンプル画像の色値と、予め所定条件下で測定された前記所定色のカラーサンプルの色値との色差が規定値内となるように、前記デジタルカメラのカラーバランスを調整するカラーバランス調整手段と、
前記デジタルカメラで色校正板を撮影して得たカラーサンプル画像の色値を、予め所定条件下で測定された前記カラーサンプルのＬａｂ値に変換する変換式を求める変換式算出手段と、
前記デジタルカメラで撮影した所定色のカラーサンプル画像の色値を前記変換式で変換したＬａｂ値と、予め所定条件下で測定された前記所定色のカラーサンプルのＬａｂ値との偏差を求める偏差算出手段と、
前記デジタルカメラで被写体として略一定距離にある被験者の顔画像を撮影したとき、前記距離センサで測定した距離に応じて前記顔画像の明るさを補正する明るさ補正手段と、
前記明るさを補正した顔画像を前記偏差に応じて補正する色補正手段と、
前記色補正手段で補正した顔画像を被験者に対し表示するタッチパネル付きの第１の画像表示手段と、
前記色補正手段で補正した顔画像をカウンセラーに対し表示する第２の画像表示手段と
を有することを特徴とするメーキャップカウンセリング装置。A digital camera to shoot the subject,
A strobe for illuminating the subject;
A distance sensor for measuring the distance to the subject;
The color calibration plate having a plurality of color samples placed at a substantially constant distance is illuminated with the strobe and the color value of a color sample image of a predetermined color photographed by the digital camera, and the predetermined value measured in advance under predetermined conditions Color balance adjustment means for adjusting the color balance of the digital camera so that the color difference between the color value of the color sample and the color value is within a specified value;
A conversion equation calculation means for obtaining a conversion equation for converting the color value of the color sample image obtained by photographing the color calibration plate with the digital camera into the Lab value of the color sample measured in advance under a predetermined condition;
Deviation calculation for obtaining a deviation between a Lab value obtained by converting a color value of a color sample image of a predetermined color photographed by the digital camera using the conversion formula and a Lab value of the color sample of the predetermined color measured in advance under a predetermined condition Means,
Brightness correction means for correcting the brightness of the face image according to the distance measured by the distance sensor when a face image of a subject at a substantially constant distance is photographed as a subject by the digital camera;
Color correction means for correcting the brightness-corrected face image according to the deviation;
First image display means with a touch panel for displaying the face image corrected by the color correction means to the subject;
A makeup counseling apparatus, comprising: a second image display means for displaying a face image corrected by the color correction means to a counselor.
JP2000121648A 2000-04-21 2000-04-21 Makeup counseling device Expired - Fee Related JP4421071B2 (en)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2000121648A JP4421071B2 (en) 2000-04-21 2000-04-21 Makeup counseling device
EP01923968A EP1202209B1 (en) 2000-04-21 2001-04-19 Makeup counseling apparatus
KR1020017016304A KR100810813B1 (en) 2000-04-21 2001-04-19 Makeup counseling apparatus
DE1202209T DE1202209T1 (en) 2000-04-21 2001-04-19 MAKE-UP GUIDE.
CNB018010253A CN100426303C (en) 2000-04-21 2001-04-19 Makeup counseling apparatus
PCT/JP2001/003342 WO2001082154A1 (en) 2000-04-21 2001-04-19 Makeup counseling apparatus
US10/018,756 US7088386B2 (en) 2000-04-21 2001-04-19 Makeup counseling apparatus
TW090109548A TW585752B (en) 2000-04-21 2001-04-20 Makeup counseling apparatus
US11/471,235 US7499076B2 (en) 2000-04-21 2006-06-20 Make-up counseling apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000121648A JP4421071B2 (en) 2000-04-21 2000-04-21 Makeup counseling device

Publications (2)

Publication Number Publication Date
JP2001299448A JP2001299448A (en) 2001-10-30
JP4421071B2 true JP4421071B2 (en) 2010-02-24

Family

ID=18632268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000121648A Expired - Fee Related JP4421071B2 (en) 2000-04-21 2000-04-21 Makeup counseling device

Country Status (1)

Country Link
JP (1) JP4421071B2 (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3691427B2 (en) * 2001-11-08 2005-09-07 株式会社カネボウ化粧品 Foundation selection / recommendation method and equipment used therefor
JP5290498B2 (en) * 2006-03-29 2013-09-18 株式会社 資生堂 Makeup method
JP2006220666A (en) * 2006-05-08 2006-08-24 Fujitsu Ltd Photographing equipment
GB0823228D0 (en) 2008-12-19 2009-01-28 Touch Emas Ltd Prosthesis covering
GB0922603D0 (en) 2009-12-24 2010-02-10 Touch Emas Ltd Skin colour determining apparatus and method
GB201114264D0 (en) 2011-08-18 2011-10-05 Touch Emas Ltd Improvements in or relating to prosthetics and orthotics
JP6111730B2 (en) * 2012-03-28 2017-04-12 株式会社リコー Color measuring device, image forming apparatus, color measuring system and color measuring method
GB201302025D0 (en) 2013-02-05 2013-03-20 Touch Emas Ltd Improvements in or relating to prosthetics
US9579218B2 (en) 2014-02-04 2017-02-28 Rehabilitation Institute Of Chicago Modular and lightweight myoelectric prosthesis components and related methods
GB201403265D0 (en) 2014-02-25 2014-04-09 Touch Emas Ltd Prosthetic digit for use with touchscreen devices
GB201408253D0 (en) 2014-05-09 2014-06-25 Touch Emas Ltd Systems and methods for controlling a prosthetic hand
GB201417541D0 (en) 2014-10-03 2014-11-19 Touch Bionics Ltd Wrist device for a prosthetic limb
CN108885134A (en) * 2016-02-08 2018-11-23 平等化妆品公司 For preparing and outpouring the device and method of visual customization cosmetics
US11185426B2 (en) 2016-09-02 2021-11-30 Touch Bionics Limited Systems and methods for prosthetic wrist rotation
EP3506857A1 (en) 2016-09-02 2019-07-10 Touch Bionics Limited Systems and methods for prosthetic wrist rotation
JP6470438B1 (en) * 2017-08-10 2019-02-13 株式会社ミラーロイド Mirror device and program
US10973660B2 (en) 2017-12-15 2021-04-13 Touch Bionics Limited Powered prosthetic thumb
JP2022529230A (en) * 2019-04-09 2022-06-20 株式会社 資生堂 Systems and methods for creating topical agents with improved image capture
US11931270B2 (en) 2019-11-15 2024-03-19 Touch Bionics Limited Prosthetic digit actuator

Also Published As

Publication number Publication date
JP2001299448A (en) 2001-10-30

Similar Documents

Publication Publication Date Title
KR100810813B1 (en) Makeup counseling apparatus
JP4421071B2 (en) Makeup counseling device
Haeghen et al. An imaging system with calibrated color image acquisition for use in dermatology
US7057641B2 (en) Method for using an electronic imaging device to measure color
US8319857B2 (en) Apparatus and method for correcting digital color photographs
JP6816572B2 (en) Color measuring device, color measuring method and program
US7884968B2 (en) System for capturing graphical images using hyperspectral illumination
US20030185438A1 (en) Color image processing apparatus
Quintana et al. A novel method for color correction in epiluminescence microscopy
Wang et al. A high quality color imaging system for computerized tongue image analysis
EP2084499A2 (en) Apparatus and method for analyzing skin using l*a*b* colorspace
KR20080070070A (en) Dental colorimetry apparatus
US7457000B2 (en) Image input system, conversion matrix calculating method, and computer software product
JP2013068457A (en) Rgb skin color analyzer for animal or plant
JP6969164B2 (en) Evaluation device, evaluation program and evaluation method
TW202004673A (en) System and method for skin color determination, method for generating an icc profile and image capturing device
US9668653B2 (en) Quantification of under-eye skin color
Cheng et al. Assessing color reproducibility of whole-slide imaging scanners
JP4063474B2 (en) Makeup counseling device
JP2000004939A (en) Skin color classification system
JP3577977B2 (en) Illumination light spectral characteristic estimation device
JP2002350355A (en) Evaluating device, evaluating method for unevenness of gloss and computer-readable storage medium storing program for this method
KR100809553B1 (en) The Apparatus And Method for Image Quality Evaluation of Color Imaging Sensor
JP7450960B2 (en) Color measurement method and device
Komiya et al. Natural color reproduction system for telemedicine and its application to digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070725

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20071102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees