WO2021070698A1 - オートメイクアップマシン、方法、プログラム、および制御装置 - Google Patents

オートメイクアップマシン、方法、プログラム、および制御装置 Download PDF

Info

Publication number
WO2021070698A1
WO2021070698A1 PCT/JP2020/037106 JP2020037106W WO2021070698A1 WO 2021070698 A1 WO2021070698 A1 WO 2021070698A1 JP 2020037106 W JP2020037106 W JP 2020037106W WO 2021070698 A1 WO2021070698 A1 WO 2021070698A1
Authority
WO
WIPO (PCT)
Prior art keywords
application
feature points
cosmetics
unit
face
Prior art date
Application number
PCT/JP2020/037106
Other languages
English (en)
French (fr)
Inventor
那須　美恵子
大輔 上和野
麻呂 徳重
鈴木　貴裕
貴司 丸山
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to JP2021551359A priority Critical patent/JPWO2021070698A1/ja
Priority to CN202080070909.8A priority patent/CN114502036A/zh
Priority to US17/754,662 priority patent/US20240074563A1/en
Publication of WO2021070698A1 publication Critical patent/WO2021070698A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/10—Head-rests; Neck-rests
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00—Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D34/04—Appliances specially adapted for applying liquid, e.g. using roller or ball
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0075—Manipulators for painting or coating

Definitions

  • the present invention relates to an auto make-up machine, a method, a program, and a control device.
  • the person who puts on the make-up should match the shape of the area to which the cosmetics are applied and the position of the area to which the cosmetics are applied (hereinafter referred to as).
  • the shape of the area to which the cosmetics are applied and the type of position on the face are also called "application pattern").
  • the make-up person puts cheeks in an ellipse along the cheekbones of the make-up person, or puts cheeks horizontally from the center of the cheeks of the make-up person.
  • Patent Document 1 merely discloses that the treatment product is applied according to the design selected by the user (paragraph [0052] of Patent Document 1), and if a plurality of users select the same design. , The design is used as it is for any user. In other words, the design is not adjusted according to the person to whom the makeup is applied.
  • One aspect of the present invention includes a control unit and an application unit, which determines an area to apply cosmetics based on at least two application feature points on the face and a selected application pattern.
  • a region determination unit and an instruction unit for instructing the application unit to apply the cosmetics to the area are provided, and the application unit applies the cosmetics to the area according to the instruction of the control unit.
  • FIG. 1 is an example of an overall configuration diagram of the auto make-up machine 10 according to the embodiment of the present invention.
  • the auto make-up machine 10 is supposed to make up the user 30.
  • the auto make-up machine 10 includes a control unit 11 and a coating unit 12.
  • the control unit 11 and the coating unit 12 are communicably connected. Each will be described below.
  • the cosmetics applied by the auto makeup machine 10 are cheeks
  • the cosmetics applied by the auto makeup machine 10 may be any of foundation, eyebrow, eye shadow, lipstick and the like. It may be cosmetics.
  • the control unit 11 determines the area to which the cosmetics are applied based on at least two application feature points on the face of the user 30 and the selected application pattern. Further, the control unit 11 instructs the application unit 12 to apply the cosmetics to the determined area. Specifically, the control unit 11 determines at least 2 of the user 30's face based on the three-dimensional shape information (X-axis, Y-axis, and Z-axis coordinate information) of the user 30's face measured by the 3D scanner 20. Extract two coating feature points. In the latter part, the control unit 11 will be described in more detail with reference to FIG.
  • the application unit 12 applies cosmetics to the area on the surface of the user 30's face according to the instructions of the control unit 11.
  • the application unit 12 can apply the cosmetics by spraying the cosmetics on the face using an airbrush.
  • the auto make-up machine 10 does not come into contact with the user 30's face, which is hygienic.
  • the application unit 12 may be configured to apply the cosmetics by bringing the cosmetics into contact with the face using an arbitrary cosmetic tool (for example, a sponge, a puff, a tip, a brush, etc.).
  • an arbitrary cosmetic tool for example, a sponge, a puff, a tip, a brush, etc.
  • control unit 11 and the coating unit 12 have been described as one device (that is, the auto make-up machine 10), but they are mounted as separate devices (for example, the control device and the coating device). You may do so. Further, the auto make-up machine 10 may have the function of the 3D scanner 20.
  • FIG. 2 is an example of a functional block diagram of the auto make-up machine 10 according to the embodiment of the present invention.
  • the control unit 11 of the auto make-up machine 10 can include a feature point registration unit 101, an area determination unit 102, an instruction unit 103, a feature point storage unit 104, and a coating pattern storage unit 105.
  • the control unit 11 of the auto make-up machine 10 can function as a feature point registration unit 101, an area determination unit 102, and an instruction unit 103 by executing a program. Each will be described below.
  • the feature point registration unit 101 extracts and registers at least two coating feature points on the face of the user 30 and a face fixing feature point on the user 30.
  • ⁇ feature points for application> and ⁇ feature points for face fixing> will be described separately.
  • the feature points for application are feature points used to determine the area to which the cosmetic is applied.
  • the feature point registration unit 101 acquires the information (coordinate information of the X-axis, Y-axis, and Z-axis) of the three-dimensional shape of the face of the user 30 measured by the 3D scanner 20. Further, the feature point registration unit 101 extracts feature points indicating the contour of the face of the user 30, parts such as eyes, nose, mouth, and eyebrows, based on the information on the three-dimensional shape of the face of the user 30. Further, the feature point registration unit 101 extracts at least two feature points for application from the feature points indicating the contour of the face, eyes, nose, mouth, eyebrows, etc. of the user 30. Further, the feature point registration unit 101 registers at least two coating feature point information (coordinate information of the X-axis, Y-axis, and Z-axis) in the feature point storage unit 104.
  • 3D shape information (coordinate information of X-axis, Y-axis, Z-axis) of the face of the user 30 measured by the 3D scanner 20 is acquired. Will be done.
  • feature points indicating the contour of the face of the user 30 and parts such as eyes, nose, mouth, and eyebrows are extracted.
  • at least two coating feature points ((a) coating feature points in FIG. 3) are extracted from the feature points indicating the contour of the face, eyes, nose, mouth, eyebrows, etc. of the user 30. ..
  • the face fixing feature points ((b) face fixing feature points in FIG. 3) are extracted from the feature points indicating the contour of the face of the user 30, parts such as eyes, nose, mouth, and eyebrows.
  • the feature point storage unit 104 stores at least two coating feature points extracted by the feature point registration unit 101. Further, the feature point storage unit 104 stores the face fixing feature points extracted by the feature point registration unit 101.
  • FIG. 4 is an example of a coating pattern according to an embodiment of the present invention.
  • Information on the shape of the coating pattern that gives a "fresh” impression and the position on the face, such as (3) coating pattern 3 is stored in the coating pattern storage unit 105.
  • the area determination unit 102 selects the coating pattern according to the designation from the user 30.
  • the area determination unit 102 is a display means of the auto make-up machine 10 (or, when the auto make-up machine 10 is mounted as separate devices (control device and coating device), the display means of the control device. ) Display information on multiple coating patterns. For example, information on the impression given by each application pattern (“cool”, “cute”, “fresh”, etc. in FIG. 4) and information on the shape and position of each application pattern on the face are displayed.
  • the area determination unit 102 is an input means of the control device when the user 30 is mounted as an input means of the auto make-up machine 10 (or, when the auto make-up machine 10 is mounted as separate devices (control device and coating device)).
  • the area determination unit 102 selects the application pattern specified by the user 30 as the application pattern for determining the area to which the cosmetics are applied.
  • the area determination unit 102 selects an application pattern based on the facial feature points of the user 30. Specifically, the area determination unit 102 selects an application pattern suitable for the user 30's face based on feature points indicating the contour of the user 30's face, parts such as eyes, nose, mouth, and eyebrows.
  • FIG. 5 is a diagram for explaining the affine transformation of the coating pattern according to the embodiment of the present invention.
  • the area determination unit 102 executes the affine transformation of the coating pattern on the face of the user 30. Specifically, the region determination unit 102 executes at least one of translation of the coating pattern, expansion of the coating pattern, reduction of the coating pattern, and rotation of the coating pattern on the face of the user 30. Then, at least two coating feature points on the face of the user 30 and at least two coating feature points of the coating pattern are superimposed.
  • FIG. 6 is an example of fixing the face of the user 30 according to the embodiment of the present invention.
  • ⁇ Fixed example 1 (when the user faces a predetermined position)> As shown in ⁇ Fixing Example 1> of FIG. 6, the user 30 fixes the face on the face fixing device 40. Specifically, the user 30 aligns a face fixing feature point (for example, between the eyebrows) with a predetermined position of the face fixing device 40, and sets a predetermined position of the face fixing device 40 (for example, a position on which the chin is placed). Adjust the face fixing feature point (for example, chin) to a predetermined position.
  • the area determination unit 102 specifies the coordinates of a predetermined position of the face fixing device 40 as the coordinates of the position of the face fixing feature point.
  • the area determination unit 102 is a region in which the application unit 12 applies cosmetics based on the coordinates of the face fixing feature points and the relative positional relationship between at least two application feature points and the face fixing feature points.
  • the three-dimensional shape information (coordinate information of the X-axis, Y-axis, and Z-axis) is calculated.
  • ⁇ Fixed example 1 (when searching for feature points for fixing the user's face)> As shown in ⁇ Fixing Example 1> of FIG. 6, the user 30 fixes the face on the face fixing device 40.
  • the area determination unit 102 specifies the coordinates of the position of the face fixing feature point from the three-dimensional shape information measured by the user 30.
  • the area determination unit 102 is a region in which the application unit 12 applies cosmetics based on the coordinates of the face fixing feature points and the relative positional relationship between at least two application feature points and the face fixing feature points.
  • the three-dimensional shape information (coordinate information of the X-axis, Y-axis, and Z-axis) is calculated.
  • ⁇ Fixed example 2 (when the user faces a predetermined position)> As shown in ⁇ Fixed Example 2> of FIG. 6, the user 30 wears a wearable device having a coating unit 12 and a 3D scanner 20. Specifically, the user 30 aligns the face fixing feature point (for example, between the eyebrows) with a predetermined position of the wearable device, and aligns the face fixing feature point (for example, between the eyebrows) with the predetermined position of the wearable device (for example, the movable part of the wearable device). Adjust the face fixing feature point (for example, chin) to a predetermined position. The area determination unit 102 specifies the coordinates of a predetermined position of the wearable device as the coordinates of the position of the face fixing feature point.
  • ⁇ Fixed example 2 (when searching for feature points for fixing the user's face)> As shown in ⁇ Fixed Example 2> of FIG. 6, the user 30 wears a wearable device having a coating unit 12 and a 3D scanner 20.
  • the area determination unit 102 specifies the coordinates of the position of the face fixing feature point from the three-dimensional shape information measured by the user 30.
  • the area determination unit 102 is a region in which the application unit 12 applies cosmetics based on the coordinates of the face fixing feature points and the relative positional relationship between at least two application feature points and the face fixing feature points.
  • the three-dimensional shape information (coordinate information of the X-axis, Y-axis, and Z-axis) is calculated.
  • the auto make-up machine 10 may be configured to apply a plurality of cosmetics (for example, foundation, eyebrow, eyeshadow, lipstick, etc.).
  • the area determination unit 102 determines the area of each cosmetic product based on at least two application feature points of each cosmetic product of the plurality of types of cosmetic products and the selected application pattern.
  • the instruction unit 103 instructs the application unit 12 to apply each cosmetic product to the area of each cosmetic product.
  • the application pattern storage unit 105 stores information on the application pattern for each cosmetic product (the shape of the region to which each cosmetic product is applied and the type of position on the face).
  • the feature point registration unit 101 has a face fixing feature point (for example, among the feature points showing the contour of the face, eyes, nose, mouth, eyebrows, etc. of the user 30 extracted in S22. Two face fixing feature points) are extracted.
  • a face fixing feature point for example, among the feature points showing the contour of the face, eyes, nose, mouth, eyebrows, etc. of the user 30 extracted in S22. Two face fixing feature points
  • FIG. 9 is a flowchart showing an example of makeup processing according to an embodiment of the present invention.
  • step 31 the area determination unit 102 of the control unit 11 determines the area to which the cosmetics are applied.
  • FIG. 10 is a flowchart showing an example of the area determination process (S31 in FIG. 9) according to the embodiment of the present invention.
  • step 43 the area determination unit 102 calculates the coordinates for specifying the area to which the cosmetics are applied.
  • the region determination unit 102 is subjected to the affine transformation in the region to which the cosmetic is applied (that is, S42) based on the coordinates of at least two feature points for application.
  • the coordinates for identifying the area of the coating pattern arranged on the face) are calculated.
  • the region determination unit 102 determines the coordinates of the feature points for face fixing and the relative of at least two feature points for application and the feature points for face fixation. Based on the positional relationship, the coordinates for specifying the region to which the cosmetics are applied (that is, the region of the application pattern that is affine-transformed and arranged on the face in S42) are calculated.
  • the affine transformation of the coating pattern selected by the user 30 or the auto make-up machine 10 is executed and arranged based on the positions of at least two coating feature points. It is possible to determine the area that fits the face of each person to whom the makeup is applied.
  • FIG. 11 shows an example of the hardware configuration of the control unit 11 (or the control device when the auto make-up machine 10 is mounted as separate devices (control device and coating device)) according to the embodiment of the present invention. It is a block diagram which shows.
  • the control unit 11 and the control device include a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, and a RAM (Random Access Memory) 1003.
  • the CPU 1001, ROM 1002, and RAM 1003 form a so-called computer.
  • control unit 11 and the control device can include an auxiliary storage device 1004, a display device 1005, an operation device 1006, an I / F (Interface) device 1007, and a drive device 1008.
  • the hardware of the control unit 11 and the control device are connected to each other via the bus B.
  • the CPU 1001 is an arithmetic device that executes various programs installed in the auxiliary storage device 1004.
  • ROM1002 is a non-volatile memory.
  • the ROM 1002 functions as a main storage device for storing various programs, data, and the like necessary for the CPU 1001 to execute various programs installed in the auxiliary storage device 1004.
  • the ROM 1002 functions as a main memory device that stores boot programs such as BIOS (Basic Input / Output System) and EFI (Extensible Firmware Interface).
  • BIOS Basic Input / Output System
  • EFI Extensible Firmware Interface
  • RAM 1003 is a volatile memory such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
  • the RAM 1003 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage device 1004 are executed by the CPU 1001.
  • the auxiliary storage device 1004 is an auxiliary storage device that stores various programs and information used when various programs are executed.
  • the display device 1005 is a display device that displays the control unit 11 and the internal state of the control device.
  • the operation device 1006 is an input device in which the user 30 inputs various instructions to the control unit 11 and the control device.
  • the I / F device 1007 is a communication device for connecting to a network and communicating with the coating unit 12 and the 3D scanner 20.
  • the drive device 1008 is a device for setting the storage medium 1009.
  • the storage medium 1009 referred to here includes a medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like that optically, electrically, or magnetically records information. Further, the storage medium 1009 may include a semiconductor memory for electrically recording information such as an EPROM (Erasable Programmable Read Only Memory) and a flash memory.
  • EPROM Erasable Programmable Read Only Memory
  • Control unit 12 Coating unit 20
  • 3D scanner 30 User 40 Face fixing device 101 Feature point registration unit 102
  • Area determination unit 103 Indicator unit 104
  • Feature point storage unit 105 Application pattern storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

化粧を施される者の顔の特徴に基づいた化粧をする。制御部と塗布部とを備え、前記制御部は、顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する領域決定部と、前記領域に化粧品を塗布するよう前記塗布部に指示する指示部と、を備え、前記塗布部は、前記制御部の指示に従って、前記領域に化粧品を塗布する。

Description

オートメイクアップマシン、方法、プログラム、および制御装置
　本発明は、オートメイクアップマシン、方法、プログラム、および制御装置に関する。
　従来、人間にメーキャップする装置が開示されている。例えば、特許文献１には、人間の身体をメーキャップまたは彩色するための方法や装置が開示されている。
　ところで、人間が自身あるいは他人の顔に化粧をする際、化粧をする者は、化粧を施される者の顔に合わせて、化粧品を塗布する領域の形や化粧品を塗布する領域の位置（以下、化粧品を塗布する領域の形および顔上での位置の類型を"塗布パターン"ともいう）を決めている。例えば、チークの場合、化粧をする者は、化粧を施される者の頬骨に沿って楕円にチークを入れたり、化粧を施される者の頬の中心から横長にチークを入れたりする。
特表２００４－５０１７０７号公報
　特許文献１では、ユーザが選択したデザインに従って処置製品が塗布されることが開示されているに過ぎず（特許文献１の段落［００５２］）、複数のユーザが同一のデザインを選択したのであれば、どのユーザに対してもそのデザインがそのまま用いられる。つまり、化粧を施される者に合わせてデザインが調整されるわけではない。
　そこで、本発明の一実施形態では、化粧を施される者の顔の特徴に基づいた化粧をすることを目的とする。
　本発明の一態様は、制御部と塗布部とを備え、前記制御部は、顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する領域決定部と、前記領域に化粧品を塗布するよう前記塗布部に指示する指示部と、を備え、前記塗布部は、前記制御部の指示に従って、前記領域に化粧品を塗布する。
　本発明によれば、化粧を施される者の顔の特徴に基づいた化粧をすることができる。
本発明の一実施形態に係るオートメイクアップマシンの全体の構成図の一例である。 本発明の一実施形態に係るオートメイクアップマシンの機能ブロック図の一例である。 本発明の一実施形態に係る塗布用特徴点および顔固定用特徴点を説明するための図である。 本発明の一実施形態に係る塗布パターンの一例である。 本発明の一実施形態に係る塗布パターンのアフィン変換を説明するための図である。 本発明の一実施形態に係るユーザの顔の固定例である。 本発明の一実施形態に係る塗布用特徴点の事前登録処理の一例を示すフローチャートである。 本発明の一実施形態に係る顔固定用特徴点の事前登録処理の一例を示すフローチャートである。 本発明の一実施形態に係るメーキャップ処理の一例を示すフローチャートである。 本発明の一実施形態に係る領域決定処理の一例を示すフローチャートである。 本発明の一実施形態に係るオートメイクアップマシンの処理部および処理装置のハードウェア構成の一例を示すブロック図である。
＜全体の構成図＞
　図１は、本発明の一実施形態に係るオートメイクアップマシン１０の全体の構成図の一例である。オートメイクアップマシン１０は、ユーザ３０に対して化粧をするものとする。図１に示されるように、オートメイクアップマシン１０は、制御部１１と塗布部１２とを含む。制御部１１と塗布部１２は、通信可能に接続されている。以下、それぞれについて説明する。
　なお、本明細書では、オートメイクアップマシン１０が塗布する化粧品がチークである場合を主に説明するが、オートメイクアップマシン１０が塗布する化粧品は、ファンデーション、アイブロウ、アイシャドウ、口紅等の任意の化粧品であってよい。
　制御部１１は、ユーザ３０の顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する。また、制御部１１は、決定した領域に化粧品を塗布するよう塗布部１２に指示する。具体的には、制御部１１は、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）に基づいて、ユーザ３０の顔の少なくとも２つの塗布用特徴点を抽出する。後段で、図２を参照しながら、制御部１１についてより詳細に説明する。
　塗布部１２は、制御部１１の指示に従って、ユーザ３０の顔の表面上の領域に化粧品を塗布する。例えば、塗布部１２は、エアブラシを用いて顔に化粧品を噴射することによって、化粧品を塗布することができる。この場合、オートメイクアップマシン１０がユーザ３０の顔に接触しないので衛生的である。
　なお、塗布部１２は、任意の化粧用具（例えば、スポンジ、パフ、チップ、ブラシなど）を用いて顔に化粧品を接触させることによって、化粧品を塗布する構成とすることもできる。
　上記のように、図１では、制御部１１と塗布部１２とを１つの装置（つまり、オートメイクアップマシン１０）として説明したが、別々の装置（例えば、制御装置と塗布装置）として実装するようにしてもよい。また、オートメイクアップマシン１０が３Ｄスキャナ２０の機能を有するようにしてもよい。
＜機能構成＞
　図２は、本発明の一実施形態に係るオートメイクアップマシン１０の機能ブロック図の一例である。オートメイクアップマシン１０の制御部１１は、特徴点登録部１０１、領域決定部１０２、指示部１０３、特徴点格納部１０４、塗布パターン格納部１０５を含むことができる。オートメイクアップマシン１０の制御部１１は、プログラムを実行することで、特徴点登録部１０１、領域決定部１０２、指示部１０３として機能することができる。以下、それぞれについて説明する。
　特徴点登録部１０１は、ユーザ３０の顔の少なくとも２つの塗布用特徴点、および、ユーザ３０の顔固定用特徴点を抽出して登録する。以下、＜塗布用特徴点＞と＜顔固定用特徴点＞とに分けて説明する。
＜塗布用特徴点＞
　塗布用特徴点は、化粧品を塗布する領域を決定するために用いられる特徴点である。特徴点登録部１０１は、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を取得する。また、特徴点登録部１０１は、ユーザ３０の顔の３次元形状の情報に基づいて、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点を抽出する。また、特徴点登録部１０１は、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、少なくとも２つの塗布用特徴点を抽出する。また、特徴点登録部１０１は、少なくとも２つの塗布用特徴点の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を、特徴点格納部１０４に登録する。
＜顔固定用特徴点＞
　顔固定用特徴点は、化粧品を塗布する領域を特定するための座標を算出するために用いられる特徴点である。後述するように、化粧品を塗布する際に、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、化粧品を塗布する領域を特定するための座標が算出される。
　特徴点登録部１０１は、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を取得する。また、特徴点登録部１０１は、ユーザ３０の顔の３次元形状の情報に基づいて、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点を抽出する。また、特徴点登録部１０１は、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、塗布用特徴点とは異なる特徴点である顔固定用特徴点（例えば、２つの顔固定用特徴点）を抽出する。また、特徴点登録部１０１は、顔固定用特徴点の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を、特徴点格納部１０４に登録する。
　顔固定用特徴点は、体重の増減や表情の変化に影響を受けづらい特徴点であることが望ましい。なお、顔固定用特徴点は、塗布用特徴点と一致することもありうる。
　図３は、本発明の一実施形態に係る塗布用特徴点および顔固定用特徴点を説明するための図である。
　図３の（１）３次元形状の情報の取得に示されるように、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）が取得される。
　次に、図３の（２）特徴点の抽出に示されるように、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点が抽出される。そして、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、少なくとも２つの塗布用特徴点（図３の（ａ）塗布用特徴点）が抽出される。また、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、顔固定用特徴点（図３の（ｂ）顔固定用特徴点）が抽出される。
　次に、図３の（３）特徴点の座標情報の登録に示されるように、塗布用特徴点と顔固定用特徴点のＸ軸、Ｙ軸、Ｚ軸の座標情報が登録される。図３では、１種類の化粧品（例えば、チーク）を塗布する領域を決定するための少なくとも２つの塗布用特徴点が登録されているが、複数の種類の化粧品（例えば、チーク、ファンデーション、アイブロウ、アイシャドウ、口紅等）を塗布する各領域を決定するための少なくとも２つの塗布用特徴点（つまり、化粧品ごとの塗布用特徴点）が登録されてもよい。
　なお、塗布用特徴点と顔固定用特徴点以外の特徴点（つまり、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点）が登録されてもよい。この場合、既にユーザ３０の全ての特徴点が抽出されているので、新たな塗布用特徴点を追加して登録することが容易となる。
　図２に戻る。特徴点格納部１０４には、特徴点登録部１０１が抽出した、少なくとも２つの塗布用特徴点が記憶されている。また、特徴点格納部１０４には、特徴点登録部１０１が抽出した、顔固定用特徴点が記憶されている。
　塗布パターン格納部１０５には、塗布パターン（化粧品を塗布する領域の形および顔上での位置の類型）の情報が記憶されている。具体的には、塗布パターンごとに、化粧品を塗布する領域の形と、化粧品を塗布する領域と塗布用特徴点との位置関係の情報が記憶されている。なお、塗布パターンの情報は、２次元の情報（Ｘ軸、Ｙ軸の座標情報。つまり、顔の凹凸を考慮しない）であってもよいし、３次元の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報。つまり、顔の凹凸を考慮する）であってもよい。
　図４は、本発明の一実施形態に係る塗布パターンの一例である。例えば、オートメイクアップマシン１０が塗布する化粧品がチークである場合、図４の（１）塗布パターン１のような「クール」な印象を与える塗布パターン、（２）塗布パターン２のような「キュート」な印象を与える塗布パターン、（３）塗布パターン３のような「フレッシュ」な印象を与える塗布パターンの形および顔上での位置の情報が、塗布パターン格納部１０５に記憶される。
　図２に戻る。領域決定部１０２は、顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する。以下、＜塗布パターンの選定＞、＜塗布パターンのアフィン変換＞、＜座標の算出＞の順に説明する。
＜塗布パターンの選定＞
　領域決定部１０２は、塗布パターンを選定する。以下、＜＜ユーザによる選定＞＞と＜＜自動選定＞＞とに分けて説明する。
＜＜ユーザによる選定＞＞
　領域決定部１０２は、ユーザ３０からの指定に従って、塗布パターンを選定する。具体的には、領域決定部１０２は、オートメイクアップマシン１０の表示手段（あるいは、オートメイクアップマシン１０が別々の装置（制御装置と塗布装置）として実装される場合には制御装置の表示手段）に複数の塗布パターンの情報を表示させる。例えば、各塗布パターンが与える印象（図４の「クール」「キュート」「フレッシュ」など）の情報や各塗布パターンの形・顔上での位置の情報が表示される。また、領域決定部１０２は、ユーザ３０がオートメイクアップマシン１０の入力手段（あるいは、オートメイクアップマシン１０が別々の装置（制御装置と塗布装置）として実装される場合には制御装置の入力手段）を用いて指定した塗布パターンの情報を取得する。また、領域決定部１０２は、ユーザ３０が指定した塗布パターンを、化粧品を塗布する領域を決定するための塗布パターンとして選定する。
＜＜自動選定＞＞
　領域決定部１０２は、ユーザ３０の顔の特徴点に基づいて、塗布パターンを選定する。具体的には、領域決定部１０２は、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点に基づいて、そのユーザ３０の顔に適した塗布パターンを選定する。
　例えば、領域決定部１０２は、事前に登録された、顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点と、その顔に適した塗布パターンとの対応関係に基づいて、ユーザ３０の顔に適した塗布パターンを選定することができる。なお、領域決定部１０２は、ＡＩ（人工知能）を用いて、顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点から、その顔に適した塗布パターンを推論するようにしてもよい。
＜塗布パターンのアフィン変換＞
　次に、塗布パターンのアフィン変換について説明する。領域決定部１０２は、ユーザ３０の顔の少なくとも２つの塗布用特徴点の位置に基づいて、選定した塗布パターンのアフィン変換を実行する。以下、図５を参照しながら塗布パターンのアフィン変換について詳細に説明する。
　図５は、本発明の一実施形態に係る塗布パターンのアフィン変換を説明するための図である。
　領域決定部１０２は、ユーザ３０の顔上で、塗布パターンのアフィン変換を実行する。具体的には、領域決定部１０２は、ユーザ３０の顔上で、塗布パターンの平行移動と、塗布パターンの拡大と、塗布パターンの縮小と、塗布パターンの回転とのうちの少なくとも１つを実行して、ユーザ３０の顔の少なくとも２つの塗布用特徴点と、塗布パターンの少なくとも２つの塗布用特徴点とを重ね合わせる。
　より詳細に説明すると、領域決定部１０２は、塗布パターン格納部１０５内で、上記の＜＜塗布パターンの選定＞＞で選定された塗布パターンの情報を参照する。つまり、領域決定部１０２は、化粧品を塗布する領域の形と、化粧品を塗布する領域と塗布用特徴点との位置関係の情報を参照する。
　領域決定部１０２は、ユーザ３０の塗布用特徴点と、塗布パターンの塗布用特徴点とが重なるように、塗布パターンの形（つまり、化粧品を塗布する領域の形）を上下方向や左右方向に拡大や縮小して、ユーザ３０の顔上に配置することができる。例えば、領域決定部１０２は、ユーザ３０の顔の少なくとも２つの塗布用特徴点の位置に基づいて、塗布パターンの形を、上下方向（Ｙ軸方向）に拡大または縮小することができる。また、領域決定部１０２は、ユーザ３０の顔の少なくとも２つの塗布用特徴点の位置に基づいて、塗布パターンの形を、左右方向（Ｘ軸方向）に拡大または縮小することができる。
　また、領域決定部１０２は、ユーザ３０の塗布用特徴点と、塗布パターンの塗布用特徴点とが重なるように、塗布パターンを回転させて、ユーザ３０の顔上に配置することができる。
＜座標の算出＞
　次に、座標の算出について説明する。以下、塗布用特徴点の抽出と同じタイミングで化粧品を塗布する場合と、塗布用特徴点の抽出後に別途化粧品を塗布する場合とに分けて説明する。
＜＜塗布用特徴点の抽出と同じタイミングで化粧品を塗布する場合＞＞
　領域決定部１０２は、少なくとも２つの塗布用特徴点の座標に基づいて、化粧品を塗布する領域（つまり、アフィン変換されて顔上に配置された塗布パターンの領域）を特定するための座標を算出する。
＜＜塗布用特徴点の抽出後に別途化粧品を塗布する場合＞＞
　領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、化粧品を塗布する領域（つまり、アフィン変換されて顔上に配置された塗布パターンの領域）を特定するための座標を算出する。以下、図６を参照しながら座標の算出について詳細に説明する。
　図６は、本発明の一実施形態に係るユーザ３０の顔の固定例である。
＜固定例１（ユーザが所定の位置に顔を合わせる場合）＞
　図６の＜固定例１＞に示されるように、ユーザ３０は、顔固定用装置４０上に顔を固定する。具体的には、ユーザ３０は、顔固定用装置４０の所定の位置に顔固定用特徴点（例えば、眉間）を合わせ、顔固定用装置４０の所定の位置（例えば、顎をのせる位置）を調節のうえ所定の位置に顔固定用特徴点（例えば、顎）を合わせる。領域決定部１０２は、顔固定用装置４０の所定の位置の座標を顔固定用特徴点の位置の座標として特定する。領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、塗布部１２が化粧品を塗布する領域の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を算出する。
＜固定例１（ユーザの顔固定用特徴点を探索する場合）＞
　図６の＜固定例１＞に示されるように、ユーザ３０は、顔固定用装置４０上に顔を固定する。領域決定部１０２は、ユーザ３０を計測した３次元形状の情報から顔固定用特徴点の位置の座標を特定する。領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、塗布部１２が化粧品を塗布する領域の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を算出する。
＜固定例２（ユーザが所定の位置に顔を合わせる場合）＞
　図６の＜固定例２＞に示されるように、ユーザ３０は、塗布部１２および３Ｄスキャナ２０を有するウェアラブル型の装置を装着する。具体的には、ユーザ３０は、ウェアラブル型の装置の所定の位置に顔固定用特徴点（例えば、眉間）を合わせ、ウェアラブル型の装置の所定の位置（例えば、ウェアラブル型の装置の可動部分）を調節のうえ所定の位置に顔固定用特徴点（例えば、顎）を合わせる。領域決定部１０２は、ウェアラブル型の装置の所定の位置の座標を顔固定用特徴点の位置の座標として特定する。領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、塗布部１２が化粧品を塗布する領域の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を算出する。
＜固定例２（ユーザの顔固定用特徴点を探索する場合）＞
　図６の＜固定例２＞に示されるように、ユーザ３０は、塗布部１２および３Ｄスキャナ２０を有するウェアラブル型の装置を装着する。領域決定部１０２は、ユーザ３０を計測した３次元形状の情報から顔固定用特徴点の位置の座標を特定する。領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、塗布部１２が化粧品を塗布する領域の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を算出する。
　このように、＜＜塗布用特徴点の抽出後に別途化粧品を塗布する場合＞＞では、事前に（つまり、ユーザ３０がオートメイクアップマシン１０を用いて化粧をする前に）登録しておいた特徴点を用いることができるので、特徴点を抽出する時間が不要となる。
　図２に戻る。指示部１０３は、領域決定部１０２が決定した領域に化粧品を塗布するよう塗布部１２に指示する。指示を受けた塗布部１２は、指示部１０３の指示に従って、指示された領域に化粧品を塗布する。
　指示部１０３は、化粧品を塗布する領域内の全ての部分に均一な量の化粧品を塗布するよう指示してもよいし、化粧品を塗布する領域内のある部分には多量の化粧品を塗布して別の部分には少量の化粧品を塗布するよう指示してもよい。
　指示部１０３は、ユーザ３０からの指定に従って選定した色、あるいは、制御部１１がユーザ３０の顔に適すると選定した色の化粧品を塗布するよう指示する構成とすることもできる。
＜複数の種類の化粧品による化粧＞
　本発明の一実施形態では、オートメイクアップマシン１０は、複数の化粧品（例えば、ファンデーション、アイブロウ、アイシャドウ、口紅等）を塗布する構成とすることもできる。この場合、領域決定部１０２は、複数の種類の化粧品の各々の化粧品の少なくとも２つの塗布用特徴点および選定された塗布パターンに基づいて、各化粧品の領域を決定する。指示部１０３は、各化粧品の領域に各化粧品を塗布するよう塗布部１２に指示する。なお、塗布パターン格納部１０５には、化粧品ごとの塗布パターン（各化粧品を塗布する領域の形および顔上での位置の類型）の情報が記憶されている。
＜シミュレーション＞
　本発明の一実施形態では、オートメイクアップマシン１０は、塗布部１２が化粧品を塗布する前に、ユーザ３０の顔への化粧品の塗布のシミュレーションをした画像を表示する構成とすることもできる。この場合、領域決定部１０２は、ユーザ３０の顔への化粧品の塗布のシミュレーションをした画像を、オートメイクアップマシン１０の表示手段またはオートメイクアップマシン１０に接続された表示手段に表示する。このように、本発明の一実施形態では、オートメイクアップマシン１０は、ユーザ３０に対して、化粧の仕上がりの予想を提示することができる。
　図７は、本発明の一実施形態に係る塗布用特徴点の事前登録処理の一例を示すフローチャートである。
　ステップ１１（Ｓ１１）において、特徴点登録部１０１は、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を取得する。
　ステップ１２（Ｓ１２）において、特徴点登録部１０１は、Ｓ１１で取得したユーザ３０の顔の３次元形状の情報に基づいて、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点を抽出する。
　ステップ１３（Ｓ１３）において、特徴点登録部１０１は、Ｓ１２で抽出したユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、少なくとも２つの塗布用特徴点を抽出する。
　ステップ１４（Ｓ１４）において、特徴点登録部１０１は、Ｓ１３で抽出した少なくとも２つの塗布用特徴点を特徴点格納部１０４に登録する。
　図８は、本発明の一実施形態に係る顔固定用特徴点の事前登録処理の一例を示すフローチャートである。
　ステップ２１（Ｓ２１）において、特徴点登録部１０１は、３Ｄスキャナ２０が計測したユーザ３０の顔の３次元形状の情報（Ｘ軸、Ｙ軸、Ｚ軸の座標情報）を取得する。
　ステップ２２（Ｓ２２）において、特徴点登録部１０１は、Ｓ２１で取得したユーザ３０の顔の３次元形状の情報に基づいて、ユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点を抽出する。
　ステップ２３（Ｓ２３）において、特徴点登録部１０１は、Ｓ２２で抽出したユーザ３０の顔の輪郭、目、鼻、口、眉といった部位などを示す特徴点のなかから、顔固定用特徴点（例えば、２つの顔固定用特徴点）を抽出する。
　ステップ２４（Ｓ２４）において、特徴点登録部１０１は、Ｓ２３で抽出した顔固定用特徴点を特徴点格納部１０４に登録する。
　図９は、本発明の一実施形態に係るメーキャップ処理の一例を示すフローチャートである。
　ステップ３１（Ｓ３１）において、制御部１１の領域決定部１０２は、化粧品を塗布する領域を決定する。
　ステップ３２（Ｓ３２）において、制御部１１の指示部１０３は、Ｓ３１で決定された領域に化粧品を塗布するよう塗布部１２に指示する。
　ステップ３３（Ｓ３３）において、塗布部１２は、Ｓ３２の指示部１０３の指示に従って、Ｓ３２で指示された領域に化粧品を塗布する。
　図１０は、本発明の一実施形態に係る領域決定処理（図９のＳ３１）の一例を示すフローチャートである。
　ステップ４１（Ｓ４１）において、領域決定部１０２は、塗布パターンを選定する。例えば、領域決定部１０２は、ユーザ３０からの指定に従って、塗布パターンを選定することができる。また、例えば、領域決定部１０２は、ユーザ３０の顔の特徴点に基づいて、塗布パターンを選定することができる。
　ステップ４２（Ｓ４２）において、領域決定部１０２は、ユーザ３０の顔の少なくとも２つの塗布用特徴点の位置に基づいて、Ｓ４１で選定した塗布パターンのアフィン変換を実行する。
　ステップ４３（Ｓ４３）において、領域決定部１０２は、化粧品を塗布する領域を特定するための座標を算出する。塗布用特徴点の抽出と同じタイミングで化粧品を塗布する場合には、領域決定部１０２は、少なくとも２つの塗布用特徴点の座標に基づいて、化粧品を塗布する領域（つまり、Ｓ４２でアフィン変換されて顔上に配置された塗布パターンの領域）を特定するための座標を算出する。塗布用特徴点の抽出後に別途化粧品を塗布する場合には、領域決定部１０２は、顔固定用特徴点の座標、および、少なくとも２つの塗布用特徴点と顔固定用特徴点との相対的な位置関係に基づいて、化粧品を塗布する領域（つまり、Ｓ４２でアフィン変換されて顔上に配置された塗布パターンの領域）を特定するための座標を算出する。
＜効果＞
　このように、本発明の一実施形態では、少なくとも２つの塗布用特徴点の位置に基づいて、ユーザ３０またはオートメイクアップマシン１０が選定した塗布パターンのアフィン変換を実行のうえ配置することによって、化粧を施される各々の者の顔に合った領域を決定することができる。
＜ハードウェア構成＞
　図１１は、本発明の一実施形態に係る制御部１１（あるいは、オートメイクアップマシン１０が別々の装置（制御装置と塗布装置）として実装される場合には制御装置）のハードウェア構成の一例を示すブロック図である。制御部１１および制御装置は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。
　また、制御部１１および制御装置は、補助記憶装置１００４、表示装置１００５、操作装置１００６、Ｉ／Ｆ（Interface）装置１００７、ドライブ装置１００８を有することができる。なお、制御部１１および制御装置の各ハードウェアは、バスＢを介して相互に接続されている。
　ＣＰＵ１００１は、補助記憶装置１００４にインストールされている各種プログラムを実行する演算デバイスである。
　ＲＯＭ１００２は、不揮発性メモリである。ＲＯＭ１００２は、補助記憶装置１００４にインストールされている各種プログラムをＣＰＵ１００１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ１００２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
　ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１００３は、補助記憶装置１００４にインストールされている各種プログラムがＣＰＵ１００１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
　補助記憶装置１００４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
　表示装置１００５は、制御部１１および制御装置の内部状態等を表示する表示デバイスである。
　操作装置１００６は、ユーザ３０が制御部１１および制御装置に対して各種指示を入力する入力デバイスである。
　Ｉ／Ｆ装置１００７は、ネットワークに接続し、塗布部１２、３Ｄスキャナ２０と通信を行うための通信デバイスである。
　ドライブ装置１００８は記憶媒体１００９をセットするためのデバイスである。ここでいう記憶媒体１００９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１００９には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置１００４にインストールされる各種プログラムは、例えば、配布された記憶媒体１００９がドライブ装置１００８にセットされ、該記憶媒体１００９に記録された各種プログラムがドライブ装置１００８により読み出されることでインストールされる。あるいは、補助記憶装置１００４にインストールされる各種プログラムは、Ｉ／Ｆ装置１００７を介して、ネットワークよりダウンロードされることでインストールされてもよい。
　以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本国際出願は２０１９年１０月１１日に出願された日本国特許出願２０１９－１８７７３６号に基づく優先権を主張するものであり、２０１９－１８７７３６号の全内容をここに本国際出願に援用する。
１０　オートメイクアップマシン
１１　制御部
１２　塗布部
２０　３Ｄスキャナ
３０　ユーザ
４０　顔固定用装置
１０１　特徴点登録部
１０２　領域決定部
１０３　指示部
１０４　特徴点格納部
１０５　塗布パターン格納部

Claims (9)

  1. 　制御部と塗布部とを備え、
    　前記制御部は、
    　　顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する領域決定部と、
    　　前記領域に化粧品を塗布するよう前記塗布部に指示する指示部と
    　を備え、
    　前記塗布部は、前記制御部の指示に従って、前記領域に化粧品を塗布する、オートメイクアップマシン。
  2. 　前記制御部は、
    　前記少なくとも２つの塗布用特徴点、および、前記塗布用特徴点とは異なる特徴点である顔固定用特徴点を事前に登録しておく特徴点登録部、をさらに備え、
    　前記領域決定部は、前記顔固定用特徴点の座標、および、前記少なくとも２つの塗布用特徴点と前記顔固定用特徴点との相対的な位置関係に基づいて、前記化粧品を塗布する領域を特定するための座標を算出する、請求項１に記載のオートメイクアップマシン。
  3. 　前記領域決定部は、前記塗布パターンのアフィン変換を実行して前記顔上に配置する、請求項１または２に記載のオートメイクアップマシン。
  4. 　前記塗布部は、化粧品を噴射することによって前記領域に化粧品を塗布する、請求項１から３のいずれか一項に記載のオートメイクアップマシン。
  5. 　前記化粧品は、複数の種類の化粧品を含み、
    　前記領域決定部は、各化粧品の少なくとも２つの塗布用特徴点および選定された塗布パターンに基づいて、前記各化粧品の領域を決定し、
    　前記指示部は、前記各化粧品の領域に前記各化粧品を塗布するよう前記塗布部に指示する、請求項１から４のいずれか一項に記載のオートメイクアップマシン。
  6. 　前記化粧品の塗布のシミュレーションをした画像を表示する、請求項１から５のいずれか一項に記載のオートメイクアップマシン。
  7. 　顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定するステップと、
    　前記領域に化粧品を塗布するステップと
    　を含む方法。
  8. 　塗布部に指示する制御部を
    　顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する領域決定部、
    　前記領域に化粧品を塗布するよう前記塗布部に指示する指示部
    　として機能させるためのプログラム。
  9. 　顔の少なくとも２つの塗布用特徴点、および、選定された塗布パターンに基づいて、化粧品を塗布する領域を決定する領域決定部と、
    　前記領域に化粧品を塗布するよう塗布装置に指示する指示部と
    　を備えた制御装置。
PCT/JP2020/037106 2019-10-11 2020-09-30 オートメイクアップマシン、方法、プログラム、および制御装置 WO2021070698A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021551359A JPWO2021070698A1 (ja) 2019-10-11 2020-09-30
CN202080070909.8A CN114502036A (zh) 2019-10-11 2020-09-30 自动化妆机、方法、程序以及控制装置
US17/754,662 US20240074563A1 (en) 2019-10-11 2020-09-30 Automatic makeup machine, method, program, and control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019187736 2019-10-11
JP2019-187736 2019-10-11

Publications (1)

Publication Number Publication Date
WO2021070698A1 true WO2021070698A1 (ja) 2021-04-15

Family

ID=75437895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037106 WO2021070698A1 (ja) 2019-10-11 2020-09-30 オートメイクアップマシン、方法、プログラム、および制御装置

Country Status (4)

Country Link
US (1) US20240074563A1 (ja)
JP (1) JPWO2021070698A1 (ja)
CN (1) CN114502036A (ja)
WO (1) WO2021070698A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114947345A (zh) * 2022-05-31 2022-08-30 南昌远彡戴创新研发有限公司 一种3d自动化妆机
WO2023168507A1 (pt) * 2022-03-11 2023-09-14 Botica Comercial Farmacêutica Ltda. Dispositivo e método de aplicação automática de produto cosmético em usuário

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017936A (ja) * 2006-07-11 2008-01-31 Fujifilm Corp 化粧装置及び方法
JP2014090872A (ja) * 2012-11-02 2014-05-19 Shiseido Co Ltd メーキャップ装置及びメーキャップ方法
WO2015029372A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2019130933A1 (ja) * 2017-12-26 2019-07-04 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH695412A5 (it) * 2004-10-19 2006-05-15 Labo Cosprophar Ag Metodo e kit particolarmente per applicare un prodotto cosmetico.
JP5432532B2 (ja) * 2008-01-22 2014-03-05 株式会社 資生堂 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017936A (ja) * 2006-07-11 2008-01-31 Fujifilm Corp 化粧装置及び方法
JP2014090872A (ja) * 2012-11-02 2014-05-19 Shiseido Co Ltd メーキャップ装置及びメーキャップ方法
WO2015029372A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2019130933A1 (ja) * 2017-12-26 2019-07-04 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023168507A1 (pt) * 2022-03-11 2023-09-14 Botica Comercial Farmacêutica Ltda. Dispositivo e método de aplicação automática de produto cosmético em usuário
CN114947345A (zh) * 2022-05-31 2022-08-30 南昌远彡戴创新研发有限公司 一种3d自动化妆机
CN114947345B (zh) * 2022-05-31 2023-08-22 南昌远彡戴创新研发有限公司 一种3d自动化妆机

Also Published As

Publication number Publication date
CN114502036A (zh) 2022-05-13
US20240074563A1 (en) 2024-03-07
JPWO2021070698A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
US9846803B2 (en) Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
JP5372275B1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9743993B2 (en) Systems and methods for planning hair transplantation
JP6435516B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US8027505B2 (en) System and method for providing simulated images through cosmetic monitoring
CN108564531B (zh) 一种图像处理方法及装置
WO2021070698A1 (ja) オートメイクアップマシン、方法、プログラム、および制御装置
US20170348982A1 (en) Automatic facial makeup method
KR20100047863A (ko) 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치, 메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션 프로그램이 기록된 컴퓨터 판독가능한 기록매체
WO2014119242A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JPWO2008102440A1 (ja) 化粧顔画像生成装置及び方法
WO2008098235A2 (en) System and method for providing simulated images through cosmetic monitoring
JPH10255066A (ja) 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US10512321B2 (en) Methods, systems and instruments for creating partial model of a head for use in hair transplantation
CN108227922A (zh) 一种虚拟现实的实时数字影像上妆方法
WO2016010761A1 (en) Hair simulation method
US20200197677A1 (en) Applicator with Gradient Supplied Actives and Methods of Making the Same
WO2020085922A1 (en) Digital character blending and generation system and method
WO2018094506A1 (en) Semi-permanent makeup system and method
JP2016066383A (ja) メイクアップ支援装置およびメイクアップ支援方法
CN117389676B (zh) 一种基于显示界面的智能发型适配展示方法
WO2023210341A1 (ja) 顔分類方法、装置、およびプログラム
JP2005196670A (ja) 携帯端末装置及びオブジェクト生成方法
CN115335917A (zh) 自行测量面部或身体尺寸的方法、特别是制造个性化涂抹器的方法
JP2022158634A (ja) 表示装置、表示方法および表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20874250

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551359

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17754662

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20874250

Country of ref document: EP

Kind code of ref document: A1