WO2024023889A1 - シミュレーションシステム及びシミュレーション方法 - Google Patents

シミュレーションシステム及びシミュレーション方法 Download PDF

Info

Publication number
WO2024023889A1
WO2024023889A1 PCT/JP2022/028627 JP2022028627W WO2024023889A1 WO 2024023889 A1 WO2024023889 A1 WO 2024023889A1 JP 2022028627 W JP2022028627 W JP 2022028627W WO 2024023889 A1 WO2024023889 A1 WO 2024023889A1
Authority
WO
WIPO (PCT)
Prior art keywords
head
image
simulation system
information processing
projected
Prior art date
Application number
PCT/JP2022/028627
Other languages
English (en)
French (fr)
Inventor
奈央 石附
郁 加藤
涼 柿本
文彦 築山
義浩 渡辺
Original Assignee
株式会社コーセー
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コーセー, 国立大学法人東京工業大学 filed Critical 株式会社コーセー
Priority to PCT/JP2022/028627 priority Critical patent/WO2024023889A1/ja
Publication of WO2024023889A1 publication Critical patent/WO2024023889A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • the present invention relates to a simulation system and a simulation method.
  • the present invention provides a simulation system that is less likely to cause glare during use when performing simulations.
  • a simulation system projects an image onto the head of a living thing.
  • This simulation system includes an imaging section, an information processing section, and a projection section.
  • the imaging unit is configured to continuously capture images including the head in chronological order.
  • the information processing unit is configured to calculate predetermined information regarding the head based on the captured image and to generate an image to be projected.
  • the predetermined information includes the position, shape, and projected aspect of the head.
  • the image to be projected has a base portion and one or more object portions.
  • the one or more object portions include a portion that masks an eye portion included in the head.
  • the projection unit is configured to project the image generated by the information processing unit based on predetermined information in accordance with the position of the head.
  • the device is configured such that the time from the time of a frame when the imaging unit images the head to the time when information processing corresponding to this frame is performed and the projection unit projects an image onto the head is 50 ms or less. .
  • a simulation system and the like are provided that are less likely to cause glare during use when performing a simulation.
  • FIG. 1 is a configuration diagram showing a simulation system 1 according to a first embodiment.
  • 3 is a block diagram showing the hardware configuration of the information processing section 3.
  • FIG. 3 is a functional block diagram showing the functions of a control section 33 in the information processing section 3.
  • FIG. It is a block diagram showing the hardware configuration of a tablet terminal (makeup input section 6). It is an activity diagram for explaining the simulation method of the first embodiment.
  • FIG. 3 is a conceptual diagram for explaining a video generated in an information processing step. This is an example of a display screen displayed on a tablet terminal (makeup input section 6).
  • FIG. 2 is a configuration diagram showing a first modification of the simulation system 1.
  • FIG. FIG. 2 is a configuration diagram showing a second modification of the simulation system 1.
  • the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium, or may be downloaded from an external server.
  • the program may be provided in a manner that allows the program to be started on an external computer and the function thereof is realized on the client terminal (so-called cloud computing).
  • the term "unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be concretely implemented by these hardware resources.
  • various types of information are handled in this embodiment, and these information include, for example, the physical value of a signal value representing voltage and current, and the signal value as a binary bit collection consisting of 0 or 1. It is expressed by high and low levels or quantum superposition (so-called quantum bits), and communication and calculations can be performed on circuits in a broad sense.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining a circuit, a circuit, a processor, a memory, and the like.
  • ASIC Application Specific Integrated Circuit
  • SPLD Simple Programmable Logic Device
  • CPLD Complex Programmable Logic Device
  • FPGA field programmable gate array
  • a simulation system that projects images onto the heads of living things comprising an imaging section, an information processing section, and a projection section
  • the imaging unit is configured to continuously capture images including the head in time series
  • the information processing unit is configured to calculate predetermined information regarding the head based on the captured image and generate an image to be projected, and here,
  • the predetermined information includes the position, shape, and projected aspect of the head
  • the image to be projected has a base portion and one or more object portions,
  • the one or more object parts include a part that masks an eye part included in the head
  • the projection unit is configured to project the image generated by the information processing unit based on the predetermined information in accordance with the position of the head,
  • the time from the time of a frame when the imaging unit images the head to the time when information processing corresponding to this frame is performed and the projection unit projects the image onto the head is 50 ms or less.
  • a simulation system configured as follows. The configuration and uses of this
  • FIG. 1 is a configuration diagram showing a simulation system 1 according to the first embodiment.
  • the simulation system 1 projects an image onto the head of a living creature, and FIG. 1 shows a system that projects an image onto the head of a human P1.
  • the present simulation system 1 can also be applied to animals other than humans.
  • this simulation system 1 can be used for various purposes, it is typically used to simulate makeup on the head.
  • makeup refers to makeup applied to each part of the face, such as foundation, highlighter, shading, eyeshadow, eyeliner, eyebrow, mascara, cheek, and lip color, as well as coloring applied to the hair. Also includes rings.
  • the simulation system 1 can also be used to simulate accessories (decoration) on the head, to simulate hairstyles, to simulate increases and decreases in three-dimensional structures such as pores and wrinkles, and to simulate acne and stains.
  • the present invention may be used for simulating changes in skin color unevenness, simulating cosmetic surgery, visualizing the arrangement of subcutaneous tissue, and the like.
  • the projected parts may include areas other than the head, such as the torso, hands, legs, etc., so that it is possible to simulate makeup on the head as described above and at the same time simulate clothing that matches this makeup. A projection may also be performed.
  • the simulation system 1 includes an imaging section 2, an information processing section 3, and a projection section 4, which are connected through a circuit. Note that although these are not essential configurations in this embodiment, the simulation system 1 in FIG. 1 is shown to include an illuminance adjustment section 5 and a makeup input section 6 in addition to the above-mentioned configuration. . These components will be further explained.
  • the imaging unit 2 is configured to continuously capture images including the head in chronological order.
  • the imaging unit 2 is, for example, a camera (visible light, infrared light, etc. can be used as appropriate) that is configured to be able to acquire information about the outside world as an image.
  • a camera it is preferable to adopt a camera with a high operating frequency (frame rate), which is called a high-speed vision camera.
  • the frame rate (operating frequency) of the camera is, for example, 300 fps or more, preferably 400 fps or more, and more preferably 500 fps or more or 1000 fps or more.
  • the operating frequency of the camera is, for example, 100, 125, 150, 175, 200, 225, 250, 275, 300, 325, 350, 375, 400, 425, 450, 475, 500, 525, 550, 575, 600, 625, 650, 675, 700, 725, 750, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000, 1025, 1050, 1075, 1100, 1125, 1150, 1175, 1200, 1225,1250,1275,1300,1325,1350,1375,1400,1425,1450,1475,1500,1525,1550,1575,1600,1625,1650,1675,1700,1725,1750,1775,1800,182 5, It may be 1850, 1875, 1900, 1925, 1950, 1975, 2000 fps, or may be within a range between any two of the numerical values exemplified here.
  • the imaging unit 2 is not limited to a camera, and may employ a measurement sensor that can acquire a three-dimensional shape, or may employ a plurality of sensors with different functions. Note that it is assumed that the angle of view position of the projection unit 4 and the angle of view position of the imaging unit 2, which will be described later, are consistent through prior calibration. Although not shown, a coaxial optical system may be employed to implement the system as a calibration-free system.
  • FIG. 2 is a block diagram showing the hardware configuration of the information processing section 3.
  • FIG. 3 is a functional block diagram showing the functions of the control section 33 in the information processing section 3.
  • the information processing section 3 includes a communication section 31, a storage section 32, and a control section 33, and these components are electrically connected via a communication bus 30 inside the information processing section 3.
  • the information processing section 3 includes an imaging control section 331, a projection control section 332, a calculation section 333, an input reception section 334, and an illuminance control section 335. Each component will be further explained below.
  • the communication unit 31 is preferably a wired communication means such as USB, IEEE1394, Thunderbolt (registered trademark), wired LAN network communication, etc., it is also suitable for wireless LAN network communication, mobile communication such as LTE/3G, Bluetooth (registered trademark) communication, etc. may be included if necessary. That is, it is more preferable to implement it as a set of these plurality of communication means.
  • the communication unit 31 is preferably configured to be able to communicate with the imaging unit 2, the projection unit 4, etc. according to a predetermined high-speed communication standard. Specifically, the communication unit 31 is configured to be able to transmit an image of projection light that causes the light emitting unit 41 of the projection unit 4 to emit light. Further, the communication unit 31 is configured to be able to receive the captured image acquired by the imaging unit 2.
  • the storage unit 32 stores various information defined by the above description. This can be used as a storage device such as a solid state drive (SSD), or as a random access memory that stores temporarily necessary information (arguments, arrays, etc.) related to program operations. It can be implemented as a memory such as RAM). Alternatively, a combination of these may be used.
  • SSD solid state drive
  • RAM random access memory
  • the storage unit 32 stores imaging information acquired by the imaging unit 2 and received by the communication unit 31.
  • the storage unit 32 also stores a sensor control program for controlling the imaging control unit 331 in the control unit 33 to receive imaging information from the imaging unit 2.
  • the storage unit 32 stores a light emission control program for the projection control unit 332 in the control unit 33 to control the light emitting unit 41 to emit light at a predetermined operating frequency.
  • the storage unit 32 stores various programs related to the information processing unit 3 that are executed by the calculation unit 333 and the like in the control unit 33.
  • the control unit 33 processes and controls the overall operation related to the information processing unit 3.
  • the control unit 33 is, for example, a central processing unit (CPU) not shown.
  • the control unit 33 implements various functions related to the information processing unit 3 by reading predetermined programs stored in the storage unit 32. Specifically, this includes an imaging control function, a projection control function, an arithmetic function, an input reception function, an illumination control function, and the like. That is, information processing by software (stored in the storage unit 32) is concretely realized by the hardware (control unit 33), so that the imaging control unit 331, the projection control unit 332, the calculation unit 333, and the input reception 334 and illuminance control section 335. That is, the program can cause the computer to function as each part of the information processing section 3.
  • FIG. 2 shows a single control section 33
  • the present invention is not limited to this in reality, and the control section 33 may be provided for each function. It may also be a combination thereof.
  • various functions that can be realized by the control section 33 will be described in further detail.
  • Imaging control unit 331 In the imaging control unit 331, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the imaging control unit 331 controls to receive imaging information and the like from the imaging unit 2 . Further, the operating frequency of the imaging section 2 may be adjusted, and the imaging information acquired by the imaging section 2 may be used to generate a 3D projection image model.
  • the projection control section 332 is configured to be able to control the light emitting section 41 in the projection section 4 so that the light emitting section 41 emits light at a predetermined operating frequency. That is, the projection control section 332 generates a control signal for controlling the light emitting section 41, and this is transmitted to the light emitting section 41 in the projection section 4 via the communication section 31. Based on the control signal, the light emitting unit 41 emits light so as to project projection light onto the target (human P1).
  • calculation unit 333 information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the calculation unit 333 is configured to be able to perform various calculations such as image processing and conversion on the projection image, for example. These are not particularly limited, and can be implemented as appropriate.
  • the input reception unit 334 is a device in which information processing by software (stored in the storage unit 32) is specifically implemented by hardware (control unit 33).
  • the input reception unit 334 is configured to be able to accept input contents to the makeup input unit 6, which will be described later, for example. These are not particularly limited, and can be implemented as appropriate.
  • the illuminance control unit 335 In the illuminance control unit 335, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33).
  • the illuminance control unit 335 is configured to be able to control the illuminance at the position where the person P1 is present as necessary. That is, it may be configured to adjust the output of the light projected from the projection unit 4, and if the illuminance adjustment unit 5 is electrically connected to the information processing unit 3, this illuminance control unit
  • the illuminance adjustment unit 5 may be configured to operate appropriately by the function of 335.
  • the projection unit 4 is configured to project the image generated by the information processing unit 3 in accordance with the position of the head. More specifically, the projection unit 4 typically includes a light emitting unit 41 and is configured so that the light emitting unit 41 emits projection light including an image onto the projection target (human P1). Although the external appearance and internal configuration of the projection unit 4 are not particularly limited, it is preferable to use a so-called high-speed projector with a high refresh rate (operating frequency).
  • the operating frequency of the projector is, for example, 300 Hz or more, preferably 400 Hz or more, and more preferably 500 Hz or more or 1000 Hz or more.
  • the operating frequency of the projector is, for example, 100, 125, 150, 175, 200, 225, 250, 275, 300, 325, 350, 375, 400, 425, 450, 475, 500, 525, 550, 575, 600, 625, 650, 675, 700, 725, 750, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000, 1025, 1050, 1075, 1100, 1125, 1150, 1175, 1200, 1225,1250,1275,1300,1325,1350,1375,1400,1425,1450,1475,1500,1525,1550,1575,1600,1625,1650,1675,1700,1725,1750,1775,1800,182 5, It may be 1850, 1875, 1900, 1925, 1950, 1975, 2000Hz, or may be within a range between any two of the numerical values exemplified here.
  • the projection unit 4 may be configured to be able to adjust the optical axis using a mirror or the like according to the movement of the head. This makes it easier to project not only from the front of the head but also from the side and upper and lower surfaces. In addition, even if the position of the person P1 moves, it becomes easier to perform a projection that appropriately matches the moved position.
  • the illuminance adjustment unit 5 is used to adjust the illuminance of environmental light at the location where the projection target (person P1) is present.
  • the illuminance adjustment unit 5 is typically configured to adjust the illuminance of the environmental light at the location of the head using a member disposed around the head of the projection target.
  • the illuminance adjustment may be achieved by blocking light from surrounding light sources.
  • the illuminance adjustment unit 5 may emit light to achieve desired ambient light, thereby achieving adjustment of the illuminance.
  • FIG. 1 shows a mode in which the illuminance adjustment section 5 exists independently, if the illuminance adjustment section 5 includes an electrical element, the illuminance adjustment section 5 is connected to the information processing section 3 etc. and a circuit etc. may be connected with
  • the makeup input section 6 is used to input details of the makeup to be simulated.
  • the makeup input unit 6 is typically a portable terminal, and specific examples include a tablet terminal, a smartphone, etc., but a PC (Personal Computer) etc. may also be used, and the details thereof are limited. It's not a thing. Further, the makeup input section 6 may be the same terminal as the information processing section 3, and predetermined information processing may be performed based on input to the information processing section 3.
  • FIG. 4 is a block diagram showing the hardware configuration of the tablet terminal (makeup input section 6).
  • the tablet terminal (makeup input section 6) has a communication section 61, a storage section 62, a control section 63, a display section 64, and an input section 65. ) is electrically connected via a communication bus 60.
  • Descriptions of the communication section 61, storage section 62, and control section 63 will be omitted because they are substantially the same as the communication section 31, storage section 32, and control section 33 in the information processing section 3 described above.
  • the display unit 64 may be included in the casing of the tablet terminal (makeup input unit 6), or may be externally attached.
  • the display unit 64 displays a graphical user interface (GUI) screen that can be operated by the user. This is preferably carried out by using display devices such as a CRT display, a liquid crystal display, an organic EL display, and a plasma display depending on the type of terminal.
  • GUI graphical user interface
  • This is preferably carried out by using display devices such as a CRT display, a liquid crystal display, an organic EL display, and a plasma display depending on the type of terminal.
  • the display section 64 will be described as being included in the casing of the tablet terminal (makeup input section 6).
  • the input unit 65 may be included in the casing of the tablet terminal (makeup input unit 6), or may be externally attached.
  • the input section 65 may be integrated with the display section 64 and implemented as a touch panel. With a touch panel, the user can input tap operations, swipe operations, and the like. Of course, a switch button, a mouse, a QWERTY keyboard, etc. may be used instead of the touch panel. That is, the input unit 65 receives operation inputs made by the user. The input is transferred as a command signal to the control unit 63 via the communication bus 60, and the control unit 63 can execute predetermined control or calculation as necessary.
  • the simulation method of the first embodiment includes an imaging step, an information processing step, and a projection step, and in this section, each of these steps will be explained with reference to activity diagrams and the like.
  • FIG. 5 is an activity diagram for explaining the simulation method of the first embodiment.
  • captured images including the head are continuously captured in time series (imaging step). This imaging step is achieved by the imaging unit 2 continuously imaging the head of the human P1 in chronological order.
  • this predetermined information includes the position, shape, and projected aspect of the head, and the image to be projected has a base portion and one or more object portions, and the one or more object portions include a base portion and one or more object portions. includes a portion that masks the eye portion included in the head.
  • a trained model that has previously learned the positional relationships of parts included in the head that can serve as feature points. These characteristic points typically include eyes, nose, mouth, ears, etc.
  • feature points typically include eyes, nose, mouth, ears, etc.
  • a rule-based algorithm such as template matching may be used instead of a trained model.
  • FIG. 6 is a conceptual diagram for explaining the video generated in the information processing step. That is, the video IMG1 in FIG. 6 corresponds to the video generated in the information processing step, but in generating the video IMG1, typically, a process of combining the base portion BS1 and the object portions OBJ11 to OBJ14 is performed. It will be done.
  • the base portion BS1 is a portion that constitutes the background color (base color) of the projected head, but the color that becomes the “base portion” is not necessarily limited to a single color. Not done. That is, the color forming the base portion may be a color forming a gradation or a color partially patterned.
  • the illuminance of the base part is the widest among the colors projected onto the face of human P1's head. It can be defined as the color projected onto an area.
  • the illuminance of the base portion refers only to the light emitted from the projection unit 4.
  • the value of the illuminance of the base portion can be obtained by subtracting the illuminance of the environmental light from the illuminance of the base portion when the projection light projected from the projection unit 4 and the environmental light are irradiated simultaneously.
  • the object part OBJ11 is a part that masks the eye part included in the head
  • the object part OBJ12 is a part that represents the shape of cheeks
  • the object part OBJ13 is a part that represents the shape of eye makeup.
  • OBJ14 is a portion representing the shape of the lip.
  • Such video IMG1 is generated by calculating predetermined information regarding the head based on the captured image captured in the imaging step, and specifically, this predetermined information includes the position of the head, Including shape and projected aspect.
  • this predetermined information includes the position of the head, Including shape and projected aspect.
  • the positional relationships of the various objects in the video IMG1 described above are adjusted (optimized) based on the facial parts (eyes, eyelids, cheeks, lips, etc.) present in the head imaged in the imaging step.
  • the method of configuring the video IMG1 is not limited to this.
  • the content of each object part combined in advance may be combined with the base part BS1, or a combination of the base part BS1 and each object part may be adopted as the video IMG1 from the beginning. good.
  • the part (object part OBJ11) that masks the eye part included in the head has a function of reducing the glare of the projected light that enters the eyes, but this object part OBJ11 In addition to the iris of the eye, a region including the white of the eye (the entire eye) may be masked.
  • the portion (object portion OBJ11) that masks the eye portion included in the head is usually configured in a darker color than the color that constitutes the base portion BS1.
  • the information processing section 3 outputs the contents of one or more object parts based on the input to the makeup input section 6. It may be configured to do so.
  • FIG. 7 is an example of a display screen displayed on the tablet terminal (makeup input section 6).
  • an object OBJ21 that can select the shape of various types of makeup
  • an object OBJ22 that can select the colors of various types of makeup
  • an object OBJ23 that can adjust the shading of various types of makeup. It is shown.
  • object OBJ21a when the object OBJ21a is pressed, the corresponding shape is selected, and when the object OBJ21b is pressed, a different shape is selected, but for convenience, the above-mentioned objects OBJ21 and OBJ22 are selected.
  • object OBJ23 will be described as a collection of objects of the same type.
  • a person (typically the person P1, but may be an operator other than the person P1) who comes into contact with the display screen D displayed on the display unit 64 of the makeup input unit 6 makes a request to the person P1.
  • the shape of the makeup desired to be applied to the person P1 is selected based on the object OBJ21, and the color of the makeup desired to be applied to the person P1 is selected based on the object OBJ22.
  • object OBJ22 a color palette from which various colors can be selected is shown, but instead of this, objects with different shapes from which various colors can be selected may be arranged. good.
  • the shade of each makeup can be selected based on a slide operation of the bar.
  • the contents input to the makeup input section 6 in this way are accepted by the input reception section 334 of the information processing section 3. Further, the calculation unit 333 of the information processing unit 3 executes a predetermined calculation based on the received content and generates an image to be projected.
  • the content input to the makeup input section 6 is not limited to the form shown in FIG. 7, and may be anything that indicates the atmosphere or image of the makeup, such as "gorgeous" or "soft".
  • the input content may be input content representing a celebrity such as an actor or idol, and the information processing unit 3 may be able to output an object portion that can be used to recall this celebrity.
  • the information processing unit 3 uses a predetermined area centered on the position of the head calculated from the immediately previous frame with respect to the current frame of the captured image. It may be configured to calculate predetermined information. That is, in such a configuration, the position of the head is calculated in the immediately previous frame, and based on the area around the head, predetermined information is calculated and an image to be projected is generated. In other words, the calculation unit 333 does not perform information processing on the entire frame area of the captured image, but performs information processing only on a partial area of the frame. By performing such processing, it is possible to contribute to improving the information processing speed.
  • the information processing section 3 may adjust the projected color of the image based on the reflection characteristics of a specific part of the head.
  • this specific part corresponds to the skin, lips, hair, etc. present on the head.
  • the reflection characteristics of this specific site may be measured using a database acquired in advance or on the spot.
  • the imaging unit 2 may measure the reflection characteristics of a specific part of the head.
  • the measurement of the reflection characteristics may be performed by a configuration different from that of the imaging section 2. For example, a predetermined sensor (not shown in FIG.
  • the information processing unit 3 may be configured to detect an error from a target color when performing a simulation based on the reflection characteristics of a specific part of the head.
  • the projection data, the output level of the projection unit 4, etc. may be controlled based on the detected error.
  • the image generated in the information processing step is projected based on predetermined information in accordance with the position of the head (projection step).
  • This projection step is typically executed by the projection unit 4, but by executing such a step, it is possible to project an image that fits the head of the projection target, and as a result, it is possible to simulate makeup, etc. It can be carried out.
  • the optical axis may be adjusted using a mirror or the like according to the movement of the head.
  • the simulation method of the first embodiment has the following features.
  • the time from the time of the frame when the head is imaged in the imaging step to the time when the information processing corresponding to this frame is performed and the image is projected onto the head in the projection step (this may also be referred to as "latency"). ) is 50ms or less.
  • the above-mentioned latency is preferably 45 ms or less, more preferably 40 ms or less, even more preferably 35 ms or less, even more preferably 30 ms or less, and particularly preferably 25 ms or less.
  • Such a reduction in latency time may be achieved by improving the operating frequencies of the imaging section 2 and the projection section 4 or by improving the information processing ability of the information processing section 3.
  • predetermined information may be calculated for the current frame of the captured image using a predetermined area centered on the position of the head calculated from the immediately previous frame. This can also contribute to reducing such latency.
  • the lower limit of latency is not particularly limited, but is 0.1 ms or more as an example.
  • the simulation method of the first embodiment may have the following features. That is, when the illuminance of the environmental light at the position of the head is I 1 [lux], and the illuminance of the base part in the projected image is I 2 [lux], I 2 /I 1 is 1.5 or more and 30 It may be configured as follows. The inventors have investigated that when the illuminance of the environmental light at the position of the head is extremely low, the projected image tends to be bright, and when the illuminance of the environmental light at the position of the head is extremely high, It has been found that the range of colors that can be expressed tends to be limited.
  • the ratio of the illuminance of the environmental light at the position of the head to the illuminance of the base portion of the projected image within an appropriate range.
  • environmental light at the location where the head exists is defined as the entire light that reaches the head, excluding the portion of the light that is directly projected onto the head by the projection unit 4.
  • this environmental light typically includes natural light such as sunlight and light emitted from flames, fluorescent lamps (daylight color, daylight white, white, etc.), light bulbs, and optical devices other than the projection unit 4 (LED, EL, etc.).
  • LED, EL, etc. the light indirectly projected onto the head by the projection unit 4 may also be included.
  • the color tone and the like of this environmental light may be adjusted through a color balance adjustment filter or the like.
  • the light that is indirectly projected onto the head typically reflects from a different part of the body than the head before reaching the head, or when it reflects off the walls of the space in which the simulation is performed. It can include light that reaches . Therefore, the simulation system 1 of the present embodiment assumes day and night, weather, various events (studio, stage, watching games, meetings, meals, anti-aging), etc. by setting the type of light source and illuminance of the environmental light. It can be said that it can provide a place for makeup. Furthermore, "light that reaches the head” refers to light that is irradiated to the area surrounded by the hairline of the front of the face, the chin, and both ears connected by a curved line.
  • the light from the light source that emits environmental light be projected as indirect light reflected on a wall or the like, rather than being projected directly onto the face of the person P1. Further, it is more preferable that the projection unit 4 is directly illuminated by a light source that emits ambient light.
  • I 2 /I 1 is preferably 3 or more, more preferably 5 or more, even more preferably 7 or more, and particularly preferably 10 or more. Further, I 2 /I 1 is preferably 27 or less, more preferably 25 or less, even more preferably 22 or less, and particularly preferably 20 or less.
  • Table 1 summarizes the results of screening the value of I 2 /I 1 using the simulation system 1 shown in FIG. 1. As shown in Table 1, by setting the value of I 2 /I 1 within a range, it becomes difficult to perceive glare and it is possible to ensure a wide color gamut that can be expressed.
  • the width of the color gamut that can be expressed is evaluated according to the following criteria. That is, 30 colors were selected from eye shadows on the market. The 30 selected eyeshadow colors were reproduced using Simulation System 1, projected onto a panel, and visually evaluated by five evaluators specializing in cosmetic evaluation. The "breadth of the color gamut that can be expressed” was evaluated according to the number of colors that three or more professional cosmetic evaluation experts judged to be equivalent to the actual color. The specific criteria for judgment are as follows. A: 25 colors or more B: 20 colors or more and 24 colors or less C: 15 colors or more and 19 colors or less D: 14 colors or less
  • I1 is preferably 5 or more, more preferably 8 or more, even more preferably 10 or more, even more preferably 20 or more, and particularly preferably 30 or more.
  • I1 is preferably 500 or less, more preferably 400 or less, even more preferably 300 or less, even more preferably 250 or less, and particularly preferably 200 or less.
  • Table 2 summarizes the results of screening the value of I1 using the simulation system 1 shown in FIG. As shown in Table 2, by setting the value of I 1 within a range, there are advantages such as reducing glare, making it easier to ensure the color gamut of projection light, and making it easier to achieve natural makeup.
  • I 3 /I 1 is preferably 10 or less, more preferably 5 or less. It is preferably 3 or less, and more preferably 3 or less. That is, by setting the illuminance of the area corresponding to the iris of the eye relatively low with respect to the illuminance of the environmental light, it is easier to reduce glare. Note that the illuminance of the area corresponding to the iris is determined by measuring the illuminance at the center of the iris. Further, the lower limit of the value of I 3 /I 1 is not particularly limited, but as an example, it is 0.01 or more, and it can also be set to 0.
  • Table 3 summarizes the results of screening the value of I 3 /I 1 using the simulation system 1 shown in FIG. 1. As shown in Table 3, it is easier to reduce glare by appropriately setting the value of I 3 /I 1 .
  • the evaluation was performed by fixing I 1 to 50 [lux] and I 2 to 500 [lux] while adjusting the illuminance of the area corresponding to the iris.
  • the environmental light in this case, light emitted from a white LED is also used.
  • the function of the illuminance adjustment section 5 may be utilized. That is, if the illuminance around the head is excessively high, the illuminance adjustment section 5 may block the light emitted from the surrounding light sources to achieve the desired illuminance of the environmental light. On the other hand, if the ambient illuminance is too low, the illuminance adjustment section 5 may emit appropriate light to achieve the desired illuminance of the ambient light.
  • the imaging unit 2 detects the illuminance of the environmental light at the position where the head exists, and the illuminance control unit 335 of the information processing unit 3 controls the illuminance adjustment unit 5 based on the detected illuminance.
  • the detection of the illuminance of the environmental light may be performed by a configuration different from that of the imaging unit 2.
  • a predetermined sensor (not shown in FIG. 1) connected to the information processing unit 3 detects the illuminance at the position where the head is present, and based on the detected illuminance, the illuminance control unit 335 of the information processing unit 3
  • the illuminance adjustment section 5 may also be controlled.
  • the imaging unit 2 or the like may detect the illuminance of the environmental light at the position where the head is present, and the degree of output of the image projected by the projecting unit 4 may be adjusted as appropriate based on the detected illuminance. That is, when the projection unit 4 is a projector, the illuminance of the base portion may be controlled within an appropriate range by adjusting the output of this projector. Further, regarding the image projected by the projection unit 4, the value of I 3 /I 1 may be controlled by adopting a color with a high light-shielding property for the mask portion corresponding to the eye portion.
  • the human P1 may be fitted with a photochromic contact lens.
  • one or more object parts include a part that masks the eye part included in the head.
  • this masking part functions to reduce the glare of the light emitted during projection, but by shortening the latency time, the masking part functions to reduce the glare of the light emitted during projection. It is possible to appropriately follow the direction of the light, and the effect of reducing glare can be clearly demonstrated. From this point of view, it is possible to realize a simulation system that is less likely to cause glare during use during simulation.
  • a simulation system that projects images onto the heads of living things comprising an imaging section, an information processing section, and a projection section
  • the imaging unit is configured to continuously capture images including the head in time series
  • the information processing unit is configured to calculate predetermined information regarding the head based on the captured image and generate an image to be projected, and here,
  • the predetermined information includes the position, shape, and projected aspect of the head
  • the image to be projected has a base portion and one or more object portions
  • the projection unit is configured to project the image generated by the information processing unit based on the predetermined information in accordance with the position of the head, I 2 /I 1 is 1.5 or more, where I 1 [lux] is the illuminance of the environmental light at the position of the head, and I 2 [lux] is the illuminance of the base portion in the projected image. 30 or less, a simulation system.
  • the simulation system of the second embodiment includes an imaging section 2, an information processing section 3, and a projection section 4, similar to the simulation system 1 of the first embodiment, while the information processing section 3 generates Regarding one or more object parts included in the video image, it is arbitrary whether a part that masks the eye part included in the head is included, and whether the latency is 50 ms or less is arbitrary.
  • I 2 /I 1 be 1.5 or more and 30 or less (the same applies to the simulation method of the second embodiment). In this way, since an appropriate range is set for I 2 /I 1 , it is possible to realize a simulation system in which it is difficult to feel glare during use in the second embodiment as well.
  • FIG. 8 is a configuration diagram showing a first modification example of the simulation system 1.
  • the imaging section 2, the information processing section 3, and the projection section 4 were each shown to have an independent configuration, but as in the simulation system 1 shown in FIG. 2 and an information processing section 3 may be incorporated.
  • a high-speed, high-performance projector that integrally has the functions of the imaging section 2, the information processing section 3, and the projection section 4 may be implemented.
  • FIG. 9 is a configuration diagram showing a second modification example of the simulation system 1.
  • the illuminance adjustment section 5 was described as an arcade-shaped member existing near the person P1, but like the illuminance adjustment section 5a in FIG. Members may be arranged to surround the information processing section 3 and the projection section 4.
  • the illuminance adjustment unit 5a may constitute a booth surrounding the person P1, the imaging unit 2, the information processing unit 3, and the projection unit 4, and the person P1 performs the simulation in this booth. May be implemented.
  • the information processing section 3 has been described as a computer having a predetermined function, but the information processing section 3 converts the information imaged by the imaging section 2 into a predetermined signal, It may also be a control circuit that transmits to
  • the projection location includes the head of the living creature, but as a modification, such a head may not be included.
  • the projection location may be the torso, hand, leg, etc. of the living creature.
  • a simulation system that projects images onto the head of a living creature, including an imaging unit, an information processing unit, and a projection unit, the imaging unit chronologically capturing images including the head.
  • the information processing unit is configured to continuously capture images, and the information processing unit is configured to calculate predetermined information regarding the head based on the captured images and generate an image to be projected. includes the position, shape, and projected aspect of the head, and the image to be projected has a base portion and one or more object portions, and the one or more object portions include: A portion that masks an eye portion included in the head is included, and the projection unit is configured to project the image generated by the information processing unit based on the predetermined information in accordance with the position of the head. and the time from the time of a frame when the imaging unit images the head to the time when information processing corresponding to this frame is performed and the projection unit projects the image onto the head is 50 ms or less.
  • a simulation system configured to:
  • the illuminance of the environmental light at the location of the head is I 1 [lux]
  • the illuminance of the base portion in the projected image is I 2 [lux].
  • I 2 /I 1 is 1.5 or more and 30 or less when
  • the simulation system according to any one of (1) to (4) above further includes an illuminance adjustment section, and the illuminance adjustment section is configured to adjust the illuminance adjustment section so that the head A simulation system configured to adjust the illuminance of ambient light at a location where the portion is present.
  • the information processing unit may calculate the shape of the head calculated from the immediately previous frame with respect to the current frame of the captured image.
  • a simulation system that calculates the predetermined information using a predetermined area centered on a position.
  • a simulation system that projects an image onto the head of a living creature, including an imaging unit, an information processing unit, and a projection unit, the imaging unit chronologically capturing images including the head.
  • the information processing unit is configured to continuously capture images, and the information processing unit is configured to calculate predetermined information regarding the head based on the captured images and generate an image to be projected. includes the position, shape, and projected aspect of the head; the image to be projected has a base portion and one or more object portions;
  • the image processing unit is configured to project the image generated by the information processing unit in accordance with the position of the head, and sets the illuminance of the environmental light at the position of the head to I 1 [lux], and the image to be projected.
  • I 2 /I 1 is 1.5 or more and 30 or less, where I 2 [lux] is the illuminance of the base portion in .
  • a simulation method using a simulation system that projects an image onto the head of a living creature comprising an imaging step, an information processing step, and a projection step, and in the imaging step, imaging including the head is performed. Images are captured continuously in time series, and in the information processing step, based on the captured images, predetermined information regarding the head is calculated and an image to be projected is generated; The image that includes the position, shape, and projected aspect of the head and is projected has a base portion and one or more object portions, and the one or more object portions include the head portion.
  • the image generated in the information processing step is projected based on the predetermined information in accordance with the position of the head, and in the imaging step, the image is A simulation method, wherein the time from the time of a frame in which the head is imaged to the time when information processing corresponding to this frame is performed and the video is projected onto the head in the projection step is 50 ms or less.
  • a simulation method using a simulation system that projects an image onto the head of a living creature comprising an imaging step, an information processing step, and a projection step, wherein the imaging step includes imaging including the head. Images are captured continuously in time series, and in the information processing step, based on the captured images, predetermined information regarding the head is calculated and an image to be projected is generated; The image to be projected, including the position, shape, and projected aspect of the head, has a base portion and one or more object portions, and in the projection step, based on the predetermined information, the image is projected.
  • the image generated in the information processing step is projected in accordance with the position of the head, the illuminance of the environmental light at the position of the head is I 1 [lux], and the illuminance of the base part in the projected image is A simulation method in which I 2 /I 1 is 1.5 or more and 30 or less when I 2 [lux]. Of course, this is not the case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

【課題】シミュレーションを行うに際して使用時の眩しさを感じにくいシミュレーションシステム等を提供すること。 【解決手段】本発明の一態様によれば、生物の頭部に映像を投影するシミュレーションシステムが提供される。このシミュレーションシステムは、撮像部と、情報処理部と、投影部と、を備える。撮像部は、頭部を含む撮像画像を時系列で連続的に撮像するように構成される。情報処理部は、撮像画像に基づき、頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成される。所定情報は、頭部の位置、形状及び投影された態様を含む。投影を行う映像は、ベース部分と、１以上のオブジェクト部分と、を有するものである。１以上のオブジェクト部分には、頭部に含まれる目部分をマスクする部分が含まれる。投影部は、所定情報に基づき、情報処理部が生成した映像を頭部の位置に合わせて投影するように構成される。撮像部が頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、投影部が頭部に映像を投影する時刻までの時間が、５０ｍｓ以下となるように構成される。

Description

シミュレーションシステム及びシミュレーション方法
　本発明は、シミュレーションシステム及びシミュレーション方法に関する。
　近年、「プロジェクションマッピング」とも呼ばれる立体物に映像を投影する技術が注目を集めている。また、このような技術を応用し、メイクアップ画像を人間の顔などに投影する技術の開拓もなされている。関連するものとして、特許文献１や特許文献２に開示された技術が存在する。
特開２０１８－１９５９９６号公報 特開２０２２－４５９４４号公報
　しかしながら、本発明者らが検討したところ、上述のような投影技術では、用いられるプロジェクタの光の眩しさを感じる場合があることが分かってきた。
　本発明では上記事情に鑑み、シミュレーションを行うに際して使用時の眩しさを感じにくいシミュレーションシステム等を提供することとした。
　本発明の一態様によれば、生物の頭部に映像を投影するシミュレーションシステムが提供される。このシミュレーションシステムは、撮像部と、情報処理部と、投影部と、を備える。撮像部は、頭部を含む撮像画像を時系列で連続的に撮像するように構成される。情報処理部は、撮像画像に基づき、頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成される。所定情報は、頭部の位置、形状及び投影された態様を含む。投影を行う映像は、ベース部分と、１以上のオブジェクト部分と、を有するものである。１以上のオブジェクト部分には、頭部に含まれる目部分をマスクする部分が含まれる。投影部は、所定情報に基づき、情報処理部が生成した映像を頭部の位置に合わせて投影するように構成される。撮像部が頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、投影部が頭部に映像を投影する時刻までの時間が、５０ｍｓ以下となるように構成される。
　上記態様によれば、シミュレーションを行うに際して使用時の眩しさを感じにくいシミュレーションシステム等が提供される。
第１実施形態に係るシミュレーションシステム１を表す構成図である。 情報処理部３のハードウェア構成を示すブロック図である。 情報処理部３における制御部３３の機能を示す機能ブロック図である。 タブレット端末（化粧入力部６）のハードウェア構成を示すブロック図である。 第１実施形態のシミュレーション方法を説明するためのアクティビティ図である。 情報処理ステップで生成する映像を説明するための概念図である。 タブレット端末（化粧入力部６）に表示される表示画面の一例である。 シミュレーションシステム１の第１変形例を表す構成図である。 シミュレーションシステム１の第２変形例を表す構成図である。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
［第１実施形態］
　まず、第１実施形態のシミュレーションシステムについて説明する。すなわち、第１実施形態のシミュレーションシステムは以下に示すものである。
　生物の頭部に映像を投影するシミュレーションシステムであって、
　撮像部と、情報処理部と、投影部と、を備え、
　前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、
　前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、
　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
　　１以上の前記オブジェクト部分には、前記頭部に含まれる目部分をマスクする部分が含まれ、
　前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、
　前記撮像部が前記頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、前記投影部が前記頭部に前記映像を投影する時刻までの時間が、５０ｍｓ以下となるように構成される、シミュレーションシステム。
　以下、このシミュレーションシステムの備える構成や用途等について説明を行う。
１．ハードウェア構成
　本節では、第１実施形態のハードウェア構成について説明する。
１．１　シミュレーションシステム１
　図１は、第１実施形態に係るシミュレーションシステム１を表す構成図である。シミュレーションシステム１は、生物の頭部に映像を投影するものであるが、図１においては、ヒトＰ１の頭部に対して映像を投影するシステムを示している。なお、本シミュレーションシステム１は、ヒトとは異なる動物等に対して適用することも可能である。
　また、このシミュレーションシステム１は種々の用途に用いることができるが、典型的には、頭部に対する化粧をシミュレーションするために用いられる。なお、本明細書において、「化粧」は、ファンデーション、ハイライター、シェーディング、アイシャドウ、アイライナー、アイブロウ、マスカラ、チーク、リップといった、顔の各部位に施す化粧の他、頭髪に対して行うカラーリングも包含する。また、シミュレーションシステム１は、頭部に対する化粧の他、頭部に対するアクセサリー（装飾）をシミュレーションする用途や、髪型をシミュレーションする用途、毛穴やしわなど立体構造の増減をシミュレーションする用途、ニキビやシミなどの肌の色むらの増減をシミュレーションする用途、美容整形のシミュレーションを行う用途、皮下組織の配置を可視化する用途などに用いられてもよい。また、投影部位は頭部以外も含んでもよく、たとえば、前述のように頭部に化粧をシミュレーションすると同時に、この化粧に合わせる服装などをシミュレーションすることができるよう、胴体部や手、脚部等に対しての投影が行なわれてもよい。
　シミュレーションシステム１は撮像部２と、情報処理部３と、投影部４とを備え、これらが回路を通じて接続されている。なお、本実施形態において必須の構成ではないが、図１中のシミュレーションシステム１には、上述の構成の他に、照度調整部５と、化粧入力部６とが備えられる態様が示されている。これらの構成要素についてさらに説明する。
１．２　撮像部２
　撮像部２は、頭部を含む撮像画像を時系列で連続的に撮像するように構成される。撮像部２は、例えば、外界の情報を画像として取得可能に構成されるカメラ（可視光、赤外光等は適宜採用可能）である。このようなカメラは、いわゆる高速ビジョンと称する動作周波数（フレームレート）が高いものが採用されることが好ましい。カメラとしてのフレームレート（動作周波数）は、例えば、３００ｆｐｓ以上であり、好ましくは、４００ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ以上又は１０００ｆｐｓ以上である。また、カメラの動作周波数は、例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００ｆｐｓであってもよく、ここで例示した数値の何れか２つの間の範囲内であってもよい。
　また、撮像部２は、カメラに限らず、三次元形状を取得可能な計測センサ等を採用してもよいし、機能の異なる複数のセンサを採用してもよい。なお、後述する投影部４における画角位置と、撮像部２における画角位置とについて、事前のキャリブレーションによって整合性がとれているものとする。また、不図示ではあるが、同軸光学系を採用することで、キャリブレーションフリーのシステムとして実施してもよい。
１．３　情報処理部３
　情報処理部３は、撮像画像に基づき、頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成される。
　図２は、情報処理部３のハードウェア構成を示すブロック図である。図３は、情報処理部３における制御部３３の機能を示す機能ブロック図である。情報処理部３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理部３の内部において通信バス３０を介して電気的に接続されている。特に制御部３３に関して、情報処理部３は、撮像制御部３３１と、投影制御部３３２と、演算部３３３と、入力受付部３３４と、照度制御部３３５とを備える。以下、各構成要素についてさらに説明する。
<通信部３１>
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
　例えば、通信部３１は、撮像部２、投影部４等とは、所定の高速通信規格において通信可能に構成されることが好ましい。具体的には、通信部３１は、投影部４の発光部４１に発光させる投影光の画像を送信可能に構成される。また、通信部３１は、撮像部２が取得した撮像画像を受信可能に構成される。
<記憶部３２>
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
　特に、記憶部３２は、撮像部２によって取得され、且つ通信部３１が受信した撮像情報を記憶する。また、記憶部３２は、制御部３３における撮像制御部３３１が撮像部２から撮像情報を受信するように制御するためのセンサ制御プログラムを記憶する。記憶部３２は、制御部３３における投影制御部３３２が、発光部４１が所定の動作周波数で発光するように制御するための発光制御プログラムを記憶する。
　また、記憶部３２は、これ以外にも制御部３３における演算部３３３等によって実行される情報処理部３に係る種々のプログラム等を記憶している。
<制御部３３>
　制御部３３は、情報処理部３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理部３に係る種々の機能を実現する。具体的には撮像制御機能、投影制御機能、演算機能、入力受付機能、照度制御機能等が該当する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、撮像制御部３３１、投影制御部３３２、演算部３３３、入力受付部３３４、及び照度制御部３３５として実行されうる。すなわち、プログラムは、コンピュータを、情報処理部３の各部として機能させ得る。
　なお、図２においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。以下、制御部３３が実現し得る種々の機能についてさらに詳述する。
（撮像制御部３３１）
　撮像制御部３３１は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。撮像制御部３３１は、撮像部２から撮像情報等を受信するように制御する。また、撮像部２の動作周波数を調整してもよく、撮像部２が取得した撮像情報を用いて、３Ｄ投影画像モデルを生成するように実施してもよい。
（投影制御部３３２）
　投影制御部３３２は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。投影制御部３３２は、投影部４における発光部４１が所定の動作周波数で発光するように発光部４１を制御可能に構成される。つまり、投影制御部３３２が発光部４１を制御するための制御信号を生成し、これが通信部３１を介して投影部４における発光部４１に送信される。そして、発光部４１は、かかる制御信号に基づいて、対象（ヒトＰ１）に対して投影光を投影するように発光する。
（演算部３３３）
　演算部３３３は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。演算部３３３は、例えば、投影画像に対する画像処理、変換といった種々の演算を実施可能に構成される。これらは特に限定されるものではなく、必要に応じて適宜実施されうる。
（入力受付部３３４）
　入力受付部３３４は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。入力受付部３３４は、例えば、後述する化粧入力部６に対する入力内容を受付可能に構成される。これらは特に限定されるものではなく、必要に応じて適宜実施されうる。
（照度制御部３３５）
　照度制御部３３５は、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されているものである。照度制御部３３５は、必要に応じてヒトＰ１の存在位置の照度を制御可能に構成される。すなわち、投影部４から投影される光の出力を調整するように構成されていてもよく、照度調整部５が情報処理部３と電気的に接続されているようであれば、この照度制御部３３５の機能によって照度調整部５が適切に作動するように構成されていてもよい。
１．４　投影部４
　投影部４は、情報処理部３が生成した映像を頭部の位置に合わせて投影するように構成される。より具体的には、投影部４は、典型的には発光部４１を備え、発光部４１が画像を含む投影光を投影対象（ヒトＰ１）に投影可能に発光するように構成さる。投影部４の外観や内部の構成は特段限定されるものではないが、いわゆる高速プロジェクタと称されるリフレッシュレート（動作周波数）が高いものが採用されることが好ましい。プロジェクタとしての動作周波数は、例えば、３００Ｈｚ以上であり、４００Ｈｚ以上が好ましく、さらに好ましくは５００Ｈｚ以上又は１０００Ｈｚ以上である。また、プロジェクタの動作周波数は、例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００Ｈｚであってもよく、ここで例示した数値の何れか２つの間の範囲内であってもよい。
　また、投影部４では、頭部の動きにあわせて光軸をミラー等で調整することが可能に構成されてもよい。これにより、頭部の正面のみならず、側面や上下面からの投影が行いやすくなる。加えて、ヒトＰ１の位置が動いた場合でも、その動いた位置に適切に合わせた投影が行いやすくなる。
１．５　照度調整部５
　照度調整部５は、投影対象（ヒトＰ１）の存在位置における、環境光の照度を調節するために用いられる。この照度調整部５は、典型的には投影対象の頭部の周辺に配設される部材により頭部の存在位置の環境光の照度を調整するように構成される。ここで、照度の調整は、周囲の光源から差し込む光を遮ることで達成されてもよい。また、照度調整部５が光を発することで、所望の環境光とすることで照度の調整が達成されてもよい。なお、図１には照度調整部５が独立して存在した態様が示されているが、この照度調整部５が電気的要素を含む場合、照度調整部５は情報処理部３等と回路等で接続されていてもよい。
１．６　化粧入力部６
　化粧入力部６は、シミュレーションを行う化粧の詳細を入力するために用いられる。化粧入力部６は、典型的には、ポータブル端末であり、具体例としては、タブレット端末、スマートフォン等が想定されるが、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等を用いてもよく、その詳細は限定されるものではない。また、化粧入力部６は、情報処理部３と同一端末であってもよく、情報処理部３に対する入力によって所定の情報処理が行われてもよい。
　以下、化粧入力部６がタブレット端末であるものとして、そのハードウェア構成を説明する。図４は、タブレット端末（化粧入力部６）のハードウェア構成を示すブロック図である。
　タブレット端末（化粧入力部６）は、通信部６１と、記憶部６２と、制御部６３と、表示部６４と、入力部６５とを有し、これらの構成要素がタブレット端末（化粧入力部６）の内部において通信バス６０を介して電気的に接続されている。通信部６１、記憶部６２及び制御部６３の説明は、前述の、情報処理部３における通信部３１、記憶部３２及び制御部３３と略同様のため省略する。
　表示部６４は、例えば、タブレット端末（化粧入力部６）の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部６４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、端末の種類に応じて使い分けて実施することが好ましい。ここでは、表示部６４は、タブレット端末（化粧入力部６）の筐体に含まれるものとして説明する。
　入力部６５は、タブレット端末（化粧入力部６）の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部６５は、表示部６４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部６５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス６０を介して制御部６３に転送され、制御部６３が必要に応じて所定の制御や演算を実行しうる。
　なお、化粧入力部６の表示部６４に表示される画像や、当該画像によって入力することが可能な内容については追って説明することとする。
２．シミュレーション方法
　本節では、前述したシミュレーションシステム１を用いたシミュレーション方法の各ステップについて説明を行う。すなわち、第１実施形態のシミュレーション方法は、撮像ステップと、情報処理ステップと、投影ステップと、を備えるものであるが、本節では、この各ステップについてアクティビティ図等を参照しながら説明する。
　図５は、第１実施形態のシミュレーション方法を説明するためのアクティビティ図である。
　まず、アクティビティＡ０１においては、頭部を含む撮像画像を時系列で連続的に撮像する（撮像ステップ）。この撮像ステップは、撮像部２が、ヒトＰ１の頭部を時系列で連続的に撮像することで達成される。
　アクティビティＡ０２においては、撮像ステップで撮像した撮像画像に基づき、頭部に関する所定情報を算出するとともに投影を行う映像を生成する（情報処理ステップ）。ここで、この所定情報は、頭部の位置、形状及び投影された態様を含み、投影を行う映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、１以上のオブジェクト部分には、頭部に含まれる目部分をマスクする部分が含まれる。
　頭部の位置の把握には、予め頭部に含まれる、特徴点となりうるパーツの位置関係を学習させた学習済みモデルが用いられる。この特徴点として、目、鼻、口、耳等が典型的に該当する。この学習済みモデルに撮像ステップで撮像した撮像画像が入力されることで、その撮像画像に含まれる各特徴点が算出される。また、学習済みモデルに代えて、テンプレートマッチング等のルールベースのアルゴリズムが採用されてもよい。
　この情報処理ステップは、典型的には情報処理部３が所定の演算等を行うことにより実行される。
　ここで、この情報処理ステップで生成する映像について、図６を示しながら説明する。図６は、情報処理ステップで生成する映像を説明するための概念図である。
　すなわち、図６中の映像ＩＭＧ１は情報処理ステップにおいて生成される映像に相当するが、この映像ＩＭＧ１を生成するにあたっては、典型的には、ベース部分ＢＳ１と、オブジェクト部分ＯＢＪ１１～ＯＢＪ１４を組み合わせる処理がなされる。
　図６で示す例においては、ベース部分ＢＳ１は、投影する頭部における地肌の色（ベース色）を構成する部分であるが、「ベース部分」となる色は、必ずしも単一の色には制限されない。すなわち、ベース部分を構成する色は、グラデーションを構成する色や、一部に模様を付した色であってもよい。
　ただし、後述するような、環境光の照度と、ベース部分との照度との関係を議論する中では、このベース部分の照度をヒトＰ１の頭部における顔に投影される色のうち、最も広い面積に投影される色として定義することができる。また、照度の関係を議論する中では、ベース部分の照度は投影部４から照射される光のみを指すものとする。このベース部分の照度の値は、投影部４から投影される投影光と、環境光とを同時に照射した際のベース部分の照度から、環境光の照度を減算することにより求めることができる。
　オブジェクト部分ＯＢＪ１１は、頭部に含まれる目部分をマスクする部分であり、オブジェクト部分ＯＢＪ１２は、チークの形状を表す部分であり、オブジェクト部分ＯＢＪ１３は、アイメイクの形状を表す部分であり、オブジェクト部分ＯＢＪ１４はリップの形状を表す部分である。
　なお、このような映像ＩＭＧ１は、撮像ステップで撮像した撮像画像に基づき、頭部に関する所定情報を算出することで生成されるものであり、具体的に、この所定情報は、頭部の位置、形状及び投影された態様を含む。換言すれば、撮像ステップで撮像した頭部に存在する顔の部位（目、瞼、頬、唇等）に基づき、前述の映像ＩＭＧ１の各種オブジェクトの位置関係が調整（適正化）される。
　なお、図６における映像ＩＭＧ１について、各オブジェクト部分のそれぞれが分離された概念を示したが、映像のＩＭＧ１の構成方法はこれには制限されない。例えば、映像ＩＭＧ１を構成するにあたって、各オブジェクト部分が予め結合した内容について、ベース部分ＢＳ１と組み合わせてもよく、当初よりベース部分ＢＳ１と各オブジェクト部分が組み合わされたものを映像ＩＭＧ１として採用してもよい。
　また、上述の各種オブジェクト部分のうち、頭部に含まれる目部分をマスクする部分（オブジェクト部分ＯＢＪ１１）は、目に入る投影光の眩しさを緩和する機能を有するが、このオブジェクト部分ＯＢＪ１１は、黒目（虹彩）の他、白目までを含む領域（目全体）をマスクするものであってもよい。なお、この頭部に含まれる目部分をマスクする部分（オブジェクト部分ＯＢＪ１１）は、通常、ベース部分ＢＳ１を構成する色に対して暗色で構成される。
　また、このような情報処理ステップは、典型的には情報処理部３が実行するものであるが、情報処理部３は、化粧入力部６に対する入力に基づき、１以上のオブジェクト部分の内容を出力するように構成されてもよい。
　このような化粧入力部６に対する入力に基づいてオブジェクト部分の内容を出力する態様について、図７を交えて説明する。図７は、タブレット端末（化粧入力部６）に表示される表示画面の一例である。
　図７の表示画面Ｄにおいては、各種メイクの形状を選択することが可能なオブジェクトＯＢＪ２１、各種メイクの色彩を選択することが可能なオブジェクトＯＢＪ２２、各種メイクの濃淡を調整することが可能なオブジェクトＯＢＪ２３が示されている。なお、実際の操作にあたっては、オブジェクトＯＢＪ２１ａを押下したときに対応する形状が選択され、オブジェクトＯＢＪ２１ｂを押下したときにまた異なる形状が選択されたこととなるが、便宜上、上述のオブジェクトＯＢＪ２１、オブジェクトＯＢＪ２２、オブジェクトＯＢＪ２３のそれぞれは、同種のオブジェクトの集合体として説明することとする。
　すなわち、化粧入力部６の表示部６４に表示された表示画面Ｄに接した者（典型的にはヒトＰ１であるが、ヒトＰ１以外のオペレーターであってもよい。）は、ヒトＰ１に対して施すことを望むメイクの形状をオブジェクトＯＢＪ２１に基づき選択し、ヒトＰ１に対して施すことを望むメイクの色彩をオブジェクトＯＢＪ２２に基づき選択する。なお、オブジェクトＯＢＪ２２では、様々な色彩を選択することが可能なカラーパレットが示されているが、これに代えて、種々の色彩を選択することが可能な異なる形状のオブジェクトが配されていてもよい。また、オブジェクトＯＢＪ２３ではバーのスライド操作に基づき各々のメイクの濃淡を選択することができる。
　このように化粧入力部６に対して入力された内容は、情報処理部３の入力受付部３３４によって受け付けられる。また、情報処理部３の演算部３３３は、この受け付けた内容に即して所定の演算を実行し、投影する映像を生成することとなる。
　なお、化粧入力部６に対して入力される内容は図７に示される態様に制限されず、「ゴージャス」、「ふんわり」など化粧の雰囲気やイメージを示すものであってもよい。また、俳優やアイドル等の著名人を表す内容を入力内容とし、情報処理部３が、この著名人を想起できるオブジェクト部分を出力可能としてもよい。
　また、このような情報処理ステップが行われるにあたり、情報処理部３は、撮像画像の現在のフレームに対して、直前のフレームから算出された頭部の位置を中心とした所定領域を用いて、所定情報を算出するように構成されてもよい。
　すなわち、このような構成では、直前のフレームで頭部の位置を算出し、この頭部の周辺の領域に基づいて、所定情報を算出するとともに投影を行う映像を生成する。換言すれば、撮像画像におけるフレーム全体の領域に対して演算部３３３が情報処理を施すのではなく、フレームの一部の領域に限って情報処理を施す。このような処理を行うことで、情報処理速度の向上に資することができる。
　また、情報処理ステップが行われるにあたり、情報処理部３は頭部に存在する特定部位の反射特性に基づいて、映像の投影色を調整してもよい。なお、この特定部位は、頭部に存在する肌、唇、髪等が相当する。また、この特定部位の反射特性は、事前に取得したデータベースを用いてもよく、その場で測定してもよい。その場で測定する場合には、撮像部２が頭部に存在する特定部位の反射特性を測定してもよい。一方、反射特性の測定は撮像部２とは異なる構成が実行してもよい。たとえば、情報処理部３と接続された所定のセンサ（図１中不図示）が、頭部に存在する特定部位の反射特性を検知し、この検知した反射特性に基づき、情報処理部３が投影する映像の内容を調整してもよい。
　より典型的な例を述べれば、情報処理部３は、頭部に存在する特定部位の反射特性から、シミュレーションを行う際の目標色からの誤差を検知するように構成されていてもよく、この検知した誤差に基づいて、投影データや投影部４の出力度合等をコントロールしてもよい。
　図５のアクティビティ図に関する説明に戻る。続くアクティビティＡ０３においては、所定情報に基づき、情報処理ステップで生成した映像を頭部の位置に合わせて投影する（投影ステップ）。この投影ステップは、典型的には投影部４が実行するが、このようなステップを実行することで、投影対象の頭部にフィットした映像を投影することができ、結果、化粧等のシミュレーションを行うことができる。
　なお、この投影ステップでは、頭部の動きにあわせて光軸をミラー等で調整してもよい。
　その後、１フレームおきに、同様の処理（アクティビティＡ０１，Ａ０２，Ａ０３）が実行される。これによって、ヒトＰ１が動いた場合であっても映像がこの動きに追随し所望の映像が頭部に投影されることとなる（図５中、［次］ルート）。また、シミュレーションを終了する場合は、撮像部２、情報処理部３および投影部４の少なくともいずれかに備えられる機能を停止させればよい（図５中、［終］ルート）。
　なお、このアクティビティの繰り返しは必ずしも１フレームおきに行われなくてもよく、数フレームおきに行われるように構成することも可能である。
　ここで、第１実施形態のシミュレーション方法においては、以下の特徴を有する。
　すなわち、撮像ステップで頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、投影ステップで頭部に映像を投影する時刻までの時間（「レイテンシー」と称してもよい。）が、５０ｍｓ以下である。
　なお、上述のレイテンシーは４５ｍｓ以下であることが好ましく、４０ｍｓ以下であることがより好ましく、３５ｍｓ以下であることがさらに好ましく、３０ｍｓ以下であることがよりさらに好ましく、２５ｍｓ以下であることがとくに好ましく、２０ｍｓ以下であることが殊更に好ましく、１５ｍｓ以下であることが殊更に好ましく、１０ｍｓ以下であることがいっそう好ましく、５ｍｓ以下であることがとりわけ好ましい。
　このようなレイテンシー時間の短縮は、撮像部２や投影部４の動作周波数の向上や、情報処理部３の情報処理能力の向上によって達成されてもよい。また、前述した情報処理ステップの一例のように、撮像画像の現在のフレームに対して、直前のフレームから算出された頭部の位置を中心とした所定領域を用いて、所定情報を算出することによっても、このようなレイテンシーの短縮に寄与することができる。
　なお、レイテンシーの下限値はとくに制限されるものではないが、一例としては０．１ｍｓ以上である。
　また、第１実施形態のシミュレーション方法においては、以下の特徴を有してもよい。
　すなわち、頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される映像におけるベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下となるように構成されてもよい。
　本発明者らが検討したところ、頭部の存在位置の環境光の照度が極端に低い場合、投影される映像が眩しく感じやすく、頭部の存在位置の環境光の照度が極端に高い場合、表現できる色域の広さが制限される傾向があることがわかってきた。このことから、頭部の存在位置の環境光の照度と、投影される映像におけるベース部分の照度との比を適切な範囲に設定することが好ましい。このような範囲に設定することで、眩しさを感じにくくなり、表現することのできる色域の広さを担保することができる。
　なお、本明細書では、「頭部の存在位置の環境光」は、頭部に対して届く光全体から、投影部４が直接頭部に投影する光の部分を除くものとして定義する。ここで、この環境光は、典型的には、太陽光や火炎から発せられる光などの自然光、蛍光灯（昼光色、昼白色、白色等）や電球、投影部４以外の光学装置（ＬＥＤ、ＥＬ、レーザー等）から発せられる光などの人工光源のほか、投影部４が頭部に間接的に投影する光も包含し得る。また、この環境光は、色バランス調整フィルター等を介し、色調等が調整されていても構わない。さらに、この頭部に間接的に投影する光は、典型的には、頭部とは異なる体の部位に反射して頭部に届く光や、シミュレーションを行う空間の壁に反射して頭部に届く光等を包含し得る。従って、本実施形態のシミュレーションシステム１は、前記環境光の光源の種類や照度の設定により、昼夜や天候、そして、各種イベント（スタジオや舞台、観戦、会合、食事、アンチエイジング）等を想定した化粧の場を提供しうるものであるといえる。また、「頭部に届く光」は、顔の前髪の生え際、顎、両耳を曲線でつないで囲まれる部分に照射される光を指すものとする。
　なお、まぶしさ軽減の観点から、環境光を発する光源による光は、ヒトＰ１の顔部に直接投影されるよりも壁などに反射した間接光として投影されることが好ましい。また、投影部４は環境光を発する光源によって直接照らされていることがより好ましい。
　上述のＩ２／Ｉ１は３以上であることが好ましく、５以上であることがより好ましく、７以上であることがさらに好ましく、１０以上であることがとくに好ましい。また、Ｉ２／Ｉ１は２７以下であることが好ましく、２５以下であることがより好ましく、２２以下であることがさらに好ましく、２０以下であることがとくに好ましい。
　以下の表１は、図１に示されるシミュレーションシステム１を用いてＩ２／Ｉ１の値をスクリーニングした結果をまとめたものである。表１に示される通り、Ｉ２／Ｉ１の値について範囲に設定することで、眩しさを感じにくくなり、表現することのできる色域の広さを担保することができる。
　なお、表１に示される結果においては、環境光として白色ＬＥＤを用いている。より具体的には、Ｉ２を５００［ｌｕｘ］、後述するＩ３を０［ｌｕｘ］に固定しつつ、白色ＬＥＤの出力を調整して評価を行っている。
　また、表１中の「まぶしさのなさ」は以下の基準に沿って評価している。
　すなわち、１０名のパネルに１０分間投影を行い、目に負担を感じると回答した人数に応じて「まぶしさのなさ」を評価した。具体的な判断基準は以下の通りである。
Ａ：１名以下
Ｂ：２名以上４名以下
Ｃ：５名以上
　なお、表１中の「表現できる色域の広さ」は以下の基準に沿って評価している。
　すなわち、上市されているアイシャドウから選定した３０色を選定した。選定した３０色のアイシャドウをシミュレーションシステム１で再現し、パネルに投影し、化粧料評価専門評価者５名が目視で評価を行った。化粧料評価専門評価者３名以上が実物と同等の色であると判断した色の数に応じて「表現できる色域の広さ」を評価した。具体的な判断基準は以下の通りである。
Ａ：２５色以上
Ｂ：２０色以上２４色以下
Ｃ：１５色以上１９色以下
Ｄ：１４色以下
　また、Ｉ１は５以上であることが好ましく、８以上であることがより好ましく、１０以上であることがさらに好ましく、２０以上であることがよりさらに好ましく、３０以上であることがとくに好ましい。一方、Ｉ１は５００以下であることが好ましく、４００以下であることがより好ましく、３００以下であることがさらに好ましく、２５０以下であることがよりさらに好ましく、２００以下であることがとくに好ましい。
　頭部の存在位置の環境光の照度について、このような範囲に設定することにより、投影光の色域を確保しやすく、自然なメイクを実現しやすいなどの利点がある。
　以下の表２は、図１に示されるシミュレーションシステム１を用いてＩ１の値をスクリーニングした結果をまとめたものである。表２に示される通り、Ｉ１の値について範囲に設定することで、眩しさを軽減させるとともに、投影光の色域を確保しやすく、自然なメイクを実現しやすいなどの利点がある。
　なお、表２に示される結果においては、環境光として白色ＬＥＤを用い、Ｉ２／Ｉ１を１０、後述するＩ３を０［ｌｕｘ］に固定しつつ、白色ＬＥＤの出力を調整して評価を行っている。
　また、表２中の「表現できる色域の広さ」は、表１における基準と同様の基準に沿って評価している。
　なお、表２中の「自然さ」は以下の基準に沿って評価している。
　すなわち、パネルにアイシャドウ、チーク、リップの投影を行い、化粧料評価専門評価者５名が目視で評価を行った。実際にメイクアップした時と比較して「自然である」であると回答した化粧料評価専門評価者の人数に応じて「自然さ」を評価した。具体的な判断基準は以下の通りである。
Ａ：４名以上
Ｂ：２名以上３名以下
Ｃ：１名以下
　また、投影部４が投影する映像における黒目部分に対応する領域の照度をＩ３［ｌｕｘ］としたときに、Ｉ３／Ｉ１が１０以下であることが好ましく、５以下であることがより好ましく、３以下であることがさらに好ましい。すなわち、このように環境光の照度に対する黒目部分に対応する領域の照度を、相対的に低く設定することにより、より眩しさを軽減させやすい。
　なお、この黒目部分に対応する領域の照度は、黒目（虹彩）の中心における照度を測定することで求められる。
　また、Ｉ３／Ｉ１の値の下限はとくに制限されるものではないが、一例としては０．０１以上であり、０とすることも可能である。
　以下の表３は、図１に示されるシミュレーションシステム１を用いてＩ３／Ｉ１の値をスクリーニングした結果をまとめたものである。表３に示される通り、Ｉ３／Ｉ１の値について適切に設定することで、より眩しさを軽減させやすい。
　なお、表３に示される結果においては、Ｉ１を５０［ｌｕｘ］、Ｉ２を５００［ｌｕｘ］に固定しつつ、黒目部分に対応する領域の照度を調整して評価を行っている。この場合の環境光についても、白色ＬＥＤから発せられる光を用いている。
　また、表３中の「まぶしさのなさ」は、表１における基準と同様の基準に沿って評価している。
　なお、上述のような各種照度の数値（数値範囲）を調整するにあたって、照度調整部５の機能を活用してもよい。すなわち、頭部に対して周囲の照度が過度に高い場合は、照度調整部５が周囲にある光源から発せられる光を遮って所望の環境光の照度を達成してもよい。一方、周囲の照度が過度に低い場合には、照度調整部５が適度な光を発し、所望の環境光の照度を達成してもよい。
　また、例示的な態様では、撮像部２が頭部の存在位置の環境光の照度を検知し、この検知した照度に基づき、情報処理部３の照度制御部３３５が照度調整部５を制御してもよい。なお、環境光の照度の検知は撮像部２とは異なる構成が実行してもよい。たとえば、情報処理部３と接続された所定のセンサ（図１中不図示）が、頭部の存在位置の照度を検知し、この検知した照度に基づき、情報処理部３の照度制御部３３５が照度調整部５を制御してもよい。
　また、撮像部２等が頭部の存在位置の環境光の照度を検知し、この検知した照度に基づき、投影部４の投影する映像の出力の度合いについて、適宜調整が図られてもよい。すなわち、投影部４がプロジェクタである場合は、このプロジェクタの出力を調整することにより、ベース部分の照度を適切な範囲に制御してもよい。また、投影部４の投影する映像について、目部分に対応するマスク部分について、遮光性の高い色を採用することにより、Ｉ３／Ｉ１の値を制御してもよい。
　その他、ヒトＰ１が感じる眩しさをさらに緩和させるために、ヒトＰ１に調光コンタクトレンズを装着させてもよい。
３．結び
　このように、第１実施形態のシミュレーションシステム１では、所定の映像が頭部に投影される一方で１以上のオブジェクト部分には、頭部に含まれる目部分をマスクする部分が含まれる。すなわち、この投影の際に発せられる光の眩しさを緩和させるためにこのマスクする部分が機能することとなるが、レイテンシーの時間を短いものとすることで、マスク部分を頭部の動きに対して適切に追随させることができ、眩しさを緩和させる効果を際立たせて発揮できる。
　このような観点で、シミュレーションを行うに際して使用時の眩しさを感じにくいシミュレーションシステムを実現することができる。
［第２実施形態］
　続いて、第２実施形態のシミュレーションシステムについて説明する。なお、この第２実施形態についての説明は、第１実施形態のシミュレーションシステムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
　すなわち、第２実施形態のシミュレーションシステムは以下に示すものである。
　生物の頭部に映像を投影するシミュレーションシステムであって、
　撮像部と、情報処理部と、投影部と、を備え、
　前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、
　前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、
　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
　前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、
　前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーションシステム。
　すなわち、第２実施形態のシミュレーションシステムにおいては、第１実施形態のシミュレーションシステム１と同様に、撮像部２と、情報処理部３と、投影部４とを備える一方で、情報処理部３が生成する映像に含まれる１以上のオブジェクト部分について、頭部に含まれる目部分をマスクする部分が含むかは任意であり、また、レイテンシーが５０ｍｓ以下であるかは任意である。
　反面、第２実施形態のシミュレーションシステムにおいては、Ｉ２／Ｉ１が１．５以上３０以下であることを必須とする（第２実施形態のシミュレーション方法についても同様である。）。
　このように、Ｉ２／Ｉ１について適切な範囲を設定していることから、第２実施形態においても、シミュレーションを行うに際して使用時の眩しさを感じにくいシミュレーションシステムを実現することができる。
［変形例］
　その他、シミュレーションシステム１に関して、以下のような態様を採用してもよい。
　図８は、シミュレーションシステム１の第１変形例を表す構成図である。前述の実施形態では、撮像部２と情報処理部３と投影部４とが各々独立した構成を示していたが、図８に示すシミュレーションシステム１のように、投影部４の中に、撮像部２と、情報処理部３とが組み込まれていてもよい。換言すれば、撮像部２と、情報処理部３と、投影部４との機能を一体的に備える高速で高機能なプロジェクタを実施してもよい。
　図９は、シミュレーションシステム１の第２変形例を表す構成図である。前述の実施形態では、照度調整部５が、ヒトＰ１付近に存在するアーケード状の部材であるものとして説明したが、図９の照度調整部５ａのように、ヒトＰ１と、撮像部２と、情報処理部３と、投影部４とを囲繞するように部材を配設してもよい。換言すれば、照度調整部５ａによって、ヒトＰ１と、撮像部２と、情報処理部３と、投影部４とを囲繞するブースを構成してもよく、ヒトＰ１はこのブースの中でシミュレーションを実施してもよい。
　以上の実施形態では、情報処理部３を所定の機能を有するコンピュータであるものとして説明したが、情報処理部３は、撮像部２で撮像した情報を、所定の信号に変換し、投影部４に送信する制御回路であってもよい。
　以上の実施形態では、投影箇所について生物の頭部を含むものとしていたが、変形例としてはこのような頭部を含まないものとしてもよい。たとえば、投影箇所を生物の胴体部や、手、脚部等としてもよい。このような態様では、服装のシミュレーションや、アバターのシミュレーション、マニキュアやペディキュアのシミュレーションを行うことができる。
　さらに、次に記載の各態様で提供されてもよい。
（１）生物の頭部に映像を投影するシミュレーションシステムであって、撮像部と、情報処理部と、投影部と、を備え、前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、１以上の前記オブジェクト部分には、前記頭部に含まれる目部分をマスクする部分が含まれ、前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、前記撮像部が前記頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、前記投影部が前記頭部に前記映像を投影する時刻までの時間が、５０ｍｓ以下となるように構成される、シミュレーションシステム。
（２）上記（１）に記載のシミュレーションシステムにおいて、前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーションシステム。
（３）上記（２）に記載のシミュレーションシステムにおいて、前記Ｉ１が５以上５００以下である、シミュレーションシステム。
（４）上記（２）又は（３）に記載のシミュレーションシステムにおいて、前記投影部が投影する前記映像における黒目部分に対応する領域の照度をＩ３［ｌｕｘ］としたときに、Ｉ３／Ｉ１が１０以下である、シミュレーションシステム。
（５）上記（１）ないし（４）のいずれか１項に記載のシミュレーションシステムにおいて、さらに照度調整部を備え、前記照度調整部は、前記頭部の周辺に配設される部材により前記頭部の存在位置の環境光の照度を調整するように構成される、シミュレーションシステム。
（６）上記（１）ないし（５）のいずれか１項に記載のシミュレーションシステムにおいて、前記撮像部は、動作周波数が３００ｆｐｓ以上のカメラである、シミュレーションシステム。
（７）上記（１）ないし（６）いずれか１項に記載のシミュレーションシステムにおいて、前記情報処理部は、前記撮像画像の現在のフレームに対して、直前のフレームから算出された前記頭部の位置を中心とした所定領域を用いて、前記所定情報を算出する、シミュレーションシステム。
（８）上記（１）ないし（７）のいずれか１項に記載のシミュレーションシステムにおいて、前記投影部は、動作周波数が３００Ｈｚ以上のプロジェクタである、シミュレーションシステム。
（９）上記（１）ないし（８）のいずれか１項に記載のシミュレーションシステムにおいて、前記頭部に対する化粧をシミュレーションする、シミュレーションシステム。
（１０）上記（９）に記載のシミュレーションシステムにおいて、さらに化粧入力部を備え、前記情報処理部は、前記化粧入力部に対する入力に基づき、１以上の前記オブジェクト部分の内容を出力する、シミュレーションシステム。
（１１）生物の頭部に映像を投影するシミュレーションシステムであって、撮像部と、情報処理部と、投影部と、を備え、前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーションシステム。
（１２）生物の頭部に映像を投影するシミュレーションシステムを用いたシミュレーション方法であって、撮像ステップと、情報処理ステップと、投影ステップと、を備え、前記撮像ステップでは、前記頭部を含む撮像画像を時系列で連続的に撮像し、前記情報処理ステップでは、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成し、ここで、前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、１以上の前記オブジェクト部分には、前記頭部に含まれる目部分をマスクする部分が含まれ、前記投影ステップでは、前記所定情報に基づき、前記情報処理ステップで生成した前記映像を前記頭部の位置に合わせて投影し、前記撮像ステップで前記頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、前記投影ステップで前記頭部に前記映像を投影する時刻までの時間が、５０ｍｓ以下である、シミュレーション方法。
（１３）生物の頭部に映像を投影するシミュレーションシステムを用いたシミュレーション方法であって、撮像ステップと、情報処理ステップと、投影ステップと、を備え、前記撮像ステップでは、前記頭部を含む撮像画像を時系列で連続的に撮像し、前記情報処理ステップでは、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成し、ここで、前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、前記投影ステップでは、前記所定情報に基づき、前記情報処理ステップで生成した前記映像を前記頭部の位置に合わせて投影し、前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーション方法。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　　　：シミュレーションシステム
２　　　　　　：撮像部
３　　　　　　：情報処理部
４　　　　　　：投影部
５、５ａ　　　：照度調整部
６　　　　　　：化粧入力部
３０　　　　　：通信バス
３１　　　　　：通信部
３２　　　　　：記憶部
３３　　　　　：制御部
４１　　　　　：発光部
６０　　　　　：通信バス
６１　　　　　：通信部
６２　　　　　：記憶部
６３　　　　　：制御部
６４　　　　　：表示部
６５　　　　　：入力部
３３１　　　　：撮像制御部
３３２　　　　：投影制御部
３３３　　　　：演算部
３３４　　　　：入力受付部
３３５　　　　：照度制御部
ＢＳ１　　　　：ベース部分
Ｄ　　　　　　：表示画面
ＩＭＧ１　　　：映像
ＯＢＪ１１～ＯＢＪ１４　　：オブジェクト部分
ＯＢＪ２１～ＯＢＪ２３、ＯＢＪ２１ａ、ＯＢＪ２１ｂ　　：オブジェクト
Ｐ１　　　　　：ヒト

Claims (13)

  1. 　生物の頭部に映像を投影するシミュレーションシステムであって、
    　撮像部と、情報処理部と、投影部と、を備え、
    　前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、
    　前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、
    　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
    　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
    　　１以上の前記オブジェクト部分には、前記頭部に含まれる目部分をマスクする部分が含まれ、
    　前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、
    　前記撮像部が前記頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、前記投影部が前記頭部に前記映像を投影する時刻までの時間が、５０ｍｓ以下となるように構成される、シミュレーションシステム。
  2. 　請求項１に記載のシミュレーションシステムにおいて、
    　前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーションシステム。
  3. 　請求項２に記載のシミュレーションシステムにおいて、
    　前記Ｉ１が５以上５００以下である、シミュレーションシステム。
  4. 　請求項２又は請求項３に記載のシミュレーションシステムにおいて、
    　前記投影部が投影する前記映像における黒目部分に対応する領域の照度をＩ３［ｌｕｘ］としたときに、Ｉ３／Ｉ１が１０以下である、シミュレーションシステム。
  5. 　請求項１ないし請求項４のいずれか１項に記載のシミュレーションシステムにおいて、
    　さらに照度調整部を備え、
    　前記照度調整部は、前記頭部の周辺に配設される部材により前記頭部の存在位置の環境光の照度を調整するように構成される、シミュレーションシステム。
  6. 　請求項１ないし請求項５のいずれか１項に記載のシミュレーションシステムにおいて、
    　前記撮像部は、動作周波数が３００ｆｐｓ以上のカメラである、シミュレーションシステム。
  7. 　請求項１ないし請求項６いずれか１項に記載のシミュレーションシステムにおいて、
    　前記情報処理部は、前記撮像画像の現在のフレームに対して、直前のフレームから算出された前記頭部の位置を中心とした所定領域を用いて、前記所定情報を算出する、シミュレーションシステム。
  8. 　請求項１ないし請求項７のいずれか１項に記載のシミュレーションシステムにおいて、
    　前記投影部は、動作周波数が３００Ｈｚ以上のプロジェクタである、シミュレーションシステム。
  9. 　請求項１ないし請求項８のいずれか１項に記載のシミュレーションシステムにおいて、
    　前記頭部に対する化粧をシミュレーションする、シミュレーションシステム。
  10. 　請求項９に記載のシミュレーションシステムにおいて、
    　さらに化粧入力部を備え、
    　前記情報処理部は、前記化粧入力部に対する入力に基づき、１以上の前記オブジェクト部分の内容を出力する、シミュレーションシステム。
  11. 　生物の頭部に映像を投影するシミュレーションシステムであって、
    　撮像部と、情報処理部と、投影部と、を備え、
    　前記撮像部は、前記頭部を含む撮像画像を時系列で連続的に撮像するように構成され、
    　前記情報処理部は、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成するように構成され、ここで、
    　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
    　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
    　前記投影部は、前記所定情報に基づき、前記情報処理部が生成した前記映像を前記頭部の位置に合わせて投影するように構成され、
    　前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーションシステム。
  12. 　生物の頭部に映像を投影するシミュレーションシステムを用いたシミュレーション方法であって、
    　撮像ステップと、情報処理ステップと、投影ステップと、を備え、
    　前記撮像ステップでは、前記頭部を含む撮像画像を時系列で連続的に撮像し、
    　前記情報処理ステップでは、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成し、ここで、
    　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
    　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
    　　１以上の前記オブジェクト部分には、前記頭部に含まれる目部分をマスクする部分が含まれ、
    　前記投影ステップでは、前記所定情報に基づき、前記情報処理ステップで生成した前記映像を前記頭部の位置に合わせて投影し、
    　前記撮像ステップで前記頭部を撮像するフレームの時刻から、このフレームに対応する情報処理が行われて、前記投影ステップで前記頭部に前記映像を投影する時刻までの時間が、５０ｍｓ以下である、シミュレーション方法。
  13. 　生物の頭部に映像を投影するシミュレーションシステムを用いたシミュレーション方法であって、
    　撮像ステップと、情報処理ステップと、投影ステップと、を備え、
    　前記撮像ステップでは、前記頭部を含む撮像画像を時系列で連続的に撮像し、
    　前記情報処理ステップでは、前記撮像画像に基づき、前記頭部に関する所定情報を算出するとともに投影を行う映像を生成し、ここで、
    　　前記所定情報は、前記頭部の位置、形状及び投影された態様を含み、
    　　投影を行う前記映像は、ベース部分と、１以上のオブジェクト部分と、を有するものであり、
    　前記投影ステップでは、前記所定情報に基づき、前記情報処理ステップで生成した前記映像を前記頭部の位置に合わせて投影し、
    　前記頭部の存在位置の環境光の照度をＩ１［ｌｕｘ］、投影される前記映像における前記ベース部分の照度をＩ２［ｌｕｘ］としたときに、Ｉ２／Ｉ１が１．５以上３０以下である、シミュレーション方法。
PCT/JP2022/028627 2022-07-25 2022-07-25 シミュレーションシステム及びシミュレーション方法 WO2024023889A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028627 WO2024023889A1 (ja) 2022-07-25 2022-07-25 シミュレーションシステム及びシミュレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028627 WO2024023889A1 (ja) 2022-07-25 2022-07-25 シミュレーションシステム及びシミュレーション方法

Publications (1)

Publication Number Publication Date
WO2024023889A1 true WO2024023889A1 (ja) 2024-02-01

Family

ID=89705795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028627 WO2024023889A1 (ja) 2022-07-25 2022-07-25 シミュレーションシステム及びシミュレーション方法

Country Status (1)

Country Link
WO (1) WO2024023889A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086266A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 光学ユニット及び画像表示装置
JP2010225089A (ja) * 2009-03-25 2010-10-07 Toyota Motor Corp 運転者監視装置
JP2016133798A (ja) * 2015-01-22 2016-07-25 パナソニックＩｐマネジメント株式会社 照明システム
JP2018182539A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP2018195996A (ja) * 2017-05-18 2018-12-06 株式会社デジタルハンズ 画像投影装置、画像投影方法、及び、画像投影プログラム
JP2020042569A (ja) * 2018-09-11 2020-03-19 株式会社デンソー 車両用装飾画像合成装置
JP2021114685A (ja) * 2020-01-17 2021-08-05 キヤノン株式会社 制御装置、投影制御方法、投影システム、プログラム、および記憶媒体
JP2022525115A (ja) * 2019-03-13 2022-05-11 ロレアル 使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086266A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 光学ユニット及び画像表示装置
JP2010225089A (ja) * 2009-03-25 2010-10-07 Toyota Motor Corp 運転者監視装置
JP2016133798A (ja) * 2015-01-22 2016-07-25 パナソニックＩｐマネジメント株式会社 照明システム
JP2018182539A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP2018195996A (ja) * 2017-05-18 2018-12-06 株式会社デジタルハンズ 画像投影装置、画像投影方法、及び、画像投影プログラム
JP2020042569A (ja) * 2018-09-11 2020-03-19 株式会社デンソー 車両用装飾画像合成装置
JP2022525115A (ja) * 2019-03-13 2022-05-11 ロレアル 使用者の顔面にデジタルコンテンツを投影するためのシステム、デバイス、および方法
JP2021114685A (ja) * 2020-01-17 2021-08-05 キヤノン株式会社 制御装置、投影制御方法、投影システム、プログラム、および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUNAGA KOSUKE, MIKAMI TAKUYA: "Facial Projection Mapping Using Kinect Camera", PSJ INTERACTION 2016, 4 March 2016 (2016-03-04), pages 824 - 825, XP093132608, Retrieved from the Internet <URL:https://www.interaction-ipsj.org/proceedings/2016/data/pdf/3A13.pdf> [retrieved on 20240219] *

Similar Documents

Publication Publication Date Title
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US10251462B2 (en) Hair consultation tool arrangement and method
US11928766B2 (en) Personalized stylized avatars
US20160042557A1 (en) Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
JP2020515952A (ja) 年齢容姿シミュレーションのための方法
KR20160135652A (ko) 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리
KR20190037050A (ko) 신체 정보 분석 장치 및 눈썹 모양 보조 비교 방법
KR20080058337A (ko) 화장품 모니터링 및 치료를 통한 의학적 모니터링 및치료를 위한 시스템 및 방법
US20230015956A1 (en) Providing feedback on a treatment operation performed on a body part of a subject
CN110533761B (zh) 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
JP2018195996A (ja) 画像投影装置、画像投影方法、及び、画像投影プログラム
JP2021144582A (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
CN118401910A (zh) 用于生成和显示用户的表示的设备、方法和图形用户界面
KR20190046592A (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
KR101719927B1 (ko) 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치
US11544876B2 (en) Integrated cosmetic design applicator
WO2024023889A1 (ja) シミュレーションシステム及びシミュレーション方法
KR20210081526A (ko) 가상 미용 성형 장치
KR20200067102A (ko) 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법
KR20190074688A (ko) 발광 밀러를 이용한 피부분석에 의한 스킨케어와 색조화장 정보제공 방법 및 시스템
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
CN117769723A (zh) 增强的现实化妆设计过滤器
EP4220074A1 (en) Determining a parameter map for a region of a subject&#39;s body

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22952988

Country of ref document: EP

Kind code of ref document: A1