WO2023038136A1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2023038136A1
WO2023038136A1 PCT/JP2022/034100 JP2022034100W WO2023038136A1 WO 2023038136 A1 WO2023038136 A1 WO 2023038136A1 JP 2022034100 W JP2022034100 W JP 2022034100W WO 2023038136 A1 WO2023038136 A1 WO 2023038136A1
Authority
WO
WIPO (PCT)
Prior art keywords
treatment
beauty device
information processing
skin
information
Prior art date
Application number
PCT/JP2022/034100
Other languages
English (en)
French (fr)
Inventor
英明 小島
真紀 米谷
Original Assignee
ヤーマン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤーマン株式会社 filed Critical ヤーマン株式会社
Priority to JP2022555122A priority Critical patent/JPWO2023038136A1/ja
Publication of WO2023038136A1 publication Critical patent/WO2023038136A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to an information processing device, a program, and an information processing method.
  • Japanese Patent Laid-Open No. 2002-200002 discloses a facial beauty device, which is an example of a beauty device that imparts a predetermined beauty effect to the user's skin.
  • the present invention provides a technology that supports maximizing the beauty effect of a beauty device regardless of the user of the beauty device.
  • an information processing device includes a control unit.
  • the controller is configured to perform a specific step and a display control step.
  • a portion of the skin to be treated by the beauty device is identified based on the captured image showing how the beauty device is applied to the skin.
  • the display control step the display mode of the virtual image superimposed on the captured image is changed based on the treatment site.
  • FIG. 3 is a block diagram showing the hardware configuration of a user terminal 3 (an example of an information processing device) according to the first embodiment
  • FIG. 2 is a block diagram showing the hardware configuration of beauty device 2.
  • FIG. 2A and 2B are diagrams showing the appearance of the beauty device 2.
  • FIG. 3 is a functional block diagram showing functions of a user terminal 3;
  • FIG. 4 is an activity diagram showing an example of information processing by an information processing device;
  • FIG. 2 is an example of a screen displayed on the user terminal 3, and is a diagram showing a selection screen of the beauty device 2 to be used for treatment.
  • FIG. 3 is a block diagram showing the hardware configuration of a user terminal 3 (an example of an information processing device) according to the first embodiment
  • FIG. 2 is a block diagram showing the hardware configuration of beauty device 2.
  • FIG. 2A and 2B are diagrams showing the appearance of the beauty device 2.
  • FIG. 3 is a functional block diagram showing functions of a user terminal 3
  • FIG. 4 is an activity diagram showing an example of
  • FIG. 3 is an example of a screen displayed on the user terminal 3, and is a diagram showing a selection screen of a treatment mode of the beauty device 2.
  • FIG. 3 is an example of a screen displayed on the user terminal 3, and is a diagram showing a captured image before treatment.
  • FIG. 3 is an example of a screen displayed on the user terminal 3, and is a diagram showing a specified treatment site 6.
  • FIG. 4 is an example of a screen displayed on the user terminal 3, and is a diagram showing a virtual image 7 superimposed on a captured image.
  • FIG. 4 is an example of a screen displayed on the user terminal 3, and is a diagram showing a virtual image 7 superimposed on a captured image.
  • FIG. 4 is an example of a screen displayed on the user terminal 3, and is a diagram showing a virtual image 7 superimposed on a captured image.
  • FIG. 4 is an example of a screen displayed on the user terminal 3, and is a diagram showing a virtual image 7 superimposed on a captured image.
  • 7 is a diagram showing a display mode of a virtual image 7 for each integrated value of treatment time by the beauty device 2.
  • FIG. 7 is an example of a screen displayed on the user terminal 3, and is a diagram showing a muscle image 71 superimposed on a captured image.
  • FIG. 7 is an example of a screen displayed on the user terminal 3, and is a diagram showing a muscle image 71 superimposed on a captured image.
  • FIG. 3 is an example of a screen displayed on the user terminal 3, and is a diagram showing an example of grid lines 9.
  • FIG. 4 is a diagram showing an example of a marker 5;
  • FIG. 7 is an example of a screen displayed on the user terminal 3, and is a diagram showing an example of guidance information 73.
  • FIG. 4 is a diagram showing an example of a marker 5;
  • FIG. 7 is an example of a screen displayed on the user terminal 3, and is a diagram showing an example of guidance information 73.
  • the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).
  • the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources.
  • various information is handled in the present embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. It is represented by high and low, or quantum superposition (so-called quantum bit), and communication and operation can be performed on a circuit in a broad sense.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining circuits, circuits, processors, memories, and the like.
  • Application Specific Integrated Circuit ASIC
  • Programmable Logic Device for example, Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and field It includes a programmable gate array (Field Programmable Gate Array: FPGA)).
  • FIG. 1 is a diagram showing an overview of the configuration of an information processing system 1 according to the first embodiment.
  • the information processing system 1 includes a user terminal 3 and a server 4, which are configured to be communicable through an electric communication line.
  • the user terminal 3 is configured to communicate with the server 4 via the network.
  • FIG. 2 is a block diagram showing the hardware configuration of the user terminal 3 (an example of an information processing device) according to the first embodiment.
  • the user terminal 3 is, for example, a smart phone, a tablet terminal, a computer, or the like operated by a user who performs treatment using the beauty device 2 .
  • the user terminal 3 includes a communication unit 31, a storage unit 32, a control unit 33, a display unit 34, an input unit 35, and an imaging unit 36. These components are connected to the communication bus 30 inside the information processing apparatus. are electrically connected via Each component will be further described.
  • the communication unit 31 is preferably a wired communication means such as USB, IEEE1394, Thunderbolt (registered trademark), wired LAN network communication, etc., but wireless LAN network communication, mobile communication such as LTE/3G, Bluetooth (registered trademark) communication, etc. may be included as required. That is, it is more preferable to implement as a set of these communication means.
  • the user terminal 3 communicates various information with the user terminal 3 via the communication unit 31 and the network.
  • the storage unit 32 stores various information defined by the above description. For example, it can be used as a storage device such as a solid state drive (SSD) for storing various programs related to the information processing apparatus executed by the control unit 33, or as a temporary storage device related to program calculation. It can be implemented as a memory such as a Random Access Memory (RAM) that stores the necessary information (arguments, arrays, etc.). A combination of these may also be used. That is, hardware resources such as the storage device and memory described above function as the storage unit 32 .
  • SSD solid state drive
  • RAM Random Access Memory
  • control unit 33 The control unit 33 processes and controls overall operations related to the information processing apparatus.
  • the control unit 33 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 33 reads a predetermined program stored in the storage unit 32 to implement various functions related to the information processing apparatus.
  • the CPU as the control unit 33, accesses information stored in the storage unit 32 and executes various functions described later based on the read information. That is, information processing by software (stored in the storage unit 32) is specifically realized by hardware (control unit 33), and each function unit (see FIG. 5) included in the control unit 33 executes can be These are further detailed in the next section.
  • the control unit 33 is not limited to a single unit, and may be implemented to have a plurality of control units 33 for each function. A combination thereof may also be used.
  • the display unit 34 may be, for example, included in the housing of the user terminal 3, or may be externally attached.
  • the display unit 34 displays a screen of a graphical user interface (GUI) that can be operated by the user.
  • GUI graphical user interface
  • the display device can selectively display a display screen in response to a control signal from the control section 33 .
  • the input unit 35 may be included in the housing of the user terminal 3 or may be externally attached.
  • the input unit 35 may be integrated with the display unit 34 and implemented as a touch panel. With a touch panel, the user can input a tap operation, a swipe operation, or the like.
  • a switch button, a mouse, a QWERTY keyboard, or the like may be employed instead of the touch panel. That is, the input unit 35 receives an operation input made by the user. The input is transferred as a command signal to the control unit 33 via the communication bus 30, and the control unit 33 can execute predetermined control and calculation as necessary.
  • the imaging unit 36 is, for example, a CCD camera or a CMOS camera, and is configured to capture an image of how the user uses the beauty device 2 described later.
  • the user terminal 3 is configured to incorporate the imaging unit 36 , such as being provided at the upper end of the display unit 34 .
  • the imaging unit 36 may be externally attached, such as a USB-connected camera, without being limited to this example.
  • the image capturing unit 36 can capture images of the user before and after the treatment by the beauty device 2 is started. Such images are stored in the storage unit 32 . Thereby, the user can check the state of the face and the state of the body other than the face before and after using the beauty device 2 .
  • FIG. 3 is a block diagram showing the hardware configuration of the beauty device 2.
  • the beauty device 2 has a storage unit 21 and a control unit 22 , and these components are electrically connected inside the beauty device 2 via a communication bus 20 .
  • the control unit 22 controls to operate the beauty device 2 in the treatment mode designated by the user.
  • FIG. 4 is a figure which shows the external appearance of the beauty apparatus 2.
  • the beauty device 2 includes an action section 2a and a grip section 2b.
  • a marker 5 may be attached in advance to the beauty device 2 as a mark indicating the position of the beauty device 2 .
  • the marker 5 may be, for example, a sticker that can be attached to the cosmetic device 2, or may be a stamp or pattern engraved on the marker 5.
  • FIG. The user can use the beauty device 2 with the marker 5 attached for treatment.
  • the beauty device 2 is composed of an action part 2a and a grip part 2b as a support for the action part 2a.
  • the action part 2a is configured to operate in contact with the user's skin, and is provided at one end in the longitudinal direction of the grip part 2b.
  • a marker 5 is attached to an imageable position in the operation unit 2a.
  • the imageable position is a position facing the imaging unit 36 that takes an image of the skin during treatment. That is, the marker 5 is positioned within the imaging range of the camera of the user terminal 3 during treatment.
  • the imaging unit 36 can stably image the marker 5 during treatment, and the recognition unit 331 can recognize the marker 5 .
  • the grip portion 2b is a bar-shaped portion that is grasped by the user.
  • the grip part 2b may be provided with an operation button that is operated by the user when starting or ending the operation of the cosmetic device 2 or when deciding the treatment mode.
  • FIG. 5 is a functional block diagram showing functions of the user terminal 3. As shown in FIG. As described above, information processing by software (stored in the storage unit 32 ) is specifically realized by hardware (control unit 33 ), and can be executed as each functional unit included in the control unit 33 .
  • the user terminal 3 (control unit 33) includes a recognition unit 331, a specification unit 332, a display control unit 333, an acquisition unit 334, and an adjustment unit 335 as functional units.
  • the recognition unit 331 is configured to be able to execute a recognition step.
  • the recognition section 331 recognizes the beauty device 2 or the marker 5 from the captured image captured by the imaging section 36 .
  • the display control unit 333 recognizes skin parts obtained by subdividing the skin area displayed in the captured image. If the skin part is a part of the face, for example, the forehead, temple, inner eyebrow, outer eyebrow, between the eyebrows, the inner corner of the eye, the outer corner of the eye, the upper eyelid, the lower eyelid, the root of the nose, the bridge of the nose, the tip of the nose, the nostril, the cheek, the upper lip, the lower cheeks, chin, gills, etc.
  • Body parts other than the face such as ears, nape, chest, back, waist, upper arms, elbows, forearms, wrists, palms, backs of hands, fingers, buttocks, thighs, knees, lower legs, shins, calves, ankles, heels, toes, soles, etc.
  • the specifying unit 332 is configured to be able to execute the specifying step. In the identification step, the identification unit 332 identifies the treatment site 6 on the skin by the beauty device 2 based on the captured image captured by the imaging unit 36 .
  • the display control unit 333 is configured to be able to execute the display control step. In the display control step, the display control unit 333 displays various information stored in the storage unit 32 or a screen including these in a form that can be visually recognized by the user terminal 3 . Specifically, the display control unit 333 controls the display unit 34 of the user terminal 3 to display visual information such as screens, images, icons, and messages. The display control unit 333 may generate only rendering information for displaying visual information on the user terminal 3 .
  • the display control unit 333 superimposes the virtual image 7 on the captured image.
  • Virtual image 7 includes muscle image 71 .
  • the display control unit 333 superimposes and displays an image showing the muscle structure of each part of the inner surface of the body on the captured body.
  • the configuration of facial muscles frontalis muscle, orbicularis oculi muscle, masseter muscle, zygomatic muscle, etc.
  • FIG. 15 the configuration of facial muscles (frontalis muscle, orbicularis oculi muscle, masseter muscle, zygomatic muscle, etc.) can be identified (see FIG. 15). .
  • Acquisition unit 334 is configured to be able to execute an acquisition step.
  • the acquisition section 334 acquires information via the communication section 31 or the storage section 32 and is configured to be able to read this information into the working memory.
  • the acquisition unit 334 is configured to acquire various information from the server 4 via the network and the communication unit 31 .
  • various information acquired by the acquisition unit 334 is described as being stored in the storage unit 32 .
  • the adjustment unit 335 is configured to be able to execute adjustment steps. In the adjustment step, the adjustment unit 335 adjusts the timing of changing the display mode of the virtual image 7 based on the treatment record acquired from the server 4 .
  • the information processing method executed by the information processing apparatus will be described with reference to activity diagrams. As shown below, the information processing method includes steps of the information processing device. Note that the order of the following processes can be changed as appropriate, and a plurality of processes may be executed simultaneously, or not all of them need to be executed.
  • FIG. 6 is an activity diagram showing an example of information processing by the information processing device.
  • FIG. 7 is an example of a screen displayed on the user terminal 3, and is a diagram showing a selection screen of the beauty device 2 to be used for treatment.
  • FIG. 8 is an example of a screen displayed on the user terminal 3, and is a diagram showing a selection screen of the treatment mode of the beauty device 2.
  • FIG. 9 is an example of a screen displayed on the user terminal 3, and is a diagram showing a captured image before treatment.
  • FIG. 10 is an example of a screen displayed on the user terminal 3, and is a diagram showing the identified treatment site 6.
  • FIG. 11 and 12 are examples of screens displayed on the user terminal 3, and are diagrams showing the virtual image 7 superimposed on the captured image.
  • FIG. 13 is an example of a screen displayed on the user terminal 3, showing a virtual image 7 superimposed on the captured image.
  • FIG. 14 is a diagram showing a display mode of the virtual image 7 for each integrated value of treatment time by the beauty device 2. As shown in FIG
  • the user activates a predetermined application on the user terminal 3 (A101).
  • the user selects the model of the beauty device 2 to be used when performing the treatment (A102).
  • the user selects a treatment mode to be performed by the beauty device 2 (A103).
  • the acquisition unit 334 acquires it.
  • the user can activate the beauty device 2 and start treatment (A104).
  • A104 the image of the user is imaged by the imaging unit 36 and displayed on the display unit 34 of the user terminal 3 during the treatment. This allows the user to check his or her appearance during the treatment.
  • the recognition unit 331 can recognize the marker 5 because the marker 5 attached to the beauty device 2 is located at a position facing the imaging unit 36 (camera). Using the captured image displayed on the user terminal 3 as a mirror, the user can apply the beauty device 2 to the skin while taking a selfie to perform treatment.
  • the recognizing unit 331 recognizes the marker 5 from the captured image in which the beauty device 2 applies the treatment to the skin. is specified (A105). Specifically, the recognition unit 331 recognizes the distance from the marker 5 to the skin based on the depth information included in the captured image. The identifying unit 332 identifies whether or not the treatment is performed based on this distance. Thereby, it is possible to specify the treatment site 6 where the treatment was performed by actually contacting the skin with the beauty device 2 among the parts of the skin where the beauty device 2 was held.
  • the recognition unit 331 may recognize the distance from the marker 5 or the action unit 2a to the skin based on the depth information and the reference data.
  • the reference data is data in which the model of the beauty device 2 and the distance from the position of the marker 5 or the action part 2a to the contact surface of the action part 2a with the skin are associated with each other.
  • the recognition unit 331 can measure the distance from the marker 5 or the action unit 2a to the user's skin based on the reference data. As a result, an improvement in accuracy can be expected when specifying whether or not a treatment is performed.
  • the recognition unit 331 may recognize the position of the operation unit 2a of the beauty device 2 in the captured image based on at least part of the mark attached to the beauty device 2 or the shape of the beauty device 2 . Then, the specifying unit 332 may specify the treatment site 6 on the skin by the beauty device 2 based on the position.
  • the recognition unit 331 may recognize the position of the marker 5 or the action unit 2a in advance while the beauty device 2 is in contact with the skin, and store it as reference data or depth information. Specifically, the display control unit 333 displays the message “Please apply the beauty device 2 to the skin”. Then, the image capturing unit 36 captures an image of the user with the beauty device 2 applied to the skin in accordance with the instruction. Then, the recognition section 331 stores the position of the marker 5 or the action section 2a in such a state as reference data or depth information. Thereby, the identifying unit 332 can more accurately identify whether or not the treatment is performed.
  • the display control unit 333 When the beauty device 2 contacts the skin and the treatment is performed, the display control unit 333 superimposes the virtual image 7 on the treatment area 6 by the beauty device 2 as shown in FIGS. 10 and 11 . (A106). During the treatment, the display control unit 333 displays the treatment trajectory of the beauty device 2 with respect to the treatment site 6 so as to be superimposed on the captured image. As a result, the display mode of the virtual image 7 changes according to the treatment trajectory of the beauty device 2, so that the user can objectively grasp which part of the skin has been treated.
  • the display control unit 333 preferably changes the display mode of the treatment trajectory according to the treatment time of the treatment location 6 .
  • virtual image 7 is displayed.
  • the threshold value indicating the time interval at which the display mode of the virtual image 7 changes is 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, Every 0.8, 0.9, 1 second, and may be in the range between any two of the values exemplified herein.
  • the display control unit 333 may change the threshold according to the moving speed of the beauty device 2 . For example, when the movement speed of the beauty device 2 is high, the display mode of the virtual image 7 does not have to change even if the treatment time by the beauty device 2 is long.
  • the display control unit 333 preferably displays the speed meter 8 indicating the magnitude of the moving speed of the beauty device 2 .
  • the user can grasp whether or not the speed of moving the beauty device 2 is appropriate during the treatment, making it easier to use the beauty device 2 at an appropriate moving speed.
  • the display control unit 333 may change the display mode of the treatment trajectory according to the part to be treated by the beauty device 2 or the part of the skin.
  • the number of skin parts that can be distinguished and identified by the recognition unit 331 is, for example, 1000, 1100, 1200, 1300, 1400, and 1500 parts, and is within the range between any two of the numerical values exemplified here. may For example, there may be a part where the virtual image 7 changes to a dark color in a short time and a part that takes longer than other parts to change to a dark color.
  • the display control unit 333 may change the display mode according to the integrated value calculated from the part of the skin to be treated and the appropriate treatment time for that part. For example, when the appropriate treatment time for the right cheek is 5 seconds, the display control unit 333 changes the display mode when the treatment is performed on the right cheek for 5 seconds.
  • the display control unit 333 may change the display mode of the virtual image 7 according to the selected treatment mode.
  • the display control unit 333 changes the display mode of the treatment locus according to the treatment mode.
  • the larger the integrated value of the treatment time the darker the virtual image 7 is displayed.
  • the virtual image 7 may be superimposed on the skin in advance, and may be displayed so that the color of the virtual image 7 becomes lighter when the treatment is performed with the beauty device 2 .
  • the display control unit 333 changes the display mode of the virtual image 7 superimposed and displayed on the treatment location 6 identified as having been treated by the beauty device 2 according to the treatment status of the skin.
  • the display control unit 333 changes the display mode of the virtual image 7 superimposed and displayed on the treatment location 6 identified as having been treated by the beauty device 2 according to the treatment status of the skin.
  • the imaging unit 36 captures an image of the marker 5 attached to the beauty device 2 without communication with the beauty device 2 to acquire the treatment status, the user must communicate with the beauty device 2 in advance. This function can be applied even if the cosmetic device 2 designed to be communicable is not possessed.
  • the process ends.
  • the user can shift to the photographing mode by an arbitrary operation, and optionally photograph and record his or her appearance after the treatment.
  • mapping information indicating the final treatment result can be recorded as a treatment record.
  • the user terminal 3 may transmit a treatment record including the user's appearance after the treatment to the server 4 via the network and the communication unit 31 .
  • the configuration may be such that the treatment record is managed by the server 4 , or the configuration may be such that the user terminal 3 completes all the processing without transmitting/receiving information via the server 4 .
  • Modifications Section 4 describes modifications of the information processing method of the information processing system 1 described above.
  • 15 and 16 are examples of screens displayed on the user terminal 3, and show muscle images 71 superimposed on captured images.
  • FIG. 17 is an example of a screen displayed on the user terminal 3, and is a diagram showing an example of the grid lines 9. As shown in FIG.
  • the display control unit 333 When a predetermined treatment mode is selected, the display control unit 333 superimposes the muscle image 71 on the captured image during treatment. For example, in A103, if the user selects the EMS mode for muscle stimulation, a muscle image 71 showing each constituent muscle of facial muscles is displayed as shown in FIG.
  • the specifying unit 332 specifies the muscle inside the skin to be treated by the beauty device 2 based on the marker 5 (captured image).
  • the display control unit 333 changes the display mode of the muscle image 71 superimposed and displayed on the treatment site 6 having the specified muscle. For example, when the site shown in FIG. 15 is the treatment target, the display control unit 333 displays the muscle inside the skin that is the treatment target in a dark color, as shown in FIG. 16 .
  • the display control unit 333 may move the muscle to be treated as if it were contracting.
  • the display control unit 333 may highlight the muscles to be treated so as to stand out from other muscles by, for example, lighting them up. Thereby, the user can intuitively confirm which muscle inside the skin has been stimulated by using the beauty device 2 .
  • the display control unit 333 may display the treatment target information 72 including the name of the muscle that has been treated and the effect of stimulating it, according to the treatment location 6 of the beauty device 2 . As shown in FIG. 15 , for example, when the masseter muscle is treated by the beauty device 2 , the effect of stimulating the masseter muscle with the beauty device 2 is displayed along with its name.
  • the acquisition unit 334 acquires the past treatment record including the treatment time for each part of the skin by the beauty device 2 by the beauty device 2, and the display control unit 333 displays the treatment trajectory according to the treatment time of the treatment location 6.
  • the adjustment unit 335 may adjust the timing of changing the display mode based on the treatment record. For example, in the past treatment record, if the treatment time for a predetermined site is shorter than that for other sites, the adjustment unit 335 delays the timing at which the color of the virtual image 7 changes when the site is treated. adjust to As a result, if there is a part of the skin that tends to be neglected, it is possible to prompt the operator to perform the treatment more carefully.
  • the display control unit 333 may use the acquired past treatment record to display the usage progress of the beauty device 2 in a comparable manner.
  • the display control unit 333 When reviewing the previous treatment, as shown in FIG. 17, the display control unit 333 superimposes an arbitrary virtual image 7 showing the past treatment trajectory on the captured image showing the current user's face based on the mapping information. can be displayed. For example, the display control unit 333 superimposes and displays the treatment trajectory of the specified date from the past treatment records on the current user's face. It is preferable that the user can easily perform a slide comparison of treatment records arranged in chronological order by performing a flick operation on the display unit 34 that also serves as a touch panel. According to such a mode, areas with unevenness, such as areas where treatment was insufficient in the previous treatment, are indicated as improvement points, and it is possible to face the next treatment based on the past treatment results.
  • the display control unit 333 may display the grid lines 9 to assist in aligning the parts of the face when the virtual image 7 is superimposed and displayed during the treatment or before and after the treatment.
  • the display control unit 333 may display the grid lines 9 to assist in aligning the parts of the face when the virtual image 7 is superimposed and displayed during the treatment or before and after the treatment.
  • Grid lines 9 guide the position of the eyes, the position of the chin, the position of the nose, and so on. According to this aspect, it is possible to photograph and perform treatment at the same position every time from the camera, and it is possible to compare treatment records more accurately.
  • the user can select and use the before-after comparison mode.
  • the before-after comparison mode the user can photograph the current face according to the grid lines 9, and the photographed images are recorded in a calendar format so that they can be checked.
  • FIG. 18 is an example of a screen displayed on the user terminal 3, showing an image with which the progress of use of the beauty device 2 can be compared.
  • the user can use the face image of the designated date as the before image 11 and the current face image as the after image 12 for slide comparison.
  • a before image 11 and an after image 12 are displayed side by side, and the display areas of the before image 11 and the after image 12 change according to the movement of the pointer 10 .
  • the user can compare the usage progress of the beauty device 2 by sliding the pointer 10 left and right. For example, when the pointer 10 is in the center, the before image 11 and the after image 12 are displayed in the same display area. When the pointer 10 is moved to the right, the display area of the before image 11 is increased, and when the pointer 10 is moved to the left, the after image 12 is displayed to be enlarged. As a result, it is possible to feel changes in facial lines and skin transparency, and to confirm areas that require treatment.
  • the recognition unit 331 recognizes the positions of the user's eyes, nose, chin, ears, etc. in the before image 11 and the after image 12 as feature points. Then, based on the result of comparison between the feature points of the before image 11 and the feature points of the after image 12, the adjustment unit 335 adjusts at least one of the before image 11 and the after image 12 so that the corresponding feature points in both images match. Image processing of one image may be performed. Specifically, the adjustment unit 335 performs adjustment processing such as trimming, enlargement, and reduction on at least one of the before image 11 and the after image 12 so that the feature points match. Then, the display control unit 333 may display the before image 11 and the after image 12 after this image processing. As a result, an error when the before image 11 and the after image 12 are captured is reduced, and the user can more accurately compare the before and after images.
  • FIG. 19 is a diagram showing an overview of the configuration of the information processing system 1 according to the second embodiment.
  • the information processing system 1 includes a beauty device 2, a user terminal 3, and a server 4, which are configured to be communicable through an electric communication line.
  • FIG. 20 is a block diagram showing the hardware configuration of the beauty device 2 in the second embodiment. As shown in FIG. 20, a communication section 23 is further included. For specific description of the communication unit 23, refer to the description of the communication unit 31 in the beauty device 2. FIG.
  • the beauty device 2 includes various sensors that detect the behavior of the beauty device 2 and the user's skin condition.
  • Various sensors are, for example, an acceleration sensor, a temperature sensor for measuring the temperature of the user's skin, a touch sensor, and the like.
  • the acquisition unit 334 may acquire treatment information from the beauty device 2.
  • the treatment information includes at least one of skin temperature information, speed information of the beauty device 2 , and contact information with the beauty device 2 .
  • the contact information is information indicating whether or not the operating part 2a of the beauty device 2 has touched the user's skin. Then, the identifying unit 332 identifies whether or not the treatment is performed based on the contact information. According to this aspect, even if it is difficult to determine whether or not the beauty device 2 is in contact with the skin by imaging with the camera, the information is supplemented with the contact information acquired from the beauty device 2, and the information is complemented. 2 is in contact with the skin, the accuracy of determination is improved.
  • the display control unit 333 changes the display mode of the virtual image 7 superimposed on the captured image based on the treatment trajectory and the treatment information. For example, when the skin temperature recognized by the beauty device 2 is high based on the temperature information, the display control unit 333 displays the virtual image 7 in red. Based on the temperature information, the display control unit 333 changes the display mode so as to indicate that the treatment is completed when the skin reaches the appropriate temperature, even if the skin remains at the treatment site 6 for a time shorter than the threshold. , the display mode may be changed so as to indicate that the treatment is over treatment if more treatment is performed.
  • the display control unit 333 may change the display mode of the virtual image 7 based on the speed information. . Specifically, when the moving speed of the beauty device 2 is equal to or higher than a certain value, it is regarded as staying at the treatment site 6 and is not added to the treatment time. You can change it.
  • the display control unit 333 may count only the state of contact with the skin as the treatment time based on the treatment trajectory and the contact information, and change the display mode. Thereby, a treatment suitable for the condition of the skin can be performed.
  • the acquisition unit 334 may acquire the treatment mode from the beauty device 2 via the network and the communication unit 31 .
  • the user can display the virtual image 7 corresponding to the treatment mode only by operating the beauty device 2 without operating the treatment mode selection screen of the user terminal 3 .
  • the identifying unit 332 may identify the treatment mode corresponding to the site recognized by the recognizing unit 331 and transmit a request to execute the identified treatment mode to the beauty device 2 via the network and the communication unit 31 .
  • a treatment mode can be provided for each site.
  • the treatment mode for each part includes, for example, a treatment mode that enhances the warming effect on the face line, a treatment mode that enhances the muscle electrical stimulation effect on the forehead, a treatment mode that enhances the warming effect around the eyes, and the like.
  • the specifying unit 332 may transmit to the beauty device 2 a request to execute the treatment mode corresponding to the new treatment location 6 each time the location of the treatment location 6 by the beauty device 2 changes. . Then, the beauty device 2 may perform treatment in the received treatment mode. Further, the specifying unit 332 may transmit a request for executing the treatment mode corresponding to the periodically recognized region. According to this aspect, the treatment mode that matches the treatment site 6 is automatically performed according to the recognition result of the site, without requiring the user to specify the treatment mode. Further, based on the treatment mode acquired by the acquisition unit 334, the display control unit 333 may display in an identifiable manner which part has been subjected to the treatment mode.
  • the reference data may include information in which skin regions and treatment modes are associated with each other.
  • the specifying unit 332 may transmit to the beauty device 2 a request for performing a treatment mode according to the region of the treatment location 6 based on the captured image and the reference data.
  • the display control unit 333 may display the treatment mode corresponding to the treatment site 6 in a recognizable manner based on the captured image and the reference data. Thereby, the user can confirm the treatment mode currently being performed according to the site of the treatment site 6 .
  • the display control unit 333 may display an operation instruction for the treatment mode on the screen. For example, when the specifying unit 332 specifies that the treatment location 6 is the “eye area”, the display control unit 333 refers to the reference data and sets the treatment mode of the beauty device 2 to the “eye area” corresponding to the “eye area”. ” is displayed. According to this aspect, when the user manually operates the beauty device 2, the user can be guided to change the setting of the beauty device 2 to an appropriate treatment mode for each part.
  • FIG. 21 is a functional block diagram showing the functions of the user terminal 3.
  • the user terminal 3 may further include an authority determination unit 336.
  • FIG. For example, in activity A ⁇ b>102 , the acquisition unit 334 acquires the beauty device ID 401 from the beauty device 2 . Then, the authority determination unit 336 refers to the beauty device ID 401 and the authority information database 40 to determine whether or not the user has usage authority.
  • the beauty device ID is unique identification information given to each beauty device 2 .
  • the display control unit 333 may display only the treatment modes and functions for which the user has authority so that the user can select them. For example, the display control unit 333 may selectably display the purchased treatment mode on the screen shown in FIG. It should be noted that the user terminal 3 may be able to perform treatment using functions available to the user regardless of the user's selection.
  • the authority information database 40 may be stored in the server 4.
  • the specifying unit 332 may transmit the beauty device ID 401 to the server 4 and acquire the purchase information 402 and the effectiveness information 403 corresponding to the beauty device ID 401 by the acquisition unit 334 when performing the treatment.
  • FIG. 22 is an image diagram showing an example of information contained in the authority information database 40.
  • the authority information database 40 stores authority information relating to at least one use of each function including the treatment mode realized by the above embodiment. Functional authorization may be granted if the user meets predetermined conditions.
  • the predetermined condition is, for example, that the user purchases the right to use the treatment mode described above.
  • purchase information 402 and validity information 403 can be associated with each beauty device ID 401 of the beauty device 2 .
  • the purchase information 402 includes information indicating the treatment mode purchased by the user.
  • the validity information 403 can be associated with a case where a validity period is set for the authority.
  • Purchase information 402 and validity information 403 may be associated with a user ID.
  • a user ID is identification information individually given to a user.
  • the authority determination unit 336 may determine whether or not the user can use the treatment mode or function selected by the user based on the user ID.
  • the mode of selecting the treatment mode displayed on the screen was shown, but it is not limited to this.
  • the user can customize the treatment mode of the beauty device 2 in advance when performing treatment with the beauty device 2 .
  • the treatment mode of the beauty device 2 set by the user will be referred to as a custom mode.
  • the user can set which type of treatment mode is assigned, the order in which the treatment modes are performed, and the like.
  • the user can assign a treatment mode to each treatment site.
  • each cosmetic used with the beauty device 2 can be associated with a treatment mode.
  • the acquisition unit 334 causes the storage unit 32 to store the custom mode setting input by the user as customization information.
  • the custom mode is set, it is selectably displayed on the screen shown in FIG. 8 in activity A103.
  • the adjustment unit 335 adjusts the treatment mode according to the treatment location based on the customization information.
  • the user terminal 3 may further include a learning unit 337.
  • the learning unit 337 is configured to learn various information.
  • the learning unit 337 is configured to generate or update a learned model using an image showing the beauty device 2 or its operation unit 2a as learning data.
  • the learning unit 337 is configured to generate or update a learned model using contact information including an image showing a state in which the beauty device 2 is in contact with the skin as learning data.
  • the acquisition unit 334 acquires the captured image as learning data
  • the learning unit 337 uses the acquired image to perform machine learning. learning may be performed.
  • the machine learning algorithm is not particularly limited, and the k nearest neighbor method, logistic regression, support vector machine, neural network, topic model, Gaussian mixture model, etc. may be adopted as appropriate.
  • the learned model is machine-learned by inputting a captured image showing a state in which the beauty device 2 is in contact with the skin and a captured image showing a state in which the beauty device 2 is not in contact with the skin.
  • the recognition unit 331 may recognize the position of the beauty device 2 in the captured image based on the captured image and the learned model. Based on the position recognized by the recognition unit 331 , the specifying unit 332 specifies the treatment site 6 on the skin by the beauty device 2 .
  • the aspect of this embodiment may be a program.
  • the program causes the computer to execute each step of the information processing device.
  • the beauty device 2 is a so-called facial device, but the beauty device 2 may be a facial roller that does not have the storage unit 21 and the control unit 22 .
  • the model may be selected in A102, and if not, A102 may be skipped and the previously selected model may be automatically selected.
  • FIG. 23 is a diagram showing six views of the beauty device 2.
  • FIG. FIG. 24 is a diagram showing an example of the marker 5.
  • the beauty device 2 may be in the form shown in FIG. 21 .
  • the operating portion 2a is particularly a portion with a characteristic design.
  • the back surface of the action part 2a has a marker 5 to give an aesthetic impression.
  • the marker 5 is provided with a pattern to create an aesthetic impression.
  • the beauty device 2 may also be a skin condition measuring device.
  • the display control unit 333 outputs a message such as “Please hold the measuring device firmly against the skin” or “Please hold the measuring device slightly lower” according to the treatment information acquired from the beauty device 2. display.
  • the display control section 333 may display the guidance information 73 .
  • FIG. 25 is an example of a screen displayed on the user terminal 3, and is a diagram showing an example of the guidance information 73.
  • the display control unit 333 displays guidance information 73 indicating the site to which the beauty device 2 should be applied.
  • the skin condition can be measured by applying the beauty device 2 to the site instructed by the application.
  • the treatment information may be stored in association with the site to which the beauty device 2 is applied, that is, the position information of the beauty device 2 .
  • the display control unit 333 may display guidance information 73 indicating the previously measured region based on the treatment information. Guidance of the position measured last time can prompt the measurement at the same position.
  • treatment information can be stored and confirmed in chronological order for each site.
  • the recognition unit 331 may also determine whether the beauty device 2 is applied to the site indicated by the guidance information 73 .
  • the reference data may include color information regarding the colors of the cosmetic device 2 and the marker 5 used in the treatment in advance.
  • the user in activity A102, the user preferably selects the color of the cosmetic device 2 to be used for the treatment or the color of the marker 5 attached to the cosmetic device 2.
  • the recognition unit 331 may store the result of comparison between the color information of the beauty device 2 or the marker 5 and the actual color of the beauty device 2 or the marker 5 included in the captured image as environment information. Then, the recognition unit 331 may recognize the distance from the marker 5 to the skin by further referring to the environmental information. Further, the imaging unit 36 may correct the color of the image at the time of shooting based on the environmental information. As a result, when comparing face images, it is possible to reduce differences in captured images due to differences in the imaging environment and the environment in which treatment is performed.
  • An information processing device comprising a control unit, the control unit being configured to execute a specifying step and a display control step, wherein the specifying step includes displaying a state in which a beauty device is used on the skin.
  • the display control step changes a display mode of a virtual image superimposed on the captured image based on the treated area of the skin by the beauty device based on the captured image.
  • the display mode of the virtual image is changed according to the treatment time of the treatment site.
  • the specifying step specifies a muscle to be treated by the beauty device based on the captured image
  • the display control step specifies the specified muscle. To change the display mode of a muscle image superimposed and displayed on a certain treatment site.
  • control unit is configured to further execute an acquisition step, and in the acquisition step, the beauty device performs treatment A mode is obtained, and in the display control step, the display mode of the virtual image is changed according to the treatment mode.
  • control unit is configured to further execute a recognition step, and in the recognition step, The position of the operating part of the beauty device in the captured image is recognized based on at least part of the marked mark or the shape of the beauty device, and in the identifying step, the beauty device touches the skin based on the position. A thing that identifies the treatment site of.
  • control unit is configured to further execute a recognition step, and in the recognition step, learning with the captured image recognizing the position of the beauty device in the captured image based on the finished model, and in the identifying step, based on the position, the location of the skin to be treated by the beauty device is identified.
  • the mark is attached to an imageable position of the beauty device, and the imageable position is a position facing an imaging unit that images the skin during treatment. some stuff.
  • control unit is configured to further execute a recognition step, the captured image includes depth information, In the recognizing step, the distance from the beauty device to the skin is recognized based on the depth information, and in the identifying step, whether or not treatment is performed is identified based on the distance.
  • control unit is configured to further execute an obtaining step, wherein the obtaining step includes: Information is acquired, and in the display control step, a display mode of the virtual image superimposed and displayed on the captured image is changed based on the treatment location and the treatment information.
  • the treatment information includes at least one of temperature information of the skin, speed information of the beauty device, and contact information of the beauty device. thing.
  • An information processing device comprising a control unit, wherein the control unit is configured to execute a specific step, and in the specific step, based on a captured image showing how the beauty device is used on the skin, A portion of the skin to be treated by the beauty device is specified, and a request for execution of a treatment mode corresponding to the region of the treatment region is transmitted to the beauty device based on the reference data, and the reference data is the region and the treatment mode.
  • the control unit is configured to execute a specific step, and in the specific step, based on a captured image showing how the beauty device is used on the skin, A portion of the skin to be treated by the beauty device is specified, and a request for execution of a treatment mode corresponding to the region of the treatment region is transmitted to the beauty device based on the reference data, and the reference data is the region and the treatment mode.
  • the control unit is configured to execute a specific step, and in the specific step, based on a captured image showing how the beauty device is used on the skin, A portion of the skin to be treated by
  • An information processing device comprising a control unit, wherein the control unit is configured to execute a specifying step and a display control step, wherein the specifying step includes displaying a state in which a beauty device is used on the skin. Based on the photographed image shown, a treatment location on the skin by the beauty device is specified, and in the display control step, a treatment mode corresponding to the treatment location is recognizably displayed based on the photographed image and reference data. , wherein the reference data includes information in which the skin part and the treatment mode are associated with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】美容装置の使用者に関わらず、美容装置の美容効果を最大限に発揮可能とすることを支援する技術を提供すること。 【解決手段】本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、制御部を備える。制御部は、特定ステップと、表示制御ステップとを実行するように構成される。特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、美容装置による肌への施術箇所を特定する。表示制御ステップでは、施術箇所に基づき、撮像画像に重畳表示される仮想画像の表示態様を変化させる。

Description

情報処理装置、プログラム及び情報処理方法
　本発明は、情報処理装置、プログラム及び情報処理方法に関する。
　近年、ユーザの肌をケアする美容装置が出回っている。特許文献１には、ユーザの肌に対し所定の美容効果を付与する美容装置の一例である美顔器が開示されている。
特開２００５－２３７５４５号公報
　ところで、美容装置の美容効果を最大限に発揮するためには、美容装置を肌全体に適切な時間、ムラなく当てる必要があり、美容装置を一箇所に集中して当て過ぎると、肌にダメージを与えてしまったり、施術漏れによって肌全体にムラなく美容効果を付与できないことがある。
　しかしながら、美容装置の操作技術には個人差があり、あらゆるユーザが美容効果を最大限に発揮することが難しいという問題がある。
　本発明では上記事情を鑑み、美容装置の使用者に関わらず、美容装置の美容効果を最大限に発揮可能とすることを支援する技術を提供することとした。
　本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、制御部を備える。制御部は、特定ステップと、表示制御ステップとを実行するように構成される。特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、美容装置による肌への施術箇所を特定する。表示制御ステップでは、施術箇所に基づき、撮像画像に重畳表示される仮想画像の表示態様を変化させる。
　これにより、美容装置の使用者に関わらず、美容装置の美容効果を最大限に発揮可能とすることを支援する技術を提供することができる。
第１実施形態に係る情報処理システム１の構成概要を示す図である。 第１実施形態におけるユーザ端末３（情報処理装置の一例）のハードウェア構成を示すブロック図である。 美容装置２のハードウェア構成を示すブロック図である。 美容装置２の外観を示す図である。 ユーザ端末３の機能を示す機能ブロック図である。 情報処理装置による情報処理の一例を示すアクティビティ図である。 ユーザ端末３に表示される画面の一例であって、施術に使用する美容装置２の選択画面を示す図である。 ユーザ端末３に表示される画面の一例であって、美容装置２の施術モードの選択画面を示す図である。 ユーザ端末３に表示される画面の一例であって、施術前の撮像画像を示す図である。 ユーザ端末３に表示される画面の一例であって、特定された施術箇所６を示す図である。 ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される仮想画像７を示す図である。 ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される仮想画像７を示す図である。 ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される仮想画像７を示す図である。 美容装置２による施術時間の積算値毎における仮想画像７の表示態様を示す図である。 ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される筋肉画像７１を示す図である。 ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される筋肉画像７１を示す図である。 ユーザ端末３に表示される画面の一例であって、グリッド線９の一例を示す図である。 ユーザ端末３に表示される画面の一例であって、美容装置２の使用経過を比較可能な画像が示される。 第２実施形態に係る情報処理システム１の構成概要を示す図である。 第２実施形態における美容装置２のハードウェア構成を示すブロック図である。 ユーザ端末３の機能を示す機能ブロック図である。 権限情報データベース４０に含まれる情報の一例を示すイメージ図である。 美容装置２の六面図を示す図である。 マーカー５の一例を示す図である。 ユーザ端末３に表示される画面の一例であって、ガイダンス情報７３の一例を示す図である。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．ハードウェア構成
　第１節では、第１実施形態のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システム１の構成概要を示す図である。
１．１　情報処理システム１
　情報処理システム１は、ユーザ端末３と、サーバ４とを備え、これらが電気通信回線を通じて通信可能に構成される。換言すると、ユーザ端末３は、サーバ４とネットワークを介して通信可能に構成される。
１．２　ユーザ端末３（情報処理装置）
　図２は、第１実施形態におけるユーザ端末３（情報処理装置の一例）のハードウェア構成を示すブロック図である。ユーザ端末３は、例えば、美容装置２を用いて施術を行うユーザが操作するスマートフォン、タブレット端末、コンピュータ等である。
　ユーザ端末３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５と、撮像部３６と備え、これらの構成要素が情報処理装置の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
（通信部３１）
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。ユーザ端末３は、通信部３１を介して、ユーザ端末３とネットワークを介して、種々の情報を通信する。
（記憶部３２）
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。つまり、上述のストレージデバイスやメモリ等のハードウェア資源が記憶部３２として機能する。
（制御部３３）
　制御部３３は、情報処理装置に関連する全体動作の処理及び制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置に係る種々の機能を実現する。例えば、ＣＰＵは、制御部３３として、記憶部３２に記憶された情報にアクセスし、読み出した情報に基づき、後述する種々の機能を実行する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部（図５参照）として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
（表示部３４）
　表示部３４は、例えば、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部３３の制御信号に応答して、表示画面を選択的に表示しうる。
（入力部３５）
　入力部３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御や演算を実行しうる。
（撮像部３６）
　撮像部３６は、例えば、ＣＣＤカメラやＣＭＯＳカメラであり、ユーザが後述の美容装置２を使用する様子を撮像するように構成される。例えば、撮像部３６は、表示部３４の上端部に設けられる等、ユーザ端末３が撮像部３６を内蔵するように構成されることが好ましい。もちろん、当該例に拘泥されず、ＵＳＢ接続のカメラ等、撮像部３６が外付けされていてもよい。
　また、撮像部３６は、美容装置２による施術の開始前及び終了後のユーザを撮像可能である。かかる画像は、記憶部３２に記憶される。これにより、ユーザは美容装置２の使用前後の顔の状態や顔以外の身体の状態を確認できる。
１．３　美容装置２
　図３は、美容装置２のハードウェア構成を示すブロック図である。美容装置２は、記憶部２１と、制御部２２とを有し、これらの構成要素が美容装置２の内部において通信バス２０を介して電気的に接続されている。制御部２２は、ユーザにより指定された施術モードで美容装置２を作動させるように制御する。記憶部２１及び制御部２２の詳細については、記憶部３２及び制御部３３を参照されたい。また、図４は、美容装置２の外観を示す図である。美容装置２は、動作部２ａと、グリップ部２ｂとを備える。
　また、美容装置２には、予め美容装置２の位置を示す目印として、マーカー５が付されていてもよい。マーカー５とは、例えば、美容装置２に貼り付け可能なシールであってもよいし、マーカー５に刻まれた刻印または模様であってもよい。ユーザは、マーカー５が付された美容装置２を施術に使用することができる。
（動作部２ａ）
　美容装置２は、動作部２ａとその支持体であるグリップ部２ｂとで構成される。動作部２ａは、ユーザの肌に接触して動作するように構成され、グリップ部２ｂの長手方向の一方の端部に設けられている。
　また、動作部２ａにおける撮像可能位置には、マーカー５が付されている。ここで、撮像可能位置とは、施術時に肌を撮像する撮像部３６と対向する位置である。つまり、施術時おいて、ユーザ端末３のカメラの撮像範囲に、マーカー５が位置する。これにより、撮像部３６は、施術中にマーカー５を安定的に撮像することができ、認識部３３１によるマーカー５の認識が可能となる。
（グリップ部２ｂ）
　グリップ部２ｂは、ユーザによって把握される棒状の部分である。グリップ部２ｂには、美容装置２の動作開始若しくは終了の際、又は施術モードを決定する際に、ユーザによって操作される操作ボタンが備え付けられてもよい。
２．機能構成
　本節では、第１実施形態の機能構成について説明する。図５は、ユーザ端末３の機能を示す機能ブロック図である。前述の通り、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。
　具体的には、ユーザ端末３（制御部３３）は、各機能部として、認識部３３１と、特定部３３２と、表示制御部３３３と、取得部３３４と、調整部３３５とを備える。
（認識部３３１）
　認識部３３１は、認識ステップを実行可能に構成される。認識ステップにおいて、認識部３３１は、撮像部３６によって撮像された撮像画像から、美容装置２またはマーカー５を認識する。また、表示制御部３３３は、撮像画像に表示される肌の領域を細分化した肌の部位を認識する。肌の部位とは、顔の部位である場合、例えば、額、こめかみ、眉頭、眉尻、眉間、目頭、目尻、上瞼、下瞼、鼻根、鼻筋、鼻尖、小鼻、頬、上唇、下頬、顎、えら等である。顔以外の身体の部位である場合、例えば、耳、うなじ、胸、背中、腰、上腕、ひじ、前腕、手首、手の平、手の甲、手指、しり、大腿、膝、下腿、すね、ふくらはぎ、足首、踵、足指、足底等である。
（特定部３３２）
　特定部３３２は、特定ステップを実行可能に構成される。特定ステップにおいて、特定部３３２は、撮像部３６が撮像した撮像画像に基づき、美容装置２による肌への施術箇所６を特定する。
（表示制御部３３３）
　表示制御部３３３は、表示制御ステップを実行可能に構成される。表示制御ステップにおいて、表示制御部３３３は、記憶部３２に記憶された種々の情報又はこれらを含む画面等を、ユーザ端末３で視認可能な態様で表示させる。具体的には、表示制御部３３３は、画面、画像、アイコン、メッセージ等の視覚情報を、ユーザ端末３の表示部３４に表示させるように制御する。表示制御部３３３は、視覚情報をユーザ端末３に表示させるためのレンダリング情報だけを生成してもよい。
　本実施形態において、表示制御部３３３は、撮像画像に仮想画像７を重畳表示させる。仮想画像７は、筋肉画像７１を含む。換言すると、表示制御部３３３は、撮像画像にユーザの身体が含まれる場合、その身体の内面の各部位における筋肉構成を示す画像を、撮像された身体に重畳表示させる。このような態様によれば、例えば、ユーザが顔に美容装置２を当てた場合、表情筋の構成（前頭筋、眼輪筋、咬筋、頬骨筋等）を識別可能である（図１５参照）。
（取得部３３４）
　取得部３３４は、取得ステップを実行可能に構成される。取得ステップにおいて、取得部３３４は、通信部３１又は記憶部３２を介して情報を取得し、これを作業メモリに読出可能に構成される。特に、取得部３３４は、サーバ４からネットワーク及び通信部３１を介して種々の情報を取得するように構成される。本実施形態では、取得部３３４が取得した種々の情報は、記憶部３２に記憶されるものとして説明する。
（調整部３３５）
　調整部３３５は、調整ステップを実行可能に構成される。調整ステップにおいて、調整部３３５は、サーバ４から取得した施術記録に基づき、仮想画像７の表示態様を変化させるタイミングを調整する。
３．情報処理の詳細
　第３節では、アクティビティ図を参照しながら、情報処理装置が実行する情報処理方法について説明する。下記に示す通り、情報処理方法は、情報処理装置の各ステップを備える。なお、以下の処理の順番は適宜入れ替えることができ、複数の処理が同時に実行されてもよいし、その全ての処理を実行しなくてもよい。
　図６は、情報処理装置による情報処理の一例を示すアクティビティ図である。図７は、ユーザ端末３に表示される画面の一例であって、施術に使用する美容装置２の選択画面を示す図である。図８は、ユーザ端末３に表示される画面の一例であって、美容装置２の施術モードの選択画面を示す図である。図９は、ユーザ端末３に表示される画面の一例であって、施術前の撮像画像を示す図である。図１０は、ユーザ端末３に表示される画面の一例であって、特定された施術箇所６を示す図である。図１１及び図１２は、ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される仮想画像７を示す図である。図１３は、ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される仮想画像７を示す図である。図１４は、美容装置２による施術時間の積算値毎における仮想画像７の表示態様を示す図である。
　まず、ユーザは、ユーザ端末３における所定のアプリケーションを起動する（Ａ１０１）。
　図７に示されるように、ユーザが施術を行う際に使用する美容装置２の機種を選択する（Ａ１０２）。
　続いて、図８に示されるように、ユーザは、美容装置２で行う施術モードを選択する（Ａ１０３）。ユーザが美容装置２の施術モードを選択すると、取得部３３４は、これを取得する。
　美容装置２の機種及び施術モードが選択されると、ユーザは、美容装置２を起動して施術を開始可能となる（Ａ１０４）。図１０に示されるように、施術中は、ユーザの姿が撮像部３６によって撮像され、ユーザ端末３の表示部３４に表示される。これにより、ユーザは、施術中の自分の姿を確認可能となる。このとき、撮像部３６（カメラ）と向き合う位置に美容装置２に付されたマーカー５が位置するため、認識部３３１は、マーカー５を認識可能である。ユーザは、ユーザ端末３に表示された撮像画像を鏡代わりとして、自撮りをしながら美容装置２を肌に当てて施術を行うことができる。
　施術が開始すると、認識部３３１は、美容装置２で肌への施術を行う撮像画像から、マーカー５を認識し、特定部３３２は、マーカー５に基づき、美容装置２による肌への施術箇所６を特定する（Ａ１０５）。具体的には、認識部３３１は、撮像画像に含まれる深度情報に基づいてマーカー５から肌までの距離を認識する。特定部３３２は、この距離に基づいて、施術の実施有無を特定する。これにより、美容装置２が翳された肌の部位のうち、実際に美容装置２が肌に接触して施術が行われた施術箇所６を特定可能することができる。
　このとき、認識部３３１は、深度情報と、参照データと、に基づいて、マーカー５または動作部２ａから肌までの距離を認識してもよい。ここで、参照データとは、美容装置２の機種と、マーカー５または動作部２ａの位置から動作部２ａの肌への接触面までの距離とが紐付けられたデータである。Ａ１０２において、予め機種が選択されているので、認識部３３１は、参照データに基づき、マーカー５または動作部２ａからユーザの肌までの距離を計測可能である。これにより、施術の実施有無を特定する際の精度向上が期待できる。
　なお、認識部３３１は、美容装置２に付された目印又は美容装置２の形状のうち少なくとも一部に基づき、撮像画像における美容装置２の動作部２ａの位置を認識してもよい。そして、特定部３３２は、かかる位置に基づき、美容装置２による肌への施術箇所６を特定してもよい。
　なお、認識部３３１は、予め美容装置２を肌にあてた状態でのマーカー５または動作部２ａの位置を認識し、参照データまたは深度情報として記憶させてもよい。具体的には、表示制御部３３３は、「美容装置２を肌にあててください」とメッセージを表示させる。そして、撮像部３６は、指示に従い美容装置２を肌にあてた状態のユーザの様子を撮像する。そして、認識部３３１は、かかる状態のマーカー５または動作部２ａの位置を参照データまたは深度情報として記憶させる。これにより、特定部３３２は、より正確に施術の実施有無を特定することができる。
　美容装置２が肌に接触し、施術が実施されると、図１０及び図１１で示されるように、表示制御部３３３は、美容装置２による施術箇所６に、仮想画像７を重畳表示させる。（Ａ１０６）。施術中、表示制御部３３３は、施術箇所６に対する美容装置２の施術軌跡を、撮像画像に重畳して表示させる。これにより、美容装置２の施術軌跡に応じて、仮想画像７の表示態様が変化するので、ユーザは、肌のどの部位の施術が済んだのかを客観的に把握可能となる。
　また、表示制御部３３３は、施術箇所６の施術時間に応じて、施術軌跡の表示態様を変化させることが好ましい。具体的には例えば、図１３に示されるように、施術箇所６に対する美容装置２による施術時間の積算値が大きくなるほど、すなわち、同じ施術箇所６に留まる美容装置２の時間が長いほど、濃い色の仮想画像７が表示されるようになる。仮想画像７の表示態様が変化する時間間隔を示す閾値は、具体的には例えば、０．１，０．２，０．３，０．４，０．５，０．６，０．７，０．８，０．９，１秒毎であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
　また、表示制御部３３３は、美容装置２の移動速度に応じて、閾値を変化させてもよい。例えば、美容装置２の移動速度が早い場合には、美容装置２に施術される時間が長くても、仮想画像７の表示態様が変化しなくてもよい。
　また、表示制御部３３３は、美容装置２の移動速度の大小を示す速度メーター８を表示させることが好ましい。これにより、ユーザは、美容装置２を動かすスピードが適正かどうかを施術中に把握可能となり、適切な移動速度で美容装置２を利用することが容易になる。
　また、表示制御部３３３は、美容装置２に施術される部位に応じて、肌の部位に応じて、施術軌跡の表示態様を変化させてもよい。認識部３３１によって区別識別な肌の部位数は、具体的には例えば、１０００，１１００，１２００，１３００，１４００，１５００部位であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。例えば、短い時間で仮想画像７が濃い色に変化する部位と、濃い色に変化するまでに他の部位より時間がかかる部位があってもよい。さらにこのとき、表示制御部３３３は、施術対象となる肌の部位と、その部位の適性施術時間とから割り出した積算値によって、表示態様を変化させてもよい。例えば、右頬の適正施術時間が５秒である場合、表示制御部３３３は、右頬に対して５秒間施術が実行された場合、表示態様を変化させる。
　また、表示制御部３３３は、選択された施術モードに応じて、仮想画像７の表示態様を変化させてもよい。表示制御部３３３は、施術モードに応じて、施術軌跡の表示態様を変化させる。上述の実施例では、施術時間の積算値が大きくなるほど、濃い色の仮想画像７が表示される例を示したが、図１４で示されるように、表示制御部３３３は、施術前のユーザの肌に仮想画像７が予め重畳表示され、美容装置２で施術を行うと、仮想画像７の色が薄くなるように表示させてもよい。
　以上のように、表示制御部３３３は、肌の施術状況に応じて、美容装置２により施術が行われたものと特定した施術箇所６に重畳表示させる仮想画像７の表示態様を変化させる。これにより、施術中の美容装置２の適切な移動速度を把握可能となるとともに、施術を実施した箇所と未実施の箇所がビジュアル化されるので、美容装置を一箇所に集中して当て過ぎたり、施術漏れの発生が防止され、肌全体に適切な時間ムラなく施術を行うことができる
　また、本実施形態では、美容装置２との通信を伴わず、美容装置２に付されたマーカー５を撮像部３６が撮像することにより施術状況を取得するため、ユーザは、予め美容装置２と通信可能に設計された美容装置２を所持していない場合でも、本機能を適用することができる。
　そして、指定した施術モードでの施術が完了すると、再び別の施術モードを選択して施術を再開することができる。一方、ユーザが施術の終了を選択すると、処理は終了する。なおこのとき、ユーザは、任意の操作により撮影モードに移行し、施術後の自身の姿を任意に撮影し、記録することができる。またこのとき、最終的な施術結果を示すマッピング情報が施術記録として記録可能である。なお、ユーザ端末３は、ネットワーク及び通信部３１を介して、施術後のユーザの姿を含む施術記録をサーバ４に送信してもよい。施術記録をサーバ４で管理する構成であってもよいし、サーバ４を介した情報の送受信を行わず、ユーザ端末３で全ての処理が完結する構成であってもよい。
４．変形例
　第４節では、前述した情報処理システム１の情報処理方法の変形例について説明する。図１５及び図１６は、ユーザ端末３に表示される画面の一例であって、撮像画像に重畳表示される筋肉画像７１を示す図である。図１７は、ユーザ端末３に表示される画面の一例であって、グリッド線９の一例を示す図である。
４．１　変形例１
　表示制御部３３３は、所定の施術モードが選択された場合、施術中、撮像画像に筋肉画像７１を重畳表示させる。例えば、Ａ１０３において、ユーザによって筋肉刺激を行うＥＭＳモードを選択された場合、図１５に示されるように、表情筋の各構成筋肉を示す筋肉画像７１を表示させる。
　この場合、Ａ１０６において、特定部３３２は、マーカー５（撮像画像）に基づき、美容装置２の施術対象となる肌内部の筋肉を特定する。また、Ａ１０７において、表示制御部３３３は、特定した筋肉のある施術箇所６に重畳表示される筋肉画像７１の表示態様を変化させる。例えば、図１５で示される箇所が施術対象となった場合、図１６に示されるように、表示制御部３３３は、施術対象となった肌内部の筋肉を、濃い色で表示する。また、表示制御部３３３は、施術対象となった筋肉が筋収縮を起こしているように動かしてもよい。また、表示制御部３３３は、施術対象となった筋肉を光らせるなどして、他の筋肉よりも目立つように強調表示してもよい。これにより、ユーザは、美容装置２を使用することで、肌内部のどこの筋肉を刺激させたかを直感的に確認することができる。
　また、表示制御部３３３は、美容装置２の施術箇所６に応じて、施術された筋肉の名称と、刺激を与えることの効果を含む施術対象情報７２を表示させてもよい。図１５に示されるように、例えば、美容装置２による施術箇所６が咬筋である場合、その名称とともに、咬筋を美容装置２で刺激することの効果が表示される。
４．１　変形例２
　取得部３３４は、美容装置２による美容装置２による肌の部位毎の施術時間を含む過去の施術記録を取得し、表示制御部３３３は、施術箇所６の施術時間に応じて、施術軌跡の表示態様を変化させてもよい。例えば、過去の施術記録において、所定の部位の施術時間が他の部位と比べて少ない場合、その部位が施術された際に、施術軌跡とともに特別なエフェクトを表示させる。これにより、ユーザが施術を忘れやすかったり、怠りやすい肌の部位がある場合には、肌全体をムラなく施術することを促すことができる。
また、調整部３３５は、施術記録に基づき、表示態様を変化させるタイミングを調整してもよい。例えば、過去の施術記録において、所定の部位の施術時間が他の部位と比べて少ない場合、調整部３３５は、その部位が施術された際に、仮想画像７の色が変わるタイミングを遅くするように調整する。これにより、怠りやすい肌の部位がある場合には、より念入りに施術するように促すことができる。
　また、表示制御部３３３は、取得した過去の施術記録を用いて、美容装置２の使用経過を比較可能に表示させてもよい。
　前回の施術を振り返る場合、図１７で示されるように、表示制御部３３３は、マッピング情報に基づき、過去の施術軌跡を示す任意の仮想画像７を現在のユーザの顔を写した撮像画像に重畳表示させることができる。例えば、表示制御部３３３は、過去の施術記録の中から指定された日付の施術軌跡を現在のユーザの顔に重畳表示させる。ユーザがタッチパネルを兼ねる表示部３４に対してフリック操作を行うことで、日付順に並べられた施術記録を容易にスライド比較可能であることが好ましい。このような態様によれば、前回の施術でトリートメントが足りなかった部位などムラのある箇所が改善点として示され、過去の施術結果を踏まえた上で次回の施術に臨むことが可能なる。
　また、施術中または施術前後において、表示制御部３３３は、仮想画像７を重畳表示させる際、顔の部位合わせを補助するグリッド線９を表示させてもよい。図１７では、ユーザの目元ライン及び顎ラインをグリッド線９にあわせて撮影することで、毎回カメラからの距離や高さが同じになるように撮影することができる。グリッド線９は、目の位置、顎の位置、鼻の位置等をガイドする。このような態様によれば、カメラから毎回同じ位置で撮影及び施術することができ、より正確に施術記録を比較可能となる。
　施術の使用経過を比較する場合、ユーザは、ビフォーアフター比較モードを選択し、利用することができる。ビフォーアフター比較モードにおいて、ユーザは、グリッド線９に合わせて現在の顔を撮影可能であり、撮影した画像はカレンダー形式で確認可能に記録される。図１８は、ユーザ端末３に表示される画面の一例であって、美容装置２の使用経過を比較可能な画像が示される。ユーザは、任意の日付を選択することで指定した日付の顔画像をビフォー画像１１とするとともに、現在の顔画像をアフター画像１２として、スライド比較することができる。図１８で示されるように、ビフォー画像１１とアフター画像１２が並べて表示され、ポインタ１０の移動に応じて、ビフォー画像１１及びアフター画像１２の表示面積が変化する。特に、ユーザは、ポインタ１０を左右にスライドさせることで、美容装置２の使用経過を比較することができる。例えば、ポインタ１０が中央にあるときは、ビフォー画像１１とアフター画像１２の表示面積が同じになるように表示される。ポインタ１０を右に移動させると、ビフォー画像１１の表示面積が大きくなり、ポインタ１０を左に移動させると、アフター画像１２が大きくなるように表示される。これにより、フェイスラインや肌の透明度の変化等を実感できたり、施術が必要な部位を確認したりすることができる。
　ここで、認識部３３１は、ビフォー画像１１およびアフター画像１２における、ユーザの目、鼻、顎、耳の位置等を特徴点として認識する。そして、調整部３３５は、ビフォー画像１１の特徴点とアフター画像１２の特徴点との比較結果に基づき、両画像における対応する特徴点が一致するように、ビフォー画像１１およびアフター画像１２のうち少なくとも一方の画像の画像処理を実行してもよい。具体的には、調整部３３５は、ビフォー画像１１およびアフター画像１２のうち少なくとも一方の画像について、特徴点が一致するように、トリミング、拡大、縮小等の調整処理を実行する。そして、表示制御部３３３は、この画像処理後にビフォー画像１１およびアフター画像１２を表示させてもよい。これにより、ビフォー画像１１およびアフター画像１２を撮影した際の誤差が軽減され、ユーザは、より正確にビフォーアフターを比較することができる。
５．第２実施形態
　本節では、第２実施形態に係るユーザ端末３及びこれを含む情報処理システム１について説明する。なお、第１実施形態に係るユーザ端末３と同様の構成や特徴については、説明を省略する。図１９は、第２実施形態に係る情報処理システム１の構成概要を示す図である。情報処理システム１は、美容装置２と、ユーザ端末３と、サーバ４とを備え、これらが電気通信回線を通じて通信可能に構成される。
　図２０は、第２実施形態における美容装置２のハードウェア構成を示すブロック図である。図２０に示されるように、通信部２３をさらに含む。通信部２３の具体的な説明については、美容装置２における通信部３１の記載を参照されたい。
　ここで、美容装置２は、美容装置２の挙動やユーザの肌の状態を検出する各種センサを備える。各種センサとは、例えば、加速度センサ、ユーザの肌の温度を計測する温度センサ、タッチセンサ等である。
　第２実施形態において、取得部３３４は、美容装置２から施術情報を取得してもよい。施術情報は、肌の温度情報と、美容装置２の速度情報と、美容装置２による接触情報とのうち少なくとも一つを含む。接触情報とは、美容装置２の動作部２ａがユーザの肌に触れたかどうかを示す情報である。そして、特定部３３２は、接触情報に基づいて、施術の実施有無を特定する。このような態様によれば、カメラによる撮像によっては美容装置２が肌に触れているか否かの判別が難しい場合であっても、美容装置２から取得した接触情報で情報を補完し、美容装置２が肌に触れているか否かの判別精度が向上する。
　この場合、表示制御部３３３は、施術軌跡と、施術情報とに基づき、撮像画像に重畳表示される仮想画像７の表示態様を変化させる。例えば、温度情報に基づき、美容装置２が認識した肌の温度が高い場合、表示制御部３３３は、仮想画像７を赤い色で表示させる。表示制御部３３３は、温度情報に基づき、肌が適正温度に達した場合、閾値より短い時間しか施術箇所６にとどまっていなかったとしても、施術を完了したことを示すように表示態様を変化させ、それ以上の施術を行うとオーバートリートメントであることを示すように表示態様を変化させてもよい。また、美容装置２に設けられた加速度センサにより取得される速度情報を、取得部３３４が取得した場合、表示制御部３３３は、速度情報に基づき、仮想画像７の表示態様を変化させてもよい。具体的には、美容装置２の移動速度が一定以上である場合施術箇所６に留まったものとして施術時間に積算されず、速度が閾値以下の場合のみ、施術が実行されたものとして表示態様を変化させてもよい。表示制御部３３３は、施術軌跡と、接触情報とに基づき、肌に接触している状態のみを施術時間にカウントして、表示態様を変化させてもよい。これにより、肌の状態に適したトリートメントを行うことができる。
　取得部３３４は、美容装置２からネットワーク及び通信部３１を介して施術モードを取得してもよい。
この場合、ユーザは、美容装置２を操作するだけで、ユーザ端末３の施術モード選択画面を操作することなく、施術モードに応じた仮想画像７を表示することができる。
　特定部３３２は、認識部３３１により認識された部位に対応する施術モードを特定し、特定された施術モードの実行要求をネットワーク及び通信部３１を介して美容装置２に送信してもよい。つまり、施術モードは、部位ごとに設けられ得る。部位ごとの施術モードは、例えば、フェイスラインにおける加温作用を高める施術モード、おでこにおける筋電気刺激作用を高める施術モード、目元における加温作用を高める施術モード等である。
　このとき、特定部３３２は、美容装置２による施術箇所６の部位が変化する度に、新たな施術箇所６となった部位に対応する施術モードの実行要求を美容装置２に送信してもよい。そして、美容装置２は、受信した施術モードで施術を実行してもよい。また、特定部３３２は、周期的に認識された部位に対応する施術モードの実行要求を送信してもよい。このような態様によれば、ユーザによる施術モードの指定操作を伴うことなく、部位の認識結果に応じて、自動的に施術箇所６に合わせた施術モードが実施されることとなる。また、取得部３３４が取得した施術モードに基づいて、表示制御部３３３は、どの部位に対応する施術モードが実施されたのかを識別可能な態様で表示させてもよい。
　また、参照データは、肌の部位と施術モードとが対応付けられた情報を含んでもよい。そして、特定部３３２は、撮像画像と参照データとに基づき、施術箇所６の部位に応じた施術モードの実行要求を美容装置２に送信してもよい。このような態様によれば、撮像画像から認識された施術箇所６の部位に応じて、美容装置２に適切な施術モードで施術を実行するように制御することができる。さらに、表示制御部３３３は、撮像画像と参照データとに基づき、施術箇所６に対応する施術モードを認識可能に表示させてもよい。これにより、施術箇所６の部位に応じて、現在実行されている施術モードをユーザが確認することができる。
　また、特定部３３２により特定された部位に基づき、表示制御部３３３は、施術モードの操作指示を画面に表示させてもよい。例えば、特定部３３２によって施術箇所６が「目元」であると特定された場合、表示制御部３３３は、参照データを参照して、美容装置２の施術モードを「目元」と対応する「目元モード」に変更すべきことを示すガイダンス情報７３を表示させる。このような態様によれば、ユーザが美容装置２を手動操作する場合において、部位ごとに適切な施術モードにユーザが美容装置２の設定を変更するように誘導することができる。
　図２１は、ユーザ端末３の機能を示す機能ブロック図である。ユーザ端末３（制御部３３）は、権限判定部３３６さらに備えてもよい。例えば、アクティビティＡ１０２において、取得部３３４は、美容装置２から美容装置ＩＤ４０１を取得する。そして、権限判定部３３６は、美容装置ＩＤ４０１と権限情報データベース４０とを参照して、ユーザが利用権限を有するか否かを判定する。美容装置ＩＤは、個々の美容装置２に付与される固有の識別情報である。
　また、アクティビティＡ１０３において、表示制御部３３３は、権限を有する施術モードおよび機能のみをユーザが選択可能に表示させてもよい。例えば、表示制御部３３３は、図８で示す画面において、購入した施術モードを選択可能に表示させてもよい。なお、ユーザ端末３は、ユーザの選択にかかわらず、ユーザが利用可能な機能を用いて施術を実施可能であってもよい。
　権限情報データベース４０は、サーバ４に記憶されていてもよい。この場合、特定部３３２は、施術の実行にあたり、美容装置ＩＤ４０１をサーバ４に送信し、美容装置ＩＤ４０１に対応する購入情報４０２および有効性情報４０３を取得部３３４により取得されてもよい。
　図２２は、権限情報データベース４０に含まれる情報の一例を示すイメージ図である。図２２で示すように、権限情報データベース４０には、上述の実施形態により実現される、施術モードを含む各機能の少なくとも１つの利用に係る権限情報が記憶される。機能の権限は、ユーザが所定の条件を満たした場合に付与され得る。所定の条件は、例えば、ユーザが上述の施術モードの利用権限を購入することである。権限情報データベース４０には、美容装置２の美容装置ＩＤ４０１ごとに、購入情報４０２と有効性情報４０３が対応付けられ得る。購入情報４０２には、ユーザが購入した施術モードを示す情報が含まれる。有効性情報４０３は、権限に有効期間が設定されている場合などに対応付けられ得る。なお、購入情報４０２および有効性情報４０３は、ユーザＩＤに対応付けられていてもよい。ユーザＩＤは、ユーザに対して個別に付与される識別情報である。この場合、権限判定部３３６は、ユーザＩＤに基づいて、ユーザに選択された施術モードまたは機能をユーザが利用可能か否かを判定してもよい。
　上述の実施形態では、画面に表示された施術モードを選択する態様を示したが、これに限られない。ユーザは、美容装置２による施術の実施に際して、予め美容装置２の施術モードをカスタマイズすることができる。以下、ユーザにより設定された美容装置２の施術モードをカスタムモードと称する。カスタムモードの設定において、ユーザは、どの種類の施術モードを割り当てるか、施術モードを実行する順序等を設定することができる。また、ユーザは、施術箇所ごとに施術モードを割り当てることができる。また、カスタムモードでは、美容装置２とともに使用する化粧品ごとに施術モードを対応付けられ得る。取得部３３４は、ユーザにより入力されたカスタムモードの設定をカスタマイズ情報として記憶部３２に記憶させる。カスタムモードが設定されると、アクティビティＡ１０３において、図８で示す画面に選択可能に表示される。そして、調整部３３５は、カスタマイズ情報に基づき、施術箇所に応じて施術モードを調整する。
　また、ユーザ端末３（制御部３３）は、学習部３３７さらに備えてもよい。学習部３３７は、種々の情報を学習するように構成される。例えば、学習部３３７は、美容装置２またはその動作部２ａを示す画像を学習データとして、学習済みモデルを生成又は更新するように構成される。また例えば、学習部３３７は、美容装置２が肌に接触した状態を示す画像を含む接触情報を学習データとして、学習済みモデルを生成又は更新するように構成される。例えば、撮像部３６が美容装置２を肌にあてた状態のユーザの様子を撮像した場合、取得部３３４は、撮像された画像を学習データとして取得し、学習部３３７がかかる画像を用いて機械学習を実行してもよい。
　機械学習のアルゴリズムは特に限定されず、ｋ近傍法、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、トピックモデル、混合ガウスモデル等が適宜採用されればよい。学習済みモデルは、美容装置２が肌に接触した状態を示す撮像画像と美容装置２が肌に接触していない状態を示す撮像画像とを入力して、機械学習させたものである。
　そして、認識部３３１は、撮像画像と学習済みモデルとに基づき、撮像画像における美容装置２の位置を認識してもよい。そして、特定部３３２は、認識部３３１により認識された位置に基づき、美容装置２による肌への施術箇所６を特定する。
６．その他
　本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
（１）本実施形態の態様は、プログラムであってもよい。プログラムは、コンピュータに、情報処理装置の各ステップを実行させる。
（２）上述の実施形態において、美容装置２は、いわゆる美顔器であることを例に説明したが、美容装置２は、記憶部２１及び制御部２２を有さない美顔ローラーでもよい。
（３）ユーザが初めて上記実施形態の機能を利用する場合、Ａ１０２において機種選択を行い、初めてでない場合、Ａ１０２をスキップして以前選択された機種が自動的に選択されてもよい。
（４）図２３は、美容装置２の六面図を示す図である。図２４は、マーカー５の一例を示す図である。美容装置２は、図２１で示される態様であってもよい。図２３の背面図に示されるように、美容装置２において、特に動作部２ａが意匠上の特徴のある部分である。動作部２ａの背面は、マーカー５を有し、美感を起こさせるものとなっている。
（５）また、マーカー５は、図２３の背面図及び図２４で示されるように、模様が施されており、美感を起こさせるものとなっている。
（６）また、美容装置２は、肌状態の測定装置であってもよい。この場合、表示制御部３３３は、例えば、美容装置２から取得した施術情報に応じて、「しっかり測定装置を肌にあててください」、「もう少し下側に測定装置をあててください」等のメッセージを表示させる。表示制御部３３３は、ガイダンス情報７３を表示させてもよい。図２５は、ユーザ端末３に表示される画面の一例であって、ガイダンス情報７３の一例を示す図である。図２５で示すように、表示制御部３３３は、美容装置２をあてるべき部位を示すガイダンス情報７３を表示させる。このような態様によれば、アプリケーションから指示があった部位に美容装置２をあてて、肌の状態を測定することができる。また、施術情報は、美容装置２があてられた部位、つまり美容装置２の位置情報と対応付けて記憶されてもよい。さらに、表示制御部３３３は、施術情報に基づいて、前回測定した部位を示すガイダンス情報７３を表示させてもよい。前回測定した位置をガイダンスすることで、同じ位置での測定を促すことができる。また、部位ごとに時系列で施術情報を保管し確認することができる。また、認識部３３１は、ガイダンス情報７３により示された部位に美容装置２があてられているかを判定してもよい。
（７）また、参照データには、予め施術で使用する美容装置２およびマーカー５の色に係る色情報が含まれていてもよい。なおこの場合、アクティビティＡ１０２において、施術の際に使用する美容装置２の色、または美容装置２に付されたマーカー５の色をユーザにより選択されていることが好ましい。また、認識部３３１は、美容装置２またはマーカー５の色情報と、撮像画像に含まれる美容装置２またはマーカー５の実際の色味との比較結果を環境情報として記憶させてもよい。そして、認識部３３１は、環境情報をさらに参照して、マーカー５から肌までの距離を認識してもよい。また、撮像部３６は、環境情報に基づいて、撮影時における画像の色等の補正を行なってもよい。これにより、顔画像を比較する際、撮影環境および施術の実施環境の違いによる撮像画像の差異を減らすことができる。
　さらに、次に記載の各態様で提供されてもよい。
（１）情報処理装置であって、制御部を備え、前記制御部は、特定ステップと、表示制御ステップとを実行するように構成され、前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、前記表示制御ステップでは、前記施術箇所に基づき、前記撮像画像に重畳表示される仮想画像の表示態様を変化させる、もの。
（２）上記（１）に記載の情報処理装置において、前記表示制御ステップでは、前記施術箇所に対する前記美容装置の施術軌跡を、前記撮像画像に重畳して表示させる、もの。
（３）上記（１）又は（２）に記載の情報処理装置において、前記表示制御ステップでは、前記施術箇所の施術時間に応じて、前記仮想画像の表示態様を変化させる、もの。
（４）上記（１）～（３）の何れか１つに記載の情報処理装置において、前記表示制御ステップでは、前記肌の部位に応じて、前記仮想画像の表示態様を変化させる、もの。
（５）上記（１）に記載の情報処理装置において、前記特定ステップでは、前記撮像画像に基づき、前記美容装置の施術対象となる筋肉を特定し、前記表示制御ステップでは、特定した前記筋肉のある施術箇所に重畳表示される筋肉画像の表示態様を変化させる、もの。
（６）上記（１）～（５）の何れか１つに記載の情報処理装置において、前記制御部は、取得ステップをさらに実行するように構成され、前記取得ステップでは、前記美容装置の施術モードを取得し、前記表示制御ステップでは、前記施術モードに応じて、前記仮想画像の表示態様を変化させる、もの。
（７）上記（１）～（６）の何れか１つに記載の情報処理装置において、前記制御部は、認識ステップをさらに実行するように構成され、前記認識ステップでは、前記美容装置に付された目印又は前記美容装置の形状のうち少なくとも一部に基づき、前記撮像画像における前記美容装置の動作部の位置を認識し、前記特定ステップでは、前記位置に基づき、前記美容装置による前記肌への施術箇所を特定する、もの。
（８）上記（１）～（７）の何れか１つに記載の情報処理装置において、前記制御部は、認識ステップをさらに実行するように構成され、前記認識ステップでは、前記撮像画像と学習済みモデルとに基づき、前記撮像画像における前記美容装置の位置を認識し、前記特定ステップでは、前記位置に基づき、前記美容装置による前記肌への施術箇所を特定する、もの。
（９）上記（７）に記載の情報処理装置において、前記目印は、前記美容装置の撮像可能位置に付され、前記撮像可能位置は、施術時に前記肌を撮像する撮像部と対向する位置である、もの。
（１０）上記（１）～（９）の何れか１つに記載の情報処理装置において、前記制御部は、認識ステップをさらに実行するように構成され、前記撮像画像は、深度情報を含み、前記認識ステップでは、前記深度情報に基づいて前記美容装置から前記肌までの距離を認識し、前記特定ステップでは、前記距離に基づいて、施術の実施有無を特定する、もの。
（１１）上記（１）～（１０）の何れか１つに記載の情報処理装置において、前記制御部は、取得ステップをさらに実行するように構成され、前記取得ステップでは、前記美容装置から施術情報を取得し、前記表示制御ステップでは、前記施術箇所と、前記施術情報とに基づき、前記撮像画像に重畳表示される前記仮想画像の表示態様を変化させる、もの。
（１２）上記（１１）に記載の情報処理装置において、前記施術情報は、前記肌の温度情報と、前記美容装置の速度情報と、前記美容装置による接触情報とのうち少なくとも一つを含む、もの。
（１３）情報処理装置であって、制御部を備え、前記制御部は、特定ステップを実行するように構成され、前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、参照データに基づき、前記施術箇所の部位に応じた施術モードの実行要求を美容装置に送信し、参照データは、前記部位と施術モードとが対応付けられた情報を含む、もの。
（１４）情報処理装置であって、制御部を備え、前記制御部は、特定ステップと、表示制御ステップとを実行するように構成され、前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、前記表示制御ステップでは、前記撮像画像と参照データとに基づき、前記施術箇所に対応する施術モードを認識可能に表示させ、前記参照データは、前記肌の部位と施術モードとが対応付けられた情報を含む、もの。
（１５）プログラムであって、コンピュータに、上記（１）～（１４）の何れか１つに記載の情報処理装置の各ステップを実行させる、もの。
（１６）情報処理装置が実行する情報処理方法であって、上記（１）～（１４）の何れか１つに記載の情報処理装置の各ステップを備える、方法。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　：情報処理システム
２　　　：美容装置
２ａ　　：動作部
２ｂ　　：グリップ部
２０　　：通信バス
２１　　：記憶部
２２　　：制御部
２３　　：通信部
３　　　：ユーザ端末
３０　　：通信バス
３１　　：通信部
３２　　：記憶部
３３　　：制御部
３３１　：認識部
３３２　：特定部
３３３　：表示制御部
３３４　：取得部
３３５　：調整部
３３６　：調整部
３４　　：表示部
３５　　：入力部
３６　　：撮像部
４　　　：サーバ
５　　　：マーカー
６　　　：施術箇所
７　　　：仮想画像
７１　　：筋肉画像
７２　　：施術対象情報
８　　　：速度メーター
９　　　：グリッド線
１０　　：ポインタ

Claims (16)

  1. 情報処理装置であって、
    　制御部を備え、
    　前記制御部は、特定ステップと、表示制御ステップとを実行するように構成され、
    　前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、
    　前記表示制御ステップでは、前記施術箇所に基づき、前記撮像画像に重畳表示される仮想画像の表示態様を変化させる、
    もの。
  2. 請求項１に記載の情報処理装置において、
    　前記表示制御ステップでは、前記施術箇所に対する前記美容装置の施術軌跡を、前記撮像画像に重畳して表示させる、
    もの。
  3. 請求項１又は請求項２に記載の情報処理装置において、
    　前記表示制御ステップでは、前記施術箇所の施術時間に応じて、前記仮想画像の表示態様を変化させる、
    もの。
  4. 請求項１～請求項３の何れか１つに記載の情報処理装置において、
    　前記表示制御ステップでは、前記肌の部位に応じて、前記仮想画像の表示態様を変化させる、
    もの。
  5. 請求項１に記載の情報処理装置において、
    　前記特定ステップでは、前記撮像画像に基づき、前記美容装置の施術対象となる筋肉を特定し、
    　前記表示制御ステップでは、特定した前記筋肉のある施術箇所に重畳表示される筋肉画像の表示態様を変化させる、
    もの。
  6. 請求項１～請求項５の何れか１つに記載の情報処理装置において、
    　前記制御部は、取得ステップをさらに実行するように構成され、
    　前記取得ステップでは、前記美容装置の施術モードを取得し、
    　前記表示制御ステップでは、前記施術モードに応じて、前記仮想画像の表示態様を変化させる、
    もの。
  7. 請求項１～請求項６の何れか１つに記載の情報処理装置において、
    　前記制御部は、認識ステップをさらに実行するように構成され、
    　前記認識ステップでは、前記美容装置に付された目印又は前記美容装置の形状のうち少なくとも一部に基づき、前記撮像画像における前記美容装置の動作部の位置を認識し、
    　前記特定ステップでは、前記位置に基づき、前記美容装置による前記肌への施術箇所を特定する、
    もの。
  8. 請求項１～請求項７の何れか１つに記載の情報処理装置において、
    　前記制御部は、認識ステップをさらに実行するように構成され、
    　前記認識ステップでは、前記撮像画像と学習済みモデルとに基づき、前記撮像画像における前記美容装置の位置を認識し、
    　前記特定ステップでは、前記位置に基づき、前記美容装置による前記肌への施術箇所を特定する、
    もの。
  9. 請求項７に記載の情報処理装置において、
    　前記目印は、前記美容装置の撮像可能位置に付され、
    　前記撮像可能位置は、施術時に前記肌を撮像する撮像部と対向する位置である、
    もの。
  10. 請求項１～請求項９の何れか１つに記載の情報処理装置において、
    　前記制御部は、認識ステップをさらに実行するように構成され、
    　前記撮像画像は、深度情報を含み、
    　前記認識ステップでは、前記深度情報に基づいて前記美容装置から前記肌までの距離を認識し、
    　前記特定ステップでは、前記距離に基づいて、施術の実施有無を特定する、
    もの。
  11. 請求項１～請求項１０の何れか１つに記載の情報処理装置において、
    　前記制御部は、取得ステップをさらに実行するように構成され、
    　前記取得ステップでは、前記美容装置から施術情報を取得し、
    　前記表示制御ステップでは、前記施術箇所と、前記施術情報とに基づき、前記撮像画像に重畳表示される前記仮想画像の表示態様を変化させる、
    もの。
  12. 請求項１１に記載の情報処理装置において、
    前記施術情報は、前記肌の温度情報と、前記美容装置の速度情報と、前記美容装置による接触情報とのうち少なくとも一つを含む、
    もの。
  13. 情報処理装置であって、
    　制御部を備え、
    　前記制御部は、特定ステップを実行するように構成され、
    　前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、参照データに基づき、前記施術箇所の部位に応じた施術モードの実行要求を美容装置に送信し、
    　　参照データは、前記部位と施術モードとが対応付けられた情報を含む、
    もの。
  14. 情報処理装置であって、
    　制御部を備え、
    　前記制御部は、特定ステップと、表示制御ステップとを実行するように構成され、
    　前記特定ステップでは、美容装置を肌に使用する様子を示す撮像画像に基づき、前記美容装置による前記肌への施術箇所を特定し、
    　前記表示制御ステップでは、前記撮像画像と参照データとに基づき、前記施術箇所に対応する施術モードを認識可能に表示させ、
    　　前記参照データは、前記肌の部位と施術モードとが対応付けられた情報を含む、
    もの。
  15. プログラムであって、
    　コンピュータに、請求項１～請求項１４の何れか１つに記載の情報処理装置の各ステップを実行させる、
    もの。
  16. 情報処理装置が実行する情報処理方法であって、
    　請求項１～請求項１４の何れか１つに記載の情報処理装置の各ステップを備える、
    方法。
PCT/JP2022/034100 2021-09-13 2022-09-12 情報処理装置、プログラム及び情報処理方法 WO2023038136A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022555122A JPWO2023038136A1 (ja) 2021-09-13 2022-09-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021148304 2021-09-13
JP2021-148304 2021-09-13

Publications (1)

Publication Number Publication Date
WO2023038136A1 true WO2023038136A1 (ja) 2023-03-16

Family

ID=85506478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034100 WO2023038136A1 (ja) 2021-09-13 2022-09-12 情報処理装置、プログラム及び情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2023038136A1 (ja)
WO (1) WO2023038136A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154853A (ja) * 2015-02-25 2016-09-01 Ｃｉｍ有限会社 施術部位特定装置及び施術部位特定装置用プログラム
US20180033205A1 (en) * 2016-08-01 2018-02-01 Lg Electronics Inc. Mobile terminal and operating method thereof
WO2020142238A1 (en) * 2019-01-04 2020-07-09 The Procter & Gamble Company Method and system for guiding a user to use an applicator
JP2021051518A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
JP2021056711A (ja) * 2019-09-30 2021-04-08 株式会社リピートリンク 施術支援装置、施術支援システム、プログラム及び施術支援方法
WO2021131852A1 (ja) * 2019-12-26 2021-07-01 株式会社資生堂 化粧支援装置、化粧支援方法、化粧支援プログラム、及び化粧支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154853A (ja) * 2015-02-25 2016-09-01 Ｃｉｍ有限会社 施術部位特定装置及び施術部位特定装置用プログラム
US20180033205A1 (en) * 2016-08-01 2018-02-01 Lg Electronics Inc. Mobile terminal and operating method thereof
WO2020142238A1 (en) * 2019-01-04 2020-07-09 The Procter & Gamble Company Method and system for guiding a user to use an applicator
JP2021051518A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
JP2021056711A (ja) * 2019-09-30 2021-04-08 株式会社リピートリンク 施術支援装置、施術支援システム、プログラム及び施術支援方法
WO2021131852A1 (ja) * 2019-12-26 2021-07-01 株式会社資生堂 化粧支援装置、化粧支援方法、化粧支援プログラム、及び化粧支援システム

Also Published As

Publication number Publication date
JPWO2023038136A1 (ja) 2023-03-16

Similar Documents

Publication Publication Date Title
CN107106018B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
Lutz et al. SMOOVS: Towards calibration-free text entry by gaze using smooth pursuit movements
US20220161441A1 (en) Robot body care system, robot body care method, and robot body care program
KR20150068367A (ko) 가정용 피부 미용 시술 시스템 및 방법
CN108466265B (zh) 机械手臂路径规划与作业方法、装置以及计算机设备
CN111971643B (zh) 对个人护理设备的定位
KR20170090057A (ko) 화장품 테스트 시스템 및 방법
EP3698711A1 (en) Brain wave measurement system, rehabilitation support system, method for controlling brain wave measurement system, program, and non-transitory recording medium
WO2023038136A1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2022054366A1 (ja) 姿勢評価プログラム、姿勢評価装置、姿勢評価方法、及び姿勢評価システム
EP3698710A1 (en) Brain wave measurement system, brain wave measurement method, program, and non-transitory recording medium
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
CN112749634A (zh) 基于美容设备的控制方法、装置以及电子设备
JP2023118795A (ja) マッサージ評価方法、マッサージ評価装置、およびマッサージ評価プログラム
TWI569794B (zh) 用於視覺馬達和／或神經肌肉治療的設備、和使用該設備用於視覺馬達和／或神經肌肉治療的方法
CN110750154A (zh) 显示器控制方法、系统、装置、设备和存储介质
US20220054355A1 (en) Body care motion tracking device and body care management method using same
JP6761407B2 (ja) 身体情報分析装置および顔形診断方法
WO2024034537A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7471138B2 (ja) 情報処理装置、プログラム及びシステム
WO2022114143A1 (ja) 物体認知能力を評価するための評価装置、方法、及びプログラム
WO2024135778A1 (ja) 生体フィードバック検出装置、生体感覚拡張装置、生体感覚拡張方法、及びプログラム
TWI839549B (zh) 機械人身體保健系統、機械人身體保健方法、以及機械人身體保健程式
JP7475649B2 (ja) ロボットボディケアシステム、ロボットボディケア方法、およびロボットボディケアプログラム
CN109508092A (zh) 基于眼球追踪控制终端设备的方法、装置和终端

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022555122

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867457

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE