WO2022118890A1 - 人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法 - Google Patents

人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法 Download PDF

Info

Publication number
WO2022118890A1
WO2022118890A1 PCT/JP2021/044111 JP2021044111W WO2022118890A1 WO 2022118890 A1 WO2022118890 A1 WO 2022118890A1 JP 2021044111 W JP2021044111 W JP 2021044111W WO 2022118890 A1 WO2022118890 A1 WO 2022118890A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
human skin
data
tactile
human
Prior art date
Application number
PCT/JP2021/044111
Other languages
English (en)
French (fr)
Inventor
直輝 齋藤
孝平 松森
建堯 張
優人 小林
裕之 梶本
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to JP2022566960A priority Critical patent/JPWO2022118890A1/ja
Publication of WO2022118890A1 publication Critical patent/WO2022118890A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons

Definitions

  • the present invention relates to a human skin touch data generation method, a human skin touch data generation device, a human skin touch evaluation method, a human skin touch evaluation device, a human skin touch presentation device, and a human skin touch presentation method.
  • acceleration information (vibration) can be obtained from the image simply by performing image analysis of a two-dimensional pattern of the skin as in the past. ) was not expected, and it was difficult to reproduce the tactile sensation of the skin that people can share.
  • Non-Patent Document 1 a tactile reproduction device that can change the tactile sensation when touching the material with a fingertip by applying vibration in the depth direction to the contact material.
  • Non-Patent Document 1 a hard contact material whose surface does not change is studied, but in the case of skin, the material itself has softness and viscoelasticity, so that the tactile sensation due to vibration of the contact material that does not change can be reproduced. When applied to a skin model, there will be an error in the reproduced tactile sensation.
  • Non-Patent Document 2 in order to analyze the tactile sensation of the soft skin felt by the finger, the friction between the finger and the artificial skin model is considered, and the contact area is determined by the magnitude of the surface hardness of the finger and the artificial skin model to be contacted. It is shown that the tendency of the change of the normal force is different.
  • Patent Document 1 in order to evaluate the skin to which the cosmetic is applied, as an evaluation standard, the vibration when the skin is touched with a finger is measured by a vibration sensor, and the sensory evaluation of the applied tactile sensation of the cosmetic is measured. It has been proposed to establish a relationship in advance by associating it with the frequency change of vibration.
  • Non-Patent Document 2 In order to apply the friction technique of Non-Patent Document 2 to the reproduction of the tactile sensation of the skin, it is necessary to classify the cases according to the magnitude of the surface hardness between the finger and the contact object, and each person has the surface hardness of the fingertip. It was difficult to share various skin textures among multiple people because of the different textures.
  • the vibration when the finger actually touches the skin using the vibration sensor is collected as a sample of the evaluation standard, but the collected vibration is the characteristic of the person who touches (the hardness and touch of the finger). There was a risk that the influence of (1) would come out.
  • the present invention can collect information on human skin without touching the human skin and without using a special tactile sensor, and can minimize errors due to the characteristics of the person who touches the skin, and is shared by a plurality of people. It is an object of the present invention to provide a data generation method for human skin sensation, which generates possible data for human skin sensation.
  • the process of acquiring an image of human skin or skin that is a skin model Provided is a step of generating data for human skin tactile sensation estimated as vibration generated when the human skin or skin model is touched using the acquired image of the skin, and a method for generating data for human skin sensation. do.
  • human skin information can be obtained without touching the human skin and without using a special tactile sensor.
  • the error due to the characteristics of the person who collects and touches can be minimized.
  • the schematic flow which shows the data generation method for human skin feeling of this invention.
  • the functional block diagram of the data generation apparatus for human skin feeling which concerns on 1st Embodiment of this invention.
  • Detailed flow of the data generation process according to the first embodiment An example of a shooting range of a human skin gel, a three-dimensional image of a human skin gel imitating a person in his twenties, and a displacement curve calculated in S21 and S22 of the first embodiment.
  • the external view which shows an example of the human skin tactile sensation presenting apparatus which realizes the tactile sensation presenting process of this invention.
  • the hardware block diagram of the human skin feeling presentation device of FIG. The figure which shows the state which touches a plurality of kinds of human skin gels directly with a finger for discrimination.
  • vibration data is created by touching a skin sample with an artificial finger AF to which an accelerometer ⁇ is attached in a human skin tactile presentation device, and the vibration data is presented as a tactile sensation in a human skin tactile presentation device.
  • the functional block diagram of the data generation apparatus for human skin feeling which concerns on 2nd Embodiment of this invention. Detailed flow of the data generation process according to the second embodiment.
  • the schematic flowchart which shows the human skin touch evaluation method including the human skin touch data generation method of this invention.
  • the block diagram of the human skin feeling evaluation apparatus which realizes the human skin feeling evaluation method of this invention. Schematic diagram showing a skin quality to a customer by a beauty advisor using the human skin touch evaluation device of the present invention in counseling.
  • the present invention relates to a method for generating data for human skin sensation, that is, a method for generating data for rendering (expressing, reproducing, reproducing, presenting) human skin sensation. Further, the present invention uses the human skin touch data generation method, a human skin touch data generation device, a human skin touch evaluation method, a human skin touch evaluation device, a human skin touch presentation device, and a human skin touch presentation method. Regarding.
  • human skin tactile sensation means the sensation felt by a finger or palm when the human skin (skin) is touched by stroking or rubbing it with a finger or palm. ..
  • FIG. 1 is a schematic flow showing a data generation method for human skin touch of the present invention.
  • an image of the skin is acquired in step S1 (image acquisition step).
  • the "skin” for which images are acquired includes skin replicas (hard artificial skin that reproduces the unevenness of the surface of human skin) and human skin gel (expresses the surface and softness of human skin). Skin models such as soft artificial skin) are also included. Further, the actual human skin may be bare skin or skin after applying a specific cosmetic.
  • the means for acquiring an image in the first embodiment described later, it is a three-dimensional photographing means capable of acquiring a three-dimensional image, and in the second embodiment, it is a two-dimensional photographing means capable of acquiring a two-dimensional image. Further, as a modification, a two-dimensional photographing means capable of photographing a UV two-dimensional image, a two-dimensional photographing means capable of photographing an optical interference two-dimensional image, and a two-dimensional photographing means having an adjusted focus may be used.
  • step S2 the acquired skin image is used to generate data for human skin touch (data generation step).
  • the human skin tactile data is tactile data that can be felt on a finger or palm, which is estimated as vibration generated when the skin (human skin or skin model) is touched.
  • the human skin tactile sensation data is vibration data (presentation data (also referred to as reproduction data, expression data, rendered data)) which is the original data of the virtual texture when presenting the tactile sensation, and is evaluated. This is comparison data used for comparison with evaluation criteria, etc.
  • the first embodiment, the second embodiment, and the modified example will be described as details of the data generation step of step S2.
  • the following is an example of an apparatus capable of realizing the data generation method for human skin touch shown in FIG. 1.
  • FIG. 2 is a functional block diagram of the human skin tactile data generation device according to the first embodiment of the present invention.
  • the human skin tactile data generation device 100 includes a three-dimensional photographing means 1 which is an image acquisition unit and an information processing device 2 which is a data generation unit.
  • the three-dimensional photographing means 1 acquires an image of human skin or skin that is a skin model.
  • the three-dimensional photographing means 1 is a three-dimensional image of living skin or skin that is an artificial skin model, such as a three-dimensional microscope (for example, a laser biological microscope), an ultrasonic cross-sectional image device, or a 3D camera. It is a means to take a picture.
  • the information processing device 2 uses the acquired skin image to generate data for human skin tactile sensation estimated as vibration generated when the human skin or skin model is touched.
  • the information processing device 2 is, for example, a PC (personal computer) in which predetermined software is installed, or a dedicated three-dimensional skin image analysis device.
  • the information processing apparatus 2 can execute the surface roughness information acquisition unit 21, the acceleration information conversion unit 22, and the human skin tactile data output unit 23 (hereinafter, simply referred to as an output unit). Have in.
  • the surface roughness information acquisition unit 21 acquires skin surface roughness information from the skin image. Specifically, the surface roughness information acquisition unit 21 is on a predetermined straight line with the surface roughness extraction unit 211 that extracts the surface roughness (height on the skin cross section) of the skin at each position from the three-dimensional image of the skin. It has a displacement curve acquisition unit 212 that acquires a displacement curve that connects information on surface roughness (height on the skin cross section) at each position.
  • the acceleration information conversion unit 22 converts the skin surface roughness information acquired by the surface roughness information acquisition unit 21 into acceleration information.
  • the acceleration information conversion unit 22 includes a displacement spectrum conversion unit 221, an acceleration spectrum conversion unit 222, and an acceleration information correction unit 223. Details of these functions will be described later together with FIG. 3 described later.
  • the output unit 23 sets and outputs the acceleration information calculated by the acceleration information conversion unit 22 as human skin tactile data (data for expressing human skin).
  • FIG. 2 shows a configuration in which the functions of the surface roughness information acquisition unit 21, the acceleration information conversion unit 22, and the output unit 23 are realized by one information processing device 2, but these calculation functions are provided. It may be executed by using two or more information processing devices.
  • FIG. 3 is a detailed flow of the data generation process according to the first embodiment.
  • the information processing apparatus 2 of FIG. 1 has, as a data generation step, a step of acquiring skin surface roughness information from a skin image (S21, S22) and a step of converting skin surface roughness information into acceleration information (S23). , S24, S25) and the step (S26) of setting the acceleration information in the human skin tactile sensation data can be executed.
  • the inventors of the present application use a human skin gel sample A imitating a 20s, a human skin gel sample B imitating a 40s, and a human skin gel C imitating a 70s, and feel the human skin. Data was generated. 4 to 9 show the data generated at each step.
  • the human skin gel used as samples A, B, and C is an example of a skin model (artificial skin) that imitates a predetermined state of the skin, and is an ultra-soft urethane resin that expresses the softness similar to human skin.
  • the human skin gel used in the following calculation was Bioskin (registered trademark) (manufactured by Bulux).
  • a laser microscope which is an example of the three-dimensional photographing means 1 shown in FIG. 2, is used as an image of the human skin or the surface of the skin model. A 3D image is acquired.
  • FIG. 4A is a diagram showing a photographing region and a horizontal center line on the sample A of the human skin gel.
  • the horizontal center line is an example of a straight line at a predetermined position that can be extracted from the cross-sectional height included as information in the three-dimensional image.
  • FIG. 4 (b) is a three-dimensional image of human skin gel A imitating a person in his twenties
  • FIG. 5 (a) is a three-dimensional image of human skin gel B imitating a person in his forties.
  • (A) is a three-dimensional image of human skin gel C imitating a person in his 70s.
  • the white part indicates that the skin surface position (height on the skin cross section) is high
  • the gray part indicates that the skin surface position is medium
  • the black part indicates that the skin surface position is high. It indicates that it is low, that is, it is dented.
  • step S21 By extracting the color of the three-dimensional image for each position in this way, in step S21, the height on the cross section of the skin at each position, that is, the surface roughness at each position of the skin can be obtained from the three-dimensional image of the skin. Extract.
  • the position is in the range of -0.037 mm to +0.045 mm
  • the human skin gel B imitating the 40s shown in FIG. 5 (a) the skin surface position is in the range of -0.048 mm to +0.049 mm
  • the skin surface position is in the range of ⁇ 0.124 mm to +0.11 mm. From this, it can be seen that the unevenness on the surface of the skin is large in the order of human skin gel C (70s)> human skin gel B (40s)> human skin gel A (20s).
  • the skin surface position (on the skin cross section) on a straight line at a predetermined position (for example, the horizontal center line indicated by the arrow shown in FIG. 4A) that can be extracted from the cross-sectional height included as information in such a three-dimensional image.
  • the height is connected in the horizontal direction to form the displacement curve.
  • step S22 it is assumed that the surface roughness of each position of the skin (height on the skin cross section at each position) is scanned for a predetermined distance on a straight line of a three-dimensional image of the surface of the human skin or the skin model. Then, the displacement curve on a straight line corresponding to the three-dimensional cross-sectional height position with the horizontal axis as the distance is acquired as the surface roughness information.
  • the displacement curve is the position (cross-sectional height) of each skin surface in the lateral direction when it is assumed that the object is scanned.
  • the displacement curve is the height at each position on the cross section with respect to the horizontal center line, that is, the roughness of the surface line of the skin, which indicates the roughness of the line obtained on the horizontal center line. Since it is a curve, it can be said that the displacement curve indicates the surface roughness information of the skin on a straight line having a predetermined length.
  • the height on the skin cross section at each position and the acquisition of the displacement curve from the three-dimensional images in S21 and S22 are analyzed in the software environment (VR-3000 G2 APPLICATION) set in the information processing apparatus 2. -Processed.
  • the displacement curves in FIG. 5 (b) are obtained by scanning the horizontal center line indicated by the arrows in the three-dimensional image of the human skin gel B in FIG. 5 (a) for a distance of 24 mm in the horizontal direction. It shows the skin surface position (cross-sectional height).
  • the displacement curve of FIG. 6 (b) is the lateral skin surface when scanned for a distance of 24 mm in width on the horizontal center line indicated by the arrow of the three-dimensional image of the human skin gel C of FIG. 6 (a). Indicates the position (cross-sectional height).
  • the horizontal axis is the horizontal position on the straight line of the image
  • the vertical axis is the height on the skin cross section, that is, the average cross section of the skin surface. The cross-sectional position of each position with respect to the position is shown.
  • the vibration for presenting (regenerating) the tactile sensation of the skin is based on the acceleration, it is necessary to convert the obtained displacement curve (line roughness curve) into the acceleration curve.
  • step S23 assuming the moving speed when touching the human skin or the skin model, the horizontal axis of the displacement curve on the straight line, which is the surface roughness information, is converted from the distance to the time to obtain the spectrum of the displacement curve. do.
  • the displacement curve indicates the height of the skin surface (height of the skin cross section) at each position on the selected straight line. Therefore, for example, if this curve is arranged on a time axis having a length of about 1 second, it is regarded as a displacement curve of the surface height when a distance of 24 mm is horizontally scanned in 1 s (seconds) by a probe, and the displacement curve. Can be converted to the spectrum of.
  • FIG. 7 (d) shows the spectrum of the displacement curve converted based on the displacement curves of the human skin gels A, B, and C of each age shown in FIGS. 7 (a), (b), and (c).
  • the horizontal axis represents the frequency (Hz) in which 1 second is set as the frequency of 0 to 500 Hz
  • the vertical axis represents the amplification degree (dB). That is, the spectrum of the displacement curve shows the amplitude characteristics at each frequency.
  • the conversion of the displacement curve to the spectrum of the displacement curve was executed by audio software (for example, Audacity (registered trademark)) set in the information processing apparatus 2.
  • step S24 the spectrum of the displacement curve is converted into the spectrum of acceleration.
  • the displacement curve is Fourier transformed
  • the original curve is decomposed into sine waves for each frequency
  • the acceleration equation (2) is obtained by performing the second-order differential calculation of this equation (1).
  • Equation (3) obtained by simply multiplying the equation (1) by the ⁇ 2 element can be obtained. That is, it can be converted into an acceleration waveform by multiplying each frequency component by ⁇ 2 .
  • an equalizer of software for example, Audacity
  • the amplitude is represented by a logarithm, so it is necessary to consider the processing on a log-log graph.
  • dB notation it is as shown in equation (4).
  • the conversion of the displacement curve spectrum to the acceleration spectrum was performed by the equalizer function of the audio software (for example, Audacity) set in the information processing apparatus 2.
  • the equalizer function of the audio software for example, Audacity
  • step S25 the acceleration spectrum is corrected by applying a low-pass filter.
  • FIG. 9B is a graph showing an example of corrected acceleration information converted by applying a low-pass filter to the acceleration spectrum in S25 in the first embodiment.
  • the area where the finger actually contacts the human skin gel is larger than the area of the image where the human skin gel is taken to obtain the above displacement curve, and the contact portion between the finger and the human skin gel is larger. Since it functions as a high-frequency blocking (low-pass, low-pass) filter, there is a divergence in vibration above 150Hz. Therefore, a low-pass filter was applied to bring the acceleration spectrum closer to the actually measured acceleration spectrum.
  • the amplitude of vibration in the range of 150 Hz or more of the acceleration spectrum shown in FIG. 9A is -12 dB by using the low-pass filter function of the audio software (for example, Audacity) set in the information processing apparatus 2. After reduction, the spectrum as shown in FIG. 9B was finally obtained as the corrected acceleration information.
  • the audio software for example, Audacity
  • the corrected acceleration information (vibration data in FIG. 9B) calculated in this way is set in the human skin tactile data as a result of the haptic rendering for reproducing the actual human skin tactile sensation (step S26). ).
  • the human skin tactile data generated in this way is used in the presentation and evaluation of the human skin tactile sensation below.
  • FIG. 10 is a schematic flow showing a human skin touch presentation method using the human skin touch data generated by the human skin touch data generation method of the present invention.
  • the human skin sensation data (acceleration information) generated by the human skin sensation data generation methods of S1 and S2 shown in FIG. 1 is used, and the human skin sensation is presented in step S3. It has a step of presenting it as vibration on the model.
  • the tactile sensation is presented using the human skin tactile sensation data (acceleration information) generated in the data generation step.
  • an evaluation standard may be established in advance, and the tactile sensation may be presented based on the standard. The construction of the evaluation criteria will be described later together with the tactile sensation evaluation method (see FIG. 22).
  • a step of executing the human skin touch data generation method is provided before the presentation step, but the human skin touch data (for example, reference skin) stored in advance is provided.
  • the human skin touch data for example, reference skin
  • S1 and S2 can be omitted, and only the tactile sensation presenting step of S3 is sufficient.
  • FIG. 11 is an external view showing an example of a human skin tactile sensation presenting device that realizes the tactile sensation presenting process of the present invention.
  • the human skin touch presentation device 300 includes a human skin gel 31, a slide volume 32, a PC 33, an amplifier 34, a speaker 35, a propagation plate 36, and a device pedestal 37. ..
  • the human skin gel 31 is a skin model (artificial skin) that imitates a predetermined state of human skin, which is a target to be touched by the finger or artificial finger of the person who experienced the presentation, and expresses the softness similar to human skin. It is an ultra-soft urethane resin (polyurethane skin plate).
  • Bioskin registered trademark
  • Beaulux manufactured by Beaulux
  • the human skin gel 31 is attached and fixed to the propagation plate (propagation member) 36.
  • the human skin gel 31 has an example of being circular, but the human skin gel 31 may have a long shape in the left-right direction.
  • the slide volume 32 is provided above the human skin gel 31 and serves as a finger moving portion for moving the experiencer's finger or the artificial finger at a predetermined moving speed on the human skin gel 31.
  • the slide volume 32 also functions as a movement speed acquisition unit that acquires the movement speed of the finger when the experiencer's finger moves independently.
  • the slide volume 32 has a slide rail 321, left and right columns 322 that support the slide rail, a variable resistor 323 (see FIG. 12), a finger slider 324, and a motor 325.
  • the finger slider 324 is a handle portion composed of a pair of pinching support portions, and when presenting a tactile sensation, the finger or artificial finger of the presenter can be inserted between the pinching support portions, and the finger slider By sliding the 324 left and right, the finger or artificial finger is moved on the human skin gel 31. Alternatively, when a person's finger moves, the finger slider 324 may move together.
  • the resistance value of the variable resistance 323 changes according to the position of the finger slider 324 with respect to the slide rail 321. In other words, if no force is applied from the finger, for example, if the person pinched by the finger slider 324 has relaxed the finger force, or if the finger slider 324 is pinching the artificial finger, the variable resistance 323. By changing the resistance value of, the left and right positions of the finger slider 324 can be moved.
  • the position of the finger and the position of the finger and the change in the resistance value caused by the finger slider 324 moving left and right along the movement of the finger are read by the PC33 in the subsequent stage.
  • the movement speed can be calculated.
  • the slide rail 321 and the finger slider 324, and the variable resistor 323 serve as a movement speed acquisition unit for acquiring the movement speed of the finger when the experiencer's finger moves independently.
  • the motor 325 drives and controls to adjust the resistance value of the variable resistor 323 in order to move the finger slider 324 along the slide rail 321 at a predetermined speed.
  • the motor 325, the variable resistor 323, and the finger slider 324 serve as a finger moving portion when the artificial finger or the experiencer's finger is moved on the device side.
  • the PC 33 is an example of an information processing device connected to the slide volume 32 and the amplifier 34 by wire or wirelessly.
  • the PC 33 controls the speed at which the motor 325 of the slide volume 32 is driven, sets the moving speed of the finger on the human skin gel 31 in the left-right direction, and outputs the strength of vibration according to the moving speed.
  • the PC 33 calculates and obtains the movement speed of the finger based on the position of the finger acquired by the slide volume 32, and outputs the strength of the vibration.
  • the PC 33 has a function of a source signal storage unit that stores a source signal (data for touch of human skin) of vibration associated with the skin quality (tactile sensation) of human skin.
  • the original signal is a signal that is a source of vibration for generating vibration by the speakers 35A and 35B, and is a signal in the form of an audio signal associated with the skin type.
  • the PC 33 outputs to the amplifier 34 information on the strength of the original signal (voice signal) selected according to the skin type to be expressed and the signal strength associated with the movement speed of the finger. That is, the PC 33 is also a vibration adjusting unit that adjusts the strength (amplitude value) of the vibration when the vibration is output according to the original signal according to the moving speed of the finger.
  • the hardware configuration of the PC 33 will be described in detail together with FIG.
  • the amplifier (acoustic amplifier) 34 amplifies the original signal (data for human skin touch) output from the PC 33 according to the intensity information.
  • the speaker 35 is connected to the amplifier 34 and is configured as a pair of left and right speakers 35A and 35B.
  • the speakers 35A and 35B are vibration output units that convert the adjusted audio signal into physical vibration and output it, and vibrate the human skin gel 31 via the propagation plate 36.
  • the speakers 35A and 35B are connected to the amplifier 34 by wire or wirelessly. Further, the speakers 35A and 35B support the propagation plate 36 by sandwiching the speakers 35A and 35B so as to propagate the vibration in a state of being in contact with the propagation plate 36 provided with the human skin gel 31.
  • the speakers 35A and 35B have a circular diaphragm 351 that generates physical vibration, a frame 352 that is a frame surrounding the diaphragm 351 and a support column 353 to which the frame 352 is mounted.
  • a slit 354 which is a notch, is formed at the center of the facing surfaces of the speakers 35A and 35B in the vertical direction from the surface of the diaphragm 351 where vibration is generated toward the back side.
  • the propagation plate 36 to which the human skin gel 31 was attached was inserted into the left and right slits 354, and the speakers 35A and 35B were sandwiched from the left and right by the diaphragm 351. The vibration propagates to the propagation plate 36.
  • the propagation plate 36 is a plate on which the human skin gel 31 is attached to support the human skin gel 31 and the vibration is propagated.
  • the propagation plate 36 is made of, for example, an acrylic plate.
  • the device pedestal 37 that supports the slide volume 32 and the speakers 35A and 35B, it has a fixing plate 371, which is an acrylic plate under the propagation plate 36, a base 372, and a cushioning material 373.
  • the lower ends of the left and right frames 352 of the speakers 35A and 35B are fixed to the upper surface of the fixing plate 371. Further, the lower surface of the fixing plate 371 is attached to the upper surface of the base 372 (device pedestal, device pedestal) via the cushioning material 373. Since the vibrations of the speakers 35A and 35B do not propagate to the base 372 due to the cushioning material 373, even if the human skin tactile presentation device 300 is installed on the desk 9 (see FIG. 23), the vibration is generated on the surface of the desk 9. Is not propagated and is less likely to be scratched.
  • the human skin gel 31 is placed on the back side of the propagation plate 36 at 15 ° C.
  • a heating unit for heating to ⁇ 37 ° C. may be provided.
  • FIG. 12 is a hardware block diagram of the human skin feeling presentation device 300 of FIG.
  • the PC 33 includes a USB interface 301, a memory 302, an operation system 303, a sound controller 304, an audio device connection unit 305, a system bus 306, an input unit 307, a display unit 308, and the like.
  • the input unit 307 is a mouse, a keyboard, a touch pad, a touch panel input surface, etc.
  • the display unit 308 is an LCD (liquid Crystal display), an organic EL display, or the like.
  • USB interface 301 The USB interface 301, the memory 302, the operation system 303, the sound controller 304, the audio device connection unit 305, the input unit 307, and the display unit 308 are connected via the system bus 306.
  • the input unit 307 and the display unit 308 may be separately provided so as to be connected to the main body by the USB interface 301.
  • the USB interface 301 receives the finger position information acquired by the variable resistor 323 of the slide volume 32.
  • the memory 302 stores in advance the original signal (data for human skin touch), which is an audio signal that is the source of vibration according to the human skin, as the original signal storage unit.
  • the method of acquiring the human skin tactile data is acquired by the communication unit (not shown) of the PC 33 transmitting and receiving data to and from the human skin tactile data generation device 100.
  • the data may be transferred from the data generation device 100 for human touch to the PC 33 via a storage medium such as a USB memory or a memory card.
  • the operation system (OS) 303 has, for example, a CPU (Central Processing Unit) 331, an FPGA (Field-Programmable Gate Array) 332, a RAM (Random Access Memory) 333, a ROM (Read Only Memory) 333, and the like.
  • a CPU Central Processing Unit
  • FPGA Field-Programmable Gate Array
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the CPU 331 and FPGA 332 use the RAM 333 as a work area to execute various control programs stored in the ROM 334, and output control commands for controlling various operations in the PC 33.
  • the CPU 331 changes the resistance value of the variable resistance 323 of the slide volume 32 by generating a signal for driving and controlling the motor 325.
  • the motor 325 changes the resistance value of the variable resistance 323 by, for example, PMW (Pulse Width Modulation) and PID (Proportional Integral Differential) control, so that the finger slider 324 is constant at a predetermined moving speed. Set to move along the trajectory. Thereby, the moving speed of the finger or the artificial finger on the human skin gel 31 during the tactile sensation is set.
  • PMW Pulse Width Modulation
  • PID Proportional Integral Differential
  • the OS 303 when the experiencer actively moves the finger, the OS 303, for example, the CPU 331, reads the change in the resistance value of the variable resistance 323 of the slide volume 32, and the movement speed of the finger on the human skin gel 31 during the tactile presentation. Is calculated from the time derivative of the position.
  • the FPGA 332 calls the original signal stored in the memory 302.
  • the sound controller 304 adjusts the volume of the called original signal (data for human skin touch) according to the movement of the finger. For example, the adjustment is made so that the finger does not vibrate while it is stationary, but vibrates after the finger starts to move, and outputs an audio signal whose amplitude increases as the movement speed increases.
  • the audio device connection unit 305 is a terminal connected to the amplifier 34, and outputs an audio signal adjusted by the sound controller 304 to the amplifier 34.
  • the sound controller 304 and the audio device connection unit 305 function as a vibration adjustment unit that outputs the adjustment amount of the amplitude of the waveform of the original signal and the original signal (data for human skin touch) which is the movement speed of the finger and the voice signal.
  • the PC 33 outputs a waveform (voice signal) in which the human skin tactile sensation data is adjusted according to the movement speed of the finger to the amplifier 34, and the speakers 35A and 35B use the speakers 35A and 35B.
  • the adjusted voice signal is converted into physical vibration and output, and the human skin gel 31 is vibrated as a tactile sensation via the propagation plate 36 to reproduce a virtual texture.
  • FIG. 13 is a diagram showing a state in which a plurality of types of human skin gels are directly touched with a finger for discrimination.
  • A is a human skin gel imitating the skin in the 20s
  • B is the human skin gel imitating the skin in the 40s
  • C is the human skin gel imitating the skin in the 70s.
  • FIG. 14 is a diagram showing a skin type discrimination result when the human skin gel is directly touched with a finger.
  • the correct answer rate for each of the samples A, B, and C was 80% or more, which means that the textures (tactile sensations) of the three skin samples A, B, and C were so different that the subjects could distinguish them.
  • Example 2 In Experiment 1, the subject directly touched the skin sample to be discriminated, but in Experiments 2 and 3, it was reproduced using the vibration data generated in advance on the human skin gel 31 of the human skin tactile presentation device 300. An experiment was conducted to verify whether the virtual textures could be correctly identified.
  • the human skin gel 31 is a human skin gel having a different tactile sensation from the samples A, B, and C.
  • the experimenter acquires three-dimensional images of skin samples A, B, and C in advance according to the data generation method for human skin tactile sensation of the present invention, and generates data based on the three-dimensional images. Then, three human skin tactile data (vibration data) simulating each of the skin samples A, B, and C are acquired.
  • the vibration data is stored in the human skin touch presentation device 300.
  • FIG. 15A is a diagram illustrating a state in which vibration data is created by acquiring an image of a skin sample by the data generation method for human skin tactile sensation of the present invention.
  • FIG. 15B is a diagram showing a state in which the vibration data generated based on the image acquired as shown in FIG. 15A is presented as a tactile sensation by the human skin tactile sensation presenting device 300.
  • the subject searches for three actual skin samples A, B, and C as shown in FIG. 13, and the virtual answer of any of A, B, and C is reproduced by the immediately preceding human skin tactile presentation device 300. I was instructed to select the sample closest to the texture.
  • This experiment was carried out twice by changing the samples presented in each subject so that the number of presentations of each sample was substantially equal.
  • FIG. 16 is a diagram showing a skin type discrimination result when a tactile sensation is presented by a human skin tactile sensation presenting device using the vibration data generated by the method of the present invention.
  • the correct answer rate of each sample exceeded 70%.
  • Experiment 3 As a method for generating data for human skin sensation according to a comparative example, an artificial finger AF was previously sandwiched between a finger slider 324 in a human skin sensation presenting device 300, and an accelerometer ⁇ was attached to the upper surface of the artificial finger AF. Skin samples A, B, and C are set on the propagation plate 36 as human skin gel. Then, the acceleration data when the artificial finger AF is in contact with the skin samples A, B, and C and the artificial finger is moved at a predetermined moving speed by the slide volume 32 is measured.
  • FIG. 17A is a diagram illustrating, as a comparative example, a state in which vibration data is created by touching a skin sample with an artificial finger AF to which an accelerometer ⁇ is attached in a human skin touch presentation device 300. be.
  • FIG. 17B is a diagram showing a state in which the vibration data generated based on the acceleration data acquired as shown in FIG. 17A is presented as a tactile sensation by the human skin tactile sensation presenting device 300.
  • the subject searched for three actual skin samples A, B, and C as shown in FIG. 13, and the answer of any of A, B, and C was used to present the immediately preceding human skin feeling.
  • the device 300 was instructed to select the sample closest to the reproduced virtual texture.
  • FIG. 18 is a diagram showing the skin type discrimination result when the tactile sensation is reproduced by the human skin tactile sensation presenting device using the vibration data generated by the method of the comparative example.
  • an image of the skin was acquired by the method of the comparative example, data for human skin touch was generated, and in the presented virtual texture, the correct answer rate of each sample was about 50%. .. And as the skin sample becomes coarser, the percentage of correct answers decreases. Especially in sample C, the correct answer rate has dropped to 45%, and when looking at the correct answer rate in sample B and sample C, the subject has a smoother virtual texture than the sample corresponding to the presented vibration data. It turns out that they tend to perceive.
  • the correct answer rate of each sample of the presented virtual texture is higher in FIG.
  • the difference in the correct answer rate between the sample A having the highest correct answer rate and the sample B having the lowest correct answer rate is 10%
  • the incorrect answer rate of the sample B is the sample C having the roughest skin. Is higher than. Therefore, it can be said that the method of the present invention raises the reproduction rate of the virtual texture as a whole and reduces the tendency to misunderstand rough skin as smooth skin.
  • the difference in tactile sensation can be measured more accurately by acquiring an image of the skin, and the error due to the characteristics of the toucher can be minimized. It can be said that it has become possible to generate data for human skin tactile sensation that can be shared by multiple people, has high reproducibility, and has high readableness of differences in tactile sensation.
  • FIG. 19 is a functional block diagram of the human skin tactile data generation device according to the second embodiment of the present invention.
  • the human skin tactile data generation device 400 includes a two-dimensional photographing means 4 which is an image acquisition unit and an information processing device 5 which is a data generation unit.
  • the two-dimensional photographing means 4 acquires an image of human skin or skin that is a skin model.
  • the two-dimensional photographing means 4 is a means capable of photographing a two-dimensional image such as a skin color or a UV photograph, for example, a photographing terminal dedicated to skin photographing in which the amount of light can be set, or a microscope (skin surface). It is a texture analysis imaging device, a pore shape analysis imaging device), or a camera mounted on a smartphone or the like.
  • the information processing device 5 uses the acquired skin image to generate data for human skin tactile sensation estimated as vibration generated when the human skin or skin model is touched.
  • the information processing device is, for example, a PC capable of operating predetermined software, a dedicated two-dimensional skin image analysis device, or the like.
  • the information processing apparatus 5 includes a brightness information calculation unit 51, a surface roughness information acquisition unit 52, an acceleration information conversion unit 53, and a human skin touch data output unit (output unit) 54. Have feasible.
  • the luminance information calculation unit 51 calculates the luminance of each position on the skin surface in the two-dimensional image of the human skin or the skin model by using the luminance extraction software or the like.
  • the surface roughness information acquisition unit 52 has a luminance / cross-section height conversion unit 521 and a displacement curve acquisition unit 522.
  • the brightness / cross-section height conversion unit 521 calculates the surface height of the skin (height of the skin cross-section) at each position in the two-dimensional image based on the brightness.
  • the displacement curve acquisition unit 522 assumes a case where the straight line of the two-dimensional image is scanned for a predetermined distance, and the brightness of the skin surface on the straight line in the two-dimensional image is measured at each position on the straight line with the horizontal axis as the distance.
  • the displacement curve on a straight line converted to the height of the cross section of the skin is acquired as surface roughness information.
  • the acceleration information conversion unit 53 has the same function as the acceleration information conversion unit 22 shown in FIG. 2, and converts the skin surface roughness information acquired by the surface roughness information acquisition unit 52 into acceleration information. ..
  • the acceleration information conversion unit 53 includes a displacement spectrum conversion unit 531, an acceleration spectrum conversion unit 532, and an acceleration information correction unit 533.
  • the output unit 54 sets the acceleration information converted by the acceleration information conversion unit 53 as human skin tactile data (data for expressing human skin) and outputs it.
  • FIG. 19 shows a configuration in which the functions of the luminance information calculation unit 51, the surface roughness information acquisition unit 52, the acceleration information conversion unit 53, and the output unit 54 are realized by one information processing device 5. , These arithmetic functions may be executed by using two or more information processing devices.
  • FIG. 20 is a detailed flow of the data generation process according to the second embodiment. Only the differences from the flow of FIG. 3 will be described.
  • the brightness information of the skin surface is calculated from the two-dimensional skin image acquired in S201.
  • the surface roughness information is estimated based on the skin brightness information.
  • the displacement curve is acquired from the skin surface roughness information calculated based on the luminance information in S203, assuming that the image is scanned in a direction on a straight line. Specifically, assuming that the straight line of the two-dimensional image is scanned for a predetermined distance, the brightness of the skin surface on the straight line in the two-dimensional image is the height of the cross section of the skin at each position on the straight line with the horizontal axis as the distance.
  • the displacement curve on a straight line converted into a height is acquired as surface roughness information.
  • (a) is an example of a luminance image of human skin
  • (b) and (c) are examples of displacement curves using luminance calculated in the second embodiment.
  • the luminance information of each position on the straight line of the two-dimensional image is replaced with the cross-sectional height of the skin surface.
  • the luminance information is obtained for each pixel as shown in FIG. 21 (b), so that the luminance for each pixel is replaced with the cross-sectional height of the skin surface.
  • the horizontal axis represents pixels and the vertical axis represents luminance.
  • the brightness 1 is obtained by subtracting the average brightness value of the analysis area from the brightness value of each pixel and taking the difference. Assuming a cross-sectional height of 4 ⁇ m, each luminance value was multiplied by 4 for conversion.
  • the brightness change from the average value is converted as the brightness 1 is 4 ⁇ m, but the relationship between the actual brightness value and the roughness is that of the lighting. It seems to change depending on how to hit and the distance to the camera. Therefore, when the same conversion formula is used, it is preferable to set the lighting method and the distance / angle between the subject and the camera to be constant.
  • the average value of the brightness is set to the cross-sectional height of the skin surface of 0.
  • the median value of the spread of the brightness or The mode may be set to a cross-sectional height of 0 on the skin surface.
  • the conversion from the luminance information to the height of the skin surface may use any conversion formula as long as the conditions are consistent among the skins to be compared. Further, the conversion formula may be changed each time the shooting conditions are changed.
  • the horizontal axis of the graph of the luminance for each pixel in FIG. 21 (b) is rearranged to the length in FIG. 21 (c).
  • a two-dimensional image can be converted to the height of the skin surface via luminance to obtain data for human skin touch. Therefore, if the data generation device for human touch has software that can acquire the brightness of the image on the data generation unit side, it is possible to obtain the brightness of the image without using an expensive three-dimensional photographing means, for example, a smartphone camera or the like.
  • An image can be acquired using a general-purpose camera, and data for human skin sensation can be generated based on the image.
  • the skin information provider such as the subject is not present and there is no high-performance camera, the data for human skin touch can be generated. Therefore, in this embodiment, the burden on the subject is reduced. It is easy to put into practical use, and it is possible to realize a more familiar data generation device for human skin.
  • Modification 1 In addition, in FIGS. 20 and 21, an example of calculating through brightness information as a step of acquiring skin roughness information from a two-dimensional image in the data generation method for human skin tactile sensation of the present invention has been described. By acquiring a special two-dimensional image, data may be generated without intervening brightness.
  • a two-dimensional UV camera for example, Visioscan (registered trademark): a two-dimensional skin surface texture analyzer
  • a processing terminal attached to the UV camera is used to sharpen the skin surface morphology taken with UV.
  • the state of "texture (texture) / fine wrinkles" is extracted based on the various images.
  • the displacement curve may be calculated by an information processing terminal different from the dedicated calculation terminal based on the extracted texture / fine wrinkle state.
  • the roughness information of the skin is acquired from the two-dimensional image
  • the unevenness information of the skin is acquired by interfering with light at the time of taking the two-dimensional image.
  • the unevenness information of the skin may be acquired by moving the focus when taking a two-dimensional image, or the unevenness information of the skin may be acquired by taking a confocal (confocal) when taking a two-dimensional image.
  • FIG. 22 is a schematic flowchart showing a human skin touch evaluation method including the human skin touch data generation method of the present invention.
  • the skin that is the subject of the image is the actual skin of the subject, the customer, or the like this time.
  • step S102 as in S2 of FIG. 1, acceleration information is acquired as human skin tactile data based on the skin surface roughness information.
  • step S103 the preset evaluation criteria are called (evaluation criteria reference process).
  • the tactile sensation of the acquired image is evaluated / estimated by comparing the generated human skin tactile sensation data with the evaluation criteria (evaluation process).
  • the tactile sensation of the skin is evaluated using the data (acceleration information) generated in the data generation step. Therefore, as a precondition for evaluation, it is preferable to establish an evaluation standard in advance and perform evaluation based on the standard.
  • the acceleration calculated from the surface roughness information of the image of the skin (or human skin model) for setting the reference with different surface conditions or the image of a plurality of human skin gels having different characteristics set Get information.
  • Standard-setting skin refers to skin that has already been characterized and is not unknown.
  • the acceleration information calculated from the surface roughness information detected by the same method for the unknown skin is compared with the above-mentioned relation (database) constructed in advance. Thereby, the sensory evaluation value of the tactile sensation in the unknown skin can be estimated.
  • the relationship (evaluation criteria) between the values related to the magnitude and characteristics of the vibration of the human skin tactile data and the sensory evaluation can be constructed, for example, as follows.
  • the human skin tactile data (acceleration spectrum when scanning a certain distance) is according to the human skin tactile data generation method of the present invention. ) To investigate the relationship with sensory evaluation.
  • an image (three-dimensional or two-dimensional image) is acquired according to the data generation method for human skin tactile sensation of the present invention, and data is obtained based on the image.
  • a plurality of human skin tactile data (acceleration information) that imitate each of the known skin models are acquired.
  • a fast Fourier transform (FFT) is performed on the acquired acceleration information, and an amplitude spectrum having a frequency from 0 Hz to 500 Hz is calculated.
  • the average value of the calculated amplitude spectrum is obtained for each frequency of 50 Hz, and the statistical model is estimated with the average value of this spectrum as an independent variable (vibration feature amount).
  • the number of skins or skin samples for setting a plurality of criteria used for constructing the evaluation criteria is at least 10 or more, and the larger the number of samples, the more preferable.
  • a statistical model for estimating the degree of skin moistness, skin smoothness, etc. is calculated.
  • “Moist” skin means that there is no stickiness (excessive oil content) or dryness (dryness) and the skin has an appropriate amount of water (moisturized state), and the skin is "smooth". Refers to skin with open pores as a tactile sensation, less noticeable acne, and a well-textured skin surface morphology.
  • the sensory evaluation such as “moist” and “smooth” for this skin is an example, and for example, as another example, the skin condition based on a skin moisture meter and a skin oil content meter was numerically evaluated.
  • Statistical models may be calculated.
  • the virtual texture presented by the above-mentioned human skin touch presentation device 300 may be subjected to sensory evaluation for the evaluation items of a person (specialized panel).
  • the sensory evaluation by the above-mentioned specialized panel can also be an evaluation of the tactile sensation of the skin that is felt when the virtual texture presented by the human skin tactile sensation presenting device 300 is experienced.
  • the sensory evaluation value by this panel is preferably an arithmetic mean value of 10 or more people, and it is more preferable that the number of people who evaluate to take the average of the arithmetic mean values is larger.
  • the statistical model and sensory evaluation obtained as described above serve as evaluation criteria for evaluating the reproducible tactile sensation of the skin.
  • evaluation criteria can be established for each of a plurality of known skins (reference skins).
  • human skin tactile data acceleration information
  • sensory evaluation is performed by a specialized panel
  • evaluation criteria can be established for each of a plurality of known skins (reference skins)
  • estimation criteria can be established for each of a plurality of known skins (reference skins)
  • evaluation criteria can be established.
  • Estimate the sensory evaluation score of the human skin tactile data of unknown skin by acquiring the data based on the human skin tactile data (acceleration information) detected for unknown skin and applying it to the constructed evaluation criteria. be able to.
  • the generation of the human skin tactile data for unknown skin is performed under the same conditions as the human skin tactile data generation of the present invention performed when obtaining the evaluation criteria.
  • FIG. 23 is a block diagram of a human skin touch evaluation device that realizes the human skin touch evaluation method of the present invention.
  • the human skin touch evaluation device 600 includes a three-dimensional photographing means 1 which is an image acquisition unit and an information processing device 6 which is a data generation / evaluation unit.
  • FIG. 23 shows an example in which the human skin touch evaluation device 600 realizes from image acquisition to data generation for human skin touch by the method of the first embodiment, but the human skin touch evaluation device of the present invention is an image acquisition.
  • To the generation of data for human skin touch may be realized by the method of the second embodiment or the method of the comparative example.
  • the three-dimensional photographing means 1 acquires a three-dimensional image of human skin or skin that is a skin model.
  • the information processing device 6 uses the acquired skin image to generate and evaluate human skin tactile data estimated as vibration generated when the human skin or skin model is touched.
  • the information processing device 6 is, for example, a PC capable of operating predetermined software, a dedicated three-dimensional skin image analysis device, or the like.
  • the information processing apparatus 6 has a surface roughness information acquisition unit 61, an acceleration information conversion unit 62, a reference data storage unit 63, an evaluation unit 64, and an evaluation result output unit 65 in an executable manner. There is.
  • the surface roughness information acquisition unit 61 acquires the skin surface roughness information from the skin image in the same manner as the surface roughness information acquisition unit 21 shown in FIG. Specifically, the surface roughness information acquisition unit 61 has a surface roughness extraction unit 611 that extracts the surface roughness of the skin from a three-dimensional image of the skin, and a displacement curve acquisition unit 612 that acquires the displacement curve.
  • the acceleration information conversion unit 62 converts the skin surface roughness information into acceleration information.
  • the acceleration information conversion unit 62 includes a displacement spectrum conversion unit 621, an acceleration spectrum conversion unit 622, and an acceleration information correction unit 623.
  • the reference data storage unit 63 which is a storage unit, sensories the acceleration information of a plurality of types of skin associated with the plurality of types of human skin or skin models in which the characteristics are set as the reference of the tactile sensation of the skin. Store it in advance as an evaluation standard.
  • the evaluation unit 64 is based on the relationship between the acceleration information calculated from the current skin image calculated by the acceleration information conversion unit 62 and the sensory evaluation that is the standard of the tactile sensation of the skin stored in the reference data storage unit 63. Evaluate the feel of your skin.
  • the evaluation result output unit (evaluation output unit) 65 is a display unit or a notification unit, and outputs the evaluation result of the skin this time by displaying or transmitting.
  • the functions of the surface roughness information acquisition unit 61, the acceleration information conversion unit 62, the reference data storage unit 63, the evaluation unit 64, and the evaluation result output unit 65 are realized by one information processing device 6. However, these arithmetic functions may be executed by using two or more information processing devices. Further, the reference data storage unit 63 may be realized by a recording medium separate from the information processing apparatus that performs the calculation.
  • a human skin tactile device of the present invention by using the human skin tactile sensation data generated as described above for evaluation, a skin sensation that can be shared by a plurality of people without actually touching the skin can be obtained. , There are few errors, the readability is high, and it can be evaluated.
  • FIG. 24 is a schematic diagram in which a beauty advisor presents skin quality to a customer using the human skin touch evaluation / presentation device 700 of the present invention in counseling.
  • FIG. 24 shows an example in which each member of the human skin touch evaluation / presentation device 700 is connected by wire, each member may be wirelessly connected by short-range communication.
  • either a three-dimensional image or a two-dimensional image may be acquired as the skin image, and the human skin touch data is generated by any of the methods of the first embodiment, the second embodiment, and the modified example. You may.
  • the human skin touch presentation data corresponding to the original signal of the vibration corresponding to a plurality of skins in advance is acquired and stored in the PC 33.
  • the beauty advisor BA selects the skin quality to be presented to the subject S (customer) so as to reproduce the feel of the bare skin or the feel of the skin after application of cosmetics, beauty agents, oils, etc. Enter. Then, in the presentation mechanism 30 of the human skin touch evaluation / presentation device 700, data for human skin touch presentation, which is a source signal of vibration, is set according to the selected skin type and propagated to the finger of the subject (customer). Vibration is exhibited via the plate 36 and the human skin gel 31.
  • the beauty advisor BA reproduces the current skin condition of the current subject by the presentation mechanism 30 of the human skin touch evaluation / presentation device 700 by acquiring the image of the skin of the subject who is the customer. Present to your finger.
  • the beauty advisor BA acquires the image of the skin of the subject who is the customer by the image acquisition unit 1, and thereby evaluates the current skin condition of the current subject by the evaluation mechanism 60 of the human skin touch evaluation / presentation device 700. Evaluate and display the evaluation result to the subject. Alternatively, if the beauty advisor's tactile judgment level is immature, or if the beauty advisor cannot directly touch the customer's skin due to corona measures, as a support, display the tactile score using the evaluation criteria together with the tactile presentation. Is also valid.
  • the ideal skin or the condition of the desired skin may be reproduced by the presentation mechanism 30 and presented to the subject's finger.
  • a state that can be realized by using a specific cosmetic is, for example, a reference solution R dropleted on a human skin gel, reproduced by the presentation mechanism 30, and presented to the finger of the subject.
  • the surface changes over time for example, it melts at body temperature over time when the cosmetic is used, the skin after 10 minutes, 20 minutes, and 30 minutes can be treated even if it does not reach that time. It can be reproduced and presented by a human skin touch presentation device.
  • the beauty advisor can give advice corresponding to the reproduced skin quality, and can actively promote purchasing.
  • the human skin touch evaluation / presentation device 700 of the present invention shown in FIG. 24 shows an example proposed by the beauty advisor to the customer, but the human skin touch evaluation / presentation device 700 is used for training of the beauty advisor. You may.
  • the image acquisition unit 1 practices shooting, further presents the tactile sensation of the reference skin quality, answers the tactile sensation, and also has an evaluation score indicating the matching rate. By displaying it, it becomes a training of the tactile sensation of the fingertips of the beauty advisor.
  • the human skin touch evaluation / presentation device 700 was realized by a wired connection or a short-distance connection at one place, but the function included in the human skin touch evaluation / presentation device 700 is a system. It may be realized remotely via a network.
  • FIG. 25 is a schematic diagram of a human skin touch evaluation / presentation system using the human skin touch evaluation method of the present invention.
  • the subject took a picture with a camera mounted on a general smartphone, tablet, mobile phone, etc. as an image acquisition / communication terminal 81, and acquired the image via network N.
  • the data for human skin touch is generated by the method of the second embodiment.
  • the advice PC 82 calculates human skin tactile data based on the skin image information transmitted from the subject's image acquisition / communication terminal 81, and refers to the correlation between the stored evaluation criteria and the vibration tactile sensation. Then, a comment such as advice is sent to the image acquisition / communication terminal 81 of the subject S.
  • the advice PC 82 may be manually operated by the beauty advisor BA, or the advice software may be incorporated inside the advice PC 82 and programmed to automatically respond.
  • the view divisor BA provides remote counseling, it is not necessary to refer to the evaluation criteria because the tactile sensation can be known by outputting the unknown skin vibration information by the presentation mechanism 30B.
  • the analysis PC83 has built-in tabulation software that collects and analyzes the response results from the subjects.
  • the advice PC 82 and the analysis PC 83 may be used in combination.
  • the input terminal 84 of the human skin feeling evaluation / presentation system 800 of the present invention in a public space such as a shopping center or a resting place, it may be possible to use it without a beauty advisor.
  • the dedicated input terminal 84 either the three-dimensional image or the two-dimensional image may be acquired by the image acquisition unit 1, and the method of the first embodiment, the second embodiment, or the modified example may be used. Data for human touch may be generated.
  • the input terminal 84 which is arranged in a public space and is connected to the image acquisition unit 1 and the presentation mechanism 30A, has built-in functions of the information processing device 6 of the human skin touch evaluation device 600 and the PC 33 of the human skin touch presentation device 300.
  • the vibration (data for human touch) based on the image acquired this time can be calculated immediately.
  • the condition of one's own skin this time is presented by the presentation mechanism 30A
  • the reference human skin touch reproduction data which is the evaluation standard is presented by the presentation mechanism 30A
  • the evaluation is performed using the data for human skin touch this time. It is possible to output the evaluation result compared with the standard.
  • the input terminal 84 has a built-in guidance program or a built-in advice program so that it can be used comfortably without a beauty advisor.
  • the accumulated data of the skin conditions of a plurality of subjects accumulated in the input terminal 84 is transferred to the analysis PC 83 via the network N at predetermined intervals, and is analyzed by the cosmetics developer CR. Can be utilized in.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

人肌触感用データ生成方法は、人肌又は肌モデルである肌の画像を取得する工程と、取得した前記肌の画像を用いて、前記人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成する工程と、を有する。

Description

人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法
　本発明は、人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法に関する。
　人肌の評価方法として、従来から、肌を撮影しその皮膚表面のパターンを画像解析することで、見た目の肌の状態を評価することが知られている。
　近年、化粧品の分野では、複数の人が肌の状態を共有できる触感デバイスが望まれているが、従来のように皮膚の２次元のパターンの画像解析をするだけでは、画像から加速度情報（振動）に変換することは想定されておらず、人が共有できる肌の触感を再現することは難しかった。
　一方、同じ素材でも違った質感を呈示するために、接触素材に深さ方向の振動を加えることで、指先で素材を触れる際の触感を変化させることができる触感再現デバイスが提案されている（例えば、非特許文献１）。
　しかし、非特許文献１では、表面が変化しない硬い接触素材について検討されているが、肌の場合は素材自体が変形する柔らかさや粘弾性があるため、変化しない接触素材に対する振動による触感の再現を肌モデルに対して適用すると、再現した触感に誤差が生じてしまう。
　また、非特許文献２では、指で感じる柔らかい肌の触感を分析するため、指と人工皮膚モデルの摩擦について考察し、指と、接触対象となる人工皮膚モデルの表面硬度の大小により、接触面積と垂直抗力の変化の傾向が異なることが示されている。
　さらに、特許文献１では、化粧料が塗布された肌を評価するため、評価基準として、指で肌に触れた際の振動を振動センサで計測し、化粧料の塗布触感の官能評価と計測した振動の周波数変化とを対応づけて関係性を予め構築しておくことが提案されている。
ＷＯ２０１９／０３０８０３号公報
浅野修平、岡本省吾、山田洋二。振動触覚刺激によるテクスチャの粗さの増加と減少.IEEE Trans.Human-Mach.Syst.45, 393-398, 2015. 井上公輝, 岡本省吾, 秋山康弘, 山田洋二, 指先と乾燥・潤滑性関節皮膚との摩擦に及ぼす材料硬度の影響, IEEE Transactions on Haptics, vol.13, no.1, pp.123-129, 2020
　ここで、非特許文献２の摩擦の技術を、肌の触感の再現に適用しようとすると、指と接触対象との表面硬度の大小で場合分けしなければならず、人はそれぞれ指先の表面硬度が異なるため、複数の人の間で様々な肌の触感を共有させることは難しかった。
　また、特許文献１の方法では、振動センサを用いて指で実際に肌に触れた際の振動を評価基準のサンプルとして収集したが、収集した振動は、触れる人の特性（指の硬さや触り方）の影響が出てしまうおそれがあった。
　そこで、本発明は上記事情に鑑み、人肌に触れることなくかつ特別な触感センサを用いることなく人肌の情報を収集し、触れる人の特性による誤差を最小限にできる、複数の人で共有可能な人肌触感用データを生成する、人肌触感用データ生成方法を提供することを目的とする。
　上記課題を解決するため、本発明の一態様では、
　人肌又は肌モデルである肌の画像を取得する工程と、
　取得した前記肌の画像を用いて、前記人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成する工程と、を有する
　人肌触感用データ生成方法、を提供する。
　一態様によれば、複数の人で共有可能な人肌触感用データを生成する人肌触感用データ生成方法において、人肌に触れることなくかつ特別な触感センサを用いることなく人肌の情報を収集し、触れる人の特性による誤差を最小限にできる。
本発明の人肌触感用データ生成方法を示す概略フロー。 本発明の第１実施例に係る人肌触感用データ生成装置の機能ブロック図。 第１実施例に係るデータ生成工程の詳細フロー。 人肌ゲルの撮影範囲と、２０代を模した人肌ゲルの３次元画像と、第１実施例のＳ２１，Ｓ２２で算出する変位曲線の例。 ４０代を模した人肌ゲルの３次元画像と、第１実施例のＳ２１，Ｓ２２で算出する変位曲線の例。 ７０代を模した人肌ゲルの３次元画像と、第１実施例のＳ２１，Ｓ２２で算出する変位曲線の例。 第１実施例において、Ｓ２３で、変位曲線の横軸を距離から時間軸に変換した変位曲線の周波数スペクトルの例を示すグラフ。 第１実施例において、Ｓ２４で、変位曲線のスペクトルを加速度に変換した加速度スペクトルの例を示すグラフ。 第１実施例において、Ｓ２５で加速度のスペクトルにローパスフィルターをかけて変換した補正後加速度情報の例を示すグラフ。 本発明の人肌触感用データ生成方法で生成した人肌触感用データを用いた、人肌触感呈示方法を示す概略フロー。 本発明の触感呈示工程を実現する人肌触感呈示装置の一例を示す外観図。 図１１の人肌触感呈示装置のハードウェアブロック図。 複数の種類の人肌ゲルを、判別のために指で直接触れている状態を示す図。 人肌ゲルを指で直接触れた場合の、肌種判別結果を示す図。 本発明の画像取得を含む人肌触感用データ生成方法で振動データを作成し、人肌触感呈示装置で、その振動データを触感として呈示している状態を示す図。 本発明の方法で生成した振動データを用いて、人肌触感呈示装置で触感を呈示した場合の、肌種判別結果を示す図。 比較例として、人肌触感呈示装置において、加速度計αが取り付けられた人工指ＡＦを皮膚サンプルに触れさせることで振動データを作成し、人肌触感呈示装置で、その振動データを触感として呈示している状態を示す図。 比較例の方法で生成した振動データを用いて、人肌触感呈示装置で触感を再現した場合の、肌種判別結果を示す図。 本発明の第２実施例に係る人肌触感用データ生成装置の機能ブロック図。 第２実施例に係るデータ生成工程の詳細フロー。 人肌の輝度画像の一例と、第２実施例のＳ２０１，Ｓ２０２，Ｓ２０３で算出する輝度を用いた変位曲線の例。 本発明の人肌触感用データ生成方法を含む人肌触感評価方法を示す概略フローチャート。 本発明の人肌触感評価方法を実現する人肌触感評価装置のブロック図。 ビューティーアドバイザーが、カウンセリングにおいて、本発明の人肌触感評価装置を用いて、カスタマーに肌質を呈示している模式図。 本発明の人肌触感評価方法を用いた人肌触感評価・呈示システムの概略図。
　以下、図面を参照して本発明を実施するための形態について説明する。下記、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
　本発明は、人肌触感用データ生成方法、即ち、人肌触感をレンダリング（rendering）する（表現する、再現する、再生する、呈示する）データの生成方法に関する。また、本発明は、該人肌触感用データ生成方法を用いた、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法に関する。
　本明細書における、「人肌触感」とは、人間の肌（皮膚）を、指や掌等でなでたり擦ったりして触れたときに、指や掌に感じられる感覚を意味している。
　＜人肌触感用データ生成方法＞
　図１は、本発明の人肌触感用データ生成方法を示す概略フローである。
　図１に示すように、本発明の人肌触感用データ生成方法では、まず、ステップＳ１で、肌の画像を取得する（画像取得工程）。画像を取得する「肌」には、実際の人肌に加えて、肌レプリカ（人肌の表面の凹凸を再現した硬質の人工皮膚）、人肌ゲル（人肌の表面及び柔らかさを表現した軟質の人工皮膚）等の肌モデルも含まれる。また、実際の人肌は、素肌であってもよいし、あるいは特定の化粧料を塗布した後の肌であってもよい。
　また、画像を取得する手段としては、後述する第１実施例では、３次元画像が取得できる３次元撮影手段であり、第２実施例では、２次元画像が取得できる２次元撮影手段である。また、変形例として、ＵＶ２次元画像を撮影可能な２次元撮影手段、光干渉２次元画像を撮影可能な２次元撮影手段、焦点を調整した２次元撮影手段であってもよい。
　そして、ステップＳ２で、取得した肌の画像を用いて、人肌触感用データを生成する（データ生成工程）。
　ここで、人肌触感用データとは、肌（人肌又は肌モデル）に触れたときに生じる振動として推定される、指や掌当に感じられる触感データである。また、人肌触感用データは、触感を呈示する際の仮想テクスチャの元データとなる振動データ（呈示用データ（再現用データ、表現用データ、レンダリングされたデータともいう））であるとともに、評価の際に評価基準等との比較に使用される比較用データである。
　本発明では、ステップＳ２のデータ生成工程の詳細として、第１実施例、第２実施例及び変形例について説明する。下記、図１の人肌触感用データ生成方法を実現可能な装置の一例について説明する。
　＜第１実施例の人肌触感用データ生成装置＞
　図２は、本発明の第１実施例に係る人肌触感用データ生成装置の機能ブロック図である。
　図２に示すように、第１実施例に係る人肌触感用データ生成装置１００は、画像取得部である３次元撮影手段１と、データ生成部である情報処理装置２とを備えている。
　３次元撮影手段１は、人肌又は肌モデルである肌の画像を取得する。本実施例では、３次元撮影手段１は、３次元顕微鏡（例えばレーザー生体顕微鏡）、超音波断面画像装置等、３Ｄカメラ等の、生体の肌又は人工の肌モデルである肌の３次元画像が撮影できる手段である。
　情報処理装置２は、取得した肌の画像を用いて、人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成する。情報処理装置２は、例えば、所定のソフトがインストールされたＰＣ（personal　Computer）や、専用の３次元皮膚画像解析装置である。
　そして、本実施例に係る情報処理装置２は、表面粗さ情報取得部２１と、加速度情報変換部２２と、人肌触感用データ出力部２３（以降、単に出力部とする）とを実行可能に有している。
　表面粗さ情報取得部２１は、肌の画像から、肌の表面粗さ情報を取得する。詳しくは、表面粗さ情報取得部２１は、肌の３次元画像から各位置における肌の表面粗さ（肌断面上の高さ）を抽出する表面粗さ抽出部２１１と、所定の直線上の各位置における表面粗さ（肌断面上の高さ）の情報をつなげた変位曲線を取得する変位曲線取得部２１２を有している。
　加速度情報変換部２２は、表面粗さ情報取得部２１で取得した肌の表面粗さ情報を、加速度情報に変換する。加速度情報変換部２２は、変位スペクトル変換部２２１と、加速度スペクトル変換部２２２と、加速度情報補正部２２３とを有している。これらの機能の詳細は、後述の図３とともに後述する。
　出力部２３は、加速度情報変換部２２で算出した加速度情報を、人肌触感用データ（人肌表現用データ）として設定して出力する。
　なお、図２では、表面粗さ情報取得部２１と、加速度情報変換部２２と、出力部２３の機能を、１つの情報処理装置２で実現する構成を示したが、これらの演算機能を、２つ以上の情報処理装置を用いて実行してもよい。
　（第１実施例のデータ生成工程）
　図２に示す情報処理装置２で実行可能なデータ生成工程の詳細について、図３～図９を用いて説明する。図３は、第１実施例に係るデータ生成工程の詳細フローである。
　図１の情報処理装置２は、データ生成工程として、肌の画像から肌の表面粗さ情報を取得する工程（Ｓ２１、Ｓ２２）と、肌の表面粗さ情報を加速度情報に変換する工程（Ｓ２３、Ｓ２４、Ｓ２５）と、加速度情報を人肌触感用データに設定する工程（Ｓ２６）と、を実行可能である。
　ここで、本願の発明者らは、２０代を模した人肌ゲルのサンプルＡ、４０代を模した人肌ゲルのサンプルＢ、７０代を模した人肌ゲルＣを用いて、人肌触感用データを生成した。図４～図９は各工程の段階で生成されるデータを示している。
　なお、サンプルＡ，Ｂ，Ｃとなる人肌ゲルとは、肌の所定の状態を模した皮膚モデル（人工皮膚）の一例であって、人肌そっくりの柔らかさを表現する超軟質ウレタン樹脂である。以下演算で使用した人肌ゲルは、バイオスキン（登録商標）（ビューラックス社製）であった。
　詳しくは、本実施例において図１に示す肌の画像を取得する工程では、図２に示す３次元撮影手段１の一例であるレーザー顕微鏡で、肌の画像として、人肌又は肌モデルの表面の３次元画像を取得している。
　以下、画像を取得するレーザー顕微鏡の一例として、レーザー走査により試料表面の特定領域の３次元画像を取得する３次元計測顕微鏡（VR-3100、キーエンス）を用いて、それぞれ人肌ゲル上において、横２４ｍｍ、縦１８ｍｍの範囲の３次元画像を取得した。図４（ａ）は、人肌ゲルのサンプルＡ上の撮影領域と水平中心線を示す図である。水平中心線は、３次元画像に情報として含まれる断面高さから抽出できる、所定の位置の直線の一例である。
　ここで取得した３次元画像では、色に応じて、肌断面の各位置の高さの情報がわかる。例えば、図４（ｂ）は、２０代を模した人肌ゲルＡの３次元画像であり、図５（ａ）は、４０代を模した人肌ゲルＢの３次元画像であり、図６（ａ）は、７０代を模した人肌ゲルＣの３次元画像である。ここで、図中、白色部分は、肌表面位置（肌断面上の高さ）が高いことを示し、灰色の部分は肌表面位置が中程度であることを示し、黒い部分は肌表面位置が低いこと、即ち、凹んでいることを示している。
　このように３次元画像の色を位置毎に抽出することで、ステップＳ２１において、肌の３次元画像から、各位置における肌断面上の高さ、即ち、肌の各位置での表面粗さを抽出する。
　図４（ｂ）と、図５（ａ）と、図６（ａ）の図の左のスケールバーを参照すると、図４（ｂ）に示す２０代を模した人肌ゲルＡでは、肌表面位置は－０．０３７ｍｍ～+０．０４５ｍｍの範囲にあり、図５（ａ）に示す４０代を模した人肌ゲルＢでは、肌表面位置は－０．０４８ｍｍ～+０．０４９ｍｍの範囲にあり、図６（ａ）に示す７０代を模した人肌ゲルＣでは、肌表面位置は－０．１２４ｍｍ～+０．１１ｍｍの範囲にある。これにより、人肌ゲルＣ（７０代）＞人肌ゲルＢ（４０代）＞人肌ゲルＡ（２０代）の順で肌の表面上の凹凸が大きいことがわかる。
　このような３次元画像に情報として含まれる断面高さから抽出できる、所定の位置の直線（例えば、図４（ａ）に示す矢印で示した水平中心線）上の肌表面位置（肌断面上の高さ）を、横方向につなげたものが、変位曲線となる。
　即ち、ステップＳ２２において、肌の各位置の表面粗さ（各位置での肌断面上の高さ）から、人肌又は肌モデルの表面の３次元画像の直線上を所定距離走査した場合を想定し、横軸を距離とした３次元の肌の断面高さ位置に相当する、直線上の変位曲線を、表面粗さ情報として取得する。
　具体的には、図４（ｂ）の人肌ゲルＡの３次元画像から、図４（ａ）に示す矢印で示した水平中心線上を、矢印の長さである撮影範囲の横幅２４ｍｍの距離分、走査したことを想定した場合の横方向のそれぞれの肌表面位置（断面高さ）が、変位曲線となる。ここでの、変位曲線とは、水平中心線を基準とした断面上の各位置での高さ、即ち水平中心線上で得られた線の粗さを示している、肌の表面線の粗さ曲線となるため、変位曲線が、所定長さの直線上の肌の表面粗さ情報を示すといえる。
　なお、Ｓ２１、Ｓ２２における３次元画像からの各位置上の肌断面上の高さの抽出及び変位曲線の取得は、情報処理装置２に設定された、ソフトウェア環境（VR-3000 G2 APPLICATION）で解析・処理を行った。
　また、図５（ｂ）の変位曲線は、図５（ａ）の人肌ゲルＢの３次元画像の矢印で示した水平中心線上を、横幅２４ｍｍの距離分走査した場合の横方向のそれぞれの肌表面位置（断面高さ）を示している。図６（ｂ）の変位曲線は、図６（ａ）の人肌ゲルＣの３次元画像の矢印で示した水平中心線上を、横幅２４ｍｍの距離分走査した場合の横方向のそれぞれの肌表面位置（断面高さ）を示している。
　図４（ｃ）、図５（ｂ）、図６（ｂ）では、横軸は、画像の直線上の横方向の位置、縦軸は肌断面上の高さ、即ち、肌表面の平均断面位置に対する各位置の断面位置を示している。
　図４、図５、図６を比較すると、３次元画像上の色ムラが大きく、表面粗さが大きくなるにつれて（人肌ゲルＡ＜人肌ゲルＢ＜人肌ゲルＣ）、線粗さプロファイルである変位曲線は、大きな振動振幅を示していることがわかる。
　ここで、肌の触感の呈示（再生）のための振動は、加速度に基づいているため、得られた変位曲線（線粗さ曲線）を加速度曲線に変換する必要がある。
　そのため、ステップＳ２３で、人肌又は肌モデルに触れる際の移動速度を想定し、表面粗さ情報である直線上の変位曲線の横軸を、距離から時間に変換して、変位曲線のスペクトルにする。
　上述のように、変位曲線は、選択された直線上の各位置における肌表面の高さ（肌断面の高さ）を示している。そのため、例えば、この曲線を約１秒の長さの時間軸上に配置すると、プローブによって２４ｍｍの距離を１ｓ（秒）で水平走査したときの表面の高さの変位曲線とみなして、変位曲線のスペクトルに変換することができる。
　図７（ｄ）は、図７（ａ）、（ｂ）、（ｃ）に示した各年代の人肌ゲルＡ，Ｂ，Ｃの変位曲線を基に変換された変位曲線のスペクトルを示す。図７（ｄ）では、横軸は１秒を０～５００Hzの周波数と設定した周波数（Hz）、縦軸は増幅度（dB）を示す。即ち、変位曲線のスペクトルは、各周波数での振幅特性を示している。
　なお、この変位曲線から、変位曲線のスペクトルへの変換は、情報処理装置２に設定された、オーディオソフト（例えば、Audacity（登録商標））によって、実行した。
　そして、ステップＳ２４で、変位曲線のスペクトルを、加速度のスペクトルに変換する。
　詳しくは、変位曲線をフーリエ変換すると、元の曲線は周波数ごとの正弦波に分解されて、周波数がiの正弦波の式は、下記式（１）となる。フーリエ変換は時系列の波形を周波数ごとの正弦波に分解する役割を果たしているため、得られた式（１）では正弦波の中に周波数がi（i=1～500Hz）の正弦波の式となる。この式（１）を二階微分計算すると加速度の式（２）が得られる。
　そして、式（２）での負の符号は、正弦曲線に位相差π（１８０度）を加えることで除去することができ、触覚レンダリングの場合、この位相変化が知覚に与える影響はごくわずかであるため、式（１）からω２要素をかけただけの式（３）が得られる。つまり、各周波数成分に対してω２をかけることで加速度波形に変換することができる。なおソフトウエア（例えばAudacity）のイコライザによってこの処理を行う場合、振幅は対数で表されるので対数グラフ上の処理を考える必要があるが、これは式（３）の対数をとってやればよく、dB表記をする場合は、式（４）のようになる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　変位曲線のスペクトルから、加速度スペクトルへの変換は、情報処理装置２に設定された、オーディオソフト（例えば、Audacity）のイコライザ機能によって、実行した。イコライザによって、上記式（１）～（４）を演算して図８の下側に示す変位曲線に適用すると、図８の上側に示すような加速度曲線（加速度のスペクトル）が得られた。
　ここで、図８の上側及び図９（ａ）に示す加速度のスペクトルでは、150Hz以上で振幅が大きく増加していることがわかる。
　そのため、ステップＳ２５で、加速度のスペクトルにローパスフィルターをかけて補正をする。図９（ｂ）は、第１実施例において、Ｓ２５で加速度のスペクトルにローパスフィルターをかけて変換した補正後加速度情報の例を示すグラフである。
　ここで、上記の変位曲線を取得するために人肌ゲルを撮影した画像の面積よりも、実際に指が人肌ゲルに接触する面積の方が大きく、指と人肌ゲルとの接触部は、高周波阻止（低域通過、ローパス）フィルタとして機能するため、150Hz以上の振動に乖離が生じる。そこで加速度スペクトルを、実際に計測される加速度スペクトルに近づけるためにローパスフィルターをかけた。
　例えば、Ｓ２５では、情報処理装置２に設定された、オーディオソフト（例えば、Audacity）のローパスフィルター機能を用いて、図９（ａ）に示す加速度スペクトルの150Hz以上の範囲の振動の振幅を-12dB低減し、最終的に図９（ｂ）に示すようなスペクトルを補正後の加速度情報として得た。
　このように算出された補正された加速度情報（図９（ｂ）の振動データ）が、実際の人肌触感再現のためのハプティックレンダリングの結果として、人肌触感用データに設定される（ステップＳ２６）。
　このように生成された人肌触感用データは、下記、人肌の触感の呈示や評価で使用される。
　＜人肌触感呈示方法＞
　図１０は、本発明の人肌触感用データ生成方法で生成した人肌触感用データを用いた、人肌触感呈示方法を示す概略フローである。
　図１０に示す人肌触感呈示方法では、図１に示した、Ｓ１、Ｓ２の人肌触感用データ生成方法によって生成した人肌触感用データ（加速度情報）を用いて、ステップＳ３で、人肌モデル上で振動として呈示する工程を有する。
　ステップＳ３の触感呈示工程では、データ生成工程で生成された人肌触感用データ（加速度情報）を用いて、触感を呈示する。呈示に際しては、予め評価基準を構築しておき、その基準に基づき触感を呈示してもよい。評価基準の構築については、触感評価方法（図２２参照）とともに後述する。
　なお、図１０では、人肌触感呈示方法において、呈示ステップの前段階で、人肌触感用データ生成方法を実行するステップを設けたが、予め記憶された人肌触感用データ（例えば、基準肌の人肌触感用データ）を呼び出して、触感を呈示する場合は、Ｓ１、Ｓ２は省略可能であり、Ｓ３の触感呈示ステップのみあればよい。
　＜人肌触感呈示装置＞
　ここで、図１１、図１２を用いて、図１０の触感呈示工程を実現する人肌触感呈示装置の例を、説明する。図１１は、本発明の触感呈示工程を実現する人肌触感呈示装置の一例を示す外観図である。
　図１１に示すように、人肌触感呈示装置３００は、人肌ゲル３１と、スライドボリューム３２と、ＰＣ３３と、アンプ３４と、スピーカー３５と、伝播板３６と、装置台座３７とを備えている。
　人肌ゲル３１は、呈示体験者の指又は人工指が接触する対象であり、人の肌の所定の状態を模した皮膚モデル（人工皮膚）であって、人肌そっくりの柔らかさを表現する超軟質ウレタン樹脂（ポリウレタンスキンプレート）である。人肌ゲル３１は、例えば、バイオスキン（登録商標）（ビューラックス社製）を使用する。
　人肌ゲル３１は、伝播板（伝播部材）３６に貼りつけられて固定されている。図１０では、人肌ゲル３１は、円形である例を示したが、人肌ゲル３１は、左右方向に長い形状であってもよい。
　スライドボリューム３２は、人肌ゲル３１の上方に設けられ、人肌ゲル３１上を、体験者の指又は人工指を所定の移動速度で移動させる指移動部となる。あるいは、スライドボリューム３２は、体験者の指が主体的に移動する場合は、指の移動速度を取得する移動速度取得部としても機能する。
　スライドボリューム３２は、スライドレール３２１と、スライドレールを支持する左右の支柱３２２と、可変抵抗３２３（図１２参照）と、指スライダー３２４と、モーター３２５とを有している。
　指スライダー３２４は、１対の挟み込み支持部で構成されるハンドル部であり、触感を呈示する際には、挟み込み支持部の間に呈示体験者の指又は人工指が挿入可能であり、指スライダー３２４が左右にスライドすることで、指や人工指を人肌ゲル３１上で移動させる。あるいは人の指が移動することで、指スライダー３２４が一緒に移動してもよい。
　可変抵抗３２３は、スライドレール３２１に対する指スライダー３２４の位置に応じて、抵抗値が変化する。言い換えると、指からの力がかからない場合、例えば、指スライダー３２４に挟まれる人が指の力を抜いた状態であったり、指スライダー３２４が人工指を挟んでいる状態の場合は、可変抵抗３２３の抵抗値を変化させることで、指スライダー３２４の左右の位置を移動させることができる。
　あるいは、人の指が、能動的に移動する場合は、指スライダー３２４が左右に指の動きに沿って移動することで生じる抵抗値の変化を、後段のＰＣ３３が読み取ることで、指の位置および移動速度を計算することができる。スライドレール３２１、指スライダー３２４、及び可変抵抗３２３は、体験者の指が主体的に移動する場合の、指の移動速度を取得する移動速度取得部となる。
　指からの力がかからない場合、モーター３２５は、スライドレール３２１に沿って指スライダー３２４を所定の速度で移動させるために、可変抵抗３２３の抵抗値を調整するように、駆動制御する。モーター３２５、可変抵抗３２３、及び指スライダー３２４は、装置側で人工指又は体験者の指を移動させる場合の、指移動部となる。
　ＰＣ３３は、スライドボリューム３２及びアンプ３４と、有線又は無線で接続されている、情報処理装置の一例である。ＰＣ３３は、スライドボリューム３２のモーター３２５を駆動させる速度を制御して、左右方向の人肌ゲル３１上の指の移動速度を設定するとともに、移動速度に合わせて振動の強さを出力する。あるいは、体験者が能動的に指を動かす場合は、ＰＣ３３は、スライドボリューム３２で取得した指の位置を基に、指の移動速度を演算して求め、振動の強さを出力する。
　さらに、ＰＣ３３は、人肌の肌質（触感）に対応づけた振動の元信号（人肌触感用データ）を記憶しておく元信号記憶部の機能を有している。下記において、元信号とは、スピーカー３５Ａ，３５Ｂによって振動を発生させるための、振動の元となる信号であって、肌質に対応づけられた、音声信号形式の信号である。
　よって、ＰＣ３３は、表現する肌質によって選択された元信号（音声信号）と、指の移動速度に対応づけられた信号の強度に関する情報をアンプ３４に出力する。即ち、ＰＣ３３は、指の移動速度に応じて、元信号に応じて振動を出力する際の、振動の強さ（振幅値）を調整する振動調整部でもある。ＰＣ３３のハードウエア構成は、図１２とともに詳述する。
　アンプ（音響アンプ）３４は、ＰＣ３３から出力された元信号（人肌触感用データ）を、強度情報に応じて増幅する。
　スピーカー３５は、アンプ３４に接続されており、左右のスピーカー３５Ａ，３５Ｂの対となって構成されている。スピーカー３５Ａ，３５Ｂは、調整された音声信号を物理振動に変換して出力し、伝播板３６を介して人肌ゲル３１に振動を与える振動出力部である。
　スピーカー３５Ａ，３５Ｂは、有線又は無線でアンプ３４に接続されている。また、スピーカー３５Ａ，３５Ｂは人肌ゲル３１が設けられた伝播板３６と接触した状態で、振動が伝播するように挟み込んで伝播板３６を支持している。
　詳しくは、スピーカー３５Ａ，３５Ｂは、物理的な振動が発生する円形の振動板３５１と、振動板３５１を取り囲む枠であるフレーム３５２と、フレーム３５２が装着される支柱３５３を有している。
　また、スピーカー３５Ａ，３５Ｂの対向する面の上下方向の中央であって、振動が発生する振動板３５１の表面から奥側に向かうように、切れ込みであるスリット３５４が形成されている。人肌ゲル３１が貼りつけられた伝播板３６が、左右のスリット３５４に挿入された状態で、スピーカー３５Ａ，３５Ｂが、振動板３５１の部分で左右から挟み込んでいるため、振動板３５１で発生した振動は伝播板３６に伝播する。
　伝播板３６は、上面に人肌ゲル３１が貼りつけられることで人肌ゲル３１を支持し、振動が伝播される板である。伝播板３６は、例えばアクリル板で構成されている。
　また、スライドボリューム３２及びスピーカー３５Ａ，３５Ｂを支持する装置台座３７として、伝播板３６の下側のアクリル板である固定板３７１、ベース３７２、及び緩衝材３７３を有している。
　固定板３７１の上面には、スピーカー３５Ａ，３５Ｂの左右のフレーム３５２の下端が固定されている。また、固定板３７１の下面は、ベース３７２（装置台座、デバイス台座）の上面に、緩衝材３７３を介して取りつけられている。緩衝材３７３により、スピーカー３５Ａ，３５Ｂの振動は、ベース３７２には伝播しないため、人肌触感呈示装置３００を、机９（図２３参照）上に設置しても、机９の表面には振動は伝播されず、傷つきにくくする。
　なお、上記では、人肌ゲル３１は室温と同じである例を説明したが、人肌ゲルの触感をよりリアルな人肌に近づけるため、伝播板３６の裏側に、人肌ゲル３１を１５℃～３７℃に加熱する加熱部を設けてもよい。
　図１２は、図１１の人肌触感呈示装置３００のハードウェアブロック図である。
　ＰＣ３３は、ＵＳＢインターフェース３０１と、メモリ３０２と、オペレーションシステム３０３と、サウンドコントローラ３０４と、オーディオ機器接続部３０５と、システム・バス３０６と、入力部３０７と、表示部３０８等を備えている。入力部３０７は、マウス、キーボード、タッチパッド、タッチパネル入力面等であり、表示部３０８は、ＬＣＤ（liquid　Crystal　display）、有機ＥＬディスプレイ等である。
　ＵＳＢインターフェース３０１と、メモリ３０２と、オペレーションシステム３０３と、サウンドコントローラ３０４と、オーディオ機器接続部３０５と、入力部３０７と、表示部３０８とは、システム・バス３０６を介して接続されている。あるいは、ＰＣ３３がデスクトップ型パソコンである場合は、入力部３０７及び表示部３０８は、ＵＳＢインターフェース３０１によって本体と接続されるように、別体として設けられていてもよい。
　ＵＳＢインターフェース３０１は、スライドボリューム３２の可変抵抗３２３によって取得した指の位置情報を受信する。
　メモリ３０２は、元信号記憶部として、人肌に応じた振動の元となる音声信号である元信号（人肌触感用データ）を事前に記憶しておく。人肌触感用データの取得方法は、ＰＣ３３の通信部（不図示）が、人肌触感用データ生成装置１００とデータを送受信することで取得する。あるいは、ＵＳＢメモリやメモリーカード等の記憶媒体を介して、人肌触感用データ生成装置１００からＰＣ３３へデータを移行してもよい。
　オペレーションシステム（ＯＳ）３０３は、例えば、ＣＰＵ（Central　Processing　Unit）３３１、ＦＰＧＡ（Field-Programmable　Gate　Array）３３２、ＲＡＭ（Random　Access　Memory）３３３、ＲＯＭ（Read　Only　Memory）３３３等を有している。
　ＣＰＵ３３１及びＦＰＧＡ３３２は、ＲＡＭ３３３を作業領域として利用して、ＲＯＭ３３４に格納された各種の制御プログラムを実行し、ＰＣ３３における各種動作を制御するための制御指令を出力する。
　ＯＳ３０３において、例えばＣＰＵ３３１は、モーター３２５を駆動制御するための信号を生成することで、スライドボリューム３２の可変抵抗３２３の抵抗値を変化させる。
　スライドボリューム３２において、モーター３２５は、例えば、ＰＭＷ（Pulse　Width　Modulation）とＰＩＤ（Proportional　Integral　Differential）制御により、可変抵抗３２３の抵抗値を変化させることで、指スライダー３２４を所定の移動速度で一定の軌跡に沿って移動させるように設定する。これにより、触感呈示中の人肌ゲル３１上の指又は人工指の移動速度を設定する。
　あるいは、体験者が指を能動的に動かす場合は、ＯＳ３０３の、例えばＣＰＵ３３１は、スライドボリューム３２の可変抵抗３２３の抵抗値の変化を読み取り、触感呈示中の人肌ゲル３１上の指の移動速度を、位置の時間微分から算出する。
　また、ＯＳ３０３において、ＦＰＧＡ３３２は、メモリ３０２に記憶された元信号を呼び出す。
　サウンドコントローラ３０４は、呼び出された元信号（人肌触感用データ）に対して、指の動きに応じたボリューム調整を行う。例えば、指が静止中は振動を与えず、指が動き始めてから振動を与えるように、また、動きが速いほど振幅が大きくなるような音声信号を出力するように調整する。
　オーディオ機器接続部３０５は、アンプ３４と接続する端子であり、サウンドコントローラ３０４で調整された音声信号を、アンプ３４に出力する。
　サウンドコントローラ３０４及びオーディオ機器接続部３０５は、指の移動速度および音声信号である元信号（人肌触感用データ）と、元信号の波形の振幅の調整量を出力する振動調整部として機能する。
　このように、本発明の人肌触感呈示装置３００では、ＰＣ３３が人肌触感用データを指の移動速度に応じて調整した波形（音声信号）をアンプ３４に出力し、スピーカー３５Ａ，３５Ｂで、調整された音声信号を物理振動に変換して出力し、伝播板３６を介して人肌ゲル３１に触感として振動を与えることで、仮想テクスチャを再現する。
　＜実験例＞
　ここで、本願の発明者らは、本願方法により生成した人肌触感用データの再現の妥当性を確認するため、人肌触感用データを人肌触感呈示装置３００で再現することによって、及び他の方法によって、３種の肌質が判別できるかどうかの実験を行った。被験者は、２４±１歳で、触覚に機能的な問題のない右利きの人６名であった。
　（実験１）
　実験に使用した人工皮膚のサンプルである複数の人肌ゲルは質感が似ているため、被験者はこれらのサンプルを見分けるのに苦労する可能性がある。そこで、実験１として、図１３に示すように、実際の皮膚サンプルを直接触れることで、これら３つの異なるサンプルの中からそれぞれを識別できるかどうかを確認するための実験を行った。図１３は、複数の種類の人肌ゲルを、判別のために指で直接触れている状態を示す図である。
　まず、実験者が被験者の前に１つのサンプルを提示し、被験者は目を閉じたまま３秒間探索するように指示された。その後、３つのサンプルを提示し、それぞれのサンプルを５秒以内に探索してもらい、最後にＡ，Ｂ，Ｃのいずれかを答えて、最初に探索したサンプルを選択してもらった。なお、３つのサンプルとして、Ａは２０代の肌を模した人肌ゲル、Ｂは４０代の肌を模した人肌ゲル、Ｃは７０代の肌を模した人肌ゲルである。
　結果を図１４に示す。図１４は、人肌ゲルを指で直接触れた場合の、肌種判別結果を示す図である。サンプルＡ，Ｂ，Ｃともに、正解率は８０％以上であり、これは３つの皮膚サンプルＡ，Ｂ，Ｃのテクスチャ（触感）が、被験者が識別できるほど異なっていたことを意味している。
　（実験２）
　実験１では、被験者が判別対象となる皮膚サンプルを直接触れたが、実験２、実験３では、人肌触感呈示装置３００の人肌ゲル３１上で、予め生成された振動データを用いて再現された仮想テクスチャが、正しく識別できるかどうかを検証するための実験を行った。なお、人肌ゲル３１は、サンプルＡ，Ｂ，Ｃとは異なる触感の人肌ゲルである。
　実験２では、本発明の人肌触感用データ生成方法に沿って、予め実験者が、皮膚サンプルＡ，Ｂ，Ｃの３次元画像を取得し、その３次元画像を基にデータを生成することで、皮膚サンプルＡ，Ｂ，Ｃのそれぞれを模した３つの人肌触感用データ（振動データ）を取得する。その振動データを、人肌触感呈示装置３００に記憶させておく。図１５（ａ）は、本発明の人肌触感用データ生成方法で皮膚サンプルの画像を取得することで振動データを作成している様子を説明する図である。
　そして、被験者は、人肌触感呈示装置３００の指スライダー３２４に指Ｆを挿入して、約０．５Ｎの押圧力で滑らかな人肌ゲル３１に触れるように指示される。そして、人肌触感呈示装置３００において、本発明の人肌触感再現方法で生成された、皮膚サンプルＡ，Ｂ，Ｃを模した３つの振動データのうちの１つを再生している人肌ゲル３１上で、被験者が所定の移動速度で指を移動させることで、被験者は、人肌ゲル３１上の仮想テクスチャを、同じ探索条件で１０秒以内に探索した。図１５（ｂ）は、人肌触感呈示装置３００で、図１５（ａ）のように取得した画像を基に生成した振動データを、触感として呈示している状態を示す図である。
　探索後、被験者は図１３に示すように３つの実際の皮膚サンプルＡ，Ｂ，Ｃを探索し、Ａ，Ｂ，Ｃのいずれかの回答で、直前の人肌触感呈示装置３００が再現した仮想テクスチャに最も近いサンプルを選択するように指示された。
　なお、この実験は、各サンプルの呈示数が略等しくなるように、それぞれの被験者において呈示するサンプルを変えて、２回実施した。
　結果を図１６に示す。図１６は、本発明の方法で生成した振動データを用いて、人肌触感呈示装置で触感を呈示した場合の、肌種判別結果を示す図である。図１６に示すように、本発明の方法により、肌の画像を取得して、人肌触感用データを生成して、呈示した仮想テクスチャでは、各サンプルの正答率が70％を超えていた。
　（実験３）
　実験３では、比較例に係る人肌触感用データ生成方法として、予め人肌触感呈示装置３００において指スライダー３２４に人工指ＡＦを挟み、人工指ＡＦの上面に加速度計αをつけた状態で、皮膚サンプルＡ，Ｂ，Ｃを人肌ゲルとして伝播板３６上にセットする。そして、人工指ＡＦが皮膚サンプルＡ，Ｂ，Ｃに触れた状態で、スライドボリューム３２によって所定の移動速度で人工指を移動させたときの、加速度データを計測する。その後、その加速度データを基に、データを生成することで、皮膚サンプルＡ，Ｂ，Ｃのそれぞれを模した３つの人肌触感用データ（振動データ）を取得し、その振動データを、人肌触感呈示装置３００に記憶させておく。図１７（ａ）は、比較例として、人肌触感呈示装置３００において、加速度計αが取り付けられた人工指ＡＦを皮膚サンプルに触れさせることで振動データを作成している様子を説明する図である。
　そして、被験者は、実験２と同様に、人肌触感呈示装置３００の指スライダー３２４に指Ｆを挿入して、約０．５Ｎの押圧力で滑らかな人肌ゲル３１に触れるように指示される。そして、人肌触感呈示装置３００において、比較例の人肌触感再現方法で生成された、皮膚サンプルＡ，Ｂ，Ｃを模した３つの振動データのうちの１つを再生している人肌ゲル３１上で、被験者が所定の移動速度で指を移動させることで、被験者は、人肌ゲル３１上の仮想テクスチャを、同じ探索条件で１０秒以内に探索した。図１７（ｂ）は、人肌触感呈示装置３００で、図１７（ａ）のように取得した加速度データを基に生成した振動データを、触感として呈示している状態を示す図である。
　探索後、実験２と同様に、被験者は図１３に示すように３つの実際の皮膚サンプルＡ，Ｂ，Ｃを探索し、Ａ，Ｂ，Ｃのいずれかの回答で、直前の人肌触感呈示装置３００が再現した仮想テクスチャに最も近いサンプルを選択するように指示された。
　なお、この実験においても、各サンプルの呈示数が略等しくなるように、それぞれの被験者において呈示するサンプルを変えて、２回実施した。
　結果を図１８に示す。図１８は、比較例の方法で生成した振動データを用いて、人肌触感呈示装置で触感を再現した場合の、肌種判別結果を示す図である。図１８に示すように、比較例の方法により、肌の画像を取得して、人肌触感用データを生成して、呈示した仮想テクスチャでは、各サンプルの正答率は５０％程度となっていた。そして、皮膚サンプルが粗くなるにつれて正答率は低下している。特にサンプルＣでは正答率が４５％にまで低下しており、サンプルＢ、サンプルＣの正答率をみると、被験者は、呈示した振動データに対応するサンプルよりも、より滑らかな仮想テクスチャであると知覚する傾向があることがわかった。
　ここで、図１６と図１８の実験結果を比較すると、呈示した仮想テクスチャの各サンプルの正答率は、図１６の方が高い。そして、図１６において、最も高い正答率のサンプルＡと最も低い正答率のサンプルＢとの正答率の差は、１０％であり、サンプルＢの誤答率が、最も荒れた肌であるサンプルＣよりも高くなっている。そのため、本発明の方法では、仮想テクスチャの再現率を全体的に底上げしたとともに、荒れた肌をなめらかな肌と誤解する傾向も少なくなっているといえる。
　このような実験結果により、本発明の人肌触感用データ生成方法では、肌の画像を取得することで触覚の違いをより正確に計測し、触れる人の特性による誤差を最小限にでき、かつ、複数の人で共有可能な、再現性が高く、触感の相違の可読性が高い、人肌触感用データを生成することが可能になったといえる。
　また、実験２と実験３とを比較すると、本発明の人肌触感用データ生成方法では、肌の画像を取得することで、人肌に触れることなくかつ特別な触感センサを用いることなく人肌の情報を収集することができる。２０２０年以降の新型コロナウィルスへの対策により、指で他の人の肌に触れてサンプルを取得したり、指で他の人の肌に触れて肌の触感を評価したりすることが難しくなったが、本発明では画像を取得し、その画像を基にデータを生成することで、実際に触れることなく、かつ、再現性の高い、人肌触感用データを取得することができる。
　＜第２実施例の人肌触感用データ生成装置・方法＞
　図１９は、本発明の第２実施例に係る人肌触感用データ生成装置の機能ブロック図である。
　図１９に示すように、第２実施例に係る人肌触感用データ生成装置４００は、画像取得部である２次元撮影手段４と、データ生成部である情報処理装置５とを備えている。
　２次元撮影手段４は、人肌又は肌モデルである肌の画像を取得する。本実施例では、２次元撮影手段４は、肌のカラー又はＵＶ写真等の２次元画像が撮影できる手段であって、例えば、光量が設定できる肌撮影専用の撮影端末や、マイクロスコープ（皮膚表面キメ解析撮影装置、毛穴形状解析撮影装置）、あるいはスマートフォン等に搭載されたカメラ等である。
　情報処理装置５は、取得した肌の画像を用いて、人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成する。情報処理装置は、例えば、所定のソフトが動作可能なＰＣや、専用の２次元皮膚画像解析装置等である。
　そして、本実施例では、情報処理装置５は、輝度情報算出部５１と、表面粗さ情報取得部５２と、加速度情報変換部５３と、人肌触感用データ出力部（出力部）５４とを実行可能に有している。
　輝度情報算出部５１は、輝度抽出ソフト等により、人肌又は肌モデルの２次元画像における肌表面の各位置の輝度を算出する。
　表面粗さ情報取得部５２は、輝度・断面高さ変換部５２１と、変位曲線取得部５２２とを有している。
　輝度・断面高さ変換部５２１は、輝度を基に２次元画像における、各位置での肌の表面高さ（肌断面の高さ）を算出する。
　変位曲線取得部５２２は、２次元画像の直線上を所定距離走査した場合を想定し、２次元画像におけるその直線上の肌表面の輝度を、横軸を距離とした直線上の各位置での肌の断面の高さに変換した、直線上の変位曲線を、表面粗さ情報として取得する。
　加速度情報変換部５３は、図２に示した加速度情報変換部２２と同様の機能を有しており、表面粗さ情報取得部５２が取得した肌の表面粗さ情報を、加速度情報に変換する。加速度情報変換部５３は、変位スペクトル変換部５３１と、加速度スペクトル変換部５３２と、加速度情報補正部５３３と、を有している。
　出力部５４は、加速度情報変換部５３で変換した加速度情報を、人肌触感用データ（人肌表現用データ）に設定して出力する。
　なお、図１９では、輝度情報算出部５１と、表面粗さ情報取得部５２と、加速度情報変換部５３と、出力部５４の機能を、１つの情報処理装置５で実現する構成を示したが、これらの演算機能を、２つ以上の情報処理装置を用いて実行してもよい。
　（第２実施例のデータ生成工程）
　図１９に示す情報処理装置で実行可能なデータ生成工程の詳細について、図２０、図２１を用いて説明する。図２０は、第２実施例に係るデータ生成工程の詳細フローである。図３のフローとの差異点のみ、説明する。
　Ｓ２０１で、取得した２次元の肌の画像から、肌表面の輝度情報を算出する。
　Ｓ２０２で、肌の輝度情報を基に、表面粗さ情報を推定する。
　Ｓ２０３で、輝度情報を基に算出した肌の表面粗さ情報から、直線上にある方向に走査したときを想定して、変位曲線を取得する。詳しくは、２次元画像の直線上を所定距離走査した場合を想定し、２次元画像における直線上の肌表面の輝度を、横軸を距離とした直線上の各位置での肌の断面の高さに変換した、直線上の変位曲線を、表面粗さ情報として取得する。
　ここで、図２１において、（ａ）は人肌の輝度画像の一例であり、（ｂ）、（ｃ）は第２実施例で算出する、輝度を用いた変位曲線の例である。
　Ｓ２０２では、２次元画像の直線上の各位置の輝度情報を、肌表面の断面高さに置き換える。例えば、位置情報として、取得した２次元の画像データは、図２１（ｂ）に示すように、ピクセル毎に輝度情報が得られるため、ピクセル毎の輝度を、肌表面の断面高さに置き換える。図２１（ｂ）のグラフにおいて、横軸はピクセル、縦軸は輝度を示す。
　この際の、ピクセル毎の輝度から、肌表面の断面高さへの変換は、本例では、各ピクセルの輝度値から解析領域の平均輝度値を引いて差分をとったのちの、輝度１が４μｍの断面高さと想定し、各輝度値に４をかけ変換した。
　なお、図２１（ｂ）⇒図２１（ｃ）への変換は、今回は平均値からの輝度変化を輝度１が４μｍとして換算しているが、実際の輝度値と粗さの関係は照明の当て方、カメラとの距離に応じて、変化すると思われる。そのため、同じ変換式を用いる場合は、照明の当て方や被写体とカメラとの距離・角度等を一定に設定すると、好適である。
　なお、本例では、輝度の平均値を肌表面の断面高さ０に設定する例を説明したが、例えば、輝度の広がりに偏差がある画像等の場合は、輝度の広がりの中央値や、最頻値を、肌表面の断面高さ０に設定してもよい。
　このように輝度情報から肌表面の高さへの変換は、比較対象となる肌の間で、条件が一貫したやり方であれば、適宜どのような変換式を用いてもよい。また、撮影条件を変えるごとに変換式は変えてもよい。
　そして、図２１（ｂ）のピクセル毎の輝度のグラフの横軸を長さに置き直したものが、図２１（ｃ）である。本例における、図２１（ｂ）⇒図２１（ｃ）への変換は、横は640pixel＝6.7mmという関係から変換した。
　このように、２次元画像を基に輝度を介して算出した変位曲線を用いて、Ｓ２０３～Ｓ２０６では、図３のＳ２３～Ｓ２６と同様に、変位曲線のスペクトルへ変換し、加速度のスペクトルへ変換した後に、ローパスフィルターで補正をすることで、人肌触感用データを得ることができる。
　本実施例では、２次元の画像を、輝度を介して肌表面の高さに変換して、人肌触感用データを得ることができる。そのため、人肌触感用データ生成装置において、データ生成部側で画像の輝度を取得できるソフトを有していれば、高価な３次元撮影手段使用することなく、例えば、スマートフォンのカメラ等の、より汎用的なカメラを用いて画像を取得し、その画像を基に、人肌触感用データを生成することができる。
　そのため、被験者等の肌の情報提供者がその場におらず、かつ高性能のカメラがなくても、人肌触感用データが生成できるため、本実施例では、被験者の負担を削減した、より実用化しやすく、より身近な人肌触感用データ生成装置を実現できる。
　（変形例１）
　なお、図２０、図２１では、本発明の人肌触感用データ生成方法において、２次元画像から肌の粗さ情報を取得する工程として、輝度情報を介して算出する例を説明したが、例えば、特殊な２次元画像を取得することで、輝度を介さずに、データ生成をしてもよい。
　例えば、画像取得に、２次元ＵＶカメラ（例えばVisio scan（登録商標）：2次元皮膚表面キメ解析装置）を用いて、ＵＶカメラ付属の処理端末で、ＵＶを用いて撮影した皮膚表面形態の鮮明な画像を基に、「キメ（肌理）・小じわ」の状態を抽出する。そして、その抽出したキメ・小じわの状態を基に、専用の演算端末とは異なる情報処理端末で、変位曲線を算出してもよい。
　（変形例２）
　さらに、本発明の人肌触感用データ生成方法における、２次元画像から肌の粗さ情報を取得する、他の方法として、２次元画像撮影時に光を干渉させることで肌の凹凸情報を取得したり、２次元画像撮影時に焦点を移動させることで肌の凹凸情報を取得したり、２次元画像撮影時にコンフォーカル（共焦点）をとることで肌の凹凸情報を取得したりしてもよい。
　＜人肌触感評価方法＞
　次に、図２２、図２３を用いて、本発明の人肌触感用データ生成方法を含む人肌触感評価方法を説明する。図２２は、本発明の人肌触感用データ生成方法を含む人肌触感評価方法を示す概略フローチャートである。
　ステップＳ１０１で、肌画像を取得する。なお評価の際に、画像の被写体となる肌は、今回の被験者や顧客等の実際の肌等などである。
　ステップＳ１０２で、図１のＳ２同様に、肌の表面粗さ情報を基に、人肌触感用データとして、加速度情報を取得する。
　ステップＳ１０３で、予め設定した、評価基準を呼び出す（評価基準参照工程）。
　そして、Ｓ１０４で、生成した人肌触感用データと、評価基準とを照らし合わせて、取得した画像の触感を評価/推定する（評価工程）。
　図２２に示すように、評価ステップにおいては、データ生成ステップで生成されたデータ（加速度情報）を用いて、肌の触感を評価する。そのため、評価の前提条件として、予め評価基準を構築しておいて、その基準に基づき評価を行うことが好ましい。
　（触感評価のための評価基準の作成例）
　ここで、評価基準としては、肌画像または肌モデル画像の表面粗さ情報から算出した加速度の周波数スペクトル（振動情報）と、肌または肌モデルの触感についての官能評価との関係を予め構築し、保存しておいたものを用いる。
　具体的には、表面状態の異なる基準設定用の肌（又は人肌モデル）の画像、または、異なる特徴が設定された複数の人肌ゲルの画像について、それぞれの表面粗さ情報から算出した加速度情報を取得する。基準設定用の肌とは、既に特徴が明らかになった、未知ではない、肌を指す。
　その一方で、表面粗さ情報を取得した「基準設定用の肌」（または人肌ゲル）に対して、指を横方向に滑らせたときにヒトが知覚する触感についての官能評価結果を記録し、そのデータと官能評価との関係をデータベース化することができる。
　そして、未知の肌の触感を評価する際には、未知の肌について同じ方法で検出された表面粗さ情報から算出した加速度情報と、予め構築しておいた上記関係（データベース）とを比較することによって、上記未知の肌における触感の官能評価値を推定することができる。
　人肌触感用データの振動の大きさ及び特徴に関する値と、官能評価との関係（評価基準）は、例えば、次のようにして構築することができる。
　この際、複数の特性が把握された既知の肌（肌モデル）に対して、本発明の人肌触感用データ生成方法に沿って、人肌触感用データ（一定距離を走査した時の加速度スペクトル）を求めて、官能評価との関係を調べる。
　詳しくは、基準設定用の複数の既知の肌モデルに対して、本発明の人肌触感用データ生成方法に沿って、画像（３次元又は２次元画像）を取得し、その画像を基にデータを生成することで、既知の肌モデルのそれぞれを模した複数の人肌触感用データ（加速度情報）を取得する。そして、取得した加速度情報に対して高速フーリエ変換（ＦＦＴ）を行い、周波数０Ｈｚから５００Ｈｚまでの振幅スペクトルを算出する。そして、算出した振幅スペクトルについて、周波数５０Ｈｚごとに平均値を求め、このスペクトルの平均値を独立変数（振動特徴量）として、統計モデルを推定する。
　なお、評価基準構築のために用いられる複数の基準設定用の肌又は肌サンプルの数は、少なくとも１０以上であるとの好ましく、サンプルの数は多いほどより好ましい。
　そして、上記で求めた振動特徴量から、肌のしっとり度、肌のなめらか度等を推定する統計モデルを算出する。肌が「しっとり」しているとは、ベタつき（油分過剰）もカサつき（乾燥）もなく肌の水分量が適量（保湿されている状態）であることを指し、肌が「なめらか」であるとは、触感として毛穴の開き、ニキビの目立ちが少なく、肌の表面形態としてキメが整っている肌を指す。なお、この肌に対する「しっとり」や「なめらか」等の官能評価は一例であって、例えば、他の例として、肌水分計や、肌油分計に基づいた肌の状態を、数値的に評価した統計モデルを算出してもよい。
　一方で、上記の複数の基準用の肌についてそれぞれ、上述の人肌触感呈示装置３００で呈示された仮想テクスチャについて、人（専門パネル）の評価項目について官能評価を行ってもよい。上記の専門パネルによる官能評価は、人肌触感呈示装置３００で呈示された仮想テクスチャを体感する際に、感じられる肌の触感の評価とすることもできる。なお、このパネルによる官能評価値は、１０人以上の算出平均値であると好ましく、算出平均値の平均をとるために評価する人は多いほどより好ましい。
　上述のように求められた統計モデルと官能評価は、肌の再現触感を評価する上での評価基準となる。つまり、複数の既知の肌（基準となる肌）それぞれについて、人肌触感用データ（加速度情報）を検出して解析すると共に専門パネルによる官能評価を行うことによって、評価基準を構築しておけば、未知の肌について検出された人肌触感用データ（加速度情報）に基づくデータを取得し、構築された評価基準に当てはめることで、未知の肌の人肌触感用データの官能評価スコアを推定することができる。その際、未知の肌の人肌触感用データの生成は、評価基準を求める際に行った本発明の人肌触感用データ生成と同じ条件で行う。
　（人肌触感評価装置）
　図２３は、本発明の人肌触感評価方法を実現する人肌触感評価装置のブロック図である。
　図２３に示すように、人肌触感評価装置６００は、画像取得部である３次元撮影手段１と、データ生成・評価部である情報処理装置６と、を備えている。
　なお、図２３では人肌触感評価装置６００は、画像取得から人肌触感用データ生成までを第１実施例の方法によって実現する例を示すが、本発明の人肌触感評価装置は、画像取得から人肌触感用データ生成までを第２実施例の方法や比較例の方法によって実現してもよい。
　３次元撮影手段１は、人肌又は肌モデルである肌の３次元画像を取得する。
　情報処理装置６は、取得した肌の画像を用いて、人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成し、評価する。情報処理装置６は、例えば、所定のソフトが動作可能なＰＣや、専用の３次元皮膚画像解析装置等である。
　そして、情報処理装置６は、表面粗さ情報取得部６１と、加速度情報変換部６２と、基準データ記憶部６３と、評価部６４と、評価結果出力部６５と、を実行可能に有している。
　表面粗さ情報取得部６１は、図２に示した表面粗さ情報取得部２１と同様に、肌の画像から、肌の表面粗さ情報を取得する。詳しくは、表面粗さ情報取得部６１は、肌の３次元画像から肌の表面粗さを抽出する表面粗さ抽出部６１１と、変位曲線を取得する変位曲線取得部６１２を有している。
　加速度情報変換部６２は、肌の表面粗さ情報を、加速度情報に変換する。加速度情報変換部６２は、変位スペクトル変換部６２１と、加速度スペクトル変換部６２２と、加速度情報補正部６２３と、を有している。
　記憶部である、基準データ記憶部６３は、肌の触感の基準として、特徴が設定された複数の種類の人肌又は肌モデルに対応づけられた、複数の種類の肌の加速度情報を、官能評価基準として、あらかじめ記憶しておく。
　評価部６４は、加速度情報変換部６２で算出した今回の肌の画像から算出した加速度情報と、基準データ記憶部６３で記憶された肌の触感の基準となる官能評価との関係に基づき、今回の肌の触感を評価する。
　評価結果出力部（評価出力部）６５は、表示部又は通知部であり、今回の肌の評価結果を表示又は送信により出力する。
　なお、図２３では、表面粗さ情報取得部６１、加速度情報変換部６２、基準データ記憶部６３、評価部６４、及び評価結果出力部６５の機能を、１つの情報処理装置６で実現する構成を示したが、これらの演算機能を、２つ以上の情報処理装置を用いて実行してもよい。また、基準データ記憶部６３を、演算を行う情報処理装置とは別体の記録媒体によって実現してもよい。
　このような本発明の人肌触感装置では、上述のように生成された人肌触感用データを評価に用いることで、実際に肌に触れることなく、複数の人で共有可能な肌の触感を、誤差を少なく、可読性を高く、評価することができる。
　＜応用例１＞
　上述では、本発明の肌の画像を用いて生成した人肌触感用データを用いて、呈示・評価にそれぞれ適用する方法・構成について説明したが、人肌触感用データを、呈示と評価の両方に適用する人肌触感評価・呈示装置にしてもよい。
　図２４を用いて、人肌触感評価・呈示装置について説明する。図２４は、ビューティーアドバイザーが、カウンセリングにおいて、本発明の人肌触感評価・呈示装置７００を用いて、カスタマーに肌質を呈示している模式図である。なお、図２４では人肌触感評価・呈示装置７００の各部材は有線にて接続されている例を示しているが、各部材は近距離通信によって無線接続されていてもよい。なお、本例では、肌の画像として３次元画像又は２次元画像のどちらを取得してもよく、第１実施例、第２実施例、変形例のどの方法によって人肌触感用データを生成してもよい。
　例えば、人肌触感評価・呈示装置７００において、普段の肌の状態や、なりたい肌の状態等を再現するため、予め、複数の肌に対応する振動の元信号に相当する人肌触感呈示用データ（例えば、図９（ｂ）のような波形）を複数取得し、ＰＣ３３内に記憶させておく。
　ここで、ビューティーアドバイザーＢＡは、被験者Ｓ（カスタマー）に対して、素肌の感触、あるいは、化粧料、美容料、オイル等の塗布後の肌の感触を再現するように、呈示する肌質の選択を入力する。そして人肌触感評価・呈示装置７００の呈示機構３０において、選択された肌質に沿った、振動の元信号となる人肌触感呈示用データが設定され、被験者（カスタマー）の指に対して伝播板３６及び人肌ゲル３１を介して振動を呈示する。
　一例として、ビューティーアドバイザーＢＡは、顧客である被験者の肌の画像を取得することで、現在の被験者の現在の肌の状態を、人肌触感評価・呈示装置７００の呈示機構３０で再現して被験者の指に呈示する。
　さらに、ビューティーアドバイザーＢＡは、画像取得部１によって顧客である被験者の肌の画像を取得することで、現在の被験者の現在の肌の状態を、人肌触感評価・呈示装置７００の評価機構６０で評価して被験者に評価結果を表示する。あるいは、ビューティーアドバイザーの触感判断レベルが未熟な場合や、コロナ対策によりビューティーアドバイザーが直接顧客の肌に触れられない場合は、そのサポートとして、触感呈示とともに、評価基準を用いて触感スコアを表示させることも有効である。
　さらに、理想の肌や、なりたい肌の状態を、呈示機構３０で再現して、被験者の指に呈示してもよい。具体的には、特定の化粧料を使用することで、実現できる状態を、例えば、基準液Ｒを人肌ゲルに滴化して呈示機構３０で再現して、被験者の指に呈示する。そして、その化粧料を使った場合に、例えば体温で時間とともに溶ける等、表面が経時変化する場合は、１０分後、２０分後、３０分後の肌を、その時間にならなくても、人肌触感呈示装置によって再現し、呈示することができる。あるいは、その化粧料を継続的に使用する場合に出てくる肌の効果等を説明したい場合に、その化粧料を例えば１日２回継続使用して、１日後、３日後、１週間後、２週間後等の肌を、その時間にならなくても、呈示機構３０によって再現し、呈示する。
　このようにすることで、被験者の化粧料を塗布した際の未来の肌の状態等を、人肌触感呈示装置にて具体的に触感で提案することが可能になるため、パンフレット等の視覚に加えて、触感を刺激することで、被験者であるカスタマーの感性に多角的に働きかけることができる。よってカスタマーは、より肌の状態に対して理解を深めることが出来る。一方、ビューティーアドバイザーは、再現した肌質に対応したアドバイスが可能になり、積極的な購買促進が可能となる。
　なお、図２４に示す本発明の人肌触感評価・呈示装置７００は、ビューティーアドバイザーが顧客に対して提案する例を示したが、人肌触感評価・呈示装置７００は、ビューティーアドバイザーのトレーニングに使用してもよい。例えば、人肌触感評価・呈示装置７００において、画像取得部１によって撮影する練習をし、さらに基準となる肌質の触感を呈示し、その触感を回答し、かつその合致率を示す評価スコアも表示させることで、ビューティーアドバイザーの指先の触感のトレーニングになる。
　＜応用例２＞
　上記図２４では、人肌触感評価・呈示装置７００は、１つの場所で、有線接続、又は近距離接続により、実現されていたが、人肌触感評価・呈示装置７００に含まれる機能は、システムとして、ネットワークを介して遠隔的に実現されていてもよい。
　図２５は、本発明の人肌触感評価方法を用いた人肌触感評価・呈示システムの概略図である。
　人肌触感評価・呈示システム８００の一例では、被験者が、画像取得・通信端末８１として、一般的なスマートフォン、タブレット、携帯電話等に搭載されたカメラで撮影し、かつネットワークＮを介して取得した画像を送信し、アドバイス用ＰＣ８２、又は/及び分析用ＰＣ８３に接続されるシステムである。なお、本例では、被験者の手元には、一般的なカメラが存在するため、第２実施例の方法で人肌触感用データを生成する。
　アドバイス用ＰＣ８２は、被験者の画像取得・通信端末８１から送信された肌の画像の情報を基に、人肌触感用データを算出し、記憶された評価基準と、振動触感との相関を参照して、被験者Ｓの画像取得・通信端末８１に対して、アドバイス等のコメントを送付する。なお、アドバイス用ＰＣ８２は、ビューティーアドバイザーＢＡによって手動で操作してもよいし、あるいは、アドバイス用ＰＣ８２の内部にアドバイス用ソフトを組み込んで自動応答するようにプログラムしてあってもよい。
　なお、ビューディアドバイザーＢＡが遠隔カウンセリングをする場合は、未知の肌の振動情報を呈示機構３０Ｂで出力すれば触感がわかるので、評価基準を参照しなくてもよい。
　分析用ＰＣ８３は、被験者からの回答結果を収集、分析する集計ソフトが組み込まれている。なお、アドバイス用ＰＣ８２と分析用ＰＣ８３とは兼用されていてもよい。
　このように、被験者Ｓが、スマートフォン等によって撮影した画像を送信することで、肌の画像を基に、触覚的に、異なる空間、複数の人で共有することが可能になる。
　あるいは、本発明の人肌触感評価・呈示システム８００の入力端末８４をショッピングセンターや、休憩所等の公共スペースに設けることで、ビューティーアドバイザー抜きでも、使用できるようにしてもよい。なお、専用の入力端末８４を設ける場合は、画像取得部１によって、３次元画像又は２次元画像のどちらを取得してもよく、第１実施例、第２実施例、変形例のどの方法によって人肌触感用データを生成してもよい。
　公共スペースに配置されており、画像取得部１及び呈示機構３０Ａと接続される入力端末８４には、人肌触感評価装置６００の情報処理装置６及び人肌触感呈示装置３００のＰＣ３３の機能が内蔵されており、今回取得した画像を基にした振動（人肌触感用データ）がすぐに算出可能である。これにより、今回の自分の肌の状態を呈示機構３０Ａで呈示したり、評価基準となる参照人肌触感再現データを呈示機構３０Ａで呈示したり、今回の人肌触感用データを用いて、評価基準と比較検討した評価結果を出力することができる。
　さらに、入力端末８４には、ビューティーアドバイザー抜きで快適に使用できるように、ガイダンス用のプログラムを内蔵や、アドバイス用のプログラムを内蔵していると好適である。
　また、入力端末８４を設ける場合、入力端末８４に蓄積された複数の被験者の肌状態の蓄積データは、所定期間毎に、ネットワークＮを介して分析用ＰＣ８３に転送され、化粧品開発者ＣＲの分析に活用されることができる。
　以上、本発明の好ましい実施形態について詳述したが、本発明は上記した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能なものである。
　本国際出願は２０２０年１２月２日に出願された日本国特許出願第２０２０－２００５７３号に基づく優先権を主張するものであり、２０２０－２００５７３号の全内容を本国際出願に援用する。
１　３次元撮影手段（画像取得部）
２　情報処理装置（データ生成部）
４　２次元撮影手段
５　情報処理装置（データ生成部）
６　情報処理装置（データ生成・評価部）
２１，５２　表面粗さ情報取得部
２２，５４３　加速度情報変換部
２３，５４　人肌触感用データ出力部（出力部）
５１　輝度情報算出部
３０　呈示機構
３１　人肌ゲル
３２　スライドボリューム（指移動部、移動速度取得部）
３３　ＰＣ（元信号記憶部、振動調整部）
３４　アンプ（振動出力部）
３５（３５Ａ，３５Ｂ）　スピーカー（振動出力部）
３６　伝播板（伝播部材）
６１　表面粗さ情報取得部
６２　加速度情報変換部
６３　基準データ記憶部（記憶部）
６４　評価部
６５　評価結果出力部（評価出力部）
１００　人肌触感用データ生成装置
３００　人肌触感呈示装置
４００　人肌触感用データ生成装置
６００　人肌触感評価装置
７００　人肌触感評価・呈示装置
８００　人肌触感評価・呈示システム

Claims (15)

  1. 　人肌又は肌モデルである肌の画像を取得する工程と、
    　取得した前記肌の画像を用いて、前記人肌又は肌モデルに触れたときに生じる振動として推定される人肌触感用データを生成する工程と、を有する
    　人肌触感用データ生成方法。
  2. 　前記人肌触感用データを生成する工程は、
    　前記肌の画像から、肌の表面粗さ情報を取得する工程と、
    　前記肌の表面粗さ情報を、加速度情報に変換する工程と、
    　前記加速度情報を、前記人肌触感用データに設定する工程と、を有する
    　請求項１に記載の人肌触感用データ生成方法。
  3. 　前記肌の画像を取得する工程では、レーザー顕微鏡で、前記肌の画像として、人肌又は肌モデルの表面の３次元画像を取得し、
    　前記肌の画像から、肌の表面粗さ情報を取得する工程では、
    　前記人肌又は肌モデルの表面の３次元画像の直線上を所定距離走査した場合を想定し、横軸を距離とした３次元の肌の断面高さ位置に相当する、直線上の変位曲線を、前記表面粗さ情報として取得する
    　請求項２に記載の人肌触感用データ生成方法。
  4. 　前記肌の画像を取得する工程では、撮影により、前記肌の画像として、人肌又は肌モデルの表面のカラー又は白黒の２次元画像を取得し、
    　前記肌の画像から、肌の表面粗さ情報を取得する工程では、
    　前記人肌又は肌モデルの２次元画像における肌表面の輝度を算出するステップと、
    　前記２次元画像の直線上を所定距離走査した場合を想定し、前記２次元画像における前記直線上の肌表面の輝度を、横軸を距離とした直線上の各位置での肌の断面の高さに変換した、直線上の変位曲線を、前記表面粗さ情報として取得するステップと、を有する
    　請求項２に記載の人肌触感用データ生成方法。
  5. 　前記肌の表面粗さ情報を、加速度情報に変換するステップでは、
    　前記人肌又は肌モデルに触れる際の移動速度を想定し、前記表面粗さ情報である前記直線上の変位曲線の横軸を、距離から時間に変換して、変位曲線のスペクトルにし、
    　前記変位曲線のスペクトルを、加速度のスペクトルに変換する
    　請求項３又は４に記載の人肌触感用データ生成方法。
  6. 　前記肌の表面粗さ情報を、加速度情報に変換するステップでは、
    　前記加速度のスペクトルにローパスフィルターをかけて補正して、前記加速度情報とするステップをさらに有し、
    　該加速度情報を人肌触感用データに設定する工程では、
    　前記加速度のスペクトルにローパスフィルターをかけて補正した加速度情報を、前記人肌触感用データにする
    　請求項５に記載の人肌触感用データ生成方法。
  7. 　前記人肌は、素肌、又は化粧料が塗布された肌である
    　請求項１乃至６のいずれか一項に記載の人肌触感用データ生成方法。
  8. 　人肌又は肌モデルである肌の画像を取得する画像取得部と、
    　前記肌の画像から、表面粗さ情報を取得する粗さ情報取得部と、
    　前記肌の表面粗さ情報を、加速度情報に変換する加速度情報変換部と、
    　前記加速度情報を、人肌触感用データとして出力する出力部と、を有する
    　人肌触感用データ生成装置。
  9. 　請求項１乃至７のいずれか一項に記載の人肌触感用データ生成方法によって加速度情報である人肌触感用データを生成する工程と、
    　前記人肌触感用データである前記加速度情報を用いて、前記人肌又は肌モデルの触感を評価する工程と、を有する
    　肌の触感評価方法。
  10. 　前記人肌又は肌モデルである肌の触感を評価する工程において、予め求めておいた、加速度情報と、前記肌の触感の基準となる官能評価との関係に基づき、前記肌の触感を評価する
    　請求項９に記載の肌の触感評価方法。
  11. 　請求項８に記載の人肌触感用データ生成装置と、
    　前記人肌触感用データ生成装置によって生成された前記人肌触感用データである前記加速度情報を用いて、前記人肌又は肌モデルの触感を評価する評価部と、
    　前記触感の評価を出力する評価出力部と、を備える
    　人肌触感評価装置。
  12. 　前記評価部は、予め求めておいた、加速度情報と、前記肌の触感の基準となる官能評価との関係に基づき、前記肌の触感を評価し、
    　当該人肌触感評価装置は、
    　前記肌の触感の基準として、特徴が設定された複数の種類の人肌又は肌モデルに対応づけられた、複数の種類の肌の加速度情報を、あらかじめ記憶しておく記憶部をさらに備える
    　請求項１１に記載の人肌触感評価装置。
  13. 　請求項８に記載の人肌触感用データ生成装置によって生成された前記人肌触感用データである前記加速度情報を取得し、該加速度情報を用いて、人肌モデル上で振動として呈示する呈示機構、を備える
    　人肌触感呈示装置。
  14. 　前記呈示機構は、
    　振動が伝播する伝播部材と、
    　前記伝播部材上に設けられ、体験者の指又は人工指が接触する人肌モデルと、
    　前記人肌モデル上で、前記指又は人工指を所定の移動速度で移動させる指移動部と、
    　前記人肌モデル上の前記体験者の指の移動速度を取得する移動速度取得部と、
    　取得した肌又は肌モデルに対応づけられた前記加速度情報を元信号として記憶する元信号記憶部と、
    　前記指又は人工指の移動速度に応じて、前記元信号に対して、振幅の大きさを調整する振動調整部と、
    　調整された元信号を、物理振動に変換させて出力する振動出力部と、を有する
    　請求項１３に記載の人肌触感呈示装置。
  15. 　請求項１乃至７のいずれか一項に記載の人肌触感用データ生成方法によって加速度情報である人肌触感用データを生成する工程と、
    　前記人肌触感用データである前記加速度情報を用いて、人肌モデル上で振動として呈示する工程と、を有する
    　人肌触感呈示方法。
PCT/JP2021/044111 2020-12-02 2021-12-01 人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法 WO2022118890A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022566960A JPWO2022118890A1 (ja) 2020-12-02 2021-12-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020200573 2020-12-02
JP2020-200573 2020-12-02

Publications (1)

Publication Number Publication Date
WO2022118890A1 true WO2022118890A1 (ja) 2022-06-09

Family

ID=81853978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044111 WO2022118890A1 (ja) 2020-12-02 2021-12-01 人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法

Country Status (2)

Country Link
JP (1) JPWO2022118890A1 (ja)
WO (1) WO2022118890A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114246A (ja) * 2017-01-20 2018-07-26 花王株式会社 肌状態評価方法
JP2018196427A (ja) * 2017-05-23 2018-12-13 花王株式会社 肌状態評価方法及び肌状態評価装置
JP2019050855A (ja) * 2017-09-12 2019-04-04 花王株式会社 肌評価方法
WO2019106998A1 (ja) * 2017-11-30 2019-06-06 株式会社 資生堂 情報処理装置、クライアント装置、及び、プログラム
WO2020080137A1 (ja) * 2018-10-16 2020-04-23 株式会社資生堂 肌評価方法、及び肌評価装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114246A (ja) * 2017-01-20 2018-07-26 花王株式会社 肌状態評価方法
JP2018196427A (ja) * 2017-05-23 2018-12-13 花王株式会社 肌状態評価方法及び肌状態評価装置
JP2019050855A (ja) * 2017-09-12 2019-04-04 花王株式会社 肌評価方法
WO2019106998A1 (ja) * 2017-11-30 2019-06-06 株式会社 資生堂 情報処理装置、クライアント装置、及び、プログラム
WO2020080137A1 (ja) * 2018-10-16 2020-04-23 株式会社資生堂 肌評価方法、及び肌評価装置

Also Published As

Publication number Publication date
JPWO2022118890A1 (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
US10475351B2 (en) Systems, computer medium and methods for management training systems
JP4769342B2 (ja) 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
Kuchenbecker et al. Haptography: Capturing and recreating the rich feel of real surfaces
JP6527339B2 (ja) 振動信号生成プログラム、振動生成装置、振動生成システム、および振動信号生成方法
Gonzalez-Sanchez et al. Characterizing movement fluency in musical performance: Toward a generic measure for technology enhanced learning
JPWO2020100671A1 (ja) 情報処理装置、情報処理方法及びプログラム
Harrison The Emotiv mind: Investigating the accuracy of the Emotiv EPOC in identifying emotions and its use in an Intelligent Tutoring System
Roodaki et al. Sonifeye: Sonification of visual information using physical modeling sound synthesis
Tajadura-Jiménez et al. Sonification of surface tapping changes behavior, surface perception, and emotion
Sadia et al. Data-driven vibrotactile rendering of digital buttons on touchscreens
McCreadie et al. Sensorimotor learning with stereo auditory feedback for a brain–computer interface
Janko et al. On frictional forces between the finger and a textured surface during active touch
KR102153606B1 (ko) 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
Kapralos et al. Fidelity and multimodal interactions
JP6809712B2 (ja) 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム
Abdouni et al. Impact of finger biophysical properties on touch gestures and tactile perception: Aging and gender effects
WO2022118890A1 (ja) 人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法
Brydges et al. Surface exploration using laparoscopic surgical instruments: The perception of surface roughness
JP7457013B2 (ja) 人肌触感呈示装置および人肌触感呈示装置における振動の元信号の設定方法
Weber et al. Towards a framework for ubiquitous audio-tactile design
Alma et al. Perceived roughness of band-limited noise, single, and multiple sinusoids compared to recorded vibration
Montano-Murillo et al. It sounds cool: Exploring sonification of mid-air haptic textures exploration on texture judgments, body perception, and motor behaviour
Furfaro et al. Sonification of virtual and real surface tapping: evaluation of behavior changes, surface perception and emotional indices
Bernard Perception of audio-haptic textures for new touchscreen interactions
Lugtenberg et al. Multimodal augmented reality–augmenting auditory-tactile feedback to change the perception of thickness

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900641

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022566960

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900641

Country of ref document: EP

Kind code of ref document: A1