WO2025150321A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム

Info

Publication number
WO2025150321A1
WO2025150321A1 PCT/JP2024/043279 JP2024043279W WO2025150321A1 WO 2025150321 A1 WO2025150321 A1 WO 2025150321A1 JP 2024043279 W JP2024043279 W JP 2024043279W WO 2025150321 A1 WO2025150321 A1 WO 2025150321A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
user
image
biometric information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/043279
Other languages
English (en)
French (fr)
Inventor
光 前田
伸一郎 栗原
義和 堀本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of WO2025150321A1 publication Critical patent/WO2025150321A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • This disclosure relates to technology for determining a user's condition from the user's biometric information.
  • Patent Document 1 discloses a discomfort estimation device that receives biometric information of an occupant, determines the driving state of the vehicle, and selects a trained model corresponding to the determined driving state from trained models for each driving state created by machine learning the relationship between the occupant's biometric information and the occupant's discomfort level for each driving state of the vehicle, and estimates the occupant's discomfort level using the selected trained model and the received biometric information.
  • the present disclosure has been made to solve the above problems, and aims to provide technology that can accurately determine a user's condition while protecting privacy, and can perform appropriate intervention control according to the determined user's condition.
  • the information processing device includes an acquisition unit that acquires biometric information of a user, a generation unit that generates a first image in a format that allows the biometric information to be concealed from the acquired biometric information, and a determination unit that determines the state of the user from the generated first image using a learning model that has learned the relationship between a second image in a format that allows the biometric information to be concealed, generated from the biometric information of a person, and the state of the person.
  • FIG. 1 is a diagram showing a configuration of a content reproduction system according to a first embodiment.
  • 1A to 1C are diagrams showing an example of LFHF data and a first image in which the LFHF data is visualized in the first embodiment.
  • 11 is a flowchart illustrating a content playback process performed by the information processing device according to the first embodiment of the present disclosure.
  • 11 is a first flowchart illustrating a content playback process by an information processing device according to a modified example of the first embodiment of the present disclosure.
  • 13 is a second flowchart illustrating a content playback process by the information processing device according to a modification of the first embodiment of the present disclosure.
  • FIG. 11 is a diagram showing a configuration of a content reproduction system according to a second embodiment.
  • FIG. 11A and 11B are diagrams showing an example of a face image and a first image obtained by cutting out only some of the face features from the face image in the second embodiment.
  • FIG. 13 is a diagram showing an example of a face image and a first image generated by converting the face image into a binary image in a first modification of the second embodiment.
  • 13 is a flowchart illustrating a content playback process performed by an information processing device according to a second embodiment of the present disclosure.
  • 13 is a first flowchart illustrating a content playback process by an information processing device according to a second modification of the second embodiment of the present disclosure.
  • 23 is a second flowchart illustrating a content playback process by the information processing device according to the second modification of the second embodiment of the present disclosure.
  • the discomfort estimation device shown in Patent Document 1 receives biometric information indicating heart rate, electrocardiogram, respiration, body temperature, or sweating, selects a trained model corresponding to the driving state of the occupant, and estimates the degree of motion sickness using the selected trained model and the received biometric information.
  • An information processing device includes an acquisition unit that acquires biometric information of a user, a generation unit that generates a first image in a format that allows the biometric information to be concealed from the acquired biometric information, and a determination unit that determines the state of the user from the generated first image using a learning model that has learned the relationship between a second image in a format that allows the biometric information to be concealed, generated from the biometric information of the person, and the state of the person.
  • the determination unit may determine whether the user's state is tense or relaxed.
  • the determination unit may determine whether the user is in a sleeping state.
  • This configuration makes it possible to determine whether the user is in a sleeping state.
  • the acquisition unit may periodically acquire the biometric information.
  • biometric information is acquired periodically, making it possible to determine the user's condition in real time.
  • the acquisition unit may acquire the biometric information from the current time up to a predetermined period ago.
  • the user may be a passenger of a moving body.
  • This configuration makes it possible to determine the state of a user riding on a moving object.
  • the information processing device may further include a playback unit that plays content according to the user's state.
  • the sensor 1 may be provided in a wearable device such as a smartwatch.
  • the wearable device may transmit the measured biometric information directly to the information processing device 2, or may transmit the information to the information processing device 2 via a mobile terminal such as a smartphone.
  • the image generation unit 22 includes an LFHF processing unit 23, a spectrum conversion unit 24, and an image conversion unit 25.
  • HF components are related to respiratory fluctuation and are influenced by parasympathetic nerves.
  • the LFHF processing unit 23 calculates the ratio between the LF component and the HF component to calculate the LFHF value, which is an index of sympathetic nerve activity, i.e., a stress index.
  • the LF component is, for example, a value in the frequency band of 0.05 Hz to 0.15 Hz
  • the HF component is, for example, a value in the frequency band of 0.15 Hz to 0.40 Hz.
  • the heart rate data may be electrocardiogram data.
  • the LFHF processing unit 23 may convert the electrocardiogram data into heart rate interval variability time series data, and calculate the time series data of the LFHF value, which is a stress index, as LFHF data based on the heart rate interval variability time series data.
  • the heart rate data may also be heart rate fluctuation (HRV (Heart Rate Variability)) data.
  • Heart rate fluctuation is a phenomenon in which the interval between heartbeats fluctuates periodically. Heart rate fluctuation is regulated by the autonomic nervous system and is synchronized with fluctuations in breathing and blood pressure. Heart rate fluctuation is used as an index for evaluating the stress level or state of the autonomic nervous system. Heart rate fluctuation reflects the activity state of the autonomic nervous system and indicates how sympathetic and parasympathetic nerves are balanced. In general, the higher the heart rate fluctuation value, the more dominant the parasympathetic nerves are, indicating a state of relaxation of the mind and body.
  • HRV Heart Rate Variability
  • the LFHF processing unit 23 may calculate time series data of the LFHF value, which is a stress index, as LFHF data by frequency analysis of the heart rate fluctuation data.
  • FIG. 2 shows an example of LFHF data and a first image that visualizes the LFHF data in the first embodiment.
  • the state determination unit 26 determines the state of the user from the first image generated by the image generation unit 22 using a learning model that has learned the relationship between the second image, generated from the person's biometric information, in a format that allows the biometric information to be concealed, and the person's state.
  • the state determination unit 26 determines whether the user's state is a tense state or a relaxed state.
  • a tense state can also be said to be a stress state in which the user is under stress.
  • the degree of tension indicates the degree to which a person is tense.
  • the state determination unit 26 inputs the first image into the learning model and determines whether the degree of tension output from the learning model is equal to or greater than a threshold.
  • the degree of tension is expressed as a numerical value between 1.00 and 0.
  • the threshold is, for example, 0.50. If the user's state is tense, the degree of tension output from the learning model approaches 1.00, and if the user's state is relaxed, the degree of tension output from the learning model approaches 0. If the degree of tension output from the learning model is equal to or greater than the threshold, the state determination unit 26 determines that the user's state is tense. Also, if the degree of tension output from the learning model is less than the threshold, the state determination unit 26 determines that the user's state is relaxed.
  • the learning model is created by machine learning using as training data a tense state image in which the first LFHF data is visualized based on a power spectrum obtained by frequency characteristic analysis of the first LFHF data of a person in a tense state, and a relaxed state image in which the second LFHF data is visualized based on a power spectrum obtained by frequency characteristic analysis of the second LFHF data of a person in a relaxed state.
  • a label indicating that the person's state is tense is assigned to the tense state image
  • a label indicating that the person's state is relaxed is assigned to the relaxed state image.
  • Machine learning is performed on the learning model so that when a tense state image is input, it outputs a tension level value of "1" indicating that the person's state is tense, and when a relaxed state image is input, it outputs a tension level value of "0" indicating that the person's state is relaxed.
  • a plurality of second images and a plurality of third images are used to train the learning model.
  • the LFHF processing unit 23 may extract 30 pieces of heartbeat interval fluctuation time series data for each minute from the 30-minute heartbeat interval fluctuation time series data, and calculate 30 pieces of LFHF data based on the extracted 30 pieces of heartbeat interval fluctuation time series data.
  • the spectrum conversion unit 24 may convert the 30 pieces of LFHF data into 30 power spectra.
  • the image conversion unit 25 may convert the 30 power spectra converted by the spectrum conversion unit 24 into 30 first images.
  • the state determination unit 26 may input the 30 first images into a learning model, and determine whether the average of the 30 tension levels output from the learning model is equal to or greater than a threshold value.
  • the LFHF processing unit 23 extracts heartbeat interval fluctuation time series data for each minute from the 30-minute heartbeat interval fluctuation time series data, but may also extract heartbeat interval fluctuation time series data for each 30 seconds from the 30-minute heartbeat interval fluctuation time series data.
  • the LFHF processing unit 23 may extract heart rate interval variability time series data for each predetermined period from the heart rate interval variability time series data for the predetermined period.
  • the bioinformation acquisition unit 21 may acquire heartbeat interval fluctuation time series data during the period in which the one relaxing video content was being played. Then, the image generation unit 22 may calculate LFHF data based on the acquired heartbeat interval fluctuation time series data, and convert the power spectrum obtained by frequency characteristic analysis of the LFHF data into a first image. Then, the state determination unit 26 may use a learning model to determine whether the user's state is a tense state or a relaxed state from the first image generated by the image generation unit 22. At this time, if the user's state is determined again to be a tense state, the content selection unit 28 may select a relaxing video content different from the previously selected relaxing video content.
  • the state determination unit 26 may compare the level of tension currently output from the learning model with the level of tension previously output from the learning model. If the level of tension currently output is equal to or greater than the level of tension previously output, the content selection unit 28 may select relaxing video content that has a greater relaxing effect than the previously selected relaxing video content.
  • the display 3 may be VR (Virtual Reality) goggles, AR (Augmented Reality) goggles, a smartphone display, or a tablet computer display.
  • the content playback system 10 may also include a projector that projects video content onto a screen instead of the display 3.
  • the projector may be installed on the ceiling or seat inside the vehicle.
  • step S1 the biometric information acquisition unit 21 acquires biometric information from the current time up to a predetermined period ago.
  • the biometric information is the user's heart rate data.
  • step S4 the image conversion unit 25 converts the power spectrum converted by the spectrum conversion unit 24 into a first image.
  • step S5 the state determination unit 26 inputs the first image into the trained learning model, determines whether the degree of tension output from the learning model is equal to or greater than a threshold, and determines whether the user's state is tense based on the determination result.
  • the degree of tension is expressed as 1.00 to 0.
  • the first threshold is, for example, 0.50.
  • the state determination unit 26 determines that the user's state is tense.
  • the state determination unit 26 determines that the user's state is not tense, i.e., that the user's state is relaxed.
  • step S5 If it is determined that the user is in a tense state (YES in step S5), then in step S6, the content selection unit 28 selects a relaxing video content from among the multiple video contents stored in the content storage unit 27, for guiding the user from a tense state to a relaxed state.
  • step S7 the content playback unit 29 plays the relaxing video content selected by the content selection unit 28.
  • the content playback unit 29 outputs the played relaxing video content to the display 3.
  • the display 3 displays the relaxing video content played by the content playback unit 29.
  • step S8 the content playback unit 29 determines whether or not the playback of the relaxing video content has ended. If it is determined that the playback of the relaxing video content has not ended (NO in step S8), the determination process of step S8 is performed. The determination process of step S8 is repeated until the playback of the relaxing video content has ended.
  • the content reproduction system 10 may further include a lighting device, and the information processing device 2 may further include a lighting control unit that controls the illuminance of the lighting device.
  • the lighting control unit may control the dimming pattern of the lighting device according to the state of the user determined by the state determination unit 26.
  • the state determination unit 26 determines that the state of the user is a tense state
  • the lighting control unit may control the lighting device to illuminate with a dimming pattern for inducing the user from a tense state to a relaxed state.
  • the state determination unit 26 determines that the state of the user is a relaxed state and the sleep video content is being played
  • the lighting control unit may control the lighting device to illuminate with a dimming pattern for inducing the user from a relaxed state to a sleeping state.
  • the lighting control unit may control the lighting device to illuminate with a dimming pattern for inducing the user from a sleeping state to a wakefulness state. Each dimming pattern is determined in advance.
  • step S30 the content selection unit 28 selects sleep video content from among the multiple video contents stored in the content storage unit 27, for guiding the user from the relaxed state to a sleep state.
  • step S31 the content playback unit 29 plays the sleep video content selected by the content selection unit 28.
  • the content playback unit 29 outputs the played sleep video content to the display 3.
  • the display 3 displays the sleep video content played by the content playback unit 29.
  • step S32 the content playback unit 29 determines whether or not the playback of the sleep video content has ended. If it is determined that the playback of the sleep video content has not ended (NO in step S32), the determination process of step S32 is performed. The determination process of step S32 is repeated until the playback of the sleep video content has ended.
  • step S33 the biometric information acquisition unit 21 acquires biometric information for the period during which the sleep video content was being played.
  • step S34 to step S36 is the same as the processing from step S2 to step S4 shown in FIG. 3, so the explanation is omitted.
  • step S37 the state determination unit 26 inputs the first image into the trained learning model, determines whether the tension level output from the learning model is equal to or lower than a second threshold value that is lower than the first threshold value, and determines whether the user is in a sleeping state based on the determination result.
  • the second threshold value is, for example, 0.20. If the tension level output from the learning model is equal to or lower than the second threshold value, the state determination unit 26 determines that the user is in a sleeping state. Furthermore, if the tension level output from the learning model is greater than the second threshold value, the state determination unit 26 determines that the user is not in a sleeping state, i.e., the user is not yet asleep or is in a light sleep state.
  • step S38 the state determination unit 26 determines whether the tension level output from the learning model is equal to or greater than a first threshold, and determines whether the user's state is tense based on the determination result. If the tension level output from the learning model is equal to or greater than the first threshold, the state determination unit 26 determines that the user's state is tense. Furthermore, if the tension level output from the learning model is less than the first threshold, the state determination unit 26 determines that the user's state is not tense, i.e., that the user's state is relaxed.
  • the state determination unit 26 may use a third threshold as a threshold other than the first threshold. It is preferable that the third threshold is smaller than the first threshold and larger than the second threshold (first threshold > third threshold > second threshold).
  • the content selection unit 28 may select different video content depending on whether the process branches from step S25 or step S38.
  • step S40 the content playback unit 29 plays the sleep video content selected by the content selection unit 28.
  • the content playback unit 29 outputs the played sleep video content to the display 3.
  • the display 3 displays the sleep video content played by the content playback unit 29. Thereafter, the process returns to step S32, and steps S32 to S40 are repeated until the user's state changes from the relaxed state to the sleeping state.
  • awakening video content is played to induce the user from the asleep state to the awakening state
  • sleeping video content is played to induce the user from the relaxed state to the sleeping state. Therefore, it is possible to promote sleep in the user and to comfortably awaken a sleeping user.
  • the biometric information is heart rate data relating to the heart rate, but in the second embodiment, the biometric information is a face image of the user.
  • the content playback system 10A shown in FIG. 6 includes a sensor 1A, an information processing device 2A, and a display 3. Note that in the second embodiment, the same components as those in the first embodiment are given the same reference numerals, and the description thereof will be omitted.
  • Sensor 1A measures the biometric information of the user.
  • the biometric information includes a facial image of the user.
  • Sensor 1A is, for example, a camera that captures a facial image of the user for a specified period of time and outputs the facial image.
  • Sensor 1A transmits the biometric information including the facial image to information processing device 2A.
  • Sensor 1A is installed inside a vehicle in which a user is riding. Sensor 1A is connected to information processing device 2A by wire or wirelessly so that a captured face image can be input to information processing device 2A. Sensor 1A may be connected to information processing device 2A via a network so as to be able to communicate with it. Sensor 1A may be a camera of a smartphone or tablet computer.
  • the sensor 1A When the sensor 1A receives a request to send biometric information from the information processing device 2A, it may send the biometric information to the information processing device 2A.
  • the information processing device 2A includes a biometric information acquisition unit 21A, an image generation unit 22A, a state determination unit 26A, a content storage unit 27, a content selection unit 28, and a content playback unit 29.
  • the biometric information acquisition unit 21A acquires the biometric information of the user.
  • the biometric information includes a facial image.
  • the biometric information acquisition unit 21A receives the biometric information transmitted by the sensor 1A.
  • the biometric information acquisition unit 21A synchronizes with the application of the sensor 1A and acquires the biometric information from the sensor 1A.
  • the biometric information acquisition unit 21A acquires current biometric information.
  • the user may be a passenger of the moving body. If the user is a passenger of the moving body, the biometric information acquisition unit 21A acquires biometric information at the time the user boarded the moving body. When the moving body is powered on, the biometric information acquisition unit 21A may send a request to send biometric information to the sensor 1A.
  • the image conversion unit 25A converts the face image into a first image consisting of only some of the facial features by cutting out only some of the facial features from the face image.
  • Image conversion unit 25A recognizes each part of the face from face image 201. For example, image conversion unit 25A recognizes the eyebrows, eyes, and mouth from face image 201. Image conversion unit 25A then cuts out only the recognized eyebrows, eyes, and mouth from face image 201, and generates first image 202 consisting of only the eyebrows, eyes, and mouth. As first image 202 is composed of only some of the user's facial features, it is difficult to recognize the user's face, and the user's privacy can be protected.
  • Whether the user is in a tense or relaxed state can be determined from the level of tension output from the learning model.
  • the level of tension indicates the degree to which a person is tense.
  • the learning model extracts multiple feature points of facial features from the first image.
  • the learning model calculates the feature amounts of the extracted multiple feature points and calculates the level of tension from the calculated feature amounts.
  • the feature amount is, for example, the distance between each feature point.
  • the distance between multiple feature points changes depending on a person's facial expression.
  • the state determination unit 26A calculates the level of tension by using the distance between multiple feature points as the feature amount, and determines whether the user is in a tense or relaxed state based on the calculated level of tension.
  • the image conversion unit 25A may generate the first image by a process of reducing the resolution of the face image.
  • the image conversion unit 25A converts the face image into a first image having a resolution lower than that of the face image.
  • the resolution of the first image is lower than that of the face image, and is a resolution at which facial feature points can be extracted, but at which the user's face cannot be recognized.
  • the learning model may extract multiple feature points of facial parts (e.g., eyebrows, eyes, and mouth) from the first image.
  • the learning model may then calculate feature amounts of the multiple extracted feature points and calculate the level of tension from the calculated feature amounts. Because the resolution of the first image is lower than that of the original face image, it is difficult to recognize the user's face, and the user's privacy can be protected.
  • FIG. 9 is a flowchart for explaining the content playback process by information processing device 2A in embodiment 2 of the present disclosure.
  • the biometric information acquisition unit 21A acquires current biometric information.
  • the biometric information is a facial image of the user.
  • step S52 the image conversion unit 25A converts the face image into a first image consisting of only some of the facial features by extracting only some of the facial features from the face image.
  • step S53 the state determination unit 26A inputs the first image into the trained learning model, determines whether the tension level output from the learning model is equal to or greater than a threshold, and determines whether the user's state is tense based on the determination result.
  • the tension level is expressed as 1.00 to 0.
  • the first threshold is, for example, 0.50.
  • the state determination unit 26A determines that the user's state is tense.
  • the state determination unit 26A determines that the user's state is not tense, i.e., that the user's state is relaxed.
  • steps S54 to S56 is the same as the processing in steps S6 to S8 shown in FIG. 3, so a description thereof will be omitted.
  • step S57 the biometric information acquisition unit 21A acquires the current biometric information immediately after the playback of the relaxing video content has ended.
  • the biometric information is a facial image. Thereafter, the process returns to step S52, and steps S52 to S57 are repeated until the user's state changes from a tense state to a relaxed state.
  • the biometric information acquisition unit 21A may acquire, as biometric information, facial motion images captured during the period when the relaxing video content was being played.
  • the image conversion unit 25A may extract multiple facial images (still images) per minute from the facial motion images during the period when the relaxing video content was being played, and convert the multiple extracted facial images into multiple first images consisting of only some of the facial features.
  • the state determination unit 26A may input each of the multiple first images into a learning model, and determine whether the average of the multiple tension levels output from the learning model is equal to or greater than a threshold value.
  • steps S58 to S59 is the same as the processing in steps S10 to S11 shown in FIG. 3, so a description thereof will be omitted.
  • audio content may be played back in accordance with the user's state.
  • the content playback unit 29 may play back both video content and audio content, or may play back either video content or audio content.
  • lighting equipment may be controlled in accordance with the user's state, and a diffuser may be controlled in accordance with the user's state.
  • the present embodiment 2 if the user's state is determined to be a relaxed state, the sleep video content and the wakefulness video content are played back in sequence, but the present disclosure is not particularly limited to this, and in the second variation of the present embodiment 2, similar to the variation of the first embodiment, if the user's state is determined to be a relaxed state, it may be determined whether the user's state is a sleeping state or not.
  • FIG. 10 is a first flowchart for explaining the content playback process by information processing device 2A in Variation 2 of Embodiment 2 of the present disclosure
  • FIG. 11 is a second flowchart for explaining the content playback process by information processing device 2A in Variation 2 of Embodiment 2 of the present disclosure. Note that Variation 2 of Embodiment 2 will be explained using information processing device 2A of Embodiment 2.
  • step S71 to step S77 is the same as the processing from step S51 to step S57 shown in FIG. 9, so the explanation is omitted.
  • step S78 the content selection unit 28 selects sleep video content from among the multiple video contents stored in the content storage unit 27, for guiding the user from the relaxed state to a sleep state.
  • step S79 the content playback unit 29 plays the sleep video content selected by the content selection unit 28.
  • the content playback unit 29 outputs the played sleep video content to the display 3.
  • the display 3 displays the sleep video content played by the content playback unit 29.
  • step S80 the content playback unit 29 determines whether or not the playback of the sleep video content has ended. If it is determined that the playback of the sleep video content has not ended (NO in step S80), the determination process of step S80 is performed. The determination process of step S80 is repeated until the playback of the sleep video content has ended.
  • step S81 the biometric information acquisition unit 21A acquires the current biometric information immediately after the playback of the sleep video content has ended.
  • the biometric information is a face image.
  • step S82 is the same as the process of step S52 shown in FIG. 9, so a description thereof will be omitted.
  • step S83 the state determination unit 26A inputs the first image into the trained learning model, determines whether the tension level output from the learning model is equal to or lower than a second threshold value that is lower than the first threshold value, and determines whether the user is in a sleeping state based on the determination result.
  • the second threshold value is, for example, 0.20. If the tension level output from the learning model is equal to or lower than the second threshold value, the state determination unit 26A determines that the user is in a sleeping state. Furthermore, if the tension level output from the learning model is greater than the second threshold value, the state determination unit 26A determines that the user is not in a sleeping state, i.e., the user is not yet asleep or is in a light sleep state.
  • biometric information acquisition unit 21A may acquire facial motion images captured during the period when the sleep video content was being played as biometric information.
  • image conversion unit 25A may extract multiple facial images (still images) per minute from the facial motion images during the period when the sleep video content was being played, and convert the multiple extracted facial images into multiple first images consisting of only some of the facial features.
  • State determination unit 26A may input each of the multiple first images into a learning model, and determine whether the average of the multiple tension levels output from the learning model is equal to or greater than a threshold value.
  • step S84 If it is determined that the user is in a tense state (YES in step S84), the process returns to step S74.
  • LSI Large Scale Integration
  • FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may also be used.
  • a processor such as a CPU executing a program.
  • the technology disclosed herein is useful as a technology for determining a user's condition from the user's biometric information, since it can accurately determine the user's condition while protecting privacy and can perform appropriate intervention control according to the determined user's condition.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

情報処理装置は、ユーザの生体情報を取得する生体情報取得部と、取得された生体情報から、生体情報を秘匿可能な形式の第１画像を生成する画像生成部と、人の生体情報から生成された生体情報を秘匿可能な形式の第２画像と人の状態との関係を学習させた学習モデルを用いて、生成された第１画像からユーザの状態を判定する状態判定部とを備える。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
　本開示は、ユーザの生体情報からユーザの状態を判定する技術に関する。
　例えば、特許文献１には、乗員の生体情報を受信し、車両の運転状態を判定し、乗員の生体情報と乗員の不快度との関係を車両の運転状態毎に機械学習させることにより作成された運転状態毎の学習済みモデルの中から、判定された運転状態に対応する学習済みモデルを選択し、選択された学習済みモデルと受信した生体情報とを用いて、乗員の不快度を推定する不快度推定装置が開示されている。
　しかしながら、上記従来の技術では、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことが困難であり、更なる改善が必要とされていた。
特開２０２３－４０７号公報
　本開示は、上記の問題を解決するためになされたもので、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができる技術を提供することを目的とするものである。
　本開示に係る情報処理装置は、ユーザの生体情報を取得する取得部と、取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成する生成部と、人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定する判定部と、を備える。
　本開示によれば、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができる。
本実施の形態１に係るコンテンツ再生システムの構成を示す図である。 本実施の形態１において、ＬＦＨＦデータと、ＬＦＨＦデータを可視化した第１画像の一例を示す図である。 本開示の実施の形態１における情報処理装置によるコンテンツ再生処理について説明するためのフローチャートである。 本開示の実施の形態１の変形例における情報処理装置によるコンテンツ再生処理について説明するための第１のフローチャートである。 本開示の実施の形態１の変形例における情報処理装置によるコンテンツ再生処理について説明するための第２のフローチャートである。 本実施の形態２に係るコンテンツ再生システムの構成を示す図である。 本実施の形態２において、顔画像と、顔画像から顔のパーツの一部のみを切り出した第１画像の一例を示す図である。 本実施の形態２の変形例１において、顔画像と、顔画像を２値画像に変換することにより生成された第１画像の一例を示す図である。 本開示の実施の形態２における情報処理装置によるコンテンツ再生処理について説明するためのフローチャートである。 本開示の実施の形態２の変形例２における情報処理装置によるコンテンツ再生処理について説明するための第１のフローチャートである。 本開示の実施の形態２の変形例２における情報処理装置によるコンテンツ再生処理について説明するための第２のフローチャートである。
　（本開示の基礎となった知見）
　従来、生体情報からユーザの状態を推定することが行われている。
　上記の特許文献１に示す不快度推定装置は、心拍数、心電、呼吸、体温、又は発汗を表す生体情報を受信し、乗員の運転状態に対応する学習済みモデルを選択し、選択された学習済みモデルと受信された生体情報とを用いて乗り物酔いの程度を推定している。
　しかしながら、上記の特許文献１では、加工していない生体情報を学習済みモデルに入力しているので、生体情報が外部に流出するおそれがあり、プライバシーを保護できないおそれがある。
　以上の課題を解決するために、下記の技術が開示される。
　（１）本開示の一態様に係る情報処理装置は、ユーザの生体情報を取得する取得部と、取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成する生成部と、人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定する判定部と、を備える。
　この構成によれば、取得された生体情報から、生体情報を秘匿可能な形式の第１画像が生成され、学習モデルを用いて、 第１画像からユーザの状態が判定される。ここで、第１画像は、個人情報である生体情報を秘匿可能な形式の画像であるので、第１画像から元の生体情報を特定することは困難である。そのため、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができる。
　（２）上記（１）記載の情報処理装置において、前記生体情報は、心拍に関する心拍データを含み、前記生成部は、前記心拍データに基づいてストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出し、前記ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルを前記第１画像に変換してもよい。
　この構成によれば、ストレス指標であるＬＦＨＦ値の時系列データを可視化した第１画像が判定処理に用いられることにより、第１画像から元の心拍データを特定することは困難であり、ユーザのプライバシーを保護することができる。
　（３）上記（２）記載の情報処理装置において、前記第１画像は、前記パワースペクトルにおける前記ＬＦＨＦデータの周波数成分及び前記ＬＦＨＦ値の時間変化を複数の色により表してもよい。
　この構成によれば、パワースペクトルにおけるＬＦＨＦデータの周波数成分及びＬＦＨＦ値の時間変化を複数の色により表した第１画像が判定処理に用いられることにより、ユーザの状態を精度良く判定することができる。
　（４）上記（１）記載の情報処理装置において、前記生体情報は、前記ユーザの顔画像を含み、前記生成部は、前記顔画像から顔のパーツの一部のみを切り出す処理、前記顔画像を２値画像に変換する処理、前記顔画像を２値画像に変換するとともに、前記顔のパーツの複数の特徴点を抽出する処理、又は前記顔画像の解像度を低下させる処理により、前記第１画像を生成してもよい。
　この構成によれば、顔画像から顔のパーツの一部のみを切り出す処理、顔画像を２値画像に変換する処理、顔画像を２値画像に変換するとともに、顔のパーツの複数の特徴点を抽出する処理、又は顔画像の解像度を低下させる処理により、第１画像が生成されるので、第１画像から元の顔画像を特定することは困難であり、ユーザのプライバシーを保護することができる。
　（５）上記（１）～（４）のいずれか１つに記載の情報処理装置において、前記判定部は、前記ユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定してもよい。
　この構成によれば、ユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定することができる。
　（６）上記（１）～（４）のいずれか１つに記載の情報処理装置において、前記判定部は、前記ユーザの状態が睡眠状態であるか否かを判定してもよい。
　この構成によれば、ユーザの状態が睡眠状態であるか否かを判定することができる。
　（７）上記（１）～（６）のいずれか１つに記載の情報処理装置において、前記取得部は、前記生体情報を周期的に取得してもよい。
　この構成によれば、生体情報が周期的に取得されるので、リアルタイムにユーザの状態を判定することができる。
　（８）上記（１）～（７）のいずれか１つに記載の情報処理装置において、前記取得部は、現在時刻から所定期間前までの前記生体情報を取得してもよい。
　この構成によれば、ユーザの直近の生体情報を反映させた第１画像が生成され、生成された第１画像からユーザの状態が判定されるので、ユーザの直近の状態を判定することができる。
　（９）上記（１）～（８）のいずれか１つに記載の情報処理装置において、前記ユーザは、移動体の乗員であってもよい。
　この構成によれば、移動体に乗っているユーザの状態を判定することができる。
　（１０）上記（１）～（９）のいずれか１つに記載の情報処理装置において、さらに、前記ユーザの状態に応じたコンテンツを再生する再生部を備えてもよい。
　この構成によれば、ユーザの状態に応じたコンテンツが再生されるので、コンテンツが提供されたユーザの状態を変化又は維持させることができる。
　（１１）上記（１０）記載の情報処理装置において、前記ユーザの状態が緊張状態であると判定された場合、前記再生部は、前記ユーザを前記緊張状態からリラックス状態に誘導するための第１映像コンテンツを再生してもよい。
　この構成によれば、ユーザの状態が緊張状態であると判定された場合、ユーザを緊張状態からリラックス状態に誘導するための第１映像コンテンツが再生されるので、ユーザの状態を緊張状態からリラックス状態に変化させることができる。
　（１２）上記（１０）記載の情報処理装置において、前記ユーザの状態が緊張状態ではないと判定された場合、前記再生部は、前記ユーザをリラックス状態から睡眠状態に誘導するための第２映像コンテンツを再生してもよい。
　この構成によれば、ユーザの状態が緊張状態ではないと判定された場合、ユーザをリラックス状態から睡眠状態に誘導するための第２映像コンテンツが再生されるので、ユーザの状態をリラックス状態から睡眠状態に変化させることができる。
　また、本開示は、以上のような特徴的な構成を備える情報処理装置として実現することができるだけでなく、情報処理装置が備える特徴的な構成に対応する特徴的な処理を実行する情報処理方法などとして実現することもできる。また、このような情報処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理装置と同様の効果を奏することができる。
　（１３）本開示の他の態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、ユーザの生体情報を取得することと、取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成することと、人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定することと、を含む。
　（１４）本開示の他の態様に係る情報処理プログラムは、ユーザの生体情報を取得し、取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成し、人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定するようにコンピュータを機能させる。
　（１５）本開示の他の態様に係る非一時的なコンピュータ読み取り可能な記録媒体は、情報処理プログラムを記録し、前記情報処理プログラムは、ユーザの生体情報を取得し、取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成し、人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定するようにコンピュータを機能させる。
　以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、本実施の形態１に係るコンテンツ再生システム１０の構成を示す図である。
　図１に示すコンテンツ再生システム１０は、センサ１、情報処理装置２、及びディスプレイ３を備える。
　センサ１は、ユーザの生体情報を測定する。生体情報は、心拍に関する心拍データを含む。心拍データは、心拍数データを含む。センサ１は、例えば、心拍計であり、ユーザの所定期間における心拍数を測定し、心拍数データを出力する。センサ１は、心拍数データを含む生体情報を情報処理装置２に送信する。センサ１は、情報処理装置２とネットワークを介して互いに通信可能に接続されている。ネットワークは、例えば、インターネットである。
　なお、センサ１は、スマートウオッチなどのウェアラブルデバイスに設けられてもよい。ウェアラブルデバイスは、測定した生体情報を情報処理装置２に直接送信してもよいし、スマートフォンなどの携帯端末を介して情報処理装置２に送信してもよい。
　また、センサ１は、非接触で心拍を検出可能に構成されたミリ波レーダであってもよい。ミリ波レーダは、ミリ波帯域でマイクロメートル単位の微細振動を非接触で検出する。また、センサ１は、人体からの微弱な電波の反射を捉え、脈波を非接触で計測可能に構成されたドップラーセンサであってもよい。
　センサ１は、所定期間における生体情報を記憶し、生体情報の送信要求を情報処理装置２から受信すると、所定期間における生体情報を情報処理装置２に送信してもよい。
　情報処理装置２は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。なお、情報処理装置２は、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。
　情報処理装置２は、ユーザが搭乗する移動体内に設置される。移動体は、例えば、人工知能技術を用いて自律走行を行う移動体である。なお、情報処理装置２は、サーバであってもよい。
　情報処理装置２は、生体情報取得部２１、画像生成部２２、状態判定部２６、コンテンツ記憶部２７、コンテンツ選択部２８、及びコンテンツ再生部２９を備える。
　生体情報取得部２１は、ユーザの生体情報を取得する。生体情報は、心拍数データを含む。生体情報取得部２１は、センサ１によって送信された生体情報を受信する。生体情報取得部２１は、センサ１のアプリケーションと同期し、センサ１から生体情報を取得する。
　生体情報取得部２１は、現在時刻から所定期間前までのユーザの生体情報を取得する。なお、ユーザは、移動体の乗員であってもよい。ユーザが移動体の乗員である場合、生体情報取得部２１は、ユーザが移動体に搭乗した時刻から所定期間前までの生体情報を取得する。所定時間は、例えば、３０分である。生体情報取得部２１は、移動体の電源がオンされた場合、生体情報の送信要求をセンサ１に送信してもよい。
　また、生体情報取得部２１は、生体情報を周期的に取得する。生体情報取得部２１は、センサ１によって送信される生体情報を周期的に受信してもよい。
　画像生成部２２は、生体情報取得部２１によって取得された生体情報から、生体情報を秘匿可能な形式の第１画像を生成する。画像生成部２２は、心拍に関する心拍データに基づいてストレス指標であるＬＦＨＦデータを算出し、ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルを第１画像に変換する。
　画像生成部２２は、ＬＦＨＦ処理部２３、スペクトル変換部２４、及び画像変換部２５を備える。
　ＬＦＨＦ処理部２３は、心拍数データを心拍間隔変動時系列データ（ＲＲＩ時系列データ）に変換し、心拍間隔変動時系列データに基づいてストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出する。ＬＦＨＦデータは、心拍変動時系列データを周波数解析することにより得られたパワースペクトルのＬＦ成分とＨＦ成分との比であるＬＦＨＦ値の時系列データである。
　ＬＦＨＦ値とは、自律神経機能の評価として用いられている値である。心拍は、Ｐ波、Ｑ波、Ｒ波、Ｓ波、及びＴ波という複数の波形を含む。ＲＲ間隔は、複数の波形の中で最も大きなピーク波であるＲ波の間隔を表す。ＲＲ間隔は、心拍と同義であり、常に一定ではなく、変動していることが知られている。ＲＲ間隔の時系列データが、心拍変動時系列データである。ＬＦＨＦ処理部２３は、心拍変動時系列データを周波数解析することにより、パワースペクトルを得る。このパワースペクトルでは、周波数の低いＬＦ（Ｌｏｗ　Ｆｒｅｑｕｅｎｃｙ）成分と周波数の高いＨＦ（Ｈｉｇｈ　Ｆｒｅｑｕｅｎｃｙ）成分とが観測される。ＬＦ成分は、血圧調整の機能と関連しており、交感神経と副交感神経との両方の影響を受ける。ＨＦ成分は、呼吸変動と関連しており、副交感神経の影響を受ける。ＬＦＨＦ処理部２３は、ＬＦ成分とＨＦ成分との比を算出することにより、交感神経活動度の指標、すなわち、ストレス指標であるＬＦＨＦ値を算出する。
　ＬＦ成分は、例えば、０．０５Ｈｚ～０．１５Ｈｚの周波数帯域の値であり、ＨＦ成分は、例えば、０．１５Ｈｚ～０．４０Ｈｚの周波数帯域の値である。ユーザの状態がリラックス状態（弛緩状態）であると、ＬＦ成分に対してＨＦ成分が大きくなるのでＬＦＨＦ値は小さくなる。反対に、ユーザの状態が緊張状態（ストレス状態）であると、ＨＦ成分に対してＬＦ成分が大きくなるのでＬＦＨＦ値は大きくなる。
　なお、心拍データは、心電図データであってもよい。ＬＦＨＦ処理部２３は、心電図データを心拍間隔変動時系列データに変換し、心拍間隔変動時系列データに基づいてストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出してもよい。
　また、心拍データは、心拍ゆらぎ（ＨＲＶ（Ｈｅａｒｔ　Ｒａｔｅ　Ｖａｒｉａｂｉｌｉｔｙ））データであってもよい。心拍ゆらぎは、心臓の鼓動間隔が周期的に変動する現象である。心拍ゆらぎは、自律神経系によって調節され、呼吸及び血圧の変動と同期する。心拍ゆらぎは、ストレスレベル又は自律神経の状態を評価する指標として利用される。心拍ゆらぎは、自律神経系の活動状態を反映しており、交感神経と副交感神経とがどのようにバランスを取っているかを表す。一般的に、心拍ゆらぎの数値が高いほど副交感神経が優位であり、心身がリラックスしている状態を示す。一方、心拍ゆらぎの数値が低いほど交感神経が優位であり、ストレス又は疲労が溜まっている状態を示す。ＬＦＨＦ処理部２３は、心拍ゆらぎデータを周波数解析することにより、ストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出してもよい。
　スペクトル変換部２４は、時間領域のＬＦＨＦデータを周波数領域のパワースペクトルに変換する。スペクトル変換部２４は、ＬＦＨＦデータに対してフーリエ変換を行うことにより、ＬＦＨＦデータの波形を周波数成分に分解したパワースペクトルに変換する。
　画像変換部２５は、スペクトル変換部２４によって変換されたパワースペクトルを第１画像に変換する。
　図２は、本実施の形態１において、ＬＦＨＦデータと、ＬＦＨＦデータを可視化した第１画像の一例を示す図である。
　図２に示すＬＦＨＦデータにおいて、横軸が時間を表し、縦軸がＬＦＨＦ値を表す。また、図２に示す第１画像において、横軸が時間を表し、縦軸が周波数を表し、色がＬＦＨＦ値の大きさを表す。なお、色は、カラーで表現される。
　画像変換部２５は、所定期間のＬＦＨＦデータに含まれる連続したパワースペクトルに基づき第１画像を生成する。画像変換部２５は、スペクトル変換部２４によって変換されたパワースペクトルを時系列に並べることにより第１画像を生成する。第１画像は、パワースペクトルにおけるＬＦＨＦデータの周波数成分及びＬＦＨＦ値の時間変化を複数の色により表す。
　状態判定部２６は、人の生体情報から生成された生体情報を秘匿可能な形式の第２画像と人の状態との関係を学習させた学習モデルを用いて、画像生成部２２によって生成された第１画像からユーザの状態を判定する。状態判定部２６は、ユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定する。緊張状態は、ユーザにストレスがかかっているストレス状態とも言える。
　ユーザの状態が緊張状態及びリラックス状態のいずれであるかは、学習モデルから出力される緊張度により判定可能である。緊張度は、人が緊張している度合いを示す。ここで、状態判定部２６は、第１画像を学習モデルに入力し、学習モデルから出力される緊張度が閾値以上であるか否かを判定する。緊張度は、１．００～０の数値で表される。閾値は、例えば、０．５０である。ユーザの状態が緊張状態であれば、学習モデルから出力される緊張度は１．００に近づき、ユーザの状態がリラックス状態であれば、学習モデルから出力される緊張度は０に近づく。状態判定部２６は、学習モデルから出力された緊張度が閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６は、学習モデルから出力された緊張度が閾値より小さい場合、ユーザの状態がリラックス状態であると判定する。
　学習モデルは、緊張状態である人の第１ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルに基づき、第１ＬＦＨＦデータを可視化した緊張状態画像と、リラックス状態である人の第２ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルに基づき、第２ＬＦＨＦデータを可視化したリラックス状態画像とを教師データとして用いた機械学習により作成される。緊張状態画像には、人の状態が緊張状態であることを示すラベルが付与され、リラックス状態画像には、人の状態がリラックス状態であることを示すラベルが付与される。緊張状態画像が入力されると、人の状態が緊張状態であることを示す緊張度の値「１」を出力し、リラックス状態画像が入力されると、人の状態がリラックス状態であることを示す緊張度の値「０」を出力するように学習モデルの機械学習が行われる。複数の第２画像及び複数の第３画像が学習モデルの学習に用いられる。
　なお、ＬＦＨＦ処理部２３は、３０分間の心拍間隔変動時系列データから１分間毎の３０個の心拍間隔変動時系列データを抽出し、抽出した３０個の心拍間隔変動時系列データに基づいて３０個のＬＦＨＦデータを算出してもよい。スペクトル変換部２４は、３０個のＬＦＨＦデータを３０個のパワースペクトルに変換してもよい。画像変換部２５は、スペクトル変換部２４によって変換された３０個のパワースペクトルを３０個の第１画像に変換してもよい。状態判定部２６は、３０個の第１画像をそれぞれ学習モデルに入力し、学習モデルから出力される３０個の緊張度の平均が閾値以上であるか否かを判定してもよい。なお、ＬＦＨＦ処理部２３は、３０分間の心拍間隔変動時系列データから１分間毎の心拍間隔変動時系列データを抽出しているが、３０分間の心拍間隔変動時系列データから３０秒間毎の心拍間隔変動時系列データを抽出してもよい。ＬＦＨＦ処理部２３は、所定期間の心拍間隔変動時系列データから所定期間毎の心拍間隔変動時系列データを抽出してもよい。
　コンテンツ記憶部２７は、複数の映像コンテンツを予め記憶する。複数の映像コンテンツは、リラックス効果があるリラックス映像コンテンツ、睡眠導入効果がある睡眠映像コンテンツ、及び覚醒効果がある覚醒映像コンテンツを含む。
　コンテンツ再生システム１０は、移動体の乗員であるユーザを複数のフェーズに応じた状態に誘導する。複数のフェーズとしては、リラックスフェーズ、リラックスフェーズの次の睡眠フェーズ、睡眠フェーズの次の覚醒フェーズが採用できる。リラックスフェーズとはユーザを緊張状態からリラックス状態に誘導するフェーズである。睡眠フェーズとは、ユーザを睡眠状態に誘導するフェーズである。覚醒フェーズとは、ユーザを覚醒状態に誘導するフェーズである。リラックスフェーズ及び睡眠フェーズをこの順で行うことでユーザにしっかりと睡眠をとらせることができる。また、睡眠フェーズ及び覚醒フェーズをこの順で行うことで、ユーザをスッキリした状態で覚醒させることができる。これにより、ユーザは目的地に到着後の行動を活発に行うことができる。
　リラックスフェーズでは、ユーザを緊張状態からリラックス状態に誘導するためのリラックス映像コンテンツが再生され、睡眠フェーズでは、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツが再生され、覚醒フェーズでは、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツが再生される。なお、リラックス映像コンテンツは、第１映像コンテンツの一例であり、睡眠映像コンテンツは、第２映像コンテンツの一例である。
　コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、状態判定部２６によって判定されたユーザの状態に応じた映像コンテンツを選択する。状態判定部２６によってユーザの状態が緊張状態であると判定された場合、コンテンツ選択部２８は、ユーザを緊張状態からリラックス状態に誘導するためのリラックス映像コンテンツを選択する。また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ選択部２８は、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツ及びユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツを選択する。
　なお、状態判定部２６によってユーザの状態が緊張状態であると判定された場合、コンテンツ選択部２８は、複数のリラックス映像コンテンツを選択してもよい。
　１つの映像コンテンツの再生時間は、例えば、１０～１５分である。１つの映像コンテンツの再生時間が短ければ、ユーザが１つの映像コンテンツを見たとしても、ユーザの心拍に影響を及ぼさないおそれがある。そのため、１つの映像コンテンツの再生時間は、ユーザの心拍に影響を及ぼす長さに設定されることが好ましい。１つの映像コンテンツの再生時間が短い場合、コンテンツ選択部２８は、複数のリラックス映像コンテンツを選択してもよい。例えば、１つの映像コンテンツの再生時間が５分である場合、コンテンツ選択部２８は、２～３つの映像コンテンツを選択してもよい。
　コンテンツ再生部２９は、ユーザの状態に応じたコンテンツを再生する。コンテンツ再生部２９は、コンテンツ選択部２８によって選択された映像コンテンツを再生する。コンテンツ再生部２９は、再生した映像コンテンツをディスプレイ３に出力する。
　状態判定部２６によってユーザの状態が緊張状態であると判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択されたリラックス映像コンテンツを再生する。また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツ及び覚醒映像コンテンツを順次再生する。
　また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ選択部２８は、リラックス映像コンテンツ、睡眠映像コンテンツ、及び覚醒映像コンテンツを選択してもよい。この場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択されたリラックス映像コンテンツ、睡眠映像コンテンツ、及び覚醒映像コンテンツを順次再生してもよい。
　また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ選択部２８は、睡眠映像コンテンツを選択せずに、覚醒映像コンテンツのみを選択してもよい。この場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された覚醒映像コンテンツのみを再生してもよい。例えば、移動体の到着予定時刻が既知であれば、現在時刻から到着予定時刻の所定時間前の時刻までは映像コンテンツが再生されず、到着予定時刻の所定時間前の時刻から覚醒映像コンテンツが再生されてもよい。また、ユーザの覚醒時刻は、ユーザによって設定されてもよい。コンテンツ再生部２９は、設定された覚醒時刻になると、覚醒映像コンテンツを再生してもよい。
　また、１つのリラックス映像コンテンツの再生が終了した後、生体情報取得部２１は、１つのリラックス映像コンテンツが再生されていた期間の心拍間隔変動時系列データを取得してもよい。そして、画像生成部２２は、取得された心拍間隔変動時系列データに基づいてＬＦＨＦデータを算出し、ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルを第１画像に変換してもよい。そして、状態判定部２６は、学習モデルを用いて、画像生成部２２によって生成された第１画像からユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定してもよい。このとき、ユーザの状態が緊張状態であると再度判定された場合、コンテンツ選択部２８は、前回選択したリラックス映像コンテンツとは異なるリラックス映像コンテンツを選択してもよい。そして、ユーザの状態がリラックス状態であると判定されるまで、心拍間隔変動時系列データの取得、第１画像の生成、ユーザの状態の判定、映像コンテンツの選択、及び映像コンテンツの再生が繰り返されてもよい。
　また、１つのリラックス映像コンテンツの再生が終了した後、状態判定部２６は、ユーザの状態が緊張状態であると再度判定した場合、学習モデルから今回出力された緊張度と、学習モデルから前回出力された緊張度とを比較してもよい。そして、今回出力された緊張度が前回出力された緊張度以上である場合、コンテンツ選択部２８は、前回選択したリラックス映像コンテンツよりもリラックス効果が高いリラックス映像コンテンツを選択してもよい。
　また、睡眠映像コンテンツ及び覚醒映像コンテンツを再生する再生時間は、予め決められていてもよいし、移動体の到着予定時刻が既知であれば、到着予定時刻に基づいて決定されてもよい。例えば、現在時刻から到着予定時刻の所定時間前の時刻までは睡眠映像コンテンツが再生され、到着予定時刻の所定時間前の時刻から覚醒映像コンテンツが再生されてもよい。コンテンツ選択部２８は、睡眠映像コンテンツ及び覚醒映像コンテンツそれぞれの再生時間に応じて、睡眠映像コンテンツ及び覚醒映像コンテンツを選択してもよい。また、ユーザの覚醒時刻は、ユーザによって設定されてもよい。例えば、現在時刻から覚醒時刻までは睡眠映像コンテンツが再生され、覚醒時刻から覚醒映像コンテンツが再生されてもよい。
　ディスプレイ３は、例えば、液晶ディスプレイであり、移動体内に設置される。ディスプレイ３は、移動体の乗員であるユーザから見える位置に設置される。ディスプレイ３は、コンテンツ再生部２９によって再生された映像コンテンツを表示する。ユーザの状態が緊張状態であると判定された場合、ディスプレイ３は、リラックス映像コンテンツを表示する。ユーザは、ディスプレイ３に表示されたリラックス映像コンテンツを見ることで、緊張状態からリラックス状態に誘導される。また、ユーザの状態がリラックス状態であると判定された場合、ディスプレイ３は、睡眠映像コンテンツ及び覚醒映像コンテンツを順次表示する。ユーザは、ディスプレイ３に表示された睡眠映像コンテンツを見ることで、リラックス状態から睡眠状態に誘導される。また、ユーザは、ディスプレイ３に表示された覚醒映像コンテンツを見ることで、睡眠状態から覚醒状態に誘導される。
　なお、ディスプレイ３は、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）ゴーグル、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）ゴーグル、スマートフォンのディスプレイ、又はタブレット型コンピュータのディスプレイであってもよい。また、コンテンツ再生システム１０は、ディスプレイ３に替えて、映像コンテンツをスクリーンに投影するプロジェクタを備えてもよい。例えば、プロジェクタは、車室内の天井又はシートに設置されてもよい。
　続いて、本開示の実施の形態１における情報処理装置２によるコンテンツ再生処理について説明する。
　図３は、本開示の実施の形態１における情報処理装置２によるコンテンツ再生処理について説明するためのフローチャートである。
　まず、ステップＳ１において、生体情報取得部２１は、現在時刻から所定期間前までの生体情報を取得する。生体情報は、ユーザの心拍数データである。
　次に、ステップＳ２において、ＬＦＨＦ処理部２３は、心拍数データに基づいてＬＦＨＦデータを算出する。ＬＦＨＦ処理部２３は、心拍数データを心拍間隔変動時系列データに変換する。そして、ＬＦＨＦ処理部２３は、心拍間隔変動時系列データに基づいてストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出する。
　次に、ステップＳ３において、スペクトル変換部２４は、時間領域のＬＦＨＦデータを周波数領域のパワースペクトルに変換する。
　次に、ステップＳ４において、画像変換部２５は、スペクトル変換部２４によって変換されたパワースペクトルを第１画像に変換する。
　次に、ステップＳ５において、状態判定部２６は、学習済みの学習モデルに第１画像を入力し、学習モデルから出力される緊張度が閾値以上であるか否かを判定し、判定結果に基づいてユーザの状態が緊張状態であるか否かを判定する。緊張度は、１．００～０で表される。ユーザの状態が緊張状態である場合、緊張度は１．００に近づき、ユーザの状態がリラックス状態である場合、緊張度は０に近づく。第１閾値は、例えば、０．５０である。状態判定部２６は、学習モデルから出力される緊張度が閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６は、学習モデルから出力される緊張度が閾値より小さい場合、ユーザの状態が緊張状態ではない、すなわち、ユーザの状態がリラックス状態であると判定する。
　ここで、ユーザの状態が緊張状態であると判定された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザを緊張状態からリラックス状態に誘導するためのリラックス映像コンテンツを選択する。
　次に、ステップＳ７において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択されたリラックス映像コンテンツを再生する。コンテンツ再生部２９は、再生したリラックス映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生されたリラックス映像コンテンツを表示する。
　次に、ステップＳ８において、コンテンツ再生部２９は、リラックス映像コンテンツの再生が終了したか否かを判定する。ここで、リラックス映像コンテンツの再生が終了していないと判定された場合（ステップＳ８でＮＯ）、ステップＳ８の判定処理が行われる。ステップＳ８の判定処理は、リラックス映像コンテンツの再生が終了するまで繰り返される。
　一方、リラックス映像コンテンツの再生が終了したと判定された場合（ステップＳ８でＹＥＳ）、ステップＳ９において、生体情報取得部２１は、リラックス映像コンテンツが再生されていた期間の生体情報を取得する。その後、処理はステップＳ２に戻り、ユーザの状態が緊張状態からリラックス状態に変わるまで、ステップＳ２～ステップＳ９の処理が行われる。
　一方、ユーザの状態が緊張状態ではないと判定された場合、すなわち、ユーザの状態がリラックス状態であると判定された場合（ステップＳ５でＮＯ）、ステップＳ１０において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツ及びユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツを選択する。
　次に、ステップＳ１１において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツ及び覚醒映像コンテンツを順次再生する。コンテンツ再生部２９は、再生した睡眠映像コンテンツ及び覚醒映像コンテンツをディスプレイ３に順次出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された睡眠映像コンテンツ及び覚醒映像コンテンツを順次表示する。
　本実施の形態１によれば、取得された生体情報から、生体情報を秘匿可能な形式の第１画像が生成され、学習モデルを用いて、 第１画像からユーザの状態が判定される。ここで、第１画像は、個人情報である生体情報を秘匿可能な形式の画像であるので、第１画像から元の生体情報を特定することは困難である。そのため、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができる。
　なお、本実施の形態１では、ユーザの状態に応じた映像コンテンツが再生されるが、本開示は特にこれに限定されず、ユーザの状態に応じた音響コンテンツが再生されてもよい。
　この場合、コンテンツ再生システム１０は、スピーカをさらに備えてもよい。コンテンツ記憶部２７は、複数の音響コンテンツを予め記憶してもよい。複数の音響コンテンツは、リラックス効果があるリラックス音響コンテンツ、睡眠導入効果がある睡眠音響コンテンツ、及び覚醒効果がある覚醒音響コンテンツを含んでもよい。コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の音響コンテンツの中から、状態判定部２６によって判定されたユーザの状態に応じた音響コンテンツを選択してもよい。状態判定部２６によってユーザの状態が緊張状態であると判定された場合、コンテンツ選択部２８は、ユーザを緊張状態からリラックス状態に誘導するためのリラックス音響コンテンツを選択してもよい。また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ選択部２８は、ユーザをリラックス状態から睡眠状態に誘導するための睡眠音響コンテンツ及びユーザを睡眠状態から覚醒状態に誘導するための覚醒音響コンテンツを選択してもよい。
　そして、コンテンツ再生部２９は、ユーザの状態に応じた音響コンテンツを再生してもよい。コンテンツ再生部２９は、コンテンツ選択部２８によって選択された音響コンテンツを再生してもよい。コンテンツ再生部２９は、再生した音響コンテンツをスピーカに出力してもよい。状態判定部２６によってユーザの状態が緊張状態であると判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択されたリラックス音響コンテンツを再生してもよい。また、状態判定部２６によってユーザの状態がリラックス状態であると判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠音響コンテンツ及び覚醒音響コンテンツを順次再生してもよい。
　なお、コンテンツ再生部２９は、映像コンテンツと音響コンテンツとの両方を再生してもよいし、映像コンテンツと音響コンテンツとのいずれか一方を再生してもよい。
　また、コンテンツ再生システム１０は、照明機器をさらに備えてもよく、情報処理装置２は、照明機器の照度を制御する照明制御部をさらに備えてもよい。照明制御部は、状態判定部２６によって判定されたユーザの状態に応じて照明機器の調光パターンを制御してもよい。状態判定部２６によってユーザの状態が緊張状態であると判定された場合、照明制御部は、ユーザを緊張状態からリラックス状態に誘導するための調光パターンで照明するように照明機器を制御してもよい。また、状態判定部２６によってユーザの状態がリラックス状態であると判定され、睡眠映像コンテンツが再生される間、照明制御部は、ユーザをリラックス状態から睡眠状態に誘導するための調光パターンで照明するように照明機器を制御してもよい。また、状態判定部２６によってユーザの状態がリラックス状態であると判定され、覚醒映像コンテンツが再生される間、照明制御部は、ユーザを睡眠状態から覚醒状態に誘導するための調光パターンで照明するように照明機器を制御してもよい。なお、各調光パターンは予め決められている。
　また、コンテンツ再生システム１０は、香り成分を噴出するディフューザをさらに備えてもよく、情報処理装置２は、ディフューザから噴出される香り成分を制御する香り制御部をさらに備えてもよい。香り制御部は、状態判定部２６によって判定されたユーザの状態に応じてディフューザから噴出する香り成分を制御してもよい。状態判定部２６によってユーザの状態が緊張状態であると判定された場合、香り制御部は、ユーザを緊張状態からリラックス状態に誘導するための香り成分を噴出するようにディフューザを制御してもよい。また、状態判定部２６によってユーザの状態がリラックス状態であると判定され、覚醒映像コンテンツが再生される間、香り制御部は、ユーザを睡眠状態から覚醒状態に誘導するための香り成分を噴出するようにディフューザを制御してもよい。なお、各香り成分は予め決められている。
　また、本実施の形態１では、ユーザの状態がリラックス状態であると判定された場合、睡眠映像コンテンツ及び覚醒映像コンテンツが順次再生されるが、本開示は特にこれに限定されず、本実施の形態１の変形例では、ユーザの状態がリラックス状態であると判定された場合、ユーザの状態が睡眠状態であるか否かが判定されてもよい。
　図４は、本開示の実施の形態１の変形例における情報処理装置２によるコンテンツ再生処理について説明するための第１のフローチャートであり、図５は、本開示の実施の形態１の変形例における情報処理装置２によるコンテンツ再生処理について説明するための第２のフローチャートである。なお、実施の形態１の変形例では、実施の形態１の情報処理装置２を用いて説明がされる。
　ステップＳ２１～ステップＳ２９の処理は、図３に示すステップＳ１～ステップＳ９の処理と同じであるので、説明を省略する。
　ユーザの状態が緊張状態ではないと判定された場合、すなわち、ユーザの状態がリラックス状態であると判定された場合（ステップＳ２５でＮＯ）、ステップＳ３０において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツを選択する。
　次に、ステップＳ３１において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツを再生する。コンテンツ再生部２９は、再生した睡眠映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された睡眠映像コンテンツを表示する。
　次に、ステップＳ３２において、コンテンツ再生部２９は、睡眠映像コンテンツの再生が終了したか否かを判定する。ここで、睡眠映像コンテンツの再生が終了していないと判定された場合（ステップＳ３２でＮＯ）、ステップＳ３２の判定処理が行われる。ステップＳ３２の判定処理は、睡眠映像コンテンツの再生が終了するまで繰り返される。
　一方、睡眠映像コンテンツの再生が終了したと判定された場合（ステップＳ３２でＹＥＳ）、ステップＳ３３において、生体情報取得部２１は、睡眠映像コンテンツが再生されていた期間の生体情報を取得する。
　ステップＳ３４～ステップＳ３６の処理は、図３に示すステップＳ２～ステップＳ４の処理と同じであるので、説明を省略する。
　次に、ステップＳ３７において、状態判定部２６は、学習済みの学習モデルに第１画像を入力し、学習モデルから出力される緊張度が第１閾値より小さい第２閾値以下であるか否かを判定し、判定結果に基づいてユーザの状態が睡眠状態であるか否かを判定する。第２閾値は、例えば、０．２０である。状態判定部２６は、学習モデルから出力される緊張度が第２閾値以下である場合、ユーザの状態が睡眠状態であると判定する。また、状態判定部２６は、学習モデルから出力される緊張度が第２閾値より大きい場合、ユーザの状態が睡眠状態ではない、すなわち、ユーザがまだ眠っていない状態又は眠りが浅い状態であると判定する。
　リラックス状態において、緊張度がさらに小さくなった場合、ユーザが眠っている状態又は眠りが深い状態であると判定することができる。そのため、ユーザの状態が睡眠状態ではない場合、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツが再生され、ユーザの状態が睡眠状態に移行した場合、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツが再生される。
　ここで、ユーザの状態が睡眠状態ではないと判定された場合（ステップＳ３７でＮＯ）、ステップＳ３８において、状態判定部２６は、学習モデルから出力された緊張度が第１閾値以上であるか否かを判定し、判定結果に基づいてユーザの状態が緊張状態であるか否かを判定する。状態判定部２６は、学習モデルから出力される緊張度が第１閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６は、学習モデルから出力される緊張度が第１閾値より小さい場合、ユーザの状態が緊張状態ではない、すなわち、ユーザの状態がリラックス状態であると判定する。
　ここで、ユーザの状態が緊張状態であると判定された場合（ステップＳ３８でＹＥＳ）、ステップＳ２６に処理が戻る。
　なお、ステップＳ３８の緊張度の判定において、状態判定部２６は、第１閾値以外の閾値として第３閾値を用いてもよい。第３閾値は、第１閾値より小さく、第２閾値より大きいことが好ましい（第１閾値＞第３閾値＞第２閾値）。また、ステップＳ２６において、コンテンツ選択部２８は、ステップＳ２５から分岐した場合と、ステップＳ３８から分岐した場合とで、異なる映像コンテンツを選択してもよい。
　睡眠映像コンテンツの再生終了後に睡眠状態ではなく緊張状態であるというのは、例えば、ジャーキング、体勢変更、あるいは移動体の急な動き又は振動に伴う、睡眠フェーズにおける一時的（突発的）な起床状態であると考えられる。つまり、睡眠映像コンテンツの再生終了後の緊張状態は、通常の緊張状態とは異なる状態であるので、第１閾値とは異なる第３閾値が用いられ、通常のリラックス映像コンテンツとは異なるリラックス映像コンテンツが再生されてもよい。通常のリラックス映像コンテンツとは異なるリラックス映像コンテンツとは、例えば、リラックス状態に誘導する映像であるが、通常よりも音が小さい映像、通常よりも動きが少ない映像、又は睡眠を阻害しない映像などである。
　一方、ユーザの状態が緊張状態ではないと判定された場合、すなわち、ユーザの状態がリラックス状態であると判定された場合（ステップＳ３８でＮＯ）、ステップＳ３９において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツを選択する。
　次に、ステップＳ４０において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツを再生する。コンテンツ再生部２９は、再生した睡眠映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された睡眠映像コンテンツを表示する。その後、処理はステップＳ３２に戻り、ユーザの状態がリラックス状態から睡眠状態に変わるまで、ステップＳ３２～ステップＳ４０の処理が行われる。
　一方、ユーザの状態が睡眠状態であると判定された場合（ステップＳ３７でＹＥＳ）、ステップＳ４１において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツを選択する。
　次に、ステップＳ４２において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された覚醒映像コンテンツを再生する。コンテンツ再生部２９は、再生した覚醒映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された覚醒映像コンテンツを表示する。
　なお、コンテンツ再生部２９は、現在時刻がユーザを覚醒させる覚醒時刻であるか否かを判定してもよい。覚醒時刻は、移動体の到着予定時刻の所定時間前の時刻である。現在時刻が覚醒時刻であると判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された覚醒映像コンテンツを再生してもよい。一方、現在時刻が覚醒時刻ではないと判定された場合、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された覚醒映像コンテンツを再生しなくてもよい。この場合、コンテンツ再生部２９は、現在時刻が覚醒時刻であるか否かの判定処理を、現在時刻が覚醒時刻になるまで繰り返し行ってもよい。
　このように、本実施の形態１の変形例では、ユーザの状態がリラックス状態であり、かつユーザの状態が睡眠状態であれば、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツが再生され、ユーザの状態がリラックス状態であり、かつユーザの状態が睡眠状態ではなければ、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツが再生される。したがって、ユーザの睡眠を促進させることができるとともに、眠っているユーザを快適に覚醒させることができる。
　（実施の形態２）
　実施の形態１では、生体情報は、心拍に関する心拍データであったが、実施の形態２では、生体情報は、ユーザの顔画像である。
　図６は、本実施の形態２に係るコンテンツ再生システム１０Ａの構成を示す図である。
　図６に示すコンテンツ再生システム１０Ａは、センサ１Ａ、情報処理装置２Ａ、及びディスプレイ３を備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
　センサ１Ａは、ユーザの生体情報を測定する。生体情報は、ユーザの顔画像を含む。センサ１Ａは、例えば、カメラであり、ユーザの所定期間における顔画像を撮影し、顔画像を出力する。センサ１Ａは、顔画像を含む生体情報を情報処理装置２Ａに送信する。
　センサ１Ａは、ユーザが搭乗する移動体内に設置される。センサ１Ａは、撮影した顔画像を情報処理装置２Ａに入力できるように、有線又は無線によって情報処理装置２Ａに接続される。センサ１Ａは、ネットワークを介して情報処理装置２Ａと通信可能に接続されてもよい。なお、センサ１Ａは、スマートフォン又はタブレット型コンピュータのカメラであってもよい。
　センサ１Ａは、生体情報の送信要求を情報処理装置２Ａから受信すると、生体情報を情報処理装置２Ａに送信してもよい。
　情報処理装置２Ａは、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。なお、情報処理装置２Ａは、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。
　情報処理装置２Ａは、移動体内に設置される。なお、情報処理装置２Ａは、サーバであってもよい。
　情報処理装置２Ａは、生体情報取得部２１Ａ、画像生成部２２Ａ、状態判定部２６Ａ、コンテンツ記憶部２７、コンテンツ選択部２８、及びコンテンツ再生部２９を備える。
　生体情報取得部２１Ａは、ユーザの生体情報を取得する。生体情報は、顔画像を含む。生体情報取得部２１Ａは、センサ１Ａによって送信された生体情報を受信する。生体情報取得部２１Ａは、センサ１Ａのアプリケーションと同期し、センサ１Ａから生体情報を取得する。
　生体情報取得部２１Ａは、現在の生体情報を取得する。なお、ユーザは、移動体の乗員であってもよい。ユーザが移動体の乗員である場合、生体情報取得部２１Ａは、ユーザが移動体に搭乗した時点の生体情報を取得する。生体情報取得部２１Ａは、移動体の電源がオンされた場合、生体情報の送信要求をセンサ１Ａに送信してもよい。
　画像生成部２２Ａは、生体情報取得部２１Ａによって取得された生体情報から、生体情報を秘匿可能な形式の第１画像を生成する。画像生成部２２Ａは、顔画像から顔のパーツの一部のみを切り出す処理により、第１画像を生成する。
　画像生成部２２Ａは、画像変換部２５Ａを備える。
　画像変換部２５Ａは、顔画像から顔のパーツの一部のみを切り出すことにより、顔画像を、顔のパーツの一部のみから構成される第１画像に変換する。
　図７は、本実施の形態２において、顔画像と、顔画像から顔のパーツの一部のみを切り出した第１画像の一例を示す図である。
　画像変換部２５Ａは、顔画像２０１から顔の各パーツを認識する。例えば、画像変換部２５Ａは、顔画像２０１から顔の眉、目、及び口を認識する。そして、画像変換部２５Ａは、顔画像２０１から、認識した眉、目、及び口のみを切り出し、顔の眉、目、及び口のみから構成される第１画像２０２を生成する。第１画像２０２は、ユーザの顔のパーツの一部のみから構成されるので、ユーザの顔を認識することが困難であり、ユーザのプライバシーを保護することができる。
　状態判定部２６Ａは、人の生体情報から生成された生体情報を秘匿可能な形式の第２画像と人の状態との関係を学習させた学習モデルを用いて、画像生成部２２Ａによって生成された第１画像からユーザの状態を判定する。状態判定部２６Ａは、ユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定する。緊張状態は、ユーザにストレスがかかっているストレス状態とも言える。状態判定部２６Ａは、表情センシング技術により第１画像からユーザの表情を推定し、推定したユーザの表情からユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定する。
　ユーザの状態が緊張状態及びリラックス状態のいずれであるかは、学習モデルから出力される緊張度により判定可能である。緊張度は、人が緊張している度合いを示す。学習モデルは、第１画像が入力されると、第１画像から顔のパーツの複数の特徴点を抽出する。そして、学習モデルは、抽出した複数の特徴点の特徴量を算出し、算出した特徴量から緊張度を算出する。特徴量は、例えば、各特徴点間の距離である。人は表情によって複数の特徴点間の距離が変化する。状態判定部２６Ａは、複数の特徴点間の距離を特徴量として用いることにより緊張度を算出し、算出した緊張度に基づいてユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定する。
　ここで、状態判定部２６Ａは、第１画像を学習モデルに入力し、学習モデルから出力される緊張度が閾値以上であるか否かを判定する。緊張度は、１．００～０の数値で表される。閾値は、例えば、０．５０である。ユーザの状態が緊張状態であれば、学習モデルから出力される緊張度は１．００に近づき、ユーザの状態がリラックス状態であれば、学習モデルから出力される緊張度は０に近づく。状態判定部２６Ａは、学習モデルから出力された緊張度が閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６Ａは、学習モデルから出力された緊張度が閾値より小さい場合、ユーザの状態がリラックス状態であると判定する。
　学習モデルは、緊張状態である人の第１顔画像から顔のパーツの一部のみを切り出した緊張状態画像と、リラックス状態である人の第２顔画像から顔のパーツの一部のみを切り出したリラックス状態画像とを教師データとして用いた機械学習により作成される。緊張状態画像には、人の状態が緊張状態であることを示すラベルが付与され、リラックス状態画像には、人の状態がリラックス状態であることを示すラベルが付与される。緊張状態画像が入力されると、人の状態が緊張状態であることを示す緊張度の値「１」を出力し、リラックス状態画像が入力されると、人の状態がリラックス状態であることを示す緊張度の値「０」を出力するように学習モデルの機械学習が行われる。複数の第２画像及び複数の第３画像が学習モデルの学習に用いられる。
　なお、画像変換部２５Ａは、現在時刻から３０分前までの顔動画像から１分毎の３０個の顔画像（静止画像）を抽出し、抽出した３０個の顔画像を、顔のパーツの一部のみで構成される３０個の第１画像に変換してもよい。状態判定部２６Ａは、３０個の第１画像をそれぞれ学習モデルに入力し、学習モデルから出力される３０個の緊張度の平均が閾値以上であるか否かを判定してもよい。なお、画像変換部２５Ａは、３０分間の顔動画像から１分毎の顔画像を抽出しているが、３０分間のから３０秒毎の顔画像を抽出してもよい。画像変換部２５Ａは、所定期間の顔動画像から所定時間毎の顔画像を抽出してもよい。
　また、画像変換部２５Ａは、顔画像を２値画像に変換する処理により、第１画像を生成してもよい。画像変換部２５Ａは、カラーの顔画像を白色及び黒色のみで構成される第１画像に変換してもよい。この場合、学習モデルは、第１画像が入力されると、第１画像から顔のパーツ（例えば、眉、目、及び口）の複数の特徴点を抽出してもよい。そして、学習モデルは、抽出した複数の特徴点の特徴量を算出し、算出した特徴量から緊張度を算出してもよい。第１画像は２値画像であるので、ユーザの顔を認識することが困難であり、ユーザのプライバシーを保護することができる。
　また、画像変換部２５Ａは、顔画像を２値画像に変換するとともに、顔のパーツの複数の特徴点を抽出する処理により、第１画像を生成してもよい。
　図８は、本実施の形態２の変形例１において、顔画像と、顔画像を２値画像に変換するとともに、顔のパーツの複数の特徴点を抽出することにより生成された第１画像の一例を示す図である。
　画像変換部２５Ａは、カラーの顔画像２０１を白色及び黒色のみで構成される第１画像２０３に変換してもよい。この場合、画像変換部２５Ａは、カラーの顔画像２０１から人物の輪郭を検出するとともに、第１画像２０３から顔のパーツ（例えば、眉、目、鼻、口、及び輪郭）の複数の特徴点２０４を抽出してもよい。そして、画像変換部２５Ａは、背景に該当する領域を黒色で表し、人物に該当する領域を白色で表し、複数の特徴点２０４を点で表した第１画像２０３を生成してもよい。学習モデルは、第１画像２０３が入力されると、複数の特徴点２０４の特徴量を算出し、算出した特徴量から緊張度を算出してもよい。第１画像２０３は、２値画像であるとともに、複数の特徴点で構成されるので、ユーザの顔を認識することが困難であり、ユーザのプライバシーを保護することができる。
　また、画像変換部２５Ａは、顔画像の解像度を低下させる処理により、第１画像を生成してもよい。画像変換部２５Ａは、顔画像を、顔画像の解像度よりも低い解像度を有する第１画像に変換する。なお、第１画像の解像度は、顔画像の解像度よりも低く、かつ顔の特徴点を抽出可能であり、かつユーザの顔の認識が不可能である解像度である。この場合、学習モデルは、第１画像が入力されると、第１画像から顔のパーツ（例えば、眉、目、及び口）の複数の特徴点を抽出してもよい。そして、学習モデルは、抽出した複数の特徴点の特徴量を算出し、算出した特徴量から緊張度を算出してもよい。第１画像の解像度は元の顔画像の解像度よりも低いので、ユーザの顔を認識することが困難であり、ユーザのプライバシーを保護することができる。
　続いて、本開示の実施の形態２における情報処理装置２Ａによるコンテンツ再生処理について説明する。
　図９は、本開示の実施の形態２における情報処理装置２Ａによるコンテンツ再生処理について説明するためのフローチャートである。
　まず、ステップＳ５１において、生体情報取得部２１Ａは、現在の生体情報を取得する。生体情報は、ユーザの顔画像である。
　次に、ステップＳ５２において、画像変換部２５Ａは、顔画像から顔のパーツの一部のみを切り出すことにより、顔画像を、顔のパーツの一部のみから構成される第１画像に変換する。
　次に、ステップＳ５３において、状態判定部２６Ａは、学習済みの学習モデルに第１画像を入力し、学習モデルから出力される緊張度が閾値以上であるか否かを判定し、判定結果に基づいてユーザの状態が緊張状態であるか否かを判定する。緊張度は、１．００～０で表される。ユーザの状態が緊張状態である場合、緊張度は１．００に近づき、ユーザの状態がリラックス状態である場合、緊張度は０に近づく。第１閾値は、例えば、０．５０である。状態判定部２６Ａは、学習モデルから出力される緊張度が閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６Ａは、学習モデルから出力される緊張度が閾値より小さい場合、ユーザの状態が緊張状態ではない、すなわち、ユーザの状態がリラックス状態であると判定する。
　なお、ステップＳ５４～ステップＳ５６の処理は、図３に示すステップＳ６～ステップＳ８の処理と同じであるので、説明を省略する。
　リラックス映像コンテンツの再生が終了したと判定された場合（ステップＳ５６でＹＥＳ）、ステップＳ５７において、生体情報取得部２１Ａは、リラックス映像コンテンツの再生が終了した直後の現在の生体情報を取得する。生体情報は、顔画像である。その後、処理はステップＳ５２に戻り、ユーザの状態が緊張状態からリラックス状態に変わるまで、ステップＳ５２～ステップＳ５７の処理が行われる。
　なお、ステップＳ５７において、生体情報取得部２１Ａは、リラックス映像コンテンツが再生されていた期間に撮影された顔動画像を生体情報として取得してもよい。この場合、画像変換部２５Ａは、リラックス映像コンテンツが再生されていた期間の顔動画像から１分毎の複数の顔画像（静止画像）を抽出し、抽出した複数の顔画像を、顔のパーツの一部のみで構成される複数の第１画像に変換してもよい。状態判定部２６Ａは、複数の第１画像をそれぞれ学習モデルに入力し、学習モデルから出力される複数の緊張度の平均が閾値以上であるか否かを判定してもよい。
　ステップＳ５８～ステップＳ５９の処理は、図３に示すステップＳ１０～ステップＳ１１の処理と同じであるので、説明を省略する。
　本実施の形態２によれば、取得された顔画像から、生体情報を秘匿可能な形式の第１画像が生成され、学習モデルを用いて、 第１画像からユーザの状態が判定される。ここで、第１画像は、個人情報である顔画像を秘匿可能な形式の画像であるので、第１画像から元の顔画像を特定することは困難である。そのため、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができる。
　なお、本実施の形態２においても、ユーザの状態に応じた音響コンテンツが再生されてもよい。この場合、コンテンツ再生部２９は、映像コンテンツと音響コンテンツとの両方を再生してもよいし、映像コンテンツと音響コンテンツとのいずれか一方を再生してもよい。また、本実施の形態２においても、ユーザの状態に応じて照明機器が制御されてもよく、ユーザの状態に応じてディフューザが制御されてもよい。
　また、本実施の形態２では、ユーザの状態がリラックス状態であると判定された場合、睡眠映像コンテンツ及び覚醒映像コンテンツが順次再生されるが、本開示は特にこれに限定されず、本実施の形態２の変形例２では、実施の形態１の変形例と同様に、ユーザの状態がリラックス状態であると判定された場合、ユーザの状態が睡眠状態であるか否かが判定されてもよい。
　図１０は、本開示の実施の形態２の変形例２における情報処理装置２Ａによるコンテンツ再生処理について説明するための第１のフローチャートであり、図１１は、本開示の実施の形態２の変形例２における情報処理装置２Ａによるコンテンツ再生処理について説明するための第２のフローチャートである。なお、実施の形態２の変形例２では、実施の形態２の情報処理装置２Ａを用いて説明がされる。
　ステップＳ７１～ステップＳ７７の処理は、図９に示すステップＳ５１～ステップＳ５７の処理と同じであるので、説明を省略する。
　ユーザの状態が緊張状態ではないと判定された場合、すなわち、ユーザの状態がリラックス状態であると判定された場合（ステップＳ７３でＮＯ）、ステップＳ７８において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツを選択する。
　次に、ステップＳ７９において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツを再生する。コンテンツ再生部２９は、再生した睡眠映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された睡眠映像コンテンツを表示する。
　次に、ステップＳ８０において、コンテンツ再生部２９は、睡眠映像コンテンツの再生が終了したか否かを判定する。ここで、睡眠映像コンテンツの再生が終了していないと判定された場合（ステップＳ８０でＮＯ）、ステップＳ８０の判定処理が行われる。ステップＳ８０の判定処理は、睡眠映像コンテンツの再生が終了するまで繰り返される。
　一方、睡眠映像コンテンツの再生が終了したと判定された場合（ステップＳ８０でＹＥＳ）、ステップＳ８１において、生体情報取得部２１Ａは、睡眠映像コンテンツの再生が終了した直後の現在の生体情報を取得する。生体情報は、顔画像である。
　ステップＳ８２の処理は、図９に示すステップＳ５２の処理と同じであるので、説明を省略する。
　次に、ステップＳ８３において、状態判定部２６Ａは、学習済みの学習モデルに第１画像を入力し、学習モデルから出力される緊張度が第１閾値より小さい第２閾値以下であるか否かを判定し、判定結果に基づいてユーザの状態が睡眠状態であるか否かを判定する。第２閾値は、例えば、０．２０である。状態判定部２６Ａは、学習モデルから出力される緊張度が第２閾値以下である場合、ユーザの状態が睡眠状態であると判定する。また、状態判定部２６Ａは、学習モデルから出力される緊張度が第２閾値より大きい場合、ユーザの状態が睡眠状態ではない、すなわち、ユーザがまだ眠っていない状態又は眠りが浅い状態であると判定する。
　なお、ステップＳ８１において、生体情報取得部２１Ａは、睡眠映像コンテンツが再生されていた期間に撮影された顔動画像を生体情報として取得してもよい。この場合、画像変換部２５Ａは、睡眠映像コンテンツが再生されていた期間の顔動画像から１分毎の複数の顔画像（静止画像）を抽出し、抽出した複数の顔画像を、顔のパーツの一部のみで構成される複数の第１画像に変換してもよい。状態判定部２６Ａは、複数の第１画像をそれぞれ学習モデルに入力し、学習モデルから出力される複数の緊張度の平均が閾値以上であるか否かを判定してもよい。
　ここで、ユーザの状態が睡眠状態ではないと判定された場合（ステップＳ８３でＮＯ）、ステップＳ８４において、状態判定部２６Ａは、学習モデルから出力された緊張度が第１閾値以上であるか否かを判定し、判定結果に基づいてユーザの状態が緊張状態であるか否かを判定する。状態判定部２６Ａは、学習モデルから出力される緊張度が第１閾値以上である場合、ユーザの状態が緊張状態であると判定する。また、状態判定部２６Ａは、学習モデルから出力される緊張度が第１閾値より小さい場合、ユーザの状態が緊張状態ではない、すなわち、ユーザの状態がリラックス状態であると判定する。
　ここで、ユーザの状態が緊張状態であると判定された場合（ステップＳ８４でＹＥＳ）、ステップＳ７４に処理が戻る。
　一方、ユーザの状態が緊張状態ではないと判定された場合、すなわち、ユーザの状態がリラックス状態であると判定された場合（ステップＳ８４でＮＯ）、ステップＳ８５において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツを選択する。
　次に、ステップＳ８６において、コンテンツ再生部２９は、コンテンツ選択部２８によって選択された睡眠映像コンテンツを再生する。コンテンツ再生部２９は、再生した睡眠映像コンテンツをディスプレイ３に出力する。ディスプレイ３は、コンテンツ再生部２９によって再生された睡眠映像コンテンツを表示する。その後、処理はステップＳ８０に戻り、ユーザの状態がリラックス状態から睡眠状態に変わるまで、ステップＳ８０～ステップＳ８６の処理が行われる。
　一方、ユーザの状態が睡眠状態であると判定された場合（ステップＳ８３でＹＥＳ）、ステップＳ８７において、コンテンツ選択部２８は、コンテンツ記憶部２７に記憶されている複数の映像コンテンツの中から、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツを選択する。
　なお、ステップＳ８７～ステップＳ８８の処理は、図５に示すステップＳ４１～ステップＳ４２の処理と同じであるので、説明を省略する。
　このように、本実施の形態２の変形例２では、ユーザの状態がリラックス状態であり、かつユーザの状態が睡眠状態であれば、ユーザを睡眠状態から覚醒状態に誘導するための覚醒映像コンテンツが再生され、ユーザの状態がリラックス状態であり、かつユーザの状態が睡眠状態ではなければ、ユーザをリラックス状態から睡眠状態に誘導するための睡眠映像コンテンツが再生される。したがって、ユーザの睡眠を促進させることができるとともに、眠っているユーザを快適に覚醒させることができる。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
　本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示に係る技術は、プライバシーを保護しながら、ユーザの状態を精度良く判定し、判定したユーザの状態に応じた適当な介入制御を行うことができるので、ユーザの生体情報からユーザの状態を判定する技術として有用である。

Claims (14)

  1. 　ユーザの生体情報を取得する取得部と、
    　取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成する生成部と、
    　人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定する判定部と、
    　を備える情報処理装置。
  2. 　前記生体情報は、心拍に関する心拍データを含み、
    　前記生成部は、前記心拍データに基づいてストレス指標であるＬＦＨＦ値の時系列データをＬＦＨＦデータとして算出し、前記ＬＦＨＦデータの周波数特性解析により得られたパワースペクトルを前記第１画像に変換する、
    　請求項１に記載の情報処理装置。
  3. 　前記第１画像は、前記パワースペクトルにおける前記ＬＦＨＦデータの周波数成分及び前記ＬＦＨＦ値の時間変化を複数の色により表す、
    　請求項２に記載の情報処理装置。
  4. 　前記生体情報は、前記ユーザの顔画像を含み、
    　前記生成部は、前記顔画像から顔のパーツの一部のみを切り出す処理、前記顔画像を２値画像に変換する処理、前記顔画像を２値画像に変換するとともに、前記顔のパーツの複数の特徴点を抽出する処理、又は前記顔画像の解像度を低下させる処理により、前記第１画像を生成する、
    　請求項１に記載の情報処理装置。
  5. 　前記判定部は、前記ユーザの状態が緊張状態及びリラックス状態のいずれであるかを判定する、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記判定部は、前記ユーザの状態が睡眠状態であるか否かを判定する、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  7. 　前記取得部は、前記生体情報を周期的に取得する、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  8. 　前記取得部は、現在時刻から所定期間前までの前記生体情報を取得する、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  9. 　前記ユーザは、移動体の乗員である、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  10. 　さらに、前記ユーザの状態に応じたコンテンツを再生する再生部を備える、
    　請求項１～４のいずれか１項に記載の情報処理装置。
  11. 　前記ユーザの状態が緊張状態であると判定された場合、前記再生部は、前記ユーザを前記緊張状態からリラックス状態に誘導するための第１映像コンテンツを再生する、
    　請求項１０に記載の情報処理装置。
  12. 　前記ユーザの状態が緊張状態ではないと判定された場合、前記再生部は、前記ユーザをリラックス状態から睡眠状態に誘導するための第２映像コンテンツを再生する、
    　請求項１０に記載の情報処理装置。
  13. 　コンピュータにより実行される情報処理方法であって、
    　ユーザの生体情報を取得することと、
    　取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成することと、
    　人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定することと、
    　を含む情報処理方法。
  14. 　ユーザの生体情報を取得し、
    　取得された前記生体情報から、前記生体情報を秘匿可能な形式の第１画像を生成し、
    　人の前記生体情報から生成された前記生体情報を秘匿可能な形式の第２画像と前記人の状態との関係を学習させた学習モデルを用いて、生成された前記第１画像から前記ユーザの状態を判定するようにコンピュータを機能させる、
    　情報処理プログラム。
PCT/JP2024/043279 2024-01-09 2024-12-06 情報処理装置、情報処理方法、及び情報処理プログラム Pending WO2025150321A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024001151 2024-01-09
JP2024-001151 2024-01-09

Publications (1)

Publication Number Publication Date
WO2025150321A1 true WO2025150321A1 (ja) 2025-07-17

Family

ID=96386535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/043279 Pending WO2025150321A1 (ja) 2024-01-09 2024-12-06 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2025150321A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03254291A (ja) * 1990-03-02 1991-11-13 Toyota Motor Corp 車両運転者監視装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2008264138A (ja) * 2007-04-18 2008-11-06 Delta Tooling Co Ltd 睡眠状態判定装置、睡眠状態判定方法及びコンピュータプログラム
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
JP2018195043A (ja) * 2017-05-17 2018-12-06 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
JP2020174905A (ja) * 2019-04-18 2020-10-29 富士通株式会社 情報処理装置、危険状況検出システム、および危険状況検出方法
WO2023176948A1 (ja) * 2022-03-14 2023-09-21 ヘルスセンシング株式会社 無呼吸低呼吸指標推定装置、方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03254291A (ja) * 1990-03-02 1991-11-13 Toyota Motor Corp 車両運転者監視装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2008264138A (ja) * 2007-04-18 2008-11-06 Delta Tooling Co Ltd 睡眠状態判定装置、睡眠状態判定方法及びコンピュータプログラム
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
JP2018195043A (ja) * 2017-05-17 2018-12-06 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
JP2020174905A (ja) * 2019-04-18 2020-10-29 富士通株式会社 情報処理装置、危険状況検出システム、および危険状況検出方法
WO2023176948A1 (ja) * 2022-03-14 2023-09-21 ヘルスセンシング株式会社 無呼吸低呼吸指標推定装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUPTA AAYUSH; JAISWAL AYUSH; WU YUE; YADAV VIVEK; NATARAJAN PRADEEP: "Adversarial Mask Generation for Preserving Visual Privacy", 2021 16TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION (FG 2021), 15 December 2021 (2021-12-15), pages 1 - 5, XP034000446, DOI: 10.1109/FG52635.2021.9666933 *

Similar Documents

Publication Publication Date Title
JP7288064B2 (ja) 視覚型仮想エージェント
US20200296480A1 (en) Production and control of cinematic content responsive to user emotional state
US20200029889A1 (en) Biofeedback system and method
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
JP4192127B2 (ja) 睡眠状態管理装置及び睡眠状態管理方法
CN107614045A (zh) 声源控制装置、声源控制方法以及计算机可读记录介质
CN111467644A (zh) 用于睡眠管理的方法和系统
CN109119057A (zh) 音乐创作方法、装置及存储介质和穿戴式设备
WO2022161067A1 (zh) 一种睡前状态检测方法及设备
CN115645707B (zh) 一种基于睡眠模式的睡眠刺激控制方法及相关设备
JP2021071549A (ja) 学習システム、および、学習方法
WO2025150321A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2022181168A1 (ja) 刺激提示システム、刺激提示方法、プログラム、および、モデル生成システム
WO2022118955A1 (ja) ソリューション提供システム
US20250348805A1 (en) Information processing method, information processing apparatus, and stimulation system
JP7705700B2 (ja) 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法
KR20250127228A (ko) 초고령화 사회 대비 인공지능 기술을 이용한 실시간 생체신호의 학습을 통한 수면 패턴에 따라 수면유지지원 음원을 실시간으로 제공하는 수면유지 쟝애 예방 장치 및 서비스
CN101564299B (zh) 调息状态的分析方法及运用该分析方法的互动系统
CN121512505A (zh) 近视防控音乐干预的生理信号同步分析方法
JP2026074983A (ja) システム
JP2023148754A (ja) 機器制御システム、機器制御方法、及び、プログラム
CN119828846A (zh) 一种光语言智能生成方法及系统
JP2026029571A (ja) システム
JP2026033797A (ja) システム
JP2026024211A (ja) システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24917006

Country of ref document: EP

Kind code of ref document: A1