WO2023189313A1 - プログラム、情報処理装置、および情報処理方法 - Google Patents

プログラム、情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2023189313A1
WO2023189313A1 PCT/JP2023/008731 JP2023008731W WO2023189313A1 WO 2023189313 A1 WO2023189313 A1 WO 2023189313A1 JP 2023008731 W JP2023008731 W JP 2023008731W WO 2023189313 A1 WO2023189313 A1 WO 2023189313A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
subject
information
abnormality
control unit
Prior art date
Application number
PCT/JP2023/008731
Other languages
English (en)
French (fr)
Inventor
俊彦 西村
康之 本間
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to CN202380014315.9A priority Critical patent/CN118202423A/zh
Publication of WO2023189313A1 publication Critical patent/WO2023189313A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a program, an information processing device, and an information processing method.
  • Patent Document 1 a health support system that installs a sensor in a residence or nursing care facility where a subject who requires health monitoring spends, and acquires biological information of the subject over time.
  • Patent Document 1 it is necessary to constantly monitor the subject using a camera, a microphone, etc., which poses a problem from the viewpoint of ensuring privacy.
  • priority is placed on ensuring privacy, sufficient biometric information to understand health conditions will not be obtained. Under these circumstances, it is difficult to strike a balance between health monitoring and ensuring privacy.
  • One aspect of the present invention is to provide a program or the like that changes the method of acquiring biological information in stages according to the degree of abnormality of the health condition.
  • the program determines abnormality of a subject based on first sensor information obtained from a first sensor, and depending on the determination result, a second sensor having a higher degree of physical privacy disclosure than the first sensor.
  • An abnormality of the subject is determined based on the second sensor information obtained from the sensor, or a test program regarding the abnormality is executed on the subject.
  • FIG. 1 is a schematic diagram showing an overview of a health abnormality determination system.
  • FIG. 1 is a schematic diagram showing a configuration example of an information processing device.
  • FIG. 2 is an explanatory diagram showing a data layout of a health state DB.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 3 is a flowchart showing a processing procedure of a program executed by the information processing device.
  • 12 is a flowchart illustrating an example of a processing procedure of a program executed by an information processing apparatus in Embodiment 6.
  • Embodiment 1 a health abnormality determination system that achieves both privacy protection and a function of determining abnormality in health condition will be described from Embodiment 1 to Embodiment 5 based on the drawings.
  • Embodiment 1 In Embodiment 1, a mode will be described in which sensors are switched in stages to detect biometric information with different degrees of privacy disclosure.
  • FIG. 1 is a schematic diagram showing an overview of the health abnormality determination system.
  • an information processing device 10 is installed in the living space of a subject who requires health monitoring.
  • the living space of the subject include a residence, a nursing care facility, a medical facility, and the like.
  • the subject provides biological information to the information processing device 10 in order to have his/her health condition monitored while leading a normal life.
  • the information processing device 10 is dedicated hardware that includes a sensor that acquires biological information.
  • the information processing device 10 may be a general-purpose information device used by the subject, such as a smartphone, a tablet terminal, or a smart speaker.
  • the biometric information acquired by the information processing device 10 includes biometric information with a high degree of physical privacy disclosure and biometric information with a low degree of physical privacy disclosure.
  • biometric information is obtained through detailed monitoring of private life, and the degree of privacy protection is low. If the biometric information becomes known to others, there is a possibility that a specific individual may be identified. Examples of the biological information include information on health status associated with an individual, a facial image, or personal information such as a stress check. Although the use of biometric information for health monitoring improves the accuracy of determining abnormalities in health conditions, there are limits to ensuring the privacy of the person in question.
  • biometric information is obtained through simple monitoring of private life and has a high degree of privacy protection. Even if the biometric information is known to others, it is difficult to identify a specific individual. Examples of the biological information include personal information such as daily sounds, images other than faces, body shape, or skeleton. When using the biometric information for health observation, the privacy of the person concerned is ensured, but there is a limit to the accuracy of determining abnormalities in the health condition.
  • the information processing device 10 used in this system performs a process of switching the sensors that acquire biological information in stages.
  • the information processing device 10 acquires biometric information with a low degree of physical privacy disclosure using the first sensor. Starting with the biometric information acquired in the first step, the information processing device 10 sequentially switches to acquiring biometric information with a high degree of physical privacy disclosure. If no abnormality is found in the first stage, the system will not switch to the second stage or later, so the subject's privacy remains guaranteed. Furthermore, depending on the degree of abnormality detected in the first stage, the second stage may be skipped and the process may be switched to the third stage. In other words, by switching from the first sensor to the third sensor in stages, it is possible to achieve both privacy assurance and the function of determining abnormalities in health status.
  • the information processing device 10 will be described as performing switching in three stages, but it may also perform switching in two stages or four stages or more.
  • this embodiment will be described as one information processing device 10 configuring this system, it is also possible to realize this system by cooperating with multiple pieces of hardware installed in a living space. good. Furthermore, a server on the cloud may perform some of the processing (for example, health abnormality determination processing) performed by the information processing device 10.
  • FIG. 2 is a block diagram showing a configuration example of the information processing device 10.
  • the information processing device 10 includes a control section 11, a main storage section 12, a communication section 13, an auxiliary storage section 14, a display section 15, an input section 16, a speaker 17, a drive mechanism 18, a first sensor 19, a second sensor 20, and A third sensor 21 is included.
  • the control unit 11 is one or more processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, and executes various information processing.
  • processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), a GPU (Graphics Processing Unit), or a quantum processor, and executes various information processing.
  • the main memory unit 12 is a temporary storage area such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory), and temporarily stores data necessary for the control unit 11 to execute processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • the communication unit 13 is a communication interface for connecting to a communication network such as the Internet or a LAN (Local Area Network).
  • a communication network such as the Internet or a LAN (Local Area Network).
  • the auxiliary storage unit 14 is a memory such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the auxiliary storage unit 14 stores a program 140 (program product) that causes the information processing device 10 to execute processing, a health status DB (data base) 150, a plurality of test programs, and other data.
  • the auxiliary storage unit 14 stores the subject's biological information when healthy. Specifically, the information includes a face image, height, weight, blood pressure, heart rate, or walking video regarding the subject.
  • the control unit 11 determines the subject's health abnormality based on the biological information stored in the auxiliary storage unit 14.
  • the auxiliary storage unit 14 may store not only specific biological information but also statistics or feature amounts based on the biological information.
  • the auxiliary storage unit 14 may store a machine learning model constructed based on statistics or feature amounts based on the biological information. If the machine learning model is stored, there is no need to store specific biological information or statistics or feature amounts based on the biological information. Specifically, when sensor information is input, SVM (Support Vector Machine), decision tree, neural network, LSTM (Long Short Term Memory), etc. are trained to output a classification result of whether it is normal or not. All you need to do is memorize the machine learning model.
  • SVM Small Vector Machine
  • decision tree decision tree
  • neural network LSTM (Long Short Term Memory), etc.
  • the information processing device 10 may include a reading unit that reads the portable storage medium 10a, and may read the program 140 from the portable storage medium 10a. Further, the information processing device 10 may download the program 140 from another computer via a communication network.
  • the display unit 15 is a display screen such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display unit 15 displays an image such as a screen on which a test program regarding an abnormality is executed on the subject, which will be described later, or a screen showing the result of determining the abnormality on the subject.
  • the input unit 16 is an input interface such as a touch panel or mechanical operation buttons.
  • the input unit 16 receives operation input from the subject. Specifically, the input unit 16 receives biological information of the subject when he or she is healthy.
  • the input unit 16 may be a microphone that collects the subject's voice commands.
  • the speaker 17 is a device for outputting audio such as an audio message or an alert.
  • the speaker 17 may output audio instructions to the subject when the test program is executed.
  • the drive mechanism 18 rotates the main body of the information processing device 10 in the horizontal and vertical directions.
  • the drive mechanism 18 is controlled by the control unit 11 depending on the degree of privacy disclosure when monitoring the subject.
  • the control unit 11 switches each sensor depending on the level of privacy disclosure.
  • the first sensor 19, the second sensor 20, and the third sensor 21 are arranged in descending order of privacy disclosure degree.
  • each sensor will be described as being built into the information processing device 10, but it may be an external sensor.
  • the first sensor information may be acquired by the subject wearing a wearable terminal.
  • the first sensor 19 acquires first sensor information including biometric information with a low degree of privacy disclosure.
  • the information processing device 10 includes multiple types of sensors, such as a microphone, LiDAR (Light Detection and Ranging), an event-driven photographing device, or a camera.
  • the control unit 11 switches ON/OFF of the plurality of first sensors 19 to acquire target biological information.
  • control unit 11 When the control unit 11 activates the camera as the first sensor 19, it functions as a wide-angle camera. At this time, the first sensor 19 is controlled by the drive mechanism 18 and does not photograph the subject's face or zoom in on the subject's face. This is to keep the degree of privacy disclosure low.
  • control unit 11 When the control unit 11 activates the camera as the first sensor 19, it may conversely control the camera so that only the face of the subject is captured within the photographing range (Region Of Interest). This is because it is thought that the degree of privacy disclosure can be lowered by making it impossible to identify the subject's actions by photographing only the face.
  • the first sensor 19 may be a so-called intelligent vision sensor, which is a camera unit that has a built-in AI function that performs object and person recognition processing.
  • This camera unit photographs the subject's face, but does not output the photographed image.
  • This camera unit collects tracking data of the subject in the shooting range, line of sight obtained by tracking, lines connecting the corners of the mouth, positional coordinates of the subject's facial feature points (positions of the eyes, nose and mouth) in the image, angle information, and recognition results ( It only outputs information such as whether the person is a person, etc.).
  • this camera unit may also be used to perform health-related abnormality determination as described later.
  • the second sensor 20 acquires second sensor information including biometric information with a medium degree of privacy disclosure.
  • the second sensor 20 is a camera, it functions as a photographing device that photographs the subject's face at a narrower angle than the first sensor 19 . This is to obtain a facial image as biometric information with a higher degree of privacy disclosure than in the first stage.
  • the third sensor 21 acquires third sensor information including biometric information with a high degree of privacy disclosure.
  • the third sensor 21 is a combination of a camera and a microphone for acquiring biological information for the test program.
  • the camera used for the third sensor 21 has an even narrower angle than the camera used for the second sensor 20, and acquires a zoomed face image or arm image of the subject.
  • biological information may be acquired by activating LiDAR as the first sensor 19, a wide-angle camera as the second sensor 20, and a narrow-angle camera as the third sensor 21.
  • the test program is a diagnostic process for acquiring biometric information with a higher degree of privacy disclosure than the first sensor information and the second sensor information.
  • the test program is, for example, an interview, a motion analysis, or a stroke (cerebrovascular disorder) diagnosis (for example, CPSS: Cincinnati Prehospital Stroke Scale, NIHSS: National Institutes of Health Stroke Scale, or KPSS: Kurashiki Prehospital Scale).
  • Interviews include heart failure self-check, epilepsy check, stress check, etc.
  • the information processing device 10 determines the health abnormality of the subject based on the results of each interview.
  • Gait analysis is an analysis result based on biological information related to walking, such as symmetry of walking, movement of the center of gravity, movement of joints, or how to use a cane.
  • the information processing device 10 determines the motor function of the subject based on the result of the gait analysis.
  • Diagnosis of neurological disorders such as stroke includes determination of facial distortion, diagnosis of arm elevation, and determination of neurological symptoms such as dysarthria.
  • the information processing device 10 outputs the possibility of stroke or the severity of neurological symptoms of the subject as a probability or a score according to the diagnosis result. Details of stroke diagnosis will be described later in Embodiment 5.
  • FIG. 3 is an explanatory diagram showing the data layout of the health status DB 150.
  • the health status DB 150 is a DB that stores fields of detection date and time, means under detection, and health status.
  • the health status DB 150 stores the health status of the person to be monitored in chronological order.
  • the detection date and time field stores the date and time when the subject's biometric information was detected.
  • the means being detected field stores the type of sensor monitoring the subject.
  • the health status field stores the health status of the subject, such as "with abnormality” or "no abnormality”.
  • the information processing device 10 compares the first sensor information or the second sensor information indicating the subject's abnormality with the healthy biological information stored in the auxiliary storage unit 14, and determines the biological information abnormality, facial paralysis, Detects mental abnormalities, falls, agitation or tremors, weakness, or speech abnormalities.
  • Specific symptoms of bioinformation abnormalities include abnormalities in pulse rate, heart rate variability, breathing, blood oxygen concentration, or blood pressure fluctuations.
  • the biological information acquired by each sensor and the method of determining a health abnormality performed by the information processing device 10 will be illustrated.
  • the sensor that acquires biological information include LiDAR, a camera, a microphone, an event-driven imaging device, a millimeter wave sensor, an ultrasonic sensor, a thermography camera, and the like.
  • LiDAR calculates the distance to the object based on the round trip time from when it irradiates infrared rays to the object until it is reflected and returns to its own device. LiDAR outputs point cloud data as three-dimensional information of a target object. For example, when LiDAR irradiates infrared rays toward a subject's face, a three-dimensional image that includes facial unevenness information can be obtained.
  • the information processing device 10 determines facial paralysis based on the three-dimensional image of the face acquired by LiDAR. Specifically, the unevenness information of the subject's face is compared with the uneven state when the subject is healthy, and if the unevenness information about the subject's face deviates from the uneven state when the subject is healthy by more than a predetermined threshold value, it is determined that the subject has facial paralysis. On the other hand, if the unevenness is within the range of normal conditions, it is determined that facial paralysis is not present.
  • the camera captures a face image, an arm image, or a leg image.
  • the information processing device 10 determines facial paralysis, biological information abnormality, mental abnormality, weakness, or fall based on the biological information acquired by the camera.
  • Symptoms of facial paralysis include the face appearing asymmetrical, the inability to wrinkle the forehead, the inability to raise the eyebrows, the inability to close the eyelids, or the inability to raise the corners of the mouth. This is because within the face, there are healthy parts where facial muscles can be moved and paralyzed (abnormal) parts where facial muscles cannot be moved.
  • the information processing device 10 determines facial paralysis based on the information on facial contours or wrinkles acquired by the camera by implementing the well-known Yanagihara method used for testing facial paralysis. Specifically, facial paralysis is determined by calculating a score according to the curvature of the contour line, the number or depth of wrinkles on the forehead, or the amount of change in the depth or length of nasolabial folds.
  • the information processing device 10 calculates a score based on the information output from the intelligent vision sensor without having the control unit 11 derive information such as feature points. It's okay.
  • the content of the instruction is provided by audio from the speaker 17 or text from the display unit 15.
  • the information processing device 10 extracts facial parts (forehead, eyebrows, eyes, cheeks, corners of the mouth, etc.) as feature points from the facial image.
  • facial expressions for example, characteristic quantities such as the curvature of the contour line, the number or depth of wrinkles on the forehead, or the depth or length of nasolabial folds change.
  • the information processing device 10 identifies the amount of change in the feature amount at the feature point that changed before and after changing the facial expression.
  • the information processing device 10 scores the left and right symmetry according to the specified amount of change, and determines facial paralysis.
  • facial paralysis may be determined using a machine learning model such as a neural network, SVM, transformer, or LSTM.
  • a machine learning model such as a neural network, SVM, transformer, or LSTM.
  • the control unit 11 uses a model that has been trained to classify the facial image into one of "normal”, “low level of facial paralysis”, and "high level of facial paralysis” to The presence or absence of facial paralysis or the level of facial paralysis is determined by inputting a person's facial image.
  • the information processing device 10 determines mental abnormality or fatigue from the facial image (for example, skin color) acquired by the camera.
  • the color of your skin changes from moment to moment depending on the flow of blood. Since hemoglobin contained in blood has the property of absorbing visible light, RGB signals in the facial area change periodically.
  • the information processing device 10 detects changes in skin color from the facial image acquired by the camera. Based on time-series data regarding changes in skin color, the information processing device 10 determines that autonomic nerves are disturbed when the frequency deviates from a healthy frequency by a predetermined threshold or more. The information processing device 10 determines the mental abnormality or fatigue felt by the subject depending on the degree of autonomic nerve disturbance.
  • a machine learning model such as a neural network, SVM, transformer, or LSTM may be used.
  • the control unit 11 uses the model that has been trained to classify the facial image as one of "mental abnormality,” “fatigue,” or “healthy” to apply the facial image of the subject acquired by the camera.
  • a facial image is input to determine whether the subject is feeling mentally abnormal or fatigued.
  • Physical weakness refers to a state in which the hands or feet do not have enough strength, causing symptoms such as not being able to use chopsticks as desired or difficulty walking. For example, if the information processing device 10 detects in the arm image obtained from the camera that the object held by the subject is no longer being held due to separation from the hand, etc., the information processing device 10 detects that an abnormality called weakness has occurred. It is determined that
  • the microphone acquires voice information of the subject.
  • the information processing device 10 determines whether there is a fall or abnormal speech based on the audio information acquired by the microphone.
  • the information processing device 10 determines that the subject has fallen if the daily life sounds acquired from the microphone are equal to or higher than a predetermined threshold. For example, the information processing device 10 determines that "there is no fall” when a volume (for example, the sound of moving furniture or the sound of walking on the floor) that is less than or equal to a predetermined threshold is acquired. On the other hand, if a sound volume that is equal to or greater than a predetermined threshold (for example, the sound of falling on the floor or falling down the stairs) is acquired, it is determined that there is a "fall.”
  • a volume for example, the sound of moving furniture or the sound of walking on the floor
  • a predetermined threshold for example, the sound of falling on the floor or falling down the stairs
  • the information processing device 10 determines whether there is a speech abnormality by executing a speech test and determining whether or not a predetermined word can be uttered without delay.
  • the predetermined words are, for example, "pataka” or "both lapis lazuli and glass will shine when illuminated.” Speech abnormalities are determined based on the voice spoken by the subject into the microphone.
  • the information processing device 10 may determine whether there is a speech abnormality using the subject's speech (for example, daily speech) obtained from the microphone. In that case, the information processing device 10 compares the feature amount extracted from the subject's utterance with the feature amount based on the healthy speech pattern stored in the auxiliary storage unit 14. The information processing device 10 determines that there is a speech abnormality when the feature amount extracted from the subject's utterance is different from the feature amount when the subject is healthy.
  • a speech abnormality for example, daily speech
  • speech intelligibility which is an index for evaluating speech function, is used to determine speech abnormalities.
  • Speech intelligibility is graded according to the content of the subject's utterances, such as ⁇ clear,'' ⁇ sometimes words are inaudible,'' ⁇ sometimes words are audible,'' and ⁇ unintelligible.'' Ru.
  • the information processing device 10 identifies the speech intelligibility of the target person through voice recognition. If the information processing device 10 identifies that the content of the subject's speech is clear, it determines that there is no speech abnormality. On the other hand, if it is determined that the content of the subject's speech is sometimes inaudible, sometimes audible, or unclear, it is determined that there is a speech abnormality.
  • the determination of the speech abnormality of the subject may be performed using a machine learning model such as a neural network, SVM, transformer, or LSTM.
  • the control unit 11 inputs the subject's voice information acquired by the microphone into a model that has been trained to classify the input voice information as either "speech abnormality" or "no speech abnormality". to determine whether the subject's speech is abnormal.
  • Event-driven photography device After extracting a change in brightness of a subject (for example, movement of a subject), the event-driven photographing device outputs only pixels in which a change in brightness has occurred in combination with position information and time information. The event-driven photographing device does not extract pixels in which no luminance change has occurred (for example, in the background).
  • Shaking is a symptom caused by dizziness, etc.
  • tremor is a symptom caused by Parkinson's disease, etc.
  • the frequency is higher for tremor than for agitation. If the subject exhibits agitation such as dizziness of the body or tremor such as trembling of the hands, the event-driven imaging device detects these movements.
  • the event-driven imaging device extracts only the part where the subject is shaking or trembling, and detects the frequency distribution. If the frequency of each pixel acquired by the event-driven imaging device is equal to or higher than a predetermined threshold, or if the frequency of each pixel acquired by the event-driven imaging device has asymmetry, the information processing device 10 It is determined that agitation or tremor is occurring. On the other hand, if it is not equal to or greater than the predetermined threshold, it is determined that no agitation or tremor is occurring.
  • the presence or absence of agitation or tremor may be determined using a machine learning model such as a neural network, SVM, transformer, or LSTM.
  • the control unit 11 uses the event-driven imaging device to select a model that has been trained to classify the subject as either "with agitation or tremor” or "no agitation or tremor" when the brightness change of the subject is input.
  • the acquired luminance changes of the subject are input to determine whether there is agitation or tremor.
  • Millimeter wave sensors detect the position and speed of a moving object.
  • the information processing device 10 acquires the subject's head position and the speed at which the head position moves.
  • the information processing device 10 determines that the subject has fallen if the head position changes by a predetermined threshold or more within a certain period of time.
  • the ultrasonic sensor detects the distance from the device itself to the target object and the presence or absence of the target object.
  • the information processing device 10 acquires the distance from its own device to the subject's head position and the presence or absence of the head position.
  • the information processing device 10 determines that the subject has fallen if the head position changes from within a predetermined range within a certain period of time.
  • thermography camera measures the temperature distribution on the surface of an object by converting radiant energy from the object into temperature.
  • the information processing device 10 detects an area where the temperature acquired within the imaging range is equal to or higher than a threshold value as an area where the person to be monitored exists.
  • the information processing device 10 specifies that the subject is in a standing or sitting position based on the shape of the detected area.
  • the information processing device 10 determines that the subject has fallen if the identified standing or sitting posture changes by a predetermined threshold or more within a certain period of time.
  • the fall determination of the subject may be performed using a machine learning model such as a CNN (Convolutional Neural Network), SVM, transformer, or LSTM.
  • a machine learning model such as a CNN (Convolutional Neural Network), SVM, transformer, or LSTM.
  • the control unit 11 uses a model that has been trained to classify the data as either "fall” or "no fall”. Data acquired by a millimeter wave sensor, ultrasonic sensor, and thermography camera is input to determine if the subject has fallen.
  • the information processing device 10 activates a camera, LiDAR, a millimeter wave sensor, or an ultrasonic sensor when acquiring biological information regarding the subject's breathing or pulse.
  • the information processing device 10 analyzes the shape of the displaced region from the values detected by the camera, LiDAR, millimeter wave sensor, or ultrasonic sensor, and determines the pulse, heart rate fluctuation, magnitude of pulse fluctuation, and pulse peak at the displaced region. Calculate the time point, etc.
  • the information processing device 10 determines whether there is an abnormality in the heart or blood vessels by determining whether each calculated numerical value is greater than or equal to a predetermined threshold.
  • heart or blood vessel abnormalities include cerebral infarction, cerebral hemorrhage, heart failure, atrial fibrillation, leg infarction, varicose veins, or thrombus.
  • the pulse rate and heart rate variability may be compared with data acquired by the wearable terminal.
  • the information processing device 10 activates the camera and microphone when determining facial paralysis.
  • the information processing device 10 determines facial paralysis by combining a camera and a microphone. Details of facial paralysis determination will be described later in Embodiment 5.
  • the information processing device 10 determines the health abnormality of the subject being monitored based on the biological information acquired by each sensor.
  • the health abnormality includes, for example, a health abnormality as a symptom of a stroke.
  • stages are referred to as a first stage, a second stage, and a third stage in descending order of the degree of privacy disclosure of acquired biometric information.
  • the control unit 11 activates the first sensor 19 and detects first sensor information with a low degree of physical privacy disclosure.
  • the first sensor 19 is, for example, a microphone, LiDAR, an event-driven photographing device, or a camera.
  • the first sensor 19 may be a so-called intelligent vision sensor.
  • the control unit 11 stores the types of activated first sensors 19 and the number of activated first sensors 19 in the auxiliary storage unit 14.
  • a sensor such as LiDAR, an event driving device, or a camera functions as a photographing device that does not photograph the subject's face or has a wide angle such that the face cannot be discerned. Therefore, the degree of privacy disclosure of the acquired biometric information is low. Note that, as described above, the first sensor 19 has a low degree of privacy disclosure even when the photographing range is only the subject's face and the content of the action cannot be identified.
  • a plurality of types of first sensors 19 are provided in the information processing device 10.
  • the control unit 11 acquires target first sensor information from the first sensor 19.
  • the control unit 11 determines whether or not there is an abnormality in the subject's health based on the first sensor information.
  • control unit 11 determines that there is an abnormality in the subject's health, it switches the detection means from the first sensor 19 to the second sensor 20 because more detailed monitoring is necessary.
  • the control unit 11 may display on the display unit 15 that the sensor is to be switched. This is to consider the privacy of the subject.
  • control unit 11 determines that there is no abnormality in the subject's health
  • the first sensor 19 continues to acquire biological information. This is to ensure the privacy of the subjects.
  • FIG. 4 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the first sensor 19 (step S101).
  • the control unit 11 stores the type and number of activated first sensors 19 (step S102).
  • the first sensor 19 detects first sensor information of the subject.
  • the control unit 11 acquires first sensor information detected by the first sensor 19 (step S103).
  • the control unit 11 stores the date and time when the first sensor information was detected in the health state DB 150 (step S104).
  • the control unit 11 determines whether the health condition is abnormal according to each of the methods described above (step S105). When the control unit 11 determines that there is no abnormality in the health condition (step S105: NO), the control unit 11 rewrites the record in the health condition field to "no abnormality" (step S106). The control unit 11 returns to the process of step S103.
  • step S105 When the control unit 11 determines that there is an abnormality in the health condition (step S105: YES), the control unit 11 rewrites the record in the health condition field to "abnormality" (step S107).
  • the control unit 11 switches the detection means from the first sensor 19 to the second sensor 20 (step S108).
  • the control unit 11 causes the display unit 15 to display that the second sensor 20 has been activated (step S109).
  • the control unit 11 shifts to abnormality determination processing using the second sensor 20, which has a higher degree of physical privacy disclosure than the first sensor 19.
  • the control unit 11 activates the second sensor 20 to detect second sensor information having a medium degree of physical privacy disclosure.
  • the subject who was determined to have an abnormal health condition in the first stage spends his time in a living space where the information processing device 10 is installed.
  • the control unit 11 outputs an operation instruction to the drive mechanism 18 to enable the second sensor 20 to photograph the subject's face.
  • the second sensor 20 photographs the subject's face and performs facial image detection and tracking.
  • the control unit 11 causes the auxiliary storage unit 14 to store the detected face image of the subject.
  • the control unit 11 may cause the auxiliary storage unit 14 to store the feature amount of the target person's face image in addition to the target person's face image.
  • the control unit 11 determines whether or not there is an abnormality in the subject's health based on the second sensor information. If the control unit 11 determines that there is an abnormality in the subject's health, it is necessary to observe the subject's health in more detail, so the control unit 11 executes a test program as the third step.
  • the control unit 11 switches the detection means from the second sensor 20 to the third sensor 21.
  • the control unit 11 may display on the display unit 15 that the sensor is to be switched. This is to consider the privacy of the subject.
  • control unit 11 determines that there is no abnormality in the subject's health
  • the control unit 11 returns to the acquisition of biological information by the first sensor 19.
  • the first sensor 19 activated at this time is a different type of first sensor 19 from the first sensor 19 activated initially.
  • the control unit 11 determines the subject's health abnormality again based on the first sensor information acquired by the new first sensor 19.
  • the control unit 11 compares the number of first sensors 19 activated so far with the total number of first sensors 19 provided in the information processing device 10. If the “number of first sensors 19 that have been activated so far” is less than “the total number of first sensors 19 provided in the information processing device 10”, the control unit 11 continues acquiring biological information by the first sensor 19. .
  • first sensors 19 In addition to the method of switching between different types of first sensors 19 when acquiring biological information, it is also possible to use the same first sensor 19 to sequentially acquire different parts of the body, such as the arm, torso, or leg. good.
  • FIG. 5 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the second sensor 20 (step S201).
  • the second sensor 20 detects and tracks a facial image of the subject.
  • the second sensor 20 detects second sensor information of the subject.
  • the control unit 11 acquires second sensor information detected by the second sensor 20 (step S202).
  • the control unit 11 stores the date and time when the second sensor information was detected in the health state DB 150 (step S203).
  • the control unit 11 determines whether the health condition is abnormal according to the method described above (step S204). When the control unit 11 determines that there is no abnormality in the health condition (step S204: NO), the control unit 11 rewrites the record in the health condition field to "no abnormality" (step S205). The control unit 11 determines whether "the number of first sensors 19 activated so far" is less than "the total number of first sensors 19 provided in the information processing device 10" (step S206).
  • step S206 If the number information stored in the auxiliary storage unit 14 is less than the total number of first sensors 19 (step S206: YES), the control unit 11 selects a first sensor of a different type from the first sensor 19 activated first. 19 (step S207).
  • the new first sensor 19 detects the subject's first sensor information.
  • the control unit 11 acquires first sensor information detected by the new first sensor 19 (step S208).
  • the control unit 11 again determines whether the health condition is abnormal based on the acquired first sensor information (step S209).
  • step S206: NO the control unit 11 ends the series of processes.
  • control unit 11 determines that there is an abnormality in the health condition (step S204: YES)
  • the control unit 11 rewrites the record in the health condition field to "abnormality" (step S210).
  • the control unit 11 reads the test program stored in the auxiliary storage unit 14 (step S211).
  • the control unit 11 causes the display unit 15 to display that the test program is to be executed (step S212).
  • the control unit 11 activates the third sensor 21, which detects biometric information with a higher degree of physical privacy disclosure than the first sensor 19 and the second sensor 20.
  • the third sensor 21 is, for example, a camera or a microphone.
  • the control unit 11 acquires third sensor information from the third sensor 21 depending on the type of test program.
  • control unit 11 will be described as executing a test program related to stroke, but the present invention is not limited to this, and may be a stress check, a gait analysis, or the like.
  • the control unit 11 When executing a test program related to stroke, the control unit 11 activates a camera and a microphone as the third sensor 21.
  • the control section 11 causes the display section 15 to display the contents of the instruction, or outputs an audio instruction from the speaker 17.
  • the subject performs predetermined movements as instructed.
  • the control unit 11 acquires third sensor information from the camera and microphone.
  • the third sensor information includes the presence or absence of facial distortion, the ability to lift the upper limbs, the presence or absence of dysarthria, and the like. A detailed method for determining a health abnormality based on the third sensor information will be described later in Embodiment 5.
  • control unit 11 may output possible disease names, nearby hospitals, etc. to the display unit 15 according to the results of the test program.
  • the control unit 11 sends information via the communication unit 13 to an information terminal owned by the subject or an information terminal owned by another user related to the subject (such as a family member or a medical worker) to determine whether the health condition is abnormal or not. or test program results.
  • FIG. 6 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the third sensor 21 (step S301).
  • the control unit 11 outputs the instruction content to the display unit 15 or the speaker 17 (step S302).
  • the third sensor 21 detects third sensor information of the subject.
  • the control unit 11 acquires third sensor information detected by the third sensor 21 (step S303).
  • the control unit 11 stores the date and time when the third sensor information was detected in the health state DB 150 (step S304).
  • the control unit 11 determines whether the health condition is abnormal according to the method described later in Embodiment 5 (step S305). When the control unit 11 determines that there is no abnormality in the health condition (step S305: NO), the control unit 11 rewrites the record in the health condition field to "no abnormality" (step S306).
  • control unit 11 determines that there is an abnormality in the health condition (step S305: YES), it rewrites the record in the health condition field to "abnormality" (step S307).
  • the control unit 11 causes the display unit 15 to display the diagnosis result (step S308).
  • the information processing device 10 can detect biometric information with different degrees of privacy disclosure by switching the sensors in stages. Furthermore, sensors such as LiDAR, cameras, microphones, event-driven imaging devices, millimeter wave sensors, ultrasonic sensors, or thermography cameras can detect biological information without contact. Thereby, the presence or absence of abnormalities in the subject can be monitored without interfering with the subject's daily life. Furthermore, convenience is improved because there is no need for the subject to voluntarily start a program for carrying out individual specific diagnosis.
  • sensors such as LiDAR, cameras, microphones, event-driven imaging devices, millimeter wave sensors, ultrasonic sensors, or thermography cameras can detect biological information without contact. Thereby, the presence or absence of abnormalities in the subject can be monitored without interfering with the subject's daily life. Furthermore, convenience is improved because there is no need for the subject to voluntarily start a program for carrying out individual specific diagnosis.
  • Embodiment 2 In the second embodiment, a mode will be described in which the test program is executed while skipping the abnormality determination based on the second sensor information. Note that the same content as in Embodiment 1 is given the same reference numeral and the description thereof will be omitted.
  • the information processing device 10 skips the second step when the first sensor information includes "characteristic biological information indicating a specific symptom" (hereinafter referred to as characteristic biological information). , when the abnormality level of the first sensor information is high.
  • the control unit 11 stores characteristic biological information in the auxiliary storage unit 14 in advance.
  • characteristic biological information include a fall, facial paralysis, or abnormal speech. Stroke is suspected if the subject has a fall, facial paralysis, or abnormal speech. Therefore, skipping the second stage and implementing the third stage test program early can lead to early detection of the disease.
  • the control unit 11 compares the characteristic biological information with the first sensor information acquired from the first sensor 19 when determining a health abnormality. When the control unit 11 determines that characteristic biological information is included in the first sensor information, the control unit 11 skips the second step and executes the test program.
  • the test program to be executed is a test program corresponding to a suspected disease based on the first sensor information. For example, if the first sensor information includes a fall, facial paralysis, or abnormal speech, a test program for diagnosing stroke is executed.
  • the control unit 11 stores in advance a predetermined value depending on the health abnormality in the auxiliary storage unit 14.
  • Quantitative first sensor information for determining health abnormalities includes, for example, blood pressure, frequency of body agitation or tremor, or degree of asymmetry of facial paralysis.
  • the test program to be executed is a test program corresponding to a suspected disease based on the first sensor information.
  • the auxiliary storage unit 14 stores numerical values related to blood pressure depending on the abnormality level. Specifically, the auxiliary storage unit 14 stores systolic blood pressure: less than 135 mmHg and diastolic blood pressure: less than 85 mmHg as normal values of blood pressure. The auxiliary storage unit 14 stores systolic blood pressure: less than 175 mmHg and diastolic blood pressure: less than 105 mmHg as blood pressures with low abnormal levels. The auxiliary storage unit 14 stores systolic blood pressure: 175 mmHg or more and diastolic blood pressure: 105 mmHg or more as blood pressures with high abnormal levels.
  • the control unit 11 determines the abnormality level according to the subject's systolic blood pressure and diastolic blood pressure.
  • control unit 11 acquires the values of systolic blood pressure: 130 mmHg and diastolic blood pressure: 80 mmHg from the first sensor 19.
  • the control unit 11 determines that there is no abnormality in this subject based on a predetermined value stored in the auxiliary storage unit 14.
  • the control unit 11 activates a first sensor 19 different from the first sensor 19 activated initially, and continues acquiring biological information.
  • control unit 11 acquires the numerical values of systolic blood pressure: 160 mmHg and diastolic blood pressure: 90 mmHg from the first sensor 19. Based on a predetermined value stored in the auxiliary storage unit 14, the control unit 11 determines that the blood pressure of this subject is at a low abnormal level. The control unit 11 moves to the second stage and activates the second sensor 20.
  • control unit 11 acquires the values of systolic blood pressure: 190 mmHg and diastolic blood pressure: 110 mmHg from the first sensor 19. Based on a predetermined value stored in the auxiliary storage unit 14, the control unit 11 determines that the blood pressure of this subject is at a high abnormal level. The control unit 11 skips the second stage and executes the test program.
  • the test program executed is a test program for diagnosing diseases that are likely to be caused by hypertension.
  • FIG. 7 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 acquires first sensor information (step S401).
  • the control unit 11 reads characteristic biological information stored in the auxiliary storage unit 14 (step S402). After comparing the acquired first sensor information and the read characteristic biological information, the control unit 11 determines whether or not the first sensor information of the subject includes characteristic biological information ( Step S403).
  • step S403 determines that characteristic biological information is not included (step S403: NO)
  • the control unit 11 reads out the “predetermined value according to the health abnormality” stored in the auxiliary storage unit 14 (step S404). ).
  • step S403: YES determines that characteristic biological information is included (step S403: YES)
  • it activates the third sensor 21 (step S407).
  • the control unit 11 determines whether the abnormality level is high (step S405 ). Note that if the abnormality level output from the machine learning model described in Embodiment 1 is equal to or higher than a predetermined level, the process may proceed to step S407.
  • step S405 determines that the abnormality level is not high (step S405: NO)
  • step S405 determines that the abnormality level is high (step S405: YES)
  • step S407 determines that the abnormality level is high (step S405: YES)
  • the process may proceed to the second stage and continue acquiring biological information.
  • the test program can be executed while skipping the abnormality determination based on the second sensor information, and diseases such as cerebral infarction that need to be treated urgently can be detected immediately.
  • Embodiment 3 In the third embodiment, a mode will be described in which a microphone is activated as the first sensor 19 and LiDAR is activated as the second sensor 20 to determine the health condition. Note that the same content as in Embodiment 1 is given the same reference numeral and the description thereof will be omitted.
  • the information processing device 10 activates a microphone as the first sensor 19.
  • the information processing device 10 activates LiDAR as the second sensor 20.
  • the information processing device 10 accurately determines health abnormalities by acquiring biological information by combining a plurality of sensors.
  • the microphone detects the target person's voice information.
  • the control unit 11 acquires the target person's voice information from the microphone.
  • the control unit 11 determines speech abnormality using a method such as grading using the above-mentioned speech intelligibility as an index. Note that the control unit 11 may determine speech abnormality using the subject's speech (for example, daily speech) instead of the speech test.
  • control unit 11 determines that there is no speech abnormality, it activates the first sensor 19 that is different from the microphone. On the other hand, if the control unit 11 determines that there is a speech abnormality, it activates LiDAR. Biometric information acquired by a combination of a microphone and LiDAR can improve the accuracy of determining abnormalities in health conditions.
  • the control unit 11 acquires the target person's face image from LiDAR.
  • the control unit 11 compares the face image acquired from LiDAR with the normal face image stored in the auxiliary storage unit 14, and then determines facial paralysis. Specifically, the control unit 11 determines facial paralysis based on whether or not asymmetry has occurred in the subject's face. If asymmetry occurs in the face, the patient is considered to have ⁇ facial paralysis,'' and if there is no asymmetry in the face, the patient has ⁇ no facial paralysis.''
  • the face image acquired from LiDAR is compared with the healthy face image stored in the auxiliary storage unit 14, and feature points (forehead, eyebrows, eyes, cheeks, If the subject's facial features (forehead, eyebrows, eyes, cheeks, corners of the mouth, etc.) are drooped, it is determined that the subject has facial paralysis.
  • control unit 11 determines that facial paralysis has not occurred, the control unit 11 returns to the first stage and continues acquiring biological information. On the other hand, when the control unit 11 determines that facial paralysis has occurred, the control unit 11 moves to the third stage. This is because the risk of stroke is high when both speech abnormalities and facial paralysis occur.
  • FIG. 8 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the microphone as the first sensor 19 (step S501).
  • the microphone detects the subject's voice information.
  • the control unit 11 acquires audio information from the microphone (step S502).
  • the control unit 11 identifies the target person based on the acquired audio information (step S503).
  • the control unit 11 reads out the normal voice information stored in the auxiliary storage unit 14 (step S504).
  • the control unit 11 compares the voice information acquired from the microphone with the read voice information to determine whether there is a speech abnormality (step S505).
  • control unit 11 determines that there is no speech abnormality (step S505: NO), it activates the first sensor 19 of a type different from the microphone (step S506). On the other hand, if the control unit 11 determines that there is a speech abnormality (step S505: YES), it activates LiDAR (step S507).
  • LiDAR detects the target person's facial image.
  • the control unit 11 acquires a face image from LiDAR (step S508).
  • the control unit 11 reads out the healthy face image stored in the auxiliary storage unit 14 (step S509).
  • the control unit 11 compares the face image acquired from LiDAR and the read face image to determine whether there is facial paralysis (step S510). Note that the presence or absence of facial paralysis may be determined based on the asymmetry of the facial image acquired from LiDAR.
  • step S510 determines that there is no facial paralysis
  • step S510: NO the control unit 11 activates the first sensor 19 of a type different from LiDAR (step S506).
  • step S510: YES the control unit 11 activates the third sensor 21 (step S511).
  • health abnormalities can be accurately determined by combining a plurality of sensors to acquire biological information.
  • a mode will be described in which a health condition is determined by activating LiDAR as the first sensor 19 and a camera as the second sensor 20.
  • a health condition is determined by activating LiDAR as the first sensor 19 and a camera as the second sensor 20.
  • biometric information acquired by a camera By adding biometric information acquired by a camera to biometric information acquired by LiDAR, for example, the accuracy of determining a fall state can be improved.
  • the same content as in Embodiment 1 is given the same reference numeral and the description thereof will be omitted.
  • the information processing device 10 activates LiDAR as the first sensor 19.
  • the information processing device 10 activates a camera as the second sensor 20.
  • the information processing device 10 integrates each piece of information obtained by LiDAR and the camera to obtain integrated information. Specifically, the information processing device 10 integrates the image acquired by LiDAR and the image acquired by the camera. The information processing device 10 determines whether or not the subject has fallen based on the integrated image.
  • the control unit 11 When integrating images, the control unit 11 masks a specific area within the image taken by the camera. The control unit 11 identifies locations to be masked based on the image obtained from LiDAR. The area to be masked is, for example, a facial area where an individual can be easily identified. This is to protect privacy.
  • the control unit 11 identifies the posture of the subject from the masked image (hereinafter referred to as masking image).
  • the posture of the subject includes standing, sitting, falling, etc.
  • the image of the subject used for identification is, for example, an image of the face of the whole body obtained by LiDAR, and an image of the subject from the neck down taken by a camera.
  • the control unit 11 uses a face recognition algorithm that uses a machine learning model such as Openpose, R-CNN (Region Based Convolutional Neural Networks), or YOLO (You Only Look Once) to identify facial parts in the whole body image acquired by the camera. Identify.
  • the control unit 11 performs masking by applying the image of the face obtained from LiDAR only to the identified face. Since the masking image is a combination of the LiDAR image and the camera image, it is possible to achieve both privacy considerations and an abnormality determination detection function.
  • the subject's fall determination may be performed using a machine learning model such as SVM, transformer, or LSTM.
  • the control unit 11 inputs the masking image of the subject into a model that has been trained to classify the subject into one of "standing”, “sitting", and “falling” when the integrated image of the camera and LiDAR is input. Enter this information to determine if the subject has fallen.
  • FIG. 9 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates LiDAR (step S601).
  • the control unit 11 acquires a whole body image of the subject from LiDAR (step S602).
  • the control unit 11 activates the camera as a second step (step S603).
  • the control unit 11 acquires a whole body image of the subject from the camera (step S604).
  • the control unit 11 uses a face recognition algorithm to identify a face area from the whole body image acquired by the camera (step S605).
  • the control unit 11 performs masking by applying the face image acquired by LiDAR to the identified face area (step S606).
  • the control unit 11 determines whether or not the subject has fallen based on the masking image (step S607).
  • Embodiment 4 by using the masking image for fall determination, it is possible to achieve both privacy consideration and abnormality determination detection function. Furthermore, by activating LiDAR as the first sensor 19, biometric information can be acquired with a low degree of privacy disclosure.
  • Embodiment 5 a mode will be described in which a test program related to stroke is executed as a diagnosis for determining the presence or absence of brain dysfunction.
  • the test program is CPSS used for stroke diagnosis will be exemplified.
  • the brain dysfunction to be determined is not particularly limited, and includes, in addition to stroke, dementia, aphasia, temporary cognitive decline due to cerebral infarction, and the like.
  • CPSS is a diagnosis that examines the possibility of a stroke by detecting signs of facial distortion, raised limbs, and dysarthria.
  • the information processing device 10 activates the third sensor 21 in order to acquire the target person's face image, arm image, and audio information required for CPSS.
  • the third sensor 21 is a camera and microphone combination.
  • the third sensor 21 acquires the subject's biological information at appropriate timing under the control of the control unit 11.
  • the control unit 11 causes the speaker 17 to issue a predetermined audio instruction.
  • the subject undergoing CPSS provides biological information regarding facial distortion, arm elevation, and dysarthria to the information processing device 10 in accordance with voice instructions from the speaker 17 .
  • the display unit 15 may display the contents of the test program instructions.
  • the speaker 17 gives a voice instruction such as "Please smile so that your teeth are shown" to the subject.
  • the control unit 11 acquires a smiling face image of the subject using a camera.
  • the control unit 11 determines that the smiling face of the subject is normal if the face is bilaterally symmetrical, and abnormal if the face is not bilaterally symmetrical. Specifically, the control unit 11 calculates left and right cosine similarities or correlation values to identify symmetry.
  • facial distortion determination may be performed using a machine learning model such as CNN or SVM.
  • the control unit 11 inputs the face image of the subject into a model that has been trained to classify the input face image as either "distorted” or "no distortion", and Determine the distortion.
  • the speaker 17 gives voice instructions to the subject, such as "Please close your eyes and keep your arms raised for 10 seconds.”
  • the control unit 11 acquires an arm image of the subject using a camera.
  • the control unit 11 specifies the joint points of the subject, and determines that the joint points are "elevated” if the joint points are higher than a predetermined position, and "raised” if the joint points are lower than the predetermined position. It is determined that the
  • the control unit 11 determines whether the subject's arms are normal if both arms are raised or if both arms are not raised, if only one arm cannot be raised, if both arms are not raised to the same degree, or if the subject is unable to hold the raised arm. If not, it is determined that there is an abnormality.
  • the determination of arm elevation may be performed using a machine learning model such as CNN or SVM.
  • the control unit 11 inputs the arm image of the subject into a model that has been trained to classify the input arm image as either "elevated” or “not elevated.” to determine the subject's upper limb elevation.
  • the speaker 17 outputs a predetermined sound to the target person.
  • the output voice is a simple interrogative sentence that prompts the subject to speak, such as "Where did you go yesterday?" or "What is the weather like today?"
  • the control unit 11 acquires audio information regarding the content of the utterance using the microphone.
  • the control unit 11 determines that the subject's voice information is normal if the subject speaks smoothly and accurately, and that it is abnormal if the subject does not speak unclear or incorrect words, or does not utter a word. It is determined that
  • dysarthria may be performed using a machine learning model such as a neural network, SVM, transformer, or LSTM.
  • the control unit 11 inputs the content of the subject's speech into a model that has been trained to classify the speech data as either "dysarthria" or "no dysarthria" when the speech data is input. Determine dysarthria.
  • control unit 11 acquires CPSS information including items determined to be abnormal and the number thereof regarding facial distortion, upper limb elevation, and dysarthria.
  • the control unit 11 outputs the probability that a stroke has occurred or a score based on the acquired CPSS information.
  • the average value of the probabilities related to the abnormality level output by the machine learning model in each diagnosis is output. For example, if a machine learning model outputs facial distortion test: 60%, arm lift test: 60%, and dysarthria test: 90%, the probability of stroke is output as 70%.
  • the output probability may be displayed on the display unit 15.
  • the total score for each diagnosis is output, such as ⁇ 1 point'' for ⁇ abnormality'' and ⁇ 0 point'' for ⁇ no abnormality''. For example, if facial distortion: 1 point, upper elevation: 1 point, and dysarthria: 0 points, the stroke score will be output as 2 points.
  • the output score may be displayed on the display unit 15.
  • FIG. 10 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates a camera and a microphone as the third sensor 21 (step S701).
  • the control unit 11 causes the speaker 17 to issue a voice instruction to obtain a smiling face image of the subject (step S702).
  • the camera captures a facial image of the subject.
  • the control unit 11 acquires a facial image of the subject from the camera (step S703).
  • the control unit 11 determines whether facial distortion has occurred based on the facial image of the subject (step S704).
  • the control unit 11 causes the speaker 17 to issue a voice instruction to acquire the biological information of arm elevation (step S705).
  • the camera photographs the subject as he or she lifts his or her upper limbs.
  • the control unit 11 acquires an arm image of the subject (step S706).
  • the control unit 11 determines whether there is an abnormality in upper limb elevation based on the arm image of the subject (step S707).
  • the control unit 11 causes the speaker 17 to output a predetermined interrogative sentence (step S708).
  • the microphone acquires audio information including the content of the subject's utterance (step S709).
  • the control unit 11 determines whether or not dysarthria has occurred based on the content of the subject's utterance (step S710).
  • the control unit 11 outputs the probability that a stroke has occurred or a score according to the abnormality determination specified in steps S704, S707, and S710 (step S711).
  • Embodiment 5 it is possible to execute a test program for determining the presence or absence of brain dysfunction and to determine an abnormality. Furthermore, convenience is improved because the subject does not have to voluntarily start the test program. Furthermore, since the test program can be executed without the intervention of a third party, even the subjects themselves can notice abnormalities in their own health condition.
  • FIGS. 11 and 12 show a process for determining an abnormality based on facial feature points (for example, the corners of the mouth) in a mode in which the first sensor 19, second sensor 20, or third sensor 21 photographs the subject's face. Shown below.
  • FIG. 11 a case is illustrated in which the first sensor 19 or the second sensor 20 that photographs the subject's face is activated to determine an abnormality.
  • the control unit 11 acquires a facial image from the first sensor 19 or the second sensor 20, and acquires facial information for half the face from the facial image.
  • the control unit 11 extracts the left feature point and the right feature point included in the facial image, and compares the positions of the left and right feature points with the face information in a healthy state.
  • the control unit 11 determines that the subject is abnormal. Furthermore, if the positions of both feature points are lower than the face information when the subject is healthy, the control unit 11 may determine that the subject is abnormal. Alternatively, when the left and right feature points are compared and the position of the feature point on one side is lower than the position of the feature point on the opposite side, the control unit 11 determines that the subject is abnormal.
  • FIG. 11 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the first sensor 19 or the second sensor 20 (step S801).
  • the first sensor 19 or the second sensor 20 photographs the subject's face.
  • the control unit 11 acquires a face image of the subject from the first sensor 19 or the second sensor 20 (step S802).
  • the control unit 11 acquires face information for half the face from the face image (step S803).
  • the control unit 11 extracts feature points included in the facial information of half the face (step S804).
  • the control unit 11 reads the healthy face information stored in the auxiliary storage unit 14 (step S805).
  • the control unit 11 determines whether the extracted feature points have decreased based on the healthy face information and the extracted feature points (step S806).
  • step S806 determines that the subject is abnormal (step S807). On the other hand, if the extracted feature points are not lower than the normal face information (step S806: NO), the control unit 11 determines that the subject is not abnormal (step S808).
  • control unit 11 may perform abnormality determination by comparing the left and right feature points in the process of step S806.
  • the processes in step S803 and step S805 are not essential.
  • FIG. 12 exemplifies a case where, after executing a test program that instructs the subject to make a smiling face, the third sensor 21 that photographs the subject's face is activated to determine an abnormality.
  • the control unit 11 acquires a facial image (for example, a facial image of the subject smiling) from the third sensor 21, and acquires the mouth corners of half of the face from the facial image.
  • the control unit 11 extracts the left corner of the mouth and the right corner of the mouth included in the face image, and compares the positions of the left and right corners of the mouth with the reference corner of the mouth.
  • the control unit 11 determines that the subject is abnormal. Furthermore, when both corners of the mouth do not rise compared to the reference corner of the mouth, the control unit 11 determines that the subject is abnormal. Alternatively, by comparing the left and right mouth corners, if the position of the mouth corner on one side is not higher than the position of the opposite mouth corner, the control unit 11 determines that the subject is abnormal.
  • FIG. 12 is a flowchart showing the processing procedure of the program 140 executed by the information processing device 10.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 executes the test program (step S901).
  • the control unit 11 activates the third sensor 21 (step S902).
  • the third sensor 21 acquires a facial image of the subject.
  • the control unit 11 acquires a facial image of the subject (step S903).
  • the control unit 11 extracts the corners of the mouth of half the face from the face image (step S904).
  • the control unit 11 reads out the corner of mouth information that serves as a reference and is stored in the auxiliary storage unit 14 (step S905).
  • the control unit 11 determines whether the corners of the mouth of the half of the face extracted from the face image are raised based on the read reference mouth corner information and the corners of the mouth of the half of the face extracted from the face image (step S906). .
  • step S906 determines that the subject is abnormal (step S907). On the other hand, if the extracted mouth corner has increased to the same degree as the reference mouth corner information (step S906: YES), the control unit 11 determines that the subject is not abnormal (step S908).
  • control unit 11 may perform abnormality determination by comparing the left and right corners of the mouth in the process of step S906.
  • the processing in steps S904 and S905 is not essential, and both the left and right mouth corners are extracted before comparing the left and right mouth corners.
  • an abnormality of the subject based on a specific part of the face.
  • an abnormality is determined based on the feature points of the face (for example, the corners of the mouth), but it is also possible to determine an abnormality based on the feature amount extracted from agitation, tremor, weakness, or speech, etc. You may.
  • Embodiment 6 Note that the same content as in Embodiment 1 is given the same reference numeral and the description thereof will be omitted.
  • the first sensor 19, the second sensor 20, and the third sensor 21 are used as appropriate to make a determination, and when outputting the determination result, processing is performed to reduce privacy disclosure of the subject as much as possible. do.
  • FIG. 13 is a flowchart illustrating an example of the processing procedure of the program 140 executed by the information processing device 10 in the sixth embodiment.
  • the control unit 11 of the information processing device 10 executes the following processing based on the program 140.
  • the control unit 11 activates the first sensor 19 (step S1001).
  • the first sensor 19 detects first sensor information of the subject.
  • the control unit 11 acquires the first sensor information detected by the first sensor 19 together with the date and time when the first sensor information was detected (step S1002).
  • the control unit 11 may stop the first sensor 19.
  • the control unit 11 activates the second sensor 20 (step S1003).
  • the second sensor 20 detects second sensor information of the subject.
  • the control unit 11 acquires the second sensor information detected by the second sensor 20 together with the date and time when the second sensor information was detected (step S1004).
  • the control unit 11 may stop the second sensor 20.
  • the control unit 11 activates the third sensor 21 (step S1005).
  • the third sensor 21 detects third sensor information of the subject.
  • the control unit 11 acquires the third sensor information detected by the third sensor 21 together with the date and time when the second sensor information was detected (step S1006).
  • the control unit 11 may stop the third sensor 21.
  • the second sensor 20 and the third sensor 21 detect biometric information with a higher degree of physical privacy disclosure than the first sensor 19. Therefore, the control unit 11 may activate only the sensors that are determined to be relevant to the subject among the second sensors 20 based on the first sensor information. Similarly, the control unit 11 activates a sensor determined to be relevant to the subject among the third sensors 21 or performs a test based on the first sensor information and/or the second sensor information. You can also run the program.
  • the control unit 11 uses the first sensor information, the second sensor information, and the third sensor information to determine whether or not there is an abnormality in the health condition of the subject (step S1007).
  • Step S1007 is an example of the first determination process or the second determination process.
  • the control unit 11 determines the subject's health condition based on the first sensor information, the second sensor information, and the third sensor information.
  • a text, image, or feature point information corresponding to the content is created (step S1008).
  • the control unit 11 abstracts the data (semantic information belonging to the first sensor information, the second sensor information, and the third sensor information) into so-called metadata as an example of processing to reduce the amount of data. Create data such as text, images, or feature point information.
  • an image of a face that led us to recognize something that suggests a stroke for example, an image of a subject's facial paralysis
  • an image of a subject's movements in response to instructions in a test program for example, whether the subject's left or right
  • the control unit 11 either creates an ROI image that is cropped to a range that does not allow identification of the individual but shows distortion (for example, facial paralysis), or creates an ROI image that is cropped to a range that does not allow identification of the individual (for example, an image in which one corner of the mouth is not raised) or Only text such as "The subject has facial paralysis" should be included.
  • control unit 11 extracts the feature points of the subject's face (eyes, corners of the eyes, mouth, corners of the mouth, nose, bridge of the nose, etc.) from the image in which either the left or right corner of the mouth is not raised, and creates an image containing only the feature points. It generates feature point information such as lines connecting feature points, position coordinates of feature points, and angle information between feature points.
  • the control unit 11 displays the created text, image, or feature point information on the display unit 15 (step S1009).
  • Step S1009 is an example of outputting metadata corresponding to the content of the determination result of the first determination process or the second determination process.
  • the control unit 11 performs processing to reduce the amount of sensor information acquired in steps S1002, S1004, and S1006, and stores it in the health state DB 150 (step S1010).
  • the control unit 11 may calculate a numerical value necessary for diagnosing the health condition from the sensor information and then store the numerical value.
  • the control unit 11 rewrites the record in the subject's health state field to "abnormal" (step S1011), and ends the process.
  • control unit 11 If it is determined that there is no abnormality in the health condition (S1007: NO), the control unit 11 stores the record of the subject's health condition field as "no abnormality" in the health condition DB 150 (step S1012). The control unit 11 displays text or an image indicating “no abnormality” on the display unit 15 (step S1013), and ends the process.
  • the control unit 11 does not need to perform diagnosis using all of the first sensor 19, second sensor 20, and third sensor 21 as shown in FIG. If the control unit 11 determines that diagnosis based on biological information with a lower degree of disclosure obtained from the first sensor 19 is unnecessary in stages as shown in Embodiments 1 to 5, Diagnosis using the second sensor 20 or the third sensor 21 may be omitted.
  • the diagnosis results displayed on the display unit 15 are abstracted as much as possible, and the degree of privacy disclosure is kept low without reducing the accuracy of determining health abnormalities.
  • the first sensor 19, the second sensor 20, and the third sensor 21 may be different types of sensors, or may be the same sensor with different privacy disclosure degrees.
  • the sixth embodiment by combining multiple sensors to acquire biological information, the accuracy of determining health abnormalities is improved, and the determination results are abstracted (converted into metadata) and output. This makes it possible to avoid unnecessary privacy disclosure.
  • Embodiment 1 to Embodiment 6 it is possible to provide a program etc. that changes the method of acquiring biological information in stages according to the degree of abnormality of the health condition, thereby achieving a balance between health monitoring and ensuring privacy. can be achieved.
  • sensors such as LiDAR, cameras, microphones, event-driven imaging devices, millimeter wave sensors, ultrasonic sensors, or thermography cameras can obtain biological information without contact, so they can improve the daily life of the subject. The presence or absence of abnormalities in the subject can be monitored without any interference.
  • Information processing device 10 10a Portable storage medium 11 Control unit 12 Main storage unit 13 Communication unit 14 Auxiliary storage unit 140 Program (program product) 150 Health status DB 15 Display section (output section) 16 input section 17 speaker 18 drive mechanism 19 first sensor 20 second sensor 21 third sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生体情報を取得する方法を健康状態の異常度合いに応じて段階的に切り換えるプログラム等を提供する。プログラムは、第一センサから得られる第一センサ情報に基づき対象者の異常を判定し、判定結果に応じて、前記第一センサよりも身体的なプライバシー開示度が高い第二センサから得られる第二センサ情報に基づき対象者の異常を判定するか、または、前記対象者に対し異常に関するテストプログラムを実行する処理をコンピュータに実行させる。

Description

プログラム、情報処理装置、および情報処理方法
 本発明は、プログラム、情報処理装置、および情報処理方法に関する。
 顔の表情、発話、または脈拍等の生体情報を取得し、健康状態の異常を判定する技術がいくつか提案されている。たとえば、健康観察を必要とする対象者が過ごす住宅または介護施設にセンサを設置し、経時的に対象者の生体情報を取得する健康支援システムがある
(特許文献1)。
特開2018-094242号公報
 しかし、特許文献1に開示された発明では、カメラまたはマイク等を用いて対象者を常時監視する必要があり、プライバシーの確保の観点から問題がある。一方、プライバシーの確保を重視すると、健康状態を把握するための十分な生体情報が取得されない。このような現状から、健康観察とプライバシーの確保とのバランスを図ることが難しい。
 一つの側面では、生体情報を取得する方法を健康状態の異常度合いに応じて段階的に切り換えるプログラム等を提供することを目的とする。
 一つの側面に係るプログラムは、第一センサから得られる第一センサ情報に基づき対象者の異常を判定し、判定結果に応じて、前記第一センサよりも身体的なプライバシー開示度が高い第二センサから得られる第二センサ情報に基づき対象者の異常を判定するか、または、前記対象者に対し異常に関するテストプログラムを実行する。
 一つの側面では、生体情報を取得する方法を健康状態の異常度合いに応じて段階的に切り換えるプログラム等を提供できる。
健康異常判定システムの概要を示す模式図である。 情報処理装置の構成例を示す模式図である。 健康状態DBのデータレイアウトを示す説明図である。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 情報処理装置が実行するプログラムの処理手順を示すフローチャートである。 実施の形態6における情報処理装置が実行するプログラムの処理手順の一例を示すフローチャートである。
 本実施の形態では、プライバシーの確保と健康状態の異常を判定する機能とを両立した健康異常判定システムについて、実施の形態1から実施の形態5まで図面に基づいて説明する。
 [実施の形態1]
 実施の形態1では、段階的にセンサを切り換えてプライバシー開示度の異なる生体情報を検出する形態について説明する。
 本明細書において、プライバシー開示度は、対象者自身の知られたくない情報がどの程度他人に開示されているかを示す水準であるものとして説明する。
 図1は、健康異常判定システムの概要を示す模式図である。
 本システムでは、健康観察を必要とする対象者の生活空間に情報処理装置10が設置される。対象者の生活空間は、たとえば、住宅、介護施設、または医療施設等が挙げられる。対象者は、普段通りの生活を送りながら、自身の健康状態をモニタリングしてもらうべく、情報処理装置10に生体情報を提供する。
 情報処理装置10は、生体情報を取得するセンサを備える専用のハードウェアである。情報処理装置10は、スマートフォン、タブレット端末、またはスマートスピーカ等の、対象者が使用する汎用の情報機器であってもよい。
 情報処理装置10が取得する生体情報には、身体的なプライバシー開示度が高い生体情報と、身体的なプライバシー開示度が低い生体情報とが含まれる。
 前者の生体情報は私生活の詳細なモニタリングにより得られ、プライバシーの保護の度合いが低い。当該生体情報が他人に知られると、特定の個人が識別される可能性がある。当該生体情報を例示すると、個人と紐づいている健康状態の情報、顔画像、またはストレスチェック等の個人情報が挙げられる。健康観察に当該生体情報を用いると、健康状態の異常判定の精度が高められる一方、本人のプライバシーの確保に限界がある。
 これに対し、後者の生体情報は私生活の簡略的なモニタリングにより得られ、プライバシーの保護の度合いが高い。当該生体情報が他人に知られたとしても、特定の個人が識別されにくい。当該生体情報を例示すると、生活音、顔以外の画像、体型、または骨格等の個人情報が挙げられる。健康観察に当該生体情報を用いると、本人のプライバシーが確保される一方、健康状態の異常判定の精度に限界がある。
 こうした背景を踏まえ、本システムに用いる情報処理装置10は、生体情報を取得するセンサを段階的に切り換える処理をおこなう。
 情報処理装置10は、第一段階として、身体的なプライバシー開示度が低い生体情報を第一センサで取得する。情報処理装置10は、第一段階で取得した生体情報をきっかけに、順次、身体的なプライバシー開示度が高い生体情報の取得へと切り換えていく。第一段階で異常が見つからなければ、第二段階以降には切り換えないため、対象者のプライバシーが確保されたままとなる。また、第一段階で検出された異常の程度によっては、第二段階をスキップして第三段階に切り換えることもある。つまり、第一センサから第三センサまでを段階的に切り換えることにより、プライバシーの確保と健康状態の異常を判定する機能との両立が実現できる。なお、プライバシーの確保と健康状態の異常判定の両立のためには、第一センサから第三センサまでを用いた生体情報についても、記録又は出力の段階に差異を設けることで、無用なプライバシー開示を避けつつ、健康状態について正確性を向上させる必要な判定はおこなってもよい。
 本実施の形態では、情報処理装置10が三段階の切り換えをおこなうものとして説明するが、二段階または四段階以上の切り換えをおこなってもよい。
 なお、本実施の形態では、一台の情報処理装置10が本システムを構成するものとして説明するが、生活空間に複数台設置されたハードウェアが連携することにより、本システムを実現してもよい。また、情報処理装置10が実行する一部の処理(たとえば健康異常の判定処理)をクラウド上のサーバが実行してもよい。
 図2は、情報処理装置10の構成例を示すブロック図である。
 情報処理装置10は、制御部11、主記憶部12、通信部13、補助記憶部14、表示部15、入力部16、スピーカ17、駆動機構18、第一センサ19、第二センサ20、および第三センサ21を含む。
 制御部11は一または二以上のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。
 主記憶部12はSRAM(Static Random Access Memory)またはDRAM(Dynamic Random Access Memory)等の一時記憶領域であり、制御部11が処理を実行するうえで必要なデータを一時的に記憶する。
 通信部13は、インターネットまたはLAN(Local Area Network)等の通信ネットワークに接続するための通信インタフェースである。
 補助記憶部14は、SSD(Solid State Drive)またはHDD(Hard Disk Drive)等のメモリである。補助記憶部14は、情報処理装置10に処理を実行させるプログラム140(プログラム製品)、健康状態DB(data base)150、複数のテストプログラム、およびその他のデータを記憶している。
 補助記憶部14は、対象者の健常時の生体情報を記憶する。具体的には、対象者に関する、顔画像、身長、体重、血圧、心拍数、または歩行動画等である。制御部11は、補助記憶部14に記憶してある生体情報に基づき、対象者の健康異常を判定する。補助記憶部14は、具体的な生体情報のほか、生体情報に基づく統計量または特徴量を記憶してもよい。
 さらに、補助記憶部14は、対象者の健常時の生体情報を記憶する代わりに、生体情報に基づく統計量または特徴量をもとにして構築した機械学習モデルを記憶してもよい。機械学習モデルを記憶すれば、具体的な生体情報もしくは生体情報に基づく統計量または特徴量を記憶しなくてもよい。具体的には、センサ情報を入力した場合に、正常か否かの分類結果を出力するよう学習された、SVM(Support Vector Machine)、決定木、ニューラルネットワーク、LSTM(Long Short Term Memory)等の機械学習モデルを記憶しておけばよい。
 なお、情報処理装置10は可搬型記憶媒体10aを読み取る読取部を備え、可搬型記憶媒体10aからプログラム140を読み込んでもよい。また、情報処理装置10は、通信ネットワークを介して他のコンピュータからプログラム140をダウンロードしてもよい。
 表示部15は、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイ等の表示画面である。表示部15は、後述する対象者に対し実行される異常に関するテストプログラムが実施される画面、または対象者の異常を判定した結果を示す画面等の画像を表示する。
 入力部16は、タッチパネルまたは機械式操作ボタン等の入力インタフェースである。入力部16は、対象者から操作入力を受け付ける。具体的には、入力部16は、対象者の健常時の生体情報等を受け付ける。入力部16は、対象者の音声指令を収集するマイクであってもよい。
 スピーカ17は、音声メッセージまたはアラート等の音声を出力するための装置である。スピーカ17は、テストプログラムが実行される際、対象者に対して音声指示を出力してもよい。
 駆動機構18は、情報処理装置10本体を水平および垂直方向に回転駆動させる。駆動機構18は、対象者をモニタリングする際のプライバシー開示度の高低に応じて、制御部11により制御される。
 制御部11は、プライバシー開示度の高低に応じて各センサを切り換える。プライバシー開示度が低い順に、第一センサ19、第二センサ20、第三センサ21である。
 本実施の形態では、各センサが情報処理装置10に内蔵されているものとして説明するが、外付けのセンサであってもよい。また、対象者がウェアラブル端末を装着することにより、第一センサ情報を取得してもよい。
 第一センサ19は、プライバシー開示度が低い生体情報を含む第一センサ情報を取得する。情報処理装置10は、たとえば、マイク、LiDAR(Light Detection and Ranging)、イベント駆動撮影装置、またはカメラ等の複数種類のセンサを備える。制御部11は、複数ある第一センサ19のON/OFFを切り換えて目的の生体情報を取得する。
 制御部11が第一センサ19としてカメラを起動した場合、広角のカメラとして機能させる。このとき、第一センサ19は駆動機構18により制御され、対象者の顔を撮影しない、もしくは対象者の顔をズームしない。プライバシー開示度を低く保つためである。制御部11は第一センサ19としてカメラを起動した場合、逆に、対象者の顔のみを撮影範囲に捉えるように制御してもよい(Region Of Interest)。顔のみの撮影とすることによって、対象者の行動内容を識別不可能とした方が、プライバシー開示度を低くできるとも考えられるためである。
 第一センサ19は、物や人物の認識処理を実行するAIの機能を内蔵するカメラユニット、所謂インテリジェントビジョンセンサーを用いてもよい。このカメラユニットは、対象者の顔を撮影はするが、撮影した画像を出力しない。このカメラユニットは、撮影範囲における対象者のトラッキングデータ、トラッキングによる目線、口角を結ぶ線、対象者の顔の特徴点(目鼻口の位置)の画像内における位置座標、角度情報、および認識結果(人物である等)を出力するにとどまる。更に、このカメラユニットにて、後述するような健康に係る異常判定まで実行するようにしてもよい。
 第二センサ20は、プライバシー開示度が中程度の生体情報を含む第二センサ情報を取得する。第二センサ20がカメラである場合、第一センサ19よりも狭角で対象者の顔を撮影する撮影装置として機能する。第一段階よりもプライバシー開示度を高くし、生体情報として顔画像を取得するためである。
 第三センサ21は、プライバシー開示度が高い生体情報を含む第三センサ情報を取得する。第三センサ21は、テストプログラム用の生体情報を取得するための、カメラおよびマイクの組み合わせである。第三センサ21に用いるカメラは第二センサ20に用いるカメラよりもさらに狭角であり、ズームした対象者の顔画像または腕画像等を取得する。
 その他、第一センサ19としてLiDAR、第二センサ20として広角のカメラ、第三センサ21として狭角のカメラを起動して、生体情報を取得してもよい。
 テストプログラムは、第一センサ情報および第二センサ情報よりもプライバシー開示度が高い生体情報を取得するための診断処理である。テストプログラムは、たとえば、問診、動作分析、または脳卒中(脳血管障害)診断(たとえばCPSS:Cincinnati Prehospital Stroke Scale、NIHSS:National Institutes of Health Stroke Scale、またはKPSS:Kurashiki Prehospital Scale)等である。
 問診には、心不全セルフチェック、てんかんチェック、またはストレスチェック等が含まれる。情報処理装置10は、各問診の結果に応じて対象者の健康異常を判定する。
 動作分析は、たとえば、歩行分析が挙げられる。歩行分析は、歩行の対称性、重心の移動、関節の動作、または杖の付き方等の、歩行に関する生体情報に基づく分析結果である。情報処理装置10は、歩行分析の結果に応じて対象者の運動機能を判定する。
 脳卒中等の神経障害の診断には、顔のゆがみ判定、上肢挙上の診断、および構音障害等の神経症状の判定が含まれる。情報処理装置10は、診断結果に応じて対象者の脳卒中の可能性または神経症状の重症度を確率またはスコアで出力する。脳卒中診断の詳細は、実施の形態5にて後述する。
 図3は、健康状態DB150のデータレイアウトを示す説明図である。健康状態DB150は、検出日時、検出中の手段、および健康状態のフィールドを記憶するDBである。健康状態DB150は、モニタリング対象者の健康状態を時系列で記憶する。
 検出日時フィールドには、対象者の生体情報を検出した日時が記憶される。検出中の手段フィールドには、対象者をモニタリングしているセンサの種類が記憶される。健康状態フィールドには、「異常あり」または「異常なし」等の、対象者の健康状態が記憶される。
 情報処理装置10は、対象者の異常を示す第一センサ情報または第二センサ情報と、補助記憶部14に記憶してある健常時の生体情報とを比較して、生体情報異常、顔面麻痺、メンタル異常、転倒、動揺もしくは振戦、脱力、または発話異常等を検出する。具体的な生体情報異常の症状には、脈拍、心拍変動、呼吸、血中酸素濃度、または血圧変動の異常が含まれる。
 以下、各センサが取得する生体情報と、情報処理装置10がおこなう健康異常の判定方法とを例示する。生体情報を取得するセンサは、たとえば、LiDAR、カメラ、マイク、イベント駆動撮影装置、ミリ波センサ、超音波センサ、またはサーモグラフィカメラ等が挙げられる。
[LiDAR]
 LiDARは、対象物へ向けて赤外線を照射した後、反射されて自装置に戻ってくるまでの往復時間に基づいて対象物までの距離を算出する。LiDARは、対象物の3次元情報として点群データを出力する。たとえば、LiDARが対象者の顔へ向けて赤外線を照射した場合、顔の凹凸情報が含まれる3次元画像を取得できる。
 情報処理装置10は、LiDARが取得した顔の3次元画像に基づき、顔面麻痺を判定する。具体的には、対象者の顔の凹凸情報を健常時の凹凸状態と比較して、健常時の凹凸状態から所定の閾値以上ずれている場合、顔面麻痺であると判定する。一方、健常時の凹凸状態の範囲内に収まっている場合、顔面麻痺ではないと判定する。
[カメラ]
 カメラは、顔画像、腕画像、または脚画像を取得する。情報処理装置10は、カメラが取得する生体情報に基づき、顔面麻痺、生体情報異常、メンタル異常、脱力、または転倒を判定する。
 顔面麻痺には、顔が左右非対称に見える、額にシワを寄せられない、眉を上げられない、まぶたを閉じることができない、または口角を上げられない等の症状が見られる。顔面内において、表情筋を動かせる健常部分と、表情筋を動かせない麻痺(異常)部分とが生じるためである。
 たとえば、顔の左側が健常であり顔の右側に麻痺が生じている場合、笑顔を見せようとしても、右側の口角を上げて笑うことができず、正常な笑顔の表情とならない。
 情報処理装置10は、顔面麻痺の検査に用いられる公知の柳原法等を実施することにより、カメラが取得した顔の輪郭線またはシワの情報に基づいて顔面麻痺を判定する。具体的には、輪郭線の曲率、額にあるシワの数または深さ、もしくはほうれい線の深さまたは長さの変化量に応じたスコアを算出し、顔面麻痺を判定する。第一センサ19としてインテリジェントビジョンセンサーを用いている場合、情報処理装置10は、特徴点等の情報を制御部11で導出することなしに、インテリジェントビジョンセンサーから出力される情報に基づきスコアを算出してもよい。
 対象者は柳原法の指示に従い、顔の表情を変化させる。指示内容は、スピーカ17による音声または表示部15によるテキストにて案内される。
 情報処理装置10は、顔画像から特徴点として顔の部位(額、眉、目、頬、または口角等)を抽出する。顔の表情を変化させると、たとえば、輪郭線の曲率、額にあるシワの数または深さ、もしくはほうれい線の深さまたは長さの特徴量が変化する。情報処理装置10は、表情を変える前後で変化した特徴点における特徴量の変化量を特定する。情報処理装置10は、特定した変化量に応じて左右の対称性をスコア化し、顔面麻痺を判定する。
 なお、顔面麻痺の判定は、ニューラルネットワーク、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、顔画像を入力した際に「正常」、「顔面麻痺のレベルが低い」、「顔面麻痺のレベルが高い」のいずれかに分類するよう学習されたモデルに、対象者の顔画像を入力して顔面麻痺の有無または顔面麻痺のレベルを特定する。
 情報処理装置10は、カメラが取得した顔画像(たとえば肌の色)からメンタル異常または疲労を判定する。
 肌の色は、血液の流れに応じて時々刻々と変化している。血中に含まれるヘモグロビンには可視光を吸収する性質があるため、顔領域のRGB信号が周期的に変化する。
 情報処理装置10は、カメラが取得した顔画像から肌の色の変化を検出する。情報処理装置10は、肌の色の変化に関する時系列データに基づき、健常時の周波数から所定の閾値以上ずれている場合、自律神経に乱れが生じていると判定する。情報処理装置10は、自律神経の乱れ度合いに応じて、対象者が感じているメンタル異常または疲労を判定する。
 なお、対象者が感じているメンタル異常または疲労を判定する際には、ニューラルネットワーク、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いてもよい。その場合、制御部11は、顔画像を入力した際に、「メンタル異常あり」、「疲労あり」、「健康」のいずれかに分類するよう学習されたモデルに、カメラが取得した対象者の顔画像を入力して、対象者が感じているメンタル異常または疲労を判定する。
 身体の脱力は、手または足に力が入らない状態を指し、箸を思うように扱えない、または歩きにくくなる等の症状を引き起こす。情報処理装置10は、たとえば、カメラから取得した腕画像内にて、対象者が保持している物体が手から離れる等して保持されなくなった状態を検出した場合、脱力という異常が生じていると判定する。
[マイク]
 マイクは、対象者の音声情報を取得する。情報処理装置10は、マイクにより取得される音声情報に基づき、転倒または発話異常を判定する。
 情報処理装置10は、マイクから取得される生活音が所定の閾値以上である場合、対象者が転倒したと判定する。たとえば、情報処理装置10は、所定の閾値以下である音量(たとえば家具を動かす音、または床を歩く音)が取得された場合、「転倒なし」と判定する。一方、所定の閾値以上である音量(たとえば床に倒れる音、または階段から落ちる音)が取得された場合、「転倒あり」と判定する。
 情報処理装置10は、発話テストを実行し、所定の言葉を滞りなく発話できるか否かを判定することにより、発話異常を判定する。所定の言葉は、たとえば「パタカ」または「瑠璃も玻璃も照らせば光る」である。対象者がマイクに向けて話した音声に基づき、発話異常を判定する。
 なお、情報処理装置10は、発話テストを実行する代わりに、マイクから取得される対象者の発話(たとえば日常発する音声)を用いて発話異常を判定してもよい。その場合、情報処理装置10は、対象者の発話から抽出した特徴量と、補助記憶部14に記憶してある健常時の発話パターンに基づく特徴量とを比較する。情報処理装置10は、対象者の発話から抽出した特徴量が健常時の特徴量と異なっている場合、発話異常があると判定する。
 発話異常の判定には、たとえば、発話機能を評価する指標である発話明瞭度を用いる。発話明瞭度は、対象者が発話した内容に応じて、「明瞭である」、「ときどき聞き取れない言葉がある」、「ときどき聞き取れる言葉がある」、「不明瞭である」等の段階評価がなされる。情報処理装置10は、音声認識により対象者の発話明瞭度を特定する。情報処理装置10は、対象者の発話内容が明瞭であると特定した場合、発話異常がないと判定する。一方、対象者の発話内容について、ときどき聞き取れない言葉がある、ときどき聞き取れる言葉がある、または不明瞭であると特定した場合、発話異常があると判定する。
 なお、対象者の発話異常の判定は、ニューラルネットワーク、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、音声情報を入力した際に「発話異常あり」か「発話異常なし」のいずれかに分類するよう学習されたモデルに、マイクが取得した対象者の音声情報を入力して対象者の発話異常を判定する。
[イベント駆動撮影装置]
 イベント駆動撮影装置は、被写体の輝度変化(たとえば対象者の動き)を抽出した後、輝度変化が生じた画素のみを位置情報および時間情報と組み合わせて出力する。イベント駆動撮影装置は、輝度変化が生じていない画素(たとえば背景部分)を抽出しない。
 動揺はめまい等により、振戦はパーキンソン病等により引き起こされる症状である。周波数は、動揺より振戦の方が高い。対象者に、身体のふらつき等の動揺、もしくは手のふるえ等の振戦が見られる場合、イベント駆動撮影装置がこれらの動きを検出する。
 具体的には、イベント駆動撮影装置は、被写体の動揺または振戦が生じている部分のみを抽出し、周波数分布を検出する。情報処理装置10は、イベント駆動撮影装置により取得される各画素の周波数が所定の閾値以上である場合、もしくは、イベント駆動撮影装置により取得される各画素の周波数に非対称性が生じている場合、動揺または振戦が生じていると判定する。一方、所定の閾値以上ではない場合、動揺または振戦が生じていないと判定する。
 なお、動揺または振戦の有無は、ニューラルネットワーク、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いて判定されてもよい。その場合、制御部11は、被写体の輝度変化を入力した際に「動揺または振戦あり」か「動揺または振戦なし」のいずれかに分類するよう学習されたモデルに、イベント駆動撮影装置が取得した被写体の輝度変化を入力して動揺または振戦の有無を判定する。
[ミリ波センサ]
 ミリ波センサは、移動する対象物の位置および速度を検出する。情報処理装置10は、対象者の頭部位置と、頭部位置が移動した際の速度とを取得する。情報処理装置10は、頭部位置が一定の時間内において所定の閾値以上に変化した場合、対象者が転倒したと判定する。
[超音波センサ]
 超音波センサは、自装置から対象物までの距離および対象物の有無を検出する。情報処理装置10は、自装置から対象者の頭部位置までの距離と、頭部位置の有無とを取得する。情報処理装置10は、頭部位置が一定の時間内において所定の範囲内から変化した場合、対象者が転倒したと判定する。
[サーモグラフィカメラ]
 サーモグラフィカメラは、対象物からの放射エネルギーを温度に換算して物体表面の温度分布を測定する。情報処理装置10は、撮影範囲内において取得される温度が閾値以上である領域を、モニタリング対象者が存在する領域として検出する。情報処理装置10は、検出した領域の形状に基づいて対象者が立位または座位の態勢を取っていると特定する。情報処理装置10は、特定した立位または座位の態勢が、一定の時間内において所定の閾値以上に変化した場合、対象者が転倒したと判定する。
 なお、対象者の転倒判定は、CNN(Convolutional Neural Network)、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、ミリ波センサ、超音波センサ、およびサーモグラフィカメラが取得したデータを入力した際に「転倒あり」か「転倒なし」のいずれかに分類するよう学習されたモデルに、ミリ波センサ、超音波センサ、およびサーモグラフィカメラが取得したデータを入力して対象者の転倒を判定する。
[カメラ・LiDAR・ミリ波センサ・超音波センサ]
 情報処理装置10は、対象者の呼吸または拍動に関する生体情報を取得する際、カメラ、LiDAR、ミリ波センサ、または超音波センサを起動する。情報処理装置10は、カメラ、LiDAR、ミリ波センサ、または超音波センサが検出した値から変位部位の形状解析をおこない、変位部位における脈拍、心拍変動、脈拍の振れの大きさ、拍動のピーク時点等を算出する。
 情報処理装置10は、算出した各数値が所定の閾値以上であるか否かを判定することにより、心臓または血管の異常の有無を判定する。心臓または血管の異常は、たとえば、脳梗塞、脳出血、心不全、心房細動、足梗塞、静脈瘤、または血栓等が挙げられる。この場合、脈拍および心拍変動は、ウェアラブル端末により取得したデータと比較されてもよい。
[カメラ・マイク]
 情報処理装置10は、顔面麻痺を判定する際、カメラおよびマイクを起動する。情報処理装置10は、カメラおよびマイクを組み合わせることにより顔面麻痺を判定する。顔面麻痺判定の詳細は、実施の形態5にて後述する。
 以上、情報処理装置10は各センサが取得する生体情報に基づき、モニタリング中の対象者の健康異常を判定する。健康異常は、たとえば、脳卒中の症状としての健康異常が挙げられる。
 次に、各センサを段階的に切り換える処理について説明する。本明細書では、取得される生体情報のプライバシー開示度が低い順に、第一段階、第二段階、第三段階という。
[第一段階の健康異常判定]
 制御部11は、第一センサ19を起動して身体的なプライバシー開示度が低い第一センサ情報を検出する。第一センサ19は、たとえば、マイク、LiDAR、イベント駆動撮影装置、またはカメラ等である。第一センサ19は、所謂インテリジェントビジョンセンサーであってもよい。制御部11は、起動した第一センサ19の種類と、起動した第一センサ19の数とを補助記憶部14に記憶する。
 LiDAR、イベント駆動装置、またはカメラ等のセンサは、対象者の顔を撮影しないか、もしくは、顔が判別できない程度に広角な撮影装置として機能する。そのため、取得される生体情報のプライバシー開示度は低い。なお第一センサ19は、上述したように、逆に対象者の顔のみを撮影範囲とし、行動内容を識別不可能とした場合であっても、プライバシー開示度は低い。
 第一センサ19は、情報処理装置10に複数種類備えられている。制御部11は、第一センサ19から目的の第一センサ情報を取得する。制御部11は、第一センサ情報に基づき対象者の健康に異常があるか否かを判定する。
 制御部11は、対象者の健康に異常があると判定した場合、より詳細にモニタリングする必要があるため、第一センサ19から第二センサ20に検出手段を切り換える。制御部11は、検出手段を切り換える際、表示部15にセンサを切り換える旨を表示させてもよい。対象者のプライバシーに配慮するためである。
 制御部11は、対象者の健康に異常がないと判定した場合、第一センサ19による生体情報の取得を続ける。対象者のプライバシー確保のためである。
 図4は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一センサ19を起動する(ステップS101)。制御部11は、起動した第一センサ19の種類および数を記憶する(ステップS102)。第一センサ19は、対象者の第一センサ情報を検出する。制御部11は、第一センサ19が検出した第一センサ情報を取得する(ステップS103)。制御部11は、第一センサ情報が検出された日時を健康状態DB150に記憶する(ステップS104)。
 制御部11は、取得した第一センサ情報に基づき、上述した各手法に従い健康状態の異常を判定する(ステップS105)。制御部11は、健康状態の異常がないと判定した場合(ステップS105:NO)、健康状態フィールドのレコードを「異常なし」に書き換える(ステップS106)。制御部11は、ステップS103の処理に戻る。
 制御部11は、健康状態の異常があると判定した場合(ステップS105:YES)、健康状態フィールドのレコードを「異常あり」に書き換える(ステップS107)。制御部11は、検出手段を第一センサ19から第二センサ20に切り換える(ステップS108)。制御部11は、第二センサ20を起動した旨を表示部15に表示させる(ステップS109)。
[第二段階の健康異常判定]
 制御部11は、第一センサ19よりも身体的なプライバシー開示度が高い第二センサ20による異常判定の処理に移行する。制御部11は、第二センサ20を起動して、身体的なプライバシー開示度が中程度の第二センサ情報を検出する。
 第一段階で健康状態に異常があると判定された対象者は、情報処理装置10が設置された生活空間で過ごしている。制御部11は、駆動機構18に対し、第二センサ20が対象者の顔を撮影可能となる旨の動作指示を出力する。第二センサ20は、対象者の顔を撮影して顔画像の検出およびトラッキングをおこなう。
 制御部11は、検出した対象者の顔画像を補助記憶部14に記憶させる。制御部11は、対象者の顔画像のほか、対象者の顔画像の特徴量を補助記憶部14に記憶させてもよい。
 制御部11は、上記の第二センサ情報に基づき対象者の健康に異常があるか否かを判定する。制御部11は、対象者の健康に異常があると判定した場合、より詳細に健康観察する必要があるため、第三段階としてテストプログラムを実行する。
 制御部11は、第二センサ20から第三センサ21に検出手段を切り換える。制御部11は、検出手段を切り換える際、表示部15にセンサを切り換える旨を表示させてもよい。対象者のプライバシーに配慮するためである。
 制御部11は、対象者の健康に異常がないと判定した場合、第一センサ19による生体情報の取得に戻る。このとき起動する第一センサ19は、最初に起動した第一センサ19とは種類の異なる第一センサ19である。制御部11は、新たな第一センサ19が取得した第一センサ情報により、対象者の健康異常を再度判定する。
 制御部11は、これまで起動した第一センサ19の数と、情報処理装置10に備えられた第一センサ19の全数とを比較する。制御部11は、「これまで起動した第一センサ19の数」が「情報処理装置10に備えられた第一センサ19の全数」未満である場合、第一センサ19による生体情報の取得を続ける。
 なお、生体情報の取得にあたり、種類の異なる第一センサ19を切り換えていく手段のほか、同一の第一センサ19が、腕、胴体、または脚等の、異なる部位を順に取得対象としていく手段でもよい。
 図5は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第二センサ20を起動する(ステップS201)。第二センサ20は、対象者の顔画像の検出およびトラッキングをおこなう。第二センサ20は、対象者の第二センサ情報を検出する。制御部11は、第二センサ20が検出した第二センサ情報を取得する(ステップS202)。制御部11は、第二センサ情報が検出された日時を健康状態DB150に記憶する(ステップS203)。
 制御部11は、取得した第二センサ情報に基づき、上述した手法に従い健康状態の異常を判定する(ステップS204)。制御部11は、健康状態の異常がないと判定した場合(ステップS204:NO)、健康状態フィールドのレコードを「異常なし」に書き換える(ステップS205)。制御部11は、「これまで起動した第一センサ19の数」が「情報処理装置10に備えられた第一センサ19の全数」未満であるか否かを判定する(ステップS206)。
 制御部11は、補助記憶部14に記憶してある数情報が第一センサ19の全数未満である場合(ステップS206:YES)、最初に起動した第一センサ19とは種類の異なる第一センサ19を起動する(ステップS207)。新たな第一センサ19は、対象者の第一センサ情報を検出する。制御部11は、新たな第一センサ19が検出した第一センサ情報を取得する(ステップS208)。制御部11は、取得した第一センサ情報に基づき健康状態の異常を再度判定する(ステップS209)。
 一方、制御部11は、補助記憶部14に記憶してある数情報が第一センサ19の全数未満でない場合(ステップS206:NO)、一連の処理を終了する。
 制御部11は、健康状態の異常があると判定した場合(ステップS204:YES)、健康状態フィールドのレコードを「異常あり」に書き換える(ステップS210)。制御部11は、補助記憶部14に記憶してあるテストプログラムを読み出す(ステップS211)。制御部11は、テストプログラムを実行する旨を表示部15に表示させる(ステップS212)。
[第三段階の健康異常判定]
 第三段階では、第二段階で異常があると判定された対象者に対して個別具体的な診断がおこなわれる。個別具体的な診断は、補助記憶部14に記憶してあるテストプログラムに基づいて実施される。
 制御部11は、第一センサ19および第二センサ20よりも、身体的なプライバシー開示度が高い生体情報が検出される第三センサ21を起動する。第三センサ21は、たとえばカメラまたはマイク等である。制御部11は、テストプログラムの種類に応じて、第三センサ21から第三センサ情報を取得する。
 本実施の形態では、制御部11が脳卒中に関するテストプログラムを実行するものとして説明するが、これに限定されず、ストレスチェックまたは歩行分析等であってもよい。
 制御部11は、脳卒中に関するテストプログラムを実行する場合、第三センサ21としてカメラおよびマイクを起動する。制御部11は、表示部15に指示内容を表示させるか、もしくは、スピーカ17による音声指示を出力する。対象者は、指示通りに所定の動作をおこなう。制御部11は、カメラおよびマイクから第三センサ情報を取得する。第三センサ情報には、顔のゆがみの有無、上肢挙上の可否、および構音障害の有無等が含まれる。第三センサ情報に基づく健康異常の詳細な判定方法は、実施の形態5にて後述する。
 なお、制御部11は、テストプログラムの結果に応じて、考えられる病名または近隣の病院等を表示部15に出力してもよい。また、制御部11は、通信部13を介して、対象者が所有する情報端末または対象者に関係する他のユーザ(家族または医療従事者等)が所有する情報端末に、健康状態の異常判定の結果またはテストプログラムの結果を通知してもよい。
 図6は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第三センサ21を起動する(ステップS301)。制御部11は、表示部15またはスピーカ17に指示内容を出力する(ステップS302)。第三センサ21は、対象者の第三センサ情報を検出する。制御部11は、第三センサ21が検出した第三センサ情報を取得する(ステップS303)。制御部11は、第三センサ情報が検出された日時を健康状態DB150に記憶する(ステップS304)。
 制御部11は、取得した第三センサ情報に基づき、実施の形態5にて後述する手法に従い健康状態の異常を判定する(ステップS305)。制御部11は、健康状態の異常がないと判定した場合(ステップS305:NO)、健康状態フィールドのレコードを「異常なし」に書き換える(ステップS306)。
 一方、制御部11は、健康状態の異常があると判定した場合(ステップS305:YES)、健康状態フィールドのレコードを「異常あり」に書き換える(ステップS307)。制御部11は、診断結果を表示部15に表示させる(ステップS308)。
 以上、実施の形態1によれば、情報処理装置10が段階的にセンサを切り換えることにより、プライバシー開示度の異なる生体情報を検出できる。また、LiDAR、カメラ、マイク、イベント駆動撮影装置、ミリ波センサ、超音波センサ、またはサーモグラフィカメラ等のセンサは、非接触で生体情報を検出できる。これにより、対象者の日常生活を妨げることなく、対象者の異常の有無をモニタリングすることができる。さらには、対象者が自発的に個別具体的な診断を実施するプログラムを起動する必要がないため、利便性が向上する。
[実施の形態2]
 実施の形態2では、第二センサ情報に基づく異常判定をスキップしてテストプログラムを実行する形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
 情報処理装置10が第二段階をスキップするのは、第一センサ情報の中に「特定の症状を示す特徴的な生体情報」(以下、特徴的な生体情報という)が含まれている場合と、第一センサ情報の異常レベルが高い場合とである。
 まず、第一センサ情報の中に特徴的な生体情報が含まれている場合について説明する。
 制御部11は、特徴的な生体情報をあらかじめ補助記憶部14に記憶しておく。特徴的な生体情報は、たとえば、転倒、顔面麻痺、または発話異常が挙げられる。対象者に転倒、顔面麻痺、または発話異常が見られる際には、脳卒中の疑いがある。そのため、第二段階をスキップして早期に第三段階のテストプログラムを実行することにより、病気の早期発見につなげることができる。
 制御部11は、健康異常を判定する際、特徴的な生体情報と、第一センサ19から取得した第一センサ情報とを比較する。制御部11は、第一センサ情報の中に特徴的な生体情報が含まれると判定した場合、第二段階をスキップしてテストプログラムを実行する。実行されるテストプログラムは、第一センサ情報に基づき疑われる病気に対応したテストプログラムである。たとえば、転倒、顔面麻痺または発話異常が第一センサ情報に含まれる場合は、脳卒中を診断するためのテストプログラムが実行される。
 次に、第一センサ情報の異常レベルが高い場合について説明する。
 制御部11は、健康異常に応じた所定の値をあらかじめ補助記憶部14に記憶しておく。健康異常を判定するための定量的な第一センサ情報は、たとえば、血圧、身体動揺または振戦の周波数、もしくは顔面麻痺の非対称度が挙げられる。
 制御部11は第一センサ情報の異常レベルが高い場合、第二センサ20の起動をスキップしてテストプログラムを実行する。実行されるテストプログラムは、第一センサ情報に基づき疑われる病気に対応したテストプログラムである。
 対象者の血圧の異常を判定する場合を例示すると、補助記憶部14は、異常レベルの高低に応じた血圧に関する数値を記憶している。具体的には、補助記憶部14は、血圧の正常値として、最高血圧:135mmHg未満、最低血圧:85mmHg未満と記憶している。補助記憶部14は、異常レベルが低い血圧として、最高血圧:175mmHg未満、最低血圧:105mmHg未満と記憶している。補助記憶部14は、異常レベルが高い血圧として、最高血圧:175mmHg以上、最低血圧:105mmHg以上と記憶している。
 制御部11は、対象者の最高血圧および最低血圧に応じて異常レベルを判定する。
 たとえば、制御部11は、第一センサ19から最高血圧:130mmHg、最低血圧:80mmHgの数値を取得する。制御部11は、補助記憶部14に記憶してある所定の値に基づき、この対象者に対して異常なしと判定する。制御部11は、最初に起動した第一センサ19とは異なる第一センサ19を起動して生体情報の取得を続ける。
 たとえば、制御部11は、第一センサ19から最高血圧:160mmHg、最低血圧:90mmHgの数値を取得する。制御部11は、補助記憶部14に記憶してある所定の値に基づき、この対象者に対して異常レベルが低い血圧であると判定する。制御部11は、第二段階へと移行して第二センサ20を起動する。
 たとえば、制御部11は、第一センサ19から最高血圧:190mmHg、最低血圧:110mmHgの数値を取得する。制御部11は、補助記憶部14に記憶してある所定の値に基づき、この対象者に対して異常レベルが高い血圧であると判定する。制御部11は、第二段階をスキップしてテストプログラムを実行する。実行されるテストプログラムは、高血圧により引き起こされやすい病気を診断するためのテストプログラムである。
 なお、顔面麻痺の非対称度の異常レベルが高い場合は、脳卒中に関するテストプログラムが実行される。身体動揺または振戦の異常レベルが高い場合は、パーキンソン病に関するテストプログラムが実行される。
 図7は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一センサ情報を取得する(ステップS401)。制御部11は、補助記憶部14に記憶してある特徴的な生体情報を読み出す(ステップS402)。制御部11は、取得した第一センサ情報と、読み出した特徴的な生体情報とを比較した後、対象者の第一センサ情報に特徴的な生体情報が含まれているか否かを判定する(ステップS403)。
 制御部11は、特徴的な生体情報が含まれていないと判定した場合(ステップS403:NO)、補助記憶部14に記憶してある「健康異常に応じた所定の値」を読み出す(ステップS404)。一方、制御部11は、特徴的な生体情報が含まれていると判定した場合(ステップS403:YES)、第三センサ21を起動する(ステップS407)。
 制御部11は、取得した第一センサ情報に含まれる所定の値と、読み出した「健康異常に応じた所定の値」とを比較した後、異常レベルが高いか否かを判定する(ステップS405)。なお、実施の形態1にて述べた機械学習モデルから出力される異常レベルが、所定のレベル以上である場合に、ステップS407に移行してもよい。
 制御部11は、異常レベルが高くはないと判定した場合(ステップS405:NO)、最初に起動した第一センサ19とは種類の異なる第一センサ19を起動する(ステップS406)。一方、制御部11は、異常レベルが高いと判定した場合(ステップS405:YES)、第三センサ21を起動する(ステップS407)。
 なお、異常レベルが低いと判定した場合には、第二段階に移行して生体情報の取得を続けてもよい。
 以上、実施の形態2によれば、第二センサ情報に基づく異常判定をスキップしてテストプログラムを実行することができ、脳梗塞等の治療の緊急性が高い疾患を早急に検出できる。
[実施の形態3]
 実施の形態3では、第一センサ19としてマイク、第二センサ20としてLiDARを起動して健康状態を判定する形態について説明する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
 情報処理装置10は、第一センサ19としてマイクを起動する。情報処理装置10は、第二センサ20としてLiDARを起動する。情報処理装置10は、複数のセンサを組み合わせて生体情報を取得していくことにより、正確に健康異常を判定する。
 マイクは、対象者の音声情報を検出する。制御部11は、マイクから対象者の音声情報を取得する。制御部11は、上述した発話明瞭度を指標とした段階分け等の手法により発話異常を判定する。なお、制御部11は、発話テストの代わりに、対象者の発話(たとえば日常発する音声)を用いて発話異常を判定してもよい。
 制御部11は、発話異常がないと判定した場合、マイクとは別の第一センサ19を起動する。一方、制御部11は、発話異常があると判定した場合、LiDARを起動する。マイクおよびLiDARの組み合わせにより取得される生体情報は、健康状態の異常判定の精度を向上させることができる。
 制御部11は、LiDARから対象者の顔画像を取得する。制御部11は、LiDARから取得した顔画像と、補助記憶部14に記憶してある健常時の顔画像とを比較した後、顔面麻痺を判定する。具体的には、制御部11は、対象者の顔面に非対称性が生じているか否かに基づき、顔面麻痺を判定する。顔面に非対称性が生じていれば「顔面麻痺あり」、顔面に非対称性が生じていなければ「顔面麻痺なし」である。
 さらに具体的には、LiDARから取得した顔画像を、補助記憶部14に記憶してある健常時の顔画像と比較して、対象者の顔半分の特徴点(額、眉、目、頬、または口角等)が下がっていれば「顔面麻痺あり」、対象者の顔半分の特徴点(額、眉、目、頬、または口角等)が下がっていなければ「顔面麻痺なし」と判定する。
 制御部11は、顔面麻痺が生じていないと判定した場合、第一段階に戻って生体情報の取得を続ける。一方、制御部11は、顔面麻痺が生じていると判定した場合、第三段階に移行する。発話異常と顔面麻痺の両方が発生している際には、脳卒中の危険性が高いためである。
 図8は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一センサ19としてマイクを起動する(ステップS501)。マイクは、対象者の音声情報を検出する。制御部11は、マイクから音声情報を取得する(ステップS502)。制御部11は、取得した音声情報に基づき対象者を特定する(ステップS503)。
 制御部11は、補助記憶部14に記憶してある健常時の音声情報を読み出す(ステップS504)。制御部11は、マイクから取得した音声情報と、読み出した音声情報とを比較して発話異常の有無を判定する(ステップS505)。
 制御部11は、発話異常がないと判定した場合(ステップS505:NO)、マイクとは異なる種類の第一センサ19を起動する(ステップS506)。一方、制御部11は、発話異常があると判定した場合(ステップS505:YES)、LiDARを起動する(ステップS507)。
 LiDARは、対象者の顔画像を検出する。制御部11は、LiDARから顔画像を取得する(ステップS508)。制御部11は、補助記憶部14に記憶してある健常時の顔画像を読み出す(ステップS509)。制御部11は、LiDARから取得した顔画像と、読み出した顔画像とを比較して顔面麻痺の有無を判定する(ステップS510)。なお、LiDARから取得した顔画像の非対称性から顔面麻痺の有無を判定してもよい。
 制御部11は、顔面麻痺がないと判定した場合(ステップS510:NO)、LiDARとは異なる種類の第一センサ19を起動する(ステップS506)。一方、制御部11は、顔面麻痺があると判定した場合(ステップS510:YES)、第三センサ21を起動する(ステップS511)。
 以上、実施の形態3によれば、複数のセンサを組み合わせて生体情報を取得していくことにより、正確に健康異常を判定できる。
[実施の形態4]
 実施の形態4では、第一センサ19としてLiDAR、第二センサ20としてカメラを起動して健康状態を判定する形態について説明する。LiDARで取得した生体情報に対して、カメラで取得した生体情報を追加することにより、たとえば、転倒状態の判定精度が向上する。なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。
 情報処理装置10は、第一センサ19としてLiDARを起動する。情報処理装置10は、第二センサ20としてカメラを起動する。情報処理装置10は、LiDARおよびカメラが取得した各情報を統合して、統合情報を取得する。具体的には、情報処理装置10は、LiDARが取得した画像とカメラが取得した画像とを統合する。情報処理装置10は、統合された画像に基づき対象者の転倒の有無を判定する。
 制御部11は、画像を統合する際、カメラにより撮影された画像内の特定領域をマスキングする。制御部11は、LiDARから取得した画像に基づきマスキングする箇所を特定する。マスキングされる箇所は、たとえば、個人が識別されやすい顔部分の領域である。プライバシーに配慮するためである。
 制御部11は、マスキングされた画像(以下、マスキング画像という)から対象者の態勢を特定する。対象者の態勢には、立位、座位、および転倒等が含まれる。特定に用いる対象者の画像は、たとえば、全身のうち、顔部分がLiDARにより取得された画像であり、首から下がカメラにより撮影された画像である。
 制御部11は、Openpose、R-CNN(Region Based Convolutional Neural Networks)、またはYOLO(You Only Look Once)等の機械学習モデルを用いた顔認識アルゴリズムにより、カメラが取得した全身画像に対して顔部分を特定する。制御部11は、特定された顔部分にのみ、LiDARから取得した顔部分の画像を当てはめてマスキングする。マスキング画像はLiDAR画像およびカメラ画像が統合されているため、プライバシーの配慮と異常判定の検出機能との両立が可能である。
 なお、対象者の転倒判定は、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、カメラおよびLiDARの統合画像を入力した際に「立位」、「座位」、「転倒」のいずれかに分類するよう学習されたモデルに、対象者のマスキング画像を入力して対象者の転倒判定をおこなう。
 図9は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一段階としてLiDARを起動する(ステップS601)。制御部11は、LiDARから対象者の全身画像を取得する(ステップS602)。制御部11は、第二段階としてカメラを起動する(ステップS603)。制御部11は、カメラから対象者の全身画像を取得する(ステップS604)。
 制御部11は、カメラが取得した全身画像から、顔認識アルゴリズムにより顔領域を特定する(ステップS605)。制御部11は、特定した顔領域にLiDARが取得した顔画像を当てはめてマスキングする(ステップS606)。制御部11は、マスキング画像に基づき対象者の転倒の有無を判定する(ステップS607)。
 以上、実施の形態4によれば、マスキング画像を転倒判定に用いることにより、プライバシーの配慮と異常判定の検出機能との両立が実現できる。また、第一センサ19としてLiDARを起動することで、プライバシー開示度の低い状態で生体情報を取得することができる。
[実施の形態5]
 実施の形態5では、脳機能障害の有無を判定するための診断として、脳卒中に関するテストプログラムを実行する形態について説明する。以下、当該テストプログラムが脳卒中診断に用いられるCPSSである場合を例示する。ただし、判定される脳機能障害は特に限定されず、脳卒中の他にも、たとえば、認知症、失語症、または脳梗塞等による一過性の認知機能低下等が挙げられる。
 CPSSは、顔のゆがみ、上肢挙上の状態、および構音障害の徴候をとらえて、脳卒中が起きている可能性を調べる診断である。
 情報処理装置10は、CPSSに必要となる、対象者の顔画像と腕画像と音声情報とを取得するため、第三センサ21を起動する。この場合、第三センサ21は、カメラおよびマイクの組み合わせである。第三センサ21は、制御部11による制御により、適切なタイミングで対象者の生体情報を取得していく。
 制御部11は、スピーカ17に所定の音声指示をさせる。CPSSを受ける対象者は、スピーカ17の音声指示に従って、顔のゆがみ、上肢挙上の状態、および構音障害に関する生体情報を情報処理装置10に提供する。なお、スピーカ17による音声指示のほか、表示部15にテストプログラムの指示内容を表示させてもよい。
 以下、顔のゆがみ、上肢挙上の状態、および構音障害の徴候をとらえる際の詳細について説明する。
[顔のゆがみ]
 スピーカ17は、対象者に「歯を見せるように笑ってください」等の音声指示をおこなう。制御部11は、カメラにより対象者の笑った顔画像を取得する。制御部11は、対象者の笑った顔について、顔面が左右対称であれば正常、顔面が左右対称でなければ異常であると判定する。具体的には、制御部11は、左右のコサイン類似度または相関値を算出して対称性を特定する。
 なお、顔のゆがみ判定は、CNNまたはSVM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、顔画像を入力した際に「ゆがみあり」か「ゆがみなし」のいずれかに分類するよう学習されたモデルに、対象者の顔画像を入力して対象者の顔のゆがみを判定する。
[上肢挙上]
 スピーカ17は、対象者に「目を閉じて10秒間両腕を挙げたままにしてください」等の音声指示をおこなう。制御部11は、カメラにより対象者の腕画像を取得する。制御部11は、対象者の関節点を特定し、所定の位置より高い位置に関節点がある場合に「挙上されている」、所定の位置より低い位置に関節点がある場合に「挙上されていない」と判定する。
 制御部11は、対象者の腕について、両腕ともに挙がるか、あるいは両腕ともに挙がらなければ正常、片方の腕のみ挙がらない、両腕の挙がり具合が同程度でない、あるいは挙げた腕を保持できなければ異常であると判定する。
 なお、上肢挙上の判定は、CNNまたはSVM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、腕画像を入力した際に「挙上されている」か「挙上されていない」のいずれかに分類するよう学習されたモデルに、対象者の腕画像を入力して対象者の上肢挙上を判定する。
[構音障害]
 スピーカ17は、対象者に対して所定の音声を出力する。出力される音声は、「昨日はどこに行きましたか?」または「今日の天気は何ですか?」等の、対象者に発話を促す簡単な疑問文である。制御部11は、マイクにより発話内容に関する音声情報を取得する。制御部11は、対象者の音声情報について、滞りなく正確に話していれば正常であると判定し、不明瞭な言葉または間違った言葉を話したり、もしくは言葉を発したりしなければ異常であると判定する。
 なお、構音障害の判定は、ニューラルネットワーク、SVM、トランスフォーマ、またはLSTM等の機械学習モデルを用いておこなわれてもよい。その場合、制御部11は、発話データを入力した際に「構音障害あり」か「構音障害なし」のいずれかに分類するよう学習されたモデルに、対象者の発話内容を入力して対象者の構音障害を判定する。
 最後に制御部11は、顔のゆがみ、上肢挙上の状態、および構音障害に関して、異常が判定された項目とその数とを含むCPSS情報を取得する。制御部11は、取得したCPSS情報に基づき、脳卒中が起きている確率またはスコアを出力する。
 確率を出力する際には、各診断にて機械学習モデルが出力した異常レベルに関する確率の平均値が出力される。たとえば、機械学習モデルが、顔のゆがみテスト:60%、上肢挙上テスト:60%、構音障害テスト:90%と出力した場合、脳卒中の確率は70%と出力される。出力された確率は、表示部15に表示されてもよい。
 スコアを出力する際には、「異常あり」なら「1点」、「異常なし」なら「0点」のように設定された各診断の合計スコアが出力される。たとえば、顔のゆがみ:1点、上位挙上:1点、構音障害:0点であれば、脳卒中スコアは2点と出力される。出力されたスコアは、表示部15に表示されてもよい。
 図10は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第三センサ21としてカメラおよびマイクを起動する(ステップS701)。制御部11は、スピーカ17に対象者の笑った顔画像を取得するための音声指示をさせる(ステップS702)。カメラは、対象者の顔画像を撮影する。制御部11は、カメラから対象者の顔画像を取得する(ステップS703)。制御部11は、対象者の顔画像に基づき顔のゆがみが生じているか否かを判定する(ステップS704)。
 制御部11は、スピーカ17に上肢挙上の生体情報を取得するための音声指示をさせる(ステップS705)。カメラは、対象者が上肢挙上をおこなっている様子を撮影する。制御部11は、対象者の腕画像を取得する(ステップS706)。制御部11は、対象者の腕画像に基づき上肢挙上に異常があるか否かを判定する(ステップS707)。
 制御部11は、スピーカ17に所定の疑問文を出力させる(ステップS708)。マイクは、対象者の発話内容を含む音声情報を取得する(ステップS709)。制御部11は、対象者の発話内容に基づき構音障害が生じているか否かを判定する(ステップS710)。
 制御部11は、ステップS704、ステップS707、およびステップS710にて特定した異常判定に応じて、脳卒中が起きている確率またはスコアを出力する(ステップS711)。
 以上、実施の形態5によれば、脳機能障害の有無を判定するテストプログラムを実行し、異常判定をおこなうことができる。また、対象者が自発的にテストプログラムを起動する必要がないため、利便性が向上する。さらには、第三者の介入なくテストプログラムを実行できるため、対象者単独でも自身の健康状態の異常に気付くことができる。
[変形例]
 第一センサ19、第二センサ20、または第三センサ21が対象者の顔を撮影する形態において、顔の特徴点(たとえば口角)に基づいて異常を判定する際の処理を図11および図12に示す。
 図11では、対象者の顔を撮影する第一センサ19または第二センサ20を起動して、異常判定をおこなう場合を例示する。
 制御部11は、第一センサ19または第二センサ20から顔画像を取得して、当該顔画像から顔半分の顔情報を取得する。制御部11は、顔画像に含まれる、左側の特徴点および右側の特徴点を抽出して、左右の特徴点の位置と健常時の顔情報とを比較する。
 健常時の顔情報と比較して、左右どちらか一方の特徴点の位置が下がっている場合、制御部11は対象者を異常であると判定する。また、健常時の顔情報と比較して、両方の特徴点の位置が下がっている場合、制御部11は対象者を異常であると判定してもよい。もしくは、左右の特徴点同士を比較して、片側の特徴点の位置が逆側の特徴点の位置よりも下がっている場合、制御部11は対象者を異常であると判定する。
 図11は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一センサ19または第二センサ20を起動する(ステップS801)。第一センサ19または第二センサ20は、対象者の顔を撮影する。制御部11は、第一センサ19または第二センサ20から対象者の顔画像を取得する(ステップS802)。制御部11は、当該顔画像から顔半分の顔情報を取得する(ステップS803)。制御部11は、顔半分の顔情報に含まれる特徴点を抽出する(ステップS804)。
 制御部11は、補助記憶部14に記憶してある健常時の顔情報を読み出す(ステップS805)。制御部11は、健常時の顔情報および抽出した特徴点に基づいて、抽出した特徴点が下がっているか否かを判定する(ステップS806)。
 制御部11は、健常時の顔情報より抽出した特徴点の方が下がっている場合(ステップS806:YES)、対象者を異常であると判定する(ステップS807)。一方、制御部11は、健常時の顔情報より抽出した特徴点の方が下がっていない場合(ステップS806:NO)、対象者を異常ではないと判定する(ステップS808)。
 なお、制御部11は、ステップS806の処理にて、左右の特徴点同士を比較して異常判定をおこなってもよい。この場合、ステップS803およびステップS805の処理は必須ではない。
 図12では、対象者に笑った顔を作るよう指示するテストプログラムを実行した後に、対象者の顔を撮影する第三センサ21を起動して異常判定をおこなう場合を例示する。
 制御部11は、第三センサ21から顔画像(たとえば対象者が笑っている顔画像)を取得して、当該顔画像から顔半分の口角を取得する。制御部11は、顔画像に含まれる、左側の口角および右側の口角を抽出して、左右の口角の位置と基準となる口角とを比較する。
 健常時の顔情報と比較して、左右どちらか一方の口角の位置が下がっている場合、制御部11は対象者を異常であると判定する。また、基準となる口角と比較して、両方の口角が上がらない場合、制御部11は対象者を異常であると判定する。もしくは、左右の口角同士を比較して、片側の口角の位置が逆側の口角の位置よりも上がらない場合、制御部11は対象者を異常であると判定する。
 図12は、情報処理装置10が実行するプログラム140の処理手順を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、テストプログラムを実行する(ステップS901)。制御部11は、第三センサ21を起動する(ステップS902)。第三センサ21は、対象者の顔画像を取得する。制御部11は、対象者の顔画像を取得する(ステップS903)。制御部11は、当該顔画像から顔半分の口角を抽出する(ステップS904)。
 制御部11は、補助記憶部14に記憶してある基準となる口角情報を読み出す(ステップS905)。制御部11は、読み出した基準となる口角情報と、顔画像から抽出した顔半分の口角とに基づいて、顔画像から抽出した顔半分の口角が上がっているか否かを判定する(ステップS906)。
 制御部11は、基準となる口角情報より抽出した口角の方が上がらない場合(ステップS906:NO)、対象者を異常であると判定する(ステップS907)。一方、制御部11は、抽出した口角が基準となる口角情報と同程度に上がっている場合(ステップS906:YES)、対象者を異常ではないと判定する(ステップS908)。
 なお、制御部11は、ステップS906の処理にて、左右の口角同士を比較して異常判定をおこなってもよい。この場合、ステップS904およびステップS905の処理は必須ではなく、左右の口角同士を比較する前に左右両方の口角を抽出しておく。
 上述した変形例によれば、顔の特定の部位に基づいて対象者の異常を判定することができる。なお、上述した変形例では、顔の特徴点(たとえば口角)に基づいて異常を判定する場合を例示したが、動揺、振戦、脱力、または発話等から抽出した特徴量に基づいて異常を判定してもよい。
[実施の形態6]
 なお、実施の形態1と重複する内容は、同一の符号を付して説明を省略する。実施の形態6では、第一センサ19、第二センサ20、および第三センサ21を適宜用いて判定し、判定結果を出力する際に、対象者のプライバシー開示を極力低減するように処理を実行する。
 図13は、実施の形態6における情報処理装置10が実行するプログラム140の処理手順の一例を示すフローチャートである。情報処理装置10の制御部11は、プログラム140に基づき以下の処理を実行する。
 制御部11は、第一センサ19を起動する(ステップS1001)。第一センサ19は、対象者の第一センサ情報を検出する。制御部11は、第一センサ19が検出した第一センサ情報を、第一センサ情報が検出された日時と共に取得する(ステップS1002)。制御部11は、第一センサ19を停止させてよい。
 制御部11は、第二センサ20を起動する(ステップS1003)。第二センサ20は、対象者の第二センサ情報を検出する。制御部11は、第二センサ20が検出した第二センサ情報を、第二センサ情報が検出された日時と共に取得する(ステップS1004)。制御部11は、第二センサ20を停止させてよい。
 制御部11は、第三センサ21を起動する(ステップS1005)。第三センサ21は、対象者の第三センサ情報を検出する。制御部11は、第三センサ21が検出した第三センサ情報を、第二センサ情報が検出された日時と共に取得する(ステップS1006)。制御部11は、第三センサ21を停止させてよい。
 第二センサ20と、第三センサ21とでは、第一センサ19と比較して、身体的なプライバシー開示度が高い生体情報が検出される。したがって制御部11は、第一センサ情報に基づいて第二センサ20のうち、対象者に対して関連すると判断されるセンサのみ起動してもよい。制御部11は、同様にして、第一センサ情報、および第二センサ情報、あるいはいずれか一方によって、第三センサ21のうち、対象者に対して関連すると判断されるセンサを起動したり、テストプログラムを実行したりしてもよい。
 制御部11は、第一センサ情報、第二センサ情報、および、第三センサ情報を用いて対象者の健康状態に、異常があるか否かを判定する(ステップS1007)。ステップS1007は、第一の判定処理又は第二の判定処理の例示である。
 対象者の健康状態に、異常があると判定された場合(S1007:YES)、制御部11は、第一センサ情報、第二センサ情報、および、第三センサ情報にもとづき、対象者の健康状態の内容に対応するテキスト、画像又は特徴点情報を作成する(ステップS1008)。ステップS1008において制御部11は、データ量を削減する処理の一例として所謂メタデータと言われるデータ(第一センサ情報、第二センサ情報、および、第三センサ情報に属する意味情報)に抽象化したテキスト、画像、又は特徴点情報等のデータを作成する。例えば、脳卒中を疑われるようなことを認識するに至った顔の画像(例えば、対象者の顔面麻痺の画像)や、テストプログラムにおける指示内容に対する動作を撮影した画像(例えば、対象者の左右どちらか一方の口角が上がっていない画像)などから、制御部11は、個人を識別できないが歪み(例えば、顔面麻痺)が分かる範囲にトリミングしたROI画像を作成するか、「対象者に脳卒中が疑われる」「対象者に顔面麻痺がある」といった旨のテキストのみとする。また、例えば、脳卒中を疑われるようなことを認識するに至った顔の画像(例えば、対象者の顔面麻痺の画像)や、テストプログラムにおける指示内容に対する動作を撮影した画像(例えば、対象者の左右どちらか一方の口角が上がっていない画像)などから、制御部11は、対象者の顔の特徴点(目、目尻、口、口角、鼻、鼻筋等)を抽出し、特徴点のみの画像や特徴点同士を結ぶ線、特徴点の位置座標、特徴点同士の角度情報等の特徴点情報を生成する。制御部11は、作成したテキスト、画像又は特徴点情報を表示部15に表示する(ステップS1009)。ステップS1009は第一の判定処理又は第二の判定処理の判定結果の内容に対応するメタデータを出力することの例示である。
 制御部11は、ステップS1002,S1004,S1006で取得したセンサ情報のデータ量を削減する処理をし、健康状態DB150に記憶する(ステップS1010)。ステップS1011において制御部11は、センサ情報から、健康状態の診断に必要な数値へ演算してから記憶してもよい。制御部11は、対象者の健康状態フィールドのレコードを「異常あり」に書き換え(ステップS1011)、処理を終了する。
 健康状態に異常がないと判定された場合(S1007:NO)、制御部11は、対象者の健康状態フィールドのレコードを「異常なし」として健康状態DB150に記憶する(ステップS1012)。制御部11は、「異常なし」を示すテキスト又は画像を表示部15に表示し(ステップS1013)、処理を終了する。
 制御部11は、図13に示したように第一センサ19、第二センサ20、および第三センサ21を全て用いた診断をおこなわなくてもよい。制御部11は、実施の形態1から実施の形態5で示したように段階的に、第一センサ19から得られる、より開示度が低い生体情報に基づく診断で不要と判断した場合には、第二センサ20、または第三センサ21による診断を省略してもよい。実施の形態6ではあくまでも、表示部15に表示させる診断結果を、できる限り抽象化し、健康異常の判定精度を低下させることなくプライバシーの開示度を低く保つ。なお、第一センサ19、第二センサ20、および第三センサ21は、異なる種類のセンサでもよいし、プライバシー開示度が異なる同一のセンサでもよい。
 以上、実施の形態6によれば、複数のセンサを組み合わせて生体情報を取得していくことにより、健康異常の判定精度を向上させつつ、判定結果を抽象化(メタデータ化)して出力して無用なプライバシー開示を避けることを可能とする。
 以上、実施の形態1から実施の形態6によれば、生体情報を取得する方法を健康状態の異常度合いに応じて段階的に切り換えるプログラム等を提供でき、健康観察とプライバシーの確保とのバランスを図ることができる。また、LiDAR、カメラ、マイク、イベント駆動撮影装置、ミリ波センサ、超音波センサ、またはサーモグラフィカメラ等のセンサは、非接触で生体情報を取得することが可能であるため、対象者の日常生活を妨げることなく、対象者の異常の有無をモニタリングすることができる。
 今回開示された実施の形態はすべての点において例示であり、制限的なものではない。本発明の技術的範囲は上記のように開示された意味ではなく、請求の範囲の記載に基づいて定められ、請求の範囲と均等の意味および範囲内において、すべての変更が含まれる。
 10  情報処理装置
 10a 可搬型記憶媒体
 11  制御部
 12  主記憶部
 13  通信部
 14  補助記憶部
 140 プログラム(プログラム製品)
 150 健康状態DB
 15  表示部(出力部)
 16  入力部
 17  スピーカ
 18  駆動機構
 19  第一センサ
 20  第二センサ
 21  第三センサ
 

Claims (21)

  1.  第一センサから得られる第一センサ情報に基づき対象者の異常を判定し、
     判定結果に応じて、前記第一センサよりも身体的なプライバシー開示度が高い第二センサから得られる第二センサ情報に基づき対象者の異常を判定するか、または、前記対象者に対し異常に関するテストプログラムを実行する
     処理をコンピュータに実行させるプログラム。
  2.  前記第二センサ情報に基づき対象者に異常がないと判定した場合に、前記第一センサとは種類の異なる第一センサに切り換え、
     該第一センサから得られる第一センサ情報に基づき対象者の異常を再度判定する
     請求項1に記載のプログラム。
  3.  前記第一センサ情報に基づき判定された対象者の異常の程度に応じて、前記第二センサ情報に基づく異常判定をスキップして前記テストプログラムを実行する
     請求項1に記載のプログラム。
  4.  前記第二センサは対象者の顔を撮影する第二撮影装置であり、
     前記第一センサは対象者の顔を撮影しない第一撮影装置または前記第二撮影装置よりも広角な第一撮影装置である
     請求項1から請求項3のいずれか一項に記載のプログラム。
  5.  前記第一センサはマイク、LiDAR、または輝度変化を抽出するイベント駆動撮影装置である
     請求項1から請求項4のいずれか一項に記載のプログラム。
  6.  前記第一センサ情報または前記第二センサ情報に基づき、顔面麻痺、生体情報異常、メンタル異常、転倒、動揺もしくは振戦、脱力、または発話異常を検出する
     請求項1から請求項5のいずれか一項に記載のプログラム。
  7.  前記第一センサはマイクであり、前記第二センサはLiDARであり、
     前記マイクが取得した音声情報に基づき発話異常を検出し、
     前記LiDARが取得した顔画像に基づき顔面麻痺を検出する
     請求項1から請求項6のいずれか一項に記載のプログラム。
  8.  LiDARが取得した情報とカメラが取得した情報とを統合した統合情報を取得し、
     前記統合情報に基づき対象者の転倒の有無を検出する
     請求項1から請求項7のいずれか一項に記載のプログラム。
  9.  前記テストプログラムは第一センサよりも身体的なプライバシー開示度が高い第三センサから得られる第三センサ情報に基づき対象者の異常を判定する
     請求項1から請求項8のいずれか一項に記載のプログラム。
  10.  前記第一センサ、第二センサ、および第三センサのうち少なくともいずれか1つから得られる対象者の生体情報に基づき、前記対象者の異常の有無を判定する第一の判定処理、並びに、
     前記第一の判定処理の結果を出力する処理を前記コンピュータに少なくとも実行させ、
     前記第一の判定処理の結果に応じて、前記第一センサ、第二センサ、および第三センサのうち少なくともいずれか1つから取得済みの生体情報、又は、改めて取得する前記対象者の生体情報に基づき、前記第一の判定処理よりも身体的なプライバシー開示度が高い項目に関して異常の有無を判定する第二の判定処理と、
     前記第二の判定処理の結果を出力する処理と
     を前記コンピュータに実行させる請求項9に記載のプログラム。
  11.  第二センサ情報に基づき対象者が異常であると判定した場合に、前記テストプログラムを実行する
     請求項1から請求項10のいずれか一項に記載のプログラム。
  12.  前記テストプログラムは、脳機能障害の有無を判定するための診断である
     請求項1から請求項11のいずれか一項に記載のプログラム。
  13.  脳卒中に関するテストプログラムを実行し、
     第三センサにより撮影された対象者の顔または腕の画像を取得し、
     取得した画像と、前記テストプログラムを実行して取得された対象者の発話内容とに基づき、対象者の異常を判定する
     請求項12に記載のプログラム。
  14.  前記第一センサまたは前記第二センサにより撮影された対象者の顔画像を取得し、
     前記顔画像から顔半分の顔情報を抽出し、
     前記顔情報が基準となる顔情報と比較して下がっている場合、または、前記顔情報が逆側の顔半分の顔情報と比較して下がっている場合、異常状態であると判定する
     請求項1から請求項13のいずれか一項に記載のプログラム。
  15.  対象者に笑った顔を作るよう指示する前記テストプログラムを実行し、
     前記テストプログラムの実行後に前記第三センサにより撮影された対象者の顔画像を取得し、
     前記顔画像から顔半分の口角を抽出し、
     前記口角が基準となる口角と比較して上がらない場合、または、前記口角が逆側の顔半分の口角と比較して上がらない場合、異常状態であると判定する
     請求項9から請求項13のいずれか一項に記載のプログラム。
  16.  一又は複数のセンサから得られる対象者の生体情報に基づき、前記対象者の異常の有無を判定する第一の判定処理と、
     前記異常の有無に応じて、前記一又は複数のセンサから得られる前記生体情報に基づき、前記第一の判定処理よりも身体的なプライバシー開示度が高い項目に関して異常の有無を判定する第二の判定処理と
     を含む処理をコンピュータに実行させるプログラム。
  17.  前記第一の判定処理又は第二の判定処理の判定結果を出力するに際し、前記判定結果のデータ量を削減する処理をし、前記判定結果の内容に対応するメタデータを出力する
     処理を前記コンピュータに実行させる請求項16に記載のプログラム。
  18.  第一センサから得られる第一センサ情報に基づき対象者の異常を判定する判定部と、
     判定結果に応じて、前記第一センサよりも身体的なプライバシー開示度が高い第二センサから得られる第二センサ情報に基づき対象者の異常を判定するか、または、前記対象者に対し異常に関するテストプログラムを実行する制御部と
     を備える情報処理装置。
  19.  一又は複数のセンサから得られる対象者の生体情報に基づき、前記対象者の異常の有無を判定する第一の判定部と、
     前記一又は複数のセンサから得られる前記生体情報に基づき、前記第一の判定部よりも身体的なプライバシー開示度が高い項目に関して異常の有無を判定する第二の判定部と、
     前記異常の有無に応じて、前記第一の判定部による判定結果か、又は、前記第二の判定部による判定結果を出力する出力部と
     を備える情報処理装置。
  20.  コンピュータが、
     第一センサから得られる第一センサ情報に基づき対象者の異常を判定し、
     判定結果に応じて、前記第一センサよりも身体的なプライバシー開示度が高い第二センサから得られる第二センサ情報に基づき対象者の異常を判定するか、または、前記対象者に対し異常に関するテストプログラムを実行する
     情報処理方法。
  21.  コンピュータが、
     一又は複数のセンサから得られる対象者の生体情報に基づき、前記対象者の異常の有無を判定する第一の判定処理と、
     前記異常の有無に応じて、前記一又は複数のセンサから得られる前記生体情報に基づき、前記第一の判定処理よりも身体的なプライバシー開示度が高い項目に関して異常の有無を判定する第二の判定処理と
     を実行する情報処理方法。
     
PCT/JP2023/008731 2022-03-28 2023-03-08 プログラム、情報処理装置、および情報処理方法 WO2023189313A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380014315.9A CN118202423A (zh) 2022-03-28 2023-03-08 程序、信息处理装置及信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-052272 2022-03-28
JP2022052272 2022-03-28

Publications (1)

Publication Number Publication Date
WO2023189313A1 true WO2023189313A1 (ja) 2023-10-05

Family

ID=88201454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008731 WO2023189313A1 (ja) 2022-03-28 2023-03-08 プログラム、情報処理装置、および情報処理方法

Country Status (2)

Country Link
CN (1) CN118202423A (ja)
WO (1) WO2023189313A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024150773A1 (ja) * 2023-01-11 2024-07-18 テルモ株式会社 情報処理装置及びその制御方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009233042A (ja) * 2008-03-26 2009-10-15 Victor Co Of Japan Ltd 医療情報記録システムおよび表示装置
JP2020160608A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 異常検知システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009233042A (ja) * 2008-03-26 2009-10-15 Victor Co Of Japan Ltd 医療情報記録システムおよび表示装置
JP2020160608A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 異常検知システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024150773A1 (ja) * 2023-01-11 2024-07-18 テルモ株式会社 情報処理装置及びその制御方法、プログラム

Also Published As

Publication number Publication date
CN118202423A (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US20210202090A1 (en) Automated health condition scoring in telehealth encounters
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
CN114502061B (zh) 使用深度学习的基于图像的自动皮肤诊断
US20190110754A1 (en) Machine learning based system for identifying and monitoring neurological disorders
US10638938B1 (en) Eyeglasses to detect abnormal medical events including stroke and migraine
KR20190005219A (ko) 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
Seo et al. Deep learning approach for detecting work-related stress using multimodal signals
KR20190053097A (ko) 사회적 상호 작용을 가이드하는 시스템 및 방법
JP2012010955A (ja) 健康状態監視装置
US20240038390A1 (en) System and method for artificial intelligence baded medical diagnosis of health conditions
JP2018007792A (ja) 表情認知診断支援装置
WO2023189313A1 (ja) プログラム、情報処理装置、および情報処理方法
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Kupryjanow et al. Updrs tests for diagnosis of parkinson's disease employing virtual-touchpad
US20240289616A1 (en) Methods and devices in performing a vision testing procedure on a person
Gupta StrokeSave: a novel, high-performance mobile application for stroke diagnosis using deep learning and computer vision
JP7140264B2 (ja) 異常判定装置、その動作方法、及びプログラム
WO2021182455A1 (ja) 情報処理方法、コンピュータプログラム、情報処理装置及び情報処理システム
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
Mantri et al. Real time multimodal depression analysis
Siedel et al. Contactless interactive fall detection and sleep quality estimation for supporting elderly with incipient dementia
Akshay et al. iAlert: An Alert System based on Eye Gaze for Human Assistance
Yumang et al. Detection of Facial Cues in Digital Images Using Computer Vision
Pinto et al. Comprehensive review of depression detection techniques based on machine learning approach
WO2021090783A1 (ja) 情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779340

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380014315.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2024511612

Country of ref document: JP