WO2023119608A1 - 体調異常判定装置および体調異常判定方法 - Google Patents

体調異常判定装置および体調異常判定方法 Download PDF

Info

Publication number
WO2023119608A1
WO2023119608A1 PCT/JP2021/048069 JP2021048069W WO2023119608A1 WO 2023119608 A1 WO2023119608 A1 WO 2023119608A1 JP 2021048069 W JP2021048069 W JP 2021048069W WO 2023119608 A1 WO2023119608 A1 WO 2023119608A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
detection unit
physical condition
unit
pulse
Prior art date
Application number
PCT/JP2021/048069
Other languages
English (en)
French (fr)
Inventor
奈津季 田原
隼也 大澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/048069 priority Critical patent/WO2023119608A1/ja
Priority to DE112021008547.6T priority patent/DE112021008547T5/de
Priority to JP2023568976A priority patent/JPWO2023119608A1/ja
Publication of WO2023119608A1 publication Critical patent/WO2023119608A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a physical condition determination device and a physical condition determination method.
  • Occupants of moving vehicles may suddenly suffer from seizures due to cerebrovascular disease, heart disease, epilepsy, or the like, and become unwell.
  • the physical condition disorder may appear in the movement of the body.
  • the body movements that occur when the occupant falls into an ill physical condition it is conceivable that the occupant's posture is greatly tilted.
  • a technique that focuses on this point and determines that an occupant is in an abnormal physical condition For example, in Patent Document 1, a driver's posture collapse is detected based on the tilt of the head of the driver of the vehicle, and when the posture collapse is detected, the driver is in an inoperable state.
  • a disabled condition detection device is disclosed.
  • the present disclosure has been made in order to solve the above problems, and aims to provide a physical condition determination device that can determine physical condition of a passenger without a large change in posture.
  • a physical condition abnormality determination device includes a posture collapse detection unit that detects a posture collapse of an occupant based on the head position of the occupant in the captured image that is detected based on the captured image that captures at least the face of the occupant of the moving object.
  • a skeletal point detection unit for detecting, based on the captured image, skeletal coordinate points indicating body parts of the occupant on the captured image; and a determination unit that determines that the occupant is in an abnormal physical condition when the occupant's posture is not detected and the occupant's convulsion is detected.
  • FIG. 1 is a diagram showing a configuration example of a physical condition abnormality determination device according to Embodiment 1;
  • FIG. FIGS. 2A, 2B, and 2C show the amount of change in the parts of the person when the person is not in a state of physical abnormality and the periodicity of the amount of change in the parts, and when the person is having convulsions.
  • FIG. 10 is a diagram for explaining an example of the difference in the part change amount of the person and the periodicity of the part change amount.
  • FIG. 5 is a flowchart for explaining an example of the operation of calibration processing by the physical condition abnormality determination device according to Embodiment 1; 4 is a flowchart for explaining an example of the operation of determining an abnormality of physical condition of a driver by the abnormality determining device of the physical condition according to Embodiment 1; FIG. 5 is a flowchart for explaining detailed operations of posture collapse detection processing by a posture collapse detection unit in step ST3 of FIG. 4 ; FIG. FIG. 5 is a flowchart for explaining detailed operations of a spasm detection process by a spasm detection unit in step ST5 of FIG. 4; FIG. 7A and 7B are diagrams showing an example of the hardware configuration of the physical condition abnormality determination device according to Embodiment 1. FIG. FIG. FIG.
  • FIG. 11 is a diagram showing a configuration example of a physical condition abnormality determination device according to Embodiment 4;
  • FIG. 13 is a flowchart for explaining an example of an operation of determining an abnormality of a driver's physical condition by a physical condition determination device according to a fourth embodiment;
  • FIG. 13 is a flowchart for explaining an example of an operation of determining an abnormality of a driver's physical condition by a physical condition determination device according to a fourth embodiment;
  • FIG. 1 is a diagram showing a configuration example of a physical condition abnormality determination device 1 according to Embodiment 1.
  • the physical condition abnormality determination device 1 according to Embodiment 1 is assumed to be installed in a vehicle (not shown).
  • the physical condition abnormality determination device 1 is connected to an imaging device 2 and an output device 3 .
  • the imaging device 2 is mounted on a vehicle.
  • the imaging device 2 is installed, for example, in the central portion of the instrument panel or meter panel of the vehicle for the purpose of monitoring the interior of the vehicle.
  • the imaging device 2 is installed so as to be able to image at least the face of the passenger.
  • the imaging device 2 is assumed to be shared with a so-called PMS (Passenger Monitoring System).
  • the imaging device 2 is a visible light camera or an infrared camera.
  • the infrared camera is provided with a light source (not shown) that irradiates infrared rays for imaging to a range including the face of the passenger.
  • This light source is composed of, for example, an LED (Light Emitting Diode).
  • only one imaging device 2 is installed in the vehicle, but this is only an example.
  • a plurality of imaging devices 2 may be installed in the vehicle.
  • the imaging device 2 outputs the captured image (hereinafter referred to as “captured image”) to the physical condition abnormality determination device 1 .
  • a physical condition determination device 1 determines whether or not a vehicle occupant has an abnormal physical condition based on an image captured by an imaging device 2 .
  • the occupant of the vehicle is assumed to be the driver of the vehicle.
  • the physical condition determination device 1 determines that the driver is in an abnormal physical condition, it outputs to the output device 3 information indicating that the driver is in an abnormal physical condition (hereinafter referred to as "physical condition abnormality determination information").
  • abnormal physical condition refers to a sudden change in physical condition that cannot be predicted in advance.
  • Specific examples of physical disorders include cerebrovascular disease, heart disease, and seizures such as epilepsy. If the driver becomes ill, he will be unable to drive.
  • the physical condition determination device 1 determines the physical condition of the driver and outputs abnormal physical condition determination information, thereby notifying the passengers of the vehicle including the driver or people around the vehicle that the driver is in an abnormal physical condition. It can help to inform and support to prevent unexpected situations from occurring.
  • the output device 3 is, for example, a speaker (not shown) mounted on a vehicle.
  • the output device 3 may be, for example, a server (not shown) provided in a rescue system (not shown) outside the physical condition abnormality determination device 1 .
  • the output device 3 may be an automatic driving control device (not shown).
  • the abnormality determination device 1 outputs the abnormality determination information to the output device 3, thereby causing the output device 3 to output an alarm sound.
  • the physical condition determination device 1 notifies the passengers in the vehicle or people around the vehicle that the driver is in an abnormal physical condition.
  • the abnormality determination device 1 When the output device 3 is a server, for example, the abnormality determination device 1 outputs the abnormality determination information to the output device 3 to request help. Further, when the output device 3 is an automatic driving control device, for example, the physical condition abnormality determination device 1 outputs the physical condition abnormality determination information to the output device 3, so that the automatic driving control device stops the vehicle. Alternatively, driving assistance such as pulling the vehicle to the shoulder of the road can be performed.
  • the physical condition abnormality determination device 1 includes a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, and an output unit 107.
  • a captured image acquisition unit 101 acquires a captured image from the imaging device 2 .
  • Captured image acquisition section 101 outputs the acquired captured image to head position detection section 102 and skeleton point detection section 103 .
  • the captured image acquisition unit 101 stores the acquired captured image in a storage unit (not shown) in association with the acquisition date and time of the captured image.
  • the storage unit may be provided in the physical condition determination device 1 or may be provided outside the physical condition determination device 1 at a location where the physical condition determination device 1 can refer to.
  • the head position detection unit 102 detects the driver's head position in the captured image based on the captured image acquired by the captured image acquisition unit 101 .
  • the head position specifically refers to the center of the face area on the captured image.
  • a face region is a region that includes all facial parts such as contours, eyebrows, eyes, nose, and mouth on a captured image.
  • the face area is, for example, the minimum rectangular area surrounding the outline of the face on the captured image.
  • the head position detection unit 102 detects the driver's face area using a face detector based on a known general algorithm that combines a Haar-Like detector with Adaboost or Casecade, for example. The face detector has previously learned a large amount of face image data.
  • the head position detection unit 102 may detect the driver's face area using a general technique such as so-called model fitting or Elastic Bunch Graph Matching.
  • the head position detection unit 102 can detect the face area of the driver based on the captured image using various known face recognition techniques.
  • the head position detection unit 102 sets the center of the face area as the head position of the driver.
  • the head position and face area are represented by coordinates on the captured image.
  • a face area is represented, for example, by coordinates of four corner points of a rectangle of the face area.
  • the head position detection unit 102 outputs information about the detected head position of the driver (hereinafter referred to as “head position information”) to the posture collapse detection unit 104 .
  • the head position information includes coordinate information of the driver's head position in the captured image.
  • the head position information may include coordinate information of the face area in the captured image.
  • the head position information may be, for example, information in which the coordinates of the driver's head position and the coordinates of the face area on the captured image are associated with each other, or a captured image to which information capable of specifying the driver's head position (hereinafter referred to as (referred to as a “captured image with head position”).
  • the physical condition abnormality determination device 1 includes the head position detection unit 102 here, this is merely an example.
  • the physical condition abnormality determination device 1 does not necessarily include the head position detection unit 102 .
  • the head position detection unit 102 may be provided outside the physical condition determination device 1 at a location where the physical condition determination device 1 can refer to.
  • the imaging device 2 may include the head position detection section 102 .
  • the imaging device 2 outputs the head-positioned captured image to the physical condition abnormality determination device 1 .
  • the captured image acquisition unit 101 acquires the head-positioned captured image output from the imaging device 2 and outputs the acquired head-positioned captured image to the posture collapse detection unit 104 and the skeleton point detection unit 103 .
  • the skeleton point detection unit 103 Based on the captured image acquired by the captured image acquisition unit 101, the skeleton point detection unit 103 detects, on the captured image, skeleton coordinate points indicating body parts of the driver. More specifically, the skeletal point detection unit 103 detects skeletal coordinate points of the driver, which indicate skeletal points determined for each part of the driver's body, based on the captured image acquired by the captured image acquisition unit 101 . Specifically, the skeletal point detection unit 103 detects the coordinates of the skeletal coordinate points of the driver and the skeletal coordinate points indicating which part of the driver's body the skeletal coordinate points represent.
  • a skeletal coordinate point is a point in a captured image and is represented by coordinates in the captured image.
  • the skeletal point detection unit 103 detects, for example, skeletal coordinate points indicating both hands, both elbows, both shoulders, neck, head, waist, or both knees.
  • skeleton point detection section 103 detects a plurality of skeleton coordinate points of the driver.
  • the skeleton point detection unit 103 may detect the skeleton coordinate points of the driver using a known technique.
  • the skeletal point detection unit 103 detects the skeletal coordinate points of the driver by obtaining information on the skeletal coordinate points of the driver using a learned model in machine learning (hereinafter referred to as "machine learning model").
  • the machine learning model is a machine learning model that receives as input a captured image of an occupant of a vehicle and outputs information indicating skeletal coordinate points in the captured image.
  • the information indicating the skeletal coordinate points includes the coordinates of the skeletal coordinate points in the captured image, and information that can specify which part of the body the skeletal coordinate points indicate.
  • a machine learning model is constructed to estimate a result for an input by so-called supervised learning according to learning data generated in advance based on a combination of input and teacher label data.
  • the machine learning model learns to output information about the skeletal coordinate points for the captured image in accordance with the learning data in which the input is the captured image and the teacher label is the information about the skeletal coordinate points.
  • the machine learning model is trained to output information regarding a plurality of skeletal coordinate points in the captured image.
  • the machine learning model is stored in advance in a location that can be referenced by the skeleton point detection unit 103 .
  • Skeletal point detection section 103 outputs information on the detected skeleton coordinate points (hereinafter referred to as “skeletal coordinate point information”) to convulsion detection section 105 .
  • the skeletal coordinate point information includes coordinate information of skeletal coordinate points in the captured image, and information that can specify which part of the body the skeletal coordinate points indicate.
  • the skeletal coordinate point information may be, for example, information that associates information that can specify skeletal coordinate points with the coordinates of each skeletal coordinate point of the driver on the captured image, or information that can specify each skeletal coordinate point of the driver. It may be a captured image to which information has been added (hereinafter referred to as a “skeletal point-attached captured image”).
  • the posture collapse detection unit 104 detects posture collapse of the driver based on the head position information output from the head position detection unit 102 .
  • "loose posture” is assumed to be a large change in posture such as lying down, looking down, bending back, bending shrimp, falling down on the neck only, falling down on the side, or leaning on the side.
  • the process which detects the posture collapse of a driver which the posture collapse detection part 104 performs is called “posture collapse detection process.”
  • the posture collapse detection unit 104 first detects the amount of change in the driver's head position (hereinafter referred to as "posture change amount”) in the posture collapse detection process.
  • the posture collapse detection unit 104 detects the difference between the driver's head position specified from the head position information and a reference value (hereinafter referred to as "head reference value”) as the amount of change in the driver's posture.
  • the head reference value is a head position value (specifically, the coordinates on the captured image) that is assumed to be the driver's head position in a state in which the driver is not in an abnormal physical condition, in other words, in a normal state.
  • the head reference value is set in calibration processing performed by the physical condition abnormality determination device 1 prior to posture collapse detection processing by the posture collapse detection unit 104 .
  • the physical condition abnormality determination device 1 calibrates the driver's head position in the calibration process, and sets the head reference value.
  • the head reference value set in the calibration process is stored in a location that can be referred to by the posture collapse detection unit 104 . Details of the calibration process will be described later.
  • the posture collapse detection unit 104 detects the posture change amount of the driver each time the head position information is output from the head position detection unit 102 . Every time the posture change amount of the driver is detected, the posture collapse detection unit 104 stores the detected posture change amount in the storage unit in association with the detection date and time. Then, the posture collapse detection unit 104 detects a state in which the amount of change in the posture of the driver is equal to or greater than a preset threshold value (hereinafter referred to as a “posture determination threshold value”) for a preset time period (hereinafter referred to as a “posture determination threshold value”). time”).
  • a preset threshold value hereinafter referred to as a “posture determination threshold value”
  • a preset time period hereinafter referred to as a “posture determination threshold value”. time”.
  • the posture determination threshold value and the posture determination time are set in advance by an administrator or the like, and stored in a location that can be referred to by the posture collapse detection unit 104 .
  • the posture determination threshold and the posture determination time can be set as appropriate.
  • the posture determination time is, for example, 10 seconds.
  • the posture collapse detection unit 104 detects the posture collapse of the driver when the state in which the amount of change in the posture of the driver is equal to or greater than the posture determination threshold continues for the posture determination time. That is, the posture collapse detection unit 104 assumes that there is a posture collapse of the driver.
  • the posture collapse detection unit 104 does not detect the posture collapse of the driver when the state in which the amount of change in the posture of the driver is equal to or greater than the posture determination threshold does not continue for the posture determination time. That is, the posture collapse detection unit 104 determines that there is no posture collapse of the driver.
  • Posture collapse detection section 104 outputs information (hereinafter referred to as “posture collapse presence information”) to the effect that the driver's posture collapse is detected to determination section 106 when the posture collapse of the driver is detected.
  • the posture collapse presence information may include information on the amount of change in posture of the driver.
  • the posture collapse detection unit 104 outputs information indicating that the posture collapse of the driver is not detected (hereinafter referred to as “no posture collapse information”) to the determination unit 106 . .
  • the convulsion detection unit 105 detects convulsions of the driver based on the skeleton coordinate point information output from the skeleton point detection unit 103 .
  • the process of detecting the driver's convulsions, which is performed by the convulsions detection unit 105, is referred to as "convulsions detection processing".
  • a "spastic" refers to a seizure in which muscles contract rapidly and involuntarily. Spasms may affect the whole body or some muscles.
  • convulsions detection processing the process of detecting the driver's convulsions, which is performed by the convulsions detection unit 105.
  • a "spastic” refers to a seizure in which muscles contract rapidly and involuntarily. Spasms may affect the whole body or some muscles.
  • Clonic convulsions refer to convulsions in which the hands, neck, head, or legs repeatedly bend and stretch.
  • Tonic convulsions refer to convulsions that stiffen the limbs.
  • Convulsions that are a combination of primary and tonic convulsions.
  • the convulsion detected by the convulsive detection unit 105 is assumed to be a clonic convulsion or a tonic-clonic convulsion.
  • convulsions are often accompanied. That is, when a person has a convulsion, it is highly likely that the person is in an abnormal physical condition, and a convulsion can also be said to be an abnormal physical condition.
  • the convulsions detection unit 105 detects convulsions that are not accompanied by a large change in posture that can be said to be postural collapse, but that can be said to be abnormal in physical condition as well as postural collapse.
  • the spasm detection unit 105 first detects the amount of change in the skeletal coordinate points of the driver (hereinafter referred to as "parts change amount"). Specifically, the spasm detection unit 105 detects the difference between the skeletal coordinate points of the driver specified from the skeletal coordinate point information and a reference value (hereinafter referred to as a "parts reference value”) as the amount of change in the driver's parts. .
  • the parts reference value is the value of the skeletal coordinate point (specifically, the coordinate on the captured image) assumed to be the skeletal coordinate point of the driver in a state in which the driver is not in an abnormal physical condition, in other words, in a normal state. Note that the spasm detection unit 105 detects the part change amount, which is the difference from the corresponding part reference value, for each skeletal coordinate point.
  • the parts reference value is set in calibration processing performed by the physical condition abnormality determination device 1 prior to the convulsion detection processing by the convulsion detection unit 105 .
  • the abnormality determination device 1 sets the above-described head reference value and also sets the part reference value.
  • the physical condition abnormality determination device 1 performs calibration of the skeleton coordinate points of the driver and sets the part reference values. At this time, the physical condition abnormality determination device 1 sets a parts reference value for each skeleton coordinate point.
  • the parts reference value set in the calibration process is associated with information that can identify which skeletal coordinate point the parts reference value corresponds to, and is stored in a location that can be referenced by the spasm detection unit 105. remembered. Details of the calibration process will be described later.
  • the spasm detection unit 105 detects the amount of change in the driver's parts each time the skeleton point detection unit 103 outputs the skeleton coordinate point information of the driver. Each time the spasm detection unit 105 detects the driver's part change amount, the detected part change amount is associated with the detection date and time and stored in the storage unit. Then, the convulsion detection unit 105 determines that the detected amount of change in the parts of the driver is equal to or greater than a preset threshold value (hereinafter referred to as "threshold for convulsions determination"), and the periodicity of the amount of change in the driver's parts is the period of convulsions. It is determined whether or not it is gender.
  • a preset threshold value hereinafter referred to as "threshold for convulsions determination
  • Information about the seizure determination threshold value and the periodicity of the amount of change in parts that is considered to be the seizure periodicity is set in advance by an administrator or the like and stored in a location that can be referred to by the seizure detection unit 105 .
  • the spasm detection unit 105 can determine the periodicity of the amount of change in the driver's parts from the amount of change in the driver's parts stored in the storage unit.
  • the storage unit stores time-series part change amounts.
  • the convulsion detection unit 105 determines in advance the periodicity of the part change amount of the driver by using the past period of the part change amount.
  • the convulsion detection unit 105 detects convulsions of the driver when the amount of change in driver's parts is equal to or greater than the convulsions determination threshold and the periodicity of the time-series variation in parts of the driver is the periodicity of convulsions. That is, the convulsion detection unit 105 determines that the driver has convulsions. Note that, for example, the convulsion detection unit 105 determines that, among a plurality of skeletal coordinate points of the driver, the part change amount is equal to or greater than the cramp determination threshold value, and the periodicity of the time-series part change amount is convulsive periodicity. If there is at least one skeletal coordinate point, the convulsions of the driver are detected.
  • the convulsion detection unit 105 detects the convulsions of the driver when the part change amount is less than the convulsion determination threshold value for all of the skeletal coordinate points of the driver, or when the periodicity of the time-series part change amount is not the convulsive periodicity. Does not detect spasms. That is, the convulsion detection unit 105 determines that there is no convulsion in the driver.
  • FIGS. 2A, 2B, and 2C show a state in which the person is not in an abnormal physical condition, in other words, when the person is in a normal state, the amount of change in the parts of the person and the periodicity of the amount of change in the parts
  • FIG. 10 is a diagram for explaining an example of the difference between the part change amount of the person and the periodicity of the part change amount when the person is having convulsions
  • 2A and 2B are diagrams showing the amount of change in parts of the person and the periodicity of the amount of change in the parts when the person is in a normal state
  • FIG. is a diagram showing the amount of change in parts and the periodicity of the amount of change in parts.
  • the vertical axis indicates the part change amount
  • the horizontal axis indicates time.
  • the part variation in other words, amplitude
  • the part change amount in other words, amplitude
  • the wavelength (cycle) at this time is short.
  • the convulsions detection unit 105 detects convulsions of the driver when the amount of change in the parts of the driver is equal to or greater than the convulsions determination threshold and the periodicity of the amount of changes in the parts of the driver is the periodicity of convulsions.
  • the spasm determination threshold value is set to a value based on the amount of change in parts assumed when a person has a spasm.
  • the convulsion detection unit 105 detects convulsions of the driver, the periodicity of the amount of change in the parts of the driver and the periodicity of the convulsions are not limited to being in perfect agreement.
  • the convulsion detection unit 105 detects a change in the driver's parts even if there is a discrepancy between the periodicity of the amount of change in the driver's parts and the periodicity of the convulsions, within a preset allowable range. It may be assumed that the periodicity of the volume and the periodicity of the spasms coincide.
  • the convulsions detection unit 105 When the convulsions of the driver are detected, the convulsions detection unit 105 outputs information indicating that the convulsions of the driver have been detected (hereinafter referred to as “convulsions information”) to the determination unit 106 .
  • the spasm presence information may include information on the time-series part change amount of the driver.
  • the convulsions detection unit 105 When the convulsions of the driver are not detected, the convulsions detection unit 105 outputs information indicating that convulsions of the driver are not detected (hereinafter referred to as “no convulsions information”) to the determination unit 106 .
  • the determination unit 106 determines whether the driver is in an abnormal physical condition based on whether the posture collapse detection unit 104 has detected the driver's posture collapse and whether the convulsion detection unit 105 has detected the driver's convulsions. determine whether That is, the determination unit 106 determines whether or not the posture collapse presence information is output from the posture collapse detection unit 104, and whether or not the convulsion presence information is output from the convulsion detection unit 105. Based on this, the driver is in an abnormal physical condition. Determine whether or not Specifically, the determination unit 106 determines whether or not the driver is in an abnormal physical condition based on preset conditions (hereinafter referred to as "conditions for determining an abnormal physical condition").
  • the determination unit 106 determines that the driver is in an abnormal physical condition when the condition for determining an abnormal physical condition is satisfied.
  • the determination unit 106 determines that the driver does not have an abnormality in physical condition if the condition for determining an abnormality in physical condition is not satisfied.
  • the physical condition determination condition is set in advance by an administrator or the like, and stored in a location that can be referred to by the determination unit 106 .
  • the condition for determining physical condition abnormality can be set as appropriate.
  • the condition for determining the physical condition of the driver may be set based on whether or not the disorder of posture is detected and whether or not the convulsion is detected.
  • the physical condition abnormality determination condition will be described with a specific example.
  • the following ⁇ Condition 1> or ⁇ Condition 2> is set as the physical condition abnormality determination condition.
  • ⁇ Condition 1> is set as the condition for determining abnormality in physical condition.
  • the determination unit 106 determines that the driver is in an abnormal physical condition when the posture failure detection unit 104 outputs no posture failure information and the convulsions presence information is output from the convulsions detection unit 105 .
  • a convulsion does not involve a large change in posture, but if the driver is having the convulsion, it can be said that the driver is in poor physical condition.
  • the determination unit 106 determines whether or not the driver is in an unhealthy physical condition based only on the fact that the posture collapse is detected, there is a possibility that it will be determined that the driver is not in an unhealthy condition even if the driver is having convulsions.
  • the determination unit 106 of the physical condition abnormality determination device 1 determines the driver's physical condition abnormality according to the condition for physical condition abnormality determination of ⁇ Condition 1>. Abnormal physical condition of the driver can be determined without a change in
  • ⁇ Condition 3> may be set as the physical condition abnormality determination condition.
  • ⁇ Condition 3> "Detection of convulsions without detection of postural disturbances, or detection of postural disturbances without detection of convulsions"
  • the determination unit 106 determines that the driver is in an abnormal physical condition when either one of the posture collapse or the convulsion is detected.
  • the determination unit 106 considers both the abnormal physical condition of the driver that causes a posture collapse accompanied by a large change in posture and the abnormal physical condition of the driver that does not involve a large change in posture that can be said to be a collapse of posture. It can be determined whether there is
  • the determination unit 106 can more reliably determine that the driver is in an abnormal physical condition.
  • the physical condition determination condition may include multiple conditions.
  • the conditions for determining physical condition abnormality include a plurality of conditions
  • the determination unit 106 may determine whether or not the driver is in an abnormal physical condition by combining the plurality of conditions.
  • the determination unit 106 determines that the driver is in an abnormal physical condition
  • the determination unit 106 outputs the physical condition determination information to the output unit 107 .
  • the determination unit 106 determines that the driver is not in an abnormal physical condition
  • the determination unit 106 outputs information indicating that the driver is not in an abnormal physical condition (hereinafter referred to as "no physical condition abnormality information") to the output unit 107. good too.
  • the output unit 107 outputs the physical condition abnormality determination information output from the determination unit 106 to the output device 3 .
  • the output unit 107 may output the physical condition information to the output device 3 .
  • the output unit 107 may store the abnormal physical condition determination information or the non-existent physical condition information in a storage device such as a storage unit. Note that the determination unit 106 may have the function of the output unit 107 .
  • the physical condition abnormality determination device 1 performs calibration processing, and based on the captured image acquired during a certain period of time after the vehicle starts running (hereinafter referred to as “reference value setting time”), the head Set reference values and part reference values.
  • the reference value setting time is, for example, 15 seconds.
  • the control unit (not shown) of the physical condition abnormality determination device 1 determines whether or not the reference value setting time has elapsed since the vehicle started running.
  • the control unit may, for example, acquire vehicle speed information from a vehicle speed sensor (not shown) and determine that the vehicle has started running based on the vehicle speed. When the control unit determines that the vehicle has started running, it starts counting the reference value setting time. When the reference value setting time elapses, the control unit outputs a head position calibration instruction to the head position detection unit 102 . Further, when the reference value setting time elapses, the control unit outputs an instruction to calibrate the skeleton coordinate points to the skeleton point detection unit 103 .
  • the head position detection unit 102 acquires a captured image for the reference value setting time.
  • the head position detection unit 102 may acquire captured images for the reference value setting time from the storage unit. Note that, for example, when the power of the vehicle is turned on, the captured image acquiring unit 101 starts acquiring captured images and stores them in the storage unit. Then, the head position detection unit 102 detects the position of the driver's head in each captured image, and sets the driver's head reference value based on the detected head position of the driver.
  • An example of the method of detecting the driver's head position by the head position detection unit 102 has already been described, so redundant description will be omitted.
  • the head position detection unit 102 sets the average value, the mode value, or the median value of the detected head positions as the head reference value.
  • the head position detection unit 102 stores the set head reference value of the driver in a location that can be referred to by the posture collapse detection unit 104 . Also, the head position detection unit 102 notifies the control unit that the setting of the head reference value has been completed.
  • the head position detection unit 102 collectively detects the driver's head position for the captured image for the reference value setting time.
  • the control unit notifies the head position detection unit 102 of this.
  • the position of the driver's head may be detected each time a captured image is output from the image acquisition unit 101 .
  • the head position detection unit 102 stores the head position information about the detected head position of the driver in the storage unit in association with the date and time of detection.
  • the head position detection unit 102 counts the reference value setting time.
  • the head position detection unit 102 uses the head position information stored in the storage unit to Sets the driver's head reference value. In this manner, the driver's head reference value may be set.
  • the skeleton point detection unit 103 acquires a captured image for the reference value setting time.
  • the skeleton point detection unit 103 may acquire captured images for the reference value setting time from the storage unit.
  • the skeletal point detection unit 103 detects skeletal coordinate points of the driver in each of the acquired captured images, and sets the driver parts reference value based on the detected skeletal coordinate points of the driver. Note that an example of the method of detecting the skeleton coordinate points of the driver by the skeleton point detection unit 103 has already been explained, so redundant explanation will be omitted.
  • the skeleton point detection unit 103 sets the average value, the mode value, or the median value of the detected skeleton coordinate points as the parts reference value of the driver.
  • the skeletal point detection unit 103 stores the set parts reference value in a location that the spasm detection unit 105 can refer to.
  • the skeletal point detection unit 103 detects each skeletal coordinate point and sets the part reference value of the driver.
  • the skeleton point detection unit 103 associates the part reference value with information that can specify which skeleton coordinate point the part reference value corresponds to. memorize it. Also, the skeleton point detection unit 103 notifies the control unit that the setting of the parts reference value has been completed.
  • the skeleton point detection unit 103 collectively determines the skeleton coordinate points of the driver for the captured image for the reference value setting time.
  • detection is performed, this is only an example.
  • the control unit notifies the skeleton point detection unit 103 of this.
  • the skeleton coordinate points of the driver may be detected each time the image acquisition unit 101 outputs a captured image.
  • the skeletal point detection unit 103 stores skeletal coordinate point information about the detected skeletal coordinate points of the driver in a storage unit in association with the date and time of detection and information that can specify which part of the body the skeletal coordinate points represent. Let me remember.
  • the skeleton point detection unit 103 counts the reference value setting time. When the skeleton point detection unit 103 determines that the reference value setting time has elapsed, the skeleton point detection unit 103 uses the skeleton coordinate point information stored in the storage unit. , to set the part reference value of the driver. In this manner, the driver parts reference value may be set.
  • the control unit When the calibration process is completed, that is, when the setting of the head reference value and the part reference value is completed, the control unit notifies each component (captured image acquisition unit 101, head position detection unit 102, skeleton point detection unit 103, posture collapse detection unit 104, spasm detection unit 105, determination unit 106, and output unit 107).
  • FIG. 3 is a flowchart for explaining an example of the operation of calibration processing by the physical condition abnormality determination device 1 according to the first embodiment.
  • FIG. 4 is a flow chart for explaining an example of the operation of determining the driver's physical condition abnormality by the physical condition abnormality determination device 1 according to the first embodiment. The operations shown in the flowchart of FIG. 3 are performed before the operations shown in the flowchart of FIG. 4 are performed.
  • FIG. 3 the processing of steps ST103 to ST104 and the processing of steps ST105 to ST106 are performed in parallel.
  • the operation shown in the flowchart of FIG. 3 is started, for example, when the power of the vehicle is turned on.
  • the captured image acquisition unit 101 acquires a captured image from the imaging device 2 (step ST101).
  • the captured image acquisition unit 101 outputs the acquired captured image to the head position detection unit 102 and the skeleton point detection unit 103, and stores the captured image in the storage unit.
  • the physical condition abnormality determination device 1 repeats the process of step ST101 until the control unit determines that the reference value setting time has elapsed since the vehicle started running ("NO" in step ST102).
  • control unit determines that the reference value setting time has elapsed since the vehicle started running (“YES” in step ST102), it outputs a head position calibration instruction to head position detection unit 102 . do. Further, when the reference value setting time elapses, the control unit outputs an instruction to calibrate the skeleton coordinate points to the skeleton point detection unit 103 .
  • the head position detection unit 102 acquires captured images for the reference value setting time, and for each acquired captured image, the driver's A head position is detected (step ST103).
  • the head position detection unit 102 sets the driver's head reference value based on the driver's head position detected in step ST103 (step ST104).
  • the head position detection unit 102 stores the set head reference value of the driver in a location that can be referred to by the posture collapse detection unit 104 . Also, the head position detection unit 102 notifies the control unit that the setting of the head reference value has been completed.
  • Skeleton point detection section 103 acquires captured images for the reference value setting time when the control section outputs an instruction to calibrate the skeleton coordinate points in step ST102. skeleton coordinate points are detected (step ST105).
  • the skeletal point detection unit 103 sets the parts reference value of the driver based on the skeletal coordinate points of the driver detected in step ST105 (step ST106).
  • the skeletal point detection unit 103 stores the set driver parts reference value in a location that can be referred to by the spasm detection unit 105 .
  • the skeleton point detection unit 103 notifies the control unit that the setting of the parts reference value has been completed.
  • step ST102 when the vehicle starts running, the control unit notifies the head position detection unit 102 of this, and the head position detection unit 102 detects the driver's head position each time a captured image is output. In this case, in the flowchart of FIG. 3, the processing of step ST102 is performed by head position detection section 102 after step ST103. Further, for example, when the vehicle starts running, the control unit notifies the skeleton point detection unit 103 of this, and the skeleton point detection unit 103 detects the skeleton coordinate points of the driver each time the captured image is output. If so, in the flowchart of FIG. 3, the process of step ST102 is performed by skeleton point detection section 103 after step ST105.
  • the captured image acquisition unit 101 acquires a captured image from the imaging device 2 (step ST1). Captured image acquisition section 101 outputs the acquired captured image to head position detection section 102 and skeleton point detection section 103 . In addition, the captured image acquisition unit 101 stores the acquired captured image in the storage unit in association with the acquisition date and time of the captured image.
  • the head position detection unit 102 detects the driver's head position in the captured image based on the captured image acquired by the captured image acquisition unit 101 in step ST1 (step ST2).
  • the head position detection unit 102 outputs the head position information to the posture collapse detection unit 104 .
  • the posture collapse detection unit 104 performs posture collapse detection processing for detecting the driver's posture collapse based on the head position information output from the head position detection unit 102 in step ST2 (step ST3).
  • Skeletal point detection section 103 detects the skeleton coordinate points indicating body parts of the driver on the captured image based on the captured image acquired by captured image acquisition section 101 in step ST1 (step ST4).
  • the skeleton point detection section 103 outputs the skeleton coordinate point information to the spasm detection section 105 .
  • the convulsions detection unit 105 performs convulsions detection processing for detecting convulsions of the driver based on the skeleton coordinate point information output from the skeleton point detection unit 103 in step ST4 (step ST5).
  • Determination unit 106 determines whether or not the posture collapse detection unit 104 in step ST3 has detected the driver's posture collapse, and based on whether or not the convulsions detection unit 105 has detected the driver's convulsions in step ST5, The driver determines whether or not he is in poor physical condition (step ST6). Specifically, the determination unit 106 determines that the driver is in an abnormal physical condition when the condition for determining an abnormal physical condition is satisfied. The determination unit 106 determines that the driver does not have an abnormality in physical condition if the condition for determining an abnormality in physical condition is not satisfied. When the determination unit 106 determines that the driver is in an abnormal physical condition, the determination unit 106 outputs the physical condition determination information to the output unit 107 . If the determination unit 106 determines that the driver does not have an abnormality in physical condition, the determination unit 106 may output information indicating that there is no abnormality in physical condition to the output unit 107 .
  • the output unit 107 outputs the physical condition abnormality determination information output from the determination unit 106 in step ST6 to the output device 3 (step ST7).
  • the output unit 107 may output the physical condition information to the output device 3 .
  • the output unit 107 may store the abnormal physical condition determination information or the non-existent physical condition information in a storage device such as a storage unit.
  • step ST2 in the flowchart of FIG. 4 can be omitted.
  • step ST6 the determination unit 106 outputs the posture collapse presence information from the posture collapse detection unit 104, Even if neither the seizure presence information nor the seizure non-information is output from the seizure detection unit 105, ⁇ Condition 3> may be satisfied and the seizure detection unit 105 may terminate the seizure detection process.
  • the determination unit 106 determines ⁇ condition 3> even if neither the posture failure information nor the posture failure information is output from the posture failure detection unit 104.
  • the posture collapse detection unit 104 can be caused to terminate the posture collapse detection process.
  • illustration of the arrow from the determination part 106 to the posture collapse detection part 104 and the arrow from the determination part 106 to the convulsion detection part 105 is abbreviate
  • FIG. 5 is a flowchart for explaining the detailed operation of the posture collapse detection process by the posture collapse detection unit 104 in step ST3 of FIG.
  • the posture collapse detection unit 104 detects the amount of change in the posture of the driver (step ST31).
  • the posture collapse detection unit 104 determines whether or not the amount of change in the posture of the driver detected in step ST31 is greater than or equal to the threshold value for posture determination (step ST32).
  • step ST32 when it is determined that the driver's posture change amount is equal to or greater than the posture determination threshold value ("YES" in step ST32), the posture collapse detection unit 104 detects the driver's posture change amount detected in step ST32. is equal to or greater than the attitude determination threshold, it is determined whether or not the attitude determination time has continued (step ST33).
  • step ST33 If it is determined in step ST33 that the state in which the amount of change in the driver's posture detected in step ST32 is equal to or greater than the posture determination threshold continues for the posture determination time ("YES" in step ST33), the posture The collapse detection unit 104 detects the driver's posture collapse (step ST34). Posture collapse detection section 104 outputs posture collapse presence information to determination section 106 .
  • step ST32 If it is determined in step ST32 that the amount of change in the driver's posture is less than the posture determination threshold value ("NO" in step ST32), or in step ST33, the amount of change in the driver's posture detected in step ST32 is determined. is equal to or greater than the attitude determination threshold, when it is determined that the attitude determination time does not continue (“NO” in step ST33), the posture collapse detection unit 104 does not detect the driver's posture collapse.
  • Posture collapse detection section 104 outputs posture collapse non-existence information to determination section 106 .
  • FIG. 6 is a flowchart for explaining the detailed operation of the spasm detection process by the spasm detection unit 105 in step ST5 of FIG.
  • the spasm detection unit 105 detects the amount of change in the parts of the driver (step ST41).
  • the spasm detection section 105 detects the part change amount, which is the difference from the corresponding part reference value, for each skeletal coordinate point.
  • the spasm detection unit 105 determines whether or not the amount of change in the parts of the driver detected in step ST41 is greater than or equal to the spasm determination threshold (step ST42).
  • step ST42 When it is determined in step ST42 that the amount of change in driver parts is greater than or equal to the spasm determination threshold value ("YES" in step ST42), the spasm detection unit 105 detects the amount of change in driver parts detected in step ST41. is the periodicity of convulsions (step ST43).
  • convulsions detection section 105 detects convulsions of the driver (step ST44). That is, the convulsion detection unit 105 determines that the driver has convulsions.
  • the spasm detection unit 105 outputs the spasm presence information to the determination unit 106 .
  • step ST42 If it is determined in step ST42 that the amount of change in the driver's parts is less than the convulsion determination threshold value ("NO" in step ST42), or in step ST43, if the periodicity of the amount of change in the driver's parts is convulsive. If it is determined that it is not periodic ("NO" in step ST43), the convulsion detection unit 105 does not detect convulsions of the driver. The seizure detection unit 105 outputs seizure-free information to the determination unit 106 .
  • step ST42 and step ST43 the processing is performed in the order of step ST42 and step ST43, but this is only an example.
  • the order of the processing of step ST42 and the processing of step ST43 may be reversed.
  • FIG. 7A and 7B are diagrams showing an example of the hardware configuration of the physical condition abnormality determination device 1 according to Embodiment 1.
  • FIG. 1 a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, an output unit 107, Functions of a control unit (not shown) are implemented by the processing circuit 1001 .
  • the physical condition determination device 1 includes a processing circuit 1001 for performing control for determining whether or not the driver has an abnormal physical condition based on the captured image acquired from the imaging device 2 .
  • the processing circuitry 1001 may be dedicated hardware, as shown in FIG. 7A, or a processor 1004 executing a program stored in memory, as shown in FIG. 7B.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processing circuit is the processor 1004, the captured image acquisition unit 101, the head position detection unit 102, the skeleton point detection unit 103, the posture collapse detection unit 104, the spasm detection unit 105, the determination unit 106, and the output unit 107 And the functions of the control unit (not shown) are implemented by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 1005 .
  • the processor 1004 reads and executes the programs stored in the memory 1005 to obtain a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, and a spasm detection unit.
  • the output unit 107 and the processing procedure or method of the control unit are executed by a computer.
  • the memory 1005 is a non-volatile memory such as RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), etc. volatile or volatile
  • RAM random access memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • volatile or volatile A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • the captured image acquisition unit 101 the head position detection unit 102, the skeleton point detection unit 103, the posture collapse detection unit 104, the spasm detection unit 105, the determination unit 106, the output unit 107, and a control unit (not shown)
  • a part of the function may be realized by dedicated hardware, and a part thereof may be realized by software or firmware.
  • the captured image acquisition unit 101 is realized by a processing circuit 1001 as dedicated hardware, and includes a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, and a spasm detection unit 105.
  • the functions of the determination unit 106, the output unit 107, and the control unit can be realized by the processor 1004 reading and executing programs stored in the memory 1005.
  • the physical condition abnormality determination apparatus 1 also includes a device such as the imaging device 2 or the output device 3, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • a storage unit (not shown) is composed of the memory 1005 and the like.
  • the physical condition determination device 1 determines whether or not the driver is in an abnormal physical condition, but this is merely an example.
  • the physical condition determination device 1 may determine whether or not an occupant other than the driver has an abnormal physical condition. Further, the physical condition determination device 1 can also determine whether or not a plurality of passengers are in physical condition.
  • the occupant is assumed to be a vehicle occupant, but this is only an example.
  • the occupants may be occupants of ships, trains, or the like.
  • the physical condition abnormality determination device 1 can determine whether or not passengers of various moving bodies have an abnormality in physical condition.
  • the physical condition abnormality determination device 1 is an in-vehicle device mounted in a vehicle, and includes the captured image acquisition unit 101, the head position detection unit 102, the skeleton point detection unit 103, and the posture collapse detection unit. It is assumed that the unit 104, the spasm detection unit 105, the determination unit 106, the output unit 107, and the control unit (not shown) are provided in the vehicle-mounted device.
  • a captured image acquisition unit 101 may all be provided on the server.
  • a head position detection unit 102 may all be provided on the server.
  • a skeleton point detection unit 103 may be provided on the server.
  • a posture collapse detection unit 104 may be provided on the server.
  • a spasm detection unit 105 may be provided on the server.
  • a determination unit 106 may be provided on the server.
  • the physical condition abnormality determination device 1 detects the head position of the occupant in the captured image that captures at least the face of the occupant of the moving body.
  • a posture collapse detection unit 104 that detects a posture collapse
  • a skeleton point detection unit 103 that detects a skeleton coordinate point indicating a part of the occupant's body on the captured image based on the captured image
  • a skeleton detected by the skeleton point detection unit 103 detects the head position of the occupant in the captured image that captures at least the face of the occupant of the moving body.
  • a convulsion detection unit 105 that detects convulsions of the occupant based on the skeletal coordinate point information about the coordinate points, and a determination that the occupant is in an abnormal physical condition when the convulsions of the occupant are detected without detecting the occupant's posture collapse. 106. Therefore, the physical condition determination device 1 can determine the physical condition of the occupant without a large change in posture.
  • the physical condition determination device determines whether or not the occupant is in an abnormal physical condition based on whether or not the occupant's posture collapse is detected and whether or not the occupant's convulsions are detected.
  • the second embodiment in addition to whether or not the physical condition abnormality determination device has detected the occupant's posture collapse and whether or not the occupant's convulsions have been detected, consideration is given to whether the occupant's pulse is abnormal.
  • an embodiment for determining whether or not the occupant is in poor physical condition will be described. It should be noted that, in the following second embodiment as well, the occupant is assumed to be a driver, as in the first embodiment.
  • the physical condition determination device can determine whether or not the physical condition is abnormal for a passenger other than the driver. Further, the physical condition determination device according to the second embodiment can also determine whether or not a plurality of occupants have an abnormal physical condition. Further, it is assumed that the physical condition abnormality determination device according to the second embodiment is mounted in a vehicle, like the physical condition abnormality determination device according to the first embodiment.
  • FIG. 8 is a diagram showing a configuration example of a physical condition abnormality determination device 1a according to Embodiment 2.
  • the same components as those of the physical condition abnormality determination device 1 described in the first embodiment with reference to FIG. do.
  • the abnormality determination device 1a does not necessarily include the head position detection unit 102 .
  • a physical condition abnormality determination device 1a according to Embodiment 2 differs from the physical condition abnormality determination device 1 according to Embodiment 1 in that it includes a biological information acquisition unit 108, a pulse-related information detection unit 109, and a pulse abnormality detection unit 110. Points are different.
  • the physical condition abnormality determination device 1 a is connected to a biosensor 4 .
  • the biosensor 4 is a device that measures biometric information such as the driver's pulse or respiration.
  • the biosensor 4 is a microwave radio wave biosensor provided in the front of the passenger compartment, inside the seat belt, or inside the seat in the vehicle.
  • the biosensor 4 may be a wearable device worn by the driver himself/herself.
  • the biosensor 4 may be an imaging device.
  • the biosensor 4 is an imaging device, the biosensor 4 and the imaging device 2 can be shared. It should be noted that if the biosensor 4 is a wearable device, the driver may be annoyed.
  • the radio wave type biosensor or imaging device 2 provided in the vehicle as the biosensor 4
  • the biometrics information of the driver can be detected without bothering the driver.
  • a vehicle is equipped with an imaging device for so-called PMS. If the imaging device 2 is used as the biosensor 4, there is no need to add a complicated device or the like for detecting the biometric information of the driver.
  • the biometric information acquisition unit 108 acquires the biometric information of the driver from the biosensor 4 .
  • the biological information acquisition unit 108 outputs the acquired biological information of the driver to the pulse-related information detection unit 109 .
  • the pulse-related information detection unit 109 detects information on the driver's pulse (hereinafter referred to as “pulse-related information”) based on the biological information acquired by the biological information acquisition unit 108 .
  • the pulse-related information includes information about the driver's pulse rate and information about the amount of change in the driver's pulse rate.
  • "pulse” includes "heartbeat".
  • the biosensor 4 is the imaging device 2
  • the biometric information is a captured image.
  • the pulse-related information detection unit 109 can detect the pulse of the driver, for example, based on a minute change in brightness due to blood flow on the surface of the driver's skin on the captured image.
  • the biosensor 4 is a radio wave biosensor such as a Doppler sensor, the radio wave biosensor detects the movement of the heart.
  • the pulse-related information detection unit 109 may detect the driver's pulse rate based on the driver's biological information using a known method. For example, when the biosensor 4 is the imaging device 2, the pulse-related information detection unit 109 detects the driver's pulse rate based on the driver's biometric information (captured image in this case) using a known image recognition technique. Just do it.
  • the pulse-related information detection unit 109 stores, for example, the detected pulse rate of the driver in association with the date and time of detection in the storage unit, and based on the stored time-series pulse rate of the driver, detects the pulse rate of the driver. It is sufficient to calculate the amount of change in the pulse rate. It should be noted that the amount of change in the pulse rate is calculated based on how long the past period of the pulse rate is determined in advance.
  • the pulse-related information detection unit 109 calculates the amount of change in the driver's pulse rate using the following equations (1) and (2).
  • zt xt - yt (2)
  • t is the frame number
  • x t is the feature value at time t
  • x t-1 is the feature value at time t-1
  • y t is the pulse rate at time t
  • ⁇ is an adjustment parameter
  • the amount of change zt in the driver's pulse rate is calculated from the difference between the characteristic quantity xt at time t and the pulse rate yt at time t, as shown in Equation (2).
  • the driver's pulse rate change amount zt becomes a negative number
  • the driver's pulse rate change amount zt becomes a negative number
  • the pulse-related information detection unit 109 calculates the difference between the biological information of one frame before and the current biological information for the past few seconds such as 10 seconds, and calculates the average value of the calculated differences. may be used as the amount of change in the pulse rate of the driver.
  • the pulse-related information detection unit 109 may calculate the amount of change in the pulse rate of the driver by an appropriately determined method.
  • the pulse-related information detection unit 109 outputs the detected pulse-related information to the pulse abnormality detection unit 110 .
  • the pulse abnormality detection unit 110 detects that the driver's pulse is abnormal based on the driver's pulse-related information detected by the pulse-related information detection unit 109 .
  • an abnormal state of pulse is referred to as "abnormal pulse”.
  • the process of detecting an abnormal pulse of the driver, which is performed by the abnormal pulse detection unit 110 is referred to as "abnormal pulse detection process".
  • the pulse rate detection unit 110 detects the pulse rate of the driver.
  • the pulse rate detection unit 110 determines that the driver's pulse rate or the amount of change in the driver's pulse rate is abnormal.
  • the pulse rate detection unit 110 determines that the driver's pulse rate is abnormal.
  • the pulse abnormality detection unit 110 detects the driver's pulse abnormality based on the driver's pulse rate and the amount of change in the driver's pulse rate.
  • the pulse abnormality detection unit 110 detects the driver's pulse abnormality when it determines that the driver's pulse rate or the amount of change in the driver's pulse rate is abnormal. This is just one example.
  • the pulse abnormality detection unit 110 may detect the driver's pulse abnormality when both the driver's pulse rate and the amount of change in the driver's pulse rate are determined to be abnormal.
  • the pulse abnormality detection unit 110 detects the driver's pulse abnormality if, for example, the driver's pulse rate is equal to or greater than a preset threshold value (hereinafter referred to as "pulse rate determination threshold value"). .
  • the abnormal pulse detection unit 110 compares the absolute value of the driver's pulse rate with the pulse rate determination threshold value.
  • the pulse rate determination threshold value is set in advance by an administrator or the like, and stored in a location that can be referred to by the abnormal pulse detection unit 110 . For the pulse rate determination threshold value, for example, a pulse rate that doctors generally judge to be life-threatening is set.
  • the normal pulse rate of a person is said to be in the range of 60 bpm (Beats Per Minute) to 100 bpm, and the pulse rate judged to be life-threatening by a doctor due to an acute change in a person's physical condition is said to be 130 bpm or more. (See, for example, Reference 1).
  • 130 bpm is set as the pulse rate determination threshold.
  • the pulse rate of a person may increase due to, for example, mental strain due to speech, drinking alcohol, and exercise such as jogging.
  • the pulse rate after the increase is assumed to be about 100 bpm, 100 bpm, and 120 bpm on average, respectively, and is unlikely to reach 130 bpm or more.
  • the pulse abnormality detection unit 110 does not detect the driver's pulse abnormality if the driver's pulse rate is less than the pulse rate determination threshold value.
  • the pulse abnormality detection unit 110 detects, for example, if the amount of change in the driver's pulse rate is equal to or greater than a preset threshold value (hereinafter referred to as "pulse change amount determination threshold value"), the driver detect pulse abnormalities.
  • the pulse change amount determination threshold value is set in advance by an administrator or the like, and is stored in a location that can be referred to by the pulse abnormality detection unit 110 .
  • the administrator or the like sets the amount of change in the pulse rate assumed to occur due to the person's physical condition abnormality as the pulse change amount determination threshold value.
  • the abnormal pulse detection unit 110 compares the absolute value of the variation in the driver's pulse rate with the pulse variation determination threshold.
  • the pulse abnormality detection unit 110 does not detect the driver's pulse abnormality if, for example, the amount of change in the driver's pulse rate is less than the pulse change amount determination threshold.
  • the pulse abnormality detection unit 110 When the pulse abnormality detection unit 110 detects the driver's pulse abnormality, the pulse abnormality detection unit 110 outputs information to the effect that the driver's pulse abnormality is detected (hereinafter referred to as “abnormal pulse information”) to the determination unit 106 .
  • the abnormal pulse presence information may include information on the driver's pulse rate and the amount of change in the driver's pulse rate.
  • abnormal pulse detection unit 110 does not detect an abnormality in the driver's pulse, it outputs information indicating that an abnormality in the driver's pulse has not been detected (hereinafter referred to as “non-abnormal pulse information”) to determination unit 106 .
  • the determination unit 106 determines whether the posture collapse detection unit 104 has detected the driver's posture collapse, whether the convulsion detection unit 105 has detected the driver's convulsion, and the abnormal pulse detection unit 110. detects the driver's pulse abnormality. That is, the determination unit 106 determines whether or not the posture collapse information is output from the posture collapse detection unit 104, whether or not the convulsion presence information is output from the convulsion detection unit 105, and whether the pulse abnormality detection unit 110 has an abnormal pulse. The driver determines whether or not the driver is in poor physical condition based on whether or not the information is output.
  • conditions for detecting an abnormality in physical condition of the driver are set in consideration of an abnormal pulse in addition to posture collapse and convulsions.
  • the following ⁇ Condition 4>, ⁇ Condition 5>, ⁇ Condition 6>, or ⁇ Condition 7> is set as the physical condition abnormality determination condition, for example.
  • ⁇ Condition 4> is set as the condition for determining abnormality in physical condition.
  • determination section 106 outputs convulsion presence information from convulsion detection section 105 even if posture collapse detection section 104 outputs no posture collapse information, and pulse abnormality detection section 110 outputs pulse abnormality presence information. If so, the driver is determined to be in poor physical condition.
  • convulsions do not involve significant changes in posture, but if the driver is having the convulsions, the driver is likely to be in poor physical condition.
  • the determining unit 106 can determine the driver's physical condition more accurately than when the pulse abnormality is not taken into consideration.
  • the determination unit 106 can determine an abnormality in the driver's physical condition that does not involve a large change in posture that can be considered as a posture collapse.
  • the determination unit 106 considers the individual difference that the driver may be in an abnormal physical condition but may not change his/her posture. can be determined.
  • the determination unit 106 outputs the information of no posture collapse from the detection unit 104 and the no information of the convulsion is output from the convulsion detection unit 105.
  • abnormal pulse presence information is output from the abnormality detection unit 110, the driver is determined to be in an abnormal physical condition. For example, when an epileptic seizure occurs, it is generally said that it is accompanied by convulsions and a rapid increase in pulse rate, but convulsions may not accompany some people.
  • the determination unit 106 determines that there is an abnormality in the driver's physical condition when ⁇ Condition 6> is satisfied. Accuracy can be improved.
  • the determination unit 106 can more reliably determine that the driver is in an abnormal physical condition.
  • the condition for determining physical condition abnormality may include a plurality of conditions.
  • the determination unit 106 may determine whether or not the driver is in an abnormal physical condition by combining the plurality of conditions.
  • the determination unit 106 determines that the driver is in an abnormal physical condition
  • the determination unit 106 outputs the physical condition determination information to the output unit 107 . If the determination unit 106 determines that the driver does not have an abnormality in physical condition, the determination unit 106 may output information indicating that there is no abnormality in physical condition to the output unit 107 .
  • the physical condition abnormality determination device 1a according to the second embodiment also performs calibration processing, like the physical condition abnormality determination device 1 according to the first embodiment. Since the details of the calibration process have already been explained, duplicate explanations will be omitted.
  • FIG. 9 is a flow chart for explaining an example of the operation of determining an abnormality in physical condition of a driver by the abnormality determination device 1a according to the second embodiment.
  • the physical condition abnormality determination device 1a performs calibration processing before performing the operation shown in the flowchart of FIG. In other words, the operations described with reference to the flowchart of FIG. 3 in the first embodiment are performed before the operations illustrated in the flowchart of FIG. 9 are performed.
  • the operation shown in the flowchart of FIG. 9 is performed in the physical condition abnormality determination device 1a.
  • the processing from step ST11 to step ST15 and the processing from step ST16 to step ST18 are performed in parallel.
  • the processing of step ST15 is performed in parallel.
  • the operation shown in the flowchart of FIG. 9 is repeated until, for example, the power of the vehicle is turned off when the controller notifies that the calibration process has been completed.
  • the specific contents of the processes of steps ST11 to ST15 and ST20 are the specific contents of the processes of steps ST1 to ST5 and ST7 of FIG. Since it is the same as the content, redundant description is omitted.
  • the biometric information acquisition unit 108 acquires the biometric information of the driver from the biosensor 4 (step ST16).
  • the biological information acquisition unit 108 outputs the acquired biological information of the driver to the pulse-related information detection unit 109 .
  • the pulse-related information detection unit 109 detects the driver's pulse-related information based on the biological information acquired by the biological information acquisition unit 108 in step ST16 (step ST17). Pulse-related information detection section 109 outputs the detected driver's pulse-related information to pulse abnormality detection section 110 .
  • Pulse abnormality detection section 110 performs pulse abnormality detection processing based on the driver's pulse-related information detected by pulse-related information detection section 109 in step ST17 (step ST18).
  • the pulse abnormality detection unit 110 detects the driver's pulse abnormality
  • the pulse abnormality detection unit 110 outputs abnormal pulse presence information to the determination unit 106 .
  • the pulse abnormality detection unit 110 does not detect the driver's pulse abnormality
  • the pulse abnormality detection unit 110 outputs the pulse abnormality non-existence information to the determination unit 106 .
  • Determination section 106 determines whether or not posture collapse detection section 104 detects the driver's posture collapse in step ST13, whether or not convulsions detection section 105 detects convulsions of the driver in step ST15, and in step ST18 Based on whether or not the pulse abnormality detection section 110 detects the driver's pulse abnormality, it is determined whether or not the driver is in an abnormal physical condition (step ST19). Specifically, the determination unit 106 determines that the driver is in an abnormal physical condition when the condition for determining an abnormal physical condition is satisfied. The determination unit 106 determines that the driver does not have an abnormality in physical condition if the condition for determining an abnormality in physical condition is not satisfied.
  • the determination unit 106 determines that the driver is in an abnormal physical condition
  • the determination unit 106 outputs the physical condition determination information to the output unit 107 . If the determination unit 106 determines that the driver does not have an abnormality in physical condition, the determination unit 106 may output information indicating that there is no abnormality in physical condition to the output unit 107 .
  • step ST12 in the flowchart of FIG. 9 can be omitted.
  • step ST19 determination section 106 outputs posture collapse presence information from posture collapse detection section 104, for example.
  • the convulsive detection process for the convulsive detection unit 105 and the abnormal pulse detection process for the abnormal pulse detection unit 110 may be terminated.
  • the determination unit 106 the result of the posture collapse detection process, the result of the convulsions detection process, or the result of the abnormal pulse detection process when it is possible to determine whether the driver is in an abnormal physical condition, Posture collapse detection processing, spasm detection processing, or abnormal pulse detection processing that is no longer necessary can be prevented from being performed.
  • an arrow from the determination unit 106 to the posture collapse detection unit 104, an arrow from the determination unit 106 to the spasm detection unit 105, and an arrow from the determination unit 106 to the abnormal pulse detection unit 110 are omitted. ing.
  • FIG. 10 is a flowchart for explaining the detailed operation of the abnormal pulse detection process by the abnormal pulse detector 110 in step ST18 of FIG.
  • Pulse abnormality detection section 110 determines whether or not the driver's pulse rate is equal to or greater than the pulse rate determination threshold based on the driver's pulse-related information output from pulse-related information detection section 109 in step ST17 of FIG. (step ST171).
  • pulse abnormality detection section 110 detects pulse-related information in step ST17 of FIG. Based on the driver's pulse-related information output from the detection unit 109, it is determined whether or not the amount of change in the pulse rate of the driver is equal to or greater than the pulse change amount determination threshold (step ST172).
  • step ST171 If it is determined in step ST171 that the driver's pulse rate is greater than or equal to the pulse rate determination threshold value ("YES" in step ST171), or if step ST172 determines that the amount of change in the driver's pulse rate If it is determined to be equal to or greater than the change amount determination threshold (“YES” in step ST172), the pulse abnormality detection section 110 detects the driver's pulse abnormality (step ST173). That is, the pulse abnormality detection unit 110 determines that there is an abnormality in the driver's pulse. Abnormal pulse detection section 110 outputs abnormal pulse presence information to determination section 106 .
  • pulse abnormality detection section 110 detects an abnormality in the driver's pulse. Not detected. That is, the pulse abnormality detection unit 110 determines that there is no pulse abnormality in the driver. Abnormal pulse detection section 110 outputs the non-abnormal pulse information to determination section 106 .
  • step ST171 the processing is performed in the order of step ST171 and step ST172, but this is only an example.
  • the order of the processing of step ST171 and the processing of step ST172 may be reversed.
  • step ST172 when the pulse abnormality detection unit 110 detects an abnormality in the driver's pulse by determining that both the driver's pulse rate and the amount of change in the driver's pulse rate are abnormal, the operation shown in the flowchart of FIG. The process of step ST172 is performed when "YES" is determined in the process of step ST171.
  • the hardware configuration of the physical condition abnormality determination device 1a according to Embodiment 2 is the same as the hardware configuration of the physical condition abnormality determination device 1 described with reference to FIGS. 7A and 7B in Embodiment 1, so illustration is omitted. do.
  • a captured image acquisition unit 101 a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, an output unit 107
  • the processing circuit 1001 implements the functions of the biological information acquisition unit 108 , the pulse-related information detection unit 109 , the abnormal pulse detection unit 110 , and the control unit (not shown).
  • the physical condition determination device 1a is a processing circuit for performing control for determining whether or not the driver is in an abnormal physical condition based on the captured image obtained from the imaging device 2 and the biological information obtained from the biological sensor 4. 1001.
  • the processing circuit 1001 reads and executes a program stored in the memory 1005 to obtain a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, and a convulsion detection. It executes the functions of a unit 105, a determination unit 106, an output unit 107, a biological information acquisition unit 108, a pulse-related information detection unit 109, an abnormal pulse detection unit 110, and a control unit (not shown).
  • a memory 1005 is provided for storing programs. Further, the programs stored in the memory 1005 include a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, It can also be said that the output unit 107, the biological information acquisition unit 108, the pulse-related information detection unit 109, the abnormal pulse detection unit 110, and the control unit (not shown) execute the procedures or methods of the computer.
  • the physical condition abnormality determination device 1a includes a device such as an imaging device 2, an output device 3, or a biosensor 4, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • a storage unit (not shown) is composed of the memory 1005 and the like.
  • the occupant is assumed to be an occupant of a vehicle, but this is only an example.
  • the occupants may be occupants of ships, trains, or the like.
  • the physical condition determination device 1a can determine whether or not the occupants of various moving bodies have an abnormal physical condition.
  • the physical condition abnormality determination device 1a is an in-vehicle device mounted in a vehicle, and includes the captured image acquisition unit 101, the head position detection unit 102, the skeleton point detection unit 103, and the posture collapse detection unit.
  • the unit 104, the convulsion detection unit 105, the determination unit 106, the output unit 107, the biological information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, and a control unit (not shown) are included in the in-vehicle device.
  • the information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, and the control unit are mounted on an in-vehicle device of the vehicle, and the others are connected to the in-vehicle device via a network.
  • An in-vehicle device and a server may constitute a physical condition abnormality determination system.
  • a captured image acquisition unit 101 may all be provided in a server.
  • a head position detection unit 102 may also be provided in a server.
  • a skeleton point detection unit 103 may also be provided in a server.
  • a posture collapse detection unit 104 may also be provided in a server.
  • a spasm detection unit 105 may also be provided in a server.
  • a determination unit 106 may also be provided in a server.
  • the physical condition abnormality determination device 1a includes the biological information acquisition unit 108 that acquires the biological information of the occupant, and the pulse rate of the occupant based on the biological information acquired by the biological information acquisition unit 108.
  • a pulse-related information detection unit 109 that detects pulse-related information related to the pulse-related information detection unit 109, and a pulse-related information detection unit 110 that detects an occupant's pulse abnormality based on the occupant's pulse-related information detected by the pulse-related information detection unit 109.
  • 106 is configured to determine that the occupant is in an abnormal physical condition when the occupant's posture collapse is not detected, the occupant's convulsion is detected, and the occupant's pulse abnormality is detected. Therefore, the abnormal physical condition determination device 1a can determine an abnormal physical condition of the occupant that does not involve a large change in posture, and can determine an abnormal physical condition of the occupant that cannot be determined only from the movement of the body. can improve the accuracy of determination.
  • the physical condition abnormality determination device considers whether or not the occupant's posture collapse is detected, and whether or not the occupant's convulsions are detected, and whether the occupant's pulse is abnormal. It was then determined whether or not the occupant was in poor physical condition.
  • the occupant has a convulsion, there is a problem that when the degree of convulsion increases, a large amount of artifact noise is included in the biological information of the occupant due to the swaying of the occupant's body. If the abnormal pulse detection process is performed based on biological information that contains a large amount of artifact noise, there is a possibility that an erroneous detection of the abnormal pulse of the occupant will occur.
  • the third embodiment when judging the physical condition of the occupant, it is determined whether or not the biological information is used for judging the physical condition of the occupant in consideration of the degree of convulsion.
  • the occupant is assumed to be a driver, as in the second embodiment.
  • the physical condition determination device according to the third embodiment can determine whether or not the physical condition is abnormal for a passenger other than the driver.
  • the physical condition determination device according to Embodiment 3 can also determine whether or not a plurality of passengers are in physical condition.
  • the physical condition abnormality determination device according to the third embodiment is mounted in a vehicle, similar to the physical condition abnormality determination device according to the second embodiment.
  • FIG. 11 is a diagram showing a configuration example of a physical condition abnormality determination device 1b according to Embodiment 3. As shown in FIG. Regarding the configuration of the physical condition abnormality determination device 1b according to Embodiment 3, the same components as those of the physical condition abnormality determination device 1a described in Embodiment 2 with reference to FIG. do. Like the abnormality determination device 1a according to the second embodiment, the abnormality determination device 1b does not necessarily include the head position detection unit 102.
  • FIG. The abnormality determination device 1b according to the third embodiment differs from the abnormality determination device 1a according to the second embodiment in that a spasm degree determination unit 111 is provided.
  • the convulsion degree determination unit 111 determines the degree of convulsion of the driver (hereinafter referred to as “convulsion degree”) based on the convulsion presence information output from the convulsion detection unit 105 . Convulsion degree determination processing is performed. Note that, in Embodiment 3, the convulsion detection unit 105 outputs convulsion presence information or convulsion non-convulsion information to the convulsion degree determination unit 111 .
  • the spasm degree determination unit 111 determines the amplitude of the part change amount and a preset threshold value (hereinafter “threshold for spasm degree determination”). The degree of convulsion is determined by comparison with For example, when the amplitude of the part change amount is equal to or greater than the spasm degree determination threshold, the spasm degree determination unit 111 determines that the spasm degree is "high", and the maximum value of the amplitude of the part change amount is less than the spasm degree determination threshold. , the degree of spasm is determined to be "low".
  • the convulsive degree determination threshold is set in advance by an administrator or the like, and stored in a location that can be referred to by the convulsive degree determination unit 111 .
  • the administrator or the like sets, for example, 10 (cm) as the spasm degree determination threshold.
  • the spasm degree determination unit 111 determines the spasm degree for each part change amount. For example, if the spasm degree determination unit 111 determines that even one degree of spasm is “high” for each part change amount, the degree of spasm of the driver is determined to be “high”.
  • the convulsion degree determination unit 111 may determine a convulsion degree that can determine whether or not it is assumed that artifact noise is included to such an extent that the pulse rate cannot be appropriately determined.
  • the convulsion degree determination unit 111 may determine the convulsion degree in a plurality of stages instead of the binary value of "high” or "low".
  • the spasm degree determination unit 111 takes, for example, the degree of spasm at the stage with the largest numerical value for each part change amount as the degree of spasm of the driver. It should be noted that the greater the numerical value, the greater the convulsive degree.
  • the degree of convulsions of the driver determined by the convulsions degree determination unit 111 is "high” or "low”.
  • the convulsive degree determination unit 111 adds information indicating the determined convulsive degree to the convulsive presence information output from the convulsive detection unit 105 , and outputs the information to the determination unit 106 . Further, when the convulsion-free information is output from the convulsion detection section 105, the convulsion degree determination section 111 outputs the convulsion-free information to the determination section 106 as it is.
  • the determination unit 106 determines whether the posture collapse detection unit 104 has detected the driver's posture collapse, whether the convulsion detection unit 105 has detected the driver's convulsions, and the abnormal pulse detection unit 110. detects the driver's pulse abnormality.
  • the determination section 106 considers the degree of convulsion given to the convulsion presence information and determines whether or not the driver is in an abnormal physical condition. Therefore, in the third embodiment, a condition for detecting an abnormality in the driver's physical condition is set in consideration of the degree of convulsions as the condition for determining an abnormality in physical condition. In Embodiment 3, for example, the following ⁇ Condition 8> or ⁇ Condition 9> is set as the physical condition determination condition.
  • ⁇ Condition 8> is set as the condition for determining abnormality in physical condition.
  • the determination unit 106 when the posture collapse no information is output from the posture collapse detection unit 104 and the convulsion presence information is output from the convulsion detection unit 105, the degree of convulsion given to the convulsion presence information is high. Determine whether or not If the degree of convulsion is high, determination section 106 determines whether abnormal pulse detection section 110 outputs information indicating the presence of abnormal pulse, whether abnormal pulse detection section 110 outputs information indicating the absence of abnormal pulse, or whether abnormal pulse detection section 110 outputs information indicating that there is no abnormal pulse.
  • the driver determines that the physical condition is abnormal.
  • the degree of convulsion increases, a large amount of artifact noise will be included in the biological information of the driver due to the shaking of the driver's body.
  • a pulse abnormality detected from biological information containing a large amount of artifact noise may be an erroneous detection, and if the pulse abnormality is used to determine the driver's physical condition, it leads to an erroneous determination of the driver's physical condition.
  • the judging unit 106 considers the degree of spasm, and disregards the detection of abnormal pulse when the degree of spasm is high, thereby preventing erroneous judgment of the driver's physical condition.
  • determination unit 106 determines that ⁇ Condition 8> is satisfied and the driver is in an abnormal physical condition if abnormal pulse detection unit 110 outputs information indicating the presence of abnormal pulse. If the information indicating that there is no abnormal pulse is output, it is determined that ⁇ Condition 8> is not satisfied and the driver is not in an abnormal physical condition.
  • ⁇ Condition 9> is set as the condition for determining abnormality in physical condition.
  • the determination section 106 determines whether or not the degree of convulsion given to the convulsion presence information is high.
  • the determining unit 106 determines that the driver is in an abnormal physical condition if the posture collapse detection unit 104 outputs the posture collapse presence information.
  • Determining section 106 determines whether abnormal pulse detection section 110 outputs abnormal pulse information, whether abnormal pulse detection section 110 outputs information about no pulse abnormality, or whether abnormal pulse detection section 110 still outputs abnormal pulse information. It does not matter even if neither information nor abnormal pulse information is output. Even in this way, the determination unit 106 can prevent erroneous determination of the driver's physical condition by considering the degree of spasm and disregarding the detection of abnormal pulse when the degree of spasm is high.
  • the condition for determining physical condition abnormality may include a plurality of conditions.
  • the determination unit 106 may determine whether or not the driver is in an abnormal physical condition by combining the plurality of conditions.
  • the determination unit 106 determines that the driver is in an abnormal physical condition
  • the determination unit 106 outputs the physical condition determination information to the output unit 107 . If the determination unit 106 determines that the driver does not have an abnormality in physical condition, the determination unit 106 may output information indicating that there is no abnormality in physical condition to the output unit 107 .
  • the physical condition abnormality determination device 1b according to the third embodiment also performs calibration processing, like the physical condition abnormality determination device 1a according to the second embodiment. Since the details of the calibration process have already been explained, duplicate explanations will be omitted.
  • FIG. 12 is a flow chart for explaining an example of the operation of determining an abnormality of physical condition of a driver by the abnormality determining device 1b according to the third embodiment.
  • the physical condition abnormality determination device 1b performs calibration processing before performing the operation shown in the flowchart of FIG. In other words, the operations described with reference to the flowchart of FIG. 3 in the first embodiment are performed before the operations illustrated in the flowchart of FIG. 12 are performed.
  • the physical condition abnormality determination device 1b performs the operation shown in the flowchart of FIG. 12 .
  • the processing from step ST111 to step ST116 and the processing from step ST117 to step ST119 are performed in parallel. 1 to the processing of step ST116 are performed in parallel.
  • the operation shown in the flowchart of FIG. 12 is repeated until, for example, the power of the vehicle is turned off when the controller notifies that the calibration process has been completed.
  • the specific contents of the processes of steps ST111 to ST115, steps ST117 to ST119, and step ST121 are the steps ST11 to ST15 and ST16 of FIG. 9 already explained in the second embodiment, respectively. Since it is the same as the specific contents of the processing of steps ST18 and ST20, redundant description will be omitted.
  • the convulsions degree determination unit 111 When the convulsions detection unit 105 detects the convulsions of the driver in step ST115, the convulsions degree determination unit 111 performs convulsions degree determination processing for determining the degree of convulsions of the driver based on the convulsions presence information output from the convulsions detection unit 105. (step ST116).
  • the convulsive degree determination unit 111 adds information indicating the determined convulsive degree to the convulsion presence information output from the convulsion detection unit 105 and outputs the information to the determination unit 106 . Further, when the non-convulsion information is output from the convulsion detection unit 105, the convulsion degree determination unit 111 outputs the non-convulsion information to the determination unit 106 as it is.
  • Determination section 106 in step ST113 whether the posture collapse detection section 104 has detected the driver's posture collapse, in step ST115 whether the convulsions detection section 105 has detected the driver's convulsions, and in step ST119 Based on whether or not the pulse abnormality detection section 110 detects the driver's pulse abnormality, it is determined whether or not the driver is in an abnormal physical condition (step ST120).
  • determination section 106 determines whether or not convulsion detection section 105 has detected convulsions of the driver, based on whether convulsion presence information has been output from convulsion degree determination section 111 in step ST116. Specifically, the determination unit 106 determines that the driver is in an abnormal physical condition when the condition for determining an abnormal physical condition is satisfied.
  • the determination unit 106 determines that the driver does not have an abnormality in physical condition if the condition for determining an abnormality in physical condition is not satisfied. When the determination unit 106 determines that the driver is in an abnormal physical condition, the determination unit 106 outputs the physical condition determination information to the output unit 107 . If the determination unit 106 determines that the driver does not have an abnormality in physical condition, the determination unit 106 may output information indicating that there is no abnormality in physical condition to the output unit 107 .
  • step ST112 in the flowchart of FIG. 12 can be omitted.
  • step ST20 the determination unit 106 outputs the convulsion presence information from the convulsion degree determination unit 111, for example. If information indicating that the degree of convulsion is high is added to the convulsive information, ⁇ Condition 8> is satisfied even if neither the abnormal pulse information nor the non-abnormal pulse information is output from the abnormal pulse detection unit 110. , the pulse abnormality detection unit 110 may be caused to terminate the pulse abnormality detection process.
  • the determination unit 106 the result of the posture collapse detection process, the result of the convulsions detection process, or the result of the abnormal pulse detection process when it is possible to determine whether the driver is in an abnormal physical condition, Posture collapse detection processing, spasm detection processing, or abnormal pulse detection processing that is no longer necessary can be prevented from being performed.
  • an arrow from the determination unit 106 to the posture collapse detection unit 104, an arrow from the determination unit 106 to the spasm detection unit 105, and an arrow from the determination unit 106 to the pulse abnormality detection unit 110 are omitted. ing.
  • the hardware configuration of the physical condition abnormality determination device 1b according to Embodiment 3 is the same as the hardware configuration of the physical condition abnormality determination device 1 described with reference to FIGS. 7A and 7B in Embodiment 1, so illustration is omitted. do.
  • the processing circuit 1001 realizes the functions of the biometric information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the spasm degree determination unit 111, and the control unit (not shown).
  • the physical condition determination device 1b is a processing circuit for performing control for determining whether or not the driver is in an abnormal physical condition based on the captured image obtained from the imaging device 2 and the biological information obtained from the biological sensor 4. 1001.
  • the processing circuit 1001 reads and executes a program stored in the memory 1005 to obtain a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, and a convulsion detection.
  • the functions of the unit 105, the determination unit 106, the output unit 107, the biological information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the spasm degree determination unit 111, and the control unit (not shown) are combined. Execute.
  • a memory 1005 is provided for storing programs. Further, the programs stored in the memory 1005 include a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, It causes a computer to execute the procedures or methods of the output unit 107, the biological information acquisition unit 108, the pulse-related information detection unit 109, the abnormal pulse detection unit 110, the spasm degree determination unit 111, and the control unit (not shown). It can also be said.
  • the physical condition abnormality determination device 1b includes a device such as an imaging device 2, an output device 3, or a biosensor 4, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • a storage unit (not shown) is composed of the memory 1005 and the like.
  • the occupant is assumed to be a vehicle occupant, but this is only an example.
  • the occupants may be occupants of ships, trains, or the like.
  • the physical condition abnormality determination device 1b can determine whether or not passengers of various moving bodies have an abnormality in physical condition.
  • the physical condition abnormality determination device 1b is an in-vehicle device mounted in a vehicle, and includes the captured image acquisition unit 101, the head position detection unit 102, the skeleton point detection unit 103, and the posture collapse detection unit.
  • Some of the information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the spasm degree determination unit 111, and the control unit are mounted on an in-vehicle device of the vehicle, and the others are mounted on the in-vehicle device.
  • An in-vehicle device and a server may be provided in a server connected to the device via a network to form an abnormality determination system.
  • a captured image acquisition unit 101 may all be provided in a server.
  • a head position detection unit 102 may all be provided in a server.
  • a skeleton point detection unit 103 may also be provided in a server.
  • a posture collapse detection unit 104 may also be provided in a server.
  • a spasm detection unit 105 may also be provided in a server.
  • a determination unit 106 may all be provided in a server.
  • the physical condition abnormality determination device 1b includes the convulsion degree determination unit 111 that determines the degree of convulsion of the occupant detected by the convulsion detection unit 105, and the determination unit 106 If the convulsion of the occupant determined by the convulsive degree determination unit 111 is equal to or greater than the threshold value for determining the degree of convulsion when the occupant's convulsion is detected without the collapse being detected, whether or not the occupant's pulse abnormality is detected Regardless, it is configured to determine that the occupant is in poor physical condition. Therefore, the abnormal physical condition determination device 1b can prevent erroneous determination of the physical condition of the occupant due to erroneous detection of abnormal pulse.
  • Embodiment 4 Vibration of the vehicle occurs in the vehicle while the vehicle is running. When the vehicle vibrates, the occupant's body also shakes with the vehicle vibration. In many vehicles, vehicle vibrations that occur while the vehicle is running are non-regular vibrations. If the occupant's body shakes due to the irregular vibration of the vehicle, the convulsions detection unit in the physical condition determination device will not erroneously detect the convulsions of the occupant. This is because there is no periodicity in the change in the part change amount. However, the vibration of the vehicle may become regular, for example, when the vehicle is traveling on rumble strips or mountain roads. If the vibration of the vehicle is regular, the shaking of the passenger's body due to the vibration of the vehicle will also be regular.
  • Embodiment 4 describes an embodiment for preventing erroneous detection of occupant spasm when the vehicle vibrates regularly.
  • the occupant is assumed to be a driver.
  • the physical condition determination device according to the fourth embodiment can determine whether or not the physical condition is abnormal for a passenger other than the driver.
  • the physical condition determination device according to Embodiment 4 can also determine whether or not a plurality of occupants have an abnormal physical condition.
  • the physical condition determination device according to the fourth embodiment is mounted in a vehicle, as is the physical condition determination device according to the second embodiment.
  • FIG. 13 is a diagram showing a configuration example of a physical condition abnormality determination device 1c according to Embodiment 4. As shown in FIG. Regarding the configuration of the physical condition abnormality determination device 1c according to Embodiment 4, the same configurations as those of the physical condition abnormality determination device 1a described in Embodiment 2 with reference to FIG. do. As with the abnormality determination device 1a according to the second embodiment, the abnormality determination device 1c does not necessarily include the head position detection unit 102.
  • FIG. A physical condition determination device 1c according to the fourth embodiment differs from the physical condition determination device 1a according to the second embodiment in that a vibration information acquisition unit 112 and a noise removal unit 113 are provided.
  • the physical condition abnormality determination device 1 c is connected to the imaging device 2 , the output device 3 , the biosensor 4 , and the gyro sensor 5 .
  • the gyro sensor 5 is mounted on the vehicle. Specifically, the gyro sensor 5 is, for example, an angular velocity sensor incorporated in onboard equipment such as a car navigation system. The gyro sensor 5 can calculate the rotation angle per unit time (DEGREE PER SECOND). The gyro sensor 5 outputs vibration information generated based on the calculated rotation angle to the physical condition abnormality determination device 1c.
  • the vibration information includes information indicating upward, downward, leftward, or rightward vibration of the vehicle.
  • the vibration information acquisition unit 112 acquires vibration information from the gyro sensor 5 .
  • the vibration information acquisition unit 112 outputs the acquired vibration information to the noise elimination unit 113 . Further, the vibration information acquisition unit 112 causes the storage unit to store the vibration information acquired from the gyro sensor 5 in association with the date and time of acquisition.
  • the noise removal unit 113 performs noise removal processing for removing noise in the skeleton point information of the driver output from the skeleton point detection unit 103 .
  • noise refers to a component of movement of the skeleton coordinate points due to vehicle vibration, which is included in the skeleton coordinate point information of the driver.
  • the noise removal unit 113 calculates the motion of the vehicle, in other words, the chronological change in the position of the vehicle, based on the vibration information.
  • the movement of the vehicle here is assumed to be moving in which direction at what timing.
  • the noise removal unit 113 acquires vibration information for a preset time (hereinafter referred to as "vibration determination time") from the storage unit, and determines a time-series change in the motion of the vehicle during the vibration determination time. .
  • the vibration determination time is the same length of time as the length of the period when the spasm detection unit 105 determines the periodicity of the part variation amount.
  • the noise removal unit 113 calculates the movement of the skeletal coordinate points of the driver, in other words, the chronological change in the position of the skeletal coordinate points of the driver, based on the skeletal coordinate point information of the driver.
  • the motion of the skeleton coordinate points is based on the timing and direction of movement of the skeleton coordinate points on the image.
  • the noise removal unit 113 acquires the skeleton coordinate point information for the vibration determination time from the storage unit, and calculates the time-series change of the skeleton coordinate points of the driver during the vibration determination time.
  • the noise removal unit 113 compares the movement of the vehicle with the movement of the skeleton coordinate points of the driver, and determines whether the movement of the vehicle and the movement of the driver's skeleton coordinate points are synchronized. That is, the noise removal unit 113 determines whether or not the skeleton coordinate points of the vehicle and the driver are moving in the same direction at the same timing. Since the installation position and detection range of the gyro sensor 5 and the installation position and the angle of view of the imaging device 2 are known in advance, the noise removal unit 113 detects the movement of the vehicle indicated by the vibration information and the skeleton indicated by the captured image. Correlation with the movement of coordinate points is possible. Note that the noise removal unit 113 determines for each skeleton coordinate point whether or not the movement of the skeleton coordinate point is synchronized with the movement of the vehicle.
  • synchronization is not limited to motions that match completely, but also includes approximate synchronization in which an error within a preset allowable range occurs. For example, if the error between the time-series change in the position of the vehicle and the time-series change in the position of the skeletal coordinate points of the driver is equal to or less than a preset threshold value (for example, 5%), the noise removal unit 113 detects the movement of the vehicle. and the movements of the skeleton coordinate points are synchronized.
  • the error here may be, for example, the average of the errors between the time-series change in the position of the vehicle and the time-series change in the position of the skeletal coordinate points of the driver detected during the vibration determination time.
  • the noise removal unit 113 determines that the position of the vehicle and the position of the skeletal coordinate points of the driver are moving in the same direction at the same timing. In this case, it is determined that the movement of the skeleton coordinate points is caused by the vibration of the vehicle. Then, the noise removing unit 113 obtains the difference between the skeleton coordinate point information of the driver for the time for vibration determination and the vibration information for the time for vibration determination. The noise elimination unit 113 outputs the skeleton coordinate point information of the driver for the vibration determination time after taking the difference to the spasm detection unit 105 . When the movement of the vehicle and the movement of the skeleton coordinate points are synchronized, the difference between the skeleton coordinate point information of the driver for the time for vibration determination and the vibration information for the time for vibration determination is almost zero.
  • the noise removal unit 113 determines that the position of the vehicle and the position of the skeletal coordinate points of the driver move in the same direction at the same timing. If not, it is determined that the movement of the skeletal coordinate points of the driver is not caused by vehicle vibration. That is, the noise removal unit 113 determines that the movement of the skeletal coordinate points of the driver is highly likely to be caused by the convulsions of the driver. The noise removal unit 113 outputs the skeleton coordinate point information of the driver for the vibration determination time to the spasm detection unit 105 as it is.
  • the convulsion detection unit 105 detects convulsions of the driver based on the skeletal coordinate point information of the driver for the vibration determination time output from the noise removal unit 113 .
  • the noise removal unit 113 determines whether noise removal should be performed based on whether the movement of the vehicle and the movement of the skeleton coordinate points of the driver are synchronized. , this is just an example.
  • the noise removal unit 113 may determine whether noise removal should be performed based on whether the movement of the passenger's skeleton coordinate points and the movement of the driver's skeleton coordinate points are synchronized.
  • the physical condition abnormality determination device 1 c does not necessarily need to be connected to the gyro sensor 5 . Further, the physical condition abnormality determination device 1c can be configured without the vibration information acquisition unit 112 .
  • the skeletal point detection unit 103 detects not only the driver but also a passenger other than the driver in the vehicle interior. Detect skeletal coordinate points that indicate the part of Since the installation position and the angle of view of the imaging device 2 are known, the skeleton point detection unit 103 can identify which seat the detected skeleton coordinate point belongs to.
  • the skeletal point detection unit 103 stores the detected skeletal coordinate point information in the storage unit in association with the date and time of detection and information that can identify the occupant.
  • the information that can identify the occupant is, for example, information that can identify the seat on which the occupant is seated. In the following description, passengers other than the driver are also referred to as "fellow passengers".
  • the noise removal unit 113 calculates the movement of the skeletal coordinate points of the fellow passenger, in other words, the chronological change in the positions of the skeletal coordinate points of the fellow passenger.
  • the noise removal unit 113 acquires the information on the skeletal coordinate points of the fellow passenger for the time for vibration determination from the storage unit, and calculates the time series change of the skeletal coordinate points of the fellow passenger for the time for vibration determination.
  • the noise removal unit 113 calculates the movement of the skeletal coordinate points of the driver, in other words, the chronological change in the position of the skeletal coordinate points of the driver, based on the skeletal coordinate point information.
  • the noise removal unit 113 compares the movements of the passenger's skeleton coordinate points and the movements of the driver's skeleton coordinate points to determine whether the movements of the fellow passenger's skeleton coordinate points and the movements of the driver's skeleton coordinate points are synchronized. determine whether or not In other words, the noise removal unit 113 determines whether or not the passenger's skeleton coordinate point and the driver's skeleton coordinate point are moving in the same direction at the same timing. The noise removal unit 113 determines for each skeleton coordinate point whether or not the movement of the driver's skeleton coordinate point is synchronized with the movement of the passenger's skeleton coordinate point.
  • the noise removing unit 113 detects when the movement of the passenger's skeleton coordinate points and the movement of the driver's skeleton coordinate points are synchronized, in other words, the positions of the passenger's skeleton coordinate points and the positions of the driver's skeleton coordinate points are If they are moving in the same direction at the same timing, it is determined that the movement of the skeletal coordinate points of the driver is caused by vibration of the vehicle. Then, the noise removal unit 113 obtains the difference between the skeleton coordinate point information of the driver for the time for vibration determination and the skeleton coordinate point information for the fellow passenger for the time for vibration determination. The noise removal unit 113 outputs the skeletal coordinate point information of the driver for the vibration determination time after taking the difference to the spasm detection unit 105 .
  • the driver's skeleton coordinate point information for the vibration judgment time and the fellow passenger's skeleton coordinate point information for the vibration judgment time difference is almost zero.
  • the noise removal unit 113 will do not move in the same direction at the same timing, it is determined that the movement of the driver's skeleton coordinate points is not caused by vibration of the vehicle. That is, the noise removal unit 113 determines that the movement of the skeletal coordinate points of the driver is highly likely to be caused by the convulsions of the driver.
  • the noise removal unit 113 outputs the skeleton coordinate point information of the driver for the vibration determination time to the spasm detection unit 105 as it is.
  • the physical condition abnormality determination device 1c according to the fourth embodiment also performs calibration processing, like the physical condition abnormality determination device 1a according to the second embodiment. Since the details of the calibration process have already been explained, duplicate explanations will be omitted.
  • FIG. 14 is a flow chart for explaining an example of the operation of determining an abnormality in physical condition of the driver by the abnormality determining device 1c according to the fourth embodiment.
  • the physical condition abnormality determination device 1c performs calibration processing before performing the operation shown in the flowchart of FIG. In other words, the operations described using the flowchart of FIG. 3 in the first embodiment are performed before the operations illustrated in the flowchart of FIG. 14 are performed.
  • the noise elimination unit 113 determines whether or not noise elimination should be performed depending on whether the movement of the vehicle and the movement of the skeleton coordinate points of the driver are synchronized. or not.
  • the physical condition abnormality determination device 1c performs the operation shown in the flowchart of FIG. 14 .
  • the processing from step ST1111 to step ST1117 and the processing from step ST1118 to step ST1120 are performed in parallel.
  • the processing of step ST1117 is performed in parallel.
  • the operation shown in the flowchart of FIG. 14 is repeated until, for example, the power of the vehicle is turned off when the controller notifies that the calibration process has been completed.
  • the specific contents of the processes of steps ST1111 to ST1114, ST1117, and steps ST1118 to ST1122 are the steps ST11 to ST15 and ST16 of FIG. 9 already explained in the second embodiment, respectively. Since the specific contents of the processing of to step ST20 are the same, redundant description is omitted.
  • Vibration information acquisition section 112 acquires vibration information from gyro sensor 5 (step ST1115).
  • the vibration information acquisition unit 112 outputs the acquired vibration information to the noise elimination unit 113 . Further, the vibration information acquisition unit 112 causes the storage unit to store the vibration information acquired from the gyro sensor 5 in association with the date and time of acquisition.
  • the noise removal section 113 performs noise removal processing to remove noise from the skeleton point information output from the skeleton point detection section 103 in step ST1115 (step ST1116).
  • step ST1117 the convulsions detection section 105 detects convulsions of the driver based on the skeletal coordinate point information of the driver for the vibration determination time output from the noise removal section 113 in step ST1116.
  • step ST1112 in the flowchart of FIG. 14 can be omitted.
  • step ST1114 the processing is performed in the order of step ST1114 and step ST1115, but this is only an example.
  • the order in which the process of step ST1114 is performed and the order in which the process of step ST1115 is performed may be reversed. Further, for example, the process of step ST1115 may be performed in parallel with the process of step ST1111.
  • An example of the operation shown in the flowchart of FIG. 14 is one in which the noise removal unit 113 determines whether noise removal should be performed based on whether the movement of the vehicle and the movement of the skeleton coordinate points of the driver are synchronized.
  • This is an example of the operation of the physical condition abnormality determination device 1c in the case of .
  • the operation of the physical condition abnormality determination device 1c can omit the processing of step ST1115 in the flowchart of FIG.
  • skeletal point detection section 103 detects skeletal coordinate points indicating body parts of the occupant present in the vehicle interior on the captured image based on the captured image acquired by captured image acquisition section 101 in step ST1111. .
  • the hardware configuration of the physical condition abnormality determination device 1c according to Embodiment 4 is the same as the hardware configuration of the physical condition abnormality determination device 1 described with reference to FIGS. 7A and 7B in Embodiment 1, so illustration is omitted. do.
  • the functions of the biological information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the vibration information acquisition unit 112, the noise removal unit 113, and the control unit are realized by the processing circuit 1001. .
  • the physical condition determination device 1c is a processing circuit for determining whether or not the driver is in an abnormal physical condition based on the captured image obtained from the imaging device 2 and the biological information obtained from the biological sensor 4. 1001.
  • the processing circuit 1001 reads and executes a program stored in the memory 1005 to obtain a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, and a convulsion detection.
  • a memory 1005 is provided for storing programs.
  • the programs stored in the memory 1005 include a captured image acquisition unit 101, a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106,
  • the procedure or method of the output unit 107, the biological information acquisition unit 108, the pulse-related information detection unit 109, the abnormal pulse detection unit 110, the vibration information acquisition unit 112, the noise removal unit 113, and the control unit can be performed by a computer.
  • the physical condition abnormality determination device 1c includes devices such as an imaging device 2, an output device 3, a biosensor 4, or a gyro sensor 5, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • a storage unit (not shown) is composed of the memory 1005 and the like.
  • the occupant is assumed to be an occupant of a vehicle, but this is only an example.
  • the occupants may be occupants of ships, trains, or the like.
  • the physical condition abnormality determination device 1c can determine whether or not the occupants of various moving bodies have an abnormality in physical condition.
  • the physical condition abnormality determination device 1c is an in-vehicle device mounted in a vehicle, and includes the captured image acquisition unit 101, the head position detection unit 102, the skeleton point detection unit 103, and the posture collapse detection unit.
  • the information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the vibration information acquisition unit 112, the noise removal unit 113, and the control unit are mounted on the onboard device of the vehicle. and others are provided in a server connected to the in-vehicle device via a network, and the in-vehicle device and the server may constitute the physical condition abnormality determination system.
  • a captured image acquisition unit 101 a head position detection unit 102, a skeleton point detection unit 103, a posture collapse detection unit 104, a spasm detection unit 105, a determination unit 106, an output unit 107, and a biological information acquisition unit 108, the pulse-related information detection unit 109, the pulse abnormality detection unit 110, the vibration information acquisition unit 112, the noise removal unit 113, and the control unit (not shown) may all be provided in the server.
  • the abnormality determination device 1c according to the fourth embodiment has a noise removal function added to the abnormality determination device 1a according to the second embodiment, this is merely an example.
  • the content of the above fourth embodiment can be applied to the first and third embodiments. That is, a noise removal function can be added to the physical condition abnormality determination device 1 according to the first embodiment.
  • the vibration information acquisition unit 112 and the noise elimination unit 113 are added to the configuration example of the physical condition abnormality determination device 1 shown in FIG.
  • the physical condition abnormality determination device 1 is also connected to the gyro sensor 5 . It should be noted that the physical condition abnormality determination device 1 may not include the vibration information acquisition unit 112 and may not be connected to the gyro sensor 5 .
  • a noise removal function can be added to the physical condition abnormality determination device 1b according to the third embodiment.
  • the vibration information acquisition unit 112 and the noise removal unit 113 are added to the configuration example of the physical condition abnormality determination device 1b shown in FIG.
  • the physical condition abnormality determination device 1b is connected to the gyro sensor 5 .
  • the physical condition abnormality determination device 1 b may be configured so as not to include the vibration information acquisition unit 112 and not to be connected to the gyro sensor 5 .
  • the physical condition abnormality determination device 1c based on the vibration information acquisition unit 112 that acquires vibration information about the vibration of the mobile body, and the skeletal coordinate point information and the vibration information of the occupant, and a noise removal unit 113 for removing noise included in the occupant's skeleton coordinate point information. was configured to detect spasms of Therefore, the physical condition determination device 1c determines the physical condition of the occupant based on the convulsions of the occupant detected in consideration of the vibration of the vehicle (moving body). can.
  • the skeletal point detection unit 103 detects skeletal coordinate points indicating the body parts of fellow passengers other than the occupant on the captured image. is detected, and based on the skeletal coordinate point information of the occupant and the skeletal coordinate point information of the fellow passenger, a noise removal unit 113 is provided to remove noise contained in the skeletal coordinate point information of the occupant.
  • the convulsions of the occupant are detected based on the skeletal coordinate point information of the occupant after the noise removal unit 113 has removed the noise. Therefore, the physical condition determination device 1c determines the physical condition of the occupant based on the convulsions of the occupant detected in consideration of the vibration of the vehicle (moving body). can.
  • the physical condition determination device of the present disclosure can determine a passenger's physical condition that does not involve a large change in posture.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動体の乗員の少なくとも顔を撮像した撮像画像に基づいて検出された撮像画像における乗員の頭位置に基づき、乗員の姿勢崩れを検出する姿勢崩れ検出部（１０４）と、撮像画像に基づき、撮像画像上で乗員の身体の部位を示す骨格座標点を検出する骨格点検出部（１０３）と、骨格点検出部（１０３）が検出した骨格座標点に関する骨格座標点情報に基づき、乗員の痙攣を検出する痙攣検出部（１０５）と、乗員の姿勢崩れが検出されず、乗員の痙攣が検出された場合、乗員は体調異常であると判定する判定部（１０６）とを備えた。

Description

体調異常判定装置および体調異常判定方法
　本開示は、体調異常判定装置および体調異常判定方法に関するものである。
　移動体の乗員が、突然、脳血管疾患、心疾患、または、てんかん等による発作を起こし、体調異常に陥ることがある。乗員が体調異常に陥った場合、当該体調異常が身体の動きにあらわれることがある。例えば、乗員が体調異常に陥った場合に起こる身体の動きの一つとして、乗員の姿勢が大きく傾く姿勢崩れが考えられる。従来、この点に着目し、乗員が体調異常に陥っていることを判定する技術が知られている。
　例えば、特許文献１には、車両のドライバの頭部の傾き等に基づいてドライバの姿勢崩れを検出し、当該姿勢崩れが検出された場合に、ドライバが運転不能状態であるとするドライバの運転不能状態検出装置が開示されている。
特開２０１６－９２５７号公報
　乗員の体調異常には、姿勢崩れといえるほどの大きな姿勢の変化を伴わないものもある。特許文献１に開示されているような従来技術では、このことが考慮されていないため、乗員が、姿勢崩れといえるほどの大きな姿勢の変化を伴わない体調異常に陥った場合に、体調異常であることを判定できない可能性があるという課題があった。
　本開示は上記のような課題を解決するためになされたもので、大きな姿勢の変化を伴わない乗員の体調異常を判定することができる体調異常判定装置を提供することを目的とする。
　本開示に係る体調異常判定装置は、移動体の乗員の少なくとも顔を撮像した撮像画像に基づいて検出された撮像画像における乗員の頭位置に基づき、乗員の姿勢崩れを検出する姿勢崩れ検出部と、撮像画像に基づき、撮像画像上で乗員の身体の部位を示す骨格座標点を検出する骨格点検出部と、骨格点検出部が検出した骨格座標点に関する骨格座標点情報に基づき、乗員の痙攣を検出する痙攣検出部と、乗員の姿勢崩れが検出されず、乗員の痙攣が検出された場合、乗員は体調異常であると判定する判定部とを備えたものである。
　本開示によれば、大きな姿勢の変化を伴わない乗員の体調異常を判定することができる。
実施の形態１に係る体調異常判定装置の構成例を示す図である。 図２Ａ、図２Ｂ、および、図２Ｃは、人が体調異常に陥っていない状態である場合の当該人のパーツ変化量および当該パーツ変化量の周期性と、当該人が痙攣を起こしている場合の当該人のパーツ変化量および当該パーツ変化量の周期性の違いの一例を説明するための図である。 実施の形態１に係る体調異常判定装置による、キャリブレーション処理の動作の一例を説明するためのフローチャートである。 実施の形態１に係る体調異常判定装置による、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。 図４のステップＳＴ３における、姿勢崩れ検出部による姿勢崩れ検出処理の詳細な動作について説明するためのフローチャートである。 図４のステップＳＴ５における、痙攣検出部による痙攣検出処理の詳細な動作について説明するためのフローチャートである。 図７Ａおよび図７Ｂは、実施の形態１に係る体調異常判定装置のハードウェア構成の一例を示す図である。 実施の形態２に係る体調異常判定装置の構成例を示す図である。 実施の形態２に係る体調異常判定装置による、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。 図９のステップＳＴ１８における、脈拍異常検出部による脈拍異常検出処理の詳細な動作について説明するためのフローチャートである。 実施の形態３に係る体調異常判定装置の構成例を示す図である。 実施の形態３に係る体調異常判定装置による、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。 実施の形態４に係る体調異常判定装置の構成例を示す図である。 実施の形態４に係る体調異常判定装置による、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る体調異常判定装置１の構成例を示す図である。
　実施の形態１に係る体調異常判定装置１は、車両（図示省略）に搭載されることを想定している。体調異常判定装置１は、撮像装置２および出力装置３と接続される。
　撮像装置２は、車両に搭載されている。撮像装置２は、例えば、車両のインストルメントパネルの中央部またはメータパネル等に、車室内をモニタリングすることを目的に設置される。撮像装置２は、少なくとも乗員の顔を撮像可能に設置されている。実施の形態１では、撮像装置２は、いわゆるＰＭＳ（Ｐａｓｓｅｎｇｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）と共用のものを想定している。
　撮像装置２は、可視光カメラ、または、赤外線カメラである。撮像装置２が赤外線カメラである場合、赤外線カメラには、乗員の顔を含む範囲に対して撮像用の赤外線を照射する光源（図示省略）が設けられている。この光源は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）により構成される。
　なお、図１では、撮像装置２は車両に１台のみ設置されることとしているが、これは一例に過ぎない。撮像装置２は、車両に複数台設置されてもよい。
　撮像装置２は、撮像した画像（以下「撮像画像」という。）を、体調異常判定装置１に出力する。
　体調異常判定装置１は、撮像装置２が撮像した撮像画像に基づき、車両の乗員が体調異常であるか否かを判定する。実施の形態１では、車両の乗員は、車両のドライバを想定している。体調異常判定装置１は、ドライバが体調異常であると判定すると、出力装置３に、ドライバは体調異常である旨の情報（以下「体調異常判定情報」という。）を、出力する。
　実施の形態１において、体調異常とは、事前に予測ができない体調急変のことをいう。体調異常の具体例として、例えば、脳血管疾患、心疾患、または、てんかん等の発作が挙げられる。ドライバが体調異常に陥ると、運転不能となる。つまり、ドライバの体調異常は、車両の正常な運転の妨げとなり、不測の事態に陥る原因となりやすい。体調異常判定装置１は、ドライバの体調異常を判定し、体調異常判定情報を出力することで、ドライバを含む車両の乗員または車両周辺の人等に対し、ドライバが体調異常に陥っていることを知らせ、不測の事態に陥ることを未然に防ぐための支援の一助とできる。
　出力装置３は、例えば、車両に搭載されているスピーカ（図示省略）である。出力装置３は、例えば、体調異常判定装置１の外部の、救助システム（図示省略）が備えるサーバ（図示省略）であってもよい。また、例えば、車両が自動運転車両である場合、出力装置３は自動運転制御装置（図示省略）であってもよい。
　出力装置３がスピーカである場合、例えば、体調異常判定装置１は、出力装置３に体調異常判定情報を出力することで、出力装置３から警報音を出力させる。これにより、体調異常判定装置１は、車室内の乗員、または、車両周辺の人等に、ドライバは体調異常であることを知らせる。また、出力装置３がサーバである場合、例えば、体調異常判定装置１は、出力装置３に体調異常判定情報を出力することで、救助要請を行う。また、出力装置３が自動運転制御装置である場合、例えば、体調異常判定装置１は、出力装置３に体調異常判定情報を出力することで、自動運転制御装置に対して、車両を停止させる、または、路肩に寄せる等の運転支援を行わせることができる。
　体調異常判定装置１は、撮像画像取得部１０１、頭位置検出部１０２、骨格点検出部１０３、姿勢崩れ検出部１０４、痙攣検出部１０５、判定部１０６、および、出力部１０７を備える。
　撮像画像取得部１０１は、撮像装置２から撮像画像を取得する。
　撮像画像取得部１０１は、取得した撮像画像を、頭位置検出部１０２および骨格点検出部１０３に出力する。
　また、撮像画像取得部１０１は、取得した撮像画像を、当該撮像画像の取得日時と対応付けて、図示しない記憶部に記憶させる。記憶部は、体調異常判定装置１に備えられてもよいし、体調異常判定装置１の外部の、体調異常判定装置１が参照可能な場所に備えられてもよい。
　頭位置検出部１０２は、撮像画像取得部１０１が取得した撮像画像に基づき、撮像画像におけるドライバの頭位置を検出する。
　実施の形態１において、頭位置とは、詳細には、撮像画像上の顔領域の中心をいう。顔領域は、撮像画像上で、輪郭、眉、目、鼻、または、口等の顔の部位を全て含む領域である。実施の形態１では、顔領域は、例えば、撮像画像上で顔の輪郭を囲む最小矩形領域とする。
　頭位置検出部１０２は、例えば、Ｈａａｒ－Ｌｉｋｅ検出器にＡｄａｂｏｏｓｔまたはＣａｓｅｃａｄｅを組み合わせた既知の一般的なアルゴリズムによる顔検出器を用いて、ドライバの顔領域を検出する。当該顔検出器は、大量の顔画像データを事前に学習済みである。また、例えば、頭位置検出部１０２は、いわゆるモデルフィッティングまたはＥｌａｓｔｉｃ　Ｂｕｎｃｈ　Ｇｒａｐｈ　Ｍａｔｃｈｉｎｇ等の一般的な手法を用いて、ドライバの顔領域を検出してもよい。頭位置検出部１０２は、撮像画像に基づき、既知の種々の顔認識技術を用いて、ドライバの顔領域を検出できる。
　頭位置検出部１０２は、ドライバの顔領域を検出すると、当該顔領域の中心を、ドライバの頭位置とする。なお、実施の形態１において、頭位置および顔領域は、撮像画像上の座標であらわされる。顔領域は、例えば、当該顔領域の矩形の四隅の点の座標であらわされる。
　頭位置検出部１０２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、姿勢崩れ検出部１０４に出力する。頭位置情報は、撮像画像におけるドライバの頭位置の座標情報を含む。頭位置情報は、撮像画像における顔領域の座標情報を含んでもよい。
　頭位置情報は、例えば、撮像画像上のドライバの頭位置の座標と顔領域の座標とが対応付けられた情報でもよいし、ドライバの頭位置を特定可能な情報が付与された撮像画像（以下「頭位置付撮像画像」という。）でもよい。
　なお、ここでは、体調異常判定装置１が頭位置検出部１０２を備えているが、これは一例に過ぎない。体調異常判定装置１は頭位置検出部１０２を備えることを必須としない。頭位置検出部１０２は、体調異常判定装置１の外部の、体調異常判定装置１が参照可能な場所に備えられてもよい。
　例えば、撮像装置２が頭位置検出部１０２を備えていてもよい。この場合、撮像装置２が、頭位置付撮像画像を、体調異常判定装置１に出力する。撮像画像取得部１０１は、撮像装置２から出力された頭位置付撮像画像を取得し、取得した頭位置付撮像画像を、姿勢崩れ検出部１０４および骨格点検出部１０３に出力する。
　骨格点検出部１０３は、撮像画像取得部１０１が取得した撮像画像に基づき、撮像画像上でドライバの身体の部位を示す骨格座標点を検出する。より詳細には、骨格点検出部１０３は、撮像画像取得部１０１が取得した撮像画像に基づき、ドライバの身体の部位ごとに決められた骨格点を示す、ドライバの骨格座標点を検出する。
　具体的には、骨格点検出部１０３は、ドライバの骨格座標点の座標と、当該骨格座標点がドライバの身体のどの部位を示す骨格座標点であるかを検出する。骨格座標点は、撮像画像における点であり、撮像画像における座標であらわされる。
　骨格点検出部１０３が、身体のどの部位を示す骨格座標点を検出するかは、予め決められている。骨格点検出部１０３は、例えば、両手、両肘、両肩、首、頭、腰、または、両膝を示す骨格座標点を検出する。なお、実施の形態１では、骨格点検出部１０３は、ドライバの、複数の骨格座標点を検出することを想定している。
　骨格点検出部１０３は、公知の技術を用いてドライバの骨格座標点を検出すればよい。例えば、骨格点検出部１０３は、機械学習における学習済みのモデル（以下「機械学習モデル」という。）を用いて、ドライバの骨格座標点に関する情報を得ることで、ドライバの骨格座標点を検出する。
　機械学習モデルは、車両の乗員が撮像された撮像画像を入力とし、撮像画像における骨格座標点を示す情報を出力する機械学習モデルである。骨格座標点を示す情報には、撮像画像における骨格座標点の座標、および、当該骨格座標点が身体のどの部位を示す骨格座標点であるかを特定可能な情報が含まれる。
　機械学習モデルは、予め、入力と教師ラベルのデータの組み合わせに基づいて生成された学習用データに従って、いわゆる教師あり学習により、入力に対する結果を推定するよう構築される。ここでは、機械学習モデルは、入力を撮像画像、教師ラベルを骨格座標点に関する情報とする学習用データに従って、撮像画像に対する骨格座標点に関する情報を出力するよう学習する。なお、機械学習モデルは、撮像画像における複数の骨格座標点に関する情報を出力するよう学習している。
　機械学習モデルは、予め、骨格点検出部１０３が参照可能な場所に記憶されている。
　骨格点検出部１０３は、検出した骨格座標点に関する情報（以下「骨格座標点情報」という。）を、痙攣検出部１０５に出力する。骨格座標点情報は、撮像画像における骨格座標点の座標情報、および、当該骨格座標点が身体のどの部位を示す骨格座標点であるかを特定可能な情報を含む。
　骨格座標点情報は、例えば、骨格座標点を特定可能な情報と撮像画像上のドライバの各骨格座標点の座標とが対応付けられた情報でもよいし、ドライバの各骨格座標点を特定可能な情報が付与された撮像画像（以下「骨格点付撮像画像」という。）でもよい。
　姿勢崩れ検出部１０４は、頭位置検出部１０２から出力された頭位置情報に基づき、ドライバの姿勢崩れを検出する。なお、実施の形態１において、「姿勢崩れ」とは、突っ伏し、うつむき、仰け反り、エビ反り、首のみ横倒れ、横倒れ、または、横もたれ等の大きな姿勢の変化を想定している。実施の形態１において、姿勢崩れ検出部１０４が行う、ドライバの姿勢崩れを検出する処理を、「姿勢崩れ検出処理」という。
　姿勢崩れ検出部１０４は、姿勢崩れ検出処理において、まず、ドライバの頭位置の変化量（以下「姿勢変化量」という。）を検出する。具体的には、姿勢崩れ検出部１０４は、頭位置情報から特定されるドライバの頭位置と基準値（以下「頭部基準値」という。）との差分を、ドライバの姿勢変化量として検出する。頭部基準値は、ドライバが体調異常に陥っていない状態、言い換えれば、正常状態におけるドライバの頭位置、と想定される頭位置の値（詳細には、撮像画像上の座標）である。
　頭部基準値は、姿勢崩れ検出部１０４による姿勢崩れ検出処理に先立ち、体調異常判定装置１が行うキャリブレーション処理にて設定されている。
　体調異常判定装置１は、キャリブレーション処理にて、ドライバの頭位置のキャリブレーションを行い、頭部基準値を設定する。当該キャリブレーション処理において設定された頭部基準値は、姿勢崩れ検出部１０４が参照可能な場所に記憶される。キャリブレーション処理の詳細については、後述する。
　姿勢崩れ検出部１０４は、頭位置検出部１０２から頭位置情報が出力される都度、ドライバの姿勢変化量を検出する。姿勢崩れ検出部１０４は、ドライバの姿勢変化量を検出する都度、検出した姿勢変化量を、検出日時と対応付けて記憶部に記憶させる。
　そして、姿勢崩れ検出部１０４は、検出したドライバの姿勢変化量が予め設定された閾値（以下「姿勢判定用閾値」という。）以上である状態が、予め設定された時間（以下「姿勢判定用時間」という。）継続しているか否かを判定する。なお、姿勢判定用閾値および姿勢判定用時間は、予め管理者等によって設定され、姿勢崩れ検出部１０４が参照可能な場所に記憶されている。姿勢判定用閾値および姿勢判定用時間は、適宜設定可能である。姿勢判定用時間は、例えば、１０秒である。
　姿勢崩れ検出部１０４は、ドライバの姿勢変化量が姿勢判定用閾値以上である状態が姿勢判定用時間継続した場合、ドライバの姿勢崩れを検出する。すなわち、姿勢崩れ検出部１０４は、ドライバの姿勢崩れありとする。
　姿勢崩れ検出部１０４は、ドライバの姿勢変化量が姿勢判定用閾値以上である状態が姿勢判定用時間継続していない場合、ドライバの姿勢崩れを検出しない。すなわち、姿勢崩れ検出部１０４は、ドライバの姿勢崩れなしとする。
　姿勢崩れ検出部１０４は、ドライバの姿勢崩れを検出した場合、ドライバの姿勢崩れを検出した旨の情報（以下「姿勢崩れ有情報」という。）を、判定部１０６に出力する。例えば、姿勢崩れ有情報には、ドライバの姿勢変化量の情報が含まれていてもよい。
　姿勢崩れ検出部１０４は、ドライバの姿勢崩れを検出しなかった場合は、ドライバの姿勢崩れを検出しなかった旨の情報（以下「姿勢崩れ無情報」という。）を、判定部１０６に出力する。
　痙攣検出部１０５は、骨格点検出部１０３から出力された骨格座標点情報に基づき、ドライバの痙攣を検出する。実施の形態１において、痙攣検出部１０５が行う、ドライバの痙攣を検出する処理を、「痙攣検出処理」という。
　一般に、「痙攣」とは、筋肉が急激に不随意に収縮する発作のことをいう。痙攣は、全身または一部の筋肉に起こる。痙攣にはいくつか種類があるとされているが、大きく分けると、痙攣の種類として、間代性痙攣、強直性痙攣、および、強直間代性痙攣の３種類が挙げられる。間代性痙攣は、ガタガタと手、首、頭、または、足等が屈伸を繰り返すように動く痙攣をいい、強直性痙攣は、手足を硬直させる痙攣をいい、強直間代性痙攣は、間代性痙攣と強直性痙攣とを組み合わせた痙攣をいう。実施の形態１において、痙攣検出部１０５が検出する痙攣は、間代性痙攣、または、強直間代性痙攣を想定している。人は、てんかん発作を起こした場合、痙攣を伴うことが多いと言われている。すなわち、痙攣を起こしている場合、人は体調異常に陥っている可能性が高く、痙攣も体調異常といえる。
　人が痙攣を起こした場合、身体の部位の位置が動く。しかし、痙攣による身体の部位の位置の動きは、姿勢崩れの場合の身体の部位の位置の動きほど大きくはない。すなわち、一般に、人が痙攣を起こした場合、姿勢崩れといえるほどの大きな姿勢の変化はみられない。
　痙攣検出部１０５は、姿勢崩れといえるほどの大きな姿勢の変化は伴わないが、姿勢崩れ同様、体調異常であるといえる痙攣を、検知する。
　痙攣検出部１０５は、痙攣検出処理において、まず、ドライバの骨格座標点の変化量（以下「パーツ変化量」という。）を検出する。具体的には、痙攣検出部１０５は、骨格座標点情報から特定されるドライバの骨格座標点と基準値（以下「パーツ基準値」という。）との差分を、ドライバのパーツ変化量として検出する。パーツ基準値は、ドライバが体調異常に陥っていない状態、言い換えれば、正常状態におけるドライバの骨格座標点、と想定される骨格座標点の値（詳細には、撮像画像上の座標）である。なお、痙攣検出部１０５は、各骨格座標点に対して、対応するパーツ基準値との差分であるパーツ変化量を検出する。
　パーツ基準値は、痙攣検出部１０５による痙攣検出処理に先立ち、体調異常判定装置１が行うキャリブレーション処理にて設定されている。なお、体調異常判定装置１は、キャリブレーション処理にて、上述の頭部基準値を設定するとともに、パーツ基準値の設定も行う。
　体調異常判定装置１は、キャリブレーション処理にて、ドライバの骨格座標点のキャリブレーションを行い、パーツ基準値を設定する。このとき、体調異常判定装置１は、骨格座標点ごとに、パーツ基準値を設定する。当該キャリブレーション処理において設定されたパーツ基準値は、当該パーツ基準値がどの骨格座標点のパーツ基準値であるかが特定可能な情報と対応付けられて、痙攣検出部１０５が参照可能な場所に記憶される。キャリブレーション処理の詳細については、後述する。
　痙攣検出部１０５は、骨格点検出部１０３からドライバの骨格座標点情報が出力される都度、ドライバのパーツ変化量を検出する。痙攣検出部１０５は、ドライバのパーツ変化量を検出する都度、検出したパーツ変化量を、検出日時と対応付けて記憶部に記憶させる。
　そして、痙攣検出部１０５は、検出したドライバのパーツ変化量が予め設定された閾値（以下「痙攣判定用閾値」という。）以上であり、かつ、ドライバのパーツ変化量の周期性が痙攣の周期性であるか否かを判定する。なお、痙攣判定用閾値、および、痙攣の周期性であるとみなすパーツ変化量の周期性に関する情報は、予め管理者等によって設定され、痙攣検出部１０５が参照可能な場所に記憶されている。なお、痙攣検出部１０５は、ドライバのパーツ変化量の周期性を、記憶部に記憶されているドライバのパーツ変化量から判定できる。記憶部には、時系列のパーツ変化量が記憶されている。痙攣検出部１０５が、過去どれぐらいの期間のパーツ変化量を用いてドライバのパーツ変化量の周期性を判定するかは、予め決められている。
　痙攣検出部１０５は、ドライバのパーツ変化量が痙攣判定用閾値以上であり、かつ、時系列のドライバのパーツ変化量の周期性が痙攣の周期性である場合、ドライバの痙攣を検出する。すなわち、痙攣検出部１０５は、ドライバの痙攣ありとする。
　なお、痙攣検出部１０５は、例えば、複数のドライバの骨格座標点のうち、パーツ変化量が痙攣判定用閾値以上であり、かつ、時系列のパーツ変化量の周期性が痙攣の周期性である骨格座標点が１つでもあれば、ドライバの痙攣を検出する。
　痙攣検出部１０５は、全てのドライバの骨格座標点について、パーツ変化量が痙攣判定用閾値未満である場合、または、時系列のパーツ変化量の周期性が痙攣の周期性ではない場合、ドライバの痙攣を検出しない。すなわち、痙攣検出部１０５は、ドライバの痙攣なしとする。
　ここで、図２Ａ、図２Ｂ、および、図２Ｃは、人が体調異常に陥っていない状態、言い換えれば、正常状態である場合の当該人のパーツ変化量および当該パーツ変化量の周期性と、当該人が痙攣を起こしている場合の当該人のパーツ変化量および当該パーツ変化量の周期性の違いの一例を説明するための図である。
　図２Ａおよび図２Ｂは、人が正常状態である場合の当該人のパーツ変化量および当該パーツ変化量の周期性を示す図であり、図２Ｃは、人が痙攣を起こしている場合の当該人のパーツ変化量および当該パーツ変化量の周期性を示す図である。
　図２Ａ、図２Ｂ、および、図２Ｃにおいて、縦軸はパーツ変化量を示し、横軸は時間を示している。
　図２Ａおよび図２Ｂに示すように、人が正常状態である場合、パーツ変化量（言い換えれば振幅）はそれほど大きくならず、当該パーツ変化量に周期性はみられない。これに対し、人が痙攣を起こしている場合、図２Ｃに示すように、パーツ変化量（言い換えれば振幅）が大きくなり、周期的になる。このときの波長（周期）は短い。
　このように、人が痙攣を起こすと、当該人のパーツ変化量が、大きく姿勢が変化するほどとはいえないものの、ある程度大きくなり、かつ、パーツ変化量が周期的になる。これに基づいて、痙攣検出部１０５は、ドライバのパーツ変化量が痙攣判定用閾値以上であり、かつ、ドライバのパーツ変化量の周期性が痙攣の周期性である場合、ドライバの痙攣を検出する。
　なお、痙攣判定用閾値には、図２Ｃに示したような、人が痙攣を起こした場合に想定されるパーツ変化量、に基づく値が設定されている。また、痙攣の周期性に関する情報には、図２Ｃに示したような、人が痙攣を起こした場合に想定されるパーツ変化量の周期性に関する情報が設定されている。
　なお、痙攣検出部１０５がドライバの痙攣を検出する際の、ドライバのパーツ変化量の周期性と痙攣の周期性とは、完全に一致することに限定されない。痙攣検出部１０５は、予め設定されている許容範囲内であれば、ドライバのパーツ変化量の周期性と痙攣の周期性との間にズレがある略一致であったとしても、ドライバのパーツ変化量の周期性と痙攣の周期性とが一致するとみなしてよい。
　痙攣検出部１０５は、ドライバの痙攣を検出した場合、ドライバの痙攣を検出した旨の情報（以下「痙攣有情報」という。）を、判定部１０６に出力する。例えば、痙攣有情報には、ドライバの時系列のパーツ変化量の情報が含まれていてもよい。
　痙攣検出部１０５は、ドライバの痙攣を検出しなかった場合、ドライバの痙攣を検出しなかった旨の情報（以下「痙攣無情報」という。）を、判定部１０６に出力する。
　判定部１０６は、姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、および、痙攣検出部１０５がドライバの痙攣を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する。すなわち、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ有情報が出力されたか否か、および、痙攣検出部１０５から痙攣有情報が出力されたか否かに基づいて、ドライバは体調異常であるか否かを判定する。
　具体的には、判定部１０６は、予め設定されている条件（以下「体調異常判定用条件」という。）に基づいて、ドライバは体調異常であるか否かを判定する。判定部１０６は、体調異常判定用条件を満たしている場合、ドライバは体調異常であると判定する。判定部１０６は、体調異常判定用条件を満たしていなければ、ドライバは体調異常ではないと判定する。
　体調異常判定用条件は、予め管理者等によって設定され、判定部１０６が参照可能な場所に記憶されている。体調異常判定用条件は適宜設定可能である。体調異常判定用条件には、姿勢崩れが検出されたか否か、および、痙攣が検出されたか否か、に基づいて、ドライバの体調異常が判定可能な条件が設定されていればよい。
　体調異常判定用条件について、具体例を挙げて説明する。
　体調異常判定用条件には、例えば、以下の＜条件１＞または＜条件２＞が設定される。
　＜条件１＞
　「姿勢崩れが検出されず、痙攣が検出されたこと」
　＜条件２＞
　「姿勢崩れと痙攣の両方が検出されたこと」
　例えば、体調異常判定用条件に＜条件１＞が設定されているとする。この場合、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ無情報が出力され、かつ、痙攣検出部１０５から痙攣有情報が出力されれば、ドライバは体調異常であると判定する。
　上述のとおり、痙攣は大きな姿勢の変化を伴わないが、ドライバが当該痙攣を起こしている場合、ドライバは体調異常であるといえる。仮に、判定部１０６が、姿勢崩れが検出されたことのみでドライバが体調異常であるか否かを判定すると、ドライバが痙攣を起していても、体調異常ではないと判定されてしまう可能性がある。
　これに対し、実施の形態１に係る体調異常判定装置１の判定部１０６は、＜条件１＞の体調異常判定用条件によりドライバの体調異常を判定することで、姿勢崩れといえるほどの大きな姿勢の変化を伴わないドライバの体調異常を判定できる。
　ただし、ドライバが、痙攣を起こさず、突然、突っ伏す、または、エビ反りになるような体調異常に陥ることも考えられる。
　そこで、例えば、体調異常判定用条件には、以下の＜条件３＞が設定されていてもよい。
　＜条件３＞
　「姿勢崩れが検出されずに痙攣が検出されたこと、または、痙攣が検出されずに姿勢崩れが検出されたこと」

　体調異常判定用条件に＜条件３＞が設定されている場合、判定部１０６は、姿勢崩れまたは痙攣のいずれか一方が検出された場合に、ドライバは体調異常と判定する。判定部１０６は、大きな姿勢の変化を伴う姿勢崩れを起こしている体調異常と、姿勢崩れといえるほどの大きな姿勢の変化を伴わないドライバの体調異常の両方を考慮して、ドライバが体調異常であるか否かを判定できる。
　例えば、体調異常判定用条件に＜条件２＞が設定されていた場合、判定部１０６は、より確実に、ドライバが体調異常であることを判定できる。
　なお、体調異常判定用条件は、複数の条件を含んでもよい。体調異常判定用条件が複数の条件を含む場合、判定部１０６は、当該複数の条件を組み合わせて、ドライバが体調異常であるか否かを判定してもよい。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。
　なお、判定部１０６は、ドライバが体調異常ではないと判定した場合、ドライバが体調異常ではないと判定した旨の情報（以下「体調異常無情報」という。）を、出力部１０７に出力してもよい。
　出力部１０７は、判定部１０６から出力された体調異常判定情報を、出力装置３に出力する。
　判定部１０６から体調異常無情報が出力された場合、出力部１０７は、体調異常無情報を、出力装置３に出力してもよい。
　また、出力部１０７は、体調異常判定情報または体調異常無情報を、記憶部等の記憶装置に記憶させてもよい。
　なお、出力部１０７の機能は、判定部１０６が有してもよい。
　実施の形態１に係る体調異常判定装置１が行う、キャリブレーション処理の詳細について、説明する。
　車両の走行開始から一定期間は、ドライバは正常状態であると推定される。そこで、体調異常判定装置１は、キャリブレーション処理を行い、車両の走行が開始されてからの一定期間（以下「基準値設定用時間」という。）に取得された撮像画像に基づいて、頭部基準値およびパーツ基準値を設定する。基準値設定用時間は、例えば、１５秒である。
　具体的には、まず、体調異常判定装置１の制御部（図示省略）が、車両の走行が開始されてから基準値設定用時間が経過したか否かを判定する。制御部は、例えば、車速センサ（図示省略）から車速情報を取得し、車速に基づいて、車両の走行が開始されたことを判定すればよい。制御部は、車両の走行が開始されたと判定すると、基準値設定用時間のカウントを開始する。
　制御部は、基準値設定用時間が経過すると、頭位置検出部１０２に対し、頭位置のキャリブレーション指示を出力する。また、制御部は、基準値設定用時間が経過すると、骨格点検出部１０３に対し、骨格座標点のキャリブレーション指示を出力する。
　頭位置検出部１０２は、制御部から頭位置のキャリブレーション指示が出力されると、基準値設定用時間分の撮像画像を取得する。頭位置検出部１０２は、基準値設定用時間分の撮像画像を、記憶部から取得すればよい。なお、例えば、車両の電源がオンにされると、撮像画像取得部１０１は撮像画像の取得を開始し、記憶部に記憶させている。
　そして、頭位置検出部１０２は、取得した各撮像画像に対して、ドライバの頭位置の検出を行い、検出したドライバの頭位置に基づいて、ドライバの頭部基準値を設定する。なお、頭位置検出部１０２によるドライバの頭位置の検出方法の例については、説明済みであるので、重複した説明を省略する。例えば、頭位置検出部１０２は、検出した頭位置の平均値、最頻値、または、中央値を、頭部基準値に設定する。頭位置検出部１０２は、設定したドライバの頭部基準値を、姿勢崩れ検出部１０４が参照可能な場所に記憶させる。また、頭位置検出部１０２は、頭部基準値の設定を完了した旨を制御部に通知する。
　なお、ここでは、制御部が、基準値設定用時間が経過したと判定したタイミングで、頭位置検出部１０２が、基準値設定用時間分の撮像画像に対してまとめてドライバの頭位置の検出を行うものとしたが、これは一例に過ぎない。例えば、制御部は、車両の走行が開始されるとこれを頭位置検出部１０２に通知し、頭位置検出部１０２は、制御部から車両の走行が開始されたことが通知されると、撮像画像取得部１０１から撮像画像が出力される都度、ドライバの頭位置の検出を行ってもよい。頭位置検出部１０２は、検出したドライバの頭位置に関する頭位置情報を、検出日時と対応付けて記憶部に記憶させておく。基準値設定用時間のカウントは頭位置検出部１０２が行い、頭位置検出部１０２は、基準値設定用時間が経過したと判定すると、記憶部に記憶させておいた頭位置情報を用いて、ドライバの頭部基準値を設定する。このような方法で、ドライバの頭部基準値が設定されてもよい。
　骨格点検出部１０３は、制御部から骨格座標点のキャリブレーション指示が出力されると、基準値設定用時間分の撮像画像を取得する。骨格点検出部１０３は、基準値設定用時間分の撮像画像を、記憶部から取得すればよい。
　そして、骨格点検出部１０３は、取得した各撮像画像に対して、ドライバの骨格座標点の検出を行い、検出したドライバの骨格座標点に基づいて、ドライバのパーツ基準値を設定する。なお、骨格点検出部１０３によるドライバの骨格座標点の検出方法の例については、説明済みであるので、重複した説明を省略する。例えば、骨格点検出部１０３は、検出した骨格座標点の平均値、最頻値、または、中央値を、ドライバのパーツ基準値に設定する。骨格点検出部１０３は、設定したパーツ基準値を、痙攣検出部１０５が参照可能な場所に記憶させる。骨格点検出部１０３は、骨格座標点ごとに、当該骨格座標点の検出、および、ドライバのパーツ基準値の設定を行う。骨格点検出部１０３は、設定したドライバのパーツ基準値を記憶させる際は、パーツ基準値と、当該パーツ基準値がどの骨格座標点のパーツ基準値であるかが特定可能な情報とを対応付けて記憶させる。また、骨格点検出部１０３は、パーツ基準値の設定を完了した旨を制御部に通知する。
　なお、ここでは、制御部が、基準値設定用時間が経過したと判定したタイミングで、骨格点検出部１０３が、基準値設定用時間分の撮像画像に対してまとめてドライバの骨格座標点の検出を行うものとしたが、これは一例に過ぎない。例えば、制御部は、車両の走行が開始されるとこれを骨格点検出部１０３に通知し、骨格点検出部１０３は、制御部から車両の走行が開始されたことが通知されると、撮像画像取得部１０１から撮像画像が出力される都度、ドライバの骨格座標点の検出を行ってもよい。骨格点検出部１０３は、検出したドライバの骨格座標点に関する骨格座標点情報を、検出日時、および、身体のどの部位を示す骨格座標点であるかを特定可能な情報と対応付けて記憶部に記憶させておく。基準値設定用時間のカウントは骨格点検出部１０３が行い、骨格点検出部１０３は、基準値設定用時間が経過したと判定すると、記憶部に記憶させておいた骨格座標点情報を用いて、ドライバのパーツ基準値を設定する。このような方法で、ドライバのパーツ基準値が設定されてもよい。
　制御部は、キャリブレーション処理が完了すると、すなわち、頭部基準値およびパーツ基準値の設定が完了すると、キャリブレーション処理が完了したことを、体調異常判定装置１の各構成部（撮像画像取得部１０１、頭位置検出部１０２、骨格点検出部１０３、姿勢崩れ検出部１０４、痙攣検出部１０５、判定部１０６、および、出力部１０７）に通知する。
　実施の形態１に係る体調異常判定装置１の動作について説明する。
　図３は、実施の形態１に係る体調異常判定装置１による、キャリブレーション処理の動作の一例を説明するためのフローチャートである。
　図４は、実施の形態１に係る体調異常判定装置１による、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。
　図４のフローチャートで示す動作が行われるまでに、図３のフローチャートで示す動作が行われる。
　まず、体調異常判定装置１によるキャリブレーション処理の動作の一例について説明する。
　なお、図３において、ステップＳＴ１０３～ステップＳＴ１０４の処理と、ステップＳＴ１０５～ステップＳＴ１０６の処理とは、並行して行われる。図３のフローチャートで示す動作は、例えば、車両の電源がオンにされると開始される。
　撮像画像取得部１０１は、撮像装置２から撮像画像を取得する（ステップＳＴ１０１）。
　撮像画像取得部１０１は、取得した撮像画像を頭位置検出部１０２および骨格点検出部１０３に出力するとともに記憶部に記憶させる。
　体調異常判定装置１は、制御部が、車両の走行が開始されてから基準値設定用時間が経過したと判定するまで（ステップＳＴ１０２の“ＮＯ”の場合）、ステップＳＴ１０１の処理を繰り返す。
　制御部は、車両の走行が開始されてから基準値設定用時間が経過したと判定すると（ステップＳＴ１０２の“ＹＥＳ”の場合）、頭位置検出部１０２に対し、頭位置のキャリブレーション指示を出力する。また、制御部は、基準値設定用時間が経過すると、骨格点検出部１０３に対し、骨格座標点のキャリブレーション指示を出力する。
　頭位置検出部１０２は、ステップＳＴ１０２にて制御部から頭位置のキャリブレーション指示が出力されると、基準値設定用時間分の撮像画像を取得し、取得した各撮像画像に対して、ドライバの頭位置の検出を行う（ステップＳＴ１０３）。
　頭位置検出部１０２は、ステップＳＴ１０３にて検出したドライバの頭位置に基づいて、ドライバの頭部基準値を設定する（ステップＳＴ１０４）。頭位置検出部１０２は、設定したドライバの頭部基準値を、姿勢崩れ検出部１０４が参照可能な場所に記憶させる。また、頭位置検出部１０２は、頭部基準値の設定を完了した旨を制御部に通知する。
　骨格点検出部１０３は、ステップＳＴ１０２にて制御部から骨格座標点のキャリブレーション指示が出力されると、基準値設定用時間分の撮像画像を取得し、取得した各撮像画像に対して、ドライバの骨格座標点の検出を行う（ステップＳＴ１０５）。
　骨格点検出部１０３は、ステップＳＴ１０５にて検出したドライバの骨格座標点に基づいて、ドライバのパーツ基準値を設定する（ステップＳＴ１０６）。骨格点検出部１０３は、設定したドライバのパーツ基準値を、痙攣検出部１０５が参照可能な場所に記憶させる。また、骨格点検出部１０３は、パーツ基準値の設定を完了した旨を制御部に通知する。
　なお、例えば、制御部は、車両の走行が開始されるとこれを頭位置検出部１０２に通知し、頭位置検出部１０２が、撮像画像が出力される都度、ドライバの頭位置の検出を行う場合、図３のフローチャートにおいて、ステップＳＴ１０２の処理は、ステップＳＴ１０３の後に、頭位置検出部１０２が行う。
　また、例えば、制御部は、車両の走行が開始されるとこれを骨格点検出部１０３に通知し、骨格点検出部１０３が、撮像画像が出力される都度、ドライバの骨格座標点の検出を行う場合、図３のフローチャートにおいて、ステップＳＴ１０２の処理は、ステップＳＴ１０５の後に、骨格点検出部１０３が行う。
　次に、体調異常判定装置１による、ドライバの体調異常を判定する動作の一例について説明する。
　図３のフローチャートで示したようなキャリブレーション処理が行われ、制御部からキャリブレーション処理が完了した旨が通知されると、体調異常判定装置１において、図４のフローチャートで示す動作が行われる。
　なお、図４において、ステップＳＴ２～ステップＳＴ３までの処理と、ステップＳＴ４～ステップＳＴ５の処理とは、並行して行われる。
　図４のフローチャートで示す動作は、制御部からキャリブレーション処理が完了した旨が通知されると、例えば、車両の電源がオフにされるまで繰り返し行われる。
　撮像画像取得部１０１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
　撮像画像取得部１０１は、取得した撮像画像を、頭位置検出部１０２および骨格点検出部１０３に出力する。また、撮像画像取得部１０１は、取得した撮像画像を、当該撮像画像の取得日時と対応付けて、記憶部に記憶させる。
　頭位置検出部１０２は、ステップＳＴ１にて撮像画像取得部１０１が取得した撮像画像に基づき、撮像画像におけるドライバの頭位置を検出する（ステップＳＴ２）。
　頭位置検出部１０２は、頭位置情報を、姿勢崩れ検出部１０４に出力する。
　姿勢崩れ検出部１０４は、ステップＳＴ２にて頭位置検出部１０２から出力された頭位置情報に基づき、ドライバの姿勢崩れを検出する姿勢崩れ検出処理を行う（ステップＳＴ３）。
　骨格点検出部１０３は、ステップＳＴ１にて撮像画像取得部１０１が取得した撮像画像に基づき、撮像画像上でドライバの身体の部位を示す骨格座標点を検出する（ステップＳＴ４）。
　骨格点検出部１０３は、骨格座標点情報を、痙攣検出部１０５に出力する。
　痙攣検出部１０５は、ステップＳＴ４にて骨格点検出部１０３から出力された骨格座標点情報に基づき、ドライバの痙攣を検出する痙攣検出処理を行う（ステップＳＴ５）。
　判定部１０６は、ステップＳＴ３にて姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、および、ステップＳＴ５にて痙攣検出部１０５がドライバの痙攣を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する（ステップＳＴ６）。
　具体的には、判定部１０６は、体調異常判定用条件を満たしている場合、ドライバは体調異常であると判定する。判定部１０６は、体調異常判定用条件を満たしていなければ、ドライバは体調異常ではないと判定する。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。判定部１０６は、ドライバが体調異常ではないと判定した場合、体調異常無情報を、出力部１０７に出力してもよい。
　出力部１０７は、ステップＳＴ６にて判定部１０６から出力された体調異常判定情報を、出力装置３に出力する（ステップＳＴ７）。
　判定部１０６から体調異常無情報が出力された場合、出力部１０７は、体調異常無情報を、出力装置３に出力してもよい。また、出力部１０７は、体調異常判定情報または体調異常無情報を、記憶部等の記憶装置に記憶させてもよい。
　なお、例えば、体調異常判定装置１が頭位置検出部１０２を備えない場合、図４のフローチャートにおいて、ステップＳＴ２の処理は省略可能である。
　また、例えば、体調異常判定用条件が、上述の＜条件３＞のような内容である場合、ステップＳＴ６において、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ有情報が出力されると、痙攣検出部１０５からは痙攣有情報も痙攣無情報も出力されていなくても、＜条件３＞を満足するとし、痙攣検出部１０５に対して、痙攣検出処理を終了させてもよい。また、判定部１０６は、痙攣検出部１０５から痙攣有情報が出力されると、姿勢崩れ検出部１０４からは姿勢崩れ有情報も姿勢崩れ無情報も出力されていなくても、＜条件３＞を満足するとし、姿勢崩れ検出部１０４に対して、姿勢崩れ検出処理を終了させるようにできる。
　このように、判定部１０６は、姿勢崩れ検出処理の結果、または、痙攣検出処理の結果のいずれかからドライバが体調異常であるか否かの判定ができた場合、必要がなくなった姿勢崩れ検出処理、または、痙攣検出処理を行わないようにできる。
　なお、図１において、判定部１０６から姿勢崩れ検出部１０４への矢印、および、判定部１０６から痙攣検出部１０５への矢印の図示は省略している。
　図５は、図４のステップＳＴ３における、姿勢崩れ検出部１０４による姿勢崩れ検出処理の詳細な動作について説明するためのフローチャートである。
　姿勢崩れ検出部１０４は、ドライバの姿勢変化量を検出する（ステップＳＴ３１）。
　姿勢崩れ検出部１０４は、ステップＳＴ３１にて検出したドライバの姿勢変化量が姿勢判定用閾値以上であるか否かを判定する（ステップＳＴ３２）。
　ステップＳＴ３２にて、ドライバの姿勢変化量が姿勢判定用閾値以上であると判定した場合（ステップＳＴ３２の“ＹＥＳ”の場合）、姿勢崩れ検出部１０４は、ステップＳＴ３２で検出したドライバの姿勢変化量が姿勢判定用閾値以上である状態は、姿勢判定用時間継続しているか否かを判定する（ステップＳＴ３３）。
　ステップＳＴ３３にて、ステップＳＴ３２で検出したドライバの姿勢変化量が姿勢判定用閾値以上である状態は、姿勢判定用時間継続していると判定した場合（ステップＳＴ３３の“ＹＥＳ”の場合）、姿勢崩れ検出部１０４は、ドライバの姿勢崩れを検出する（ステップＳＴ３４）。姿勢崩れ検出部１０４は、姿勢崩れ有情報を、判定部１０６に出力する。
　ステップＳＴ３２にて、ドライバの姿勢変化量が姿勢判定用閾値未満であると判定した場合（ステップＳＴ３２の“ＮＯ”の場合）、または、ステップＳＴ３３にて、ステップＳＴ３２で検出したドライバの姿勢変化量が姿勢判定用閾値以上である状態は、姿勢判定用時間継続していないと判定した場合（ステップＳＴ３３の“ＮＯ”の場合）、姿勢崩れ検出部１０４は、ドライバの姿勢崩れを検出しない。姿勢崩れ検出部１０４は、姿勢崩れ無情報を、判定部１０６に出力する。
　図６は、図４のステップＳＴ５における、痙攣検出部１０５による痙攣検出処理の詳細な動作について説明するためのフローチャートである。
　痙攣検出部１０５は、ドライバのパーツ変化量を検出する（ステップＳＴ４１）。なお、痙攣検出部１０５は、当該ステップＳＴ４１にて、各骨格座標点に対して、対応するパーツ基準値との差分であるパーツ変化量を検出する。
　痙攣検出部１０５は、ステップＳＴ４１にて検出したドライバのパーツ変化量が痙攣判定用閾値以上であるか否かを判定する（ステップＳＴ４２）。
　ステップＳＴ４２にて、ドライバのパーツ変化量が痙攣判定用閾値以上であると判定した場合（ステップＳＴ４２の“ＹＥＳ”の場合）、痙攣検出部１０５は、ステップＳＴ４１にて検出したドライバのパーツ変化量の周期性が痙攣の周期性であるか否かを判定する（ステップＳＴ４３）。
　ステップＳＴ４３にて、ドライバのパーツ変化量の周期性が痙攣の周期性であると判定した場合（ステップＳＴ４３の“ＹＥＳ”の場合）、痙攣検出部１０５は、ドライバの痙攣を検出する（ステップＳＴ４４）。すなわち、痙攣検出部１０５は、ドライバの痙攣ありとする。痙攣検出部１０５は、痙攣有情報を、判定部１０６に出力する。
　ステップＳＴ４２にて、ドライバのパーツ変化量が痙攣判定用閾値未満であると判定した場合（ステップＳＴ４２の“ＮＯ”の場合）、または、ステップＳＴ４３にて、ドライバのパーツ変化量の周期性が痙攣の周期性ではないと判定した場合（ステップＳＴ４３の“ＮＯ”の場合）、痙攣検出部１０５は、ドライバの痙攣を検出しない。痙攣検出部１０５は、痙攣無情報を、判定部１０６に出力する。
　なお、図６のフローチャートでは、ステップＳＴ４２、ステップＳＴ４３の順で処理が行われるものとしたが、これは一例に過ぎない。ステップＳＴ４２の処理とステップＳＴ４３の処理の順番は逆でもよい。
　図７Ａおよび図７Ｂは、実施の形態１に係る体調異常判定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部の機能は、処理回路１００１により実現される。すなわち、体調異常判定装置１は、撮像装置２から取得した撮像画像に基づいて、ドライバが体調異常であるか否かを判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部の機能を実行する。すなわち、体調異常判定装置１は、プロセッサ１００４により実行されるときに、上述の図３のステップＳＴ１０１～ステップＳＴ１０６と、図４のステップＳＴ１～ステップＳＴ７とが結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１０１については専用のハードウェアとしての処理回路１００１でその機能を実現し、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、体調異常判定装置１は、撮像装置２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　また、図示しない記憶部は、メモリ１００５等で構成される。
　以上の実施の形態１では、体調異常判定装置１は、ドライバが体調異常であるか否かを判定するものとしたが、これは一例に過ぎない。体調異常判定装置１は、ドライバ以外の乗員が体調異常であるか否かを判定してもよい。また、体調異常判定装置１は、複数の乗員について、体調異常であるか否かを判定することもできる。
　また、以上の実施の形態１では、乗員とは、車両の乗員を想定していたが、これは一例に過ぎない。例えば、乗員は、船舶または電車等の乗員であってもよい。体調異常判定装置１は、種々の移動体の乗員が体調異常であるか否かを判定できる。
　また、以上の実施の形態１では、体調異常判定装置１は、車両に搭載される車載装置とし、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部は、車載装置に備えられているものとした。
　これに限らず、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで体調異常判定システムを構成するようにしてもよい。
　また、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、図示しない制御部が全部サーバに備えられてもよい。
　以上のように、実施の形態１によれば、体調異常判定装置１は、移動体の乗員の少なくとも顔を撮像した撮像画像に基づいて検出された撮像画像における乗員の頭位置に基づき、乗員の姿勢崩れを検出する姿勢崩れ検出部１０４と、撮像画像に基づき、撮像画像上で乗員の身体の部位を示す骨格座標点を検出する骨格点検出部１０３と、骨格点検出部１０３が検出した骨格座標点に関する骨格座標点情報に基づき、乗員の痙攣を検出する痙攣検出部１０５と、乗員の姿勢崩れが検出されず、乗員の痙攣が検出された場合、乗員は体調異常であると判定する判定部１０６とを備えるように構成した。そのため、体調異常判定装置１は、大きな姿勢の変化を伴わない乗員の体調異常を判定することができる。
実施の形態２．
　実施の形態１では、体調異常判定装置は、乗員の姿勢崩れを検出したか否か、および、乗員の痙攣を検出したか否かに基づいて、乗員が体調異常であるか否かを判定していた。
　実施の形態２では、体調異常判定装置が、乗員の姿勢崩れを検出したか否か、および、乗員の痙攣を検出したか否かに加え、乗員の脈拍が異常であるか否かを考慮して、乗員が体調異常であるか否かを判定する実施の形態について説明する。
　なお、以下の実施の形態２でも、実施の形態１同様、乗員とは、ドライバを想定する。しかし、これは一例に過ぎず、実施の形態２に係る体調異常判定装置は、体調異常であるか否かを判定する対象を、ドライバ以外の乗員とすることもできる。また、実施の形態２に係る体調異常判定装置は、複数の乗員について、体調異常であるか否かを判定することもできる。
　また、実施の形態２に係る体調異常判定装置は、実施の形態１に係る体調異常判定装置同様、車両に搭載されることを想定する。
　図８は、実施の形態２に係る体調異常判定装置１ａの構成例を示す図である。
　実施の形態２に係る体調異常判定装置１ａの構成について、実施の形態１にて図１を用いて説明した体調異常判定装置１と同じ構成には、同じ符号を付して重複した説明を省略する。
　なお、実施の形態１に係る体調異常判定装置１同様、体調異常判定装置１ａは、頭位置検出部１０２を備えることを必須としない。
　実施の形態２に係る体調異常判定装置１ａは、実施の形態１に係る体調異常判定装置１とは、生体情報取得部１０８、脈拍関連情報検出部１０９、および、脈拍異常検出部１１０を備えた点が異なる。
　また、体調異常判定装置１ａは、撮像装置２および出力装置３に加え、生体センサ４と接続される。
　生体センサ４は、ドライバの脈拍または呼吸等の生体情報を計測する装置である。例えば、生体センサ４は、車両において、車室内前方、シートベルト内部、または、座席シート内部に設けられた、マイクロ波による電波式生体センサである。また、例えば、生体センサ４は、ドライバ自身が装着するウェアラブル装置であってもよい。また、例えば、生体センサ４は、撮像装置であってもよい。生体センサ４が撮像装置である場合、生体センサ４と撮像装置２は共通のものとできる。
　なお、生体センサ４がウェアラブル装置である場合、ドライバにとって煩わしさが生じる可能性がある。生体センサ４を車両内に設けられた電波式生体センサまたは撮像装置２とすることで、ドライバにとって煩わしさを生じさせることなく、ドライバの生体情報を検出できる。また、一般に、車両には、いわゆるＰＭＳのための撮像装置が搭載されている。生体センサ４を撮像装置２とすれば、ドライバの生体情報を検出するための複雑な装置等を追加する必要がない。
　生体情報取得部１０８は、生体センサ４からドライバの生体情報を取得する。
　生体情報取得部１０８は、取得したドライバの生体情報を、脈拍関連情報検出部１０９に出力する。
　脈拍関連情報検出部１０９は、生体情報取得部１０８が取得した生体情報に基づき、ドライバの脈拍に関する情報（以下「脈拍関連情報」という。）を検出する。
　実施の形態２において、脈拍関連情報は、ドライバの脈拍数に関する情報、および、ドライバの脈拍数の変化量に関する情報を含む。
　なお、実施の形態２において、「脈拍」には、「心拍」も含まれるものとする。例えば、生体センサ４が撮像装置２である場合、生体情報は撮像画像である。脈拍関連情報検出部１０９は、例えば、撮像画像上のドライバの肌表面の、血液の流れによる微小な輝度変化に基づいて、ドライバの脈拍を検出することができる。一方、例えば、生体センサ４がドップラーセンサのような電波式生体センサである場合、電波式生体センサは心臓の動きを検出するので、生体情報に基づいて検出可能なのは脈拍ではなく心拍となる。
　脈拍関連情報検出部１０９は、公知の手法で、ドライバの生体情報に基づきドライバの脈拍数を検出すればよい。例えば、生体センサ４が撮像装置２である場合、脈拍関連情報検出部１０９は、公知の画像認識技術を用いて、ドライバの生体情報（この場合は撮像画像）に基づきドライバの脈拍数を検出すればよい。
　脈拍関連情報検出部１０９は、例えば、検出したドライバの脈拍数を、検出日時と対応付けて記憶部に記憶しておき、記憶しておいた時系列のドライバの脈拍数に基づいて、ドライバの脈拍数の変化量を算出すればよい。なお、過去どれぐらいの期間の脈拍数に基づき脈拍数の変化量を算出するかは、予め決められている。
　例えば、脈拍関連情報検出部１０９は、以下の式（１）および式（２）を用いて、ドライバの脈拍数の変化量を算出する。なお、以下の式（１）および式（２）は、生体センサ４が撮像装置２であり、１フレーム前の生体情報（この場合は撮像画像）と現在の生体情報とから、ドライバの脈拍数の変化量を算出する式としている。
　
　ｘｔ＝（１－α）ｘｔ－１＋αｙｔ　　　　（１）

　ｚｔ＝ｘｔ－ｙｔ　　　　　　　　　　　（２）

　式（１）において、ｔはフレーム番号、ｘｔは時刻ｔの特徴量、ｘｔ－１は時刻ｔ－１の特徴量、ｙｔは時刻ｔの脈拍数、αは調整用パラメータであり、ｘ＿０＝０、ｙ＿０＝０である。また、０＜α＜１である。
　ドライバの脈拍数の変化量ｚｔは、式（２）のとおり、時刻ｔの特徴量ｘｔと時刻ｔの脈拍数ｙｔの差から算出される。なお、ドライバの脈拍数が急上昇した場合、ドライバの脈拍数の変化量ｚｔは負数となり、ドライバの脈拍数が急下降した場合、ドライバの脈拍数の変化量ｚｔは負数となる。
　なお、上述したドライバの脈拍数の変化量の算出方法は一例に過ぎない。脈拍関連情報検出部１０９は、例えば、１フレーム前の生体情報と現在の生体情報との差分の算出を、１０秒間等、過去数秒間分の生体情報に対して行い、算出した差分の平均値をドライバの脈拍数の変化量としてもよい。脈拍関連情報検出部１０９は、適宜決められている方法で、ドライバの脈拍数の変化量を算出すればよい。
　脈拍関連情報検出部１０９は、検出した脈拍関連情報を、脈拍異常検出部１１０に出力する。
　脈拍異常検出部１１０は、脈拍関連情報検出部１０９が検出したドライバの脈拍関連情報に基づき、ドライバの脈拍が異常な状態であることを検出する。実施の形態２において、脈拍が異常な状態であることを、「脈拍異常」という。実施の形態２において、脈拍異常検出部１１０が行う、ドライバの脈拍異常を検出する処理を、「脈拍異常検出処理」という。
　ここでは、脈拍異常検出部１１０は、ドライバの脈拍数、または、ドライバの脈拍数の変化量が異常と判定した場合、ドライバの脈拍異常を検出するものとする。すなわち、脈拍異常検出部１１０は、ドライバの脈拍数、または、ドライバの脈拍数の変化量が異常と判定した場合、ドライバの脈拍異常ありとする。
　一般に、人は、体調異常に陥ると、正常状態であるときとは異なり、脈拍数が上昇すると想定される。また、一般に、人は、体調異常に陥ると、脈拍数が急激に変化すると想定される。したがって、脈拍異常検出部１１０は、ドライバの脈拍数とドライバの脈拍数の変化量とに基づき、ドライバの脈拍異常を検出する。
　なお、実施の形態２では、脈拍異常検出部１１０は、ドライバの脈拍数、または、ドライバの脈拍数の変化量が異常と判定した場合、ドライバの脈拍異常を検出するものとするが、これは一例に過ぎない。脈拍異常検出部１１０は、ドライバの脈拍数とドライバの脈拍数の変化量のいずれも異常と判定した場合に、ドライバの脈拍異常を検出してもよい。
　脈拍異常検出処理において、脈拍異常検出部１１０は、例えば、ドライバの脈拍数が、予め設定された閾値（以下「脈拍数判定用閾値」という。）以上であれば、ドライバの脈拍異常を検出する。なお、脈拍異常検出部１１０は、ドライバの脈拍数の値の絶対値と脈拍数判定用閾値とを比較する。脈拍数判定用閾値は、予め管理者等によって設定され、脈拍異常検出部１１０が参照可能な場所に記憶されている。
　脈拍数判定用閾値には、例えば、一般に、医師が生命にかかわると判断するといわれる脈拍数が設定される。一般に、人の正常な脈拍数は、６０ｂｐｍ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）から１００ｂｐｍの範囲内といわれており、人の体調の急性の変化で医師が生命にかかわると判断する脈拍数は１３０ｂｐｍ以上といわれている（例えば、参考文献１参照）。
［参考文献１］
Michael D Buist,director of intensive care unit,Gaye E Moore,research nurse,Stephen A Bernard,deputy director of intensive care unit,Bruce P Waxman,surgical programme director,Jeremy N Anderson,associate professor,and Tuan V Nguyen,senior fellow，”Effects of a medical emergency team on reduction of incidence of and mortality from unexpected cardiac arrests in hospital: preliminary study”，BMJ.2002 Feb 16, 324(7334): 387-390,doi:10.1136/bmj.324.7334.387
　したがって、脈拍数判定用閾値には、例えば、１３０ｂｐｍが設定される。
　なお、体調異常以外でも、例えば、スピーチ等による精神的緊張、飲酒、ジョギング等の運動によって、人の脈拍数は上昇することがある。しかし、これらに起因して人の脈拍数が上昇したとしても、上昇後の脈拍数は、それぞれ、平均１００ｂｐｍ、１００ｂｐｍ、１２０ｂｐｍ程度と想定され、１３０ｂｐｍ以上になる可能性は低い。
　脈拍異常検出部１１０は、例えば、ドライバの脈拍数が脈拍数判定用閾値未満であれば、ドライバの脈拍異常を検出しない。
　また、脈拍異常検出処理において、脈拍異常検出部１１０は、例えば、ドライバの脈拍数の変化量が、予め設定された閾値（以下「脈変化量判定用閾値」という。）以上であれば、ドライバの脈拍異常を検出する。
　脈変化量判定用閾値は、予め管理者等によって設定され、脈拍異常検出部１１０が参照可能な場所に記憶されている。管理者等は、人が体調異常に陥ったことに起因して生じると想定される脈拍数の変化量を、脈変化量判定用閾値に設定しておく。
　なお、脈拍異常検出部１１０は、ドライバの脈拍数の変化量の絶対値と脈変化量判定用閾値とを比較する。
　脈拍異常検出部１１０は、例えば、ドライバの脈拍数の変化量が脈変化量判定用閾値未満であれば、ドライバの脈拍異常を検出しない。
　脈拍異常検出部１１０は、ドライバの脈拍異常を検出した場合、ドライバの脈拍異常を検出した旨の情報（以下「脈拍異常有情報」という。）を、判定部１０６に出力する。例えば、脈拍異常有情報には、ドライバの脈拍数、および、ドライバの脈拍数の変化量の情報が含まれていてもよい。
　脈拍異常検出部１１０は、ドライバの脈拍異常を検出しなかった場合、ドライバの脈拍異常を検出しなかった旨の情報（以下「脈拍異常無情報」という。）を、判定部１０６に出力する。
　実施の形態２において、判定部１０６は、姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、痙攣検出部１０５がドライバの痙攣を検出したか否か、および、脈拍異常検出部１１０がドライバの脈拍異常を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する。すなわち、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ有情報が出力されたか否か、痙攣検出部１０５から痙攣有情報が出力されたか否か、および、脈拍異常検出部１１０から脈拍異常有情報が出力されたか否かに基づいて、ドライバは体調異常であるか否かを判定する。
　よって、実施の形態２において、体調異常判定用条件には、姿勢崩れ、および、痙攣に加えて、脈拍異常も考慮して、ドライバの体調異常を検出する条件が設定される。
　実施の形態２において、体調異常判定用条件には、例えば、以下の＜条件４＞、＜条件５＞、＜条件６＞、または、＜条件７＞が設定される。
　＜条件４＞
　「姿勢崩れが検出されず、痙攣および脈拍異常が検出されたこと」
　＜条件５＞
　「姿勢崩れ、および、脈拍異常は検出されないが、痙攣が検出されたこと」
　＜条件６＞
　「姿勢崩れ、痙攣、および、脈拍異常のうちのいずれか１つが検出されたこと」
　＜条件７＞
　「姿勢崩れ、痙攣、および、脈拍異常の全てが検出されたこと」
　例えば、体調異常判定用条件に＜条件４＞が設定されているとする。この場合、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ無情報が出力されても、痙攣検出部１０５から痙攣有情報が出力され、かつ、脈拍異常検出部１１０から脈拍異常有情報が出力されれば、ドライバは体調異常であると判定する。
　上述のとおり、痙攣は大きな姿勢の変化を伴わないが、ドライバが当該痙攣を起こしている場合、ドライバは体調異常である可能性が高い。ここで、さらに、ドライバの脈拍異常が生じているか否かを判定することで、判定部１０６は、脈拍異常を考慮しない場合と比べ、より精度よく、ドライバの体調異常を判定できる。
　例えば、体調異常判定用条件に＜条件５＞が設定されている場合、判定部１０６は、姿勢崩れといえるほどの大きな姿勢の変化を伴わないドライバの体調異常を判定できる。
　また、一般には大きな姿勢の変化を伴うと想定される発作が起こったとしても、実際に大きな姿勢の変化を伴うか否かの個人差がある場合もある。例えば、体調異常に陥っているが、ほとんど姿勢が変わらない場合もある。例えば、体調異常判定用条件に＜条件６＞が設定されている場合、判定部１０６は、体調異常に陥っているがほとんど姿勢が変わらない場合があるという個人差を考慮し、ドライバの体調異常を判定できる。体調異常判定条件に＜条件６＞が設定されている場合、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ無情報が出力され、痙攣検出部１０５から痙攣無情報が出力されても、脈拍異常検出部１１０から脈拍異常有情報が出力されれば、ドライバは体調異常であると判定する。例えば、てんかん発作が起こると、一般に、痙攣を伴い、脈拍数が急激に上昇するといわれるが、人によっては痙攣が伴わないこともある。判定部１０６は、＜条件６＞を満たす場合にドライバの体調異常があると判定することで、身体の動きからのみでは判定できないドライバの体調異常を判定することができ、ドライバの体調異常の判定精度を向上させることができる。
　例えば、体調異常判定用条件に＜条件７＞が設定されていた場合、判定部１０６は、より確実に、ドライバが体調異常であることを判定できる。
　なお、実施の形態２においても、体調異常判定用条件は、複数の条件を含んでよい。体調異常判定用条件が複数の条件を含む場合、判定部１０６は、当該複数の条件を組み合わせて、ドライバが体調異常であるか否かを判定してもよい。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。判定部１０６は、ドライバが体調異常ではないと判定した場合、体調異常無情報を、出力部１０７に出力してもよい。
　また、実施の形態２に係る体調異常判定装置１ａも、実施の形態１に係る体調異常判定装置１同様、キャリブレーション処理を行う。キャリブレーション処理の詳細については、説明済みであるため、重複した説明を省略する。
　実施の形態２に係る体調異常判定装置１ａの動作について説明する。
　図９は、実施の形態２に係る体調異常判定装置１ａによる、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。
　なお、体調異常判定装置１ａは、図９のフローチャートで示す動作を行うまでに、キャリブレーション処理を行う。つまり、図９のフローチャートで示す動作が行われるまでに、実施の形態１にて図３のフローチャートを用いて説明した動作が行われる。
　キャリブレーション処理が行われ、制御部からキャリブレーション処理が完了した旨が通知されると、体調異常判定装置１ａにおいて、図９のフローチャートで示す動作が行われる。
　なお、図９において、ステップＳＴ１１～ステップＳＴ１５までの処理と、ステップＳＴ１６～ステップＳＴ１８までの処理とは、並行して行われる、また、図９において、ステップＳＴ１２～ステップＳＴ１３の処理と、ステップＳＴ１４～ステップＳＴ１５の処理とは、並行して行われる。
　図９のフローチャートで示す動作は、制御部からキャリブレーション処理が完了した旨が通知されると、例えば、車両の電源がオフにされるまで繰り返し行われる。
　図９において、ステップＳＴ１１～ステップＳＴ１５、ステップＳＴ２０の処理の具体的な内容は、それぞれ、実施の形態１にて説明済みの、図４のステップＳＴ１～ステップＳＴ５、ステップＳＴ７の処理の具体的な内容と同様であるため、重複した説明を省略する。
　生体情報取得部１０８は、生体センサ４からドライバの生体情報を取得する（ステップＳＴ１６）。
　生体情報取得部１０８は、取得したドライバの生体情報を、脈拍関連情報検出部１０９に出力する。
　脈拍関連情報検出部１０９は、ステップＳＴ１６にて生体情報取得部１０８が取得した生体情報に基づき、ドライバの脈拍関連情報を検出する（ステップＳＴ１７）。
　脈拍関連情報検出部１０９は、検出したドライバの脈拍関連情報を、脈拍異常検出部１１０に出力する。
　脈拍異常検出部１１０は、ステップＳＴ１７にて脈拍関連情報検出部１０９が検出したドライバの脈拍関連情報に基づき、脈拍異常検出処理を行う（ステップＳＴ１８）。
　脈拍異常検出部１１０は、ドライバの脈拍異常を検出した場合、脈拍異常有情報を、判定部１０６に出力する。脈拍異常検出部１１０は、ドライバの脈拍異常を検出しなかった場合、脈拍異常無情報を、判定部１０６に出力する。
　判定部１０６は、ステップＳＴ１３にて姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、ステップＳＴ１５にて痙攣検出部１０５がドライバの痙攣を検出したか否か、および、ステップＳＴ１８にて脈拍異常検出部１１０がドライバの脈拍異常を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する（ステップＳＴ１９）。
　具体的には、判定部１０６は、体調異常判定用条件を満たしている場合、ドライバは体調異常であると判定する。判定部１０６は、体調異常判定用条件を満たしていなければ、ドライバは体調異常ではないと判定する。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。判定部１０６は、ドライバが体調異常ではないと判定した場合、体調異常無情報を、出力部１０７に出力してもよい。
　なお、例えば、体調異常判定装置１ａが頭位置検出部１０２を備えない場合、図９のフローチャートにおいて、ステップＳＴ１２の処理は省略可能である。
　また、例えば、体調異常判定用条件が、上述の＜条件６＞のような内容である場合、ステップＳＴ１９において、判定部１０６は、例えば、姿勢崩れ検出部１０４から姿勢崩れ有情報が出力されると、痙攣検出部１０５からは痙攣有情報も痙攣無情報も出力されておらず、脈拍異常検出部１１０からは脈拍異常有情報も脈拍異常無情報も出力されていなくても、＜条件６＞を満足するとし、痙攣検出部１０５に対しては痙攣検出処理を、脈拍異常検出部１１０に対しては脈拍異常検出処理を終了させてもよい。
　このように、判定部１０６は、姿勢崩れ検出処理の結果、痙攣検出処理の結果、または、脈拍異常検出処理の結果のいずれかからドライバが体調異常であるか否かの判定ができた場合、必要がなくなった姿勢崩れ検出処理、痙攣検出処理、または、脈拍異常検出処理を行わないようにできる。
　なお、図８において、判定部１０６から姿勢崩れ検出部１０４への矢印、判定部１０６から痙攣検出部１０５への矢印、および、判定部１０６から脈拍異常検出部１１０への矢印の図示は省略している。
　図１０は、図９のステップＳＴ１８における、脈拍異常検出部１１０による脈拍異常検出処理の詳細な動作について説明するためのフローチャートである。
　脈拍異常検出部１１０は、図９のステップＳＴ１７にて脈拍関連情報検出部１０９から出力されたドライバの脈拍関連情報に基づき、ドライバの脈拍数が脈拍数判定用閾値以上であるか否かを判定する（ステップＳＴ１７１）。
　ステップＳＴ１７１にて、ドライバの脈拍数が脈拍数判定用閾値未満であると判定した場合（ステップＳＴ１７１の“ＮＯ”の場合）、脈拍異常検出部１１０は、図９のステップＳＴ１７にて脈拍関連情報検出部１０９から出力されたドライバの脈拍関連情報に基づき、ドライバの脈拍数の変化量が、脈変化量判定用閾値以上であるか否かを判定する（ステップＳＴ１７２）。
　ステップＳＴ１７１にて、ドライバの脈拍数が脈拍数判定用閾値以上であると判定した場合（ステップＳＴ１７１の“ＹＥＳ”の場合）、または、ステップＳＴ１７２にて、ドライバの脈拍数の変化量が、脈変化量判定用閾値以上であると判定した場合（ステップＳＴ１７２の“ＹＥＳ”の場合）、脈拍異常検出部１１０は、ドライバの脈拍異常を検出する（ステップＳＴ１７３）。すなわち、脈拍異常検出部１１０は、ドライバの脈拍異常ありとする。脈拍異常検出部１１０は、脈拍異常有情報を、判定部１０６に出力する。
　ステップＳＴ１７２にて、ドライバの脈拍数の変化量が、脈変化量判定用閾値未満であると判定した場合（ステップＳＴ１７２の“ＮＯ”の場合）、脈拍異常検出部１１０は、ドライバの脈拍異常を検出しない。すなわち、脈拍異常検出部１１０は、ドライバの脈拍異常なしとする。脈拍異常検出部１１０は、脈拍異常無情報を、判定部１０６に出力する。
　なお、図１０のフローチャートでは、ステップＳＴ１７１、ステップＳＴ１７２の順で処理が行われるものとしたが、これは一例に過ぎない。ステップＳＴ１７１の処理とステップＳＴ１７２の処理の順番は逆でもよい。
　また、例えば、脈拍異常検出部１１０は、ドライバの脈拍数とドライバの脈拍数の変化量のいずれも異常と判定したことでドライバの脈拍異常を検出する場合、図１０のフローチャートで示す動作について、ステップＳＴ１７２の処理は、ステップＳＴ１７１の処理で“ＹＥＳ”となった場合に行われる。
　実施の形態２に係る体調異常判定装置１ａのハードウェア構成は、実施の形態１において図７Ａおよび図７Ｂを用いて説明した体調異常判定装置１のハードウェア構成と同様であるため、図示を省略する。
　実施の形態２において、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部の機能は、処理回路１００１により実現される。すなわち、体調異常判定装置１ａは、撮像装置２から取得した撮像画像と生体センサ４から取得した生体情報とに基づいて、ドライバが体調異常であるか否かを判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部の機能を実行する。すなわち、体調異常判定装置１ａは、処理回路１００１により実行されるときに、上述の図３のステップＳＴ１０１～ステップＳＴ１０６、および、図９のステップＳＴ１１～ステップＳＴ２０が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部の手順または方法をコンピュータに実行させるものであるともいえる。
　体調異常判定装置１ａは、撮像装置２、出力装置３、または、生体センサ４等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　また、図示しない記憶部は、メモリ１００５等で構成される。
　なお、以上の実施の形態２では、乗員とは、車両の乗員を想定していたが、これは一例に過ぎない。例えば、乗員は、船舶または電車等の乗員であってもよい。体調異常判定装置１ａは、種々の移動体の乗員が体調異常であるか否かを判定できる。
　また、以上の実施の形態２では、体調異常判定装置１ａは、車両に搭載される車載装置とし、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部は、車載装置に備えられているものとした。
　これに限らず、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで体調異常判定システムを構成するようにしてもよい。
　また、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、図示しない制御部が全部サーバに備えられてもよい。
　以上のように、実施の形態２によれば、体調異常判定装置１ａは、乗員の生体情報を取得する生体情報取得部１０８と、生体情報取得部１０８が取得した生体情報に基づき、乗員の脈拍に関する脈拍関連情報を検出する脈拍関連情報検出部１０９と、脈拍関連情報検出部１０９が検出した乗員の脈拍関連情報に基づき、乗員の脈拍異常を検出する脈拍異常検出部１１０とを備え、判定部１０６は、乗員の姿勢崩れが検出されず、乗員の痙攣が検出され、かつ、乗員の脈拍異常が検出された場合、乗員は体調異常であると判定するように構成した。そのため、そのため、体調異常判定装置１ａは、大きな姿勢の変化を伴わない乗員の体調異常を判定できるとともに、身体の動きからのみでは判定できない乗員の体調異常を判定することができ、乗員の体調異常の判定精度を向上させることができる。
実施の形態３．
　実施の形態２では、体調異常判定装置は、乗員の姿勢崩れを検出したか否か、および、乗員の痙攣を検出したか否かに加え、乗員の脈拍が異常であるか否かを考慮して、乗員が体調異常であるか否かを判定していた。
　ここで、乗員が痙攣を起こした場合、痙攣の度合が大きくなると、当該乗員の身体の揺れにより、当該乗員の生体情報にアーチファクトノイズが多く含まれてしまうという問題がある。アーチファクトノイズが多く含まれている生体情報に基づいて脈拍異常検出処理が行われた場合、乗員の脈拍異常の誤検出が生じる可能性がある。乗員の脈拍異常の誤検出は、乗員の体調異常の誤判定につながる。
　そこで、実施の形態３では、乗員の体調異常を判定する際、痙攣の度合いを考慮して、乗員の体調異常の判定に生体情報を用いるか否かを判定する。
　なお、以下の実施の形態３でも、実施の形態２同様、乗員とは、ドライバを想定する。しかし、これは一例に過ぎず、実施の形態３に係る体調異常判定装置は、体調異常であるか否かを判定する対象を、ドライバ以外の乗員とすることもできる。また、実施の形態３に係る体調異常判定装置は、複数の乗員について、体調異常であるか否かを判定することもできる。
　また、実施の形態３に係る体調異常判定装置は、実施の形態２に係る体調異常判定装置同様、車両に搭載されることを想定する。
　図１１は、実施の形態３に係る体調異常判定装置１ｂの構成例を示す図である。
　実施の形態３に係る体調異常判定装置１ｂの構成について、実施の形態２にて図８を用いて説明した体調異常判定装置１ａと同じ構成には、同じ符号を付して重複した説明を省略する。
　なお、実施の形態２に係る体調異常判定装置１ａ同様、体調異常判定装置１ｂは、頭位置検出部１０２を備えることを必須としない。
　実施の形態３に係る体調異常判定装置１ｂは、実施の形態２に係る体調異常判定装置１ａとは、痙攣度合判定部１１１を備えた点が異なる。
　痙攣度合判定部１１１は、痙攣検出部１０５がドライバの痙攣を検出した場合、痙攣検出部１０５から出力された痙攣有情報に基づき、ドライバの痙攣の度合（以下「痙攣度合」という。）を判定する痙攣度合判定処理を行う。なお、実施の形態３では、痙攣検出部１０５は、痙攣有情報または痙攣無情報を、痙攣度合判定部１１１に出力する。
　例えば、痙攣度合判定部１１１は、痙攣有情報に含まれているドライバの時系列のパーツ変化量に基づき、パーツ変化量の振幅と、予め設定されている閾値（以下「痙攣度合判定用閾値」という。）との比較によって、痙攣度合を判定する。例えば、痙攣度合判定部１１１は、パーツ変化量の振幅が痙攣度合判定用閾値以上である場合、痙攣度合は「高い」と判定し、パーツ変化量の振幅の最大値が痙攣度合判定用閾値未満である場合、痙攣度合は「低い」と判定する。痙攣度合判定用閾値は、予め管理者等によって設定され、痙攣度合判定部１１１が参照可能な場所に記憶されている。管理者等は、例えば、１０（ｃｍ）を、痙攣度合判定用閾値に設定する。
　例えば、痙攣度合判定部１１１は、各パーツ変化量について、痙攣度合を判定する。痙攣度合判定部１１１は、例えば、各パーツ変化量について、１つでも痙攣度合が「高い」と判定した場合、ドライバの痙攣度合は「高い」とする。
　なお、上述したような、痙攣度合の判定方法は、一例に過ぎない。痙攣度合判定部１１１は、脈拍数が適切に判定できない程度にアーチファクトノイズが含まれていると想定されるか否かが判定可能な痙攣度合を判定するようになっていればよい。例えば、痙攣度合判定部１１１は、痙攣度合を、「高い」または「低い」の２値でなく、複数の段階で判定してもよい。この場合、痙攣度合判定部１１１は、例えば、各パーツ変化量について、最も数値の大きい段階の痙攣度合を、ドライバの痙攣度合とする。なお、数値の大きい段階ほど、痙攣度合は大きいものとする。
　実施の形態３では、一例として、痙攣度合判定部１１１が判定するドライバの痙攣度合は、「高い」か「低い」かとする。
　痙攣度合判定部１１１は、痙攣検出部１０５から出力された痙攣有情報に、判定した痙攣度合を示す情報を付与して、判定部１０６に出力する。
　また、痙攣度合判定部１１１は、痙攣検出部１０５から痙攣無情報が出力された場合は、当該痙攣無情報をそのまま判定部１０６に出力する。
　実施の形態３において、判定部１０６は、姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、痙攣検出部１０５がドライバの痙攣を検出したか否か、および、脈拍異常検出部１１０がドライバの脈拍異常を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する。判定部１０６は、痙攣検出部１０５から痙攣有情報が出力された場合は、当該痙攣有情報に付与されている痙攣度合を考慮して、ドライバは体調異常であるか否かを判定する。
　よって、実施の形態３において、体調異常判定用条件には、痙攣度合を考慮してドライバの体調異常を検出する条件が設定される。
　実施の形態３において、体調異常判定用条件には、例えば、以下の＜条件８＞または＜条件９＞が設定される。
　＜条件８＞
　「姿勢崩れが検出されず、痙攣および脈拍異常が検出されたこと。ただし、痙攣度合が高い場合は、脈拍異常が検出されたか否かにかかわらず、体調異常と判定する」
　＜条件９＞
　「姿勢崩れ、痙攣、および、脈拍異常のうちの全てが検出されたこと。ただし、痙攣度合が高い場合は、脈拍異常が検出されたか否かは問わない」
　例えば、体調異常判定用条件に＜条件８＞が設定されているとする。この場合、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ無情報が出力され、かつ、痙攣検出部１０５から痙攣有情報が出力された場合、痙攣有情報に付与されている痙攣度合が高いか否かを判定する。
　痙攣度合が高い場合、判定部１０６は、脈拍異常検出部１１０から脈拍異常有情報が出力されても、脈拍異常検出部１１０から脈拍異常無情報が出力されても、または、脈拍異常検出部１１０から未だ脈拍異常有情報も脈拍異常無情報も出力されていなくても、ドライバは体調異常であると判定する。
　上述のとおり、ドライバが痙攣を起こした場合、痙攣の度合が大きくなると、当該ドライバの身体の揺れにより、当該ドライバの生体情報にアーチファクトノイズが多く含まれてしまう。アーチファクトノイズが多く含まれた生体情報から検出された脈拍異常は誤検出である可能性があり、当該脈拍異常をドライバの体調異常の判定に用いると、ドライバの体調異常の誤判定につながる。判定部１０６は、痙攣度合を考慮し、痙攣度合が高い場合には脈拍異常の検出を不問とすることで、ドライバの体調異常の誤判定を防ぐことができる。
　痙攣度合が低い場合は、判定部１０６は、脈拍異常検出部１１０から脈拍異常有情報が出力されれば、＜条件８＞を満たしドライバは体調異常であると判定し、脈拍異常検出部１１０から脈拍異常無情報が出力されれば、＜条件８＞を満たさずドライバは体調異常ではないと判定する。
　例えば、体調異常判定用条件に＜条件９＞が設定されているとする。この場合、判定部１０６は、痙攣検出部１０５から痙攣有情報が出力された場合、痙攣有情報に付与されている痙攣度合が高いか否かを判定する。
　痙攣度合が高い場合、判定部１０６は、姿勢崩れ検出部１０４から姿勢崩れ有情報が出力されれば、ドライバは体調異常であると判定する。判定部１０６は、脈拍異常検出部１１０から脈拍異常有情報が出力されても、脈拍異常検出部１１０から脈拍異常無情報が出力されても、または、脈拍異常検出部１１０から未だ脈拍異常有情報も脈拍異常無情報も出力されていなくても、不問とする。
　このようにしても、判定部１０６は、痙攣度合を考慮し、痙攣度合が高い場合には脈拍異常の検出を不問とすることで、ドライバの体調異常の誤判定を防ぐことができる。
　なお、実施の形態３においても、体調異常判定用条件は、複数の条件を含んでよい。体調異常判定用条件が複数の条件を含む場合、判定部１０６は、当該複数の条件を組み合わせて、ドライバが体調異常であるか否かを判定してもよい。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。判定部１０６は、ドライバが体調異常ではないと判定した場合、体調異常無情報を、出力部１０７に出力してもよい。
　また、実施の形態３に係る体調異常判定装置１ｂも、実施の形態２に係る体調異常判定装置１ａ同様、キャリブレーション処理を行う。キャリブレーション処理の詳細については、説明済みであるため、重複した説明を省略する。
　実施の形態３に係る体調異常判定装置１ｂの動作について説明する。
　図１２は、実施の形態３に係る体調異常判定装置１ｂによる、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。
　なお、体調異常判定装置１ｂは、図１２のフローチャートで示す動作を行うまでに、キャリブレーション処理を行う。つまり、図１２のフローチャートで示す動作が行われるまでに、実施の形態１にて図３のフローチャートを用いて説明した動作が行われる。
　キャリブレーション処理が行われ、制御部からキャリブレーション処理が完了した旨が通知されると、体調異常判定装置１ｂにおいて、図１２のフローチャートで示す動作が行われる。
　なお、図１２において、ステップＳＴ１１１～ステップＳＴ１１６までの処理と、ステップＳＴ１１７～ステップＳＴ１１９までの処理とは、並行して行われる、また、図１２において、ステップＳＴ１１２～ステップＳＴ１１３の処理と、ステップＳＴ１１４～ステップＳＴ１１６の処理とは、並行して行われる。
　図１２のフローチャートで示す動作は、制御部からキャリブレーション処理が完了した旨が通知されると、例えば、車両の電源がオフにされるまで繰り返し行われる。
　図１２において、ステップＳＴ１１１～ステップＳＴ１１５、ステップＳＴ１１７～ステップＳＴ１１９、ステップＳＴ１２１の処理の具体的な内容は、それぞれ、実施の形態２にて説明済みの、図９のステップＳＴ１１～ステップＳＴ１５、ステップＳＴ１６～ステップＳＴ１８、ステップＳＴ２０の処理の具体的な内容と同様であるため、重複した説明を省略する。
　痙攣度合判定部１１１は、ステップＳＴ１１５にて痙攣検出部１０５がドライバの痙攣を検出した場合、痙攣検出部１０５から出力された痙攣有情報に基づき、ドライバの痙攣度合を判定する痙攣度合判定処理を行う（ステップＳＴ１１６）。
　痙攣度合判定部１１１は、痙攣検出部１０５から出力された痙攣有情報に、判定した痙攣度合を示す情報を付与して、判定部１０６に出力する。
　また、痙攣度合判定部１１１は、痙攣検出部１０５から痙攣無情報が出力された場合は、当該痙攣無情報をそのまま判定部１０６に出力する。
　判定部１０６は、ステップＳＴ１１３にて姿勢崩れ検出部１０４がドライバの姿勢崩れを検出したか否か、ステップＳＴ１１５にて痙攣検出部１０５がドライバの痙攣を検出したか否か、および、ステップＳＴ１１９にて脈拍異常検出部１１０がドライバの脈拍異常を検出したか否かに基づいて、ドライバは体調異常であるか否かを判定する（ステップＳＴ１２０）。なお、判定部１０６は、ステップＳＴ１１５にて痙攣検出部１０５がドライバの痙攣を検出したか否かを、ステップＳＴ１１６にて痙攣度合判定部１１１から痙攣有情報が出力されたか否かで判定する。
　具体的には、判定部１０６は、体調異常判定用条件を満たしている場合、ドライバは体調異常であると判定する。判定部１０６は、体調異常判定用条件を満たしていなければ、ドライバは体調異常ではないと判定する。
　判定部１０６は、ドライバが体調異常であると判定した場合、体調異常判定情報を出力部１０７に出力する。判定部１０６は、ドライバが体調異常ではないと判定した場合、体調異常無情報を、出力部１０７に出力してもよい。
　なお、例えば、体調異常判定装置１ｂが頭位置検出部１０２を備えない場合、図１２のフローチャートにおいて、ステップＳＴ１１２の処理は省略可能である。
　また、例えば、体調異常判定用条件が、上述の＜条件８＞のような内容である場合、ステップＳＴ２０において、判定部１０６は、例えば、痙攣度合判定部１１１から痙攣有情報が出力され、当該痙攣有情報に痙攣度合が高い旨の情報が付与されていれば、脈拍異常検出部１１０からは脈拍異常有情報も脈拍異常無情報も出力されていなくても、＜条件８＞を満足するとし、脈拍異常検出部１１０に対して脈拍異常検出処理を終了させてもよい。
　このように、判定部１０６は、姿勢崩れ検出処理の結果、痙攣検出処理の結果、または、脈拍異常検出処理の結果のいずれかからドライバが体調異常であるか否かの判定ができた場合、必要がなくなった姿勢崩れ検出処理、痙攣検出処理、または、脈拍異常検出処理を行わないようにできる。
　なお、図１１において、判定部１０６から姿勢崩れ検出部１０４への矢印、判定部１０６から痙攣検出部１０５への矢印、および、判定部１０６から脈拍異常検出部１１０への矢印の図示は省略している。
　実施の形態３に係る体調異常判定装置１ｂのハードウェア構成は、実施の形態１において図７Ａおよび図７Ｂを用いて説明した体調異常判定装置１のハードウェア構成と同様であるため、図示を省略する。
　実施の形態３において、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部の機能は、処理回路１００１により実現される。すなわち、体調異常判定装置１ｂは、撮像装置２から取得した撮像画像と生体センサ４から取得した生体情報とに基づいて、ドライバが体調異常であるか否かを判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部の機能を実行する。すなわち、体調異常判定装置１ｂは、処理回路１００１により実行されるときに、上述の図３のステップＳＴ１０１～ステップＳＴ１０６、および、図１２のステップＳＴ１１１～ステップＳＴ１２１が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部の手順または方法をコンピュータに実行させるものであるともいえる。
　体調異常判定装置１ｂは、撮像装置２、出力装置３、または、生体センサ４等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　また、図示しない記憶部は、メモリ１００５等で構成される。
　なお、以上の実施の形態３では、乗員とは、車両の乗員を想定していたが、これは一例に過ぎない。例えば、乗員は、船舶または電車等の乗員であってもよい。体調異常判定装置１ｂは、種々の移動体の乗員が体調異常であるか否かを判定できる。
　また、以上の実施の形態３では、体調異常判定装置１ｂは、車両に搭載される車載装置とし、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部は、車載装置に備えられているものとした。
　これに限らず、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで体調異常判定システムを構成するようにしてもよい。
　また、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、痙攣度合判定部１１１と、図示しない制御部が全部サーバに備えられてもよい。
　以上のように、実施の形態３によれば、体調異常判定装置１ｂは、痙攣検出部１０５が検出した乗員の痙攣の度合を判定する痙攣度合判定部１１１を備え、判定部１０６は、乗員の勢崩れが検出されず、乗員の痙攣が検出された場合、痙攣度合判定部１１１が判定した乗員の痙攣の度合が痙攣度合判定用閾値以上であれば、乗員の脈拍異常が検出されたか否かにかかわらず、乗員は体調異常であると判定するように構成した。そのため、そのため、体調異常判定装置１ｂは、脈拍異常の誤検出による、乗員の体調異常の誤判定を防ぐことができる。
実施の形態４．
　車両が走行中、車両においては、車両の振動が生じる。車両の振動が生じると、乗員の身体も車両の振動に伴って揺れる。
　多くの車両において、車両の走行中に生じる車両の振動は、非規則的な振動である。非規則的な車両の振動に伴って乗員の身体が揺れたのであれば、体調異常判定装置において、痙攣検出部が、乗員の痙攣を誤検出することはない。パーツ変化量の変化に周期性がないためである。
　しかし、例えば、車両がランブルストリップスまたは山道を走行している場合、車両の振動が規則的になることがある。車両の振動が規則的であると、車両の振動に伴う乗員の身体の揺れも、規則的になる。そうすると、パーツ変化量の変化に周期性がみられ、痙攣検出部が、乗員の痙攣を誤検出する可能性がある。
　実施の形態４では、車両の振動が規則的である場合の、乗員の痙攣の誤検出を防ぐ実施の形態について説明する。
　なお、以下の実施の形態４でも、実施の形態２同様、乗員とは、ドライバを想定する。しかし、これは一例に過ぎず、実施の形態４に係る体調異常判定装置は、体調異常であるか否かを判定する対象を、ドライバ以外の乗員とすることもできる。また、実施の形態４に係る体調異常判定装置は、複数の乗員について、体調異常であるか否かを判定することもできる。
　また、実施の形態４に係る体調異常判定装置は、実施の形態２に係る体調異常判定装置同様、車両に搭載されることを想定する。
　図１３は、実施の形態４に係る体調異常判定装置１ｃの構成例を示す図である。
　実施の形態４に係る体調異常判定装置１ｃの構成について、実施の形態２にて図８を用いて説明した体調異常判定装置１ａと同じ構成には、同じ符号を付して重複した説明を省略する。
　なお、実施の形態２に係る体調異常判定装置１ａ同様、体調異常判定装置１ｃは、頭位置検出部１０２を備えることを必須としない。
　実施の形態４に係る体調異常判定装置１ｃは、実施の形態２に係る体調異常判定装置１ａとは、振動情報取得部１１２、および、ノイズ除去部１１３を備えた点が異なる。
　体調異常判定装置１ｃは、撮像装置２、出力装置３、および、生体センサ４に加え、ジャイロセンサ５と接続される。
　ジャイロセンサ５は、車両に搭載されている。具体的には、ジャイロセンサ５は、例えば、カーナビゲーション装置等の車載機器に内蔵されている角速度センサである。ジャイロセンサ５は、単位時間当たりの回転角度（ＤＥＧＲＥＥ　ＰＥＲ　ＳＥＣＯＮＤ）を算出できる。ジャイロセンサ５は、算出した回転角度に基づき生成した振動情報を、体調異常判定装置１ｃに出力する。振動情報には、車両の上方向、下方向、左方向、または、右方向への振動を示す情報が含まれる。
　振動情報取得部１１２は、ジャイロセンサ５から振動情報を取得する。
　振動情報取得部１１２は、取得した振動情報を、ノイズ除去部１１３に出力する。
　また、振動情報取得部１１２は、ジャイロセンサ５から取得した振動情報を、取得日時と対応付けて記憶部に記憶させる。
　ノイズ除去部１１３は、骨格点検出部１０３から出力されたドライバの骨格点情報におけるノイズを除去するノイズ除去処理を行う。なお、実施の形態４において、ノイズとは、ドライバの骨格座標点情報に含まれている、車両の振動による骨格座標点の動きの成分のことをいう。
　ノイズ除去部１１３が行うノイズ除去処理の一例について説明する。
　まず、ノイズ除去部１１３は、振動情報に基づき、車両の動き、言い換えれば、車両の位置の時系列変化を算出する。ここでいう車両の動きとは、どのタイミングでどの方向に移動しているかを想定している。なお、ノイズ除去部１１３は、記憶部から予め設定された時間（以下「振動判定用時間」という。）分の振動情報を取得し、振動判定用時間における車両の動きの時系列変化を判定する。なお、振動判定用時間は、痙攣検出部１０５がパーツ変化量の周期性を判定する際の期間の長さと同じ長さの時間とする。
　また、ノイズ除去部１１３は、ドライバの骨格座標点情報に基づき、ドライバの骨格座標点の動き、言い換えれば、ドライバの骨格座標点の位置の時系列変化を算出する。骨格座標点の動きとは、画像上の骨格座標点が、どのタイミングでどの方向に移動しているかを想定している。なお、ノイズ除去部１１３は、記憶部から振動判定用時間分の骨格座標点情報を取得し、振動判定用時間におけるドライバの骨格座標点の時系列変化を算出する。
　次に、ノイズ除去部１１３は、車両の動きとドライバの骨格座標点の動きを比較し、車両の動きとドライバの骨格座標点の動きが同期しているか否かを判定する。つまり、ノイズ除去部１１３は、車両とドライバの骨格座標点とが、同じタイミングで同じ方向に移動しているか否かを判定する。
　ジャイロセンサ５の設置位置および検知範囲と、撮像装置２の設置位置および画角とは予めわかっているので、ノイズ除去部１１３は、振動情報で示される車両の動きと、撮像画像で示される骨格座標点の動きとの対応付けが可能である。
　なお、ノイズ除去部１１３は、骨格座標点ごとに、当該骨格座標点の動きが車両の動きと同期しているか否かを判定する。
　なお、実施の形態４において、「同期」とは、動きが完全に一致しているものに限定されず、予め設定されている許容範囲内の誤差が生じている略同期も含む。
　例えば、ノイズ除去部１１３は、車両の位置の時系列変化とドライバの骨格座標点の位置の時系列変化との誤差が予め設定された閾値（例えば、５％）以下であれば、車両の動きと骨格座標点の動きが同期していると判定する。ここでいう誤差とは、例えば、振動判定用時間に検出された車両の位置の時系列変化とドライバの骨格座標点の位置の時系列変化の誤差の平均でもよい。
　ノイズ除去部１１３は、車両の動きとドライバの骨格座標点の動きが同期している場合、言い換えれば、車両の位置とドライバの骨格座標点の位置とが同じタイミングで同じ方向に移動している場合、骨格座標点の動きは、車両の振動によって生じたものであると判定する。
　そして、ノイズ除去部１１３は、振動判定用時間分のドライバの骨格座標点情報と振動判定用時間分の振動情報との差分をとる。ノイズ除去部１１３は、差分をとった後の、振動判定用時間分のドライバの骨格座標点情報を、痙攣検出部１０５に出力する。車両の動きと骨格座標点の動きが同期している場合、振動判定用時間分のドライバの骨格座標点情報と、振動判定用時間分の振動情報との差分は、ほぼゼロとなる。
　一方、ノイズ除去部１１３は、車両の動きとドライバの骨格座標点の動きが同期していない場合、言い換えれば、車両の位置とドライバの骨格座標点の位置とが同じタイミングで同じ方向に移動していない場合、ドライバの骨格座標点の動きは、車両の振動によって生じたものではないと判定する。つまり、ノイズ除去部１１３は、ドライバの骨格座標点の動きは、ドライバの痙攣によるものの可能性が高いと判定する。
　ノイズ除去部１１３は、振動判定用時間分のドライバの骨格座標点情報を、そのまま、痙攣検出部１０５に出力する。
　なお、実施の形態４では、痙攣検出部１０５は、ノイズ除去部１１３から出力された振動判定用時間分のドライバの骨格座標点情報に基づき、ドライバの痙攣を検出する。
　ノイズ除去部１１３が行うノイズ除去処理のその他の一例について説明する。
　上述したノイズ除去処理の一例では、ノイズ除去部１１３は、車両の動きとドライバの骨格座標点の動きとが同期しているか否かによって、ノイズ除去を行うべきか否かを判定していたが、これは一例に過ぎない。例えば、ノイズ除去部１１３は、同乗者の骨格座標点の動きとドライバの骨格座標点の動きとが同期しているか否かによって、ノイズ除去を行うべきか否かを判定してもよい。この場合、体調異常判定装置１ｃは、ジャイロセンサ５と接続されていることを必須としない。また、体調異常判定装置１ｃは、振動情報取得部１１２を備えない構成とできる。
　この場合、骨格点検出部１０３は、撮像画像取得部１０１が取得した撮像画像に基づき、ドライバのみならず、車室内にドライバ以外の乗員が存在すれば、撮像画像上でドライバ以外の乗員の身体の部位を示す骨格座標点を検出する。なお、撮像装置２の設置位置および画角はわかっているので、骨格点検出部１０３は、検出した骨格座標点がどの座席の乗員のものであるかを特定できる。骨格点検出部１０３は、検出した骨格座標点情報を、検出日時および乗員を特定可能な情報と対応付けて、記憶部に記憶する。なお、乗員を特定可能な情報とは、例えば、乗員が着座している座席を特定可能な情報である。以下の説明において、ドライバ以外の乗員を「同乗者」ともいう。
　まず、ノイズ除去部１１３は、骨格座標点情報に基づき、同乗者の骨格座標点の動き、言い換えれば、同乗者の骨格座標点の位置の時系列変化を算出する。なお、ノイズ除去部１１３は、記憶部から振動判定用時間分の同乗者の骨格座標点情報を取得し、振動判定用時間における同乗者の骨格座標点の時系列変化を算出する。
　また、ノイズ除去部１１３は、骨格座標点情報に基づき、ドライバの骨格座標点の動き、言い換えれば、ドライバの骨格座標点の位置の時系列変化を算出する。
　次に、ノイズ除去部１１３は、同乗者の骨格座標点の動きとドライバの骨格座標点の動きを比較し、同乗者の骨格座標点の動きとドライバの骨格座標点の動きが同期しているか否かを判定する。つまり、ノイズ除去部１１３は、同乗者の骨格座標点とドライバの骨格座標点とが、同じタイミングで同じ方向に移動しているか否かを判定する。
　なお、ノイズ除去部１１３は、骨格座標点ごとに、ドライバの骨格座標点の動きが同乗者の骨格座標点の動きと同期しているか否かを判定する。
　ノイズ除去部１１３は、同乗者の骨格座標点の動きとドライバの骨格座標点の動きが同期している場合、言い換えれば、同乗者の骨格座標点の位置とドライバの骨格座標点の位置とが同じタイミングで同じ方向に移動している場合、ドライバの骨格座標点の動きは、車両の振動によって生じたものであると判定する。
　そして、ノイズ除去部１１３は、振動判定用時間分のドライバの骨格座標点情報と、振動判定用時間分の同乗者の骨格座標点情報との差分をとる。ノイズ除去部１１３は、差分をとった後の、振動判定用時間分のドライバの骨格座標点情報を、痙攣検出部１０５に出力する。同乗者の骨格座標点の動きとドライバの骨格座標点の動きが同期している場合、振動判定用時間分のドライバの骨格座標点情報と、振動判定用時間分の同乗者の骨格座標点情報との差分は、ほぼゼロとなる。
　一方、ノイズ除去部１１３は、同乗者の骨格座標点の動きとドライバの骨格座標点の動きが同期していない場合、言い換えれば、同乗者の骨格座標点の位置とドライバの骨格座標点の位置とが同じタイミングで同じ方向に移動していない場合、ドライバの骨格座標点の動きは、車両の振動によって生じたものではないと判定する。つまり、ノイズ除去部１１３は、ドライバの骨格座標点の動きは、ドライバの痙攣によるものの可能性が高いと判定する。
　ノイズ除去部１１３は、振動判定用時間分のドライバの骨格座標点情報を、そのまま、痙攣検出部１０５に出力する。
　なお、実施の形態４に係る体調異常判定装置１ｃも、実施の形態２に係る体調異常判定装置１ａ同様、キャリブレーション処理を行う。キャリブレーション処理の詳細については、説明済みであるため、重複した説明を省略する。
　実施の形態４に係る体調異常判定装置１ｃの動作について説明する。
　図１４は、実施の形態４に係る体調異常判定装置１ｃによる、ドライバの体調異常を判定する動作の一例を説明するためのフローチャートである。
　なお、体調異常判定装置１ｃは、図１４のフローチャートで示す動作を行うまでに、キャリブレーション処理を行う。つまり、図１４のフローチャートで示す動作が行われるまでに、実施の形態１にて図３のフローチャートを用いて説明した動作が行われる。
　図１４のフローチャートで示す動作は、体調異常判定装置１ｃにおいて、ノイズ除去部１１３は、車両の動きとドライバの骨格座標点の動きとが同期しているか否かによって、ノイズ除去を行うべきか否かを判定するものとしている。
　キャリブレーション処理が行われ、制御部からキャリブレーション処理が完了した旨が通知されると、体調異常判定装置１ｃにおいて、図１４のフローチャートで示す動作が行われる。
　なお、図１４において、ステップＳＴ１１１１～ステップＳＴ１１１７までの処理と、ステップＳＴ１１１８～ステップＳＴ１１２０までの処理とは、並行して行われる、また、図１４において、ステップＳＴ１１１２～ステップＳＴ１１１３の処理と、ステップＳＴ１１１４～ステップＳＴ１１１７の処理とは、並行して行われる。
　図１４のフローチャートで示す動作は、制御部からキャリブレーション処理が完了した旨が通知されると、例えば、車両の電源がオフにされるまで繰り返し行われる。
　図１４において、ステップＳＴ１１１１～ステップＳＴ１１１４、ステップＳＴ１１１７、ステップＳＴ１１１８～ステップＳＴ１１２２の処理の具体的な内容は、それぞれ、実施の形態２にて説明済みの、図９のステップＳＴ１１～ステップＳＴ１５、ステップＳＴ１６～ステップＳＴ２０の処理の具体的な内容と同様であるため、重複した説明を省略する。
　振動情報取得部１１２は、ジャイロセンサ５から振動情報を取得する（ステップＳＴ１１１５）。
　振動情報取得部１１２は、取得した振動情報を、ノイズ除去部１１３に出力する。
　また、振動情報取得部１１２は、ジャイロセンサ５から取得した振動情報を、取得日時と対応付けて記憶部に記憶させる。
　ノイズ除去部１１３は、ステップＳＴ１１１５にて骨格点検出部１０３から出力された骨格点情報におけるノイズを除去するノイズ除去処理を行う（ステップＳＴ１１１６）。
　ステップＳＴ１１１７において、痙攣検出部１０５は、ステップＳＴ１１１６にてノイズ除去部１１３から出力された振動判定用時間分のドライバの骨格座標点情報に基づき、ドライバの痙攣を検出する。
　なお、例えば、体調異常判定装置１ｃが頭位置検出部１０２を備えない場合、図１４のフローチャートにおいて、ステップＳＴ１１１２の処理は省略可能である。
　また、図１４のフローチャートでは、ステップＳＴ１１１４、ステップＳＴ１１１５の順で処理が行われるものとしたが、これは一例に過ぎない。ステップＳＴ１１１４の処理が行われる順番と、ステップＳＴ１１１５の処理が行われる順番は、逆でもよい。また、例えば、ステップＳＴ１１１５の処理は、ステップＳＴ１１１１の処理と並列で行われてもよい。
　図１４のフローチャートで示す動作の一例は、ノイズ除去部１１３が、車両の動きとドライバの骨格座標点の動きとが同期しているか否かによって、ノイズ除去を行うべきか否かを判定するものとした場合の体調異常判定装置１ｃの動作の一例であった。例えば、ノイズ除去部１１３が、同乗者の骨格座標点の動きとドライバの骨格座標点の動きとが同期しているか否かによって、ノイズ除去を行うべきか否かを判定するものとした場合、体調異常判定装置１ｃの動作は、図１４のフローチャートのステップＳＴ１１１５の処理を省略できる。ステップＳＴ１１１４において、骨格点検出部１０３は、ステップＳＴ１１１１にて撮像画像取得部１０１が取得した撮像画像に基づき、撮像画像上で車室内に存在する乗員の身体の部位を示す骨格座標点を検出する。
　実施の形態４に係る体調異常判定装置１ｃのハードウェア構成は、実施の形態１において図７Ａおよび図７Ｂを用いて説明した体調異常判定装置１のハードウェア構成と同様であるため、図示を省略する。
　実施の形態４において、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部の機能は、処理回路１００１により実現される。すなわち、体調異常判定装置１ｃは、撮像装置２から取得した撮像画像と生体センサ４から取得した生体情報とに基づいて、ドライバが体調異常であるか否かを判定する制御を行うための処理回路１００１を備える。
　処理回路１００１は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部の機能を実行する。すなわち、体調異常判定装置１ｃは、処理回路１００１により実行されるときに、上述の図３のステップＳＴ１０１～ステップＳＴ１０６、および、図１４のステップＳＴ１１１１～ステップＳＴ１１２２が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部の手順または方法をコンピュータに実行させるものであるともいえる。
　体調異常判定装置１ｃは、撮像装置２、出力装置３、生体センサ４、または、ジャイロセンサ５等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　また、図示しない記憶部は、メモリ１００５等で構成される。
　なお、以上の実施の形態４では、乗員とは、車両の乗員を想定していたが、これは一例に過ぎない。例えば、乗員は、船舶または電車等の乗員であってもよい。体調異常判定装置１ｃは、種々の移動体の乗員が体調異常であるか否かを判定できる。
　また、以上の実施の形態４では、体調異常判定装置１ｃは、車両に搭載される車載装置とし、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部は、車載装置に備えられているものとした。
　これに限らず、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで体調異常判定システムを構成するようにしてもよい。
　また、撮像画像取得部１０１と、頭位置検出部１０２と、骨格点検出部１０３と、姿勢崩れ検出部１０４と、痙攣検出部１０５と、判定部１０６と、出力部１０７と、生体情報取得部１０８と、脈拍関連情報検出部１０９と、脈拍異常検出部１１０と、振動情報取得部１１２と、ノイズ除去部１１３と、図示しない制御部が全部サーバに備えられてもよい。
　また、以上の実施の形態４に係る体調異常判定装置１ｃは、実施の形態２に係る体調異常判定装置１ａに、ノイズ除去機能を追加したものとしたが、これは一例に過ぎない。以上の実施の形態４の内容は、実施の形態１および実施の形態３に適用できる。
　つまり、実施の形態１に係る体調異常判定装置１に、ノイズ除去機能を追加することができる。この場合、図１で示した体調異常判定装置１の構成例において、振動情報取得部１１２およびノイズ除去部１１３が追加される。また、体調異常判定装置１は、ジャイロセンサ５と接続される。なお、体調異常判定装置１は、振動情報取得部１１２を備えず、ジャイロセンサ５と接続されない構成としてもよい。
　また、実施の形態３に係る体調異常判定装置１ｂに、ノイズ除去機能を追加することができる。この場合、図８で示した体調異常判定装置１ｂの構成例において、振動情報取得部１１２およびノイズ除去部１１３が追加される。また、体調異常判定装置１ｂは、ジャイロセンサ５と接続される。なお、体調異常判定装置１ｂは、振動情報取得部１１２を備えず、ジャイロセンサ５と接続されない構成としてもよい。
　以上のように、実施の形態４によれば、体調異常判定装置１ｃは、移動体の振動に関する振動情報を取得する振動情報取得部１１２と、乗員の骨格座標点情報と振動情報とに基づき、乗員の骨格座標点情報に含まれているノイズを除去するノイズ除去部１１３とを備え、痙攣検出部１０５は、ノイズ除去部１１３がノイズを除去した後の乗員の骨格座標点情報に基づき、乗員の痙攣を検出するように構成した。そのため、体調異常判定装置１ｃは、車両（移動体）の振動を考慮して検出された乗員の痙攣に基づいて乗員の体調異常を判定するため、乗員の体調異常の判定精度を向上させることができる。
　また、実施の形態４によれば、体調異常判定装置１ｃは、骨格点検出部１０３は、乗員の骨格座標点に加え、撮像画像上で乗員以外の同乗者の身体の部位を示す骨格座標点を検出し、乗員の骨格座標点情報と同乗者の骨格座標点情報とに基づき、乗員の骨格座標点情報に含まれているノイズを除去するノイズ除去部１１３を備え、痙攣検出部１０５は、ノイズ除去部１１３がノイズを除去した後の乗員の骨格座標点情報に基づき、乗員の痙攣を検出するように構成した。そのため、体調異常判定装置１ｃは、車両（移動体）の振動を考慮して検出された乗員の痙攣に基づいて乗員の体調異常を判定するため、乗員の体調異常の判定精度を向上させることができる。
　また、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示の体調異常判定装置は、大きな姿勢の変化を伴わない乗員の体調異常を判定することができる。
　１，１ａ，１ｂ，１ｃ　体調異常判定装置、２　撮像装置、３　出力装置、４　生体センサ、５　ジャイロセンサ、１０１　撮像画像取得部、１０２　頭位置検出部、１０３　骨格点検出部、１０４　姿勢崩れ検出部、１０５　痙攣検出部、１０６　判定部、１０７　出力部、１０８　生体情報取得部、１０９　脈拍関連情報検出部、１１０　脈拍異常検出部、１１１　痙攣度合判定部、１１２　振動情報取得部、１１３　ノイズ除去部、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ。

Claims (19)

  1. 　移動体の乗員の少なくとも顔を撮像した撮像画像に基づいて検出された前記撮像画像における前記乗員の頭位置に基づき、前記乗員の姿勢崩れを検出する姿勢崩れ検出部と、
    　前記撮像画像に基づき、前記撮像画像上で前記乗員の身体の部位を示す骨格座標点を検出する骨格点検出部と、
    　前記骨格点検出部が検出した前記骨格座標点に関する骨格座標点情報に基づき、前記乗員の痙攣を検出する痙攣検出部と、
    　前記乗員の前記姿勢崩れが検出されず、前記乗員の前記痙攣が検出された場合、前記乗員は体調異常であると判定する判定部
    　とを備えた体調異常判定装置。
  2. 　前記姿勢崩れ検出部は、前記乗員の前記頭位置の基準となる頭部基準値と、前記乗員の前記頭位置との差分を前記乗員の姿勢変化量として検出し、検出した前記乗員の前記姿勢変化量に基づいて、前記乗員の前記姿勢崩れを検出する
    　ことを特徴とする請求項１記載の体調異常判定装置。
  3. 　前記姿勢崩れ検出部は、前記乗員の前記姿勢変化量が姿勢判定用閾値以上である状態が姿勢判定用時間継続した場合、前記乗員の前記姿勢崩れを検出する
    　ことを特徴とする請求項２記載の体調異常判定装置。
  4. 　前記頭部基準値は、基準値設定用時間分の前記撮像画像に基づいて設定される
    　ことを特徴とする請求項２記載の体調異常判定装置。
  5. 　前記痙攣検出部は、前記乗員の前記骨格座標点の基準となるパーツ基準値と前記乗員の前記骨格座標点との差分を前記乗員のパーツ変化量として検出し、検出した前記乗員の前記パーツ変化量に基づいて、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項１記載の体調異常判定装置。
  6. 　前記痙攣検出部は、前記乗員の前記パーツ変化量が痙攣判定用閾値以上であり、かつ、前記乗員の前記パーツ変化量の周期性が前記痙攣の前記周期性である場合、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項５記載の体調異常判定装置。
  7. 　前記パーツ基準値は、基準値設定用時間分の前記撮像画像に基づいて設定される
    　ことを特徴とする請求項５記載の体調異常判定装置。
  8. 　前記乗員の生体情報を取得する生体情報取得部と、
    　前記生体情報取得部が取得した前記生体情報に基づき、前記乗員の脈拍に関する脈拍関連情報を検出する脈拍関連情報検出部と、
    　前記脈拍関連情報検出部が検出した前記乗員の前記脈拍関連情報に基づき、前記乗員の脈拍異常を検出する脈拍異常検出部とを備え、
    　前記判定部は、前記乗員の前記姿勢崩れが検出されず、前記乗員の前記痙攣が検出され、かつ、前記乗員の前記脈拍異常が検出された場合、前記乗員は前記体調異常であると判定する
    　ことを特徴とする請求項１記載の体調異常判定装置。
  9. 　前記脈拍関連情報は前記乗員の脈拍数に関する情報、または、前記乗員の前記脈拍数の変化量に関する情報を含み、
    　前記脈拍異常検出部は、前記乗員の前記脈拍数と脈拍数判定用閾値との比較、または、前記脈拍数の変化量と脈変化量判定用閾値との比較によって、前記乗員の前記脈拍異常を検出する
    　ことを特徴とする請求項８記載の体調異常判定装置。
  10. 　前記痙攣検出部が検出した前記乗員の前記痙攣の度合を判定する痙攣度合判定部を備え、
    　前記判定部は、前記乗員の前記姿勢崩れが検出されず、前記乗員の前記痙攣が検出された場合、前記痙攣度合判定部が判定した前記乗員の前記痙攣の度合が痙攣度合判定用閾値以上であれば、前記乗員の前記脈拍異常が検出されたか否かにかかわらず、前記乗員は前記体調異常であると判定する
    　ことを特徴とする請求項８または請求項９記載の体調異常判定装置。
  11. 　前記移動体の振動に関する振動情報を取得する振動情報取得部と、
    　前記乗員の前記骨格座標点情報と前記振動情報とに基づき、前記乗員の前記骨格座標点情報に含まれているノイズを除去するノイズ除去部とを備え、
    　前記痙攣検出部は、前記ノイズ除去部が前記ノイズを除去した後の前記乗員の前記骨格座標点情報に基づき、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項１記載の体調異常判定装置。
  12. 　前記ノイズ除去部は、前記乗員の前記骨格座標点情報に基づく前記乗員の動きと前記振動情報に基づく前記移動体の動きとが同期している場合、前記乗員の前記骨格座標点情報と前記振動情報との差分をとることで、前記ノイズを除去する
    　ことを特徴とする請求項１１記載の体調異常判定装置。
  13. 　前記骨格点検出部は、前記乗員の前記骨格座標点に加え、前記撮像画像上で前記乗員以外の同乗者の身体の部位を示す前記骨格座標点を検出し、
    　前記乗員の前記骨格座標点情報と前記同乗者の前記骨格座標点情報とに基づき、前記乗員の前記骨格座標点情報に含まれているノイズを除去するノイズ除去部を備え、
    　前記痙攣検出部は、前記ノイズ除去部が前記ノイズを除去した後の前記乗員の前記骨格座標点情報に基づき、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項１記載の体調異常判定装置。
  14. 　前記ノイズ除去部は、前記乗員の前記骨格座標点情報に基づく前記乗員の動きと前記同乗者の前記骨格座標点情報に基づく前記同乗者の動きとが同期している場合、前記乗員の前記骨格座標点情報と前記同乗者の前記骨格座標点情報との差分をとることで前記ノイズを除去する
    　ことを特徴とする請求項１３記載の体調異常判定装置。
  15. 　移動体の乗員の少なくとも顔を撮像した撮像画像に基づき検出された前記撮像画像における前記乗員の頭位置に基づき、前記乗員の姿勢崩れを検出する姿勢崩れ検出部と、
    　前記撮像画像に基づき、前記撮像画像上で前記乗員の身体の部位を示す骨格座標点を検出する骨格点検出部と、
    　前記骨格点検出部が検出した前記骨格座標点に関する骨格座標点情報に基づき、前記乗員の痙攣を検出する痙攣検出部と、
    　前記乗員の生体情報を取得する生体情報取得部と、
    　前記生体情報取得部が取得した前記生体情報に基づき、前記乗員の脈拍に関する脈拍関連情報を検出する脈拍関連情報検出部と、
    　前記脈拍関連情報検出部が検出した前記乗員の前記脈拍関連情報に基づき、前記乗員の脈拍異常を検出する脈拍異常検出部と、
    　前記姿勢崩れ検出部が前記乗員の前記姿勢崩れを検出したか否か、前記痙攣検出部が前記乗員の前記痙攣を検出したか否か、および、前記脈拍異常検出部が前記乗員の前記脈拍異常を検出したか否かに基づいて、前記乗員は体調異常であるか否かを判定する判定部
    　とを備えた体調異常判定装置。
  16. 　前記痙攣検出部が検出した前記乗員の前記痙攣の度合を判定する痙攣度合判定部を備え、
    　前記判定部は、前記乗員の前記姿勢崩れが検出されず、前記乗員の前記痙攣が検出された場合、前記痙攣度合判定部が判定した前記乗員の前記痙攣の度合が痙攣度合判定用閾値以上であれば、前記乗員の前記脈拍異常が検出されたか否かにかかわらず、前記乗員は前記体調異常であると判定する
    　ことを特徴とする請求項１５記載の体調異常判定装置。
  17. 　前記移動体の振動に関する振動情報を取得する振動情報取得部と、
    　前記乗員の前記骨格座標点情報と前記振動情報とに基づき、前記乗員の前記骨格座標点情報に含まれているノイズを除去するノイズ除去部とを備え、
    　前記痙攣検出部は、前記ノイズ除去部が前記ノイズを除去した後の前記乗員の前記骨格座標点情報に基づき、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項１５記載の体調異常判定装置。
  18. 　前記骨格点検出部は、前記乗員の前記骨格座標点に加え、前記撮像画像上で前記乗員以外の同乗者の身体の部位を示す前記骨格座標点を検出し、
    　前記乗員の前記骨格座標点情報と前記同乗者の前記骨格座標点情報とに基づき、前記乗員の前記骨格座標点情報に含まれているノイズを除去するノイズ除去部を備え、
    　前記痙攣検出部は、前記ノイズ除去部が前記ノイズを除去した後の前記乗員の前記骨格座標点情報に基づき、前記乗員の前記痙攣を検出する
    　ことを特徴とする請求項１５記載の体調異常判定装置。
  19. 　姿勢崩れ検出部が、移動体の乗員の少なくとも顔を撮像した撮像画像に基づいて検出された前記撮像画像における前記乗員の頭位置に基づき、前記乗員の姿勢崩れを検出するステップと、
    　骨格点検出部が、前記撮像画像に基づき、前記撮像画像上で前記乗員の身体の部位を示す骨格座標点を検出するステップと、
    　痙攣検出部が、前記骨格点検出部が検出した前記骨格座標点に関する骨格座標点情報に基づき、前記乗員の痙攣を検出するステップと、
    　判定部が、前記乗員の前記姿勢崩れが検出されず、前記乗員の前記痙攣が検出された場合、前記乗員は体調異常であると判定するステップ
    　とを備えた体調異常判定方法。
PCT/JP2021/048069 2021-12-24 2021-12-24 体調異常判定装置および体調異常判定方法 WO2023119608A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/048069 WO2023119608A1 (ja) 2021-12-24 2021-12-24 体調異常判定装置および体調異常判定方法
DE112021008547.6T DE112021008547T5 (de) 2021-12-24 2021-12-24 Körperzustandsabnormalitätsbestimmungsvorrichtung und Körperzustandsabnormalitätsbestimmungsverfahren
JP2023568976A JPWO2023119608A1 (ja) 2021-12-24 2021-12-24

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048069 WO2023119608A1 (ja) 2021-12-24 2021-12-24 体調異常判定装置および体調異常判定方法

Publications (1)

Publication Number Publication Date
WO2023119608A1 true WO2023119608A1 (ja) 2023-06-29

Family

ID=86901810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048069 WO2023119608A1 (ja) 2021-12-24 2021-12-24 体調異常判定装置および体調異常判定方法

Country Status (3)

Country Link
JP (1) JPWO2023119608A1 (ja)
DE (1) DE112021008547T5 (ja)
WO (1) WO2023119608A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163434A (ja) * 2007-12-28 2009-07-23 Toyota Motor Corp 緊急退避システム、緊急退避方法
JP2016009255A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2018022310A (ja) * 2016-08-03 2018-02-08 オムロンオートモーティブエレクトロニクス株式会社 運転手状態判定装置、車両制御システム
US20190318478A1 (en) * 2016-12-30 2019-10-17 Cerner Innovation, Inc. Seizure detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163434A (ja) * 2007-12-28 2009-07-23 Toyota Motor Corp 緊急退避システム、緊急退避方法
JP2016009255A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2018022310A (ja) * 2016-08-03 2018-02-08 オムロンオートモーティブエレクトロニクス株式会社 運転手状態判定装置、車両制御システム
US20190318478A1 (en) * 2016-12-30 2019-10-17 Cerner Innovation, Inc. Seizure detection

Also Published As

Publication number Publication date
JPWO2023119608A1 (ja) 2023-06-29
DE112021008547T5 (de) 2024-10-24

Similar Documents

Publication Publication Date Title
US10034631B1 (en) Vehicle seating system with seat occupant vital sign monitoring
US11071493B2 (en) Multicomponent brain-based electromagnetic biosignal detection system
US20200260996A1 (en) Method and apparatus for processing a cyclic physiological signal
EP3030148B1 (en) Processing apparatus and processing method for determining a respiratory signal of a subject
JP6461021B2 (ja) 被検者のバイタルサイン情報を取得するためのデバイス及び方法
CN108430321B (zh) 用于确定人的生命体征的设备、系统和方法
JP6411111B2 (ja) 認知症リスク判定システム
CN106963348B (zh) 基于行驶环境的用于车辆座椅的生物信号测量系统
KR20130010207A (ko) 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템
TW201837901A (zh) 情感識別裝置以及情感識別程式
JP2006034576A (ja) 乗り物酔い対策装置および乗り物酔い対策方法
CN115100159A (zh) 一种呼吸状态检测方法、装置、设备和存储介质
WO2023119608A1 (ja) 体調異常判定装置および体調異常判定方法
KR102324471B1 (ko) 휴대형 수면 무호흡증 컴퓨터 보조 진단 센서 장치 및 그 제어 방법
TWI768999B (zh) 生理監測系統和估計生命體徵資料的方法
JP2014133049A (ja) 生体情報管理モジュール、睡眠計、制御装置
CN109475324B (zh) 呼吸波形描绘系统以及生物体信息监视系统
CA3139034A1 (en) System and method for filtering time-varying data for physiological signal prediction
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
JP2024516985A (ja) 生体信号抽出を改善するためのコンテキストセンサの融合
JP7333883B2 (ja) 覚醒努力動作推定装置および覚醒努力動作推定方法
Deserno et al. Combining vehicle BUS and vital sign sensors for continuous health monitoring during driving: Concept and first results
WO2024184985A1 (ja) 眠気判定装置及び眠気判定方法
WO2023218546A1 (ja) 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法
EP4193921A1 (en) System and method for providing guidance during spirometry test

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969041

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023568976

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112021008547

Country of ref document: DE