WO2021205508A1 - 生体情報取得装置及び生体情報取得方法 - Google Patents

生体情報取得装置及び生体情報取得方法 Download PDF

Info

Publication number
WO2021205508A1
WO2021205508A1 PCT/JP2020/015517 JP2020015517W WO2021205508A1 WO 2021205508 A1 WO2021205508 A1 WO 2021205508A1 JP 2020015517 W JP2020015517 W JP 2020015517W WO 2021205508 A1 WO2021205508 A1 WO 2021205508A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
parameter
information acquisition
parameter setting
acquisition device
Prior art date
Application number
PCT/JP2020/015517
Other languages
English (en)
French (fr)
Inventor
千弘 岸
浩隆 坂本
篤 松本
信太郎 渡邉
石井　純
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/015517 priority Critical patent/WO2021205508A1/ja
Priority to DE112020007027.1T priority patent/DE112020007027T5/de
Priority to US17/799,797 priority patent/US20230089508A1/en
Priority to JP2022513715A priority patent/JP7391188B2/ja
Publication of WO2021205508A1 publication Critical patent/WO2021205508A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • This disclosure relates to a biometric information acquisition device and a biometric information acquisition method.
  • Patent Document 1 discloses a technique for measuring a driver's heart rate using such a non-contact biosensor.
  • Patent Document 1 discloses a technique for estimating the position of the driver's heart based on the position of the driver's seat in the vehicle. Further, Patent Document 1 discloses a technique for adjusting the directivity of the non-contact biosensor according to the estimated position (see, for example, paragraph [0015] of Patent Document 1). As a result, it is expected that the heart rate will be measured accurately regardless of the position of the driver's seat in the vehicle.
  • the parameters that should be adjusted to improve the measurement accuracy are not limited to the directivity of the non-contact biosensor. From the viewpoint of improving the measurement accuracy, it is preferable to adjust various parameters. In the adjustment based on the position of the driver's seat in the vehicle, there is a problem that it is difficult to realize the adjustment of such various parameters.
  • the present disclosure has been made to solve the above-mentioned problems, and provides a biometric information acquisition device and a biometric information acquisition method corresponding to adjustment of various parameters in measurement using a non-contact biosensor. With the goal.
  • the biometric information acquisition device includes a detection value acquisition unit that acquires a detection value by a non-contact biosensor, a vital measurement unit that measures the vitality of a subject using the detected value, and an image showing an image captured by a camera.
  • the image data acquisition unit for acquiring data and the state estimation process for estimating the state of the target person, the attribute estimation process for estimating the attributes of the target person, or the target person by executing image processing on the captured image including the target person. It includes an image processing unit that executes at least one of the personal identification processes for identification, and a parameter setting unit that sets parameters in vital measurement according to the result of the image processing.
  • the biological information acquisition method includes a step in which the detection value acquisition unit acquires the detection value by the non-contact biosensor, a step in which the vital measurement unit measures the vital of the subject using the detected value, and an image.
  • a state estimation process in which the data acquisition unit acquires image data indicating an image captured by the camera, and the image processing unit estimates the state of the target person by executing image processing on the captured image including the target person.
  • the step of executing at least one of the attribute estimation process for estimating the attribute of the target person and the personal identification process for identifying the target person, and the parameter setting unit set the parameters in the vital measurement according to the result of the image processing. It is provided with steps to be performed.
  • the present disclosure since it is configured as described above, it is possible to provide a biometric information acquisition device and a biometric information acquisition method corresponding to adjustment of various parameters in measurement using a non-contact biosensor.
  • FIG. It is a block diagram which shows the main part of the monitoring system including the biological information acquisition apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the main part of the image processing part in the biological information acquisition apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the main part of the parameter setting part in the biological information acquisition apparatus which concerns on Embodiment 1.
  • FIG. It is explanatory drawing which shows the example of the installation position of a non-contact biosensor and a camera in a vehicle, and is explanatory drawing which shows the state seen from the left with respect to a vehicle.
  • FIG. It is a flowchart which shows the operation of the biological information acquisition apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the biological information acquisition apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the main part of the monitoring system including the biological information acquisition apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the main part of the monitoring system including other biometric information acquisition apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the main part of the monitoring system including other biometric information acquisition apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the main part of the monitoring system including other biometric information acquisition apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the main part of the monitoring system including other biometric information acquisition apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the main part of the monitoring system including other biometric information acquisition apparatus which concerns on
  • FIG. 1 is a block diagram showing a main part of a monitoring system including a biological information acquisition device according to the first embodiment.
  • FIG. 2 is a block diagram showing a main part of an image processing unit in the biological information acquisition device according to the first embodiment.
  • FIG. 3 is a block diagram showing a main part of the parameter setting unit in the biological information acquisition device according to the first embodiment.
  • the biometric information acquisition device according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • the vehicle 1 has a monitoring system 2.
  • the monitoring system 2 includes a non-contact biosensor 3, a camera 4, a biometric information acquisition device 5, and a control device 6.
  • the biological information acquisition device 5 includes a detection value acquisition unit 11, a vital measurement unit 12, an image data acquisition unit 13, an image processing unit 14, and a parameter setting unit 15.
  • the image processing unit 14 includes a state estimation unit 21, an attribute estimation unit 22, and an individual identification unit 23.
  • the state estimation unit 21 includes a head position estimation unit 31, a skeleton estimation unit 32, a heart position estimation unit 33, a body movement amount estimation unit 34, an opening degree estimation unit 35, and a facial expression estimation unit 36.
  • the attribute estimation unit 22 includes an age estimation unit 41 and a gender estimation unit 42.
  • the parameter setting unit 15 includes a first parameter setting unit 51, a second parameter setting unit 52, a third parameter setting unit 53, and a fourth parameter setting unit 54.
  • the monitoring system 2 is composed of a DMS (Driver Monitoring System) or an OMS (Occupant Monitoring System). That is, the monitoring system 2 monitors the driver seated in the driver's seat of the vehicle 1. Alternatively, the monitoring system 2 monitors a passenger seated in the passenger seat of the vehicle 1. Alternatively, the monitoring system 2 monitors each of the driver seated in the driver's seat of the vehicle 1 and the passenger seated in the passenger seat of the vehicle 1.
  • DMS Driver Monitoring System
  • OMS Olecupant Monitoring System
  • the person who is the target of monitoring by the monitoring system 2 may be referred to as the "target person”.
  • the code of "TP" may be used for the subject. That is, the subject TP is a subject for measurement of vitals (including at least one of heart rate and respiratory rate; the same shall apply hereinafter) using the non-contact biosensor 3.
  • the subject TP is a subject to be imaged by the camera 4.
  • the seat in which the target person TP is seated may be referred to as the "target seat”.
  • the code "TS" may be used for the target seat.
  • the non-contact biosensor 3 is composed of, for example, an in-vehicle radio wave type non-contact biosensor.
  • the non-contact biosensor 3 is installed, for example, on the dashboard D of the vehicle 1 or the steering column of the vehicle 1.
  • FIG. 4 shows an example of the installation position of the non-contact biosensor 3 in the vehicle 1.
  • RW1 indicates a radio wave transmitted by the non-contact biosensor 3.
  • the transmitted radio wave RW1 is applied to the subject TP.
  • the irradiated radio wave RW1 is reflected by the subject TP.
  • the reflected radio wave RW2 is received by the non-contact biosensor 3.
  • the value for vital measurement is detected.
  • a value by a Doppler radar, an FM-CW (Frequency Modulated Continue Wave) radar, or a T AlbanyF (Time THERf Frequency) is detected. That is, the value corresponding to each frame is detected. Each frame corresponds to a predetermined time interval.
  • the non-contact biosensor 3 is arranged at the center of the vehicle 1 in the left-right direction. That is, the non-contact biosensor 3 is provided at a position between the driver's seat and the passenger seat on the dashboard D.
  • the arrangement of the non-contact biosensor 3 is not limited to such an arrangement.
  • the non-contact biosensor 3 may be a position where the radio wave RW1 is irradiated to the subject TP and is provided at a position where the radio wave RW2 is received by the non-contact biosensor 3.
  • the camera 4 is composed of, for example, an infrared camera for in-vehicle moving image imaging.
  • the camera 4 is installed on the dashboard D, for example.
  • FIG. 4 shows an example of the installation position of the camera 4 in the vehicle 1.
  • the camera 4 captures a range including the driver's seat of the vehicle 1, a range including the passenger seat of the vehicle 1, or a range including the driver's seat of the vehicle 1 and the passenger seat of the vehicle 1.
  • the image captured by the camera 4 includes the target person TP when the target person TP is seated in the target seat TS. More specifically, the image captured by the camera 4 includes at least the face of the subject TP at this time.
  • the camera 4 is arranged at the center of the vehicle 1 in the left-right direction. That is, the camera 4 is provided at a position between the driver's seat and the passenger seat on the dashboard D.
  • the arrangement of the camera 4 is not limited to such an arrangement.
  • the camera 4 may be provided at a position where the subject TP is imaged by the camera 4.
  • the detection value acquisition unit 11 acquires the value detected by the non-contact biosensor 3 (hereinafter referred to as “detection value”).
  • the detection value acquisition unit 11 outputs the acquired detection value to the vital measurement unit 12.
  • the vital measurement unit 12 acquires the detection value output by the detection value acquisition unit 11.
  • the vital measurement unit 12 measures the vitals of the subject TP using the acquired detected values. As a result, information indicating the measured vitals (hereinafter referred to as "biological information”) is generated.
  • the vital measurement unit 12 outputs the generated biological information to the control device 6.
  • the vital measurement by the vital measurement unit 12 is based on a plurality of types of parameters.
  • the plurality of types of parameters are set by the parameter setting unit 15 described later.
  • the plurality of types of parameters include, for example, the following first parameter, second parameter, third parameter, and fourth parameter.
  • the vital measurement unit 12 may have a function of controlling the transmission direction of the radio wave RW1 by the non-contact biosensor 3 when measuring the vitals of the subject TP.
  • the vital measurement unit 12 may have a function of controlling the position where the radio wave RW1 is irradiated (hereinafter referred to as “irradiation position”). Such a function will be described later with reference to FIGS. 10 and 11 in the second embodiment.
  • the first parameter corresponds to the irradiation position.
  • the vital measurement unit 12 has a function of selecting one or more frames from a plurality of temporally continuous frames and using the detection value corresponding to the selected frame for vital measurement. ..
  • the second parameter corresponds to the frame selected by the vital measurement unit 12 among the plurality of frames. That is, the second parameter corresponds to the frame used for vital measurement by the vital measuring unit 12 (hereinafter, may be referred to as “measurement frame”) among the plurality of frames.
  • the vital measurement unit 12 has a function of removing noise included in the detected values corresponding to the individual frames by executing the moving average processing on the detected values corresponding to a plurality of frames continuously in time. There is.
  • the third parameter corresponds to the section width in such a moving average process (hereinafter, may be referred to as "moving average section width").
  • the vital measurement unit 12 has a function of measuring vitals within a predetermined numerical range.
  • the fourth parameter corresponds to such a numerical range (hereinafter referred to as "measurement range").
  • the image data acquisition unit 13 acquires image data indicating an image captured by the camera 4 (hereinafter referred to as "captured image").
  • the image data acquisition unit 13 outputs the acquired image data to the image processing unit 14.
  • the image processing unit 14 acquires the image data output by the image data acquisition unit 13.
  • the image processing unit 14 executes a plurality of types of image processing on the captured image using the acquired image data. More specifically, as follows, each unit of the image processing unit 14 executes the corresponding image processing.
  • the captured image includes at least the face of the subject TP.
  • the head position estimation unit 31 detects a region (hereinafter referred to as “face region”) corresponding to the face of the subject TP in the captured image. Specifically, for example, the head position estimation unit 31 detects a face region at each time. As a result, the head position estimation unit 31 estimates the head position (hereinafter referred to as “head position”) of the subject TP. Specifically, for example, the head position estimation unit 31 estimates the head position at each time.
  • the head position estimation unit 31 outputs information indicating the detected face region (hereinafter referred to as “face region information”) to the heart position estimation unit 33 and the body movement amount estimation unit 34. Further, the head position estimation unit 31 outputs information indicating the estimated head position (hereinafter referred to as “head position information”) to the heart position estimation unit 33 and the body movement amount estimation unit 34.
  • face region information information indicating the detected face region
  • head position information information indicating the estimated head position
  • the captured image can include the upper body of the subject TP.
  • the skeleton estimation unit 32 estimates the skeleton of the subject TP when the captured image includes the upper body of the subject TP. Specifically, for example, the skeleton estimation unit 32 estimates the skeleton at each time.
  • the skeleton estimation unit 32 outputs information indicating the estimated skeleton (hereinafter referred to as “skeleton information”) to the heart position estimation unit 33 and the body movement amount estimation unit 34.
  • the heart position estimation unit 33 acquires the face area information output by the head position estimation unit 31 and the head position information output by the head position estimation unit 31.
  • the heart position estimation unit 33 uses the acquired face area information to calculate a value corresponding to the distance between the crown of the subject TP and the chin of the subject TP.
  • the heart position estimation unit 33 estimates the position of the heart of the subject TP (hereinafter referred to as “heart position”) by using the acquired head position information and the calculated value.
  • the heart position estimation unit 33 acquires the skeleton information output by the skeleton estimation unit 32.
  • the heart position estimation unit 33 estimates the heart position of the subject TP using the acquired skeletal information.
  • the heart position estimation unit 33 provides information indicating the above-estimated heart position (that is, the heart position estimated using the face region information and the head position information or the heart position estimated using the skeletal information) (hereinafter, “heart position”). Information ”) is output to the parameter setting unit 15. More specifically, the heart position estimation unit 33 outputs the heart position information to the first parameter setting unit 51.
  • the heart position may be represented by three distance values (x, y, z).
  • x is a value indicating a distance with respect to the depth direction with respect to the camera 4.
  • y is a value indicating a distance in the vertical direction with respect to the camera 4.
  • z is a value indicating a distance with respect to the left-right direction with respect to the camera 4.
  • meters are used as the unit of each distance value (x, y, z).
  • the heart position may be represented by two angular values (yaw, pitch).
  • yaw is a value indicating an angle with respect to the yaw direction with respect to the camera 4.
  • the pitch is a value indicating an angle with respect to the pitch direction with respect to the camera 4. For example, degrees are used as the unit of each angle value (yaw, pitch).
  • the body movement amount estimation unit 34 acquires the face area information output by the head position estimation unit 31.
  • the body movement amount estimation unit 34 estimates the position of the face of the subject TP (hereinafter referred to as “face position”) at each of the plurality of times included in each frame by using the acquired face area information. It is a thing.
  • the body movement amount estimation unit 34 calculates the amount of change in the face position in each frame based on the estimated face position. For example, meters per second is used as the unit of the amount of change.
  • the body movement amount estimation unit 34 acquires the head position information output by the head position estimation unit 31.
  • the body movement amount estimation unit 34 calculates the amount of change in the head position in each frame by using the acquired head position information. For example, meters per second is used as the unit of the amount of change.
  • the body movement amount estimation unit 34 acquires the skeleton information output by the skeleton estimation unit 32.
  • the body movement amount estimation unit 34 estimates the body position (hereinafter referred to as “body position”) of the subject TP at each of a plurality of times included in each frame by using the acquired skeletal information. Is.
  • the body movement amount estimation unit 34 calculates the amount of change in the body position in each frame based on the estimated body position. For example, meters per second is used as the unit of the amount of change.
  • the body movement amount estimation unit 34 estimates the body movement amount of the subject TP in each frame based on the estimated change amount (that is, the change amount of the face position, the change amount of the head position or the change amount of the body position). Is.
  • the body movement amount estimation unit 34 outputs information indicating the estimated body movement amount (hereinafter referred to as “body movement amount information”) to the parameter setting unit 15. More specifically, the body movement amount estimation unit 34 outputs the body movement amount information to the second parameter setting unit 52 and the third parameter setting unit 53.
  • various known techniques can be used for estimating the amount of body movement by the body movement amount estimation unit 34. Detailed description of these techniques will be omitted.
  • the opening degree estimation unit 35 estimates the opening degree of the subject TP. Specifically, for example, the aperture degree estimation unit 35 estimates the aperture degree in each frame.
  • the opening degree estimation unit 35 outputs information indicating the estimated opening degree (hereinafter referred to as “opening degree information”) to the parameter setting unit 15. More specifically, the opening degree estimation unit 35 outputs the opening degree information to the second parameter setting unit 52 and the third parameter setting unit 53.
  • the facial expression estimation unit 36 estimates the facial expression of the subject TP. As a result, a value corresponding to the facial expression of the subject TP (hereinafter referred to as “facial expression value”) is calculated.
  • the facial expression estimation unit 36 outputs information indicating the estimated facial expression, that is, information including the calculated facial expression value (hereinafter referred to as “facial expression information”) to the parameter setting unit 15. More specifically, the facial expression estimation unit 36 outputs the facial expression information to the fourth parameter setting unit 54.
  • facial expression estimation unit 36 Various known techniques can be used for the facial expression estimation by the facial expression estimation unit 36. Detailed description of these techniques will be omitted.
  • the age estimation unit 41 estimates the age of the subject TP.
  • the age estimation unit 41 outputs information indicating the estimated age (hereinafter referred to as “age information”) to the parameter setting unit 15. More specifically, the age estimation unit 41 outputs the age information to the fourth parameter setting unit 54.
  • the gender estimation unit 42 estimates the gender of the subject TP.
  • the gender estimation unit 42 outputs information indicating the estimated gender (hereinafter referred to as “gender information”) to the parameter setting unit 15. More specifically, the gender estimation unit 42 outputs the gender information to the fourth parameter setting unit 54.
  • gender estimation unit 42 Various known techniques can be used for gender estimation by the gender estimation unit 42. Detailed description of these techniques will be omitted.
  • the personal identification unit 23 identifies the target person TP by using the information registered in a predetermined database (hereinafter referred to as "personal identification database"). That is, when the vehicle 1 is used by a plurality of users, the personal identification unit 23 identifies which of the plurality of users is the current target person TP.
  • the personal identification unit 23 acquires information on the identified target person TP, that is, information on the identified user (hereinafter referred to as "personal identification information”) from the personal identification database.
  • the personal identification unit 23 outputs the acquired personal identification information to the parameter setting unit 15. More specifically, the personal identification unit 23 outputs the personal identification information to the first parameter setting unit 51 and the fourth parameter setting unit 54.
  • the personal identification information includes information indicating the heart position of the identified subject TP.
  • information is generated by the heart position estimation unit 33, for example, when the specified user has boarded the vehicle 1 in the past.
  • such information is, for example, pre-entered by the identified user.
  • the personal identification information includes information indicating the age of the identified subject TP.
  • information is generated by the age estimation unit 41, for example, when the specified user has boarded the vehicle 1 in the past.
  • such information is, for example, pre-entered by the identified user.
  • the personal identification information includes information indicating the gender of the identified subject TP.
  • Such information is generated by the gender estimation unit 42, for example, when the specified user has boarded the vehicle 1 in the past.
  • such information is, for example, pre-entered by the identified user.
  • the information output by the image processing unit 14 to the parameter setting unit 15 includes heart position information, body movement amount information, opening degree information, facial expression information, age information, gender information, and personal identification information.
  • the image processing unit 14 outputs at least a part of the information to the control device 6.
  • the detection of the face region, the estimation of the head position, the estimation of the skeleton, the estimation of the heart position, the estimation of the body movement amount, the estimation of the opening degree and the estimation of the facial expression are the estimation of the state of the subject TP. That is, the state estimation unit 21 estimates the state of the subject TP. Moreover, it can be said that the estimation of age and the estimation of gender are the estimation of the attributes of the subject TP. That is, the attribute estimation unit 22 estimates the attributes of the target person TP.
  • the parameter setting unit 15 acquires the information output by the image processing unit 14 (including heart position information, body movement amount information, opening degree information, facial expression information, age information, gender information, and personal identification information). ..
  • the parameter setting unit 15 uses this information to set a plurality of types of parameters in the vital measurement unit 12.
  • FIG. 5 shows the correspondence between the information output by the image processing unit 14 and the parameters set by the parameter setting unit 15.
  • a plurality of types of parameters are set as follows.
  • the first parameter setting unit 51 acquires the heart position information output by the heart position estimation unit 33.
  • the first parameter setting unit 51 sets the first parameter in the vital measurement unit 12 by using the acquired heart position information.
  • the first parameter setting unit 51 sets the vital measurement unit 12 so as to control the irradiation position of the radio wave RW1 to a position corresponding to the heart position indicated by the acquired heart position information.
  • the irradiation position of the radio wave RW1 can be adjusted to a position suitable for measuring vital signs (particularly heart rate). Such adjustment will be described later with reference to FIGS. 10 and 11 in the second embodiment.
  • the first parameter setting unit 51 includes the personal identification information output by the personal identification unit 23.
  • the first parameter setting unit 51 sets the first parameter in the vital measurement unit 12 by using the acquired personal identification information.
  • the personal identification information includes information indicating the heart position of the subject TP.
  • the first parameter setting unit 51 sets the vital measurement unit 12 so as to control the irradiation position of the radio wave RW1 to a position corresponding to the heart position indicated by the information.
  • the irradiation position of the radio wave RW1 can be adjusted to a position suitable for measuring vital signs (particularly heart rate). Such adjustment will be described later with reference to FIGS. 10 and 11 in the second embodiment.
  • the first parameter setting unit 51 may acquire heart position information and personal identification information.
  • the first parameter setting unit 51 may set the first parameter by selectively using either one of the acquired heart position information and the personal identification information.
  • the second parameter setting unit 52 acquires the body movement amount information output by the body movement amount estimation unit 34.
  • the second parameter setting unit 52 sets the second parameter in the vital measurement unit 12 by using the acquired body movement amount information.
  • the second parameter setting unit 52 sets the vital measurement unit 12 so as to select a frame corresponding to the amount of body movement equal to or less than a predetermined threshold Th1 as the measurement frame.
  • the second parameter setting unit 52 sets the vital measurement unit 12 so as to exclude the frame corresponding to the amount of body movement exceeding the threshold Th1 from the vital measurement.
  • the second parameter setting unit 52 acquires the aperture degree information output by the aperture degree estimation unit 35.
  • the second parameter setting unit 52 sets the second parameter in the vital measurement unit 12 by using the acquired aperture degree information.
  • the second parameter setting unit 52 sets the vital measurement unit 12 so as to select a frame corresponding to the opening degree of the predetermined threshold Th2 or less as the measurement frame.
  • the second parameter setting unit 52 sets the vital measurement unit 12 so as to exclude the frame corresponding to the opening degree exceeding the threshold Th2 from the vital measurement.
  • the second parameter setting unit 52 may acquire body movement amount information and opening degree information, and set the second parameter using the acquired body movement amount information and opening degree information. In this case, the second parameter setting unit 52 selects the frame corresponding to the body movement amount of the threshold Th1 or less and the opening degree of the threshold Th2 or less as the measurement frame. May be set.
  • the third parameter setting unit 53 acquires the body movement amount information output by the body movement amount estimation unit 34.
  • the third parameter setting unit 53 sets the third parameter in the vital measurement unit 12 by using the acquired body movement amount information.
  • the third parameter setting unit 53 sets the amount of body movement to a predetermined threshold Th3 or less for a plurality of frames corresponding to a predetermined time (including one frame for which the average value is calculated by the moving average processing).
  • the number n of the corresponding frames is calculated.
  • the third parameter setting unit 53 sets the vital measurement unit 12 so as to reduce the corresponding moving average section width.
  • the third parameter setting unit 53 sets the vital measurement unit 12 so as to increase the corresponding moving average section width. Thereby, the moving average section width can be adjusted to an appropriate width according to the amount of body movement.
  • the third parameter setting unit 53 acquires the aperture degree information output by the aperture degree estimation unit 35.
  • the third parameter setting unit 53 sets the third parameter in the vital measurement unit 12 by using the acquired aperture degree information.
  • the third parameter setting unit 53 sets the opening degree to a predetermined threshold value Th4 or less for a plurality of frames corresponding to a predetermined time (including one frame for which the average value is calculated by the moving average processing). Calculate the number m of the corresponding frames.
  • the third parameter setting unit 53 sets the vital measurement unit 12 so as to reduce the corresponding moving average section width.
  • the third parameter setting unit 53 sets the vital measurement unit 12 so as to increase the corresponding moving average section width. Thereby, the moving average section width can be adjusted to an appropriate width according to the opening degree.
  • the third parameter setting unit 53 may acquire body movement amount information and opening degree information, and set the third parameter using the acquired body movement amount information and opening degree information.
  • the third parameter setting unit 53 calculates the ratios R1 and R2, and adjusts the moving average section width according to the statistical value (for example, the total value or the average value) based on the calculated ratios R1 and R2.
  • the vital measurement unit 12 may be set in.
  • the fourth parameter setting unit 54 acquires the facial expression information output by the facial expression estimation unit 36.
  • the fourth parameter setting unit 54 sets the fourth parameter in the vital measurement unit 12 by using the acquired facial expression information.
  • the fourth parameter setting unit 54 estimates the degree of excitement of the subject TP based on the facial expression value included in the acquired facial expression information. When the estimated degree of excitement is high, the fourth parameter setting unit 54 sets the vital measurement unit 12 so as to use a numerical range including a higher numerical value for the measurement range. On the other hand, when the estimated degree of excitement is low, the fourth parameter setting unit 54 sets the vital measurement unit 12 so as to use a numerical range including a lower numerical value for the measurement range.
  • the fourth parameter setting unit 54 acquires the age information output by the age estimation unit 41.
  • the fourth parameter setting unit 54 sets the fourth parameter in the vital measurement unit 12 by using the acquired age information.
  • the fourth parameter setting unit 54 selects a numerical range corresponding to the age group including the age indicated by the acquired age information among the plurality of numerical ranges.
  • the fourth parameter setting unit 54 sets the vital measurement unit 12 so that the selected numerical range is used as the measurement range.
  • the fourth parameter setting unit 54 acquires the gender information output by the gender estimation unit 42.
  • the fourth parameter setting unit 54 sets the fourth parameter in the vital measurement unit 12 by using the acquired gender information.
  • the fourth parameter setting unit 54 selects a numerical range corresponding to the gender indicated by the acquired gender information from the plurality of numerical ranges.
  • the fourth parameter setting unit 54 sets the vital measurement unit 12 so that the selected numerical range is used as the measurement range.
  • the fourth parameter setting unit 54 may acquire age information and gender information and set the fourth parameter using the acquired age information and gender information. For example, a table showing the correspondence between a plurality of age groups, a plurality of genders, and a plurality of numerical ranges related to vitals is prepared in advance.
  • the fourth parameter setting unit 54 corresponds to the age group including the age indicated by the acquired age information among the plurality of numerical values, and corresponds to the gender indicated by the acquired gender information. Select the numerical range that is set.
  • the fourth parameter setting unit 54 sets the vital measurement unit 12 so that the selected numerical range is used as the measurement range.
  • the fourth parameter setting unit 54 may acquire facial expression information and age information and set the fourth parameter using the acquired facial expression information and age information. For example, the fourth parameter setting unit 54 corrects (for example, shifts, enlarges or reduces) the numerical range selected based on the age information according to the degree of excitement. The fourth parameter setting unit 54 sets the vital measurement unit 12 so that the corrected numerical range is used for the measurement range.
  • the fourth parameter setting unit 54 may acquire facial expression information and gender information and set the fourth parameter using the acquired facial expression information and gender information. For example, the fourth parameter setting unit 54 corrects (for example, shifts, enlarges or reduces) the numerical range selected based on the gender information according to the degree of excitement. The fourth parameter setting unit 54 sets the vital measurement unit 12 so that the corrected numerical range is used as the measurement range.
  • the fourth parameter setting unit 54 acquires the personal identification information output by the personal identification unit 23.
  • the fourth parameter setting unit 54 sets the fourth parameter in the vital measurement unit 12 by using the acquired personal identification information.
  • the personal identification information includes information indicating the age of the target person TP and information indicating the gender of the target person TP. Therefore, the fourth parameter setting unit 54 sets the fourth parameter by the same setting method as the setting method using the age information, using the information indicating the age. Alternatively, the fourth parameter setting unit 54 sets the fourth parameter by the same setting method as the setting method using the gender information, using the information indicating the gender. Alternatively, the fourth parameter setting unit 54 sets the fourth parameter by the same setting method as the setting method using the age information and the gender information, using the information indicating the age and the information indicating the gender.
  • the fourth parameter setting unit 54 may acquire facial expression information and personal identification information, and set the fourth parameter using the acquired facial expression information and personal identification information. For example, the fourth parameter setting unit 54 sets the fourth parameter by the same setting method as the setting method using the facial expression information and the age information by using the facial expression information and the information indicating the age included in the personal identification information. .. Alternatively, the fourth parameter setting unit 54 sets the fourth parameter by the same setting method as the setting method using the facial expression information and the gender information by using the facial expression information and the information indicating the gender included in the personal identification information. ..
  • the fourth parameter setting unit 54 uses the facial expression information, the information indicating the age and the information indicating the gender included in the personal identification information, and sets the same as the setting method using the facial expression information, the age information, and the gender information.
  • the fourth parameter is set by the method.
  • the main part of the biological information acquisition device 5 is configured.
  • the control device 6 is composed of, for example, an ECU (Electronic Control Unit).
  • the control device 6 acquires the biological information output by the vital measurement unit 12, and also acquires the information output by the image processing unit 14.
  • the control device 6 uses this information to execute various controls for DMS or various controls for OMS.
  • control device 6 monitors the arousal level and the comfort level of the driver of the target person TP by using this information.
  • the control device 6 executes a control that outputs a warning to the driver when the arousal level is lowered, or a control that stops the vehicle 1 by operating the vehicle 1.
  • the control device 6 executes control for operating the equipment (for example, an air conditioner) of the vehicle 1 when the comfort level is lowered.
  • control device 6 monitors the comfort level of the passenger of the subject TP by using this information.
  • the control device 6 executes control for operating the equipment (for example, an air conditioner) of the vehicle 1 when the comfort level is lowered.
  • equipment for example, an air conditioner
  • control device 6 various known techniques can be used for the control for DMS by the control device 6. Further, various known techniques can be used for the control for OMS by the control device 6. Detailed description of these techniques will be omitted.
  • the processes executed by the detection value acquisition unit 11 may be collectively referred to as “detection value acquisition processing”.
  • the processes executed by the vital measurement unit 12 may be collectively referred to as “vital measurement process”.
  • the processes executed by the image data acquisition unit 13 may be collectively referred to as “image data acquisition process”.
  • the processes executed by the parameter setting unit 15 may be collectively referred to as “parameter setting process”.
  • the processes executed by the state estimation unit 21 may be collectively referred to as "state estimation process”.
  • the processing executed by the attribute estimation unit 22 may be collectively referred to as “attribute estimation processing”.
  • the processing executed by the personal identification unit 23 may be collectively referred to as "personal identification processing”.
  • the code of "F1” may be used for the function of the detection value acquisition unit 11.
  • the code of "F2” may be used for the function of the vital measurement unit 12.
  • the reference numeral “F3” may be used for the function of the image data acquisition unit 13.
  • the reference numeral “F4" may be used for the function of the image processing unit 14.
  • the code of "F5" may be used for the function of the parameter setting unit 15.
  • the biometric information acquisition device 5 has a processor 61 and a memory 62.
  • the memory 62 stores programs corresponding to a plurality of functions F1 to F5.
  • the processor 61 reads and executes the program stored in the memory 62. As a result, a plurality of functions F1 to F5 are realized.
  • the biological information acquisition device 5 has a processing circuit 63.
  • the processing circuit 63 executes processing corresponding to a plurality of functions F1 to F5. As a result, a plurality of functions F1 to F5 are realized.
  • the biometric information acquisition device 5 includes a processor 61, a memory 62, and a processing circuit 63.
  • a program corresponding to a part of the plurality of functions F1 to F5 is stored in the memory 62.
  • the processor 61 reads and executes the program stored in the memory 62. As a result, some of these functions are realized.
  • the processing circuit 63 executes processing corresponding to the remaining functions of the plurality of functions F1 to F5. As a result, such a residual function is realized.
  • the processor 61 is composed of one or more processors.
  • processors for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microprocessor, or a DSP (Digital Signal Processor) is used.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microprocessor
  • DSP Digital Signal Processor
  • the memory 62 is composed of one or more non-volatile memories.
  • the memory 62 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 62 is composed of one or more memories.
  • the individual memory uses, for example, a semiconductor memory or a magnetic disk. More specifically, each volatile memory uses, for example, a RAM (Random Access Memory).
  • the individual non-volatile memory is, for example, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmory) drive, or a hard drive using a hard drive, a hard drive, or a hard drive. Is.
  • the processing circuit 63 is composed of one or more digital circuits. Alternatively, the processing circuit 63 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 63 is composed of one or more processing circuits.
  • the individual processing circuits are, for example, ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), FPGA (Field Program Is.
  • the processor 61 when the processor 61 is composed of a plurality of processors, the correspondence between the plurality of functions F1 to F5 and the plurality of processors is arbitrary. That is, each of the plurality of processors may read and execute a program corresponding to one or more corresponding functions among the plurality of functions F1 to F5.
  • the processor 61 may include a dedicated processor corresponding to each function F1 to F5.
  • each of the plurality of memories may store a program corresponding to one or more corresponding functions among the plurality of functions F1 to F5.
  • the memory 62 may include a dedicated memory corresponding to the individual functions F1 to F5.
  • the processing circuit 63 when the processing circuit 63 is composed of a plurality of processing circuits, the correspondence between the plurality of functions F1 to F5 and the plurality of processing circuits is arbitrary. That is, each of the plurality of processing circuits may execute processing corresponding to one or more corresponding functions among the plurality of functions F1 to F5.
  • the processing circuit 63 may include a dedicated processing circuit corresponding to the individual functions F1 to F5.
  • the operation of the biological information acquisition device 5 will be described focusing on the operations of the image data acquisition unit 13, the image processing unit 14, and the parameter setting unit 15.
  • the image data acquisition unit 13 executes the image data acquisition process (step ST1). As a result, image data showing the image captured by the camera 4 is acquired.
  • the image processing unit 14 executes a plurality of types of image processing (step ST2). As a result, the state estimation process, the attribute estimation process, and the personal identification process are executed.
  • the parameter setting unit 15 executes the parameter setting process (step ST3).
  • a plurality of types of parameters in the vital measurement unit 12 are set. Specifically, for example, a first parameter, a second parameter, a third parameter, and a fourth parameter are set.
  • the detection value acquisition unit 11 executes the detection value acquisition process (step ST4). As a result, the value detected by the non-contact biosensor 3 is acquired.
  • the vital measurement unit 12 executes the vital measurement process (step ST5). As a result, the vitals of the subject TP are measured and biometric information is generated. At this time, the vital measurement unit 12 measures the vitals of the subject TP based on the plurality of types of parameters set in step ST3.
  • the directivity of the non-contact biosensor is adjusted according to the position of the seat (more specifically, the driver's seat) in the vehicle.
  • the first parameter that is, the irradiation position of the radio wave RW1
  • the result of the image processing more specifically, the state estimation processing or the personal identification processing.
  • the image processing includes the attribute estimation processing and the personal identification processing, it is possible to realize adjustments for a plurality of types of parameters in consideration of individual differences. Specifically, for example, adjustments can be made in consideration of individual differences with respect to the first parameter and the fourth parameter.
  • the parameter setting unit 15 may not include the first parameter setting unit 51.
  • the image processing unit 14 may not include the heart position estimation unit 33.
  • the parameter setting unit 15 may not include the second parameter setting unit 52.
  • the parameter setting unit 15 may not include the third parameter setting unit 53.
  • the parameter setting unit 15 may not include the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the facial expression estimation unit 36, the age estimation unit 41, and the gender estimation unit 42.
  • the parameter setting unit 15 may not include the first parameter setting unit 51 and the second parameter setting unit 52.
  • the image processing unit 14 may not include the heart position estimation unit 33.
  • the parameter setting unit 15 may not include the first parameter setting unit 51 and the third parameter setting unit 53.
  • the image processing unit 14 may not include the heart position estimation unit 33.
  • the parameter setting unit 15 may not include the first parameter setting unit 51 and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the heart position estimation unit 33, the facial expression estimation unit 36, the age estimation unit 41, the gender estimation unit 42, and the personal identification unit 23.
  • the parameter setting unit 15 may not include the second parameter setting unit 52 and the third parameter setting unit 53.
  • the image processing unit 14 may not include the body movement amount estimation unit 34 and the opening degree estimation unit 35.
  • the parameter setting unit 15 may not include the second parameter setting unit 52 and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the facial expression estimation unit 36, the age estimation unit 41, and the gender estimation unit 42.
  • the parameter setting unit 15 may not include the third parameter setting unit 53 and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the facial expression estimation unit 36, the age estimation unit 41, and the gender estimation unit 42.
  • the parameter setting unit 15 may not include the first parameter setting unit 51, the second parameter setting unit 52, and the third parameter setting unit 53.
  • the image processing unit 14 may not include the head position estimation unit 31, the skeleton estimation unit 32, the heart position estimation unit 33, the body movement amount estimation unit 34, and the opening degree estimation unit 35.
  • the parameter setting unit 15 may not include the first parameter setting unit 51, the second parameter setting unit 52, and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the heart position estimation unit 33, the facial expression estimation unit 36, the age estimation unit 41, the gender estimation unit 42, and the personal identification unit 23.
  • the parameter setting unit 15 may not include the first parameter setting unit 51, the third parameter setting unit 53, and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the heart position estimation unit 33, the facial expression estimation unit 36, the age estimation unit 41, the gender estimation unit 42, and the personal identification unit 23.
  • the parameter setting unit 15 may not include the second parameter setting unit 52, the third parameter setting unit 53, and the fourth parameter setting unit 54.
  • the image processing unit 14 may not include the body movement amount estimation unit 34, the opening degree estimation unit 35, the facial expression estimation unit 36, the age estimation unit 41, and the gender estimation unit 42.
  • the parameter setting unit 15 may set at least one of the first parameter, the second parameter, the third parameter, and the fourth parameter.
  • the image processing unit 14 may include at least one of the state estimation unit 21, the attribute estimation unit 22, and the personal identification unit 23. In other words, the image processing unit 14 may execute at least one of the state estimation process, the attribute estimation process, and the personal identification process.
  • the state estimation process may include at least one of a process of estimating the heart position, a process of estimating the amount of body movement, a process of estimating the degree of opening, and a process of estimating the facial expression.
  • the attribute estimation process may include at least one of the process of estimating the age and the process of estimating the gender.
  • the information indicating vitals (that is, biometric information) measured by the vital measurement unit 12 may be registered in the personal identification database.
  • the registered biometric information may be used for personal identification processing from the next time onward.
  • the vehicle 1 may be equipped with sensors (not shown).
  • the sensors include, for example, a sensor that detects the position of the target seat TS in the vehicle 1 (hereinafter referred to as “seat position sensor”). Further, the sensors include, for example, a sensor that detects a steering angle in the vehicle 1 (hereinafter, referred to as a "steering angle sensor").
  • the heart position estimation unit 33 estimates the heart position of the subject TP, the information output by the head position estimation unit 31 (that is, face area information and head position information) or the information output by the skeleton estimation unit 32 (that is, that is). In addition to using the skeleton information), the value detected by the seat position sensor may be used. As a result, the accuracy of estimating the heart position can be improved.
  • the body movement amount estimation unit 34 estimates the body movement amount of the subject TP
  • the information output by the head position estimation unit 31 that is, face area information or head position information
  • the information output by the skeleton estimation unit 32 that is, that is.
  • the value detected by the steering angle sensor may be used. As a result, the accuracy of estimating the amount of body movement can be improved.
  • the biometric information acquisition device 5 may use another type of non-contact biosensor 3 instead of the radio wave type non-contact biosensor 3.
  • the non-contact biosensor 3 may use light, a laser, or an ultrasonic wave instead of the radio wave.
  • radio waves, light, lasers, ultrasonic waves, etc. may be collectively referred to as "measurement waves”.
  • the application of the biological information acquisition device 5 is not limited to DMS or OMS. That is, the non-contact biosensor 3 and the camera 4 are not limited to those for in-vehicle use. Further, the target person TP is not limited to the passenger of the vehicle 1.
  • the biometric information acquisition device 5 may be used in any system as long as it is a system including a non-contact biosensor 3 and a camera 4.
  • the biological information acquisition device 5 has a detection value acquisition unit 11 that acquires a detection value by the non-contact biological sensor 3 and a vital that measures the vitality of the subject TP using the detection value.
  • State estimation that estimates the state of the target person TP by executing image processing on the captured image including the measurement unit 12, the image data acquisition unit 13 that acquires the image data showing the image captured by the camera 4, and the target person TP.
  • An image processing unit 14 that executes at least one of processing, attribute estimation processing for estimating the attributes of the target person TP, and personal identification processing for identifying the target person TP, and parameters in vital measurement according to the result of the image processing.
  • a parameter setting unit 15 for setting the above is provided. This makes it possible to adjust various parameters in the measurement of vitals using the non-contact biosensor 3.
  • the parameter includes a first parameter corresponding to the irradiation position of the measurement wave by the non-contact biosensor 3, and the parameter setting unit 15 responds to at least one of the result of the state estimation process and the result of the personal identification process. Set the first parameter. Thereby, the adjustment of the irradiation position can be realized.
  • the state estimation process includes a process of estimating the heart position of the subject TP, and when the personal identification process is executed, the personal identification information corresponding to the subject TP is acquired, and the parameter setting unit Fifteen sets the first parameter according to at least one of the heart position and personal identification information. Thereby, the adjustment of the irradiation position can be realized.
  • the parameter includes a fourth parameter corresponding to the measurement range of vitals in the measurement, and the parameter setting unit 15 sets the result of the state estimation process, the result of the attribute estimation process, or the result of the personal identification process into at least one.
  • the fourth parameter is set accordingly. Thereby, the adjustment of the measurement range can be realized.
  • the state estimation process includes a process of estimating the facial expression of the target person TP
  • the attribute estimation process includes at least one of a process of estimating the age of the target person TP and a process of estimating the sex of the target person TP.
  • Personal identification information corresponding to the target person TP is acquired by executing the personal identification process, and the parameter setting unit 15 can be set to at least one of facial expression, age, gender, or personal identification information.
  • the fourth parameter is set accordingly. Thereby, the adjustment of the measurement range can be realized.
  • the parameter includes the second parameter corresponding to the frame used for the measurement, and the parameter setting unit 15 sets the second parameter according to the result of the state estimation process. Thereby, the adjustment of the measurement frame can be realized.
  • the state estimation process includes at least one of a process of estimating the body movement amount of the target person TP and a process of estimating the opening degree of the target person TP
  • the parameter setting unit 15 includes the body movement amount or the opening degree of the target person TP.
  • the second parameter is set according to at least one of them. Thereby, the adjustment of the measurement frame can be realized.
  • the parameter includes a third parameter corresponding to the section width of the moving average processing in the measurement, and the parameter setting unit 15 sets the third parameter according to the result of the state estimation processing. Thereby, the adjustment of the moving average section width can be realized.
  • the state estimation process includes at least one of a process of estimating the body movement amount of the target person TP and a process of estimating the opening degree of the target person TP
  • the parameter setting unit 15 includes the body movement amount or the opening degree of the target person TP.
  • the third parameter is set according to at least one of them. Thereby, the adjustment of the moving average section width can be realized.
  • the detection value acquisition unit 11 uses the detected value in step ST4 to acquire the detected value by the non-contact biological sensor 3, and the vital measurement unit 12 uses the detected value to TP the subject.
  • Step ST5 for measuring the vital of the image step ST1 for the image data acquisition unit 13 to acquire image data indicating the image captured by the camera 4, and the image processing unit 14 execute image processing for the captured image including the target person TP.
  • Step ST2 to execute at least one of the state estimation process for estimating the state of the target person TP, the attribute estimation process for estimating the attributes of the target person TP, and the personal identification process for identifying the target person TP.
  • the parameter setting unit 15 includes step ST3 of setting parameters in vital measurement according to the result of image processing. This makes it possible to adjust various parameters in the measurement of vitals using the non-contact biosensor 3.
  • FIG. 10 is a block diagram showing a main part of the monitoring system including the biological information acquisition device according to the second embodiment.
  • FIG. 11 is a block diagram showing a main part of a monitoring system including another biometric information acquisition device according to the second embodiment.
  • FIG. 12 is a block diagram showing a main part of a monitoring system including another biometric information acquisition device according to the second embodiment.
  • FIG. 13 is a block diagram showing a main part of a monitoring system including another biometric information acquisition device according to the second embodiment.
  • FIG. 14 is a block diagram showing a main part of a monitoring system including another biometric information acquisition device according to the second embodiment.
  • FIGS. 10 to 14 A monitoring system including the biometric information acquisition device according to the second embodiment will be described with reference to each of FIGS. 10 to 14.
  • the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the vital measurement unit 12 may include the first irradiation position control unit 71.
  • the first irradiation position control unit 71 executes control for adjusting the irradiation position to the heart position (hereinafter referred to as “irradiation position control”) based on the first parameter set by the first parameter setting unit 51.
  • irradiation position control controls the irradiation position to the heart position based on the first parameter set by the first parameter setting unit 51.
  • the first irradiation position control unit 71 executes control to operate the target seat TS according to the difference between the current irradiation position and the heart position indicated by the first parameter. More specifically, the first irradiation position control unit 71 is the position of the target seat TS in the front-rear direction, the position of the target seat TS in the left-right direction, the position of the target seat TS in the vertical direction, the rotation angle of the target seat TS, or the target. It executes control to operate at least one of the reclining angles of the seat TS. As a result, the irradiation position is adjusted to a position corresponding to the heart position. More specifically, the irradiation position is adjusted to a position substantially the same as the heart position.
  • the first irradiation position control unit 71 executes control to mechanically rotate the non-contact biosensor 3 according to the difference between the current irradiation position and the heart position indicated by the first parameter. As a result, the irradiation position is adjusted to a position corresponding to the heart position. More specifically, the irradiation position is adjusted to a position substantially the same as the heart position.
  • the first irradiation position control unit 71 executes beamforming processing on the non-contact biosensor 3 according to the difference between the current irradiation position and the heart position indicated by the first parameter. As a result, the irradiation position is adjusted to a position corresponding to the heart position. More specifically, the irradiation position is adjusted to a position substantially the same as the heart position.
  • the irradiation position control may be a combination of the operation of the target seat TS and the rotation of the non-contact biosensor 3.
  • the irradiation position control may be a combination of the operation of the target seat TS and the beamforming process for the non-contact biosensor 3.
  • the irradiation position control may be a combination of rotation of the non-contact biosensor 3 and beamforming processing for the non-contact biosensor 3.
  • the irradiation position control may be a combination of the operation of the target seat TS, the rotation of the non-contact biosensor 3, and the beamforming process for the non-contact biosensor 3.
  • information indicating the mounting angle of the steering column in the vehicle 1 may be used for the irradiation position control.
  • the vital measurement unit 12 may include the guidance control unit 72.
  • the guidance control unit 72 executes control for guiding the heart of the subject TP to the irradiation position of the measurement wave (hereinafter referred to as “guidance control”) based on the first parameter set by the first parameter setting unit 51.
  • the output device 7 is used for the guidance control.
  • the output device 7 includes at least one of a laser pointer, a speaker, a display or an indicator.
  • the guidance control unit 72 uses the laser pointer to emit the laser light to the irradiation position of the measurement wave (that is, an appropriate heart position). Perform irradiation control.
  • the subject TP operates the subject seat TS so as to align his / her chest (that is, his / her heart) with the irradiation position of the measurement wave based on the laser beam. That is, the subject TP manually executes the same operation as the operation in the first specific example of the irradiation position control. In this way, the heart of the subject TP is guided to the irradiation position of the measurement wave.
  • the guidance control unit 72 uses the speaker to perform control to output a sound according to the difference between the irradiation position of the measurement wave and the heart position indicated by the first parameter.
  • a sound uses, for example, an intermittent sound in which the intermittent interval changes according to the amount of deviation between the irradiation position of the measurement wave and the heart position indicated by the first parameter.
  • a voice is, for example, a voice that reads out a text indicating the direction of the irradiation position with respect to the heart position.
  • the subject TP operates the subject seat TS so as to align his / her chest (that is, his / her heart) with the irradiation position of the measurement wave based on the voice. That is, the subject TP manually executes the same operation as the operation in the first specific example of the irradiation position control. In this way, the heart of the subject TP is guided to the irradiation position of the measurement wave.
  • the guidance control unit 72 uses a display or an indicator to perform control for displaying the presence or absence of a deviation between the irradiation position of the measurement wave and the heart position indicated by the first parameter.
  • the subject TP operates the subject seat TS so as to align his / her chest (that is, his / her heart) with the irradiation position of the measurement wave based on such a display. That is, the subject TP manually executes the same operation as the operation in the first specific example of the irradiation position control. In this way, the heart of the subject TP is guided to the irradiation position of the measurement wave.
  • the vital measurement unit 12 may include an irradiation range control unit 73.
  • the irradiation range control unit 73 acquires information indicating the reliability of the heart position estimated by the heart position estimation unit 33 (hereinafter referred to as “reliability information”) from the heart position estimation unit 33.
  • the irradiation range control unit 73 calculates such reliability. Specifically, for example, the irradiation range control unit 73 calculates such reliability based on the signal strength of the signal corresponding to the vitals measured by the vital measurement unit 12.
  • the irradiation range control unit 73 is a range in which the measurement wave is irradiated by the non-contact biosensor 3 according to the reliability indicated by the acquired reliability information or according to the calculated reliability (hereinafter, “irradiation”). It is sometimes called "range").
  • the irradiation range control unit 73 sets a narrower range as the irradiation range.
  • the irradiation range control unit 73 sets a wider range as the irradiation range.
  • An error may occur in the estimation of the heart position by the heart position estimation unit 33 depending on the body orientation of the subject TP or the position of the arm of the subject TP.
  • the irradiation range control unit 73 controls the irradiation range as described above, so that it is possible to prevent the heart of the subject TP from being irradiated with the measurement wave.
  • the vital measurement unit 12 may include a second irradiation position control unit 74.
  • the second irradiation position control unit 74 acquires reliability information from the heart position estimation unit 33.
  • the second irradiation position control unit 74 calculates the reliability by the same calculation method as the calculation method by the irradiation range control unit 73.
  • the second irradiation position control unit 74 controls the irradiation position of the measurement wave according to the reliability indicated by the acquired reliability information or according to the calculated reliability.
  • the second irradiation position control unit 74 sets the irradiation position of the measurement wave to a predetermined initial position. In other words, the second irradiation position control unit 74 resets the irradiation position of the measurement wave.
  • the second irradiation position control unit 74 sets the irradiation position of the measurement wave to the following position. That is, the second irradiation position control unit 74 sets the irradiation position of the measurement wave to the same position as the last irradiation position set based on the heart position corresponding to the reliability equal to or higher than the reference value.
  • An error may occur in the estimation of the heart position by the heart position estimation unit 33 depending on the body orientation of the subject TP or the position of the arm of the subject TP.
  • the second irradiation position control unit 74 controls the irradiation position as described above, so that it is possible to prevent the heart of the subject TP from being irradiated with the measurement wave.
  • the vital measurement unit 12 includes the first irradiation position control unit 71 that executes the irradiation position control for adjusting the irradiation position to the heart position based on the first parameter. Have.
  • the irradiation position can be adjusted to a position suitable for measuring vital signs (particularly heart rate).
  • the vital measurement unit 12 has a guidance control unit 72 that executes guidance control for guiding the heart of the subject TP to the irradiation position based on the first parameter.
  • the heart of the subject TP can be guided to a position suitable for measuring vital signs (particularly heart rate).
  • the vital measurement unit 12 has an irradiation range control unit 73 that controls the irradiation range of the measurement wave by the non-contact biosensor 3 according to the reliability of the heart position. As a result, when an error occurs in the estimation of the heart position, it is possible to suppress that the measurement wave is not irradiated to the heart of the subject TP.
  • the vital measurement unit 12 has a second irradiation position control unit 74 that controls the irradiation position according to the reliability of the heart position. As a result, when an error occurs in the estimation of the heart position, it is possible to suppress that the measurement wave is not irradiated to the heart of the subject TP.
  • the biometric information acquisition device can be used for, for example, DMS or OMS.

Abstract

生体情報取得装置（５）は、非接触生体センサ（３）による検出値を取得する検出値取得部（１１）と、検出値を用いて対象者（ＴＰ）のバイタルを測定するバイタル測定部（１２）と、カメラ（４）による撮像画像を示す画像データを取得する画像データ取得部（１３）と、対象者（ＴＰ）を含む撮像画像に対する画像処理を実行することにより、対象者（ＴＰ）の状態を推定する状態推定処理、対象者（ＴＰ）の属性を推定する属性推定処理又は対象者（ＴＰ）を識別する個人識別処理のうちの少なくとも一つを実行する画像処理部（１４）と、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するパラメータ設定部（１５）と、を備える。

Description

生体情報取得装置及び生体情報取得方法
　本開示は、生体情報取得装置及び生体情報取得方法に関する。
　従来、車載用の電波式の非接触生体センサが開発されている。特許文献１には、かかる非接触生体センサを用いて運転者の心拍数を測定する技術が開示されている。
特開２０１７－１２４０５８号公報
　特許文献１には、車両における運転席の位置に基づき運転者の心臓の位置を推定する技術が開示されている。また、特許文献１には、当該推定された位置に応じて非接触生体センサの指向性を調整する技術が開示されている（例えば、特許文献１の段落［００１５］参照。）。これにより、車両における運転席の位置にかかわらず心拍数を精度良く測定することが期待される。
　しかしながら、測定精度の向上のために調整されるべきパラメータは、非接触生体センサの指向性に限定されるものではない。測定精度を向上する観点から、多様なパラメータを調整するのが好適である。車両における運転席の位置に基づく調整においては、かかる多様なパラメータの調整を実現することが困難であるという問題があった。
　本開示は、上記のような課題を解決するためになされたものであり、非接触生体センサを用いた測定における多様なパラメータの調整に対応した生体情報取得装置及び生体情報取得方法を提供することを目的とする。
　本開示に係る生体情報取得装置は、非接触生体センサによる検出値を取得する検出値取得部と、検出値を用いて対象者のバイタルを測定するバイタル測定部と、カメラによる撮像画像を示す画像データを取得する画像データ取得部と、対象者を含む撮像画像に対する画像処理を実行することにより、対象者の状態を推定する状態推定処理、対象者の属性を推定する属性推定処理又は対象者を識別する個人識別処理のうちの少なくとも一つを実行する画像処理部と、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するパラメータ設定部と、を備えるものである。
　本開示に係る生体情報取得方法は、検出値取得部が、非接触生体センサによる検出値を取得するステップと、バイタル測定部が、検出値を用いて対象者のバイタルを測定するステップと、画像データ取得部が、カメラによる撮像画像を示す画像データを取得するステップと、画像処理部が、対象者を含む撮像画像に対する画像処理を実行することにより、対象者の状態を推定する状態推定処理、対象者の属性を推定する属性推定処理又は対象者を識別する個人識別処理のうちの少なくとも一つを実行するステップと、パラメータ設定部が、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するステップと、を備えるものである。
　本開示によれば、上記のように構成したので、非接触生体センサを用いた測定における多様なパラメータの調整に対応した生体情報取得装置及び生体情報取得方法を提供することができる。
実施の形態１に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。 実施の形態１に係る生体情報取得装置における画像処理部の要部を示すブロック図である。 実施の形態１に係る生体情報取得装置におけるパラメータ設定部の要部を示すブロック図である。 車両における非接触生体センサ及びカメラの設置位置の例を示す説明図であって、車両に対する左方から見た状態を示す説明図である。 車両における非接触生体センサ及びカメラの設置位置の例を示す説明図であって、車両に対する上方から見た状態を示す説明図である。 画像処理部により出力される情報とパラメータ設定部により設定されるパラメータとの対応関係を示す説明図である。 実施の形態１に係る生体情報取得装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る生体情報取得装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る生体情報取得装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る生体情報取得装置の動作を示すフローチャートである。 実施の形態１に係る生体情報取得装置の動作を示すフローチャートである。 実施の形態２に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。 実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。 実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。 実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。 実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
　以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。図２は、実施の形態１に係る生体情報取得装置における画像処理部の要部を示すブロック図である。図３は、実施の形態１に係る生体情報取得装置におけるパラメータ設定部の要部を示すブロック図である。図１～図３を参照して、実施の形態１に係る生体情報取得装置について説明する。
　図１に示す如く、車両１は、モニタリングシステム２を有している。モニタリングシステム２は、非接触生体センサ３、カメラ４、生体情報取得装置５及び制御装置６を含むものである。生体情報取得装置５は、検出値取得部１１、バイタル測定部１２、画像データ取得部１３、画像処理部１４及びパラメータ設定部１５を含むものである。
　図２に示す如く、画像処理部１４は、状態推定部２１、属性推定部２２及び個人識別部２３を含むものである。状態推定部２１は、頭位置推定部３１、骨格推定部３２、心臓位置推定部３３、体動量推定部３４、開口度推定部３５及び表情推定部３６を含むものである。属性推定部２２は、年齢推定部４１及び性別推定部４２を含むものである。
　図３に示す如く、パラメータ設定部１５は、第１パラメータ設定部５１、第２パラメータ設定部５２、第３パラメータ設定部５３及び第４パラメータ設定部５４を含むものである。
　モニタリングシステム２は、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）又はＯＭＳ（Ｏｃｃｕｐａｎｔ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）により構成されている。すなわち、モニタリングシステム２は、車両１の運転席に着座している運転者を監視するものである。または、モニタリングシステム２は、車両１の助手席に着座している同乗者を監視するものである。または、モニタリングシステム２は、車両１の運転席に着座している運転者及び車両１の助手席に着座している同乗者の各々を監視するものである。
　以下、モニタリングシステム２による監視の対象となる者を「対象者」ということがある。また、対象者に「ＴＰ」の符号を用いることがある。すなわち、対象者ＴＰは、非接触生体センサ３を用いたバイタル（心拍数又は呼吸数のうちの少なくとも一方を含む。以下同じ。）の測定の対象となる者である。また、対象者ＴＰは、カメラ４による撮像の対象となる者である。
　以下、対象者ＴＰが着座している座席を「対象座席」ということがある。また、対象座席に「ＴＳ」の符号を用いることがある。
　非接触生体センサ３は、例えば、車載用の電波式の非接触生体センサにより構成されている。非接触生体センサ３は、例えば、車両１のダッシュボードＤ又は車両１のステアリングコラムに設置されている。図４は、車両１における非接触生体センサ３の設置位置の例を示している。図中、ＲＷ１は、非接触生体センサ３により送信される電波を示している。当該送信された電波ＲＷ１は、対象者ＴＰに照射される。当該照射された電波ＲＷ１は、対象者ＴＰにより反射される。当該反射された電波ＲＷ２は、非接触生体センサ３により受信される。
　これにより、バイタル測定用の値が検出される。具体的には、例えば、ドップラレーダ、ＦＭ－ＣＷ（Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｅｄ　Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）レーダ又はＴоＦ（Ｔｉｍｅ　оｆ　Ｆｌｉｇｈｔ）による値が検出される。すなわち、個々のフレームに対応する値が検出される。個々のフレームは、所定の時間区間に対応するものである。
　なお、図４に示す例において、非接触生体センサ３は、車両１の左右方向に対する中央部に配置されている。すなわち、非接触生体センサ３は、ダッシュボードＤにおける運転席と助手席間の位置に設けられている。しかしながら、非接触生体センサ３の配置は、かかる配置に限定されるものではない。非接触生体センサ３は、電波ＲＷ１が対象者ＴＰに照射される位置であって、電波ＲＷ２が非接触生体センサ３により受信される位置に設けられたものであれば良い。
　カメラ４は、例えば、車載用の動画撮像用の赤外線カメラにより構成されている。カメラ４は、例えば、ダッシュボードＤに設置されている。図４は、車両１におけるカメラ４の設置位置の例を示している。カメラ４は、車両１の運転席を含む範囲、車両１の助手席を含む範囲、又は車両１の運転席及び車両１の助手席を含む範囲を撮像するものである。これにより、カメラ４により撮像される画像は、対象者ＴＰが対象座席ＴＳに着座しているとき、対象者ＴＰを含むものとなる。より具体的には、カメラ４により撮像される画像は、このとき、少なくとも対象者ＴＰの顔を含むものとなる。
　なお、図４に示す例において、カメラ４は、車両１の左右方向に対する中央部に配置されている。すなわち、カメラ４は、ダッシュボードＤにおける運転席と助手席間の位置に設けられている。しかしながら、カメラ４の配置は、かかる配置に限定されるものではない。カメラ４は、カメラ４により対象者ＴＰが撮像される位置に設けられたものであれば良い。
　検出値取得部１１は、非接触生体センサ３により検出された値（以下「検出値」という。）を取得するものである。検出値取得部１１は、当該取得された検出値をバイタル測定部１２に出力するものである。
　バイタル測定部１２は、検出値取得部１１により出力された検出値を取得するものである。バイタル測定部１２は、当該取得された検出値を用いて、対象者ＴＰのバイタルを測定するものである。これにより、当該測定されたバイタルを示す情報（以下「生体情報」という。）が生成される。バイタル測定部１２は、当該生成された生体情報を制御装置６に出力するものである。
　バイタル測定部１２によるバイタルの測定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　ここで、バイタル測定部１２によるバイタルの測定は、複数種類のパラメータに基づくものである。複数種類のパラメータは、後述するパラメータ設定部１５により設定されるものである。複数種類のパラメータは、例えば、以下のような第１パラメータ、第２パラメータ、第３パラメータ及び第４パラメータを含むものである。
〈第１パラメータ〉
　バイタル測定部１２は、対象者ＴＰのバイタルを測定するにあたり、非接触生体センサ３による電波ＲＷ１の送信方向を制御する機能を有し得るものである。換言すれば、バイタル測定部１２は、電波ＲＷ１が照射される位置（以下「照射位置」という。）を制御する機能を有し得るものである。かかる機能については、実施の形態２にて図１０及び図１１を参照して後述する。第１パラメータは、照射位置に対応するものである。
〈第２パラメータ〉
　バイタル測定部１２は、時間的に連続する複数個のフレームのうちの１個以上のフレームを選択して、当該選択されたフレームに対応する検出値をバイタルの測定に用いる機能を有している。第２パラメータは、かかる複数個のフレームのうちのバイタル測定部１２により選択されるフレームに対応するものである。すなわち、第２パラメータは、かかる複数個のフレームのうちのバイタル測定部１２によるバイタルの測定に用いられるフレーム（以下「測定用フレーム」ということがある。）に対応するものである。
〈第３パラメータ〉
　バイタル測定部１２は、時間的に連続する複数個のフレームに対応する検出値に対する移動平均処理を実行することにより、個々のフレームに対応する検出値に含まれるノイズを除去する機能を有している。第３パラメータは、かかる移動平均処理における区間幅（以下「移動平均区間幅」ということがある。）に対応するものである。
〈第４パラメータ〉
　バイタル測定部１２は、所定の数値範囲内にてバイタルを測定する機能を有している。第４パラメータは、かかる数値範囲（以下「測定範囲」という。）に対応するものである。
　画像データ取得部１３は、カメラ４により撮像された画像（以下「撮像画像」という。）を示す画像データを取得するものである。画像データ取得部１３は、当該取得された画像データを画像処理部１４に出力するものである。
　画像処理部１４は、画像データ取得部１３により出力された画像データを取得するものである。画像処理部１４は、当該取得された画像データを用いて、撮像画像に対する複数種類の画像処理を実行するものである。より具体的には、以下のように、画像処理部１４の各部が対応する画像処理を実行するものである。
　第一に、上記のとおり、撮像画像は、少なくとも対象者ＴＰの顔を含むものである。頭位置推定部３１は、撮像画像における対象者ＴＰの顔に対応する領域（以下「顔領域」という。）を検出するものである。具体的には、例えば、頭位置推定部３１は、個々の時刻における顔領域を検出するものである。これにより、頭位置推定部３１は、対象者ＴＰの頭の位置（以下「頭位置」という。）を推定するものである。具体的には、例えば、頭位置推定部３１は、個々の時刻における頭位置を推定するものである。
　頭位置推定部３１は、上記検出された顔領域を示す情報（以下「顔領域情報」という。）を心臓位置推定部３３及び体動量推定部３４に出力するものである。また、頭位置推定部３１は、上記推定された頭位置を示す情報（以下「頭位置情報」という。）を心臓位置推定部３３及び体動量推定部３４に出力するものである。
　頭位置推定部３１による顔領域の検出には、公知の種々の技術を用いることができる。また、頭位置推定部３１による頭位置の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第二に、撮像画像は、対象者ＴＰの上半身を含み得るものである。骨格推定部３２は、撮像画像に対象者ＴＰの上半身が含まれる場合、対象者ＴＰの骨格を推定するものである。具体的には、例えば、骨格推定部３２は、個々の時刻における骨格を推定するものである。骨格推定部３２は、当該推定された骨格を示す情報（以下「骨格情報」という。）を心臓位置推定部３３及び体動量推定部３４に出力するものである。
　骨格推定部３２による骨格の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第三に、心臓位置推定部３３は、頭位置推定部３１により出力された顔領域情報及び頭位置推定部３１により出力された頭位置情報を取得するものである。心臓位置推定部３３は、当該取得された顔領域情報を用いて、対象者ＴＰの頭頂と対象者ＴＰの顎先間の距離に対応する値を演算するものである。心臓位置推定部３３は、当該取得された頭部位置情報及び当該演算された値を用いて、対象者ＴＰの心臓の位置（以下「心臓位置」という。）を推定するものである。
　または、心臓位置推定部３３は、骨格推定部３２により出力された骨格情報を取得するものである。心臓位置推定部３３は、当該取得された骨格情報を用いて、対象者ＴＰの心臓位置を推定するものである。
　心臓位置推定部３３は、上記推定された心臓位置（すなわち顔領域情報及び頭位置情報を用いて推定された心臓位置又は骨格情報を用いて推定された心臓位置）を示す情報（以下「心臓位置情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、心臓位置推定部３３は、心臓位置情報を第１パラメータ設定部５１に出力するものである。
　ここで、心臓位置は、３個の距離値（ｘ，ｙ，ｚ）により表されるものあっても良い。ｘは、カメラ４を基準とする奥行き方向に対する距離を示す値である。ｙは、カメラ４を基準とする上下方向に対する距離を示す値である。ｚは、カメラ４を基準とする左右方向に対する距離を示す値である。個々の距離値（ｘ，ｙ，ｚ）の単位には、例えば、メートルが用いられる。
　または、心臓位置は、２個の角度値（ｙａｗ，ｐｉｔｃｈ）により表されるものであっても良い。ｙａｗは、カメラ４を基準とするヨー方向に対する角度を示す値である。ｐｉｔｃｈは、カメラ４を基準とするピッチ方向に対する角度を示す値である。個々の角度値（ｙａｗ，ｐｉｔｃｈ）の単位には、例えば、度が用いられる。
　このほか、心臓位置推定部３３による心臓位置の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第四に、体動量推定部３４は、頭位置推定部３１により出力された顔領域情報を取得するものである。体動量推定部３４は、当該取得された顔領域情報を用いて、個々のフレームに含まれる複数個の時刻の各々における対象者ＴＰの顔の位置（以下「顔位置」という。）を推定するものである。体動量推定部３４は、当該推定された顔位置に基づき、個々のフレームにおける顔位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
　または、体動量推定部３４は、頭位置推定部３１により出力された頭位置情報を取得するものである。体動量推定部３４は、当該取得された頭位置情報を用いて、個々のフレームにおける頭位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
　または、体動量推定部３４は、骨格推定部３２により出力された骨格情報を取得するものである。体動量推定部３４は、当該取得された骨格情報を用いて、個々のフレームに含まれる複数個の時刻の各々における対象者ＴＰの体の位置（以下「体位置」という。）を推定するものである。体動量推定部３４は、当該推定された体位置に基づき、個々のフレームにおける体位置の変化量を演算するものである。かかる変化量の単位には、例えば、メートル毎秒が用いられる。
　体動量推定部３４は、上記推定された変化量（すなわち顔位置の変化量、頭位置の変化量又は体位置の変化量）に基づき、個々のフレームにおける対象者ＴＰの体動量を推定するものである。体動量推定部３４は、当該推定された体動量を示す情報（以下「体動量情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、体動量推定部３４は、体動量情報を第２パラメータ設定部５２及び第３パラメータ設定部５３に出力するものである。
　このほか、体動量推定部３４による体動量の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第五に、開口度推定部３５は、対象者ＴＰの開口度を推定するものである。具体的には、例えば、開口度推定部３５は、個々のフレームにおける開口度を推定するものである。開口度推定部３５は、当該推定された開口度を示す情報（以下「開口度情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、開口度推定部３５は、開口度情報を第２パラメータ設定部５２及び第３パラメータ設定部５３に出力するものである。
　開口度推定部３５による開口度の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第六に、表情推定部３６は、対象者ＴＰの表情を推定するものである。これにより、対象者ＴＰの表情に対応する値（以下「表情値」という。）が演算される。表情推定部３６は、当該推定された表情を示す情報、すなわち当該演算された表情値を含む情報（以下「表情情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、表情推定部３６は、表情情報を第４パラメータ設定部５４に出力するものである。
　表情推定部３６による表情の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第七に、年齢推定部４１は、対象者ＴＰの年齢を推定するものである。年齢推定部４１は、当該推定された年齢を示す情報（以下「年齢情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、年齢推定部４１は、年齢情報を第４パラメータ設定部５４に出力するものである。
　年齢推定部４１による年齢の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第八に、性別推定部４２は、対象者ＴＰの性別を推定するものである。性別推定部４２は、当該推定された性別を示す情報（以下「性別情報」という。）をパラメータ設定部１５に出力するものである。より具体的には、性別推定部４２は、性別情報を第４パラメータ設定部５４に出力するものである。
　性別推定部４２による性別の推定には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第九に、個人識別部２３は、所定のデータベース（以下「個人識別用データベース」という。）に登録されている情報を用いて、対象者ＴＰを識別するものである。すなわち、個人識別部２３は、車両１が複数人のユーザにより使用されるものであるとき、複数人のユーザのうちのいずれのユーザが現在の対象者ＴＰであるかを特定するものである。個人識別部２３は、当該識別された対象者ＴＰに関する情報、すなわち当該特定されたユーザに関する情報（以下「個人識別情報」という。）を個人識別用データベースから取得するものである。個人識別部２３は、当該取得された個人識別情報をパラメータ設定部１５に出力するものである。より具体的には、個人識別部２３は、個人識別情報を第１パラメータ設定部５１及び第４パラメータ設定部５４に出力するものである。
　個人識別部２３による対象者ＴＰの識別には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　ここで、個人識別情報は、上記識別された対象者ＴＰの心臓位置を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両１に搭乗したとき、心臓位置推定部３３により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
　また、個人識別情報は、上記識別された対象者ＴＰの年齢を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両１に搭乗したとき、年齢推定部４１により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
　また、個人識別情報は、上記識別された対象者ＴＰの性別を示す情報を含むものである。かかる情報は、例えば、上記特定されたユーザが過去に車両１に搭乗したとき、性別推定部４２により生成されたものである。または、かかる情報は、例えば、上記特定されたユーザにより予め入力されたものである。
　このように、画像処理部１４によりパラメータ設定部１５に出力される情報は、心臓位置情報、体動量情報、開口度情報、表情情報、年齢情報、性別情報及び個人識別情報を含むものである。画像処理部１４は、これらの情報のうちの少なくとも一部の情報を制御装置６に出力するようになっている。
　なお、顔領域の検出、頭位置の推定、骨格の推定、心臓位置の推定、体動量の推定、開口度の推定及び表情の推定は、対象者ＴＰの状態の推定であるといえる。すなわち、状態推定部２１は、対象者ＴＰの状態を推定するものである。また、年齢の推定及び性別の推定は、対象者ＴＰの属性の推定であるといえる。すなわち、属性推定部２２は、対象者ＴＰの属性を推定するものである。
　パラメータ設定部１５は、画像処理部１４により出力された情報（心臓位置情報、体動量情報、開口度情報、表情情報、年齢情報、性別情報及び個人識別情報を含む。）を取得するものである。パラメータ設定部１５は、これらの情報を用いて、バイタル測定部１２における複数種類のパラメータを設定するものである。図５は、画像処理部１４により出力される情報とパラメータ設定部１５により設定されるパラメータとの対応関係を示している。複数種類のパラメータは、以下のようにして設定される。
〈第１パラメータの設定方法〉
　第一に、第１パラメータ設定部５１は、心臓位置推定部３３により出力された心臓位置情報を取得するものである。第１パラメータ設定部５１は、当該取得された心臓位置情報を用いて、バイタル測定部１２における第１パラメータを設定するものである。
　すなわち、第１パラメータ設定部５１は、電波ＲＷ１の照射位置を上記取得された心臓位置情報が示す心臓位置に対応する位置に制御するようにバイタル測定部１２を設定する。これにより、電波ＲＷ１の照射位置をバイタル（特に心拍数）の測定に適した位置に調整することができる。かかる調整については、実施の形態２にて図１０及び図１１を参照して後述する。
　または、第１パラメータ設定部５１は、個人識別部２３により出力された個人識別情報を含むものである。第１パラメータ設定部５１は、当該取得された個人識別情報を用いて、バイタル測定部１２における第１パラメータを設定するものである。
　すなわち、上記のとおり、個人識別情報には、対象者ＴＰの心臓位置を示す情報が含まれている。第１パラメータ設定部５１は、電波ＲＷ１の照射位置を当該情報が示す心臓位置に対応する位置に制御するようにバイタル測定部１２を設定する。これにより、電波ＲＷ１の照射位置をバイタル（特に心拍数）の測定に適した位置に調整することができる。かかる調整については、実施の形態２にて図１０及び図１１を参照して後述する。
　なお、第１パラメータ設定部５１は、心臓位置情報及び個人識別情報を取得するものであっても良い。第１パラメータ設定部５１は、当該取得された心臓位置情報及び個人識別情報のうちのいずれか一方を選択的に用いて第１パラメータを設定するものであっても良い。
〈第２パラメータの設定方法〉
　第二に、第２パラメータ設定部５２は、体動量推定部３４により出力された体動量情報を取得するものである。第２パラメータ設定部５２は、当該取得された体動量情報を用いて、バイタル測定部１２における第２パラメータを設定するものである。
　すなわち、第２パラメータ設定部５２は、所定の閾値Ｔｈ１以下の体動量に対応するフレームを測定用フレームに選択するようにバイタル測定部１２を設定する。換言すれば、第２パラメータ設定部５２は、閾値Ｔｈ１を超える体動量に対応するフレームをバイタルの測定から除外するようにバイタル測定部１２を設定する。これにより、バイタルの測定に不適なフレーム（すなわち対象者ＴＰが体を動かしているときのフレーム）がバイタルの測定に用いられるのを回避するような調整を実現することができる。
　または、第２パラメータ設定部５２は、開口度推定部３５により出力された開口度情報を取得するものである。第２パラメータ設定部５２は、当該取得された開口度情報を用いて、バイタル測定部１２における第２パラメータを設定するものである。
　すなわち、第２パラメータ設定部５２は、所定の閾値Ｔｈ２以下の開口度に対応するフレームを測定用フレームに選択するようにバイタル測定部１２を設定する。換言すれば、第２パラメータ設定部５２は、閾値Ｔｈ２を超える開口度に対応するフレームをバイタルの測定から除外するようにバイタル測定部１２を設定する。これにより、バイタルの測定に不適なフレーム（すなわち対象者ＴＰが会話をしているときのフレーム）がバイタルの測定に用いられるのを回避するような調整を実現することができる。
　なお、第２パラメータ設定部５２は、体動量情報及び開口度情報を取得して、当該取得された体動量情報及び開口度情報を用いて第２パラメータを設定するものであっても良い。この場合、第２パラメータ設定部５２は、閾値Ｔｈ１以下の体動量に対応しており、かつ、閾値Ｔｈ２以下の開口度に対応しているフレームを測定用フレームに選択するようにバイタル測定部１２を設定するものであっても良い。
〈第３パラメータの設定方法〉
　第三に、第３パラメータ設定部５３は、体動量推定部３４により出力された体動量情報を取得するものである。第３パラメータ設定部５３は、当該取得された体動量情報を用いて、バイタル測定部１２における第３パラメータを設定するものである。
　すなわち、第３パラメータ設定部５３は、所定時間に対応する複数個のフレーム（移動平均処理による平均値の算出対象となる１個のフレームを含む。）について、所定の閾値Ｔｈ３以下の体動量に対応するフレームの個数ｎを演算する。第３パラメータ設定部５３は、当該複数個のフレームの個数Ｎに対する当該演算された個数ｎの比率Ｒ１を演算する（Ｒ１＝ｎ／Ｎ）。当該演算された比率Ｒ１が大きい場合、第３パラメータ設定部５３は、対応する移動平均区間幅を小さくするようにバイタル測定部１２を設定する。他方、当該演算された比率Ｒ１が小さい場合、第３パラメータ設定部５３は、対応する移動平均区間幅を大きくするようにバイタル測定部１２を設定する。これにより、移動平均区間幅を体動量に応じて適切な幅に調整することができる。
　または、第３パラメータ設定部５３は、開口度推定部３５により出力された開口度情報を取得するものである。第３パラメータ設定部５３は、当該取得された開口度情報を用いて、バイタル測定部１２における第３パラメータを設定するものである。
　すなわち、第３パラメータ設定部５３は、所定時間に対応する複数個のフレーム（移動平均処理による平均値の算出対象となる１個のフレームを含む。）について、所定の閾値Ｔｈ４以下の開口度に対応するフレームの個数ｍを演算する。第３パラメータ設定部５３は、当該複数個のフレームの個数Ｍに対する当該演算された個数ｍの比率Ｒ２を演算する（Ｒ２＝ｍ／Ｍ）。当該演算された比率Ｒ２が大きい場合、第３パラメータ設定部５３は、対応する移動平均区間幅を小さくするようにバイタル測定部１２を設定する。他方、当該演算された比率Ｒ２が小さい場合、第３パラメータ設定部５３は、対応する移動平均区間幅を大きくするようにバイタル測定部１２を設定する。これにより、移動平均区間幅を開口度に応じて適切な幅に調整することができる。
　なお、第３パラメータ設定部５３は、体動量情報及び開口度情報を取得して、当該取得された体動量情報及び開口度情報を用いて第３パラメータを設定するものであっても良い。この場合、第３パラメータ設定部５３は、比率Ｒ１，Ｒ２を演算して、当該演算された比率Ｒ１，Ｒ２による統計値（例えば合計値又は平均値）に応じて移動平均区間幅を調整するようにバイタル測定部１２を設定するものであっても良い。
〈第４パラメータの設定方法〉
　第四に、第４パラメータ設定部５４は、表情推定部３６により出力された表情情報を取得するものである。第４パラメータ設定部５４は、当該取得された表情情報を用いて、バイタル測定部１２における第４パラメータを設定するものである。
　すなわち、第４パラメータ設定部５４は、上記取得された表情情報に含まれる表情値に基づき、対象者ＴＰの興奮度を推定する。当該推定された興奮度が高い場合、第４パラメータ設定部５４は、より高い数値を含む数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。他方、当該推定された興奮度が低い場合、第４パラメータ設定部５４は、より低い数値を含む数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。
　または、第４パラメータ設定部５４は、年齢推定部４１により出力された年齢情報を取得するものである。第４パラメータ設定部５４は、当該取得された年齢情報を用いて、バイタル測定部１２における第４パラメータを設定するものである。
　すなわち、通常、標準的なバイタルは年齢に応じて異なるものである。より具体的には、年齢が上がるにつれて次第に数値が下がるものである。そこで、複数個の年齢層とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第４パラメータ設定部５４は、当該複数個の数値範囲のうちの上記取得された年齢情報が示す年齢を含む年齢層に対応する数値範囲を選択する。第４パラメータ設定部５４は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。
　または、第４パラメータ設定部５４は、性別推定部４２により出力された性別情報を取得するものである。第４パラメータ設定部５４は、当該取得された性別情報を用いて、バイタル測定部１２における第４パラメータを設定するものである。
　すなわち、通常、標準的なバイタルは性別に応じて異なるものである。そこで、複数個の性別とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第４パラメータ設定部５４は、当該複数個の数値範囲のうちの上記取得された性別情報が示す性別に対応する数値範囲を選択する。第４パラメータ設定部５４は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。
　なお、第４パラメータ設定部５４は、年齢情報及び性別情報を取得して、当該取得された年齢情報及び性別情報を用いて第４パラメータを設定するものであっても良い。例えば、複数個の年齢層と複数個の性別とバイタルに係る複数個の数値範囲との対応関係を示すテーブルが予め用意されている。第４パラメータ設定部５４は、当該複数個の数値範囲のうち、当該取得された年齢情報が示す年齢を含む年齢層に対応しており、かつ、当該取得された性別情報が示す性別に対応している数値範囲を選択する。第４パラメータ設定部５４は、当該選択された数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。
　また、第４パラメータ設定部５４は、表情情報及び年齢情報を取得して、当該取得された表情情報及び年齢情報を用いて第４パラメータを設定するものであっても良い。例えば、第４パラメータ設定部５４は、年齢情報に基づき選択された数値範囲を興奮度に応じて補正（例えばシフト、拡大又は縮小）する。第４パラメータ設定部５４は、当該補正された数値範囲を測定範囲に用いるようにバイタル測定部１２を設定する。
　また、第４パラメータ設定部５４は、表情情報及び性別情報を取得して、当該取得された表情情報及び性別情報を用いて第４パラメータを設定するものであっても良い。例えば、第４パラメータ設定部５４は、性別情報に基づき選択された数値範囲を興奮度に応じて補正（例えばシフト、拡大又は縮小）する。第４パラメータ設定部５４は、当該補正された数値範囲を測定範囲を用いるようにバイタル測定部１２を設定する。
　または、第４パラメータ設定部５４は、個人識別部２３により出力された個人識別情報を取得するものである。第４パラメータ設定部５４は、当該取得された個人識別情報を用いて、バイタル測定部１２における第４パラメータを設定するものである。
　すなわち、上記のとおり、個人識別情報は、対象者ＴＰの年齢を示す情報及び対象者ＴＰの性別を示す情報を含むものである。そこで、第４パラメータ設定部５４は、当該年齢を示す情報を用いて、年齢情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。または、第４パラメータ設定部５４は、当該性別を示す情報を用いて、性別情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。または、第４パラメータ設定部５４は、当該年齢を示す情報及び当該性別を示す情報を用いて、年齢情報及び性別情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。
　なお、第４パラメータ設定部５４は、表情情報及び個人識別情報を取得して、当該取得された表情情報及び個人識別情報を用いて第４パラメータを設定するものであっても良い。例えば、第４パラメータ設定部５４は、表情情報と個人識別情報に含まれる年齢を示す情報とを用いて、表情情報及び年齢情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。または、第４パラメータ設定部５４は、表情情報と個人識別情報に含まれる性別を示す情報とを用いて、表情情報及び性別情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。または、第４パラメータ設定部５４は、表情情報と個人識別情報に含まれる年齢を示す情報及び性別を示す情報とを用いて、表情情報、年齢情報及び性別情報を用いた設定方法と同様の設定方法により第４パラメータを設定する。
　このようにして、生体情報取得装置５の要部が構成されている。
　制御装置６は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。制御装置６は、バイタル測定部１２により出力された生体情報を取得するとともに、画像処理部１４により出力された情報を取得するものである。制御装置６は、これらの情報を用いて、ＤＭＳ用の各種制御又はＯＭＳ用の各種制御を実行するものである。
　例えば、制御装置６は、対象者ＴＰのうちの運転者について、これらの情報を用いて、覚醒度を監視するとともに、快適度を監視する。制御装置６は、かかる覚醒度が低下したとき、運転者に対する警告を出力する制御、又は車両１を操作することにより車両１を停止させる制御を実行する。制御装置６は、かかる快適度が低下したとき、車両１の設備（例えば空気調和機）を操作する制御を実行する。
　また、例えば、制御装置６は、対象者ＴＰのうちの同乗者について、これらの情報を用いて、快適度を監視する。制御装置６は、かかる快適度が低下したとき、車両１の設備（例えば空気調和機）を操作する制御を実行する。
　このほか、制御装置６によるＤＭＳ用の制御には、公知の種々の技術を用いることができる。また、制御装置６によるＯＭＳ用の制御には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　以下、検出値取得部１１により実行される処理を総称して「検出値取得処理」ということがある。また、バイタル測定部１２により実行される処理を総称して「バイタル測定処理」ということがある。また、画像データ取得部１３により実行される処理を総称して「画像データ取得処理」ということがある。また、パラメータ設定部１５により実行される処理を総称して「パラメータ設定処理」ということがある。また、状態推定部２１により実行される処理を総称して「状態推定処理」ということがある。また、属性推定部２２により実行される処理を総称して「属性推定処理」ということがある。また、個人識別部２３により実行される処理を総称して「個人識別処理」ということがある。
　以下、検出値取得部１１の機能に「Ｆ１」の符号を用いることがある。また、バイタル測定部１２の機能に「Ｆ２」の符号を用いることがある。また、画像データ取得部１３の機能に「Ｆ３」の符号を用いることがある。また、画像処理部１４の機能に「Ｆ４」の符号を用いることがある。また、パラメータ設定部１５の機能に「Ｆ５」の符号を用いることがある。
　次に、図６～図８を参照して、生体情報取得装置５の要部のハードウェア構成について説明する。
　図６に示す如く、生体情報取得装置５は、プロセッサ６１及びメモリ６２を有している。メモリ６２には、複数個の機能Ｆ１～Ｆ５に対応するプログラムが記憶されている。プロセッサ６１は、メモリ６２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１～Ｆ５が実現される。
　または、図７に示す如く、生体情報取得装置５は、処理回路６３を有している。処理回路６３は、複数個の機能Ｆ１～Ｆ５に対応する処理を実行する。これにより、複数個の機能Ｆ１～Ｆ５が実現される。
　または、図８に示す如く、生体情報取得装置５は、プロセッサ６１、メモリ６２及び処理回路６３を有している。メモリ６２には、複数個の機能Ｆ１～Ｆ５のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ６１は、メモリ６２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路６３は、複数個の機能Ｆ１～Ｆ５のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
　プロセッサ６１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ６２は、１個以上の不揮発性メモリにより構成されている。または、メモリ６２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ６２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ソリッドステートドライブ又はハードディスクドライブを用いたものである。
　処理回路６３は、１個以上のデジタル回路により構成されている。または、処理回路６３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路６３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　ここで、プロセッサ６１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１～Ｆ５と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１～Ｆ５のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ６１は、個々の機能Ｆ１～Ｆ５に対応する専用のプロセッサを含むものであっても良い。
　また、メモリ６２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１～Ｆ５と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１～Ｆ５のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ６２は、個々の機能Ｆ１～Ｆ５に対応する専用のメモリを含むものであっても良い。
　また、処理回路６３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１～Ｆ５と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１～Ｆ５のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路６３は、個々の機能Ｆ１～Ｆ５に対応する専用の処理回路を含むものであっても良い。
　次に、図９Ａに示すフローチャートを参照して、生体情報取得装置５の動作について、画像データ取得部１３、画像処理部１４及びパラメータ設定部１５の動作を中心に説明する。
　まず、画像データ取得部１３が画像データ取得処理を実行する（ステップＳＴ１）。これにより、カメラ４による撮像画像を示す画像データが取得される。
　次いで、画像処理部１４が複数種類の画像処理を実行する（ステップＳＴ２）。これにより、状態推定処理、属性推定処理及び個人識別処理が実行される。
　次いで、パラメータ設定部１５がパラメータ設定処理を実行する（ステップＳＴ３）。これにより、バイタル測定部１２における複数種類のパラメータが設定される。具体的には、例えば、第１パラメータ、第２パラメータ、第３パラメータ及び第４パラメータが設定される。
　次に、図９Ｂに示すフローチャートを参照して、生体情報取得装置５の動作について、検出値取得部１１及びバイタル測定部１２の動作を中心に説明する。
　まず、検出値取得部１１が検出値取得処理を実行する（ステップＳＴ４）。これにより、非接触生体センサ３による検出値が取得される。
　次いで、バイタル測定部１２がバイタル測定処理を実行する（ステップＳＴ５）。これにより、対象者ＴＰのバイタルが測定されて、生体情報が生成される。このとき、バイタル測定部１２は、ステップＳＴ３にて設定された複数種類のパラメータに基づき対象者ＴＰのバイタルを測定する。
　次に、生体情報取得装置５による効果について説明する。
　第一に、従来技術においては、車両における座席（より具体的には運転席）の位置に応じて非接触生体センサの指向性が調整される。これに対して、生体情報取得装置５においては、画像処理（より具体的には状態推定処理又は個人識別処理）の結果に応じて第１パラメータ（すなわち電波ＲＷ１の照射位置）が調整される。画像処理の結果に応じた調整により、座席の位置に応じた調整に比して、より正確に電波ＲＷ１を目標位置（例えば心臓位置）に照射することができる。
　第二に、画像処理の結果に応じた調整により、座席の位置に応じた調整に比して、多様なパラメータの調整を実現することができる。例えば、照射位置の調整を実現することができるのはもちろんのこと、測定用フレーム、移動平均区間幅及び測定範囲の調整を実現することができる。
　第三に、画像処理が属性推定処理及び個人識別処理を含むことにより、複数種類のパラメータについて、個人差を考慮した調整を実現することができる。具体的には、例えば、第１パラメータ及び第４パラメータについて、個人差を考慮した調整を実現することができる。
　これらの効果により、バイタルの測定精度を向上することができる。
　次に、生体情報取得装置５の変形例について説明する。
　パラメータ設定部１５は、第１パラメータ設定部５１を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３を含まないものであっても良い。
　または、パラメータ設定部１５は、第２パラメータ設定部５２を含まないものであっても良い。
　または、パラメータ設定部１５は、第３パラメータ設定部５３を含まないものであっても良い。
　または、パラメータ設定部１５は、第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、表情推定部３６、年齢推定部４１及び性別推定部４２を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１及び第２パラメータ設定部５２を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１及び第３パラメータ設定部５３を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３、表情推定部３６、年齢推定部４１、性別推定部４２及び個人識別部２３を含まないものであっても良い。
　または、パラメータ設定部１５は、第２パラメータ設定部５２及び第３パラメータ設定部５３を含まないものであっても良い。この場合、画像処理部１４は、体動量推定部３４及び開口度推定部３５を含まないものであっても良い。
　または、パラメータ設定部１５は、第２パラメータ設定部５２及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、表情推定部３６、年齢推定部４１及び性別推定部４２を含まないものであっても良い。
　または、パラメータ設定部１５は、第３パラメータ設定部５３及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、表情推定部３６、年齢推定部４１及び性別推定部４２を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１、第２パラメータ設定部５２及び第３パラメータ設定部５３を含まないものであっても良い。この場合、画像処理部１４は、頭位置推定部３１、骨格推定部３２、心臓位置推定部３３、体動量推定部３４及び開口度推定部３５を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１、第２パラメータ設定部５２及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３、表情推定部３６、年齢推定部４１、性別推定部４２及び個人識別部２３を含まないものであっても良い。
　または、パラメータ設定部１５は、第１パラメータ設定部５１、第３パラメータ設定部５３及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、心臓位置推定部３３、表情推定部３６、年齢推定部４１、性別推定部４２及び個人識別部２３を含まないものであっても良い。
　または、パラメータ設定部１５は、第２パラメータ設定部５２、第３パラメータ設定部５３及び第４パラメータ設定部５４を含まないものであっても良い。この場合、画像処理部１４は、体動量推定部３４、開口度推定部３５、表情推定部３６、年齢推定部４１及び性別推定部４２を含まないものであっても良い。
　すなわち、パラメータ設定部１５は、第１パラメータ、第２パラメータ、第３パラメータ又は第４パラメータのうちの少なくとも一つを設定するものであっても良い。また、画像処理部１４は、状態推定部２１、属性推定部２２又は個人識別部２３のうちの少なくとも一つを含むものであっても良い。換言すれば、画像処理部１４は、状態推定処理、属性推定処理又は個人識別処理のうちの少なくとも一つを実行するものであっても良い。また、状態推定処理は、心臓位置を推定する処理、体動量を推定する処理、開口度を推定する処理又は表情を推定する処理のうちの少なくとも一つを含むものであっても良い。また、属性推定処理は、年齢を推定する処理又は性別を推定する処理のうちの少なくとも一方を含むものであっても良い。
　次に、生体情報取得装置５の他の変形例について説明する。
　バイタル測定部１２により測定されたバイタルを示す情報（すなわち生体情報）は、個人識別用データベースに登録されるものであっても良い。当該登録された生体情報は、次回以降の個人識別処理に用いられるものであっても良い。
　次に、生体情報取得装置５の他の変形例について説明する。
　車両１にセンサ類（不図示）が搭載されているものであっても良い。センサ類は、例えば、車両１における対象座席ＴＳの位置を検出するセンサ（以下「座席位置センサ」という。）を含むものである。また、センサ類は、例えば、車両１における操舵角を検出するセンサ（以下「操舵角センサ」という。）を含むものである。
　心臓位置推定部３３は、対象者ＴＰの心臓位置を推定するとき、頭位置推定部３１により出力された情報（すなわち顔領域情報及び頭位置情報）又は骨格推定部３２により出力された情報（すなわち骨格情報）を用いるのに加えて、座席位置センサにより検出された値を用いるものであっても良い。これにより、心臓位置の推定精度の向上を図ることができる。
　体動量推定部３４は、対象者ＴＰの体動量を推定するとき、頭位置推定部３１により出力された情報（すなわち顔領域情報又は頭位置情報）又は骨格推定部３２により出力された情報（すなわち骨格情報）を用いるのに加えて、操舵角センサにより検出された値を用いるものであっても良い。これにより、体動量の推定精度の向上を図ることができる。
　次に、生体情報取得装置５の他の変形例について説明する。
　生体情報取得装置５は、電波式の非接触生体センサ３に代えて、他の方式の非接触生体センサ３を用いるものであっても良い。例えば、非接触生体センサ３は、電波に代えて光、レーザ又は超音波を用いるものであっても良い。以下、電波、光、レーザ又は超音波などを総称して「測定波」ということがある。
　次に、生体情報取得装置５の他の変形例について説明する。
　生体情報取得装置５の用途は、ＤＭＳ又はＯＭＳに限定されるものではない。すなわち、非接触生体センサ３及びカメラ４は、車載用に限定されるものではない。また、対象者ＴＰは、車両１の搭乗者に限定されるものではない。生体情報取得装置５は、非接触生体センサ３及びカメラ４を含むシステムであれば、如何なるシステムに用いられるものであっても良い。
　以上のように、実施の形態１に係る生体情報取得装置５は、非接触生体センサ３による検出値を取得する検出値取得部１１と、検出値を用いて対象者ＴＰのバイタルを測定するバイタル測定部１２と、カメラ４による撮像画像を示す画像データを取得する画像データ取得部１３と、対象者ＴＰを含む撮像画像に対する画像処理を実行することにより、対象者ＴＰの状態を推定する状態推定処理、対象者ＴＰの属性を推定する属性推定処理又は対象者ＴＰを識別する個人識別処理のうちの少なくとも一つを実行する画像処理部１４と、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するパラメータ設定部１５と、を備える。これにより、非接触生体センサ３を用いたバイタルの測定において、多様なパラメータの調整に対応することができる。
　また、パラメータは、非接触生体センサ３による測定波の照射位置に対応する第１パラメータを含み、パラメータ設定部１５は、状態推定処理の結果又は個人識別処理の結果のうちの少なくとも一方に応じて第１パラメータを設定する。これにより、照射位置の調整を実現することができる。
　また、状態推定処理は、対象者ＴＰの心臓位置を推定する処理を含み、個人識別処理が実行されることにより、対象者ＴＰに対応する個人識別情報が取得されるものであり、パラメータ設定部１５は、心臓位置又は個人識別情報のうちの少なくとも一方に応じて第１パラメータを設定する。これにより、照射位置の調整を実現することができる。
　また、パラメータは、測定におけるバイタルの測定範囲に対応する第４パラメータを含み、パラメータ設定部１５は、状態推定処理の結果、属性推定処理の結果又は個人識別処理の結果のうちの少なくとも一つに応じて第４パラメータを設定する。これにより、測定範囲の調整を実現することができる。
　また、状態推定処理は、対象者ＴＰの表情を推定する処理を含み、属性推定処理は、対象者ＴＰの年齢を推定する処理又は対象者ＴＰの性別を推定する処理のうちの少なくとも一方を含み、個人識別処理が実行されることにより、対象者ＴＰに対応する個人識別情報が取得されるものであり、パラメータ設定部１５は、表情、年齢、性別又は個人識別情報のうちの少なくとも一つに応じて第４パラメータを設定する。これにより、測定範囲の調整を実現することができる。
　また、パラメータは、測定に用いられるフレームに対応する第２パラメータを含み、パラメータ設定部１５は、状態推定処理の結果に応じて第２パラメータを設定する。これにより、測定用フレームの調整を実現することができる。
　また、状態推定処理は、対象者ＴＰの体動量を推定する処理又は対象者ＴＰの開口度を推定する処理のうちの少なくとも一方を含み、パラメータ設定部１５は、体動量又は開口度のうちの少なくとも一方に応じて第２パラメータを設定する。これにより、測定用フレームの調整を実現することができる。
　また、パラメータは、測定における移動平均処理の区間幅に対応する第３パラメータを含み、パラメータ設定部１５は、状態推定処理の結果に応じて第３パラメータを設定する。これにより、移動平均区間幅の調整を実現することができる。
　また、状態推定処理は、対象者ＴＰの体動量を推定する処理又は対象者ＴＰの開口度を推定する処理のうちの少なくとも一方を含み、パラメータ設定部１５は、体動量又は開口度のうちの少なくとも一方に応じて第３パラメータを設定する。これにより、移動平均区間幅の調整を実現することができる。
　また、実施の形態１に係る生体情報取得方法は、検出値取得部１１が、非接触生体センサ３による検出値を取得するステップＳＴ４と、バイタル測定部１２が、検出値を用いて対象者ＴＰのバイタルを測定するステップＳＴ５と、画像データ取得部１３が、カメラ４による撮像画像を示す画像データを取得するステップＳＴ１と、画像処理部１４が、対象者ＴＰを含む撮像画像に対する画像処理を実行することにより、対象者ＴＰの状態を推定する状態推定処理、対象者ＴＰの属性を推定する属性推定処理又は対象者ＴＰを識別する個人識別処理のうちの少なくとも一つを実行するステップＳＴ２と、パラメータ設定部１５が、画像処理の結果に応じてバイタルの測定におけるパラメータを設定するステップＳＴ３と、を備える。これにより、非接触生体センサ３を用いたバイタルの測定において、多様なパラメータの調整に対応することができる。
実施の形態２．
　図１０は、実施の形態２に係る生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。図１１は、実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。図１２は、実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。図１３は、実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。図１４は、実施の形態２に係る他の生体情報取得装置を含むモニタリングシステムの要部を示すブロック図である。
　図１０～図１４の各々を参照して、実施の形態２に係る生体情報取得装置を含むモニタリングシステムについて説明する。なお、図１０～図１４の各々において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　図１０又は図１１に示す如く、バイタル測定部１２は、第１照射位置制御部７１を含むものであっても良い。第１照射位置制御部７１は、第１パラメータ設定部５１により設定された第１パラメータに基づき、照射位置を心臓位置に合わせる制御（以下「照射位置制御」という。）を実行するものである。以下、照射位置制御の具体例について説明する。
〈照射位置制御の第１具体例（図１０参照）〉
　第１照射位置制御部７１は、現在の照射位置と第１パラメータが示す心臓位置との差分に応じて、対象座席ＴＳを操作する制御を実行する。より具体的には、第１照射位置制御部７１は、前後方向に対する対象座席ＴＳの位置、左右方向に対する対象座席ＴＳの位置、上下方向に対する対象座席ＴＳの位置、対象座席ＴＳの回転角度又は対象座席ＴＳのリクライニング角度のうちの少なくとも一つを操作する制御を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
〈照射位置制御の第２具体例（図１１参照）〉
　第１照射位置制御部７１は、現在の照射位置と第１パラメータが示す心臓位置との差分に応じて、非接触生体センサ３を機械的に回動させる制御を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
〈照射位置制御の第３具体例（図１１参照）〉
　第１照射位置制御部７１は、現在の照射位置と第１パラメータが示す心臓位置との差分に応じて、非接触生体センサ３に対するビームフォーミング処理を実行する。これにより、照射位置が心臓位置に対応する位置に調整される。より具体的には、照射位置が心臓位置と略同一の位置に調整される。
〈照射位置制御の第４具体例〉
　照射位置制御は、対象座席ＴＳの操作及び非接触生体センサ３の回動を組み合わせてなるものであっても良い。または、照射位置制御は、対象座席ＴＳの操作及び非接触生体センサ３に対するビームフォーミング処理を組み合わせてなるものであっても良い。または、照射位置制御は、非接触生体センサ３の回動及び非接触生体センサ３に対するビームフォーミング処理を組み合わせてなるものであっても良い。または、照射位置制御は、対象座席ＴＳの操作、非接触生体センサ３の回動及び非接触生体センサ３に対するビームフォーミング処理を組み合わせてなるものであっても良い。
　なお、非接触生体センサ３が車両１のステアリングコラムに設置されている場合、照射位置制御には、車両１におけるステアリングコラムの取付け角度を示す情報が用いられるものであっても良い。
　図１２に示す如く、バイタル測定部１２は、誘導制御部７２を含むものであっても良い。誘導制御部７２は、第１パラメータ設定部５１により設定された第１パラメータに基づき、対象者ＴＰの心臓を測定波の照射位置に誘導する制御（以下「誘導制御」という。）を実行するものである。誘導制御には、出力装置７が用いられる。出力装置７は、レーザポインタ、スピーカ、ディスプレイ又はインジケータのうちの少なくとも一つを含むものである。以下、誘導制御の具体例について説明する。
〈誘導制御の第１具体例〉
　誘導制御部７２は、測定波の照射位置と第１パラメータが示す心臓位置とのずれが生じているとき、レーザポインタを用いて、測定波の照射位置（すなわち適切な心臓位置）にレーザ光を照射する制御を実行する。
　対象者ＴＰは、かかるレーザ光を基準にして、自身の胸部（すなわち自身の心臓）を測定波の照射位置に合わせるように対象座席ＴＳを操作する。すなわち、対象者ＴＰは、照射位置制御の第１具体例における操作と同様の操作を手動により実行する。このようにして、対象者ＴＰの心臓が測定波の照射位置に誘導される。
〈誘導制御の第２具体例〉
　誘導制御部７２は、スピーカを用いて、測定波の照射位置と第１パラメータが示す心臓位置との差分に応じた音声を出力する制御を実行する。かかる音声は、例えば、測定波の照射位置と第１パラメータが示す心臓位置とのずれ量に応じて断続間隔が変化する断続音を用いたものである。または、かかる音声は、例えば、当該心臓位置に対する当該照射位置の方向を示すテキストを読み上げる音声である。
　対象者ＴＰは、かかる音声を基準にして、自身の胸部（すなわち自身の心臓）を測定波の照射位置に合わせるように対象座席ＴＳを操作する。すなわち、対象者ＴＰは、照射位置制御の第１具体例における操作と同様の操作を手動により実行する。このようにして、対象者ＴＰの心臓が測定波の照射位置に誘導される。
〈誘導制御の第３具体例〉
　誘導制御部７２は、ディスプレイ又はインジケータを用いて、測定波の照射位置と第１パラメータが示す心臓位置とのずれの有無を表示する制御を実行する。
　対象者ＴＰは、かかる表示を基準にして、自身の胸部（すなわち自身の心臓）を測定波の照射位置に合わせるように対象座席ＴＳを操作する。すなわち、対象者ＴＰは、照射位置制御の第１具体例における操作と同様の操作を手動により実行する。このようにして、対象者ＴＰの心臓が測定波の照射位置に誘導される。
　図１３に示す如く、バイタル測定部１２は、照射範囲制御部７３を含むものであっても良い。照射範囲制御部７３は、心臓位置推定部３３により推定された心臓位置の信頼度を示す情報（以下「信頼度情報」という。）を心臓位置推定部３３から取得するものである。又は、照射範囲制御部７３は、かかる信頼度を算出するものである。具体的には、例えば、照射範囲制御部７３は、バイタル測定部１２により測定されたバイタルに対応する信号の信号強度に基づき、かかる信頼度を算出する。照射範囲制御部７３は、当該取得された信頼度情報が示す信頼度に応じて、又は当該算出された信頼度に応じて、非接触生体センサ３により測定波が照射される範囲（以下「照射範囲」ということがある。）を制御するものである。
　具体的には、例えば、信頼度が所定値（以下「基準値」という。）以上の値である場合、照射範囲制御部７３は、より狭い範囲を照射範囲に設定する。他方、信頼度が基準値未満の値である場合、照射範囲制御部７３は、より広い範囲を照射範囲に設定する。
　対象者ＴＰの体の向き又は対象者ＴＰの腕の位置などにより、心臓位置推定部３３による心臓位置の推定に誤差が生ずることがある。かかる誤差が生じたとき、照射範囲制御部７３が上記のように照射範囲を制御することにより、対象者ＴＰの心臓に測定波が照射されなくなるのを抑制することができる。
　図１４に示す如く、バイタル測定部１２は、第２照射位置制御部７４を含むものであっても良い。第２照射位置制御部７４は、信頼度情報を心臓位置推定部３３から取得するものである。又は、第２照射位置制御部７４は、照射範囲制御部７３による算出方法と同様の算出方法により信頼度を算出するものである。第２照射位置制御部７４は、当該取得された信頼度情報が示す信頼度に応じて、又は当該算出された信頼度に応じて、測定波の照射位置を制御するものである。
　具体的には、例えば、信頼度が基準値未満の値である場合、第２照射位置制御部７４は、測定波の照射位置を所定の初期位置に設定する。換言すれば、第２照射位置制御部７４は、測定波の照射位置をリセットする。
　または、例えば、信頼度が基準値未満の値である場合、第２照射位置制御部７４は、測定波の照射位置を以下のような位置に設定する。すなわち、第２照射位置制御部７４は、測定波の照射位置を、基準値以上の信頼度に対応する心臓位置に基づき設定された最後の照射位置と同様の位置に設定する。
　対象者ＴＰの体の向き又は対象者ＴＰの腕の位置などにより、心臓位置推定部３３による心臓位置の推定に誤差が生ずることがある。かかる誤差が生じたとき、第２照射位置制御部７４が上記のように照射位置を制御することにより、対象者ＴＰの心臓に測定波が照射されなくなるのを抑制することができる。
　以上のように、実施の形態２に係る生体情報取得装置５において、バイタル測定部１２は、第１パラメータに基づき照射位置を心臓位置に合わせる照射位置制御を実行する第１照射位置制御部７１を有する。これにより、照射位置をバイタル（特に心拍数）の測定に適した位置に調整することができる。
　また、バイタル測定部１２は、第１パラメータに基づき対象者ＴＰの心臓を照射位置に誘導する誘導制御を実行する誘導制御部７２を有する。これにより、対象者ＴＰの心臓をバイタル（特に心拍数）の測定に適した位置に誘導することができる。
　また、バイタル測定部１２は、非接触生体センサ３による測定波の照射範囲を心臓位置の信頼度に応じて制御する照射範囲制御部７３を有する。これにより、心臓位置の推定に誤差が生じたとき、対象者ＴＰの心臓に測定波が照射されなくなるのを抑制することができる。
　また、バイタル測定部１２は、照射位置を心臓位置の信頼度に応じて制御する第２照射位置制御部７４を有する。これにより、心臓位置の推定に誤差が生じたとき、対象者ＴＰの心臓に測定波が照射されなくなるのを抑制することができる。
　なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る生体情報取得装置は、例えば、ＤＭＳ又はＯＭＳに用いることができる。
　１　車両、２　モニタリングシステム、３　非接触生体センサ、４　カメラ、５　生体情報取得装置、６　制御装置、１１　検出値取得部、１２　バイタル測定部、１３　画像データ取得部、１４　画像処理部、１５　パラメータ設定部、２１　状態推定部、２２　属性推定部、２３　個人識別部、３１　頭位置推定部、３２　骨格推定部、３３　心臓位置推定部、３４　体動量推定部、３５　開口度推定部、３６　表情推定部、４１　年齢推定部、４２　性別推定部、５１　第１パラメータ設定部、５２　第２パラメータ設定部、５３　第３パラメータ設定部、５４　第４パラメータ設定部、６１　プロセッサ、６２　メモリ、６３　処理回路、７１　第１照射位置制御部、７２　誘導制御部、７３　照射範囲制御部、７４　第２照射位置制御部。

Claims (21)

  1. 　非接触生体センサによる検出値を取得する検出値取得部と、
    　前記検出値を用いて対象者のバイタルを測定するバイタル測定部と、
    　カメラによる撮像画像を示す画像データを取得する画像データ取得部と、
    　前記対象者を含む前記撮像画像に対する画像処理を実行することにより、前記対象者の状態を推定する状態推定処理、前記対象者の属性を推定する属性推定処理又は前記対象者を識別する個人識別処理のうちの少なくとも一つを実行する画像処理部と、
    　前記画像処理の結果に応じて前記バイタルの測定におけるパラメータを設定するパラメータ設定部と、
    　を備える生体情報取得装置。
  2. 　前記パラメータは、前記非接触生体センサによる測定波の照射位置に対応する第１パラメータを含み、
    　前記パラメータ設定部は、前記状態推定処理の結果又は前記個人識別処理の結果のうちの少なくとも一方に応じて前記第１パラメータを設定する
    　ことを特徴とする請求項１記載の生体情報取得装置。
  3. 　前記状態推定処理は、前記対象者の心臓位置を推定する処理を含み、
    　前記個人識別処理が実行されることにより、前記対象者に対応する個人識別情報が取得されるものであり、
    　前記パラメータ設定部は、前記心臓位置又は前記個人識別情報のうちの少なくとも一方に応じて前記第１パラメータを設定する
    　ことを特徴とする請求項２記載の生体情報取得装置。
  4. 　前記パラメータは、前記測定における前記バイタルの測定範囲に対応する第４パラメータを含み、
    　前記パラメータ設定部は、前記状態推定処理の結果、前記属性推定処理の結果又は前記個人識別処理の結果のうちの少なくとも一つに応じて前記第４パラメータを設定する
    　ことを特徴とする請求項１記載の生体情報取得装置。
  5. 　前記状態推定処理は、前記対象者の表情を推定する処理を含み、
    　前記属性推定処理は、前記対象者の年齢を推定する処理又は前記対象者の性別を推定する処理のうちの少なくとも一方を含み、
    　前記個人識別処理が実行されることにより、前記対象者に対応する個人識別情報が取得されるものであり、
    　前記パラメータ設定部は、前記表情、前記年齢、前記性別又は前記個人識別情報のうちの少なくとも一つに応じて前記第４パラメータを設定する
    　ことを特徴とする請求項４記載の生体情報取得装置。
  6. 　前記パラメータは、前記測定に用いられるフレームに対応する第２パラメータを含み、
    　前記パラメータ設定部は、前記状態推定処理の結果に応じて前記第２パラメータを設定する
    　ことを特徴とする請求項１記載の生体情報取得装置。
  7. 　前記状態推定処理は、前記対象者の体動量を推定する処理又は前記対象者の開口度を推定する処理のうちの少なくとも一方を含み、
    　前記パラメータ設定部は、前記体動量又は前記開口度のうちの少なくとも一方に応じて前記第２パラメータを設定する
    　ことを特徴とする請求項６記載の生体情報取得装置。
  8. 　前記パラメータは、前記測定における移動平均処理の区間幅に対応する第３パラメータを含み、
    　前記パラメータ設定部は、前記状態推定処理の結果に応じて前記第３パラメータを設定する
    　ことを特徴とする請求項１記載の生体情報取得装置。
  9. 　前記状態推定処理は、前記対象者の体動量を推定する処理又は前記対象者の開口度を推定する処理のうちの少なくとも一方を含み、
    　前記パラメータ設定部は、前記体動量又は前記開口度のうちの少なくとも一方に応じて前記第３パラメータを設定する
    　ことを特徴とする請求項８記載の生体情報取得装置。
  10. 　前記バイタル測定部は、前記第１パラメータに基づき前記照射位置を前記心臓位置に合わせる照射位置制御を実行する第１照射位置制御部を有することを特徴とする請求項３記載の生体情報取得装置。
  11. 　前記照射位置制御は、前記対象者が対象座席に着座しているとき、前記対象座席を操作することにより実現されることを特徴とする請求項１０記載の生体情報取得装置。
  12. 　前記照射位置制御は、前記非接触生体センサを回動させることにより実現されることを特徴とする請求項１０記載の生体情報取得装置。
  13. 　前記照射位置制御は、前記非接触生体センサに対するビームフォーミング処理を実行することにより実現されることを特徴とする請求項１０記載の生体情報取得装置。
  14. 　前記バイタル測定部は、前記第１パラメータに基づき前記対象者の心臓を前記照射位置に誘導する誘導制御を実行する誘導制御部を有することを特徴とする請求項３記載の生体情報取得装置。
  15. 　前記誘導制御は、誘導用のレーザ光、誘導用の音声又は誘導用の表示を用いるものであることを特徴とする請求項１４記載の生体情報取得装置。
  16. 　前記バイタル測定部は、前記非接触生体センサによる前記測定波の照射範囲を前記心臓位置の信頼度に応じて制御する照射範囲制御部を有することを特徴とする請求項３記載の生体情報取得装置。
  17. 　前記バイタル測定部は、前記照射位置を前記心臓位置の信頼度に応じて制御する第２照射位置制御部を有することを特徴とする請求項３記載の生体情報取得装置。
  18. 　前記非接触生体センサ及び前記カメラは、車両に搭載されるものであり、
    　前記対象者は、前記車両の運転者又は前記車両の同乗者のうちの少なくとも一方を含む
    　ことを特徴とする請求項１記載の生体情報取得装置。
  19. 　前記非接触生体センサは、電波式であることを特徴とする請求項１記載の生体情報取得装置。
  20. 　前記バイタルは、心拍数又は呼吸数のうちの少なくとも一方を含むことを特徴とする請求項１記載の生体情報取得装置。
  21. 　検出値取得部が、非接触生体センサによる検出値を取得するステップと、
    　バイタル測定部が、前記検出値を用いて対象者のバイタルを測定するステップと、
    　画像データ取得部が、カメラによる撮像画像を示す画像データを取得するステップと、
    　画像処理部が、前記対象者を含む前記撮像画像に対する画像処理を実行することにより、前記対象者の状態を推定する状態推定処理、前記対象者の属性を推定する属性推定処理又は前記対象者を識別する個人識別処理のうちの少なくとも一つを実行するステップと、
    　パラメータ設定部が、前記画像処理の結果に応じて前記バイタルの測定におけるパラメータを設定するステップと、
    　を備える生体情報取得方法。
PCT/JP2020/015517 2020-04-06 2020-04-06 生体情報取得装置及び生体情報取得方法 WO2021205508A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/015517 WO2021205508A1 (ja) 2020-04-06 2020-04-06 生体情報取得装置及び生体情報取得方法
DE112020007027.1T DE112020007027T5 (de) 2020-04-06 2020-04-06 Vorrichtung zur Erfassung biologischer Informationen und Verfahren zur Erfassung biologischer Informationen
US17/799,797 US20230089508A1 (en) 2020-04-06 2020-04-06 Biological information acquisition device and biological information acquisition method
JP2022513715A JP7391188B2 (ja) 2020-04-06 2020-04-06 生体情報取得装置及び生体情報取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/015517 WO2021205508A1 (ja) 2020-04-06 2020-04-06 生体情報取得装置及び生体情報取得方法

Publications (1)

Publication Number Publication Date
WO2021205508A1 true WO2021205508A1 (ja) 2021-10-14

Family

ID=78023024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015517 WO2021205508A1 (ja) 2020-04-06 2020-04-06 生体情報取得装置及び生体情報取得方法

Country Status (4)

Country Link
US (1) US20230089508A1 (ja)
JP (1) JP7391188B2 (ja)
DE (1) DE112020007027T5 (ja)
WO (1) WO2021205508A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10842412B2 (en) * 2017-10-31 2020-11-24 Pixa4 Llc Systems and methods to estimate human length

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20150367780A1 (en) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Method for ascertaining the heart rate of the driver of a vehicle
JP2016077890A (ja) * 2014-10-09 2016-05-16 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
JP2017171078A (ja) * 2016-03-23 2017-09-28 株式会社東海理化電機製作所 生体情報測定装置
JP2018117740A (ja) * 2017-01-24 2018-08-02 パイオニア株式会社 生体情報検出装置
JP2019170967A (ja) * 2018-03-29 2019-10-10 パナソニックＩｐマネジメント株式会社 生体信号検知装置及び生体信号検知方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561852B2 (ja) 2016-01-14 2019-08-21 株式会社Ｓｏｋｅｎ 心拍検出装置
SG11202004014QA (en) 2017-12-30 2020-05-28 Kaha Pte Ltd Method and system for monitoring emotions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20150367780A1 (en) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Method for ascertaining the heart rate of the driver of a vehicle
JP2016077890A (ja) * 2014-10-09 2016-05-16 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
JP2017171078A (ja) * 2016-03-23 2017-09-28 株式会社東海理化電機製作所 生体情報測定装置
JP2018117740A (ja) * 2017-01-24 2018-08-02 パイオニア株式会社 生体情報検出装置
JP2019170967A (ja) * 2018-03-29 2019-10-10 パナソニックＩｐマネジメント株式会社 生体信号検知装置及び生体信号検知方法

Also Published As

Publication number Publication date
JPWO2021205508A1 (ja) 2021-10-14
JP7391188B2 (ja) 2023-12-04
US20230089508A1 (en) 2023-03-23
DE112020007027T5 (de) 2023-01-19

Similar Documents

Publication Publication Date Title
US7680302B2 (en) Method and apparatus for detection of drowsiness and quantitative control of biological processes
US9405982B2 (en) Driver gaze detection system
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US7522752B2 (en) Central location of a face detecting device, method and program
US10509975B2 (en) Method and device for estimating a direction of a view of a vehicle occupant, method and device for determining a head movement gain parameter specific for a vehicle occupant, and method and device for estimating the direction of view of a vehicle occupant
US10806391B2 (en) Method and system for measuring a volume of an organ of interest
CN106659473B (zh) 超声成像装置
EP0578908A2 (en) Medical diagnostic apparatus utilizing line-of-sight detection
US11455810B2 (en) Driver attention state estimation
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
WO2021205508A1 (ja) 生体情報取得装置及び生体情報取得方法
US8503737B2 (en) Visual line estimating apparatus
JP2018101212A (ja) 車載器および顔正面度算出方法
US20200192476A1 (en) Method for Operating an Assist System for a Vehicle, and Assist System
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
JP2018160128A (ja) 画像処理装置、画像処理システム及び画像処理方法
US20220284718A1 (en) Driving analysis device and driving analysis method
JP2017171078A (ja) 生体情報測定装置
JPWO2021205508A5 (ja)
JP2000005130A (ja) 眼球運動測定方法および装置
JP2018036879A (ja) 生体情報記録装置
WO2022163495A1 (ja) 生体情報検出装置
US11801858B1 (en) System and method for monitoring cervical measurement of a driver and modifying vehicle functions based on changes in the cervical measurement of the driver
EP4356839A1 (en) Apparatus and method for determining a motion path of an ultrasound probe
WO2022269653A1 (ja) 顔向き判定装置および顔向き判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20930160

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022513715

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20930160

Country of ref document: EP

Kind code of ref document: A1