WO2014068892A1 - 乗員監視装置 - Google Patents

乗員監視装置 Download PDF

Info

Publication number
WO2014068892A1
WO2014068892A1 PCT/JP2013/006220 JP2013006220W WO2014068892A1 WO 2014068892 A1 WO2014068892 A1 WO 2014068892A1 JP 2013006220 W JP2013006220 W JP 2013006220W WO 2014068892 A1 WO2014068892 A1 WO 2014068892A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
abnormality
seat
person
seated
Prior art date
Application number
PCT/JP2013/006220
Other languages
English (en)
French (fr)
Inventor
森下　洋司
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2014068892A1 publication Critical patent/WO2014068892A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence

Definitions

  • This disclosure relates to an occupant monitoring device that monitors the state of an occupant.
  • an adult is seated in the front seat, and a person such as a child who does not accurately convey his / her physical condition may be seated in the rear seat.
  • the person seated in the front seat often looks back on the back seat to confirm the state of the person seated in the back seat.
  • Patent Document 1 it is possible to cause a person sitting in the front seat to take action that concentrates on driving a car, and to recognize the physical state of a person other than the person seated in the seat. It may not be possible.
  • the present disclosure aims to allow a person seated in the front seat to recognize the physical state of a person other than the person seated in the seat while causing the person seated in the front seat to act to concentrate on driving a car in the occupant monitoring device.
  • the present disclosure relates to an occupant monitoring device that is mounted on an automobile and monitors the state of the occupant.
  • the state information acquisition unit acquires, for each seat, state information including at least one piece of information representing the state of a person seated in each seat provided in the host vehicle. . Then, based on the acquired state information, the abnormality degree deriving unit derives, for each person seated in each seat, a state abnormality degree representing the high possibility that abnormality has occurred in the body of the person seated in the seat. .
  • the notification control unit defines a predetermined threshold value that is defined in advance as a threshold value that indicates that the abnormality in the state of the person is detected by the abnormality degree deriving unit. If it is more than the above, the notification device is controlled so as to notify the seat on which the person corresponding to the state abnormality degree is seated in an identifiable manner.
  • abnormality in the body includes poor physical condition and occurrence of sleepiness. For example, if the subject is a driver, the physical condition affects the driving of the car. It is to become.
  • the occupant monitoring device in the first aspect regardless of the position of the seated seat, if the state abnormality degree is equal to or greater than a predetermined threshold, the seat on which the person corresponding to the state abnormality degree is seated can be identified. In this manner, the notification device can be notified.
  • the person seated in the front seat can be made aware of whether or not an abnormality has occurred in the body of the person seated in the back seat.
  • the occupant monitoring apparatus in the second aspect of the present disclosure even if the drowsiness expressed by the drowsiness level is strong, the state abnormality degree indicating that the possibility that the abnormality has occurred in the body is high is derived. good. Thereby, the passenger can recognize that the driver's sleepiness is high.
  • the driver For example, if the person who is the target of derivation of the state abnormality degree is the driver, if the face direction variation amount is large, safety confirmation is frequently performed, and if the face direction variation amount is small, there is a possibility that the driver is concentrated on driving. high. However, if the amount of variation in face direction exceeds the pre-defined range that can be considered that the attention level is normal, the driver may be distracted or check safety. There is a possibility of being sneak.
  • the degree of state abnormality that indicates that the possibility that abnormality has occurred in the body is higher as the face direction variation amount exceeds the specified range. May be. Thereby, the passenger can recognize that the driver's attention is distracted and that the safety confirmation is neglected.
  • both the sleepiness level and the face direction variation amount are used as an index for deriving the state abnormality degree, it is possible to determine the possibility of abnormality in the driver's body from a plurality of different viewpoints. Can do. That is, it is possible to more reliably detect an abnormality in the driver's body and allow the occupant to recognize it.
  • the person to whom the state abnormality degree is derived is a person seated in the front passenger seat or a person seated in the rear seat, when the amount of body motion exceeds a predetermined normal body motion range, There is a high possibility that the body condition is abnormal, such as a high degree of sleepiness or dehydration.
  • the degree of state abnormality that indicates that the possibility that an abnormality has occurred in the body is higher as the amount of body movement exceeds the normal body movement range is derived. You may do it. As a result, the person seated in the front seat, particularly the driver, can recognize that the passenger's sleepiness is high and that the passenger's body is abnormal.
  • the person to whom the state abnormality degree is derived is a person seated in the passenger seat or a person seated in the rear seat (that is, a passenger), if the distance between the eyebrows is narrow, There is a high possibility of losing consciousness due to dehydration.
  • the state abnormality degree indicating that the possibility that abnormality has occurred in the body is higher as the distance between the eyebrows is smaller.
  • the person seated in the front seat particularly the driver, can recognize that the passenger's sleepiness is high and that the passenger's body is abnormal.
  • the state abnormality degree to be expressed may be derived.
  • drawing 1 is a block diagram illustrating a schematic configuration of an occupant monitoring system to which an occupant monitoring device according to an embodiment of the present disclosure is applied. It is a flowchart which shows the process sequence of the state determination process of a passenger
  • An occupant monitoring system 1 shown in FIG. 1 is a system that is used by being mounted on a vehicle, for example, an automobile, and is a system that determines and reports the possibility that an abnormality has occurred in the body of a person seated on the seat of the automobile. is there.
  • the automobile on which the occupant monitoring system 1 is mounted is also referred to as a host vehicle.
  • the occupant monitoring system 1 includes a vehicle information acquisition unit 10, a driver seat state acquisition unit 20, a passenger seat state acquisition unit 30, and rear seat state acquisition units 40 1 to 40 N (“N” is the number of seats in the rear seats). , An occupant monitoring device 60, and a notification device 70.
  • Vehicle information acquisition unit 10 is a sensor group that acquires vehicle information representing the situation of the host vehicle.
  • the vehicle information acquisition unit 10 includes a vehicle speed sensor 12 that detects the vehicle speed of the host vehicle as vehicle information, and a steering angle sensor 14 that detects the steering angle of the host vehicle as vehicle information.
  • the driver's seat state acquisition unit 20 is a sensor group that acquires driver information indicating the state of a person seated in the driver's seat of the host vehicle.
  • the driver seat state acquisition unit 20 includes an imaging device 22, a sweat sensor 24, a weight sensor 26, and a pulse sensor 28.
  • the imaging device 22 captures an image including at least the face of a person seated in the driver's seat.
  • the sweat sensor 24 detects the amount of sweat of a person seated in the driver's seat as driver information.
  • the weight sensor 26 detects the amount of body movement representing the amount of movement of the person sitting on the driver's seat as driver information.
  • the pulse sensor 28 detects the pulse of a person seated in the driver's seat as driver information.
  • the driver information in the present embodiment represents the sleepiness level indicating the sleepiness level of the person seated in the driver's seat (that is, the driver) and the variation amount of the face direction (gaze) of the person seated in the driver's seat. At least the amount of variation in face orientation is included. These drowsiness levels and face direction fluctuation amounts can be obtained by analyzing images.
  • the technique for estimating sleepiness by analyzing an image is well known, detailed description thereof is omitted here. For example, it may be based on the degree of eye opening estimated from an image, It may be based on the number of blinks. Further, since the method of estimating the face direction variation amount by analyzing the image is well known, detailed description thereof is omitted here. For example, a feature point set on the face is detected, and 3 of the face is detected. A method of estimating a face direction variation amount detected using a dimensional model in unit time as a face direction variation amount may be used.
  • the driver information may include an eyebrow distance that is a distance between eyebrows of a person seated in the driver's seat. Since the method for estimating the distance between the eyebrows is well known, detailed description thereof is omitted here.For example, by analyzing the image, the left and right eyebrows, which are feature points set on the face, are detected, A method of estimating the distance between the detected eyebrow heads as the eyebrow distance may be used.
  • the passenger seat state acquisition unit 30 is a sensor group that acquires passenger information indicating the state of a person seated in the passenger seat of the host vehicle.
  • the passenger seat state acquisition unit 30 includes an imaging device 32, a sweat sensor 34, a weight sensor 36, and a pulse sensor 38.
  • the imaging device 32 captures an image including at least the face of the person seated in the passenger seat.
  • the sweat sensor 34 detects the amount of sweat of a person seated in the passenger seat as passenger information.
  • the weight sensor 36 detects the amount of body movement representing the amount of movement of the person seated in the passenger seat as passenger information.
  • the pulse sensor 38 detects the pulse of the person seated in the passenger seat as passenger information.
  • the rear seat state acquisition unit 40 is a sensor group that acquires passenger information indicating the state of a person seated in the rear seat of the host vehicle, and is provided for each rear seat of the host vehicle.
  • the rear seat state acquisition unit 40 includes an imaging device 42, a sweat sensor 44, a weight sensor 46, and a pulse sensor 48.
  • the imaging device 42 captures an image including at least the face of the person seated in the rear seat.
  • the sweating sensor 44 detects the sweating amount of the person seated in the rear seat as passenger information.
  • the weight sensor 46 detects the amount of body movement representing the amount of movement of the person seated in the rear seat as passenger information.
  • the pulse sensor 48 detects the pulse of the person seated in the rear seat as passenger information.
  • the passenger information in the present embodiment includes at least the sleepiness level of the person seated in the passenger seat or the rear seat and the eyebrow distance of the person seated in the passenger seat or the rear seat. Further, the passenger information may include a face direction variation amount of a person seated in the passenger seat or the rear seat. The sleepiness level, the distance between eyebrows, and the amount of variation in face direction may be obtained by analyzing images captured by the imaging devices 32 and 42, respectively.
  • the notification device 70 is a device group controlled by a control signal from the occupant monitoring device 60.
  • the notification device 70 includes a known display device 72 and a known sound output device 74.
  • the display device 72 is a liquid crystal display, a CRT, or the like disposed at a position where a person seated in the front seat is visible, such as the instrument panel surface of the host vehicle.
  • the display device 72 may be a liquid crystal display of a well-known navigation device, or may be provided exclusively for the occupant monitoring system 1.
  • the display device 72 is not limited to a liquid crystal display or a CRT, and may be a well-known head-up display or an indicator lamp disposed on the surface of the instrument panel of the host vehicle. .
  • the sound output device 74 referred to here is, for example, a speaker.
  • the occupant monitoring device 60 is stored in the ROM 62 for storing processing programs and data that need to retain stored contents even when the power is turned off, the RAM 64 for temporarily storing processing programs and data, and the ROM 62 and RAM 64.
  • a known computer having at least a CPU 66 that executes various processes in accordance with a processing program is mainly configured.
  • the ROM 62 includes state determination processing for determining a possibility that an abnormality has occurred in the body of a person seated in each seat of the car based on vehicle information, driver information, and passenger information.
  • a processing program to be executed by the CPU 66 is stored.
  • the ROM 62 stores a processing program for the CPU 66 of the occupant monitoring device 60 to execute a state notification process for notifying the processing result of the state determination process.
  • ⁇ State determination processing> The state determination process is started when the ignition switch is turned on, and thereafter repeatedly executed at predetermined time intervals.
  • the vehicle information from the vehicle information acquisition unit 10 when activated, as shown in FIG. 2, the vehicle information from the vehicle information acquisition unit 10, the driver information from the driver seat state acquisition unit 20, and the ride from the passenger seat state acquisition unit 30 Passenger information and passenger information from the rear seat state acquisition units 40 1 to 40 N are acquired as state information (S110).
  • the RAM 64 has an area for storing state information for a specified value specified in advance.
  • the state determination process it is determined whether or not the number of state information stored in the RAM 64, that is, the accumulated number is equal to or greater than a specified value (S130). As a result of the determination in S130, if the number of state information stored in the RAM 64 is less than the specified value (S130: NO), the process proceeds to S180 described later in detail.
  • the state abnormality degree of the person seated in the driver's seat is expressed by “driver's sleepiness”, “driver's face direction fluctuation amount”, and “vehicle speed” included in the driver information. Derived based on.
  • the state abnormality degree X (A, B, C) of the person seated on the driver's seat is derived.
  • the symbol X (A) represents the abnormality probability in the event A
  • the symbol X (B) represents the abnormality probability in the event B
  • the symbol X (C) represents the event.
  • An anomaly probability in C is represented.
  • the state abnormality degree X (A, B, C) of the person seated in the driver's seat the event A is “the driver's sleepiness”, and the event B is “the driver's face orientation fluctuation”. Volume ”and event C is“ vehicle speed ”.
  • the abnormality probability X (A), the abnormality probability X (B), and the abnormality probability X (C) are each greater than “0” and smaller than “1”.
  • the abnormality probability X (A) based on the “driver's sleepiness” is derived so as to increase as the “driver's sleepiness” increases. This is because when the driver's sleepiness is high, it is important for the passenger to recognize that the driver may be asleep and there is a high risk of driving the car. is there.
  • the abnormality probability X (B) based on “the amount of change in the driver's face direction” is, as shown in FIG. 3B, a predetermined range that is preliminarily defined as a range in which the attention can be considered to be normal. It is derived so that it becomes a larger value as the “face direction variation amount” exceeds.
  • the driver will drive while frequently performing safety checks. If the amount of variation in face direction is small (if within the specified range), the driver will concentrate on driving. There is a high possibility. However, if the amount of variation in face direction exceeds the specified range, the driver may be distracted by attention and may not be able to confirm safety. This is because it is important to make people aware of the dangers they give.
  • the abnormality probability X (C) due to “vehicle speed” is derived so as to increase as the “vehicle speed” increases. This is because the higher the vehicle speed, the higher the risk of driving the car, and it is important for the passenger to recognize the risk.
  • the state abnormality degree X (A, B, C) of the person seated in the driver's seat is higher than the prescribed range as the “driver's sleepiness” is higher.
  • the degree of abnormal state of the person seated in the passenger seat is “the amount of body movement of the passenger seated in the passenger seat” and “sweating of the passenger seated in the passenger seat” included in the passenger information. It is derived on the basis of “the amount” and “the distance between the eyebrows of the passenger seated in the passenger seat”.
  • the degree of abnormal condition of the person seated in the backseat is the amount of movement of the passenger seated in the backseat included in the passenger information corresponding to each seat, and the amount of sweating of the passenger seated in the backseat ”And“ distance between eyebrows of passengers seated in rear seat ”.
  • the state abnormality degree X (A, B, C) of the passenger seated in the passenger seat and the state abnormality of the passenger seated in the rear seat Degree X (A, B, C) is derived for each seat.
  • event A in this case is “body movement amount”
  • event B is “brow distance”
  • event C is “sweat amount”.
  • the abnormality probability X (A) due to the “body movement amount” becomes larger as the amount of the “body movement amount” exceeds the normal body movement range defined in advance as a normal range.
  • the normal range mentioned here is the range of body movement that occurs when the passenger is awake, is not dehydrated, or has not lost consciousness, and is obtained in advance by experiments or the like. .
  • the abnormality probability X (A) is derived as a large value.
  • the abnormality probability X (B) in the “brow distance” is derived so as to be larger as the “brow distance” is shorter. This is because when the “distance between the eyebrows” is short, the passenger may have a poor physical condition, and it is important for the driver to recognize that the passenger is in poor physical condition.
  • the abnormality probability X (C) in the “sweat amount” is derived so as to be larger as the “sweat amount” is larger. This is because if the “sweat amount” is large, the passenger may have a poor physical condition, and it is important for the driver to recognize that the passenger is in poor physical condition.
  • the state abnormality degree X (A, B, C) of each passenger seated in the passenger seat or the rear seat increases as the “body motion amount” exceeding the normal body motion range, and The shorter the “brow distance” and the larger the “sweat amount”, the larger the value is derived.
  • the state determination process it is determined whether or not the state abnormality degree derived in S140 is equal to or greater than a predetermined threshold value that is defined in advance as a threshold value indicating that an abnormality has occurred in the human body (S150).
  • a predetermined threshold value that is defined in advance as a threshold value indicating that an abnormality has occurred in the human body (S150).
  • S150 it is determined for each state abnormality level corresponding to the person seated in each seat, that is, for each seat, whether or not an abnormality has occurred in the body of the seated person.
  • an abnormality flag is set (S160).
  • the abnormality flag in this embodiment is a flag showing whether abnormality has occurred in the body of the person sitting on the seat, and is prepared in advance for each seat of the host vehicle.
  • an abnormal flag corresponding to the driver's seat is set and the state abnormal degree of the person seated in the passenger seat is determined as the predetermined threshold. If it is above, the abnormal flag corresponding to the front passenger seat is raised. Further, in S160 of the present embodiment, if the degree of abnormal state of the person seated in the rear seat is equal to or greater than a predetermined threshold, an abnormal flag for the rear seat corresponding to the abnormal state state is set. Then, this state determination process is complete
  • the abnormality flag of the seat corresponding to the state abnormality degree is defeated (S170). That is, in S170 of the present embodiment, if the state abnormality degree of the person seated in the driver's seat is less than the prescribed threshold value, the abnormality flag corresponding to the driver seat is defeated, and the state abnormality degree of the person seated in the passenger seat is determined as the prescribed threshold value. If it is less, the abnormal flag corresponding to the passenger seat is defeated. Further, in S170 of the present embodiment, if the degree of abnormal state of the person seated in the rear seat is less than the predetermined threshold, the rear seat abnormality flag corresponding to the state abnormal degree is defeated. Then, this state determination process is complete
  • S210 In the state notification process, when activated, as shown in FIG. 6, it is first determined whether or not an abnormality has occurred in the body of the person seated in the driver's seat (S210). In S210 of the present embodiment, specifically, if an abnormality flag corresponding to the driver's seat is set, it is determined that an abnormality has occurred in the body of the person seated in the driver's seat, and the driver's seat is supported. If the abnormal flag to fall is fallen, it is determined that no abnormality has occurred in the body of the person seated in the driver's seat.
  • S210 if an abnormality has occurred in the body of the person seated in the driver's seat (S210: YES), a notification of an aspect indicating that an abnormality has occurred in the body of the person seated in the driver's seat is issued.
  • a control signal is output to the notification device 70 to be executed (S220).
  • S ⁇ b> 220 of the present embodiment when S ⁇ b> 220 of the present embodiment is executed, an image in a mode that can identify the driver's seat is displayed on the display device 72, and a sound in a mode that can identify the driver's seat is output from the sound output device 74.
  • the image displayed on the display device 72 is, for example, an image in which a seat corresponding to the driver's seat is highlighted as shown in FIG. 7A. Thereafter, the process proceeds to S230.
  • S230 it is determined whether an abnormality has occurred in the body of the person seated in the passenger seat.
  • an abnormality flag corresponding to the passenger seat is set, it is determined that an abnormality has occurred in the body of the person seated in the passenger seat, and the passenger seat is supported. If the abnormal flag to fall is fallen, it is determined that no abnormality has occurred in the body of the person seated in the passenger seat.
  • S230 if an abnormality has occurred in the body of the person seated in the passenger seat (S230: YES), a notification of an aspect indicating that an abnormality has occurred in the body of the person seated in the passenger seat is issued.
  • a control signal is output to the notification device 70 to be executed (S240). Specifically, when S240 of the present embodiment is executed, an image of a mode in which the passenger seat can be identified is displayed on the display device 72, and a sound in a mode in which the passenger seat can be identified is output from the sound output device 74. . In this case, the image displayed on the display device 72 is, for example, an image in which a seat corresponding to the passenger seat is highlighted as shown in FIG. 7B. Thereafter, the process proceeds to S250.
  • S250 it is determined whether or not an abnormality has occurred in the body of the person seated in the rear seat A.
  • an abnormality flag corresponding to the rear seat A is set, it is determined that an abnormality has occurred in the body of the person seated in the rear seat A, and the rear seat If the abnormality flag corresponding to A falls, it is determined that no abnormality has occurred in the body of the person seated in the rear seat A.
  • the rear seat A referred to here is one of the rear seats provided in the host vehicle.
  • an aspect indicating that an abnormality has occurred in the body of the person seated in the backseat A A control signal is output to the notification device 70 so as to execute the notification (S260).
  • S260 of the present embodiment an image of a mode in which the rear seat A can be identified is displayed on the display device 72, and a sound in a mode in which the rear seat A can be identified from the sound output device 74. Output.
  • the image displayed on the display device 72 is, for example, an image in which a seat corresponding to the rear seat A is highlighted as shown in FIG. 7C. Thereafter, the process proceeds to S270.
  • S270 it is determined whether or not an abnormality has occurred in the body of the person seated in the rear seat B.
  • an abnormality flag corresponding to the rear seat B is set, it is determined that an abnormality has occurred in the body of the person seated in the rear seat B, and the rear seat If the abnormality flag corresponding to B falls, it is determined that no abnormality has occurred in the body of the person seated in the rear seat B.
  • the rear seat B referred to here is one of the rear seats provided in the host vehicle.
  • an aspect indicating that an abnormality has occurred in the body of the person seated in the backseat B A control signal is output to the notification device 70 so as to execute the notification (S280).
  • S260 of the present embodiment an image in a mode in which the rear seat B can be identified is displayed on the display device 72, and a sound in a mode in which the rear seat B can be identified from the sound output device 74. Output.
  • the image displayed on the display device 72 is, for example, an image in which the seat corresponding to the rear seat B is highlighted as shown in FIG. 7D.
  • the seat on which the person corresponding to the degree of state abnormality is seated is notified in an identifiable (distinguishable) manner.
  • the occupant monitoring system 1 when an abnormality occurs in the body such as a change in physical condition or the presence or absence of drowsiness in the person seated in the front seat, the persons seated in the front seat are mutually in physical condition. It is possible to recognize that an abnormality has occurred in the body such as change or presence or absence of sleepiness.
  • the person seated in the front seat indicates that an abnormality has occurred in the body of the passenger seated in the back seat. Can be recognized.
  • the person seated in the front seat is allowed to take action that causes the person seated in the front seat to concentrate on driving the car, and the person seated in the front seat is allowed to take the body of a person other than the person seated in the seat. Can be recognized.
  • the state abnormality degree for the driver is derived so that the greater the sleepiness degree, the larger the value. For this reason, according to the state notification process, the passenger can recognize that the driver's sleepiness is high.
  • the degree of state abnormality for the driver is derived so that the larger the face direction fluctuation amount exceeds the specified range, the larger the value.
  • the state abnormality degree for the driver is derived so that the value becomes larger as the vehicle speed increases. This is because when the vehicle speed is low, there is a high possibility that the host vehicle is about to enter the intersection, and the amount of variation in face direction increases in order to confirm safety.
  • the state determination processing when the vehicle speed is low, the state abnormality degree becomes a small value, so the face state fluctuation amount is increased due to the necessity of safety confirmation, but the driver's physical state It is possible to reduce the determination that an abnormality has occurred.
  • the degree of state abnormality for the passenger is derived so that the larger the body motion amount that exceeds the normal body motion range, the larger the value. That is, if the amount of body movement exceeds the normal body movement range, the passenger may be in a sleep state, may be dehydrated, or may be unconscious. Therefore, according to the state notification process, this can be recognized by a person seated in the front seat.
  • the degree of state abnormality for the passenger is derived so that the shorter the distance between the eyebrows, the larger the value. In other words, when the “brow distance” is short, the passenger may be in poor physical condition. Therefore, according to the state notification process, the passenger may be in poor health. Can be made to recognize.
  • the degree of state abnormality for the passenger is derived so that the greater the amount of sweat, the larger the value. That is, if the amount of sweating is large, the passenger may be in a poor physical condition. Therefore, according to the state notification process, the person seated in the front seat can recognize that the passenger is in poor physical condition. .
  • each of the "driver's sleepiness”, “driver's face direction variation”, and “vehicle speed” was used as one of the indicators.
  • the index for deriving the state abnormality degree for the driver is not limited to this.
  • each of “the amount of sweat of the driver”, “the pulse of the driver”, and “the steering angle” may be used.
  • each of “the amount of movement of each passenger”, “the distance between the eyebrows of each passenger”, and “the amount of sweat of each passenger” was used as one of the indicators.
  • the index for deriving the state abnormality degree for the passenger is not limited to this.
  • each of “the sleepiness degree of each passenger” and “the pulse of each passenger” may be used as one of the indices for deriving the state abnormality degree for the fellow passenger.
  • the method for deriving the state abnormality degree for the driver and the state abnormality degree for the passenger is not limited to the calculation method according to the above equation (1).
  • the state abnormality degree for the driver and the state abnormality degree for the passenger may be derived as X (A, B, C,%) Or X (A, B, C,).
  • each of the event A, the event B,... May be one of the above-described indexes, or other indexes.
  • the normal range referred to here is a range of pulses when a person is in an awake state or has not lost consciousness, and is obtained in advance by an experiment or the like.
  • the method for analyzing an image is used as a method for detecting sleepiness.
  • the method for detecting sleepiness is not limited to analyzing an image. It may be a detection method or a known detection method based on the inclination of the body. In the former case, the pulse may be detected by a pulse sensor.
  • the notification mode in S220, S240, S260, and S280 in the status notification process of the above embodiment is both the display by the display device 72 and the sound output from the sound output device 74, S220 and S240.
  • S260 and S280 are not limited to the notification mode.
  • the notification mode in S220, S240, S260, and S280 may be, for example, one of display on the display device 72 and output of sound from the sound output device 74.
  • the state information such as driver information and passenger information for deriving the state abnormality degree may include at least one piece of information representing the state of the target person.
  • the process S110 performed by the device 60 or the device 60 corresponds to the state information acquisition unit
  • the process S130 performed by the device 60 or the device 60 corresponds to the abnormality degree deriving unit
  • the device 60 or the device Processes S210 to S280 performed by 60 correspond to a notification control unit that controls the notification device 70.

Abstract

　乗員監視装置は、状態情報取得部(６０、Ｓ１１０)と，異常度導出部（６０、Ｓ１３０）と、報知制御部(６０、Ｓ２１０～Ｓ２８０)とを備える。状態情報取得部は、自動車の各座席に着座した人物の状態を表す少なくとも一つの情報を含む状態情報を、座席ごとに取得し、異常度導出部は、状態情報取得部で取得した状態情報に基づいて、座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、人物ごとに導出する。報知制御部は、異常度導出部で導出された状態異常度が、人物の身体に異常が発生したことを表す規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知するように、報知装置（７０）を制御する。これにより、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させることができる。

Description

乗員監視装置 関連出願の相互参照
　本開示は、２０１２年１１月５日に出願された日本出願番号２０１２－２４３５２７号に基づくもので、ここにその記載内容を援用する。
　本開示は、乗員の状態を監視する乗員監視装置に関する。
　従来、自動車に搭載して用いられ、車室内の状況を監視する車室内監視システムが知られている。この種の車室内監視システムとして、車室内の後席の状況を撮像するように配置されたデジタルカメラ付き携帯電話と、デジタルカメラ付き携帯電話にて撮像した画像（映像）を表示する表示装置とを備えたものが知られている（特許文献１参照）。
特開２００３－２３７４６６号公報
　このような車室内監視システムでは、後席の状況を撮像した画像（映像）を表示することができる。
　しかしながら、特許文献１に記載された車室内監視システムでは、表示部に表示する画像が後席の状況を撮像しただけのものであるため、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したか否かを認識させることが困難である。
　さらに、特許文献１に記載された車室内監視システムでは、画像（映像）を表示するだけであるため、後席に着座した人物の身体に異常が発生したか否かを、前席に着座した人物に認識させることが困難である。
　一般的に、自動車では、前席には、大人が着座し、後席には、子供など自らの身体の状況を正確に伝達しない人物が着座することがある。このように着座した場合、前席に着座した人物は、後席に着座した人物の状態を確認するために、後席を振り返ることが多い。
　このように前席に着座した人物が後席を振り返ることにより、自動車の運転に集中できなくなる可能性がある。
　つまり、特許文献１に記載された技術では、自動車の運転に集中させるような行動を前席に着座した人物にとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させることができない可能性がある。
　そこで、本開示は、乗員監視装置において、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の人物の身体状態を認識させることを目的とする。
　本開示は、自動車に搭載され、乗員の状態を監視する乗員監視装置に関する。
　本開示の第一の態様における乗員監視装置では、状態情報取得部が、自車両に設けられた各座席に着座した人物の状態を表す少なくとも一つの情報を含む状態情報を、座席ごとに取得する。そして、取得した状態情報に基づいて、異常度導出部が、座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、座席それぞれに着座した人物ごとに導出する。
　さらに、上記第一の態様における乗員監視装置では、報知制御部が、異常度導出部で導出された状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知するように、報知装置を制御する。
　なお、ここで言う「身体に異常が発生」とは、体調不良や眠気の発生などを含むものであり、例えば、対象者が運転者であれば、自動車の運転に影響を及ぼすような身体状態となることである。
　上記第一の態様における乗員監視装置によれば、着座している座席の位置に関わらず、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知装置に報知させることができる。
　このため、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したか否かを認識することができる。
　さらに、後席に着座した人物の身体に異常が発生したか否かを、前席に着座した人物に認識させることができる。
　すなわち、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、当該座席に着座した人物以外の身体の状態を認識させることができる。
　例えば、状態異常度の導出対象とする人物を運転者とすると、眠気度が高い場合には、自動車の運転に与える危険性が高い。
　このため、本開示の第二の態様における乗員監視装置によれば、眠気度によって表される眠気が強いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、同乗者は、運転者の眠気が高いことを認識できる。
　例えば、状態異常度の導出対象とする人物を運転者とすると、顔向き変動量が多ければ、安全確認を頻繁に実施し、顔向き変動量が少なければ、運転に集中している可能性が高い。しかし、顔向き変動量が、注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を超えている場合には、運転者は、注意力が散漫になっていたり、安全確認が疎かになっていたりする可能性がある。
　このため、本開示の第三の態様における乗員監視装置によれば、顔向き変動量が規定範囲を超えているほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、同乗者は、運転者の注意力が散漫であることや、安全確認が疎かになっていることを認識することができる。
　本開示の第四の態様における乗員監視装置において、例えば、眠気度によって表される眠気が強いほど、かつ、顔向き変動量が規定範囲を超えているほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出するようにしても良い。
　このように、状態異常度を導出する指標として、眠気度と、顔向き変動量との両方を用いれば、運転者の身体に異常が生じている可能性を、複数の異なる観点から判定することができる。つまり、運転者の身体に対する異変をより確実に検出して、乗員に認識させることができる。
　例えば、状態異常度の導出対象とする人物を、助手席に着座した人物や後席に着座した人物とすると、体動量について、予め規定された正常体動範囲を超える量が多い場合には、眠気が大きい可能性や、脱水症状など、身体状態に異常が生じている可能性が高い。
　このため、本開示の第五の態様における乗員監視装置によれば、体動量について正常体動範囲を超える量が多いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、前席に着座した人物、特に運転者は、同乗者の眠気が高いことや、同乗者の身体に異常が生じていることを認識できる。
　例えば、状態異常度の導出対象とする人物を、助手席に着座した人物や後席に着座した人物（即ち、同乗者）とすると、眉間距離が狭い場合には、眠気が大きい可能性や、脱水症状などによって意識を失っている可能性が高い。
　このため、本開示の第六の態様における乗員監視装置においては、眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出しても良い。これにより、前席に着座した人物、特に運転者は、同乗者の眠気が高いことや、同乗者の身体に異常が生じていることを認識できる。
　本開示の第七の態様における乗員監視装置においては、例えば、体動量について正常体動範囲を超える量が多いほど、かつ、眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す状態異常度を導出するようにしても良い。
　このように、状態異常度を導出する指標として、体動量と、眉間距離との両方を用いれば、異なる観点から、同乗者の身体に異常が生じている可能性を判定することができ、同乗者の身体に対する異変をより確実に検出して、前席に着座した人物に認識させることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。図面において、
本開示の一実施形態に係る乗員監視装置が適用された乗員監視システムの概略構成を示すブロック図である。 乗員監視装置の状態判定処理の処理手順を示すフローチャートである。 眠気を指標とした場合の異常確率の導出方法を示す図である。 顔向き変動量を指標とした場合の異常確率の導出方法を示す図である。 車速を指標とした場合の異常確率の導出方法を示す図である。 運転者を対象者とした状態異常度の導出手法の一例を示す説明図である。 同乗者を対象者とした状態異常度の導出手法の一例を示す説明図である。 状態報知処理の処理手順を示すフローチャートである。 報知の態様の一例を示す図である。 報知の態様の一例を示す図である。 報知の態様の一例を示す図である。 報知の態様の一例を示す図である。
　以下に本開示の実施形態を図面と共に説明する。
〈全体構成〉
　図１に示す乗員監視システム１は、車両、例えば、自動車に搭載して用いられるシステムであり、自動車の座席に着座した人物の身体に異常が生じている可能性を判定して報知するシステムである。以下では、乗員監視システム１が搭載された自動車を自車両とも称す。
　この乗員監視システム１は、車両情報取得部１０と、運転席状態取得部２０と、助手席状態取得部３０と、後席状態取得部４０1～４０N（「Ｎ」は後席の席数を表す自然数）と、乗員監視装置６０と、報知装置７０とを備えている。
　車両情報取得部１０は、自車両の状況を表す車両情報を取得するセンサ群である。この車両情報取得部１０は、自車両の車速を車両情報として検出する車速センサ１２と、自車両の操舵角を車両情報として検出する操舵角センサ１４とを備えている。
　運転席状態取得部２０は、自車両の運転席に着座した人物の状態を表す運転者情報を取得するセンサ群である。この運転席状態取得部２０は、撮像装置２２と、発汗センサ２４と、重量センサ２６と、脈拍センサ２８とを備えている。
　撮像装置２２は、運転席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ２４は、運転席に着座した人物の発汗量を運転者情報として検出する。重量センサ２６は、運転席に着座した人物の動きの変動量を表す体動量を運転者情報として検出する。脈拍センサ２８は、運転席に着座した人物の脈拍を運転者情報として検出する。
　本実施形態における運転者情報には、運転席に着座した人物（即ち、運転者）の眠気の強さを表す眠気度や、運転席に着座した人物の顔向き（視線）の変動量を表す顔向き変動量が少なくとも含まれている。これらの眠気度や、顔向き変動量は、画像を解析することで得られる。
　画像を解析することにより眠気度を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、画像から推定した目の開き度合いに基づくものでも良いし、単位時間あたりの瞬きの回数に基づくものでも良い。また、画像を解析することにより顔向き変動量を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、顔面上に設定された特徴点を検出し、顔面の３次元モデルを利用して検出した顔向きの単位時間での変動量を顔向き変動量として推定する手法を用いれば良い。
　さらに、運転者情報には、運転席に着座した人物の眉頭間の距離である眉間距離が含まれていても良い。この眉間距離を推定する手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、画像を解析することにより、顔面上に設定された特徴点である左右の眉頭を検出し、その検出した眉頭間の距離を眉間距離として推定する手法を用いれば良い。
　助手席状態取得部３０は、自車両の助手席に着座した人物の状態を表す同乗者情報を取得するセンサ群である。この助手席状態取得部３０は、撮像装置３２と、発汗センサ３４と、重量センサ３６と、脈拍センサ３８とを備えている。
　撮像装置３２は、助手席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ３４は、助手席に着座した人物の発汗量を同乗者情報として検出する。重量センサ３６は、助手席に着座した人物の動きの変動量を表す体動量を同乗者情報として検出する。脈拍センサ３８は、助手席に着座した人物の脈拍を同乗者情報として検出する。
　後席状態取得部４０は、自車両の後席に着座した人物の状態を表す同乗者情報を取得するセンサ群であり、自車両の後席ごとに設けられる。この後席状態取得部４０は、撮像装置４２と、発汗センサ４４と、重量センサ４６と、脈拍センサ４８とを備えている。
　撮像装置４２は、後席に着座した人物の顔面を少なくとも含む画像を撮像する。発汗センサ４４は、後席に着座した人物の発汗量を同乗者情報として検出する。重量センサ４６は、後席に着座した人物の動きの変動量を表す体動量を同乗者情報として検出する。脈拍センサ４８は、後席に着座した人物の脈拍を同乗者情報として検出する。
　本実施形態における同乗者情報には、助手席または後席に着座した人物の眠気度や、助手席または後席に着座した人物の眉間距離が少なくとも含まれている。さらに、同乗者情報には、助手席または後席に着座した人物の顔向き変動量が含まれていても良い。これらの眠気度や、眉間距離、顔向き変動量は、撮像装置３２，４２のそれぞれにて撮像した画像を解析することで得れば良い。
　報知装置７０は、乗員監視装置６０からの制御信号によって制御される装置群である。この報知装置７０は、周知の表示装置７２と、周知の音出力装置７４とを備えている。
　表示装置７２は、自車両のインストルメントパネル表面など、前席に着座した人物が視認可能な位置に配設された液晶ディスプレイやＣＲＴなどである。この表示装置７２は、周知のナビゲーション装置の液晶ディスプレイなどであっても良いし、乗員監視システム１専用に設けられたものであっても良い。なお、表示装置７２は、液晶ディスプレイやＣＲＴなどに限るものではなく、周知のヘッドアップディスプレイであっても良いし、自車両のインストルメントパネル表面に配設された表示灯などであっても良い。
　また、ここで言う音出力装置７４は、例えば、スピーカである。
〈乗員監視装置〉
　乗員監視装置６０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ６２と、処理プログラムやデータを一時的に格納するＲＡＭ６４と、ＲＯＭ６２やＲＡＭ６４に記憶された処理プログラムに従って各種処理を実行するＣＰＵ６６とを少なくとも有した周知のコンピュータを中心に構成されている。
　ＲＯＭ６２には、車両情報、運転者情報、及び同乗者情報に基づいて、自動車の各座席に着座した人物の身体に異常が生じている可能性を判定する状態判定処理を、乗員監視装置６０のＣＰＵ６６が実行するための処理プログラムが格納されている。また、ＲＯＭ６２には、状態判定処理の処理結果を報知する状態報知処理を、乗員監視装置６０のＣＰＵ６６が実行するための処理プログラムが格納されている。
〈状態判定処理〉
　状態判定処理は、イグニッションスイッチがオンとなると起動され、以後、予め規定された時間間隔で繰り返し実行される。
　そして、状態判定処理では、起動されると、図２に示すように、車両情報取得部１０からの車両情報、運転席状態取得部２０からの運転者情報、助手席状態取得部３０からの同乗者情報、及び後席状態取得部４０1～４０Nからの同乗者情報を、状態情報として取得する（Ｓ１１０）。
　続いて、Ｓ１１０にて取得した状態情報をＲＡＭ６４に格納する（Ｓ１２０）。なお、ＲＡＭ６４には、予め規定された規定値分の状態情報を格納可能な領域が確保されている。
　そして、状態判定処理では、ＲＡＭ６４に格納された状態情報の数、即ち、蓄積数が、規定値以上であるか否かを判定する（Ｓ１３０）。このＳ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値未満であれば（Ｓ１３０：ＮＯ）、詳しくは後述するＳ１８０へと移行する。
　一方、Ｓ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値以上であれば（Ｓ１３０：ＹＥＳ）、ＲＡＭ６４に格納されている状態情報に基づいて、各座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、座席ごとに導出する（Ｓ１４０）。
　本実施形態のＳ１４０において、運転席に着座した人物の状態異常度は、運転者情報に含まれている「運転者の眠気度」、「運転者の顔向き変動量」、及び「車速」に基づいて導出する。
　具体的には、下記（１）式，（２）式に基づいて、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）を導出する。
Figure JPOXMLDOC01-appb-M000001
 ・・・　（１）
 
Figure JPOXMLDOC01-appb-I000001
・・・　（２）
 
　ただし、（１）式，（２）式における符号Ｘ（Ａ）は、事象Ａにおける異常確率を表し、符号Ｘ（Ｂ）は、事象Ｂにおける異常確率を表し、符号Ｘ（Ｃ）は、事象Ｃにおける異常確率を表す。そして、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）の算出においては、事象Ａは、「運転者の眠気度」であり、事象Ｂは、「運転者の顔向き変動量」であり、事象Ｃは、「車速」である。なお、異常確率Ｘ（Ａ）、異常確率Ｘ（Ｂ）、及び異常確率Ｘ（Ｃ）は、それぞれ、「０」より大きく、「１」より小さい値である。
　本実施形態において、「運転者の眠気度」による異常確率Ｘ（Ａ）は、図３Ａに示すように、「運転者の眠気度」が高いほど、大きな値となるように導出される。これは、運転者の眠気度が高い場合には、運転者が居眠りをしている可能性があり、自動車の運転に与える危険性が高いことを同乗者に認識させることが重要であるためである。
　また、「運転者の顔向き変動量」による異常確率Ｘ（Ｂ）は、図３Ｂに示すように、注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を、「運転者の顔向き変動量」が超えているほど、大きな値となるように導出される。
　これは、顔向き変動量が多ければ（規定範囲内であれば）、安全確認を頻繁に実施しながら運転し、顔向き変動量が少なければ（規定範囲内であれば）、運転に集中している可能性が高い。しかし、顔向き変動量が規定範囲を超えている場合には、運転者は、注意力が散漫になっていたり、安全確認が疎かになっていたりする可能性があり、同乗者に自動車の運転に与える危険性を認識させることが重要であるためである。
　さらに、「車速」による異常確率Ｘ（Ｃ）は、図３Ｃに示すように、「車速」が大きいほど、大きな値となるように導出される。これは、車速が速いほど、自動車の運転に与える危険性が高く、同乗者にその危険性を認識させることが重要であるためである。
　すなわち、運転席に着座した人物の状態異常度Ｘ（Ａ，Ｂ，Ｃ）は、図４に示すように、「運転者の眠気度」が高いほど、かつ、規定範囲を超える「運転者の顔向き変動量」が多いほど、かつ、「車速」が大きいほど、大きな値となるように導出される。
　本実施形態のＳ１４０において、助手席に着座した人物の状態異常度は、同乗者情報に含まれている「助手席に着座した同乗者の体動量」、「助手席に着座した同乗者の発汗量」、及び「助手席に着座した同乗者の眉間距離」に基づいて導出する。後席に着座した人物の状態異常度は、それぞれの座席に対応する同乗者情報に含まれている「後席に着座した同乗者の体動量」、「後席に着座した同乗者の発汗量」、及び「後席に着座した同乗者の眉間距離」に基づいて導出する。
　具体的には、上記（１）式，（２）式に基づいて、助手席に着座した同乗者の状態異常度Ｘ（Ａ，Ｂ，Ｃ）、及び後席に着座した同乗者の状態異常度Ｘ（Ａ，Ｂ，Ｃ）を、座席ごとに導出する。
　ただし、この場合における事象Ａは、「体動量」であり、事象Ｂは、「眉間距離」であり、事象Ｃは、「発汗量」である。
　そして、本実施形態において、「体動量」による異常確率Ｘ（Ａ）は、「体動量」が、正常な範囲として予め規定された正常体動範囲を超える量が多いほど、大きな値となるように導出される。ここで言う正常な範囲とは、同乗者が覚醒状態である場合や、脱水症状ではない場合、意識を失っていない場合に生じる体動量の範囲であり、実験などによって予め求められたものである。つまり、本実施形態では、同乗者が、睡眠状態である可能性がある場合や、脱水症状である可能性がある場合、意識を失っている可能性がある場合には、正常体動範囲を超える「体動量」が多くなる可能性が高いため、異常確率Ｘ（Ａ）を大きな値として導出している。
　また、「眉間距離」における異常確率Ｘ（Ｂ）は、「眉間距離」が短いほど、大きな値となるように導出される。これは、「眉間距離」が短い場合には、同乗者は、体調不良である可能性があり、同乗者が体調不良である旨を運転者に認識させることが重要であるためである。
　さらに、「発汗量」における異常確率Ｘ（Ｃ）は、「発汗量」が多いほど、大きな値となるように導出される。これは、「発汗量」が多いと、同乗者は、体調不良である可能性があり、同乗者が体調不良である旨を運転者に認識させることが重要であるためである。
　すなわち、助手席や後席に着座した同乗者それぞれの状態異常度Ｘ（Ａ，Ｂ，Ｃ）は、図５に示すように、正常体動範囲を超える「体動量」が多いほど、かつ、「眉間距離」が短いほど、かつ、「発汗量」が多いほど、大きな値となるように導出される。
　続いて、状態判定処理では、Ｓ１４０にて導出した状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であるか否かを判定する（Ｓ１５０）。このＳ１５０では、各座席に着座した人物に対応する状態異常度ごと、即ち、各座席のそれぞれについて、着座している人物の身体に異常が発生しているか否かを判定する。
　このＳ１５０での判定の結果、状態異常度が規定閾値以上であれば（Ｓ１５０）、異常フラグを立てる（Ｓ１６０）。なお、本実施形態における異常フラグとは、座席に着座している人物の身体に異常が発生しているか否かを表すフラグであり、自車両の座席ごとに予め用意されている。
　したがって、本実施形態のＳ１６０では、運転席に着座した人物の状態異常度が規定閾値以上であれば、運転席に対応する異常フラグを立て、助手席に着座した人物の状態異常度が規定閾値以上であれば、助手席に対応する異常フラグを立てる。さらに、本実施形態のＳ１６０では、後席に着座した人物の状態異常度が規定閾値以上であれば、当該状態異常度に対応する後席の異常フラグを立てる。その後、本状態判定処理を終了する。
　一方、Ｓ１５０での判定の結果、状態異常度が規定閾値未満であれば（Ｓ１５０：ＮＯ）、当該状態異常度に対応する座席の異常フラグを倒す（Ｓ１７０）。すなわち、本実施形態のＳ１７０では、運転席に着座した人物の状態異常度が規定閾値未満であれば、運転席に対応する異常フラグを倒し、助手席に着座した人物の状態異常度が規定閾値未満であれば、助手席に対応する異常フラグを倒す。さらに、本実施形態のＳ１７０では、後席に着座した人物の状態異常度が規定閾値未満であれば、当該状態異常度に対応する後席の異常フラグを倒す。その後、本状態判定処理を終了する。
　なお、Ｓ１３０での判定の結果、ＲＡＭ６４に格納された状態情報の数が規定値未満である場合（Ｓ１３０：ＮＯ）に移行するＳ１８０では、全ての座席の異常フラグを倒す。その後、本状態判定処理を終了する。
〈状態報知処理〉
　状態報知処理は、イグニッションスイッチがオンとなると起動され、以後、予め規定された時間間隔で繰り返し実行される。
　そして、状態報知処理では、起動されると、図６に示すように、まず、運転席に着座した人物の身体に異常が発生しているか否かを判定する（Ｓ２１０）。本実施形態のＳ２１０では、具体的には、運転席に対応する異常フラグが立てられていれば、運転席に着座した人物の身体に異常が発生しているものと判定し、運転席に対応する異常フラグが倒れていれば、運転席に着座した人物の身体に異常が発生していないものと判定する。
　このＳ２１０での判定の結果、運転席に着座した人物の身体に異常が発生していれば（Ｓ２１０：ＹＥＳ）、運転席に着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２２０）。具体的に、本実施形態のＳ２２０が実行されると、表示装置７２に、運転席を識別可能な態様の画像を表示し、音出力装置７４から運転席を識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７Ａに示すように、運転席に対応する座席をハイライト表示した画像である。その後、Ｓ２３０へと進む。
　一方、Ｓ２１０での判定の結果、運転席に着座した人物の身体に異常が発生していない場合（Ｓ２１０：ＮＯ）には、Ｓ２２０を実行することなく、Ｓ２３０へと進む。
　そのＳ２３０では、助手席に着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２３０では、具体的には、助手席に対応する異常フラグが立てられていれば、助手席に着座した人物の身体に異常が発生しているものと判定し、助手席に対応する異常フラグが倒れていれば、助手席に着座した人物の身体に異常が発生していないものと判定する。
　このＳ２３０での判定の結果、助手席に着座した人物の身体に異常が発生していれば（Ｓ２３０：ＹＥＳ）、助手席に着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２４０）。具体的に、本実施形態のＳ２４０が実行されると、表示装置７２に、助手席を識別可能な態様の画像を表示し、音出力装置７４から助手席を識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７Ｂに示すように、助手席に対応する座席をハイライト表示した画像である。その後、Ｓ２５０へと進む。
　一方、Ｓ２３０での判定の結果、助手席に着座した人物の身体に異常が発生していない場合（Ｓ２３０：ＮＯ）には、Ｓ２４０を実行することなく、Ｓ２５０へと進む。
　そのＳ２５０では、後席Ａに着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２５０では、具体的には、後席Ａに対応する異常フラグが立てられていれば、後席Ａに着座した人物の身体に異常が発生しているものと判定し、後席Ａに対応する異常フラグが倒れていれば、後席Ａに着座した人物の身体に異常が発生していないものと判定する。なお、ここで言う後席Ａとは、自車両に設けられた後席の一つである。
　このＳ２５０での判定の結果、後席Ａに着座した人物の身体に異常が発生していれば（Ｓ２５０：ＹＥＳ）、後席Ａに着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２６０）。具体的に、本実施形態のＳ２６０が実行されると、表示装置７２に、後席Ａを識別可能な態様の画像を表示し、音出力装置７４から後席Ａを識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７Ｃに示すように、後席Ａに対応する座席をハイライト表示した画像である。その後、Ｓ２７０へと進む。
　一方、Ｓ２５０での判定の結果、後席Ａに着座した人物の身体に異常が発生していない場合（Ｓ２５０：ＮＯ）には、Ｓ２６０を実行することなく、Ｓ２７０へと進む。
　そのＳ２７０では、後席Ｂに着座した人物の身体に異常が発生しているか否かを判定する。本実施形態のＳ２７０では、具体的には、後席Ｂに対応する異常フラグが立てられていれば、後席Ｂに着座した人物の身体に異常が発生しているものと判定し、後席Ｂに対応する異常フラグが倒れていれば、後席Ｂに着座した人物の身体に異常が発生していないものと判定する。なお、ここで言う後席Ｂとは、自車両に設けられた後席の一つである。
　このＳ２７０での判定の結果、後席Ｂに着座した人物の身体に異常が発生していれば（Ｓ２７０：ＹＥＳ）、後席Ｂに着座した人物の身体に異常が発生したことを表す態様の報知を実行するように、報知装置７０に制御信号を出力する（Ｓ２８０）。具体的に、本実施形態のＳ２６０が実行されると、表示装置７２に、後席Ｂを識別可能な態様の画像を表示し、音出力装置７４から後席Ｂを識別可能な態様の音声を出力する。この場合、表示装置７２に表示される画像とは、例えば、図７Ｄに示すように、後席Ｂに対応する座席をハイライト表示した画像である。
　本実施形態においては、後席に着座した人物の身体に異常が発生しているか否かを判定し、異常が発生していれば、対応する後席を識別可能な態様にて表示する処理（即ち、Ｓ２５０及びＳ２６０、または、Ｓ２７０及びＳ２８０）を、後席の座席数分実行する。その後、本判定報知処理を終了する。
　すなわち、判定報知処理は、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能（区別可能）な態様にて報知する。
［実施形態の効果］
　以上説明したように、乗員監視システム１によれば、着座している座席の位置に関わらず、状態異常度が規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知装置７０に報知させることができる。
　このため、乗員監視システム１によれば、前席に着座した人物について、体調の変化や眠気の有無などの身体に異常が発生した場合には、前席に着座した人物同士で、互いに体調の変化や眠気の有無などの身体に異常が発生したことを認識することができる。
　さらに、乗員監視システム１によれば、後席に着座した人物の身体に異常が発生した場合には、後席に着座した同乗者の身体に異常が発生したことを、前席に着座した人物に認識させることができる。
　したがって、乗員監視システム１によれば、前席に着座した人物に自動車の運転に集中させるような行動をとらせつつ、前席に着座した人物に、当該座席に着座した人物以外の人物の身体の状態を認識させることができる。
　さらに、上記実施形態の状態判定処理では、眠気度が大きいほど、大きな値となるように、運転者に対する状態異常度を導出している。このため、状態報知処理によれば、運転者の眠気が高いことを、同乗者に認識させることができる。
　上記実施形態の状態判定処理では、規定範囲を超える顔向き変動量が多いほど、大きな値となるように、運転者に対する状態異常度を導出している。これにより、状態報知処理によれば、運転者の注意力が散漫であることや、安全確認が疎かである可能性を同乗者に認識させることができる。
　上記実施形態の状態判定処理では、車速が大きいほど、大きな値となるように、運転者に対する状態異常度を導出している。これは、車速が低い場合には、自車両が交差点に進入しようとしている可能性が高いため、安全確認を行うために顔向き変動量が多くなるためである。
　つまり、状態判定処理によれば、車速が低い場合には状態異常度が小さな値となるため、安全確認の必要性から顔向き変動量が多くなっているにもかかわらず、運転者の身体状態に異常が生じていると判定されることを低減できる。
　また、上記実施形態の状態判定処理では、正常体動範囲を超える体動量が多いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、体動量が正常体動範囲を超えている場合には、同乗者が、睡眠状態である可能性があることや、脱水症状である可能性があること、意識を失っている可能性があるため、状態報知処理によれば、その旨を、前席に着座した人物に認識させることができる。
　上記実施形態の状態判定処理では、眉間距離が短いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、「眉間距離」が短い場合には、同乗者が体調不良である可能性があるため、状態報知処理によれば、同乗者が体調不良である可能性があることを、前席に着座した人物に認識させることできる。
　また、上記実施形態の状態判定処理では、発汗量が多いほど、大きな値となるように、同乗者に対する状態異常度を導出している。すなわち、発汗量が多いと、同乗者が体調不良である可能性があるため、状態報知処理によれば、同乗者が体調不良である旨を、前席に着座した人物に認識させることができる。
　なお、状態判定処理では、運転者に対する状態異常度、及び同乗者に対する状態異常度のそれぞれについて、各状態異常度の導出に複数の指標を用いているため、運転者または同乗者の身体に異常が生じている可能性を、複数の異なる観点から判定することができる。つまり、乗員監視装置６０によれば、運転者または同乗者の身体に対する異変をより確実に検出して、乗員に認識させることができる。
［その他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
　例えば、運転者に対する状態異常度を導出する際には、「運転者の眠気度」、「運転者の顔向き変動量」、及び「車速」のそれぞれを指標の一つとして用いていたが、運転者に対する状態異常度を導出する際の指標は、これに限るものではない。
　すなわち、運転者に対する状態異常度を導出する際の指標の一つとして、「運転者の発汗量」や、「運転者の脈拍」、「操舵角」のそれぞれを用いても良い。
　同乗者に対する状態異常度を導出する際には、「同乗者それぞれの体動量」、「同乗者それぞれの眉間距離」、「同乗者それぞれの発汗量」のそれぞれを指標の一つとして用いていたが、同乗者に対する状態異常度を導出する際の指標は、これに限るものではない。
　すなわち、同乗者に対する状態異常度を導出する際の指標の一つとして、「同乗者それぞれの眠気度」や、「同乗者それぞれの脈拍」のそれぞれを用いても良い。
　運転者に対する状態異常度や、同乗者に対する状態異常度の導出方法は、上記（１）式による算出方法に限るものではない。例えば、運転者に対する状態異常度や、同乗者に対する状態異常度は、Ｘ（Ａ，Ｂ）として導出しても良いし、Ｘ（Ａ，Ｂ，Ｃ，…）として導出しても良いし。この場合、事象Ａ、事象Ｂ、…は、それぞれ、上述した指標の一つであっても良いし、その他の指標であっても良い。
　なお、「脈拍」による異常確率は、正常な範囲として予め規定された正常脈拍範囲を超える量が多いほど、大きな値となるように導出されることが望ましい。ここで言う正常な範囲とは、人が覚醒状態である場合や、意識を失っていない場合の脈拍の範囲であり、実験などによって予め求められたものである。
　このようにすれば、運転者や同乗者が、睡眠状態である可能性や、意識を失っている可能性があることを、他の乗員に認識させることができる。
　また、上記実施形態においては、眠気度を検出手法として、画像を解析する手法を用いていたが、眠気度を検出する手法は、画像を解析することに限らない、例えば、脈拍に基づく周知の検出方法であっても良いし、体の傾きに基づく周知の検出方法であっても良い。前者の場合、脈拍は脈拍センサにて検出すれば良い。
　ところで、上記実施形態の状態報知処理におけるＳ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様は、表示装置７２による表示と、音出力装置７４からの音声の出力との両方であったが、Ｓ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様は、これに限るものではない。Ｓ２２０，Ｓ２４０，Ｓ２６０，Ｓ２８０における報知の態様としては、例えば、表示装置７２による表示と、音出力装置７４からの音声の出力とのいずれか一方であっても良い。
　上記実施形態において、状態異常度を導出するための、運転者情報や同乗者情報などの状態情報は、対象となる人物の状態を表す情報を少なくとも一つ含んでいれば良い。
　上記実施形態において、例えば、装置６０もしくは装置６０によってなされる処理Ｓ１１０が、状態情報取得部に相当し、装置６０もしくは装置６０によってなされる処理Ｓ１３０が異常度導出部に相当し、装置６０もしくは装置６０によってなされる処理Ｓ２１０～Ｓ２８０が報知装置７０を制御する報知制御部に相当する。
　なお、本開示は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本開示の実施形態である。また、上記の実施形態と、その他の実施形態とを適宜組み合わせて構成される態様も本開示の実施形態である。また、請求の範囲に記載した文言によって特定される開示の本質を逸脱しない限度において考え得るあらゆる態様も本開示の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る開示の理解を容易にする目的で使用しており、各請求項に係る開示の技術的範囲を限定する意図ではない。

Claims (8)

  1. 　自動車に搭載され、乗員の状態を監視する乗員監視装置であって、
    　自車両に設けられた各座席に着座した人物の状態を表す少なくとも一つの情報を含む状態情報を、前記座席ごとに取得する状態情報取得部（６０，Ｓ１１０）と、
    　前記状態情報取得部で取得した状態情報に基づいて、前記座席に着座した人物の身体に異常が発生した可能性の高さを表す状態異常度を、前記座席それぞれに着座した人物ごとに導出する異常度導出部（６０，Ｓ１３０）と、
    　前記異常度導出部で導出された状態異常度が、人物の身体に異常が発生したことを表す閾値として予め規定された規定閾値以上であれば、当該状態異常度に対応する人物が着座した座席を識別可能な態様にて報知するように、報知装置（７０）を制御する報知制御部（６０，Ｓ２１０～Ｓ２８０）と
    　を備えることを特徴とする乗員監視装置。
  2. 　前記状態情報取得部は、
    　前記座席のそれぞれに着座した人物の眠気の強さを表す眠気度を前記状態情報の人物の状態を表す少なくとも一つの情報として取得し、
    　前記異常度導出部は、
    　前記眠気度によって表される眠気が強いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１に記載の乗員監視装置。
  3. 　前記状態情報取得部は、
    　前記座席のそれぞれに着座した人物の顔向きの変動量を表す顔向き変動量を前記状態情報の人物の状態を表す少なくとも一つの情報として取得し、
    　前記異常度導出部は、
    　注意力が正常な状態であるとみなせる範囲として予め規定された規定範囲を前記顔向き変動量が超えているほど、身体に異常が発生した可能性が高いことを表すことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１または請求項２に記載の乗員監視装置。
  4. 　前記状態情報取得部は、
    　自車両の車速を前記状態情報に含まれる一つの情報として取得し、
    　前記異常度導出部は、
    　前記車速が速いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
  5. 　前記状態情報取得部は、
    　前記座席のそれぞれに着座した人物の動きの変動量を表す体動量を前記状態情報の人物の状態を表す少なくとも一つの情報として取得し、
    　前記異常度導出部は、
    　前記体動量について、予め規定された正常体動範囲を超える量が多いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１から請求項４のいずれか一項に記載の乗員監視装置。
  6. 　前記状態情報取得部は、
    　前記座席のそれぞれに着座した人物の眉頭間の距離である眉間距離を前記状態情報の人物の状態を表す少なくとも一つの情報として取得し、
    　前記異常度導出部は、
    　前記眉間距離が狭いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１から請求項５のいずれか一項に記載の乗員監視装置。
  7. 　前記状態情報取得部は、
    　前記座席のそれぞれに着座した人物の発汗量を前記状態情報の人物の状態を表す少なくとも一つの情報として取得し、
    　前記異常度導出部は、
    　前記発汗量が多いほど、身体に異常が発生した可能性が高いことを表す前記状態異常度を導出する
    　ことを特徴とする請求項１から請求項６のいずれか一項に記載の乗員監視装置。
  8. 　前記報知装置は、
    　前席に着座した人物が視認可能な位置に表示された表示装置（７２）であり、
    　前記報知制御部は、
    　前記規定閾値以上の前記状態異常度に対応する人物が着座した座席を、前記規定閾値未満の前記状態異常度に対応する人物が着座した座席と区別可能な態様にて表示する
    　ことを特徴とする請求項１から請求項７のいずれか一項に記載の乗員監視装置。
PCT/JP2013/006220 2012-11-05 2013-10-21 乗員監視装置 WO2014068892A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-243527 2012-11-05
JP2012243527A JP2014092965A (ja) 2012-11-05 2012-11-05 乗員監視装置

Publications (1)

Publication Number Publication Date
WO2014068892A1 true WO2014068892A1 (ja) 2014-05-08

Family

ID=50626843

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006220 WO2014068892A1 (ja) 2012-11-05 2013-10-21 乗員監視装置

Country Status (2)

Country Link
JP (1) JP2014092965A (ja)
WO (1) WO2014068892A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809491A (zh) * 2015-04-29 2015-07-29 石立公 一种机动车电子身份证安全防护系统及其方法
EP3124348A1 (en) * 2015-07-27 2017-02-01 Toyota Jidosha Kabushiki Kaisha Vehicle occupant information acquisition device and vehicle control system
CN107010073A (zh) * 2015-11-30 2017-08-04 法拉第未来公司 基于数据聚合自动检测车辆中的占用条件的系统和方法
EP3142902A4 (en) * 2014-05-16 2017-09-13 Ricoh Company, Ltd. Display device and vehicle
EP3290284A1 (en) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
CN110194056A (zh) * 2018-02-26 2019-09-03 长城汽车股份有限公司 一种车辆超载检测方法、装置及车辆
CN110723152A (zh) * 2019-10-23 2020-01-24 成都信息工程大学 一种保障自动驾驶安全的人工智能检测方法、装置、设备或存储介质
CN111325437A (zh) * 2019-02-18 2020-06-23 北京嘀嘀无限科技发展有限公司 异常行驶行为的识别方法、装置以及电子设备
CN111845759A (zh) * 2019-04-03 2020-10-30 财团法人工业技术研究院 驾驶辅助系统与驾驶辅助方法
US10946312B2 (en) 2016-01-04 2021-03-16 Faraday&Future Inc. Light-weight coolant bottle
US11541895B2 (en) 2019-04-03 2023-01-03 Industrial Technology Research Institute Driving assistance system and driving assistance method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016184282A (ja) * 2015-03-26 2016-10-20 パイオニア株式会社 情報出力装置
US9828060B2 (en) * 2015-10-13 2017-11-28 GM Global Technology Operations LLC Automated e-assist adjustment to prevent user perspiration
DE102015121113A1 (de) * 2015-12-04 2017-06-08 Valeo Schalter Und Sensoren Gmbh Verfahren zum autonomen Einparken eines Kraftfahrzeugs mit Innenraumsüberwachung, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6470334B2 (ja) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) 2017-03-15 2019-01-16 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
KR102444666B1 (ko) 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
US10945651B2 (en) 2018-07-05 2021-03-16 Denso Corporation Arousal level determination device
JP7210965B2 (ja) 2018-09-26 2023-01-24 株式会社アイシン 室内監視装置
JP7460362B2 (ja) 2019-12-19 2024-04-02 矢崎エナジーシステム株式会社 ドライバー状態推定装置
KR102356566B1 (ko) * 2020-03-24 2022-02-03 정성우 자율주행차의 인공지능 수면 보조 시스템
DE112020007803T5 (de) * 2020-11-27 2023-11-16 Mitsubishi Electric Corporation Schlafdetektionsvorrichtung und Schlafdetektionsverfahren
US20220176978A1 (en) * 2020-12-09 2022-06-09 International Business Machines Corporation Vehicular environment management for sudden events
WO2023063186A1 (ja) * 2021-10-12 2023-04-20 株式会社デンソー 車両用装置及び車両用推定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135865A1 (ja) * 2006-05-23 2007-11-29 Pioneer Corporation 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
WO2009054039A1 (ja) * 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
JP2009193227A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 飲酒状態判定装置、及び飲酒運転防止装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135865A1 (ja) * 2006-05-23 2007-11-29 Pioneer Corporation 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
WO2009054039A1 (ja) * 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
JP2009193227A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 飲酒状態判定装置、及び飲酒運転防止装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142902A4 (en) * 2014-05-16 2017-09-13 Ricoh Company, Ltd. Display device and vehicle
AU2015260356B2 (en) * 2014-05-16 2018-05-10 Ricoh Company, Ltd. Display device and vehicle
CN104809491A (zh) * 2015-04-29 2015-07-29 石立公 一种机动车电子身份证安全防护系统及其方法
EP3124348A1 (en) * 2015-07-27 2017-02-01 Toyota Jidosha Kabushiki Kaisha Vehicle occupant information acquisition device and vehicle control system
CN106394319A (zh) * 2015-07-27 2017-02-15 丰田自动车株式会社 乘员信息取得装置以及车辆控制系统
US9783202B2 (en) 2015-07-27 2017-10-10 Toyota Jidosha Kabushiki Kaisha Vehicle occupant information acquisition device and vehicle control system
CN107010073A (zh) * 2015-11-30 2017-08-04 法拉第未来公司 基于数据聚合自动检测车辆中的占用条件的系统和方法
US10946312B2 (en) 2016-01-04 2021-03-16 Faraday&Future Inc. Light-weight coolant bottle
US11745120B2 (en) 2016-01-04 2023-09-05 Faraday & Future Inc. Light-weight coolant bottle
US10166919B2 (en) 2016-08-30 2019-01-01 Honda Research Institute Europe Gmbh Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
EP3290284A1 (en) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
CN110194056A (zh) * 2018-02-26 2019-09-03 长城汽车股份有限公司 一种车辆超载检测方法、装置及车辆
CN111325437A (zh) * 2019-02-18 2020-06-23 北京嘀嘀无限科技发展有限公司 异常行驶行为的识别方法、装置以及电子设备
CN111845759A (zh) * 2019-04-03 2020-10-30 财团法人工业技术研究院 驾驶辅助系统与驾驶辅助方法
US11541895B2 (en) 2019-04-03 2023-01-03 Industrial Technology Research Institute Driving assistance system and driving assistance method
CN110723152A (zh) * 2019-10-23 2020-01-24 成都信息工程大学 一种保障自动驾驶安全的人工智能检测方法、装置、设备或存储介质

Also Published As

Publication number Publication date
JP2014092965A (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
WO2014068892A1 (ja) 乗員監視装置
US10379535B2 (en) Drowsiness sensing system
EP2564765B1 (en) System and method for improving a performance estimation of an operator of a vehicle
US10864918B2 (en) Vehicle and method for supporting driving safety thereof
US7948387B2 (en) Drowsiness determination apparatus, program, and method
JP4400624B2 (ja) 居眠り防止装置及び方法
JP5177102B2 (ja) 運転支援装置
JPWO2015151243A1 (ja) 車両用情報呈示装置
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
US20130194099A1 (en) Driving assistance apparatus
JPWO2011118393A1 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP6593011B2 (ja) 安全運転促進装置及び安全運転促進方法
JP2019074791A (ja) 車両用運転支援装置
JP2023093454A (ja) 異常検知装置
JP2008305190A (ja) 居眠り警告装置及び自動車
US11430231B2 (en) Emotion estimation device and emotion estimation method
CN104616436A (zh) 疲劳驾驶判断系统及其方法
JP2017084071A (ja) 車載機
JP5447335B2 (ja) 報知システム
JP2014223886A (ja) 車室内監視装置
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
JP2016095571A (ja) 車両の運転評価装置、並びに車両の運転評価方法
US10945651B2 (en) Arousal level determination device
JP6977589B2 (ja) 車両用警報装置
US11893807B2 (en) Method for determining a level of alertness of a driver

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13850158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13850158

Country of ref document: EP

Kind code of ref document: A1