WO2021182481A1 - 安全運転判定装置 - Google Patents

安全運転判定装置 Download PDF

Info

Publication number
WO2021182481A1
WO2021182481A1 PCT/JP2021/009365 JP2021009365W WO2021182481A1 WO 2021182481 A1 WO2021182481 A1 WO 2021182481A1 JP 2021009365 W JP2021009365 W JP 2021009365W WO 2021182481 A1 WO2021182481 A1 WO 2021182481A1
Authority
WO
WIPO (PCT)
Prior art keywords
offset value
driver
unit
angle
value
Prior art date
Application number
PCT/JP2021/009365
Other languages
English (en)
French (fr)
Inventor
和彦 山口
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Priority to US17/908,906 priority Critical patent/US20240198903A1/en
Priority to CN202180018878.6A priority patent/CN115398505B/zh
Priority to DE112021001556.7T priority patent/DE112021001556T5/de
Publication of WO2021182481A1 publication Critical patent/WO2021182481A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Definitions

  • the present invention relates to a safe driving determination device.
  • an initial value such as the traveling direction of the vehicle is used as the reference orientation in the period before the reference orientation is determined.
  • the determination is made based on the initial value in this way, if the difference between the reference orientation and the initial value is large, the device may erroneously issue an alarm even though the driver is not looking aside.
  • an object of the present invention is to suppress the issuance of an alarm even though the driver is not looking aside.
  • the safe driving determination device acquires and acquires an angle value indicating the face-facing angle of the driver when the driver of the vehicle is imaged by an imaging device and the traveling direction of the vehicle is used as a reference. It is a safe driving determination device that determines whether or not the driver is in a forward inattentive state based on the angle value, and is a face-facing angle of the driver in the yaw direction with respect to the traveling direction and the traveling direction. Using an angle value specifying unit that specifies an angle value indicating at least one face-facing angle with respect to the driver's face-facing angle in the pitch direction, and the angle value specified by the angle value specifying unit over a predetermined time.
  • the offset value determining unit that determines the offset value of the angle value corresponding to the imaging direction of the imaging device with respect to the driver's face, and the offset value after the offset value determining unit determines the offset value. It has a determination unit that starts determining whether or not the driver is in a forward inattentive state based on the relationship with the angle value.
  • the offset value determining unit newly determines the offset value when the ratio of the period during which the driver's face orientation is within the predetermined range exceeds the threshold value in the predetermined offset value calculation period. May be good.
  • the offset value determining unit may not newly determine the offset value while the determining unit determines that the forward inattentive state is present.
  • the determination unit determines that the determination unit is not in the forward inattentive state, the determination unit performs an operation of continuing or canceling the determination based on whether or not the offset value determination unit updates the offset value. You may switch.
  • the determination unit may stop determining whether or not the driver is in a forward inattentive state.
  • the warning may be issued to the driver on condition that the driver is present.
  • FIG. 1 is a diagram showing a configuration of a vehicle S according to the present invention.
  • the vehicle S has an image pickup device 1, an alarm device 2, and a safe driving determination device 3.
  • the image pickup device 1 is provided in the driver's seat of the vehicle S, and includes, for example, a CCD camera.
  • the image pickup device 1 takes an image of the driver sitting in the driver's seat from the front and generates an captured image.
  • the image pickup device 1 captures the face of the driver while the vehicle S is traveling, and generates an captured image capable of specifying the face orientation angle of the driver with respect to the traveling direction of the vehicle S.
  • the image pickup device 1 outputs the generated captured image to the safe operation determination device 3.
  • FIG. 2 is a diagram showing the relationship between the image pickup device 1 and the driver's face orientation angle.
  • FIG. 2A shows a view seen from the side surface of the driver D
  • FIG. 2B shows a view seen from above the driver D.
  • the image pickup apparatus 1 is provided, for example, diagonally downward with respect to the face of the driver D, not in front of the face of the driver D.
  • the alarm device 2 is a device that issues a warning to the driver based on the notification from the safe driving determination device 3 that the driver who is driving is not looking forward (for example, looking aside).
  • the alarm device 2 includes, for example, a speaker that sounds an alarm, a display unit that displays a warning screen, and a vibration generating unit that generates vibration.
  • the alarm device 2 may issue a warning by combining at least two of sound, display, and vibration.
  • the safe driving determination device 3 has a storage unit 31 and a control unit 32.
  • the safe driving determination device 3 specifies an angle value indicating the face-facing angle of the driver when the driver of the vehicle S is imaged by the image pickup device 1 and the traveling direction of the vehicle is used as a reference.
  • the safe driving determination device 3 determines whether or not the driver is in a forward inattentive state based on the specified angle value. When the driver determines that the driver is not looking forward, the safe driving determination device 3 notifies the alarm device 2 to issue a warning.
  • the storage unit 31 has a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk.
  • the storage unit 31 stores a program executed by the control unit 32, which will be described later.
  • the storage unit 31 stores, for example, information related to the driver's face-facing angle.
  • the control unit 32 is, for example, a CPU (Central Processing Unit).
  • the control unit 32 functions as an angle value specifying unit 320, an offset value determining unit 321, an angle value correction unit 322, a determination unit 323, and a warning unit 324 by executing a program stored in the storage unit 31.
  • the control unit 32 identifies the driver's face-facing angle and stores the driver's face-facing angle in the storage unit 31.
  • the angle value specifying unit 320 includes a yaw angle value indicating a yaw angle in the driver's yaw direction (FIG. 2B) with respect to the traveling direction of the vehicle S, and a driver's pitch direction with respect to the traveling direction (FIG. 2A). ) Is specified as an angle value indicating at least one face-facing angle with a pitch angle value indicating the face-facing angle.
  • the angle value specifying unit 320 specifies the angle value based on the captured image captured by the imaging device 1.
  • the angle value specifying unit 320 continuously specifies the angle value at predetermined intervals (for example, 100 second intervals).
  • the angle value specifying unit 320 notifies the offset value determining unit 321 and the angle value correcting unit 322 of the specified angle value.
  • the offset value determining unit 321 uses the angle value specified by the angle value specifying unit 320 over a predetermined time (for example, 100 seconds), and the offset value of the angle value corresponding to the imaging direction of the imaging device 1 with respect to the driver's face. To determine.
  • the offset value is an angle based on the angle value specified by the angle value specifying unit 320 with reference to the imaging direction of the imaging device 1, and the reference orientation, which is the average face orientation when the driver is not looking aside. It is a value for correcting to a value.
  • the offset value determining unit 321 determines, for example, a statistical value such as an average value or a median value of the angle values specified by the angle value specifying unit 320 over a predetermined time as an offset value.
  • the offset value determining unit 321 determines at least one of the yaw offset value indicating the offset value of the yaw angle value and the pitch offset value indicating the offset value of the pitch angle value as the offset value.
  • the offset value determination unit 321 is used when the ratio of the period in which the driver's face orientation is within the predetermined range in the predetermined offset value calculation period (for example, 100 seconds) exceeds the threshold value (for example, 70 seconds). Determine a new offset value.
  • the period within a predetermined range of the driver's face orientation as used herein is, for example, a period in which the yaw angle value with respect to the front direction of the vehicle is within 30 degrees to the left and right.
  • the offset value determining unit 321 is used when, for example, the ratio of the period during which at least one of the driver's face angle, the position of the driver's head, and the vehicle speed of the vehicle S is within a predetermined range exceeds the threshold value.
  • the offset value may be newly determined.
  • the offset value determination unit 321 notifies the angle value correction unit 322 of the determined offset value.
  • the offset value determination unit 321 determines the offset value while the determining unit 323 determines that the vehicle is in a forward inattentive state
  • the orientation of the face in the state where the driver is looking aside is the reference direction. Will be set to. Therefore, the offset value determination unit 321 does not newly determine the offset value while the determination unit 323 determines that the forward non-gaze state is present.
  • the offset value determination unit 321 acquires from the determination unit 323 whether or not the driver is in a forward inattentive state. When the determination obtained from the determination unit 323 is in a non-gaze state, the offset value determination unit 321 notifies the angle value correction unit 322 of the offset value determined at the previous time without updating the offset value. On the other hand, when the determination obtained from the determination unit 323 is not in the non-gaze state, the newly determined offset value is notified to the angle value correction unit 322. The offset value determination unit 321 notifies the determination unit 323 whether or not the offset value notified to the angle value correction unit 322 is a newly determined offset value.
  • the offset value determining unit 321 switches whether or not to update the offset value based on the determination of whether or not it is in the non-gaze state acquired from the determination unit 323, so that the erroneous offset value is set to the angle value. It is possible to suppress notifying the correction unit 322.
  • the angle value correction unit 322 corrects the angle value specified by the angle value specification unit 320 based on the offset value determined by the offset value determination unit 321. For example, the angle value correction unit 322 corrects the yaw angle value based on the yaw offset value, and corrects the pitch angle value based on the pitch offset value. The angle value correction unit 322 notifies the determination unit 323 of at least one of the corrected yaw angle value and the pitch angle value as the corrected angle value.
  • the determination unit 323 determines whether or not the driver is in a forward inattentive state based on the relationship between the offset value and the angle value specified by the angle value specifying unit 320. Starts the judgment of.
  • the determination unit 323 acquires the corrected angle value based on the offset value determined by the offset value determination unit 321 and the angle value specified by the angle value identification unit 320 from the angle value correction unit 322.
  • the determination unit 323 acquires from the offset value determination unit 321 whether or not the offset value determination unit 321 has updated the offset value.
  • the determination unit 323 notifies the warning unit 324 of the determination as to whether or not the driver is in a forward inattentive state.
  • the determination unit 323 determines that the driver is in the forward inattentive state
  • the determination unit 323 notifies the offset value determination unit 321 that the driver is in the forward inattentive state.
  • the offset value determining unit 321 switches the operation of continuing or canceling the determination based on whether or not the offset value is updated.
  • the determination unit 323 determines based on the offset value. Determine if the driver is in a forward inattentive state. On the other hand, when the offset value determination unit 321 does not update the offset value, the determination unit 323 stops determining whether or not the driver is in a forward inattentive state. By operating the determination unit 323 in this way, the determination unit 323 can prevent the driver from erroneously determining that the driver is in a forward inattentive state because the offset value determination unit 321 does not update the offset value. As a result, the determination unit 323 can prevent the driver from erroneously notifying the warning unit 324 that the driver is in the forward inattentive state when the driver is not in the forward inattentive state.
  • the warning unit 324 issues a warning to the driver when the determination unit 323 determines that the driver of the vehicle S is in a forward inattentive state. Specifically, the warning unit 324 determines that the driver is in a forward inattentive state, and the offset value determining unit 321 updates the offset value, subject to the determination unit 323. 323 notifies the driver to issue a warning. The warning unit 324 may be notified by the offset value determining unit 321 that the offset value is being updated. When the warning unit 324 is notified by the determination unit 323 to issue a warning, the warning unit 324 notifies the alarm device 2 to issue a warning.
  • FIG. 3 is a diagram showing a flowchart of a process in which the offset value determining unit 321 determines the offset value.
  • the offset value determining unit 321 acquires the angle value specified by the angle value specifying unit 320 during the immediately preceding offset value calculation period (S10).
  • the offset value determining unit 321 determines whether or not each of the acquired angle values is within a predetermined range (S11).
  • the offset value determination unit 321 determines whether or not the ratio of the angle values within a predetermined range among the acquired angle values exceeds the threshold value (S12). When the ratio of the angle values within the predetermined range exceeds the threshold value among the angle values specified during the offset value calculation period, the offset value determination unit 321 starts from each of the angle values (YES in S12). The offset value is determined (S13).
  • the offset value determining unit 321 does not determine the offset value when the ratio of the angle values within the predetermined range is less than the threshold value (NO in S12) (S14).
  • the offset value determining unit 321 repeats the processes from S10 to S14 every predetermined time (for example, 1 second).
  • FIG. 4 is a diagram showing an operation flow of the offset value determination unit 321 and the determination unit 323, and the warning unit 324.
  • the vertical axis of FIG. 4 shows the operating state of the offset value determination unit 321 in the upper row, the determination unit 323 in the middle row, and the warning unit 324 in the lower row.
  • the horizontal axis of FIG. 4 indicates time.
  • the offset value determining unit 321 starts specifying the direction of the driver's face in order to calculate the offset value. From time T1 to time T2, the offset value determining unit 321 acquires the angle value specified by the angle value specifying unit 320. The length from the time T1 to the time T2 is a length corresponding to the offset value calculation period. At time T2, the offset value determining unit 321 determines the offset value.
  • the offset value determining unit 321 offsets the angle values specified by the angle value specifying unit 320 over the offset calculation period, provided that the ratio of the angle values within a predetermined range is equal to or greater than the threshold value. Determine the value.
  • the driver does not look forward based on the angle value corrected by the angle value correction unit 322 using the offset value at the time T3 after the offset value determination unit 321 determines the offset value at the time T2. The determination of whether or not is is started.
  • the determination unit 323 determines whether the driver is in a forward inattentive state at the time T3, which is a time after the time T2 at which the offset value determination unit 321 first determines the offset value after the vehicle S is started. Start the determination of whether or not.
  • the determination unit 323 can make a determination based on the angle value corrected from the offset value based on the driver, so that it is possible to prevent the driver from erroneously determining whether or not the driver is in a forward inattentive state.
  • the offset value determining unit 321 determines the offset value at time T4 when the ratio of the angle values within the predetermined range to the angle values specified by the angle value specifying unit 320 during the offset value calculation period is less than the threshold value. Cancel the update.
  • the determination unit 323 stops determining whether or not the driver is in a forward inattentive state at time T5. In this way, when the determination unit 323 stops the determination, the determination unit 323 determines that the ratio of the angle values within the predetermined range becomes less than the threshold value, for example, due to the driver changing the posture. In addition, it is not determined that "the driver is in a state of inattention to the front". As a result, it is possible to prevent the warning unit 324 from erroneously issuing a warning of inattention to driving.
  • the offset value determining unit 321 determines the offset value based on the ratio of the angle value within the predetermined range among the angle values specified by the angle value specifying unit 320 over the predetermined time to be equal to or greater than the threshold value. Resume updating. When the offset value determining unit 321 resumes updating the offset value at time T6, the determination unit 323 resumes determining whether or not the driver is in a forward inattentive state at time T7.
  • the determination unit 323 determines forward inattention at the time T7 based on the updated offset value at the time T6, so that the determination unit 323 looks aside, for example, after the driver confirms the mirror. It is possible to determine whether or not the driver is in a forward inattentive state even when the operation is continued without the driver.
  • the determination unit 323 determines at time T8 that "the driver is in a forward inattentive state"
  • the determination unit 323 tells the offset value determination unit 321 and the warning unit 324 that "the driver is in a forward inattentive state”. Notify.
  • the offset value determination unit 321 cancels the determination of the offset value based on the notification from the determination unit 323 that "the driver is not looking forward”.
  • the warning unit 324 notifies the alarm device 2 to issue a warning.
  • the offset value determination unit 321 stops updating the offset value at the time T9, so that the determination unit 323 continues the determination based on the angle value corrected by the offset value at the time T9.
  • the offset value determination unit 321 it is possible to prevent the offset value determination unit 321 from determining an erroneous offset value, so that the determination unit 323 can suppress an erroneous determination.
  • the control unit 32 has an angle value specifying unit 320 that specifies an angle value that is a face-facing angle of the driver, and an offset value determining unit 321 that determines an offset value of the angle value. Then, the determination unit 323 starts determining whether or not the driver is in a forward inattentive state after the offset value determination unit 321 determines the offset value.
  • the determination unit 323 can suppress the issuance of an alarm even though the driver is not looking aside, based on the erroneous determination.
  • Image pickup device 2 Alarm device 3 Safe operation judgment device 31
  • Storage unit 32 Control unit 320 Angle value specification unit 321 Offset value determination unit 322 Angle value correction unit 323 Judgment unit 324 Warning unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)

Abstract

安全運転判定装置３は、車両Ｓの進行方向に対する運転者の顔向き角度を示す角度値を特定する角度値特定部３２０と、角度値特定部３２０が所定時間に亘って特定した角度値を用いて、運転者の顔に対する撮像装置１の撮像方向に対応した角度値のオフセット値を決定するオフセット値決定部３２１と、オフセット値決定部３２１がオフセット値を決定した後に、オフセット値と角度値との関係に基づいて、運転者が前方不注視状態であるか否かの判定を開始する判定部３２３と、を有する。

Description

安全運転判定装置
　本発明は、安全運転判定装置に関する。
　従来、車両を運転する運転者の顔向き方向によって運転者の前方不注視（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報を発する装置が提案されている。この装置は、運転者の顔向き角度が、運転者が脇見をしていない状態における平均的な顔の向きである基準向きに対して所定角度以上ずれた状態が所定時間以上継続すると、警報を発する（例えば、特許文献１を参照）。
特開２０１９－７０８７５号公報
　しかし、基準向きの決定には時間を要するので、基準向きが決定される前の期間においては、例えば車両の進行方向のような初期値が基準向きとして使用される。このように初期値に基づいて判定を行うと、基準向きと初期値との差が大きい場合は、運転者が脇見をしていないにもかかわらず、装置が誤って警報を発するおそれがある。
　そこで、本発明はこれらの点に鑑みてなされたものであり、運転者が脇見をしていないにもかかわらず警報が発せられることを抑制することを目的とする。
　本発明の態様に係る安全運転判定装置は、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を特定する角度値特定部と、前記角度値特定部が所定時間に亘って特定した前記角度値を用いて、前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値を決定するオフセット値決定部と、前記オフセット値決定部が前記オフセット値を決定した後に、前記オフセット値と前記角度値との関係に基づいて、前記運転者が前方不注視状態であるか否かの判定を開始する判定部と、を有する。
　前記オフセット値決定部は、所定のオフセット値算出期間のうち、前記運転者の顔の向きが所定の範囲内にある期間の割合が閾値を超えている場合に前記オフセット値を新たに決定してもよい。
　前記オフセット値決定部は、前記判定部が前方不注視状態であると判定している間は、前記オフセット値を新たに決定しないでもよい。
　前記判定部は、前記判定部が前方不注視状態ではないと判定した場合、前記オフセット値決定部が前記オフセット値を更新したか否かに基づいて、判定を継続するか中止するかの動作を切り替えてもよい。
　前記判定部は、前記オフセット値決定部が前記オフセット値を更新しなかった場合、前記運転者が前方不注視状態か否かの判定を中止してもよい。
　前記車両の運転者が前方不注視状態であると判定した場合に、前記運転者に警告を発する警告部をさらに有し、前記警告部は、前記オフセット値決定部が前記オフセット値を決定していることを条件として、前記運転者に前記警告を発してもよい。
　本発明によれば、運転者が脇見をしていないにもかかわらず警報が発せられることを抑制するという効果を奏する。
本発明に係る車両Ｓの構成を示す図である。 撮像装置１と運転者の顔向き角度との関係を示す図である。 オフセット値決定部３２１がオフセット値を決定する処理のフローチャートを示す図である。 オフセット値決定部３２１、判定部３２３、及び警告部３２４の動作の流れを示す図である。
＜車両Ｓの構成＞
　図１は、本発明に係る車両Ｓの構成を示す図である。車両Ｓは、撮像装置１と、警報装置２と、安全運転判定装置３とを有する。
　撮像装置１は、車両Ｓの運転席に設けられており、例えばＣＣＤカメラを含む。撮像装置１は、運転席に座っている運転者を前方から撮像して、撮像画像を生成する。例えば、撮像装置１は、車両Ｓが走行中の運転者の顔を撮像して、車両Ｓの進行方向に対する運転者の顔向き角度を特定できる撮像画像を生成する。撮像装置１は、生成した撮像画像を安全運転判定装置３に出力する。
　図２は、撮像装置１と運転者の顔向き角度との関係を示す図である。図２（ａ）には運転者Ｄの側面から見た図が示され、図２（ｂ）には運転者Ｄの上方から見た図が示されている。撮像装置１は、図２（ａ）及び図２（ｂ）に示すように、運転者Ｄの顔の正面ではなく、運転者Ｄの顔に対して、例えば斜め下方に設けられている。
　警報装置２は、運転中の運転者が前方不注視（例えば脇見）であることを安全運転判定装置３から通知されたことに基づいて、運転者に対して警告を発する装置である。警報装置２は、例えば、アラームの音を鳴らすスピーカ、警告画面を表示する表示部、及び振動を発生する振動発生部を含む。なお、警報装置２は、音、表示、及び振動の少なくとも２つを組み合わせて、警告を発してもよい。
　安全運転判定装置３は、記憶部３１と、制御部３２とを有する。安全運転判定装置３は、車両Ｓの運転者を撮像装置１によって撮像して車両の進行方向を基準にしたときの運転者の顔向き角度を示す角度値を特定する。安全運転判定装置３は、特定した角度値に基づいて運転者が前方不注視状態であるか否かを判定する。安全運転判定装置３は、運転者が前方不注視状態であると判定した場合は、警報装置２に警告を発するように通知する。
　記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部３１は、後述する制御部３２が実行するプログラムを記憶している。記憶部３１には、例えば運転者の顔向き角度に係る情報が記憶されている。
　制御部３２は、例えばＣＰＵ（Central Processing Unit）である。制御部３２は、記憶部３１に記憶されているプログラムを実行することにより、角度値特定部３２０、オフセット値決定部３２１、角度値補正部３２２、判定部３２３、及び警告部３２４として機能する。制御部３２は、運転者の顔向き角度を特定するとともに、運転者の顔向き角度を記憶部３１に記憶させる。
　角度値特定部３２０は、車両Ｓの進行方向に対する運転者のヨー方向（図２（ｂ））の顔向き角度を示すヨー角度値と、進行方向に対する運転者のピッチ方向（図２（ａ））の顔向き角度を示すピッチ角度値との少なくとも一方の顔向き角度を示す角度値を特定する。
　角度値特定部３２０は、撮像装置１が撮像した撮像画像に基づいて角度値を特定する。角度値特定部３２０は、所定間隔（例えば１００秒間隔）で、継続して角度値を特定する。角度値特定部３２０は、特定した角度値を、オフセット値決定部３２１及び角度値補正部３２２に通知する。
　オフセット値決定部３２１は、角度値特定部３２０が所定時間（例えば１００秒）に亘って特定した角度値を用いて、運転者の顔に対する撮像装置１の撮像方向に対応した角度値のオフセット値を決定する。オフセット値は、撮像装置１の撮像方向を基準として角度値特定部３２０が特定した角度値を、運転者が脇見をしていない状態における平均的な顔の向きである基準向きを基準とする角度値に補正するための値である。
　オフセット値決定部３２１は、例えば角度値特定部３２０が所定時間に亘って特定した角度値の平均値又は中央値等の統計値を、オフセット値として決定する。オフセット値決定部３２１は、ヨー角度値のオフセット値を示すヨーオフセット値とピッチ角度値のオフセット値を示すピッチオフセット値との少なくとも一方をオフセット値として決定する。
　オフセット値決定部３２１は、所定のオフセット値算出期間（例えば１００秒）のうち、運転者の顔の向きが所定の範囲内にある期間の割合が閾値（例えば７０秒）を超えている場合にオフセット値を新たに決定する。ここでいう、運転者の顔の向きの所定の範囲内にある期間とは、例えば車両の正面方向に対するヨー角度値が左右３０度以内の期間である。
　オフセット値決定部３２１は、例えば運転者の顔向き角度、運転者の頭部の位置、及び車両Ｓの車速のうち少なくとも１つが所定の範囲内にある期間の割合が閾値を超えている場合にオフセット値を新たに決定してもよい。オフセット値決定部３２１は、決定したオフセット値を角度値補正部３２２に通知する。
　ところで、判定部３２３が前方不注視状態であると判定している間にオフセット値決定部３２１がオフセット値を決定してしまうと、運転者が脇見をしている状態における顔の向きが基準向きに設定されてしまう。そこで、オフセット値決定部３２１は、判定部３２３が前方不注視状態であると判定している間は、オフセット値を新たに決定しない。
　具体的には、オフセット値決定部３２１は、運転者が前方不注視状態であるか否かの判定を判定部３２３から取得する。オフセット値決定部３２１は、判定部３２３から取得した判定が不注視状態である場合はオフセット値を更新せずに前の時刻に決定したオフセット値を角度値補正部３２２に通知する。一方、判定部３２３から取得した判定が不注視状態ではない場合は、新たに決定したオフセット値を角度値補正部３２２に通知する。オフセット値決定部３２１は、角度値補正部３２２に通知したオフセット値が新たに決定したオフセット値であるか否かを判定部３２３に通知する。
　このように、オフセット値決定部３２１は、判定部３２３から取得した不注視状態であるか否かの判定に基づいてオフセット値を更新するか否かを切り替えることで、誤ったオフセット値を角度値補正部３２２に通知してしまうことを抑制できる。
　角度値補正部３２２は、角度値特定部３２０が特定した角度値を、オフセット値決定部３２１が決定したオフセット値に基づいて補正する。例えば、角度値補正部３２２は、ヨーオフセット値に基づいてヨー角度値を補正し、ピッチオフセット値に基づいてピッチ角度値を補正する。角度値補正部３２２は、補正したヨー角度値とピッチ角度値との少なくとも一方を、補正後の角度値として判定部３２３に通知する。
　判定部３２３は、オフセット値決定部３２１がオフセット値を決定した後に、オフセット値と角度値特定部３２０が特定した角度値との関係に基づいて、運転者が前方不注視状態であるか否かの判定を開始する。判定部３２３は、オフセット値決定部３２１が決定したオフセット値と、角度値特定部３２０が特定した角度値とに基づく補正後の角度値を角度値補正部３２２から取得する。判定部３２３は、オフセット値決定部３２１がオフセット値を更新したか否かをオフセット値決定部３２１から取得する。判定部３２３は、運転者が前方不注視状態であるか否かの判定を警告部３２４に通知する。
　判定部３２３は、当該判定部３２３が、運転者が前方不注視状態であると判定した場合、オフセット値決定部３２１に運転者が前方不注視状態であることを通知する。一方、運転者が前方不注視状態ではないと判定した場合、オフセット値決定部３２１がオフセット値を更新したか否かに基づいて、判定を継続するか中止するかの動作を切り替える。
　具体的には、判定部３２３が運転者は前方不注視状態ではないと判定している場合において、オフセット値決定部３２１がオフセット値を更新した場合、判定部３２３は当該オフセット値に基づいて、運転者が前方不注視状態か否かを判定する。一方、オフセット値決定部３２１がオフセット値を更新しなかった場合、判定部３２３は、運転者が前方不注視状態か否かの判定を中止する。このように判定部３２３が動作することで、判定部３２３は、オフセット値決定部３２１がオフセット値を更新しないことにより運転者が前方不注視状態であると誤って判定することを抑制できる。その結果、判定部３２３は、運転者が前方不注視状態ではない場合に、運転者が前方不注視状態であると誤って警告部３２４に通知してしまうことを抑制できる。
　警告部３２４は、車両Ｓの運転者が前方不注視状態であると判定部３２３が判定した場合に、運転者に警告を発する。具体的には、警告部３２４は、判定部３２３が、運転者が前方不注視状態であると判定し、且つ、オフセット値決定部３２１がオフセット値を更新していることを条件として、判定部３２３から運転者に警告を発するように通知される。警告部３２４は、オフセット値を更新していることを、オフセット値決定部３２１から通知されてもよい。警告部３２４は、判定部３２３から警告を発するように通知されると、警報装置２に警告を発するように通知する。
＜オフセット値決定処理＞
　図３は、オフセット値決定部３２１がオフセット値を決定する処理のフローチャートを示す図である。オフセット値決定部３２１は、角度値特定部３２０が、直前のオフセット値算出期間中に特定した角度値を取得する（Ｓ１０）。オフセット値決定部３２１は、取得した角度値のそれぞれが所定の範囲内にあるか否かを判定する（Ｓ１１）。
　続いて、オフセット値決定部３２１は、取得した角度値のうち、所定の範囲内にある角度値の割合が閾値を超えているか否かを判定する（Ｓ１２）。オフセット値決定部３２１は、オフセット値算出期間中に特定した角度値のうち、所定の範囲内にある角度値の割合が閾値を超えている場合（Ｓ１２のＹＥＳ）は、当該角度値のそれぞれからオフセット値を決定する（Ｓ１３）。
　一方、オフセット値決定部３２１は、所定の範囲内にある角度値の割合が閾値未満である場合（Ｓ１２のＮＯ）は、オフセット値を決定しない（Ｓ１４）。オフセット値決定部３２１は、所定の時間（例えば１秒）ごとに、Ｓ１０からＳ１４までの処理を繰り返す。オフセット値決定部３２１がこのように動作することで、角度値補正部３２２が誤った角度値に補正することと、判定部３２３が誤った角度値に基づいて誤判定することを抑制することができる。
＜オフセット値決定と不注視状態判定との動作＞
　図４は、オフセット値決定部３２１、判定部３２３、及び警告部３２４の動作の流れを示す図である。図４の縦軸は、上段がオフセット値決定部３２１、中段が判定部３２３、及び下段が警告部３２４の動作状態を示す。図４の横軸は時間を示す。
　時刻Ｔ１（例えば車両Ｓのエンジンが始動した時刻）において、オフセット値決定部３２１は、オフセット値を算出するために、運転者の顔の向きの特定を開始する。時刻Ｔ１から時刻Ｔ２においてオフセット値決定部３２１は、角度値特定部３２０が特定した角度値を取得する。時刻Ｔ１から時刻Ｔ２までの長さは、オフセット値算出期間に相当する長さである。時刻Ｔ２においてオフセット値決定部３２１はオフセット値を決定する。
　時刻Ｔ２においてオフセット値決定部３２１は、角度値特定部３２０がオフセット算出期間に亘って特定した角度値のうち、所定の範囲内にある角度値の割合が閾値以上であることを条件として、オフセット値を決定する。
　判定部３２３は、時刻Ｔ２においてオフセット値決定部３２１がオフセット値を決定した後の時刻Ｔ３において、角度値補正部３２２がオフセット値を用いて補正した角度値に基づいて、運転者が前方不注視であるか否かの判定を開始する。
　このように、判定部３２３は、オフセット値決定部３２１が車両Ｓの起動後に最初にオフセット値を決定した時刻Ｔ２よりも後の時刻である時刻Ｔ３に、運転者が前方不注視状態であるか否かの判定を開始する。これにより、判定部３２３は、運転者に基づくオフセット値から補正された角度値により判定することができるため、運転者が前方不注視状態か否かを誤判定することを抑制できる。
　オフセット値決定部３２１は、角度値特定部３２０がオフセット値算出期間中に特定した角度値のうち、所定の範囲内にある角度値の割合が閾値未満であった場合、時刻Ｔ４においてオフセット値の更新を中止する。
　判定部３２３は、オフセット値決定部３２１が時刻Ｔ４においてオフセット値の更新を中止した場合、時刻Ｔ５において、運転者が前方不注視状態か否かの判定を中止する。このように、判定部３２３が判定を中止することで、判定部３２３は、例えば運転者が姿勢を変化させたことにより所定の範囲内にある角度値の割合が閾値未満になったような場合に、「運転者は前方不注視状態である」と判定しない。これにより、警告部３２４が誤って運転不注視の警告を発することを抑制できる。
　時刻Ｔ６においてオフセット値決定部３２１は、角度値特定部３２０が所定時間に亘って特定した角度値のうち、所定の範囲内にある角度値の割合が閾値以上であることに基づいて、オフセット値の更新を再開する。判定部３２３は、時刻Ｔ６においてオフセット値決定部３２１がオフセット値の更新を再開した場合、時刻Ｔ７において、運転者が前方不注視状態か否かの判定を再開する。
　このように、時刻Ｔ６における更新されたオフセット値に基づいて、判定部３２３が時刻Ｔ７において前方不注視を判定することで、判定部３２３は、例えば運転者がミラーを確認した後に、脇見をしていない状態で運転を継続する動作を行う場合であっても、運転者が前方不注視状態か否かを判定できる。
　判定部３２３は、当該判定部３２３が時刻Ｔ８において「運転者は前方不注視状態である」と判定した場合、オフセット値決定部３２１及び警告部３２４に「運転者は前方不注視状態である」と通知する。時刻Ｔ９においてオフセット値決定部３２１は、判定部３２３から「運転者は前方不注視である」と通知されたことに基づいて、オフセット値の決定を中止する。時刻Ｔ９において警告部３２４は、警報装置２に警告を発するように通知する。
　このように、時刻Ｔ９においてオフセット値決定部３２１がオフセット値の更新を中止することで、判定部３２３は、時刻Ｔ９のオフセット値により補正された角度値に基づいて判定を継続する。これにより、例えば運転者が脇見を続けることにより、オフセット値決定部３２１が誤ったオフセット値を決定することを抑制できるため、判定部３２３は、誤判定を抑制できる。
＜安全運転判定装置３による効果＞
　以上のとおり、制御部３２は、運転者の顔向き角度である角度値を特定する角度値特定部３２０と、角度値のオフセット値を決定するオフセット値決定部３２１とを有する。そして、判定部３２３は、オフセット値決定部３２１がオフセット値を決定した後に運転者が前方不注視状態であるか否かの判定を開始する。
　したがって、車両Ｓにおいては、運転者の顔向き角度に基づいたオフセット値により角度値を補正することができるため、運転者が前方不注視状態であるか否かの誤判定を抑制することができる。これにより、判定部３２３は、誤判定に基づいて、運転者が脇見をしていないにもかかわらず警報が発せられることを抑制することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１　撮像装置
２　警報装置
３　安全運転判定装置
３１　記憶部
３２　制御部
３２０　角度値特定部
３２１　オフセット値決定部
３２２　角度値補正部
３２３　判定部
３２４　警告部

Claims (6)

  1. 　車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、
    　前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を特定する角度値特定部と、
    　前記角度値特定部が所定時間に亘って特定した前記角度値を用いて、前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値を決定するオフセット値決定部と、
    　前記オフセット値決定部が前記オフセット値を決定した後に、前記オフセット値と前記角度値との関係に基づいて、前記運転者が前方不注視状態であるか否かの判定を開始する判定部と、
    　を有する、安全運転判定装置。
  2. 　前記オフセット値決定部は、所定のオフセット値算出期間のうち、前記運転者の顔の向きが所定の範囲内にある期間の割合が閾値を超えている場合に前記オフセット値を新たに決定する、
    　請求項１に記載の安全運転判定装置。
  3. 　前記オフセット値決定部は、前記判定部が前方不注視状態であると判定している間は、前記オフセット値を新たに決定しない、
    　請求項２に記載の安全運転判定装置。
  4. 　前記判定部は、前記判定部が前方不注視状態ではないと判定した場合、前記オフセット値決定部が前記オフセット値を更新したか否かに基づいて、判定を継続するか中止するかの動作を切り替える、
    　請求項１から３のいずれか一項に記載の安全運転判定装置。
  5. 　前記判定部は、前記オフセット値決定部が前記オフセット値を更新しなかった場合、前記運転者が前方不注視状態か否かの判定を中止する、
    　請求項４に記載の安全運転判定装置。
  6. 　前記車両の運転者が前方不注視状態であると判定した場合に、前記運転者に警告を発する警告部をさらに有し、
    　前記警告部は、前記オフセット値決定部が前記オフセット値を決定していることを条件として、前記運転者に前記警告を発する、
    　請求項１から５のいずれか一項に記載の安全運転判定装置。
PCT/JP2021/009365 2020-03-11 2021-03-09 安全運転判定装置 WO2021182481A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/908,906 US20240198903A1 (en) 2020-03-11 2021-03-09 Safe driving determination apparatus
CN202180018878.6A CN115398505B (zh) 2020-03-11 2021-03-09 安全驾驶判定装置
DE112021001556.7T DE112021001556T5 (de) 2020-03-11 2021-03-09 Sicherfahrbeurteilungsgerät

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020042079A JP7342744B2 (ja) 2020-03-11 2020-03-11 安全運転判定装置
JP2020-042079 2020-03-11

Publications (1)

Publication Number Publication Date
WO2021182481A1 true WO2021182481A1 (ja) 2021-09-16

Family

ID=77672356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009365 WO2021182481A1 (ja) 2020-03-11 2021-03-09 安全運転判定装置

Country Status (5)

Country Link
US (1) US20240198903A1 (ja)
JP (1) JP7342744B2 (ja)
CN (1) CN115398505B (ja)
DE (1) DE112021001556T5 (ja)
WO (1) WO2021182481A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097445A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
KR20110062651A (ko) * 2009-12-03 2011-06-10 현대자동차주식회사 차선 이탈 경보 방법
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019070876A (ja) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 安全運転支援装置及び安全運転支援方法
JP6984294B2 (ja) 2017-10-05 2021-12-17 いすゞ自動車株式会社 安全運転判定装置及び安全運転判定方法
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP2019091267A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP2020024532A (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097445A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
KR20110062651A (ko) * 2009-12-03 2011-06-10 현대자동차주식회사 차선 이탈 경보 방법
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置

Also Published As

Publication number Publication date
US20240198903A1 (en) 2024-06-20
CN115398505B (zh) 2023-09-29
DE112021001556T5 (de) 2023-01-19
JP7342744B2 (ja) 2023-09-12
CN115398505A (zh) 2022-11-25
JP2021144421A (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
JP5817923B2 (ja) 運転支援装置
JP6578784B2 (ja) 状態推定装置および状態推定プログラム
JP4534789B2 (ja) 車両用警報装置
WO2021182481A1 (ja) 安全運転判定装置
JP2005087284A (ja) 覚醒状態判定装置及び覚醒状態判定方法
JP6594595B2 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP6984294B2 (ja) 安全運転判定装置及び安全運転判定方法
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
WO2022064592A1 (ja) 運転状態判定装置、方法、及びコンピュータ可読媒体
WO2021182483A1 (ja) 安全運転判定装置
JP2007022428A (ja) 車両デバイス制御装置、および車両デバイス制御方法
WO2021182482A1 (ja) 安全運転判定装置
JP2018169656A (ja) 安全運転促進装置及び安全運転促進方法
JP2010026657A (ja) 運転者状態検出装置
WO2021182484A1 (ja) 安全運転判定装置
JPWO2021001943A1 (ja) 車載用画像処理装置、および、車載用画像処理方法
JP2022131055A (ja) 着座姿勢判定装置、着座姿勢判定方法及びプログラム
JP7149749B2 (ja) 運転支援装置、及び運転支援方法
JP2022161318A (ja) 顔認識装置
JP7375691B2 (ja) 眠気兆候通知システム
JP6857841B2 (ja) ドライバ監視装置、車両、ドライバ監視方法およびプログラム
JP2023127179A (ja) 車載装置、情報処理方法、および、プログラム
JP2023139924A (ja) 乗員状態認識装置、乗員状態認識方法、及び、乗員状態認識プログラム
JP2023047835A (ja) 車載装置および搭乗者モニタリング方法
JP2010217955A (ja) 検出装置、評価装置および方法、並びに、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768847

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17908906

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21768847

Country of ref document: EP

Kind code of ref document: A1