WO2021182482A1 - 安全運転判定装置 - Google Patents

安全運転判定装置 Download PDF

Info

Publication number
WO2021182482A1
WO2021182482A1 PCT/JP2021/009366 JP2021009366W WO2021182482A1 WO 2021182482 A1 WO2021182482 A1 WO 2021182482A1 JP 2021009366 W JP2021009366 W JP 2021009366W WO 2021182482 A1 WO2021182482 A1 WO 2021182482A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
driver
angle value
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/009366
Other languages
English (en)
French (fr)
Inventor
和彦 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to US17/908,901 priority Critical patent/US20240198946A1/en
Priority to CN202180018901.1A priority patent/CN115398506B/zh
Priority to DE112021001564.8T priority patent/DE112021001564T5/de
Publication of WO2021182482A1 publication Critical patent/WO2021182482A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01566—Devices for warning or indicating mode of inhibition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/20—Direction indicator values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to a safe driving determination device.
  • Patent Document 1 discloses a non-gaze state determining device having a function of making it difficult to determine forward inattentiveness when the driver's face faces the tip of the curved road when the vehicle travels on a curved road. Has been done.
  • the conventional non-gaze state determination device determines whether or not the driver is in a forward non-gaze state based on whether or not the angle value indicating the driver's face orientation exceeds the reference value.
  • the conventional non-gaze state determination device detects that the vehicle is traveling on a curved road, it uses a reference value for a curved road that is different from the reference value used while traveling on a road other than the curved road. This makes it difficult to determine forward inattention on curved roads.
  • the angle value of the face on the curved road differs depending on the driver. Therefore, even if the non-gaze state determination device uses the reference value for a curved road, some drivers may erroneously determine that the vehicle is in a forward non-gaze state even though it is a curved road. There was a problem.
  • an object of the present invention is to make it difficult for the driver to erroneously determine that he / she is not looking forward in a state where he / she does not need to look ahead.
  • the safe driving determination device acquires and acquires an angle value indicating the face-facing angle of the driver when the driver of the vehicle is imaged by an imaging device and the traveling direction of the vehicle is used as a reference. It is a safe driving determination device that determines whether or not the driver is in a forward inattentive state based on the angle value, a state specifying unit that specifies the state of the vehicle, and the driver with respect to the traveling direction. An angle value calculation unit that calculates an angle value indicating at least one of the facial orientation angle in the yaw direction and the facial orientation angle in the pitch direction of the driver with respect to the traveling direction, and the angle value and the reference angle.
  • It has a determination unit for determining whether or not the driver is in a forward inattentive state when the difference from the value is equal to or greater than a threshold value, and the angle value calculation unit is specified by the state identification unit.
  • the state is a state in which the driver is not allowed to be in a forward inattentive state
  • the calculated angle value is input to the determination unit, and the state specified by the state specifying unit is the operation.
  • a value whose difference from the reference angle value is less than the threshold value is input to the determination unit as the angle value.
  • the state specifying unit when the vehicle is stopped, or when the vehicle is decelerating and is equal to or lower than the threshold speed, the state of the vehicle is that the driver is not looking forward. It may be specified that the condition is acceptable.
  • the state specifying unit allows the state of the vehicle to be a state in which the driver is not looking forward when the vehicle is producing a blinker or the vehicle is traveling on a curved road. It may be specified that it is in a state of being.
  • the state specifying unit is in a state where the driver is not allowed to be in a forward inattentive state. It may be specified that there is.
  • the determination unit determines that the driver is in a forward non-gaze state, and the difference between the angle value and the reference angle value is If it is less than the threshold value, it may be determined that the driver is not in a forward inattentive state.
  • FIG. 1 is a diagram showing a configuration of a vehicle S according to the present invention.
  • the vehicle S includes an image pickup device 1, a state information detection device 2, an alarm device 3, and a safe driving determination device 4.
  • the image pickup device 1 is provided in the driver's seat of the vehicle S, and includes, for example, a CCD camera.
  • the image pickup device 1 takes an image of the driver sitting in the driver's seat from the front and generates an captured image.
  • the image pickup device 1 captures the face of the driver while the vehicle S is traveling, and generates an captured image capable of specifying the face orientation angle of the driver with respect to the traveling direction of the vehicle S.
  • the image pickup device 1 outputs the generated captured image to the safe operation determination device 4.
  • FIG. 2 is a diagram showing the relationship between the image pickup device 1 and the driver's face orientation angle.
  • FIG. 2A shows a view seen from the side surface of the driver D
  • FIG. 2B shows a view seen from above the driver D.
  • the image pickup apparatus 1 is provided, for example, diagonally downward with respect to the face of the driver D, not in front of the face of the driver D.
  • the state information detection device 2 detects the state information necessary for identifying the state of the moving vehicle S.
  • the state of the traveling vehicle S is, for example, stopped, decelerating, blinking, or traveling on a curved road.
  • the state information is information related to the speed, acceleration, operation of the blinker, and the traveling road of the vehicle S.
  • the state information detection device 2 notifies the safe operation determination device 4 of the detected state information.
  • the state information detection device 2 includes, for example, a CCD camera, and transmits an image of the road in front of the moving vehicle S, which has been captured, to the safe driving determination device 4.
  • the state information detection device 2 is connected to, for example, the winker of the vehicle S, determines whether or not the winker is operating, and notifies the safe driving determination device 4.
  • the state information detection device 2 notifies the safe driving determination device 4 of, for example, the detected speed of the vehicle S.
  • the alarm device 3 is a device that issues a warning to the driver based on the notification from the safe driving determination device 4 that the driver who is driving is not looking forward (for example, looking aside).
  • the alarm device 3 includes, for example, a speaker that sounds an alarm, a display unit that displays a warning screen, and a vibration generating unit that generates vibration.
  • the alarm device 3 may issue a warning by combining at least two of sound, display, and vibration.
  • the safe driving determination device 4 has a storage unit 41 and a control unit 42.
  • the safe driving determination device 4 acquires an angle value indicating the face orientation angle of the driver when the driver of the vehicle S is imaged by the image pickup device 1 and the traveling direction of the vehicle S is used as a reference.
  • the safe driving determination device 4 determines whether or not the driver is in a forward inattentive state based on the acquired angle value. When the driver determines that the driver is not looking forward, the safe driving determination device 4 notifies the alarm device 3 to issue a warning.
  • the storage unit 41 has a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk.
  • the storage unit 41 stores a program executed by the control unit 42, which will be described later.
  • the storage unit 41 stores, for example, information related to the driver's face-facing angle and information related to the state of the vehicle S.
  • the control unit 42 is, for example, a CPU (Central Processing Unit).
  • the control unit 42 functions as a state specifying unit 421, an angle value calculation unit 422, a determination unit 423, and a warning unit 424 by executing a program stored in the storage unit 41.
  • the control unit 42 identifies the driver's face-facing angle and the state of the vehicle S, and determines whether or not the driver is in a forward inattentive state.
  • the state specifying unit 421 acquires an image of the road in front of the vehicle S, information on whether or not the winker of the vehicle S is operating, and state information indicating the speed of the vehicle S from the state information detection device 2. Based on the acquired state information, the state specifying unit 421 determines whether or not the driver is allowed to be in a forward inattentive state. The state specifying unit 421 notifies the angle value calculating unit 422 of the determination result.
  • the state specifying unit 421 determines whether or not the road on which the vehicle S is traveling is a curved road, based on, for example, an image of the road in front of the vehicle S acquired from the state information detection device 2. When it is determined that the vehicle S is traveling on a curved road, the state specifying unit 421 specifies that the state of the vehicle S is a state in which the driver is allowed to be in a forward inattentive state.
  • the state specifying unit 421 acquires the state information of whether or not the winker is operating from the state information detecting device 2.
  • the state specifying unit 421 determines that the vehicle S is issuing a winker based on the acquired state information, the state of the vehicle S is a state in which the driver is allowed to be in a forward inattentive state. To identify.
  • the state specifying unit 421 is in a state in which the state of the vehicle S is not allowed to be a forward inattention state when the vehicle S has been producing the winker even after the threshold time has elapsed since the vehicle S started to output the winker. Identify as.
  • the threshold time is the maximum value of the time required from when the vehicle S starts to put out the winker to when the vehicle S returns the winker, and is, for example, the maximum value of the time required for the vehicle S to change the course or turn left or right. ..
  • the safe driving determination device 4 determines that, for example, when the driver neglects to return the winker, the determination unit 423, which will be described later, is in a state where the driver is not looking forward. It is possible to determine whether or not there is.
  • the state specifying unit 421 acquires the speed of the vehicle S from the state information detecting device 2.
  • the state specifying unit 421 may determine whether or not the vehicle S is stopped, accelerating, and decelerating based on the acquired speed of the vehicle S.
  • the state specifying unit 421 allows the driver to be invisible to the front when the vehicle S is stopped, or when the vehicle S is decelerating and is equal to or lower than the threshold speed. Identify the condition to be done.
  • the threshold speed is, for example, the maximum value of the speed at which the driver is allowed to check left and right in order for the vehicle S to turn left or right.
  • the state specifying unit 421 identifies that when the vehicle S is equal to or less than the threshold speed, the driver is allowed to be in a forward inattentive state, so that the safe driving determination device 4 can be driven, for example. It is possible to prevent the state of checking left and right due to the hand turning left and right from being mistakenly determined as the forward inattention state.
  • the angle value calculation unit 422 calculates the angle value based on the captured image captured by the imaging device 1.
  • the angle value calculation unit 422 has at least a face orientation angle of the driver in the yaw direction (FIG. 2 (b)) with respect to the traveling direction and a face orientation angle of the driver in the pitch direction (FIG. 2 (a)) with respect to the traveling direction.
  • the angle value indicating one of the face orientation angles is calculated.
  • the angle value calculation unit 422 receives notification from the state identification unit 421 of the determination result as to whether or not the driver is allowed to be in a forward inattentive state.
  • the angle value calculation unit 422 determines the angle value to be notified to the determination unit 423 based on the determination result notified from the state identification unit 421. Specifically, when the state specifying unit 421 determines that the driver is allowed to be in a forward non-gaze state, the angle value calculating unit 422 uses the calculated angle value as the calculated angle value and the reference angle value.
  • the angle difference which is the difference from the above, is corrected to a value that is less than the threshold value.
  • the threshold value is the minimum value of the angle difference that the determination unit 423 determines to be in the forward non-gaze state.
  • FIG. 3 is a diagram showing a flowchart of a process of determining the angle value notified by the angle value calculation unit 422 to the determination unit 423.
  • the angle value calculation unit 422 calculates the angle value of the driver of the vehicle S based on the captured image captured by the image pickup device 1 (S10).
  • the angle value calculation unit 422 acquires a determination result of whether or not the driver is allowed to be in a forward inattentive state from the state specifying unit 421 (S11).
  • the angle value calculating unit 422 sets the calculated angle value and the reference angle value. The value at which the difference between the two is less than the threshold value is notified to the determination unit 423 as an angle value (S13).
  • the angle value calculating unit 422 captures an image captured by the imaging device 1. Notify the determination unit 423 of the angle value calculated based on (S14).
  • the determination unit 423 determines whether or not the driver is in a forward inattentive state when the difference between the angle value acquired from the angle value calculation unit 422 and the reference angle value is equal to or greater than the threshold value. When the difference between the angle value acquired from the angle value calculation unit 422 and the reference angle value is equal to or greater than the threshold value, the determination unit 423 determines that the driver of the vehicle S is in a forward inattentive state. On the other hand, when the difference between the angle value acquired from the angle value calculation unit 422 and the reference angle value is less than the threshold value, it is determined that the driver of the vehicle S is not in a forward inattentive state.
  • the determination unit 423 determines that the driver of the vehicle S is in the forward inattention state
  • the determination unit 423 notifies the warning unit 424 that the driver is in the forward inattention state.
  • the warning unit 424 receives a notification from the determination unit 423 that the driver is in a forward inattentive state
  • the warning unit 424 notifies the alarm device 3 to issue a warning.
  • the control unit 42 includes a state specifying unit 421 that specifies the state of the vehicle S, and an angle value calculating unit 422 that calculates an angle value in the face direction of the driver of the vehicle S.
  • the angle value calculation unit 422 has a threshold value of the calculated angle value or the difference between the angle value and the reference angle value when the state specified by the state identification unit 421 is a state in which it is permissible to be in a forward non-gaze state. The value less than is notified to the determination unit 423 as the angle value of the driver.
  • the determination unit 423 determines whether or not the vehicle is in a forward inattentive state based on the acquired angle value of the driver.
  • the alarm device 3 does not issue an alarm because the determination unit 423 does not determine that the driver is not looking forward when it is permissible even if the driver is not facing forward, such as when traveling on a curved road. Therefore, the safe driving determination device 4 can suppress the driver from erroneously determining that he / she is not looking forward and issuing an alarm in a state where the driver does not need to look ahead.
  • Imaging device 1 Imaging device 2 Status information detection device 3 Alarm device 4 Safe operation judgment device 41 Storage unit 42 Control unit 421 State identification unit 422 Angle value calculation unit 423 Judgment unit 424 Warning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Automation & Control Theory (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

安全運転判定装置４は、車両Ｓの状態を特定する状態特定部４２１と、進行方向に対する運転者の顔向き角度を示す角度値を算出する角度値算出部４２２と、角度値と基準角度値との差が閾値以上である場合に、運転者が前方不注視状態であるか否かを判定する判定部４２３と、を有し、角度値算出部４２２は、状態特定部４２１が特定した状態が、前方不注視状態であることが許容されない状態である場合に、算出した角度値を前記判定部４２３に入力し、状態特定部が特定した前記状態が、前方不注視状態であることが許容される状態である場合に、基準角度値との差が閾値未満の値を角度値として前記判定部４２３に入力する。

Description

安全運転判定装置
　本発明は、安全運転判定装置に関する。
　従来、車両を運転する運転者の顔向き方向によって運転者の前方不注視（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報を発する装置が知られている。特許文献１には、車両がカーブ路を走行する際に運転者の顔向きがカーブ路の先を向いた場合には前方不注視と判定しづらくするという機能を有する不注視状態判定装置が開示されている。
特開２０１９－７０８７６号公報
　従来の不注視状態判定装置は、運転者の顔向きを示す角度値が基準値を超えたか否かに基づいて、運転者が前方不注視状態か否かを判定する。従来の不注視状態判定装置は、車両がカーブ路を走行中であると検出した場合に、カーブ路以外の道路を走行している間に使用する基準値と異なるカーブ路用の基準値を使用することにより、カーブ路において前方不注視と判定しづらくしている。
　しかしながら、カーブ路における顔向きの角度値は、運転者によって異なる。したがって、不注視状態判定装置は、カーブ路用の基準値を使用したとしても、運転者によっては、カーブ路であるにもかかわらず前方不注視状態であると誤判定してしまう場合があるという問題があった。
　そこで、本発明はこれらの点に鑑みてなされたものであり、運転者が前方を注視する必要がない状態において運転者が前方不注視であると誤判定しづらくすることを目的とする。
　本発明の態様に係る安全運転判定装置は、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、前記車両の状態を特定する状態特定部と、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、前記角度値と基準角度値との差が閾値以上である場合に、前記運転者が前方不注視状態であるか否かを判定する判定部と、を有し、前記角度値算出部は、前記状態特定部が特定した前記状態が、前記運転者が前方不注視状態であることが許容されない状態である場合に、算出した前記角度値を前記判定部に入力し、前記状態特定部が特定した前記状態が、前記運転者が前方不注視状態であることが許容される状態である場合に、前記基準角度値との差が前記閾値未満の値を前記角度値として前記判定部に入力する。
　前記状態特定部は、前記車両が停止中の場合、又は前記車両が減速中であり、かつ閾値速度以下である場合に、前記車両の状態が、前記運転者が前方不注視状態であることが許容される状態であると特定してもよい。
　前記状態特定部は、前記車両がウインカを出している場合、又は前記車両がカーブ路を走行している場合に、前記車両の状態が、前記運転者が前方不注視状態であることが許容される状態であると特定してもよい。
　前記状態特定部は、前記車両がウインカを出し始めてから閾値時間を経過してもウインカを出している場合、前記車両の状態が、前記運転者が前方不注視状態であることが許容されない状態であると特定してもよい。
　前記判定部は、前記角度値と前記基準角度値との差が閾値以上である場合は、前記運転者が前方不注視状態であると判定し、前記角度値と前記基準角度値との差が閾値未満である場合は、前記運転者が前方不注視状態ではないと判定してもよい。
　本発明によれば、運転者が前方を注視する必要がない状態において運転者が前方不注視であると誤判定しづらくするという効果を奏する。
本発明に係る車両Ｓの構成を示す図である。 撮像装置１と運転者の顔向き角度との関係を示す図である。 角度値算出部４２２が判定部４２３に通知する角度値を決定する処理のフローチャートを示す図である。
＜車両Ｓの構成＞
　図１は、本発明に係る車両Ｓの構成を示す図である。車両Ｓは、撮像装置１と、状態情報検出装置２と、警報装置３と、安全運転判定装置４とを有する。
　撮像装置１は、車両Ｓの運転席に設けられており、例えばＣＣＤカメラを含む。撮像装置１は、運転席に座っている運転者を前方から撮像して、撮像画像を生成する。例えば、撮像装置１は、車両Ｓが走行中の運転者の顔を撮像して、車両Ｓの進行方向に対する運転者の顔向き角度を特定できる撮像画像を生成する。撮像装置１は、生成した撮像画像を安全運転判定装置４に出力する。
　図２は、撮像装置１と運転者の顔向き角度との関係を示す図である。図２（ａ）には運転者Ｄの側面から見た図が示され、図２（ｂ）には運転者Ｄの上方から見た図が示されている。撮像装置１は、図２（ａ）及び図２（ｂ）に示すように、運転者Ｄの顔の正面ではなく、運転者Ｄの顔に対して、例えば斜め下方に設けられている。
　状態情報検出装置２は、走行中の車両Ｓの状態を特定するために必要な状態情報を検出する。走行中の車両Ｓの状態とは、例えば停止中、減速中、ウインカ中、カーブ路走行中である。状態情報とは、車両Ｓの速度、加速度、ウインカの作動、走行中の道路に係る情報である。状態情報検出装置２は、検出した状態情報を安全運転判定装置４に通知する。
　状態情報検出装置２は、例えばＣＣＤカメラを含み、撮像した走行中の車両Ｓの前方の道路の画像を安全運転判定装置４に送信する。状態情報検出装置２は、例えば車両Ｓのウインカと接続されており、ウインカが作動中であるか否かを判定するとともに、安全運転判定装置４に通知する。状態情報検出装置２は、例えば検出した車両Ｓの速度を安全運転判定装置４に通知する。
　警報装置３は、運転中の運転者が前方不注視（例えば脇見）であることを安全運転判定装置４から通知されたことに基づいて、運転者に対して警告を発する装置である。警報装置３は、例えば、アラームの音を鳴らすスピーカ、警告画面を表示する表示部、及び振動を発生する振動発生部を含む。なお、警報装置３は、音、表示、及び振動の少なくとも２つを組み合わせて、警告を発してもよい。
　安全運転判定装置４は、記憶部４１と制御部４２とを有する。安全運転判定装置４は、車両Ｓの運転者を撮像装置１によって撮像して車両Ｓの進行方向を基準にしたときの運転者の顔向き角度を示す角度値を取得する。安全運転判定装置４は、取得した角度値に基づいて運転者が前方不注視状態であるか否かを判定する。安全運転判定装置４は、運転者が前方不注視状態であると判定した場合は、警報装置３に警告を発するように通知する。
　記憶部４１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部４１は、後述する制御部４２が実行するプログラムを記憶している。記憶部４１は、例えば運転者の顔向き角度に係る情報及び車両Ｓの状態に係る情報が記憶されている。
　制御部４２は、例えばＣＰＵ（Central Processing Unit）である。制御部４２は、記憶部４１に記憶されているプログラムを実行することにより、状態特定部４２１、角度値算出部４２２、判定部４２３、及び警告部４２４として機能する。制御部４２は、運転者の顔向き角度及び車両Ｓの状態を特定するとともに、運転者が前方不注視状態であるか否かを判定する。
＜状態特定部４２１の動作＞
　状態特定部４２１は、車両Ｓの前方の道路の画像、車両Ｓのウインカが作動しているか否かの情報、及び車両Ｓの速度を示す状態情報を状態情報検出装置２から取得する。状態特定部４２１は、取得した状態情報に基づいて、運転者が前方不注視状態であることが許容される状態か否かを判定する。状態特定部４２１は、判定結果を角度値算出部４２２に通知する。
　状態特定部４２１は、例えば、状態情報検出装置２から取得した車両Ｓの前方の道路の画像に基づいて、車両Ｓが走行中の道路がカーブ路であるか否かを判定する。状態特定部４２１は、車両Ｓがカーブ路を走行していると判定した場合に、車両Ｓの状態が、運転者が前方不注視状態であることが許容される状態であると特定する。
　また、状態特定部４２１は、状態情報検出装置２からウインカが作動しているか否かの状態情報を取得する。状態特定部４２１は、取得した状態情報に基づいて車両Ｓがウインカを出していると判定した場合は、車両Ｓの状態が、運転者が前方不注視状態であることが許容される状態であると特定する。
　ただし、状態特定部４２１は、車両Ｓがウインカを出し始めてから閾値時間を経過してもウインカを出している場合、車両Ｓの状態が、運転者が前方不注視状態であることが許容されない状態であると特定する。閾値時間は、車両Ｓがウインカを出し始めてからウインカを戻すまでに必要な時間の最大値であり、例えば車両Ｓが進路を変更したり右左折したりするために必要な時間の最大値である。状態特定部４２１がこのように動作することで、安全運転判定装置４は、例えば運転者がウインカを戻す操作を怠った場合には、後述する判定部４２３が、運転者が前方不注視状態であるか否かを判定することができる。
　状態特定部４２１は、状態情報検出装置２から車両Ｓの速度を取得する。状態特定部４２１は、取得した車両Ｓの速度に基づいて、車両Ｓが停止中、加速中、及び減速中であるか否かを判定してもよい。状態特定部４２１は、車両Ｓが停止中の場合、又は車両Ｓが減速中であり、かつ閾値速度以下である場合に、車両Ｓの状態が、運転者が前方不注視状態であることが許容される状態であると特定する。閾値速度は、例えば車両Ｓが右左折するために運転者が左右を確認することが許容される速度の最大値である。このように状態特定部４２１が、車両Ｓが閾値速度以下の場合は運転者が前方不注視状態であることが許容される状態であると特定することで、安全運転判定装置４は、例えば運転手が右左折するために左右を確認している状態を前方不注視状態と誤って判定することを抑制できる。
＜角度値算出部４２２の動作＞
　角度値算出部４２２は、撮像装置１が撮像した撮像画像に基づいて角度値を算出する。角度値算出部４２２は、進行方向に対する運転者のヨー方向（図２（ｂ））の顔向き角度と、進行方向に対する運転者のピッチ方向（図２（ａ））の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する。
　角度値算出部４２２は、状態特定部４２１から、運転者が前方不注視状態であることが許容されるか否かの判定結果の通知を受ける。角度値算出部４２２は、状態特定部４２１から通知された判定結果に基づいて、判定部４２３に通知する角度値を決定する。具体的には、角度値算出部４２２は、運転者が前方不注視状態であることが許容されると状態特定部４２１が判定した場合、算出した角度値を、算出した角度値と基準角度値との差である角度差が閾値未満になる値に補正する。閾値は、判定部４２３が前方不注視状態であると判定する角度差の最小値である。
　図３は、角度値算出部４２２が判定部４２３に通知する角度値を決定する処理のフローチャートを示す図である。角度値算出部４２２は、撮像装置１が撮像した撮像画像に基づいて車両Ｓの運転者の角度値を算出する（Ｓ１０）。角度値算出部４２２は、運転者が前方不注視状態であることが許容されるか否かの判定結果を状態特定部４２１から取得する（Ｓ１１）。
　角度値算出部４２２は、状態特定部４２１が特定した状態が、運転者が前方不注視状態であることが許容される状態である場合（Ｓ１２のＹＥＳ）、算出した角度値と基準角度値との差が閾値未満となる値を角度値として判定部４２３に通知する（Ｓ１３）。一方、角度値算出部４２２は、状態特定部４２１が特定した状態が、運転者が前方不注視状態であることが許容されない状態である場合（Ｓ１２のＮＯ）、撮像装置１が撮像した撮像画像に基づいて算出した角度値を判定部４２３に通知する（Ｓ１４）。
　判定部４２３は、角度値算出部４２２から取得した角度値と基準角度値との差が閾値以上である場合に、運転者が前方不注視状態であるか否かを判定する。判定部４２３は、角度値算出部４２２から取得した角度値と基準角度値との差が閾値以上である場合は、車両Ｓの運転者が前方不注視状態であると判定する。一方、角度値算出部４２２から取得した角度値と基準角度値との差が、閾値未満である場合は、車両Ｓの運転者が前方不注視状態ではないと判定する。
　判定部４２３は、車両Ｓの運転者が前方不注視状態であると判定した場合、運転者が前方不注視状態であることを警告部４２４に通知する。警告部４２４は、運転者が前方不注視状態であるという通知を判定部４２３から受けると、警報装置３に警告を発するように通知する。
＜安全運転判定装置４による効果＞
　以上のとおり、制御部４２は、車両Ｓの状態を特定する状態特定部４２１と、車両Ｓの運転者の顔向き方向の角度値を算出する角度値算出部４２２とを有する。角度値算出部４２２は、状態特定部４２１が特定した状態が、前方不注視状態であることが許容される状態である場合に、算出した角度値又は角度値と基準角度値との差が閾値未満となる値を運転者の角度値として判定部４２３に通知する。判定部４２３は、取得した運転者の角度値に基づいて前方不注視状態であるか否かを判定する。
　したがって、カーブ路を走行中のように、運転者が前方を向いていなくても許容される場合に判定部４２３が前方不注視状態であると判定しないので、警報装置３は警報を発しない。よって、安全運転判定装置４は、運転者が前方を注視する必要がない状態において運転者が前方不注視であると誤判定して警報を発することを抑制できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１　撮像装置
２　状態情報検出装置
３　警報装置
４　安全運転判定装置
４１　記憶部
４２　制御部
４２１　状態特定部
４２２　角度値算出部
４２３　判定部
４２４　警告部

Claims (5)

  1. 　車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、
    　前記車両の状態を特定する状態特定部と、
    　前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、
    　前記角度値と基準角度値との差が閾値以上である場合に、前記運転者が前方不注視状態であるか否かを判定する判定部と、
    　を有し、
    　前記角度値算出部は、前記状態特定部が特定した前記状態が、前記運転者が前方不注視状態であることが許容されない状態である場合に、算出した前記角度値を前記判定部に入力し、前記状態特定部が特定した前記状態が、前記運転者が前方不注視状態であることが許容される状態である場合に、前記基準角度値との差が前記閾値未満の値を前記角度値として前記判定部に入力する、
    　安全運転判定装置。
  2. 　前記状態特定部は、前記車両が停止中の場合、又は前記車両が減速中であり、かつ閾値速度以下である場合に、前記車両の状態が、前記運転者が前方不注視状態であることが許容される状態であると特定する、
    　請求項１に記載の安全運転判定装置。
  3. 　前記状態特定部は、前記車両がウインカを出している場合、又は前記車両がカーブ路を走行している場合に、前記車両の状態が、前記運転者が前方不注視状態であることが許容される状態であると特定する、
    　請求項１又は２に記載の安全運転判定装置。
  4. 　前記状態特定部は、前記車両がウインカを出し始めてから閾値時間を経過してもウインカを出している場合、前記車両の状態が、前記運転者が前方不注視状態であることが許容されない状態であると特定する、
    　請求項１から３のいずれか一項に記載の安全運転判定装置。
  5. 　前記判定部は、前記角度値と前記基準角度値との差が閾値以上である場合は、前記運転者が前方不注視状態であると判定し、前記角度値と前記基準角度値との差が閾値未満である場合は、前記運転者が前方不注視状態ではないと判定する、
    　請求項１から４のいずれか一項に記載の安全運転判定装置。
PCT/JP2021/009366 2020-03-11 2021-03-09 安全運転判定装置 Ceased WO2021182482A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/908,901 US20240198946A1 (en) 2020-03-11 2021-03-09 Safe driving determination apparatus
CN202180018901.1A CN115398506B (zh) 2020-03-11 2021-03-09 安全驾驶判定装置
DE112021001564.8T DE112021001564T5 (de) 2020-03-11 2021-03-09 Sicherfahrbestimmungsgerät

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-042076 2020-03-11
JP2020042076A JP7342743B2 (ja) 2020-03-11 2020-03-11 安全運転判定装置

Publications (1)

Publication Number Publication Date
WO2021182482A1 true WO2021182482A1 (ja) 2021-09-16

Family

ID=77672338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009366 Ceased WO2021182482A1 (ja) 2020-03-11 2021-03-09 安全運転判定装置

Country Status (5)

Country Link
US (1) US20240198946A1 (ja)
JP (1) JP7342743B2 (ja)
CN (1) CN115398506B (ja)
DE (1) DE112021001564T5 (ja)
WO (1) WO2021182482A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072629A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2012218551A (ja) * 2011-04-07 2012-11-12 Toyota Motor Corp 衝突回避制御装置及び方法
WO2013051306A1 (ja) * 2011-10-06 2013-04-11 本田技研工業株式会社 脇見検出装置
JP2019070876A (ja) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 安全運転支援装置及び安全運転支援方法
JP2019091275A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM310851U (en) * 2006-10-31 2007-05-01 Kwang Yang Motor Co Device for restoring motorcycle indicator switch to normal off-position
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US20150161894A1 (en) * 2013-12-05 2015-06-11 Elwha Llc Systems and methods for reporting characteristics of automatic-driving software
WO2017173480A1 (en) * 2016-04-07 2017-10-12 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
CN108819900A (zh) * 2018-06-04 2018-11-16 上海商汤智能科技有限公司 车辆控制方法和系统、车载智能系统、电子设备、介质
WO2020055992A1 (en) * 2018-09-11 2020-03-19 NetraDyne, Inc. Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements
FR3100074B1 (fr) * 2019-08-21 2022-01-28 Idemia Identity & Security France Procédé d'analyse d'une caractéristique faciale d'un visage

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072629A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP2012218551A (ja) * 2011-04-07 2012-11-12 Toyota Motor Corp 衝突回避制御装置及び方法
WO2013051306A1 (ja) * 2011-10-06 2013-04-11 本田技研工業株式会社 脇見検出装置
JP2019070876A (ja) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 安全運転支援装置及び安全運転支援方法
JP2019091275A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム

Also Published As

Publication number Publication date
CN115398506A (zh) 2022-11-25
CN115398506B (zh) 2023-11-28
JP7342743B2 (ja) 2023-09-12
US20240198946A1 (en) 2024-06-20
JP2021144418A (ja) 2021-09-24
DE112021001564T5 (de) 2023-01-19

Similar Documents

Publication Publication Date Title
US11267461B2 (en) Driving assistance apparatus and driving assistance method
TWI653170B (zh) 駕駛提示方法與系統
CN109758167B (zh) 驾驶员状态检测装置
WO2017199529A1 (ja) 運転支援装置及び運転支援プログラム
JP2023158163A (ja) 判定装置および判定方法
WO2014184991A1 (ja) 車両制動装置
JP2020194229A (ja) 運転者状態判定装置、運転者状態判定方法及び運転者状態判定プログラム
JP7342743B2 (ja) 安全運転判定装置
JP4534789B2 (ja) 車両用警報装置
JP2019070876A (ja) 安全運転支援装置及び安全運転支援方法
CN115428055A (zh) 驾驶辅助装置
JP4534788B2 (ja) 車両用運転支援装置
US12097802B2 (en) Safe driving determination apparatus
JP6198871B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体
WO2021182484A1 (ja) 安全運転判定装置
CN115398507B (zh) 安全驾驶判定装置
JP2019114118A (ja) 警告装置、自動車、警告方法、及びプログラム
JP2019109677A (ja) 乗員の状態判定システム及び警告装置
JP6992493B2 (ja) 運転状態判定装置及び運転状態判定方法
JP7127282B2 (ja) 運転状態判定装置及び運転状態判定方法
KR102957785B1 (ko) 차량 사고 관련 정보 제공 장치 및 방법
KR20200082463A (ko) 영상 기록 장치 및 그 동작 방법
JP2007172462A (ja) 車両周辺監視装置
JP7300626B2 (ja) 映像記録システム、映像記録方法
KR20250102210A (ko) 졸음운전 경고 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768044

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17908901

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21768044

Country of ref document: EP

Kind code of ref document: A1