JP7380380B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7380380B2
JP7380380B2 JP2020056479A JP2020056479A JP7380380B2 JP 7380380 B2 JP7380380 B2 JP 7380380B2 JP 2020056479 A JP2020056479 A JP 2020056479A JP 2020056479 A JP2020056479 A JP 2020056479A JP 7380380 B2 JP7380380 B2 JP 7380380B2
Authority
JP
Japan
Prior art keywords
driver
face
vehicle
abnormality
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020056479A
Other languages
English (en)
Other versions
JP2021157436A (ja
Inventor
隆太 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2020056479A priority Critical patent/JP7380380B2/ja
Priority to DE112021001862.0T priority patent/DE112021001862T5/de
Priority to US17/906,478 priority patent/US20230159010A1/en
Priority to CN202180022392.XA priority patent/CN115428056B/zh
Priority to PCT/JP2021/012226 priority patent/WO2021193710A1/ja
Publication of JP2021157436A publication Critical patent/JP2021157436A/ja
Application granted granted Critical
Publication of JP7380380B2 publication Critical patent/JP7380380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0295—Inhibiting action of specific actuators or systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、運転者の異常状態時に車両を適切に制動する運転支援装置に関する。
バス等の車両の運転者に異常が発生した場合に、自動で車両を停止させる異常時対応システムの開発が促進されている。異常時対応システムでは、運転者が異常状態であると判定された場合に、警報、報知、及び自動ブレーキという流れで最終的に車両を停止させる。
特開２０１９－２８７６６号公報
上記の異常時対応システムの中で、運転者を撮像した撮像画像を解析して、運転者が異常状態であるか否かを自動で検知する手法が提案されている。
しかし、撮像画像を解析する手法では、例えば運転者が顔に着用物を着用した場合には、顔を認識できないことがあるため運転者の状態を誤判定し、車両を誤って停止させるおそれがある。
そこで、本発明はこれらの点に鑑みてなされたものであり、異常時対応システムを適切に動作させることを目的とする。
本発明の一の態様においては、車両の運転者の顔を撮像した撮像画像を解析する画像解析部と、前記撮像画像の解析結果に基づいて前記運転者の状態が異常状態であるか否かを判定し、前記異常状態であると判定した場合には前記車両を自動で制動させる異常時対応処理を行う異常判定処理部と、を備え、前記異常判定処理部は、前記画像解析部の前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わない、運転支援装置を提供する。
また、前記画像解析部は、撮像装置が所定の撮像範囲を撮像した前記撮像画像を解析し、前記異常判定処理部は、前記撮像範囲内に位置する前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わないこととしてもよい。
また、前記画像解析部は、着用物が着用された前記顔を撮像した撮像画像を解析し、前記異常判定処理部は、前記着用物に起因して前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わないこととしてもよい。
また、前記画像解析部は、黒色の前記着用物が着用された前記顔を、赤外線カメラで撮像した撮像画像を解析することとしてもよい。
また、前記異常判定処理部は、所定時間継続して前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わないこととしてもよい。
本発明によれば、異常時対応システムを適切に動作させることができるという効果を奏する。
一の実施形態に係る運転支援装置１０が搭載された車両１の概略構成を説明するための模式図である。 解析対象の撮像画像を説明するための模式図である。 運転支援装置１０の動作例を説明するためのフローチャートである。
＜運転支援装置の構成＞
本発明の一の実施形態に係る運転支援装置の構成について、図１を参照しながら説明する。
図１は、一の実施形態に係る運転支援装置１０が搭載された車両１の概略構成を説明するための模式図である。
車両１は、例えばバスである。運転支援装置１０は、異常時対応システムを実行可能である。すなわち、運転支援装置１０は、車両１の運転者が異常状態であると判定した場合には、警報を行い、車両１を自動で制動させる。運転者の異常状態とは、運転者が車両１を安全に運転できない状態に陥った場合を意味する。例えば、運転支援装置１０は、運転者の姿勢崩れ、閉眼状態、ハンドル操作の有無を監視し、異常状態か否かを自動で判定する。
車両１は、図１に示すように、撮像装置２と、警報装置４と、停止行為検知部６と、ブレーキ装置８と、運転支援装置１０とを有する。
撮像装置２は、車両１の走行中に運転者を撮像するドライバカメラである。撮像装置２は、例えば車両１のメータパネルにおいて運転者に向けて設置されており、運転者の顔や姿勢を撮像する。撮像装置２は、所定間隔で撮像しており、撮像した撮像画像を運転支援装置１０に出力する。
警報装置４は、運転者に警報を発令する警報部である。例えば、警報装置４は、運転支援装置１０によって運転者が異常状態であると判定された場合に、運転者に注意を喚起するために警報を発令する。警報装置４は、運転者が異常であるため車両１を自動で制動させる旨を報知する。警報装置４は、アラーム等の音を鳴らすスピーカ、警告画面を表示する表示部、振動を発生する振動発生部を含んでもよい。
また、警報装置４は、車両１の周囲に異常を知らせる警報を行う。この際、警報装置４は、各種ランプを点灯、点滅させてもよい。これにより、他車両や歩行者が、車両１が異常状態であることを認識でき、適切な方策を講じやすくなる。
停止行為検知部６は、異常時対応処理の実行を停止させる運転者の停止行為を検知する。例えば、運転者は、警報装置４が車両を自動制動する旨を報知した際に、自身が異常状態でないと判断した場合には、所定の操作スイッチ（以下、停止スイッチと呼ぶ）を操作することで車両１の自動制動（異常時対応処理）を停止できる。そこで、停止行為検知部６は、警報装置４が車両１の自動制動を実行する旨を報知した際に、運転者が停止スイッチを操作すると、停止行為を行ったと検知する。
ブレーキ装置８は、走行中の車両１を制動させる装置である。例えば、ブレーキ装置８は、警報装置４の報知の開始から所定時間内に停止行為検知部６が運転者の操作を検知しないと、車両１を自動で制動させる。ブレーキ装置８は、例えば車両１の車輪に設けられたディスクブレーキを含む。
運転支援装置１０は、車両１の動作を制御する。ここでは、運転支援装置１０は、撮像装置２、警報装置４、停止行為検知部６及びブレーキ装置８の動作を制御し、異常時対応処理を実行させる。運転支援装置１０は、詳細は後述するが、撮像装置２が撮像した撮像画像中の運転者の顔を安定して認識できない場合には、異常時対応処理を行わない。これにより、誤認識に基づく誤判定を抑制でき、この結果、車両１を誤って自動制動することを防止できる。
運転支援装置１０は、図１に示すように、記憶部１２と、制御部１４とを有する。
記憶部１２は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。記憶部１２は、制御部１４が実行するためのプログラムや各種データを記憶する。また、記憶部１２には、異常判定時に用いる閾値等の情報が記憶されている。
制御部１４は、例えばＣＰＵ（Central Processing Unit）である。制御部１４は、記憶部１２に記憶されたプログラムを実行することにより、異常時対応処理を行う。制御部１４は、図１に示すように、画像解析部１４２、状態判定部１４３及び異常時処理部１４４として機能する。
画像解析部１４２は、車両１の運転者の顔を撮像した撮像画像を解析する。すなわち、画像解析部１４２は、撮像装置２が撮像した撮像画像を順次解析する。この際、画像解析部１４２は、撮像装置２が所定の撮像範囲を撮像した撮像画像を解析する。画像解析部１４２は、順次解析した撮像画像から、運転者の姿勢の変化量や閉眼状態等を取得する。画像解析部１４２は、撮像画像から運転者の顔の特徴点を多く検出することで、顔の輪郭等を認識できる。
ところで、運転者が走行中に顔に着用物を着用するケースがある。このため、画像解析部１４２は、着用物を着用した顔を撮像した撮像画像を解析しうる。例えば、画像解析部１４２は、黒色の着用物を着用した顔を撮像した撮像画像を解析する。着用物が顔に着用されていると、画像解析部１４２は、運転者の顔の特徴点を多く検出できないため、顔を安定して認識できないおそれがある。特に、着用物が黒色である場合には、撮像装置２である赤外線カメラの赤外光を吸収してしまい、顔を適切に検出できないおそれがある。
図２は、解析対象の撮像画像を説明するための模式図である。図２の撮像画像では、撮像範囲Ｒ内に運転者Ｄの顔が撮像されている。ここでは、運転者Ｄの顔に、着用物としてマスクＭを着用されている。マスクＭは運転者の顔の広い領域を覆うため、画像解析部１４２は、顔の輪郭を特定し難くなり、顔を安定して認識できないおそれがある。なお、上記では、着用物としてマスクＭを例に挙げて説明したが、これに限定されず、着用物はサングラスであってもよい。
また、撮像装置２であるカメラの取り付け位置や運転者の運転ポジションが、規定の範囲内でない可能性がある。この場合にも、運転者の顔を安定して認識できないおそれがある。
状態判定部１４３は、車両１の走行中の運転者の状態を判定する。状態判定部１４３は、画像解析部１４２の解析結果に基づいて、運転者の状態が異常状態であるか否かを判定する。例えば、状態判定部１４３は、運転者の姿勢崩れの大きさ及び継続時間が、それぞれ所定の閾値よりも大きいと、異常状態であると判定する。また、状態判定部１４３は、運転者の閉眼状態が所定時間以上継続すると、異常状態であると判定する。なお、姿勢崩れとは、突っ伏し、うつむき、仰け反り、えび反り、首のみ横倒れ、横倒れ、横もたれを指す。
異常時処理部１４４は、状態判定部１４３によって運転者が異常状態であると判定した場合に、警報装置４及びブレーキ装置８を制御する。具体的には、異常時処理部１４４は、異常状態であると判定した場合に、警報装置４に警報を発令させる。例えば、異常時処理部１４４は、警報装置４に、車両１を自動で制動させる旨を報知させる。その後、停止行為検知部６が所定時間内に運転者の停止行為（停止スイッチの操作）を検知しない場合には、異常時処理部１４４は、運転者が異常状態である蓋然性が高いと判断し、ブレーキ装置８を動作させて車両１を自動で制動させる。
ところで、画像解析部１４２が運転者の顔を安定して認識できた場合には、状態判定部１４３が運転者の状態を適切に判定可能である。一方で、画像解析部１４２が顔を安定して認識できない場合には、安定して運転者の状態を判定できないので、状態判定部１４３が誤判定を行うおそれがある。
本実施形態では、状態判定部１４３及び異常時処理部１４４が、運転者の異常状態の自動検知に基づいて車両１を自動で制動させる異常時対応処理を行う異常判定処理部１４５として機能する。
異常判定処理部１４５は、画像解析部１４２による顔の認識度合いが所定度合いよりも小さい場合は、異常時対応処理を行わない。例えば、異常判定処理部１４５は、撮像範囲内に位置する顔の認識度合いが所定度合いよりも小さい場合は、異常時対応処理を行わない。これにより、異常判定処理部１４５は、画像解析部１４２の解析結果に基づく運転者の異常状態の判定と、異常状態である場合の車両１の制動とを行わない。なお、顔の認識度合いは、例えば、撮像画像から検出した顔の特徴点の数で定まる。異常判定処理部１４５は、検出した特徴点の数が所定数よりも少ないと、認識度合いが所定度合いよりも小さいと判定する。
上述したように運転者が顔にマスク等の着用物を着用した際には、顔の特徴点を多く検出することができないため、画像解析部１４２が顔を安定して認識できない可能性がある。このため、異常判定処理部１４５は、画像解析部１４２が着用物に起因して顔を安定して認識できない場合（別言すれば、顔の認識度合が所定度合いよりも小さい場合）は、異常時対応処理を行わないことになる。
異常判定処理部１４５は、所定時間継続して顔の認識度合が所定度合いよりも小さい場合場合は、異常時対応処理を行わない。すなわち、異常判定処理部１４５は、安定して顔を認識できない状態が継続した場合に、異常時対応処理を行わない。これにより、外乱等で一時的に認識度合いが小さい場合に、異常時対応処理を行わないことを抑制できる。なお、異常判定処理部１４５は、基準時間内で、認識度合いが所定度合いよりも小さい時間の割合が所定割合を超えた場合に、異常時対応処理を行わないこととしてもよい。
なお、上記では、異常判定処理部１４５は、運転者を撮像した撮像画像を解析して運転者が異常状態であることを自動検知した場合に、異常時対応処理を行うこととしたが、これに限定されない。例えば、異常判定処理部１４５は、撮像画像の解析とは関係なく、運転者がハンドル操作を所定時間以上継続して行わない場合に、異常時対応処理を行うこととしてもよい。
＜運転支援装置の動作例＞
運転支援装置１０の動作例について、図３を参照しながら説明する。
図３は、運転支援装置１０の動作例を説明するためのフローチャートである。図３に示す処理は、車両１の走行中に行われる。
まず、車両１の撮像装置２が、車両１の運転者を撮像する（ステップＳ１０２）。撮像装置２は、所定間隔で運転者を撮像した撮像画像を、画像解析部１４２に順次出力する。
次に、画像解析部１４２は、撮像装置２が撮像した撮像画像を解析する（ステップＳ１０４）。まず、画像解析部１４２は、撮像画像中の運転者の顔を認識する。ただし、運転者がマスク等の着用物を顔に着用した場合には、顔を安定して認識できないおそれがある。
そして、顔の認識度合いが所定度合いよりも大きい場合には（ステップＳ１０６：Ｙｅｓ）、状態判定部１４３は、運転者が異常状態であるか否かを判定する（ステップＳ１０８）。例えば、状態判定部１４３は、運転者の姿勢崩れが大きい場合や、閉眼状態が継続している場合には、運転者が異常状態であると判定する。
ステップＳ１０８で運転者が異常状態であると判定した場合には（Ｙｅｓ）、異常判定処理部１４５は、警報を行い、車両１を制動させる（ステップＳ１１０）。具体的には、異常判定処理部１４５の異常時処理部１４４は、まず、警報装置４に車両１を自動で制動させる旨を報知させる。当該報知に対して所定時間内に停止行為検知部６が運転者の停止行為を検知しない場合には、異常時処理部１４４は、ブレーキ装置８を動作させて、車両１を自動で制動させる。これにより、運転者が異常状態である車両１を安全に停止させることができる。
一方で、運転者がマスク等を着用して、顔の認識度合いが所定度合いよりも小さい場合には（ステップＳ１０６：Ｎｏ）、異常判定処理部１４５は、ステップＳ１０８及びステップＳ１１０の異常時対応処理を行わない。すなわち、誤認識した撮像画像に基づく異常状態の判定と、異常状態であると判定された場合の警報装置４及びブレーキ装置８の動作を行わない。これにより、誤検知に起因して異常時対応処理を誤動作させることを防止できる。
運転支援装置１０は、上述した一連の処理を、車両１が走行している間継続して行う。
＜本実施形態における効果＞
上述した実施形態の運転支援装置１０は、撮像装置２が運転者の顔を撮像した撮像画像を解析する。そして、運転支援装置１０は、撮像画像の解析結果に基づいて運転者が異常状態であるか否かを判定し、異常状態である場合には車両１を自動で制動させる異常時対応処理を行う。一方で、運転支援装置１０は、撮像画像の解析時に顔の認識度合いが所定度合いよりも小さい場合は、上記の異常時対応処理を行わない。
これにより、安定して顔を認識できた場合に、運転者が異常状態か否かを判定することになり、異常状態の誤判定を抑制できる。この結果、運転者の異常状態の誤判定に起因して異常時対応処理が動作することを防止できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１ 車両
２ 撮像装置
１０ 運転支援装置
１４２ 画像解析部
１４５ 異常判定処理部

Claims (4)

  1. 車両の運転者の顔を撮像した撮像画像を解析する画像解析部と、
    前記撮像画像の解析結果に基づいて前記運転者の状態が異常状態であるか否かを判定し、前記異常状態であると判定した場合には前記車両を自動で制動させる異常時対応処理を行う異常判定処理部と、
    を備え、
    前記異常判定処理部は、所定時間継続して前記画像解析部の前記顔の認識度合いがマスク着用時に対応する所定度合いよりも小さい場合は、前記撮像画像の解析結果に基づいて前記運転者の状態が異常状態であるか否かを判定する判定処理、及び前記異常状態であると判定した場合に前記車両を自動で制動させる制動処理の両方を行わない、
    運転支援装置。
  2. 前記画像解析部は、撮像装置が所定の撮像範囲を撮像した前記撮像画像を解析し、
    前記異常判定処理部は、前記撮像範囲内に位置する前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わない、
    請求項１に記載の運転支援装置。
  3. 前記画像解析部は、着用物が着用された前記顔を撮像した撮像画像を解析し、
    前記異常判定処理部は、前記着用物に起因して前記顔の認識度合いが所定度合いよりも小さい場合は、前記異常時対応処理を行わない、
    請求項１又は２に記載の運転支援装置。
  4. 前記画像解析部は、黒色の前記着用物が着用された前記顔を、赤外線カメラで撮像した撮像画像を解析する、
    請求項３に記載の運転支援装置。
JP2020056479A 2020-03-26 2020-03-26 運転支援装置 Active JP7380380B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020056479A JP7380380B2 (ja) 2020-03-26 2020-03-26 運転支援装置
DE112021001862.0T DE112021001862T5 (de) 2020-03-26 2021-03-24 Fahrassistenzvorrichtung
US17/906,478 US20230159010A1 (en) 2020-03-26 2021-03-24 Driver assistance device
CN202180022392.XA CN115428056B (zh) 2020-03-26 2021-03-24 驾驶辅助装置
PCT/JP2021/012226 WO2021193710A1 (ja) 2020-03-26 2021-03-24 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020056479A JP7380380B2 (ja) 2020-03-26 2020-03-26 運転支援装置

Publications (2)

Publication Number Publication Date
JP2021157436A JP2021157436A (ja) 2021-10-07
JP7380380B2 true JP7380380B2 (ja) 2023-11-15

Family

ID=77890464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020056479A Active JP7380380B2 (ja) 2020-03-26 2020-03-26 運転支援装置

Country Status (5)

Country Link
US (1) US20230159010A1 (ja)
JP (1) JP7380380B2 (ja)
CN (1) CN115428056B (ja)
DE (1) DE112021001862T5 (ja)
WO (1) WO2021193710A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2018030425A (ja) 2016-08-24 2018-03-01 三菱電機株式会社 自動運転制御装置および自動運転制御方法
JP2019028766A (ja) 2017-07-31 2019-02-21 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 車両制御装置
JP2019174885A (ja) 2018-03-27 2019-10-10 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP2019536673A (ja) 2017-08-10 2019-12-19 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 運転状態監視方法及び装置、運転者監視システム、並びに車両

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093038A (ja) * 2005-09-27 2007-04-12 Matsushita Electric Ind Co Ltd 自動扉開閉装置における操作検知装置および冷蔵庫
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN102310771B (zh) * 2011-05-26 2013-05-29 臧安迪 基于驾驶员面部识别的机动车安全控制方法及系统
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2018030425A (ja) 2016-08-24 2018-03-01 三菱電機株式会社 自動運転制御装置および自動運転制御方法
JP2019028766A (ja) 2017-07-31 2019-02-21 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 車両制御装置
JP2019536673A (ja) 2017-08-10 2019-12-19 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 運転状態監視方法及び装置、運転者監視システム、並びに車両
JP2019174885A (ja) 2018-03-27 2019-10-10 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Also Published As

Publication number Publication date
CN115428056B (zh) 2024-06-21
JP2021157436A (ja) 2021-10-07
US20230159010A1 (en) 2023-05-25
CN115428056A (zh) 2022-12-02
WO2021193710A1 (ja) 2021-09-30
DE112021001862T5 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
US20100214105A1 (en) Method of detecting drowsiness of a vehicle operator
WO2021193711A1 (ja) 運転支援装置
US10002300B2 (en) Apparatus and method for monitoring driver's concentrativeness using eye tracing
US20210339764A1 (en) System and method for detecting and/or preventing automation expectation mismatch in vehicle
JP2007207274A (ja) 発進報知装置
WO2015186395A1 (ja) 車両周辺監視装置
KR101922079B1 (ko) 이상 잠금 방지 기능이 구비된 자전거 잠금 장치 및 그 방법
JP2018133007A (ja) 警報装置
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
JP7380380B2 (ja) 運転支援装置
JP6881401B2 (ja) 異常判定装置
US10525981B2 (en) Driver condition detection system
KR101968521B1 (ko) 영상 분석 기반 조명 고장 감지 시스템 및 방법
JP3984863B2 (ja) 発進報知装置
JP2016159833A (ja) 故障判定装置
JP2020194227A (ja) 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム
JP2020194229A (ja) 運転者状態判定装置、運転者状態判定方法及び運転者状態判定プログラム
US20220227289A1 (en) External notification system and external notification method
JP5040634B2 (ja) 警告装置、警告方法および警告プログラム
CN115398508B (zh) 允许与否确定装置
JP2021071917A5 (ja)
JP2012018622A (ja) 運転支援装置及び方法
KR20180130469A (ko) 이상 잠금 방지 기능이 구비된 자전거 잠금 장치 및 그 방법
US20240198946A1 (en) Safe driving determination apparatus
JP6972877B2 (ja) 警告情報通知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7380380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150