JP7302615B2 - 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム - Google Patents

運転支援装置、運転支援方法及び運転支援用コンピュータプログラム Download PDF

Info

Publication number
JP7302615B2
JP7302615B2 JP2021023466A JP2021023466A JP7302615B2 JP 7302615 B2 JP7302615 B2 JP 7302615B2 JP 2021023466 A JP2021023466 A JP 2021023466A JP 2021023466 A JP2021023466 A JP 2021023466A JP 7302615 B2 JP7302615 B2 JP 7302615B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
approach
familiarity
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021023466A
Other languages
English (en)
Other versions
JP2022125720A (ja
Inventor
俊貴 瀧
陽平 晴山
浩之 天野
和之 香川
祐希 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021023466A priority Critical patent/JP7302615B2/ja
Priority to US17/570,570 priority patent/US11702094B2/en
Priority to CN202210137954.1A priority patent/CN114987458A/zh
Publication of JP2022125720A publication Critical patent/JP2022125720A/ja
Application granted granted Critical
Publication of JP7302615B2 publication Critical patent/JP7302615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の走行において何らかの危険が検知されたときにドライバにその危険についての注意を喚起する運転支援装置、運転支援方法及び運転支援用コンピュータプログラムに関する。
車両の走行において何らかの危険が検知されたときにドライバにその危険についての注意を喚起する技術が提案されている（例えば、特許文献１を参照）。
特許文献１に開示された技術では、自車両の周囲に存在する物体と自車両との距離を検出する周囲センサによる検出結果に基づき、自車両と物体とが所定距離未満に接近または接触した接近状態であるか否かが判定される。そして接近状態であると判定された場合に、その旨が自車両の運転者に報知される。
特開２０１５－２１９５３１号公報
自車両への物体の接近についての報知のタイミングが早過ぎると、ドライバは煩わしさを感じることがある。逆に、自車両への物体の接近についての報知のタイミングが遅過ぎると、ドライバが焦ってしまい、ドライバは、その接近する物体との衝突を回避するための車両の操作を適切に実行できないおそれがある。
そこで、本発明は、車両への物体の接近を適切なタイミングで車両のドライバへ報知できる運転支援装置を提供することを目的とする。
一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、車両のドライバの環境への慣れ度合いを表す情報を記憶する記憶部と、車両に搭載されたセンサにより得られた車両の周囲の状況を表すセンサ信号に基づいて、車両の周囲に存在する物体を検出する検出部と、物体が車両と衝突する可能性が有るほど接近するか否か判定する接近判定部と、物体が車両と衝突する可能性が有るほど接近すると判定された場合、車両のドライバの環境への慣れ度合いに応じたタイミングで、車両に設けられた通知機器を介してその接近をドライバに報知する報知部とを有する。
この運転支援装置において、接近判定部は、物体が車両と衝突する可能性が有るほど接近すると判定した場合、その衝突までの予測時間を算出し、報知部は、予測時間が、ドライバの環境への慣れ度合いが高いほど短く設定される報知のタイミングを表す時間閾値以下となる場合にその接近をドライバに報知することが好ましい。
この場合において、ドライバへの環境の慣れ度合いを表す情報は、ドライバの居住地及びその居住地におけるドライバの居住年数を含み、報知部は、物体が車両と衝突する可能性が有るほど接近すると判定されたときの車両の位置がドライバの居住地である場合、ドライバの居住年数が長いほど時間閾値を短く設定することが好ましい。
さらに、報知部は、物体が車両と衝突する可能性が有るほど接近すると判定されたときの車両の位置がドライバの居住地である場合の時間閾値を、その位置がドライバの居住地でない場合の時間閾値よりも短く設定することが好ましい。
また、この運転支援装置において、ドライバへの環境の慣れ度合いを表す情報は、所定の領域または所定の道路区間ごとのドライバの走行回数を含み、報知部は、物体が車両と衝突する可能性が有るほど接近すると判定されたときの車両の位置が含まれる領域または道路区間におけるドライバの走行回数が多いほど時間閾値を短く設定することが好ましい。
この運転支援装置は、車両と衝突する可能性が有るほど接近する物体の接近をドライバに報知してからドライバが衝突を回避するための車両の操作を行うまでの反応時間を記録し、その反応時間と、物体が車両と衝突する可能性が有るほど接近すると判定されたときの車両の位置における、ドライバの環境への慣れ度合いとに応じて、報知のタイミングを学習する学習部をさらに有することが好ましい。
他の形態によれば、運転支援方法が提供される。この運転支援方法は、車両に搭載されたセンサにより得られた車両の周囲の状況を表すセンサ信号に基づいて、車両の周囲に存在する物体を検出し、物体が車両と衝突する可能性が有るほど接近するか否か判定し、物体が車両と衝突する可能性が有るほど接近すると判定された場合、記憶部に記憶された車両のドライバの環境への慣れ度合いに応じたタイミングで、車両に設けられた通知機器を介してその接近をドライバに報知する、ことを含む。
さらに他の形態によれば、車両に搭載されたプロセッサに実行させるための運転支援用コンピュータプログラムが提供される。この運転支援用コンピュータプログラムは、車両に搭載されたセンサにより得られた車両の周囲の状況を表すセンサ信号に基づいて、車両の周囲に存在する物体を検出し、物体が車両と衝突する可能性が有るほど接近するか否か判定し、物体が車両と衝突する可能性が有るほど接近すると判定された場合、記憶部に記憶された車両のドライバの環境への慣れ度合いに応じたタイミングで、車両に設けられた通知機器を介してその接近をドライバに報知する、ことを車両に搭載されたプロセッサに実行させるための命令を含む。
本発明に係る運転支援装置は、車両への物体の接近を適切なタイミングで車両のドライバへ報知できるという効果を奏する。
運転支援装置を含む運転支援システムの概略構成図である。 運転支援装置が実装される車両の概略構成図である。 運転支援装置の一つの実施形態である電子制御装置のハードウェア構成図である。 運転支援処理に関する、電子制御装置のプロセッサの機能ブロック図である。 （ａ）及び（ｂ）は、それぞれ、ドライバの環境への慣れ度合いと物体の接近についての報知タイミングとの関係の一例を示す図である。 電子制御装置における、運転支援処理の動作フローチャートである。 サーバのハードウェア構成図である。 学習処理に関する、サーバのプロセッサの機能ブロック図である。
以下、図を参照しつつ、運転支援装置、運転支援装置にて実行される運転支援方法及び運転支援用コンピュータプログラム、ならびに、運転支援装置を含む運転支援システムについて説明する。この運転支援装置は、車両に接近する物体を検知すると、その接近をドライバに報知する。その際、この運転支援装置は、ドライバの環境への慣れ度合いを表す情報に基づいてドライバへその接近を報知するタイミングを決定することで、車両への物体の接近を適切なタイミングでドライバへ報知することを可能とする。
図１は、運転支援装置を含む運転支援システムの概略構成図である。本実施形態では、運転支援システム１は、車両２に搭載され、かつ、運転支援装置の一例である電子制御装置（ＥＣＵ）３と、サーバ４とを有する。ＥＣＵ３は、例えば、サーバ４が接続される通信ネットワーク５とゲートウェイ（図示せず）などを介して接続される無線基地局６にアクセスすることで、無線基地局６及び通信ネットワーク５を介してサーバ４と通信可能に接続される。なお、図１では、一つの車両２及び一つのＥＣＵ３のみが図示されているが、運転支援システム１は、複数の車両２及び複数の車両２のそれぞれに実装されるＥＣＵ３を有してもよい。同様に、複数の無線基地局６が通信ネットワーク５に接続されていてもよい。また、サーバ４は、例えば、ビッグデータなどの先進技術を活用するスマートシティあるいはコネクティッドシティにおいて交通管理に利用されるサーバとすることができる。
ＥＣＵ３は、車両２に接近し、車両２と衝突する危険性が有る物体（例えば、歩行者または他の車両）を検知すると、車両２のドライバの環境の慣れ度合いに応じて設定したタイミングでその接近をドライバに報知する。本実施形態では、ドライバの環境の慣れ度合いと車両２への物体の接近の報知のタイミングとの関係は、サーバ４により学習され、車両２のＥＣＵ３へ通知されることで更新される。そのために、サーバ４は、車両２への物体の接近の報知からドライバが衝突を回避するための車両２の操作を開始するまでの反応時間を、ドライバの環境への慣れ度合いを表す情報とともに車両２のＥＣＵ３から取得する。サーバ４は、所定数だけその反応時間と慣れ度合いを表す情報の組を受信すると、それらの組に基づいて、慣れ度合いに応じた車両２への物体の接近の報知のタイミングを学習する。
図２は、運転支援装置が実装される車両２の概略構成図である。本実施形態では、車両２は、GPS受信機１１と、車両２の周囲を撮影するためのカメラ１２と、車両２のドライバを撮影するためのドライバモニタカメラ１３と、通知機器１４と、無線通信端末１５と、運転支援装置の一例であるＥＣＵ３とを有する。GPS受信機１１、カメラ１２、ドライバモニタカメラ１３、通知機器１４及び無線通信端末１５とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
GPS受信機１１は、位置測定部の一例であり、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両２の自己位置を測位する。そしてGPS受信機１１は、所定の周期ごとに、GPS信号に基づく車両２の自己位置の測位結果を表す測位情報を、車内ネットワークを介してＥＣＵ３へ出力する。なお、車両２はGPS受信機１１以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両２の自己位置を測位すればよい。
カメラ１２は、車両２の周囲の状況を表すセンサ信号を取得するセンサ部の一例である。カメラ１２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ１２は、車両２の周囲の所定の撮影領域、例えば、車両２の前方領域または後方領域を撮影するように車両２に取り付けられる。カメラ１２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに撮影領域を撮影し、その撮影領域が写った画像を生成する。生成された画像は、センサ信号の一例である。なお、車両２には、撮影方向または焦点距離が異なる複数のカメラ１２が設けられてもよい。
カメラ１２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ３へ出力する。
ドライバモニタカメラ１３は、カメラ１２と同様に、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１３は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ１３は、車両２のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ１３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバを撮影し、ドライバが写った画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ１３により得られたドライバ画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ１３は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ３へ出力する。
通知機器１４は、車両２の車室内に設けられ、ドライバに対して、光、音声、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器１４は、例えば、スピーカ、光源あるいは表示装置の少なくとも何れかを有する。そして通知機器１４は、ＥＣＵ３から、車両２への物体の接近を警告する通知を受け取ると、スピーカからの音声、光源の発光または点滅、あるいは、表示装置による警告メッセージまたは警告アイコンの表示により、ドライバへその接近を報知する。
無線通信端末１５は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する。本実施形態では、無線通信端末１５は、ＥＣＵ３から、ドライバの環境への慣れ度合いを表す情報及びドライバの反応時間を表す情報を受け取ると、それらの情報を含むアップリンクの無線信号を生成し、生成した無線信号を無線基地局６へ送信する。また、無線通信端末１５は、無線基地局６から、ドライバの環境への慣れ度合いと車両２への物体の接近の報知のタイミングとの関係を表す情報を含むダウンリンクの無線信号を受信し、その情報をＥＣＵ３へわたす。
ＥＣＵ３は、ドライバの運転を支援する。本実施形態では、ＥＣＵ３は、カメラ１２により得られた画像に基づいて車両２へ接近する物体を検出し、その接近を、通知機器１４を介してドライバへ報知する。
図３は、ＥＣＵ３のハードウェア構成図である。図３に示されるように、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。
通信インターフェース２１は、ＥＣＵ３を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、GPS受信機１１から測位情報を受信する度に、その測位情報をプロセッサ２３へわたす。また、通信インターフェース２１は、カメラ１２から画像を受信する度に、その画像をプロセッサ２３へわたす。同様に、通信インターフェース２１は、ドライバモニタカメラ１３からドライバ画像を受信する度に、そのドライバ画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、無線通信端末１５からドライバの環境への慣れ度合いと車両２への物体の接近の報知のタイミングとの関係を表す情報を受信すると、その情報をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、プロセッサ２３から車両２への物体の接近を警告する通知を受け取ると、その通知を通知機器１４へ出力する。さらにまた、通信インターフェース２１は、プロセッサ２３から、車両２への物体の接近の報知からドライバによる反応時間及びドライバの環境への慣れ度合いを表す情報を受け取ると、それらの情報を無線通信端末１５へ出力する。
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される運転支援処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、カメラ１２から受け取った画像からの物体の検出、及び、検出された物体が車両２へ接近するか否かの判定に利用される各種のパラメータなどを記憶する。また、メモリ２２は、ドライバの識別番号及び顔画像といった、ドライバを識別するための識別情報、ドライバの環境への慣れ度合いを表す慣れ度合い情報、及び、ドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す情報を記憶する。なお、ドライバの識別情報及び慣れ度合い情報は、車両２について登録されたドライバごとにメモリ２２に記憶される。さらに、メモリ２２は、測位情報、画像、ドライバ画像、及び、運転支援処理の途中で生成される各種のデータを一時的に記憶する。
本実施形態において、慣れ度合い情報は、例えば、ドライバが現在居住している地域における居住年数とすることができる。居住年数が長いほど、その地域においてドライバは運転に慣れていることが想定されるためである。この場合、ドライバの居住地及び居住年数を表す情報は、例えば、ドライバが車両２に登録される際に、車両２の車室内に設けられたユーザインターフェース（図示せず）を介して入力され、メモリ２２に保存される。なお、ドライバの居住地は、例えば、ドライバが居住する住所を中心とする所定の領域（例えば、半径数kmの円形領域）あるいはその住所を含む所定の行政区画（例えば、市、町、村の何れか）として規定される。また、慣れ度合い情報は、上記の例に限られず、所定の領域ごとまたは道路の所定の区間ごとの走行回数であってもよい。この場合には、メモリ２２には、登録された各ドライバについて、所定の領域ごとまたは道路の所定の区間ごとに走行回数を表すカウンタが記憶される。そしてプロセッサ２３が、車両２が何れかの領域または道路区間を走行する度に、測位情報及び地図情報を参照して、その走行した領域または道路区間を特定し、運転中のドライバについて、特定した領域または道路区間のカウンタの値を１増加すればよい。さらに、ドライバが車両２に登録される際には、ドライバモニタカメラ１３により撮影されたそのドライバの顔を表すドライバ画像が、そのドライバの顔画像としてメモリ２２に保存されてもよい。以下では、車両２に登録されたドライバを登録ドライバと呼ぶことがある。
また、ドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す初期情報は、例えば、車両２が出荷される際にメモリ２２に記憶される。サーバ４からドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す情報を受信するまでは、その初期情報に従って報知のタイミングが設定されればよい。そしてＥＣＵ３がサーバ４からドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す情報を受信すると、受信した情報で上記の初期情報が更新されればよい。その後においては、更新されたドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す情報に従って報知のタイミングが設定されればよい。
プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、運転支援処理を実行する。
図４は、運転支援処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、識別部３１と、検出部３２と、接近判定部３３と、報知部３４と、反応時間通知部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。
識別部３１は、ドライバ画像に基づいてドライバを識別する。そのために、識別部３１は、例えば、車両２のイグニッションスイッチがオンにされた以降においてドライバモニタカメラ１３から得られたドライバ画像とメモリ２２に記憶されている、各登録ドライバの顔画像と照合する。識別部３１は、画像に表された顔を照合するために利用される顔認証手法の何れかに従って、ドライバ画像と各登録ドライバの顔画像とを照合すればよい。例えば、識別部３１は、テンプレートマッチングまたは識別器を用いてドライバ画像から顔の各特徴点（例えば、目頭、目尻、鼻尖点、口角点）を検出し、検出した特徴点間の位置関係を表す情報を算出する。そして識別部３１は、算出した位置関係を表す情報を、各登録ドライバの顔画像から同様に検出された特徴点間の位置関係を表す情報と比較することで、ドライバ画像に表された顔と最も類似する顔画像を判定すればよい。そして識別部３１は、ドライバモニタ画像に表された顔に最も類似すると判定された顔画像に対応する登録ドライバを、車両２を運転中のドライバとして識別する。
識別部３１は、運転中のドライバの識別番号を報知部３４へ通知する。なお、運転中のドライバは一回だけ識別されればよい。そこで、運転中のドライバの識別番号が報知部３４へ通知されると、車両２のイグニッションスイッチがオフにされてから再度オンにされるまで、識別部３１の処理は実行されなくてもよい。
検出部３２は、ＥＣＵ３がカメラ１２から画像を受信する度、その画像から、車両２の周囲に位置する検出対象となる物体を検出する。本実施形態において、検出対象となる物体は、車両２と衝突する危険がある物体であり、例えば、他の車両または歩行者といった移動物体、及び、ガードレール、電柱または道路上の落下物といった、車両２が走行する道路上またはその周囲に存在する構造物である。以下では、検出対象となる物体を、単に物体あるいは対象物体と呼ぶことがある。
検出部３２は、例えば、画像を識別器に入力することで、画像に表された対象物体を検出する。そのような識別器として、検出部３２は、ＡＩあるいは人工知能技術に基づくもの、特に、機械学習または深層学習に基づくものを用いることができる。より具体的に、検出部３２は、識別器として、いわゆるニューラルネットワークに基づくもの、例えば、Single Shot MultiBox DetectorまたはFaster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)を用いることができる。あるいは、検出部３２は、AdaBoost識別器といった、他の機械学習手法に基づく識別器を用いてもよい。このような識別器は、多数の教師画像といったビッグデータを利用して、画像から検出対象となる物体を検出するように予め学習される。
識別器は、検出された物体が表された領域（以下、物体領域と呼ぶ）を表す情報を出力する。例えば、識別器は、そのような情報として、物体領域を囲む外接矩形を出力する。そこで検出部３２は、検出された物体のそれぞれについて、物体領域を表す情報を接近判定部３３へわたす。
変形例によれば、車両２に、方位ごとに、車両２の周囲に存在する物体までの距離を測定し、その測定結果を表す測距信号を出力する距離センサ（図示せず）が設けられていてもよい。この場合、検出部３２は、その距離センサからの測距信号に基づいて車両２の周囲に存在する物体を検出してもよい。なお、距離センサが車両の周囲の状況を表すセンサ信号を取得するセンサの他の一例となり、測距信号がセンサ信号の他の一例となる。この場合も、検出部３２は、測距信号から車両２の周囲の物体を検出するように予め学習された識別器に測距信号を入力することで、車両２の周囲の物体を検出すればよい。あるいは、検出部３２は、測距信号から物体を検出する他の手法に従って、車両２の周囲の物体を検出してもよい。この場合、検出部３２は、検出された物体のそれぞれについて、その物体の方位及び距離を表す情報を接近判定部３３へわたす。
接近判定部３３は、検出部３２により検出された物体のそれぞれについて、車両２と衝突する危険が有るほど接近するか否かを判定する。そのために、接近判定部３３は、検出部３２により検出された物体のそれぞれを追跡することで、所定時間先までのその物体が通る軌跡を予測する。接近判定部３３は、追跡中の物体のそれぞれについて、将来の各時点における、予測した軌跡上の位置（以下、予測位置と呼ぶことがある）におけるその物体と車両２の予測位置との距離を算出する。そして接近判定部３３は、追跡中の何れかの物体について、何れかの時点で車両２の予測位置からの距離が所定の閾値以下となった場合、その追跡中の物体が、車両２とが衝突する危険が有るほど接近すると判定する。以下では、現在時刻からその追跡中の物体の予測位置と車両２の予測位置との距離が所定の閾値以下となるまでの予測時間を、衝突予測時間と呼ぶ。
この場合、接近判定部３３は、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、カメラ１２により得られた最新の画像における着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡する。そのため、接近判定部３３は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして接近判定部３３は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、接近判定部３３は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡してもよい。
接近判定部３３は、追跡中の各物体について、カメラ１２の光軸方向、焦点距離及び設置高さなどの情報を用いて視点変換処理を実行することで、その物体の画像内座標を、カメラ１２の位置を基準とした鳥瞰画像上の座標（鳥瞰座標）に変換する。そして接近判定部３３は、追跡中に得られた一連の画像から得られた各鳥瞰座標に対して、それら一連の画像が得られたときの車両２の位置を用いてKalman FilterまたはParticle filterなどを用いた予測処理を実行する。これにより、接近判定部３３は、その物体の所定時間先までの予測軌跡を推定することができる。なお、各画像取得時の車両２の位置は、例えば、その画像が取得されたときの測位情報に表される車両２の位置とすることができる。あるいは、各画像取得時の車両２の位置は、その画像と地図情報とを照合して、その画像に表された各地物と地図情報に表された対応する地物とが最も一致する車両２の位置を求めることで推定されてもよい。
また、測距信号に基づいて物体が検出されている場合には、接近判定部３３は、各測距信号取得時の車両２の位置と個々の測距信号における車両２からのその物体への方位及び距離とに基づいて予測処理を実行することでその物体の予測軌跡を推定すればよい。
さらに、接近判定部３３は、所定時間先までの各時点における車両２の予測位置を、直近の所定期間における車両２のヨーレート、車速及び加速度に基づいて算出すればよい。なお、ＥＣＵ３は、車両２に搭載されたヨーレートセンサ（図示せず）、車速センサ（図示せず）及び加速度センサ（図示せず）から、車両２のヨーレート、車速及び加速度を取得すればよい。
変形例によれば、ＥＣＵ３が、車両２が位置する車線（以下、自車線と呼ぶ）に沿って走行するように車両２の各部を制御していることがある。このような場合には、接近判定部３３は、追跡中の何れかの物体が自車線上、かつ、車両２の前方に位置している場合に、その物体が、車両２と衝突する危険が有るほど接近すると判定してもよい。この場合、接近判定部３３は、その物体までの距離の推定値を車両２の現在の車速で除することで、衝突予測時間を算出すればよい。
接近判定部３３は、追跡中の何れかの物体について、その追跡中の物体が、車両２と衝突する危険が有るほど接近すると判定した場合、その判定結果を報知部３４へ通知する。さらに、接近判定部３３は、衝突予測時間を報知部３４へ通知する。
報知部３４は、接近判定部３３から、追跡中の何れかの物体が車両２と衝突する危険が有るほど接近するとの判定結果を受け取ると、ドライバの環境への慣れ度合いに応じた、車両２への物体の接近の報知のタイミングを表す時間閾値をメモリ２２から読み出す。なお、ドライバの環境への慣れ度合いと時間閾値との関係を表す情報は、上記のドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す情報の一例である。その際、報知部３４は、識別部３１から通知されたドライバの識別情報に応じて、そのドライバの環境への慣れ度合いを表す情報を読み出す。
上記のように、ドライバの環境への慣れ度合いを表す情報が、ドライバの居住地及び居住年数である場合、報知部３４は、GPS受信機１１から受信した測位情報により特定される車両２の現在位置がドライバの居住地であるか否か判定する。そして報知部３４は、車両２の現在位置がドライバの居住地である場合、ドライバの居住年数に応じた時間閾値をメモリ２２から読み出す。一方、車両２の現在位置がドライバの居住地でない場合、報知部３４は、ドライバの居住地外に相当する時間閾値をメモリ２２から読み出す。なお、居住年数が長いほど、ドライバはその居住地周辺での車両２の運転に慣れており、車両２への物体の接近の報知に対する反応も早くなると想定される。そこで、ドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す初期情報においては、居住年数が長いほど、時間閾値は短く設定される。また、車両２の現在位置がドライバの居住地でない場合には、ドライバは車両２の現在位置付近での車両２の運転に慣れていない可能性が有る。そこで車両２の現在位置がドライバの居住地でない場合の時間閾値は、車両２の現在位置がドライバの居住地である場合の時間閾値よりも長く設定される。
また、ドライバの環境への慣れ度合いを表す情報が、所定の領域ごとまたは道路の所定の区間ごとの走行回数である場合、報知部３４は、車両２の現在位置を含む領域または道路区間についての走行回数をメモリ２２から読み出す。そして報知部３４は、その走行回数に対応する時間閾値をメモリ２２から読み出す。この場合、車両２の現在位置を含む領域または道路区間についての走行回数が多いほど、ドライバは車両２の現在位置付近での車両２の運転に慣れており、車両２への物体の接近の報知に対する反応も早くなると想定される。そこで、ドライバの環境への慣れ度合いと物体の接近の報知のタイミングとの関係を表す初期情報においては、走行回数が多いほど、時間閾値は短く設定される。
報知部３４は、衝突予測時間を読み出した時間閾値と比較する。そして報知部３４は、衝突予測時間が時間閾値以下である場合に、車両２への物体の接近を警告する通知を、通知機器１４へ出力することで、その接近をドライバに報知する。一方、衝突予測時間が時間閾値よりも長い場合には、報知部３４は、車両２への物体の接近をドライバに報知しない。これにより、報知部３４は、ドライバが車両２への物体の接近に対して十分に対応するだけの時間を確保しつつ、その接近の報知が早過ぎてドライバが煩わしさを感じることを抑制できる。
図５（ａ）及び図５（ｂ）は、それぞれ、ドライバの環境への慣れ度合いと物体の接近についての報知タイミングとの関係の一例を示す図である。図５（ａ）及び図５（ｂ）において、横軸は時間を表す。また、図５（ａ）において示される衝突予測時間Tpの長さと、図５（ｂ）において示される衝突予測時間Tpの長さとは等しいものとする。
図５（ａ）では、ドライバが環境に慣れている場合について図示されている。この例では、ドライバが環境に慣れているため、時間閾値Thmが相対的に短く設定されており、そのため、衝突予測時間Tpが時間閾値Thmよりも長くなっている。そのため、現在時刻tにおいて、物体の接近は報知されない。そして現在時刻よりも後の物体の挙動により、衝突予測時間Tpが時間閾値Thm以下となるまで短くなれば、その時点で物体の接近がドライバに報知されることとなる。一方、現在時刻よりも後の物体の挙動により、その物体と車両２との衝突が予測されなくなれば、結果的にその物体の接近はドライバに報知されないままとなり、ドライバにとって無用な報知がなされずに済むこととなる。
図５（ｂ）では、ドライバが環境に慣れていない場合について図示されている。この例では、ドライバが環境に慣れていないため、時間閾値Thmが相対的に長く設定されており、そのため、衝突予測時間Tpが時間閾値Thmよりも短くなっている。そのため、現在時刻tにおいて、物体の接近がドライバに報知されることとなる。この例では、衝突予測時間Tpが相対的に長くてもドライバに物体の接近が報知されるので、ドライバが環境に慣れていなくても、その物体の接近に対してドライバが対処する時間は十分に確保される。
反応時間通知部３５は、車両２への物体の接近を報知してからドライバがその物体との衝突を回避するための操作を行うまでの反応時間（以下、単に反応時間と呼ぶことがある）を計測する。衝突を回避するための操作は、例えば、車両２を減速させるためのブレーキの操作、あるいは、車両２の進路を変更するためのステアリングの操作である。そして反応時間通知部３５は、その反応時間、及び、車両２への物体の接近を報知したときの車両２の位置におけるドライバの環境への慣れ度合いを表す情報を、無線通信端末１５を介してサーバ４へ送信する。
図６は、ＥＣＵ３における、運転支援処理の動作フローチャートである。ＥＣＵ３のプロセッサ２３は、カメラ１２から画像を受け取る度に、以下の動作フローチャートに従って運転支援処理を実行する。
プロセッサ２３の検出部３２は、ＥＣＵ３がカメラ１２から画像を受信する度、その画像から、車両２の周囲に位置する検出対象となる物体を検出する（ステップＳ１０１）。
プロセッサ２３の接近判定部３３は、検出部３２により検出された物体のそれぞれについて、その物体を追跡することで、所定時間先までのその物体の予測軌跡を求める（ステップＳ１０２）。そして接近判定部３３は、追跡中の物体のそれぞれについて、所定時間先までの各時点における、予測軌跡上の予測位置と車両２の予測位置との距離が所定の閾値Thd以下となるか否か判定する（ステップＳ１０３）。何れかの物体について、何れかの時点で予測軌跡上の予測位置と車両２の予測位置との距離が閾値Thd以下となる場合（ステップＳ１０３－Ｙｅｓ）、接近判定部３３は、その物体が車両２と衝突する危険が有るほど接近すると判定する（ステップＳ１０４）。
プロセッサ２３の報知部３４は、ドライバの環境への慣れ度合いに応じた時間閾値Thmをメモリ２２から読み出す（ステップＳ１０５）。そして報知部３４は、車両２と衝突する危険が有るほど接近すると判定された物体について、その物体の予測位置と車両２の予測位置との距離が所定の閾値Thd以下となる予測時刻までの衝突予測時間が時間閾値Thm以下となるか否か判定する（ステップＳ１０６）。その衝突予測時間が時間閾値Thm以下である場合（ステップＳ１０６－Ｙｅｓ）、報知部３４は、ドライバに対して、通知機器１４を介して車両２への物体の接近を報知する（ステップＳ１０７）。その後、プロセッサ２３の反応時間通知部３５は、車両２への物体の接近の報知からドライバがその物体との衝突を回避するための操作を行うまでの反応時間を計測する。そして反応時間通知部３５は、反応時間及びドライバの環境への慣れ度合いを表す情報を、無線通信端末１５を介してサーバ４へ送信する（ステップＳ１０８）。そしてプロセッサ２３は、運転支援処理を終了する。
一方、追跡中の物体の何れについても予測軌跡上の予測位置と車両２の予測位置との距離が所定の閾値Thd以下とならない場合（ステップＳ１０３－Ｎｏ）、接近判定部３３は、車両２に衝突する危険が有るほど接近する物体は無いと判定する（ステップＳ１０９）。そしてプロセッサ２３は、運転支援処理を終了する。また、ステップＳ１０６において、衝突予測時間が時間閾値Thmよりも長い場合（ステップＳ１０６－Ｎｏ）、プロセッサ２３は、物体の接近をドライバに報知せずに運転支援処理を終了する。
次に、サーバ４について説明する。図７は、サーバ４のハードウェア構成図である。サーバ４は、通信インターフェース４１と、ストレージ装置４２と、メモリ４３と、プロセッサ４４とを有する。通信インターフェース４１、ストレージ装置４２及びメモリ４３は、プロセッサ４４と信号線を介して接続されている。サーバ４は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。
通信インターフェース４１は、通信部の一例であり、サーバ４を通信ネットワーク５に接続するためのインターフェース回路を有する。そして通信インターフェース４１は、車両２と、通信ネットワーク５及び無線基地局６を介して通信可能に構成される。すなわち、通信インターフェース４１は、車両２から無線基地局６及び通信ネットワーク５を介して受信した、ドライバの反応時間及びドライバの環境への慣れ度合いを表す情報などをプロセッサ４４へわたす。また、通信インターフェース４１は、プロセッサ４４から受け取った、ドライバの環境への慣れ度合いと車両２への物体の接近の報知のタイミングとの関係を表す情報などを、通信ネットワーク５及び無線基地局６を介して車両２へ送信する。
ストレージ装置４２は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置４２は、ドライバの反応時間及びドライバの環境への慣れ度合いを表す情報を記憶する。ストレージ装置４２は、車両２の識別情報をさらに記憶してもよい。さらに、ストレージ装置４２は、プロセッサ４４上で実行される、ドライバの環境への慣れ度合いと車両２への物体の接近の報知のタイミングとの関係を学習するための学習処理を実行するためのコンピュータプログラムを記憶してもよい。さらにまた、ストレージ装置４２は、ドライバの環境への慣れ度合いと車両２への物体の接近の報知のタイミングとの関係を表す情報を記憶してもよい。
メモリ４３は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ４３は、学習処理の実行中に生成される各種データ、及び、車両２との通信により取得される各種データなどを一時的に記憶する。
プロセッサ４４は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ４４は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ４４は、ドライバの反応時間及びドライバの環境への慣れ度合いを表す情報が所定数以上蓄積されると、学習処理を実行する。
図８は、学習処理に関する、プロセッサ４４の機能ブロック図である。プロセッサ４４は、学習部５１と、通知部５２とを有する。プロセッサ４４が有するこれらの各部は、プロセッサ４４上で実行されるコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ４４が有するこれらの各部は、プロセッサ４４に設けられる、専用の演算回路であってもよい。
学習部５１は、ドライバの環境への慣れ度合いと反応時間とに基づいて、ドライバの環境への慣れ度合いに応じた車両２への物体の接近の報知のタイミングを算出する。例えば、学習部５１は、ドライバの環境への慣れ度合いごと、例えば、居住年数ごとあるいは走行回数ごとに、反応時間の平均値を算出する。そして学習部５１は、ドライバの環境への慣れ度合いごとに、その慣れ度合いについての反応時間の平均値から所定のオフセット時間を加算した値を、その慣れ度合いについての車両２への物体の接近の報知のタイミング（上記の時間閾値）とする。これにより、学習部５１は、ドライバの環境への慣れ度合いに応じた適切な報知のタイミングを設定することができる。あるいは、学習部５１は、個々のドライバの環境への慣れ度合いと反応時間の組み合わせを、ビッグデータに含まれる個々のデータとして、ドライバの環境への慣れ度合いに応じた車両２への物体の接近の報知のタイミングを算出するための学習モデルを学習するために利用する。このような学習モデルは、ＡＩまたは人工知能に基づくものとすることができる。より具体的に、このような学習モデルは、ニューラルネットワークといった、機械学習または深層学習に基づくものとすることができる。学習部５１は、このような学習モデルを利用して、ドライバの環境への慣れ度合いごとの報知のタイミングを算出してもよい。
通知部５２は、学習部５１により、ドライバの環境への慣れ度合いごとの報知のタイミングが算出されると、ドライバの環境への慣れ度合いごとの車両２への物体の接近の報知のタイミングを含む報知タイミング情報を生成する。そして通知部５２は、生成した報知タイミング情報を、通信インターフェース４１、通信ネットワーク５及び無線基地局６を介して車両２へ通知する。
以上に説明してきたように、この運転支援装置は、ドライバの環境への慣れ度合いを表す情報に基づいてドライバへ車両への物体の接近を報知するタイミングを決定するので、車両への物体の接近を適切なタイミングでドライバへ報知することができる。
変形例によれば、車両２への物体の接近の報知のタイミングは、ドライバの環境への慣れ度合いだけでなく、ドライバの車両２についての運転習熟度、あるいは、車両２の周囲の環境そのものに基づいて決定されてもよい。例えば、ドライバの車両２についての運転習熟度が低いほど、車両２への物体の接近の報知からのドライバの反応時間は長くなると想定される。また、車両２の周囲の環境が、ドライバにとって車両２の運転をし難くなる環境であるほど、車両２への物体の接近はできるだけ早くドライバに報知されることが好ましい。そこで、報知部３４は、ドライバの環境への慣れ度合いに応じて決定した報知のタイミングを、ドライバの車両２についての運転習熟度が低いほど、あるいは、車両２の周囲の環境が運転の難しい環境であるほど、より早期に報知がなされるように修正してもよい。例えば、報知部３４は、ドライバの車両２についての運転習熟度が低いほど、あるいは、車両２の周囲の環境が運転の難しい環境であるほど、上記の時間閾値がより長くなるように、その時間閾値を修正すればよい。なお、ドライバの車両２についての運転習熟度は、例えば、ドライバが車両２を購入してからの年数、あるいは、ドライバが運転免許を取得してからの年数とすることができる。この場合、これらの年数が短いほど、ドライバの車両２についての運転習熟度は低くなる。なお、これらの年数は、ドライバの居住地及び居住年数を表す情報と同様に、例えば、ドライバが車両２に登録される際に、車両２の車室内に設けられたユーザインターフェース（図示せず）を介して入力され、メモリ２２に保存されればよい。また、車両２の周囲の環境に関して、例えば、昼よりも夜、晴天よりも雨天、広い道よりも狭い道、または、合流の無い地点よりも合流の有る地点の方が、運転の難しい環境であると想定される。そこで、報知部３４は、車両２に設けられた時計（図示せず）から得られる現在時刻が夜に相当する時間帯に含まれる場合、ドライバの環境への慣れ度合いに応じて決定した報知のタイミングを、より早期に報知がなされるように修正する。あるいは、報知部３４は、車両２に設けられた雨量センサ（図示せず）により検知された雨量が多いほど、ドライバの環境への慣れ度合いに応じて決定した報知のタイミングをより早くするようにそのタイミングを修正する。あるいはまた、報知部３４は、測位情報に表される車両２の現在位置及び地図情報を参照して、車両２の現在位置が合流地点であるか、車両２の現在位置における道路の幅が所定幅以下であるかを判定する。そして車両２の現在位置が合流地点であるか、車両２の現在位置における道路の幅が所定幅以下である場合、報知部３４は、ドライバの環境への慣れ度合いに応じて決定した報知のタイミングを、より早期に報知がなされるように修正する。このように、報知部３４は、ドライバの車両２についての運転習熟度、あるいは、車両２の周囲の環境に応じて、物体の接近の報知のタイミングを修正することで、より適切なタイミングでその接近をドライバに報知することができる。
また、サーバ４のプロセッサ４４の学習部５１が、ドライバの環境への慣れ度合い、ドライバの運転習熟度及び車両２の周囲の環境の組み合わせごとの反応時間に応じて、上記の実施形態と同様に、その組み合わせごとの報知のタイミングを学習してもよい。この場合には、ＥＣＵ３のプロセッサ２３の反応時間通知部３５は、反応時間及び慣れ度合いを表す情報とともに、ドライバの運転習熟度及び車両２の周囲の環境を表す情報を、サーバ４へ送信すればよい。
他の変形例によれば、ＥＣＵ３のプロセッサ２３が、サーバ４のプロセッサ４４の学習部５１と同様の学習処理を実行してもよい。この場合には、反応時間通知部３５は、反応時間及びドライバの環境への慣れ度合いを表す情報を、プロセッサ２３に設けられた学習部５１が利用できるように、メモリ２２に保存すればよい。また、サーバ４は省略されてもよい。さらに、車両２のドライバが予め特定の一人の人物に限定される場合には、識別部３１の処理は省略されてもよい。
上記の実施形態または変形例によるＥＣＵ３は、手動運転制御だけでなく、自動運転制御も適用可能な車両に実装されてもよい。また、上記の実施形態または変形例による、ＥＣＵ３のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 運転支援システム
２ 車両
３ 電子制御装置（運転支援装置）
４ サーバ
５ 通信ネットワーク
６ 無線基地局
１１ GPS受信機
１２ カメラ
１３ ドライバモニタカメラ
１４ 通知機器
１５ 無線通信端末
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 識別部
３２ 検出部
３３ 接近判定部
３４ 報知部
３５ 反応時間通知部
４１ 通信インターフェース
４２ ストレージ装置
４３ メモリ
４４ プロセッサ

Claims (6)

  1. 車両のドライバの居住地及び当該居住地における前記ドライバの居住年数を含む、前記ドライバの環境への慣れ度合いを表す情報を記憶する記憶部と、
    前記車両に搭載されたセンサにより得られた前記車両の周囲の状況を表すセンサ信号に基づいて、前記車両の周囲に存在する物体を検出する検出部と、
    前記物体が前記車両と衝突する可能性が有るほど接近するか否か判定するとともに、前記物体が前記車両と衝突する可能性が有るほど接近すると判定した場合、当該衝突までの予測時間を算出する接近判定部と、
    前記物体が前記車両と衝突する可能性が有るほど接近すると判定された場合、前記車両のドライバの環境への慣れ度合いに応じたタイミングで、前記車両に設けられた通知機器を介して当該接近を前記ドライバに報知する報知部と、
    を有し、
    前記報知部は、前記予測時間が、前記ドライバの環境への慣れ度合いが高いほど短く設定される前記タイミングを表す時間閾値以下となる場合に前記接近を前記ドライバに報知するとともに、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置が前記ドライバの居住地である場合、前記ドライバの居住年数が長いほど前記時間閾値を短く設定する、
    運転支援装置。
  2. 前記報知部は、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置が前記ドライバの居住地である場合の前記時間閾値を、当該位置が前記ドライバの居住地でない場合の前記時間閾値よりも短く設定する、請求項１に記載の運転支援装置。
  3. 前記ドライバへの環境の慣れ度合いを表す情報は、所定の領域または所定の道路区間ごとの前記ドライバの走行回数を含み、
    前記報知部は、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置が含まれる領域または道路区間における前記ドライバの走行回数が多いほど前記時間閾値を短く設定する、請求項１に記載の運転支援装置。
  4. 車両と衝突する可能性が有るほど接近する物体の接近を前記ドライバに報知してから前記ドライバが前記衝突を回避するための前記車両の操作を行うまでの反応時間を記録し、当該反応時間と、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置における、前記ドライバの環境への慣れ度合いとに応じて、前記タイミングを学習する学習部をさらに有する、請求項１～３の何れか一項に記載の運転支援装置。
  5. 車両に搭載されたセンサにより得られた前記車両の周囲の状況を表すセンサ信号に基づいて、前記車両の周囲に存在する物体を検出し、
    前記物体が前記車両と衝突する可能性が有るほど接近するか否か判定し、
    前記物体が前記車両と衝突する可能性が有るほど接近すると判定した場合、当該衝突までの予測時間を算出し、
    前記物体が前記車両と衝突する可能性が有るほど接近すると判定した場合、記憶部に記憶された前記車両のドライバの居住地及び当該居住地における前記ドライバの居住年数を含む、前記ドライバの環境への慣れ度合いに応じたタイミングで、前記車両に設けられた通知機器を介して当該接近を前記ドライバに報知する、
    ことを含み、
    前記接近を前記ドライバに報知することは、
    前記予測時間が、前記ドライバの環境への慣れ度合いが高いほど短く設定される前記タイミングを表す時間閾値以下となる場合に前記接近を前記ドライバに報知するとともに、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置が前記ドライバの居住地である場合、前記ドライバの居住年数が長いほど前記時間閾値を短く設定することを含む、運転支援方法。
  6. 車両に搭載されたセンサにより得られた前記車両の周囲の状況を表すセンサ信号に基づいて、前記車両の周囲に存在する物体を検出し、
    前記物体が前記車両と衝突する可能性が有るほど接近するか否か判定し、
    前記物体が前記車両と衝突する可能性が有るほど接近すると判定した場合、当該衝突までの予測時間を算出し、
    前記物体が前記車両と衝突する可能性が有るほど接近すると判定した場合、記憶部に記憶された前記車両のドライバの居住地及び当該居住地における前記ドライバの居住年数を含む、前記ドライバの環境への慣れ度合いに応じたタイミングで、前記車両に設けられた通知機器を介して当該接近を前記ドライバに報知する、
    ことを前記車両に搭載されたプロセッサに実行させ、
    前記接近を前記ドライバに報知することは、
    前記予測時間が、前記ドライバの環境への慣れ度合いが高いほど短く設定される前記タイミングを表す時間閾値以下となる場合に前記接近を前記ドライバに報知するとともに、前記物体が前記車両と衝突する可能性が有るほど接近すると判定されたときの前記車両の位置が前記ドライバの居住地である場合、前記ドライバの居住年数が長いほど前記時間閾値を短く設定することを含む、運転支援用コンピュータプログラム。
JP2021023466A 2021-02-17 2021-02-17 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム Active JP7302615B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021023466A JP7302615B2 (ja) 2021-02-17 2021-02-17 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
US17/570,570 US11702094B2 (en) 2021-02-17 2022-01-07 Driving support apparatus and driving support method
CN202210137954.1A CN114987458A (zh) 2021-02-17 2022-02-15 驾驶辅助装置、驾驶辅助方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021023466A JP7302615B2 (ja) 2021-02-17 2021-02-17 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2022125720A JP2022125720A (ja) 2022-08-29
JP7302615B2 true JP7302615B2 (ja) 2023-07-04

Family

ID=82801054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021023466A Active JP7302615B2 (ja) 2021-02-17 2021-02-17 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム

Country Status (3)

Country Link
US (1) US11702094B2 (ja)
JP (1) JP7302615B2 (ja)
CN (1) CN114987458A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117751A (ja) 2008-11-11 2010-05-27 Denso Corp 車両用運転支援装置
JP2013222297A (ja) 2012-04-16 2013-10-28 Toyota Motor Corp 運転支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0677799B1 (en) 1994-04-15 2000-05-17 Honda Giken Kogyo Kabushiki Kaisha Vehicle travel aiding device
JPH07277041A (ja) * 1994-04-15 1995-10-24 Honda Motor Co Ltd 車両用走行支援装置
US9324233B2 (en) * 2014-03-04 2016-04-26 Nissan North America, Inc. Vehicle contact warning method and system
JP2015219531A (ja) 2014-05-13 2015-12-07 株式会社デンソー 車載装置および走行画像保管システム
JP2018054374A (ja) * 2016-09-27 2018-04-05 パナソニックＩｐマネジメント株式会社 車載インタフェース装置及び判断方法
JP6565859B2 (ja) * 2016-10-14 2019-08-28 トヨタ自動車株式会社 車両制御システム
DE112016007472B4 (de) * 2016-12-21 2024-05-08 Ford Motor Company Vorwarnungen für fahrer von fahrzeugen vor bevorstehenden schildern
US20180215395A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Context derived driver assistance
EP3413288A1 (en) * 2017-06-09 2018-12-12 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system
JP7056308B2 (ja) * 2018-03-28 2022-04-19 マツダ株式会社 車両用警報装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117751A (ja) 2008-11-11 2010-05-27 Denso Corp 車両用運転支援装置
JP2013222297A (ja) 2012-04-16 2013-10-28 Toyota Motor Corp 運転支援装置

Also Published As

Publication number Publication date
US11702094B2 (en) 2023-07-18
CN114987458A (zh) 2022-09-02
US20220258757A1 (en) 2022-08-18
JP2022125720A (ja) 2022-08-29

Similar Documents

Publication Publication Date Title
US11741696B2 (en) Advanced path prediction
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11308717B2 (en) Object detection device and object detection method
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US10569768B2 (en) Information processing apparatus, information processing method, and non-transitory recording medium
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
US11685405B2 (en) Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior
JP2019099138A (ja) 車線維持補助方法及び装置
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
CN114348015A (zh) 车辆控制装置和车辆控制方法
US20230316539A1 (en) Feature detection device, feature detection method, and computer program for detecting feature
JP2021163432A (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP7302615B2 (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
US20210231459A1 (en) Apparatus and method for collecting data for map generation
JP2022056153A (ja) 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
JP7147464B2 (ja) 画像選択装置及び画像選択方法
US20230373503A1 (en) Vehicle controller, method and computer program for vehicle control, priority setting device, and vehicle control system
JP2023118462A (ja) 道路端推定装置、道路端推定方法及び道路端推定用コンピュータプログラム
US20220136859A1 (en) Apparatus and method for updating map
JP2022146384A (ja) 物体検出装置
JP2022074513A (ja) 演算装置
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2024030891A (ja) 制動灯の点灯判定装置、制動灯の点灯判定用コンピュータプログラム及び制動灯の点灯判定方法
JP2024030531A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2024031071A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151