JP7222216B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7222216B2
JP7222216B2 JP2018203218A JP2018203218A JP7222216B2 JP 7222216 B2 JP7222216 B2 JP 7222216B2 JP 2018203218 A JP2018203218 A JP 2018203218A JP 2018203218 A JP2018203218 A JP 2018203218A JP 7222216 B2 JP7222216 B2 JP 7222216B2
Authority
JP
Japan
Prior art keywords
driver
line
saliency map
vehicle
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018203218A
Other languages
English (en)
Other versions
JP2020071537A (ja
Inventor
信一郎 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018203218A priority Critical patent/JP7222216B2/ja
Priority to DE102019128840.1A priority patent/DE102019128840A1/de
Priority to US16/663,638 priority patent/US11440473B2/en
Publication of JP2020071537A publication Critical patent/JP2020071537A/ja
Application granted granted Critical
Publication of JP7222216B2 publication Critical patent/JP7222216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、運転支援装置に関する。
撮像部によって車両の周辺を撮像して得られる撮像画像のサリエンシーマップを生成し、車両の運転者の視線分布の検出結果と当該生成したサリエンシーマップとを比較して、車両の運転者が、当該車両の周囲の視認すべき対象を認識しているか否かを判断する技術が開発されている。
特開２００５－２６７１０８号公報 特開２０１７－４４８０号公報 特開２００９－９３３４１号公報
しかしながら、上記の技術では、車両の運転者を識別可能とするドライバー情報を用いてサリエンシーマップを生成していないため、運転者間の差を考慮したサリエンシーマップを作成することができず、車両の運転者が、周囲の視認すべき対象を認識しているか否かの判断精度が低くなる場合がある。
そこで、実施形態の課題の一つは、車両の運転者が、周囲の視認すべき対象を認識しているか否かの判断精度を向上させることが可能な運転支援装置を提供することである。
実施形態の運転支援装置は、一例として、車両の運転者の視線分布を検出する視線検出部と、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、車両の運転者を識別可能とするドライバー情報を取得するドライバー情報取得部と、撮像画像およびドライバー情報に基づいて、撮像画像のサリエンシーマップでありかつ運転者毎に異なるパーソナルサリエンシーマップを生成する生成部と、視線検出部により検出した視線分布と、生成したパーソナルサリエンシーマップとを比較して、運転者が車両の周辺の視認すべき対象に視線を向けているか否かを判断する判断部と、を備える。よって、一例として、運転者が周辺の危険を認識しているか否かの判断精度を向上させることができる。
また、実施形態の運転支援装置は、一例として、生成部は、生成型のディープニューラルネットワークによって、撮像画像およびドライバー情報に基づいて、パーソナルサリエンシーマップを生成可能な生成モデルを学習して、当該生成モデルによってパーソナルサリエンシーマップを生成する。よって、一例として、運転者に特化したサブモジュールを作成することなく、車両においても、運転者毎に違いが表現されるパーソナルサリエンシーマップを生成することができる。
また、実施形態の運転支援装置は、一例として、運転者が車両の周辺の視認すべき対象に視線を向けていないと判断された場合、車両の危険通知を通知する通知部をさらに備える。よって、一例として、車両の運転者は、車両の周辺の視認すべき対象に対して視線を向けていないことを容易に認識することができる。
また、実施形態の運転支援装置は、一例として、ドライバー情報取得部は、さらに、運転者の運転熟練度を含むドライバー情報を取得し、生成部は、さらに、撮像画像およびドライバー情報に基づいて、運転者の運転熟練度毎のパーソナルサリエンシーマップを生成し、判断部は、さらに、視線検出部により検出した視線分布と、生成したパーソナルサリエンシーマップとを比較して、運転者の運転熟練度を判別する。よって、一例として、不確かな運転者の運転熟練度を高精度に判別することが可能となる。
また、実施形態の運転支援装置は、一例として、通知部は、運転者の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更する。よって、一例として、運転者の運転熟練度が高く危険通知を頻繁に行う必要が無いにも関わらず、危険通知が頻繁に行われることによる煩わしさを軽減したり、運転者の運転熟練度が低く危険通知を積極的に行う必要ある場合には、危険通知が頻繁に行われる安全よりの設計としたりすることが可能となる。
また、実施形態の運転支援装置は、一例として、通知部は、第１運転熟練度のパーソナルサリエンシーマップと視線検出部により検出した視線分布との差が予め設定された閾値以上である場合と、第１運転熟練度より高い第２運転熟練度のパーソナルサリエンシーマップと視線検出部により検出した視線分布との差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。よって、一例として、運転熟練度が低い運転者のパーソナルサリエンシーマップと、視線検出部により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、運転熟練度が高い運転者のパーソナルサリエンシーマップと、視線検出部により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者がその対象に対して視線を向けるように促すことができる。
また、実施形態の運転支援装置は、一例として、生成部は、さらに、撮像画像に基づいてボトムアップサリエンシーマップを生成し、パーソナルサリエンシーマップからボトムアップダウンサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、視線検出部により検出した視線分布とボトムアップサリエンシーマップとの差が予め設定された閾値以上である場合と、当該視線分布とトップダウンサリエンシーマップとの差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。よって、一例として、ボトムアップサリエンシーマップと、視線検出部により検出された視線分布とに差分がある場合に、運転者が安全確認のために注視する必要性が低いにも関わらず、危険通知が頻繁に行われて、運転者が煩わしさを覚えることを防止できる。また、トップダウンサリエンシーマップと、視線検出部により検出された視線分布とに差分があり、運転者が安全確認のために注視する必要性が高い場合には、危険通知を頻繁に行って、運転者に対して安全確認のために注視すべき領域があることを通知することができる。
図１は、第１の実施形態にかかる運転支援装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。 図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。 図５は、第１の実施形態にかかる車両によるパーソナルサリエンシーマップの生成処理の一例を説明するための図である。 図６は、第２の実施形態にかかる車両による運転熟練度の判別処理の一例を説明するための図である。 図７は、第３の実施形態にかかる車両による危険通知の通知処理の一例を説明するための図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
本実施形態にかかる運転支援装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
（第１の実施形態）
図１は、第１の実施形態にかかる運転支援装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。図１に示されるように、車両１は、車体２と、操舵部４と、モニタ装置１１と、を備える。
車体２は、運転者（不図示）が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。操舵部４は、例えば、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置は８、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。
乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
また、図２に示すように、ハンドルコラム２０２には、ドライバモニタカメラ２０１が設置されている。このドライバモニタカメラ２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。ドライバモニタカメラ２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。このドライバモニタカメラ２０１は、運転者３０２の顔を順次撮像し、撮像により得た画像についての画像データを順次出力する。
また、図１に示されるように、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。
また、図１に示されるように、車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤまたはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。
具体的には、撮像部１５ａは、例えば、車体２の後側の端部に位置し、トランクリッドの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部に位置し、右側のドアミラーに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部に位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部に位置し、左側のドアミラーに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。
次に、図３を用いて、本実施形態にかかる車両の機能構成について説明する。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に例示されるように、車両１は、ＥＣＵ（Engine Control Unit）１４、モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。
操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。
ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
シフトセンサ２１は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。
ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。
ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、車両１の外部を撮像可能に設けられた撮像部１５の撮像で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。
ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、視線検出部４００、画像取得部４０１、ドライバー情報取得部４０２、生成部４０３、判断部４０４、および通知部４０５を主に備えている。図４に示す、視線検出部４００、画像取得部４０１、ドライバー情報取得部４０２、生成部４０３、判断部４０４、および通知部４０５は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。
視線検出部４００は、運転者３０２の視線分布を検出する。本実施形態では、視線検出部４００は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像から、運転者３０２の顔や目の画像を検出し、検出した顔や目の画像に基づいて、運転者３０２の視線分布を検出する。
画像取得部４０１は、撮像部１５によって車両１の進行方向を撮像して得られる撮像画像を取得する取得部として機能する。本実施形態では、画像取得部４０１は、撮像部１５の撮像により得られる撮像画像を取得しているが、車両１が有するＬＩＤＡＲ（Light Detection and Ranging）、ＴＯＦ（Time Of Flight）カメラ、ミリ波レーダー、超音波センサ等によって計測した車両１と周辺の物体との間の距離の測定結果を表す画像を撮像画像として取得しても良い。
ドライバー情報取得部４０２は、車両１の運転者３０２のドライバー情報を取得する取得部として機能する。ここで、ドライバー情報は、運転者３０２を識別可能とする情報であり、例えば、運転者３０２の番号である被験者番号、運転者３０２の運転歴、運転者３０２の性別等である。本実施形態では、ドライバー情報取得部４０２は、操作入力部１０を介して運転者３０２により入力されるドライバー情報を取得する。また、本実施形態では、ドライバー情報取得部４０２は、ドライバー情報に加えて、車両情報を取得する。ここで、車両情報は、車両１の走行状態を示す情報であり、例えば、舵角センサ１９により検出される操舵部４の操舵量、車輪速センサ２２により検出される車輪３の回転数に基づく車両１の速度である。
生成部４０３は、画像取得部４０１により取得される撮像画像、ドライバー情報取得部４０２により取得されるドライバー情報および車両情報に基づいて、パーソナルサリエンシーマップを生成する。ここで、パーソナルサリエンシーマップは、撮像画像のサリエンシーマップでありかつ運転者３０２毎に異なるサリエンシーマップである。
これにより、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを生成できるので、パーソナルサリエンシーマップと視線検出部４００により検出した視線分布を比較して、運転者３０２が周辺の危険を認識しているか否かの判断精度を向上させることができる。本実施形態では、生成部４０３は、撮像画像、ドライバー情報、および車両情報に基づいて、生成モデルを生成しているが、少なくとも、撮像画像およびドライバー情報に基づいて、生成モデルを生成するものであれば良い。
ところで、被験者（本実施形態では、運転者３０２）毎のサリエンシーマップを計算する場合、サリエンシーマップの計算は、被験者（本実施形態では、運転者３０２）毎に異なる。そのため、被験者毎のサリエンシーマップを生成するためには、被験者に特化したサブモジュールを当該被験者毎に作成する必要がある。しかしながら、車両１へのアプリケーションを考慮すると、車両１を運転する運転者３０２が無数に存在するため、運転者３０２毎にサブモジュールを作成することは困難な場合がある。
そこで、本実施形態では、生成部４０３は、生成型のディープニューラルネットワークによって、撮像画像、ドライバー情報、および車両情報に基づいて、１つのモデルによって運転者３０２毎のパーソナルサリエンシーマップを生成可能な生成モデル（例えば、ＣＶＡＥ：Conditional Variational Auto Encoder、ＣＧＡＮ：Conditional Generative Adversarial Nets）を学習する。
そして、生成部４０３は、学習した生成モデルによって、視線検出部４００によって視線分布を検出した運転者３０２のパーソナルサリエンシーマップを生成する。これにより、運転者３０２に特化したサブモジュールを作成する必要がないので、車両１においても、運転者３０２毎に違いが表現されるパーソナルサリエンシーマップを生成することができる。
または、生成部４０３は、まず、ディープニューラルネットワーク（生成型のディープニューラルネットワークまたは識別型のディープニューラルネットワーク）によって、撮像画像、ドライバー情報、および車両情報に基づいて、運転者３０２の違いによらないサリエンシーマップであるグローバルサリエンシーマップを生成可能なモデルを学習する。次いで、生成部４０３は、生成型のディープニューラルネットワークによって、撮像画像に基づくサリエンシーマップと、グローバルサリエンシーマップと、の差分としてのパーソナルサリエンシーマップを生成可能な生成モデルを学習しても良い。
これにより、全ての運転者３０２のデータを用いて、高精度のグローバルサリエンシーマップを生成可能なモデルを学習しておき、当該モデルで生成されるグローバルサリエンシーマップと、撮像画像に基づくサリエンシーマップとの差分をパーソナルサリエンシーマップとして生成可能な生成モデルを学習することにより、全ての運転者３０２のデータを用いて、１つの生成モデルによってパーソナルサリエンシーマップを生成すると比較して、小規模の計算手段によってパーソナルサリエンシーマップを生成することができる。
判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとを比較して、車両１の周辺の視認すべき対象（例えば、対向車、信号、看板、側道、飛び出しの確認）に対して運転者３０２が視線を向けているか否かを判断する。これにより、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを用いて、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けているか否かを判断できるので、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けているか否かの判断精度を向上させることができる。
本実施形態では、判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値以上である場合、運転者３０２が、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けていないと判断する。一方、判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値より小さい場合、運転者３０２が、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けていると判断する。
通知部４０５は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値以上である場合、危険通知を通知する。これにより、車両１の運転者３０２は、車両１の周辺の視認すべき対象に対して視線を向けていないことを容易に認識することができる。
ここで、危険通知は、運転者３０２が車両１の周辺の視認すべき対象に視線を向けていないことを示す通知である。本実施形態では、通知部４０５は、運転者３０２が車両１の周辺の視認すべき対象に対して視線を向けていないことを示す画像やメッセージを表示装置８に対して表示したり、運転者３０２が車両１の周辺の視認すべき対象に対して視線を向けていないことを示す音声を音声出力装置９から出力したりすることによって危険通知を実行する。
次に、図５を用いて、本実施形態にかかる車両１によるパーソナルサリエンシーマップの生成処理の一例について説明する。図５は、第１の実施形態にかかる車両によるパーソナルサリエンシーマップの生成処理の一例を説明するための図である。
例えば、図５に示すように、生成部４０３は、画像取得部４０１により取得される撮像画像と、ドライバー情報取得部４０２により取得される性別、運転歴、被験者番号、およびグローバルサリエンシーマップＧＭを入力として、生成型のディープニューラルネットワークによって、運転者３０２毎のパーソナルサリエンシーマップＰＭ１を生成可能な生成モデルを学習する（ステップＳ５０１）。そして、生成部４０３は、学習した生成モデルによって、視線検出部４００により視線分布を検出した運転者３０２のパーソナルサリエンシーマップＰＭ１を生成して出力する（ステップＳ５０２）。
このように、第１の実施形態にかかる車両１によれば、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを生成できるので、パーソナルサリエンシーマップと視線検出部４００により検出した視線分布を比較して、運転者３０２が周辺の危険を認識しているか否かの判断精度を向上させることができる。
（第２の実施形態）
本実施形態は、運転者の運転熟練度を含むドライバー情報を取得し、撮像画像およびドライバー情報に基づいて、運転者の運転熟練度毎のパーソナルサリエンシーマップを生成し、検出した運転者の視線分布と、運転熟練度毎のパーソナルサリエンシーマップとを比較して、運転者の運転熟練度を判別する例である。以下の説明では、第１の実施形態と異なる構成について説明する。
ドライバー情報取得部４０２は、運転者３０２の運転熟練度を含むドライバー情報を取得する。ここで、運転熟練度は、車両１の運転の熟練の度合いである。例えば、運転熟練度は、運転者３０２が、プロドライバーおよび初心者ドライバーのいずれであるか等、運転者３０２の運転の熟練の度合いを示す情報である。
生成部４０３は、画像取得部４０１により取得される撮像画像、およびドライバー情報取得部４０２により取得される運転熟練度を含むドライバー情報に基づいて、運転者３０２の運転熟練度毎のパーソナルサリエンシーマップを生成する。
判断部４０４は、運転熟練度毎のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とを比較して、運転者３０２の運転熟練度を判別する。本実施形態では、判断部４０４は、視線検出部４００により検出された視線分布との差分が最も小さいパーソナルサリエンシーマップに対応する運転熟練度を、運転者３０２の運転熟練度と判別する。
運転熟練度は、車両１の実際の運転動作から判断することが好ましく、車両１の運転時において危険を予測する能力は、運転熟練度に大きく反映される。よって、視線検出部４００により検出される視線分布、および運転熟練度毎のパーソナルサリエンシーマップを用いて運転者３０２の運転熟練度を判別することにより、不確かな運転者３０２の運転熟練度を高精度に判別することが可能となる。
通知部４０５は、運転者３０２の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更（調整）する。具体的には、通知部４０５は、運転者３０２の運転熟練度が予め設定された運転熟練度より低い場合に危険通知を通知する頻度を、運転者３０２の運転熟練度が予め設定された運転熟練度以上である場合に危険通知を通知する頻度よりも多くする。
運転者３０２への危険通知（注意喚起）は、頻繁に行われると煩わしさを伴う。また、視線検出部４００により視線分布を検出可能な周辺視野等の影響によって、検出された視線分布（注視点）のみによって、運転者３０２が視認すべき対象に視線を向けていないと判断することが難しい場合もあり、危険通知が誤報となる可能性もある。
そのため、本実施形態では、通知部４０５は、運転者３０２の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更する。これにより、運転者３０２の運転熟練度が高く危険通知を頻繁に行う必要が無いにも関わらず、危険通知が頻繁に行われることによる煩わしさを軽減したり、運転者３０２の運転熟練度が低く危険通知を積極的に行う必要ある場合には、危険通知が頻繁に行われる安全よりの設計としたりすることが可能となる。
また、通知部４０５は、運転者３０２の運転熟練度の判別結果を、車両１の保険会社の端末に送信することも可能である。これにより、運転者３０２の運転熟練度の判別結果を保険会社と共有し、保険会社は、運転者３０２の運転熟練度に応じた自動車保険の掛け金の設定が可能となり、自動車保険の掛け金を最適化することができる。
次に、図６を用いて、本実施形態にかかる車両１による運転熟練度の判別処理の一例について説明する。図６は、第２の実施形態にかかる車両による運転熟練度の判別処理の一例を説明するための図である。
本実施形態では、図６に示すように、生成部４０３は、画像取得部４０１により取得される撮像画像と、ドライバー情報取得部４０２により取得される性別、運転歴、被験者番号、およびグローバルサリエンシーマップＧＭを入力として、生成型のディープニューラルネットワークによって、運転熟練度毎のパーソナルサリエンシーマップＰＭ２を生成可能な生成モデルを学習する（ステップＳ６０１）。
また、視線検出部４００は、図６に示すように、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像Ｇ１から、運転者３０２の顔の画像ＦＧや目の画像ＥＧを検出する（ステップＳ６０２）。そして、視線検出部４００は、図６に示すように、検出した顔の画像ＦＧおよび目の画像ＥＧに基づいて、画像取得部４０１により取得される撮像画像Ｇ２（例えば、撮像部１５によって車両１の前方を撮像して得られる撮像画像）における、運転者３０２の視線分布Ｂを検出する（ステップＳ６０３）。
次いで、判断部４０４は、図６に示すように、運転熟練度毎のパーソナルサリエンシーマップＰＭ２と、撮像画像Ｇ２における視線分布Ｂとを比較して、検出した視線分布Ｂとの差分が最も小さいパーソナルサリエンシーマップＰＭ２に対応する運転熟練度を、運転者３０２の運転熟練度と判別する（ステップＳ６０４）。
このように、第２の実施形態にかかる車両１によれば、視線検出部４００により検出される視線分布、および運転熟練度毎のパーソナルサリエンシーマップを用いて運転者３０２の運転熟練度を判別することにより、不確かな運転者３０２の運転熟練度を高精度に判別することが可能となる。
（第３の実施形態）
本実施形態は、第１運転熟練度のパーソナルサリエンシーマップと運転者の視線分布とに差がある場合と、第１運転熟練度より高い第２運転熟練度のパーソナルサリエンシーマップと運転者の視線分布とに差がある場合とで、危険通知の通知頻度を変更する例である。以下の説明では、第２の実施形態と同様の構成については説明を省略する。
通知部４０５は、初心者ドライバーの運転熟練度のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合と、プロドライバーの運転熟練度のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。
これにより、初心者ドライバー等の運転熟練度が低い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者３０２しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、プロドライバー等の運転熟練度が高い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者３０２がその対象に対して視線を向けるように促すことができる。
本実施形態では、初心者ドライバー等の運転熟練度（以下、第１運転熟練度と言う）のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合の危険通知の通知頻度を、第１運転熟練度より高いプロドライバー等の運転熟練度（以下、第２運転熟練度と言う）のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合の危険通知の通知頻度よりも多くする。
次に、図７を用いて、本実施形態にかかる車両１による危険通知の通知処理の一例を説明する。図７は、第３の実施形態にかかる車両による危険通知の通知処理の一例を説明するための図である。
本実施形態では、図７に示すように、生成部４０３は、撮像部１５によって車両１の進行方向（例えば、前方）を撮像して得られる撮像画像、ドライバー情報、および車両情報に基づいて、生成モデルによって、第１運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ１、および第２運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ２７０２を生成する（ステップＳ７０１）。
判断部４０４は、図７に示すように、第１運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ１と、第２運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ２とを比較して、パーソナルサリエンシーマップＰＭ１とパーソナルサリエンシーマップＰＭ２とを合成したパーソナルサリエンシーマップＰＭ３において、予め設定されたサリエンシー以上の差異がある判断領域７０１を抽出する（ステップＳ７０２）。
また、視線検出部４００は、図７に示すように、ドライバモニタカメラ２０１により得られる撮像画像Ｇ１から、運転者３０２の顔の画像ＦＧや目の画像ＥＧを検出する（ステップＳ７０３）。そして、視線検出部４００は、図７に示すように、検出した顔の画像ＦＧおよび目の画像ＥＧに基づいて、撮像画像Ｇ２における運転者３０２の視線分布Ｂを検出する（ステップＳ７０４）。
さらに、視線検出部４００は、図７に示すように、撮像画像Ｇ２に対して画像処理を実行して、当該撮像画像Ｇ２に含まれる物体の位置７０２，７０３，７０４を検出する（ステップＳ７０５）。次に、視線検出部４００は、図７に示すように、撮像画像Ｇ２における運転者３０２の視線分布Ｂと、撮像画像Ｇ２に含まれる物体の位置７０２，７０３，７０４の位置とを比較して、撮像画像Ｇ２内において、運転者３０２が視線を向けている物体の位置（例えば、位置７０３）を抽出する。
判断部４０４は、判断領域７０１と抽出した物体の位置７０３とが一致するか否かを判断する。そして、通知部４０５は、判断領域７０１と物体の位置７０３とが一致するか否かに応じて、危険通知の通知頻度を調整する（ステップＳ７０６）。次いで、通知部４０５は、危険通知を実行する（ステップＳ７０７）。図７に示す例では、判断領域７０１と、運転者３０２が視線を向けている物体の位置７０３とが一致しないため、通知部４０５は、予め設定された通知頻度よりも危険通知の通知頻度を多くする。図示しないが、判断領域７０１と、運転者３０２が視線を向けている物体の位置とが一致した場合には、通知部４０５は、危険通知の通知頻度を少なくするか、若しくは、危険通知の通知頻度を予め設定された通知頻度のままとする。
このように、第３の実施形態にかかる車両１によれば、運転熟練度が低い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者３０２しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、運転熟練度が高い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者３０２がその対象に対して視線を向けるように促すことができる。
（第４の実施形態）
本実施形態は、撮像画像に基づいてボトムアップサリエンシーマップを生成し、パーソナルサリエンシーマップからボトムアップサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、検出した視線分布がボトムアップサリエンシーマップと異なる場合と、検出した視線分布がトップダウンサリエンシーマップと異なる場合とで、危険通知の通知頻度を変更する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
生成部４０３は、画像取得部４０１により取得される撮像画像に基づいて、当該撮像画像の輝度や勾配等の特徴量によって決まるサリエンシーマップであるボトムアップサリエンシーマップを生成する。次いで、生成部４０３は、画像取得部４０１により取得される撮像画像、ドライバー情報、および車両情報に基づいて生成モデルによって生成されるパーソナルサリエンシーマップと、ボトムアップサリエンシーマップとの差分を、トップダウンサリエンシーマップとして生成する。
ここで、トップダウンサリエンシーマップは、高速道路の降口近傍における看板や、側道、飛び出し等の確認など、人間の意思が大きく反映されるサリエンシーマップである。トップダウンサリエンシーマップは、パーソナルサリエンシーマップと比較すると、画像としての特徴量は小さいものの、運転者３０２が先読み等によって安全確認のために注視している可能性が高い領域に顕著性を示すサリエンシーマップとなる可能性が高い。
そのため、通知部４０５は、視線検出部４００により検出した視線分布がボトムアップサリエンシーマップと異なる場合と、当該検出した視線分布がトップダウンサリエンシーマップと異なる場合とで、危険通知の通知頻度を変更する。本実施形態では、通知部４０５は、視線検出部４００により検出した視線分布がボトムアップサリエンシーマップと異なる場合よりも、当該検出した視線分布がトップダウンサリエンシーマップと異なる場合における危険通知の通知頻度を多くする。
このように、第４の実施形態にかかる車両１によれば、ボトムアップサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転者３０２が安全確認のために注視する必要性が低いにも関わらず、危険通知が頻繁に行われて、運転者３０２が煩わしさを覚えることを防止できる。また、トップダウンサリエンシーマップと、視線検出部４００により検出された視線分布とに差分があり、運転者３０２が安全確認のために注視する必要性が高い場合には、危険通知を頻繁に行って、運転者３０２に対して安全確認のために注視すべき領域があることを通知することができる。
また、パーソナルサリエンシーマップは、運転者３０２が車両１を運転中に注視し易い領域を反映したものであるため、車両１が走行する道路の近傍に設置される看板等の広告の表示位置の最適化に用いることも可能である。そこで、本実施形態では、生成部４０３は、撮像画像、ドライバー情報、および車両情報に基づいて、運転者３０２の属性（例えば、運転者３０２の性別）毎のパーソナルサリエンシーマップを生成する。そして、通知部４０５は、生成した属性毎のパーソナルサリエンシーマップを、看板等の広告を表示する業者の端末に対して送信する。
これにより、広告を表示する業者は、運転者３０２の属性によって変化するパーソナルサリエンシーマップと、広告の内容とに基づいて、広告の表示位置を最適化することができる。例えば、女性向けの広告は、女性の運転者３０２が注視しやすい領域に設置する。自動車の自動運転化に伴い、運転者３０２の車室２ａ内での行動は変化している。また、自動車は、ＭａａＳ（Mobility as a Service）と呼ばれるように、自動車外のサービスの媒体となる。このような状況では、運転者３０２または車両１の乗員が求める情報を、自動車外の広告等のコンテンツと結びつけることで、車両１の乗員が求める情報と自動車外のサービスとのマッチング率を高めることができる。
１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｆ…ＳＳＤ、１５…撮像部、２０１…ドライバモニタカメラ、４００…視線検出部、４０１…画像取得部、４０２…ドライバー情報取得部、４０３…生成部、４０４…判断部、４０５…通知部。

Claims (4)

  1. 車両の運転者の視線分布を検出する視線検出部と、
    撮像部によって車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、
    前記車両の運転者を識別可能とするドライバー情報を取得するドライバー情報取得部と、
    前記撮像画像および前記ドライバー情報に基づいて、前記撮像画像のサリエンシーマップでありかつ前記運転者毎に異なるパーソナルサリエンシーマップを生成する生成部と、
    前記視線検出部により検出した前記視線分布と、生成した前記パーソナルサリエンシーマップとを比較して、前記運転者が前記車両の周辺の視認すべき対象に視線を向けているか否かを判断する判断部と、
    前記運転者が前記車両の周辺の視認すべき対象に視線を向けていないと判断された場合、前記車両の危険通知を通知する通知部と、
    を備え、
    前記ドライバー情報取得部は、さらに、前記運転者の運転熟練度を含む前記ドライバー情報を取得し、
    前記生成部は、さらに、前記撮像画像および前記ドライバー情報に基づいて、前記運転者の運転熟練度毎の前記パーソナルサリエンシーマップを生成し、
    前記判断部は、さらに、前記視線検出部により検出した前記視線分布と、生成した前記パーソナルサリエンシーマップとを比較して、前記運転者の運転熟練度を判別する、
    運転支援装置。
  2. 前記通知部は、前記運転者の運転熟練度の判別結果に応じて、前記危険通知の通知頻度を変更する請求項１に記載の運転支援装置。
  3. 前記通知部は、第１運転熟練度の前記パーソナルサリエンシーマップと前記視線検出部により検出した前記視線分布との差が予め設定された閾値以上である場合と、前記第１運転熟練度より高い第２運転熟練度の前記パーソナルサリエンシーマップと前記視線検出部により検出した前記視線分布との差が予め設定された閾値以上である場合とで、前記危険通知の通知頻度を変更する請求項１または２に記載の運転支援装置。
  4. 前記生成部は、さらに、前記撮像画像に基づいてボトムアップサリエンシーマップを生成し、前記パーソナルサリエンシーマップから前記ボトムアップサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、前記視線検出部により検出した前記視線分布と前記ボトムアップサリエンシーマップとの差が予め設定された閾値以上である場合と、当該視線分布と前記トップダウンサリエンシーマップとの差が予め設定された閾値以上である場合とで、前記危険通知の通知頻度を変更する請求項１から３のいずれか一に記載の運転支援装置。
JP2018203218A 2018-10-29 2018-10-29 運転支援装置 Active JP7222216B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018203218A JP7222216B2 (ja) 2018-10-29 2018-10-29 運転支援装置
DE102019128840.1A DE102019128840A1 (de) 2018-10-29 2019-10-25 Fahrassistenzgerät
US16/663,638 US11440473B2 (en) 2018-10-29 2019-10-25 Driving assistance apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018203218A JP7222216B2 (ja) 2018-10-29 2018-10-29 運転支援装置

Publications (2)

Publication Number Publication Date
JP2020071537A JP2020071537A (ja) 2020-05-07
JP7222216B2 true JP7222216B2 (ja) 2023-02-15

Family

ID=70325029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018203218A Active JP7222216B2 (ja) 2018-10-29 2018-10-29 運転支援装置

Country Status (3)

Country Link
US (1) US11440473B2 (ja)
JP (1) JP7222216B2 (ja)
DE (1) DE102019128840A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263734B2 (ja) * 2018-10-29 2023-04-25 株式会社アイシン 視認対象判定装置
JP7273544B2 (ja) * 2019-03-07 2023-05-15 株式会社Subaru 車両の情報提供装置、車両の情報提供方法及びプログラム
JP7183943B2 (ja) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 ステアリングモジュール
JP7331729B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
JP7331728B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
US11854242B2 (en) * 2020-09-23 2023-12-26 Apple Inc. Systems and methods for providing personalized saliency models
US11999356B2 (en) 2020-11-13 2024-06-04 Toyota Research Institute, Inc. Cognitive heat map: a model for driver situational awareness
CN112849148B (zh) * 2021-01-11 2023-03-14 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267108A (ja) 2004-03-17 2005-09-29 Denso Corp 運転支援装置
JP2007017340A (ja) 2005-07-08 2007-01-25 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2007133692A (ja) 2005-11-10 2007-05-31 Toyota Motor Corp 運転行動評価装置
JP2018097398A (ja) 2016-12-07 2018-06-21 トヨタ自動車株式会社 視線推定システム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189825B2 (en) * 1994-05-09 2012-05-29 Breed David S Sound management techniques for vehicles
US7835834B2 (en) * 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
KR100708165B1 (ko) 2005-07-20 2007-04-17 삼성전자주식회사 어레이 잉크젯 헤드 및 이를 적용한 잉크젯 화상형성장치
US7668400B2 (en) * 2006-07-31 2010-02-23 Hewlett-Packard Development Company, L.P. Image layout constraint generation
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images
GB2451483B (en) * 2007-07-31 2012-05-30 Hewlett Packard Development Co Image processing method, system and computer readable medium
JP2009093341A (ja) 2007-10-05 2009-04-30 Toyota Central R&D Labs Inc 認知再現装置及びプログラム並びに交通流シミュレーション装置及びプログラム
US8808195B2 (en) * 2009-01-15 2014-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US8649606B2 (en) * 2010-02-10 2014-02-11 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration
US8471691B2 (en) * 2010-06-15 2013-06-25 GM Global Technology Operations LLC Portable vision system
US8675966B2 (en) * 2011-09-29 2014-03-18 Hewlett-Packard Development Company, L.P. System and method for saliency map generation
WO2014042571A1 (en) * 2012-09-17 2014-03-20 Volvo Truck Corporation Method and system for providing a tutorial message to a driver of a vehicle
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US9324161B2 (en) * 2013-03-13 2016-04-26 Disney Enterprises, Inc. Content-aware image compression method
US10213162B2 (en) * 2013-04-06 2019-02-26 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (PPG) signals in a vehicle
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
WO2015045063A1 (ja) * 2013-09-26 2015-04-02 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
US10165176B2 (en) * 2013-10-31 2018-12-25 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
CN106663208B (zh) * 2014-08-28 2019-04-23 高通股份有限公司 时间显著图
US10503999B2 (en) * 2015-03-24 2019-12-10 Hrl Laboratories, Llc System for detecting salient objects in images
US9937791B2 (en) * 2015-04-29 2018-04-10 Ashton Cameron Cofer Systems and methods for detecting and alerting a drowsy driver
CN106296638A (zh) * 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10489691B2 (en) * 2016-01-15 2019-11-26 Ford Global Technologies, Llc Fixation generation for machine learning
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
EP3438948B1 (en) * 2016-05-11 2023-08-30 Sony Group Corporation Image processing apparatus, image processing method, and mobile body
JP6531719B2 (ja) * 2016-05-23 2019-06-19 株式会社デンソー ドライバ状態検知装置、ドライバ状態検知方法
CN109906165A (zh) * 2016-08-10 2019-06-18 兹沃公司 使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备
US10255521B2 (en) * 2016-12-12 2019-04-09 Jack Cooper Logistics, LLC System, method, and apparatus for detection of damages on surfaces
US10379612B1 (en) * 2016-12-16 2019-08-13 Apple Inc. Electronic device with gaze tracking system
US20180229372A1 (en) * 2017-02-10 2018-08-16 JIBO, Inc. Maintaining attention and conveying believability via expression and goal-directed behavior with a social robot
JP7009882B2 (ja) * 2017-09-26 2022-01-26 富士通株式会社 表示プログラム、表示方法、及び表示装置
JP6950432B2 (ja) * 2017-10-05 2021-10-13 トヨタ自動車株式会社 運転支援装置、情報処理装置、運転支援システム、運転支援方法
US10440276B2 (en) * 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
CN107943029A (zh) * 2017-11-15 2018-04-20 苏州佳世达电通有限公司 运输方法及运输系统
US10475145B1 (en) * 2017-12-21 2019-11-12 Shutterstock, Inc. Smart watermarking
US10793186B2 (en) * 2018-01-11 2020-10-06 International Business Machines Corporation Steering assistance based on driver analytics and behavior
US11126257B2 (en) * 2018-04-17 2021-09-21 Toyota Research Institute, Inc. System and method for detecting human gaze and gesture in unconstrained environments
US20200064912A1 (en) * 2018-08-22 2020-02-27 Ford Global Technologies, Llc Eye gaze tracking of a vehicle passenger
US10902279B2 (en) * 2018-09-25 2021-01-26 Honda Motor Co., Ltd. Training saliency

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267108A (ja) 2004-03-17 2005-09-29 Denso Corp 運転支援装置
JP2007017340A (ja) 2005-07-08 2007-01-25 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2007133692A (ja) 2005-11-10 2007-05-31 Toyota Motor Corp 運転行動評価装置
JP2018097398A (ja) 2016-12-07 2018-06-21 トヨタ自動車株式会社 視線推定システム

Also Published As

Publication number Publication date
US20200130578A1 (en) 2020-04-30
DE102019128840A1 (de) 2020-04-30
US11440473B2 (en) 2022-09-13
JP2020071537A (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7222216B2 (ja) 運転支援装置
JP6806156B2 (ja) 周辺監視装置
US20200086793A1 (en) Periphery monitoring device
US10131277B2 (en) Surroundings monitoring apparatus
US9886859B2 (en) Parking assistance device
US11648932B2 (en) Periphery monitoring device
US11787335B2 (en) Periphery monitoring device
JP2016097896A (ja) 画像表示制御装置
US10807643B2 (en) Peripheral monitoring device
US11620834B2 (en) Periphery monitoring device
US20190244324A1 (en) Display control apparatus
US11393223B2 (en) Periphery monitoring device
US10991086B2 (en) Adhered substance detection apparatus
US20200084395A1 (en) Periphery monitoring device
JP7263734B2 (ja) 視認対象判定装置
WO2022168540A1 (ja) 表示制御装置及び表示制御プログラム
US11301701B2 (en) Specific area detection device
JP6965563B2 (ja) 周辺監視装置
JP7276255B2 (ja) 画像処理装置、プログラム、及び画像処理システム
KR102296213B1 (ko) 영상 기록 장치 및 그 동작 방법
JP7380073B2 (ja) 駐車支援装置
JP2022009331A (ja) 周辺監視装置
JP2024056653A (ja) オブジェクト検出システム
JP2022121370A (ja) 表示制御装置及び表示制御プログラム
JP2020071773A (ja) 視線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R150 Certificate of patent or registration of utility model

Ref document number: 7222216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150