JPWO2019175922A1 - 運転支援装置、運転支援方法、及び運転支援プログラム - Google Patents

運転支援装置、運転支援方法、及び運転支援プログラム Download PDF

Info

Publication number
JPWO2019175922A1
JPWO2019175922A1 JP2020505560A JP2020505560A JPWO2019175922A1 JP WO2019175922 A1 JPWO2019175922 A1 JP WO2019175922A1 JP 2020505560 A JP2020505560 A JP 2020505560A JP 2020505560 A JP2020505560 A JP 2020505560A JP WO2019175922 A1 JPWO2019175922 A1 JP WO2019175922A1
Authority
JP
Japan
Prior art keywords
image
driver
attractive
attractive stimulus
stimulus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020505560A
Other languages
English (en)
Other versions
JP6739681B2 (ja
Inventor
淳平 羽藤
淳平 羽藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6739681B2 publication Critical patent/JP6739681B2/ja
Publication of JPWO2019175922A1 publication Critical patent/JPWO2019175922A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Image Analysis (AREA)

Abstract

運転支援装置（１００）は、車両の周辺に存在する実物体を撮影又は検出する周辺検出部（１０５）によって取得された周辺情報から、車両の周辺に存在しドライバが注意すべき実物体である対象物を判定する対象物判定部（１１１）と、対象物より遠方の位置から対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部（１１２）と、実物体に重ねて画像を表示する表示器（１０７）に誘目刺激画像を表示させる表示制御部（１１３）と、ドライバの身体情報を取得する身体情報取得部（１０９）から身体情報を受け取り、身体情報からドライバが感じる視覚刺激に対する身体反応を示す値を算出し身体反応を示す値に基づいて誘目刺激画像がドライバに与える視覚刺激の程度を変更するように誘目刺激画像の表示状態を決める表示パラメータを補正する補正部（１１６）とを有する。

Description

本発明は、車両の周辺に存在する対象物より遠方の位置から対象物の位置に向けて移動するように見える誘目刺激画像を車両のドライバに提示するための運転支援装置、運転支援方法、及び運転支援プログラムに関する。
車両のドライバの意識レベルの度合いに応じて、車両の周辺に存在する障害物である対象物に重なるように強調画像を表示することで、ドライバの視線を対象物に明示的に誘導する装置の提案がある（例えば、特許文献１参照）。
また、車両の周辺に存在する誘目対象物との識別が困難な刺激（例えば、輝度画像）を用いて車両のドライバの視線を誘導することで、ドライバに視線誘導されたことを意識させずに、視線誘導を行う装置の提案がある（例えば、特許文献２参照）。
なお、本出願において「誘目」は、人の視線を引きつけることを意味する。また、「誘目性」は、人の注意を引きつける度合いを表し、「注目性」とも言われる。また、「誘目性が高い」とは、人の視線を引きつける能力が高いことを表し、「人目を引く」とも言われる。
特開平７−０６１２５７号公報（例えば、段落０００４〜０００８） 特開２０１４−０９９１０５号公報（例えば、段落００３９，００５８）
特許文献１に記載の装置では、実物体である対象物に重なるように強調画像が表示されるので、ドライバは、視線誘導された事実を強く認識し、その結果、ドライバが自身の注意力を過信する状況は生じにくい。しかし、この装置を継続的に用いた場合には、ドライバが自身の注意力で対象物を知覚しようとする意識を持たなくなるおそれがある。
また、特許文献２に記載の装置では、誘目対象物に重なるように輝度画像が表示されるので、ドライバは、自身の注意力で対象物を知覚しようとする意識を持たなくなるおそれがある。また、識別し難い輝度画像を用いてドライバの視線を誘導しているため、ドライバは自身の注意力のみで対象物を知覚したと認識して（すなわち、自身の注意力のみで対象物を知覚したと間違って思い込んでしまい）、自身の注意力を過信する状況が生じやすい。ドライバが、自身の注意力を過信した場合には、ドライバが自身の注意力で対象物を知覚しようとする意識が低下する。
また、特許文献１及び２における視線誘導用の画像は、ドライバに対して適切な強さの視覚的な刺激を提供できない場合がある。
本発明は、上記問題点を解決するためになされたものであり、その目的は、誘目刺激画像により車両のドライバに適切な強さの刺激を与えることでドライバの視線を対象物に誘導することができ且つドライバが自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができる運転支援装置、運転支援方法、及び運転支援プログラムを提供することである。
本発明に係る運転支援装置は、車両のドライバの運転を支援する装置であって、前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する対象物判定部と、前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部と、前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる表示制御部と、前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する補正部と、を有することを特徴とする。
本発明の実施の形態に係る運転支援装置のハードウエア構成を示す図である。 実施の形態に係る運転支援装置をドライバが使用している状態の一例を示す図である。 実施の形態に係る運転支援装置によって生成された誘目刺激画像を表示する表示器がＨＵＤのプロジェクタである場合を示す図である。 実施の形態に係る運転支援装置によって生成された誘目刺激画像を表示する表示器がＨＭＤのＡＲグラスである場合を示す図である。 実施の形態に係る運転支援装置を示す機能ブロック図である。 実施の形態に係る運転支援装置の対象物判定部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される新規の誘目刺激計画の作成処理を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理を示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理において用いられる重みを示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される既存の誘目刺激計画の補正処理を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激フレームの作成処理を示すフローチャートである。 対象物としての歩行者が左側の歩道を歩いており、車両が車道の右車線を走行している状態を示す図である。 （ａ）〜（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の例を示す図である。 （ａ）〜（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 （ａ）〜（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 実施の形態に係る運転支援装置の身体反応計測部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激パラメータ補正部の動作を示すフローチャートである。 （ａ）〜（ｃ）は、第１区分、第２区分、第３区分の身体データに対する身体反応の発生確率分布を用いての身体反応を発生させる可能性のある誘目刺激画像の判定処理を示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理を示す説明図である。 （ａ）〜（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 （ａ）〜（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。
以下に、本発明の実施の形態に係る運転支援装置、運転支援方法、及び運転支援プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》構成
図１は、本発明の実施の形態に係る運転支援装置１００のハードウエア構成を示す図である。運転支援装置１００は、実施の形態に係る運転支援方法を実施することができる装置である。図１に示されるように、運転支援装置１００は、制御部１０１を有する。運転支援装置１００は、車両１０（すなわち、自車）のドライバに車両１０の周辺に存在する実物体である対象物を知覚させるための視線誘導を行うことができるように且つドライバが自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができるように、ドライバの視線を誘導するための誘目刺激画像をドライバに視覚的に提示する装置である。また、運転支援装置１００は、車両１０のドライバの身体反応を示す値（例えば、後述する「身体反応確率」及び「身体反応レベル」）に応じて誘目刺激画像が車両１０のドライバに与える視覚的な刺激（「視覚刺激」とも言う）の強さを、適切な強さに補正することができる。
制御部１０１は、情報処理部としてのプロセッサ１０２と、必要なデータとプログラムを記憶する記憶部としてのメモリ１０３とを有する。例えば、プロセッサ１０２は、メモリ１０３に記憶された運転支援プログラムを実行することで、運転支援装置１００を動作させることができる。画像処理プロセッサ１０４の処理は、プロセッサ１０２によって実行されてもよい。制御部１０１及び画像処理プロセッサ１０４は、コンピュータの一部であってもよい。
また、運転支援装置１００は、表示制御部としての画像処理プロセッサ１０４と、車両１０の周辺情報を取得する周辺検出部としてのカメラ１０５と、ドライバに画像を提示する表示器１０７とを備える。周辺情報は、例えば、車両１０の前方の情報であり、カメラ１０５によって撮影された車両１０の前方の画像（以下「前方画像」とも言う）である。
カメラ１０５は、車外撮影用のカメラであり、車両１０の外部の実物体を含む画像（動画像を含む）を撮像し、取得された画像データを、プロセッサ１０２が処理可能な形式で転送する。また、画像データは、車両１０から実物体までの距離を示す距離データを含んでもよい。或いは、プロセッサ１０２は、画像データを解析することによって距離データを算出してもよい。なお、周辺検出部は、カメラ１０５に加えて又はカメラ１０５の代わりに、車両１０の周辺の実物体を検出するレーダーなどのセンサを有してもよい。
表示器１０７は、プロセッサ１０２及び画像処理プロセッサ１０４によって生成され画像フレームを、車両１０のドライバが視認できるように表示する表示装置である。車両１０のドライバは、車両１０のウィンドシールド（すなわち、フロントガラス）を通して知覚する現実の風景に重なるように、表示器１０７が表示する画像フレーム（誘目刺激画像を含む）を視認することができる。
また、運転支援装置１００は、車両１０内におけるドライバの視点位置又は視線を検出する視点センサ１０６と、このドライバの生体状態を検出する生体センサ１０８とを有する。視点センサ１０６と生体センサ１０８とは、ドライバの身体情報を取得する身体情報取得部１０９を構成する。なお、「視点」とは、物を見るために向けた視線がそそがれる点である。また、「視線」とは、目の中心と見ている対象とを結ぶ線である。
生体センサ１０８は、ドライバが感じる視覚刺激に対する身体反応（すなわち、反射的な身体行動）を計測する１個以上のセンサを含む。生体センサ１０８は、複数種類のセンサの集合体であってもよい。人が視覚刺激を感じると、人の身体には様々な身体反応が現われる。身体反応は、例えば、顔に現われる。身体反応は、視認した状況に基づく恐怖心又は驚きなどの心理状態に応じて表われる。顔に表われる身体反応は、例えば、眉又は瞼が上がる、目を大きく見開く、口が横に広がるなどのような表情の変化である。
また、身体反応の他の例は、身を守るため意志とは無関係に起こる反射行動である屈筋反射、車両１０に近づくように移動する対象物を見たときに生じる交感神経の興奮に起因する心拍数の上昇、血圧の上昇、発汗量の増加、などである。生体センサ１０８は、このような身体反応を検出し、身体反応の程度を測定する。また、図１では、視点センサ１０６と、生体センサ１０８とを別個の構成として示しているが、視点センサ１０６は、生体センサ１０８の一部であってもよい。なお、生体センサ１０８が検出又は測定する身体反応は、上記の例に限定されない。
また、運転支援装置１００は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェース１１０を有する。ＣＡＮインタフェース１１０は、運転支援装置１００を、車両１０の各種の機器の間でデータ交換を行うＣＡＮネットワークに接続するためのインタフェースである。運転支援装置１００は、ＣＡＮインタフェース１１０を介してドライバの運転行動に関する各種の運転データを取得する。各種の運転データは、例えば、ブレーキペダルの踏み具合、アクセルの踏み具合、ハンドルの回転状況、変速ギアの状態などを示す。ドライバは、車両１０の前方に衝突の可能性がある人、他の車両、動物などの障害物を認識すると、アクセルの踏み具合を弱める又はアクセルから足を離す、ブレーキを踏む、ハンドルを握りかえる、障害物との距離を増やす方向にハンドルを切る、と言った身体反応、すなわち、行動を取る。これらの身体反応が発生しているかを運転データから検出するために、ＣＡＮインタフェース１１０は、用いられる。したがって、身体情報取得部１０９は、生体センサ１０８及び視点センサ１０６に加えて、ＣＡＮインタフェース１１０を含んでもよい。つまり、身体情報取得部１０９が取得する身体情報としての身体データは、ＣＡＮインタフェース１１０を通して取得されるドライバの運転行動に関する情報、すなわち、行動データを含んでもよい。
図２は、実施の形態に係る運転支援装置１００を車両１０のドライバ３０が使用している状態の一例を示す図である。図２は、ドライバ３０が運転席２１で車両１０を運転している状態を示している。図２の例では、ドライバ３０は、ウィンドシールド２２を通して車両１０の前方を目視しており、ドライバ３０からは、道路４０及び実物体（図２では、対象物５０としての歩行者）が見えている。車両１０の前方を撮影するカメラ１０５は、例えば、ウィンドシールド２２の上部中央付近に設置される。通常、カメラ１０５は、ドライバ３０がウィンドシールド２２越しに見ている風景に近い映像を撮像できるように配置される。
また、視点センサ１０６は、ドライバ３０の顔、特に目を検出できる位置に設置される。視点センサ１０６は、例えば、ハンドル２３、インストルメントパネル２４などに設置されてもよい。図１に示されるプロセッサ１０２、メモリ１０３、画像処理プロセッサ１０４、及びＣＡＮインタフェース１１０は、ダッシュボード２５の内部などに設定されてもよい。
生体センサ１０８は、センサの検出対象に応じて車両１０の適切な場所に配置される。例えば、生体センサ１０８が、顔の表情をとらえる表情センサである場合は、生体センサ１０８は、視点センサ１０６と同じ位置に配置される。また、生体センサ１０８が、ドライバ３０の発汗量、心拍数、血圧値などを計測するセンサである場合は、生体センサ１０８は、例えば、ドライバ３０が接触するハンドル２３、ドライバ３０が装着する衣服、ドライバ３０が座る運転席２１の座面又は背板部に配置される。
図２には、表示器１０７は示されていない。表示器１０７は、図３及び図４に例示される。なお、図２から図４は、車両１０が左ハンドルを備えており、道路４０の右車線を前進走行している場合を例示しているが、車両１０の構造、走行車線、及び道路４０の形状は、図示の例に限定されない。
図３は、実施の形態に係る運転支援装置１００によって生成された誘目刺激画像６０を表示する表示器がＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）のプロジェクタ１０７ａである場合を示す図である。図３の例では、ダッシュボード２５上にプロジェクタ１０７ａが配置されている。プロジェクタ１０７ａによって投影される画像フレーム（誘目刺激画像６０を含む）は、ドライバ３０が視認するためにウィンドシールド２２の全体に設置された投影面上に投影される。ドライバ３０は、ウィンドシールド２２を通して見る風景（実物体を含む）に重ねて、プロジェクタ１０７ａによって投影される画像フレームを視認することができる。
図４は、実施の形態に係る運転支援装置１００によって生成された誘目刺激画像６０を表示する表示器がＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス１０７ｂ（例えば、拡張現実画像用めがね）である場合を示す図である。図４の例では、ドライバ３０は、ＡＲグラス１０７ｂを装着し、画像フレーム（誘目刺激画像６０を含む）を視認することができる。ドライバ３０は、ウィンドシールド２２を通して見る風景（実物体を含む）に重ねて、ＡＲグラス１０７ｂによって投影される画像フレームを視認することができる。なお、視点センサ１０６と、生体センサ１０８の全体又は一部とを、ＡＲグラス１０７ｂに備えてもよい。
図５は、実施の形態に係る運転支援装置１００を示す機能ブロック図である。図５に示されるように、運転支援装置１００は、対象物判定部１１１と、誘目刺激画像生成部１１２と、表示制御部１１３と、身体反応計測部１１４と、誘目刺激パラメータ補正部１１５とを有する。身体反応計測部１１４と誘目刺激パラメータ補正部１１５とは、誘目刺激画像がドライバに与える視覚刺激の強さを補正（すなわち、調整）する補正部１１６を構成する。
身体反応計測部１１４は、ドライバ３０の顔の表情、筋緊張、屈筋反射、心拍数、血圧値、視線、及び運転行動の内の１つ以上の変化を計測した結果に基づいて、身体反応を示す値を算出することができる。運転支援装置１００は、車両１０のドライバ３０の運転を支援するために、表示器１０７に誘目刺激画像６０を表示させ、ドライバ３０の視線を誘目刺激画像６０によって対象物に徐々に誘導する。また、運転支援装置１００は、車両１０のドライバ３０の身体反応を示す値（例えば、「身体反応確率」及び「身体反応レベル」）に応じて誘目刺激画像６０が車両１０のドライバに与える視覚刺激の強さを、適切な強さに補正する。本出願において、ドライバ３０の身体反応を示す値は、「身体反応確率」と「身体反応レベル」とを含む。
対象物判定部１１１は、車両１０の周辺に存在する実物体を撮影又は検出する周辺検出部としてのカメラ１０５によって取得された周辺情報から、車両１０の周辺に存在しドライバ３０が注意すべき実物体である対象物５０を判定する。対象物５０は、車両の周辺に存在しドライバ３０が注意すべき実物体（特に、移動する物体）である。例えば、対象物５０は、人、他の車両、動物のように車両１０が衝突を回避すべき実物体である。対象物５０は、移動する物体に限定されない。ただし、対象物判定部１１１は、対象物５０を移動する物体に限定して選択してもよい。
誘目刺激画像生成部１１２は、対象物５０より遠方の位置から対象物５０が存在する位置に向けて移動するように見える誘目刺激画像６０を生成する。表示制御部１１３は、実物体である対象物５０に重なるように見える画像である誘目刺激画像６０を表示器１０７に表示させる。
身体反応計測部１１４は、身体情報取得部１０９から身体データ（例えば、各種センサデータ）を受け取り、この身体情報を用いて現時点においてドライバ３０が感じる視覚刺激に対する身体反応が有るか否かを１回以上（例えば、間隔を開けて繰り返し又は周期的に繰り返し）検出し、視覚刺激に対する身体反応が有る確率（すなわち、身体反応確率）を算出し、この身体反応が有る場合（身体データが示す値が閾値以上である場合）には、その身体反応の程度（すなわち、身体反応レベル）を算出する処理を行う。
例えば、身体データが、発汗量、心拍数、又は血圧値である場合には、身体反応が示す値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、表情データである場合には、表情データの変化（例えば、口の開け方、目の開き方、瞼又は眉の動きなど）を数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、視線データである場合には、視線データが示す視線の動きを数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、運転行動データである場合には、運転行動データが示すドライバの動きの大きさ、動きの速さなどを数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。
誘目刺激パラメータ補正部１１５は、身体反応計測部１１４で算出された身体反応を示す値（例えば、身体反応確率と身体反応レベル）と、対象物判定部１１１で判定された対象物と、誘目刺激画像生成部１１２で生成された誘目刺激画像とから、ドライバ３０の身体反応が、いずれの対象物又はいずれの誘目刺激画像６０が原因で発生したのかを判定し、この判定の結果に基づいて、次に生成する誘目刺激画像６０の表示パラメータを補正（すなわち、調整）する処理を行う。
《２》動作
以下に、実施の形態に係る運転支援装置１００の動作（すなわち、運転支援方法）を説明する。図６は、対象物判定部１１１の動作を示すフローチャートである。図６に示される一連の処理は、例えば、車両１０の走行中において、予め決められた時間間隔で繰り返し実行される。
先ず、処理ステップＳ１０１において、対象物判定部１１１は、例えば、カメラ１０５によって撮像された車両１０の前方の画像（実物体を含む）を示す周辺情報（すなわち、前方画像）を取得する。
次の処理ステップＳ１０２において、対象物判定部１１１は、前方画像から対象物となり得る実物体の抽出処理を行う。抽出される実物体は、例えば、人、他の車両、動物などのような移動する実物体である。前方画像から実物体を抽出する手段は、実世界の情報を取得する技術と物体を認識するための技術とに関するコンピュータビジョン技術などのような既知の技術を適用することによって実現可能である。抽出された実物体が複数存在する場合は、運転支援装置１００の制御部１０１の処理負荷を軽減するため及びドライバ３０の負担を軽減するために、複数の実物体の内の優先度の高い１つ又は数個の実物体のみを、誘目刺激画像６０を生成する対象としての対象物５０として扱う（すなわち、複数の実物体の内の１つ以上の実物体のみを対象物５０とする絞り込みを行う）ことが望ましい。
対象物５０は、例えば、以下の第１から第５の条件のいずれかを満たすものである。
（第１の条件）車両１０との衝突確率が予め決められた一定値以上である実物体。
（第２の条件）車両１０との距離が予め決められた一定値以下である実物体。
（第３の条件）車両１０に向けて移動しており、移動速度が予め決められた一定値以上である実物体。
（第４の条件）視点センサ１０６の検出結果から、ドライバ３０が未だ知覚していないと判定された実物体。
（第５の条件）第１から第４の条件の内の２つ以上の組み合わせを満たす実物体。
また、第１から第４の条件に優先度を設定してもよい。さらに、第１から第４の条件の内の、満足する条件の個数が多い移動体の優先度を高いと判定してもよい。また、優先度を、例えば、人、他の車両、動物の順に設定してもよい。さらに、予め決められた条件を満たす実物体の中から、上位の優先度を持つ、予め決められた個数の実物体を対象物として選択してもよい。
処理ステップＳ１０２において抽出される対象物５０に関する情報は、例えば、カメラ１０５によって撮影された画像において対象物５０が占める領域を示す対象物領域情報、車両１０から対象物５０までの距離を示す対象物距離情報、及び対象物の重心位置を示す対象物重心座標情報を含む。対象物５０は、複数個であってもよい。
処理ステップＳ１０３において、対象物判定部１１１は、処理ステップＳ１０２で抽出された各対象物５０が処理ステップＳ１０４〜Ｓ１０７の処理を実施済みの対象物であるか否かを判定する。すなわち、対象物判定部１１１は、複数の対象物５０を順に処理する場合に、対象物５０が処理済みの対象物であるか未処理の対象物であるかを判定する。対象物判定部１１１は、対象物５０が処理済みの対象物である場合には、処理を処理ステップＳ１０８に進め、対象物５０が未処理の対象物である場合には、処理を処理ステップＳ１０４に進める。
処理ステップＳ１０４において、対象物判定部１１１は、処理対象になっている対象物５０である今回対象物が、今回よりも以前に抽出された対象物である前回対象物に一致するか否かを判定する。このとき、前回対象物に関する情報は、前回対象物に関する処理ステップＳ１０７においてメモリ１０３に記録された対象物データから取得される。対象物判定部１１１は、今回対象物に一致する前回対象物が無い場合には、処理を処理ステップＳ１０５に進め、今回対象物に一致する前回対象物がある場合には、処理を処理ステップＳ１０６に進める。
処理ステップＳ１０５において、対象物判定部１１１は、今回対象物である新規対象物を一意に識別するための新規の識別子を、今回対象物に関連付ける処理を行う。
処理ステップＳ１０６において、対象物判定部１１１は、今回対象物を一意に識別するための識別子（すなわち、一致する前回対象物の識別子）を、今回対象物に関連付ける処理を行う。
処理ステップＳ１０７において、対象物判定部１１１は、対象物５０を示す対象物データをメモリ１０３に記録する。対象物データは、例えば、処理ステップＳ１０５又はＳ１０６で関連付けした識別子、対象物５０が含まれる車両１０の前方の画像データ、対象物５０までの距離を示す距離データ、対象物５０によって占有される領域を示すデータ、対象物５０の重心座標、及び対象物５０の優先度などを含む。また、対象物データは、例えば、他の処理で必要となる各種のフラグデータ又は他の処理で必要となる各種のパラメータを含む。フラグデータは、例えば、対象物データの有無を示す既視フラグ（初期値はオフ）又は誘目刺激画像を表示したか否かを示す表示完了フラグ（初期値はオフ）又はドライバ３０の身体反応を示す値が閾値を超えているか否かを示すフラグ（初期値はオフ）などがある。処理ステップＳ１０７における記録の完了後、対象物判定部１１１は、処理を処理ステップＳ１０３に戻し、同じ前方画像内に存在する対象物５０の各々について、処理ステップＳ１０４からＳ１０７の処理を繰り返す。
対象物判定部１１１は、処理ステップＳ１０１で取得した画像上で検出された対象物５０の全てに対する処理が終わったときに、処理を処理ステップＳ１０８に進める。処理ステップＳ１０８において、対象物判定部１１１は、記録されている前回対象物の中で、今回対象物に一致するものがなかった前回対象物があるか否かを判定する。対象物判定部１１１は、有る場合には（Ｓ１０８においてＹＥＳ）、処理を処理ステップＳ１１０に進め、無い場合には（Ｓ１０８においてＮＯ）、処理を処理ステップＳ１０１に戻す。
処理ステップＳ１１０において、対象物判定部１１１は、対象物に関するデータである対象物データ及び対応する誘目刺激計画を削除する条件を満たすか否かを判定する。対象物判定部１１１は、条件を満たさない場合には（Ｓ１１０においてＮＯ）、処理を処理ステップＳ１０８に戻し、次の誘目刺激画像に関する処理を継続する。また、対象物判定部１１１は、条件を満たす場合には（Ｓ１１０においてＹＥＳ）、処理を処理ステップＳ１１１に進める。データを削除する条件は、例えば、各種フラグがオンに変化してからの経過時間が予め決められた一定時間以上となった場合である。ただし、データを削除する条件は、これに限定されない。
処理ステップＳ１１１において、対象物判定部１１１は、ドライバ３０に提示された誘目刺激画像６０の履歴を管理する誘目刺激履歴データから、対応する履歴を削除し、その後、処理を処理ステップＳ１０９に進める。誘目刺激履歴データは、メモリ１０３に記録されており、その生成は、誘目刺激画像生成部１１２の内部処理にて行われる。
処理ステップＳ１０９において、対象物判定部１１１は、前回対象物の内の今回対象物に一致するものがなかったものをメモリ１０３から削除し、削除された前回対象物に関する不要データをメモリ１０３から除去する。対象物判定部１１１は、処理ステップＳ１０９の後に、処理を処理ステップＳ１０８に進める。
ただし、対象物判定部１１１は、処理ステップＳ１０９の削除を行わないことも可能である。これは、処理ステップＳ１０２における対象物５０の抽出が、ノイズ又は処理方法の制約などによって、正確に実行できない場合があり得るからである。また、対象物判定部１１１は、処理ステップＳ１０８におけるＹＥＳの判定が予め決められた一定回数以上あった場合に、不要データをメモリ１０３から削除してもよい。また、対象物判定部１１１は、処理ステップＳ１０８におけるＹＥＳの判定の後、予め決められた一定時間が経過した後に、不要データをメモリ１０３から削除するようにしてもよい。
図７は、誘目刺激画像生成部１１２の動作を示すフローチャートである。誘目刺激画像生成部１１２は、対象物判定部１１１によって抽出された対象物５０に関する対象物データをもとに、各対象物５０に対して、どのような誘目刺激画像を生成すべきかの計画である誘目刺激計画を生成又は補正（すなわち、変更）し、誘目刺激画像を含む誘目刺激フレームを生成する。
処理ステップＳ２０１において、誘目刺激画像生成部１１２は、メモリ１０３に記録された対象物データの中に誘目刺激画像生成部１１２で処理していないものがあるか否か、すなわち、未処理の対象物があるか否かを判定する。誘目刺激画像生成部１１２は、未処理の対象物がある場合には、処理を処理ステップＳ２０２に進め、未処理の対象物がない場合には、処理を処理ステップＳ２１０に進める。
処理ステップＳ２０２において、誘目刺激画像生成部１１２は、ドライバ３０が対象物５０を見ているか否かを判定する。この判定は、例えば、カメラ１０５による前方画像の撮影時刻に最も近い時刻に視点センサ１０６で取得されたドライバ３０の視点位置及び視線を用いて、視点が対象物領域に重なっているか否かに基づいて行うことができる。この場合、視点センサ１０６のパラメータとカメラ１０５のパラメータとは、予め適切にキャリブレーションされているものとする。
ただし、ドライバ３０の視線移動によって視点が対象物領域に偶然重なる状態が発生し得る。したがって、誘目刺激画像生成部１１２は、視点が対象物領域に重なる状態が、予め決められた一定時間以上である場合に、ドライバ３０が対象物５０を見ていると判定してもよい。この場合には、対象物データとして、ドライバ３０が対象物５０を見ていた時間（すなわち、継続時間）も併せて記録される。また、誘目刺激画像生成部１１２は、対象物データとして記録される既視フラグがオンになっている場合に、ドライバ３０が対象物５０を見ていると判定するようにしてもよい。
誘目刺激画像生成部１１２は、ドライバ３０が対象物５０を見ていると判定された場合、処理を処理ステップＳ２０３に進め、対象物５０を見ていないと判定された場合、処理を処理ステップＳ２０５に進める。
処理ステップＳ２０３において、誘目刺激画像生成部１１２は、既にドライバ３０が見ている対象物５０の対象物データは既に視認済みの対象物５０に関するものであることを示すため、対応する対象物データ中の既視フラグをオンに変更し、処理を処理ステップＳ２０４に進める。ただし、一度見ていると判定された場合であっても、その後対象物を見ていない時間が経過すると、ドライバ３０による対象物に対する認識の程度は低下する。そのため、誘目刺激画像生成部１１２は、見ていると判定されてから次に見ていると判定されるまでの経過時刻が、予め決められた一定時間以上である場合には、表示完了フラグをオフに戻し、既視フラグをオフに戻すようにしてもよい。
処理ステップＳ２０４において、誘目刺激画像生成部１１２は、既視フラグがオンの対象物５０に対応する誘目刺激計画をメモリ１０３から削除し、この対象物５０について誘目刺激画像を生成しないようにし、処理を処理ステップＳ２０１に戻す。
処理ステップＳ２０５において、誘目刺激画像生成部１１２は、対象物５０に対する誘目刺激画像６０の表示が既に完了しているか否かを判定する。誘目刺激画像生成部１１２は、対応する対象物データ中の表示完了フラグがオンになっている場合は、誘目刺激画像６０の表示が完了していると判定し、表示完了フラグがオフの場合には、誘目刺激画像６０の表示が未完了と判定する。誘目刺激画像生成部１１２は、完了の場合（Ｓ２０５においてＹＥＳ）には、処理を処理ステップＳ２０１に戻し、未完了の場合には（Ｓ２０５においてＮＯ）、処理を処理ステップＳ２０６に進める。
処理ステップＳ２０６において、誘目刺激画像生成部１１２は、対象物５０に対応する誘目刺激計画が既に生成されているか否かを判定する。誘目刺激画像生成部１１２は、誘目刺激計画が未生成の場合には、処理を処理ステップＳ２０７に進め、誘目刺激計画が生成済みの場合には、処理を処理ステップＳ２０８に進める。
処理ステップＳ２０７において、誘目刺激画像生成部１１２は、誘目刺激計画が未生成の対象物５０に対する新規の誘目刺激計画の作成処理を行う。
図８は、処理ステップＳ２０７における新規の誘目刺激計画の作成処理を示すフローチャートである。処理ステップＳ３０１において、誘目刺激画像生成部１１２は、ドライバ３０が運転する車両１０の座標を取得する。車両１０の座標は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｎｉｎｇ Ｓｙｓｔｅｍ）などを用いたグローバルな座標系であってもよいが、運転支援装置１００の位置を基準とした座標系における位置であってもよい。例えば、カメラ１０５の設置位置を基準座標（すなわち、原点）とした座標系を用いてもよい。また、車両１０の重心位置を基準座標としてもよく、又は、フロントバンパーの中央位置を基準座標としてもよい。或いは、現在時刻から予め決められた一定時間経過後の時点（すなわち、未来の時刻）に車両１０が存在するであろうと予測される位置における車両１０の重心座標又はフロントバンパーの中央位置の座標を基準座標としてもよい。
処理ステップＳ３０２において、誘目刺激画像生成部１１２は、対象物の座標を、運転支援装置１００を基準位置とした座標系の座標に変換する処理を行う。運転支援装置１００を基準位置として座標系は、例えば、カメラ１０５の設置位置を原点とした座標系である。この座標変換により、対象物５０の座標を、車両１０の座標と同一の座標系の座標で表現することができる。
処理ステップＳ３０３において、誘目刺激画像生成部１１２は、誘目刺激画像をどのようにドライバ３０に提示するかの計画である誘目刺激計画を作成する。
図９は、誘目刺激画像生成部１１２によって実行される誘目刺激計画の作成処理を示す説明図である。図９には、ＸＹＺ座標系が示される。Ｘ軸は、路面に平行であり且つ車両１０の走行方向を向く座標軸である。Ｙ軸は、路面に平行であり且つ車両１０の車幅方向を向く座標軸である。Ｚ軸は、路面に垂直であり且つ車両１０の車高方向を向く座標軸である。
以下に、対象物５０と車両１０が存在する例について、誘目刺激計画の作成処理を説明する。図９の例では、座標５０ａは、対象物５０の座標である対象物座標であり、座標１０ａは、車両１０の座標である。この座標１０ａは、車両１０が、例えば、誘目刺激画像の生成時刻Ｔ０から予め決められた一定時間Ｔだけ経過した時刻（Ｔ＋Ｔ０）において車両１０が存在すると予測される座標である。
座標６０ａは、誘目刺激画像が描画される初期位置を示す座標である。座標６０ａは、車両１０の座標１０ａから対象物５０の座標５０ａに向かう半直線を含み、地面（すなわち、路面）に対して垂直な平面上の座標である。座標６０ａの高さ（すなわち、Ｚ軸方向の位置）は、例えば、座標５０ａのＺ軸方向の位置と同じに設定される。座標６０ａは、座標５０ａに向けて移動速度Ｓで、移動時間Ｔ１の期間移動した場合に座標５０ａに到達する。座標６０ａは、座標５０ａを基準にして、座標１０ａの反対側に位置する。座標６０ａは、誘目刺激画像の初期座標である。
誘目刺激画像は、座標６０ａを始点として対象物５０に向かって移動速度Ｓで移動時間Ｔ１にわたって移動する視覚的な刺激画像として提示される。また、誘目刺激画像は、対象物５０に到達後、重畳時間Ｔ２の期間、誘目刺激画像が対象物５０に重畳する視覚的な刺激画像として提示される。
移動速度Ｓ、移動時間Ｔ１、及び重畳時間Ｔ２は、予め決められた固定値であってもよいが、状況に応じて変化する可変値であってもよい。例えば、移動速度Ｓは、人の周辺視野において移動として知覚可能な最低速度（下限速度）以上で且つ最高速度（上限速度）未満とすることで、ドライバ３０が対象物付近に視線を向けていないときでも、ドライバ３０の周辺視野で移動を知覚可能とすることができる。
また、移動時間Ｔ１を人の視覚の反応速度を基準に設定することによって、誘目刺激画像自体の移動をドライバ３０に中心視野で知覚される前に対象物５０に重畳を完了させることができる。この場合、誘目刺激画像がドライバ３０に与える刺激と、対象物５０がドライバ３０に与える刺激との大きすぎる差異を提示しないことができる。
また、各時点におけるドライバ３０の視点位置と対象物５０の座標との距離に応じて、誘目刺激画像の表示パラメータ（例えば、移動速度Ｓ、移動時間Ｔ１、及び重畳時間Ｔ２）に重みづけを行うようにしてもよい。例えば、対象物５０までの距離と移動速度Ｓ、又は対象物５０までの距離と移動時間Ｔ１との間に正の相関関係を持たせるような重みづけをしてもよい。
また、各時点におけるドライバ３０の視点ベクトルに基づいて重みづけをしてもよい。図１０は、視点ベクトルとドライバ３０の正面に配置されたＹＺ平面に平行な仮想的な平面７０上の空間分割領域ごとの重み値を示す説明図である。図１０において、平面７０は、ドライバ３０の視点ベクトルが点７１を通過するときに、視点ベクトルが平面７０の垂線となる。空間の領域分割の方法としては、種々の方法を採用可能であるが、図１０の例では、点７１を中心として水平方向の半径が垂直方向の半径よりも長くなるような楕円を同心円で複数個設定し、分割すると共に、点７１を通る平行線と垂直線で分割を行っている。対象物５０の座標とドライバ３０の目の位置とを結ぶ線分が平面７０と交差する点７３が含まれる領域に記載の重み値が、表示パラメータを算出する際の重みづけ計算に用いられる。図１０においては、重み値は、１．２となり、移動速度Ｓ、移動時間Ｔ１の値をその重み値に応じて（例えば、重み値に比例して）変化させる。
また、ドライバ３０の個人毎の特性によってこれらの表示パラメータは、変化するため、ドライバ３０の個人の特性に合わせて重み値を決定してもよい。また、個人毎であっても体調などによって表示パラメータは、変化するため、生体センサを備え、生体センサの検出結果に基づいて検出されるドライバ３０の状態に応じて、重み値を変化させてもよい。
特に速度限界などは、ドライバ３０の視点から見た場合のパラメータとなるため、これらのパラメータを求める場合には、一旦座標系をドライバ３０の視点座標を限定とした座標系に変換してから求めてもよい。その場合のドライバ３０の視点座標は、視点センサ１０６から取得されるデータと視点センサ１０６とカメラ１０５の相対位置を用いて変換してもよい。
次に具体的な誘目刺激画像の内容について説明する。誘目刺激画像は、対象物５０を包含する最小の矩形の図形、対象物のエッジを強調し中抜きした図形、対象物の輝度等の色彩を調整して生成した図形などであってもよい。また、誘目刺激画像は、対象物を包含する最小の矩形の図形、又は対象物のエッジを誘目刺激画像の初期座標に平行移動したときに、エッジに囲まれる画像領域に対して輝度等の色彩を調整して生成した図形であってもよい。誘目刺激画像をどのような画像にするかは、特に制限されない。ただし、誘目刺激画像として表示される図形の向きは、対象物５０の面と平行となるように設定することが望ましい。或いは、誘目刺激画像の初期座標から車両１０の座標に向かうベクトルに垂直になるように、対象物５０の向きを設定してもよい。
処理ステップＳ３０３で生成する誘目刺激計画には、生成時刻Ｔ０、誘目刺激画像の初期座標、誘目刺激画像が移動する対象物に向かって移動するときの移動速度Ｓ及び移動時間Ｔ１、誘目刺激画像を対象物に重畳させる重畳時間Ｔ２、誘目刺激画像の内容種別、誘目刺激の内容を決定するための各種パラメータが含まれる。
図８の誘目刺激計画の生成完了により処理ステップＳ２０７は完了し、誘目刺激画像生成部１１２は、処理を図７の処理ステップＳ２０９に進める。
図７の処理ステップＳ２０８においては、誘目刺激画像生成部１１２は、誘目刺激計画が生成済みの対象物５０に対する誘目刺激画像の補正処理を行う。処理ステップＳ２０８においては、既に誘目刺激計画が生成されているため、現時点の状況に合わせて誘目刺激計画の内容を補正する。
図１１は、誘目刺激画像生成部１１２によって実行される既存の誘目刺激計画の補正処理である処理ステップＳ２０８を示すフローチャートである。
処理ステップＳ４０１は、図８の処理ステップＳ３０１と同様の処理である。処理ステップＳ４０２は、図８の処理ステップＳ３０２と同様の処理である。
処理ステップＳ４０３において、誘目刺激画像生成部１１２は、誘目刺激画像が対象物５０に向かって移動する移動時間Ｔ１の残り時間が有るか否か判定する。具体的には、誘目刺激画像生成部１１２は、現在時刻をＴとした場合に、
条件「Ｔ−Ｔ０＜Ｔ１」を満たす場合は、移動時間Ｔ１の残り時間が有る（Ｓ４０３においてＹＥＳ）と判定し、処理を処理ステップＳ４０５に進め、それ以外の場合には、移動時間Ｔ１の残り時間が無い（Ｓ４０３においてＮＯ）と判定し、処理を処理ステップＳ４０４に進める。
処理ステップＳ４０４において、既に誘目刺激画像は、対象物５０に重畳している状態である。このとき、誘目刺激画像生成部１１２は、誘目刺激画像を対象物５０に重畳させる重畳時間Ｔ２の残り時間が有るか否かを判定する。具体的には、誘目刺激画像生成部１１２は、現在時刻をＴとした場合に、
条件「Ｔ−Ｔ０＜Ｔ１＋Ｔ２」を満たす場合は、重畳時間Ｔ２の残り時間が有る（Ｓ４０４においてＹＥＳ）と判定し、処理を処理ステップＳ４０７に進め、それ以外の場合には、重畳時間Ｔ２の残り時間が無い（Ｓ４０４においてＮＯ）と判定し、処理を処理ステップＳ４０９に進める。
処理ステップＳ４０５において、誘目刺激画像は、当該誘目刺激画像の対象物５０に向かって移動中の状態である。このとき、誘目刺激画像生成部１１２は、現時点での誘目刺激画像が存在すべき座標である誘目刺激画像の座標を算出する。誘目刺激画像の座標の算出方法は、誘目刺激画像の初期座標の算出方法と基本的には、同じであるが、算出に際し、移動時間Ｔ１の代わりに、Ｔを現在時刻としたときの「Ｔ１−（Ｔ−Ｔ０）」を用いる。また、車両１０の座標は、現在時刻を基準に座標を再計算せずに、誘目刺激画像の初期座標を求めた際に用いた座標をそのまま用いてもよい。誘目刺激画像生成部１１２は、誘目刺激画像の座標を算出した後に、処理を処理ステップＳ４０８に進める。
処理ステップＳ４０７において、誘目刺激画像は、当該誘目刺激画像の対象物に重畳中の状態である。このとき、誘目刺激画像生成部１１２は、現時点での誘目刺激画像が存在すべき座標である誘目刺激画像の座標を算出する。処理ステップＳ４０７では、処理ステップＳ４０５の場合と異なり、誘目刺激画像は、当該誘目刺激画像の対象物に重畳しているため、誘目刺激画像の座標として対象物座標を用いる。誘目刺激画像生成部１１２は、誘目刺激画像の座標を算出した後に、処理を処理ステップＳ４０８に進める。
処理ステップＳ４０８において、誘目刺激画像生成部１１２は、処理ステップＳ４０５又はＳ４０７で算出した誘目刺激画像の座標で誘目刺激計画を更新し、メモリ１０３における誘目刺激計画を最新化し、処理ステップＳ２０８の処理を終了する。
処理ステップＳ４０４において、誘目刺激画像が当該誘目刺激画像の対象物に重畳する重畳時間を過ぎた場合に、処理は処理ステップＳ４０９に進む。このとき、誘目刺激画像生成部１１２は、誘目刺激画像の表示を停止するために、対象物データの表示完了フラグをオンにする。
処理ステップＳ４１０において、誘目刺激画像生成部１１２は、不要となった誘目刺激計画をメモリ１０３から削除する。削除完了後、図７の処理ステップＳ２０８の処理は終了し、図７の処理ステップＳ２０９の処理に進む。
処理ステップＳ２０９において、誘目刺激画像生成部１１２は、処理ステップＳ２０７で生成された又は処理ステップＳ２０８で補正された誘目刺激計画を、メモリ１０３に記録する。記録完了後、誘目刺激画像生成部１１２は、処理を処理ステップＳ２０１に戻し、次の対象物に関する処理を行う。
処理ステップＳ２０１において未処理の対象物が無い場合には、処理は処理ステップＳ２１０に進む。処理ステップＳ２１０は、現在の前方画像上の対象物に対する誘目刺激画像生成部１１２による処理が完了したときに実行される処理であり、全ての誘目刺激計画に基づいて、誘目刺激画像を表示するための誘目刺激フレームを作成する。
図１２は、誘目刺激画像生成部１１２によって実行される誘目刺激フレームの生成処理である処理ステップＳ２１０を示すフローチャートである。
処理ステップＳ５０１において、誘目刺激画像生成部１１２は、視点センサ１０６からドライバ３０の視点座標を取得する。処理ステップＳ５０２において、誘目刺激画像生成部１１２は、これまでの処理で用いていた座標系を処理ステップＳ５０１で取得したドライバ３０の視点座標を原点とした座標系に変換する。処理ステップＳ５０３において、誘目刺激画像生成部１１２は、変換された座標系のデータを用いて、実際に視覚的に提示する１つ以上の誘目刺激画像を含む誘目刺激フレームを作成し、作成した誘目刺激フレームを表示制御部１１３に転送する。
表示制御部１１３は、誘目刺激画像生成部１１２で生成した誘目刺激フレームを逐次、表示器１０７に提供し、表示器１０７によってドライバ３０に誘目刺激フレームを表示させる。
処理ステップＳ５０３において、誘目刺激画像生成部１１２は、変換された座標系のデータを用いて、実際に視覚的に提示する誘目刺激フレームを作成し、作成した誘目刺激フレームを表示制御部１１３に転送し、処理を処理ステップＳ５０４に進める。
処理ステップＳ５０４において、誘目刺激画像生成部１１２は、対象となる誘目刺激画像に関する履歴が誘目刺激履歴データに存在しているか否か（すなわち、登録されているか否か）を判定する。誘目刺激画像生成部１１２は、存在していない場合には、処理を処理ステップＳ５０５に進め、存在している場合には、処理を終了する。
処理ステップＳ５０５において、誘目刺激画像生成部１１２は、誘目刺激履歴データに対象となる誘目刺激画像は存在していないため、対象となる誘目刺激画像を誘目刺激履歴データに追加し、処理を完了する。
図１３は、対象物としての歩行者５１が道路の左側の歩道を歩いており、車両１０が車道４１の右車線を走行している状態の前方画像の例を示す図である。図１４（ａ）〜（ｅ）、図１５（ａ）〜（ｅ）、及び図１６（ａ）〜（ｅ）は、図１３に示す前方画像が取得されたときにおける誘目刺激画像の表示例を示す。
図１４（ａ）〜（ｅ）、図１５（ａ）〜（ｅ）、及び図１６（ａ）〜（ｅ）は、ある時刻において表示器１０７によって提示された誘目刺激画像６０，６１，６２と、ドライバ３０が見ている前方風景を示している。
図１４（ａ）、図１５（ａ）、及び図１６（ａ）は、誘目刺激画像６０，６１，６２の初期座標を算出した時点での、前方風景と誘目刺激画像６０，６１，６２とを示す。
図１４（ｂ）、図１５（ｂ）、及び図１６（ｂ）は、Ｔ−Ｔ０＜Ｔ１を満たすときの前方風景と移動する誘目刺激画像６０，６１，６２とを示す。
図１４（ｃ）、図１５（ｃ）、及び図１６（ｃ）は、Ｔ−Ｔ０＝Ｔ１を満たすときの前方風景と、対象物５１に到達した誘目刺激画像６０，６１，６２とを示す。
図１４（ｄ）、図１５（ｄ）、及び図１６（ｄ）は、Ｔ１＜Ｔ−Ｔ０＜Ｔ１＋Ｔ２を満たすときの前方風景と対象物５１に重畳している誘目刺激画像６０，６１，６２とを示す。
図１４（ｅ）、図１５（ｅ）、及び図１６（ｅ）は、Ｔ１＋Ｔ２≦Ｔ−Ｔ１を満たすときの前方風景を示している。このとき、誘目刺激画像６０，６１，６２は表示されていない。
図１４（ａ）〜（ｅ）は、誘目刺激画像６０を、対象物を包含する最小の矩形とした場合の具体例である。初誘目刺激画像の初期座標を算出した図１４（ａ）の時点では、歩行者５１よりも遠くかつ外側に誘目刺激画像６０が表示される。図１４（ｂ）では、時刻経過と共に誘目刺激画像６０は、歩行者５１の現在位置に近づいて提示され、図１４（ｃ）で移動時間Ｔ１が経過した時点で誘目刺激画像６０は、歩行者５１に重畳される。その時点から、重畳時間Ｔ２が経過するまでは、図１４（ｄ）のように、歩行者５１の現在位置に応じて誘目刺激画像６０は、歩行者５１に重畳するように表示され、重畳時間Ｔ２が経過すると、図１４（ｅ）のように誘目刺激画像は、消失する。
図１５（ａ）〜（ｅ）は、誘目刺激画像６１を、対象物のエッジを、誘目刺激画像６１の座標に平行移動して囲まれる画像領域であって、輝度等の色彩を調整して生成される図形とした場合の具体例である。図１５（ａ）〜（ｅ）の各時刻における状態は、図１４（ａ）〜（ｅ）におけるものと同じである。図１５（ａ）〜（ｅ）の例では、誘目刺激画像を表示する領域に存在する映像が視覚的により見やすくなるように顕著性が高められている点が、図１４（ａ）〜（ｅ）の場合と異なる。そのため、図１５（ｃ）の時点に到達したときに、誘目刺激画像６１が歩行者５１の全体を包含する。
図１６（ａ）〜（ｅ）は、誘目刺激画像６２を、対象物の輝度等の色彩を調整して生成した図形とした場合の具体例である。図１６（ａ）〜（ｅ）の各時刻における状態は、図１４（ａ）〜（ｅ）におけるものと同じである。図１６（ａ）〜（ｅ）の例では、誘目刺激画像６２は、歩行者５１の画像をもとに顕著性が高まる画像処理が行われた刺激となっているため、図１６（ａ）、（ｂ）の時点であっても歩行者５１に対応する対象物図形６２ａとしての内容が誘目刺激画像６２中に包含される点が異なる。
いずれの誘目刺激画像であっても、図１４（ａ）〜（ｃ）、図１５（ａ）〜（ｃ）、図１６（ａ）〜（ｃ）において誘目刺激画像６０，６１，６３が車両１０に向かって徐々に接近する刺激となっている。そのため、ドライバ３０には、何かが車両１０と衝突する可能性が生じるという危機意識が発生する。また、ドライバ３０には、図１４（ｃ）、図１５（ｃ）、図１６（ｃ）以降で実際の対象物５０よりも車両１０に接近してこない刺激となっているため、現実世界に発生している危機意識を超える過度な意識を発生させないことができる。
図１７は、身体反応計測部１１４における処理を示すフローチャートである。処理ステップＳ６０１からＳ６０４において、身体反応計測部１１４は、身体情報取得部１０９から取得した各種データから、表情データと、視線データと、発汗量、心拍数、血圧値などの生体データと、運転行動データとを抽出する。処理ステップＳ６０１からＳ６０４の実行順は、この順番に限定されず、処理ステップＳ６０１からＳ６０４の実行順を変えてもよく、又は、これらを並列に実行してもよい。また、身体反応計測部１１４は、表情データ、視線データ、生体データ、運転行動データの区分に該当しない不要なデータを削除してもよい。また、身体反応計測部１１４は、表情データ、視線データ、生体データ、運転行動データの区分以外のデータを追加して取得してもよい。なお、以下の説明では、身体情報は、複数区分の身体データであり、複数区分の身体データは、表情データ、視線データ、生体データ、及び運転行動データを含む場合を説明する。
処理ステップＳ６０５において、身体反応計測部１１４は、処理ステップＳ６０１からＳ６０４の処理結果で得られた複数区分の身体データをもとに、現時点におけるドライバ３０の身体反応を示す値である、身体反応確率と身体反応レベルとを算出する。
身体反応確率ＰＲは、例えば、複数区分の身体データの内の身体データ毎における身体反応が有る確率Ｐｉに、身体データ毎の係数（すなわち、ある値）ａｉを掛けることによって得られた複数の値（ａｉ×Ｐｉ）の平均値である。ここで、ｉ＝１，２，…，Ｎである。Ｎは、身体データの区分の数を示す整数である。例えば、身体反応確率ＰＲは、以下の式１で得られる。
Figure 2019175922
身体反応レベルＬは、例えば、複数区分の身体データの内の身体データ毎に身体反応が有る場合の身体反応レベルを定数ｂｉで与え、その定数値ｂｉに、対応する身体反応がある確率Ｐｉを掛けることによって得られた複数の値（ｂｉ×Ｐｉ）の合計値である。例えば、運転行動データを例にとると、車両１０のアクセルペダルを緩める反応よりも車両１０のブレーキを踏む反応の方がより身体反応レベルの定数ｂｉは、高いと言うことができる。また、障害物との距離を増加させる方向に車両１０のハンドルを切る反応は、ブレーキを踏む反応と同等又は、それ以上の身体反応レベルの定数ｂｉが適用されると言うことができる。例えば、身体反応レベルＬは、以下の式２で得られる。
Figure 2019175922
処理ステップＳ６０６において、身体反応計測部１１４は、処理ステップＳ６０５で算出された身体反応確率及び身体反応レベルをもとに、一定条件を満たす身体反応の有無を判定する。例えば、身体反応計測部１１４は、身体反応確率が予め決められた閾値（第１の閾値）以上であれば、処理を処理ステップＳ６０７に進め、現時点におけるドライバは、視覚刺激に対する身体反応が発生していると判定し、身体反応確率が閾値（第１の閾値）未満であれば処理を処理ステップＳ６０８に進め、現時点におけるドライバは、身体反応が発生していないと判定する。ただし、一定条件を満たす身体反応の有無判定を、身体反応レベルに基づいて行ってもよいし、身体反応確率及び身体反応レベルの両方に基づいて行ってもよい。
図１８は、誘目刺激パラメータ補正部１１５における処理を示すフローチャートである。処理ステップＳ７０１において、誘目刺激パラメータ補正部１１５は、メモリ１０３に記憶されている誘目刺激履歴データから履歴を取得し、処理を処理ステップＳ７０２に進める。
処理ステップＳ７０２において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０１で取得した履歴の中で、ドライバ３０に視覚刺激を原因とする身体反応を発生させる可能性がある誘目刺激画像が存在するか否かを判定する。このとき、対象物データの身体反応フラグがオンとなっている誘目刺激画像は、既に補正処理が行われているため、判定処理から除外される。
視覚刺激を原因とする身体反応を発生させる可能性の算出は、誘目刺激画像の発生時点から現時点までの経過時間と、複数区分の各データを用いたときに誘目刺激画像の提示後からの経過時間別に身体反応を発生させる確率を示す確率分布とによって行われる。
図１９（ａ）から（ｃ）は、第１区分、第２区分、第３区分の身体データ（身体情報）に対する身体反応の発生確率分布を用いて、身体反応を発生させる可能性のある誘目刺激画像の判定処理を示す説明図である。
図１９（ａ）から（ｃ）において、身体反応の発生確率分布を示す曲線８０１、８０２、８０３は、それぞれ第１区分、第２区分、第３区分の身体データに対する身体反応の発生確率分布を示す。図１９（ａ）から（ｃ）において、横軸は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０からの経過時間（秒）を示し、縦軸は、各時刻における身体反応の発生確率、すなわち、身体反応の発生頻度（％）を示す。また、ｔ１及びｔ２は、それぞれ提示開始時刻ｔ０からの経過時間を示す。誘目刺激画像＃１は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０から時間ｔ１経過した時点における誘目刺激画像である。誘目刺激画像＃２は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０から時間ｔ２経過した時点における誘目刺激画像である。
図１９（ａ）から（ｃ）において、ｔ１における誘目刺激画像＃１に対する、第１区分、第２区分、第３区分の身体データの身体反応の発生確率をＰａ（ｔ１）、Ｐｂ（ｔ１）、Ｐｃ（ｔ１）と表す。ｔ２における誘目刺激画像＃２に対する、第１区分、第２区分、第３区分の身体データの身体反応の発生確率をＰａ（ｔ２）、Ｐｂ（ｔ２）、Ｐｃ（ｔ２）と表す。
図１９（ａ）から（ｃ）の例では、Ｐａ（ｔ１）＜Ｐａ（ｔ２）、Ｐｂ（ｔ１）＜Ｐｂ（ｔ２）、Ｐｃ（ｔ１）＜Ｐｃ（ｔ２）である。図１９（ａ）から（ｃ）の例では、誘目刺激画像＃１が原因でドライバ３０の身体反応が発生した確率Ｐａ（ｔ１）、Ｐｂ（ｔ１）、Ｐｃ（ｔ１）より、誘目刺激画像＃２が原因でドライバ３０に身体反応が発生した確率Ｐａ（ｔ２）、Ｐｂ（ｔ２）、Ｐｃ（ｔ２）が高い。
誘目刺激パラメータ補正部１１５は、例えば、閾値Ｔｈを用いて、
Ｐａ（ｔ１）＋Ｐｂ（ｔ１）＋Ｐｃ（ｔ１）＜Ｔｈが成立する場合に、誘目刺激画像＃１は、現時点でドライバに発生している身体反応の原因ではないと判定し、
Ｔｈ＜Ｐａ（ｔ２）＋Ｐｂ（ｔ２）＋Ｐｃ（ｔ２）が成立する場合に、誘目刺激画像＃２は、現時点でドライバに発生している身体反応の原因であると判定する。
誘目刺激パラメータ補正部１１５は、以上のような方法で、身体反応を発生させた原因となったと考えられる誘目刺激画像の有無判定を行う。誘目刺激パラメータ補正部１１５は、誘目刺激画像が存在しない場合には（Ｓ７０２においてＮＯ）、表示パラメータの補正処理を終了し、誘目刺激画像が存在する場合には（Ｓ７０２においてＹＥＳ）、処理を処理ステップＳ７０３に進める。
処理ステップＳ７０３において、誘目刺激パラメータ補正部１１５は、身体反応計測部１１４の計測結果を用いて現時点のドライバに身体反応が有るか否かを判定する。誘目刺激パラメータ補正部１１５は、一定条件を満たす身体反応が有る場合には（Ｓ７０３においてＹＥＳ）、処理を処理ステップＳ７０６に進め、一定条件を満たす身体反応が無い場合には（Ｓ７０３においてＮＯ）、処理を処理ステップＳ７０４に進める。
処理ステップＳ７０４において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０２で身体反応を発生させる可能性がある誘目刺激画像がある場合、その時点における誘目刺激画像がドライバに対して与える視覚刺激の強度が不適切であり、視覚刺激の強度を上げる必要があると判定する。そこで本処理では、処理ステップＳ７０２で身体反応を発生させる可能性がある誘目刺激画像と判定された誘目刺激画像の中から表示パラメータの補正に用いるべき対象を選択する。
処理ステップＳ７０４における選択方法としては、処理ステップＳ７０２で算出した誘目刺激画像の身体反応確率の値に対する閾値を用いる方法がある。この閾値は、処理ステップＳ７０２の場合と同じ閾値Ｔｈでもよく、或いは、異なる閾値であってもよい。誘目刺激パラメータ補正部１１５は、処理ステップＳ７０４の完了後に、処理を処理ステップＳ７０５に進める。
処理ステップＳ７０５において、誘目刺激パラメータ補正部１１５は、今後生成される誘目刺激画像に対してドライバが知覚しやすいように、すなわち、ドライバが視覚刺激をより強く感じやすいように、誘目刺激画像の表示パラメータを調整する。誘目刺激パラメータ補正部１１５は、例えば、ドライバが知覚しやすいように表示パラメータを調整する場合には、誘目刺激画像の顕著性が高くなる、誘目刺激画像のサイズが大きくなるように表示パラメータを調整する。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、誘目刺激画像の移動速度Ｓを速くする、又は移動時間Ｔ１を長くするなどである。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、図１０で例示した重み値を大きくするように調整してもよい。
また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、誘目刺激画像の移動方向を調整してもよい。図２０は、図９で示す対象物５０に対する誘目刺激画像の初期座標６０ａに対する移動方向の調整例を示す図である。処理ステップＳ７０５において、誘目刺激パラメータ補正部１１５は、ドライバが感じる視覚刺激を増加させるために、誘目刺激画像がより車両１０の位置に近い位置に接近するような視覚刺激に変更することである。具体的には、車両１０の位置１０ａよりも車両１０に近い座標１０ｃを車両１０の位置と想定し、誘目刺激画像の初期座標を座標６０ｃとすることである。このように誘目刺激画像の初期座標を調整することで、誘目刺激画像が、より一層、車両１０に向かってくる度合が強まり、身体反応レベルが高くなることが期待される。
誘目刺激パラメータ補正部１１５は、処理ステップＳ７０５における表示パラメータの補正処理を完了した後に、処理を終了する。
処理ステップＳ７０６において誘目刺激パラメータ補正部１１５は、ドライバ３０が誘目刺激画像から過度の視覚刺激を受けているか否かを判定し、過度の視覚刺激を受けている場合には（Ｓ７０６においてＹＥＳ）、処理を処理ステップＳ７０７に進め、受けていない場合には（Ｓ７０６においてＮＯ）、処理を処理ステップＳ７０９に進める。誘目刺激パラメータ補正部１１５は、例えば、処理ステップＳ７０２で判定された誘目刺激画像によって期待される身体反応レベルから、どの程度上回る身体反応レベルが現在のドライバから得られているかに基づいて、判定を行う。例えば、誘目刺激パラメータ補正部１１５は、身体反応レベルが予め決められた閾値（第２の閾値）以上となっている場合に、誘目刺激画像から過度の視覚刺激を受けていると判定する。
処理ステップＳ７０７において誘目刺激パラメータ補正部１１５は、処理ステップＳ７０４における処理と同様の処理を行い、処理完了後に、処理を処理ステップＳ７０８に進める。
処理ステップＳ７０８において誘目刺激パラメータ補正部１１５は、処理ステップＳ７０５とは逆に、次に生成される誘目刺激画像に対して、ドライバが知覚しにくくなるように、又は、ドライバが視覚刺激を感じにくくなるように、誘目刺激画像の表示パラメータを調整する。例えば、誘目刺激パラメータ補正部１１５は、ドライバが知覚しにくくなるように誘目刺激画像の表示パラメータを調整する場合には、誘目刺激画像の顕著性を低くする、又は、誘目刺激画像のサイズが小さくなるように表示パラメータの調整を行う。誘目刺激パラメータ補正部１１５は、ドライバが視覚刺激を感じにくくなるように誘目刺激画像の表示パラメータを調整する場合には、誘目刺激画像の移動速度Ｓを遅くする又は移動時間Ｔ１を長くするなどである。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、図１０で例示した重み値を小さくするように調整してもよい。
さらに、誘目刺激画像の移動方向を調整することである。図２０は、図９で示す誘目視対象５０に対する誘目刺激画像の初期座標６０ａに対する移動方向の調整例を示す図である。処理ステップＳ７０８において誘目刺激パラメータ補正部１１５は、誘目刺激画像による視覚刺激を感じにくくするように調整するため、誘目刺激画像がより車両１０の位置から遠い位置に接近するような視覚刺激に変更することができる。具体的には、誘目刺激パラメータ補正部１１５は、車両１０の位置１０ａよりも車両１０から遠い座標１０ｂを車両位置とし、誘目刺激画像の初期座標を座標６０ｂとする方法を採用してもよい。
上記の方法は、車両１０の進行方向に対して垂直方向に車両位置を移動させて処理しているが、水平方向に移動させる方法もある。具体的には、座標１０ａを車両位置として誘目刺激画像の初期座標を座標６０ａとすることで、車両に向かって移動する度合を弱めることができる。
このように誘目刺激画像の初期座標を調整することで誘目刺激画像がより車両１０に向かってくる度合が弱まり、身体反応レベルが低くなることが期待される。
誘目刺激パラメータ補正部１１５は、処理ステップＳ７０８の後に、表示パラメータの補正完了後に、処理を処理ステップＳ７０９に進める。処理ステップＳ７０９において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０２で判定された誘目刺激画像に対応する対象物のデータの身体反応フラグをオンに設定し、処理を終了する。
図２１（ａ）〜（ｅ）は、図１３に示す前方画像が取得されたときにおける誘目刺激画像６３の表示例を示す。図２１（ａ）〜（ｅ）は、図１４（ａ）〜（ｅ）に示す誘目刺激画像６０を提示した後、誘目刺激パラメータ補正部１１５の処理ステップＳ７０５によって誘目刺激画像の表示パラメータが補正され、より強調された誘目刺激画像６３が表示された例を示す。
図２１（ａ）〜（ｅ）の例では、誘目刺激画像６３の顕著性を上げるために、枠の太さを太くすると共に、身体反応レベルを上げるため、誘目刺激画像６３の移動速度Ｓを上げた場合の提示例である。
図２１（ａ）に示されるように、初期誘目刺激フレームで提示される誘目刺激画像６３は、図１４（ａ）における初期誘目刺激フレームで提示される誘目刺激画像６０よりも遠い位置に表示されている。
また、図２１（ｂ）に示されるように、初期誘目刺激フレームで提示される誘目刺激画像６３は、図１４（ｂ）における初期誘目刺激フレームで提示される誘目刺激画像６０よりも遠い位置に表示されている。
Ｔ−Ｔ０＝Ｔ１が成立した時点では、図２１（ｃ）に示されるように、誘目刺激画像６３は対象物５０に重畳しており、図１４（ｃ）に示されるように、誘目刺激画像６０は対象物５０に重畳している。つまり、図２１（ａ）〜（ｃ）の場合は、より遠い位置から誘目刺激画像６３を移動させているので、誘目刺激画像６３の移動速度がより速くなり、ドライバにとっては、より早く車両１０に迫る視覚刺激となるため、身体反応レベルが高くなることが期待できる。
なお、図２１（ａ）〜（ｅ）に示される誘目刺激画像６３を提示した後に、誘目刺激パラメータ補正部１１５の処理ステップＳ７０８によって誘目刺激画像６３の表示パラメータが抑制する場合に、図１４（ａ）〜（ｅ）に示される誘目刺激画像６０を提示してもよい。
図２２（ａ）〜（ｅ）は、図１４（ａ）〜（ｅ）に示す誘目刺激画像６０を提示した後、誘目刺激パラメータ補正部１１５の処理ステップＳ７０８によって誘目刺激画像６４の視覚刺激を抑制するように表示パラメータを調整した場合の例を示す。
図２２（ａ）〜（ｅ）の例では、身体反応レベルを下げる方向の調整を行うため、誘目刺激画像６４の移動方向を車両１０に向かう方向からずらす調整を行った例である。調整の具体例としては、図２０に示す誘目刺激画像の初期座標を座標１０ｄとした場合を想定している。
図２２（ａ）〜（ｃ）を、図１４（ａ）〜（ｃ）と比較すると、初期誘目刺激フレーム、Ｔ−Ｔ０＜Ｔ１の誘目刺激フレーム、Ｔ−Ｔ０＝Ｔ１の誘目刺激フレームにおいて、図２２（ａ）〜（ｃ）の誘目刺激画像６４は、図１４（ａ）〜（ｃ）の誘目刺激画像６０と比べて、車両１０に向かってくる度合が弱く提示されている。つまり、図１４（ａ）〜（ｃ）の誘目刺激画像６０の移動方向は道路を横切る方向に移動して車両１０に近づいて来るが、図２２（ａ）〜（ｃ）の誘目刺激画像６４の移動方向は道路に沿うように移動して車両１０に近づいて来る。
なお、図２２（ａ）〜（ｅ）に示される誘目刺激画像６４を提示した後に、誘目刺激パラメータ補正部１１５の処理ステップＳ７０５によって誘目刺激画像６３の表示パラメータを強化する場合に、図１４（ａ）〜（ｅ）に示される誘目刺激画像６０を提示してもよい。
《３》効果
本実施の形態に係る運転支援装置１００によれば、誘目刺激画像６０〜６４により車両１０のドライバ３０の視線を対象物５０（例えば、歩行者５１）に誘導することができる。
また、本実施の形態に係る運転支援装置１００によれば、ドライバ３０は、対象物５０より遠い位置から対象物５０に向けて移動する誘目刺激画像６０〜６４、すなわち、車両１０に向けて近づく誘目刺激画像６０〜６４により、疑似的に衝突可能性の意識を持つことができる。このため、ドライバ３０は自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができる。言い換えれば、本実施の形態に係る運転支援装置１００によれば、車両１０を運転中のドライバ３０は、誘目刺激画像６０〜６４によって疑似的に対象物が近づいてくる体験をするので、ドライバ３０に、注意力の低下を自発的に防止しようとする意識を持たせることができる。
さらに、本実施の形態に係る運転支援装置１００によれば、対象物を強調表示するまでの移動時間Ｔ１を設けているので、ドライバ３０に強い視覚刺激による過度の危機意識を持たせることを防ぐことができる。
また、本実施の形態に係る運転支援装置１００によれば、対象物に重ねて誘目刺激画像６０〜６４を重畳して表示する重畳時間Ｔ２を設定しているので、ドライバ３０が実際に誘目刺激画像６０〜６４に反応して視線移動させたとき又はその直後に、誘目刺激画像６０〜６４が消失する。このため、ドライバ３０は、視線移動直後には、主に対象物５０のみを視認することになり、ドライバ３０に違和感を与えない効果もある。
さらに、本実施の形態に係る運転支援装置１００によれば、ドライバが感じる視覚刺激の強さに応じて、誘目刺激画像６０〜６４の強度を調整することができる。その結果、ドライバに、適切な視覚刺激を提供できる効果がある。
１０ 車両、 ２２ ウィンドシールド、 ３０ ドライバ、 ４０ 道路、 ４１ 車道、 ５０ 対象物、 ５１ 歩行者（対象物）、 ６０〜６４ 誘目刺激画像、 １００ 運転支援装置、 １０１ 制御部、 １０２ プロセッサ、 １０３ メモリ、 １０４ 画像処理プロセッサ、 １０５ カメラ（周辺検出部）、 １０６ 視点センサ、 １０７ 表示器、 １０８ 生体センサ、 １０９ 身体情報取得部、 １１０ ＣＡＮインタフェース、 １１１ 対象物判定部、 １１２ 誘目刺激画像生成部、 １１３ 表示制御部、 １１４ 身体反応計測部、 １１５ 誘目刺激パラメータ補正部、 １１６ 補正部。

Claims (13)

  1. 車両のドライバの運転を支援する運転支援装置であって、
    前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する対象物判定部と、
    前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部と、
    前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる表示制御部と、
    前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する補正部と、
    を有することを特徴とする運転支援装置。
  2. 前記誘目刺激画像生成部は、前記対象物より遠方の位置から前記誘目刺激画像の移動を開始させ、前記対象物が存在する位置で前記誘目刺激画像の移動を終了させることを特徴とする請求項１に記載の運転支援装置。
  3. 前記身体反応を示す値は、前記身体反応が有る確率を示す身体反応確率及び前記身体反応の程度を示す身体反応レベルの少なくとも一方を含むことを特徴とする請求項１又は２に記載の運転支援装置。
  4. 前記補正部は、前記身体反応を示す値が予め決められた第１の閾値以上である場合に、前記誘目刺激画像が前記ドライバに与える前記視覚刺激を軽減するように前記表示パラメータを補正することを特徴とする請求項１から３のいずれか１項に記載の運転支援装置。
  5. 前記補正部は、前記身体反応を示す値が予め決められた第２の閾値未満である場合に、前記誘目刺激画像が前記ドライバに与える前記視覚刺激を強化するように前記表示パラメータを補正することを特徴とする請求項１から４のいずれか１項に記載の運転支援装置。
  6. 前記補正部は、前記身体反応を示す値が予め決められた第２の閾値未満である場合に、前記表示パラメータを変更しないことを特徴とする請求項１から４のいずれか１項に記載の運転支援装置。
  7. 前記補正部は、前記ドライバの顔の表情、筋緊張、屈筋反射、心拍数、血圧値、視線、及び運転行動の内のいずれか１つ以上の変化を計測した結果に基づいて、前記身体反応を示す値を算出する身体反応計測部を有することを特徴とする請求項１から６のいずれか１項に記載の運転支援装置。
  8. 前記補正部は、前記誘目刺激画像が提示された時点から前記ドライバの身体情報の変化が現われるまでの経過時間を用いて、前記ドライバが視覚刺激を感じた誘目刺激画像を判定し、当該誘目刺激画像の前記表示パラメータを補正することを特徴とする請求項１から７のいずれか１項に記載の運転支援装置。
  9. 前記補正部は、
    前記誘目刺激画像が提示されたときにおける前記ドライバの視点ベクトルに基づいて、前記視点ベクトルに対応する重み値を決定し、
    前記表示パラメータを補正に際し、前記重み値を用いる
    ことを特徴とする請求項１から８のいずれか１項に記載の運転支援装置。
  10. 前記補正部は、前記表示パラメータの調整を、前記誘目刺激画像の移動速度、移動距離、移動方向、及び視点ベクトルに基づく重み値の内の１つ以上を用いて行うことを特徴とする請求項１から９のいずれか１項に記載の運転支援装置。
  11. 前記補正部は、
    前記誘目刺激画像による視覚刺激を強化する場合、前記誘目刺激画像の移動速度を上げる、前記誘目刺激画像の移動距離を長くする、前記誘目刺激画像の移動方向を車両に向かう方向に近づける内の１つ以上を実行し、
    前記誘目刺激画像による視覚刺激を抑制する場合、前記誘目刺激画像の移動速度を下げる、前記誘目刺激画像の移動距離を短くする、前記誘目刺激画像の移動方向を車両から離れた位置に向かう方向に近づける内の１つ以上を実行する
    ことを特徴とする請求項１から１０のいずれか１項に記載の運転支援装置。
  12. 車両のドライバの運転を支援する運転支援方法であって、
    前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定するステップと、
    前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成するステップと、
    前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させるステップと、
    前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正するステップと、
    を有することを特徴とする運転支援方法。
  13. 車両のドライバの運転を支援するための運転支援プログラムであって、
    前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する処理と、
    前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する処理と、
    前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる処理と、
    前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する処理と、
    をコンピュータに実行させることを特徴とする運転支援プログラム。
JP2020505560A 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム Active JP6739681B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009410 WO2019175922A1 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム

Publications (2)

Publication Number Publication Date
JP6739681B2 JP6739681B2 (ja) 2020-08-12
JPWO2019175922A1 true JPWO2019175922A1 (ja) 2020-08-20

Family

ID=67907499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505560A Active JP6739681B2 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム

Country Status (5)

Country Link
US (1) US11386585B2 (ja)
JP (1) JP6739681B2 (ja)
CN (1) CN111886154A (ja)
DE (1) DE112018007056T5 (ja)
WO (1) WO2019175922A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085414A1 (ja) * 2019-10-31 2021-05-06 株式会社Ｊｖｃケンウッド 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
JP7342636B2 (ja) * 2019-11-11 2023-09-12 マツダ株式会社 車両制御装置および運転者状態判定方法
CN115220227A (zh) * 2022-04-18 2022-10-21 长城汽车股份有限公司 一种增强现实抬头显示方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
JP2017187955A (ja) * 2016-04-06 2017-10-12 株式会社デンソー 視線誘導装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005062151B4 (de) * 2005-12-22 2007-09-13 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
JP4733242B2 (ja) * 2009-10-15 2011-07-27 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
JP5406328B2 (ja) 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
JP5492962B2 (ja) 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
JP2014099105A (ja) 2012-11-15 2014-05-29 Toyota Central R&D Labs Inc 視線誘導装置及びプログラム
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US11749111B2 (en) * 2018-03-19 2023-09-05 Derq Inc. Early warning and collision avoidance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
JP2017187955A (ja) * 2016-04-06 2017-10-12 株式会社デンソー 視線誘導装置

Also Published As

Publication number Publication date
JP6739681B2 (ja) 2020-08-12
US11386585B2 (en) 2022-07-12
WO2019175922A1 (ja) 2019-09-19
DE112018007056T5 (de) 2020-10-22
US20200402267A1 (en) 2020-12-24
CN111886154A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
EP3488382B1 (en) Method and system for monitoring the status of the driver of a vehicle
US10298911B2 (en) Visualization of spatial and other relationships
JP6343808B2 (ja) 視野算出装置および視野算出方法
US9162061B2 (en) Vision enhancement for a vision impaired user
JP6739681B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US9589469B2 (en) Display control method, display control apparatus, and display apparatus
JP2013009825A (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP5016959B2 (ja) 見え方度判定装置
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN113276821A (zh) 驾驶员状态推断装置
WO2018158950A1 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
US11004273B2 (en) Information processing device and information processing method
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
CN113276822A (zh) 驾驶员状态推断装置
JP6739682B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US10602116B2 (en) Information processing apparatus, information processing method, and program for performing display control
KR20190088247A (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
KR102275379B1 (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
Younis Smart Assistive Technology for People with Visual Field Loss
US20220049947A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200416

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200416

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6739681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250