JP6645618B2 - 情報提供装置 - Google Patents

情報提供装置 Download PDF

Info

Publication number
JP6645618B2
JP6645618B2 JP2019508558A JP2019508558A JP6645618B2 JP 6645618 B2 JP6645618 B2 JP 6645618B2 JP 2019508558 A JP2019508558 A JP 2019508558A JP 2019508558 A JP2019508558 A JP 2019508558A JP 6645618 B2 JP6645618 B2 JP 6645618B2
Authority
JP
Japan
Prior art keywords
information
display
movement
gaze
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019508558A
Other languages
English (en)
Other versions
JPWO2018179599A1 (ja
Inventor
賢吾 赤穂
賢吾 赤穂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018179599A1 publication Critical patent/JPWO2018179599A1/ja
Application granted granted Critical
Publication of JP6645618B2 publication Critical patent/JP6645618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Description

本発明は、車両のディスプレイに情報を表示して提供する情報提供装置に関するものである。
車両において、車載情報装置から情報を提供する際には、運転者が車両を運転するのに悪影響を与えることなく、情報を提供することが必要である。この場合において、運転者の視線位置、状況に応じて、情報の表示位置を決定することが重要となる。
特許文献1には、運転者の視線の動きと障害物とを検出し、運転者の視線から外れた位置に警告を表示した後に、障害物に視線を誘導し、運転者が脇見状態にあるときでも、運転者の視線を対象物に誘導する視線誘導装置が開示される。
また、特許文献2には、情報を車両の外の風景に重畳して表示する情報表示装置において、走行先の経路に関する情報を取得し、経路上に運転者の視線が移動すると予測し、予測結果に基づいて情報の表示位置を変更する技術が開示される。
また、特許文献3には、車両に搭載されたセンサの出力を用いて、運転者が見るべき領域を予測し、運転者が走行環境の下で当然はらうべき注意をはらって運転しているかどうかの判定を行う車載情報処理装置が開示される。
特開2010-126135号公報(5〜6ぺージ、図3) 特開2015-207243号公報(4〜8ページ、図2) 特開2002-083400号公報(4ページ、図2)
特許文献1、特許文献2に開示される技術は、外界における案内対象に重畳するか、又は案内対象に視線を誘導するようにして表示するものである。しかし、運転者の視界領域内において運転者がこれから動かす視線方向と別の方向に案内が表示されると、運転者の自然な視線移動を阻害する恐れがある。運転者が運転時に安全確認をする際には、決まった視線の移動経路があると考えられ、その視線移動に影響を与える表示は好ましくない。一方で、車両の運転における安全に関わる情報をディスプレイ上に表示する際は、視線移動が終わるまで待機することなく、可能な限り早く運転者に報知する方が好ましい。
また、特許文献3に開示される技術は、カーナビゲーション装置、車載センサから運転者が見るべき視線の領域を特定し、その領域と運転者の視線を用いて、見るべき領域を視認しているかを判定するものに過ぎない。特許文献3においても、運転者の運転行動における自然な視線移動を阻害せずに、情報を提示する技術は開示されていない。
本発明は以上を鑑みてなされたものであって、ディスプレイに情報を表示する際に、車載センサ情報、地図情報、視線位置から運転者の視線の移動経路を予測し、運転者の視線の移動経路上に情報を表示して提供する情報提供装置を実現することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る情報提供装置は、車両の運転者の視線情報を取得する視線情報取得部と、道路情報、車載機器情報および運転者の運転行動を保持する運転行動データベースと、地図データベースと、車載センサ又は車載ネットワークから車両の走行位置および車載機器情報を取得し、走行位置を基に地図データベースを検索して道路情報を取得し、道路情報および車載機器情報を基に運転行動データベースを検索して運転者の運転行動を予測した結果として予測運転行動を出力する運転行動予測部と、運転行動における運転者の視線の移動経路および移動時間を保持する視線移動データベースと、運転行動予測部から予測運転行動を取得し、視線認識部から運転者が予測運転行動を取る場合の運転者の視線情報を取得して視線移動データベースを更新する視線移動データベース更新部と、予測運転行動および視線情報を基に視線移動データベースを検索して、運転者の視線が移動する経路を予測した結果を予測視線移動経路として出力する視線移動予測部と、車両のディスプレイに表示する表示情報を決定し、予測視線移動経路を用いて運転者の視線がディスプレイに到達する到達位置および時刻を決定して、到達位置に予め表示情報を表示する表示制御部と、を備えたものである。
本発明によれば、車両内のディスプレイに情報を表示する場合に、車載センサ情報、地図情報、視線情報を用いることで、運転者の視線移動経路を予測し、運転者の視線移動経路上に情報を表示できる。これにより、運転者の運転行動における自然な視線移動を邪魔することなく運転者に情報提供を行うことができる。
本発明の実施の形態1における情報提供装置100およびその周辺機器を含めたシステムの構成を示すブロック図である。 本発明の実施の形態1における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態1における運転行動データベース(DB)203の構成例を示す図である。 本発明の実施の形態1における視線移動DB206の構成例を示す図である。 本発明の実施の形態1における運転者の視線移動を分割する例を示す図である。 本発明の実施の形態1における運転者の視線移動の分割経路の1つをさらに分割した経路を示す図である。 本発明の実施の形態1における視線移動DB206の第1階層の構成例を示す図である。 本発明の実施の形態1における視線移動DB更新部205の処理を示すフローチャートである。 本発明の実施の形態1における表示制御部208の処理を示すフローチャートである。 本発明の実施の形態2における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態3における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態3における表示制御部208の処理を示すフローチャートである。 本発明の実施の形態4における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態5における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態6における視線移動DB206の構成例を示す図である。 本発明の実施の形態6における視線移動DB206の構成例を示す図である。 本発明の実施の形態6における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態7における情報提供装置100の構成を示すブロック図である。 本発明の実施の形態7における運転行動DB203の構成例を示す図である。 本発明の実施の形態1〜7における情報提供装置100のハードウェア構成例を示す図である。
本発明に係る情報提供装置の実施の形態について図面を用いて詳細に説明する。なお、以下に示す実施の形態は例示であって、以下の実施の形態によってこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1における情報提供装置100およびその周辺機器を含めたシステムの構成を示すブロック図である。図1に示すように、情報提供装置100は、カーナビゲーション装置、ヘッドユニット(Head Unit)、ECU(Engine Control Unit)に代表される車載情報機器10の1つである。
情報提供装置100は、車両の運転者の視線情報を取得する視線検知デバイス101、車載センサ102、車載ネットワーク103および運転者に表示情報を表示して提供するディスプレイ104に接続される。ここで、本発明において、車両とは自動車を指すものとする。これは以下の実施の形態においても同様である。
車載センサ102は、車両に設置されたGPS(Global Positioning System)受信器、ジャイロセンサ、車両の外部又は内部を撮像するカメラ、ミリ波センサが代表的なものである。
また、車載ネットワーク103は、CAN(Controller Area Network)が代表的なものであるが、これに限るものではない。車載ネットワーク103として、USB(Universal Serial Bus)、Bluetooth(登録商標)、RS232(Recommended Standard 232)が用いられる。また、車載ネットワーク103として、UART(Universal Asynchronous Receiver Transmitter)が用いられる場合もある。車載ネットワーク103には、さらに車載センサ(図示しない)が接続される場合もある。
ディスプレイ104としては、液晶ディスプレイ、有機エレクトロルミネッセンス(EL)ディスプレイ又はヘッドアップディスプレイ(Head-Up Display)などが用いられる。ここに、ヘッドアップディスプレイは、それを利用する運転者等の視界に重ねて情報を表示するように設置されるものである。
なお、図1においては、視線検知デバイス101、情報提供装置100、ディスプレイ104は別のモジュールとして記載しているが、必ずしもこれらがハードウェア(H/W)として分かれている必要はない。例えば、情報提供装置100と視線検知デバイス101が1つのH/Wで実現されている構成でもよい。
図2は、本発明の実施の形態1における情報提供装置100の構成を示すブロック図である。
以下、データベース(database)を略して、DBと記載することにする。
情報提供装置100には、視線情報取得部201と、運転行動予測部202と、運転行動DB203と、地図DB204と、視線移動DB更新部205と、視線移動DB206と、視線移動予測部207と、表示制御部208とが含まれる。
視線検知デバイス101は、運転者の顔画像情報を取得し、情報提供装置100における視線情報取得部201に出力する。視線検知デバイス101として代表的なものには、可視光カメラ、赤外線カメラなどのカメラが挙げられる。視線を検知する代表的な手法として、視線検知デバイス101を用いて撮像した顔画像を画像処理して検知する方法がある。
視線情報取得部201は、視線検知デバイス101から出力された顔画像情報から運転者の視線情報を取得する。
情報提供装置100には、車載センサ102又は車載ネットワーク103から、車載センサ102又は車載ネットワーク103に接続された車載センサ(図示しない)で取得した車載機器情報が入力される。
ディスプレイ104は、情報提供装置100から指示された表示位置に、情報提供装置100が出力すると決定した対象(表示情報)を表示する。ディスプレイ104に表示される表示情報は、施設の情報、誘導経路情報、渋滞情報、他車情報、交通における危険を報知する警告情報、車両状態情報が挙げられる。車両状態情報とは、車速、エンジン回転数、車両の劣化状態を示す情報である。施設の情報としては、当該施設の名称、営業時間情報、キャンペーン情報が挙げられる。なお、表示情報は、上述した情報に限定されるものでない。
また、他車情報としては、車種情報、自車への接近情報が挙げられる。ここで、ディスプレイ104としては上に例示した液晶ディスプレイ、ヘッドアップディスプレイ等が用いられる。
次に、本実施の形態における情報提供装置100の動作について述べる。
視線情報取得部201は、視線検知デバイス101から受信した運転者の顔画像を用いて、画像処理を行い、視線情報を抽出し、抽出した視線情報を視線移動DB更新部205と視線移動予測部207に出力する。視線情報には、運転者の視線位置の時系列情報として、時刻と位置が含まれる。位置は車両内に定義される座標系を用いて示される。座標系については後述する。
視線検知デバイス101は個々の運転者に対してキャリブレーションが実施されているものとする。すなわち、車両内で定義される座標系における位置が既知である機器、装置、指標を用いて、個々の運転者の視線の位置データと車両内の座標系の関係について調整が行われているものとする。視線情報取得部201は、運転者がどの方向を向いているかを検知可能である。また、視線情報取得部201は、運転者の前方に存在するディスプレイ(例えば、ヘッドアップディスプレイ、各種ミラー、デジタルミラー(登録商標))、フロントウィンドウなどにおけるどの座標に視線が位置しているかを特定できるものとする。
運転行動予測部202は、車載センサ102、車載ネットワーク103から車載機器情報として、車両の走行情報、運転操作情報、センサ情報を取得する。車両の走行情報には車速、車両の走行位置を示す緯度および経度が含まれる。また、運転操作情報にはハンドルの操舵角、ウインカー操作情報が含まれる。センサ情報としては、例えば後方距離センサが後方から接近する車両を検知した情報が含まれる。
運転行動予測部202は、取得した車載機器情報における車両の走行情報から車両の走行位置を抽出する。運転行動予測部202は、抽出した車両の走行位置を基に地図DB204を検索して車両の走行位置における道路情報を取得する。道路情報には交差点情報が含まれる。
運転行動予測部202は、取得した道路情報および車載機器情報を用いて、運転行動DB203を検索することによって運転行動を予測し、予測した結果となる運転行動を予測運転行動として視線移動予測部207と視線移動DB更新部205に出力する。
図3に、本発明の実施の形態1における情報提供装置100の運転行動DB203の構成例を示す。図3に示すように、運転行動DB203は、地図情報と車載機器情報から運転行動を一意に特定できる情報を保持する。交差点までの距離が予め定められた閾値以下であり、地図情報は「交差点の手前」である場合を考える。この場合において、車載機器情報として、右ウインカーをON(作動状態)にしたとき(「右ウインカーON」)は、右折が予測されるため、運転行動として右の巻き込み確認(図3における「右巻き込み確認」)を予測する。
また、交差点が進行方向(例えば車両の前方)30m以内に存在しない場合は地図情報として「直線道路」となる。この場合に車載機器情報が「左ウインカーON」となるときは、左に車線変更することが予測されるため、運転行動として左車線変更に向けた確認(「左車線変更確認」)を予測する。
ここで、上述した例では、交差点からの距離を示す閾値として30mを例に挙げたが、閾値としては30mに限定されるものではない。交通状況、関連する法規制、道路情報に応じて閾値が設定されるものとする。
図4に本発明の実施の形態1における情報提供装置100の視線移動DB206の構成例を示す。同図に示す構成例では、視線移動DB206は第1階層、第2階層および第3階層の3つの階層で構成される。
視線移動DB206の第1階層には運転行動のリストが含まれる。この運転行動は、運転行動DB203における運転行動と対応するものである。視線移動DB206は、運転行動各々に対して、視線移動に関する情報を保持する。具体的には、1つの運転行動における視線移動は、複数の移動経路(視線移動経路)に分割され、それぞれの移動経路において、始点および終点の情報、移動時間の情報が定義される。なお、図4において、第1階層では、運転行動を保持するものが示されているが、第1階層に保持される情報は後述するように、運転行動に限るものではなく、さらに他の情報が付加される場合もある。
図5は、本発明の実施の形態1における運転者の視線移動を分割する例を示した図である。同図に示す例では、視線移動は第1移動、第2移動、第3移動(図5においては最終移動となる)の3つの移動に分割される。ここで、図5において第1移動、第2移動、第3移動はそれぞれ、矢印A1、矢印A2、矢印A3で示される。
始点、終点の情報としては、例えば、左サイドミラー、右サイドミラー、バックミラー、ディスプレイ、前方正面がある。同図において、第1移動(矢印A1)は前方正面12から右サイドミラー13への移動、第2移動(矢印A2)は右サイドミラー13からバックミラー11への移動、第3移動(矢印A3)はバックミラー11から前方正面12への移動である。移動時間は運転者の視線が始点から終点まで移動する時間を示す。
視線移動DB206において、移動時間としては、例えば、200msecという値を保持する。なお、図5において符号14はハンドルを示す。
視線移動の分割の単位は、始点と終点が定義できるものとするが、必ずしも機器が該当するとは限らない。例えば、運転者に対する前方正面として、前方のある領域を示す場合もある(図5において前方正面12として示される)。また、視線移動の経路を分割する分割数には制限を設けない。
図4に示すように、視線移動DB206において、分割した移動経路の情報は第2階層で定義される。第1階層における運転行動それぞれについて、第2階層において移動経路を分割した情報が定義される。例えば、図4における第1階層における運転行動が「右巻き込み確認」について、第2階層において「第1移動」、「第2移動」、「第3移動(最終移動)」の3つの経路に分割して定義される。
次に、視線移動DB206の第3階層においては、第2階層で分割された各々の視線移動である分割経路をさらに複数に分割し、それぞれの始点座標、終点座標、移動時間の情報を保持する。ここで、第3層において、分割された視線移動は、「第1−1移動」、「第1−2移動」、「第1−3移動(最終移動)」などとする。
図6は、本発明の実施の形態1における運転者の視線移動の分割経路の1つをさらに分割した経路を示す図である。同図は第3階層における分割の例を示したものである。同図には、前方正面12から右サイドミラー13に移動する経路を第1−1移動、第1−2移動、最終移動として定義したものである。同図において、第1−1移動、第1−2移動、最終移動はそれぞれ、矢印B1−1、矢印B1−2、矢印B1−3によって示される。なお、この場合における最終移動は、第1−3移動と表してもよい。
第3階層において、第2階層における移動をさらに分割することにより、第2階層における移動経路が直線とならない場合であっても視線移動の経路を正確に表すことが可能となる。始点、終点の座標としては、例えば、フロントウィンドウの位置をはじめとした運転者の前方決まった距離における、運転者にとっての上下方向、左右方向とする。ここに、上下方向は鉛直方向、左右方向は水平方向を意味する。例えば、上下方向をy軸、左右方向をx軸とし、運転者の前方の決まった距離にある1つの点を原点とした座標系を定義することができる。なお、座標系の取り方はこれに限定されるものではない。
ここで定義された座標系は、上述した視線情報取得部201における視線の位置を示す場合にも共通して用いられる。
第3階層における移動経路の分割数についても、第2階層と同様、その数に制限は設けない。
第2階層および第3階層における分割数は、本発明に係る情報提供装置100のシステム構築時に予め決定しておいてもよいし、移動距離に応じて動的に変更するようにしてもよい。
図2において、視線移動DB更新部205は、視線情報取得部201から視線情報を取得し、また、運転行動予測部202から予測運転行動を取得して、視線移動DB206に出力し、視線移動DB206を更新する。予測運転行動は視線移動DB206の第1階層における運転行動のいずれかが選択される。視線情報は第2階層における移動経路、移動時間、第3階層における始点座標、終点座標、移動時間の情報に展開される。
視線移動DB206の更新には、視線移動DB206の第1階層の運転行動のそれぞれが保持する更新用サンプル数を用いる。
図7に本実施の形態における情報提供装置の視線移動DB206について、更新用サンプル数を含む第1階層の構成を示す。同図に示すように、第1階層における運転行動それぞれに対応して更新用サンプル数を保持する構成としている。
図8は、本発明の実施の形態1における情報提供装置100の視線移動DB更新部205の処理を示すフローチャートである。視線移動DB更新部205は、視線情報取得部201から視線情報を取得し、また、運転行動予測部202から運転者の運転行動(予測運転行動)を取得する(ステップS300)。
次に、取得した運転行動について、視線移動DB206の第1階層を検索し、取得した運転行動が第1階層の運転行動に含まれているか否かを判定する。取得した運転行動が第1階層の運転行動に含まれている場合はステップS302の処理に移る。取得した運転行動が第1階層の運転行動に含まれていない場合は処理を終了する(ステップS301)。
ステップS302において、取得した視線情報から運転者の視線の移動経路を抽出し、視線移動DB206において、運転行動(予測運転行動)に対する第2階層における移動経路の情報と合致するか否かを判定する。各移動経路の始点と終点がデバイスの座標として定義された領域に入れば合致していると判断する。合致していると判断された場合には、ステップS303に進む。合致していないと判断された場合には、処理を終了する。
ここで、デバイスの座標として定義された領域は上述した座標系上に設定する。このデバイスは、バックミラー、左右のサイドミラー、ハンドルなどを意味する。
また、座標系の座標平面上にデバイスが存在しない場合の領域はデバイスが占める領域を座標系に射影した領域を用いる。具体的には、デバイスの領域の輪郭の各点と運転者の目の位置を直線で結び、上述した座標系の平面(例えば、xy平面)と交わった点を連ねて構成した領域をデバイスの座標として定義された領域と設定する。
また、視線の移動経路の始点および終点には必ずしもデバイスが対応するとは限らない。例えば、前方正面の場合には、前方正面として円形、長方形等の領域を定義しておき、この領域に視線の位置が含まれれば合致したものと判断し、含まれなければ合致しないものと判断することとする。一例として、前方正面の領域は、運転者の目の位置(例えば瞳孔の中心位置)から座標系の座標平面(上述の例におけるxy座標系の場合にはxy平面)に下ろした垂線と座標平面との交点を中心とした、半径20cmの円領域とするものでもよい。ここで、円領域の半径の値は20cmに限るものではない。
次に、視線の移動経路の記憶処理を行う。まず、視線移動DB206の第2階層に含まれる移動経路、移動時間に該当する情報を視線情報から抽出して記憶する(ステップS303)。
また、視線移動DB206の第3階層における、設定した分割数に応じた各々の移動経路の始点と終点の座標、始点から終点までの移動時間に該当する情報を視線情報から抽出して記憶する(ステップS304)。
次に、図7に示す視線移動DB206の第1階層に格納された更新用サンプル数に1を加算する。ステップS303で収集した移動経路、移動時間の情報と、視線移動DB206に格納された情報との差分を更新用サンプル数(母数)で割った値を視線移動DB206に格納された情報に加算する。また、ステップS304で収集した移動経路の始点と終点の座標、始点から終点までの移動時間の情報と、視線移動DB206に格納された情報の差分を更新用サンプル数(母数)で割った値を視線移動DB206に格納された情報に加算する。
なお、視線移動DB206の更新に関しては、これまでに格納した全ての情報の合計値に対し、新しいデータを加算し、更新用サンプル数に1を加算して更新した値で割る方法であってもよい。すなわち、更新用サンプル数を母数とする平均値を算出して、第2階層および第3階層の情報を更新する(ステップS305)。
視線移動DB更新部205は、以上の手順で視線移動DB206を更新する。
このように、運転者の同一の運転行動について、視線の移動経路が変化する場合であっても、運転者の視線の移動経路を取得して視線移動DB206に記憶する視線移動DB更新部205を備える。これにより、運転者の特性に応じた情報を取得して視線移動DB206に蓄積することができる。
視線移動予測部207は、視線情報取得部201から出力された視線情報と、運転行動予測部202から出力された予測運転行動と、視線移動DB206の情報から、運転者の視線の移動経路を予測する。予測した結果である視線移動経路は、予測視線移動経路として、表示制御部208に出力される。
具体的には、図2において、視線移動予測部207は、運転行動予測部202から出力された予測運転行動を基に、視線移動DB206の第1階層において該当する運転行動を特定する。次に、視線情報取得部201から出力された視線情報と、該当する運転行動の開始からこれまでの視線移動経路の情報を用いて、第2階層における視線移動のどこに該当するかを確定する。確定した結果を用いて、第2階層における移動経路および移動時間、第3階層における始点座標、終点座標、移動時間を基に、運転者の視線の移動経路を予測し、予測視線移動経路を出力する。
図9は、本発明の実施の形態1における情報提供装置100の表示制御部208の処理を示すフローチャートである。
表示制御部208は、ディスプレイ104に出力する表示情報を決定する。また、視線移動予測部207から予測視線移動経路を取得する(ステップS400)。
次に、取得した運転者の予測視線移動経路の情報を用いて、予め設定した時間後に運転者の視線が到達する座標(到達位置)を算出する。算出には視線移動DB206の第2階層および第3階層の情報を用いる。例えば、予め設定した時間を1秒とし、1秒後に運転者の視線が到達すると予測される座標(以下、到達予測座標と呼ぶ)を算出する(ステップS401)。
次に、ディスプレイ104の表示領域が占める領域の情報を用いて、到達予測座標が、ディスプレイ104の表示領域に含まれるか否かを判定する(ステップS402)。到達予測座標が、ディスプレイ104の表示領域に含まれない場合は処理を終了する。到達予測座標が、ディスプレイ104の表示領域に含まれる場合は、ステップS403に移行する。
ステップS403において、表示制御部208は、到達予測座標をディスプレイ104での表示位置(到達位置)に設定する。
表示制御部208は、ディスプレイ104での表示位置の情報に加え、表示情報の画像データ(文字を画像として展開した画像データも含む)をディスプレイ104に出力するよう指示する(ステップS404)。
ここで、表示情報としては、施設の情報、誘導経路情報、渋滞情報、他車情報、危険を報知する警告、車速、エンジン回転数、車両の劣化状態を表示する車両状態などが挙げられる。なお、ディスプレイ104の仕様に応じて、出力するデータは動画データであってもよく、また、表示情報の種別情報(表示種別情報)を示すデータを含めてもよい。
また、既に情報が表示されている場合は新しい情報に更新してもよい。
本実施の形態によれば、運転者の視線の移動経路を予測し、運転者の視線に沿った位置に情報を表示できる。これにより、運転者の自然な視線移動を邪魔することなく運転者に情報提供を行うことができる。
また、運転者の予測運転行動における運転者の視線の移動経路を取得して、視線移動DBを更新する視線移動DB更新部205を備えたことにより、運転者の特性に応じた視線の移動経路を視線移動DB206に蓄積することができる。これにより、運転者の特性に応じた表示位置に表示情報を出力することができる。
実施の形態2.
図10は、本発明の実施の形態2における情報提供装置100の構成を示すブロック図である。
図10に示すように、本実施の形態は実施の形態1における図2の構成に視線通過判定部501を追加した構成である。なお、図10において、実施の形態1における構成と同一の部分を表すものは、実施の形態1と同一の符号を付して詳細な説明を省略する。
次に、本実施の形態における情報提供装置100の動作について説明する。
視線通過判定部501は、既にディスプレイ104に表示情報が表示されている場合に、表示制御部208からディスプレイ104の表示情報の表示位置、予測視線移動経路の情報を取得する。取得した表示情報の表示位置、予測視線移動経路の情報から、対象となる表示情報が表示されている位置を既に運転者の視線が通過しているかを判定し、判定した結果を表示制御部208に出力する。既に運転者の視線が表示情報の表示位置を通過していた場合には、ディスプレイ104の表示情報を消して表示の更新を行う。これにより、運転者の視線が表示情報の表示位置を通過したことを判定した後に、表示情報を消すことができる。
本実施の形態によれば、運転者の視線が表示情報を通過した後に、ディスプレイ104の表示情報の表示を消去することができる。これにより、運転者の視線が表示情報上に長時間残ることを防止することができる。運転者が表示情報を視認した後に運転者の視線移動を阻害することなく、ディスプレイ104への表示情報の表示が可能となる。よって、運転者の自然な視線移動に沿った表示情報の提供ができる。
実施の形態3.
図11は、本発明の実施の形態3における情報提供装置100の構成を示すブロック図である。
図11に示すように、本実施の形態は、実施の形態1における図2の構成において、表示制御部208の内部を詳細化し、描画遅延時間取得部601を追加したものである。また、表示制御部208の処理を変更している。なお、図11において、実施の形態1における構成と同一の部分を表すものは、実施の形態1と同一の符号を付して詳細な説明を省略する。
次に、本実施の形態における情報提供装置100の動作について説明する。
表示制御部208の内部に設けられた描画遅延時間取得部601は、表示制御部208がディスプレイ104に表示情報の表示命令(又は描画命令)を発行してからディスプレイ104に出力されるまでの時間である描画遅延時間を取得する。表示制御部208は、描画遅延時間取得部601によって取得された描画遅延時間を設定する。
描画遅延時間は、事前に開発者が計測した値を用いて、予め設定した値を用いてもよい。あるいは、表示制御部208がディスプレイ104に表示命令を発行した時刻と、実際にディスプレイ104に表示情報が表示された時刻を計測し、それらの時刻の差を基に動的に設定してもよい。
動的に設定する場合は、以下のようにして描画遅延時間を決定することができる。表示制御部208は、ディスプレイ104に表示情報の表示命令を発行した時刻を描画遅延時間取得部601に与える。描画遅延時間取得部601は表示制御部208から出力された、表示制御部208が表示情報の表示命令を発行した時刻から、実際にディスプレイ104に表示情報が出力される時刻との差を取得する。ディスプレイ104に実際に表示された時刻としては、描画遅延時間取得部601が、ディスプレイ104から表示完了を示す信号であるAck信号(確認応答信号)を受信する(又は取得する)などの方法で計測する。
また、情報提供装置100又はディスプレイ104で複数の処理が並行して実行される場合には、それぞれにおける処理による負荷を考慮して描画遅延時間を設定してもよい。
本実施の形態における情報提供装置100の表示制御部208の処理のフローチャートを図12に示す。同図に示すように、本実施の形態における表示制御部208の処理は、実施の形態1における図9で示した処理のフローチャートにおけるステップS401の動作を以下のように変更して、図12においてステップS401bとしたものとなる。
図9におけるステップS401において、実施の形態1における表示制御部208は、予め設定した時間後に運転者の視線が到達する座標を予測するものであった。本実施の形態における表示制御部208はこのステップS401における予め設定した時間に、描画遅延時間取得部601から取得した描画遅延時間を加算して、加算後の時間が経過した時に運転者の視線が到達する座標を予測する(ステップS401b)。
ステップS400の処理およびステップS402以下の処理は、実施の形態1における図9で示した処理と同様である。
ステップS402において、到達予測座標が、ディスプレイ104の表示領域に含まれるか否かを判定し、到達予測座標がディスプレイ104の表示領域に含まれない場合は処理を終了することになる。すなわち、予め設定した時間に描画遅延時間を加えて算出した到達予測座標がディスプレイ104の表示領域に含まれない場合には、表示情報の描画が間に合わないと判断して、描画を行わない。このように、上述した描画遅延時間を加えて運転者の視線の到達座標を予測することにより、描画に時間を要する場合であってもディスプレイ104に表示情報を出力する表示位置を正確に算出することができる。
本実施の形態によれば、ディスプレイ104の表示情報の表示位置をディスプレイ104における描画遅延時間を加えて予測することにより、表示位置をより正確に算出可能となる。これにより、描画に時間を要する場合においても、運転者の視線が通過する位置に予め表示情報を表示することができる。以上に示すように、描画に時間を要する場合においても実施の形態1と同様な効果を奏する。
以上の構成においては、図11に示すように、表示制御部208の内部に描画遅延時間取得部601を設ける構成について説明したが、描画遅延時間取得部601は、表示制御部208の外部に設ける構成としてもよい。
また、描画遅延時間取得部601の処理を全て表示制御部208が行うように構成してもよい。
実施の形態4.
実施の形態1から3における情報提供装置100では、視線移動予測部207が視線情報取得部201から出力された視線情報と、運転行動予測部202から出力された予測運転行動と、視線移動DB206の情報とから、運転者の視線の移動経路の予測を行う。
しかし、運転者による車両の走行量がまだ十分でないときには、視線移動DB206に十分な情報が構築できていない可能性がある。すなわち、視線移動DB206における更新用サンプル数が少ない可能性がある。
本実施の形態はこのように視線移動DB206に十分な情報が構築できていない場合にも適用可能な情報提供装置100を実現するものである。なお、更新用サンプル数が少ない場合として、例えば、更新用サンプル数が30以下あるいは50以下の場合が考えられるが、これらに限られるものではない。
図13は、本発明の実施の形態における情報提供装置100の構成を示すブロック図である。
視線移動予測部207は、視線移動DB206における第1階層の運転行動の更新用サンプル数が少ない場合に、クラウド連携視線移動傾向取得部701が、クラウドシステム702から受信した視線移動情報も使用するように構成される。クラウドシステム702は複数のサーバ計算機がネットワーク接続されて構成される。
図13に示すように、本実施の形態は、実施の形態1における図2で示される情報提供装置100の構成に対して、クラウド連携視線移動傾向取得部701を追加し、視線移動予測部207の処理を変更した構成である。図13において、実施の形態1における構成と同一の部分を表すものは、実施の形態1と同一の符号を付して詳細な説明を省略する。
クラウドシステム702には、様々な運転者の運転行動における視線移動情報を収集して格納する。
本実施の形態における情報提供装置100の動作について説明する。
クラウド連携視線移動傾向取得部701は、クラウドシステム702に収集された運転者の視線移動情報の平均値をクラウドシステム702から受信し、受信した視線移動情報を視線移動予測部207に出力する。取得する視線移動情報は、実施の形態1における視線移動DB206と同様な情報とする。すなわち、取得する視線移動情報には、実施の形態1における図4に示す視線移動DB206の第1階層から第3階層までに対応する情報が含まれるものとする。なお、クラウド連携視線移動傾向取得部701から受信する運転者の視線移動情報は、クラウドシステム702に格納された全ての運転者に対する平均値を用いてもよいし、性別、年齢などの運転者の属性によってクラスタリングした集合の平均値を用いてもよい。
視線移動予測部207の動作は、視線移動DB206の情報に加えて、あるいは視線移動DB206の情報の代わりにクラウド連携視線移動傾向取得部701が受信した視線移動情報を使用する点を除いて、実施の形態1と同様である。
このように構成することにより、運転者による車両の走行量が少なく、視線移動DB206に十分な情報が構築されていない場合であっても、視線移動予測部207は運転者の視線移動を予測し、予測視線移動経路を出力することができる。また、運転者による車両の走行量が増えるにつれて、実施の形態1と同様、視線移動DB更新部205を用いて、視線移動DB206に運転者の運転行動における視線移動情報を構築していくことができる。
以上説明した情報提供装置100により、運転者による車両の走行量が少ない場合には、クラウドシステム702上に蓄えられた視線移動情報を用いることができる。さらに、運転者による車両の走行量が増加し、視線移動DB206に運転者の視線移動情報が十分に構築できた場合には、視線移動DB206に切り替えて、視線移動予測部207により運転者の視線移動を予測することができる。また、視線移動DB206の情報に加えて、クラウド連携視線移動傾向取得部701が受信した視線移動情報を使用するように構成してもよい。
なお、クラウド連携視線移動傾向取得部701で取得した視線移動情報から、視線移動DB206への切り替えは例えば以下のように行うように構成することもできる。すなわち、視線移動DB206において、更新用サンプル数が予め定められた閾値以上となった運転行動については、視線移動DB206に切り替えを行うようにすることができる。ここで更新用サンプル数の閾値としては、例えば50あるいは100などを用いることができる。なお、この更新用サンプル数の閾値はこれらの数値に限るものではない。
本実施の形態によれば、運転者による車両の走行量が十分でない場合においても、運転者の視線移動の予測を行うことができ、運転者の自然な視線経路上に表示情報を表示することができる。また、運転者による車両の走行量が少なく、視線移動DB206が十分に構築できていない場合には、クラウドシステム702に蓄積された、一般的な運転者の視線移動情報の活用が可能である。さらに、運転者による走行量が十分な量となり、視線移動DB206が構築できた場合には、当該運転者の特性に沿った視線移動の予測が可能となる。以上述べたように、運転者による車両の走行量が十分でない場合においても、実施の形態1と同様の効果を得ることができる。
実施の形態5.
実施の形態1から4においては、運転行動予測部202によって予測された運転行動に対し、視線移動予測部207を用いて運転者の視線の移動経路の予測を行う発明の構成について述べた。これは同じ運転者であれば、それぞれの運転行動に対して視線の移動経路はおおよそ同じ経路となることに基づく。
一方で、天候、時間帯、車両が走行する地域によっては、同一の運転者の同じ種類の運転行動に対して、視線の移動経路が変化する場合もある。例えば、雨天時の走行、夜間における走行をはじめとした視界が悪い状況においては、より周囲に注意を払う必要があるため、確認するポイントが増え、視線の移動時間の長さが異なる可能性がある。
本実施の形態においては、同一の運転者、同じ種類の運転行動で運転者の視線の移動経路が変化する場合にも視線の移動経路を正しく予測するための発明の構成について述べる。
図14は、本発明の実施の形態5における情報提供装置100の構成を示すブロック図である。
時間帯情報とは、日中、夜間、朝、夕方、あるいは午前7時から午前9時まで等、一日のうちの時間帯を示す情報である。
地域情報とは、車両が都市部を走行しているか、又は郊外を走行しているかを示す情報である。地域情報は、GPS受信器、クラウドシステム702から取得するか、あるいは、図14に示すように地図DB204から取得する。ここで、環境情報は、天候情報、時間帯情報および地域情報のうちの少なくとも1つを含むものとする。なお、環境情報は天候情報、時間帯情報又は地域情報に限るものではなく、運転者の視線移動に変化を与える可能性のある情報を追加することが可能である。
図14に示すように、本実施の形態では、実施の形態1に係る発明の構成に対して、環境情報取得部801、車載センサ102b、クラウドシステム702を追加し、視線移動DB更新部205の処理を変更している。また、後述するように、視線移動DB206について、実施の形態1で示した視線移動DB206で保持するデータの拡張を行っている。なお、車載センサ102bは車載ネットワーク(図示しない)を介して環境情報取得部801に接続される場合もある。
次に、本実施の形態の情報提供装置100の動作について述べる。
環境情報取得部801は、車載センサ102b又はクラウドシステム702から、環境情報として、天候情報、時間帯情報又は地域情報を取得し、視線移動DB更新部205に出力する。天候情報は、車載センサ102bから取得するか、あるいはクラウドシステム702から入力された天候に関する情報から取得する。車載センサ102bから取得する情報としては、例えば、雨滴センサからの情報、ワイパーの動作情報(動作しているか否かの情報)が挙げられる。
時間帯情報はGPS受信器から時刻を取得して算出する。あるいは、車両に搭載された時計から取得して時刻から算出してもよい。
天候情報、時間帯情報又は地域情報は、渋滞および交通規制に関する道路交通情報を車載情報機器10に送信するシステムであるVICS(登録商標)又は高度道路交通システムにおいて道路に設置される情報通信装置である路側器を用いて取得してもよい。
視線移動DB206は、実施の形態1の図4で示した情報に加えて、上述した環境情報である天候情報、時間帯情報又は地域情報を保持する。視線移動DB更新部205は、環境情報取得部801から取得した環境情報を付加した上で、実施の形態1と同様の手法で、視線移動DB206を更新する。
本実施の形態において拡張した視線移動DB206の構成例について、図15に第1階層および第2階層の構成を、図16に第3階層の構成を示す。図15および図16には、実施の形態1における視線移動DB206に加えて、天候情報、時間帯情報を保持する例について示す。図15に示すように、視線移動DB206の第2階層において、天候情報、時間帯情報の種類毎に視線移動、移動経路、移動時間の情報を持つ。
同図には示していないが、環境情報として地域情報が定義される場合も同様に、地域情報の種類毎に、視線移動、移動経路、移動時間の情報を持つ。
また、視線移動DB206の第3階層においても図16に示すように、第2階層と同様に天候情報、時間帯情報の種類毎に、視線移動、始点座標、終点座標、移動時間の情報を持つ。なお、同図には示していないが、環境情報として地域情報が定義される場合も同様に、地域情報の種類毎に、視線移動、始点座標、終点座標、移動時間の情報を持つ。
視線移動DB更新部205は環境情報取得部801から出力された天候情報、時間帯情報又は地域情報を含む環境情報を付加した上で、実施の形態1における視線移動DB更新部205と同様の手法で、視線移動DB206における視線移動情報を更新する。
このように構成することにより、天候情報、時間帯情報又は地域情報でそれぞれ示される天候、時間帯又は車両が走行する地域によって視線の移動経路が異なる場合においても環境に即して変化する視線移動の予測が可能となる。
本実施の形態によれば、同じ運転者の同種類の運転行動に対して、天候情報、時間帯情報又は地域情報から構成される環境情報によって、運転者の視線の移動経路が異なる場合であっても環境情報の変化に対応した視線の移動経路の予測が可能となる。従って、このように環境情報によって、運転者の視線の移動経路が異なる場合であっても、実施の形態1と同様の効果を得ることができる。
実施の形態6.
図17は本発明の実施の形態6における情報提供装置100の構成を示すブロック図である。
同図に示すように、本実施の形態においては、実施の形態1における図2で示す構成における表示制御部208の内部構成を詳細化し、表示情報決定部209と表示位置制御部210を設けたものである。なお、本実施の形態において、実施の形態1における構成と同一の部分を表すものは、実施の形態1と同一の符号を付して詳細な説明を省略する。
表示情報決定部209は表示情報を決定し、表示種別情報を決定する。表示種別情報は例えば、安全情報、娯楽に関する情報であるエンターテインメント情報(娯楽情報)、交通状況に関する情報である交通情報がある。安全情報は車両の運行における安全に関する情報である。表示情報決定部209は、決定した表示情報を表示種別情報と共に表示位置制御部210に出力する。表示位置制御部210は表示対象の情報が複数存在する場合に、表示情報決定部209から出力された表示種別情報によって優先度を設定し、表示順序と表示位置を決定する。例えば、表示種別情報が安全情報又は交通情報であれば、すぐに運転者に伝える必要であるため、直ちに運転者の視線の移動経路上に、すなわち、予測視線移動経路上に表示する。
また、表示種別情報が娯楽情報である場合は、すぐに運転者に伝える必要性が低いため、視線移動DB206における第2階層の最終移動の視線移動が始まった際に視線経路の終点座標を含む位置に表示する構成とすることが考えられる。なお、表示種別情報は安全情報、エンタメ情報、交通情報に限るものではない。また、安全情報、エンタメ情報、交通情報のそれぞれに対応する表示位置も上述した表示位置に限定するものではない。
本実施の形態によれば、ディスプレイ104に表示すべき複数の表示情報が存在する場合に、表示情報の表示種別情報に応じて優先度を設定することができる。また、表示種別情報が安全情報又は交通情報である場合には、他の表示種別を示す情報より優先して、運転者が視認することが容易な位置により早く表示することができる。
実施の形態7.
実施の形態1から6までにおいては、運転行動予測部202によって予測された予測運転行動に対し、視線移動予測部207を用いて運転者の視線の移動経路の予測を行う発明の構成について述べた。この運転行動の予測は直線道路であるか、交差点が近いかなど、主に車両の進行方向の位置で判断しているが、車両の左右方向の車線位置が明確になるとさらに高精度な運転行動予測が可能となる。
本実施の形態においては、高精度に車両の位置を算出可能な車載センサと車線レベルの情報まで保持する地図DB204を用いて車両の位置精度が車線レベルで特定できたときに運転行動を正しく予測するための発明の構成について述べる。
図18は、本発明の実施の形態7における情報提供装置100の構成を示すブロック図である。走行車線位置とは車両が走っている車線を示すものであり、高精度に車両の位置を算出可能な車載センサ102と車線レベルの情報まで保持する地図DB204を用いて走行車線位置取得部901によって取得される。
図18に示すように、本実施の形態では、実施の形態1に係る発明の構成に対して、走行車線位置取得部901を追加している。また、運転行動DB203について、実施の形態1で示した運転行動DB203で保持するデータの拡張を行っている。すなわち、運転行動DB203は、実施の形態1の図3で示した情報に加えて、上述した走行車線位置情報を保持する。なお、図18において、実施の形態1における構成と同一の部分を表すものは、実施の形態1と同一の符号を付して詳細な説明を省略する。
本実施の形態において拡張した運転行動DB203の構成例を図19に示す。図19に示す運転行動DB203は地図情報、車載機器情報、運転行動に加えて、走行車線位置情報を持つ。走行車線位置情報は、具体的には左端車線、右端車線、あるいは左から2番目かつ右から2番目の車線という車線の場所を明確に示す情報を保持する。また、走行車線位置情報として、左端車線以外、右端車線以外という複数の車線を示す情報を保持しても良い。あるいは、走行車線位置情報として、右折用車線、左折用車線、直進用車線、車線変更禁止車線という車線の特性を表す情報を保持しても良い。
次に、本実施の形態における情報提供装置100の動作について述べる。
走行車線位置取得部901は、車載センサ102から自車位置情報を取得し、地図DB204から道路の車線位置情報を含んだ地図情報を取得し、これらを用いて車両の車線位置を特定し、その走行車線位置を運転行動予測部202に出力する。
運転行動予測部202は実施の形態1の情報に加え、走行車線位置取得部901から取得した走行車線位置情報を用いて、上述の運転行動DB203を検索する。運転行動予測部202は運転行動DB203を検索し、運転行動を予測し、予測した結果となる運転行動を予測運転行動として視線移動予測部207と視線移動DB更新部205に出力する。
このように構成することにより、実施の形態1における地図情報、車載機器情報に加えて、走行車線位置情報も用いて予測するため、予測運転行動をより精度良く予測可能になる。
本実施の形態によれば、車両の走行車線位置情報を追加することで、運転行動をより限定することが可能となり、より精度の良い運転行動予測が可能となる。従って、視線移動の予測もより高精度となり、実施の形態1と同様の効果に加えて、表示の正確性がさらに向上する効果を得ることができる。
以上の実施の形態1から7における情報提供装置100は図20に示したH/W構成を用いて実現することも可能である。図20においてはメモリ21、マイクロプロセッサ22、二次記憶装置23が構成され、これらメモリ21、マイクロプロセッサ22、二次記憶装置23が協働することで、実施の形態1から7における情報提供装置100が実現される。
すなわち、ソフトウェアとして実現された情報提供装置100のプログラムを二次記憶装置23に格納しておき、プログラムをメモリ21に読み込ませて、マイクロプロセッサ22で実行させる。このように構成することにより、本発明の情報提供装置100が実現される。また、運転行動DB203、地図DB204、視線移動DB206は二次記憶装置23を用いて構成することができる。なお、運転行動DB203、地図DB204、視線移動DB206は、メモリ21を用いて構成することもできる。
なお、以上述べたソフトウェアとしての実現方法は例示であって、本発明の実現方法はこれに限るものではない。
100 情報提供装置、102、102b 車載センサ、103 車載ネットワーク、104 ディスプレイ、201 視線情報取得部、202 運転行動予測部、203 運転行動DB、204 地図DB、205 視線移動DB更新部、206 視線移動DB、207 視線移動予測部、208 表示制御部、501 視線通過判定部、701 クラウド連携視線移動傾向取得部、702 クラウドシステム、801 環境情報取得部、901 走行車線位置取得部。

Claims (8)

  1. 車両の運転者の視線情報を取得する視線情報取得部と、
    道路情報、車載機器情報および前記運転者の運転行動を保持する運転行動データベースと、
    地図データベースと、
    車載センサ又は車載ネットワークから前記車両の走行位置および前記車載機器情報を取得し、前記走行位置を基に前記地図データベースを検索して前記道路情報を取得し、前記道路情報および前記車載機器情報を基に前記運転行動データベースを検索して前記運転者の運転行動を予測した結果として予測運転行動を出力する運転行動予測部と、
    前記運転行動における前記運転者の視線の移動経路および移動時間を保持する視線移動データベースと、
    前記運転行動予測部から前記予測運転行動を取得し、前記視線情報取得部から前記運転者が前記予測運転行動を取る場合の前記運転者の前記視線情報を取得して前記視線移動データベースを更新する視線移動データベース更新部と、
    前記予測運転行動および前記視線情報を基に前記視線移動データベースを検索して、前記運転者の視線が移動する経路を予測した結果を予測視線移動経路として出力する視線移動予測部と、
    前記車両のディスプレイに表示する表示情報を決定し、前記予測視線移動経路を用いて前記運転者の視線が前記ディスプレイに到達する到達位置および時刻を決定して、前記到達位置に予め前記表示情報を表示する表示制御部と、
    を備えた情報提供装置。
  2. 前記予測視線移動経路を用いて、前記運転者の視線が前記ディスプレイに前記表示情報を表示する位置を通過したか否かを判定する視線通過判定部を
    さらに備えたことを特徴とする請求項1に記載の情報提供装置。
  3. 前記表示制御部は、前記表示情報を出力する指示を行ってから前記ディスプレイに前記表示情報が出力されるまでの時間である描画遅延時間を算出し、前記描画遅延時間を用いて前記表示情報が前記ディスプレイに出力される位置を変更することを特徴とする請求項1又は2に記載の情報提供装置。
  4. 複数のサーバ計算機がネットワーク接続されて構成されるクラウドシステム、前記車載センサ又は前記車載ネットワークから、天候情報、時間帯情報および前記車両が走行している地域に関する情報である地域情報のうちの少なくとも1つを含む環境情報を取得する環境情報取得部をさらに備え、
    前記視線移動データベース更新部は、前記環境情報取得部で取得した前記環境情報を付加して前記視線移動データベースを更新し、
    前記視線移動予測部は、前記環境情報が付加された前記視線移動データベースを検索して前記予測視線移動経路を出力することを特徴とする請求項1から3までのいずれか一項に記載の情報提供装置。
  5. 前記表示情報は、前記車両の運行における安全に関する情報である安全情報、交通状況に関する情報である交通情報および娯楽情報のうちのいずれかを示す表示種別情報を含み、
    前記表示制御部は、前記表示種別情報に応じて、前記ディスプレイにおいて前記表示情報を出力する位置および時刻を決定することを特徴とする請求項1から4までのいずれか一項に記載の情報提供装置。
  6. 複数のサーバ計算機がネットワーク接続されて構成されるクラウドシステムから前記運転行動における前記運転者の前記視線の移動経路および前記移動時間を取得するクラウド連携視線移動傾向取得部をさらに備え、
    前記視線移動予測部は、前記視線移動データベースを検索した結果に加えて、前記クラウド連携視線移動傾向取得部によって前記クラウドシステムから取得した前記視線の移動経路および前記移動時間を用いて、前記予測視線移動経路を出力することを特徴とする請求項1から5までのいずれか一項に記載の情報提供装置。
  7. 前記走行位置を基に前記地図データベースを検索して取得した道路の車線位置情報を用いて、前記車両が走行する走行車線位置情報を取得する走行車線位置取得部をさらに備え、
    前記運転行動予測部は、前記道路情報および前記車載機器情報に加えて前記走行車線位置取得部から取得した前記走行車線位置情報を用いて前記運転行動データベースを検索し、前記運転者の前記運転行動を予測した結果として前記予測運転行動を出力することを特徴とする請求項1から6までのいずれか一項に記載の情報提供装置。
  8. 前記ディスプレイは、ヘッドアップディスプレイであることを特徴とする請求項1から7までのいずれか一項に記載の情報提供装置。
JP2019508558A 2017-03-28 2017-12-06 情報提供装置 Active JP6645618B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017062040 2017-03-28
JP2017062040 2017-03-28
PCT/JP2017/043762 WO2018179599A1 (ja) 2017-03-28 2017-12-06 情報提供装置

Publications (2)

Publication Number Publication Date
JPWO2018179599A1 JPWO2018179599A1 (ja) 2019-06-27
JP6645618B2 true JP6645618B2 (ja) 2020-02-14

Family

ID=63674925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508558A Active JP6645618B2 (ja) 2017-03-28 2017-12-06 情報提供装置

Country Status (2)

Country Link
JP (1) JP6645618B2 (ja)
WO (1) WO2018179599A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215191B2 (ja) * 2019-01-24 2023-01-31 株式会社Jvcケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4342708B2 (ja) * 2000-09-06 2009-10-14 本田技研工業株式会社 ドライバの視線領域の適合性を判定する車載情報処理装置
JP2008158791A (ja) * 2006-12-22 2008-07-10 Aisin Aw Co Ltd 運転支援システム
JP4729522B2 (ja) * 2007-03-22 2011-07-20 株式会社デンソーアイティーラボラトリ ナビゲーション装置、ナビゲーション方法、およびプログラム
JP5422622B2 (ja) * 2011-09-09 2014-02-19 本田技研工業株式会社 ヘッドアップディスプレイ装置
US8781170B2 (en) * 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
JP6396672B2 (ja) * 2014-04-23 2018-09-26 クラリオン株式会社 情報表示装置及び情報表示方法

Also Published As

Publication number Publication date
JPWO2018179599A1 (ja) 2019-06-27
WO2018179599A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
US9898006B2 (en) Drive assist device
CN109791738B (zh) 行驶辅助装置以及计算机程序
EP3467802B1 (en) Object detection method and object detection device
US11535155B2 (en) Superimposed-image display device and computer program
US10300916B2 (en) Autonomous driving assistance system, autonomous driving assistance method, and computer program
US11541891B2 (en) Vehicle control method and vehicle control device
JP4910510B2 (ja) 制御用情報記憶装置及びプログラム
US9638532B2 (en) Vehicle drive assist system, and drive assist implementation method
EP3276586A1 (en) Automatic driving assistance device, control method, program, and storage medium
US10821976B2 (en) Navigation system with dynamic speed setting mechanism and method of operation thereof
JP7047824B2 (ja) 車両制御装置
US11186293B2 (en) Method and system for providing assistance to a vehicle or driver thereof
US20120109521A1 (en) System and method of integrating lane position monitoring with locational information systems
JP2013088133A (ja) カーナビゲーションシステム
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
CN115769287A (zh) 自动驾驶装置、车辆控制方法
CN116171464A (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
JP4767797B2 (ja) 車両用ナビゲーション装置、方法およびプログラム
JP2015145849A (ja) ナビゲーション装置、ナビゲーション方法及びプログラム
JP7315101B2 (ja) 障害物情報管理装置、障害物情報管理方法、車両用装置
CN114005300A (zh) 车辆管理系统、管理方法及计算机可读介质
JP7123830B2 (ja) 地図データ更新システム、走行プローブ情報収集装置、走行プローブ情報提供装置および走行プローブ情報収集方法
JP7289855B2 (ja) 車両制御システムおよび車両制御方法
JP2020153939A (ja) 経路提示方法及び経路提示装置
CN115943289A (zh) 驾驶辅助装置以及计算机程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R151 Written notification of patent or utility model registration

Ref document number: 6645618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250