JP6350492B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6350492B2
JP6350492B2 JP2015230727A JP2015230727A JP6350492B2 JP 6350492 B2 JP6350492 B2 JP 6350492B2 JP 2015230727 A JP2015230727 A JP 2015230727A JP 2015230727 A JP2015230727 A JP 2015230727A JP 6350492 B2 JP6350492 B2 JP 6350492B2
Authority
JP
Japan
Prior art keywords
vehicle
image
display
stability
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015230727A
Other languages
English (en)
Other versions
JP2017097709A (ja
Inventor
佐藤 潤
潤 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015230727A priority Critical patent/JP6350492B2/ja
Priority to US15/357,547 priority patent/US10017116B2/en
Publication of JP2017097709A publication Critical patent/JP2017097709A/ja
Application granted granted Critical
Publication of JP6350492B2 publication Critical patent/JP6350492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Description

本発明は、画像表示装置に関する。
特許文献1には、車両の自動運転制御中に、自動運転制御の安定度を運転者に提示する走行状態提示装置が示されている。この走行状態提示装置では、車両の周囲の環境情報に基づいて自動運転制御の安定度を判別し、安定度の判別結果に応じて変化する画像を車両の乗員(運転者を含む)に提示している。
特開2001-199295号公報
上述した従来の装置では、車両の自動運転制御中に、自動運転制御の安定度に関する情報を乗員に提示している。しかしながら、自動運転制御中の車両においては、安定度以外の情報も含めた自動運転制御に関する情報を乗員に伝えることが望ましい。更には、これらの情報を車両の乗員が理解しやすい画像として伝えることが求められている。
そこで、本技術分野では、自動運転制御に関する画像を乗員が理解しやすいように表示することができる画像表示装置を提供することが望まれている。
上記課題を解決するため、本発明の一態様は、車両の自動運転システムから取得した情報に基づいて、自動運転システムの自動運転制御に関する画像を車両の車載表示器の表示面に表示する画像表示装置であって、自動運転システムから自動運転制御の安定度に関する安定度情報を取得する安定度情報取得部と、自動運転システムから自動運転制御による車両の次の行動に関する次期行動情報を取得する次期行動情報取得部と、車載表示器の表示を制御する表示制御部と、を備え、車載表示器の表示面は車両の運転者の前方に位置しており、表示制御部は、車両が自動運転制御中である場合に、車両及び車両の走行する走行道路を俯瞰して示す走行道路俯瞰画像と、走行道路俯瞰画像における車両の進行方向に位置し、進行方向に交差する方向に延在する長尺状の枠内で安定度情報に応じて変化する安定度表示画像と、安定度表示画像から進行方向に位置し、次期行動情報を示す次期行動テキスト画像と、を表示させ、運転者から見て車両の前方向に画像上の車両の進行方向が沿うように走行道路俯瞰画像を表示させる
本発明の一態様に係る画像表示装置によれば、走行道路俯瞰画像における車両の進行方向に安定度表示画像及び次期行動テキスト画像を表示するので、走行道路俯瞰画像における車両の進行方向に目を向けることにより、車両の乗員(運転者を含む)は安定度表示画像及び次期行動テキスト画像を探さなくても容易に視認することができる。しかも、この画像表示装置によれば、自動運転制御の安定度を安定度表示画像の変化によって示すので乗員が安定度を直感的に理解しやすい。よって、この画像表示装置は、自動運転制御に関する画像を乗員が理解しやすいように表示することができる。
一実施形態において、上記画像表示装置は、自動運転システムから自動運転制御による車両の次の行動の理由に関する行動理由情報を取得する行動理由取得部を更に備え、表示制御部は、車両が自動運転制御中である場合に、行動理由取得部が行動理由情報を取得したとき、表示面における安定度表示画像の左側又は右側に、行動理由情報を示す行動理由テキスト画像を表示させてもよい。
この画像表示装置によれば、安定度表示画像の左側又は右側に行動理由テキスト画像を表示することで、自動運転制御による車両の次の行動の理由を車両の乗員が容易に理解することができる。
一実施形態において、安定度情報取得部は、自動運転システムから安定度の低下の理由に関する低下理由情報を取得し、表示制御部は、車両が自動運転制御中である場合に、安定度情報取得部が低下理由情報を取得したとき、安定度表示画像から進行方向に位置し、低下理由情報を示す低下理由テキスト画像を表示させてもよい。
この画像表示装置によれば、自動運転制御の安定度が低下した理由に関する低下理由情報を示す低下理由テキスト画像を表示することで、安定度が低下した理由を車両の乗員が容易に理解することができる。しかも、この画像表示装置によれば、安定度表示画像から車両の進行方向の位置に低下理由テキスト画像を表示するので、車両の乗員は走行道路俯瞰画像における車両の進行方向に目を向けることで低下理由テキスト画像を容易に視認することができる。
以上説明したように、本発明の種々の態様及び実施形態によれば、自動運転制御に関する画像を乗員が理解しやすいように表示することができる。
本実施形態に係る画像表示装置及び自動運転システムを示すブロック図である。 図1に示す画像表示装置によって表示された自動運転制御に関する画像の一例である。 (a)図2に示す安定度表示画像において、点灯オブジェクトが左側に位置する状態を説明するための図である。(b)図2に示す安定度表示画像において、点灯オブジェクトが右側に位置する状態を説明するための図である。 図1に示す画像表示装置によって表示された自動運転制御に関する画像の他の例である。 画像表示装置の表示制御処理を示すフローチャートである。 (a)画像表示装置の行動理由表示処理を示すフローチャートである。(b)画像表示装置の低下理由表示処理を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本実施形態に係る画像表示装置及び自動運転システムを示すブロック図である。図1に示すように、画像表示装置1及び自動運転システム100は、乗用車などの車両2に搭載される。
[自動運転システムの構成]
まず自動運転システム100の構成について説明する。自動運転システム100は、車両2の自動運転制御を実行するシステムである。自動運転制御とは、運転者が運転操作をすることなく、車両2の走行する道路に沿って自動で車両2を走行させる車両制御である。自動運転システム100は、運転者による自動運転制御の開始操作(自動運転制御の開始ボタンを押す操作等)が行われた場合に、車両2の自動運転制御を開始する。
自動運転システム100は、外部センサ20、地図データベース21、内部センサ22及びGPS(Global Positioning System)受信機23、自動運転ECU31及びアクチュエータ41を備える。
外部センサ20は、車両2の周囲の物体を検出する検出器である。物体とは、有体物であり、先行車、歩行者、ガードレールなどの静止物などである。外部センサ20の一例として、ライダー(LIDAR:Laser Imaging Detection and Ranging)が用いられる。ライダーは、レーザ光を利用して車両2の周囲の物体を検出する。具体的な一例として、ライダーは、車両2の周囲の放射範囲内にレーザ光を送信する。放射範囲内にレーザ光を反射する物体が存在する場合には、ライダーは反射光を取得する。ライダーは、放射したレーザ光が反射光として戻るまでの時間に基づいて、車両2と物体との相対距離を検知する。ライダーは、反射光の周波数変化に基づいて車両2と物体との相対速度を検知する。ライダーは、反射光の角度に基づいて物体の方向を検知する。ライダーは、検出結果を自動運転ECU31へ送信する。なお、外部センサ20は、カメラを用いてもよい。外部センサ20は、車両2の走行する走行車線の白線認識にも利用される。
地図データベース21は、地図情報を備えたデータベースである。地図データベース21は、車両2に搭載された記憶部に格納されている。地図情報には、道路の位置情報、道路形状の情報(カーブ、直線部の種別、カーブの曲率など)、交差点及び分岐点の位置情報、及び建物の位置情報などが含まれる。
内部センサ22は、車両2の走行状態を検出する検出器である。内部センサ22は、車速センサ、加速度センサ及びヨーレートセンサを含む。車速センサは、車両2の速度を検出する検出器である。車速センサの一例としては、車両2の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車両2の車速情報を自動運転ECU31に送信する。加速度センサは、車両2の加速度を検出する検出器である。加速度センサは、車両2の前後方向の加速度を検出する前後加速度センサと、車両2の横加速度を検出する横加速度センサとを含む。加速度センサは、検出した車両2の加速度情報を自動運転ECU31に送信する。ヨーレートセンサは、車両2の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサの一例として、ジャイロセンサが用いられる。ヨーレートセンサは、検出した車両2のヨーレート情報を自動運転ECU31へ送信する。
GPS受信機23は、3個以上のGPS衛星から信号を受信することにより、車両2の位置を測定する。位置の具体的な一例としては、緯度及び経度である。GPS受信機23は、測定した車両2の位置情報を自動運転ECU31へ送信する。
アクチュエータ41は、車両2の走行制御を実行する装置である。アクチュエータ41は、エンジンアクチュエータ、ブレーキアクチュエータ及び操舵アクチュエータを含む。エンジンアクチュエータは、自動運転ECU31からの制御信号に応じてエンジンに対する空気の供給量を変更することで、車両2の駆動力を制御する。具体的な一例として、エンジンアクチュエータは、スロットル開度を変更することで車両2の駆動力を制御する。なお、エンジンアクチュエータは、車両2がハイブリッド車又は電気自動車である場合には、動力源としてのモータの駆動力を制御する。ブレーキアクチュエータは、自動運転ECU31からの制御信号に応じてブレーキシステムを制御し、車両2の車輪へ付与する制動力を制御する。ブレーキシステムとしては、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、自動運転ECU31からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両2の操舵トルクを制御する。
自動運転ECU31は、CPU、ROM、RAM、CAN通信回路などを有する電子制御ユニットである。自動運転ECU31は、CPUが出力する信号に基づいてハードウェアを制御し、後述する自動運転ECU31の機能を実現する。より具体的な動作の一例としては、自動運転ECU31は、CAN通信回路を動作させてデータを入出力し、入力データをRAMに記憶し、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行する。
自動運転ECU31は、地図データベース21を参照可能に構成されている。自動運転ECU31は、地図データベース21の地図情報に基づいて、自動運転制御により車両2を目的地まで走行させる走行計画(地図情報に依存する走行計画)を生成する。目的地は、運転者が設定した目的地であってもよく、自動運転システム100が提案した目的地であってもよい。自動運転ECU31は、周知の技術により走行計画を生成することができる。
また、自動運転ECU31は、外部センサ20の検出結果から車両2の周囲の道路環境(物体の情報も含む)を取得する。自動運転ECU31は、内部センサ22の検出結果から車両2の走行状態の情報を取得する。自動運転ECU31は、GPS受信機23の測定結果から車両2の位置情報を取得する。
自動運転ECU31は、アクチュエータ41に接続され、アクチュエータ41を制御して車両2の自動運転制御を行う。自動運転ECU31は、車両2が目的地まで走行する走行計画、車両2の周囲の道路環境、車両2の走行状態、車両2の位置情報に基づいて、アクチュエータ41を制御することにより車両2の自動運転制御を行う。自動運転制御とは、車両2が走行する道路に沿って自動で車両2を走行させる制御をいう。自動運転制御には、自動操舵と自動速度調整とが含まれる。自動操舵は、車両2の操舵を自動で行う制御である。自動速度調整は、車両2の速度を自動で調整する制御である。
また、自動運転ECU31は、自動運転制御中である場合、自動運転制御の安定度を算出する。自動運転制御の安定度とは、自動運転制御を継続できるか否かの判定に用いる指標である。自動運転ECU31は、安定度が制御中断閾値以下になった場合、自動運転制御を中断する。制御中断閾値は、自動運転制御の中断の要否を判断するための閾値である。制御中断閾値は、予め設定された固定値である。
自動運転ECU31は、外部センサ20の検出結果から道路の白線の情報を取得できない場合、道路の白線の情報できる場合と比べて、安定度を低い値として算出する。自動運転ECU31は、車両2の周囲の他車両又は構造物(電柱、壁、建物等)によって道路の白線が隠されている場合、隠されている白線の比率を用いて安定度を算出してもよい。隠されている白線の比率は、周知の画像処理技術により求めることができる。なお、自動運転ECU31は、周知の手法により安定度を算出してもよい。
また、自動運転ECU31は、車両2の周囲の他車両又は構造物によって外部センサ20の検出範囲が制限されている場合、外部センサ20の検出範囲が制限されていない場合と比べて、安定度を低い値として算出してもよい。自動運転ECU31は、制限されていない外部センサ20の検出範囲と、他車両又は構造物によって制限された外部センサ20の範囲(他車両又は構造物によって隠された範囲)との比率を用いて、安定度を算出してもよい。他車両又は構造物によって制限された外部センサ20の範囲は、周知の技術により求めることができる。
また、自動運転ECU31は、自動運転システム100の演算周期をモニタし、演算周期が所定の閾値を超えると判定した場合に、演算周期が所定の閾値を超えないと判定した場合と比べて、安定度を低い値として算出してもよい。自動運転システム100の全体の演算周期に代えて、特定の処理ブロック(例えば白線検出の処理ブロック)の演算周期を用いてもよい。
また、自動運転ECU31は、天候状況に基づいて安定度を算出してもよい。自動運転ECU31は、車両2のワイパーが作動している場合、ワイパーが作動していない場合と比べて、安定度を低い値として算出してもよい。自動運転ECU31は、無線通信によって天候状況の情報を取得できる場合、天候状況が悪天候(雨、雪、霧等)のときには天候状況が晴れのときと比べて、安定度を低い値として算出してもよい。自動運転ECU31は、悪天候等の自動運転制御の継続を妨げる問題が検出されない場合、安定度を初期値(予め設定された設定値)として算出する。
自動運転ECU31は、算出した安定度を安定度情報として画像表示装置1へ送信する。安定度情報とは、自動運転制御の安定度に関する情報である。なお、安定度情報は、必ずしも安定度の値である必要はない、安定度情報の他の例については後述する。
自動運転ECU31は、安定度が初期値より低下した場合、安定度の低下の理由に関する低下理由情報を画像表示装置1へ送信する。低下理由情報には、安定度の低下の原因となった状況(車両2の道路環境等)に関する情報が含まれる。低下理由情報には、車両2の周囲の他車両又は構造物の存在、自動運転システム100の演算負荷の増加、悪天候等の情報が含まれる。低下理由情報には、複数の状況の情報が含まれていてもよい。
なお、自動運転ECU31は、安定度が初期値より低下しただけでは低下理由情報を送信せず、安定度が予め設定された閾値未満になった場合に、低下理由情報を画像表示装置1へ送信してもよい。また、自動運転ECU31は、低下理由情報を画像表示装置1へ送信しない態様であってもよい。
自動運転ECU31は、安定度情報及び低下理由情報の他、自動運転制御による車両2の次の行動に関する次期行動情報を画像表示装置1へ送信する。次期行動情報は、自動運転制御による車両2の次の行動に関する情報である。次期行動情報には、車両2の加速、減速、車線変更、自動運転制御の中断、又は自動運転制御の終了に関する情報等が含まれる。
自動運転ECU31は、車両2が目的地まで走行する走行計画、車両2の周囲の道路環境、車両2の走行状態、車両2の位置情報に基づいて、自動運転制御による車両2の次の行動の決定条件が満たされたか否かを判定する。次の行動の決定条件とは、自動運転制御による車両2の次の行動を決定するための各種の条件である。次の行動の決定条件は、予め設定されている。次の行動の決定条件が満たされることは、自動運転制御による車両2の次の行動の理由(次の行動を実行する理由)が生じたことを意味する。次の行動の理由としては、自動運転制御による車両2の次の行動を決定する原因となった状況(車両2の周囲の道路環境等)が挙げられる。自動運転ECU31は、自動運転制御による車両2の次の行動の理由に関する行動理由情報を画像表示装置1へ送信する。自動運転ECU31は、行動理由情報と次期行動情報とを関連付けて画像表示装置1へ送信する。
自動運転ECU31は、車両2が片側三車線の中央の車線を走行しており、所定距離(例えば500m)先に左側から他車線が合流する合流地点がある場合、車線変更(自動運転制御による車両2の次の行動)の決定条件が満たされたと判定する。この場合、自動運転ECU31は、片側三車線の中央の車線から右側の車線への車線変更に関する情報を次期行動情報として画像表示装置1へ送信する。また、自動運転ECU31は、他車線の左側からの合流に関する情報を行動理由情報として画像表示装置1へ送信する。
自動運転ECU31は、車両2の一定距離(例えば500m)先の区間に速度制限が掛けられている場合、車両2の減速の決定条件が満たされたと判定する。速度制限に関する情報は、地図情報に含まれている。この場合、自動運転ECU31は、車両2の減速に関する情報を次期行動情報として画像表示装置1へ送信する。また、自動運転ECU31は、速度制限に関する情報を行動理由情報として画像表示装置1へ送信する。なお、自動運転ECU31は、交通情報を管理する交通情報管理センターとの通信により、速度制限に関する情報を取得してもよい。
自動運転ECU31は、安定度が制御中断閾値未満になったと判定した場合、車両2の自動運転制御の中断の決定条件が満たされたと判定する。この場合、自動運転ECU31は、車両2の自動運転制御の中断に関する情報を次期行動情報として画像表示装置1へ送信する。
また、自動運転ECU31は、自動運転制御の中断の理由に関する情報を行動理由情報として画像表示装置1へ送信する。自動運転制御の中断の理由としては、運転制御を継続不能な天候不良、自動運転制御を継続不能な道路構造、自動運転制御を継続不能な周辺状況等がある。
自動運転ECU31は、交通情報管理センターとの通信により、車両2の進行方向の天候情報を取得する。自動運転ECU31は、天候が台風、大雪等の場合、自動運転制御を継続不能な天候不良であると判定する。自動運転ECU31は、車線を構成する白線が無い場合、自動運転制御を継続不能な道路構造であると判定する。自動運転ECU31は、事故により横転した他車両等が存在する場合、自動運転制御を継続不能な周辺状況であると判定する。自動運転制御の中断の理由は、安定度の低下する理由と内容が重複する場合がある。なお、自動運転ECU31は、行動理由情報を画像表示装置1へ送信しない態様であってもよい。
[画像表示装置の構成]
次に、本実施形態に係る画像表示装置1の構成について説明する。画像表示装置1は、車両2が自動運転制御中である場合に、自動運転制御に関する画像を車両2の乗員(運転者も含む)に表示する。画像表示装置1は、自動運転システム100から取得した情報に基づいて、後述するディスプレイ装置(車載表示器)40に自動運転制御に関する画像を表示する。
自動運転システム100から取得した情報には、前述した安定度情報、低下理由情報、次期行動情報、行動理由情報が含まれる。また、自動運転システム100から取得した情報には、車両2の周囲の道路環境の情報(車両2の周囲の他車両の情報等)、及び、車両2の走行する走行道路に関する情報(道路の車線数の情報等)も含まれる。
画像表示装置1は、車両2に搭載されたECU30の少なくとも一部とディスプレイ装置40を有している。ECU30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、CAN(Controller Area Network)通信回路などを有する電子制御ユニットである。ECU30は、ディスプレイ装置40を制御する。また、ECU30は、画像のパーツが格納された表示パーツ記憶部50と接続されている。
ディスプレイ装置40は、車載され、画像を表示領域に表示する表示器である。画像は、表示領域に表示される像である。ディスプレイ装置40は、ECU30により制御され、画像を表示領域に表示する。ディスプレイ装置40として、色を表示可能な表示器が用いられる。ディスプレイ装置40の一例として、ヘッドアップディスプレイが用いられる。ヘッドアップディスプレイとは、車両2の運転者の視野に対して情報を重ね合わせる表示器である。ヘッドアップディスプレイは、車両2のインストルメントパネル内に設置された映写部を有する。映写部は、インストルメントパネルに設けた開口部を介してフロントウィンドシールドの表示面(フロントウィンドシールドの内側の反射面)に画像を照射する。運転者は、表示面の反射に基づいて画像を視認することができる。ヘッドアップディスプレイの表示領域は、フロントウィンドシールドに予め設定された領域であり、画像を照射する範囲である。
以下、ECU30の機能について説明する。図1に示すように、ECU30は、安定度情報取得部301、次期行動情報取得部302、行動理由情報取得部303、及び表示制御部304を備えている。
安定度情報取得部301は、自動運転システム100から安定度情報を取得する。安定度情報取得部301は、車両2が自動運転制御を開始した場合、自動運転システム100から安定度情報を取得する。
安定度情報取得部301は、自動運転システム100から安定度情報として安定度の値を取得した場合、安定度が正常範囲、注意範囲、及び不安定範囲の何れに含まれるかを判定する。正常範囲とは、自動運転制御を正常に継続できる場合における安定度の範囲である。不安定範囲とは、自動運転制御の継続が不安定な場合における安定度の範囲である。注意範囲とは、正常範囲と不安定範囲の間の範囲である。
安定度情報取得部301は、安定度が第1閾値以上である場合、安定度が正常範囲に含まれると判定する。安定度情報取得部301は、安定度が第1閾値より値の小さい第2閾値未満である場合、安定度が不安定範囲に含まれると判定する。第1閾値及び第2閾値は、安定度が含まれる範囲を判定するための閾値である。第1閾値及び第2閾値は、予め設定された固定値である。安定度情報取得部301は、安定度が第1閾値未満で第2閾値以上である場合、安定度が注意範囲に含まれると判定する。なお、第2閾値は、自動運転制御の中断の要否を判定するための制御中断閾値より大きい値として設定されている。
なお、自動運転システム100において、安定度が正常範囲、注意範囲、及び不安定範囲の何れに含まれるかの判定が行なわれてもよい。この場合、安定度情報取得部301は、安定度が含まれる範囲の情報を安定度情報として取得することができる。
安定度情報取得部301は、自動運転システム100から安定度の低下の理由に関する低下理由情報を取得する。自動運転システム100は、算出した安定度が初期値より低下した場合に、低下理由情報を安定度情報取得部301に送信する。
安定度情報取得部301は、安定度が注意範囲又は不安定範囲に含まれると判定した場合に、自動運転システム100に低下理由情報を要求してもよい。安定度情報取得部301は、要求に応じて自動運転システム100から送信された低下理由情報を取得する。なお、安定度情報取得部301は、必ずしも低下理由情報を取得する必要はない。
次期行動情報取得部302は、自動運転システム100から自動運転制御による車両2の次の行動に関する次期行動情報を取得する。行動理由情報取得部303は、自動運転システム100から車両2の次の行動の理由に関する行動理由情報を取得する。行動理由情報取得部303は、次期行動情報取得部302が取得した次期行動情報に関連付けられた行動理由情報が存在する場合、行動理由情報を取得する。なお、行動理由情報は、全ての次期行動情報に付けられているわけではない。また、行動理由情報は、必ずしも取得する必要はない。この場合には、行動理由情報取得部303も不要である。
表示制御部304は、ディスプレイ装置40の表示を制御する。表示制御部304は、車両2が自動運転制御中である場合、フロントウィンドシールドの表示面に対して自動運転制御に関する画像を表示する。表示制御部304は、表示パーツ記憶部50に記憶された表示パーツを利用して画像を表示する。
ここで、図2は、図1に示す画像表示装置(表示制御部304)によって表示された自動運転制御に関する画像の一例である。図2においては、フロントウィンドシールドの表示面Gが図示されている。表示面Gには、ヘッドアップディスプレイの表示領域Dが設定されている。表示領域Dは、運転者の正面に位置している。図2に、運転者から見た表示面Gの横方向(車両2の幅方向)をX軸方向、運転者から見た表示面Gの縦方向(車両2の垂直方向)をY軸方向としてXY直交座標系を示す。
図2に示す表示領域Dには、走行道路俯瞰画像L、安定度表示画像ST、次期行動テキスト画像T、行動理由テキスト画像TRが表示されている。
まず、走行道路俯瞰画像Lについて説明する。走行道路俯瞰画像Lは、車両2及び車両2の走行する走行道路を俯瞰して示す画像である。走行道路俯瞰画像Lは、車両2の後上方から走行道路を俯瞰するように示されている。図2において、走行道路俯瞰画像Lには、車両2の走行する片側三車線の走行道路の車線境界線を示す車線境界線オブジェクトLm1,Lm2、走行道路の車両通行帯境界線を示す通行帯境界線オブジェクトLs1,Ls2が含まれる。走行道路俯瞰画像Lにおいて、車線境界線オブジェクトLm1,Lm2の間の領域が車両2の走行する走行車線R1に対応する。また、車線境界線オブジェクトLm1と通行帯境界線オブジェクトLs1の間の領域が走行車線R1の左の隣接車線R2に対応する。車線境界線オブジェクトLm2と通行帯境界線オブジェクトLs2の間の領域が走行車線R1の右の隣接車線R3に対応する。車両2の走行する走行道路の車線数が変われば、走行道路俯瞰画像Lも変化する。この点について詳しくは後述する。
また、図2に示す走行道路俯瞰画像Lには、車両2を示す車両オブジェクトM、車両2の先行車3を示す先行車オブジェクトNa、及び車両2の隣接車両を示す隣接車両オブジェクトNbが含まれる。図2に示す走行道路俯瞰画像Lでは、表示面Gに示される車両オブジェクトMの進行方向(奥行方向)が表示面Gの縦方向(上方向、Y軸方向)となっている。なお、必ずしも車両オブジェクトMの進行方向が表示面Gの縦方向と一致する必要はない。また、車両オブジェクトMの進行方向は走行道路俯瞰画像L上で変化しない。
表示制御部304は、自動運転システム100から取得した車両2の周囲の他車両の情報に基づいて、先行車オブジェクトNa及び隣接車両オブジェクトNbを表示する。表示制御部304は、先行車3が存在しない場合には、先行車オブジェクトNaを表示しない。表示制御部304は、車両2と先行車3の車間距離が所定距離(例えば100m、200m)以下である場合に、先行車オブジェクトNaを表示する。走行道路俯瞰画像Lにおける車両オブジェクトMと先行車オブジェクトNaの間隔は、一定である。表示制御部304は、実際の車両2と先行車3の車間距離に応じて車両オブジェクトMと先行車オブジェクトNaの間隔を変更してもよい。
同様に、表示制御部304は、隣接車両が存在しない場合には、隣接車両オブジェクトNbを表示しない。表示制御部304は、車両2の前後の所定距離(例えば100m)内に、隣接車両が存在する場合、隣接車両オブジェクトNbを表示する。表示制御部304は、隣接車両が存在する隣接車線R2,R3に対応する位置に、隣接車両オブジェクトNbを表示する。
また、表示制御部304は、隣接車両が車両2より前方に位置するか、後方に位置するか、隣接車両及び車両2が並走しているかを判定する。表示制御部304は、隣接車両が車両2の前方に位置すると判定した場合、走行道路俯瞰画像Lの隣接車線内で車両オブジェクトMより前方(奥行方向)の位置に隣接車両オブジェクトNbを表示する。表示制御部304は、隣接車両が車両2より後方に位置すると判定した場合、走行道路俯瞰画像Lの隣接車線内で車両オブジェクトMより後方(手前)の位置に隣接車両オブジェクトNbを表示する。表示制御部304は、隣接車両及び車両2が並走していると判定した場合、走行道路俯瞰画像Lの隣接車線内で車両オブジェクトMと隣り合う位置に隣接車両オブジェクトNbを表示する。このように、走行道路俯瞰画像Lは、自動運転制御中の車両2の周囲の他車両の状況を乗員に示すことができる。
また、図2に示す走行道路俯瞰画像Lには、車両オブジェクトMの車線変更を矢印で示す矢印オブジェクトCと、車両オブジェクトMを車線変更先の隣接車線R3に投影した車両投影オブジェクトMaと、が含まれている。矢印オブジェクトC及び車両投影オブジェクトMaは、自動運転制御中の車両2の次の行動が右側の隣接車線R3への車線変更であることを示している。表示制御部304は、次期行動情報取得部302が取得した次期行動情報に基づいて、矢印オブジェクトC及び車両投影オブジェクトMaを表示する。このように、走行道路俯瞰画像Lは、自動運転制御中の車両2の次の行動についても乗員に示すことができる。なお、矢印オブジェクトCは、車両オブジェクトMの進行方向を示すものではない。走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向は変化しない。
次に、安定度表示画像STについて説明する。安定度表示画像STは、枠W内に表示される。枠Wは、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向に位置している。枠Wは、車両オブジェクトMの進行方向に直交する方向(X軸方向)に延在する長方形状のオブジェクトである。枠Wは、走行道路俯瞰画像Lの走行車線R1、隣接車線R2、隣接車線R3の三車線に亘って延在している。
なお、枠Wの横方向(X軸方向)の長さは車線数に応じて変更されてもよい。この場合であっても、枠Wと車両オブジェクトMとの位置関係は変わらない。また、枠Wは、長方形状に限られない。枠Wは、車両オブジェクトMの進行方向に交差する方向に延在する長尺状のオブジェクトであればよく。枠Wは、長円形状又は楕円形状であってもよい。
安定度表示画像STは、自動運転システム100の安定度情報に応じて変化する画像である。安定度表示画像STは、枠Wの内側の領域全てを占有している。安定度表示画像STは、色及び表示態様の少なくとも一方を変化させることで、乗員に自動運転制御の安定度を示す。表示制御部304は、安定度情報に応じて色を変化させることで、乗員に自動運転制御の安定度を示してもよい。表示制御部304は、安定度情報取得部301により安定度が正常範囲であると判定された場合、安定度表示画像STを青色の画像として表示する。この場合、枠Wの内側は全て青色となる。なお、青色に代えて緑色を採用してもよい。表示制御部304は、安定度情報取得部301により安定度が注意範囲であると判定された場合、安定度表示画像STを橙色の画像として表示する。なお、橙色に代えてアンバーを採用してもよい。表示制御部304は、安定度情報取得部301により安定度が不安定範囲であると判定された場合、安定度表示画像STを赤色の画像として表示する。
表示制御部304は、安定度情報に応じて点灯状態(表示態様)を変化させることで、乗員に自動運転制御の安定度を示してもよい。表示制御部304は、安定度情報取得部301により安定度が正常範囲であると判定された場合、安定度表示画像STの表示態様を点灯状態としてもよい。点灯状態では、安定度表示画像STの点滅は行なわれない。表示制御部304は、安定度情報取得部301により安定度が注意範囲であると判定された場合、安定度表示画像STの表示態様を遅い点滅状態としてもよい。遅い点滅状態では、所定時間(例えば2秒)毎に枠Wの内側の領域全体が点滅する。表示制御部304は、安定度情報取得部301により安定度が不安定範囲であると判定された場合、安定度表示画像STの表示態様を早い点滅状態としてもよい。早い点滅状態では、所定時間(例えば1秒)毎に枠Wの内側の領域全体が点滅する。安定度表示画像STの色は特に限定されない。安定度表示画像STの色は、一つの色であってもよく、安定度情報に応じて変化してもよい。
表示制御部304は、安定度情報に応じて点灯オブジェクトの動きパターン(表示態様)を変化させることで、乗員に自動運転制御の安定度を示してもよい。ここで、図3(a)は、図2に示す安定度表示画像STにおいて、点灯オブジェクトが左側に移動している状態を説明するための図である。図3(b)は、点灯オブジェクトが右側に移動している状態を説明するための図である。図3(a)及び図3(b)に、安定度表示画像STにおける点灯オブジェクトPを示す。この安定度表示画像STにおいて、点灯オブジェクトP以外の箇所は透明であり色が付いていない。点灯オブジェクトPは、枠W内を矢印Bに沿って左右に移動する。点灯オブジェクトPは、左右の端部に近づくほど輝度が次第に低下する態様(グラデーションが生じる態様)で表示されている。点灯オブジェクトPの色は特に限定されない。点灯オブジェクトPの色は、一つの色であってもよく、安定度情報に応じて変化してもよい。
この場合、表示制御部304は、安定度情報取得部301により安定度が正常範囲であると判定された場合、点灯オブジェクトPが一定のリズム(移動速度が一定のリズム)で左右に移動する安定度表示画像STの表示態様とする。表示制御部304は、安定度情報取得部301により安定度が注意範囲であると判定された場合、点灯オブジェクトPが不安定なリズム(移動速度が変化するリズム)で左右に移動する安定度表示画像STの表示態様とする。表示制御部304は、安定度情報取得部301により安定度が不安定範囲であると判定された場合、移動する点灯オブジェクトPを無くして枠Wの内側の領域全てが点灯する安定度表示画像STの表示態様とする。
なお、表示制御部304は、点灯オブジェクトPの移動速度の大小によって安定度表示画像STの表示態様を変更してもよい。例えば、表示制御部304は、安定度情報取得部301により安定度が正常範囲であると判定された場合、点灯オブジェクトPが早い一定のリズムで左右に移動する安定度表示画像STの表示態様とする。表示制御部304は、安定度情報取得部301により安定度が注意範囲であると判定された場合、点灯オブジェクトPが遅い一定のリズムで左右に移動する安定度表示画像STの表示態様とする。
表示制御部304は、安定度表示画像STの変化について、上述した色の変化、表示態様の変化(点灯状態の変化、点灯オブジェクトPのリズムの変化)を組み合わせて利用してもよい。また、安定度が含まれる範囲は、必ずしも正常範囲と注意範囲と不安定範囲の三つに分ける必要はなく、正常範囲と注意範囲の二つ又は正常範囲と不安定範囲の二つに分けてもよい。
次に、次期行動テキスト画像Tについて説明する。次期行動テキスト画像Tは、自動運転制御による車両2の次の行動に関する次期行動情報を示す画像である。表示制御部304は、次期行動情報取得部302が自動運転システム100から次期行動情報を取得した場合、次期行動情報を示す次期行動テキスト画像Tを表示する。表示制御部304は、横書きのテキスト画像として次期行動テキスト画像Tを表示する。
図2に示すように、表示制御部304は、安定度表示画像STから車両オブジェクトMの進行方向(Y軸方向)の位置に次期行動テキスト画像Tを表示する。表示制御部304は、枠Wに沿うように枠Wの上の位置に次期行動テキスト画像Tを表示する。図2では、表示制御部304は、車線変更を次の行動とする次期行動情報に基づいて、「車線変更を行ないます」と言う内容の次期行動テキスト画像Tを表示している。次期行動テキスト画像Tのデータは、表示パーツ記憶部50に格納されている。次期行動テキスト画像Tの他の例としては、「定常走行」、「右折」、「左折」、「加速」、「減速」、「自動運転中断」、「自動運転終了」等がある。
続いて、行動理由テキスト画像TRについて説明する。行動理由テキスト画像TRは、自動運転制御による車両2の次の行動の理由に関する行動理由情報を示す画像である。表示制御部304は、行動理由情報取得部303が自動運転システム100から行動理由情報を取得した場合、行動理由情報を示す行動理由テキスト画像TRを表示する。表示制御部304は、安定度表示画像STの左側のサイドビューエリアSb1又は右側のサイドビューエリアSb2内に行動理由テキスト画像TRを表示する。
サイドビューエリアSb1は、安定度表示画像STの左側の領域である。サイドビューエリアSb1は、枠Wから左上に延びるエリア境界線オブジェクトLu1と走行道路俯瞰画像Lの通行帯境界線オブジェクトLs1との間の領域となっている。同様に、サイドビューエリアSb2は、安定度表示画像STの右側の領域である。サイドビューエリアSb2は、枠Wから右上に延びるエリア境界線オブジェクトLu2と走行道路俯瞰画像Lの通行帯境界線オブジェクトLs2との間の領域となっている。
図2において、表示制御部304は、車線変更の理由である行動理由情報に基づいて、「この先合流あり」と言う内容の行動理由テキスト画像TRをサイドビューエリアSb1内に表示している。なお、表示制御部304は、左右のサイドビューエリアSb1,Sb2の両方に行動理由テキスト画像TRを表示してもよい。
表示制御部304は、行動理由情報に基づいて、左右のサイドビューエリアSb1,Sb2の何れに行動理由テキスト画像TRを表示するか決定してもよい。この場合、行動理由情報には、行動理由テキスト画像TRを表示すべき方向(左右の何れかの方向)が含まれている。図2において、表示制御部304は、左から他車線が合流するため、左のサイドビューエリアSb1に行動理由テキスト画像TRを表示している。
行動理由テキスト画像TRのデータは、表示パーツ記憶部50に格納されている。次の行動が車線変更の場合の行動理由テキスト画像TRの他の例としては、「低速車追越」、「この先分岐あり」、「この先車線規制あり」、「障害物回避」等がある。次の行動が加速の場合の行動理由テキスト画像TRの例としては、「制限車速変化」等がある。次の行動が減速の場合の行動理由テキスト画像TRの例としては、「合流車への対応」、「制限車速変化」等がある。次の行動が自動運転制御の中断である場合の行動理由テキスト画像TRの例としては、「天候不良」、「道路構造不適」、「周辺状況不適」等がある。次の行動が自動運転制御の終了である場合の行動理由テキスト画像TRの例としては、「目的地到着」等がある。
表示制御部304は、複数の行動理由情報を取得した場合、複数の行動理由テキスト画像TRを表示してもよい。表示制御部304は、サイドビューエリアSb1,Sb2内で、表示面Gの縦方向(Y軸方向)に上下に並ぶ横書きのテキスト画像として行動理由テキスト画像TRを複数表示してもよい。なお、表示制御部304は、必ずしも行動理由テキスト画像TRを表示する必要はない。この場合には、サイドビューエリアSb1,Sb2を設ける必要もない。
続いて、自動運転制御に関する画像の他の例を説明する。図4は、図1に示す画像表示装置1によって表示された自動運転制御に関する画像の他の例である。図4の走行道路俯瞰画像Lは、車両2の走行する走行道路が片側一車線であり、車両2の周囲に他車両が存在しない状況を示している。この走行道路俯瞰画像Lでは、片側一車線であるため、車線境界線オブジェクトLm1,Lm2が表示されていない。この場合、通行帯境界線オブジェクトLs1,Ls2の間の領域が走行車線R1となる。
なお、走行道路が片側二車線である場合には、車線境界線オブジェクトLm1,Lm2の何れか一方のみが表示される。この場合も、車両オブジェクトMは表示面Gの横方向で走行道路俯瞰画像Lの中央に位置する。また、走行道路の車線数が三車線以上である場合には、車両2の走行する走行車線R1を中心とした図2に示す片側三車線の走行道路俯瞰画像Lを採用することができる。
また、図4では、自動運転制御の安定度が不安定範囲に含まれ、低下理由テキスト画像SRが表示されている。図4に示す安定度表示画像STは、全体が赤色の画像として表示されている。安定度表示画像STは、早い点滅状態(例えば1秒毎に点滅)であってもよい。
低下理由テキスト画像SRは、安定度の低下の理由に関する低下理由情報を示す画像である。表示制御部304は、安定度情報取得部301が自動運転システム100から低下理由情報を取得した場合、低下理由情報を示す低下理由テキスト画像SRを表示する。図4に示すように、低下理由テキスト画像SRは、安定度表示画像STから車両オブジェクトMの進行方向(Y軸方向)に位置している。表示制御部304は、枠Wに沿うように枠Wの上の位置に低下理由テキスト画像SRを表示する。表示制御部304は、図2に示す次期行動テキスト画像Tと同じ位置に、低下理由テキスト画像SRを表示する。表示制御部304は、次期行動テキスト画像Tと、低下理由テキスト画像SRを上下に並べて表示してもよい。
図2において、表示制御部304は、天候により安定度が低下しているとの低下理由情報に基づいて、「天候不良」と言う内容の低下理由テキスト画像SRを表示している。低下理由テキスト画像SRのデータは、表示パーツ記憶部50に格納されている。低下理由テキスト画像SRの他の例としては、「道路構造不適」、「周辺状況不適」等がある。
表示制御部304は、安定度情報取得部301が自動運転システム100から低下理由情報を取得した場合、低下理由テキスト画像SRを表示する。なお、表示制御部304は、安定度情報取得部301により安定度が正常範囲に含まれると判定された場合には、低下理由テキスト画像SRを表示しなくてもよい。この場合、表示制御部304は、安定度情報取得部301により安定度が注意範囲又は不安定範囲に含まれると判定された場合に、低下理由テキスト画像SRを表示する。また、表示制御部304は、必ずしも低下理由テキスト画像SRを表示する必要はない。この場合には、安定度情報取得部301は、低下理由情報を取得する必要はない。
[画像表示装置の表示制御処理]
以下、画像表示装置1の表示制御について説明する。図5は、画像表示装置1の表示制御処理を示すフローチャートである。図5に示す表示制御処理は、自動運転システム100による自動運転制御が開始された場合に実行され、自動運転制御が終了した場合には画像の表示を停止する。
図5に示すように、画像表示装置1のECU30は、S10として、自動運転システム100から各種の情報を取得する。具体的に、安定度情報取得部301は、自動運転制御の安定度に関する安定度情報を取得する。次期行動情報取得部302は、自動運転制御による車両2の次の行動に関する次期行動情報を取得する。表示制御部304は、車両2の走行道路の情報及び車両2の周囲の道路環境の情報を取得する。
S12において、ECU30は、安定度情報取得部301により安定度が含まれる範囲の判定を行う。安定度情報取得部301は、安定度情報に基づいて、安定度が正常範囲、注意範囲、及び不安定範囲の何れに含まれるかを判定する。
S14において、ECU30は、表示制御部304により自動運転制御に関する画像(走行道路俯瞰画像L、安定度表示画像ST、次期行動テキスト画像T)を表示する。表示制御部304は、車両2の走行道路の情報(車線数の情報)及び車両2の周囲の道路環境の情報(他車両の情報)に基づいて、走行道路俯瞰画像Lを表示する。
表示制御部304は、走行車線R1と車両オブジェクトMを含む走行道路俯瞰画像Lを表示する。表示制御部304は、車両2の走行道路の車線数に応じて車線境界線オブジェクトLm1,Lm2を表示する。表示制御部304は、車両2の周囲の他車両の存在に応じて、先行車オブジェクトNa及び隣接車両オブジェクトNbを表示する。また、表示制御部304は、車両2の次の行動が車線変更である場合、次期行動情報に基づいて、車線変更を示す矢印オブジェクトC及び車両投影オブジェクトMaを表示する。
表示制御部304は、安定度情報取得部301によるS12の判定結果に基づいて、安定度表示画像STを表示する。表示制御部304は、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向の位置に、安定度表示画像STを表示する。表示制御部304は、安定度情報取得部301によるS12の判定結果に基づいて、安定度表示画像STを変化させる。
また、表示制御部304は、次期行動情報に基づいて、次期行動テキスト画像Tを表示する。表示制御部304は、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向の位置に、次期行動テキスト画像Tを表示する。表示制御部304は、安定度表示画像STを囲む枠Wに沿って枠Wの上の位置に、横書きの次期行動テキスト画像Tを表示する。なお、次期行動テキスト画像Tは、表示されないタイミングが存在してもよい。
[画像表示装置の行動理由表示処理]
次に、画像表示装置1の表示制御について説明する。図6(a)は、画像表示装置1の行動理由表示処理を示すフローチャートである。図6(a)に示す行動理由表示処理は、自動運転システム100による自動運転制御が開始された場合に実行され、自動運転制御が終了した場合には画像の表示を停止する。
図6(a)に示すように、画像表示装置1のECU30は、S20として、行動理由情報取得部303により車両2の次の行動の理由に関する行動理由情報を取得する。行動理由情報は、次期行動情報と関連付けて取得される。なお、全ての次期行動情報に、行動理由情報が関連付けられているわけではない。
S22において、ECU30は、表示制御部304により行動理由テキスト画像TRを表示する。表示制御部304は、行動理由情報に基づいて、安定度表示画像STの左右のサイドビューエリアSb1,Sb2の何れかに行動理由テキスト画像TRを表示する。
[画像表示装置の低下理由表示処理]
次に、画像表示装置1の表示制御について説明する。図6(b)は、画像表示装置1の低下理由表示処理を示すフローチャートである。図6(b)に示す低下理由表示処理は、自動運転システム100による自動運転制御が開始された場合に実行され、自動運転制御が終了した場合には画像の表示を停止する。
図6(b)に示すように、画像表示装置1のECU30は、S30として、安定度情報取得部301により安定度の低下の理由に関する低下理由情報を取得する。
S32において、ECU30は、表示制御部304により低下理由テキスト画像SRを表示する。表示制御部304は、低下理由情報に基づいて、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向の位置に、低下理由テキスト画像SRを表示する。表示制御部304は、安定度表示画像STを囲む枠Wに沿って枠Wの上の位置に、横書きの低下理由テキスト画像SRを表示する。表示制御部304は、次期行動テキスト画像Tと、低下理由テキスト画像SRを上下に並べて表示してもよい。
[画像表示装置の作用効果]
以上説明した本実施形態に係る画像表示装置1によれば、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向に安定度表示画像ST及び次期行動テキスト画像Tを表示するので、走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向に目を向けることにより、車両2の乗員(運転者を含む)は安定度表示画像ST及び次期行動テキスト画像Tを探さなくても容易に視認することができる。しかも、この画像表示装置1によれば、自動運転制御の安定度を安定度表示画像STの変化によって示すので乗員が安定度を直感的に理解しやすい。よって、この画像表示装置1は、自動運転制御に関する画像を乗員が直感的に理解しやすいように表示することができる。
また、この画像表示装置1は、安定度表示画像STの左側のサイドビューエリアSb1又は右側のサイドビューエリアSb2に行動理由テキスト画像TRを表示することで、自動運転制御による車両2の次の行動の理由を車両2の乗員が容易に理解することができる。
更に、この画像表示装置1によれば、自動運転制御の安定度が低下した理由に関する低下理由情報を示す低下理由テキスト画像SRを表示することで、安定度が低下した理由を車両2の乗員が容易に理解することができる。しかも、この画像表示装置1によれば、安定度表示画像から車両2の進行方向の位置に低下理由テキスト画像を表示するので、車両2の乗員は走行道路俯瞰画像Lにおける車両オブジェクトMの進行方向に目を向けることで低下理由テキスト画像SRを容易に視認することができる。
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
例えば、画像表示装置1は、走行道路の情報を自動運転システム100から取得しなくてもよい。画像表示装置1は、地図データベース21の地図情報(道路の車線数の情報を含む)及びGPS受信機23の車両2の位置情報に基づいて、走行道路の情報を取得してもよい。同様に、画像表示装置1は、外部センサ20の検出結果に基づいて、道路環境の情報を取得してもよい。
また、画像表示装置1は、必ずしも走行道路の情報又は道路環境の情報に基づいて走行道路俯瞰画像Lを表示する必要はない。走行道路俯瞰画像Lは、走行道路の車線数に関わらず走行車線R1のみを表示する態様であってもよい(図4参照)。この場合、車線境界線オブジェクトLm1、Lm2は表示されない。また、走行道路俯瞰画像Lは、車両2の周囲の他車両の有無に関わらず、車両オブジェクトMのみを表示する態様であってもよい(図4参照)。この場合、先行車オブジェクトNa及び隣接車両オブジェクトNbは表示されない。
また、ディスプレイ装置40は、ヘッドアップディスプレイに限定されない。ディスプレイ装置40は、インストルメントパネルに設けられた液晶ディスプレイ、又はナビゲーションシステムの液晶ディスプレイであってもよい。この場合、表示面Gは、液晶ディスプレイの表示面となる。
その他、画像表示装置1は、車両2が自動運転制御中ではない場合に、自動運転制御の安定度に関する安定度表示画像を表示してもよい。これにより、乗員は、自動運転制御を開始するときに自動運転制御の安定度を考慮することが可能になる。
1…画像表示装置、2…車両、3…先行車、20…外部センサ、21…地図データベース、22…内部センサ、23…GPS受信機、30…ECU、40…ディスプレイ装置、41…アクチュエータ、50…表示パーツ記憶部、100…自動運転システム、301…安定度情報取得部、302…次期行動情報取得部、303…行動理由情報取得部、304…表示制御部、31…自動運転ECU、G…表示面、L…走行道路俯瞰画像、M…車両オブジェクト、Ma…車両投影オブジェクト、Na…先行車オブジェクト、Nb…隣接車両オブジェクト、P…点灯オブジェクト、SR…低下理由テキスト画像、ST…安定度表示画像、T…次期行動テキスト画像、TR…行動理由テキスト画像、W…枠。

Claims (3)

  1. 車両の自動運転システムから取得した情報に基づいて、前記自動運転システムの自動運転制御に関する画像を前記車両の車載表示器の表示面に表示する画像表示装置であって、
    前記自動運転システムから前記自動運転制御の安定度に関する安定度情報を取得する安定度情報取得部と、
    前記自動運転システムから前記自動運転制御による前記車両の次の行動に関する次期行動情報を取得する次期行動情報取得部と、
    前記車載表示器の表示を制御する表示制御部と、
    を備え、
    前記車載表示器の前記表示面は前記車両の運転者の前方に位置しており、
    前記表示制御部は、前記車両が前記自動運転制御中である場合に、前記車両及び前記車両の走行する走行道路を俯瞰して示す走行道路俯瞰画像と、前記走行道路俯瞰画像における前記車両の進行方向に位置し、前記進行方向に交差する方向に延在する長尺状の枠内で前記安定度情報に応じて変化する安定度表示画像と、前記安定度表示画像から前記進行方向に位置し、前記次期行動情報を示す次期行動テキスト画像と、を表示させ
    前記運転者から見て前記車両の前方向に画像上の前記車両の進行方向が沿うように前記走行道路俯瞰画像を表示させる、画像表示装置。
  2. 前記自動運転システムから前記自動運転制御による前記車両の次の行動の理由に関する行動理由情報を取得する行動理由情報取得部を更に備え、
    前記表示制御部は、前記車両が前記自動運転制御中である場合に、前記行動理由情報取得部が前記行動理由情報を取得したとき、前記表示面における前記安定度表示画像の左側又は右側に、前記行動理由情報を示す行動理由テキスト画像を表示させる、請求項1に記載の画像表示装置。
  3. 前記安定度情報取得部は、前記自動運転システムから前記安定度の低下の理由に関する低下理由情報を取得し、
    前記表示制御部は、前記車両が前記自動運転制御中である場合に、前記安定度情報取得部が前記低下理由情報を取得したとき、前記安定度表示画像から前記進行方向に位置し、前記低下理由情報を示す低下理由テキスト画像を表示させる、請求項1又は2に記載の画像表示装置。
JP2015230727A 2015-11-26 2015-11-26 画像表示装置 Active JP6350492B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015230727A JP6350492B2 (ja) 2015-11-26 2015-11-26 画像表示装置
US15/357,547 US10017116B2 (en) 2015-11-26 2016-11-21 Image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015230727A JP6350492B2 (ja) 2015-11-26 2015-11-26 画像表示装置

Publications (2)

Publication Number Publication Date
JP2017097709A JP2017097709A (ja) 2017-06-01
JP6350492B2 true JP6350492B2 (ja) 2018-07-04

Family

ID=58777175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015230727A Active JP6350492B2 (ja) 2015-11-26 2015-11-26 画像表示装置

Country Status (2)

Country Link
US (1) US10017116B2 (ja)
JP (1) JP6350492B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
CN111052733B (zh) * 2017-08-25 2021-09-28 日产自动车株式会社 周围车辆显示方法及周围车辆显示装置
JP6992417B2 (ja) * 2017-11-07 2022-01-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6825547B2 (ja) * 2017-12-19 2021-02-03 株式会社デンソー 自動運転車両に搭載される制御装置および方法
JPWO2019138994A1 (ja) * 2018-01-11 2021-01-14 パイオニア株式会社 情報記録装置、情報記録方法、及び情報記録用プログラム
US11467590B2 (en) 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US11625036B2 (en) 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
US10809735B2 (en) 2018-04-09 2020-10-20 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
US11169536B2 (en) * 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US11561541B2 (en) * 2018-04-09 2023-01-24 SafeAI, Inc. Dynamically controlling sensor behavior
JP7087654B2 (ja) 2018-05-14 2022-06-21 トヨタ自動車株式会社 車外報知装置、及び車外報知方法
JP7110729B2 (ja) 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
JP6995720B2 (ja) * 2018-09-11 2022-01-17 本田技研工業株式会社 表示システム、表示制御方法、およびプログラム
JP7232604B2 (ja) 2018-09-21 2023-03-03 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーションシステム、ナビゲーション表示方法、およびナビゲーション表示プログラム
JP7115184B2 (ja) 2018-09-26 2022-08-09 トヨタ自動車株式会社 自動運転システム
US11138449B2 (en) * 2018-09-28 2021-10-05 Intel Corporation Obstacle representation display
JP7205154B2 (ja) * 2018-10-16 2023-01-17 トヨタ自動車株式会社 表示装置
JP7139902B2 (ja) 2018-11-14 2022-09-21 トヨタ自動車株式会社 報知装置
JP7151495B2 (ja) 2019-01-16 2022-10-12 トヨタ自動車株式会社 自動運転システム
JP7444539B2 (ja) 2019-01-17 2024-03-06 トヨタ自動車株式会社 運転支援装置
JP7494663B2 (ja) * 2020-08-31 2024-06-04 トヨタ自動車株式会社 車載表示制御装置、車載表示装置、表示制御方法及び表示制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60244628A (ja) 1984-05-17 1985-12-04 Nissan Motor Co Ltd 車両走行制御装置
JP3171119B2 (ja) 1995-12-04 2001-05-28 トヨタ自動車株式会社 車両の自動運転制御装置
JP3758443B2 (ja) 2000-01-19 2006-03-22 日産自動車株式会社 走行状態提示装置
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8352120B2 (en) * 2009-02-17 2013-01-08 Lockheed Martin Corporation System and method for stability control using GPS data
US9961259B2 (en) * 2013-09-19 2018-05-01 Fujitsu Ten Limited Image generation device, image display system, image generation method and image display method
JP6206142B2 (ja) 2013-12-03 2017-10-04 日産自動車株式会社 情報表示装置
KR101509995B1 (ko) * 2013-12-03 2015-04-07 현대자동차주식회사 Jc 진출입 판단 장치 및 그 방법
US9199667B2 (en) * 2014-03-14 2015-12-01 Mitsubishi Electric Research Laboratories, Inc. System and method for semi-autonomous driving of vehicles
JP6537780B2 (ja) * 2014-04-09 2019-07-03 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
WO2015162764A1 (ja) * 2014-04-24 2015-10-29 三菱電機株式会社 車載情報機器および車載情報機器の機能制限方法
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Also Published As

Publication number Publication date
JP2017097709A (ja) 2017-06-01
US10017116B2 (en) 2018-07-10
US20170151910A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6350492B2 (ja) 画像表示装置
JP6941170B2 (ja) 車両制御システムおよび車両制御方法
US10328948B2 (en) Vehicle control system, vehicle control method and vehicle control program
CN110126731B (zh) 显示装置
US8818708B2 (en) Optimum driving path on full windshield display
JP7416176B2 (ja) 表示装置
US20200180618A1 (en) Vehicle control device
JP6688655B2 (ja) 車両状態監視装置
RU2767216C1 (ru) Способ управления движением транспортного средства и аппаратура управления движением транспортного средства
JP2006131055A (ja) 車両走行制御装置
JP2016115280A (ja) 車両情報投影システム及び車両情報投影方法
JP2020032809A (ja) 自動運転システム
KR20210104185A (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JPWO2019043847A1 (ja) 走行制御装置、車両および走行制御方法
US11747815B2 (en) Limiting function of a vehicle control device related to defective image
US11042154B2 (en) Transportation equipment and traveling control method therefor
JP2019084924A (ja) 車両制御装置
WO2020003452A1 (ja) 運転支援方法及び運転支援装置
JP2021157449A (ja) 車両及びその制御装置
JP2019032893A (ja) 車両情報投影システム及び車両情報投影方法
US11648872B2 (en) Display device and display method for display device
JP7189088B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
WO2022162909A1 (ja) 表示制御装置及び表示制御方法
WO2024122303A1 (ja) 車両制御装置、車両制御方法
WO2023068162A1 (ja) 自動運行装置、合流車応答制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R151 Written notification of patent or utility model registration

Ref document number: 6350492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151