JPWO2019098216A1 - 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム - Google Patents

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Download PDF

Info

Publication number
JPWO2019098216A1
JPWO2019098216A1 JP2019554241A JP2019554241A JPWO2019098216A1 JP WO2019098216 A1 JPWO2019098216 A1 JP WO2019098216A1 JP 2019554241 A JP2019554241 A JP 2019554241A JP 2019554241 A JP2019554241 A JP 2019554241A JP WO2019098216 A1 JPWO2019098216 A1 JP WO2019098216A1
Authority
JP
Japan
Prior art keywords
image
obstacle
driving assistance
vehicle
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019554241A
Other languages
English (en)
Inventor
孝光 坂井
孝光 坂井
亮介 東淵
亮介 東淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of JPWO2019098216A1 publication Critical patent/JPWO2019098216A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4049Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知する。車両運転補助システム(10)は、実風景(S)に注意画像(ME)を重畳して表示装置5に表示する。注意画像(ME)は、移動する1つ又は複数の障害物(B)である動的障害物(B(B1))の進路に応じて注意喚起を示す領域を有する画像であり、動的障害物(B(B1))の進路が、別の障害物(B(B2))の存在によって変化する可能性に応じて、注意喚起を示す領域が異なる。

Description

本発明は、運転者による車両の運転を補助する車両運転補助技術に関する。
特開2005−56372号公報には、車両の周囲に存在する障害物を回避しながら車両を走行させるための走行ルートを演算する車両制御装置が開示されている(請求項1、図33等)。この走行ルートは、地図上に設定された危険領域を避けるように設定される。危険領域は、車両、自転車、歩行者などの対象物の位置、移動方向、移動速度に基づいて設定されている。例えば、危険領域又は危険領域を避けるように設定された走行ルートを参照することで、運転者は、他の車両、自転車、歩行者等に対して配慮した運転操作を行うことができる。
特開2005−56372公報
この車両制御装置では、車両、自転車、歩行者などの対象物の相互の関連性は考慮せずに危険領域を設定している。しかし、実際には、自転車が歩行者を追い越したり、車両が自転車を追い越したりするなど、対象物移動方向や移動速度は、他の対象物との関係によって変化する場合がある。このため、単純に個々の対象物についての位置、移動方向、移動速度に基づいて危険領域を設定するだけでは、自車両の周辺に存在する他の車両、自転車、歩行者等の障害物を回避するための情報を報知する上で改善の余地がある。
上記背景に鑑みて、車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知することが望まれる。
上記に鑑みた車両運転補助システムの特徴構成は、
実風景に注意画像を重畳して表示する表示部を備え、
前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域が異なる点にある。
このような車両運転補助システムの技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システムの特徴を備えた各種のステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システムの作用効果を奏することができる。
その場合における車両運転補助方法の特徴構成は、
実風景に注意画像を重畳して表示部に表示させる車両運転補助方法であって、
前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させるステップを有する点にある。
また、車両運転補助プログラムの特徴構成は、
実風景に注意画像を重畳して表示部に表示させる車両運転補助プログラムであって、
前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる点にある。
これらの特徴構成によれば、注意画像を表示することにより、運転者に動的障害物の存在を適切に報知することができる。また、別の障害物によって動的障害物の進路が変化するか否かに応じて異なる領域に注意画像を表示することによって、運転者に動的障害物の進路が変化する可能性のあることを報知することができる。これにより、運転者は、さらに動的障害物に注意を払って運転操作を行うことができる。このようにこれらの特徴構成によれば、車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知することができる。
車両運転補助システム、車両運転補助方法、車両運転補助プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
車両の運転席付近の一例を示す斜視図 車両運転補助システムのシステム構成の一例を模式的に示すブロック図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 運転補助の手順の一例を示すフローチャート 注意画像を表示させる領域の決定手順の一例を示すフローチャート 実風景に注意画像が重畳された一例を示す図 実風景に注意画像が重畳された一例を示す図 実風景に注意画像が重畳された一例を示す図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 推奨経路の設定条件の一例を示す図 実風景に注意画像が重畳された一例を示す図
以下、車両運転補助システム(車両運転補助方法及び車両運転補助プログラムを含む)の実施形態を図面に基づいて説明する。図1は、車両運転補助システムが搭載された車両100の運転席101付近の一例を示しており、図2のブロック図は、車両運転補助システム10のシステム構成の一例を模式的に示している。図3〜図5は、車両運転補助システム10による運転補助の概念を示しており、図6及び図7のフローチャートは、例えば車両運転補助方法、車両運転補助プログラムとして実現される運転補助の手順の一例を示している。また、図8〜図10は、実風景Sに注意画像MEが重畳された一例を示している。
車両運転補助システム10は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景Sに注意画像MEを重畳して表示することによって運転を補助する情報を運転者に提供する(図8〜図10等参照)。尚、本実施形態では、さらに推奨運転画像Mを重畳して表示する形態を例示しているが、推奨運転画像Mを重畳することなく、注意画像MEのみを重畳すれば充分である。
尚、車両運転補助方法は、例えば図2等を参照して後述するような、車両運転補助システム10を構成するハードウェアやソフトウェアを利用して、運転補助を実行する方法である。また、車両運転補助プログラムは、例えば車両運転補助システム10に含まれるコンピュータ(例えば図2を参照して後述する演算処理ユニット4など)において実行され、車両運転補助機能を実現させるプログラムである。
注意画像MEや推奨運転画像Mが重畳される実風景Sは、運転席101から車両100のフロントウィンドゥ50を通して見える風景でも良いし、後述するフロントカメラ1(図2、図3等参照)によって撮影されてモニタ52に映し出される映像であってもよい。実風景Sがフロントウィンドゥ50を通して見える風景の場合、注意画像MEや推奨運転画像Mは、例えばフロントウィンドゥ50に形成されたヘッドアップディスプレイ51に描画されて実風景Sに重畳される。図1においてフロントウィンドゥ50に示された破線の領域は、ヘッドアップディスプレイ51が形成されている領域である。また、実風景Sがモニタ52に映し出される映像の場合、注意画像MEや推奨運転画像Mは、当該映像に重畳される。
図2に示すように、車両運転補助システム10は、フロントカメラ1(CAMERA)と、演算処理装置2(CAL)と、グラフィックコントロールユニット3(GCU)と、表示装置5(DISPLAY)とを有している。本実施形態では、演算処理装置2とグラフィックコントロールユニット3とは、1つのプロセッサ(システムLSI、DSP(Digital Signal Processor)等)や、1つのECU(Electronic Control Unit)として構成された演算処理ユニット4の一部として構成されている。当然ながら、演算処理ユニット4には、不図示のその他の機能部が含まれていてもよい。また、表示装置5(表示部)は、上述したヘッドアップディスプレイ51及びモニタ52を含む。
本実施形態では、車両運転補助システム10は、さらにセンサ群6(SEN)、ナビゲーションデータベース7(navi_db)、視点検出装置8(EP_DTCT)を有している。センサ群6は、ソナー、レーダー、車速センサ、ヨーレートセンサ、GPS(Global Positioning System)受信機、等を含むことができる。ナビゲーションデータベース7は、地図情報、道路情報、地物情報(道路標識、道路標示、施設等の情報)が格納されたデータベースである。視点検出装置8は、例えば運転者の頭部を撮影するカメラを有して構成され、運転者の視点(目)を検出する。ヘッドアップディスプレイ51に描画される注意画像MEや推奨運転画像Mは、運転者の視点に応じた位置に描画されると好適である。
後述するように、演算処理装置2は、フロントカメラ1による撮影画像を用いた画像認識により、車両100の周辺、特に進行方向寄りに存在する1つ又は複数の障害物Bを特定する。障害物Bは、道路等に固定された物体(例えば、道路に張り出した道路標識、電柱、郵便ポスト等)に限らず、歩行者、自転車、駐停車している車両などの移動する物体や移動する可能性のある物体を含む。これらを区別する場合、固定された障害物Bを静的障害物、移動する障害物B(移動する可能性のある障害物B)を動的障害物と称する。特に区別することなく、障害物Bと称する場合には静的障害物及び動的障害物を含む。
演算処理装置2は、障害物Bを特定する際、さらに、ソナー、レーダーなど、センサ群6から提供される情報も用いることで認識精度を向上させることができる場合がある。また、演算処理装置2は、障害物Bが動的障害物であり、移動している場合には、その移動方向や移動速度を推定する。演算処理装置2は、フロントカメラ1の撮影画像に基づき、例えばオプティカルフロー法などの公知の画像認識処理を用いて、動的障害物の移動軌跡を検出し、移動速度や未来の移動方向を予測する(推定する)。また、演算処理装置2は、障害物Bが動的障害物であり停止している場合には、その障害物Bが動く可能性があるか否かを判定し、その障害物が動く可能性がある場合はその移動方向や移動速度を推定する。
尚、車速センサ、ヨーレートセンサ、GPS受信機など、センサ群6から提供される情報を用いることで移動軌跡、移動速度の検出精度や、未来の移動方向や移動速度等の推定精度を向上させることができる場合がある。また、ナビゲーションデータベース7から地図情報、道路情報、地物情報(道路標識、道路標示、施設等の情報)などを取得することにより、障害物Bが静的障害物であるか動的障害物であるかの判定精度を向上できる場合がある。
図3は、実線で示す車両100の前方に自転車が車両100と同一方向に進行している状態を示している。ここでは、この自転車は、動的障害物としての第1障害物B1である。演算処理装置2は、第1障害物B1を検出し、第1障害物B1の移動方向及び移動速度を演算する。図3に例示する形態では、第1障害物B1は、図3に一点鎖線で示す移動方向に、車両100よりも低い移動速度で進んでいる。演算処理装置2は、さらに推定移動方向及び推定移動速度を演算し、これらに基づいて第1障害物B1が車両100の進行に与える影響度Eを演算する。
影響度Eは、例えば図3に示すように、移動方向が長軸と一致する楕円状の領域として設定される。影響度Eがこのような楕円状の場合、障害物Bが楕円の1つの焦点、或いは焦点よりも推定移動方向とは逆方向の外周側に位置すると好適である。動的障害物である障害物Bが車両100の進行に与える影響は、障害物Bの進行方向側の方が大きいため、適切な影響度Eが設定される。また、楕円の長軸の長さは、例えば推定移動速度が高くなるに従って長くなると好適である。推定移動速度が高いほど、障害物Bは短い時間で長い距離を移動するため、影響度Eも大きくなるように設定される。
また、影響度Eは段階的に変化するように設定され、障害物Bに近い領域における第1影響度E1は、障害物Bから相対的に遠い領域における第2影響度E2よりも高い影響度Eである。ここでは、2段階の影響度Eを例示しているが、当然ながら3段階以上の段階を有していてもよい。尚、後述するように、影響度Eは段階的な変化に限らず、連続的に変化してもよい。尚、ここでは動的障害物に対して影響度Eが設定される形態について説明したが、影響度Eは静的障害物に対しても設定されると好適である。静的障害物に対する影響度Eは、例えば移動方向や推定移動方向のベクトルがゼロであり、移動速度がゼロであるとすれば動的障害物と同様に演算することができる。そして、本実施形態では、注意画像MEとして、この影響度Eを示す画像を実風景Sに重畳して表示する。
ところで、動的障害物の未来の移動方向は、検出された移動方向と同一方向であるとは限らない。例えば、図4及び図5に示すように、第1障害物B1のさらに前方に第1障害物B1とは別の障害物Bである第2障害物B2が存在する場合がある。尚、第2障害物B2は、動的障害物であっても静的障害物であってもよい。第2障害物B2が第1障害物B1の進行に影響する場合、第1障害物B1が第2障害物B2に対する回避行動を行う可能性がある。例えば、図4において道路の端をブロック矢印で示す方向に走行する第1障害物B1(自転車)が道路の端に存在する第2障害物B2を避けて、図5に示すように(図4に一点鎖線の矢印で示すように)、道路の中央寄りに進行する可能性がある。第1障害物B1(自転車)が図5に示すように進行する場合、推定移動方向は、図3に示すように道路に沿った方向ではなく、図5に示すように道路の中央を向いた方向となる。
推定移動方向がこのように道路の中央を向くと、図5に示すように、楕円状の影響度Eも道路の中央よりに張り出すことになる。図3に示すように第1障害物B1の推定移動方向が道路に沿っている場合には、一般的な車両100の進行経路と同等の進行経路である推奨経路K(第1推奨経路K1)を車両100が走行したとしても、推奨経路Kと影響度Eが設定される領域とが重複しない。しかし、図5に示すように第1障害物B1の推定移動方向が道路の中央を向くと、第1推奨経路K1と影響度Eが設定される領域とが重複する。
好ましくは、演算処理装置2は、障害物Bと車両100とが干渉する可能性が相対的に低い進行経路を推奨経路Kとして設定する。例えば、推奨経路Kは、影響度Eが低い領域を通るように設定される。図3に示すように、道路上において車両100が一般的な進行経路を走行したとしても、第1障害物B1に対して設定される影響度Eの領域と重複しない場合には、当該一般的な進行経路である直進経路(第1推奨経路K1)が推奨経路Kとして設定される。一方、道路上において車両100が一般的な進行経路(第1推奨経路K1)を走行すると、図5に破線で示すように、第1障害物B1に対して設定される影響度Eの領域と重複する可能性がある場合には、図5に実線で示すように、当該影響度Eが設定される領域を避ける経路(第2推奨経路K2)が推奨経路Kとして設定される。
即ち、演算処理装置2は、動的障害物(例えば第1障害物B1)の進路が、別の障害物(例えば第2障害物B2)の存在によって変化する可能性に応じて、異なる領域に影響度Eの範囲を設定する。尚、注意画像MEは、それに応じて表示される領域を異ならせて表示される。また、演算処理装置2は、このような影響度Eに基づき、必要に応じて異なる推奨経路Kを設定する。後述するように、演算処理装置2は、動的障害物及び静的障害物の影響度Eを演算し、例えば後述するポテンシャル法(Potential Method)等を用いて影響度Eが低い領域を通るように推奨経路Kを演算する。
例えば、演算処理装置2は、動的障害物(例えば第1障害物B1)の進路が、別の障害物(例えば第2障害物B2)の存在によって変化する可能性が低い場合(例えば予め規定された進路変化可能性しきい値未満の場合)には、図3に示したように、注意画像MEを表示させる。一方、演算処理装置2は、動的障害物(例えば第1障害物B1)の進路が、別の障害物(例えば第2障害物B2)の存在によって変化する可能性が高い場合(例えば進路変化可能性しきい値以上の場合)には、図4に示すように、動的障害物(例えば第1障害物B1)の進路が実際に変化していなくても、変化すると予想される進路に応じた領域に注意画像MEを表示させる。
当然ながら、動的障害物(例えば第1障害物B1)の進路が、別の障害物(例えば第2障害物B2)の存在によって実際に変化した場合には、図5に示すように注意画像MEを表示させる。また、このように、動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、異なる領域に影響度Eの範囲が設定されると、例えば動的障害物(例えば第1障害物B1)の進路が、別の障害物の存在によって急に変化した場合においても、迅速に変化後の動的障害物(例えば第1障害物B1)の進路に応じた注意画像MEを表示されることになる。尚、進路変化可能性しきい値は、固定値であってもよいし、車両100の周辺の状況や車両100の走行速度等に応じて変化する可変値であってもよい。
上述したように、車両運転補助システム10は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景Sに注意画像MEや推奨運転画像Mを重畳して表示させることによって運転を補助する情報を運転者に提供する。図8〜図10等を参照して後述するように、注意画像MEは、移動する1つ又は複数の障害物Bである動的障害物の進路に応じて表示される領域を示す画像である。推奨運転画像Mは、推奨経路画像MKと推奨速度画像MVとを含む画像である。推奨経路画像MKは、車両100の進行方向に存在する1つ又は複数の障害物Bと干渉する可能性が相対的に低い進行経路である推奨経路Kを示す画像である。また、推奨速度画像MVは、車両100が推奨経路Kを走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す画像である。
尚、図8〜図10には、注意画像ME及び推奨運転画像Mが表示されている形態を例示しているが、車両運転補助システム10は、少なくとも注意画像MEを表示装置5に表示させるものであればよい。つまり、推奨運転画像Mは、必ずしも表示装置5に表示されなくてもよい。障害物Bによる影響度Eを示す注意画像MEが表示されることによって、運転者は障害物Bに対して注意を向け、能動的に障害物Bを回避するような運転操作を行うことが可能となる。車両運転補助システム10は、図3〜図5を参照して説明したように、動的障害物(例えば第1障害物B1)の進路が、別の障害物B(例えば第2障害物B2)の存在によって変化する可能性に応じて、注意画像MEが表示される領域を異ならせて表示装置5に表示する。
図6のフローチャートに示すように、車両運転補助システム10は、まずフロントカメラ1により撮影された車両100の進行方向の風景の撮影画像を取得する(#1:撮影画像取得ステップ、撮影画像取得機能)。車両運転補助システム10は、次に、撮影画像の中から車両100が干渉する可能性がある障害物Bを画像認識する(#2:障害物検出ステップ(障害物認識ステップ)、障害物検出機能(障害物認識機能))。上述したように、障害物Bは、画像認識のみに限らず、センサ群6の検出結果を利用するその他の方式も用いて検出されてもよい。
障害物Bが検出されると、車両運転補助システム10は、その内の動的障害物の影響度Eを演算すると共に、推奨経路Kと推奨経路Kを進む推奨速度指標を演算する(#4:推奨経路演算ステップ、推奨経路演算機能)。上述したように、この際、ナビゲーションデータベース7から地図情報等を取得しておき、道路幅や交差点の有無等も考慮して推奨経路Kや推奨速度指標を演算することも好適である。図6には、推奨経路演算ステップ#4に先行して、ナビゲーションデータベース7の情報を参照するデータベース参照ステップ#3(データベース参照機能)が実行される形態を例示している。
推奨経路演算ステップ#4(推奨経路演算機能)では、一般的に想定される車両100の進行経路(図3〜図5に示す第1推奨経路K1)が演算されている。また、推奨経路演算ステップ#4では、さらに、障害物B等を避けて通るような進行経路(例えば図4及び図5に実線で示す第2推奨経路K2)を演算することも可能である。本実施形態では、推奨経路演算ステップ#4においてそのような推奨経路Kを演算するために、障害物Bが車両100の走行に与える影響について判定される。図7のフローチャートは、その一例を示している。
図7に示すように、障害物認識ステップ#1で検出された障害物B(動的障害物及び静的障害物を含む)に動的障害物(Bd)が含まれているか否かが判定される(#41)。検出された障害物Bに動的障害物が含まれる場合には、検出された障害物Bが複数存在するか否か(障害物Bの数Nobsが2以上か否か)が判定される(#42)。障害物Bが複数存在する場合、動的障害物の移動に対して他の障害物B(動的障害物及び静的障害物を含む)が影響を与える可能性があるか否かが判定される(#43)。
この際、例えば、動的障害物の移動に対して他の障害物Bが影響を与える可能性は、「進路変化可能性」として数値で演算される。また、「進路変化可能性」と共に、動的障害物の進路変化の方向も演算される。この進路変化の方向は、例えば、動的障害物の挙動に基づいて演算可能な複数の方向の内、最も可能性の高い方向が選択される。そして、ステップ#43では、例えば、演算された進路変化可能性が進路変化可能性しきい値以上の場合に、動的障害物の移動に対して他の障害物Bが影響を与える可能性があると判定され、影響フラグINFLが有効状態に設定される。進路変化可能性が進路変化可能性しきい値未満の場合には、可能性がないと判定され、影響フラグINFLが無効状態に設定される(無効状態のまま維持される)。
別の判定基準として、例えば、図4及び図5に示すように、一般的に想定される車両100の進行経路(第1推奨経路K1)と影響度Eの領域とが重複する場合に、影響フラグINFLが有効状態に設定されてもよい。ステップ#43において影響フラグINFLが有効(=True)であると判定されると、推奨経路Kの設定や表示装置5に表示される画像の設定が第2モード(mode:B)の条件で実行される(#44)。例えば、図4及び図5に実線で示すように障害物Bの影響を避けて一般的な推奨経路K(第1推奨経路K1)とは異なる第2推奨経路K2が推奨経路Kとして設定される。或いは、第1推奨経路K1を走行する際の推奨走行速度を低下させるなど、第1障害物B1と車両100とが干渉する可能性を低減させるような推奨速度指標が設定される。
検出された障害物Bの何れもが車両100の進行に影響を与えない場合には、影響フラグINFLは無効状態である。ステップ#43において影響フラグが無効(=False)と判定されると、推奨経路Kの設定や表示装置5に表示される画像の設定が第1モード(mode:A)の条件で実行される(#45)。例えば、図3に示すように障害物Bの影響を避ける必要はなく、一般的な進行経路(第1推奨経路K1)が推奨経路Kに設定される。尚、ステップ#41において障害物Bに動的障害物(Bd)が含まれていないと判定された場合、ステップ#42において障害物Bの数Nobsが2未満(1又はゼロ)と判定されている場合も、推奨経路Kの設定や表示装置5に表示される画像の設定が第1モード(mode:A)の条件で実行される。
本実施形態では、車両運転補助システム10は、実風景Sに注意画像MEを重畳して表示する。注意画像MEは、図3及び図5を参照して説明した影響度Eの領域を表す画像である。影響度Eは、推奨経路演算ステップ#4において演算されており、車両運転補助システム10は、推奨経路演算ステップ#4に続いて注意画像MEを生成する画像生成ステップ#5(画像生成機能)及び注意画像MEを表示装置5に出力する画像出力ステップ#6(画像出力機能)を実行する。
図4〜図7を参照して説明したように、障害物Bに動的障害物が含まれる場合には、他の障害物Bとの関係で動的障害物の進路が異なる可能性があり、その可能性に応じて推奨経路Kの設定や画像の設定を行う条件が選択される。車両運転補助システム10は、動的障害物の進路が、動的障害物とは別の障害物Bの存在によって変化する可能性に応じて、注意画像MEが表示される領域を異ならせて表示装置5に表示する。
画像出力ステップ#6では、例えば視点検出装置8の検出結果等も利用して、実風景Sにおける障害物Bの位置に対応して注意画像MEが表示されるように、注意画像MEが出力される。当然ながら、画像生成ステップ#5において注意画像MEを生成する際に、運転者の視点を考慮して実風景Sにおける障害物Bの位置に対応させて注意画像MEを生成してもよい。また、モニタ52の表示形態に合わせて注意画像MEを生成して表示させてもよい。
上述したように、本実施形態では、車両運転補助システム10は、推奨経路演算ステップ#4において推奨経路K及び推奨速度指標も演算し、画像生成ステップ#5において推奨経路画像MK及び推奨速度画像MVを含む推奨運転画像Mも生成し、画像出力ステップ#6においてこれらの画像も表示装置5に出力する。図8等を参照して後述するように、推奨経路画像MKと推奨速度画像MVとは、互いに対応付けられている。
車両運転補助方法は、車両運転補助システム10を構成するハードウェアやソフトウェアを利用し、上述したような各ステップを実行して運転補助を実現する方法ということができる。また、車両運転補助システム10に含まれるコンピュータ(例えば図2を参照して後述する演算処理ユニット4など)は、上述したような各機能を実現するプログラムを実行する。
図8〜図10は、実風景Sに注意画像ME及び推奨運転画像Mが重畳された一例を示している。注意画像ME及び推奨運転画像Mは、実風景Sにおける障害物Bの位置に対応して表示されており、運転者に障害物Bの存在や運転に影響を与える可能性についての認知を促し、障害物Bとの関係で運転者が車両100をどのように運転すれば良いかを適切に案内できるようになっている。
図8は、図3において実線で示す位置に車両100が存在する場合の実風景Sに注意画像ME及び推奨運転画像Mを重畳した表示装置5を例示している。車両運転補助システム10は、図8中に破線で囲った部分に障害物Bが存在することを検出している。ここでは、第1障害物B1、第3障害物B3、第4障害物B4の3つの障害物Bが検出されており、これらは全て動的障害物である。第1障害物B1は自転車に乗った人であり、第3障害物B3及び第4障害物B4は歩行者である。第3障害物B3は、立っている歩行者又は散歩等でゆっくり歩いている歩行者である。第4障害物B4は、早足で又は駆け足で進んでいる歩行者である。
車両運転補助システム10は、図8に例示する形態では、車両100に最も近い第1障害物B1に関する影響度Eに基づいて、第1障害物B1に関する注意画像MEを表示する。つまり、注意画像MEは、動的障害物と車両100とが干渉する可能性のある領域を示す画像である。ここでは1つの障害物Bを対象としたが、注意画像MEは、複数の障害物Bに関して表示されてもよい(複数の形態は図14を参照して後述する。)。例えば、車両100から予め規定された範囲内に存在する障害物Bや、車両100の推奨経路Kに対して予め規定された速度以上で接近する障害物Bに関して注意画像MEが表示されると好適である。
段階的に設定される影響度Eに対応し、注意画像MEは、動的障害物が車両100の進行に与える影響度Eを段階的に示す表示形態で表示される。ここでは、第1影響度E1に対応する第1注意画像ME1と、第2影響度E2に対応する第2注意画像ME2が表示されている。例えば、より第1障害物B1に近い第1注意画像ME1は白色や黄色で表示され、第2注意画像ME2は橙色や赤色で表示されると好適である。第1注意画像ME1及び第2注意画像ME2の色彩は、認知工学などに基づき、車両100との相対速度等も考慮して、車両100と障害物Bとの距離が短いほど注意を喚起する色彩であると好適である。第1注意画像ME1の白色や黄色に比べて、第2注意画像ME2の橙色や赤色は、一般的に注意が必要であることを運転者に想起させる。
第1障害物B1としての自転車は、この時点では真っ直ぐに進んでいるが、車道側に急に進路変更したり、転倒したりする可能性もある。第1障害物B1に対してこのように注意画像MEが表示されることにより、運転者は第1障害物B1の存在を認知し、その動向に注意して運転操作を行うことができる。
このように注意画像MEの表示によって運転者の運転操作を補助することが可能であるが、本実施形態では、車両運転補助システム10は、注意画像MEに加え、さらに推奨経路画像MK及び推奨速度画像MVも実風景Sに重畳して表示する。図3から図5を参照して上述したように、車両運転補助システム10は、障害物Bが車両100の進行に影響すると推定される領域(影響度Eが設定されている領域)を可能な限り避けるように、推奨経路Kを設定する。つまり、車両100の進行方向に存在する障害物Bと車両100とが干渉する可能性が相対的に低い進行経路が推奨経路Kとして設定される。
第1障害物B1が真っ直ぐ進行する場合には、図3に実線で示すように、推奨経路Kとして一般的に推奨される進行経路(第1推奨経路K1)を設定することができる。図8には、この推奨経路Kに対応して、道路上を直進する経路を示すように推奨経路画像MKが表示される形態を例示している。推奨経路画像MKは、推奨速度画像MVと対応付けられて表示される。本実施形態では、推奨速度画像MVは、推奨経路画像MKの表示領域に表示され、推奨経路画像MKと一体となった推奨運転画像Mとして表示される。
推奨運転画像M(推奨経路画像MK)は、推奨経路Kに沿って複数の単位画像UMが配列されて形成されている。例えば、推奨速度画像MVは、推奨経路Kに沿って並んだ単位画像UMの色彩を異ならせることによって表現することができる。図8に例示した形態では、影響度Eが設定される領域と推奨経路Kとが重複しないため、運転者に対して例えば徐行等の速度調整を促す必要がない。このため、全ての単位画像UMは一般的な速度での進行を許容する第1単位画像M1(例えば、白色や青色)で表示されている。
図9は、図4において実線で示す位置に車両100が存在する場合の実風景Sに注意画像ME及び推奨運転画像Mを重畳した表示装置5を例示している。車両運転補助システム10は、図9中に破線で囲った部分に障害物Bが存在することを検出している。ここでは、さらに歩行者である第2障害物B2も含めて、4つの障害物Bが検出されており、これらは全て動的障害物である。
図4及び図5を参照して上述したように、第1障害物B1としての自転車は、歩行者である第2障害物B2を避けて通るために、道路の中央に向かって進路を変更する可能性がある。このため図4に示すように、第1障害物B1としての自転車が進路を変更することなく直進していても、第1障害物B1の推定移動方向は道路の中央に向かって偏位し、影響度Eの領域も推定移動方向に沿って道路の中央に向かって張り出すように設定されている。車両運転補助システム10は、第1障害物B1に関する影響度Eに基づいて、第1障害物B1に関する注意画像MEを表示する。つまり、図8に例示する注意画像MEに比べて、図9に例示する注意画像MEは、道路の中央に張り出すように表示される。運転者は、このような注意画像MEが表示されることによって、第1障害物B1の存在を認知すると共に、第1障害物B1が、車両100の進行に影響するような位置にはみ出してくる可能性を認知して、その動向に注意して運転操作を行うことができる。
尚、当然ながら、図5を参照して上述したように、第1障害物B1としての自転車が実際に進路を変更した場合にも、第1障害物B1の推定移動方向は道路の中央に向かって偏位し、影響度Eの領域も推定移動方向に沿って道路の中央に向かって張り出すように設定される。図10は、図5において実線で示す位置に車両100が存在する場合の実風景Sに注意画像ME及び推奨運転画像Mを重畳した表示装置5を例示している。車両運転補助システム10は、図10中に破線で囲った部分に障害物Bが存在することを検出している。ここでも、4つの障害物Bが検出されており、これらは全て動的障害物である。
図9及び図10にも、注意画像MEに加え、さらに推奨経路画像MK及び推奨速度画像MVが実風景Sに重畳して表示される形態を例示している。図4及び図5を参照して上述したように、車両運転補助システム10は、障害物Bが車両100の進行に影響すると推定される領域(影響度Eが設定されている領域)を可能な限り避けるように、推奨経路Kを設定する。図4及び図5には、運転補助の概念を説明するために、第1障害物B1を大きく迂回する第2推奨経路K2が設定される形態を例示した。しかし、車両100が通行する道路幅等によっては、このように障害物Bを迂回する経路が設定できない場合がある。図9及び図10は、そのように第1障害物B1を迂回した第2推奨経路K2を設定することができず、第1推奨経路K1を推奨経路Kとした場合の推奨経路画像MK及び推奨速度画像MVを例示する。
図8に例示した形態と同様に図9及び図10においても、推奨運転画像M(推奨経路画像MK)は、推奨経路Kに沿って複数の単位画像UMが配列されて形成されている。図8に例示した形態も、図9及び図10に例示する形態も、推奨経路Kは第1推奨経路K1であるから、単位画像UMの配列は、図8と図9と図10とで同様である。但し、推奨速度(推奨速度指標)については、第1障害物B1の推定移動方向の変化に伴って変化している。例えば、推奨速度画像MVは、推奨経路Kに沿って並んだ単位画像UMの色彩を異ならせることによって表現することができる。図9及び図10に例示した形態では、影響度Eが設定される領域と推奨経路Kとが重複するため、運転者に対して例えば減速や徐行等を促すと好ましい。このため、進行方向に沿って車両100の推奨速度が低下している。
図9及び10には、第1障害物B1よりも車両100が後方に位置する領域に配置される単位画像UMが第1単位画像M1(例えば、白色や青色)で表示され、車両100が第1障害物B1と並ぶ領域(注意画像MEと推奨運転画像Mとが重複する領域)に配置される単位画像UMが第2単位画像M2(例えば、黄色)で表示される形態を例示している。また、車両100が第1障害物B1を追い越して第1障害物B1よりも前方に位置する領域に配置される単位画像UMは、第1単位画像M1(例えば、白色や青色)で表示される。
注意画像MEの色彩と同様に、第1単位画像M1及び第2単位画像M2の色彩は、認知工学的などに基づき、推奨速度が低いほど注意を喚起する色彩であると好適である。第1単位画像M1の白色や青色に比べて、第2単位画像M2の黄色は、一般的に、人により注意が必要であることを想起させる。また、推奨速度画像MVは、推奨経路K上の各地点での推奨速度指標を表示することによって、推奨経路画像MKと対応付けられて表示されている。例えば車両100に推奨される走行速度は、推奨経路K上の各地点によって異なる。推奨経路K上の各地点での推奨速度指標を推奨経路画像MKに対応付けて表示することで、運転者に対して、推奨経路Kをどのような走行速度で走行すれば適切であるかの情報を分かりやすく報知することができる。
図3〜図10を参照して上述したように、本実施形態の車両運転補助システム10においては、注意画像MEが表示される領域が、動的障害物の進路が別の障害物Bの存在によって変化する可能性のない場合と、動的障害物の進路が別の障害物Bの存在によって変化する可能性がある場合とで異なる。具体的には、図3と図4との比較、及び図8と図9との比較により明らかなように、動的障害物の進路(推定移動方向)が動的障害物とは別の障害物Bの存在によって変化する可能性がある場合、注意画像MEは、当該変化した進路に応じた領域に表示される。
ところで、注意画像MEは、運転者に注意を促すための画像であるから、動的障害物が進行することのできない領域には設定する必要はない。例えば、図11に例示するように、ガードレールGや生け垣などによって、検出された歩行者や自転車などの障害物Bが通行する領域と、車両100が通行する領域とが分離可能な場合には、不要な箇所の注意画像MEを除外してもよい。つまり、車両100及び動的障害物が進行する道路の構造に応じて、車両100の進行経路に動的障害物が干渉する可能性のない領域を除外して、注意画像MEが表示されると好適である。
このような道路の構造は、例えばフロントカメラ1による撮影画像に基づく画像認識によって特定することができる。さらに、ナビゲーションデータベース7から取得した地図情報、道路情報、地物情報(道路標識、道路標示、施設等の情報)に基づき、ガードレールGや生け垣などを特定してもよい。また、車両100の側方の物体を検出するソナーやレーダーなど、センサ群6の検出結果に基づいて画像認識を補助したり、ガードレールGや生け垣などを特定したりしてもよい。
上記においては、1つの動的障害物に対する注意画像MEのみが表示される形態を例示して説明したが、当然ながら複数の動的障害物に対する注意画像MEが表示されてもよい。動的障害物が複数存在し、それぞれの動的障害物に対して注意画像MEが表示される場合には、複数の注意画像MEが重複する重複領域が存在することがある。図12は、第1障害物B1(自転車)と第4障害物B4(歩行者)とが互いの推定移動方向が直交する状態で接近する場合の、注意画像MEの基礎となる影響度Eを例示している。図12に示すように、第1障害物B1の影響度Eの領域と、第4障害物B4の影響度Eの領域とが重複する場合、重複した領域は、影響度Eが高い側に応じた領域として設定されると好適である。従って、影響度Eに対応して表示されるそれぞれの注意画像MEも、重複領域における影響度Eが最も高い注意画像MEの影響度Eを重複領域の影響度Eとして表示されると好適である。
ところで、推奨経路Kは、影響度Eが低い領域を通るように設定されている。影響度Eは、車両100が走行可能な範囲(例えば道路上)において、走行に関するコストとして演算することができる。例えば、障害物Bの存在位置やその周辺(例えば第1影響度E1の領域)では高いコストとなり、障害物B等が存在せず、円滑に車両100が走行できる位置では低いコストとなる。また、撮影画像の範囲内における進行経路上の目的地のコストは最も低い値(例えばゼロ)に設定される。
車両運転補助システム10は、現在地から目的地まで、コストの低い地点を通る最短コースを演算することで、推奨経路Kを演算することができる。単純にコストの最も低い地点を通るコースを設定すると距離が長くなる場合がある。従って、車速(所要時間)等も考慮して、推奨経路Kが演算される。この演算方法では、コストの低い方向への経路を演算していくので、比較的演算負荷が軽くなる。尚、障害物Bの数が多く、車両100が停止する方が好ましいような場合もある。このような場合に備えて、経路を遮断可能なコストの上限値も設定されていると好適である。図13には、複数の障害物Bに対して、複数の影響度Eの領域が設定さている状態を例示している。車両運転補助システム10は、影響度Eに基づき、コストの低い地点を通る最短コースを演算することで、推奨経路Kを演算する。推奨経路画像MKは、影響度Eが低い領域を通るように表示されることになる。
以上、簡単に説明したが、このように三次元空間において障害物Bを回避して自律動作するような技術としては、例えばポテンシャル法(Potential Method)が知られている。ポテンシャル法については公知であるので、詳細な説明は省略するが、例えば現在地や目標位置(目的地)や障害物Bの存在位置にポテンシャル関数を定義して、その勾配を進行方向とすることで、推奨経路Kを演算することができる。尚、勾配は座標成分ごと(例えば三次元直交座標系であればx、y、z軸ごとなど。)の偏微分によって求めることができる。目的地へのポテンシャル勾配は、誘因方向に働き、推奨経路Kの進行方向が目的地へ向かう。一方、障害物Bのポテンシャル勾配は、反発方向に働き、推奨経路Kは障害物Bを避けるように設定される。ポテンシャル関数は観測情報(撮影画像やセンサ群6の検出結果など)に基づいてリアルタイムに更新可能であり、これにより、各時点での適切な推奨経路Kを演算することができる。
障害物Bにポテンシャル関数を定義した場合、影響度Eはポテンシャル勾配に応じて設定することができる。図3〜図5等を参照して、影響度Eが段階的に設定される形態を例示したが、影響度Eは連続的に変化する形態であってもよい。また、例えば連続的に変化するポテンシャル勾配などのパラメータにしきい値を設定して段階的に表現してもよい。影響度Eに基づく注意画像MEについても同様であり、図8〜図10等には、段階的に異なる色彩で表示される形態を例示した。しかし、連続的に色彩を変化させてもよい。また、連続的に変化する影響度Eにしきい値を設定して注意画像MEを段階的に表現してもよい。
図14は、図12に例示したように、第1障害物B1(自転車)と第4障害物B4(歩行者)とが互いの推定移動方向が直交する状態で接近する場合に、注意画像MEを実風景Sに重畳した表示装置5を示している。第1障害物B1に対する第2注意画像ME2と第4障害物B4に対する第1注意画像ME1とが重複する領域では、相対的に高い第1影響度E1に対応する第1注意画像ME1が表示されている。
図14には、図8〜図10と同様に、推奨運転画像Mも重畳される形態を示している。図14に示すように、車両100の前方、つまり進行経路は、注意画像MEで塞がれている。つまり、車両100の進行経路は、影響度Eが設定された領域によって塞がれている。このため、例えば推奨速度は、通常よりも1段階低く設定され、推奨運転画像Mは、注意画像MEと重複していない領域でも、徐行を表す第2単位画像M2(例えば黄色)で表示される。また、注意画像ME(第2注意画像ME2)と重複する領域では、最徐行或いは停止を促すように、第3単位画像(例えば赤色)で推奨運転画像Mが表示される。さらに、図14では、2つの第1注意画像ME1が近接する位置において、推奨運転画像Mが途切れている。これにより、例えば、互いに異なる方向から車両100に近づく第1障害物B1及び第4障害物B4の双方に注意するために、停止に近い速度まで車両100の速度を低下させることが好ましいことが運転者に報知される。
〔その他の実施形態〕
以下、その他の実施形態について説明する。尚、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
(1)上記においては、動的障害物の進路が別の障害物Bの存在によって変化する可能性がある場合に、当該変化する進路に応じた領域に注意画像MEが表示される形態を例示した。しかし、動的障害物の進路が、別の障害物Bの存在によって変化する可能性に応じて、注意画像MEが表示される領域が異なれば、変化する進路に対応していなくてもよい。
例えば、動的障害物の進路が別の障害物Bの存在によって変化する可能性がほとんどない場合(例えば進路変化可能性しきい値未満の場合)には注意画像MEを表示せず、動的障害物の進路が別の障害物Bの存在によって変化する可能性がある場合(例えば進路変化可能性しきい値以上の場合)には注意画像MEを表示する形態であってもよい。また、動的障害物の進路が別の障害物Bの存在によって変化する可能性がほとんどない場合(例えば進路変化可能性しきい値未満の場合)には第1注意画像ME1のみを表示し、動的障害物の進路が別の障害物Bの存在によって変化する可能性がある場合(例えば進路変化可能性しきい値以上の場合)には当該第1注意画像ME1に加えてさらに第2注意画像ME2を表示する形態であってもよい。尚、この第2注意画像ME2は、動的障害物の進路が別の障害物Bの存在によって変化する可能性がほとんどない場合の推定移動方向に基づく第2影響度E2に応じたものでよい。注意画像MEが表示される領域が広がることで、運転者に対してより注意を要することを報知することができる。
(2)尚、動的障害物の進路が別の障害物Bの存在によって変化する可能性がある場合(例えば進路変化可能性しきい値以上の場合)に、当該変化する進路に応じた領域に注意画像MEを表示する形態においても、その他の実施形態(1)のように表示させてもよい。つまり、車両運転補助システム10は、進路が変化する可能性がほとんどない場合(例えば進路変化可能性しきい値未満の場合)には、注意画像MEを表示せず、進路が変化する可能性がある場合(例えば進路変化可能性しきい値以上の場合)には当該変化する進路に応じた領域に注意画像MEを表示してもよい。また、車両運転補助システム10は、進路が変化する可能性がほとんどない場合(例えば進路変化可能性しきい値未満の場合)には第1注意画像ME1のみを表示し、変化する可能性がある場合(例えば進路変化可能性しきい値以上の場合)には当該変化する進路に応じた領域に第1注意画像ME1及び第2注意画像ME2を表示させてもよい。
(3)上記においては、図8〜図10、図14等を参照して、単位画像UMを推奨経路Kに沿って配列することで、推奨経路画像MKを表す形態を例示した。しかし、推奨経路画像MKが連続した線状に形成されていてもよい。
(4)上記においては、図9、図10、図14等を参照して、色彩を異ならせることによって推奨速度指標の違いを表現する形態を例示した。推奨経路画像MKが複数の単位画像UMを有する形態であっても、その他の実施形態(3)で説明したような連続した線状の形態であっても、推奨速度画像MVは、推奨運転画像Mの色彩、形状、及び動きの少なくとも1つが、走行速度などの推奨速度指標に応じて異なる態様で表示される形態とすることができる。
(4−1)上記においては、図9、図10、図14等を参照して、それぞれ色彩の異なる単位画像UMを推奨経路Kに沿って配列することで、色彩のグラデーションを表現する形態を例示した。しかし、例えば、推奨経路画像MKが連続した線状に形成されており、1つの連続した画像の中で色彩が変化する形態であってもよい。
(4−2)また、推奨経路画像MKが複数の単位画像UMを有する場合には、複数の単位画像UMの配置形態を異ならせることによって、推奨速度画像MVを表してもよい。複数の単位画像UMが配置される間隔を、走行速度などの推奨速度指標に応じて異ならせることによって、配置形態の違いによる推奨速度画像MVが実現できる。単位画像UMの間隔を単位時間で車両100が進む距離に対応させて考えると、相対的に間隔の短い場合には車両100の走行速度が低いことになり、運転者に徐行運転を促すことができる。
(4−3)また、推奨速度画像MVの動きが車両100の走行速度などの推奨速度指標に応じて異なる態様で表示されてもよい。例えば、単位画像UMが推奨経路Kに沿って進行方向へ移動する移動速度を、走行速度などの推奨速度指標に応じて異ならせることによって、推奨速度画像MVを表してもよい。単位画像UMの移動速度を車両100の走行速度に対応させて考えると、相対的に移動速度Vが遅い場合には車両100の走行速度が低いことになり、運転者に徐行運転を促すことができる。
尚、推奨速度画像MVの動きを車両100の走行速度などの推奨速度指標に応じて異なる態様で表示させる場合においても、推奨経路画像MKは、連続した線状に形成されていてもよい。例えば、1つの推奨経路画像MKが推奨経路Kに沿って移動してもよいし、連続した線状の推奨経路画像MKがスイープする形態(手前から順に消えていき、推奨経路Kの先端に達すると再度描画されることを繰り返すような形態)であってもよい。
(4−4)推奨経路画像MKが単位画像UMの配列で表示される場合、それぞれの単位画像UMの形状を走行速度などの推奨速度指標に応じて異ならせることで推奨速度画像MVが表示されてもよい。例えば、各単位画像UMを、先端部が推奨経路Kに沿った矢印状となった五角形状に形成する。それぞれの単位画像UMは、進行方向に向かった先端部が有する角度(内角)が、走行速度が遅くなるに従って大きくなるように形成されている。例えば、最も先端部の角度が大きい単位画像UMの先端部は直線状となる。つまり、最も遅い速度(例えばゼロ)に対応する単位画像UMでは、矢印部分がない長方形状に形成される。この単位画像UMにより、例えば車両100を停止させることを推奨する画像を表現することができる。
尚、1つの推奨経路画像MKが連続した線状に形成されている場合に、当該1つの推奨経路画像MKの形状を変化させてもよい。例えば、連続した線状の1つの推奨経路画像MKの先端部を矢印状に尖った形状とし、当該先端部の形状を異ならせることによって走行速度などを表現してもよい。この場合、推奨される走行速度が速い場合には先端部が尖り、推奨される走行速度が遅くなるに従って先端部の角度が大きくなる(先鋭度が下がって平らになる)と好適である。
(5)上記においては、推奨速度画像MVが示す走行速度指標が車両100に推奨される走行速度(絶対速度)である形態を例示した。つまり、推奨速度画像MVが、車両100の絶対速度に対応した表示形態で表示される形態を例示した。しかし、走行速度指標は、推奨経路Kを車両100が走行する場合に推奨される走行速度に関連する指標であれば、絶対速度に限定されるものではない。例えば、走行速度指標は、車両100に推奨される減速加速度及び車両100に許容される増速加速度を含む車両100の加速度であってもよい。従って、推奨速度画像MVは、車両100に推奨される減速加速度及び車両100に許容される増速加速度を含む車両100の加速度に対応した表示形態で表示されてもよい。
(6)上記においては、推奨速度画像MVが、推奨経路画像MKの表示領域に表示される形態を例示して説明したが、推奨経路画像MKと推奨速度画像MVとが互いに対応付けられて表示されていれば、推奨速度画像MVが推奨経路画像MKの表示領域外に表示される形態を妨げるものではない。例えば、連続した矢印状の推奨経路画像MKの横に、推奨速度を数値で示す推奨速度画像MVが添えられる形態であってもよい。推奨経路画像MKの横に添えられる推奨速度画像MVは、数値に限らず、色彩や形状や動きによって推奨速度指標を表現できるものであればよい。例えば、推奨経路画像MKに沿った側線の色彩のグラデーションや、側線の動き等によって推奨速度指標を表現してもよい。
〔実施形態の概要〕
以下、上記において説明した車両運転補助システム(10)、車両運転補助方法、車両運転補助プログラムの概要について簡単に説明する。
この車両運転補助システム(10)は、
実風景(S)に注意画像(ME)を重畳して表示する表示部(5)を備え、
前記注意画像(ME)は、移動する1つ又は複数の障害物(B)である動的障害物(B)の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物(B)の進路が、別の障害物(B)の存在によって変化する可能性に応じて、前記注意喚起を示す領域が異なる。
注意画像(ME)を表示することにより、運転者に動的障害物(B)の存在を適切に報知することができる。また、別の障害物(B)によって動的障害物(B)の進路が変化するか否かに応じて異なる領域に注意画像(ME)を表示することによって、運転者に動的障害物(B)の進路が変化する可能性のあることを報知することができる。これにより、運転者は、さらに動的障害物(B)に注意を払って運転操作を行うことができる。このように本構成によれば、車両(100)の周辺の複数の障害物(B)の相関関係も考慮して、移動する障害物(B)を回避して走行するための情報を適切に運転者に報知することができる。
ここで、前記注意画像(ME)は、前記動的障害物(B)と車両(100)とが干渉する可能性のある領域を示すと好適である。
このように注意画像(ME)が表示されると、運転者は動的障害物(B)の存在及び、その移動によって車両(100)の走行に影響を与える領域の存在を認知し易くなる。
また、前記動的障害物(B)の進路が別の障害物(B)の存在によって変化する可能性に応じて、変化しない場合とは異なる領域に前記注意画像(ME)が表示される場合、前記注意画像(ME)は、当該変化する進路に応じた領域に表示されると好適である。
動的障害物(B)は、移動する障害物(B)であり、その移動方向も変化する可能性がある。動的障害物(B)の存在は認知していても、運転者の予期なく、動的障害物(B)の移動方向が急に変化した場合には、運転者を驚かす可能性がある。しかし、動的障害物(B)の進路が変化する可能性がある場合に、その変化する進路に応じて注意画像(ME)が表示されると、運転者も動的障害物(B)が進路を変更する可能性を予期することができ、落ち着いて迅速に反応することができる可能性が高くなる。
尚、前記注意画像は(ME)、車両(100)及び前記動的障害物(B)が進行する道路の構造に応じて、前記車両(100)の進行経路に前記動的障害物(B)が干渉する可能性のない領域を除外して表示されると好適である。
注意画像(ME)は、障害物(B)の存在を運転者に認知させることを促す上でも有用である。しかし、車両(100)の進行経路上では、車両(100)と動的障害物(B)とが干渉する可能性のない領域にまで注意画像(ME)が表示されると運転者が煩わしく感じる可能性がある。従って、車両(100)の進行経路に動的障害物(B)が干渉する可能性のない領域を除外して注意画像(ME)が表示されると好適である。
また、前記注意画像(ME)は、前記動的障害物(B)が車両(100)の進行に与える影響度(E)を段階的に示す態様で表示されると好適である。
注意画像(ME)が影響度(E)の段階に応じて表示されることで、運転者は影響度(E)を認知し易く、影響度(E)を考慮した運転操作を行い易くなる。
また、前記表示部(5)は、さらに、少なくとも前記動的障害物(B)と干渉する可能性が相対的に低い進行経路である推奨経路(K)を示す推奨経路画像(MK)を前記実風景(S)に重畳して表示し、前記推奨経路画像(MK)は、複数段階の前記影響度(E)の内、前記影響度(E)が低い領域を通るように表示されると好適である。
推奨経路画像(MK)を表示することで、運転者に対してどのような経路で走行すれば適切であるかの情報を分かりやすく適切に報知することができる。推奨経路画像(MK)は、前記影響度(E)が低い領域を通るように設定される推奨経路(K)を報知するので、運転者に対して障害物Bによる影響を低減した適切な運転情報を報知することができる。
また、前記動的障害物(B)が複数存在し、それぞれの前記動的障害物(B)に対して前記注意画像(ME)が表示され、複数の前記注意画像(ME)が重複する重複領域が存在する場合には、前記重複領域における前記影響度(E)が最も高い前記注意画像(ME)の前記影響度(E)を前記重複領域の前記影響度(E)として、それぞれの前記注意画像(ME)が表示されると好適である。
複数の前記注意画像(ME)が重複する重複領域では、それぞれの注意画像(ME)に対応する障害物(B)が平均的に作用するのではなく、より影響度(E)の高い側の障害物(B)の方が車両(100)の進行に影響を与える可能性が高い。従って、より影響度(E)の高い側の障害物(B)の影響度(E)に応じて注意画像(ME)が表示される方が、運転者に適切な運転情報を報知することができる。
上述した車両運転補助システム(10)の種々の技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システム(10)の特徴を備えたステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システム(10)の特徴を備えた機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システム(10)の作用効果を奏することができる。さらに、車両運転補助システム(10)の好適な態様として例示した種々の付加的特徴を、これら車両運転補助方法や車両運転補助プログラムに組み込むことも可能であり、当該方法及び当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。
その場合における車両運転補助方法は、
実風景(S)に注意画像(ME)を重畳して表示部(5)に表示させる車両運転補助方法であって、
前記注意画像(ME)は、移動する1つ又は複数の障害物(B)である動的障害物(B)の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物(B)の進路が、別の障害物(B)の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させるステップを有する。
また、車両運転補助プログラムは、
実風景(S)に注意画像(ME)を重畳して表示部(5)に表示させる車両運転補助プログラムであって、
前記注意画像(ME)は、移動する1つ又は複数の障害物(B)である動的障害物(B)の進路に応じて注意喚起を示す領域を有する画像であり、
前記動的障害物(B)の進路が、別の障害物(B)の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる。
4 :演算処理ユニット(コンピュータ)
5 :表示装置(表示部)
10 :車両運転補助システム
51 :ヘッドアップディスプレイ(表示部)
52 :モニタ(表示部)
100 :車両
B :障害物
E :影響度
K :推奨経路
ME :注意画像
MK :推奨経路画像
S :実風景景

Claims (9)

  1. 実風景に注意画像を重畳して表示する表示部を備え、
    前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域が異なる車両運転補助システム。
  2. 前記注意画像は、前記動的障害物と車両とが干渉する可能性のある領域を示す請求項1に記載の車両運転補助システム。
  3. 前記動的障害物の進路が別の障害物の存在によって変化する可能性に応じて、変化しない場合とは異なる領域に前記注意画像が表示される場合、前記注意画像は、当該変化する進路に応じた領域に表示される請求項1又は2に記載の車両運転補助システム。
  4. 車両及び前記動的障害物が進行する道路の構造に応じて、前記車両の進行経路に前記動的障害物が干渉する可能性のない領域を除外して、前記注意画像が表示される請求項1から3の何れか一項に記載の車両運転補助システム。
  5. 前記注意画像は、前記動的障害物が車両の進行に与える影響度を段階的に示す態様で表示される請求項1から4の何れか一項に記載の車両運転補助システム。
  6. 前記表示部は、さらに、少なくとも前記動的障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路画像を前記実風景に重畳して表示し、
    前記推奨経路画像は、複数段階の前記影響度の内、前記影響度が低い領域を通るように表示される請求項5に記載の車両運転補助システム。
  7. 前記動的障害物が複数存在し、それぞれの前記動的障害物に対して前記注意画像が表示され、複数の前記注意画像が重複する重複領域が存在する場合には、前記重複領域における前記影響度が最も高い前記注意画像の前記影響度を前記重複領域の前記影響度として、それぞれの前記注意画像が表示される請求項6に記載の車両運転補助システム。
  8. 実風景に注意画像を重畳して表示部に表示させる車両運転補助方法であって、
    前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域を異ならせて表示させるステップを有する車両運転補助方法。
  9. 実風景に注意画像を重畳して表示部に表示させる車両運転補助プログラムであって、
    前記注意画像は、移動する1つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる車両運転補助プログラム。
JP2019554241A 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Pending JPWO2019098216A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017222161 2017-11-17
JP2017222161 2017-11-17
PCT/JP2018/042079 WO2019098216A1 (ja) 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Publications (1)

Publication Number Publication Date
JPWO2019098216A1 true JPWO2019098216A1 (ja) 2020-08-20

Family

ID=66539759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019554241A Pending JPWO2019098216A1 (ja) 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Country Status (5)

Country Link
US (1) US20200307617A1 (ja)
JP (1) JPWO2019098216A1 (ja)
CN (1) CN111226269A (ja)
DE (1) DE112018004377T5 (ja)
WO (1) WO2019098216A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
JPWO2020251034A1 (ja) * 2019-06-13 2020-12-17
TWI705016B (zh) * 2019-07-22 2020-09-21 緯創資通股份有限公司 行車預警系統、行車預警方法及使用所述方法的電子裝置
US20210031760A1 (en) * 2019-07-31 2021-02-04 Nissan North America, Inc. Contingency Planning and Safety Assurance
JP6992936B2 (ja) * 2019-11-01 2022-01-13 三菱電機株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
US11247699B2 (en) * 2019-11-04 2022-02-15 Volvo Car Corporation Driver assist interface in a vehicle
JP2021117089A (ja) * 2020-01-24 2021-08-10 株式会社リコー 表示装置、及び表示方法
JP6987173B2 (ja) * 2020-04-22 2021-12-22 三菱電機株式会社 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法
EP3971864A1 (en) * 2020-09-18 2022-03-23 Zenuity AB Risk estimation in autonomous driving environments
CN114248794A (zh) * 2020-09-23 2022-03-29 华为技术有限公司 车辆的控制方法、装置及车辆
CN112550286A (zh) * 2020-12-10 2021-03-26 宜宾凯翼汽车有限公司 一种车辆泊车提示方法和系统
US11836870B1 (en) * 2021-01-19 2023-12-05 United Services Automobile Association (Usaa) Systems and methods for virtual physical distancing
JP2022148115A (ja) * 2021-03-24 2022-10-06 株式会社Jvcケンウッド 犯罪防止装置及び犯罪防止方法
GB2608665B (en) * 2022-02-22 2024-01-03 Envisics Ltd Head-up display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2015032028A (ja) * 2013-07-31 2015-02-16 トヨタ自動車株式会社 運転支援装置及び運転支援方法
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 車両状態監視装置
JP2017182567A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 周辺リスク表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578795B2 (ja) 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP2008090655A (ja) * 2006-10-03 2008-04-17 Denso Corp 運転支援装置
JP5503660B2 (ja) * 2009-09-24 2014-05-28 パナソニック株式会社 運転支援表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2015032028A (ja) * 2013-07-31 2015-02-16 トヨタ自動車株式会社 運転支援装置及び運転支援方法
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 車両状態監視装置
JP2017182567A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 周辺リスク表示装置

Also Published As

Publication number Publication date
US20200307617A1 (en) 2020-10-01
CN111226269A (zh) 2020-06-02
WO2019098216A1 (ja) 2019-05-23
DE112018004377T5 (de) 2020-05-14

Similar Documents

Publication Publication Date Title
JPWO2019098216A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP6958630B2 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
JP6051307B2 (ja) 運転支援装置
US9988007B2 (en) Occlusion control device
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
JP6597590B2 (ja) 運転支援装置
JP7002246B2 (ja) 車両用表示方法及び車両用表示装置
EP3667641A1 (en) Vehicle driving assistance system, vehicle driving assistance method, and vehicle driving assistance program
US10347126B2 (en) Driving assistance device
JP2021107217A (ja) 車両用表示制御装置、方法およびプログラム
US11274934B2 (en) Information output device, output control method, and storage medium
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
JP2020085688A (ja) 表示システム、表示制御方法、およびプログラム
WO2020040145A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP2020030601A (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP7294091B2 (ja) 表示制御装置および表示制御プログラム
JP2019028568A (ja) 車両用表示方法及び車両用表示装置
JP7058960B2 (ja) 道路形状を判別する方法及び道路形状を判別する装置
JP2023020244A (ja) 車両用表示システム
JP2019200461A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629