JPWO2019098323A1 - 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム - Google Patents

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Download PDF

Info

Publication number
JPWO2019098323A1
JPWO2019098323A1 JP2019554309A JP2019554309A JPWO2019098323A1 JP WO2019098323 A1 JPWO2019098323 A1 JP WO2019098323A1 JP 2019554309 A JP2019554309 A JP 2019554309A JP 2019554309 A JP2019554309 A JP 2019554309A JP WO2019098323 A1 JPWO2019098323 A1 JP WO2019098323A1
Authority
JP
Japan
Prior art keywords
vehicle
blind spot
area
driving assistance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019554309A
Other languages
English (en)
Other versions
JP6958630B2 (ja
Inventor
孝光 坂井
孝光 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of JPWO2019098323A1 publication Critical patent/JPWO2019098323A1/ja
Application granted granted Critical
Publication of JP6958630B2 publication Critical patent/JP6958630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694Output thereof on a road map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

障害物による自車両からの死角に対しても、運転者への注意喚起を行うことが可能な技術の実現を課題とする。
車両運転補助システム、車両運転補助方法、及び車両運転補助プログラムは、実風景に注意画像(MC)を重畳して表示する表示部と、車両の進行方向前方側に存在する前方障害物(B)によって当該車両(100)の運転者から死角となる領域である死角領域(AB)を判定する死角領域判定部と、を備えている。表示部は、死角領域(AB)から飛び出してくる移動障害物(MO)があった場合に車両(100)の進行に影響を及ぼす可能性がある地点である対象地点(PB)に重畳して、注意画像MCを表示する。

Description

本発明は、車両運転補助システム、車両運転補助方法、及び車両運転補助プログラムに関する。
例えば、下記の特許文献1(特開2005−056372号公報)には、自車両の周囲に存在する障害物を回避して走行することを補助するための技術が開示されている。特許文献1の技術では、障害物の周囲に広がる領域を、走行中に避けるべき危険領域や要警戒領域として、モニタ(502)上、又は車両のガラス上において実風景と重ねて表示する(図47、段落0273等参照)。
特開2005−056372号公報
ところで、特許文献1の技術では、歩行者、自転車、他車両などが障害物として認識され、これらの障害物の周囲に、上述の危険領域や要警戒領域が表示されている。しかしながら、例えば曲がり角や大型車両の背後など、自車両からの死角となる場所に障害物が存在する場合もあり、車両の運転者は、そのような死角からの障害物の飛び出しに対しても注意する必要がある。
上記実情に鑑みて、障害物による自車両からの死角に対しても、運転者への注意喚起を行うことが可能な技術の実現が望まれている。
上記に鑑みた車両運転補助システムの特徴構成は、
実風景に注意画像を重畳して表示する表示部と、
車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定する死角領域判定部と、を備え、
前記表示部は、前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳して、前記注意画像を表示する点にある。
また、上記に鑑みた、車両運転補助システムの技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。
その場合における、車両運転補助方法の特徴構成は、
車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定部により判定する死角領域判定ステップと、
前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳するように、注意画像を実風景に重畳して表示部に表示させる注意画像表示ステップと、を有する点にある。
また、その場合における、車両運転補助プログラムの特徴構成は、
車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定する死角領域判定機能と、
前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳するように、注意画像を実風景に重畳して表示部に表示させる注意画像表示機能と、をコンピュータに実現させる点にある。
これらの構成によれば、前方障害物によって生じる車両からの死角領域に対応して、実風景に重畳して注意画像が表示されるため、例えば死角から歩行者、自転車、又は他車両などの移動障害物が飛び出す可能性に関して、車両の運転者に対して適切に注意喚起を行うことができる。
車両運転補助システム、車両運転補助方法、車両運転補助プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
車両の運転席付近の一例を示す斜視図 車両運転補助システムのシステム構成の一例を模式的に示すブロック図 障害物が建造物である場合の注意画像の表示態様を示す平面図 障害物が建造物である場合の注意画像の表示態様を示す平面図 障害物が対向車両である場合の注意画像の表示態様を示す平面図 障害物が対向車両である場合の注意画像の表示態様を示す平面図 障害物が駐車車両である場合の注意画像の表示態様を示す平面図 障害物が駐車車両である場合の注意画像の表示態様を示す平面図 推奨経路画像の表示態様を示す平面図 実風景に注意画像と推奨経路画像とが重畳された状態を示す図 運転補助の手順を示すフローチャート 死角領域を演算する場合の手順を示すフローチャート 注意画像を生成する場合の手順を示すフローチャート 第2実施形態に係る車両運転補助システムのシステム構成の一部を模式的に示すブロック図 第2実施形態における死角領域を演算する場合の手順を示すフローチャート 第2実施形態における死角領域を演算する場合の説明図 第2実施形態において実風景に注意画像が重畳された状態を示す図 第2実施形態における死角領域を演算する場合の説明図 第2実施形態において実風景に注意画像が重畳された状態を示す図
〔第1実施形態〕
以下、車両運転補助システム(車両運転補助方法及び車両運転補助プログラムを含む)の第1実施形態を図面に基づいて説明する。
車両運転補助システム10は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景に注意画像(注意喚起標示)MCを重畳して表示する。例えば、注意画像MCは、運転者が安全に走行する際の目安となるものである。図3に示すように、車両運転補助システム10は、実風景に注意画像MCを重畳して表示することで、運転者から見て死角となる領域(以下、死角領域ABという。)からの歩行者や自転車などの移動障害物(移動体)MOの飛び出しに関し、運転者に注意喚起を行う。
ここで、死角領域ABは、車両100から見て建造物や他車両などの障害物、すなわち車両100の進行方向前方側に存在する前方障害物Bの後方に発生する。つまり、死角領域ABは、車両100から前方障害物Bを見た場合に、前方障害物Bによって遮られた領域である。より詳しくは、死角領域ABは、運転者が運転する車両100と前方障害物Bとを結ぶ線分の延長線上における前方障害物Bの後方の領域である。ここでは、死角領域ABを発生させる前方障害物Bとして、建物や塀などの建造物や、走行中や駐車中の他車両などが挙げられる。但し、これらに限定されることなく、前方障害物Bには、死角領域ABを発生させ得る全てのものが含まれる。
尚、車両運転補助方法は、例えば図2等を参照して後述するような、車両運転補助システム10を構成するハードウェアやソフトウェアを利用して、運転補助を実行する方法である。また、車両運転補助プログラムは、例えば車両運転補助システム10に含まれるコンピュータ(例えば図2を参照して後述する演算処理ユニット4など)において実行され、車両運転補助機能を実現させるプログラムである。
図1に示すように、注意画像MCが重畳される実風景は、運転席101から車両100のフロントウィンドゥ50を通して見える風景でもよいし、後述する撮像部(本例ではフロントカメラ1:図2参照)によって撮像されてモニタ52に映し出される映像であってもよい。実風景がフロントウィンドゥ50を通して見える風景の場合、注意画像MCは、例えばフロントウィンドゥ50に形成されたヘッドアップディスプレイ51に描画されて実風景に重畳される。図1においてフロントウィンドゥ50に示された破線の領域は、ヘッドアップディスプレイ51が形成されている領域である。また、実風景がモニタ52に映し出される映像の場合、注意画像MCは、当該映像に重畳される。
図2に示すように、車両運転補助システム10は、実風景を撮像するフロントカメラ1(CAMERA)と、実風景に注意画像MCを重畳して表示する表示装置5(表示部に相当:DISPLAY)と、を備えている。本実施形態では、車両運転補助システム10は、演算処理装置2(CAL)と、グラフィックコントロールユニット3(GCU)と、をさらに備えている。例えば、演算処理装置2とグラフィックコントロールユニット3とは、1つのプロセッサ(システムLSI、DSP(Digital Signal Processor)等)や、1つのECU(Electronic Control Unit)として構成された演算処理ユニット4の一部として構成されている。車両運転補助システム10は、車両100の進行方向前方側に存在する前方障害物Bによって当該車両100の運転者から死角となる領域である死角領域ABを判定する死角領域判定部20(AB_JD)を備えており、図示の例では、死角領域判定部20は、演算処理装置2の機能部とされている。なお、当然ながら、演算処理ユニット4には、不図示のその他の機能部が含まれていてもよい。また、表示装置5は、上述したヘッドアップディスプレイ51及びモニタ52を含む。
本実施形態では、車両運転補助システム10は、さらにセンサ群6(検出部:SEN)、データベース7(記憶部:db)、視点検出装置8(EP_DTCT)を備えている。センサ群6は、ソナー、レーダー、車速センサ、ヨーレートセンサ、GPS(Global Positioning System)受信機、等を含むことができる。
データベース7には、ナビゲーションデータベースが含まれ、地図情報、道路情報、地物情報(道路標識、道路標示、施設等の情報)等が格納されている。本実施形態では、データベース7には、道路情報としての、自動車専用道路、郊外、市街地、及び繁華街などの道路環境情報が、道路環境パラメータPenvとして格納されている。また、これらに加えて、データベース7には、前方障害物Bの種別の情報が、障害物パラメータPobsとして格納されている。本実施形態では、前方障害物Bの種別として、建物や塀などの建造物、対向車両、路上駐車中の車両(以下、駐車車両という。)、などの情報がデータベース7に格納されている。
視点検出装置8は、例えば運転者の頭部を撮像するカメラを有して構成され、運転者の視点(目)を検出する。ヘッドアップディスプレイ51に描画される注意画像MCは、運転者の視点に応じた位置に描画されると好適である。
車両運転補助システム10は、車両100の進行方向前方側を撮像する撮像部を更に備えており、図示の例では、撮像部は、フロントカメラ1として構成されている。演算処理装置2は、フロントカメラ1による撮像画像を用いた画像認識により、車両100の周囲に存在する前方障害物Bを特定する(図3等参照)。例えば、特定される前方障害物Bとしては、上述の建造物や他車両などの他、歩行者、自転車、道路標識、電信柱、及び、その他の道路上に存在するものが挙げられる。尚、本実施形態では、演算処理装置2は、1つ又は複数の前方障害物Bを特定するように構成されている。例えば、演算処理装置2は、撮像画像に加えて、ソナー、レーダーなど、センサ群6から提供される情報も用いることで認識精度を向上させることができる場合がある。
そして、演算処理装置2は、特定された前方障害物Bが運転者に注意喚起を行うべき死角領域ABを発生させるものに該当するか否かを判定する。より具体的には、演算処理装置2は、特定された前方障害物Bの大きさが予め設定された閾値T以下であるか否かを判定する。このような判定は、演算処理装置2が備える死角領域判定部20によって行うことができる。本実施形態では、表示装置5(表示部)は、前方障害物Bの大きさが予め設定された閾値T以下の場合には、注意画像MCを表示しないように構成されている(図11参照)。例えば、前方障害物Bが、歩行者、自転車、道路標識、又は電信柱などである場合には、その後方の領域に死角領域ABが発生しないか、或いは、死角領域ABが発生していたとしても当該死角領域ABは十分に小さいものと考えられる。そのため、このような死角領域ABに他の歩行者や自転車などの移動障害物MOが存在することは考えにくい。また、死角領域ABに移動障害物MOが発生する可能性が低い(或いは極めて低い)場合にまで、当該死角領域ABに対応する注意画像MCが表示されると、運転者に煩わしさを感じさせてしまう場合がある。そこで、上記構成のように、前方障害物Bの大きさが閾値T以下である場合に注意画像MCを表示しないことで、運転者に対する不必要な注意喚起をなるべく避け、運転者に対して適切に注意喚起を行うことができるようにしている。
演算処理装置2は、前方障害物Bにより発生する死角領域ABの大きさを算出し、死角領域ABの大きさに基づいて注意画像MCを生成する。そして、例えば図3に示すように、表示装置5は、死角領域ABから飛び出してくる移動障害物MOがあった場合に車両100の進行に影響を及ぼす可能性がある地点である対象地点PBに重畳して、注意画像MCを表示する。本実施形態では、対象地点PBは、死角領域ABの発生基点である。注意画像MCは、前方障害物Bによる車両100からの死角領域ABに対応して表されると共に、当該死角領域ABの発生基点(対象地点PB)から周囲に広がる表示領域ACを有する。ここでは、注意画像MCには、対象地点PBと表示領域ACとが含まれる。すなわち本例では、図3等に示すように、注意画像MCは、対象地点PBを含む領域を有する画像であって、車両100の進行方向前方における車両100の走行車線内に少なくとも表示される。
例えば図10に示すように、本例において対象地点PBとされる死角領域ABの発生基点は、前方障害物Bの端部を示す点であって、当該前方障害物Bによって発生する死角領域ABと車両100の運転者が視認可能な領域との境界線BLを代表する点である。本実施形態では、例えば図10に示すように、対象地点PBは、死角領域ABと車両100の運転者が視認可能な領域との境界線BL又は、当該境界線BLの延長線と地面との交点としている。表示領域ACは、対象地点PBから、少なくとも、運転者が視認可能な領域に広がるように設定される。尚、本実施形態では、運転者が視認可能な領域とは、前方障害物Bによって遮られていない領域、すなわち死角領域AB以外の領域をいう。
図3〜図8に示すように、本実施形態では、死角領域ABの大きさは、死角領域ABの発生基点(対象地点PB)を中心として車両100の運転者から見て前方障害物Bの後方に広がる死角領域ABの平面視での基準角度(角度)に応じて定めている。本例では、死角領域判定部20(図2参照)が、当該基準角度に応じて、死角領域ABの大きさを判定する。基準角度は、例えば図3においては、「α」で示されている。本例では、基準角度は、平面視において、車両100と対象地点PBとを結ぶ線分の延長線(以下、単に延長線ELという。)と、車両100の進行方向に直交する方向に沿うと共に、対象地点PBから車両100に対して離間する側に延びる線(以下、直交線ILという。)とが、対象地点PBを中心として形成する角度をいう。直交線ILは常に不変である。一方、延長線ELの傾きは、車両100と対象地点PBとの相対位置によって変動する。従って、基準角度は、車両100の移動によって変動するものであり、基準角度の変動に応じて、死角領域ABの大きさも変動する。
車両100が死角領域ABを発生させている前方障害物Bに近づくに従って、延長線ELが直交線IL側に傾いていき、基準角度は次第に小さくなる。例えば図3には、前方障害物Bが建造物である場合での、平面視における車両100と対象地点PBとの相対位置関係が示されている。図4には、図3より後の時点(例えば数秒後)における車両100と対象地点PBとの相対位置関係が示されている。図3における車両100の位置では、基準角度はαである。図4では、図3の状態よりも車両100が対象地点PBに近づいており、基準角度は、αよりも小さいα´となっている。従って、図3の状態に比べて、図4の状態の方が死角領域ABは小さくなっている。このようにして、車両100と対象地点PB(前方障害物B)との相対位置関係により、死角領域ABの大きさが変化する。
また、例えば図5には、前方障害物Bが対向車両である場合での、平面視における車両100と対象地点PBとの相対位置関係が示されている。図6には、図5より後の時点(例えば数秒後)における車両100と対象地点PBとの相対位置関係が示されている。図5における車両100の位置では、基準角度はβである。図6では、図5の状態よりも車両100が対象地点PBに近づいており、基準角度は、βよりも小さいβ´となっている。従って、図5の状態に比べて、図6の状態の方が死角領域ABは小さくなっている。尚、図5及び図6に示す例では、対向車両Bの進行方向を基準として、当該対向車両Bにおける右側後方の端部が、対象地点PBとなっている。しかし、例えば、道路がカーブしていること等に起因して対向車両Bが車両100に対して傾いている場合には、対向車両Bの右側前方の端部が、運転者の視認可能な範囲での対向車両Bの端部となり得る。この場合には、対向車両Bの右側前方の端部が、対象地点PBと認定される。
また、例えば図7には、前方障害物Bが駐車車両である場合での、平面視における車両100と対象地点PBとの相対位置関係が示されている。図8には、図7より後の時点(例えば数秒後)における車両100と対象地点PBとの相対位置関係が示されている。図7における車両100の位置では、駐車車両Bの右側後方の端部が対象地点PBと認定されており、当該対象地点PBを中心として形成される基準角度はγである。図8における車両100の位置では、駐車車両Bの右側前方の端部が対象地点PBと認定されており、当該対象地点PBを中心として形成される基準角度はδである。本例では、図7に示す状態と図8に示す状態との間で、車両100の視点(運転者又はフロントカメラ1)が駐車車両Bの側面よりも右側に移動したときに対象地点PBの位置が変化する。なお、図示は省略するが、図7及び図8において示されているそれぞれの対象地点PBに対して車両100が近づいていくに従って基準角度が小さくなっていき、それぞれの死角領域ABも小さくなっていく。
本実施形態では、注意画像MCは、車両100と対象地点PBとの相対位置関係によって変化する死角領域ABの大きさに応じて、表示領域ACの大きさが変化する。本例では、図3〜図6に示すように、死角領域ABが小さくなるに従って、実風景に対する注意画像MCの表示領域ACを小さくする。この際、表示領域ACは、死角領域ABが小さくなるに従って連続的に小さくなるように表示されてもよいし、死角領域ABが小さくなるに従って段階的に小さくなるように表示されてもよい。本例では、演算処理装置2が、グラフィックコントロールユニット3によって、注意画像MCを実風景に重畳して表示装置5に表示する。例えば、演算処理装置2は、データベース7から地図情報などを取得することにより、グラフィックコントロールユニット3に注意画像MCを重畳させる位置の精度を向上させることができる場合がある。
なお、上記では、死角領域ABが小さくなるに従って、実風景に対する注意画像MCの表示領域ACを小さくする例について説明した。しかし、その他の基準に従って表示領域ACを小さくするようにしてもよい。例えば、車両100が死角領域ABに接近するに従って、実風景に対する注意画像MCの表示領域ACを小さくするようにしてもよい。すなわちこの例では、車両100と死角領域ABとの距離に応じて、注意画像MCの表示領域ACの大きさを変化させている。但しこの例であっても、上記同様に、車両100が死角領域ABに接近するほど死角領域ABは小さくなり、車両100が死角領域ABから離間するほど死角領域ABは大きくなるため、死角領域ABの大きさの変化に応じて注意画像MCの表示領域ACの大きさを変化させているとも言える。
また、本実施形態では、死角領域ABが小さくなるに従って、注意画像MCにおける注意喚起度Xが低く設定される。換言すれば、死角領域ABが大きくなるに従って、注意画像MCにおける注意喚起度Xが高く設定される。
本例において、注意喚起度Xとは、車両100(運転者)に対する注意喚起の程度を表すものである。そして、本実施形態では、注意画像MCは、車両100に対する注意喚起度Xを段階的に示す態様で表示される。注意喚起度Xは、表示領域AC内において視覚的に示される。例えば図3等に示すように、表示領域ACが対象地点PBを中心とする径が異なる複数の円形状の領域に区分される態様で、注意喚起度Xが表示されるとよい。この場合において、対象地点PBに近い領域ほど注意喚起度Xを高く設定するとよい。図示の例では、対象地点PBに近い側から順に、第1注意領域AX1、第2注意領域AX2、及び第3注意領域AX3が、注意喚起度Xを示すものとして表示されている。そして、第1注意領域AX1、第2注意領域AX2、及び第3注意領域AX3は、記載の順に注意喚起度Xが高く設定されている。例えば、これら第1〜3注意領域AX1〜AX3は、色彩や模様等を異ならせて表示されるとよい。尚、ここでの「色彩」には、色及び彩度の他、濃淡も含む。この場合において、第1〜3注意領域AX1〜AX3の色彩は、例えば、認知工学などに基づき、注意喚起度Xが高くなるに従って注意を喚起する色彩であると好適である。例えば、白色や黄色に比べて、橙色や赤色は、一般的に注意が必要であることを運転者に想起させる。或いは、注意喚起度Xが高くなるに従って濃度や彩度を高くしても好適である。また、これら第1〜3注意領域AX1〜AX3は、立体的に表示されると共に(例えば山型)、それぞれ異なる高さで表示されてもよい。この場合、注意喚起度Xが高くなるに従って(対象地点PBに近づくに従って)表示高さが高くなる態様で表示されるとよい。このように、色彩や模様や形状などによって注意画像MCの表示態様を異ならせることにより、運転者に対して直感的に注意喚起度Xの高い部分(或いは低い部分)を示すことが可能となる。
また、本実施形態では、車両100が走行する道路環境に応じて、注意画像MCの表示態様を異ならせている。具体的には、道路環境に応じて、死角領域ABからの移動障害物MOの飛び出しの可能性が高くなるに従って、注意喚起度Xが高くなるように注意画像MCの表示態様を設定している。例えば、道路環境を、繁華街、市街地、郊外、自動車専用道路の4種類に分類し、先に記載されたものの方が後に記載されたものより注意喚起度Xが高くなるように、表示態様を設定すると好適である。この際、上述のように、色彩や模様や形状などによって、注意画像MCの表示態様を異ならせると好適である。また、上述のように、注意画像MCの表示領域ACが、第1〜3注意領域AX1〜AX3のように複数の領域に区分されている場合には、これら複数の領域のそれぞれの注意喚起度Xを一定段階ずつ高くすると好適である。
更に、本実施形態では、死角領域ABを発生させている前方障害物Bの種別に応じて、注意画像MCの表示態様を異ならせている。具体的には、死角領域ABを発生させている前方障害物Bの種別に応じて、死角領域ABからの移動障害物MOの飛び出しの可能性が高くなるに従って、注意喚起度Xが高くなるように注意画像MCの表示態様を設定している。例えば、前方障害物Bを、建物や塀などの建造物、駐車車両、対向車両(図3〜図8参照)の3種類に分類し、先に記載されたものの方が後に記載されたものより注意喚起度Xが高くなるように、表示態様を設定すると好適である。この際、上述のように、色彩や模様や形状などによって、注意画像MCの表示態様を異ならせると好適である。また、上述のように、注意画像MCの表示領域ACが、第1〜3注意領域AX1〜AX3のように複数の領域に区分されている場合には、これら複数の領域のそれぞれの注意喚起度Xを一定段階ずつ高くすると好適である。
なお、上記以外にも、前方障害物Bの種別に応じて、注意喚起度Xとは無関係に、色彩や模様や形状などを変更する構成としてもよい。例えば、前方障害物Bの種別に応じて、建造物は赤系、駐車車両は青系など、前方障害物Bの種別に応じて色彩の系統を異ならせることにより、車両100の運転者に対して、それぞれの前方障害物Bを意識させる構成としてもよい。また、注意画像MCを、前方障害物Bの種別によって異ならせない表示態様としてもよい。
以上のようにして、車両運転補助システム10は、実風景に重畳して注意画像MCを表示する。
図9に示すように、本実施形態では、表示部5(表示装置)は、さらに、車両100(運転者)に対して推奨する進行経路である推奨経路を示す推奨経路画像MR(推奨経路標示)を実風景に重畳して表示するように構成されている。本例では、推奨経路画像MRは、対象地点PBを迂回するように表示される。図示の例では、推奨経路画像MRは、1つ又は複数の注意画像MCを迂回するように連続的に表示されている。但し、このような構成に限定されることなく、推奨経路画像MRは、断続的に表示されていてもよい。
演算処理装置2は、死角領域ABの対象地点PBが特定されると、当該対象地点PBを迂回するように推奨経路を演算する。換言すれば、演算処理装置2は、死角領域ABから移動障害物MOが飛び出した場合に、その移動障害物MOと干渉する可能性が相対的に低い経路を演算する。そのため、本実施形態では、注意画像MCの表示領域ACと重なることが少なくなるように、表示領域ACと重なる場合であってもできるだけ注意喚起度Xが低い領域と重なるように、推奨経路を演算する。この際、データベース7から地図情報等を取得しておき、道路幅や交差点の有無等も考慮して推奨経路を演算することも好適である。また、推奨経路画像の他、車両100に対して推奨する進行速度である推奨速度を示す推奨速度画像を実風景に重畳して表示するようにしてもよい。推奨速度についても、演算処理装置2によって演算される。
演算処理装置2は、進行方向において車両100が走行可能な範囲(例えば道路上)において、走行に関するコストを演算する。例えば、対象地点PBに近い位置ほど高いコストとなり、対象地点PBから離れた位置ほど低いコストとなる。また、撮像画像の範囲内に進行経路上の目的地を設定し、当該目的地のコストを最も低い値に設定する(例えばゼロ)。例えば、このコストは、後述するポテンシャル関数によって演算されると好適である。
演算処理装置2は、現在地から目的地まで、コストの低い地点を通る最短コースを演算することで、推奨経路を演算することができる。この演算方法では、コストの低い方向への経路を演算していくので、比較的演算負荷が軽くなる。尚、死角領域ABを発生させる前方障害物B(対象地点PB)の数が多く、車両100が停止する方が好ましいような場合もある。このような場合に備えて、経路を遮断可能なコストの上限値も設定されていると好適である。
以上、簡単に説明したが、このように三次元空間において対象地点PBを回避して自律動作するような技術としては、例えばポテンシャル法(Potential Method)が知られている。ポテンシャル法については公知であるので、詳細な説明は省略するが、例えば現在値や目標位置(目的地)や対象地点PBにポテンシャル関数を定義して、その勾配を進行方向とすることで、推奨経路を演算することができる。尚、勾配は座標成分(例えば三次元直交座標系であればx、y、z軸ごとなど。)ごとの偏微分によって求めることができる。目的値へのポテンシャル勾配は、誘因方向に働き、推奨経路の進行方向が目的値へ向かう。一方、対象地点PBのポテンシャル勾配は、反発方向に働き、推奨経路は対象地点PBを避けるように設定される。ポテンシャル関数は観測情報(撮像画像やセンサ群6の検出結果など)に基づいてリアルタイムに更新可能であり、これにより、各時点での適切な推奨経路を演算することができる。
図10には、図9と同じ実風景に、注意画像MCと推奨経路画像MRとが重畳された一例が示されている。図示は省略するが、これに加えて、上述の推奨速度画像が実風景に重畳して表示されていてもよい。また、上述のように、図10に示される映像は、ヘッドアップディスプレイ51又はモニタ52などに表示される。
次に、車両運転補助システム10が行う運転補助の手順について図11〜図13のフローチャートを参照して説明する。
図11に示すように、車両運転補助システム10は、まずフロントカメラ1により撮像された車両100の進行方向の風景の撮像画像を取得する(#1:撮像画像取得ステップ、撮像画像取得機能)。車両運転補助システム10は、次に、撮像画像の中から前方障害物Bを画像認識する(#2:障害物認識ステップ、障害物認識機能)。この際、車両運転補助システム10によって認識される前方障害物Bは、建造物、他車両、歩行者、自転車、道路標識、電信柱、及び、その他の道路上に存在するものである。上述したように、前方障害物Bは、画像認識のみに限らず、センサ群6の検出結果を利用するその他の方式も用いて検出されてもよい。従って、障害物認識ステップは障害物検出ステップと称することもできる。
次に、車両運転補助システム10は、認識された前方障害物Bの大きさが予め設定された閾値Tよりも大きいか否かを判定する(#3:障害物判定ステップ、障害物判定機能)。認識された前方障害物Bが閾値T以下であると判定された場合には(#3;No)、車両運転補助システム10は、当該前方障害物Bの後方の領域に歩行者や自転車などの移動障害物MOが存在する可能性が低いものとして、当該前方障害物Bに関する注意画像MCを表示しない。
認識された前方障害物Bが閾値Tよりも大きいと判定された場合には(#3;Yes)、車両運転補助システム10は、当該前方障害物Bによって現在発生している死角領域ABの大きさを演算する(#4:死角領域演算ステップ、死角領域演算機能)。
本例では、死角領域演算ステップ#4は、死角領域判定部20(図2参照)によって行われる。従って、死角領域演算ステップ#4(死角領域演算機能)は、死角領域判定ステップ#4(死角領域判定ステップ)と称することもできる。ここで、死角領域演算ステップ#4は、例えば、図12のフローチャートに示す手順に従って行われる。まず、車両運転補助システム10は、フロントカメラ1による撮像画像の中から、対象地点PBを認定する(#41:対象地点認定ステップ、対象地点認定機能)。そして、車両運転補助システム10は、フロントカメラ1による撮像画像の画像認識により車両100の進行方向を求めると共に、車両100(の視点)と前方障害物Bの端部となる境界線BL(対象地点PB)とを結ぶ延長線EL(図3〜図8参照)の延在方向を求める(#42:画像認識ステップ、画像認識機能)。車両運転補助システム10は、それらに基づいて、延長線ELと直交線ILとが形成する基準角度(図3〜図8参照)を演算する(#43:基準角度演算ステップ、基準角度演算機能)。そして、車両運転補助システム10は、演算された基準角度に基づいて死角領域ABの大きさを決定する(#44:死角領域決定ステップ、死角領域決定機能)。このようにして、死角領域ABの大きさが演算される(#4)。
図11に示すように、車両運転補助システム10は、死角領域ABの大きさを演算した後は、現在の死角領域ABの大きさ、道路環境、前方障害物Bの種別等に応じて、注意画像MCを生成する(#5;注意画像生成ステップ、注意画像生成機能)。
ここで、注意画像生成ステップ#5は、例えば、図13のフローチャートに示す手順に従って行われる。まず、車両運転補助システム10は、道路環境、前方障害物Bの種別等に関する情報がパラメータとして格納されているデータベース7を参照することにより(#51)、道路環境パラメータPenv、障害物パラメータPobsなどの各種のパラメータを取得する(#52:パラメータ取得ステップ、パラメータ取得機能)。そして、車両運転補助システム10は、これらのパラメータに基づいて注意喚起度Xを決定する(#53:注意喚起度決定ステップ、注意喚起度決定機能)。注意画像MCの表示領域ACが、第1〜3注意領域AX1〜AX3のように複数の領域に区分されている場合には、これら複数の領域のそれぞれの注意喚起度Xを決定する。その後、車両運転補助システム10は、決定された注意喚起度Xに基づいて注意画像MC(詳細には、注意画像MCの表示態様)を決定する(#54:注意画像決定ステップ、注意画像決定機能)。このようにして、注意画像MCが生成される(#5)。
図11に示すように、車両運転補助システム10は、注意画像MCを生成した後は、生成された注意画像MCを表示装置5に出力して表示させる(#6;注意画像表示ステップ、注意画像表示機能)。その後、車両運転補助システム10は、車両100に対して推奨する進行経路である推奨経路を演算する(#7:推奨経路演算ステップ、推奨経路演算機能)。そして、車両運転補助システム10は、演算された推奨経路に基づいて推奨経路画像MRを生成し(#8;推奨経路画像生成ステップ、推奨経路画像生成機能)、生成された推奨経路画像MRを表示装置5に出力して表示させる(#9:推奨経路画像表示ステップ、推奨経路画像表示機能)。
〔第2実施形態〕
次に、車両運転補助システム(車両運転補助方法及び車両運転補助プログラムを含む)の第2実施形態について説明する。第2実施形態では、上記第1実施形態に比べて、死角領域ABの判定態様、及び、実風景に重畳して表示される注意画像MCの表示態様が異なる。以下では、第2実施形態の構成について、上記第1実施形態と異なる点を中心に説明する。特に説明しない点については上記第1実施形態と同様である。
図14は、本実施形態に係る車両運転補助システム10のシステム構成(図2参照)の一部を模式的に示すものである。図14に示すように、本実施形態では、死角領域判定部20は、死角領域ABが形成される道路を対象道路RT(図16等参照)として、前方障害物Bが存在しない場合の対象道路RTの理想的な道路面領域を示す情報である第1領域情報を取得する第1領域情報取得部21(1st_GET)と、撮像部(フロントカメラ1)により撮像された画像情報に含まれる、対象道路RTの道路面領域を示す情報である第2領域情報を取得する第2領域情報取得部22(2nd_GET)と、第1領域情報と第2領域情報とに基づいて死角領域ABの位置及び大きさを判定する判定処理部23(JD_PRO)と、を備えている。
ここで、「道路面領域を示す情報」とは、道路面領域の位置、大きさ、形状などを示す情報である。「道路面領域の位置、大きさ、形状」は、フロントカメラ1或いはその他の撮像手段によって撮像された画像情報を基準とした情報でもよいし、データベース7に格納された道路情報(地図情報)を基準とした情報でもよい。或いは、その他の視点を基準とした情報であってもよい。本例では、データベース7に格納されている道路情報に、道路面領域を示す情報が含まれている。この情報のうち、前方障害物Bが存在しない場合の対象道路RTの理想的な道路面領域を示す情報が、上述の第1領域情報である。
本実施形態では、第1領域情報取得部21は、センサ群6によって現在の自車位置(車両100の位置)を特定すると共に、自車位置周辺の対象道路RTに関する第1領域情報をデータベース7から取得する。或いは、第1領域情報取得部21は、センサ群6からの自車位置情報とデータベース7からの道路情報とに基づいて、第1領域情報を演算および取得するように構成されていてもよい。但し、上記のような構成に限定されることなく、第1領域情報取得部21は、フロントカメラ1によって撮像された画像情報に基づいて、例えば撮像画像中の道路側縁線を延長する等の演算処理により、第1領域情報を取得するように構成されていてもよい。
本実施形態では、第2領域情報取得部22は、フロントカメラ1によって撮像された撮像画像中において認識可能な道路面領域に基づいて、第2領域情報を取得する。すなわち、第2領域情報は、フロントカメラ1の撮像画像中で確認できる範囲での道路面領域を示す情報である。従って、第2領域情報が示す道路面領域は、第1領域情報が示す前方障害物Bが存在しない場合の理想的な道路面領域よりも狭くなることがある(少なくとも広くなることはない。)。
判定処理部23は、第1領域情報取得部21から第1領域情報を取得すると共に、第2領域情報取得部22から第2領域情報を取得する。そして、判定処理部23は、第1領域情報と第2領域情報とに基づいて、死角領域ABの位置及び大きさを判定する。
以上のように構成された死角領域判定部20は、例えば図15に示されるフローチャートに従って、死角領域ABの位置及び大きさを判定する。以下、図15とともに図16を参照して、死角領域判定部20による死角領域ABの判定手順について説明する。
図15は、本実施形態における死角領域ABを演算(判定)する場合の手順を示すフローチャートであり、死角領域演算ステップ#4(図11及び図12参照)の別態様を示している。図16は、車両100の周辺を模式的に示す平面図であり、本実施形態に係る死角領域演算ステップによって死角領域ABを演算する場合の説明図である。
死角領域ABを演算(判定)するに際して、死角領域判定部20は、まず、第1領域情報を取得する(#411;第1領域情報取得ステップ、第1領域情報取得機能)。第1領域情報取得ステップ#411では、上述のように、センサ群6によって検出された現在の自車位置(車両100の位置)とデータベース7に格納された道路情報とから、自車位置周辺における対象道路RTに関する第1領域情報を取得する。
第1領域情報取得ステップ#411の後、死角領域判定部20は、死角領域ABを判定するための基準となる判定領域AJを設定する(#412;判定領域設定ステップ、判定領域設定機能)。判定領域設定ステップ#412では、図16に示すように、車両100の位置周辺における対象道路RTに、判定領域AJを設定する。ここで上述のように、対象道路RTは、死角領域ABが形成される道路を言い、図示の例では、車両100の進行経路R1に対して移動障害物MOの飛び出しの可能性がある飛び出し経路R2が、対象道路RTとされている。そして、飛び出し経路R2を対象道路RTとして、当該対象道路RTに判定領域AJが設定されている。
判定領域AJは、道路面に沿う面領域である。本実施形態では、判定領域AJは、予め規定された大きさに設定される。図示の例では、判定領域AJは、死角領域ABを発生させる基点となる前方障害物B(図示の例では塀B)の端部(以下、基準端部B1という。)を基準として設定されている。判定領域AJは、基準端部B1を頂点とする矩形状に設定され、基準端部B1から進行経路R1に沿って延びる辺部と、基準端部B1から対象道路RT(飛び出し経路R2)に沿って延びる辺部と、を有している。例えば、基準端部B1から進行経路R1に沿って延びる辺部は、実スケール基準で2〜3メートルに設定され、基準端部B1から対象道路RTに沿って延びる辺部は、実スケール基準で3〜4メートルに設定される。但し、これらの寸法は任意に設定することが可能であり、また、判定領域AJの形状も矩形状に限ることなく、円形状や多角形状などであってよい。また、判定領域AJは、上記のように予め設定されていなくてもよく、例えば対象道路RTの道路幅等に合せて可変的に設定される態様であってもよい。この場合、道路幅等の情報は、データベース7から取得するとよい。なお、上記の基準端部B1は、上述した第1実施形態における死角領域ABの発生基点とすることができる。
図15に示すように、判定領域AJを設定した後(#412)、死角領域判定部20は、第2領域情報を取得する(#413;第2領域情報取得ステップ、第2領域情報取得機能)。上述のように、第2領域情報取得ステップ#413では、フロントカメラ1によって撮像された撮像画像中において認識可能な道路面領域に基づいて、第2領域情報を取得する。
第2領域情報取得ステップ#413の後、死角領域判定部20は、判定領域AJの範囲内において、車両100の運転者が視認できない不可視領域A1(図16及び図18参照)と視認可能な可視領域A2(図16及び図18参照)とを抽出する(#414;領域抽出ステップ、領域抽出機能)。なお、図18は、図16より後の時点(例えば数秒後)を示す図である。上述のように、第2領域情報が示す道路面領域は、第1領域情報が示す前方障害物Bが存在しない場合の理想的な道路面領域よりも狭くなることがある。第2領域情報が示す道路面領域に対象道路RT(死角領域ABが形成される道路)の道路面領域が含まれる場合には、第2領域情報が示す道路面領域は、第1領域情報が示す理想的な道路面領域よりも当然狭くなる。そこで、領域抽出ステップ#414では、図16に示すように、判定領域AJの範囲内において、第1領域情報が示す理想的な道路面領域と第2領域情報が示す実際の道路面領域(フロントカメラ1の撮像画像中において認識可能な道路面領域)とに基づいて、不可視領域A1と可視領域A2とを抽出する。図示するように、不可視領域A1は、死角領域ABの一部であって判定領域AJの範囲内に収まる領域である。可視領域A2は、フロントカメラ1の撮像画像中において認識可能な道路面領域、換言すれば、車両100の運転者によって視認可能な道路面領域の一部であって判定領域AJの範囲内に収まる領域である。
領域抽出ステップ#414の後、死角領域判定部20は、不可視領域A1と可視領域A2とを比較する(#415;領域比較ステップ、領域比較機能)。死角領域判定部20は、不可視領域A1と可視領域A2との比率に基づいて、死角領域ABの大きさ及び位置を判定する。死角領域判定部20は、不可視領域A1が可視領域A2に比べて大きいほど、死角領域ABが大きいと判定し、不可視領域A1が可視領域A2に比べて小さいほど、死角領域ABが小さいと判定する。また、図16にも示すように、不可視領域A1及び可視領域A2の車両100に対する位置は、不可視領域A1の方が可視領域A2よりも遠くなる。従って、可視領域A2が不可視領域A1よりも大きいほど、不可視領域A1は、可視領域A2によって車両100から遠ざかる側に追いやられることになる(図18参照)。死角領域判定部20は、これにより、死角領域ABの位置(詳細には不可視領域A1と可視領域A2との境界位置)を判定することができる。
次に、本実施形態における、実風景に重畳して表示される注意画像MCの表示態様について説明する。
図17は、図16と同じ実風景に、注意画像MCが重畳された例を示している。図16及び図17に示すように、本実施形態では、死角領域ABから飛び出してくる移動障害物MOがあった場合に車両100の進行に影響を及ぼす可能性がある対象地点PBは、車両100の走行車線における、移動障害物MOの飛び出し経路R2と、車両100の進行経路R1との交点を基準とする地点である。図17に示す例では、対象地点PBは、車両100の進行経路R1となる走行車線の道路幅方向の中央位置に設定されている。但し、このような構成に限定されことなく、対象地点PBは、飛び出し経路R2と進行経路R1との交点を基準として設定されていればよく、例えば、車両100の進行経路R1となる走行車線の道路幅方向の左右いずれかの側に設定されていてもよい。
本実施形態では、車両運転補助システム10は、判定処理部23(図14参照)により判定された死角領域ABの大きさに応じて、注意画像MCを変化させる。本実施形態では、注意画像MCは、上記第1実施形態と同様に、対象地点PBと当該対象地点PBから周囲に広がる表示領域ACとを有している。
図18は、図16より後の時点(例えば数秒後)を示している。図19は、図18と同じ実風景に、注意画像MCが重畳された例を示している。すなわち、図18及び図19は、図16及び図17より後の時点(例えば数秒後)を示している。
図18に示すように、図16に示す状態よりも後の状態では、車両100が対象道路RTに更に近づくことで、可視領域A2が大きくなると共に不可視領域A1が小さくなっている。従って、図18に示す状態では、図16に示す状態に比べて死角領域ABが小さくなっている(変化している)と判定される。そして、車両運転補助システム10は、図19に示すように、注意画像MCを図18に示す状態に比べて小さく表示している。すなわち本実施形態では、車両運転補助システム10は、判定処理部23により判定された死角領域ABが小さくなるに従って、注意画像MCを小さくする。換言すれば、車両運転補助システム10は、判定処理部23により判定された死角領域ABが大きくなるに従って、注意画像MCを大きくする。
以上の第1実施形態及び第2実施形態において説明した車両運転補助システム10(車両運転補助方法及び車両運転補助プログラムを含む)によれば、前方障害物Bによって生じる車両100からの死角領域ABに対応して、実風景に重畳して注意画像MCが表示されるため、例えば死角から歩行者、自転車、又は他車両などの移動障害物MOが飛び出す可能性に関して、車両100の運転者に対して適切に注意喚起を行うことができる。
〔その他の実施形態〕
次に、車両運転補助システム、車両運転補助方法、又は車両運転プログラムのその他の実施形態について説明する。
(1)上記の各実施形態では、死角領域ABの大きさに応じて表示領域ACの大きさが変化する例について説明した。しかし、このような例に限定されることなく、死角領域ABの大きさに関わらず、表示領域ACの大きさを一定としてもよい。また、例えば、前方障害物Bの大きさに起因する死角領域ABの大きさに応じて表示領域ACの大きさを異ならせるが、車両100と対象地点PBとの相対位置関係によって変化する死角領域ABの大きさに応じては表示領域ACの大きさを異ならせず一定としてもよい。
(2)上記の第1実施形態では、注意画像MCが、注意喚起度Xを段階的に示す態様で表示される例について説明した。しかし、このような例に限定されることなく、注意画像MCは、注意喚起度Xを連続的に異ならせて示す態様で表示されてもよい。例えば、色彩により注意喚起度Xが示される場合には、当該注意喚起度Xは、グラデーション等により連続的に示される態様であってもよい。
(3)上記の第1実施形態では、車両100が走行する道路環境に応じて注意画像MCの表示態様が異なる例として、死角領域ABからの移動障害物MOの飛び出しの可能性が高くなるに従って、注意喚起度Xが高くなるようにする構成について説明した。しかし、このような例に限定されることなく、道路環境に応じて、注意喚起度Xとは無関係に、色彩や模様や形状などを変更する構成としてもよい。例えば、道路環境を、繁華街、市街地、郊外、自動車専用道路の4種類に分類し、繁華街は赤系、市街地は青系など、道路環境に応じて色彩の系統を異ならせることにより、車両100の運転者に対して、自身が走行中の環境を意識させる構成としてもよい。また、道路環境の分類も、このようなものに限定されず、例えば、地図情報に基づく交差点やカーブの多さ、或いは、カメラによる撮像情報に基づく障害物の多さなどによって道路環境を分類しても良い。また、注意画像MCを、道路環境によって異ならせない表示態様としてもよい。
(4)上記の第1実施形態では、前方障害物Bの大きさが予め設定された閾値T以下の場合には、注意画像MCが表示されない例について説明した。しかし、このような例に限定されることなく、フロントカメラ1によって認識された全ての前方障害物Bに対応して注意画像MCが表示されてもよい。
(5)上記の第1実施形態では、注意画像MCに加えて、車両100に対して推奨する進行経路である推奨経路を示す推奨経路画像MRが実風景に重畳して表示される例について説明した。しかし、推奨経路画像MRが表示されず、注意画像MCのみが、実風景に重畳して表示されてもよい。或いは、推奨経路画像MRが表示される場合であっても、死角領域ABの対象地点PBを迂回せず、道路に沿って道なりに進む推奨経路が表示されてもよい。
(6)上記の各実施形態では、注意画像MCの表示領域ACが、対象地点PBを中心とする円形状である場合を例として説明したが、表示領域ACの形状はこれに限定されない。例えば、表示領域ACの形状を、車両100の進行方向に沿う長軸を有する楕円形状や、車両100の進行方向に直交する方向に沿う長軸を有する楕円形状としてもよい。或いは、表示領域ACの形状を、矩形状、三角形状、六角形状等の多角形状としてもよい。
(7)上記の各実施形態では、注意画像MCの表示領域ACが、地面に沿った平面的な形状とされた構成を主に説明したが、表示領域ACの形状はこれに限定されない。例えば、表示領域ACを、高さ方向にも広がりを有する立体的な形状としてもよい。このような表示領域ACの形状として、例えば、上述した山型の他、円柱状や多角柱状などとしてもよい。
(8)上記の第2実施形態では、死角領域ABの判定に際して判定基準となる判定領域AJが、対象道路RTにおける限られた範囲内に設定される例について説明した。しかし、このような例に限定されることなく、判定領域AJは、道路面領域の全体に亘って設定されていてもよい。この場合であっても、判定領域AJの範囲内において、第1領域情報と第2領域情報とに基づいて、不可視領域A1と可視領域A2とが抽出される。なおこの場合、可視領域A2が占める割合は、不可視領域A1が占める割合に比べて十分大きくなるが、死角領域ABの位置や大きさの判定は、可視領域A2と不可視領域A1との継時的な比率の変化に基づいて行うことができる。
(9)なお、上述した各実施形態で開示された構成は、矛盾が生じない限り、他の実施形態で開示された構成と組み合わせて適用することも可能である。その他の構成に関しても、本明細書において開示された実施形態は全ての点で単なる例示に過ぎない。従って、本開示の趣旨を逸脱しない範囲内で、適宜、種々の改変を行うことが可能である。
〔上記実施形態の概要〕
以下、上記において説明した車両運転補助システム、車両運転補助方法、及び車両運転補助プログラムの概要について説明する。
車両運転補助システム(10)は、実風景に注意画像(MC)を重畳して表示する表示部(5)と、
車両(100)の進行方向前方側に存在する前方障害物(B)によって当該車両(100)の運転者から死角となる領域である死角領域(AB)を判定する死角領域判定部(20)と、を備え、
前記表示部(5)は、前記死角領域(AB)から飛び出してくる移動障害物(MO)があった場合に前記車両(100)の進行に影響を及ぼす可能性がある地点である対象地点(PB)に重畳して、前記注意画像(MC)を表示する。
本構成によれば、前方障害物(B)によって生じる車両(100)からの死角領域(AB)に対応して、実風景に重畳して注意画像(MC)が表示されるため、例えば死角から歩行者、自転車、又は他車両などの移動障害物(MO)が飛び出す可能性に関して、車両(100)の運転者に対して適切に注意喚起を行うことができる。
ここで、前記対象地点(PB)は、前記車両(100)の走行車線における、前記移動障害物(MO)の飛び出し経路(R2)と、前記車両(100)の進行経路(R1)との交点を基準とする地点であると好適である。
本構成によれば、車両(100)の進行に影響を及ぼす可能性が高い地点を対象地点(PB)として設定し易い。従って、このような対象地点(PB)に重畳して注意画像(MC)を表示することで、運転者に対して適切に注意喚起を行うことができる。
また、前記注意画像(MC)は、前記対象地点(PB)を含む領域を有する画像であって、前記車両(100)の進行方向前方における前記車両(100)の走行車線内に少なくとも表示されると好適である。
車両(100)の進行方向前方における走行車線内は、移動障害物(MO)があった場合に車両(100)の進行に影響を及ぼし易い。本構成によれば、そのような走行車線内に、対象地点(PB)を含む領域を有する注意画像(MC)を表示するため、車両(100)の運転者に対して適切に注意喚起を行うことができる。
また、前記死角領域(AB)が小さくなるに従って、前記実風景に対する前記注意画像(MC)の表示領域(AC)を小さくすると好適である。
本構成によれば、前方障害物(B)によって生じる車両(100)からの死角領域(AB)の大きさに対応して、死角領域(AB)が大きければ注意画像(MC)の表示領域(AC)が大きく、死角領域(AB)が小さければ注意画像(MC)の表示領域(AC)が小さく表示される。従って、前方障害物(B)によって生じる車両(100)からの死角領域(AB)の大きさに対応して、車両(100)の運転者に対して適切に注意喚起を行うことができる。
また、前記車両(100)が前記死角領域(AB)に接近するに従って、前記実風景に対する前記注意画像(MC)の表示領域(AC)を小さくすると好適である。
本構成によれば、車両(100)が死角領域(AB)に接近するほど死角領域(AB)は小さくなり、注意画像(MC)の表示領域(AC)を小さくする。反対に、車両(100)が死角領域(AB)から離間するほど死角領域(AB)は大きくなり、注意画像(MC)の表示領域(AC)を大きくする。すなわち本構成によれば、車両(100)と死角領域(AB)との距離を基準として注意画像(MC)の表示領域(AC)の大きさを決定できるため、注意画像(MC)の表示領域(AC)の大きさを可変とする構成を比較的容易に実現可能となる。また、死角領域(AB)に接近するほど運転者の視認性が高くなるため、そのような場合に注意画像(MC)の表示領域(AC)を小さくすることで、運転者に煩わしさを感じにくくさせることができる。
また、前記車両(100)の進行方向前方側を撮像する撮像部(1)を更に備え、
前記死角領域判定部(20)は、
前記死角領域(AB)が形成される道路を対象道路(RT)として、前記前方障害物(B)が存在しない場合の前記対象道路(RT)の理想的な道路面領域を示す情報である第1領域情報を取得する第1領域情報取得部(21)と、
前記撮像部(1)により撮像された画像情報に含まれる、前記対象道路(RT)の道路面領域を示す情報である第2領域情報を取得する第2領域情報取得部(22)と、
前記第1領域情報と前記第2領域情報とに基づいて前記死角領域(AB)の位置及び大きさを判定する判定処理部(23)と、を備えると好適である。
死角領域(AB)は運転者にとって見えない領域であるため、通常、死角領域(AB)の大きさ等を適切に判定することは難しい。本構成によれば、この死角領域(AB)の判定に、対象道路(RT)の理想的な道路面領域と撮像部(1)によって実際に撮像された対象道路(RT)の道路面領域とを利用することで、死角領域(AB)の位置及び大きさを適切に判定可能となる。
また、前記判定処理部(23)により判定された前記死角領域(AB)の大きさに応じて、前記注意画像(MC)を変化させると好適である。
本構成によれば、死角領域(AB)の大きさに応じて注意画像(MC)が変化するため、この注意画像(MC)の変化によって、運転者に対する注意喚起の程度を変化させることができる。
また、前記注意画像(MC)は、前記死角領域(AB)の発生基点(PB)から周囲に広がる表示領域(AC)を有すると好適である。
本構成によれば、死角領域(AB)の発生基点(PB)とその周囲における注意喚起を、車両(100)の運転者に対して適切に行うことができる。
また、前記死角領域判定部(20)は、前記死角領域(AB)の発生基点(PB)を中心として前記運転者から見て前記前方障害物(B)の後方に広がる前記死角領域(AB)の平面視での角度に応じて、前記死角領域(AB)の大きさを判定すると好適である。
本構成によれば、死角領域(AB)の大きさを実態に即して適切に定めることができる。これにより、表示領域(AC)の大きさを死角領域(AB)の大きさに応じて変化させることが比較的容易となる。
また、前記注意画像(MC)は、前記車両(100)に対する注意喚起の程度を表す注意喚起度(X)を段階的に示す態様で表示されると好適である。
例えば、運転者の視認可能な範囲における死角領域(AB)の発生基点(PB)から近い位置では、歩行者等の移動障害物(MO)の急な飛び出しに反応するために許される反応時間は短くなるため、注意喚起の必要性が高くなる。一方で、例えば、死角領域(AB)の発生基点(PB)から遠い位置では、上記の反応時間は長くなるため、注意喚起の必要性が相対的に低くなる。本構成によれば、車両(100)に対する注意喚起の程度を表す注意喚起度(X)が段階的に示されるため、運転者に対して、必要性の高さに応じた適切な注意喚起を行うことが可能となる。
また、前記注意画像(MC)は、前記車両(100)が走行する道路環境に応じて表示態様が異なると好適である。
車両(100)が走行する道路環境によっては、死角領域(AB)から歩行者等の移動障害物(MO)が飛び出す可能性が異なる。例えば自動車専用道などの歩行者等の移動障害物(MO)が飛び出す可能性が低い道路環境において、運転者に対する注意喚起の程度や頻度等を高くすると、運転者に煩わしさを感じさせることになる。一方で、例えば、繁華街など歩行者等の移動障害物(MO)の飛び出す可能性が高い道路環境では、運転者に対する注意喚起の程度や頻度等を高くすることが適切である場合が多い。本構成によれば、車両(100)が走行する道路環境に応じて注意画像(MC)の表示態様を異ならせるため、車両(100)の運転者に対して更に適切に注意喚起を行うことができる。
また、前記表示部(5)は、前記前方障害物(B)の大きさが予め設定された閾値(T)以下の場合には、前記注意画像(MC)を表示しないと好適である。
前方障害物(B)の大きさによっては、当該前方障害物(B)により発生する死角領域(AB)の大きさが、当該死角領域(AB)に隠れた歩行者等の移動障害物(MO)の存在を考慮しなくてよいほど小さい場合がある。このような場合にまで、実風景に重畳して注意画像(MC)を表示すると、運転者に煩わしさを感じさせることになる。本構成によれば、注意画像(MC)を表示させるべき大きさの前方障害物(B)に対してのみ注意画像(MC)を表示することができるため、車両(100)の運転者に対して更に適切に注意喚起を行うことができる。
また、前記表示部(5)は、さらに、前記車両(100)に対して推奨する進行経路である推奨経路を示す推奨経路画像(MR)を前記実風景に重畳して表示し、
前記推奨経路画像(MR)は、前記対象地点(PB)を迂回するように表示されると好適である。
本構成によれば、前方障害物(B)による車両(100)からの死角領域(AB)に対して運転者に適切に注意喚起を行うことができると共に、死角領域(AB)から歩行者等の移動障害物(B)が飛び出す可能性が高い地点を迂回して走行するような推奨経路を運転者に対して提示することができる。これにより、車両(100)の安全運転に資する情報を運転者に提供することができる。
上述した車両運転補助システムの種々の技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システムの特徴を備えた方法とすることができる。また、車両運転補助プログラムは、上述した車両運転補助システムの特徴に対応する機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システムの作用効果を奏することができる。さらに、車両運転補助システムの好適な態様として例示した種々の付加的特徴を、これら車両運転補助方法や車両運転補助プログラムに組み込むことも可能であり、当該方法及び当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。
このような車両運転補助方法は、車両(100)の進行方向前方側に存在する前方障害物(B)によって当該車両(100)の運転者から死角となる領域である死角領域(AB)を判定部により判定する死角領域判定ステップ(#4)と、
前記死角領域(AB)から飛び出してくる移動障害物(MO)があった場合に前記車両(100)の進行に影響を及ぼす可能性がある地点である対象地点(PB)に重畳するように、注意画像(MC)を実風景に重畳して表示部(5)に表示させる注意画像表示ステップ(#6)と、を有する。
また、このような車両運転補助プログラムは、車両(100)の進行方向前方側に存在する前方障害物(B)によって当該車両(100)の運転者から死角となる領域である死角領域(AB)を判定する死角領域判定機能(#4)と、
前記死角領域(AB)から飛び出してくる移動障害物(MO)があった場合に前記車両(100)の進行に影響を及ぼす可能性がある地点である対象地点(PB)に重畳するように、注意画像(MC)を実風景に重畳して表示部(5)に表示させる注意画像表示機能(#6)と、をコンピュータに実現させる。
本開示に係る技術は、車両運転補助システム、車両運転補助方法、及び車両運転補助プログラムに利用することができる。
10 :車両運転補助システム
100 :車両
1 :フロントカメラ(撮像部)
20 :死角領域判定部
21 :第1領域情報取得部
22 :第2領域情報取得部
23 :判定処理部
5 :表示装置(表示部)
51 :ヘッドアップディスプレイ
52 :モニタ
MC :注意画像
MR :推奨経路画像
AB :死角領域
AC :表示領域
A1 :不可視領域
A2 :可視領域
B :前方障害物
PB :対象地点
R1 :進行経路
R2 :飛び出し経路
RT :対象道路
T :閾値
X :注意喚起度

Claims (15)

  1. 実風景に注意画像を重畳して表示する表示部と、
    車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定する死角領域判定部と、を備え、
    前記表示部は、前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳して、前記注意画像を表示する、車両運転補助システム。
  2. 前記対象地点は、前記車両の走行車線における、前記移動障害物の飛び出し経路と、前記車両の進行経路との交点を基準とする地点である、請求項1に記載の車両運転補助システム。
  3. 前記注意画像は、前記対象地点を含む領域を有する画像であって、前記車両の進行方向前方における前記車両の走行車線内に少なくとも表示される、請求項1又は2に記載の車両運転補助システム。
  4. 前記死角領域が小さくなるに従って、前記実風景に対する前記注意画像の表示領域を小さくする、請求項1から3のいずれか一項に記載の車両運転補助システム。
  5. 前記車両が前記死角領域に接近するに従って、前記実風景に対する前記注意画像の表示領域を小さくする、請求項1から3のいずれか一項に記載の車両運転補助システム。
  6. 前記車両の進行方向前方側を撮像する撮像部を更に備え、
    前記死角領域判定部は、
    前記死角領域が形成される道路を対象道路として、前記前方障害物が存在しない場合の前記対象道路の理想的な道路面領域を示す情報である第1領域情報を取得する第1領域情報取得部と、
    前記撮像部により撮像された画像情報に含まれる、前記対象道路の道路面領域を示す情報である第2領域情報を取得する第2領域情報取得部と、
    前記第1領域情報と前記第2領域情報とに基づいて前記死角領域の位置及び大きさを判定する判定処理部と、を備える、請求項1から5のいずれか一項に記載の車両運転補助システム。
  7. 前記判定処理部により判定された前記死角領域の大きさに応じて、前記注意画像を変化させる、請求項6に記載の車両運転補助システム。
  8. 前記注意画像は、前記死角領域の発生基点から周囲に広がる表示領域を有する、請求項1から7のいずれか一項に記載の車両運転補助システム。
  9. 前記死角領域判定部は、前記死角領域の発生基点を中心として前記運転者から見て前記前方障害物の後方に広がる前記死角領域の平面視での角度に応じて、前記死角領域の大きさを判定する、請求項1から8のいずれか一項に記載の車両運転補助システム。
  10. 前記注意画像は、前記車両に対する注意喚起の程度を表す注意喚起度を段階的に示す態様で表示される、請求項1から9のいずれか一項に記載の車両運転補助システム。
  11. 前記注意画像は、前記車両が走行する道路環境に応じて表示態様が異なる、請求項1から10のいずれか一項に記載の車両運転補助システム。
  12. 前記表示部は、前記前方障害物の大きさが予め設定された閾値以下の場合には、前記注意画像を表示しない、請求項1から11のいずれか一項に記載の車両運転補助システム。
  13. 前記表示部は、さらに、前記車両に対して推奨する進行経路である推奨経路を示す推奨経路画像を前記実風景に重畳して表示し、
    前記推奨経路画像は、前記対象地点を迂回するように表示される、請求項1から12のいずれか一項に記載の車両運転補助システム。
  14. 車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定部により判定する死角領域判定ステップと、
    前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳するように、注意画像を実風景に重畳して表示部に表示させる注意画像表示ステップと、を有する、車両運転補助方法。
  15. 車両の進行方向前方側に存在する前方障害物によって当該車両の運転者から死角となる領域である死角領域を判定する死角領域判定機能と、
    前記死角領域から飛び出してくる移動障害物があった場合に前記車両の進行に影響を及ぼす可能性がある地点である対象地点に重畳するように、注意画像を実風景に重畳して表示部に表示させる注意画像表示機能と、をコンピュータに実現させるための車両運転補助プログラム。
JP2019554309A 2017-11-17 2018-11-16 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Active JP6958630B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017222160 2017-11-17
JP2017222160 2017-11-17
PCT/JP2018/042456 WO2019098323A1 (ja) 2017-11-17 2018-11-16 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Publications (2)

Publication Number Publication Date
JPWO2019098323A1 true JPWO2019098323A1 (ja) 2020-10-22
JP6958630B2 JP6958630B2 (ja) 2021-11-02

Family

ID=66540218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019554309A Active JP6958630B2 (ja) 2017-11-17 2018-11-16 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Country Status (5)

Country Link
US (1) US11787287B2 (ja)
JP (1) JP6958630B2 (ja)
CN (1) CN111247575B (ja)
DE (1) DE112018004561T5 (ja)
WO (1) WO2019098323A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325823B (zh) * 2017-01-12 2023-08-29 御眼视觉技术有限公司 基于规则的导航
JP7180436B2 (ja) * 2019-02-15 2022-11-30 株式会社デンソー 行動制御方法、及び行動制御装置
KR102149732B1 (ko) * 2019-04-17 2020-08-31 라쿠텐 인코포레이티드 표시 제어 장치, 표시 제어 방법, 프로그램, 및 비일시적인 컴퓨터 판독 가능한 정보 기록 매체
JP7145815B2 (ja) * 2019-05-27 2022-10-03 日立Astemo株式会社 電子制御装置
JP7243516B2 (ja) * 2019-08-09 2023-03-22 株式会社デンソー 表示制御装置および表示制御プログラム
JP7078587B2 (ja) * 2019-09-30 2022-05-31 本田技研工業株式会社 走行支援システム、走行支援方法およびプログラム
CN113348119A (zh) * 2020-04-02 2021-09-03 华为技术有限公司 一种车辆盲区识别方法、自动驾驶辅助系统以及包括该系统的智能驾驶车辆
CN111627252A (zh) * 2020-06-10 2020-09-04 上海商汤智能科技有限公司 车辆预警方法、装置、电子设备及存储介质
JP7420008B2 (ja) 2020-08-20 2024-01-23 株式会社デンソー 表示制御装置
DE102020130069B4 (de) 2020-11-13 2024-05-23 Audi Aktiengesellschaft Steuerung eines Kraftfahrzeugs bei teilweiser Sichtfeldverdeckung
CN113085899A (zh) * 2021-04-28 2021-07-09 安徽江淮汽车集团股份有限公司 视野盲区预警方法、装置、设备及存储介质
JP7203908B1 (ja) * 2021-06-22 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法、及びプログラム
JP7203907B1 (ja) * 2021-06-22 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法、及び端末
WO2023145851A1 (ja) * 2022-01-28 2023-08-03 日本精機株式会社 表示装置
CN115826021B (zh) * 2023-02-14 2023-04-25 国网吉林省电力有限公司信息通信公司 一种采用卫星影像辅助和无线通信网络的定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154967A (ja) * 2004-11-25 2006-06-15 Nissan Motor Co Ltd リスク最小軌跡生成装置およびこれを用いた危険状況警報装置
JP2009086788A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両周辺監視装置
JP2011194979A (ja) * 2010-03-18 2011-10-06 Toyota Motor Corp 運転支援装置
JP2012104029A (ja) * 2010-11-12 2012-05-31 Toyota Motor Corp 危険度算出装置
WO2012098844A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 車両方向特定装置、車両方向特定方法、及びそのプログラム
US20170187963A1 (en) * 2015-12-24 2017-06-29 Lg Electronics Inc. Display device for vehicle and control method thereof
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 車両状態監視装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
JP4578795B2 (ja) 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP4517393B2 (ja) * 2005-02-16 2010-08-04 株式会社デンソー 運転支援装置
JP4940767B2 (ja) * 2006-06-05 2012-05-30 マツダ株式会社 車両周辺情報報知装置
JP2008059178A (ja) * 2006-08-30 2008-03-13 Nippon Soken Inc 運転支援装置およびプログラム
JP2009140305A (ja) * 2007-12-07 2009-06-25 Honda Motor Co Ltd 車両用情報提示装置
JP2009193135A (ja) * 2008-02-12 2009-08-27 Xanavi Informatics Corp 車載モニタ装置
WO2011114366A1 (ja) * 2010-03-16 2011-09-22 三菱電機株式会社 路車協調型安全運転支援装置
JP2011248870A (ja) * 2010-04-27 2011-12-08 Denso Corp 死角領域検出装置、死角領域検出プログラム、および死角領域検出方法
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
US9123252B2 (en) * 2011-08-10 2015-09-01 Toyota Jidosha Kabushiki Kaisha Drive assist apparatus
US20140195141A1 (en) * 2011-08-10 2014-07-10 Toyota Jidosha Kabushiki Kaisha Driving assistance device
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
JP6241235B2 (ja) * 2013-12-04 2017-12-06 三菱電機株式会社 車両用運転支援装置
DE102014117830A1 (de) * 2014-12-04 2016-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines fahrerspezifischen Totwinkelfeldes für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6372402B2 (ja) * 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 危険予測方法
CN107180220B (zh) 2016-03-11 2023-10-31 松下电器(美国)知识产权公司 危险预测方法
EP3361466B1 (en) * 2017-02-14 2024-04-03 Honda Research Institute Europe GmbH Risk-based driver assistance for approaching intersections of limited visibility
US10134279B1 (en) * 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154967A (ja) * 2004-11-25 2006-06-15 Nissan Motor Co Ltd リスク最小軌跡生成装置およびこれを用いた危険状況警報装置
JP2009086788A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 車両周辺監視装置
JP2011194979A (ja) * 2010-03-18 2011-10-06 Toyota Motor Corp 運転支援装置
JP2012104029A (ja) * 2010-11-12 2012-05-31 Toyota Motor Corp 危険度算出装置
WO2012098844A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 車両方向特定装置、車両方向特定方法、及びそのプログラム
US20170187963A1 (en) * 2015-12-24 2017-06-29 Lg Electronics Inc. Display device for vehicle and control method thereof
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Subaru 車両状態監視装置

Also Published As

Publication number Publication date
JP6958630B2 (ja) 2021-11-02
WO2019098323A1 (ja) 2019-05-23
CN111247575A (zh) 2020-06-05
US20200406747A1 (en) 2020-12-31
DE112018004561T5 (de) 2020-06-04
US11787287B2 (en) 2023-10-17
CN111247575B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
JP6958630B2 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
EP3367366B1 (en) Display control method and display control device
JP5004865B2 (ja) 自動車用障害物検知装置
US20180198955A1 (en) Vehicle-use image display system and method
JP6486474B2 (ja) 表示制御装置、表示装置及び表示制御方法
WO2019098216A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
US9505346B1 (en) System and method for warning a driver of pedestrians and other obstacles
WO2020201796A1 (ja) 車両制御方法及び車両制御装置
JP2018092291A (ja) 車両用表示装置
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
JP2016001464A (ja) 処理装置、処理システム、処理プログラム、及び、処理方法
JP7002246B2 (ja) 車両用表示方法及び車両用表示装置
JPWO2019092846A1 (ja) 表示システム、表示方法、およびプログラム
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
WO2017157865A1 (en) Navigation aid
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
JP6972782B2 (ja) 情報提示装置
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
JP7400914B1 (ja) 自動運転装置
JP2019028568A (ja) 車両用表示方法及び車両用表示装置
WO2023194794A1 (ja) 情報提供装置及び情報提供方 法
WO2023194793A1 (ja) 情報提供装置及び情報提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R150 Certificate of patent or registration of utility model

Ref document number: 6958630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150