JPWO2017061230A1 - 表示支援装置及び表示支援方法 - Google Patents

表示支援装置及び表示支援方法 Download PDF

Info

Publication number
JPWO2017061230A1
JPWO2017061230A1 JP2017544426A JP2017544426A JPWO2017061230A1 JP WO2017061230 A1 JPWO2017061230 A1 JP WO2017061230A1 JP 2017544426 A JP2017544426 A JP 2017544426A JP 2017544426 A JP2017544426 A JP 2017544426A JP WO2017061230 A1 JPWO2017061230 A1 JP WO2017061230A1
Authority
JP
Japan
Prior art keywords
virtual viewpoint
lane
vehicle
viewpoint position
display support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017544426A
Other languages
English (en)
Other versions
JP6521086B2 (ja
Inventor
草柳 佳紀
佳紀 草柳
則政 岸
則政 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017061230A1 publication Critical patent/JPWO2017061230A1/ja
Application granted granted Critical
Publication of JP6521086B2 publication Critical patent/JP6521086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

表示支援装置(1)は、舵角センサ(15)を用いて車両の舵角を検出し、検出した舵角に基づいて自車後方の仮想視点の位置を変更する。そして、表示支援装置(1)は、フロントカメラ(10)やリアカメラ(13)などの複数のカメラを用いて撮影した画像を仮想視点から見下ろした俯瞰画像に変換し、変換した俯瞰画像に車両の位置を示す自車アイコンを重畳してディスプレイ(50)に表示する。

Description

本発明は、表示支援装置及び表示支援方法に関する。
従来より、複数の車載カメラで撮影した画像を用いて仮想視点から見た合成画像を生成する技術が知られている(特許文献1)。特許文献1は、ディスプレイに合成画像を表示して、運転者に自車両の周辺状況(例えば後続車両)を通知する。
特開2012−253428号公報
しかしながら、特許文献1のように、自車後方に仮想視点を設定すると運転者の操舵によって仮想視点の位置が移動する。そして、仮想視点の位置が移動すると、合成画像に表示されていた後続車両が消えてしまい、運転者が自車両の周辺状況を把握しにくくなるおそれがある。
本発明は、上記問題に鑑みて成されたものであり、その目的は、操舵に基づいて仮想視点の位置を制御することで、運転者が自車両の周辺状況を把握することができる表示支援装置及び表示支援方法を提供することである。
本発明の一態様に係る表示支援装置は、車両の舵角を検出し、検出した舵角に基づいて仮想視点の位置を変更する。
本発明によれば、操舵に基づいて仮想視点の位置を制御することで、運転者は自車両の周辺状況を把握することができる。
図1は、本発明の第1実施形態に係る表示支援装置の構成図である。 図2(a)は、基準速度で走行する場合の仮想視点位置を説明する図である。図2(b)は、基準速度より高速で走行する場合の仮想視点位置を説明する図である。図2(c)は、基準速度より低速で走行する場合の仮想視点位置を説明する図である。 図3(a)、(b)は、本発明の第1実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図4(a)〜(g)は、本発明の第1実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図5は、本発明の第1実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図6は、本発明の第2実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図7は、本発明の第2実施形態に係る表示支援装置が変更する仮想視点位置について説明する他の図である。 図8は、本発明の第2実施形態に係る表示支援装置が変更する仮想視点位置について説明するさらに他の図である。 図9は、本発明の第2実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図10は、本発明の第3実施形態に係る表示支援装置の構成図である。 図11(a)、(b)は、本発明の第3実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図12は、本発明の第3実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図13は、本発明の第3実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図14(a)〜(c)は、本発明の他の実施形態に係る表示支援装置がディスプレイに表示する表示例について説明する図である。
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。また、第1実施形態では自車両が直線道路を走行する場合について説明し、第2実施形態では自車両がカーブを走行する場合について説明する。
[第1の実施形態]
図1を参照して第1実施形態に係る表示支援装置1について説明する。図1に示すように、表示支援装置1は、フロントカメラ10と、ライトカメラ11と、レフトカメラ12と、リアカメラ13と、ナビゲーション装置14と、舵角センサ15と、車速センサ16と、ウィンカースイッチ17と、コントローラ30と、ディスプレイ50とを備える。
フロントカメラ10、ライトカメラ11、レフトカメラ12、及びリアカメラ13(撮影手段)は、CCD(charge−coupled device)やCMOS(complementary metal oxide semiconductor)などの撮像素子を有したカメラであり、それぞれ自車両の前方、右側方、左側方、後方を撮影できる位置に設置される。これらのカメラは、撮影した画像をコントローラ30に出力する。
なお、以下の説明において、フロントカメラ10、ライトカメラ11、レフトカメラ12、及びリアカメラ13の4つカメラのことを「フロントカメラ10など」と記載する。
ナビゲーション装置14は、GPS受信機と地図データベースを備え、乗員によって設定された目的地までの走行経路をGPS受信機によって検出された自車位置と地図データベースとを用いて算出する。ナビゲーション装置14は、算出した走行経路をコントローラ30に出力する。なお、地図データベースは、ナビゲーション装置14ではなくサーバ上に記憶されていてもよい。地図データベースがサーバ上に記憶されている場合、ナビゲーション装置14は、通信により随時地図情報を取得することができる。
舵角センサ15は、自車両の舵角を検出し、検出した舵角をコントローラ30に出力する。
車速センサ16は、車輪の回転数から自車両の速度を検出し、検出した速度をコントローラ30に出力する。
ウィンカースイッチ17は、ハンドル付近に設置され、自車両が右左折する際や車線変更する際の旋回方向を検出する。ウィンカースイッチ17は、検出した旋回方向をコントローラ30に出力する。
コントローラ30は、カメラ画像や舵角などを用いてディスプレイ50に表示する合成画像を生成する装置であり、例えばCPU、ROM、RAMおよびそれらを接続するデータバスと入出力インターフェースから構成されるコンピュータである。コントローラ30は、これを機能的に捉えた場合、車線検出部31と、仮想視点位置演算部32と、視点変換部33と、記憶部34と、視点切替部35と、合成部36とに分類することができる。
車線検出部31は、フロントカメラ10などが撮影した画像やナビゲーション装置14から情報を取得し、自車両が走行している走行車線(以下、単に自車線という)を含む道路上の車線を検出する。また、車線検出部31は、車線境界線や、車線と車線以外の領域を区別する車道外側線などの区画線も検出する。
仮想視点位置演算部32は、舵角センサ15及び車速センサ16から取得した舵角や車速を用いて、自車両を後方上空から見下ろす仮想視点の位置(以下、単に仮想視点位置という)を演算する。より詳しくは、仮想視点位置演算部32は、車速を用いて自車両の進行方向に対する仮想視点位置を演算し、舵角を用いて自車両の車幅方向に対する仮想視点位置を演算する。なお、第1実施形態では、仮想視点位置は自車両の車幅方向に対する中心軸上に設定されるものとして説明するが、仮想視点位置はこれに限られない。
視点変換部33は、記憶部34に記憶されている変換マップを用いてフロントカメラ10などが撮影した画像を、仮想視点から見下ろした俯瞰画像に変換する。
記憶部34には、視点変換部33が使用する変換マップや合成部36が使用するアイコンなどが記憶されている。
視点切替部35(変更手段)は、仮想視点位置演算部32によって演算された仮想視点位置が、自車線からはみ出すか否かを判断する。そして、視点切替部35は、判断結果に基づいて仮想視点位置を変更する。視点切替部35の詳細な動作については後述する。
合成部36(加工手段)は、視点変換部33によって変換された俯瞰画像に対し、記憶部34に記憶されているアイコンなどを重畳して合成画像を生成する。そして、合成部36は、生成した合成画像をディスプレイ50に出力する。
ディスプレイ50(表示手段)は、例えばインストルメントパネルに搭載される液晶ディスプレイやナビゲーション装置14に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。
次に、図2(a)、(b)、(c)を参照して、仮想視点位置演算部32が車速に応じて演算する自車両の進行方向に対する仮想視位置点について説明する。
まず最初に図2(a)を参照して、自車両が基準速度で走行する場合の仮想視点位置について説明する。基準速度とは特に限定される速度ではなく、第1実施形態では例えば50km/hとして説明する。図2(a)に示すように、自車両が基準速度で走行している場合、仮想視点位置演算部32は、仮想視点位置C1を自車両から水平後方方向に50m、地面から垂直上方向に25mの位置として演算する。また、仮想視点位置演算部32は、仮想視点位置C1から自車両を見下ろしたときの視線の方向(図2(a)の点線)と仮想視点位置C1の高さの水平面とのなす角を30度に設定する。
次に、図2(b)を参照して、自車両が基準速度より高速で走行する場合、例えば70km/hで走行する場合の仮想視点位置について説明する。図2(b)に示すように、自車両が高速で走行する場合、仮想視点位置演算部32は、仮想視点位置C2を仮想視点位置C1と比較して自車両から後方に遠い位置、かつ地面から低い位置として演算する。具体的には、図2(b)に示すように、仮想視点位置演算部32は、仮想視点位置C2を自車両から水平後方方向に70m、地面から垂直上方向に15mの位置として演算する。また、仮想視点位置演算部32は、仮想視点位置C2から自車両を見下ろしたときの視線の方向(図2(b)の点線)と仮想視点位置C2の高さの水平面とのなす角を15度に設定する。このように高速の場合は図2(b)に示す仮想視点位置C2を演算することにより、仮想視点位置C2から見下ろす俯瞰画像は、図2(a)と比較してより広い範囲の自車後方の状況を捉えることができる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両の存在をいち早く知ることができる。これにより、運転者は合流や車線変更を行いやすくなる。
次に、図2(c)を参照して、自車両が基準速度より低速で走行する場合、例えば30km/hで走行する場合の仮想視点位置について説明する。図2(c)に示すように、自車両が低速で走行する場合、仮想視点位置演算部32は、仮想視点位置C3を仮想視点位置C1と比較して自車両から後方に近い位置、かつ地面から高い位置として演算する。具体的には、図2(c)に示すように、仮想視点位置演算部32は、仮想視点位置C3を自車両から水平後方方向に30m、地面から垂直上方向に30mの位置として演算する。また、仮想視点位置演算部32は、仮想視点位置C3から自車両を見下ろしたときの視線の方向(図2(c)の点線)と仮想視点位置C3の高さの水平面とのなす角を45度に設定する。このように低速の場合は図2(c)に示す仮想視点位置C3を演算することにより、仮想視点位置C3から見下ろす俯瞰画像は、図2(a)と比較して自車両周辺の変化具合を捉えやすくなる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両との車間距離の変化を確認しやすくなる。これにより運転者は合流や車線変更を行いやすくなる。
なお、図2(a)、(b)、(c)に示す例では、1つの基準速度に対して、この基準速度より速いかまたは遅いかという観点から仮想視点位置を説明したが、基準速度は1つに限られない。基準速度を複数設定し(基準速度1、基準速度2、基準速度1>基準速度2など)、車速を細分化して基準速度と対応付け、仮想視点位置を演算するようにしてもよい。
次に、図3(a)、(b)を参照して、視点切替部35が変更する仮想視点位置について説明する。
図3(a)に示す走行シーンは、2車線道路において左車線を走行している自車両が、右車線に車線変更するシーンである。図3(a)に示すP1〜P7は、自車位置である。また、図3(a)に示すP1’〜 P7’はそれぞれ、自車位置P1〜P7に対応する仮想視点位置である。なお、自車両の進行方向に対する自車両から仮想視点位置までの距離(以下、単に自車仮想視点距離という)は、自車両の速度に応じて設定されるものとする。また、各仮想視点位置から延伸する矢印は、各仮想視点の視線の方向を示す。
第1実施形態において、仮想視点位置は、自車両の車幅方向に対する中心軸上に存在する。このため運転者が右車線に車線変更しようとハンドルを時計回り方向に切り増しすると、自車両が自車位置P1から自車位置P2に移動する。このとき、仮想視点位置P1’は仮想視点位置P2’に移動する。このように仮想視点位置は、運転者の操舵、すなわち舵角に応じて移動することになる。より詳しくは、自車位置P1において、ハンドルは中立位置にあり、舵角は0度である。運転者が自車位置P1からハンドルを時計回り方向に切り増しすると舵角が増加する。仮想視点位置演算部32は、増加した舵角に応じて仮想視点位置P2’を演算する。このように舵角に連動して仮想視点位置が移動する状態のことを、以下では自車固定と表現する。
続いて、ハンドルが切り増しされた状態で自車両が自車位置P2から自車位置P3に移動すると、仮想視点位置P3”が自車線からはみ出ることになる。このように仮想視点位置が自車線からはみ出ると、仮想視点から見下ろす俯瞰画像が捉える自車後方の情報が少なくなる。例えば、仮想視点位置が自車線からはみ出る前の俯瞰画像に表示されていた後続車両が、仮想視点位置が自車線からはみ出た後の俯瞰画像に表示されなくなる場合がある。そこで、視点切替部35は、仮想視点位置P3”が自車線からはみ出た場合、仮想視点位置を車線変更先の右車線上に変更する。具体的には、視点切替部35は、図3(a)に示すように、仮想視点位置を仮想視点位置P3”から仮想視点位置P3’に変更する。これにより、仮想視点位置P3’から見下ろす俯瞰画像は、仮想視点位置P3”から見下ろす俯瞰画像より多くの自車後方の情報を捉えることができる。
ここで、仮想視点位置が自車線からはみ出たか否かの判断方法について説明する。この判断は、視点切替部35が行う。
図3(a)に示すように自車両が直線道路を走行している場合、仮想視点位置は舵角と自車仮想視点距離から一義的に求めることができる。例えば、ある舵角に対して自車仮想視点距離が長いほど、仮想視点位置は自車線から離れる。また、ある自車仮想視点距離に対して舵角が大きいほど仮想視点位置は自車線から離れる。このように舵角と自車仮想視点距離はそれぞれ、自車線から仮想視点位置までの距離との間に相関関係を有する。したがって、視点切替部35は、予め実験やシミュレーションを通じて求めた舵角と自車線から仮想視点位置までの距離との関係を示すマップと、自車仮想視点距離と自車線から仮想視点位置までの距離との関係を示すマップとを参照して、仮想視点位置が自車線からはみ出たか否かを判断することができる。なお、このマップは記憶部34に記憶させておくことができる。
再度図3(a)に戻って、自車両が自車位置P4、P5に進むと、仮想視点位置は、仮想視点位置P4’、P5’のように移動する。すなわち、視点切替部35が仮想視点位置を仮想視点位置P3’に変更した後、自車両が車線を跨ぐまでは、仮想視点位置は舵角に連動せず車幅方向に対して固定されたまま、自車仮想視点距離を維持して車線変更先の右車線上を移動する。このように仮想視点位置が舵角に連動せず車幅方向に対して固定されたまま、車線上を移動する状態のことを、以下では地面固定と表現する。自車両が車線を跨ぐまで仮想視点位置を地面固定とする理由は、俯瞰画像が自車後方の情報を多く得るためである。
続いて、自車位置P6に示すように自車両が車線を跨ぐと、視点切替部35は、仮想視点位置を地面固定から自車固定に切替える。これにより仮想視点位置は、仮想視点位置P5’から仮想視点位置P6’に移動する。そして、自車位置P7に示すように舵角がほぼ0度になると、仮想視点位置は、仮想視点位置P6’から仮想視点位置P7’に移動する。
図3(a)に示す例では、仮想視点位置が自車線からはみ出た場合に、仮想視点位置を車線変更先の車線上に変更したが、これに限られない。例えば、図3(b)に示すように、車線変更先の車線上ではなく、車線境界線上に仮想視点位置を変更してもよい。図3(b)に示すように仮想視点位置を変更した場合のディスプレイ50に表示される俯瞰画像の一例を図4(a)〜(g)に示す。
図4(a)〜(g)に示す俯瞰画像はそれぞれ、図3(b)に示す仮想視点位置P1’〜P7’から見下ろした俯瞰画像に対応する。図4(a)、(b)に示すように、仮想視点位置が自車線がはみ出すまでは、仮想視点位置は自車固定で、すなわち舵角に連動して移動する。図4(c)〜(e)に示すように、仮想視点位置が自車線からはみ出た場合、自車両が車線を跨ぐまでは仮想視点位置は地面固定となり、俯瞰画像の中心に車線境界線が表示される。これにより、自車後方を広い範囲で表示することができる。右車線に後続車両が存在している場合、運転者は後続車両の存在をいち早く知ることができる。
続いて、図4(f)、(g)に示すように、自車両が車線を跨ぐと、視点切替部35は、仮想視点位置を地面固定から自車固定に切替える。
なお、図3(a)、(b)に示す例では、2車線道路を取り上げて説明したが、これに限られない。例えば、3車線道路の中央車線を走行している自車両が右車線に移動する場合、仮想視点位置が中央車線から左車線にはみ出たら仮想視点位置を右車線上に変更すればよい。また、右車線上ではなく、中央車線と右車線との車線境界線上に仮想視点位置を変更してもよい。
なお、自車両が車線を跨いだか否かについて、視点切替部35は舵角を用いて判断することができる。一般に車線変更における舵角は、ハンドルの切り増しや切り戻しによって正弦波状に一周期分だけ変化する。例えば、右車線に車線変更する場合、舵角はハンドルの切り増しにより徐々に増加し、ある正のピークをとる。正のピークをとった後はハンドルの切り戻しにより、舵角は中立位置に向かって減少する。舵角は中立位置を超えて減少し、さらに、負のピークを越えた後増加し、最終的に0度となる。なお、この例において、舵角が正とは、ハンドルを時計回り方向に回転させた場合であり、舵角が負とは、ハンドルを反時計回り方向に回転にさせた場合である。舵角が減少から増加に切り替わるタイミングで車線変更が概ね完了したと推測できるため、視点切替部35は、舵角が減少から増加に切替わったタイミングで自車両が車線を跨いだと判断することができる。また、視点切替部35は、舵角が最終的に0度になったタイミングで自車両が車線を跨いだと判断してもよい。また、視点切替部35はフロントカメラ10などの画像を用いて自車両が車線を跨いだか否かを判断してもよい。
次に、図5に示すフローチャートを参照して、第1実施形態に係る表示支援装置1の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。
ステップS101において、コントローラ30は、ウィンカースイッチ17がオンか否かを判断する。ウィンカースイッチがオンの場合(ステップS101でYes)、処理がステップS102に進む。一方、ウィンカースイッチがオンでない場合(ステップS101でNo)、コントローラ30は待機する。
ステップS102において、コントローラ30は、車速センサ16から車速を取得する。
ステップS103において、仮想視点位置演算部32は、取得した車速に基づいて自車両の進行方向に対する仮想視点位置を演算する。
ステップS104において、コントローラ30は、フロントカメラ10などの画像やナビゲーション装置14から走行環境を取得する。具体的に、コントローラ30は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第1実施形態では、自車両が走行する道路は直線であると判断されたものとして説明する。自車両が走行する道路はカーブであると判断された場合については、第2実施形態で説明する。
ステップS105において、仮想視点位置演算部32は、舵角センサから舵角を取得する。
ステップS106において、仮想視点位置演算部32は、取得した舵角に基づいて車幅方向に対する仮想視点位置を演算する。
ステップS107において、視点切替部35は、ステップS106において演算された仮想視点位置が自車線からはみ出すか否かを判断する。仮想視点位置が自車線からはみ出す場合(ステップS107でYes)、処理がステップS108に進む。一方、仮想視点位置が自車線からはみ出さない場合(ステップS107でNo)、処理がステップS105に戻る。
ステップS108において、視点切替部35は、仮想視点位置を車線変更先の車線上もしくは車線境界線上に変更する。すなわち、視点切替部35は、仮想視点位置を自車固定から地面固定に切替える。
ステップS109において、視点切替部35は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合(ステップS109でYes)、視点切替部35は、仮想視点位置を地面固定から自車固定に切替える。一方、自車両が車線を跨いでいない場合(ステップS109でNo)、処理は待機する。
以上説明したように、第1実施形態に係る表示支援装置1によれば、以下の作用効果が得られる。
表示支援装置1は、検出した舵角に基づいて、仮想視点位置が自車線からはみ出たか否かを判断する。表示支援装置1は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を変更する。このように操舵に基づいて仮想視点位置を制御することで、運転者は自車両の周辺状況を把握することができる。
また、表示支援装置1は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線側に変更する。もしくは、表示支援装置1は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線上、または自車線と隣接車線との車線境界線上に仮想視点位置を変更する。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ50上でいち早く知ることができ、合流や車線変更を行いやすくなる。
なお、仮想視点位置が自車固定の場合、仮想視点位置は操舵に連動して移動する。車線変更のように操舵が発生すると、ディスプレイ50に表示される自車周辺の風景が大きく揺れ、これにより映像酔いが発生する可能性がある。第1実施形態に係る表示支援装置1は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点を変更する。このように、表示支援装置1は仮想視点位置を自車固定から地面固定に切替えることにより、ディスプレイ50内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
なお、第1実施形態において、ウィンカースイッチ17の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。運転者がウィンカースイッチ17を右側にオンするということは、右車線に車線変更するとの意思の表れである。そこで、ウィンカースイッチ17の信号が入力された後に、舵角に基づく仮想視点位置の変更処理を開始することにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
また、表示支援装置1は、仮想視点位置を地面固定とし、自車線に固定してもよい。この場合、表示支援装置1は、自車両が車線変更した後に、仮想視点位置を車線変更前の車線上から車線変更先の車線上に移動させることになる。仮想視点位置を移動させるタイミングは、次のように設定することができる。仮想視点位置を自車線に固定する場合、図3(a)に示すように、自車両が左車線を走行しているとき、仮想視点位置は仮想視点位置P1’に固定される。このとき、舵角は中立である。自車両が右車線に車線変更すると、舵角は上述したように正弦波状に変化し、最終的には図3(a)の自車位置P7に示すように、舵角は中立に戻る。そこで、視点切替部35は、舵角の変化を検出し、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることができる。所定時間を設ける理由は、車線変更の際にハンドルを最終的に中立に戻すタイミングに個人差があるためである。このように車線変更後、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることにより、ディスプレイ50上で自車両が移動する。これにより運転者はディスプレイ50上で自車両を確認しやすくなる。
[第2実施形態]
次に、図6〜図9を参照して本発明の第2実施形態について説明する。第2実施形態に係る表示支援装置1は、前述した第1実施形態と構成は同一であり、走行シーンが相違する。第1実施形態では走行シーンとして直線道路での動作を説明したが、第2実施形態ではカーブでの動作を説明する。
まず図6を参照して、視点切替部35が変更する仮想視点位置について説明する。
図6に示す走行シーンは、2車線道路のカーブにおいて右車線(外側車線)を走行している自車両が、左車線(内側車線)に車線変更するシーンである。図6に示すP1〜P3は、自車位置である。また、図6に示すP1’〜 P3’はそれぞれ、自車位置P1〜P3に対応する仮想視点位置である。また、図6に示すR1〜R3は、仮想視点から見下ろす俯瞰画像の視野範囲を示す。また、図6に示すV2は、後続車両である。
自車両が自車位置P1で左車線に車線変更する場合、図6に示すように、仮想視点位置P1’の視野範囲R1に後続車両V2が含まれない場合がある。そこで、視点切替部35は、仮想視点位置P1’を仮想視点位置P1”に変更する。具体的には、視点切替部35は、仮想視点位置P1”が仮想視点位置P1’よりカーブ内側に位置するように、かつ仮想視点位置P1’と仮想視点位置P1”との間の距離が1車線幅の長さとなるように、仮想視点位置P1’を仮想視点位置P1”に変更する。
一般にカーブの曲率が一定であれば、カーブでの運転において、ハンドルは所定の舵角で固定される。以下、カーブに沿って運転するための所定の舵角を、固定舵角という。カーブを走行中に車線変更しない場合、固定舵角に対する舵角の変化量はほぼゼロである。一方、図6に示すように、自車両が自車位置P1から左車線に車線変更する場合、固定舵角からさらにカーブ旋回方向にハンドルを切り増しすることになる。すなわち、固定舵角に対する舵角の変化量がカーブ旋回方向に増加することになる。視点切替部35は、舵角の変化量を取得し、取得した変化量と予め設定された閾値とを比較する。視点切替部35は、取得した変化量が閾値より大きいと判断した場合、仮想視点位置P1’を1車線幅分だけカーブ内側に移動させ、仮想視点位置P1”に変更する。これにより、仮想視点位置P1”の視野範囲R1’は、後続車両V2を含むことができる。
自車両が自車位置P1から自車位置P2に進んでも、舵角の変化量は閾値より大きい状態のため、仮想視点位置は、オフセットされた状態のまま仮想視点位置P1”から仮想視点位置P2”に移動する。これにより、仮想視点位置P2”の視野範囲R2’は、仮想視点位置P2’の視野範囲R2と比較して、後続車両V2を含みやすくなる。
自車両が自車位置P2から自車位置P3に進み、自車両が車線を跨いだ場合、視点切替部35は、オフセットを解除する。これにより、自車位置P3における仮想視点は、仮想視点位置P3’となる。なお、自車両が車線を跨いだか否かの判断は、第1実施形態で説明した方法と同様の方法を適用することができる。
なお、図6に示す例では、仮想視点位置を1車線幅分だけ移動させたが、移動する距離は、これに限られず適宜変更することができる。また、固定舵角の角度や閾値については、道路のカーブ形状に関するデータなどを用いて実験やシミュレーションにより求めることができる。
また、図6に示す例では、固定舵角に対する舵角の変化量に基づいて仮想視点位置を移動させたが、これに限られない。例えば、図7に示すように、固定舵角に対する舵角の変化量に基づいて仮想視点位置P1’における仮想視点の視野角をカーブ内側に傾けてもよい。傾ける角度の大きさは、仮想視点位置P1’から延伸する接線L1が、カーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置P1’の視野範囲R1’は、後続車両V2を含むことができる。同様に、仮想視点位置P2’においても、傾ける角度の大きさは、仮想視点位置P2’から延伸する接線L2がカーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置P2’の視野範囲R2’は、仮想視点位置P2’の視野範囲R2と比較して、後続車両V2を含みやすくなる。
次に、図8を参照して、第2実施形態の他の動作例を説明する。
図8に示す走行シーンは、カーブを有する2車線道路において左車線(内側車線)を走行している自車両が、右車線(外側車線)に車線変更するシーンである。この場合、仮想視点位置P1’の視野範囲R1には後続車両V2が含まれるため、仮想視点位置を変更しなくてもよい。同様に、仮想視点位置P2’の視野範囲R2及び仮想視点位置P3’の視野範囲R3にも後続車両V2が含まれるため、仮想視点位置を変更しなくてもよい。そのため、視点切替部35は、カーブにおいて内側車線から外側車線に車線変更する場合には、仮想視点位置を自車固定のままとする。なお、カーブにおいて内側車線から外側車線に車線変更するか否かの判断については、カーブ旋回方向と逆方向に舵角の変化量が増えた場合、視点切替部35は、内側車線から外側車線に車線変更すると判断することができる。
次に、図9に示すフローチャートを参照して、第2実施形態に係る表示支援装置1の一動作例について説明する。ただし、ステップS201〜ステップS203、ステップS205の動作はそれぞれ、図5のステップS101〜103、ステップS105の動作と同じであるため詳細な説明を省略する。
ステップS204において、コントローラ30は、フロントカメラ10などの画像やナビゲーション装置14から走行環境を取得する。具体的に、コントローラ30は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第2実施形態では、自車両が走行する道路はカーブであると判断されたものとして説明する。
ステップS206において、視点切替部35は、固定舵角に対し舵角がカーブ旋回方向に変化したか否かを判断する。舵角がカーブ旋回方向に変化した場合(ステップS206でYes)、処理がステップS207に進む。一方、舵角がカーブ旋回方向とは逆方向に変化した(ステップS206でNo)、処理がステップS210に進む。
ステップS207において、視点切替部35は、固定舵角に対する舵角の変化量が閾値より大きいか否かを判断する。舵角の変化量が閾値より大きい場合(ステップS207でYes)、処理がステップS208に進む。一方、舵角の変化量が閾値以下の場合(ステップS207でNo)、処理がステップS205に戻る。
ステップS208において、視点切替部35は、仮想視点位置をカーブ内側に1車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。
ステップS209において、視点切替部35は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合(ステップS209でYes)、視点切替部35は、仮想視点位置のオフセットを解除する。一方、自車両が車線を跨いでいない場合(ステップS209でNo)、処理は待機する。
ステップS210において、視点切替部35は、仮想視点位置を自車固定のままとする。
以上説明したように、第2実施形態に係る表示支援装置1によれば、以下の作用効果が得られる。
表示支援装置1は、自車両がカーブを走行中にカーブの外側車線からカーブの内側車線に車線変更する場合、仮想視点位置をカーブ内側に1車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ50上でいち早く知ることができ、合流や車線変更を行いやすくなる。
また、仮想視点位置をカーブ内側に移動させることにより、仮想視点位置は道路の中心に近づくことになる。これにより、仮想視点位置が自車両の中心軸上に存在する場合と比較して、ディスプレイ50内に表示される自車周辺の風景の揺れは小さくなる。すなわち、表示支援装置1は、仮想視点位置をカーブ内側に移動させることにより、ディスプレイ50内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
なお、第2実施形態においても第1実施形態と同様にウィンカースイッチ17の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。これにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
また、ナビゲーション装置14の地図データベースに格納されているカーブのR値を用いて仮想視点位置を変更してもよい。例えば、カーブが進むにつれてカーブのR値が小さい場合、カーブはきつくなる。このような場合、運転者はカーブ旋回方向にハンドルを切り増しすることになるが、この切り増しはカーブに対応するものであり、車線変更をする意図ではないと判断できる。そこで、視点切替部35は、カーブのR値と舵角とを比較し、比較結果に応じて仮想視点位置を変更することができる。例えば、カーブのR値と舵角が同じ場合、運転者は道なりに進むと判断できるため、視点切替部35は仮想視点位置を自車固定のままとする。一方、舵角がカーブのR値より小さい場合、運転者はカーブの外側車線からカーブの内側車線に車線変更すると判断できるため、視点切替部35は仮想視点位置をカーブ内側に1車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。また、舵角がカーブのR値より大きい場合、運転者はカーブの内側車線からカーブの外側車線に車線変更すると判断できるため、視点切替部35は仮想視点位置を自車固定のままとする。これにより、表示支援装置1は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ50に表示することができる。
[第3実施形態]
次に、図10〜図13を参照して、本発明の第3実施形態について説明する。第3実施形態が、第1実施形態と異なる点は、図10に示すように表示支援装置2がレーザレンジファインダー18を備えることである。第1実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。
レーザレンジファインダー18(周辺検出手段)は、自車両の周辺環境を検出する装置であり、自車両の周辺(例えば30m以内)に存在する障害物(歩行者、自転車、二輪車、他車両など)を検出する。より詳しくは、レーザレンジファインダー18は、レーザ光をある角度範囲内で走査し、その時の反射光を受光して、レーザ発射時点と反射光の受光時点との時間差を検出することにより、自車両と障害物との距離や角度などを検出する。レーザレンジファインダー18は、検出した情報をコントローラ30に出力する。
次に、図11(a)、(b)を参照して、視点切替部35が変更する仮想視点位置について説明する。
図11(a)に示すSは狭路を示す。狭路Sとは、電柱Mや駐車車両V3などの障害物の存在によって通常の道幅より狭くなっている道路のことをいう。狭路Sについては、レーザレンジファインダー18が検出する。
図11(a)に示すように、自車両の前方20m先に狭路Sが存在し、かつ自車両が自車位置P1で狭路Sの中心と正対する場合、仮想視点位置P1’から見下ろす俯瞰画像の中心と狭路Sの中心が重なる。これにより、ディスプレイ50の中心に狭路Sが表示されるため、運転者はいち早くディスプレイ50上で狭路Sの存在に気づくことができる。
一方、図11(b)に示すように、自車両の前方20m先に狭路Sが存在し、かつ自車両が自車位置P1で狭路Sの中心と正対していない場合、仮想視点位置P1’から見下ろす俯瞰画像の中心と狭路Sの中心がずれることになる。この場合、ディスプレイ50の中心に狭路Sが表示されないため、運転者が狭路Sの存在を見落とす場合が考えられる。
そこで、自車両が狭路Sの中心に正対していない場合、視点切替部35は、図11(b)に示すように仮想視点位置を仮想視点位置P1’から仮想視点位置P1”に変更する。すなわち、視点切替部35は、仮想視点位置を自車固定から地面固定に変更し、仮想視点位置が狭路Sの中心に正対する位置になるように変更する。これにより、仮想視点位置P1”から見下ろす俯瞰画像の中心と狭路Sの中心が重なることになる。これにより、図12に示すように、自車両V1が狭路Sの中心に正対していない場合でもディスプレイ50の中心に狭路Sが表示されるため、運転者はいち早くディスプレイ50上で狭路Sの存在に気づくことができる。
次に、図13に示すフローチャートを参照して、第3実施形態に係る表示支援装置2の一動作例について説明する。ただし、ステップS301〜ステップS303の動作はそれぞれ、図5のステップS102〜104の動作と同じであるため詳細な説明を省略する。
ステップS304において、コントローラ30は、自車前方に狭路Sが存在するか否かをレーザレンジファインダー18の出力から判断する。狭路Sが存在する場合(ステップS304でYes)、処理がステップS305に進む。一方、狭路Sが存在しない場合(ステップS304でNo)、処理は待機する。
ステップS305において、コントローラ30は、レーザレンジファインダー18の出力から狭路Sまでの距離を検出する。
ステップS306において、コントローラ30は、狭路Sまでの距離が所定値以下か否かを判断する。所定値とは、例えば20mである。狭路Sまでの距離が所定値以下の場合(ステップS306でYes)、処理がステップS307に進む。一方、狭路Sまでの距離が所定値より大きい場合(ステップS307でNo)、処理は待機する。なお、狭路Sまでの距離が所定値以下か否かを判断する理由は、所定値より離れた距離に狭路Sが存在する場合、運転者に狭路Sの存在を通知するのはまだ早いからである。
ステップS307において、コントローラ30は、仮想視点位置が狭路Sの中心に正対しているか否かを判断する。仮想視点位置が狭路Sの中心に正対していない場合(ステップS307でNo)、処理がステップS308に進む。一方、仮想視点位置が狭路Sの中心に正対している場合(ステップS307でYes)、処理がステップS309に進む。
ステップS308において、視点切替部35は、仮想視点位置が狭路Sの中心に正対するように変更する。
ステップS309において、視点切替部35は、仮想視点位置を自車固定のままとする。
以上説明したように、第3実施形態に係る表示支援装置2によれば、以下の作用効果が得られる。
表示支援装置2は、狭路Sを検出した場合、仮想視点位置が狭路Sの中心に正対しているか否かを判断する。そして、表示支援装置2は、仮想視点位置が狭路Sの中心に正対していない場合、仮想視点位置が狭路Sの中心に正対するように仮想視点位置を変更する。一方、表示支援装置2は、仮想視点位置が狭路Sの中心に正対している場合、仮想視点位置を自車固定のままとする。これにより、ディスプレイ50の中心に狭路Sが表示されるため、運転者はいち早くディスプレイ50上で狭路Sの存在に気づくことができる。
なお、第1実施形態及び第2実施形態では、舵角に基づいて仮想視点位置を変更したが、第3実施形態においても、舵角を用いて仮想視点位置を変更してもよい。例えば、自車両の前方に狭路Sが存在する場合、運転者は車線を変更して狭路Sを避けるか、あるいはハンドルを微調整して狭路Sを通り抜けることが考えられる。そこで、表示支援装置2は、舵角の変化を無視する不感帯を設定し、舵角が不感帯内か否かを判断することができる。舵角が不感帯内であれば、運転者はハンドルを微調整して狭路Sを通り抜けると考えられるため、表示支援装置2は、仮想視点位置を狭路Sの中心に正対させる。一方、舵角が不感帯を超える場合、運転者は車線を変更して狭路Sを避けると考えられるため、表示支援装置2は、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点位置を変更する。これにより、表示支援装置2は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ50に表示することができる。なお、不感帯については、実験やシミュレーションを通じて求めることができる。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、図14(a)に示すように、自車両が中央車線から右車線に車線変更しようとする際に、ディスプレイ50に表示される自車両V1(自車アイコン)に対し、自車両V1の上端を示す上端線L3と、自車両V1の下端を示す下端線L4を自車線から延長して車線変更先の右車線に重畳してもよい。これにより、運転者は、ディスプレイ50上で自車両の位置を把握しやすくなる。また、右車線に後続車両が存在する場合、運転者は後続車両との車間距離が把握しやすくなる。なお、合成部36は、上端線L3と下端線L4を車線変更先の右車線にのみ重畳するようにしてもよい。
また、図14(b)に示すように、自車両V1を透視可能な透明性を有するアイコンとしてディスプレイ50に表示してもよい。これにより、運転者は先行車両V4及び後続車両V2と自車両V1を区別しやすくなり、自車両V1の周辺状況を把握しやすくなる。
また、図14(c)に示すように、自車両V1をディスプレイ50の中央より上に表示するように加工してもよい。これにより、運転者は、後続車両の存在を確認しやすくなる。
本発明では舵角に基づいて仮想視点位置を変更したが、これに限定されない。例えば、ヨーレートセンサを用い、検出したヨーレートに基づいて仮想視点位置を変更してもよい。
また、本発明は、自動運転車両に適用することができる。
特願2015−199918号(出願日:2015年10月8日)の全内容は、ここに援用される。
10 フロントカメラ
11 ライトカメラ
12 レフトカメラ
13 リアカメラ
14 ナビゲーション装置
15 舵角センサ
16 車速センサ
17 ウィンカースイッチ
18 レーザレンジファインダー
30 コントローラ
31 車線検出部
32 仮想視点位置演算部
33 視点変換部
34 記憶部
35 視点切替部
36 合成部
50 ディスプレイ
ステップS306において、コントローラ30は、狭路Sまでの距離が所定値以下か否かを判断する。所定値とは、例えば20mである。狭路Sまでの距離が所定値以下の場合(ステップS306でYes)、処理がステップS307に進む。一方、狭路Sまでの距離が所定値より大きい場合(ステップS306でNo)、処理は待機する。なお、狭路Sまでの距離が所定値以下か否かを判断する理由は、所定値より離れた距離に狭路Sが存在する場合、運転者に狭路Sの存在を通知するのはまだ早いからである。

Claims (10)

  1. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援装置において、
    前記車両の舵角を検出する舵角センサと、
    前記舵角センサによって検出された前記舵角に基づいて前記仮想視点の位置を変更する変更手段と
    を備えることを特徴とする表示支援装置。
  2. 前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を前記隣接車線側に変更することを特徴とする請求項1に記載の表示支援装置。
  3. 前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を隣接車線上または前記走行車線と前記隣接車線との境界線上に変更することを特徴とする請求項1または2に記載の表示支援装置。
  4. 前記俯瞰画像を加工する加工手段をさらに備え、
    前記加工手段は、前記自車アイコンの上端を示す上端線と、前記自車アイコンの下端を示す下端線を前記隣接車線に重畳することを特徴とする請求項2または3に記載の表示支援装置。
  5. 前記加工手段は、前記自車アイコンを透視可能な透明性を有するアイコンとして重畳することを特徴とする請求項4に記載の表示支援装置。
  6. 前記加工手段は、前記自車アイコンを前記俯瞰画像の中央より上に重畳することを特徴とする請求項4または5に記載の表示支援装置。
  7. 前記変更手段は、前記車両がカーブを走行中に前記カーブの外側車線から前記カーブの内側車線に車線変更する場合、前記仮想視点の位置をカーブ内側に移動させる、または前記仮想視点の視野角を前記カーブ内側に傾けることを特徴とする請求項1に記載の表示支援装置。
  8. 前記車両の周辺環境を検出する周辺検出手段をさらに備え、
    前記変更手段は、前記周辺検出手段によって前記車両の前方に狭路が検出された場合、前記仮想視点が前記狭路の中心に正対するように前記仮想視点の位置を変更することを特徴とする請求項1に記載の表示支援装置。
  9. 前記変更手段は、前記車両が車線変更した後、前記舵角が中立に戻ってから所定時間経過後に前記仮想視点の位置を車線変更後の車線上に変更することを特徴とする請求項1に記載の表示支援装置。
  10. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援方法において、
    前記車両の舵角を検出し、
    検出した前記舵角に基づいて前記仮想視点の位置を変更することを特徴とする表示支援方法。
JP2017544426A 2015-10-08 2016-09-09 表示支援装置及び表示支援方法 Active JP6521086B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015199918 2015-10-08
JP2015199918 2015-10-08
PCT/JP2016/076566 WO2017061230A1 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法

Publications (2)

Publication Number Publication Date
JPWO2017061230A1 true JPWO2017061230A1 (ja) 2018-09-13
JP6521086B2 JP6521086B2 (ja) 2019-05-29

Family

ID=58487396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544426A Active JP6521086B2 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法

Country Status (10)

Country Link
US (1) US10311618B2 (ja)
EP (1) EP3361721B1 (ja)
JP (1) JP6521086B2 (ja)
KR (1) KR101983957B1 (ja)
CN (1) CN108141569B (ja)
BR (1) BR112018007131A2 (ja)
CA (1) CA3001287C (ja)
MX (1) MX367989B (ja)
RU (1) RU2678436C1 (ja)
WO (1) WO2017061230A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973922B2 (en) 2020-10-13 2024-04-30 Subaru Corporation Vehicular travel-environment display apparatus

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6665605B2 (ja) * 2016-03-15 2020-03-13 株式会社デンソー 表示制御装置及び表示制御方法
JP6962397B2 (ja) * 2016-03-15 2021-11-05 株式会社デンソー 表示制御装置及び表示制御方法
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
KR102254973B1 (ko) * 2017-04-25 2021-05-24 현대모비스 주식회사 주행 차선 안내 장치 및 그 제어 방법
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP7056034B2 (ja) * 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
JP2019036832A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP6825709B2 (ja) * 2017-08-25 2021-02-03 日産自動車株式会社 周囲車両表示方法及び周囲車両表示装置
WO2019038904A1 (ja) * 2017-08-25 2019-02-28 日産自動車株式会社 周囲車両表示方法及び周囲車両表示装置
JP2019053008A (ja) * 2017-09-19 2019-04-04 日産自動車株式会社 走行支援装置の状態表示方法及び状態表示装置
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
WO2019080051A1 (en) 2017-10-26 2019-05-02 Harman International Industries, Incorporated PERIPHERAL VISION SYSTEM AND ASSOCIATED METHOD
US11458964B2 (en) * 2018-01-10 2022-10-04 Hitachi Astemo, Ltd. Driver assistance device, driver assistance method, and driver assistance system
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
KR20200069542A (ko) 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
CN111409553B (zh) * 2019-01-08 2024-02-20 上汽通用五菱汽车股份有限公司 一种adas显示装置与方法
DE102019202578A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202587A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) * 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
KR102572785B1 (ko) * 2020-04-21 2023-08-31 주식회사 에이치엘클레무브 운전자 보조 시스템
JP7538640B2 (ja) * 2020-07-13 2024-08-22 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
CN113888573A (zh) * 2021-09-26 2022-01-04 同济大学 一种交通场景虚实融合视频生成方法和系统
US20230286439A1 (en) * 2021-11-03 2023-09-14 Magna Electronics Inc. Vehicular vision system with advanced safety views
CN115097632B (zh) * 2022-07-22 2024-01-26 北京经纬恒润科技股份有限公司 一种ar-hud转向辅助显示方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2007210458A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 車両用表示装置および車両用映像表示制御方法
WO2010122747A1 (ja) * 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012175314A (ja) * 2011-02-21 2012-09-10 Nissan Motor Co Ltd 車両の運転支援装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
JP4893945B2 (ja) 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
JP5519479B2 (ja) * 2010-11-29 2014-06-11 パナソニック株式会社 運転支援表示装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP5798392B2 (ja) 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置
MX2014000649A (es) * 2011-08-02 2014-04-30 Nissan Motor Dispositivo de asistencia de manejo y metodo de asistencia de manejo.
JP5915728B2 (ja) * 2012-03-02 2016-05-11 日産自動車株式会社 立体物検出装置
US20130293683A1 (en) * 2012-05-03 2013-11-07 Harman International (Shanghai) Management Co., Ltd. System and method of interactively controlling a virtual camera
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5904093B2 (ja) 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
US9406234B2 (en) * 2015-01-02 2016-08-02 Atieva, Inc. Automatically activated blind spot camera system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2007210458A (ja) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd 車両用表示装置および車両用映像表示制御方法
WO2010122747A1 (ja) * 2009-04-23 2010-10-28 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012175314A (ja) * 2011-02-21 2012-09-10 Nissan Motor Co Ltd 車両の運転支援装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973922B2 (en) 2020-10-13 2024-04-30 Subaru Corporation Vehicular travel-environment display apparatus

Also Published As

Publication number Publication date
CA3001287A1 (en) 2017-04-13
MX367989B (es) 2019-09-13
WO2017061230A1 (ja) 2017-04-13
CN108141569A (zh) 2018-06-08
MX2018004231A (es) 2018-05-15
CN108141569B (zh) 2020-04-28
BR112018007131A2 (ja) 2018-11-06
US20180286095A1 (en) 2018-10-04
KR101983957B1 (ko) 2019-05-29
EP3361721A1 (en) 2018-08-15
CA3001287C (en) 2020-01-14
EP3361721B1 (en) 2020-02-26
JP6521086B2 (ja) 2019-05-29
US10311618B2 (en) 2019-06-04
EP3361721A4 (en) 2018-08-15
KR20180053710A (ko) 2018-05-23
RU2678436C1 (ru) 2019-01-29

Similar Documents

Publication Publication Date Title
WO2017061230A1 (ja) 表示支援装置及び表示支援方法
CN111226267B (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
JP5172314B2 (ja) ステレオカメラ装置
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP4855158B2 (ja) 運転支援装置
US8461976B2 (en) On-vehicle device and recognition support system
JP4432801B2 (ja) 運転支援装置
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
WO2016002163A1 (ja) 画像表示装置、画像表示方法
CN111033593A (zh) 驾驶辅助车辆的位置误差校正方法及位置误差校正装置
US10549693B2 (en) Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method and program
CN112537295B (zh) 驾驶辅助装置
JP6917330B2 (ja) 駐車支援装置
JP2017091093A (ja) 情報表示装置
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
US20190135342A1 (en) Parking assist device
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
JP2011134237A (ja) 車両用画像表示装置及び車両用画像表示方法
KR20170056752A (ko) 헤드업 디스플레이를 이용한 차선 표시장치 및 그 방법
JP2016024573A (ja) 車両用表示装置
JP2005104401A (ja) 駐車支援装置および方法
WO2024195065A1 (ja) 運転支援装置、運転支援方法、及び記録媒体

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R151 Written notification of patent or utility model registration

Ref document number: 6521086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151