JP6521086B2 - 表示支援装置及び表示支援方法 - Google Patents

表示支援装置及び表示支援方法 Download PDF

Info

Publication number
JP6521086B2
JP6521086B2 JP2017544426A JP2017544426A JP6521086B2 JP 6521086 B2 JP6521086 B2 JP 6521086B2 JP 2017544426 A JP2017544426 A JP 2017544426A JP 2017544426 A JP2017544426 A JP 2017544426A JP 6521086 B2 JP6521086 B2 JP 6521086B2
Authority
JP
Japan
Prior art keywords
lane
virtual viewpoint
vehicle
viewpoint position
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544426A
Other languages
English (en)
Other versions
JPWO2017061230A1 (ja
Inventor
草柳　佳紀
佳紀 草柳
則政 岸
則政 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017061230A1 publication Critical patent/JPWO2017061230A1/ja
Application granted granted Critical
Publication of JP6521086B2 publication Critical patent/JP6521086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Description

本発明は、表示支援装置及び表示支援方法に関する。
従来より、複数の車載カメラで撮影した画像を用いて仮想視点から見た合成画像を生成する技術が知られている（特許文献１）。特許文献１は、ディスプレイに合成画像を表示して、運転者に自車両の周辺状況（例えば後続車両）を通知する。
特開２０１２−２５３４２８号公報
しかしながら、特許文献１のように、自車後方に仮想視点を設定すると運転者の操舵によって仮想視点の位置が移動する。そして、仮想視点の位置が移動すると、合成画像に表示されていた後続車両が消えてしまい、運転者が自車両の周辺状況を把握しにくくなるおそれがある。
本発明は、上記問題に鑑みて成されたものであり、その目的は、操舵に基づいて仮想視点の位置を制御することで、運転者が自車両の周辺状況を把握することができる表示支援装置及び表示支援方法を提供することである。
本発明の一態様に係る表示支援装置は、車両の舵角を検出し、検出した舵角に基づいて仮想視点の位置を変更する。
本発明によれば、操舵に基づいて仮想視点の位置を制御することで、運転者は自車両の周辺状況を把握することができる。
図１は、本発明の第１実施形態に係る表示支援装置の構成図である。 図２（ａ）は、基準速度で走行する場合の仮想視点位置を説明する図である。図２（ｂ）は、基準速度より高速で走行する場合の仮想視点位置を説明する図である。図２（ｃ）は、基準速度より低速で走行する場合の仮想視点位置を説明する図である。 図３（ａ）、（ｂ）は、本発明の第１実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図４（ａ）〜（ｇ）は、本発明の第１実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図５は、本発明の第１実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図６は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図７は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明する他の図である。 図８は、本発明の第２実施形態に係る表示支援装置が変更する仮想視点位置について説明するさらに他の図である。 図９は、本発明の第２実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図１０は、本発明の第３実施形態に係る表示支援装置の構成図である。 図１１（ａ）、（ｂ）は、本発明の第３実施形態に係る表示支援装置が変更する仮想視点位置について説明する図である。 図１２は、本発明の第３実施形態に係る表示支援装置がディスプレイに表示する画像について説明する図である。 図１３は、本発明の第３実施形態に係る表示支援装置の動作例を説明するフローチャートである。 図１４（ａ）〜（ｃ）は、本発明の他の実施形態に係る表示支援装置がディスプレイに表示する表示例について説明する図である。
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。また、第１実施形態では自車両が直線道路を走行する場合について説明し、第２実施形態では自車両がカーブを走行する場合について説明する。
［第１の実施形態］
図１を参照して第１実施形態に係る表示支援装置１について説明する。図１に示すように、表示支援装置１は、フロントカメラ１０と、ライトカメラ１１と、レフトカメラ１２と、リアカメラ１３と、ナビゲーション装置１４と、舵角センサ１５と、車速センサ１６と、ウィンカースイッチ１７と、コントローラ３０と、ディスプレイ５０とを備える。
フロントカメラ１０、ライトカメラ１１、レフトカメラ１２、及びリアカメラ１３（撮影手段）は、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラであり、それぞれ自車両の前方、右側方、左側方、後方を撮影できる位置に設置される。これらのカメラは、撮影した画像をコントローラ３０に出力する。
なお、以下の説明において、フロントカメラ１０、ライトカメラ１１、レフトカメラ１２、及びリアカメラ１３の４つカメラのことを「フロントカメラ１０など」と記載する。
ナビゲーション装置１４は、ＧＰＳ受信機と地図データベースを備え、乗員によって設定された目的地までの走行経路をＧＰＳ受信機によって検出された自車位置と地図データベースとを用いて算出する。ナビゲーション装置１４は、算出した走行経路をコントローラ３０に出力する。なお、地図データベースは、ナビゲーション装置１４ではなくサーバ上に記憶されていてもよい。地図データベースがサーバ上に記憶されている場合、ナビゲーション装置１４は、通信により随時地図情報を取得することができる。
舵角センサ１５は、自車両の舵角を検出し、検出した舵角をコントローラ３０に出力する。
車速センサ１６は、車輪の回転数から自車両の速度を検出し、検出した速度をコントローラ３０に出力する。
ウィンカースイッチ１７は、ハンドル付近に設置され、自車両が右左折する際や車線変更する際の旋回方向を検出する。ウィンカースイッチ１７は、検出した旋回方向をコントローラ３０に出力する。
コントローラ３０は、カメラ画像や舵角などを用いてディスプレイ５０に表示する合成画像を生成する装置であり、例えばＣＰＵ、ＲＯＭ、ＲＡＭおよびそれらを接続するデータバスと入出力インターフェースから構成されるコンピュータである。コントローラ３０は、これを機能的に捉えた場合、車線検出部３１と、仮想視点位置演算部３２と、視点変換部３３と、記憶部３４と、視点切替部３５と、合成部３６とに分類することができる。
車線検出部３１は、フロントカメラ１０などが撮影した画像やナビゲーション装置１４から情報を取得し、自車両が走行している走行車線（以下、単に自車線という）を含む道路上の車線を検出する。また、車線検出部３１は、車線境界線や、車線と車線以外の領域を区別する車道外側線などの区画線も検出する。
仮想視点位置演算部３２は、舵角センサ１５及び車速センサ１６から取得した舵角や車速を用いて、自車両を後方上空から見下ろす仮想視点の位置（以下、単に仮想視点位置という）を演算する。より詳しくは、仮想視点位置演算部３２は、車速を用いて自車両の進行方向に対する仮想視点位置を演算し、舵角を用いて自車両の車幅方向に対する仮想視点位置を演算する。なお、第１実施形態では、仮想視点位置は自車両の車幅方向に対する中心軸上に設定されるものとして説明するが、仮想視点位置はこれに限られない。
視点変換部３３は、記憶部３４に記憶されている変換マップを用いてフロントカメラ１０などが撮影した画像を、仮想視点から見下ろした俯瞰画像に変換する。
記憶部３４には、視点変換部３３が使用する変換マップや合成部３６が使用するアイコンなどが記憶されている。
視点切替部３５（変更手段）は、仮想視点位置演算部３２によって演算された仮想視点位置が、自車線からはみ出すか否かを判断する。そして、視点切替部３５は、判断結果に基づいて仮想視点位置を変更する。視点切替部３５の詳細な動作については後述する。
合成部３６（加工手段）は、視点変換部３３によって変換された俯瞰画像に対し、記憶部３４に記憶されているアイコンなどを重畳して合成画像を生成する。そして、合成部３６は、生成した合成画像をディスプレイ５０に出力する。
ディスプレイ５０（表示手段）は、例えばインストルメントパネルに搭載される液晶ディスプレイやナビゲーション装置１４に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。
次に、図２（ａ）、（ｂ）、（ｃ）を参照して、仮想視点位置演算部３２が車速に応じて演算する自車両の進行方向に対する仮想視位置点について説明する。
まず最初に図２（ａ）を参照して、自車両が基準速度で走行する場合の仮想視点位置について説明する。基準速度とは特に限定される速度ではなく、第１実施形態では例えば５０ｋｍ／ｈとして説明する。図２（ａ）に示すように、自車両が基準速度で走行している場合、仮想視点位置演算部３２は、仮想視点位置Ｃ１を自車両から水平後方方向に５０ｍ、地面から垂直上方向に２５ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ１から自車両を見下ろしたときの視線の方向（図２（ａ）の点線）と仮想視点位置Ｃ１の高さの水平面とのなす角を３０度に設定する。
次に、図２（ｂ）を参照して、自車両が基準速度より高速で走行する場合、例えば７０ｋｍ／ｈで走行する場合の仮想視点位置について説明する。図２（ｂ）に示すように、自車両が高速で走行する場合、仮想視点位置演算部３２は、仮想視点位置Ｃ２を仮想視点位置Ｃ１と比較して自車両から後方に遠い位置、かつ地面から低い位置として演算する。具体的には、図２（ｂ）に示すように、仮想視点位置演算部３２は、仮想視点位置Ｃ２を自車両から水平後方方向に７０ｍ、地面から垂直上方向に１５ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ２から自車両を見下ろしたときの視線の方向（図２（ｂ）の点線）と仮想視点位置Ｃ２の高さの水平面とのなす角を１５度に設定する。このように高速の場合は図２（ｂ）に示す仮想視点位置Ｃ２を演算することにより、仮想視点位置Ｃ２から見下ろす俯瞰画像は、図２（ａ）と比較してより広い範囲の自車後方の状況を捉えることができる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両の存在をいち早く知ることができる。これにより、運転者は合流や車線変更を行いやすくなる。
次に、図２（ｃ）を参照して、自車両が基準速度より低速で走行する場合、例えば３０ｋｍ／ｈで走行する場合の仮想視点位置について説明する。図２（ｃ）に示すように、自車両が低速で走行する場合、仮想視点位置演算部３２は、仮想視点位置Ｃ３を仮想視点位置Ｃ１と比較して自車両から後方に近い位置、かつ地面から高い位置として演算する。具体的には、図２（ｃ）に示すように、仮想視点位置演算部３２は、仮想視点位置Ｃ３を自車両から水平後方方向に３０ｍ、地面から垂直上方向に３０ｍの位置として演算する。また、仮想視点位置演算部３２は、仮想視点位置Ｃ３から自車両を見下ろしたときの視線の方向（図２（ｃ）の点線）と仮想視点位置Ｃ３の高さの水平面とのなす角を４５度に設定する。このように低速の場合は図２（ｃ）に示す仮想視点位置Ｃ３を演算することにより、仮想視点位置Ｃ３から見下ろす俯瞰画像は、図２（ａ）と比較して自車両周辺の変化具合を捉えやすくなる。これにより、後続車両が自車後方に存在する場合、運転者は後続車両との車間距離の変化を確認しやすくなる。これにより運転者は合流や車線変更を行いやすくなる。
なお、図２（ａ）、（ｂ）、（ｃ）に示す例では、１つの基準速度に対して、この基準速度より速いかまたは遅いかという観点から仮想視点位置を説明したが、基準速度は１つに限られない。基準速度を複数設定し（基準速度１、基準速度２、基準速度１＞基準速度２など）、車速を細分化して基準速度と対応付け、仮想視点位置を演算するようにしてもよい。
次に、図３（ａ）、（ｂ）を参照して、視点切替部３５が変更する仮想視点位置について説明する。
図３（ａ）に示す走行シーンは、２車線道路において左車線を走行している自車両が、右車線に車線変更するシーンである。図３（ａ）に示すＰ１〜Ｐ７は、自車位置である。また、図３（ａ）に示すＰ１’〜 Ｐ７’はそれぞれ、自車位置Ｐ１〜Ｐ７に対応する仮想視点位置である。なお、自車両の進行方向に対する自車両から仮想視点位置までの距離（以下、単に自車仮想視点距離という）は、自車両の速度に応じて設定されるものとする。また、各仮想視点位置から延伸する矢印は、各仮想視点の視線の方向を示す。
第１実施形態において、仮想視点位置は、自車両の車幅方向に対する中心軸上に存在する。このため運転者が右車線に車線変更しようとハンドルを時計回り方向に切り増しすると、自車両が自車位置Ｐ１から自車位置Ｐ２に移動する。このとき、仮想視点位置Ｐ１’は仮想視点位置Ｐ２’に移動する。このように仮想視点位置は、運転者の操舵、すなわち舵角に応じて移動することになる。より詳しくは、自車位置Ｐ１において、ハンドルは中立位置にあり、舵角は０度である。運転者が自車位置Ｐ１からハンドルを時計回り方向に切り増しすると舵角が増加する。仮想視点位置演算部３２は、増加した舵角に応じて仮想視点位置Ｐ２’を演算する。このように舵角に連動して仮想視点位置が移動する状態のことを、以下では自車固定と表現する。
続いて、ハンドルが切り増しされた状態で自車両が自車位置Ｐ２から自車位置Ｐ３に移動すると、仮想視点位置Ｐ３”が自車線からはみ出ることになる。このように仮想視点位置が自車線からはみ出ると、仮想視点から見下ろす俯瞰画像が捉える自車後方の情報が少なくなる。例えば、仮想視点位置が自車線からはみ出る前の俯瞰画像に表示されていた後続車両が、仮想視点位置が自車線からはみ出た後の俯瞰画像に表示されなくなる場合がある。そこで、視点切替部３５は、仮想視点位置Ｐ３”が自車線からはみ出た場合、仮想視点位置を車線変更先の右車線上に変更する。具体的には、視点切替部３５は、図３（ａ）に示すように、仮想視点位置を仮想視点位置Ｐ３”から仮想視点位置Ｐ３’に変更する。これにより、仮想視点位置Ｐ３’から見下ろす俯瞰画像は、仮想視点位置Ｐ３”から見下ろす俯瞰画像より多くの自車後方の情報を捉えることができる。
ここで、仮想視点位置が自車線からはみ出たか否かの判断方法について説明する。この判断は、視点切替部３５が行う。
図３（ａ）に示すように自車両が直線道路を走行している場合、仮想視点位置は舵角と自車仮想視点距離から一義的に求めることができる。例えば、ある舵角に対して自車仮想視点距離が長いほど、仮想視点位置は自車線から離れる。また、ある自車仮想視点距離に対して舵角が大きいほど仮想視点位置は自車線から離れる。このように舵角と自車仮想視点距離はそれぞれ、自車線から仮想視点位置までの距離との間に相関関係を有する。したがって、視点切替部３５は、予め実験やシミュレーションを通じて求めた舵角と自車線から仮想視点位置までの距離との関係を示すマップと、自車仮想視点距離と自車線から仮想視点位置までの距離との関係を示すマップとを参照して、仮想視点位置が自車線からはみ出たか否かを判断することができる。なお、このマップは記憶部３４に記憶させておくことができる。
再度図３（ａ）に戻って、自車両が自車位置Ｐ４、Ｐ５に進むと、仮想視点位置は、仮想視点位置Ｐ４’、Ｐ５’のように移動する。すなわち、視点切替部３５が仮想視点位置を仮想視点位置Ｐ３’に変更した後、自車両が車線を跨ぐまでは、仮想視点位置は舵角に連動せず車幅方向に対して固定されたまま、自車仮想視点距離を維持して車線変更先の右車線上を移動する。このように仮想視点位置が舵角に連動せず車幅方向に対して固定されたまま、車線上を移動する状態のことを、以下では地面固定と表現する。自車両が車線を跨ぐまで仮想視点位置を地面固定とする理由は、俯瞰画像が自車後方の情報を多く得るためである。
続いて、自車位置Ｐ６に示すように自車両が車線を跨ぐと、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。これにより仮想視点位置は、仮想視点位置Ｐ５’から仮想視点位置Ｐ６’に移動する。そして、自車位置Ｐ７に示すように舵角がほぼ０度になると、仮想視点位置は、仮想視点位置Ｐ６’から仮想視点位置Ｐ７’に移動する。
図３（ａ）に示す例では、仮想視点位置が自車線からはみ出た場合に、仮想視点位置を車線変更先の車線上に変更したが、これに限られない。例えば、図３（ｂ）に示すように、車線変更先の車線上ではなく、車線境界線上に仮想視点位置を変更してもよい。図３（ｂ）に示すように仮想視点位置を変更した場合のディスプレイ５０に表示される俯瞰画像の一例を図４（ａ）〜（ｇ）に示す。
図４（ａ）〜（ｇ）に示す俯瞰画像はそれぞれ、図３（ｂ）に示す仮想視点位置Ｐ１’〜Ｐ７’から見下ろした俯瞰画像に対応する。図４（ａ）、（ｂ）に示すように、仮想視点位置が自車線がはみ出すまでは、仮想視点位置は自車固定で、すなわち舵角に連動して移動する。図４（ｃ）〜（ｅ）に示すように、仮想視点位置が自車線からはみ出た場合、自車両が車線を跨ぐまでは仮想視点位置は地面固定となり、俯瞰画像の中心に車線境界線が表示される。これにより、自車後方を広い範囲で表示することができる。右車線に後続車両が存在している場合、運転者は後続車両の存在をいち早く知ることができる。
続いて、図４（ｆ）、（ｇ）に示すように、自車両が車線を跨ぐと、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。
なお、図３（ａ）、（ｂ）に示す例では、２車線道路を取り上げて説明したが、これに限られない。例えば、３車線道路の中央車線を走行している自車両が右車線に移動する場合、仮想視点位置が中央車線から左車線にはみ出たら仮想視点位置を右車線上に変更すればよい。また、右車線上ではなく、中央車線と右車線との車線境界線上に仮想視点位置を変更してもよい。
なお、自車両が車線を跨いだか否かについて、視点切替部３５は舵角を用いて判断することができる。一般に車線変更における舵角は、ハンドルの切り増しや切り戻しによって正弦波状に一周期分だけ変化する。例えば、右車線に車線変更する場合、舵角はハンドルの切り増しにより徐々に増加し、ある正のピークをとる。正のピークをとった後はハンドルの切り戻しにより、舵角は中立位置に向かって減少する。舵角は中立位置を超えて減少し、さらに、負のピークを越えた後増加し、最終的に０度となる。なお、この例において、舵角が正とは、ハンドルを時計回り方向に回転させた場合であり、舵角が負とは、ハンドルを反時計回り方向に回転にさせた場合である。舵角が減少から増加に切り替わるタイミングで車線変更が概ね完了したと推測できるため、視点切替部３５は、舵角が減少から増加に切替わったタイミングで自車両が車線を跨いだと判断することができる。また、視点切替部３５は、舵角が最終的に０度になったタイミングで自車両が車線を跨いだと判断してもよい。また、視点切替部３５はフロントカメラ１０などの画像を用いて自車両が車線を跨いだか否かを判断してもよい。
次に、図５に示すフローチャートを参照して、第１実施形態に係る表示支援装置１の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。
ステップＳ１０１において、コントローラ３０は、ウィンカースイッチ１７がオンか否かを判断する。ウィンカースイッチがオンの場合（ステップＳ１０１でＹｅｓ）、処理がステップＳ１０２に進む。一方、ウィンカースイッチがオンでない場合（ステップＳ１０１でＮｏ）、コントローラ３０は待機する。
ステップＳ１０２において、コントローラ３０は、車速センサ１６から車速を取得する。
ステップＳ１０３において、仮想視点位置演算部３２は、取得した車速に基づいて自車両の進行方向に対する仮想視点位置を演算する。
ステップＳ１０４において、コントローラ３０は、フロントカメラ１０などの画像やナビゲーション装置１４から走行環境を取得する。具体的に、コントローラ３０は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第１実施形態では、自車両が走行する道路は直線であると判断されたものとして説明する。自車両が走行する道路はカーブであると判断された場合については、第２実施形態で説明する。
ステップＳ１０５において、仮想視点位置演算部３２は、舵角センサから舵角を取得する。
ステップＳ１０６において、仮想視点位置演算部３２は、取得した舵角に基づいて車幅方向に対する仮想視点位置を演算する。
ステップＳ１０７において、視点切替部３５は、ステップＳ１０６において演算された仮想視点位置が自車線からはみ出すか否かを判断する。仮想視点位置が自車線からはみ出す場合（ステップＳ１０７でＹｅｓ）、処理がステップＳ１０８に進む。一方、仮想視点位置が自車線からはみ出さない場合（ステップＳ１０７でＮｏ）、処理がステップＳ１０５に戻る。
ステップＳ１０８において、視点切替部３５は、仮想視点位置を車線変更先の車線上もしくは車線境界線上に変更する。すなわち、視点切替部３５は、仮想視点位置を自車固定から地面固定に切替える。
ステップＳ１０９において、視点切替部３５は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合（ステップＳ１０９でＹｅｓ）、視点切替部３５は、仮想視点位置を地面固定から自車固定に切替える。一方、自車両が車線を跨いでいない場合（ステップＳ１０９でＮｏ）、処理は待機する。
以上説明したように、第１実施形態に係る表示支援装置１によれば、以下の作用効果が得られる。
表示支援装置１は、検出した舵角に基づいて、仮想視点位置が自車線からはみ出たか否かを判断する。表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を変更する。このように操舵に基づいて仮想視点位置を制御することで、運転者は自車両の周辺状況を把握することができる。
また、表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線側に変更する。もしくは、表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線に隣接する隣接車線上、または自車線と隣接車線との車線境界線上に仮想視点位置を変更する。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ５０上でいち早く知ることができ、合流や車線変更を行いやすくなる。
なお、仮想視点位置が自車固定の場合、仮想視点位置は操舵に連動して移動する。車線変更のように操舵が発生すると、ディスプレイ５０に表示される自車周辺の風景が大きく揺れ、これにより映像酔いが発生する可能性がある。第１実施形態に係る表示支援装置１は、仮想視点位置が自車線からはみ出たと判断した場合、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点を変更する。このように、表示支援装置１は仮想視点位置を自車固定から地面固定に切替えることにより、ディスプレイ５０内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
なお、第１実施形態において、ウィンカースイッチ１７の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。運転者がウィンカースイッチ１７を右側にオンするということは、右車線に車線変更するとの意思の表れである。そこで、ウィンカースイッチ１７の信号が入力された後に、舵角に基づく仮想視点位置の変更処理を開始することにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
また、表示支援装置１は、仮想視点位置を地面固定とし、自車線に固定してもよい。この場合、表示支援装置１は、自車両が車線変更した後に、仮想視点位置を車線変更前の車線上から車線変更先の車線上に移動させることになる。仮想視点位置を移動させるタイミングは、次のように設定することができる。仮想視点位置を自車線に固定する場合、図３（ａ）に示すように、自車両が左車線を走行しているとき、仮想視点位置は仮想視点位置Ｐ１’に固定される。このとき、舵角は中立である。自車両が右車線に車線変更すると、舵角は上述したように正弦波状に変化し、最終的には図３（ａ）の自車位置Ｐ７に示すように、舵角は中立に戻る。そこで、視点切替部３５は、舵角の変化を検出し、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることができる。所定時間を設ける理由は、車線変更の際にハンドルを最終的に中立に戻すタイミングに個人差があるためである。このように車線変更後、舵角が最終的に中立に戻ってから所定時間経過後に、仮想視点位置を切替えることにより、ディスプレイ５０上で自車両が移動する。これにより運転者はディスプレイ５０上で自車両を確認しやすくなる。
［第２実施形態］
次に、図６〜図９を参照して本発明の第２実施形態について説明する。第２実施形態に係る表示支援装置１は、前述した第１実施形態と構成は同一であり、走行シーンが相違する。第１実施形態では走行シーンとして直線道路での動作を説明したが、第２実施形態ではカーブでの動作を説明する。
まず図６を参照して、視点切替部３５が変更する仮想視点位置について説明する。
図６に示す走行シーンは、２車線道路のカーブにおいて右車線（外側車線）を走行している自車両が、左車線（内側車線）に車線変更するシーンである。図６に示すＰ１〜Ｐ３は、自車位置である。また、図６に示すＰ１’〜 Ｐ３’はそれぞれ、自車位置Ｐ１〜Ｐ３に対応する仮想視点位置である。また、図６に示すＲ１〜Ｒ３は、仮想視点から見下ろす俯瞰画像の視野範囲を示す。また、図６に示すＶ２は、後続車両である。
自車両が自車位置Ｐ１で左車線に車線変更する場合、図６に示すように、仮想視点位置Ｐ１’の視野範囲Ｒ１に後続車両Ｖ２が含まれない場合がある。そこで、視点切替部３５は、仮想視点位置Ｐ１’を仮想視点位置Ｐ１”に変更する。具体的には、視点切替部３５は、仮想視点位置Ｐ１”が仮想視点位置Ｐ１’よりカーブ内側に位置するように、かつ仮想視点位置Ｐ１’と仮想視点位置Ｐ１”との間の距離が１車線幅の長さとなるように、仮想視点位置Ｐ１’を仮想視点位置Ｐ１”に変更する。
一般にカーブの曲率が一定であれば、カーブでの運転において、ハンドルは所定の舵角で固定される。以下、カーブに沿って運転するための所定の舵角を、固定舵角という。カーブを走行中に車線変更しない場合、固定舵角に対する舵角の変化量はほぼゼロである。一方、図６に示すように、自車両が自車位置Ｐ１から左車線に車線変更する場合、固定舵角からさらにカーブ旋回方向にハンドルを切り増しすることになる。すなわち、固定舵角に対する舵角の変化量がカーブ旋回方向に増加することになる。視点切替部３５は、舵角の変化量を取得し、取得した変化量と予め設定された閾値とを比較する。視点切替部３５は、取得した変化量が閾値より大きいと判断した場合、仮想視点位置Ｐ１’を１車線幅分だけカーブ内側に移動させ、仮想視点位置Ｐ１”に変更する。これにより、仮想視点位置Ｐ１”の視野範囲Ｒ１’は、後続車両Ｖ２を含むことができる。
自車両が自車位置Ｐ１から自車位置Ｐ２に進んでも、舵角の変化量は閾値より大きい状態のため、仮想視点位置は、オフセットされた状態のまま仮想視点位置Ｐ１”から仮想視点位置Ｐ２”に移動する。これにより、仮想視点位置Ｐ２”の視野範囲Ｒ２’は、仮想視点位置Ｐ２’の視野範囲Ｒ２と比較して、後続車両Ｖ２を含みやすくなる。
自車両が自車位置Ｐ２から自車位置Ｐ３に進み、自車両が車線を跨いだ場合、視点切替部３５は、オフセットを解除する。これにより、自車位置Ｐ３における仮想視点は、仮想視点位置Ｐ３’となる。なお、自車両が車線を跨いだか否かの判断は、第１実施形態で説明した方法と同様の方法を適用することができる。
なお、図６に示す例では、仮想視点位置を１車線幅分だけ移動させたが、移動する距離は、これに限られず適宜変更することができる。また、固定舵角の角度や閾値については、道路のカーブ形状に関するデータなどを用いて実験やシミュレーションにより求めることができる。
また、図６に示す例では、固定舵角に対する舵角の変化量に基づいて仮想視点位置を移動させたが、これに限られない。例えば、図７に示すように、固定舵角に対する舵角の変化量に基づいて仮想視点位置Ｐ１’における仮想視点の視野角をカーブ内側に傾けてもよい。傾ける角度の大きさは、仮想視点位置Ｐ１’から延伸する接線Ｌ１が、カーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置Ｐ１’の視野範囲Ｒ１’は、後続車両Ｖ２を含むことができる。同様に、仮想視点位置Ｐ２’においても、傾ける角度の大きさは、仮想視点位置Ｐ２’から延伸する接線Ｌ２がカーブ内側の車道外側線に接するような大きさに設定することができる。これにより、仮想視点位置Ｐ２’の視野範囲Ｒ２’は、仮想視点位置Ｐ２’の視野範囲Ｒ２と比較して、後続車両Ｖ２を含みやすくなる。
次に、図８を参照して、第２実施形態の他の動作例を説明する。
図８に示す走行シーンは、カーブを有する２車線道路において左車線（内側車線）を走行している自車両が、右車線（外側車線）に車線変更するシーンである。この場合、仮想視点位置Ｐ１’の視野範囲Ｒ１には後続車両Ｖ２が含まれるため、仮想視点位置を変更しなくてもよい。同様に、仮想視点位置Ｐ２’の視野範囲Ｒ２及び仮想視点位置Ｐ３’の視野範囲Ｒ３にも後続車両Ｖ２が含まれるため、仮想視点位置を変更しなくてもよい。そのため、視点切替部３５は、カーブにおいて内側車線から外側車線に車線変更する場合には、仮想視点位置を自車固定のままとする。なお、カーブにおいて内側車線から外側車線に車線変更するか否かの判断については、カーブ旋回方向と逆方向に舵角の変化量が増えた場合、視点切替部３５は、内側車線から外側車線に車線変更すると判断することができる。
次に、図９に示すフローチャートを参照して、第２実施形態に係る表示支援装置１の一動作例について説明する。ただし、ステップＳ２０１〜ステップＳ２０３、ステップＳ２０５の動作はそれぞれ、図５のステップＳ１０１〜１０３、ステップＳ１０５の動作と同じであるため詳細な説明を省略する。
ステップＳ２０４において、コントローラ３０は、フロントカメラ１０などの画像やナビゲーション装置１４から走行環境を取得する。具体的に、コントローラ３０は、自車両が走行する道路が直線かカーブかを判断したり、また後続車両や先行車両の有無などを取得する。ここで、第２実施形態では、自車両が走行する道路はカーブであると判断されたものとして説明する。
ステップＳ２０６において、視点切替部３５は、固定舵角に対し舵角がカーブ旋回方向に変化したか否かを判断する。舵角がカーブ旋回方向に変化した場合（ステップＳ２０６でＹｅｓ）、処理がステップＳ２０７に進む。一方、舵角がカーブ旋回方向とは逆方向に変化した（ステップＳ２０６でＮｏ）、処理がステップＳ２１０に進む。
ステップＳ２０７において、視点切替部３５は、固定舵角に対する舵角の変化量が閾値より大きいか否かを判断する。舵角の変化量が閾値より大きい場合（ステップＳ２０７でＹｅｓ）、処理がステップＳ２０８に進む。一方、舵角の変化量が閾値以下の場合（ステップＳ２０７でＮｏ）、処理がステップＳ２０５に戻る。
ステップＳ２０８において、視点切替部３５は、仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。
ステップＳ２０９において、視点切替部３５は、自車両が車線を跨いだか否かを判断する。自車両が車線を跨いだ場合（ステップＳ２０９でＹｅｓ）、視点切替部３５は、仮想視点位置のオフセットを解除する。一方、自車両が車線を跨いでいない場合（ステップＳ２０９でＮｏ）、処理は待機する。
ステップＳ２１０において、視点切替部３５は、仮想視点位置を自車固定のままとする。
以上説明したように、第２実施形態に係る表示支援装置１によれば、以下の作用効果が得られる。
表示支援装置１は、自車両がカーブを走行中にカーブの外側車線からカーブの内側車線に車線変更する場合、仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。これにより、仮想視点から見下ろす俯瞰画像は、自車後方を広い範囲で含むことができる。これにより、車線変更先の車線に後続車両が存在している場合、運転者は後続車両の存在をディスプレイ５０上でいち早く知ることができ、合流や車線変更を行いやすくなる。
また、仮想視点位置をカーブ内側に移動させることにより、仮想視点位置は道路の中心に近づくことになる。これにより、仮想視点位置が自車両の中心軸上に存在する場合と比較して、ディスプレイ５０内に表示される自車周辺の風景の揺れは小さくなる。すなわち、表示支援装置１は、仮想視点位置をカーブ内側に移動させることにより、ディスプレイ５０内に表示される自車周辺の風景の揺れを抑制でき、映像酔いを低減することができる。
なお、第２実施形態においても第１実施形態と同様にウィンカースイッチ１７の信号が入力された場合に、舵角に基づく仮想視点位置の変更処理を開始するようにしてもよい。これにより、運転者のハンドルの誤動作によって仮想視点位置が変更されるといった事態を防止することができる。
また、ナビゲーション装置１４の地図データベースに格納されているカーブのＲ値を用いて仮想視点位置を変更してもよい。例えば、カーブが進むにつれてカーブのＲ値が小さい場合、カーブはきつくなる。このような場合、運転者はカーブ旋回方向にハンドルを切り増しすることになるが、この切り増しはカーブに対応するものであり、車線変更をする意図ではないと判断できる。そこで、視点切替部３５は、カーブのＲ値と舵角とを比較し、比較結果に応じて仮想視点位置を変更することができる。例えば、カーブのＲ値と舵角が同じ場合、運転者は道なりに進むと判断できるため、視点切替部３５は仮想視点位置を自車固定のままとする。一方、舵角がカーブのＲ値より小さい場合、運転者はカーブの外側車線からカーブの内側車線に車線変更すると判断できるため、視点切替部３５は仮想視点位置をカーブ内側に１車線幅分だけ移動させる、または仮想視点の視野角をカーブ内側に傾ける。また、舵角がカーブのＲ値より大きい場合、運転者はカーブの内側車線からカーブの外側車線に車線変更すると判断できるため、視点切替部３５は仮想視点位置を自車固定のままとする。これにより、表示支援装置１は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ５０に表示することができる。
［第３実施形態］
次に、図１０〜図１３を参照して、本発明の第３実施形態について説明する。第３実施形態が、第１実施形態と異なる点は、図１０に示すように表示支援装置２がレーザレンジファインダー１８を備えることである。第１実施形態と重複する構成については符号を引用してその説明は省略することとし、以下、相違点を中心に説明する。
レーザレンジファインダー１８（周辺検出手段）は、自車両の周辺環境を検出する装置であり、自車両の周辺（例えば３０ｍ以内）に存在する障害物（歩行者、自転車、二輪車、他車両など）を検出する。より詳しくは、レーザレンジファインダー１８は、レーザ光をある角度範囲内で走査し、その時の反射光を受光して、レーザ発射時点と反射光の受光時点との時間差を検出することにより、自車両と障害物との距離や角度などを検出する。レーザレンジファインダー１８は、検出した情報をコントローラ３０に出力する。
次に、図１１（ａ）、（ｂ）を参照して、視点切替部３５が変更する仮想視点位置について説明する。
図１１（ａ）に示すＳは狭路を示す。狭路Ｓとは、電柱Ｍや駐車車両Ｖ３などの障害物の存在によって通常の道幅より狭くなっている道路のことをいう。狭路Ｓについては、レーザレンジファインダー１８が検出する。
図１１（ａ）に示すように、自車両の前方２０ｍ先に狭路Ｓが存在し、かつ自車両が自車位置Ｐ１で狭路Ｓの中心と正対する場合、仮想視点位置Ｐ１’から見下ろす俯瞰画像の中心と狭路Ｓの中心が重なる。これにより、ディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
一方、図１１（ｂ）に示すように、自車両の前方２０ｍ先に狭路Ｓが存在し、かつ自車両が自車位置Ｐ１で狭路Ｓの中心と正対していない場合、仮想視点位置Ｐ１’から見下ろす俯瞰画像の中心と狭路Ｓの中心がずれることになる。この場合、ディスプレイ５０の中心に狭路Ｓが表示されないため、運転者が狭路Ｓの存在を見落とす場合が考えられる。
そこで、自車両が狭路Ｓの中心に正対していない場合、視点切替部３５は、図１１（ｂ）に示すように仮想視点位置を仮想視点位置Ｐ１’から仮想視点位置Ｐ１”に変更する。すなわち、視点切替部３５は、仮想視点位置を自車固定から地面固定に変更し、仮想視点位置が狭路Ｓの中心に正対する位置になるように変更する。これにより、仮想視点位置Ｐ１”から見下ろす俯瞰画像の中心と狭路Ｓの中心が重なることになる。これにより、図１２に示すように、自車両Ｖ１が狭路Ｓの中心に正対していない場合でもディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
次に、図１３に示すフローチャートを参照して、第３実施形態に係る表示支援装置２の一動作例について説明する。ただし、ステップＳ３０１〜ステップＳ３０３の動作はそれぞれ、図５のステップＳ１０２〜１０４の動作と同じであるため詳細な説明を省略する。
ステップＳ３０４において、コントローラ３０は、自車前方に狭路Ｓが存在するか否かをレーザレンジファインダー１８の出力から判断する。狭路Ｓが存在する場合（ステップＳ３０４でＹｅｓ）、処理がステップＳ３０５に進む。一方、狭路Ｓが存在しない場合（ステップＳ３０４でＮｏ）、処理は待機する。
ステップＳ３０５において、コントローラ３０は、レーザレンジファインダー１８の出力から狭路Ｓまでの距離を検出する。
ステップＳ３０６において、コントローラ３０は、狭路Ｓまでの距離が所定値以下か否かを判断する。所定値とは、例えば２０ｍである。狭路Ｓまでの距離が所定値以下の場合（ステップＳ３０６でＹｅｓ）、処理がステップＳ３０７に進む。一方、狭路Ｓまでの距離が所定値より大きい場合（ステップＳ３０６でＮｏ）、処理は待機する。なお、狭路Ｓまでの距離が所定値以下か否かを判断する理由は、所定値より離れた距離に狭路Ｓが存在する場合、運転者に狭路Ｓの存在を通知するのはまだ早いからである。
ステップＳ３０７において、コントローラ３０は、仮想視点位置が狭路Ｓの中心に正対しているか否かを判断する。仮想視点位置が狭路Ｓの中心に正対していない場合（ステップＳ３０７でＮｏ）、処理がステップＳ３０８に進む。一方、仮想視点位置が狭路Ｓの中心に正対している場合（ステップＳ３０７でＹｅｓ）、処理がステップＳ３０９に進む。
ステップＳ３０８において、視点切替部３５は、仮想視点位置が狭路Ｓの中心に正対するように変更する。
ステップＳ３０９において、視点切替部３５は、仮想視点位置を自車固定のままとする。
以上説明したように、第３実施形態に係る表示支援装置２によれば、以下の作用効果が得られる。
表示支援装置２は、狭路Ｓを検出した場合、仮想視点位置が狭路Ｓの中心に正対しているか否かを判断する。そして、表示支援装置２は、仮想視点位置が狭路Ｓの中心に正対していない場合、仮想視点位置が狭路Ｓの中心に正対するように仮想視点位置を変更する。一方、表示支援装置２は、仮想視点位置が狭路Ｓの中心に正対している場合、仮想視点位置を自車固定のままとする。これにより、ディスプレイ５０の中心に狭路Ｓが表示されるため、運転者はいち早くディスプレイ５０上で狭路Ｓの存在に気づくことができる。
なお、第１実施形態及び第２実施形態では、舵角に基づいて仮想視点位置を変更したが、第３実施形態においても、舵角を用いて仮想視点位置を変更してもよい。例えば、自車両の前方に狭路Ｓが存在する場合、運転者は車線を変更して狭路Ｓを避けるか、あるいはハンドルを微調整して狭路Ｓを通り抜けることが考えられる。そこで、表示支援装置２は、舵角の変化を無視する不感帯を設定し、舵角が不感帯内か否かを判断することができる。舵角が不感帯内であれば、運転者はハンドルを微調整して狭路Ｓを通り抜けると考えられるため、表示支援装置２は、仮想視点位置を狭路Ｓの中心に正対させる。一方、舵角が不感帯を超える場合、運転者は車線を変更して狭路Ｓを避けると考えられるため、表示支援装置２は、仮想視点位置を自車線から車線変更先の車線上または自車線と車線変更先の車線との車線境界線上に仮想視点位置を変更する。これにより、表示支援装置２は、運転者の操舵に応じて、運転者が注力すべき周辺状況をディスプレイ５０に表示することができる。なお、不感帯については、実験やシミュレーションを通じて求めることができる。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、図１４（ａ）に示すように、自車両が中央車線から右車線に車線変更しようとする際に、ディスプレイ５０に表示される自車両Ｖ１（自車アイコン）に対し、自車両Ｖ１の上端を示す上端線Ｌ３と、自車両Ｖ１の下端を示す下端線Ｌ４を自車線から延長して車線変更先の右車線に重畳してもよい。これにより、運転者は、ディスプレイ５０上で自車両の位置を把握しやすくなる。また、右車線に後続車両が存在する場合、運転者は後続車両との車間距離が把握しやすくなる。なお、合成部３６は、上端線Ｌ３と下端線Ｌ４を車線変更先の右車線にのみ重畳するようにしてもよい。
また、図１４（ｂ）に示すように、自車両Ｖ１を透視可能な透明性を有するアイコンとしてディスプレイ５０に表示してもよい。これにより、運転者は先行車両Ｖ４及び後続車両Ｖ２と自車両Ｖ１を区別しやすくなり、自車両Ｖ１の周辺状況を把握しやすくなる。
また、図１４（ｃ）に示すように、自車両Ｖ１をディスプレイ５０の中央より上に表示するように加工してもよい。これにより、運転者は、後続車両の存在を確認しやすくなる。
本発明では舵角に基づいて仮想視点位置を変更したが、これに限定されない。例えば、ヨーレートセンサを用い、検出したヨーレートに基づいて仮想視点位置を変更してもよい。
また、本発明は、自動運転車両に適用することができる。
特願２０１５−１９９９１８号（出願日：２０１５年１０月８日）の全内容は、ここに援用される。
１０ フロントカメラ
１１ ライトカメラ
１２ レフトカメラ
１３ リアカメラ
１４ ナビゲーション装置
１５ 舵角センサ
１６ 車速センサ
１７ ウィンカースイッチ
１８ レーザレンジファインダー
３０ コントローラ
３１ 車線検出部
３２ 仮想視点位置演算部
３３ 視点変換部
３４ 記憶部
３５ 視点切替部
３６ 合成部
５０ ディスプレイ

Claims (10)

  1. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援装置において、
    前記車両が走行している走行車線から隣接する隣接車線に車線変更するか否かを判定し、前記車線変更すると判定した場合に、前記仮想視点の位置を変更する変更手段を備え、
    前記変更手段は、前記車両がカーブを走行中に前記カーブの外側車線から前記カーブの内側車線に車線変更する場合、前記仮想視点の位置をカーブ内側に移動させる、または前記仮想視点の視野角を前記カーブ内側に傾け、
    前記変更手段は、前記車両が前記カーブを走行中に前記カーブの内側車線から前記カーブの外側車線に車線変更する場合、前記仮想視点の位置を前記カーブ内側に移動させる、または前記仮想視点の視野角を前記カーブの外側に傾けることを特徴とする表示支援装置。
  2. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援装置において、
    前記車両が走行している走行車線から隣接する隣接車線に車線変更するか否かを判定し、前記車線変更すると判定した場合に、前記仮想視点の位置を変更する変更手段と、
    前記車両の周辺環境を検出する周辺検出手段とを備え、
    前記変更手段は、前記周辺検出手段によって前記車両の前方に狭路が検出された場合、前記仮想視点が前記狭路の中心に正対するように前記仮想視点の位置を変更することを特徴とする表示支援装置。
  3. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援装置において、
    前記車両が走行している走行車線から隣接する隣接車線に車線変更するか否かを判定し、前記車線変更すると判定した場合に、前記仮想視点の位置を変更する変更手段を備え、
    前記変更手段は、前記仮想視点の位置が自車線からはみ出た場合に、前記仮想視点の位置を変更することを特徴とする表示支援装置。
  4. 前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を前記隣接車線側に変更することを特徴とする請求項３に記載の表示支援装置。
  5. 前記変更手段は、前記車両が走行している走行車線から隣接する隣接車線に車線変更する場合、前記仮想視点の位置を隣接車線上または前記走行車線と前記隣接車線との境界線上に変更することを特徴とする請求項３または４に記載の表示支援装置。
  6. 前記俯瞰画像を加工する加工手段をさらに備え、
    前記加工手段は、前記自車アイコンの上端を示す上端線と、前記自車アイコンの下端を示す下端線を前記隣接車線に重畳することを特徴とする請求項４または５に記載の表示支援装置。
  7. 前記加工手段は、前記自車アイコンを透視可能な透明性を有するアイコンとして重畳することを特徴とする請求項６に記載の表示支援装置。
  8. 前記加工手段は、前記自車アイコンを前記俯瞰画像の中央より上に重畳することを特徴とする請求項６または７に記載の表示支援装置。
  9. 前記変更手段は、前記車両が車線変更した後、所定時間経過後に前記仮想視点の位置を車線変更後の車線上に変更することを特徴とする請求項３に記載の表示支援装置。
  10. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する表示支援方法において、
    前記車両が走行している走行車線から隣接する隣接車線に車線変更するか否かを判定する第１ステップと、
    前記車線変更すると判定した場合に、前記仮想視点の位置を変更する第２ステップとを備え、
    前記第２ステップにおいて、前記仮想視点の位置が自車線からはみ出た場合に、前記仮想視点の位置を変更することを特徴とする表示支援方法。
JP2017544426A 2015-10-08 2016-09-09 表示支援装置及び表示支援方法 Active JP6521086B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015199918 2015-10-08
JP2015199918 2015-10-08
PCT/JP2016/076566 WO2017061230A1 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法

Publications (2)

Publication Number Publication Date
JPWO2017061230A1 JPWO2017061230A1 (ja) 2018-09-13
JP6521086B2 true JP6521086B2 (ja) 2019-05-29

Family

ID=58487396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544426A Active JP6521086B2 (ja) 2015-10-08 2016-09-09 表示支援装置及び表示支援方法

Country Status (10)

Country Link
US (1) US10311618B2 (ja)
EP (1) EP3361721B1 (ja)
JP (1) JP6521086B2 (ja)
KR (1) KR101983957B1 (ja)
CN (1) CN108141569B (ja)
BR (1) BR112018007131A2 (ja)
CA (1) CA3001287C (ja)
MX (1) MX367989B (ja)
RU (1) RU2678436C1 (ja)
WO (1) WO2017061230A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962397B2 (ja) * 2016-03-15 2021-11-05 株式会社デンソー 表示制御装置及び表示制御方法
JP6665605B2 (ja) * 2016-03-15 2020-03-13 株式会社デンソー 表示制御装置及び表示制御方法
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
KR102254973B1 (ko) * 2017-04-25 2021-05-24 현대모비스 주식회사 주행 차선 안내 장치 및 그 제어 방법
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP2019036832A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP7056034B2 (ja) * 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
EP3675484B1 (en) * 2017-08-25 2022-02-23 Nissan Motor Co., Ltd. Surrounding vehicle display method and surrounding vehicle display apparatus
CN111034186B (zh) * 2017-08-25 2021-04-02 日产自动车株式会社 周围车辆显示方法及周围车辆显示装置
JP2019053008A (ja) * 2017-09-19 2019-04-04 日産自動車株式会社 走行支援装置の状態表示方法及び状態表示装置
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
US11225193B2 (en) * 2017-10-26 2022-01-18 Harman International Industries, Incorporated Surround view system and method thereof
EP3738850A4 (en) * 2018-01-10 2021-03-10 Hitachi Automotive Systems, Ltd. DRIVER ASSISTANCE DEVICE, DRIVER ASSISTANCE PROCEDURE AND DRIVER ASSISTANCE SYSTEM
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
KR20200069542A (ko) * 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
CN111409553B (zh) * 2019-01-08 2024-02-20 上汽通用五菱汽车股份有限公司 一种adas显示装置与方法
DE102019202581B4 (de) * 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
KR102572785B1 (ko) * 2020-04-21 2023-08-31 주식회사 에이치엘클레무브 운전자 보조 시스템
JP2022016908A (ja) * 2020-07-13 2022-01-25 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
CN115097632B (zh) * 2022-07-22 2024-01-26 北京经纬恒润科技股份有限公司 一种ar-hud转向辅助显示方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369648A1 (en) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP5058491B2 (ja) * 2006-02-09 2012-10-24 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
JP4893945B2 (ja) 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5523448B2 (ja) * 2009-04-23 2014-06-18 パナソニック株式会社 運転支援システム、情報表示装置、及び情報表示プログラム
JP5412979B2 (ja) * 2009-06-19 2014-02-12 コニカミノルタ株式会社 周辺表示装置
JP5209578B2 (ja) 2009-07-28 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
JP5519479B2 (ja) * 2010-11-29 2014-06-11 パナソニック株式会社 運転支援表示装置
JP5724446B2 (ja) 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP5798392B2 (ja) * 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置
MY180606A (en) * 2011-08-02 2020-12-03 Nissan Motor Driving assistance device and driving assistance method
JP5915728B2 (ja) * 2012-03-02 2016-05-11 日産自動車株式会社 立体物検出装置
US20130293683A1 (en) * 2012-05-03 2013-11-07 Harman International (Shanghai) Management Co., Ltd. System and method of interactively controlling a virtual camera
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5904093B2 (ja) 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
US9406234B2 (en) * 2015-01-02 2016-08-02 Atieva, Inc. Automatically activated blind spot camera system

Also Published As

Publication number Publication date
EP3361721A4 (en) 2018-08-15
US20180286095A1 (en) 2018-10-04
JPWO2017061230A1 (ja) 2018-09-13
EP3361721A1 (en) 2018-08-15
BR112018007131A2 (ja) 2018-11-06
KR20180053710A (ko) 2018-05-23
MX367989B (es) 2019-09-13
MX2018004231A (es) 2018-05-15
CA3001287C (en) 2020-01-14
RU2678436C1 (ru) 2019-01-29
US10311618B2 (en) 2019-06-04
CA3001287A1 (en) 2017-04-13
CN108141569B (zh) 2020-04-28
EP3361721B1 (en) 2020-02-26
KR101983957B1 (ko) 2019-05-29
WO2017061230A1 (ja) 2017-04-13
CN108141569A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP6521086B2 (ja) 表示支援装置及び表示支援方法
JP4855158B2 (ja) 運転支援装置
JP5172314B2 (ja) ステレオカメラ装置
CN111226267B (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP4432801B2 (ja) 運転支援装置
US9508258B2 (en) Intersection guide system, method, and program
US20120221207A1 (en) Sensor controller, navigation device, and sensor control method
JP6695049B2 (ja) 表示装置及び表示制御方法
CN111052733A (zh) 周围车辆显示方法及周围车辆显示装置
WO2017110144A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6917330B2 (ja) 駐車支援装置
JP2012153256A (ja) 画像処理装置
JP6186905B2 (ja) 車載表示装置およびプログラム
JP2018151903A (ja) 虚像表示装置及びコンピュータプログラム
JP2018092290A (ja) 車両用表示装置
JP6873350B2 (ja) 表示制御装置及び表示制御方法
JP6555413B2 (ja) 移動体周囲表示方法及び移動体周囲表示装置
JP6295868B2 (ja) 車両用表示装置
JP6361347B2 (ja) 車両用表示装置
JP6349890B2 (ja) 運転支援装置
JP2018019155A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2021015090A1 (ja) 制御装置
JP2005104401A (ja) 駐車支援装置および方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R151 Written notification of patent or utility model registration

Ref document number: 6521086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151