JP6821124B2 - Driving support devices, driving support methods and programs - Google Patents

Driving support devices, driving support methods and programs Download PDF

Info

Publication number
JP6821124B2
JP6821124B2 JP2017087295A JP2017087295A JP6821124B2 JP 6821124 B2 JP6821124 B2 JP 6821124B2 JP 2017087295 A JP2017087295 A JP 2017087295A JP 2017087295 A JP2017087295 A JP 2017087295A JP 6821124 B2 JP6821124 B2 JP 6821124B2
Authority
JP
Japan
Prior art keywords
vehicle
image
course
predicted course
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017087295A
Other languages
Japanese (ja)
Other versions
JP2018184091A (en
Inventor
山田　哲
哲 山田
富光夫 塚本
富光夫 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017087295A priority Critical patent/JP6821124B2/en
Publication of JP2018184091A publication Critical patent/JP2018184091A/en
Application granted granted Critical
Publication of JP6821124B2 publication Critical patent/JP6821124B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、運転支援装置、運転支援方法およびプログラムに関する。 The present invention relates to a driving support device, a driving support method and a program.

近年、駐車時の運転を支援する目的で、車載カメラで撮像した車両周辺画像を運転者に提示する装置が知られている。例えば、車両後方を撮像した後方画像が表示されたり、複数の車載カメラからの画像を結合して生成される俯瞰画像が表示されたりする。また、俯瞰画像には、自車両の前方障害物に対する接触防止用のガイド表示や、自車両の操舵量に応じて自車両の駐車予定位置を示すガイド表示などが重畳される（例えば、特許文献１参照）。 In recent years, a device for presenting a vehicle peripheral image captured by an in-vehicle camera to a driver has been known for the purpose of supporting driving during parking. For example, a rear image obtained by capturing the rear of the vehicle may be displayed, or a bird's-eye view image generated by combining images from a plurality of in-vehicle cameras may be displayed. In addition, a guide display for preventing contact with an obstacle in front of the own vehicle and a guide display indicating the planned parking position of the own vehicle according to the steering amount of the own vehicle are superimposed on the bird's-eye view image (for example, Patent Documents). 1).

特開２００６−２７３３４号公報Japanese Unexamined Patent Publication No. 2006-27334

駐車時には、自車両の周辺の他車両や障害物への接触に注意しつつ、ステアリングホイールの舵角を調整しながら自車両を運転する必要がある。駐車場のスペースが狭い場合などには、自車両の位置に応じて舵角を変化させつつ、自車両を少しずつ前進または後退させなければならないことも多い。このような状況下において、運転者の適切な運転操作をより細やかに支援できる表示がなされることが好ましい。 When parking, it is necessary to drive the own vehicle while adjusting the steering angle of the steering wheel while paying attention to contact with other vehicles and obstacles around the own vehicle. When the parking space is small, it is often necessary to move the vehicle forward or backward little by little while changing the steering angle according to the position of the vehicle. Under such circumstances, it is preferable that a display that can support the proper driving operation of the driver in more detail is provided.

本発明は、上述の事情に鑑みてなされたものであり、自車両の予測進路をより分かりやすく表示する技術を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for displaying the predicted course of the own vehicle in a more understandable manner.

本発明のある態様の運転支援装置は、自車両の進路予測に用いる情報および自車両の周辺状況を示す情報を取得する取得部と、取得部が取得する情報を用いて、自車両の予測進路を算出し、自車両の予測進路上の障害物を検知する進路予測部と、取得部が取得した自車両の車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って車両画像の表示位置が車両周辺画像上で変化する予測進路画像を生成する画像生成部と、予測進路画像を表示装置に表示させる表示制御部と、を備える。画像生成部は、自車両の予測進路上に障害物が検知される場合、そうでない場合と比較して表示態様が異なる予測進路画像を生成する。 The driving support device of a certain aspect of the present invention uses an acquisition unit that acquires information used for predicting the course of the own vehicle and information indicating the surrounding situation of the own vehicle, and an acquisition unit that acquires the information acquired by the acquisition unit to predict the predicted course of the own vehicle. Is calculated, and the course prediction unit that detects obstacles on the predicted course of the own vehicle and the vehicle image showing the predicted position of the own vehicle are superimposed on the vehicle peripheral image of the own vehicle acquired by the acquisition unit, and the own vehicle It includes an image generation unit that generates a predicted course image in which the display position of the vehicle image changes on the vehicle peripheral image along the predicted course, and a display control unit that displays the predicted course image on the display device. When an obstacle is detected on the predicted course of the own vehicle, the image generation unit generates a predicted course image having a different display mode as compared with the case where the obstacle is not detected.

本発明の別の態様は、運転支援方法である。この方法は、自車両の進路予測に用いる情報を取得して自車両の予測進路を算出するステップと、自車両の周辺状況を示す情報を取得して自車両の予測進路上の障害物を検知するステップと、自車両の周辺を撮像した車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って車両画像の表示位置が車両周辺画像上で変化する予測進路画像を生成するステップと、予測進路画像を表示装置に表示させるステップと、を備える。予測進路画像は、自車両の予測進路上に障害物が検知される場合、そうでない場合と比較して表示態様が異なるように生成される。 Another aspect of the present invention is a driving support method. This method acquires the information used for predicting the course of the own vehicle and calculates the predicted course of the own vehicle, and acquires the information indicating the surrounding situation of the own vehicle to detect obstacles on the predicted course of the own vehicle. The step to be performed and the vehicle image showing the predicted position of the own vehicle are superimposed on the vehicle peripheral image obtained by capturing the periphery of the own vehicle, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. It includes a step of generating a predicted course image and a step of displaying the predicted course image on a display device. The predicted course image is generated so that when an obstacle is detected on the predicted course of the own vehicle, the display mode is different from that in the case where the obstacle is not detected.

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components or the components and expressions of the present invention that are mutually replaced between methods, devices, systems, and the like are also effective as aspects of the present invention.

本発明によれば、自車両の予測進路をより分かりやすく表示できる。 According to the present invention, the predicted course of the own vehicle can be displayed more clearly.

自車両を駐車スペースに駐車させる状況を模式的に示す図である。It is a figure which shows typically the situation which own vehicle is parked in a parking space. 運転支援装置の構成を模式的に示す機能ブロック図である。It is a functional block diagram which shows typically the structure of the driving support device. 予測進路の軌跡を模式的に示す図である。It is a figure which shows typically the locus of a predicted course. 予測進路上の障害物の検知方法を模式的に説明するための図である。It is a figure for exemplifying the detection method of the obstacle in the predicted course. 予測進路上の障害物の検知方法を模式的に説明するための図である。It is a figure for exemplifying the detection method of the obstacle in the predicted course. 予測進路画像を模式的に示す図である。It is a figure which shows the predicted course image schematically. 予測進路画像のアニメーション表示を模式的に示す図である。It is a figure which shows typically the animation display of the predicted course image. 予測進路画像のアニメーション表示を模式的に示す図である。It is a figure which shows typically the animation display of the predicted course image. 図９（ａ）及び（ｂ）は、変形例に係る予測進路画像を模式的に示す図である。9 (a) and 9 (b) are diagrams schematically showing a predicted course image according to a modified example. 変形例に係る予測進路画像のアニメーション表示を模式的に示す図である。It is a figure which shows typically the animation display of the predicted course image which concerns on a modification. 変形例に係る予測進路画像のアニメーション表示を模式的に示す図である。It is a figure which shows typically the animation display of the predicted course image which concerns on a modification. 運転支援方法の流れを模式的に示すフローチャートである。It is a flowchart which shows the flow of the driving support method schematically.

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The specific numerical values and the like shown in such an embodiment are merely examples for facilitating the understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are designated by the same reference numerals to omit duplicate description, and elements not directly related to the present invention are not shown. To do.

図１は、自車両６０を駐車スペース５２に駐車させる状況を模式的に示す図であり、自車両６０を後退させて駐車スペース５２に進入させる様子を示す。駐車場５０には、複数の駐車スペースが並んで配置されており、空いている駐車スペース５２の両側には他車両６２ａ，６２ｂが駐車されている。また、駐車スペース５２の前方にも他車両６２ｃ，６２ｄが駐車されている。このような状況下において、自車両６０を運転する運転者は、自車の周辺に位置する他車両６２ａ，６２ｂ，６２ｃ，６２ｄへの接触を防ぎながら、空いている駐車スペース５２内に自車両６０が収まるように運転操作をする必要がある。 FIG. 1 is a diagram schematically showing a situation in which the own vehicle 60 is parked in the parking space 52, and shows a state in which the own vehicle 60 is retracted to enter the parking space 52. A plurality of parking spaces are arranged side by side in the parking lot 50, and other vehicles 62a and 62b are parked on both sides of the vacant parking space 52. In addition, other vehicles 62c and 62d are parked in front of the parking space 52. Under such circumstances, the driver who drives the own vehicle 60 can prevent the own vehicle from coming into contact with other vehicles 62a, 62b, 62c, 62d located in the vicinity of the own vehicle and in the vacant parking space 52. It is necessary to operate the operation so that the 60 can be accommodated.

熟練した運転者であれば、駐車時の運転操作がそれほど難しくない場合もある。しかしながら、駐車を苦手とする運転者は一定数存在し、特に駐車場５０内の限られたスペースの中で周辺の障害物との接触を避けながら、駐車スペース５２に向けてスムーズに自車両６０を進めることに困難性を感じることが多い。その原因として、自車両６０の周辺の状況を正確に把握することが難しいこと、及び、自車両６０の進路を正確に予測することが難しいことが挙げられる。その結果、ステアリングホイールの舵角を調整しながら少しずつ自車両６０を後退または前進させ、その都度、周囲の状況を把握する手間が生じる。また、周辺の障害物と自車両６０が接触しそうな場合や、駐車スペース５２の枠から自車両６０がはみ出てしまうような場合には、駐車をはじめからやり直したり、切り返しが必要となったりするため、非常に手間となる。さらには、駐車のやり直しや切り返しにおいても周辺の障害物と接触しないように注意を払わなければならず、運転者を悩ませることになる。 If you are a skilled driver, the driving operation when parking may not be so difficult. However, there are a certain number of drivers who are not good at parking, and especially in the limited space in the parking lot 50, the own vehicle 60 smoothly moves toward the parking space 52 while avoiding contact with surrounding obstacles. I often find it difficult to proceed. The reasons for this are that it is difficult to accurately grasp the situation around the own vehicle 60 and that it is difficult to accurately predict the course of the own vehicle 60. As a result, it takes time and effort to move the own vehicle 60 backward or forward little by little while adjusting the steering angle of the steering wheel, and to grasp the surrounding situation each time. In addition, when the own vehicle 60 is likely to come into contact with a surrounding obstacle, or when the own vehicle 60 protrudes from the frame of the parking space 52, it may be necessary to restart the parking from the beginning or turn back. Therefore, it is very troublesome. In addition, care must be taken not to come into contact with surrounding obstacles when re-parking or turning back, which bothers the driver.

本実施の形態によれば、自車両６０の周辺の状況および自車両６０の予測進路を分かりやすく表示する運転支援装置が提供される。この運転支援装置は、車両周辺画像上に自車両６０の予測位置を示す車両画像を重畳した予測進路画像を生成し、自車両６０の予測進路の軌跡に沿って車両画像がアニメーションのように移動する予測進路画像を表示する。また、予測進路上に障害物が検知される場合には、そうでない場合と比較して表示態様の異なる予測進路画像を表示し、予測進路上の障害物に接触する可能性があることを注意喚起する。本実施の形態によれば、車両周辺画像により自車両６０の周囲の状況を示しつつ、その画像上での自車両６０の予測進路が動画で分かりやすく示される。そのため、運転者は、自車両６０の舵角が妥当であるかどうか、現在の舵角を維持したまま自車両６０をどの程度の距離まで進めてよいか等を直感的に把握できる。これにより、駐車時の運転操作の困難性を低減し、運転操作を好適に支援することができる。 According to the present embodiment, a driving support device for displaying the situation around the own vehicle 60 and the predicted course of the own vehicle 60 in an easy-to-understand manner is provided. This driving support device generates a predicted course image in which a vehicle image showing the predicted position of the own vehicle 60 is superimposed on the vehicle peripheral image, and the vehicle image moves like an animation along the trajectory of the predicted course of the own vehicle 60. Display the predicted course image. In addition, if an obstacle is detected on the predicted course, a predicted course image with a different display mode may be displayed as compared with the case where it is not, and it may come into contact with an obstacle on the predicted course. Awaken. According to the present embodiment, the surrounding situation of the own vehicle 60 is shown by the image around the vehicle, and the predicted course of the own vehicle 60 on the image is shown in an easy-to-understand manner by a moving image. Therefore, the driver can intuitively grasp whether the steering angle of the own vehicle 60 is appropriate, how far the own vehicle 60 can be advanced while maintaining the current steering angle, and the like. As a result, the difficulty of the driving operation at the time of parking can be reduced, and the driving operation can be suitably supported.

図２は、運転支援装置１０の構成を模式的に示す機能ブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。 FIG. 2 is a functional block diagram schematically showing the configuration of the driving support device 10. Each functional block shown in the figure can be realized by elements and mechanical devices such as a computer CPU and memory in terms of hardware, and by a computer program or the like in terms of software. Here, by linking them. It is drawn as a functional block to be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.

運転支援装置１０は、タッチディスプレイ１２と、制御装置１８とを備える。タッチディスプレイ１２は、表示装置１４と、入力装置１６とを有する。表示装置１４は、液晶ディスプレイ等の表示装置であり、車両のセンターコンソールやダッシュボードの位置に取り付けられる。入力装置１６は、いわゆるタッチパネル式のセンサであり、表示装置１４の表示領域に設けられる。なお、入力装置１６はタッチ式ではなく、表示装置１４の周辺に配置されるボタン等で構成されてもよい。また、表示装置１４は、車両後方を視認するためのリアビューミラーの位置に設けられてもよいし、ヘッドアップディスプレイとして構成されてもよい。運転支援装置１０は、タッチディスプレイ１２を備えず、運転支援装置１０とは別のディスプレイ等の表示装置の表示を制御してもよい。 The driving support device 10 includes a touch display 12 and a control device 18. The touch display 12 has a display device 14 and an input device 16. The display device 14 is a display device such as a liquid crystal display, and is attached to a position of a center console or a dashboard of a vehicle. The input device 16 is a so-called touch panel type sensor, and is provided in the display area of the display device 14. The input device 16 is not a touch type, but may be composed of buttons or the like arranged around the display device 14. Further, the display device 14 may be provided at a position of a rear view mirror for visually recognizing the rear of the vehicle, or may be configured as a head-up display. The driving support device 10 does not include the touch display 12, and may control the display of a display device such as a display different from the driving support device 10.

制御装置１８は、自車両６０の予測進路画像を生成し、生成した予測進路画像を表示装置１４に表示させる。制御装置１８は、車載カメラ３０、舵角センサ３２、車速センサ３４、シフトレバー３６、及び、障害物センサ３８と接続されており、これらから予測進路画像の生成に必要な情報を取得する。なお、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を通じてこれらの情報を取得してもよい。 The control device 18 generates a predicted course image of the own vehicle 60, and displays the generated predicted course image on the display device 14. The control device 18 is connected to an in-vehicle camera 30, a steering angle sensor 32, a vehicle speed sensor 34, a shift lever 36, and an obstacle sensor 38, and acquires information necessary for generating a predicted course image from these. In addition, this information may be acquired through CAN (Control Area Network).

制御装置１８は、取得部２２と、進路予測部２４と、画像生成部２６と、表示制御部２８と、を備える。 The control device 18 includes an acquisition unit 22, a course prediction unit 24, an image generation unit 26, and a display control unit 28.

取得部２２は、自車両の進路予測に用いる情報を取得する。取得部２２は、舵角センサ３２から自車両６０の舵角を示す情報を取得し、車速センサ３４から自車両６０の車速を示す情報を取得する。取得部２２は、シフトレバー３６からシフトレバー位置を示す情報を取得し、自車両６０が前進または後退のいずれをするかについての情報を取得する。 The acquisition unit 22 acquires information used for predicting the course of the own vehicle. The acquisition unit 22 acquires information indicating the steering angle of the own vehicle 60 from the steering angle sensor 32, and acquires information indicating the vehicle speed of the own vehicle 60 from the vehicle speed sensor 34. The acquisition unit 22 acquires information indicating the shift lever position from the shift lever 36, and acquires information on whether the own vehicle 60 moves forward or backward.

取得部２２は、自車両の周辺状況を示す情報を取得する。取得部２２は、車載カメラ３０から自車両６０の周辺を撮像した画像を取得する。取得部２２は、例えば、自車両６０の前後左右の４箇所に設けられる複数のカメラのそれぞれが撮像する画像を取得し、自車両６０の周辺を上空から見ているかのように視点変換処理が施された俯瞰画像を生成可能にする。なお、取得部２２が取得する画像は特に限られず、例えば自車両６０の後方画像など、自車両６０の周辺状況を示す車両周辺画像を生成するために必要な任意の画像を取得してよい。 The acquisition unit 22 acquires information indicating the surrounding situation of the own vehicle. The acquisition unit 22 acquires an image of the periphery of the own vehicle 60 from the in-vehicle camera 30. For example, the acquisition unit 22 acquires images captured by each of the plurality of cameras provided at the front, rear, left, and right of the own vehicle 60, and performs the viewpoint conversion process as if the periphery of the own vehicle 60 is viewed from the sky. Enables the generation of a bird's-eye view image. The image acquired by the acquisition unit 22 is not particularly limited, and an arbitrary image necessary for generating a vehicle peripheral image showing the surrounding situation of the own vehicle 60, such as a rear image of the own vehicle 60, may be acquired.

取得部２２は、障害物センサ３８から自車両６０の周辺に存在する障害物を検知する。取得部２２は、例えば、自車両６０の前後左右の複数箇所に設けられるセンサから自車両６０から障害物までの距離および方向に関する情報を取得する。障害物センサ３８の形式は特に限定されないが、例えば、超音波センサ、赤外線センサ、ミリ波レーダ、ステレオカメラや、ＬＩＤＡＲ（Light Detection and Ranging）センサなどを用いることができる。その他、自車両６０が移動する間に車載カメラ３０が撮像した複数の画像を比較して得られる視差情報から自車両６０の周辺の障害物までの距離が算出されてもよい。 The acquisition unit 22 detects an obstacle existing around the own vehicle 60 from the obstacle sensor 38. For example, the acquisition unit 22 acquires information on the distance and direction from the own vehicle 60 to an obstacle from sensors provided at a plurality of front, rear, left, and right positions of the own vehicle 60. The type of the obstacle sensor 38 is not particularly limited, and for example, an ultrasonic sensor, an infrared sensor, a millimeter wave radar, a stereo camera, a LIDAR (Light Detection and Ranging) sensor, and the like can be used. In addition, the distance to an obstacle in the vicinity of the own vehicle 60 may be calculated from the parallax information obtained by comparing a plurality of images captured by the in-vehicle camera 30 while the own vehicle 60 is moving.

進路予測部２４は、取得部２２が取得した情報を用いて自車両６０の予測進路を算出する。進路予測部２４は、主に舵角情報およびシフトレバー位置情報に基づいて、自車両６０の予測進路を算出する。例えば、シフトレバーがＤレンジなどの前進可能な位置にある場合、舵角に基づいて自車両６０の前方の進路を予測する。一方、シフトレバーがＲレンジなどの後退可能な位置にある場合、舵角に基づいて自車両６０の後方の進路を予測する。進路予測部２４は、自車両６０の近傍の限られた範囲の進路を予測し、例えば、自車両６０から５ｍ〜１５ｍ程度の範囲について進路を予測する。進路予測部２４の予測範囲は、車両周辺画像７０に含まれる範囲に限定されてもよい。 The course prediction unit 24 calculates the predicted course of the own vehicle 60 using the information acquired by the acquisition unit 22. The course prediction unit 24 calculates the predicted course of the own vehicle 60 mainly based on the steering angle information and the shift lever position information. For example, when the shift lever is in a position where it can move forward, such as in the D range, the course ahead of the own vehicle 60 is predicted based on the steering angle. On the other hand, when the shift lever is in a retractable position such as the R range, the rear course of the own vehicle 60 is predicted based on the steering angle. The course prediction unit 24 predicts a course in a limited range in the vicinity of the own vehicle 60, and predicts a course in a range of about 5 m to 15 m from the own vehicle 60, for example. The prediction range of the course prediction unit 24 may be limited to the range included in the vehicle peripheral image 70.

図３は、予測進路の軌跡Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５を模式的に示す図であり、自車両６０が後退する場合の予測進路を示す。算出される予測進路は、自車両６０の舵角に応じて変化し、例えば、自車両６０が直進する場合には予測進路が第１軌跡Ｃ１のようになり、舵角が非常に大きい場合には予測進路が第５軌跡Ｃ５のようになる。また、舵角が中程度の場合には舵角の大きさに応じて予測進路が第２軌跡Ｃ２、第３軌跡Ｃ３、第４軌跡Ｃ４のように変化する。予測進路の軌跡が演算される範囲は限定されており、図示する例では、自車両６０の全長の２〜３倍程度、例えば、５ｍ〜１５ｍの距離が演算される。 FIG. 3 is a diagram schematically showing the loci of the predicted course C1, C2, C3, C4, C5, and shows the predicted course when the own vehicle 60 moves backward. The calculated predicted course changes according to the steering angle of the own vehicle 60. For example, when the own vehicle 60 goes straight, the predicted course becomes like the first locus C1, and when the steering angle is very large. The predicted course is like the fifth locus C5. Further, when the rudder angle is medium, the predicted course changes like the second locus C2, the third locus C3, and the fourth locus C4 according to the magnitude of the rudder angle. The range in which the trajectory of the predicted course is calculated is limited, and in the illustrated example, a distance of about 2 to 3 times the total length of the own vehicle 60, for example, 5 m to 15 m is calculated.

進路予測部２４は、さらに、取得部２２が取得する情報を用いて自車両６０の予測進路上の障害物の有無を検知する。進路予測部２４は、障害物センサ３８から取得した情報に基づいて、自車両６０と自車両６０の周辺の障害物との位置関係を示すマップを生成する。障害物の位置を示すマップは、例えば、自車両６０から障害物までの距離と方向に関する情報から生成することができる。進路予測部２４は、障害物の位置を示すマップ上に算出した予測進路を重ね合わせることにより、予測進路上の障害物を検知する。 The course prediction unit 24 further detects the presence or absence of obstacles in the predicted course of the own vehicle 60 by using the information acquired by the acquisition unit 22. The course prediction unit 24 generates a map showing the positional relationship between the own vehicle 60 and obstacles around the own vehicle 60 based on the information acquired from the obstacle sensor 38. The map showing the position of the obstacle can be generated from, for example, information on the distance and direction from the own vehicle 60 to the obstacle. The course prediction unit 24 detects an obstacle on the predicted course by superimposing the calculated predicted course on a map showing the position of the obstacle.

図４は、予測進路上の障害物の検知方法を模式的に説明するための図である。図４では、自車両の予測進路が第３軌跡Ｃ３の場合を例示しており、自車両６０の周囲に存在する障害物の位置関係を示すマップ上に第３軌跡Ｃ３が重ね合わされている。また、予測進路の軌跡Ｃ３に沿って破線で示される自車両６０の複数の予測位置６４が重ね合わされている。破線で示す各予測位置６４は、予測進路に沿って自車両６０が移動する際に車体が占める領域を示し、自車両６０が移動する際に車体が通過する予測通過領域を示す。進路予測部２４は、例えば、１０ｃｍ〜５０ｃｍ程度の間隔ごとに各予測位置６４を算出する。各予測位置６４が占める領域の大きさは、自車両６０の外形と同じに設定されてもよいし、１０ｃｍ〜５０ｃｍ程度の余裕を加味して自車両６０の外形より大きく設定されてもよい。進路予測部２４は、離散的な複数の予測位置６４を算出する代わりに、各予測位置６４を連続的につなぎ合わせたような予測通過領域を算出してもよい。 FIG. 4 is a diagram for schematically explaining a method of detecting an obstacle on the predicted course. FIG. 4 illustrates a case where the predicted course of the own vehicle is the third locus C3, and the third locus C3 is superimposed on a map showing the positional relationship of obstacles existing around the own vehicle 60. Further, a plurality of predicted positions 64 of the own vehicle 60 shown by a broken line are superimposed along the locus C3 of the predicted course. Each predicted position 64 shown by a broken line indicates an area occupied by the vehicle body when the own vehicle 60 moves along the predicted course, and indicates a predicted passing area through which the vehicle body passes when the own vehicle 60 moves. The course prediction unit 24 calculates each predicted position 64 at intervals of, for example, about 10 cm to 50 cm. The size of the area occupied by each predicted position 64 may be set to be the same as the outer shape of the own vehicle 60, or may be set to be larger than the outer shape of the own vehicle 60 in consideration of a margin of about 10 cm to 50 cm. Instead of calculating a plurality of discrete predicted positions 64, the course prediction unit 24 may calculate a predicted passing region as if each predicted position 64 is continuously connected.

進路予測部２４は、算出した予測通過領域と障害物の重なりの有無を判定する。進路予測部２４は、例えば、算出した複数の予測位置６４のそれぞれの領域内に障害物があるか否かを判定し、障害物と重なる予測位置６４を特定する。図４では、予測進路の軌跡Ｃ３に沿って算出される複数の予測位置６４の一部と他車両６２ｂとが重なる場合を例示している。このような場合、進路予測部２４は、自車両６０の予測進路上に障害物があると判定し、障害物があると判定された予測位置６４を特定する。例えば、図４に示される複数の予測位置６４のうち、他車両６２ｃと重なる一部の予測位置６４ａ，６４ｂを特定する。 The course prediction unit 24 determines whether or not the calculated predicted passage area and the obstacle overlap. For example, the course prediction unit 24 determines whether or not there is an obstacle in each region of the calculated plurality of predicted positions 64, and identifies the predicted position 64 that overlaps with the obstacle. FIG. 4 illustrates a case where a part of a plurality of predicted positions 64 calculated along the trajectory C3 of the predicted course overlaps with another vehicle 62b. In such a case, the course prediction unit 24 determines that there is an obstacle on the predicted course of the own vehicle 60, and identifies the predicted position 64 where it is determined that there is an obstacle. For example, among the plurality of predicted positions 64 shown in FIG. 4, some predicted positions 64a and 64b that overlap with the other vehicle 62c are specified.

図５は、予測進路上の障害物の検知方法を模式的に説明するための図であり、予測進路上に障害物が検知されない場合を示す。図５では、自車両の予測進路が第４軌跡Ｃ４の場合を例示しており、予測進路の軌跡Ｃ４に沿って算出される複数の予測位置６６の領域内に周囲の他車両６２ａ〜６２ｄが存在しない場合を示している。このような場合、進路予測部２４は、自車両６０の予測進路上に障害物がないと判定する。なお、進路予測部２４が検知する障害物は特に限られず、柱や壁といった構造物、通行人なども含むことが好ましい。 FIG. 5 is a diagram for schematically explaining a method of detecting an obstacle on the predicted course, and shows a case where an obstacle is not detected on the predicted course. FIG. 5 illustrates the case where the predicted course of the own vehicle is the fourth locus C4, and the surrounding other vehicles 62a to 62d are within the region of the plurality of predicted positions 66 calculated along the predicted course C4 of the own vehicle. Indicates the case where it does not exist. In such a case, the course prediction unit 24 determines that there is no obstacle on the predicted course of the own vehicle 60. The obstacles detected by the course prediction unit 24 are not particularly limited, and it is preferable to include structures such as pillars and walls, passersby, and the like.

画像生成部２６は、自車両の周辺を撮像した車両周辺画像上に自車両の予測位置を示す車両画像を重畳した予測進路画像を生成する。車両周辺画像は、取得部２２が取得する情報を用いた画像であり、例えば、車載カメラ３０が撮像した画像に基づいて生成される。車両周辺画像は、例えば、自車両６０の周辺を上空から見ているかのように視点変換処理がなされた俯瞰画像である。車両周辺画像上には、自車両６０の現在位置を示す第１車両画像と、自車両６０の予測位置を示す第２車両画像とが重畳される。 The image generation unit 26 generates a predicted course image in which a vehicle image showing a predicted position of the own vehicle is superimposed on a vehicle peripheral image obtained by capturing the periphery of the own vehicle. The vehicle peripheral image is an image using the information acquired by the acquisition unit 22, and is generated based on, for example, an image captured by the in-vehicle camera 30. The vehicle peripheral image is, for example, a bird's-eye view image in which the viewpoint conversion process is performed as if the periphery of the own vehicle 60 is viewed from the sky. A first vehicle image showing the current position of the own vehicle 60 and a second vehicle image showing the predicted position of the own vehicle 60 are superimposed on the vehicle peripheral image.

図６は、予測進路画像７２を模式的に示す図である。予測進路画像７２は、車両周辺画像７０に第１車両画像８０および第２車両画像８２を重畳することにより生成される。車両周辺画像７０は、自車両６０の周辺を撮像した現在の状況を示す俯瞰画像である。第１車両画像８０および第２車両画像８２は、上空から見た自車両６０を模したシンボル画像である。第１車両画像８０は、自車両６０の現在位置に表示され、第２車両画像８２は、自車両６０の予測位置に表示される。予測進路の軌跡Ｃは、予測進路画像７２に表示されてもよいし、表示されなくてもよい。 FIG. 6 is a diagram schematically showing a predicted course image 72. The predicted course image 72 is generated by superimposing the first vehicle image 80 and the second vehicle image 82 on the vehicle peripheral image 70. The vehicle peripheral image 70 is a bird's-eye view image showing the current situation in which the periphery of the own vehicle 60 is imaged. The first vehicle image 80 and the second vehicle image 82 are symbol images that imitate the own vehicle 60 as seen from above. The first vehicle image 80 is displayed at the current position of the own vehicle 60, and the second vehicle image 82 is displayed at the predicted position of the own vehicle 60. The locus C of the predicted course may or may not be displayed in the predicted course image 72.

第２車両画像８２は、半透明の画像として表示され、第２車両画像８２と重畳する部分が隠れてしまわないように表示されることが好ましい。仮に透過性のない画像を重畳した場合、第２車両画像８２と重畳する駐車スペース５２の枠線や障害物などが隠れてしまい、枠線や障害物との自車両の予測位置との位置関係が分かりづらくなるおそれがあるためである。なお、第２車両画像８２として自車両６０の輪郭を示すフレーム部分のみで構成される画像を用いることにより、第２車両画像８２と重畳して隠れてしまう範囲が小さくなるようにし、視認性の低下を抑えてもよい。 It is preferable that the second vehicle image 82 is displayed as a translucent image so that the portion overlapping with the second vehicle image 82 is not hidden. If a non-transparent image is superimposed, the border and obstacles of the parking space 52 superimposed on the second vehicle image 82 will be hidden, and the positional relationship between the border and obstacles and the predicted position of the own vehicle. This is because it may be difficult to understand. By using an image composed of only the frame portion showing the outline of the own vehicle 60 as the second vehicle image 82, the range that overlaps with the second vehicle image 82 and is hidden is reduced, and the visibility is improved. The decrease may be suppressed.

第２車両画像８２は、一見して第１車両画像８０と区別できるよう、第１車両画像８０とは異なる態様で表示されることが好ましい。第２車両画像８２は、例えば、第１車両画像８０とは形状、色彩、透過性、輪郭線の太さや線種などが異なるように構成される。一例を挙げれば、第１車両画像８０が自車両６０の形状を詳細に模した画像として構成される一方、第２車両画像８２がシンプルな矩形状の画像として構成されてもよい。その他、第１車両画像８０と第２車両画像８２の色相、明度、彩度の少なくとも一つを異ならせることにより、両者の区別が容易となるようにしてもよい。 The second vehicle image 82 is preferably displayed in a form different from that of the first vehicle image 80 so that it can be distinguished from the first vehicle image 80 at first glance. The second vehicle image 82 is configured to be different from the first vehicle image 80 in shape, color, transparency, contour line thickness, line type, and the like. As an example, the first vehicle image 80 may be configured as an image that closely imitates the shape of the own vehicle 60, while the second vehicle image 82 may be configured as a simple rectangular image. In addition, by making at least one of the hue, lightness, and saturation of the first vehicle image 80 and the second vehicle image 82 different, it may be easy to distinguish between the two.

画像生成部２６は、予測進路上に障害物が検知される場合、障害物が検知されない場合とは異なる表示態様の予測進路画像７２を生成する。画像生成部２６は、障害物の検知の有無に応じて第２車両画像８２の表示態様を異ならせる。例えば、障害物が検知される場合には、第２車両画像８２を赤色や黄色などの表示色にしたり、第２車両画像８２の明度や彩度を高める表示にしたりすることにより、障害物への接触可能性が高いことを注意喚起する表示とする。一方、予測進路上に障害物が検知されない場合には、第２車両画像８２を緑色や青色などの表示色にしたり、第２車両画像８２の明度や彩度を下げる表示にしたりすることにより、障害物への接触可能性が低いことを示す表示とする。なお、障害物が検知されない場合とは異なる表示態様の予測進路画像７２として、画像全体の表示色を赤みがかった画像となるように変更したり、画像全体の明度や彩度を変更したり、注意喚起用の画像を重畳したりするなどして、画像全体または一部の表示態様を異ならせてもよい。 When an obstacle is detected on the predicted course, the image generation unit 26 generates a predicted course image 72 having a display mode different from that when the obstacle is not detected. The image generation unit 26 changes the display mode of the second vehicle image 82 depending on whether or not an obstacle is detected. For example, when an obstacle is detected, the second vehicle image 82 may be displayed in a display color such as red or yellow, or the second vehicle image 82 may be displayed to increase the brightness or saturation to reach the obstacle. It is a display that calls attention to the high possibility of contact. On the other hand, when no obstacle is detected in the predicted course, the second vehicle image 82 may be displayed in a display color such as green or blue, or the second vehicle image 82 may be displayed in a reduced brightness or saturation. The display indicates that the possibility of contact with an obstacle is low. Note that, as the predicted course image 72 of the display mode different from the case where no obstacle is detected, the display color of the entire image may be changed to a reddish image, or the brightness or saturation of the entire image may be changed. The display mode of the entire image or a part of the image may be different, such as by superimposing an image for arousal.

画像生成部２６は、第２車両画像８２の表示位置をアニメーションのように変化させる予測進路画像７２を生成する。画像生成部２６は、例えば、図４に示す複数の予測位置６４のそれぞれに第２車両画像８２を重畳した複数の予測進路画像７２を生成する。このような複数の予測進路画像７２を順番に表示させることにより、第２車両画像８２の表示位置が第１車両画像８０から離れていく方向に変化する予測進路画像７２のアニメーション表示を実現する。画像生成部２６は、複数の予測進路画像７２を生成する代わりに、車両周辺画像７０上の第２車両画像８２の位置が変化していく動画像を生成してもよい。 The image generation unit 26 generates a predicted course image 72 that changes the display position of the second vehicle image 82 like an animation. The image generation unit 26 generates, for example, a plurality of predicted course images 72 in which the second vehicle image 82 is superimposed on each of the plurality of predicted positions 64 shown in FIG. By displaying the plurality of predicted course images 72 in order, the animation display of the predicted course image 72 in which the display position of the second vehicle image 82 changes in the direction away from the first vehicle image 80 is realized. Instead of generating a plurality of predicted course images 72, the image generation unit 26 may generate a moving image in which the position of the second vehicle image 82 on the vehicle peripheral image 70 changes.

表示制御部２８は、画像生成部２６が生成した予測進路画像７２を表示装置１４に表示させる。表示制御部２８は、画像生成部２６が生成する複数の予測進路画像７２を順番に再生表示させることにより、表示装置１４に予測進路画像７２がアニメーション表示されるようにする。 The display control unit 28 causes the display device 14 to display the predicted course image 72 generated by the image generation unit 26. The display control unit 28 causes the display device 14 to display the predicted course image 72 in animation by sequentially reproducing and displaying the plurality of predicted course images 72 generated by the image generation unit 26.

図７は、予測進路画像７２ａ，７２ｂ，７２ｃのアニメーション表示を模式的に示す図であり、図４の第３軌跡Ｃ３に沿って第２車両画像８２の表示位置を変化させる場合を示す。図示されるように、複数の予測進路画像７２ａ〜７２ｃは、第２車両画像８２ａ，８２ｂ，８２ｃの表示位置がそれぞれ異なっており、第２車両画像８２ａ〜８２ｃが第１車両画像８０から段階的に離れるように配置される。一方、現在位置を示す第１車両画像８０の表示位置は固定されている。 FIG. 7 is a diagram schematically showing the animation display of the predicted course images 72a, 72b, 72c, and shows a case where the display position of the second vehicle image 82 is changed along the third locus C3 of FIG. As shown in the figure, the plurality of predicted course images 72a to 72c have different display positions of the second vehicle images 82a, 82b, 82c, and the second vehicle images 82a to 82c are stepwise from the first vehicle image 80. Arranged apart from each other. On the other hand, the display position of the first vehicle image 80 showing the current position is fixed.

図７において、障害物である他車両６２ｂと重ねて表示される第２車両画像８２ｃは、障害物と重ならずに表示される第２車両画像８２ａ，８２ｂと異なる表示態様で表示される。例えば、障害物と重ならない第２車両画像８２ａ，８２ｂが緑色や青色で表示されるのに対し、障害物と重なる第２車両画像８２ｃは、赤色や黄色で表示される。これにより、現在の舵角のまま自車両６０を一定距離以上後退させた場合、他車両６２ｂに接触することを効果的に注意喚起できる。 In FIG. 7, the second vehicle image 82c displayed on top of the other vehicle 62b, which is an obstacle, is displayed in a display mode different from that of the second vehicle images 82a, 82b displayed without overlapping the obstacle. For example, the second vehicle images 82a and 82b that do not overlap the obstacle are displayed in green or blue, while the second vehicle image 82c that overlaps the obstacle is displayed in red or yellow. As a result, when the own vehicle 60 is retracted by a certain distance or more while maintaining the current steering angle, it is possible to effectively alert the user to contact another vehicle 62b.

表示制御部２８は、複数の予測進路画像７２ａ〜７２ｃを順番に表示させることで、第２車両画像８２がアニメーションのように移動して表示されるようにする。画像生成部２６は、より多く（例えば、５枚、１０枚、２０枚、３０枚など）の予測進路画像を生成して、第２車両画像８２の動きが滑らかに表示されるようにしてもよい。また、第２車両画像８２の位置を段階的に変化させるのではなく、第２車両画像８２が連続的に移動するようにしてもよい。 The display control unit 28 displays the plurality of predicted course images 72a to 72c in order so that the second vehicle image 82 is moved and displayed like an animation. The image generation unit 26 may generate more predicted course images (for example, 5, 10, 20, 30, etc.) so that the movement of the second vehicle image 82 is displayed smoothly. Good. Further, the position of the second vehicle image 82 may not be changed stepwise, but the second vehicle image 82 may be continuously moved.

表示制御部２８は、複数の予測進路画像７２ａ〜７２ｃを繰り返し表示することにより、第２車両画像８２から第１車両画像８０が離れるように移動していく様子が繰り返し表示されるようにしてもよい。例えば、第３の予測進路画像７２ｃを表示した後に、再度、第１の予測進路画像７２ａから順番にアニメーション表示を開始させてもよい。第３の予測進路画像７２ｃの表示直後に第１の予測進路画像７２ａを表示すると、表示が煩雑となることから、第３の予測進路画像７２ｃを一定時間（例えば、０．５秒〜１秒程度）表示してから第１の予測進路画像７２ａに切り替えるようにしてもよい。つまり、アニメーション表示の最初と最後については、第２車両画像８２を一定時間にわたって固定するようにしてもよい。 By repeatedly displaying the plurality of predicted course images 72a to 72c, the display control unit 28 may repeatedly display how the first vehicle image 80 moves away from the second vehicle image 82. Good. For example, after displaying the third predicted course image 72c, the animation display may be started again in order from the first predicted course image 72a. If the first predicted course image 72a is displayed immediately after the display of the third predicted course image 72c, the display becomes complicated. Therefore, the third predicted course image 72c is displayed for a certain period of time (for example, 0.5 seconds to 1 second). Degree) may be displayed and then switched to the first predicted course image 72a. That is, the second vehicle image 82 may be fixed for a certain period of time at the beginning and the end of the animation display.

画像生成部２６は、予測進路画像７２の表示中に自車両６０の予測進路が変化した場合、予測進路の変更に応じて第２車両画像８２の表示位置を異ならせた予測進路画像７２を生成する。例えば、予測進路画像７２の表示中にステアリングホイールの舵角が変更された場合、変更後の舵角に応じて予測進路が算出され、変更後の予測進路上に第２車両画像８２を表示させる。また、予測進路画像７２の表示中にシフトレバーが操作されて前進可能な状態となった場合、車両前方の予測進路が算出され、第１車両画像８０の前方に第２車両画像８２が表示されるようにする。 When the predicted course of the own vehicle 60 changes while the predicted course image 72 is being displayed, the image generation unit 26 generates a predicted course image 72 in which the display position of the second vehicle image 82 is changed according to the change in the predicted course. To do. For example, when the steering angle of the steering wheel is changed while the predicted course image 72 is being displayed, the predicted course is calculated according to the changed steering angle, and the second vehicle image 82 is displayed on the changed predicted course. .. Further, when the shift lever is operated during the display of the predicted course image 72 to enable forward movement, the predicted course in front of the vehicle is calculated, and the second vehicle image 82 is displayed in front of the first vehicle image 80. To do so.

図８は、予測進路画像のアニメーション表示を模式的に示す図であり、舵角変更後の予測進路画像７４ａ，７４ｂ，７４ｃを示す。図８は、舵角変更により予測進路が第４軌跡Ｃ４に変更された場合を示す。舵角が変更された場合、進路予測部２４は、変更後の舵角に応じた予測進路を算出し、予測進路上の障害物の有無を検知する。画像生成部２６は、進路予測部２４の演算結果に応じた予測進路画像７４ａ〜７４ｃを生成する。図示する例では、予測進路上に障害物が検知されないため、アニメーション表示される第２車両画像８４ａ，８４ｂ，８４ｃが同じ態様で表示され、例えば、全ての第２車両画像８４ａ〜８４ｃが緑色や青色で表示される。これにより、現在の舵角のまま自車両６０を後退させた場合、障害物への接触可能性が低いことを示される。 FIG. 8 is a diagram schematically showing an animation display of the predicted course image, and shows the predicted course images 74a, 74b, 74c after the steering angle is changed. FIG. 8 shows a case where the predicted course is changed to the fourth locus C4 by changing the rudder angle. When the rudder angle is changed, the course prediction unit 24 calculates the predicted course according to the changed rudder angle and detects the presence or absence of an obstacle on the predicted course. The image generation unit 26 generates predicted course images 74a to 74c according to the calculation result of the course prediction unit 24. In the illustrated example, since no obstacle is detected in the predicted course, the animation-displayed second vehicle images 84a, 84b, 84c are displayed in the same manner, for example, all the second vehicle images 84a to 84c are green or Displayed in blue. This indicates that when the own vehicle 60 is retracted with the current steering angle, the possibility of contact with an obstacle is low.

運転者は、図７に示す予測進路画像７２ａ〜７２ｃから、第３軌跡Ｃ３に対応する舵角を維持した場合、進入しようとする駐車スペースに収まらず、隣接する他車両６２ｂに接触する可能性があることを直感的に理解できる。また、図８に示す予測進路画像７４ａ〜７４ｃから、第４軌跡Ｃ４に対応する舵角を維持すれば、隣接する他車両６２ｂに接触せずに目標とする駐車スペースに進入できることが直感的に理解できる。本実施の形態によれば、予測進路に沿って車両画像をアニメーションのように変化させるとともに、障害物との接触可能性がある場合に表示態様を異ならせることで、自車両６０の予測進路を分かりやすく運転者に提示できる。 From the predicted course images 72a to 72c shown in FIG. 7, if the driver maintains the steering angle corresponding to the third locus C3, the driver may not fit in the parking space to be entered and may come into contact with another adjacent vehicle 62b. You can intuitively understand that there is. Further, from the predicted course images 74a to 74c shown in FIG. 8, it is intuitive that if the steering angle corresponding to the fourth locus C4 is maintained, the target parking space can be entered without contacting another adjacent vehicle 62b. Understandable. According to the present embodiment, the predicted course of the own vehicle 60 is changed by changing the vehicle image along the predicted course like an animation and changing the display mode when there is a possibility of contact with an obstacle. It can be presented to the driver in an easy-to-understand manner.

図９（ａ）及び（ｂ）は、変形例に係る予測進路画像７６ａ，７６ｂを模式的に示す図である。図９（ａ），（ｂ）は、図７に示す予測進路画像７２ｃに対応し、付加画像８６ａ，８６ｂがさらに重畳される点で上述の予測進路画像７２ｃと相違する。図９（ａ）では、第２車両画像８２ｃのうち障害物である他車両６２ｂと重複する一部のみが異なる表示態様となるように付加画像８６ａが重畳される。図９（ｂ）では、障害物との衝突を強調するような星形の付加画像８６ｂが重畳される。このような付加画像８６ａ，８６ｂとして、ユーザへの注意喚起を高めるように赤色や黄色などの表示色や、第２車両画像８２ｃより明度や彩度の高い表示態様が用いられる。このような付加画像８６ａ，８６ｂを重畳することにより、障害物との接触可能性があることを運転者により強調して注意喚起できる。なお、障害物と重ねて表示される第２車両画像８２ｃや付加画像８６ａ，８６ｂを点滅表示させることにより、障害物との接触可能性をより強調する表示態様としてもよい。 9 (a) and 9 (b) are diagrams schematically showing predicted course images 76a and 76b according to a modified example. 9 (a) and 9 (b) correspond to the predicted course image 72c shown in FIG. 7, and are different from the above-mentioned predicted course image 72c in that the additional images 86a and 86b are further superimposed. In FIG. 9A, the additional image 86a is superimposed so that only a part of the second vehicle image 82c that overlaps with the other vehicle 62b, which is an obstacle, has a different display mode. In FIG. 9B, a star-shaped additional image 86b that emphasizes the collision with an obstacle is superimposed. As such additional images 86a and 86b, display colors such as red and yellow and display modes having higher brightness and saturation than the second vehicle image 82c are used so as to raise the attention to the user. By superimposing such additional images 86a and 86b, the driver can emphasize that there is a possibility of contact with an obstacle and call attention to it. The display mode may be such that the possibility of contact with the obstacle is further emphasized by blinking the second vehicle image 82c and the additional images 86a and 86b displayed on the obstacle.

図１０は、変形例に係る予測進路画像７２ａ〜７２ｃのアニメーション表示を模式的に示す図であり、上述の図７に対応する表示例を示す。図１０では、接触可能性のある障害物との距離に応じて第２車両画像８２ａ〜８２ｃの表示態様を変化させ、障害物に近づくにつれて接触可能性をより強調する表示態様に変更する点で上述の表示例と異なる。例えば、衝突可能性のある他車両６２ｂからの距離が一定以上ある場合には、第２車両画像８２ａを緑色や青色などで表示する。一方で、他車両６２ｂからの距離が一定未満となる場合には、第２車両画像８２ｂを黄色などで表示し、他車両６２ｂと重なる場合には第２車両画像８２ｃを赤色で表示する。ここで、表示態様を変化させるように定められる一定距離は、３０ｃｍ〜１ｍ程度または４０ｃｍ〜７０ｃｍ程度である。このように予測進路画像の表示態様を段階的に変化させることにより、接触可能性のある障害物までの距離感を段階的に分かりやすく示すことができる。なお、障害物との距離に応じて連続的に表示態様を変化させてもよく、例えば、障害物との距離に応じて第２車両画像８２の色相、明度、彩度の少なくとも一つを連続的に変化させて表示してもよい。 FIG. 10 is a diagram schematically showing the animation display of the predicted course images 72a to 72c according to the modified example, and shows a display example corresponding to FIG. 7 described above. In FIG. 10, the display mode of the second vehicle images 82a to 82c is changed according to the distance to the obstacle that may come into contact, and the display mode is changed to emphasize the contact possibility as the vehicle approaches the obstacle. It is different from the above display example. For example, when the distance from another vehicle 62b that may collide is more than a certain distance, the second vehicle image 82a is displayed in green, blue, or the like. On the other hand, when the distance from the other vehicle 62b is less than a certain value, the second vehicle image 82b is displayed in yellow or the like, and when it overlaps with the other vehicle 62b, the second vehicle image 82c is displayed in red. Here, the constant distance determined to change the display mode is about 30 cm to 1 m or about 40 cm to 70 cm. By gradually changing the display mode of the predicted course image in this way, it is possible to show the sense of distance to an obstacle that may come into contact in a stepwise and easy-to-understand manner. The display mode may be continuously changed according to the distance to the obstacle. For example, at least one of the hue, lightness, and saturation of the second vehicle image 82 is continuously changed according to the distance to the obstacle. It may be changed and displayed.

図１１は、変形例に係る予測進路画像７６ａ，７６ｂ，７６ｃのアニメーション表示を模式的に示す図であり、上述の図７に対応する表示例を示す。図１１は、自車両６０の後方で他車両６２ｄが前進し、後退しようとする自車両６０の進路を塞いだ状態における表示例を示している。その結果、図１１では、現在位置を示す第１車両画像８０の近傍において、他車両６２ｄとの接触可能性が高いことを示す第２車両画像８２ｂや、他車両６２ｄに接触することを示す第２車両画像８２ｃが表示される。このような場合に、図７と同様に予測進路の軌跡Ｃ３に沿って第２車両画像８２を移動させると、接触可能性のある他車両６２ｄを突き抜けるように第２車両画像８２が表示される。そうすると、アニメーション表示通りに自車両６０を後退しても問題がないかのように見えてしまい、他車両６２ｄとの接触を適切に注意喚起できなくなるおそれがある。そこで、本変形例では、第２車両画像８２ａ〜８２ｃの表示範囲を限定し、他車両６２ｄと重ねて表示される第２車両画像８２ｃよりも離れた位置で第２車両画像が表示されないようにする。つまり、自車両の現在位置を示す第１車両画像８０と、障害物と重ねて表示される第２車両画像８２ｃとの間の範囲に限定して第２車両画像８２ａ〜８２ｃを移動表示させるようにする。これにより、障害物との接触可能性をより適切に示す予測進路画像７６ａ〜７６ｃを運転者に提示できる。 FIG. 11 is a diagram schematically showing the animation display of the predicted course images 76a, 76b, 76c according to the modified example, and shows a display example corresponding to FIG. 7 described above. FIG. 11 shows a display example in a state in which another vehicle 62d moves forward behind the own vehicle 60 and blocks the course of the own vehicle 60 that is about to move backward. As a result, in FIG. 11, in the vicinity of the first vehicle image 80 showing the current position, the second vehicle image 82b showing that the possibility of contact with the other vehicle 62d is high, and the second vehicle image 82d showing contact with the other vehicle 62d. 2 The vehicle image 82c is displayed. In such a case, when the second vehicle image 82 is moved along the trajectory C3 of the predicted course as in FIG. 7, the second vehicle image 82 is displayed so as to penetrate the other vehicle 62d that may come into contact with the vehicle. .. Then, it seems that there is no problem even if the own vehicle 60 is retracted according to the animation display, and there is a possibility that the contact with the other vehicle 62d cannot be properly alerted. Therefore, in this modification, the display range of the second vehicle images 82a to 82c is limited so that the second vehicle image is not displayed at a position farther than the second vehicle image 82c displayed on top of the other vehicle 62d. To do. That is, the second vehicle images 82a to 82c are moved and displayed only in the range between the first vehicle image 80 showing the current position of the own vehicle and the second vehicle image 82c displayed superimposed on the obstacle. To. Thereby, the predicted course images 76a to 76c that more appropriately show the possibility of contact with the obstacle can be presented to the driver.

図１２は、運転支援方法の流れを模式的に示すフローチャートである。進路予測部２４は、取得部２２が取得する情報に基づいて自車両６０の予測進路を算出する（Ｓ１０）。予測進路上に障害物が検知される場合（Ｓ１２のＹ）、自車両６０の予測位置を示す車両画像のうち障害物と重なる車両画像が異なる表示態様となるように予測進路画像を生成する（Ｓ１４）。一方、予測進路上に障害物が検知されない場合（Ｓ１２のＮ）、予測進路上の車両画像が同様の表示態様となるように予測進路画像を生成する（Ｓ１６）。生成された予測進路画像は、予測進路に沿って車両画像の位置が変化するように表示される（Ｓ１８）。 FIG. 12 is a flowchart schematically showing the flow of the driving support method. The course prediction unit 24 calculates the predicted course of the own vehicle 60 based on the information acquired by the acquisition unit 22 (S10). When an obstacle is detected on the predicted course (Y in S12), the predicted course image is generated so that the vehicle image overlapping the obstacle among the vehicle images showing the predicted position of the own vehicle 60 has a different display mode (Y). S14). On the other hand, when no obstacle is detected on the predicted course (N in S12), the predicted course image is generated so that the vehicle image on the predicted course has the same display mode (S16). The generated predicted course image is displayed so that the position of the vehicle image changes along the predicted course (S18).

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。 Although the present invention has been described above with reference to the above-described embodiment, the present invention is not limited to the above-described embodiment, and the present invention is not limited to the above-described embodiment, and the configurations shown in each display example are appropriately combined or replaced. Is also included in the present invention.

上述の実施の形態では、俯瞰画像を用いて予測進路画像を生成する場合を示した。変形例においては、自車両の後方を撮像した後方画像を用いて予測進路画像を生成してもよい。この場合、後方画像上に自車両を模した画像を重畳し、その重畳位置や画像の大きさをアニメーションのように変化させることで、自車両の予測進路を可視化してもよい。 In the above-described embodiment, a case where a predicted course image is generated using a bird's-eye view image is shown. In the modified example, the predicted course image may be generated by using the rear image of the rear of the own vehicle. In this case, the predicted course of the own vehicle may be visualized by superimposing an image imitating the own vehicle on the rear image and changing the superposed position and the size of the image like an animation.

１０…運転支援装置、１４…表示装置、２２…取得部、２４…進路予測部、２６…画像生成部、２８…表示制御部、３０…車載カメラ、７０…車両周辺画像、７２，７４，７６…予測進路画像、８０…第１車両画像、８２，８４…第２車両画像、８６…付加画像。 10 ... driving support device, 14 ... display device, 22 ... acquisition unit, 24 ... course prediction unit, 26 ... image generation unit, 28 ... display control unit, 30 ... in-vehicle camera, 70 ... vehicle peripheral image, 72,74,76 ... Predicted course image, 80 ... first vehicle image, 82, 84 ... second vehicle image, 86 ... additional image.

Claims (8)

自車両の進路予測に用いる情報および自車両の周辺状況を示す情報を取得する取得部と、
前記取得部が取得する情報を用いて、自車両の予測進路を算出し、自車両の予測進路上の障害物を検知する進路予測部と、
前記取得部が取得した自車両の車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って前記車両画像の表示位置が前記車両周辺画像上で変化する予測進路画像を生成する画像生成部と、
前記予測進路画像を表示装置に表示させる表示制御部と、を備え、
前記画像生成部は、自車両の予測進路上に障害物が検知されない場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が第１表示態様となるように予測進路画像を生成し、
前記画像生成部は、自車両の予測進路上に障害物が検知される場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が前記第１表示態様とは異なる第２表示態様となり、前記車両周辺画像上で前記障害物に重ねて表示される車両画像が前記第１表示態様および前記第２表示態様とは異なる第３表示態様となるように予測進路画像を生成することを特徴とする運転支援装置。 An acquisition unit that acquires information used for predicting the course of the own vehicle and information indicating the surrounding conditions of the own vehicle,
Using the information acquired by the acquisition unit, the course prediction unit that calculates the predicted course of the own vehicle and detects obstacles on the predicted course of the own vehicle, and the course prediction unit.
A vehicle image showing the predicted position of the own vehicle is superimposed on the vehicle peripheral image of the own vehicle acquired by the acquisition unit, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. An image generator that generates a predicted course image and
A display control unit for displaying the predicted course image on a display device is provided.
When an obstacle is not detected on the predicted course of the own vehicle , the image generation unit predicts that the vehicle image displayed on the vehicle peripheral image without overlapping the obstacle is the first display mode. Generate a course image and
When an obstacle is detected on the predicted course of the own vehicle , the image generation unit displays a vehicle image on the vehicle peripheral image without overlapping the obstacle, which is different from the first display mode. In the second display mode, the predicted course image is displayed so that the vehicle image displayed on the vehicle peripheral image overlaid on the obstacle has a third display mode different from the first display mode and the second display mode. A driving support device characterized by being generated. 自車両の進路予測に用いる情報および自車両の周辺状況を示す情報を取得する取得部と、
前記取得部が取得する情報を用いて、自車両の予測進路を算出し、自車両の予測進路上の障害物を検知する進路予測部と、
前記取得部が取得した自車両の車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って前記車両画像の表示位置が前記車両周辺画像上で変化する予測進路画像を生成する画像生成部と、
前記予測進路画像を表示装置に表示させる表示制御部と、を備え、
前記画像生成部は、自車両の予測進路上に障害物が検知される場合、前記車両周辺画像上での自車両の現在位置と、前記障害物に重ねて表示される車両画像の表示位置との間の範囲に前記車両画像の表示位置が限定される予測進路画像を生成することを特徴とする運転支援装置。 An acquisition unit that acquires information used for predicting the course of the own vehicle and information indicating the surrounding conditions of the own vehicle,
Using the information acquired by the acquisition unit, the course prediction unit that calculates the predicted course of the own vehicle and detects obstacles on the predicted course of the own vehicle, and the course prediction unit.
A vehicle image showing the predicted position of the own vehicle is superimposed on the vehicle peripheral image of the own vehicle acquired by the acquisition unit, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. An image generator that generates a predicted course image and
A display control unit for displaying the predicted course image on a display device is provided.
When an obstacle is detected on the predicted course of the own vehicle, the image generation unit determines the current position of the own vehicle on the image around the vehicle and the display position of the vehicle image displayed on the obstacle. OPERATION support apparatus it said display position of said vehicle image to generate the predicted course images is limited to a range between. 自車両の進路予測に用いる情報および自車両の周辺状況を示す情報を取得する取得部と、
前記取得部が取得する情報を用いて、自車両の予測進路を算出し、自車両の予測進路上の障害物を検知する進路予測部と、
前記取得部が取得した自車両の車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って前記車両画像の表示位置が前記車両周辺画像上で変化する予測進路画像を生成する画像生成部と、
前記予測進路画像を表示装置に表示させる表示制御部と、を備え、
前記画像生成部は、前記車両周辺画像上での前記障害物と前記車両画像の距離に応じて前記車両画像の表示態様が異なる予測進路画像を生成することを特徴とする運転支援装置。 An acquisition unit that acquires information used for predicting the course of the own vehicle and information indicating the surrounding conditions of the own vehicle,
Using the information acquired by the acquisition unit, the course prediction unit that calculates the predicted course of the own vehicle and detects obstacles on the predicted course of the own vehicle, and the course prediction unit.
A vehicle image showing the predicted position of the own vehicle is superimposed on the vehicle peripheral image of the own vehicle acquired by the acquisition unit, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. An image generator that generates a predicted course image and
A display control unit for displaying the predicted course image on a display device is provided.
The image generation unit, the said obstacle and the vehicle image OPERATION support device you characterized in that the display mode of the vehicle image to generate a different predicted course image in accordance with the distance on the vehicle periphery image. 前記画像生成部は、前記車両周辺画像上で前記障害物および前記車両画像が重なることを強調する付加画像がさらに重畳された予測進路画像を生成することを特徴とする請求項１から３のいずれか一項に記載の運転支援装置。 Any of claims 1 to 3, wherein the image generation unit generates a predicted course image in which an additional image emphasizing the overlap of the obstacle and the vehicle image is further superimposed on the vehicle peripheral image. The driving support device described in item 1. 前記車両周辺画像は、自車両の周辺を上空から見ているかのような視点変換処理が施された俯瞰画像であることを特徴とする請求項１から４のいずれか一項に記載の運転支援装置。 The driving support according to any one of claims 1 to 4 , wherein the vehicle peripheral image is a bird's-eye view image that has been subjected to viewpoint conversion processing as if the surroundings of the own vehicle are viewed from the sky. apparatus. 前記取得部は、自車両の車載カメラから前記車両周辺画像を取得し、前記車載カメラとは異なる車載センサから前記障害物を検知するための情報を取得することを特徴とする請求項１から５のいずれか一項に記載の運転支援装置。 The acquisition unit acquires the vehicle peripheral image from the vehicle-mounted camera of the own vehicle, and acquires information for detecting the obstacle from a vehicle-mounted sensor different from the vehicle-mounted camera, claims 1 to 5. The driving support device according to any one of the above. 自車両の進路予測に用いる情報を取得して自車両の予測進路を算出するステップと、
自車両の周辺状況を示す情報を取得して自車両の予測進路上の障害物を検知するステップと、
自車両の周辺を撮像した車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って前記車両画像の表示位置が前記車両周辺画像上で変化する予測進路画像を生成するステップと、
前記予測進路画像を表示装置に表示させるステップと、を備え、
前記予測進路画像は、自車両の予測進路上に障害物が検知されない場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が第１表示態様となるように生成され、
前記予測進路画像は、自車両の予測進路上に障害物が検知される場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が前記第１表示態様とは異なる第２表示態様となり、前記車両周辺画像上で前記障害物に重ねて表示される車両画像が前記第１表示態様および前記第２表示態様とは異なる第３表示態様となるように生成されることを特徴とする運転支援方法。 The step of acquiring the information used for predicting the course of the own vehicle and calculating the predicted course of the own vehicle,
The step of acquiring information indicating the surrounding situation of the own vehicle and detecting obstacles in the predicted course of the own vehicle,
A vehicle image showing the predicted position of the own vehicle is superimposed on the vehicle peripheral image obtained by capturing the periphery of the own vehicle, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. Steps to generate an image and
A step of displaying the predicted course image on a display device is provided.
The predicted course image is generated so that the vehicle image displayed on the vehicle peripheral image without overlapping the obstacle is the first display mode when no obstacle is detected on the predicted course of the own vehicle. Being done
In the predicted course image, when an obstacle is detected on the predicted course of the own vehicle, the vehicle image displayed on the vehicle peripheral image without overlapping the obstacle is different from the first display mode. The second display mode is such that the vehicle image displayed on the vehicle peripheral image overlaid on the obstacle is generated so as to have a third display mode different from the first display mode and the second display mode. A driving support method characterized by. 自車両の進路予測に用いる情報を取得して自車両の予測進路を算出する機能と、
自車両の周辺状況を示す情報を取得して自車両の予測進路上の障害物を検知する機能と、
自車両の周辺を撮像した車両周辺画像上に自車両の予測位置を示す車両画像を重畳し、自車両の予測進路に沿って前記車両画像の表示位置が前記車両周辺画像上で変化する予測進路画像を生成する機能と、
前記予測進路画像を表示装置に表示させる機能と、をコンピュータに実現させるプログラムであって、
前記予測進路画像は、自車両の予測進路上に障害物が検知されない場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が第１表示態様となるように生成され、
前記予測進路画像は、自車両の予測進路上に障害物が検知される場合に、前記車両周辺画像上で前記障害物に重ならずに表示される車両画像が前記第１表示態様とは異なる第２表示態様となり、前記車両周辺画像上で前記障害物に重ねて表示される車両画像が前記第１表示態様および前記第２表示態様とは異なる第３表示態様となるように生成されることを特徴とするプログラム。 A function to acquire information used for predicting the course of the own vehicle and calculate the predicted course of the own vehicle,
A function that acquires information indicating the surrounding conditions of the own vehicle and detects obstacles in the predicted course of the own vehicle,
A vehicle image showing the predicted position of the own vehicle is superimposed on the vehicle peripheral image obtained by capturing the periphery of the own vehicle, and the display position of the vehicle image changes on the vehicle peripheral image along the predicted course of the own vehicle. The function to generate an image and
A program that allows a computer to realize the function of displaying the predicted course image on a display device.
The predicted course image is generated so that the vehicle image displayed on the vehicle peripheral image without overlapping the obstacle is the first display mode when no obstacle is detected on the predicted course of the own vehicle. Being done
In the predicted course image, when an obstacle is detected on the predicted course of the own vehicle, the vehicle image displayed on the vehicle peripheral image without overlapping the obstacle is different from the first display mode. The second display mode is such that the vehicle image displayed on the vehicle peripheral image overlaid on the obstacle is generated so as to have a third display mode different from the first display mode and the second display mode. A program featuring.
JP2017087295A 2017-04-26 2017-04-26 Driving support devices, driving support methods and programs Active JP6821124B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017087295A JP6821124B2 (en) 2017-04-26 2017-04-26 Driving support devices, driving support methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017087295A JP6821124B2 (en) 2017-04-26 2017-04-26 Driving support devices, driving support methods and programs

Publications (2)

Publication Number Publication Date
JP2018184091A JP2018184091A (en) 2018-11-22
JP6821124B2 true JP6821124B2 (en) 2021-01-27

Family

ID=64357311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087295A Active JP6821124B2 (en) 2017-04-26 2017-04-26 Driving support devices, driving support methods and programs

Country Status (1)

Country Link
JP (1) JP6821124B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139664B2 (en) * 2018-04-10 2022-09-21 株式会社アイシン Perimeter monitoring device
JP7443705B2 (en) * 2019-09-12 2024-03-06 株式会社アイシン Peripheral monitoring device
CN117836183A (en) * 2021-08-24 2024-04-05 株式会社电装 Parking support device and parking support method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362584B2 (en) * 1995-12-22 2003-01-07 三菱自動車工業株式会社 Parking judgment device
JP4723703B2 (en) * 1999-06-25 2011-07-13 富士通テン株式会社 Vehicle driving support device
JP3638132B2 (en) * 2000-06-30 2005-04-13 松下電器産業株式会社 Drawing device
JP3972661B2 (en) * 2002-01-21 2007-09-05 日産自動車株式会社 Driving assistance device
JP4548322B2 (en) * 2005-11-28 2010-09-22 株式会社デンソー Parking assistance system

Also Published As

Publication number Publication date
JP2018184091A (en) 2018-11-22

Similar Documents

Publication Publication Date Title
JP4956915B2 (en) Video display device and video display method
US10268905B2 (en) Parking assistance apparatus
JP7190487B2 (en) How to draw a vehicle's surroundings
JP4682809B2 (en) Parking assistance system
JP5872517B2 (en) Vehicle periphery display device
JP7443705B2 (en) Peripheral monitoring device
US9691283B2 (en) Obstacle alert device
JP5549235B2 (en) Driving assistance device
JP2005045602A (en) Field of view monitor system for vehicle
JP5251804B2 (en) Driving assistance device
JP2009239674A (en) Vehicular periphery display device
JP5776995B2 (en) Vehicle periphery monitoring device
JP2007076496A (en) Parking support device
JP6821124B2 (en) Driving support devices, driving support methods and programs
JP5852076B2 (en) Vehicle periphery display device
JP2009171129A (en) Parking support device for vehicle and image display method
WO2012144076A1 (en) Vehicle periphery monitoring device and display method for vehicle periphery monitoring information
JP2007311898A (en) Vehicle drive support apparatus and vehicle drive support method
JP2011155651A (en) Apparatus and method for displaying vehicle perimeter image
JP5845909B2 (en) Obstacle alarm device
JP6731022B2 (en) Parking assistance device, vehicle and parking assistance method
WO2020148957A1 (en) Vehicle control device and method
JP2014127183A (en) Parking support apparatus and parking support method
JP6942978B2 (en) Driving Assistance Equipment, Driving Assistance Methods and Programs
JP5294756B2 (en) Vehicle surrounding image providing apparatus and vehicle surrounding image providing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R150 Certificate of patent or registration of utility model

Ref document number: 6821124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150