JP5408198B2 - Video display device and video display method - Google Patents

Video display device and video display method Download PDF

Info

Publication number
JP5408198B2
JP5408198B2 JP2011168131A JP2011168131A JP5408198B2 JP 5408198 B2 JP5408198 B2 JP 5408198B2 JP 2011168131 A JP2011168131 A JP 2011168131A JP 2011168131 A JP2011168131 A JP 2011168131A JP 5408198 B2 JP5408198 B2 JP 5408198B2
Authority
JP
Japan
Prior art keywords
obstacle
display
video
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011168131A
Other languages
Japanese (ja)
Other versions
JP2011251681A (en
Inventor
聡 知野見
照久 高野
大泉  謙
柳  拓良
勉 川野
秀則 瀬口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2011168131A priority Critical patent/JP5408198B2/en
Publication of JP2011251681A publication Critical patent/JP2011251681A/en
Application granted granted Critical
Publication of JP5408198B2 publication Critical patent/JP5408198B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

本発明は、例えば車両を駐車させるに際して、車両周囲の状況を運転者に把握させる映像を表示する映像表示装置及び映像表示方法に関する。   The present invention relates to an image display apparatus and an image display method for displaying an image that allows a driver to grasp a situation around the vehicle, for example, when the vehicle is parked.

従来より、車両周囲に設置された複数のカメラ映像を処理して、運転者に提供する技術が、下記の特許文献1などで知られている。この特許文献1に記載された車両周辺画像処理装置は、一又は複数のカメラ映像をある基準面に対して座標変換することで仮想視点位置から撮像したような画像に変換し、当該画像にCG技術で予め作成しておいた自車両CG画像を重畳させることで上空から自車両を撮影したような映像(以下、俯瞰映像)を提供している。このような俯瞰映像を作成するに際して、基準面としては地面が用いられることが多い。この俯瞰映像は、地面上の白線や縁石などと自車両との位置関係が客観的に表現されるため、駐車枠にあわせて駐車する場合や縁石に幅寄せをするようなシーンにおいて有効な映像である。   Conventionally, a technique for processing a plurality of camera images installed around a vehicle and providing the images to a driver is known from Patent Document 1 below. The vehicle peripheral image processing apparatus described in Patent Document 1 converts one or a plurality of camera images into an image captured from a virtual viewpoint position by performing coordinate conversion with respect to a certain reference plane, and adds CG to the image. A video (hereinafter referred to as a bird's-eye view video) is provided in which the host vehicle CG image created in advance by technology is superimposed to capture the host vehicle from the sky. In creating such a bird's-eye view video, the ground is often used as the reference plane. This bird's-eye view video is an effective representation in scenes where parking is done in line with the parking frame or where the curb is approached because the positional relationship between the white line and curb on the ground and the vehicle is objectively expressed. It is.

このような俯瞰映像を作成することにより、特許文献1に記載された車両周辺画像処理装置では、段落番号0050以降に記載されているように、俯瞰映像ではない原画像と俯瞰映像とを表示させて、運転者に車両周囲を把握させていた。   By creating such a bird's-eye view video, the vehicle peripheral image processing device described in Patent Document 1 displays an original image that is not a bird's-eye view video and a bird's-eye view video, as described in paragraph number 0050 and thereafter. And let the driver know around the vehicle.

特開2004−254219号公報(図7参照)JP 2004-254219 A (see FIG. 7)

しかしながら、上述した特許文献1に記載された技術を用いて俯瞰映像を合成する場合、基準面上に存在する物体に関しては理論上完全に位置関係を保持して映像変換することが可能であるが、基準面より高い位置や低い位置にある立体物については自車両CG画像と車両周囲障害物との位置関係の相違が現れる場合があるという問題点がある。   However, when a bird's-eye view image is synthesized using the technique described in Patent Document 1 described above, an object existing on the reference plane can be converted into an image while theoretically completely maintaining the positional relationship. There is a problem that a difference in the positional relationship between the vehicle CG image and the obstacle around the vehicle may appear for a three-dimensional object at a position higher or lower than the reference plane.

例えば、SUV型車両などのバンパ位置の高い車両では、実際にバンパの存在する位置よりも遠い位置の俯瞰映像上にバンパが表現されることがある。このように実際の自車両位置と他車両位置との相違が俯瞰映像上で現れると、俯瞰映像上で確認できる自車両の予測軌跡と実際の走行軌跡とが合致しなくなる可能性がある。   For example, in a vehicle having a high bumper position, such as an SUV type vehicle, the bumper may be represented on an overhead view image at a position far from the position where the bumper actually exists. Thus, if the difference between the actual own vehicle position and the other vehicle position appears on the bird's-eye view video, there is a possibility that the predicted trajectory of the own vehicle that can be confirmed on the bird's-eye view video does not match the actual travel locus.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、俯瞰映像を表示させた場合であっても、当該俯瞰映像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる映像表示装置及び映像表示方法を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above situation, and even when an overhead video is displayed, the relative position of the obstacle in the overhead video and the relative of the actual obstacle are displayed. An object of the present invention is to provide a video display device and a video display method capable of confirming a difference from a position on the same screen.

本発明では、複数のカメラを用いて車両周囲の異なる方向を撮像し、映像処理手段を用いて複数のカメラにより撮像された複数の現在の直接映像の各画素の位置を、直接映像と俯瞰映像との画素配置関係を定義した変換テーブルに基づいて、俯瞰映像の各画素の位置へ座標変換することにより俯瞰映像を作成して表示する。自車両に近接する障害物を検知した場合、俯瞰映像のうち、自車両から障害物までの領域を覆い隠す障害物警報表示を行う。これにより、上述の課題を解決する。 In the present invention, a plurality of cameras are used to image different directions around the vehicle, and the position of each pixel of a plurality of current direct images captured by the plurality of cameras using image processing means is determined as a direct image and an overhead image. Based on a conversion table that defines the pixel arrangement relationship with the above, an overhead video is created and displayed by performing coordinate conversion to the position of each pixel of the overhead video . When an obstacle close to the host vehicle is detected, an obstacle alarm display that covers an area from the host vehicle to the obstacle in the overhead view image is performed . Thereby, the above-mentioned problem is solved.

自車両と障害物との間の距離感が俯瞰変換によってゆがんでいるため、両者の位置関係の確認を誤る可能性があるが、本発明によれば、俯瞰映像のうち、自車両から障害物までの領域を覆い隠す障害物警報表示を行うことで、位置関係の誤認を是正することができる。 Since the sense of distance between the host vehicle and the obstacle is distorted by the overhead view conversion, there is a possibility of erroneous confirmation of the positional relationship between the two . It is possible to correct the misrecognition of the positional relationship by displaying the obstacle alarm display that covers the area up to.

本発明を適用した運転支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the driving assistance device to which this invention is applied. 本発明を適用した運転支援装置を構成する撮像部の構成を示す上面図である。It is a top view which shows the structure of the imaging part which comprises the driving assistance device to which this invention is applied. 本発明を適用した運転支援装置を構成する撮像部を構成するカメラの撮像領域に着いて説明するための図であり、(a)は後方の撮像領域、(b)は左側方の撮像領域、(c)は前方の撮像領域、(d)は右側方の撮像領域である。It is a figure for arriving and explaining the image pick-up field of the camera which constitutes the image pick-up part which constitutes the driving support device to which the present invention is applied, (a) is the back image pick-up area, (b) is the left image pick-up area, (C) is a front imaging region, and (d) is a right imaging region. 本発明を適用した運転支援装置の表示部に、俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image and the direct image side by side on the display part of the driving assistance device to which the present invention is applied. 本発明を適用した運転支援装置の表示部に、障害物表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image including an obstacle display, and the direct image | video on the display part of the driving assistance device to which this invention is applied side by side. 本発明を適用した運転支援装置の表示部に、障害物警報表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image including an obstacle warning display, and the direct image | video on the display part of the driving assistance device to which this invention was applied side by side. 本発明を適用した運転支援装置の表示部に、ガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image including a guideline display, and the direct image | video on the display part of the driving assistance device to which this invention is applied. 本発明を適用した運転支援装置の表示部に、表示状態を変化させたガイドライン表示を含む俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image and the direct image | video containing the guideline display which changed the display state side by side on the display part of the driving assistance device to which this invention is applied. 本発明を適用した運転支援装置の表示部に、背景色を変化させた俯瞰映像と直接映像とを並べて表示させた表示例を示す図である。It is a figure which shows the example of a display which displayed the bird's-eye view image | video which changed the background color, and the direct image | video on the display part of the driving assistance device to which this invention is applied. 本発明を適用した運転支援装置の効果を説明するための図であり、(a)は実際の自車両と他車両との位置関係であり、(b)は俯瞰映像で把握される自車両と他車両との位置関係である。It is a figure for demonstrating the effect of the driving assistance device to which this invention is applied, (a) is the positional relationship of an actual own vehicle and other vehicles, (b) is the own vehicle grasped | ascertained with a bird's-eye view image, The positional relationship with other vehicles.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明は、例えば図1に示すように構成された運転支援装置に適用される。この運転支援装置は、運転者に車両周囲の状況を自車両上空から見たような俯瞰映像と、位置関係確認に使うための情報として、車体各部に搭載されたカメラ映像に対して画像処理していない映像(以下、直接映像と呼ぶ。)と同一画面上で同時に表示する映像表示装置の機能を持ち、運転者が必要としている映像を提示して運転操作を支援するものである。   The present invention is applied to, for example, a driving assistance apparatus configured as shown in FIG. This driving support device performs image processing on the driver's view of the surroundings of the vehicle from above and the camera video mounted on each part of the vehicle body as information for use in confirming the positional relationship. It has the function of a video display device that displays simultaneously on the same screen as a video that is not displayed (hereinafter referred to as a direct video), and supports the driving operation by presenting the video that the driver needs.

[運転支援装置の構成]
この運転支援装置は、図1に示すように、自車両の車体に搭載された複数のカメラからなる撮像部1と、自車両の車室内に設けられて表示画面が運転者から視認可能な位置に設置された表示部2とを備える。また、この運転支援装置は、撮像部1で撮像された複数のカメラ映像を用いた映像表示を統括的に制御する制御部3に、映像処理部4と、障害物検知部5と、車両信号取得部6と、操作部7とが接続されている。
[Configuration of driving support device]
As shown in FIG. 1, the driving support device includes an imaging unit 1 composed of a plurality of cameras mounted on the vehicle body of the host vehicle, and a position where the display screen is provided in the passenger compartment of the host vehicle and visible from the driver. And the display unit 2 installed in the. In addition, the driving support device includes a video processing unit 4, an obstacle detection unit 5, a vehicle signal, and a control unit 3 that comprehensively controls video display using a plurality of camera images captured by the imaging unit 1. The acquisition unit 6 and the operation unit 7 are connected.

撮像部1は、図2に示すように、自車両10の前部に設けられた前方カメラ1Fと、自車両10の後部に設けられた後方カメラ1Bと、自車両10に右側方の右ドアミラーに設けられた右側方カメラ1Rと、自車両10の左側方の左ドアミラーに設けられた左側方カメラ1Lとから構成されている。これら前方カメラ1F、後方カメラ1B、右側方カメラ1R、左側方カメラ1Lは、所謂広角カメラであり、180度の画角で光学的に設計されている。このような撮像部1は、後方カメラ1Bによって自車両10の後方撮像領域11Bの状況を含むカメラ映像である直接映像を撮像し(図3(a))、左側方カメラ1Lによって自車両10の左側方撮像領域11Lの状況を含む左側方直接映像を撮像し(図3(b))、前方カメラ1Fによって自車両10の前方撮像領域11Fの状況を含む前方直接映像を撮像し(図3(c))、右側方カメラ1Rによって自車両10の右側方撮像領域11Rの状況を含む右側方直接映像を撮像する(図3(d))。   As shown in FIG. 2, the imaging unit 1 includes a front camera 1 </ b> F provided at the front part of the host vehicle 10, a rear camera 1 </ b> B provided at the rear part of the host vehicle 10, and a right door mirror on the right side of the host vehicle 10. And a left side camera 1L provided on a left door mirror on the left side of the host vehicle 10. These front camera 1F, rear camera 1B, right side camera 1R, and left side camera 1L are so-called wide-angle cameras, and are optically designed with an angle of view of 180 degrees. Such an imaging unit 1 captures a direct image, which is a camera image including the situation of the rear imaging area 11B of the host vehicle 10 by the rear camera 1B (FIG. 3A), and the left camera 1L of the host vehicle 10. A left side direct image including the situation of the left side imaging region 11L is taken (FIG. 3B), and a front direct image including the situation of the front imaging region 11F of the host vehicle 10 is taken by the front camera 1F (FIG. 3 ( c)), a right side direct image including the situation of the right side imaging region 11R of the host vehicle 10 is captured by the right side camera 1R (FIG. 3D).

これらの前方カメラ1F、後方カメラ1B、右側方カメラ1R、左側方カメラ1Lで同タイミングで撮像された前方直接映像、後方直接映像、右側方直接映像、左側方直接映像を取得することにより、運転支援装置は、車両周囲の映像のすべてを取得することできる。   Driving by acquiring the front direct image, the rear direct image, the right direct image, and the left direct image captured at the same timing by the front camera 1F, the rear camera 1B, the right side camera 1R, and the left side camera 1L. The support device can acquire all the images around the vehicle.

表示部2は、撮像部1で撮像されて映像処理がなされた表示用の映像を入力とし、運転者の操作、障害物検知部5での障害物検知状況などに応じて、車両周囲の全体を一覧させる俯瞰映像及び車両周囲の状況の一部を含む直接映像を同時に表示させる。   The display unit 2 receives a display image captured by the imaging unit 1 and processed by the image processing unit 1 as an input, and the entire vehicle surroundings according to the driver's operation, the obstacle detection status in the obstacle detection unit 5, and the like. And a direct image including a part of the situation around the vehicle are displayed at the same time.

障害物検知部5は、車両周囲に存在する障害物の有無及び自車両10に対する相対位置(自車両10に対する方向、距離)を検知する。この障害物検知部5は、例えば、超音波センサ又は赤外線センサを使用して障害物を検知するものや、撮像部1で取得した直接映像を入力して画像解析等によって障害物を検知するものが挙げられる。この障害物検知部5は、自車両10に対する障害物の有無及び相対位置を含む障害物検知情報を制御部3に出力する。   The obstacle detection unit 5 detects the presence or absence of obstacles around the vehicle and the relative position (direction and distance with respect to the own vehicle 10) with respect to the own vehicle 10. The obstacle detection unit 5 detects, for example, an obstacle using an ultrasonic sensor or an infrared sensor, or detects an obstacle by inputting a direct image acquired by the imaging unit 1 and performing image analysis or the like. Is mentioned. The obstacle detection unit 5 outputs obstacle detection information including the presence / absence of an obstacle to the host vehicle 10 and a relative position to the control unit 3.

車両信号取得部6は、自車両10の状態を表す情報として、車速、車両進行方向等の車速信号を取得して、制御部3に出力する。また、操作部7は、例えばシフトレバー等が挙げられ、当該シフトレバーの操作状態を表すシフトポジション情報を制御部3に出力する。   The vehicle signal acquisition unit 6 acquires a vehicle speed signal such as a vehicle speed and a vehicle traveling direction as information representing the state of the host vehicle 10 and outputs the vehicle speed signal to the control unit 3. The operation unit 7 includes a shift lever, for example, and outputs shift position information indicating the operation state of the shift lever to the control unit 3.

映像処理部4は、撮像部1で撮像された複数の直接映像を取得して、所定の映像処理を施すことによって、車両周囲の一覧して把握させる俯瞰映像を作成する。映像処理部4は、入力した複数の直接映像と出力する俯瞰映像との画素配置対応関係を記録した変換テーブルを予め記憶している。映像処理部4は、撮像部1から複数の直接映像を入力すると、各直接映像を所定の入力メモリに格納する。格納された各直接映像は、映像処理部4により、変換テーブルに従って画素単位で読み出されて出力メモリに格納される。これにより、出力メモリには、前方直接映像、後方直接映像、右側方直接映像、左側方直接映像から、それぞれ必要な画像領域が切り出されてなる俯瞰映像を展開することができる。そして、映像処理部4は、変換テーブルに従って俯瞰映像の作成を完了すると、当該俯瞰映像を制御部3に出力する。   The video processing unit 4 acquires a plurality of direct videos captured by the imaging unit 1 and performs predetermined video processing to create a bird's-eye view image that allows a list of surroundings of the vehicle to be grasped. The video processing unit 4 stores in advance a conversion table that records a pixel arrangement correspondence between a plurality of input direct videos and an output overhead video. When a plurality of direct videos are input from the imaging unit 1, the video processing unit 4 stores each direct video in a predetermined input memory. Each stored direct video is read by the video processing unit 4 in units of pixels according to the conversion table and stored in the output memory. As a result, it is possible to develop a bird's-eye view video in which necessary image areas are cut out from the front direct video, the rear direct video, the right direct video, and the left direct video in the output memory. When the video processing unit 4 completes the creation of the overhead view video according to the conversion table, the video processing unit 4 outputs the overhead view video to the control unit 3.

この映像処理部4で作成された俯瞰映像100は、図4の左側部に示すように、4種の直接映像の仮想視点位置を車両上空で一点に集めたものとなり、何れかの直接映像110と同時に表示される。このような俯瞰映像100は、運転者にとって、自車両10を上空から見下ろしたような形で車両周囲を把握させることができる。   The bird's-eye view image 100 created by the image processing unit 4 is a collection of four types of virtual viewpoint positions of the direct images at one point above the vehicle, as shown on the left side of FIG. Displayed at the same time. Such a bird's-eye view image 100 allows the driver to grasp the surroundings of the vehicle in a form as if the host vehicle 10 is looked down from above.

図4によれば、俯瞰映像100は、自車両CG映像101を画像中心に配置し、当該自車両CG映像101の周囲に、視点変換した左側方俯瞰映像102L、右側方俯瞰映像102R、前方俯瞰映像102F、後方俯瞰映像102Bを配置して構成する。また、俯瞰映像100は、前方俯瞰映像102Fと左側方俯瞰映像102L及び右側方俯瞰映像102Rとの間にマスク線104を配置すると共に、後方俯瞰映像102Bと左側方俯瞰映像102L及び右側方俯瞰映像102Rとの間にマスク線104を配置して構成されている。   According to FIG. 4, the bird's-eye view image 100 is arranged such that the own vehicle CG image 101 is placed at the center of the image, and the left side bird's-eye view image 102 </ b> L, the right side bird's-eye view image 102 </ b> R, The video 102F and the rear overhead video 102B are arranged and configured. Further, in the bird's-eye view image 100, a mask line 104 is disposed between the front bird's-eye view image 102F, the left-side bird's-eye-view image 102L, and the right-side bird's-eye-view image 102R, and the rear-view bird's-eye image 102B, the left-side bird's-eye view image 102L, and the right-side bird's-eye view image. The mask line 104 is arranged between the terminal 102R and the terminal 102R.

このように映像のつなぎ目にマスク線104を設けることで、各種の俯瞰映像102を複数の領域に分割して、つなぎ目であることを運転者に把握させる構成になっている。なお、俯瞰映像の分割方法は、図4に示したパターン以外であっても、さらに細分化しても良く、3分割程度であって良い。   Thus, by providing the mask lines 104 at the joints between the images, the various overhead view images 102 are divided into a plurality of regions so that the driver can grasp the joints. Note that the overhead video segmentation method may be other than the pattern shown in FIG.

また、この図4によれば、俯瞰映像100と並列して、後方撮像領域11Bの状況である直接映像110を同時に表示させている。この直接映像110は、車両信号取得部6が取得するシフトポジション情報や車速信号に応じて、前方撮像領域11F、左側方撮像領域11L、右側方撮像領域11R、後方撮像領域11Bの何れかの状況を示す映像となる。   Further, according to FIG. 4, the direct video 110 that is the situation of the rear imaging area 11 </ b> B is simultaneously displayed in parallel with the overhead view video 100. The direct image 110 is in any one of the front imaging area 11F, the left imaging area 11L, the right imaging area 11R, and the rear imaging area 11B according to the shift position information and the vehicle speed signal acquired by the vehicle signal acquisition unit 6. It becomes a video showing.

制御部3は、障害物検知部5からの障害物検知情報から、自車両10と障害物との接近が予測される場合には、位置関係の確認に使うための情報に視線を引く(注意を向ける)ことができるように映像や音などで運転者に通知する制御を行う。また、制御部3は、車両信号取得部6からの車速信号や、操作部7からのシフトポジション情報から、現在の車両の状態を取得して、当該状態に応じて映像や音で運転者に各種情報を放置しても良い。   When the approach of the host vehicle 10 and the obstacle is predicted from the obstacle detection information from the obstacle detection unit 5, the control unit 3 draws a line of sight on the information used for confirming the positional relationship (attention) Control to notify the driver by video or sound. In addition, the control unit 3 acquires the current vehicle state from the vehicle speed signal from the vehicle signal acquisition unit 6 and the shift position information from the operation unit 7, and informs the driver by video and sound according to the state. Various information may be left unattended.

具体的には、制御部3は、障害物検知情報から車両周辺に障害物が存在することを検知した場合には、俯瞰映像100と共に、障害物を含む直接映像110を同時に表示させる。また、制御部3は、車速信号やシフトポジション情報から、障害物が検知された方向を撮像領域とする直接映像を表示させる。   Specifically, when it is detected from the obstacle detection information that there is an obstacle around the vehicle, the control unit 3 simultaneously displays a direct video 110 including the obstacle together with the overhead view video 100. Moreover, the control part 3 displays the direct image | video which makes the direction from which the obstruction was detected into an imaging area from a vehicle speed signal or shift position information.

[映像表示例]
つぎに、上述したように、俯瞰映像100と直接映像110とが同時に表示可能な運転支援装置による表示例について説明する。
[Video display example]
Next, as described above, a display example by the driving support apparatus capable of simultaneously displaying the overhead view image 100 and the direct image 110 will be described.

「第1表示例」
例えば自車両10の左後側方にパイロンのような障害物が有る場合、制御部3は、図5の第1表示例に示すように、映像処理部4で作成された俯瞰映像100と、後方カメラ1Bで撮像された後方の直接映像110とを組み合わせた画像を表示部2に表示させる。ここで、制御部3は、障害物検知部5で障害物検知情報が生成されているか否かに拘わらず、車両信号取得部6で取得した車速、操作部7からのシフトポジション情報から、俯瞰映像100及び後方直接映像を表示させる。
"First display example"
For example, when there is an obstacle such as a pylon on the left rear side of the host vehicle 10, the control unit 3 includes an overhead view image 100 created by the video processing unit 4 as shown in the first display example of FIG. An image obtained by combining the rear direct image 110 captured by the rear camera 1 </ b> B is displayed on the display unit 2. Here, regardless of whether or not the obstacle detection information is generated by the obstacle detection unit 5, the control unit 3 gives an overview from the vehicle speed acquired by the vehicle signal acquisition unit 6 and the shift position information from the operation unit 7. The image 100 and the rear direct image are displayed.

このような状況において、俯瞰映像100及び直接映像110には、左側方俯瞰映像102L、右側方俯瞰映像102R、後方俯瞰映像102Bに駐車枠表示103が現れ、自車両CG映像101の左後側方であって、障害物検知情報によって伝達された自車両10と相対位置に合致した表示位置に障害物表示121を表示させている。   In such a situation, the overhead view image 100 and the direct image 110 have the left side view image 102L, the right side view image 102R, and the rear view image 102B, the parking frame display 103, and the left rear side of the host vehicle CG image 101. The obstacle display 121 is displayed at a display position that matches the relative position of the host vehicle 10 transmitted by the obstacle detection information.

このように、俯瞰映像100と車両後方を含む直接映像110とを表示させた場合、俯瞰映像100に映る障害物と、直接映像110に映る障害物との見え方が異なる。これは、俯瞰映像100では撮像部1で撮影した映像を俯瞰映像100に変換する処理を行っているからであり、俯瞰映像100において基準となる面では、正しい相対位置関係が再現されるが、基準となる面より高いところや低いところにある障害物は、実際の相対位置が再現されない。   As described above, when the overhead image 100 and the direct image 110 including the rear of the vehicle are displayed, the obstacles reflected in the overhead image 100 and the obstacles reflected in the direct image 110 are different from each other. This is because the bird's-eye view image 100 performs processing for converting the image captured by the imaging unit 1 into the bird's-eye view image 100, and the correct relative positional relationship is reproduced on the reference plane in the bird's-eye view image 100. Obstacles that are higher or lower than the reference plane do not reproduce the actual relative position.

したがって、図示はされていないが、図5の俯瞰映像100におけるパイロンは立体物であるためにゆがんだ形として再現される。具体的には、パイロンの先端部分は、実際の自車両10との相対位置よりも遠くに見えるように俯瞰映像100上で現れる。車両に取り付けられた撮像部1のカメラに近いほど遠くに見えるため、バンパ位置の高いSUV型等の車両では、俯瞰映像100上ではバンパが実際よりも遠くに見えてしまう。このように、実際の自車両位置と他車両位置との相違が現れてしまう。   Therefore, although not shown, the pylon in the overhead view image 100 of FIG. 5 is reproduced as a distorted shape because it is a three-dimensional object. Specifically, the tip portion of the pylon appears on the bird's-eye view image 100 so as to appear farther than the relative position with the actual host vehicle 10. Since the closer to the camera of the imaging unit 1 attached to the vehicle, the farther it looks, the more the bumper appears on the bird's-eye view video 100 farther than it actually is in the SUV type vehicle with a high bumper position. Thus, the difference between the actual own vehicle position and the other vehicle position appears.

したがって、運転支援装置は、図5に示すように、直接映像110として、車両後方を映し出したリアビューを表示している。これにより、運転支援装置は、直接映像110が俯瞰映像100と比較して立体物に対する映像の歪みを少なく自然に表現できることを利用して、実際に近い形で障害物表示121を表示できる。   Therefore, as shown in FIG. 5, the driving support apparatus displays a rear view that reflects the rear of the vehicle as a direct image 110. As a result, the driving support device can display the obstacle display 121 in a form close to reality by using the fact that the direct image 110 can be naturally expressed with less distortion of the three-dimensional object compared to the overhead image 100.

また、この制御部3は、障害物検知部5からの障害物検知情報として、自車両10とパイロンとの相対位置を取得した場合、パイロンと自車両10との相対位置を認識して障害物として認知できる。この場合、制御部3は、図6に示すように、俯瞰映像100上に、障害物を検出した方向における自車両10部位付近を覆い隠すような障害物警報表示131を表示する。この障害物警報表示131は、図6においては矩形状であって強調色を使用して表示させているが、自車両10と障害物(パイロン)との間の距離感が俯瞰変換によってゆがんでいるため、位置関係の確認を誤る可能性があるためである。   In addition, when the relative position between the host vehicle 10 and the pylon is acquired as the obstacle detection information from the obstacle detection unit 5, the control unit 3 recognizes the relative position between the pylon and the host vehicle 10 to check the obstacle. Can be recognized. In this case, as shown in FIG. 6, the control unit 3 displays an obstacle alarm display 131 that covers the vicinity of the portion of the host vehicle 10 in the direction in which the obstacle is detected on the overhead view image 100. The obstacle alarm display 131 is rectangular in FIG. 6 and is displayed using an emphasis color. However, the sense of distance between the vehicle 10 and the obstacle (pylon) is distorted by overhead conversion. This is because the positional relationship may be erroneously confirmed.

なお、障害物警報表示131の形状としては、丸型やL字型など各種表示形態であっても良い。また、障害物警報表示131の大きさとしては、自車両10から障害物までの距離に応じて変更してもよく、自車両10との距離に応じて点滅させても良い。   The obstacle alarm display 131 may have various display forms such as a round shape or an L shape. The size of the obstacle alarm display 131 may be changed according to the distance from the host vehicle 10 to the obstacle, or may be blinked according to the distance from the host vehicle 10.

俯瞰映像100と並列する直接映像110は、図6に示すように、障害物表示121を覆うように障害物警報表示132を表示させる。この障害物警報表示132は、障害物表示121を強調するように、丸い線の形態で表示がなされる。この障害物警報表示132は、四角や三角などで障害物表示121を囲んでもよいし、アイコンなどで直接映像110の障害物表示121部分を強調して表示してもよく、更には、俯瞰映像100よりも直接映像110に対して視線を向けるように障害物警報表示132を点滅又は強調色を変えても良い。これにより、運転者は、俯瞰映像100よりも直接映像110を参照して自車両10と障害物との接触判断ができ、俯瞰映像100における立体物の歪みによって判断を誤ることが抑制可能となる。   As shown in FIG. 6, the direct video 110 parallel to the overhead video 100 displays an obstacle alarm display 132 so as to cover the obstacle display 121. The obstacle warning display 132 is displayed in the form of a round line so as to emphasize the obstacle display 121. The obstacle warning display 132 may surround the obstacle display 121 with a square or a triangle, or may directly display the obstacle display 121 portion of the video 110 with an icon or the like. The obstacle alarm display 132 may be blinked or the highlight color may be changed so that the line of sight is directed directly toward the image 110 rather than 100. Thus, the driver can directly determine the contact between the host vehicle 10 and the obstacle with reference to the video 110 rather than the bird's-eye view image 100, and can suppress erroneous determination due to the distortion of the three-dimensional object in the bird's-eye view image 100. .

なお、本例では、俯瞰映像100と直接映像110とを並べて表示させているが、俯瞰映像100と直接映像110とを単独で表示させて、表示させる映像が俯瞰映像100である場合には俯瞰映像100と共に障害物警報表示131を表示させ、表示させる映像が直接映像110である場合には俯瞰映像100と共に障害物警報表示132を表示させても良い。   In this example, the overhead image 100 and the direct image 110 are displayed side by side. However, when the overhead image 100 and the direct image 110 are displayed separately and the image to be displayed is the overhead image 100, the overhead image 100 is displayed. The obstacle alarm display 131 may be displayed together with the video 100, and when the video to be displayed is the direct video 110, the obstacle alarm display 132 may be displayed together with the overhead video 100.

更に、障害物警報表示131、障害物警報表示132の形状は、上述したものの他に、撮像部1で撮像した直接映像から映像処理部4によって障害物の種類を画像認識して、当該障害物の種類に対応した仮想表示としても良い。例えば、画像認識の結果から、予め用意した人や動物、他車両等の形状を模擬したアイコンを障害物警報表示131、障害物警報表示132として表示したり、画像認識で障害物の概略形状を検知して、予め容易しておいた基本図形(四角形、三角形、丸など)を組み合わせて合成して表示しても良い。   Furthermore, the obstacle alarm display 131 and the obstacle alarm display 132 are not limited to the shapes described above, and the type of the obstacle is recognized by the video processing unit 4 from the direct image captured by the imaging unit 1, and the obstacle is displayed. It is good also as a virtual display corresponding to the kind of. For example, from the result of image recognition, icons simulating the shapes of humans, animals, other vehicles, etc. prepared in advance are displayed as the obstacle alarm display 131 and the obstacle alarm display 132, or the outline shape of the obstacle is determined by image recognition. It may be detected and combined and displayed in combination with basic figures (rectangles, triangles, circles, etc.) that have been facilitated in advance.

また、俯瞰映像100内に、障害物警報の形状を四角形として、内部に覆い隠した部分に直接画像110を表示させてもよい。   Further, in the bird's-eye view video 100, the shape of the obstacle alarm may be a quadrangle, and the image 110 may be displayed directly on the portion covered and hidden inside.

更に、障害物警報表示131,障害物警報表示132としては、撮像部1で撮像した直接映像から映像処理部4によって障害物の形状、色を画像認識して、当該障害物の形状、色に対応した仮想表示としても良い。例えば、画像認識の結果から人物が検出された場合には、当該人物の形状として長方形であって、衣服の色を模擬した仮想パターンを障害物警報表示131、障害物警報表示132として表示したり、ブロックなどの小物体であれば小物体の形状として正方形であって、表面の色を模擬した仮想パターンを障害物警報表示131、障害物警報表示132として表示しても良い。   Further, as the obstacle alarm display 131 and the obstacle alarm display 132, the image processing unit 4 recognizes the shape and color of the obstacle from the direct image captured by the imaging unit 1, and changes the shape and color of the obstacle. A corresponding virtual display may be used. For example, when a person is detected from the result of image recognition, the shape of the person is a rectangle, and a virtual pattern that simulates the color of clothes is displayed as an obstacle alarm display 131 and an obstacle alarm display 132. If the object is a small object such as a block, the shape of the small object may be a square, and a virtual pattern simulating the surface color may be displayed as the obstacle alarm display 131 and the obstacle alarm display 132.

更に、障害物警報表示131,障害物警報表示132は、自車両10と障害物との位置関係の誤認識が予想される自車両10部位を完全に隠すのではなく、枠のみで囲ったり、黄色や赤などの半透明な強調色で覆うようにしても良い。これにより、俯瞰映像100中の画像を部分的にでも完全に隠すことなく利用して、運転者に把握させることができる。   Further, the obstacle warning display 131 and the obstacle warning display 132 do not completely hide the part of the host vehicle 10 where a misrecognition of the positional relationship between the host vehicle 10 and the obstacle is expected, but is surrounded only by a frame. You may make it cover with translucent emphasis colors, such as yellow and red. Thereby, the driver can grasp the image using the image in the bird's-eye view image 100 without partially or completely hiding it.

「第2表示例」
つぎに、俯瞰映像100及び直接映像110の第2表示例について説明する。
"Second display example"
Next, a second display example of the overhead image 100 and the direct image 110 will be described.

この第2表示例は、障害物検知情報から自車両10周辺に障害物を検知する前に、図7に示すように、俯瞰映像100の表示サイズよりも直接映像110’の表示サイズを小さくする。これにより、障害物を検知していない期間においては、直接映像110よりも、俯瞰映像100に注意を向けさせて視認させる。   In the second display example, before the obstacle is detected around the host vehicle 10 from the obstacle detection information, the display size of the video 110 ′ is made smaller than the display size of the overhead image 100 as shown in FIG. . Thereby, in the period when the obstacle is not detected, the overhead image 100 is more visually noticed than the direct image 110.

また、第2表示例においては、俯瞰映像100及び直接映像110’に、自車両10と車両周囲との位置関係を把握させるためのガイドライン表示141を表示させる。これらのガイドライン表示141は、自車両CG映像101から進行方向に伸びる車両幅を示す線でも良く、又は、車両信号取得部6で検出したステアリングの操舵角に応じて変化する予想進路軌跡線であってもよい。また、この第2表示例においては、俯瞰映像100のガイドライン表示141と直接映像110’のガイドライン表示141の一方のみを表示させても良く、両方に同時に表示させても良い。   In the second display example, a guideline display 141 for allowing the user to grasp the positional relationship between the vehicle 10 and the surroundings of the vehicle is displayed on the bird's-eye view image 100 and the direct image 110 ′. The guideline display 141 may be a line indicating the vehicle width extending in the traveling direction from the host vehicle CG image 101, or an expected course trajectory line that changes according to the steering angle detected by the vehicle signal acquisition unit 6. May be. In the second display example, only one of the guideline display 141 of the overhead image 100 and the guideline display 141 of the direct image 110 ′ may be displayed, or both may be displayed simultaneously.

このような俯瞰映像100及び直接映像110’を表示させている時に、制御部3は、障害物検知情報によって障害物を検知すると、図7に示した表示状態から、図8に示すように、俯瞰映像100’の表示サイズを小さくし、直接映像110の表示サイズを大きくする。これにより、俯瞰映像100’の表示サイズを、直接映像110の表示サイズよりも小さく変更させて、障害物検知時には、俯瞰映像100’よりも直接映像110に注意を向けさせて視認させる。   When the overhead view image 100 and the direct image 110 ′ are displayed, the control unit 3 detects an obstacle based on the obstacle detection information, as shown in FIG. 8, from the display state shown in FIG. The display size of the overhead image 100 ′ is reduced, and the display size of the direct image 110 is increased. Thereby, the display size of the bird's-eye view image 100 ′ is changed to be smaller than the display size of the direct image 110, and at the time of obstacle detection, the image is viewed with attention directed to the image 110 directly rather than the bird's-eye view image 100 ′.

また、この障害物検知時には、図8の直接映像110内の点線で示すように、障害物から遠いガイドライン表示141Bは点滅させずに、障害物検知側のガイドライン表示141Aを点滅させる。これにより、直接映像110内において障害物が出現している位置を運転者に把握させる。また、ガイドライン表示141Aを点滅させる場合のみならず、障害物非検知側のガイドライン表示141Bと比較して、障害物検知側のガイドライン表示141Aを強調色としてもよく、太さを太くしても良く、更には、ガイドライン表示141Aを流れるような動きを有するアニメーションで表現することで運転者の視線を向けるようにしても良い。更にまた、ガイドライン表示141を、車両信号取得部6で検知したステアリングの操舵角に応じた予想進路軌跡として表示させる場合であっても、同様に、障害物検知側のガイドライン表示141Aについて注意を向けさせるような表示形態としても良い。   When this obstacle is detected, the guideline display 141A on the obstacle detection side blinks without blinking the guideline display 141B far from the obstacle, as indicated by the dotted line in the direct image 110 in FIG. Thereby, the driver is made to know the position where the obstacle appears in the direct image 110. Further, the guideline display 141A on the obstacle detection side may be highlighted and the thickness may be increased as compared with the guideline display 141B on the obstacle non-detection side as well as the case where the guideline display 141A blinks. Furthermore, the driver's line of sight may be directed by expressing the guideline display 141A with an animation having a movement that flows. Furthermore, even when the guideline display 141 is displayed as an expected course trajectory corresponding to the steering angle detected by the vehicle signal acquisition unit 6, attention is similarly directed to the guideline display 141 A on the obstacle detection side. A display form may be used.

また、制御部3は、障害物非検知時において俯瞰映像100内に表示させていたガイドライン表示141Aを障害物検知と同時に消去させることで、立体物に対する位置関係の判断の誤りを回避することができる。   Further, the control unit 3 can avoid an error in determining the positional relationship with respect to the three-dimensional object by erasing the guideline display 141 </ b> A displayed in the overhead view image 100 when no obstacle is detected at the same time as the obstacle detection. it can.

なお、上述の図7,図8を用いてした第2表示例の説明では、障害物を検知した時に俯瞰映像100の表示サイズを小さくして、直接映像110の表示サイズを大きくすることと、直接映像110中のガイドライン表示141Aの障害物側を点滅等させることとを同時に行うことを示したが、運転者の注意を向けることができれば、表示サイズの変更とガイドライン表示141Aの表示形態の変更とをそれぞれ別個に行っても良く、障害物検知時に俯瞰映像100のガイドライン表示141Aを消去させずに点滅させても良い。   In the description of the second display example using FIG. 7 and FIG. 8 described above, when the obstacle is detected, the display size of the overhead image 100 is reduced, and the display size of the video 110 is directly increased. Although it is shown that the obstacle side of the guideline display 141A in the direct image 110 is blinked at the same time, if the driver's attention can be directed, the display size is changed and the guideline display 141A is changed. The guideline display 141A of the bird's-eye view video 100 may be blinked without being erased.

「第3表示例」
つぎに、俯瞰映像100及び直接映像110の第3表示例について説明する。
"Third display example"
Next, a third display example of the overhead image 100 and the direct image 110 will be described.

この第3表示例は、障害物検知情報から自車両10周辺に障害物を検知する前に、図7と同様に俯瞰映像100の表示サイズよりも直接映像110の表示サイズを小さくし、障害物検知時には、図9に示すように、直接映像110の表示サイズを変更させずに、直接映像110’の背景となる背景色可変領域151の色を変化させることによって、運転者の注意を向けて視線を向けるものである。   In this third display example, before the obstacle is detected in the vicinity of the host vehicle 10 from the obstacle detection information, the display size of the video 110 is directly made smaller than the display size of the overhead view video 100 in the same manner as in FIG. At the time of detection, as shown in FIG. 9, the driver's attention is directed by changing the color of the background color variable region 151 that is the background of the direct image 110 ′ without changing the display size of the direct image 110. It looks at you.

これにより、背景色可変領域151の背景色を強調色とすることにより、更に確実に運転者の注意を向けることができる。   As a result, the background color of the background color variable area 151 is set to the emphasized color, so that the driver's attention can be more reliably directed.

また、上述した第1表示例、第2表示例、第3表示例では、表示部2の表示内容を変更することによって障害物の検知を運転者に把握させていたが、表示内容の変更と同時に、音声や音により運転者に直接映像110を見るように促すことができる。   Moreover, in the first display example, the second display example, and the third display example described above, the driver is grasped by detecting the obstacle by changing the display content of the display unit 2. At the same time, it is possible to prompt the driver to view the video 110 directly by voice or sound.

[実施形態の効果]
以上詳細に説明したように、本発明を適用した運転支援装置によれば、障害物を検知した時に、俯瞰映像100と、検知された障害物の自車両に対する方向を撮像した直接映像110とを同時に表示させるので、俯瞰映像100を表示させた場合であっても、当該俯瞰映像100における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面上で確認させることができる。
[Effect of the embodiment]
As described above in detail, according to the driving support device to which the present invention is applied, when an obstacle is detected, the overhead view image 100 and the direct image 110 obtained by imaging the direction of the detected obstacle with respect to the own vehicle. Since the images are simultaneously displayed, even when the bird's-eye view video 100 is displayed, the difference between the relative position with the obstacle and the relative position with the actual obstacle in the bird's-eye view image 100 can be confirmed on the same screen. Can do.

例えば、実際の自車両10と他車両160との位置関係が図10(a)に示すようになっており、自車両10が直進後退する予測進路軌跡161を引くと、自車両の予想進路軌跡161内に実際の自車両10が存在する可能性がある。これに対し、俯瞰映像100を作成する時の映像ゆがみによって、図10(b)に示すように、自車両10と他車両160との位置関係が実際位置160’よりもずれ、予測進路軌跡161を引いた場合には、自車両の予想進路軌跡161内に実際の自車両10が存在しないため位置関係を誤認識する可能性がある。これに対し、運転支援装置では、障害物検知時には、俯瞰映像100のみならず、直接映像110も同時に表示させることができるので、直接映像110によって実際に近い自車両10と障害物との距離感を把握させることができる。   For example, the positional relationship between the actual host vehicle 10 and the other vehicle 160 is as shown in FIG. 10A, and when the predicted track locus 161 in which the host vehicle 10 moves straight back is drawn, the predicted track locus of the host vehicle 10 161, there is a possibility that the actual host vehicle 10 exists. On the other hand, as shown in FIG. 10B, the positional relationship between the host vehicle 10 and the other vehicle 160 is deviated from the actual position 160 ′ due to the image distortion at the time of creating the bird's-eye view image 100. In the case where the actual vehicle 10 does not exist in the expected course locus 161 of the host vehicle, the positional relationship may be erroneously recognized. On the other hand, in the driving assistance device, when the obstacle is detected, not only the overhead view image 100 but also the direct image 110 can be displayed at the same time. Can be grasped.

また、この運転支援装置によれば、障害物を検知した時に、俯瞰映像100内に、当該障害物の接近している自車両部分を強調する障害物表示121を行うので、当該障害物表示121を含む俯瞰映像100を参照させるのみで、自車両10に対する障害物の存在方向を把握させることができる。   In addition, according to this driving support device, when the obstacle is detected, the obstacle display 121 for emphasizing the part of the vehicle approaching the obstacle is displayed in the bird's-eye view image 100. Therefore, the obstacle display 121 is displayed. By simply referring to the bird's-eye view video 100 including the vehicle, it is possible to grasp the direction in which the obstacle exists with respect to the host vehicle 10.

更に、この運転支援装置によれば、俯瞰映像100の障害物表示121として、障害物の接近している自車両部分を覆い隠すような表示とするので、当該障害物の接近している状況を直接映像110で確認させることができる。   Furthermore, according to this driving support device, the obstacle display 121 of the overhead view image 100 is displayed so as to cover the part of the host vehicle that is approaching the obstacle. The image 110 can be confirmed directly.

更にまた、この運転支援装置によれば、俯瞰映像100の障害物表示121として、障害物の接近している自車両部分を覆い隠す部分に、当該障害物の自車両に対する方向を撮像した直接映像110を表示させるので、当該障害物表示121の表示から、直接映像110を視認して障害物を把握させることができる。   Furthermore, according to this driving support apparatus, as the obstacle display 121 of the overhead view image 100, a direct image obtained by capturing the direction of the obstacle with respect to the own vehicle at a portion that covers the part of the own vehicle that is approaching the obstacle. Since 110 is displayed, it is possible to recognize the obstacle by directly viewing the video 110 from the display of the obstacle display 121.

更にまた、この運転支援装置によれば、俯瞰映像100において障害物の接近している自車両部分を覆い隠す部分に、障害物の種類を示す仮想的な表示を行うので、自車両10に対する障害物の方向のみならず、障害物の種類も把握させることができる。   Furthermore, according to this driving support device, the virtual display indicating the type of the obstacle is displayed on the portion of the overhead view image 100 that covers the part of the own vehicle that is approaching the obstacle. Not only the direction of the object but also the type of obstacle can be grasped.

更にまた、この運転支援装置によれば、俯瞰映像100において障害物の接近している自車両部分を覆い隠す部分に、障害物の形状及び色を示す仮想パターンの表示を行うので、自車両10に対する障害物の方向のみならず、障害物の形状や色も把握させることができる。   Furthermore, according to this driving support device, since the virtual pattern indicating the shape and color of the obstacle is displayed on the portion of the overhead image 100 that covers the part of the own vehicle that is approaching the obstacle, the own vehicle 10 As well as the direction of the obstacle with respect to the shape, the shape and color of the obstacle can be grasped.

更にまた、この運転支援装置によれば、障害物を検知した時に、俯瞰映像100内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示141の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to this driving support device, when an obstacle is detected, the display form of the guideline display 141 for grasping the positional relationship between the own vehicle and the vehicle surroundings in the overhead view image 100 is changed. The driver can be surely grasped the existence of the object.

更にまた、この運転支援装置によれば、俯瞰映像100内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示141を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示141を消去させるので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to this driving support device, when an obstacle is detected when the guideline display 141 for grasping the positional relationship between the host vehicle and the surroundings of the vehicle is displayed in the overhead view image 100, another guideline display is displayed. Since the guideline display 141 closer to the obstacle is erased, the driver can be surely grasped the presence of the obstacle.

更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像110内に、当該障害物が接近している部分を強調する障害物警報表示131を行うので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to this driving support device, when an obstacle is detected, the obstacle alarm display 131 for emphasizing a portion where the obstacle is approaching is directly displayed in the image 110. The driver can be surely grasped.

更にまた、この運転支援装置によれば、直接映像110の障害物警報表示131として、障害物が接近している部分を線で囲う表示を行うので、更に確実に障害物の存在を運転者に把握させることができる。   Furthermore, according to this driving support device, the obstacle warning display 131 of the direct image 110 is displayed by surrounding the portion where the obstacle is approaching with a line, so that the presence of the obstacle can be more reliably indicated to the driver. It can be grasped.

更にまた、この運転支援装置によれば、障害物を検知した時に、直接映像110内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示141の表示形態を変化させるので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to the driving support device, when an obstacle is detected, the display form of the guideline display 141 for directly grasping the positional relationship between the host vehicle and the surroundings of the vehicle is directly changed. The driver can be surely grasped the existence of the object.

更にまた、この運転支援装置によれば、直接映像110内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示141を行っている時に、障害物を検知した場合、他のガイドライン表示141よりも障害物に近いガイドライン表示141を点滅させるので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to this driving support device, when an obstacle is detected while the guideline display 141 for grasping the positional relationship between the host vehicle and the surroundings of the vehicle is directly displayed in the video 110, another guideline display is displayed. Since the guideline display 141 closer to the obstacle than 141 is blinked, the driver can be surely made aware of the presence of the obstacle.

更にまた、この運転支援装置によれば、直接映像110内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示141を行っている時に、障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示表示の色を変化させるので、障害物の存在を確実に運転者に把握させることができる。   Furthermore, according to this driving support device, when an obstacle is detected while the guideline display 141 for grasping the positional relationship between the host vehicle and the surroundings of the vehicle is directly displayed in the video 110, another guideline display is displayed. Since the color of the guideline display display closer to the obstacle is changed, the driver can be surely grasped the presence of the obstacle.

更にまた、この運転支援装置によれば、障害物を検知していない時には、直接映像110の表示サイズよりも俯瞰映像100の表示サイズを大きくして俯瞰映像100によって自車両10に対する駐車枠などの方向を把握させ、障害物を検知した時には、俯瞰映像100の表示サイズよりも直接映像110の表示サイズを大きくして、自車両10に対する障害物との相対位置を把握させることができる。   Furthermore, according to this driving support device, when an obstacle is not detected, the display size of the overhead image 100 is made larger than the display size of the direct image 110, and the parking frame for the host vehicle 10 is When the direction is grasped and an obstacle is detected, the display size of the video 110 can be directly made larger than the display size of the bird's-eye view image 100, and the relative position of the host vehicle 10 with the obstacle can be grasped.

更にまた、この運転支援装置によれば、障害物を検知した場合に、直接映像110の背景色を変化させるので、俯瞰映像100よりも直接映像110により確実に視線を向かせることができる。   Furthermore, according to this driving support device, when an obstacle is detected, the background color of the image 110 is directly changed, so that the line of sight can be more reliably directed to the image 110 than the overhead image 100.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

1 撮像部
2 表示部
3 制御部
4 映像処理部
5 障害物検知部
6 車両信号取得部
7 操作部
100 俯瞰映像
110 直接映像
121 障害物表示
131,132 障害物警報表示
141 ガイドライン表示
151 背景色可変領域
DESCRIPTION OF SYMBOLS 1 Image pick-up part 2 Display part 3 Control part 4 Image | video process part 5 Obstacle detection part 6 Vehicle signal acquisition part 7 Operation part 100 Overhead image 110 Direct image 121 Obstacle display 131,132 Obstacle warning display 141 Guideline display 151 Background color variable region

Claims (11)

車両周囲の状況を運転者に提示する映像表示装置において、
車両周囲の異なる方向を撮像する複数のカメラと、
前記複数のカメラにより撮像された複数の現在の直接映像の各画素の位置を、直接映像と俯瞰映像との画素配置関係を定義した変換テーブルに基づいて、俯瞰映像の各画素の位置へ座標変換することにより俯瞰映像を作成する映像処理手段と、
前記俯瞰映像を表示する表示手段と、
自車両に近接する障害物を検知する障害物検知手段と、を備え、
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像のうち、前記自車両から前記障害物までの領域を覆い隠す障害物警報表示を行う
ことを特徴とする映像表示装置。
In the video display device that presents the situation around the vehicle to the driver,
A plurality of cameras that image different directions around the vehicle;
Coordinates the position of each pixel of a plurality of current direct images captured by the plurality of cameras to the position of each pixel of the overhead image based on a conversion table that defines a pixel arrangement relationship between the direct image and the overhead image. Video processing means for creating a bird's-eye view video,
Display means for displaying the overhead view video;
An obstacle detection means for detecting an obstacle close to the host vehicle ,
The display means displays an obstacle warning that covers an area from the host vehicle to the obstacle in the overhead video when the obstacle detecting means detects the obstacle. apparatus.
前記表示手段は、前記俯瞰映像と、前記複数の現在の直接映像のいずれか1つの直接映像とを含む2つ以上の映像を同時に、且つ、前記直接映像の大きさを前記俯瞰映像の大きさよりも大きく表示し、
前記表示手段の表示領域は、少なくとも、前記複数の現在の直接映像のいずれか1つの直接映像の表示領域と、前記俯瞰映像の表示領域とに分割され
前記複数の現在の直接映像のいずれか1つの直接映像の表示領域、及び前記俯瞰映像の表示領域は、それぞれ固定されている
ことを特徴とする請求項1に記載の映像表示装置。
The display means simultaneously displays two or more videos including the overhead video and one of the plurality of current direct videos, and determines the size of the direct video from the size of the overhead video. Is also displayed larger
The display area of the display means is divided into at least one direct video display area of the plurality of current direct videos and the overhead video display area, and any one of the plurality of current direct videos. The video display device according to claim 1, wherein a display area for the two direct videos and a display area for the overhead video are each fixed.
前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記障害物検知手段によって検知された障害物の自車両に対する方向を撮像した前記直接映像を、前記俯瞰映像と同時に表示する
ことを特徴とする請求項1又は2に記載の映像表示装置。
The display means, when an obstacle is detected by said obstacle detecting means, the direct image of the captured direction with respect to the vehicle of the obstacle detected by the obstacle detecting unit, displaying the overhead image at the same time The video display device according to claim 1, wherein:
前記表示手段は、前記障害物警報表示により覆い隠される部分に、当該障害物の自車両に対する方向を撮像した直接映像を表示することを特徴とする請求項1に記載の映像表示装置。 The display means, the portion to be hidden covered by the obstacle alarm display, the image display device according to claim 1, characterized in that displaying the direct image of the captured direction with respect to the vehicle of the obstacle. 前記表示手段は、前記障害物検知手段によって障害物を検知した時に、前記俯瞰映像内の、自車両と車両周囲との位置関係を把握させるためのガイドライン表示の表示形態を変化させることを特徴とする請求項1に記載の映像表示装置。 The display means is configured to change a display form of a guideline display for grasping a positional relationship between the own vehicle and the vehicle surroundings in the overhead view video when an obstacle is detected by the obstacle detection means. The video display device according to claim 1 . 前記表示手段は、前記俯瞰映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を消去させることを特徴とする請求項5に記載の映像表示装置。 When the obstacle is detected by the obstacle detection means while the guide means is displayed in the bird's-eye view image to understand the positional relationship between the host vehicle and the surroundings of the vehicle, The video display device according to claim 5 , wherein the guideline display close to the obstacle is also erased. 前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示を点滅させることを特徴とする請求項2又は3に記載の映像表示装置。 When the obstacle is detected by the obstacle detection means while the guide means is displayed in the direct video for grasping the positional relationship between the host vehicle and the surroundings of the vehicle, the display means displays other guideline displays. 4. The video display device according to claim 2, wherein the guideline display close to the obstacle is blinked. 前記表示手段は、前記直接映像内に自車両と車両周囲との位置関係を把握させるためのガイドライン表示を行っている時に、前記障害物検知手段によって障害物を検知した場合、他のガイドライン表示よりも障害物に近いガイドライン表示の色を変化させることを特徴とする請求項2又は3に記載の映像表示装置。 When the obstacle is detected by the obstacle detection means while the guide means is displayed in the direct video for grasping the positional relationship between the host vehicle and the surroundings of the vehicle, the display means displays other guideline displays. 4. The video display device according to claim 2, wherein the color of the guideline display close to the obstacle is also changed. 前記表示手段は、前記障害物検知手段によって障害物を検知していない時には、前記直接映像の表示サイズよりも前記俯瞰映像の表示サイズを大きくし、前記障害物検知手段によって障害物を検知した時には、前記俯瞰映像の表示サイズよりも前記直接映像の表示サイズを大きくすることを特徴とする請求項3に記載の映像表示装置。 When the obstacle detecting means detects no obstacle, the display means makes the overhead video display size larger than the direct video display size, and when the obstacle detecting means detects the obstacle. 4. The video display device according to claim 3, wherein the display size of the direct video is larger than the display size of the overhead view video. 前記表示手段は、前記障害物検知手段によって障害物を検知した場合に、前記直接映像又は前記俯瞰映像の背景色を変化させることを特徴とする請求項2に記載の映像表示装置。 The video display device according to claim 2, wherein the display unit changes a background color of the direct video or the overhead view video when an obstacle is detected by the obstacle detection unit. 車両周囲の状況を運転者に提示する映像表示方法において、前記映像表示方法は、
複数のカメラを用いて車両周囲の異なる方向を撮像する段階と、
前記複数のカメラにより撮像された複数の現在の直接映像の各画素の位置を、直接映像と俯瞰映像との画素配置関係を定義した変換テーブルに基づいて、俯瞰映像の各画素の位置へ座標変換することにより俯瞰映像を作成する段階と、
自車両に近接する障害物を検知する障害物検知段階と、
前記俯瞰映像を表示する表示段階と、を有し、
前記障害物検知段階において障害物を検知した場合、前記表示段階では、前記俯瞰映像のうち、前記自車両から前記障害物までの領域を覆い隠す障害物警報表示を行う
ことを特徴とする映像表示方法。
In a video display method for presenting a situation around a vehicle to a driver, the video display method includes:
Imaging different directions around the vehicle using multiple cameras;
Coordinates the position of each pixel of a plurality of current direct images captured by the plurality of cameras to the position of each pixel of the overhead image based on a conversion table that defines a pixel arrangement relationship between the direct image and the overhead image. To create a bird's-eye view video,
An obstacle detection stage for detecting obstacles close to the vehicle,
A display stage for displaying the overhead image,
When an obstacle is detected in the obstacle detection stage, the display stage displays an obstacle alarm display that covers an area from the own vehicle to the obstacle in the overhead view video. Method.
JP2011168131A 2011-08-01 2011-08-01 Video display device and video display method Active JP5408198B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011168131A JP5408198B2 (en) 2011-08-01 2011-08-01 Video display device and video display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011168131A JP5408198B2 (en) 2011-08-01 2011-08-01 Video display device and video display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005166865A Division JP2006341641A (en) 2005-06-07 2005-06-07 Image display apparatus and image display method

Publications (2)

Publication Number Publication Date
JP2011251681A JP2011251681A (en) 2011-12-15
JP5408198B2 true JP5408198B2 (en) 2014-02-05

Family

ID=45415984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011168131A Active JP5408198B2 (en) 2011-08-01 2011-08-01 Video display device and video display method

Country Status (1)

Country Link
JP (1) JP5408198B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303957B2 (en) 2016-05-26 2019-05-28 Hyundai Motor Company Vehicle control system based on user input and method thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5529943B2 (en) 2012-09-21 2014-06-25 株式会社小松製作所 Work vehicle periphery monitoring system and work vehicle
JP6585371B2 (en) 2015-04-24 2019-10-02 株式会社デンソーテン Image processing apparatus, image processing method, and in-vehicle apparatus
MX2018004891A (en) * 2015-10-22 2018-06-20 Nissan Motor Display control method and display control device.
EP3498554B1 (en) * 2016-08-09 2020-06-24 JVC KENWOOD Corporation Display control device, display device, display control method, and program
EP3462733B1 (en) 2016-09-20 2021-03-10 JVC Kenwood Corporation Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program
KR20180032109A (en) 2016-09-21 2018-03-29 엘지전자 주식회사 Dashboard display and vehicle comprising the same
JP6730606B2 (en) 2016-11-25 2020-07-29 株式会社Jvcケンウッド Overhead video generation device, overhead video generation system, overhead video generation method and program
JP6974564B2 (en) * 2016-12-09 2021-12-01 京セラ株式会社 Display control device
EP4155128A1 (en) 2016-12-09 2023-03-29 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location
JP6953915B2 (en) * 2017-08-31 2021-10-27 株式会社アイシン Peripheral monitoring device
JP6504529B1 (en) 2017-10-10 2019-04-24 マツダ株式会社 Vehicle display device
JP6964276B2 (en) * 2018-03-07 2021-11-10 パナソニックIpマネジメント株式会社 Display control device, vehicle peripheral display system and computer program
JP7354649B2 (en) * 2019-07-26 2023-10-03 株式会社アイシン Peripheral monitoring device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3102250B2 (en) * 1994-02-14 2000-10-23 三菱自動車工業株式会社 Ambient information display device for vehicles
JP4108210B2 (en) * 1998-12-11 2008-06-25 富士通テン株式会社 Vehicle parking assist device
JP4723703B2 (en) * 1999-06-25 2011-07-13 富士通テン株式会社 Vehicle driving support device
JP3762855B2 (en) * 2000-05-30 2006-04-05 アイシン精機株式会社 Parking assistance device
JP2002019556A (en) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd Monitoring system
JP2002316602A (en) * 2001-04-24 2002-10-29 Matsushita Electric Ind Co Ltd Pickup image displaying method of onboard camera, and device therefor
JP3606853B2 (en) * 2001-09-07 2005-01-05 松下電器産業株式会社 Vehicle ambient condition display device
JP2004104478A (en) * 2002-09-10 2004-04-02 Auto Network Gijutsu Kenkyusho:Kk Device and method for assisting parking
JP4067424B2 (en) * 2003-02-21 2008-03-26 株式会社デンソー Vehicle peripheral image processing apparatus, program, and recording medium
JP2004289733A (en) * 2003-03-25 2004-10-14 Clarion Co Ltd Vehicle periphery-monitoring apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303957B2 (en) 2016-05-26 2019-05-28 Hyundai Motor Company Vehicle control system based on user input and method thereof

Also Published As

Publication number Publication date
JP2011251681A (en) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5408198B2 (en) Video display device and video display method
JP2006341641A (en) Image display apparatus and image display method
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP7010221B2 (en) Image generator, image generation method, and program
JP4956915B2 (en) Video display device and video display method
JP6806156B2 (en) Peripheral monitoring device
JP6014442B2 (en) Image generation apparatus, image display system, and image generation method
CN104210424B (en) Enhanced front curb viewing system
JP4907883B2 (en) Vehicle periphery image display device and vehicle periphery image display method
US11750768B2 (en) Display control apparatus
CN104773113B (en) Periphery monitoring apparatus
CN111201558B (en) Method for representing the surroundings of a vehicle
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
WO2012039256A1 (en) Driving assistance device
CN109691088A (en) Image processing equipment, image processing method and program
WO2007015446A1 (en) Device for monitoring around vehicle and method for monitoring around vehicle
JP5516998B2 (en) Image generation device
JP2006252389A (en) Circumference-monitoring device
CN102695037A (en) Method for switching and expression of vehicle-mounted multi-view camera picture
JP4192680B2 (en) Moving object periphery monitoring device
CN103051867A (en) Image generator
JP2011155651A (en) Apparatus and method for displaying vehicle perimeter image
KR20210120398A (en) Electronic device displaying image by using camera monitoring system and the method for operation the same
JP5845909B2 (en) Obstacle alarm device
KR101295618B1 (en) Apparatus and method for displaying blind spot

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R150 Certificate of patent or registration of utility model

Ref document number: 5408198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150