JP6763356B2

JP6763356B2 - Display control device, display control system, display control method and program

Info

Publication number: JP6763356B2
Application number: JP2017148384A
Authority: JP
Inventors: 一郎石田; 清水　義之; 義之清水; 拓之照内; 林　直人; 直人林; 昇勝俣
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2020-09-30
Anticipated expiration: 2037-07-31
Also published as: JP2019029863A

Description

本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display control system, a display control method and a program.

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。 A technique related to a vehicle peripheral display device for displaying a bird's-eye view image of a vehicle together with a vehicle image is known (see, for example, Patent Document 1). This technology expands the display area of the bird's-eye view image behind the vehicle image when the vehicle switches from forward to backward.

特開２０１５−０７６６４５号公報Japanese Unexamined Patent Publication No. 2015-0764645

特許文献１に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。 As described in Patent Document 1, the bird's-eye view image of the vehicle is displayed at the time of retreat warehousing into the parking lot because the main purpose is to support parking at the time of warehousing into the parking lot. As a result, at the time of reverse warehousing, the driver visually confirms the surrounding situation including the blind spot range in the mirror by a bird's-eye view image.

駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、周辺状況に変化があった場合などには、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、周辺状況に関わらず俯瞰映像を表示すると、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。 Since the bird's-eye view image is not displayed when the vehicle is in front of the parking lot, the driver checks the surrounding conditions visually or by looking at the mirror. It is easier to operate when moving forward from the parking lot than when moving backward. However, when there is a change in the surrounding situation, it may be desirable to check the surrounding situation by a bird's-eye view image in addition to the visual or mirror confirmation. In addition, if the bird's-eye view image is displayed regardless of the surrounding conditions when the parking lot is in front of the parking lot, the bird's-eye view image is displayed when there is no need to display the bird's-eye view image, or when you want to check the route by navigation. Is displayed.

本発明は、上記に鑑みてなされたものであって、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to appropriately display a bird's-eye view image according to changes in the surrounding conditions at the time of delivery.

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の情報である第一障害物情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の情報である第二障害物情報を取得する隣接情報取得部と、前記第一障害物情報と前記第二障害物情報とを比較して、前記車両が出庫する際に前記車両の周囲の障害物が増加しているか否かを比較する比較部と、前記比較部が、前記車両が出庫する際に前記車両の周囲の障害物が増加していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the display control device according to the present invention includes a video data acquisition unit that acquires video data from a plurality of shooting units that shoot the surroundings of the vehicle, and the video data acquisition unit. A bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the unit, and a first obstacle that is information on obstacles around the vehicle when the vehicle retracts and enters the garage. Adjacent information acquisition unit that acquires object information and second obstacle information that is information on obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage, and the first obstacle information. A comparison unit that compares with the second obstacle information and compares whether or not obstacles around the vehicle are increasing when the vehicle leaves the garage, and the comparison unit releases the vehicle. When it is determined that the number of obstacles around the vehicle is increasing, the display control unit is provided to display the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit when leaving the garage. To do.

本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記隣接情報取得部が前記第一障害物情報および前記第二障害物情報を取得する障害物検出部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかとを備える。 In the display control system according to the present invention, the display control device, a plurality of photographing units in which the video data acquisition unit acquires video data, and the adjacent information acquisition unit are the first obstacle information and the second obstacle. It includes at least one of an obstacle detection unit for acquiring information and a display unit on which the display control unit displays a bird's-eye view image.

本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の情報である第一障害物情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の情報である第二障害物情報を取得する隣接障害物情報取得ステップと、前記第一障害物情報と前記第二障害物情報とを比較して、前記車両が出庫する際に前記車両の周囲の障害物が増加しているか否かを比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記車両の周囲の障害物が増加していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。 The display control method according to the present invention includes a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composition process on the video data acquired in the video data acquisition step. A bird's-eye view image generation step for generating a bird's-eye view image, first obstacle information which is information on obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle moves forward from the warehousing state. The adjacent obstacle information acquisition step of acquiring the second obstacle information which is the information of the obstacles around the vehicle at the time of leaving the warehouse is compared with the first obstacle information and the second obstacle information. In the comparison step of comparing whether or not the obstacles around the vehicle increase when the vehicle leaves the garage, and in the comparison step, the obstacles around the vehicle increase when the vehicle leaves the garage. When it is determined that the data is output, the display control step of displaying the bird's-eye view image generated in the bird's-eye view image generation step on the display unit is included.

本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の情報である第一障害物情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の情報である第二障害物情報を取得する隣接障害物情報取得ステップと、前記第一障害物情報と前記第二障害物情報とを比較して、前記車両が出庫する際に前記車両の周囲の障害物が増加しているか否かを比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記車両の周囲の障害物が増加していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 The program according to the present invention performs a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composite process on the video data acquired in the video data acquisition step to obtain a bird's-eye view. A bird's-eye view image generation step for generating an image, first obstacle information which is information on obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle advances from the warehousing state and leaves the garage. The vehicle is compared with the adjacent obstacle information acquisition step of acquiring the second obstacle information which is the information of the obstacles around the vehicle at the time, and the first obstacle information and the second obstacle information. In the comparison step of comparing whether or not the obstacles around the vehicle are increasing when the vehicle leaves the garage, and in the comparison step, the obstacles around the vehicle are increasing when the vehicle is warehousing. If it is determined, the computer operating as the display control device is made to execute the display control step of displaying the bird's-eye view image generated in the bird's-eye view image generation step on the display unit when the data is delivered.

本発明によれば、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 According to the present invention, there is an effect that a bird's-eye view image can be appropriately displayed according to a change in the surrounding situation at the time of delivery.

図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. 図２は、駐車区画を説明する図であり、入庫時の状態を示す。FIG. 2 is a diagram illustrating a parking lot, and shows a state at the time of warehousing. 図３は、駐車区画を説明する図であり、出庫時の状態を示す。FIG. 3 is a diagram illustrating a parking lot, and shows a state at the time of delivery. 図４は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 4 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. 図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. 図６は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。FIG. 6 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment. 図７は、第二実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 7 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the second embodiment. 図８は、第三実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 8 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the third embodiment. 図９は、第四実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the fourth embodiment. 図１０は、自宅駐車場の駐車区画を説明する図である。FIG. 10 is a diagram illustrating a parking lot of a home parking lot. 図１１は、縦列駐車の駐車区画を説明する図であり、入庫時の状態を示す。FIG. 11 is a diagram illustrating a parking lot for parallel parking, and shows a state at the time of warehousing. 図１２は、縦列駐車の駐車区画を説明する図であり、出庫時の状態を示す。FIG. 12 is a diagram for explaining a parking lot for parallel parking, and shows a state at the time of leaving the parking lot.

以下に添付図面を参照して、本発明に係る表示制御装置４０、表示制御システム１、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 The display control device 40, the display control system 1, the display control method, and the embodiment of the program according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the following embodiments.

［第一実施形態］
図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。図２は、駐車区画を説明する図であり、入庫時の状態を示す。図３は、駐車区画を説明する図であり、出庫時の状態を示す。表示制御システム１は、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させる。表示制御システム１は、車両Ｖ１に搭載されている。表示制御システム１は、車両Ｖ１に載置されているものに加えて、可搬型で車両Ｖ１において利用可能な装置であってもよい。 [First Embodiment]
FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. FIG. 2 is a diagram illustrating a parking lot, and shows a state at the time of warehousing. FIG. 3 is a diagram illustrating a parking lot, and shows a state at the time of delivery. The display control system 1 appropriately displays a bird's-eye view image according to changes in the surrounding conditions at the time of delivery. The display control system 1 is mounted on the vehicle V1. The display control system 1 may be a portable device that can be used in the vehicle V1 in addition to the device mounted on the vehicle V1.

本実施形態では、車両Ｖ１は、駐車区画Ｐ１に駐車される。駐車区画Ｐ１と向かい合って、駐車区画ＰＡと駐車区画ＰＢと駐車区画ＰＣとが並んで配置されている。駐車区画ＰＢは、駐車区画Ｐ１と通路を挟んで正面に向かい合っている。駐車区画ＰＡは、車両Ｖ１から見て駐車区画ＰＢの左隣である。駐車区画ＰＣは、車両Ｖ１から見て駐車区画ＰＢの右隣である。駐車区画ＰＤは、駐車区画Ｐ１の左隣である。駐車区画ＰＥは、駐車区画Ｐ１の右隣である。 In the present embodiment, the vehicle V1 is parked in the parking lot P1. The parking lot PA, the parking lot PB, and the parking lot PC are arranged side by side facing the parking lot P1. The parking lot PB faces the front of the parking lot P1 with a passage in between. The parking lot PA is to the left of the parking lot PB when viewed from the vehicle V1. The parking lot PC is on the right side of the parking lot PB when viewed from the vehicle V1. The parking lot PD is to the left of the parking lot P1. The parking lot PE is to the right of the parking lot P1.

図１を用いて、表示制御システム１について説明する。表示制御システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、センサユニット（障害物検出部）２１と、表示パネル（表示部）３１と、表示制御装置４０とを有する。 The display control system 1 will be described with reference to FIG. The display control system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, and a sensor unit (obstacle detection). A unit) 21, a display panel (display unit) 31, and a display control device 40.

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖ１の前方に配置され、車両Ｖ１の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The front camera 11 is a bird's-eye view camera. The front camera 11 is arranged in front of the vehicle V1 and photographs the surroundings centered on the front of the vehicle V1. The front camera 11 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range in front of the vehicle V1 than the display range of the bird's-eye view image 100. The front camera 11 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖ１の後方に配置され、車両Ｖ１の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The rear camera 12 is a bird's-eye view camera. The rear camera 12 is arranged behind the vehicle V1 and photographs the surroundings centered on the rear of the vehicle V1. The rear camera 12 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range behind the vehicle V1 than the display range of the bird's-eye view image 100. The rear camera 12 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖ１の左側方に配置され、車両Ｖ１の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The left side camera 13 is a bird's-eye view camera. The left-side camera 13 is arranged on the left side of the vehicle V1 and photographs the periphery centered on the left side of the vehicle V1. The left-side camera 13 captures, for example, a photographing range of about 180 °. The shooting range includes a wider range on the left side of the vehicle V1 than the display range of the bird's-eye view image 100. The left-side camera 13 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖ１の右側方に配置され、車両Ｖ１の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The right side camera 14 is a bird's-eye view camera. The right-side camera 14 is arranged on the right side of the vehicle V1 and photographs the periphery centered on the right side of the vehicle V1. The right-side camera 14 captures, for example, a photographing range of about 180 °. The shooting range includes a wider range on the right side of the vehicle V1 than the display range of the bird's-eye view image 100. The right-side camera 14 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖ１の全方位を撮影する。 The front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 photograph the vehicle V1 in all directions.

センサユニット２１は、車両Ｖ１の周囲に設置された複数のセンサを含む。センサユニット２１は、車両Ｖ１の近傍に存在する障害物を検出可能である。本実施形態では、センサユニット２１は、車両Ｖ１の近傍に存在する障害物として、車両Ｖ１が入庫する駐車区画である駐車区画Ｐ１に隣接している駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両を検出する。本実施形態では、センサユニット２１は、前方中央センサと前方左センサと前方右センサと後方中央センサと後方左センサと後方右センサと左側方センサと右側方センサとが配置されている。各センサは同様に構成されているため、前方中央センサについて説明し、他のセンサについては説明を省略する。 The sensor unit 21 includes a plurality of sensors installed around the vehicle V1. The sensor unit 21 can detect an obstacle existing in the vicinity of the vehicle V1. In the present embodiment, the sensor unit 21 is an adjacent vehicle existing in the parking lot PA or the parking lot PE adjacent to the parking lot P1 which is the parking lot in which the vehicle V1 is stored as an obstacle existing in the vicinity of the vehicle V1. Is detected. In the present embodiment, the sensor unit 21 is arranged with a front center sensor, a front left sensor, a front right sensor, a rear center sensor, a rear left sensor, a rear right sensor, a left side sensor, and a right side sensor. Since each sensor has the same configuration, the front center sensor will be described, and the other sensors will be omitted.

前方中央センサは、車両Ｖ１の前方中央に配置され、車両Ｖ１の前方中央における障害物を検出する。本実施形態では、前方中央センサは、駐車区画ＰＢに存在する隣接車両を検出する。前方中央センサは、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサは、例えば、車両Ｖ１から５ｍ程度までの距離の隣接車両を検出する。前方中央センサは、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の隣接車両を検出する。前方中央センサの検出範囲は、前方左センサおよび前方右センサの検出範囲の一部と重複していてもよい。前方中央センサは、検出結果である隣接車両の有無を示す障害物情報を表示制御装置４０の隣接情報取得部４３へ出力する。 The front center sensor is arranged in the front center of the vehicle V1 and detects an obstacle in the front center of the vehicle V1. In the present embodiment, the front central sensor detects an adjacent vehicle existing in the parking lot PB. The front center sensor is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be composed of a combination thereof. The front center sensor detects, for example, an adjacent vehicle at a distance of about 5 m from the vehicle V1. The front center sensor detects an adjacent vehicle centered on the center of the sensor in a vertical direction, for example, in a range of about 40 °. The detection range of the front center sensor may overlap with a part of the detection range of the front left sensor and the front right sensor. The front center sensor outputs obstacle information indicating the presence or absence of an adjacent vehicle, which is a detection result, to the adjacent information acquisition unit 43 of the display control device 40.

このようなセンサユニット２１によって、車両Ｖ１の全方位の隣接車両を検出可能である。本実施形態では、センサユニット２１の検出結果によって、車両Ｖ１の左右側方、左右前方、前方の少なくともいずれかの隣接車両を検出可能である。より詳しくは、センサユニット２１の検出結果によって、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両を検出可能である。より詳しくは、検出結果に含まれる、隣接車両を検出したセンサ、および、センサで検出した隣接車両の水平方向の存在範囲によって、いずれの駐車区画に隣接車両が検出されたかが特定される。 By such a sensor unit 21, it is possible to detect an adjacent vehicle in all directions of the vehicle V1. In the present embodiment, it is possible to detect at least one of the adjacent vehicles on the left and right sides, the left and right front, and the front of the vehicle V1 based on the detection result of the sensor unit 21. More specifically, the detection result of the sensor unit 21 can detect an adjacent vehicle existing in the parking lot PA or the parking lot PE. More specifically, the sensor that detects the adjacent vehicle and the horizontal presence range of the adjacent vehicle detected by the sensor, which are included in the detection result, specify in which parking section the adjacent vehicle is detected.

表示パネル３１は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル３１は、必要なタイミングで、車両Ｖ１の周囲を確認するためのモニタである。表示パネル３１は、車両Ｖ１の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）または有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示パネル３１は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル３１は、車両Ｖ１の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル３１は、表示制御装置４０の表示制御部４８から出力された映像信号に基づき、車両Ｖ１の俯瞰映像１００を表示する。 The display panel 31 is, for example, a display device shared with other systems including a navigation system. The display panel 31 is a monitor for checking the surroundings of the vehicle V1 at a required timing. The display panel 31 can take various forms if the surroundings of the vehicle V1 can be confirmed. As an example of the display panel, it is also possible to use an electronic room mirror or to function as an instrument panel. The display panel 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminence) display. The display panel 31 is arranged at a position that is easily visible to the driver. In the present embodiment, the display panel 31 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle V1. The display panel 31 displays a bird's-eye view image 100 of the vehicle V1 based on the image signal output from the display control unit 48 of the display control device 40.

表示制御装置４０は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置４０は、入庫時および出庫時に、俯瞰映像１００を生成し表示する。 The display control device 40 provides information for assisting parking. More specifically, the display control device 40 generates and displays a bird's-eye view image 100 at the time of warehousing and warehousing.

表示制御装置４０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や映像処理用プロセッサなどで構成された演算処理装置（制御部）である。表示制御装置４０は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置４０は、映像データ取得部４１と、自車両情報取得部４２と、隣接情報取得部４３と、俯瞰映像生成部４４と、比較部４５と、表示制御部４８と、内部メモリである記憶部４９が含まれる。表示制御装置４０は、一または複数の装置で構成されていてもよい。 The display control device 40 is an arithmetic processing device (control unit) composed of, for example, a CPU (Central Processing Unit) and a video processing processor. The display control device 40 loads the program stored in the storage unit 49 into the memory and executes the instruction included in the program. The display control device 40 includes a video data acquisition unit 41, an own vehicle information acquisition unit 42, an adjacent information acquisition unit 43, a bird's-eye view image generation unit 44, a comparison unit 45, a display control unit 48, and an internal memory. The storage unit 49 is included. The display control device 40 may be composed of one or more devices.

映像データ取得部４１は、車両Ｖ１の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４１は、取得した映像データを隣接情報取得部４３と俯瞰映像生成部４４とに出力する。 The video data acquisition unit 41 acquires video data obtained by photographing the periphery of the vehicle V1. More specifically, the video data acquisition unit 41 acquires video data output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 41 outputs the acquired video data to the adjacent information acquisition unit 43 and the bird's-eye view image generation unit 44.

自車両情報取得部４２は、車両Ｖ１のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）や車両Ｖ１の状態をセンシングする各種センサなどから取得する。自車両情報取得部４２は、車両情報として、ＣＡＮや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部４２は、取得した車両情報を隣接情報取得部４３および表示制御部４８に出力する。 The own vehicle information acquisition unit 42 senses various states of CAN (Control Area Network) and vehicle V1 for vehicle information that is a parking start trigger or parking end trigger, such as gear operation information of vehicle V1. Obtained from a sensor or the like. The own vehicle information acquisition unit 42 acquires operation information of the steering operation performed at the time of parking acquired from CAN, various sensors, and the like as vehicle information. The own vehicle information acquisition unit 42 outputs the acquired vehicle information to the adjacent information acquisition unit 43 and the display control unit 48.

隣接情報取得部４３は、車両Ｖ１が後退して入庫したときにおける第一障害物情報、および、車両Ｖ１が入庫状態から前進して出庫するときにおける第二障害物情報を取得する。より詳しくは、隣接情報取得部４３は、車両Ｖ１が後退して入庫したとき、センサユニット２１から第一障害物情報を取得する。隣接情報取得部４３は、入庫時の第一障害物情報を記憶部４９で記憶させる。また、隣接情報取得部４３は、車両Ｖ１が入庫状態から前進して出庫するとき、センサユニット２１から第二障害物情報を取得する。車両Ｖ１が後退して入庫した判断、および車両Ｖ１が前進して出庫する判断は、自車両情報取得部４２から取得した車両Ｖ１のギア操作情報やエンジンのオン／オフ情報などによって判断する。隣接情報取得部４３は、出庫時の隣接車両情報を比較部４５に出力する。 The adjacent information acquisition unit 43 acquires the first obstacle information when the vehicle V1 moves backward and enters the garage, and the second obstacle information when the vehicle V1 moves forward from the warehousing state and leaves the garage. More specifically, the adjacent information acquisition unit 43 acquires the first obstacle information from the sensor unit 21 when the vehicle V1 retracts and enters the garage. The adjacent information acquisition unit 43 stores the first obstacle information at the time of warehousing in the storage unit 49. Further, the adjacent information acquisition unit 43 acquires the second obstacle information from the sensor unit 21 when the vehicle V1 advances from the warehousing state and leaves the garage. The determination that the vehicle V1 moves backward and enters the garage and the determination that the vehicle V1 moves forward and leaves the garage are determined based on the gear operation information of the vehicle V1 acquired from the own vehicle information acquisition unit 42, the on / off information of the engine, and the like. The adjacent information acquisition unit 43 outputs the adjacent vehicle information at the time of delivery to the comparison unit 45.

第一障害物情報は、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の周囲の障害物の情報である。本実施形態では、第一障害物情報は、車両Ｖ１が後退して入庫したときにおける、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の有無を含む情報である。 The first obstacle information is information on obstacles around the vehicle V1 when the vehicle V1 retracts and enters the garage. In the present embodiment, the first obstacle information is information including the presence / absence of an adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 retracts and enters the garage.

第二障害物情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の周囲の障害物の情報である。本実施形態では、第二障害物情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の有無を含む情報である。 The second obstacle information is information on obstacles around the vehicle V1 when the vehicle V1 advances from the warehousing state and leaves the garage. In the present embodiment, the second obstacle information is information including the presence / absence of an adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 advances from the warehousing state and leaves the garage.

車両Ｖ１が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両Ｖ１が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、５秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両Ｖ１が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。 The fact that the vehicle V1 is retracted and stored is, for example, that the shift position is set to "reverse" and the shift position is set to "parking" or "neutral" after the vehicle V1 travels backward, or 5 It is detected when the speed becomes zero for a time of more than a second, the engine is stopped, or the side brake or foot brake is operated. Alternatively, the fact that the vehicle V1 has moved backward and entered the garage may be detected by an arbitrary trigger such as a user operation.

車両Ｖ１が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両Ｖ１が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。 When the vehicle V1 moves forward from the warehousing state and leaves the garage, for example, the shift position is "parking" or "neutral", or the speed is zero for a time of 5 seconds or more, or the engine is stopped. Alternatively, it is detected when the engine is started, the shift position is set to "drive", the side brake or foot brake is released, etc. from the warehousing state such as the operation of the side brake or the foot brake. Alternatively, the fact that the vehicle V1 moves forward from the warehousing state and leaves the garage may be detected by an arbitrary trigger such as a user operation.

俯瞰映像生成部４４は、映像データ取得部４１で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像１００を生成する。俯瞰映像生成部４４は、入庫時、俯瞰映像１００を生成する。俯瞰映像生成部４４は、前進出庫時、車両Ｖ１の周辺状況が入庫時から変化していると判定した場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４４は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、俯瞰映像１００を生成する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示制御部４８に出力する。俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。 The bird's-eye view image generation unit 44 performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit 41 to generate the bird's-eye view image 100. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 at the time of warehousing. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when it is determined that the surrounding condition of the vehicle V1 has changed from the time of warehousing at the time of the front advance warehousing. In the present embodiment, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage. The bird's-eye view image generation unit 44 outputs the generated bird's-eye view image 100 to the display control unit 48. The bird's-eye view image generation unit 44 includes a viewpoint conversion processing unit 441, a cutting processing unit 442, and a composition processing unit 443.

視点変換処理部４４１は、映像データ取得部４１で取得した周辺映像データに対して、車両Ｖ１を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。 The viewpoint conversion processing unit 441 performs viewpoint conversion processing on the peripheral video data acquired by the video data acquisition unit 41 so as to look down on the vehicle V1 from above. More specifically, the viewpoint conversion processing unit 441 generates an image that has undergone viewpoint conversion processing based on peripheral image data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The method of the viewpoint conversion process may be any known method and is not limited. The viewpoint conversion processing unit 441 outputs the peripheral video data that has undergone the viewpoint conversion processing to the cutout processing unit 442.

切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。 The cutout processing unit 442 performs cutout processing for cutting out a predetermined range of video from the peripheral video data that has undergone the viewpoint conversion process. Which range is to be the cutout range is registered and stored in advance. The cutout processing unit 442 outputs the video data of the cutout processed video to the synthesis processing unit 443.

合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。 The compositing processing unit 443 performs a compositing process for synthesizing the video data that has been cut out. The composition processing unit 443 generates a bird's-eye view image 100 in which the vehicle icon 110 is displayed on the combined image.

図４を用いて、俯瞰映像１００について説明する。図４は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖ１から２ｍ程度の範囲を表示する。俯瞰映像１００は、駐車区画ＰＤに存在する隣接車両Ｖｄ、および、駐車区画ＰＥに存在する隣接車両Ｖｅが表示範囲に含まれる。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両Ｖ１の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。 The bird's-eye view image 100 will be described with reference to FIG. FIG. 4 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. The bird's-eye view image 100 displays a range of about 2 m from the vehicle V1. In the bird's-eye view image 100, the adjacent vehicle Vd existing in the parking lot PD and the adjacent vehicle Ve existing in the parking lot PE are included in the display range. The bird's-eye view image 100 is located in the central portion surrounded by the front image 101, the rear image 102, the left side image 103, the right side image 104, the front image 101, the rear image 102, the left side image 103, and the right side image 104. Includes the vehicle icon 110 and. The vehicle icon 110 indicates the position and orientation of the vehicle V1. The vehicle icon 110 is arranged at the center of the bird's-eye view image 100 with the front-rear direction parallel to the front-rear direction.

図１に戻って、比較部４５は、第一障害物情報および第二障害物情報を比較して、車両Ｖ１が出庫する際に車両Ｖ１の障害物が増加しているか否かを比較する。本実施形態では、比較部４５は、第一障害物情報および第二障害物情報を比較して、車両Ｖ１が出庫する際に隣接車両が増加しているか否かを比較する。より詳しくは、比較部４５は、入庫時の隣接駐車区画における車両有無と出庫時の隣接駐車区画における車両有無とを比較し、第一障害物情報では隣接車両が検出されておらず、第二障害物情報では隣接車両が検出された駐車区画が存在するとき、隣接車両が増加していると判定する。 Returning to FIG. 1, the comparison unit 45 compares the first obstacle information and the second obstacle information, and compares whether or not the obstacle of the vehicle V1 is increased when the vehicle V1 leaves the garage. In the present embodiment, the comparison unit 45 compares the first obstacle information and the second obstacle information, and compares whether or not the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage. More specifically, the comparison unit 45 compares the presence / absence of a vehicle in the adjacent parking lot at the time of warehousing with the presence / absence of a vehicle in the adjacent parking lot at the time of warehousing, and the first obstacle information does not detect the adjacent vehicle. In the obstacle information, when there is a parking lot in which an adjacent vehicle is detected, it is determined that the number of adjacent vehicles is increasing.

表示制御部４８は、入庫時、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接する障害物が増加していると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。本実施形態では、表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。より詳しくは、表示制御部４８は、比較部４５が、入庫時に隣接駐車区画に車両が存在せず、出庫時に隣接駐車区画に車両が存在していると判定した場合、出庫時に俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 causes the display panel 31 to display the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 at the time of warehousing. When the comparison unit 45 determines that the number of adjacent obstacles is increasing when the vehicle V1 leaves the garage, the display control unit 48 causes the display panel 31 to display the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44. .. In the present embodiment, when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. More specifically, when the comparison unit 45 determines that the vehicle does not exist in the adjacent parking lot at the time of warehousing and the vehicle exists in the adjacent parking lot at the time of warehousing, the display control unit 48 displays the bird's-eye view image 100 at the time of warehousing. It is displayed on the display panel 31.

記憶部４９は、表示制御装置４０におけるデータの一時記憶などに用いられる。記憶部４９は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ（ＦｌａｓｈＭｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。 The storage unit 49 is used for temporary storage of data in the display control device 40 and the like. The storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Alternatively, it may be an external storage device that is wirelessly connected via a communication device (not shown).

次に、図５、図６を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図６は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. FIG. 6 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment.

表示制御システム１が起動されると、表示制御装置４０は、映像データ取得部４１で映像データを取得する。表示制御装置４０は、自車両情報取得部４２で車両情報を取得する。 When the display control system 1 is activated, the display control device 40 acquires video data by the video data acquisition unit 41. The display control device 40 acquires vehicle information by the own vehicle information acquisition unit 42.

まず、入庫時の処理の流れについて説明する。 First, the flow of processing at the time of warehousing will be described.

表示制御装置４０は、後退を開始したか否かを判定する（ステップＳ１１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両Ｖ１の進行方向が後方になったことで検出する。表示制御装置４０は、後退を開始していないと判定した場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。表示制御装置４０は、後退を開始したと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。 The display control device 40 determines whether or not the retreat has started (step S11). The display control device 40 determines the presence / absence of the reverse trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The reverse trigger is detected, for example, when the shift position is set to "reverse" or the traveling direction of the vehicle V1 is set to the rear. When the display control device 40 determines that the retreat has not started (No in step S11), the display control device 40 re-executes the process of step S11. When the display control device 40 determines that the retreat has started (Yes in step S11), the display control device 40 proceeds to step S12.

ステップＳ１１で後退を開始したと判定された場合（ステップＳ１１でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ１２）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ１３に進む。 When it is determined in step S11 that the retreat has started (Yes in step S11), the display control device 40 starts the bird's-eye view image display (step S12). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S13.

表示制御装置４０は、入庫が完了したか否かを判定する（ステップＳ１３）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置４０は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。表示制御装置４０は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し（ステップＳ１３でＮｏ）、ステップＳ１３の処理を再度実行する。 The display control device 40 determines whether or not the warehousing is completed (step S13). More specifically, the display control device 40 is based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral", or the time of 5 seconds or more. When the speed is zero, the engine is stopped, or the operation of the side brake or foot brake is detected, it is determined that the warehousing is completed. When the display control device 40 determines that the warehousing is completed, it determines that the bird's-eye view image display is finished (Yes in step S13), and proceeds to step S14. When it is determined that the warehousing is not completed, the display control device 40 determines that the video display is not finished (No in step S13), and executes the process of step S13 again.

表示制御装置４０は、入庫が完了したと判定された場合（ステップＳ１３でＹｅｓ）、俯瞰映像表示を終了する（ステップＳ１４）。表示制御装置４０は、ステップ１５に進む。 When it is determined that the warehousing is completed (Yes in step S13), the display control device 40 ends the bird's-eye view video display (step S14). The display control device 40 proceeds to step 15.

表示制御装置４０は、隣接情報取得部４３で第一障害物情報を取得し、記憶部４９に記憶させる（ステップＳ１５）。そして、表示制御装置４０は、処理を終了する。 The display control device 40 acquires the first obstacle information by the adjacent information acquisition unit 43 and stores it in the storage unit 49 (step S15). Then, the display control device 40 ends the process.

図２を参照して、入庫時の車両Ｖ１の周辺状況を示す第一障害物情報について説明する。入庫時、駐車区画ＰＡに隣接車両Ｖａが存在し、駐車区画ＰＣに隣接車両Ｖｃが存在し、駐車区画ＰＤに隣接車両Ｖｄが存在している。駐車区画ＰＢと駐車区画ＰＥには隣接車両は存在していない。これらの情報がセンサユニット２１によって検出されて、隣接情報取得部４３によって第一障害物情報として取得される。第一障害物情報は、ステップＳ１５において記憶部４９に記憶される。 With reference to FIG. 2, the first obstacle information indicating the surrounding condition of the vehicle V1 at the time of warehousing will be described. At the time of warehousing, the adjacent vehicle Va exists in the parking lot PA, the adjacent vehicle Vc exists in the parking lot PC, and the adjacent vehicle Vd exists in the parking lot PD. There are no adjacent vehicles in the parking lot PB and the parking lot PE. This information is detected by the sensor unit 21 and acquired as the first obstacle information by the adjacent information acquisition unit 43. The first obstacle information is stored in the storage unit 49 in step S15.

次に、出庫時の処理の流れについて説明する。 Next, the flow of processing at the time of delivery will be described.

表示制御装置４０は、前進トリガの有無を判定する（ステップＳ２１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置４０は、前進トリガがないと判定した場合（ステップＳ２１でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、前進トリガがあると判定した場合（ステップＳ２１でＹｅｓ）、ステップＳ２２に進む。 The display control device 40 determines the presence / absence of the forward trigger (step S21). The display control device 40 determines the presence / absence of the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The forward trigger is detected, for example, when the engine is started, the shift position is set to a "drive" that allows forward movement, the side brake or the foot brake is released, and the like. When the display control device 40 determines that there is no forward trigger (No in step S21), the display control device 40 re-executes the process of step S21. When the display control device 40 determines that there is a forward trigger (Yes in step S21), the display control device 40 proceeds to step S22.

ステップＳ２１で前進トリガがあると判定された場合（ステップＳ２１でＹｅｓ）、表示制御装置４０は、入庫からの前進であるか否かを判定する（ステップＳ２２）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、５秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置４０は、記憶部４９に、第一障害物情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置４０は、入庫からの前進ではないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、入庫からの前進であると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。 When it is determined in step S21 that there is a forward trigger (Yes in step S21), the display control device 40 determines whether or not the advance is from warehousing (step S22). More specifically, the display control device 40 has a state immediately before detecting the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral". Or, if it is determined that the speed was zero for 5 seconds or more, the engine was stopped, or the side brake or foot brake was operated, it is considered to be a forward movement from the warehousing. judge. Alternatively, when the first obstacle information is stored in the storage unit 49, the display control device 40 may determine that the vehicle is moving forward from the warehousing. When the display control device 40 determines that the advance is not from the warehousing (No in step S22), the display control device 40 re-executes the process of step S21. When the display control device 40 determines that the vehicle is moving forward from the warehousing (Yes in step S22), the display control device 40 proceeds to step S23.

表示制御装置４０は、隣接情報取得部４３で第二障害物情報を取得し、比較部４５で第一障害物情報と第二障害物情報とを比較させる（ステップＳ２３）。表示制御装置４０は、比較部４５で比較することによって、入庫時と出庫時との車両Ｖ１の周辺状況の変化を取得する。表示制御装置４０は、ステップＳ２４に進む。 The display control device 40 acquires the second obstacle information by the adjacent information acquisition unit 43, and causes the comparison unit 45 to compare the first obstacle information and the second obstacle information (step S23). The display control device 40 acquires the change in the surrounding condition of the vehicle V1 between the time of warehousing and the time of warehousing by comparing with the comparison unit 45. The display control device 40 proceeds to step S24.

図３を参照して、出庫時の車両Ｖ１の周辺状況を示す第二障害物情報について説明する。出庫時、駐車区画ＰＡに隣接車両Ｖａが存在し、駐車区画ＰＣに隣接車両Ｖｃが存在し、駐車区画ＰＤに隣接車両Ｖｄが存在し、駐車区画ＰＥに隣接車両Ｖｅが存在している。これらの情報がセンサユニット２１によって検出されて、隣接情報取得部４３によって第二障害物情報として取得される。比較部４５によって、第一障害物情報と第二障害物情報とを比較すると、入庫時には存在していなかった駐車区画ＰＥの隣接車両Ｖｅが増加していることがわかる。 With reference to FIG. 3, the second obstacle information indicating the surrounding condition of the vehicle V1 at the time of delivery will be described. At the time of leaving the parking lot, the adjacent vehicle Va exists in the parking lot PA, the adjacent vehicle Vc exists in the parking lot PC, the adjacent vehicle Vd exists in the parking lot PD, and the adjacent vehicle Ve exists in the parking lot PE. This information is detected by the sensor unit 21 and acquired as the second obstacle information by the adjacent information acquisition unit 43. Comparing the first obstacle information and the second obstacle information by the comparison unit 45, it can be seen that the adjacent vehicle Ve of the parking lot PE, which did not exist at the time of warehousing, is increasing.

表示制御装置４０は、隣接車両が増加したか否かを判定する（ステップＳ２４）。表示制御装置４０は、比較部４５による比較の結果、隣接車両が増加していないと判定した場合（ステップＳ２４でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、比較部４５による比較の結果、隣接車両が増加したと判定した場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。 The display control device 40 determines whether or not the number of adjacent vehicles has increased (step S24). When it is determined that the number of adjacent vehicles has not increased as a result of comparison by the comparison unit 45 (No in step S24), the display control device 40 ends the process. In this case, the bird's-eye view image 100 is not displayed. When the display control device 40 determines that the number of adjacent vehicles has increased as a result of comparison by the comparison unit 45 (Yes in step S24), the display control device 40 proceeds to step S25.

表示制御装置４０は、前進を開始したか否かを判定する（ステップＳ２５）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両Ｖ１が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置４０は、車両Ｖ１が前進していないと判定した場合（ステップＳ２５でＮｏ）、ステップＳ２５の処理を再度実行する。表示制御装置４０は、車両Ｖ１が前進したと判定した場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。 The display control device 40 determines whether or not the advance has started (step S25). Based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 advances forward when, for example, it is detected that the speed is zero or more or that the vehicle V1 has traveled forward. Judge that it has started. When the display control device 40 determines that the vehicle V1 is not moving forward (No in step S25), the display control device 40 re-executes the process of step S25. When the display control device 40 determines that the vehicle V1 has moved forward (Yes in step S25), the display control device 40 proceeds to step S26.

ステップＳ２５で前進を開始したと判定された場合（ステップＳ２５でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ２６）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ２７に進む。 When it is determined in step S25 that the advance has started (Yes in step S25), the display control device 40 starts the bird's-eye view image display (step S26). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S27.

俯瞰映像１００を表示パネル３１に表示させるタイミングについては、一例としてステップＳ２６を例示したが、車両Ｖ１がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両Ｖ１が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。 Regarding the timing for displaying the bird's-eye view image 100 on the display panel 31, step S26 is illustrated as an example, but when the vehicle V1 starts the engine, when the shift position is set to "drive", and when the vehicle V1 starts moving forward. It is arbitrary if it is an appropriate timing to check the surrounding situation when leaving the warehouse.

図４を参照して、ステップＳ２６で表示される俯瞰映像１００について説明する。俯瞰映像１００は、駐車区画ＰＤに存在する隣接車両Ｖｄ、および、駐車区画ＰＥに存在する隣接車両Ｖｅが表示範囲に含まれる。 The bird's-eye view image 100 displayed in step S26 will be described with reference to FIG. In the bird's-eye view image 100, the adjacent vehicle Vd existing in the parking lot PD and the adjacent vehicle Ve existing in the parking lot PE are included in the display range.

表示制御装置４０は、俯瞰映像表示の終了条件を満たすか否かを判定する（ステップＳ２７）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置４０は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ２７でＹｅｓ）、ステップＳ２８に進む。表示制御装置４０は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し（ステップＳ２７でＮｏ）、ステップＳ２７の処理を再度実行する。 The display control device 40 determines whether or not the end condition of the bird's-eye view image display is satisfied (step S27). More specifically, based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 has, for example, traveled a predetermined distance or more from the position where the forward movement was started, or the vehicle speed became a predetermined speed or more. When this is detected, it is determined that the end condition of the bird's-eye view video display is satisfied. When the display control device 40 determines that the end condition of the bird's-eye view image display is satisfied, the display control device 40 determines that the bird's-eye view image display is terminated (Yes in step S27), and proceeds to step S28. When the display control device 40 determines that the end condition of the bird's-eye view image display is not satisfied, it determines that the image display is not terminated (No in step S27), and executes the process of step S27 again.

ステップＳ２７で俯瞰映像表示の終了条件を満たすと判定された場合（ステップＳ２７でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を終了する（ステップＳ２８）。表示制御装置４０は、記憶部４９に記憶した第一障害物情報を削除する。そして、表示制御装置４０は、処理を終了する。 When it is determined in step S27 that the condition for ending the bird's-eye view image display is satisfied (Yes in step S27), the display control device 40 ends the bird's-eye view image display (step S28). The display control device 40 deletes the first obstacle information stored in the storage unit 49. Then, the display control device 40 ends the process.

上述したように、本実施形態は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に周辺状況の変化に応じて適切に俯瞰映像１００を表示させることができる。本実施形態によれば、出庫時に入庫時よりも隣接車両が増加しているときに、俯瞰映像１００を表示することができる。これにより、隣接車両が増加して、出庫時の操作が難しくなったとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。 As described above, in the present embodiment, when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 is displayed on the display panel 31. Display it. As described above, in this embodiment, the bird's-eye view image 100 can be appropriately displayed according to the change in the surrounding situation at the time of delivery. According to the present embodiment, the bird's-eye view image 100 can be displayed when the number of adjacent vehicles is increasing at the time of warehousing than at the time of warehousing. As a result, even if the number of adjacent vehicles increases and the operation at the time of leaving the vehicle becomes difficult, the driver can appropriately confirm the surroundings of the vehicle V1 by the bird's-eye view image 100 in addition to the visual or mirror confirmation. ..

本実施形態によれば、出庫時に周辺状況の変化に応じて、俯瞰映像１００の表示が必要なときに限って俯瞰映像１００を表示する。このように、本実施形態は、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。 According to the present embodiment, the bird's-eye view image 100 is displayed only when it is necessary to display the bird's-eye view image 100 according to the change in the surrounding situation at the time of delivery. As described above, in the present embodiment, it is possible to suppress that the bird's-eye view image is displayed in a situation where there is no need to display the bird's-eye view image, or that the bird's-eye view image is displayed when it is desired to confirm the route by navigation. ..

［第二実施形態］
図７を参照しながら、本実施形態に係る表示制御システム１について説明する。図７は、第二実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。以下の説明においては、表示制御システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。表示制御システム１は、生成する俯瞰映像１００において、増加した隣接車両を強調表示する点で第一実施形態と異なる。 [Second Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the second embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. In the following description, the same components as those of the display control system 1 are designated by the same reference numerals or corresponding reference numerals, and detailed description thereof will be omitted. The display control system 1 differs from the first embodiment in that the increased number of adjacent vehicles is highlighted in the generated bird's-eye view image 100.

合成処理部４４３は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加した隣接車両を強調した俯瞰映像１００を生成する。例えば、合成処理部４４３は、位置が変化した隣接車両を着色したり、太い線で囲ったりすることで強調表示する。 When the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the synthesis processing unit 443 generates a bird's-eye view image 100 that emphasizes the increased number of adjacent vehicles. For example, the synthesis processing unit 443 highlights the adjacent vehicle whose position has changed by coloring it or enclosing it with a thick line.

表示制御部４８は、比較部４５が増加していると判定した隣接車両を強調表示した俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 causes the display panel 31 to display a bird's-eye view image 100 highlighting the adjacent vehicle that the comparison unit 45 has determined to be increasing.

図７を用いて、俯瞰映像１００について説明する。俯瞰映像１００は、増加した隣接車両Ｖｅが着色されて強調表示されている。 The bird's-eye view image 100 will be described with reference to FIG. 7. In the bird's-eye view image 100, the increased adjacent vehicle Ve is colored and highlighted.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加した隣接車両が強調表示された俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、入庫時と出庫時とで増加した隣接車両を容易に把握することができる。本実施形態によれば、俯瞰映像１００において、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the bird's-eye view image 100 in which the increased adjacent vehicles are highlighted is displayed. It is displayed on the panel 31. In this embodiment, it is possible to easily grasp the number of adjacent vehicles that have increased at the time of warehousing and at the time of warehousing. According to the present embodiment, in the bird's-eye view image 100, it is easy to recognize the points that have changed from the time of warehousing, so that the driver can easily confirm the points to be noted at the time of warehousing.

［第三実施形態］
図８を参照しながら、本実施形態に係る表示制御システム１について説明する。図８は、第三実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、生成する俯瞰映像１００において、増加した隣接車両の存在する方向を報知する報知アイコン１２０を表示する点で第一実施形態と異なる。 [Third Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 8 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the third embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-eye view image 100 displays a notification icon 120 that notifies the direction in which the increased adjacent vehicle exists.

合成処理部４４３は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加した隣接車両が存在する方向を示す報知アイコン１２０を表示した俯瞰映像１００を生成する。 When the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the synthesis processing unit 443 displays a bird's-eye view image 100 displaying a notification icon 120 indicating the direction in which the increased adjacent vehicles exist. Generate.

表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加していると判定された隣接車両の方向を示す報知アイコン１２０を含む俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 is a bird's-eye view including a notification icon 120 indicating the direction of the adjacent vehicle determined to be increasing when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage. The image 100 is displayed on the display panel 31.

図８を用いて、俯瞰映像１００について説明する。本実施形態では、入庫時に駐車区画ＰＣに隣接車両が存在しておらず、出庫時に駐車区画ＰＣに隣接車両Ｖｃが存在していたものとする。俯瞰映像１００は、増加した隣接車両Ｖｃが存在する方向を示す報知アイコン１２０が表示されている。 The bird's-eye view image 100 will be described with reference to FIG. In the present embodiment, it is assumed that the adjacent vehicle does not exist in the parking lot PC at the time of warehousing, and the adjacent vehicle Vc exists in the parking lot PC at the time of warehousing. In the bird's-eye view image 100, a notification icon 120 indicating the direction in which the increased adjacent vehicle Vc exists is displayed.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加した隣接車両が存在する方向を示す報知アイコン１２０を表示した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、俯瞰映像１００に増加した隣接車両が表示されていない場合でも、入庫時と出庫時とで増加した隣接車両が存在する方向を容易に把握することができる。本実施形態によれば、俯瞰映像１００に表示されていなくても入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the notification icon 120 indicating the direction in which the increased adjacent vehicles are present is displayed. The displayed bird's-eye view image 100 is displayed on the display panel 31. In the present embodiment, even when the increased number of adjacent vehicles is not displayed in the bird's-eye view image 100, it is possible to easily grasp the direction in which the increased number of adjacent vehicles exists at the time of warehousing and the time of warehousing. According to the present embodiment, it is easy to recognize the points that have changed from the time of warehousing even if they are not displayed on the bird's-eye view image 100, so that the driver can easily confirm the points to be noted at the time of warehousing.

［第四実施形態］
図９を参照しながら、本実施形態に係る表示制御システム１について説明する。図９は、第四実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、生成する俯瞰映像１００において、増加した隣接車両が表示範囲に含まれるように表示範囲を変更した俯瞰映像１００を表示する点で第一実施形態と異なる。 [Fourth Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the fourth embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-eye view image 100 displays the bird's-eye view image 100 whose display range is changed so that the increased adjacent vehicles are included in the display range.

切出処理部４４２は、視点変換処理を行った周辺映像データから、増加した隣接車両が表示範囲に含まれるような切出範囲で切出し処理を行う。増加した隣接車両は、俯瞰映像１００の表示範囲に一部分が含まれていればよい。 The cutout processing unit 442 performs cutout processing in a cutout range so that the increased adjacent vehicles are included in the display range from the peripheral video data that has been subjected to the viewpoint conversion process. The increased number of adjacent vehicles may be partially included in the display range of the bird's-eye view image 100.

表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加していると判定された隣接車両を含むように表示範囲を変更した俯瞰映像１００を表示パネル３１に表示させる。 When the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the display control unit 48 changes the display range so as to include the adjacent vehicles determined to be increasing. The image 100 is displayed on the display panel 31.

図９を用いて、俯瞰映像１００について説明する。本実施形態では、入庫時に駐車区画ＰＣに隣接車両が存在しておらず、出庫時に駐車区画ＰＣに隣接車両Ｖｃが存在していたものとする。俯瞰映像１００は、増加した隣接車両Ｖｃが表示されるように表示範囲を前方に広くした俯瞰映像１００が表示されている。 The bird's-eye view image 100 will be described with reference to FIG. In the present embodiment, it is assumed that the adjacent vehicle does not exist in the parking lot PC at the time of warehousing, and the adjacent vehicle Vc exists in the parking lot PC at the time of warehousing. As the bird's-eye view image 100, the bird's-eye view image 100 whose display range is widened forward so that the increased adjacent vehicle Vc is displayed is displayed.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両が増加していると判定した場合、増加した隣接車両が表示されるように表示範囲を変更した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、俯瞰映像１００に増加した隣接車両が表示されるので、入庫時と出庫時とで増加した隣接車両を容易に把握することができる。本実施形態によれば、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the number of adjacent vehicles is increasing when the vehicle V1 leaves the garage, the display range is changed so that the increased number of adjacent vehicles is displayed. The bird's-eye view image 100 is displayed on the display panel 31. In the present embodiment, since the increased number of adjacent vehicles is displayed in the bird's-eye view image 100, it is possible to easily grasp the increased number of adjacent vehicles at the time of warehousing and at the time of warehousing. According to the present embodiment, it is easy to recognize the points that have changed from the time of warehousing, so that the driver can easily confirm the points to be noted at the time of warehousing.

図示した表示制御システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the displayed display control system 1 shown is functionally conceptual, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.

表示制御システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display control system 1 is realized, for example, by a program loaded in a memory as software. In the above embodiment, it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Further, the configurations described above can be combined as appropriate. Further, various omissions, substitutions or changes of the configuration can be made without departing from the gist of the present invention.

図１０を用いて、駐車区画Ｐ１が自宅の駐車場である場合について説明する。図１０は、自宅駐車場の駐車区画を説明する図である。駐車区画Ｐ１は、車両Ｖ１を１台駐車するスペースである。センサユニット２１は、車両Ｖ１に隣接する障害物として、駐車区画Ｐ１内に存在する、例えば、自転車Ｂなどの障害物を検出する。隣接情報取得部４３は、車両Ｖ１が後退して入庫したときの、駐車区画Ｐ１内の障害物の情報を第一障害物情報として取得し、車両Ｖ１が入庫状態から前進して出庫するときの、駐車区画Ｐ１内の障害物の情報を第二障害物情報として取得する。表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に駐車区画Ｐ１内の障害物が増加していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、隣接する駐車区画の隣接車両に限定されず、車両の周囲の障害物が増加した場合、俯瞰映像を表示することができる。 A case where the parking lot P1 is a parking lot at home will be described with reference to FIG. FIG. 10 is a diagram illustrating a parking lot of a home parking lot. The parking lot P1 is a space for parking one vehicle V1. The sensor unit 21 detects an obstacle such as a bicycle B existing in the parking lot P1 as an obstacle adjacent to the vehicle V1. The adjacent information acquisition unit 43 acquires information on obstacles in the parking lot P1 as the first obstacle information when the vehicle V1 retracts and enters the garage, and when the vehicle V1 advances from the warehousing state and leaves the garage , The information of the obstacle in the parking lot P1 is acquired as the second obstacle information. When the comparison unit 45 determines that the number of obstacles in the parking lot P1 is increasing when the vehicle V1 leaves the parking lot, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. As described above, the present embodiment is not limited to the adjacent vehicle in the adjacent parking lot, and when the obstacles around the vehicle increase, the bird's-eye view image can be displayed.

図１１、図１２を用いて、駐車区画Ｐ１が縦列駐車の区画である場合について説明する。図１１は、縦列駐車の駐車区画を説明する図であり、入庫時の状態を示す。図１２は、縦列駐車の駐車区画を説明する図であり、出庫時の状態を示す。駐車区画ＰＦは、駐車区画Ｐ１の後側に隣接している。駐車区画ＰＧは、駐車区画Ｐ１の前側に隣接している。入庫時は、駐車区画ＰＦには隣接車両Ｖｆが存在しており、駐車区画ＰＧには隣接車両が存在していない。出庫時は、駐車区画ＰＦには隣接車両Ｖｆが存在し、駐車区画ＰＧには隣接車両Ｖｇが存在している。センサユニット２１は、車両Ｖ１に隣接する障害物として、駐車区画ＰＦおよび駐車区画ＰＧに存在する隣接車両を検出する。図示しないナビゲーションシステムの地図情報に基づいて駐車区画Ｐ１が縦列駐車の区画であると判定される場合、センサユニット２１による障害物の検出範囲から車両Ｖ１の側方を除くことが好ましい。障害物の検出範囲から車両Ｖ１の側方を除くことにより、縦列駐車区画に隣接する車道を走行する車両を誤検出することが回避される。本実施形態では、表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に駐車区画ＰＦまたは駐車区画ＰＧに隣接車両が増加していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、駐車区画Ｐ１の形態に合わせて、適切な方向の隣接車両を検出して、隣接車両が増加した場合、俯瞰映像を表示することができる。 A case where the parking lot P1 is a parallel parking lot will be described with reference to FIGS. 11 and 12. FIG. 11 is a diagram illustrating a parking lot for parallel parking, and shows a state at the time of warehousing. FIG. 12 is a diagram illustrating a parking lot for parallel parking, and shows a state at the time of leaving the garage. The parking lot PF is adjacent to the rear side of the parking lot P1. The parking lot PG is adjacent to the front side of the parking lot P1. At the time of warehousing, the adjacent vehicle Vf exists in the parking lot PF, and the adjacent vehicle does not exist in the parking lot PG. At the time of delivery, the adjacent vehicle Vf exists in the parking lot PF, and the adjacent vehicle Vg exists in the parking lot PG. The sensor unit 21 detects adjacent vehicles existing in the parking lot PF and the parking lot PG as obstacles adjacent to the vehicle V1. When it is determined that the parking lot P1 is a parallel parking lot based on the map information of the navigation system (not shown), it is preferable to exclude the side of the vehicle V1 from the obstacle detection range by the sensor unit 21. By excluding the side of the vehicle V1 from the obstacle detection range, it is possible to avoid erroneous detection of a vehicle traveling on a roadway adjacent to a parallel parking lot. In the present embodiment, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31 when the comparison unit 45 determines that the number of vehicles adjacent to the parking lot PF or the parking lot PG is increasing when the vehicle V1 leaves the garage. To display. As described above, in this embodiment, it is possible to detect an adjacent vehicle in an appropriate direction according to the form of the parking lot P1 and display a bird's-eye view image when the number of adjacent vehicles increases.

隣接情報取得部４３は、センサユニット２１から第一障害物情報および第二障害物情報を取得するものとして説明したが、これに限定されない。隣接情報取得部４３は、映像データ取得部４１で取得した映像データに画像処理を行って、被撮影物から車両Ｖ１の周囲の障害物を認識し、第一障害物情報および第二障害物情報として取得してもよい。 The adjacent information acquisition unit 43 has been described as acquiring the first obstacle information and the second obstacle information from the sensor unit 21, but the present invention is not limited to this. The adjacent information acquisition unit 43 performs image processing on the video data acquired by the video data acquisition unit 41, recognizes obstacles around the vehicle V1 from the object to be photographed, and recognizes the first obstacle information and the second obstacle information. May be obtained as.

第一障害物情報は、車両Ｖ１が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一障害物情報は、車両Ｖ１が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両Ｖ１の周囲の障害物の情報を取得してもよい。 The first obstacle information has been described as being acquired when the vehicle V1 retracts and enters the garage, but the present invention is not limited to this. As the first obstacle information, information on obstacles around the vehicle V1 at the time of completion of warehousing may be acquired based on the information acquired during the parking operation in which the vehicle V1 is retracted and warehousing.

さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両の現在位置情報とから、車両の現在位置が駐車場であると判定された場合、または、映像データ取得部４１で取得した映像データに画像処理を行って、車両の現在位置が駐車場であると判定された場合、車両Ｖ１が入庫したと判定してもよい。 Furthermore, for example, when it is determined that the current position of the vehicle is a parking lot from the map information of the navigation system (not shown) and the current position information of the vehicle, or an image is added to the video data acquired by the video data acquisition unit 41. When the processing is performed and it is determined that the current position of the vehicle is a parking lot, it may be determined that the vehicle V1 has arrived.

１表示制御システム
１１前方カメラ（撮影部）
１２後方カメラ（撮影部）
１３左側方カメラ（撮影部）
１４右側方カメラ（撮影部）
２１センサユニット（障害物検出部）
３１表示パネル（表示部）
４０表示制御装置
４１映像データ取得部
４２自車両情報取得部
４３隣接情報取得部
４４俯瞰映像生成部
４５比較部
４８表示制御部
４９記憶部 1 Display control system 11 Front camera (shooting unit)
12 Rear camera (shooting section)
13 Left side camera (shooting section)
14 Right side camera (shooting section)
21 Sensor unit (obstacle detection unit)
31 Display panel (display unit)
40 Display control device 41 Video data acquisition unit 42 Own vehicle information acquisition unit 43 Adjacent information acquisition unit 44 Bird's-eye view image generation unit 45 Comparison unit 48 Display control unit 49 Storage unit

Claims

A video data acquisition unit that acquires video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the video data acquisition unit.
First obstacle information, which is information on obstacles around the vehicle when the vehicle moves backward and enters the garage, and obstacles around the vehicle when the vehicle moves forward from the warehousing state and leaves the garage. Adjacent information acquisition unit that acquires information on the second obstacle, and
A comparison unit that compares the first obstacle information and the second obstacle information and compares whether or not obstacles around the vehicle are increasing when the vehicle leaves the garage.
When the comparison unit determines that the number of obstacles around the vehicle is increasing when the vehicle leaves the garage, the display unit displays the bird's-eye view image generated by the bird's-eye view image generation unit when the vehicle leaves the garage. Control unit and
A display control device comprising.

The adjacent information acquisition unit acquires information on an adjacent vehicle adjacent to the vehicle when the vehicle moves backward and enters the garage as first obstacle information, and when the vehicle advances from the warehousing state and leaves the garage. Acquire information on adjacent vehicles adjacent to the vehicle as second obstacle information,
The comparison unit compares the first obstacle information with the second obstacle information, and compares whether or not the number of adjacent vehicles is increasing when the vehicle leaves the garage.
When the comparison unit determines that the number of adjacent vehicles is increasing when the vehicle leaves the garage, the display control unit causes the display unit to display the bird's-eye view image generated by the bird's-eye view image generation unit.
The display control device according to claim 1.

The comparison unit compares the presence / absence of vehicles in the adjacent parking lot at the time of warehousing with the presence / absence of vehicles in the adjacent parking lot at the time of warehousing.
When the comparison unit determines that the vehicle does not exist in the adjacent parking lot at the time of warehousing and the vehicle exists in the adjacent parking lot at the time of warehousing, the display control unit generates the bird's-eye view image generation unit at the time of warehousing. Display the bird's-eye view image on the display unit,
The display control device according to claim 2.

The adjacent information acquisition unit acquires, as the first obstacle information and the second obstacle information, information indicating the presence or absence of at least one of the left and right side, left and right front, and front of the vehicle.
The display control device according to claim 2 or 3.

When the comparison unit determines that the obstacles around the vehicle are increasing when the vehicle leaves the garage, the display control unit highlights the obstacles determined to be increasing.
The display control device according to any one of claims 1 to 4.

When the comparison unit determines that the obstacles around the vehicle are increasing when the vehicle leaves the garage, the display control unit indicates information indicating the direction of the obstacles determined to be increasing. The display control device according to any one of claims 1 to 4, wherein a bird's-eye view image including the above is displayed on a display unit.

When the comparison unit determines that the obstacles around the vehicle are increasing when the vehicle leaves the garage, the display control unit displays so as to include the obstacles determined to be increasing. The display control device according to any one of claims 1 to 4, wherein a bird's-eye view image having a changed range is displayed on a display unit.

The display control device according to any one of claims 1 to 7.
A plurality of photographing units in which the video data acquisition unit acquires video data, an obstacle detection unit in which the adjacent information acquisition unit acquires the first obstacle information and the second obstacle information, and a bird's-eye view image in the display control unit. With at least one of the display units that display
A display control system characterized by being equipped with.

A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle information, which is information on obstacles around the vehicle when the vehicle moves backward and enters the garage, and obstacles around the vehicle when the vehicle moves forward from the warehousing state and leaves the garage. Adjacent obstacle information acquisition step to acquire the second obstacle information which is information, and
A comparison step of comparing the first obstacle information with the second obstacle information and comparing whether or not obstacles around the vehicle are increasing when the vehicle leaves the garage.
When it is determined in the comparison step that the number of obstacles around the vehicle is increasing when the vehicle leaves the garage, a display for displaying the bird's-eye view image generated in the bird's-eye view image generation step when leaving the garage is displayed on the display unit. Control steps and
A display control method characterized by including.

A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle information, which is information on obstacles around the vehicle when the vehicle moves backward and enters the garage, and obstacles around the vehicle when the vehicle moves forward from the warehousing state and leaves the garage. Adjacent obstacle information acquisition step to acquire the second obstacle information which is information, and
A comparison step of comparing the first obstacle information with the second obstacle information and comparing whether or not obstacles around the vehicle are increasing when the vehicle leaves the garage.
When it is determined in the comparison step that the number of obstacles around the vehicle is increasing when the vehicle leaves the garage, a display for displaying the bird's-eye view image generated in the bird's-eye view image generation step when leaving the garage is displayed on the display unit. Control steps and
Is a program to be executed by a computer that operates as a display control device.