JP6763357B2 - Display control device, display control system, display control method and program - Google Patents
Display control device, display control system, display control method and program Download PDFInfo
- Publication number
- JP6763357B2 JP6763357B2 JP2017148385A JP2017148385A JP6763357B2 JP 6763357 B2 JP6763357 B2 JP 6763357B2 JP 2017148385 A JP2017148385 A JP 2017148385A JP 2017148385 A JP2017148385 A JP 2017148385A JP 6763357 B2 JP6763357 B2 JP 6763357B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display control
- obstacle
- bird
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 160
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 160
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display control system, a display control method and a program.
車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている(例えば、特許文献1参照)。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。 A technique related to a vehicle peripheral display device for displaying a bird's-eye view image of a vehicle together with a vehicle image is known (see, for example, Patent Document 1). This technology expands the display area of the bird's-eye view image behind the vehicle image when the vehicle switches from forward to backward.
特許文献1に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。 As described in Patent Document 1, the bird's-eye view image of the vehicle is displayed at the time of retreat warehousing into the parking lot because the main purpose is to support parking at the time of warehousing into the parking lot. As a result, at the time of reverse warehousing, the driver visually confirms the surrounding situation including the blind spot range in the mirror by a bird's-eye view image.
駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、周辺状況に変化があった場合などには、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、周辺状況に関わらず俯瞰映像を表示すると、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。 Since the bird's-eye view image is not displayed when the vehicle is in front of the parking lot, the driver checks the surrounding conditions visually or by looking at the mirror. It is easier to operate when moving forward from the parking lot than when moving backward. However, when there is a change in the surrounding situation, it may be desirable to check the surrounding situation by a bird's-eye view image in addition to the visual or mirror confirmation. In addition, if the bird's-eye view image is displayed regardless of the surrounding conditions when the parking lot is in front of the parking lot, the bird's-eye view image is displayed when there is no need to display the bird's-eye view image, or when you want to check the route by navigation. Is displayed.
本発明は、上記に鑑みてなされたものであって、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to appropriately display a bird's-eye view image according to changes in the surrounding conditions at the time of delivery.
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得部と、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較部と、前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the display control device according to the present invention includes a video data acquisition unit that acquires video data from a plurality of shooting units that shoot the surroundings of the vehicle, and the video data acquisition unit. A first that includes a bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the unit, and position information of obstacles around the vehicle when the vehicle retracts and enters the garage. An adjacent information acquisition unit that acquires obstacle position information and second obstacle position information including position information of obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage, and the first A comparison unit that compares the obstacle position information with the second obstacle position information and compares changes in the position of the obstacle at the time of entering and exiting the vehicle, and the comparison unit indicates that the vehicle leaves the garage. When it is determined that the position of the obstacle has changed at the time of delivery, the display control unit is provided to display the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit. ..
本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記隣接情報取得部が前記第一障害物位置情報および前記第二障害物位置情報を取得する障害物検出部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかとを備える。 In the display control system according to the present invention, the display control device, a plurality of photographing units in which the video data acquisition unit acquires video data, and the adjacent information acquisition unit are the first obstacle position information and the second obstacle. It includes at least one of an obstacle detection unit for acquiring object position information and a display unit on which the display control unit displays a bird's-eye view image.
本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。 The display control method according to the present invention includes a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composition process on the video data acquired in the video data acquisition step. A bird's-eye view image generation step for generating a bird's-eye view image, first obstacle position information including the position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle moves forward from the warehousing state. The adjacency information acquisition step for acquiring the second obstacle position information including the position information of the obstacles around the vehicle at the time of leaving the warehouse, and the first obstacle position information and the second obstacle position information. By comparison, in the comparison step for comparing the change in the position of the obstacle at the time of entering and leaving the vehicle, and in the comparison step, the position of the obstacle is changed when the vehicle leaves the garage. When the determination is made, the display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step on the display unit at the time of delivery is included.
本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 The program according to the present invention performs a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composite process on the video data acquired in the video data acquisition step to obtain a bird's-eye view. A bird's-eye view image generation step for generating an image, first obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle advances from the warehousing state. The adjacent information acquisition step for acquiring the second obstacle position information including the position information of the obstacles around the vehicle at the time of leaving the warehouse is compared with the first obstacle position information and the second obstacle position information. In the comparison step for comparing the changes in the positions of the obstacles at the time of entering and leaving the vehicle and the comparison steps, it is determined that the positions of the obstacles have changed when the vehicle leaves the garage. In this case, the computer operating as the display control device is made to execute the display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step on the display unit when the data is delivered.
本発明によれば、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 According to the present invention, there is an effect that a bird's-eye view image can be appropriately displayed according to a change in the surrounding situation at the time of delivery.
以下に添付図面を参照して、本発明に係る表示制御装置40、表示制御システム1、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 The display control device 40, the display control system 1, the display control method, and the embodiment of the program according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the following embodiments.
[第一実施形態]
図1は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。図2は、駐車区画を説明する図であり、入庫時の状態を示す。図3は、駐車区画を説明する図であり、出庫時の状態を示す。表示制御システム1は、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させる。表示制御システム1は、車両V1に搭載されている。表示制御システム1は、車両V1に載置されているものに加えて、可搬型で車両V1において利用可能な装置であってもよい。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. FIG. 2 is a diagram illustrating a parking lot, and shows a state at the time of warehousing. FIG. 3 is a diagram illustrating a parking lot, and shows a state at the time of delivery. The display control system 1 appropriately displays a bird's-eye view image according to changes in the surrounding conditions at the time of delivery. The display control system 1 is mounted on the vehicle V1. The display control system 1 may be a portable device that can be used in the vehicle V1 in addition to the device mounted on the vehicle V1.
本実施形態では、車両V1は、駐車区画P1に駐車される。駐車区画P1と向かい合って、駐車区画PAと駐車区画PBと駐車区画PCとが並んで配置されている。駐車区画PBは、駐車区画P1と通路を挟んで正面に向かい合っている。駐車区画PAは、車両V1から見て駐車区画PBの左隣である。駐車区画PCは、車両V1から見て駐車区画PBの右隣である。駐車区画PDは、駐車区画P1の左隣である。駐車区画PEは、駐車区画P1の右隣である。 In the present embodiment, the vehicle V1 is parked in the parking lot P1. The parking lot PA, the parking lot PB, and the parking lot PC are arranged side by side facing the parking lot P1. The parking lot PB faces the front of the parking lot P1 with a passage in between. The parking lot PA is to the left of the parking lot PB when viewed from the vehicle V1. The parking lot PC is on the right side of the parking lot PB when viewed from the vehicle V1. The parking lot PD is to the left of the parking lot P1. The parking lot PE is to the right of the parking lot P1.
図1を用いて、表示制御システム1について説明する。表示制御システム1は、前方カメラ(撮影部)11と、後方カメラ(撮影部)12と、左側方カメラ(撮影部)13と、右側方カメラ(撮影部)14と、センサユニット(障害物検出部)21と、表示パネル(表示部)31と、表示制御装置40とを有する。 The display control system 1 will be described with reference to FIG. The display control system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, and a sensor unit (obstacle detection). A unit) 21, a display panel (display unit) 31, and a display control device 40.
前方カメラ11は、俯瞰映像用カメラである。前方カメラ11は、車両V1の前方に配置され、車両V1の前方を中心とした周辺を撮影する。前方カメラ11は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の前方に広い範囲を含む。前方カメラ11は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。
The front camera 11 is a bird's-eye view camera. The front camera 11 is arranged in front of the vehicle V1 and photographs the surroundings centered on the front of the vehicle V1. The front camera 11 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range in front of the vehicle V1 than the display range of the bird's-
後方カメラ12は、俯瞰映像用カメラである。後方カメラ12は、車両V1の後方に配置され、車両V1の後方を中心とした周辺を撮影する。後方カメラ12は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の後方に広い範囲を含む。後方カメラ12は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。
The
左側方カメラ13は、俯瞰映像用カメラである。左側方カメラ13は、車両V1の左側方に配置され、車両V1の左側方を中心とした周辺を撮影する。左側方カメラ13は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の左側方に広い範囲を含む。左側方カメラ13は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。
The left side camera 13 is a bird's-eye view camera. The left-side camera 13 is arranged on the left side of the vehicle V1 and photographs the periphery centered on the left side of the vehicle V1. The left-side camera 13 captures, for example, a photographing range of about 180 °. The shooting range includes a wider range on the left side of the vehicle V1 than the display range of the bird's-
右側方カメラ14は、俯瞰映像用カメラである。右側方カメラ14は、車両V1の右側方に配置され、車両V1の右側方を中心とした周辺を撮影する。右側方カメラ14は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の右側方に広い範囲を含む。右側方カメラ14は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。
The
前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両V1の全方位を撮影する。
The front camera 11, the
センサユニット21は、車両V1の周囲に設置された複数のセンサを含む。センサユニット21は、車両V1の近傍に存在する障害物の位置を検出可能である。本実施形態では、センサユニット21は、車両V1の近傍に存在する障害物として、車両V1が入庫する駐車区画である駐車区画P1に隣接している駐車区画PAないし駐車区画PEに存在する隣接車両の位置を検出する。本実施形態では、センサユニット21は、前方中央センサと前方左センサと前方右センサと後方中央センサと後方左センサと後方右センサと左側方センサと右側方センサとが配置されている。各センサは同様に構成されているため、前方中央センサについて説明し、他のセンサについては説明を省略する。
The
前方中央センサは、車両V1の前方中央に配置され、車両V1の前方中央における障害物の位置を検出する。本実施形態では、前方中央センサは、駐車区画PBに存在する隣接車両の位置を検出する。前方中央センサは、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサは、例えば、車両V1から5m程度までの距離の隣接車両を検出する。前方中央センサは、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の隣接車両を検出する。前方中央センサの検出範囲は、前方左センサおよび前方右センサの検出範囲の一部と重複していてもよい。前方中央センサは、検出結果である隣接車両の位置を示す障害物位置情報を表示制御装置40の隣接情報取得部43へ出力する。障害物位置情報の例としては、前方中央センサの検出範囲における隣接車両の有無、隣接車両までの距離、水平方向における隣接車両の存在範囲などである。
The front center sensor is arranged in the front center of the vehicle V1 and detects the position of an obstacle in the front center of the vehicle V1. In the present embodiment, the front central sensor detects the position of an adjacent vehicle existing in the parking lot PB. The front center sensor is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be composed of a combination thereof. The front center sensor detects, for example, an adjacent vehicle at a distance of about 5 m from the vehicle V1. The front center sensor detects an adjacent vehicle centered on the center of the sensor in a vertical direction, for example, in a range of about 40 °. The detection range of the front center sensor may overlap with a part of the detection range of the front left sensor and the front right sensor. The front center sensor outputs the obstacle position information indicating the position of the adjacent vehicle, which is the detection result, to the adjacent
隣接車両までの距離とは、車両V1から隣接車両の最も近い部分までの距離である。隣接車両Vaまでの距離Laは、車両V1の左前端部から隣接車両Vaの車両V1に最も近い部分までの距離である。隣接車両Vbまでの距離Lbは、車両V1の前端部から隣接車両Vbの車両V1に最も近い部分までの距離である。隣接車両Vcまでの距離Lcは、車両V1の右前端部から隣接車両Vcの車両V1に最も近い部分までの距離である。隣接車両Vdまでの距離Ldは、車両V1の左側面から隣接車両Vdの右側面までの距離である。隣接車両Veまでの距離Leは、車両V1の右側面から隣接車両Veの左側面までの距離である。 The distance to the adjacent vehicle is the distance from the vehicle V1 to the nearest portion of the adjacent vehicle. The distance La to the adjacent vehicle Va is the distance from the left front end of the vehicle V1 to the portion of the adjacent vehicle Va closest to the vehicle V1. The distance Lb to the adjacent vehicle Vb is the distance from the front end portion of the vehicle V1 to the portion of the adjacent vehicle Vb closest to the vehicle V1. The distance Lc to the adjacent vehicle Vc is the distance from the right front end of the vehicle V1 to the portion of the adjacent vehicle Vc closest to the vehicle V1. The distance Ld to the adjacent vehicle Vd is the distance from the left side surface of the vehicle V1 to the right side surface of the adjacent vehicle Vd. The distance Le to the adjacent vehicle Ve is the distance from the right side surface of the vehicle V1 to the left side surface of the adjacent vehicle Ve.
このようなセンサユニット21によって、車両V1の全方位の隣接車両の位置を検出可能である。本実施形態では、センサユニット21の検出結果によって、車両V1の左右側方、左右前方、前方の少なくともいずれかの隣接車両の位置を検出可能である。より詳しくは、センサユニット21の検出結果によって、駐車区画PAないし駐車区画PEに存在する隣接車両の位置を検出可能である。より詳しくは、検出結果に含まれる、隣接車両を検出したセンサ、センサで検出した隣接車両までの距離、および、センサで検出した隣接車両の水平方向の存在範囲によって、各駐車区画における隣接車両の位置が特定される。
With such a
表示パネル31は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル31は、必要なタイミングで、車両V1の周囲を確認するためのモニタである。表示パネル31は、車両V1の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。表示パネル31は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル31は、車両V1の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル31は、表示制御装置40の表示制御部48から出力された映像信号に基づき、車両V1の俯瞰映像100を表示する。
The display panel 31 is, for example, a display device shared with other systems including a navigation system. The display panel 31 is a monitor for checking the surroundings of the vehicle V1 at a required timing. The display panel 31 can take various forms if the surroundings of the vehicle V1 can be confirmed. As an example of the display panel, it is also possible to use an electronic room mirror or to function as an instrument panel. The display panel 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminence) display. The display panel 31 is arranged at a position that is easily visible to the driver. In the present embodiment, the display panel 31 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle V1. The display panel 31 displays a bird's-
表示制御装置40は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置40は、入庫時および出庫時に、俯瞰映像100を生成し表示する。
The display control device 40 provides information for assisting parking. More specifically, the display control device 40 generates and displays a bird's-
表示制御装置40は、例えば、CPU(Central Processing Unit)や映像処理用プロセッサなどで構成された演算処理装置(制御部)である。表示制御装置40は、記憶部49に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置40は、映像データ取得部41と、自車両情報取得部42と、隣接情報取得部43と、俯瞰映像生成部44と、比較部45と、表示制御部48と、内部メモリである記憶部49が含まれる。表示制御装置40は、一または複数の装置で構成されていてもよい。
The display control device 40 is an arithmetic processing device (control unit) composed of, for example, a CPU (Central Processing Unit) and a video processing processor. The display control device 40 loads the program stored in the storage unit 49 into the memory and executes the instruction included in the program. The display control device 40 includes a video data acquisition unit 41, an own vehicle
映像データ取得部41は、車両V1の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部41は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した映像データを取得する。映像データ取得部41は、取得した映像データを隣接情報取得部43と俯瞰映像生成部44とに出力する。
The video data acquisition unit 41 acquires video data obtained by photographing the periphery of the vehicle V1. More specifically, the video data acquisition unit 41 acquires video data output by the front camera 11, the
自車両情報取得部42は、車両V1のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、CAN(Controller Area Network)や車両V1の状態をセンシングする各種センサなどから取得する。自車両情報取得部42は、車両情報として、CANや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部42は、取得した車両情報を隣接情報取得部43および表示制御部48に出力する。
The own vehicle
隣接情報取得部43は、車両V1が後退して入庫したときにおける第一障害物位置情報、および、車両V1が入庫状態から前進して出庫するときにおける第二障害物位置情報を取得する。より詳しくは、隣接情報取得部43は、車両V1が後退して入庫したとき、センサユニット21から第一障害物位置情報を取得する。隣接情報取得部43は、入庫時の第一障害物位置情報を記憶部49で記憶させる。また、隣接情報取得部43は、車両V1が入庫状態から前進して出庫するとき、センサユニット21から第二障害物位置情報を取得する。車両V1が後退して入庫した判断、および車両V1が前進して出庫する判断は、自車両情報取得部42から取得した車両V1のギア操作情報やエンジンのオン/オフ情報などによって判断する。隣接情報取得部43は、出庫時の第二障害物位置情報を比較部45に出力する。
The adjacent
第一障害物位置情報は、車両V1が後退して入庫したときにおける車両V1の周囲の障害物の位置情報である。本実施形態では、第一障害物位置情報は、車両V1が後退して入庫したときにおける、駐車区画PAないし駐車区画PEに存在する隣接車両の位置情報である。 The first obstacle position information is the position information of obstacles around the vehicle V1 when the vehicle V1 retracts and enters the garage. In the present embodiment, the first obstacle position information is the position information of the adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 retracts and enters the garage.
第二障害物位置情報は、車両V1が入庫状態から前進して出庫するときにおける車両V1の周囲の障害物の位置情報である。本実施形態では、第二障害物位置情報は、車両V1が入庫状態から前進して出庫するときにおける、駐車区画PAないし駐車区画PEに存在する隣接車両の位置情報である。 The second obstacle position information is the position information of obstacles around the vehicle V1 when the vehicle V1 advances from the warehousing state and leaves the garage. In the present embodiment, the second obstacle position information is the position information of the adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 advances from the warehousing state and leaves the garage.
車両V1が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両V1が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、5秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両V1が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。 The fact that the vehicle V1 is retracted and stored is, for example, that the shift position is set to "reverse" and the shift position is set to "parking" or "neutral" after the vehicle V1 travels backward, or 5 It is detected when the speed becomes zero for a time of more than a second, the engine is stopped, or the side brake or foot brake is operated. Alternatively, the fact that the vehicle V1 has moved backward and entered the garage may be detected by an arbitrary trigger such as a user operation.
車両V1が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、5秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両V1が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。 When the vehicle V1 moves forward from the warehousing state and leaves the garage, for example, the shift position is "parking" or "neutral", or the speed is zero for a time of 5 seconds or more, or the engine is stopped. Alternatively, it is detected when the engine is started, the shift position is set to "drive", the side brake or foot brake is released, etc. from the warehousing state such as the operation of the side brake or the foot brake. Alternatively, the fact that the vehicle V1 moves forward from the warehousing state and leaves the garage may be detected by an arbitrary trigger such as a user operation.
俯瞰映像生成部44は、映像データ取得部41で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像100を生成する。俯瞰映像生成部44は、入庫時、俯瞰映像100を生成する。俯瞰映像生成部44は、前進出庫時、車両V1の周辺状況が入庫時から変化していると判定した場合、俯瞰映像100を生成する。本実施形態では、俯瞰映像生成部44は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1に近接する方向に変化していると判定した場合、俯瞰映像100を生成する。俯瞰映像生成部44は、生成した俯瞰映像100を表示制御部48に出力する。俯瞰映像生成部44は、視点変換処理部441と、切出処理部442と、合成処理部443とを有する。
The bird's-eye view image generation unit 44 performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit 41 to generate the bird's-
視点変換処理部441は、映像データ取得部41で取得した周辺映像データに対して、車両V1を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部441は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部441は、視点変換処理を行った周辺映像データを切出処理部442に出力する。
The viewpoint conversion processing unit 441 performs viewpoint conversion processing on the peripheral video data acquired by the video data acquisition unit 41 so as to look down on the vehicle V1 from above. More specifically, the viewpoint conversion processing unit 441 generates an image that has undergone viewpoint conversion processing based on peripheral image data captured by the front camera 11, the
切出処理部442は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部442は、切出処理を行った映像の映像データを合成処理部443に出力する。
The cutout processing unit 442 performs cutout processing for cutting out a predetermined range of video from the peripheral video data that has undergone the viewpoint conversion process. Which range is to be the cutout range is registered and stored in advance. The cutout processing unit 442 outputs the video data of the cutout processed video to the
合成処理部443は、切出処理を行った映像データを合成する合成処理を行う。合成処理部443は、合成した映像に車両アイコン110を表示した俯瞰映像100を生成する。
The
図4を用いて、俯瞰映像100について説明する。図4は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像100は、車両V1から2m程度の範囲を表示する。俯瞰映像100は、駐車区画PDに存在する隣接車両Vd、および、駐車区画PEに存在する隣接車両Veが表示範囲に含まれる。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104と、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する車両アイコン110とを含む。車両アイコン110は、車両V1の位置と向きとを示す。車両アイコン110は、前後方向を俯瞰映像100の前後方向と平行にして、中央部に配置されている。
The bird's-
図1に戻って、比較部45は、第一障害物位置情報および第二障害物位置情報を比較して、車両V1が出庫する際に車両V1の障害物の位置が変化しているか否かを比較する。本実施形態では、比較部45は、第一障害物位置情報および第二障害物位置情報を比較して、車両V1が出庫する際に隣接車両の位置が車両V1に近接する方向に変化しているか否かを比較する。より詳しくは、比較部45は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、車両V1からの距離が入庫時より短くなった隣接車両が存在するとき、隣接車両の位置が車両V1に近接する方向に変化していると判定する。比較部45は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、車両V1からの距離が入庫時より長くなっている、または、変化していない隣接車両のみが存在するとき、隣接車両の位置が車両V1に近接する方向に変化していないと判定する。比較部45は、入庫時と出庫時とで隣接車両が入れ替わっていても位置が変化していない場合、変化していないと判定する。ここで言う位置が変化していない場合とは、完全に同一の位置に加えて、例えば5cm未満の変化を含んでもよい。
Returning to FIG. 1, the
表示制御部48は、入庫時、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。表示制御部48は、比較部45が、車両V1が出庫する際に隣接する障害物の位置が変化していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。本実施形態では、表示制御部48は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1に近接する方向に変化していると判定した場合、俯瞰映像100を表示パネル31に表示させる。より詳しくは、表示制御部48は、比較部45が、車両V1が出庫する際に、車両V1からの距離が車両V1の入庫時より短くなった隣接車両が存在すると判定した場合、出庫時に俯瞰映像100を表示パネル31に表示させる。
The
記憶部49は、表示制御装置40におけるデータの一時記憶などに用いられる。記憶部49は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。 The storage unit 49 is used for temporary storage of data in the display control device 40 and the like. The storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Alternatively, it may be an external storage device that is wirelessly connected via a communication device (not shown).
次に、図5、図6を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。図5は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図6は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. FIG. 6 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment.
表示制御システム1が起動されると、表示制御装置40は、映像データ取得部41で映像データを取得する。表示制御装置40は、自車両情報取得部42で車両情報を取得する。
When the display control system 1 is activated, the display control device 40 acquires video data by the video data acquisition unit 41. The display control device 40 acquires vehicle information by the own vehicle
まず、入庫時の処理の流れについて説明する。 First, the flow of processing at the time of warehousing will be described.
表示制御装置40は、後退を開始したか否かを判定する(ステップS11)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両V1の進行方向が後方になったことで検出する。表示制御装置40は、後退を開始していないと判定した場合(ステップS11でNo)、ステップS11の処理を再度実行する。表示制御装置40は、後退を開始したと判定した場合(ステップS11でYes)、ステップS12に進む。
The display control device 40 determines whether or not the retreat has started (step S11). The display control device 40 determines the presence / absence of the reverse trigger based on the own vehicle information acquired by the own vehicle
ステップS11で後退を開始したと判定された場合(ステップS11でYes)、表示制御装置40は、俯瞰映像表示を開始する(ステップS12)。より詳しくは、表示制御装置40は、俯瞰映像生成部44で俯瞰映像100を生成し、表示制御部48で俯瞰映像100を表示パネル31に表示させる。表示制御装置40は、ステップS13に進む。
When it is determined in step S11 that the retreat has started (Yes in step S11), the display control device 40 starts the bird's-eye view image display (step S12). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-
表示制御装置40は、入庫が完了したか否かを判定する(ステップS13)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、5秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置40は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し(ステップS13でYes)、ステップS14に進む。表示制御装置40は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し(ステップS13でNo)、ステップS13の処理を再度実行する。
The display control device 40 determines whether or not the warehousing is completed (step S13). More specifically, the display control device 40 is based on the own vehicle information acquired by the own vehicle
表示制御装置40は、入庫が完了したと判定された場合(ステップS13でYes)、俯瞰映像表示を終了する(ステップS14)。表示制御装置40は、ステップ15に進む。 When it is determined that the warehousing is completed (Yes in step S13), the display control device 40 ends the bird's-eye view video display (step S14). The display control device 40 proceeds to step 15.
表示制御装置40は、隣接情報取得部43で第一障害物位置情報を取得し、記憶部49に記憶させる(ステップS15)。そして、表示制御装置40は、処理を終了する。
The display control device 40 acquires the first obstacle position information by the adjacent
図2を参照して、入庫時の車両V1の周辺状況を示す第一障害物位置情報について説明する。入庫時、駐車区画PAに隣接車両Vaが存在し、駐車区画PBに隣接車両Vbが存在し、駐車区画PCに隣接車両Vcが存在し、駐車区画PDに隣接車両Vdが存在し、駐車区画PEに隣接車両Veが存在している。車両V1の入庫時における、隣接車両Vaないし隣接車両Veの位置情報がセンサユニット21によって検出されて、隣接情報取得部43によって第一障害物位置情報として取得される。第一障害物位置情報は、ステップS15において記憶部49に記憶される。
With reference to FIG. 2, the first obstacle position information indicating the surrounding situation of the vehicle V1 at the time of warehousing will be described. At the time of warehousing, there is an adjacent vehicle Va in the parking lot PA, an adjacent vehicle Vb in the parking lot PB, an adjacent vehicle Vc in the parking lot PC, an adjacent vehicle Vd in the parking lot PD, and a parking lot PE. There is an adjacent vehicle Ve in. The position information of the adjacent vehicle Va or the adjacent vehicle Ve at the time of warehousing of the vehicle V1 is detected by the
次に、出庫時の処理の流れについて説明する。 Next, the flow of processing at the time of delivery will be described.
表示制御装置40は、前進トリガの有無を判定する(ステップS21)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置40は、前進トリガがないと判定した場合(ステップS21でNo)、ステップS21の処理を再度実行する。表示制御装置40は、前進トリガがあると判定した場合(ステップS21でYes)、ステップS22に進む。
The display control device 40 determines the presence / absence of the forward trigger (step S21). The display control device 40 determines the presence / absence of the forward trigger based on the own vehicle information acquired by the own vehicle
ステップS21で前進トリガがあると判定された場合(ステップS21でYes)、表示制御装置40は、入庫からの前進であるか否かを判定する(ステップS22)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、5秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置40は、記憶部49に、第一障害物位置情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置40は、入庫からの前進ではないと判定した場合(ステップS22でNo)、ステップS21の処理を再度実行する。表示制御装置40は、入庫からの前進であると判定した場合(ステップS22でYes)、ステップS23に進む。
When it is determined in step S21 that there is a forward trigger (Yes in step S21), the display control device 40 determines whether or not the advance is from warehousing (step S22). More specifically, the display control device 40 has a state immediately before detecting the forward trigger based on the own vehicle information acquired by the own vehicle
表示制御装置40は、隣接情報取得部43で第二障害物位置情報を取得し、比較部45で第一障害物位置情報と第二障害物位置情報とを比較させる(ステップS23)。表示制御装置40は、比較部45で比較することによって、入庫時と出庫時との車両V1の周辺状況の変化を取得する。表示制御装置40は、ステップS24に進む。
In the display control device 40, the adjacent
図3を参照して、出庫時の車両V1の周辺状況を示す第二障害物位置情報について説明する。出庫時、駐車区画PAの隣接車両Vaおよび駐車区画PEの隣接車両Veの位置が変化している。出庫時の隣接車両Vaの車両V1からの距離La1は、入庫時の隣接車両Vaの車両V1からの距離Laより短い。出庫時の隣接車両Veの車両V1からの距離Le1は、入庫時の隣接車両Veの車両V1からの距離Leより短い。入庫時の隣接車両Vaおよび隣接車両Veの位置を破線で示す。車両V1の出庫時における、隣接車両Vaないし隣接車両Veの位置情報がセンサユニット21によって検出されて、隣接情報取得部43によって第二障害物位置情報として取得される。比較部45によって、第一障害物位置情報と第二障害物位置情報とを比較すると、隣接車両Vaおよび隣接車両Veの位置が変化していることがわかる。
With reference to FIG. 3, the second obstacle position information indicating the surrounding situation of the vehicle V1 at the time of delivery will be described. At the time of delivery, the positions of the adjacent vehicle Va in the parking lot PA and the adjacent vehicle Ve in the parking lot PE have changed. The distance La1 of the adjacent vehicle Va at the time of warehousing from the vehicle V1 is shorter than the distance La1 of the adjacent vehicle Va at the time of warehousing from the vehicle V1. The distance Le1 of the adjacent vehicle Ve at the time of warehousing from the vehicle V1 is shorter than the distance Le1 of the adjacent vehicle Ve at the time of warehousing from the vehicle V1. The positions of the adjacent vehicle Va and the adjacent vehicle Ve at the time of warehousing are indicated by broken lines. The position information of the adjacent vehicle Va or the adjacent vehicle Ve at the time of leaving the vehicle V1 is detected by the
表示制御装置40は、隣接車両の位置が変化したか否かを判定する(ステップS24)。表示制御装置40は、比較部45による比較の結果、隣接車両の位置が変化していないと判定した場合(ステップS24でNo)、処理を終了する。この場合、俯瞰映像100は表示されない。表示制御装置40は、比較部45による比較の結果、隣接車両の位置が変化したと判定した場合(ステップS24でYes)、ステップS25に進む。
The display control device 40 determines whether or not the position of the adjacent vehicle has changed (step S24). When the display control device 40 determines that the position of the adjacent vehicle has not changed as a result of the comparison by the comparison unit 45 (No in step S24), the display control device 40 ends the process. In this case, the bird's-
表示制御装置40は、隣接車両の位置が車両V1に近接する方向に変化したか否かを判定する(ステップS25)。表示制御装置40は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両V1に近接する方向に変化していないと判定される場合(ステップS25でNo)、処理を終了する。表示制御装置40は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両V1に近接する方向に変化したと判定される場合(ステップS25でYes)、ステップS26に進む。 The display control device 40 determines whether or not the position of the adjacent vehicle has changed in the direction closer to the vehicle V1 (step S25). When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has not changed in the direction close to the vehicle V1 (in step S25). No), the process ends. When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has changed in the direction closer to the vehicle V1 (Yes in step S25). , Step S26.
表示制御装置40は、前進を開始したか否かを判定する(ステップS26)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両V1が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置40は、車両V1が前進していないと判定した場合(ステップS26でNo)、ステップS26の処理を再度実行する。表示制御装置40は、車両V1が前進したと判定した場合(ステップS26でYes)、ステップS27に進む。
The display control device 40 determines whether or not the advance has started (step S26). Based on the own vehicle information acquired by the own vehicle
ステップS26で前進を開始したと判定された場合(ステップS26でYes)、表示制御装置40は、俯瞰映像表示を開始する(ステップS27)。より詳しくは、表示制御装置40は、俯瞰映像生成部44で俯瞰映像100を生成し、表示制御部48で俯瞰映像100を表示パネル31に表示させる。表示制御装置40は、ステップS28に進む。
When it is determined in step S26 that the advance has started (Yes in step S26), the display control device 40 starts the bird's-eye view image display (step S27). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-
俯瞰映像100を表示パネル31に表示させるタイミングについては、一例としてステップS27を例示したが、車両V1がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両V1が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。
Regarding the timing for displaying the bird's-
図4を参照して、ステップS27で表示される俯瞰映像100について説明する。俯瞰映像100は、駐車区画PDに存在する隣接車両Vd、および、駐車区画PEに存在する隣接車両Veが表示範囲に含まれる。
The bird's-
表示制御装置40は、俯瞰映像表示の終了条件を満たすか否かを判定する(ステップS28)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置40は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し(ステップS28でYes)、ステップS29に進む。表示制御装置40は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し(ステップS28でNo)、ステップS28の処理を再度実行する。
The display control device 40 determines whether or not the end condition of the bird's-eye view image display is satisfied (step S28). More specifically, based on the own vehicle information acquired by the own vehicle
ステップS28で俯瞰映像表示の終了条件を満たすと判定された場合(ステップS28でYes)、表示制御装置40は、俯瞰映像表示を終了する(ステップS29)。表示制御装置40は、記憶部49に記憶した第一障害物位置情報を削除する。そして、表示制御装置40は、処理を終了する。 When it is determined in step S28 that the condition for ending the bird's-eye view image display is satisfied (Yes in step S28), the display control device 40 ends the bird's-eye view image display (step S29). The display control device 40 deletes the first obstacle position information stored in the storage unit 49. Then, the display control device 40 ends the process.
上述したように、本実施形態は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1に近接する方向に変化していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、出庫時に周辺状況の変化に応じて適切に俯瞰映像100を表示させることができる。本実施形態によれば、出庫時に入庫時よりも隣接車両の位置が車両V1に近接する方向に変化しているときに、俯瞰映像100を表示することができる。これにより、隣接車両の位置が車両V1に近接する方向に変化して、出庫時の操作が難しくなったとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。
As described above, in the present embodiment, when the
本実施形態によれば、出庫時に周辺状況の変化に応じて、俯瞰映像100の表示が必要なときに限って俯瞰映像100を表示する。このように、本実施形態は、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。
According to the present embodiment, the bird's-
[第二実施形態]
図7を参照しながら、本実施形態に係る表示制御システム1について説明する。図7は、第二実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1は、基本的な構成は第一実施形態の表示制御システム1と同様である。以下の説明においては、表示制御システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。表示制御システム1は、生成する俯瞰映像100において、位置が変化した隣接車両を強調表示する点で第一実施形態と異なる。
[Second Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the second embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. In the following description, the same components as those of the display control system 1 are designated by the same reference numerals or corresponding reference numerals, and detailed description thereof will be omitted. The display control system 1 is different from the first embodiment in that the generated bird's-
合成処理部443は、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両を強調した俯瞰映像100を生成する。例えば、合成処理部443は、位置が変化した隣接車両を着色したり、太い線で囲ったりすることで強調表示する。
When the
表示制御部48は、比較部45によって位置が変化していると判定された隣接車両を強調表示した俯瞰映像100を表示パネル31に表示させる。
The
図7を用いて、俯瞰映像100について説明する。俯瞰映像100は、位置が変化した隣接車両Veが着色されて強調表示されている。
The bird's-
上述したように、本実施形態によれば、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が強調表示された俯瞰映像100を表示パネル31に表示させる。本実施形態は、入庫時と出庫時とで位置が変化した隣接車両を容易に把握することができる。本実施形態によれば、俯瞰映像100において、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。
As described above, according to the present embodiment, when the
[第三実施形態]
図8を参照しながら、本実施形態に係る表示制御システム1について説明する。図8は、第三実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1は、基本的な構成は第一実施形態の表示制御システム1と同様である。表示制御システム1は、生成する俯瞰映像100において、位置が変化した隣接車両の存在する方向を報知する報知アイコン120を表示する点で第一実施形態と異なる。
[Third Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 8 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the third embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-
合成処理部443は、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が存在する方向を示す報知アイコン120を表示した俯瞰映像100を生成する。例えば、合成処理部443は、矢印形状の報知アイコン120を表示させる。
When the
表示制御部48は、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化していると判定された隣接車両の方向を示す報知アイコン120を含む俯瞰映像100を表示パネル31に表示させる。
When the
図8を用いて、俯瞰映像100について説明する。本実施形態では、駐車区画PCの隣接車両Vcの位置が変化したものとする。俯瞰映像100は、位置が変化した隣接車両Vcが存在する方向を示す報知アイコン120が表示されている。
The bird's-
上述したように、本実施形態によれば、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が存在する方向を示す報知アイコン120を表示した俯瞰映像100を表示パネル31に表示させる。本実施形態は、俯瞰映像100に位置が変化した隣接車両が表示されていない場合でも、入庫時と出庫時とで位置が変化した隣接車両が存在する方向を容易に把握することができる。本実施形態によれば、俯瞰映像100に表示されていなくても入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。
As described above, according to the present embodiment, when the
[第四実施形態]
図9を参照しながら、本実施形態に係る表示制御システム1について説明する。図9は、第四実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1は、基本的な構成は第一実施形態の表示制御システム1と同様である。表示制御システム1は、生成する俯瞰映像100において、位置が変化した隣接車両が表示範囲に含まれるように表示範囲を変更した俯瞰映像100を表示する点で第一実施形態と異なる。
[Fourth Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the fourth embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-
切出処理部442は、視点変換処理を行った周辺映像データから、位置が変化した隣接車両が表示範囲に含まれるような切出範囲で切出し処理を行う。増加した隣接車両は、俯瞰映像100の表示範囲に一部分が含まれていればよい。
The cutout processing unit 442 performs cutout processing in a cutout range such that the adjacent vehicle whose position has changed is included in the display range from the peripheral video data subjected to the viewpoint conversion process. The increased number of adjacent vehicles may be partially included in the display range of the bird's-
表示制御部48は、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化していると判定された隣接車両を含むように表示範囲を変更した俯瞰映像100を表示パネル31に表示させる。
When the
図9を用いて、俯瞰映像100について説明する。本実施形態では、駐車区画PCの隣接車両Vcの位置が変化したものとする。俯瞰映像100は、位置が変化した隣接車両Vcが表示されるように表示範囲を前方に広くした俯瞰映像100が表示されている。
The bird's-
上述したように、本実施形態によれば、比較部45が、車両V1が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が表示されるように表示範囲を変更した俯瞰映像100を表示パネル31に表示させる。本実施形態は、俯瞰映像100に位置が変化した隣接車両が表示されるので、入庫時と出庫時とで位置が変化した隣接車両を容易に把握することができる。本実施形態によれば、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。
As described above, according to the present embodiment, when the
[第五実施形態]
図10、図11を参照しながら、本実施形態に係る表示制御システム1について説明する。図10は、第五実施形態に係る表示制御システムの表示制御装置における処理を説明するための駐車区画を示す図である。図11は、第五実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム1は、基本的な構成は第一実施形態の表示制御システム1と同様である。表示制御システム1は、出庫時に隣接車両の位置が車両の出庫方向に変化しているときに俯瞰映像を表示する点で第一実施形態と異なる。
[Fifth Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a diagram showing a parking lot for explaining a process in the display control device of the display control system according to the fifth embodiment. FIG. 11 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the fifth embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that a bird's-eye view image is displayed when the position of the adjacent vehicle is changing in the direction of leaving the vehicle at the time of leaving the vehicle.
俯瞰映像生成部44は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1の出庫方向に変化していると判定した場合、俯瞰映像100を生成する。
The bird's-eye view image generation unit 44 generates the bird's-
車両V1の出庫方向に変化するとは、隣接車両が各駐車区画の前方に位置が変化することをいう。図10に示す駐車区画では、隣接車両Vaおよび隣接車両Veが前方に位置が変化している、言い換えると、車両V1の出庫方向に位置が変化している。出庫時の隣接車両Vaの前端部は入庫時の隣接車両Vaの前端部より距離Da前方に移動している。出庫時の隣接車両Veの前端部は入庫時の隣接車両Veの前端部より距離De前方に移動している。入庫時の隣接車両Vaおよび隣接車両Veの位置を破線で示す。 The change in the exit direction of the vehicle V1 means that the position of the adjacent vehicle changes in front of each parking lot. In the parking lot shown in FIG. 10, the positions of the adjacent vehicle Va and the adjacent vehicle Ve have changed forward, in other words, the positions have changed in the exit direction of the vehicle V1. The front end of the adjacent vehicle Va at the time of warehousing is moving forward by a distance Da from the front end of the adjacent vehicle Va at the time of warehousing. The front end of the adjacent vehicle Ve at the time of warehousing is moved forward by a distance De from the front end of the adjacent vehicle Ve at the time of warehousing. The positions of the adjacent vehicle Va and the adjacent vehicle Ve at the time of warehousing are indicated by broken lines.
比較部45は、第一障害物位置情報および第二障害物位置情報を比較して、車両V1が出庫する際に隣接車両の位置が車両V1の出庫方向に変化しているか否かを比較する。より詳しくは、比較部45は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、位置が前方に変化した隣接車両が存在するとき、隣接車両の位置が車両V1の出庫方向に変化していると判定する。比較部45は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、位置が後方に変化している、または、変化していない隣接車両のみが存在するとき、隣接車両の位置が車両V1の出庫方向に変化していないと判定する。比較部45は、入庫時と出庫時とで隣接車両が入れ替わっていても位置が変化していない場合、変化していないと判定する。
The
表示制御部48は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1の出庫方向に変化していると判定した場合、俯瞰映像100を表示パネル31に表示させる。より詳しくは、表示制御部48は、比較部45が、入庫時の隣接車両の位置に対して、出庫時の隣接車両の位置が車両V1の出庫方向に変化していると判定した場合、出庫時に俯瞰映像100を表示パネル31に表示させる。
When the
次に、図11を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。ステップS31ないしステップS34、ステップS36ないしステップS39の処理は、図6に示すフローチャートのステップS21ないしステップS24、ステップS26ないしステップS29と同様の処理を行う。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. The processes of steps S31 to S34 and steps S36 to S39 are the same as those of steps S21 to S24 and steps S26 to S29 of the flowchart shown in FIG.
表示制御装置40は、隣接車両の位置が出庫方向に変化したか否かを判定する(ステップS35)。表示制御装置40は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両V1の出庫方向に変化していないと判定される場合(ステップS35でNo)、処理を終了する。表示制御装置40は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両V1の出庫方向に変化したと判定される場合(ステップS35でYes)、ステップS36に進む。 The display control device 40 determines whether or not the position of the adjacent vehicle has changed in the exit direction (step S35). When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has not changed in the exit direction of the vehicle V1 (No. in step S35). ), End the process. When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has changed in the exit direction of the vehicle V1 (Yes in step S35). The process proceeds to step S36.
上述したように、本実施形態は、比較部45が、車両V1が出庫する際に隣接車両の位置が車両V1の出庫方向に変化していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、出庫時に周辺状況の変化に応じて適切に俯瞰映像100を表示させることができる。本実施形態によれば、出庫時に入庫時よりも隣接車両の位置が車両V1の出庫方向に変化しているときに、俯瞰映像100を表示することができる。これにより、隣接車両の位置が車両V1の出庫方向に変化して、出庫時の操作が難しくなったとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。
As described above, in the present embodiment, when the
図示した表示制御システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the displayed display control system 1 shown is functionally conceptual, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.
表示制御システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display control system 1 is realized, for example, by a program loaded in a memory as software. In the above embodiment, it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Further, the configurations described above can be combined as appropriate. Further, various omissions, substitutions or changes of the configuration can be made without departing from the gist of the present invention.
図12を用いて、駐車区画P1が自宅の駐車場である場合について説明する。図12は、自宅駐車場の駐車区画を説明する図である。駐車区画P1は、車両V1を1台駐車するスペースである。センサユニット21は、車両V1に隣接する障害物の位置として、駐車区画P1内に存在する、例えば、自転車Bなどの障害物の位置を検出する。隣接情報取得部43は、車両V1が後退して入庫したときの、駐車区画P1内の障害物の位置情報を第一障害物位置情報として取得し、車両V1が入庫状態から前進して出庫するときの、駐車区画P1内の障害物の位置情報を第二障害物位置情報として取得する。表示制御部48は、比較部45が、車両V1が出庫する際に駐車区画P1内の障害物の位置が変化していると判定した場合、俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、隣接する駐車区画の隣接車両に限定されず、車両の周囲の障害物の位置が変化した場合、俯瞰映像を表示することができる。
A case where the parking lot P1 is a parking lot at home will be described with reference to FIG. FIG. 12 is a diagram illustrating a parking lot of a home parking lot. The parking lot P1 is a space for parking one vehicle V1. The
図13を用いて、駐車区画P1が縦列駐車の区画である場合について説明する。図13は、縦列駐車の駐車区画を説明する図である。駐車区画PFは、駐車区画P1の後側に隣接している。駐車区画PGは、駐車区画P1の前側に隣接している。隣接車両Vfは、出庫時は入庫時より車両V1から離間する方向に位置が変化している。隣接車両Vgは、出庫時は入庫時より車両V1に近接する方向に位置が変化している。センサユニット21は、車両V1に隣接する障害物として、駐車区画PFおよび駐車区画PGに存在する隣接車両を検出する。図示しないナビゲーションシステムの地図情報に基づいて駐車区画P1が縦列駐車の区画であると判定される場合、センサユニット21による障害物の検出範囲から車両V1の側方を除くことが好ましい。障害物の検出範囲から車両V1の側方を除くことにより、縦列駐車区画に隣接する車道を走行する車両を誤検出することが回避される。本実施形態では、表示制御部48は、比較部45が、車両V1が出庫する際に駐車区画PFまたは駐車区画PGに隣接車両の位置が変化していると判定した場合、俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、駐車区画P1の形態に合わせて、適切な方向の隣接車両を検出して、隣接車両の位置が変化した場合、俯瞰映像を表示することができる。
A case where the parking lot P1 is a parallel parking lot will be described with reference to FIG. FIG. 13 is a diagram illustrating a parking lot for parallel parking. The parking lot PF is adjacent to the rear side of the parking lot P1. The parking lot PG is adjacent to the front side of the parking lot P1. The position of the adjacent vehicle Vf changes in the direction away from the vehicle V1 at the time of warehousing from the time of warehousing. The position of the adjacent vehicle Vg changes in the direction closer to the vehicle V1 at the time of warehousing than at the time of warehousing. The
隣接情報取得部43は、センサユニット21から第一障害物位置情報および第二障害物位置情報を取得するものとして説明したが、これに限定されない。隣接情報取得部43は、映像データ取得部41で取得した映像データに画像処理を行って、被撮影物から車両V1の周囲の障害物を認識し、第一障害物位置情報および第二障害物位置情報として取得してもよい。
The adjacent
第一障害物位置情報は、車両V1が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一障害物位置情報は、車両V1が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両V1の周囲の障害物の情報を取得してもよい。 The first obstacle position information has been described as being acquired when the vehicle V1 retracts and enters the garage, but the present invention is not limited to this. The first obstacle position information may acquire information on obstacles around the vehicle V1 when the warehousing is completed, based on the information acquired during the parking operation in which the vehicle V1 is retracted and warehousing.
さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両の現在位置情報とから、車両の現在位置が駐車場であると判定された場合、または、映像データ取得部41で取得した映像データに画像処理を行って、車両の現在位置が駐車場であると判定された場合、車両V1が入庫したと判定してもよい。 Furthermore, for example, when it is determined that the current position of the vehicle is a parking lot from the map information of the navigation system (not shown) and the current position information of the vehicle, or an image is added to the video data acquired by the video data acquisition unit 41. When the processing is performed and it is determined that the current position of the vehicle is a parking lot, it may be determined that the vehicle V1 has arrived.
車両V1が出庫時に駐車区画P1から出て進む方向である予測進行方向を判定可能なとき、表示制御部48は、車両V1の予測進行方向側に位置する隣接車両の位置が変化した場合、俯瞰映像を表示するものとしてもよい。出庫時の車両V1の周辺状況が、図3に示す状況であり、車両V1の予測進行方向が右方向である場合、予測進行方向側の駐車区画PB、駐車区画PC、駐車区画PEの隣接車両の位置が変化した場合、俯瞰映像を表示する。予測進行方向は、映像データ取得部41で取得した映像データに画像処理を行って検出した駐車場内の進行方向を示す矢印や標示、または、ナビゲーション情報から取得してもよい。
When the predicted traveling direction, which is the direction in which the vehicle V1 leaves the parking lot P1 at the time of leaving the parking lot, can be determined, the
1 表示制御システム
11 前方カメラ(撮影部)
12 後方カメラ(撮影部)
13 左側方カメラ(撮影部)
14 右側方カメラ(撮影部)
21 センサユニット(障害物検出部)
31 表示パネル(表示部)
40 表示制御装置
41 映像データ取得部
42 自車両情報取得部
43 隣接情報取得部
44 俯瞰映像生成部
45 比較部
48 表示制御部
49 記憶部
1 Display control system 11 Front camera (shooting unit)
12 Rear camera (shooting section)
13 Left side camera (shooting section)
14 Right side camera (shooting section)
21 Sensor unit (obstacle detection unit)
31 Display panel (display unit)
40 Display control device 41 Video
Claims (12)
前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得部と、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較部と、
前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする表示制御装置。 A video data acquisition unit that acquires video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the video data acquisition unit.
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition unit that acquires the position information of the second obstacle including the position information of the object,
A comparison unit that compares the position information of the first obstacle and the position information of the second obstacle and compares the change in the position of the obstacle at the time of entering and leaving the vehicle.
When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit displays the bird's-eye view image generated by the bird's-eye view image generation unit when the vehicle leaves the garage. When,
A display control device comprising.
前記比較部は、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両が出庫する際に隣接車両の位置が変化しているか否かを比較し、
前記表示制御部は、前記比較部が、前記車両が出庫する際に隣接車両の位置が変化していると判定した場合、前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項1に記載の表示制御装置。 The adjacent information acquisition unit acquires information including the position information of the adjacent vehicle adjacent to the vehicle as the first obstacle position information when the vehicle retracts and enters the garage, and the vehicle advances from the warehousing state. Information including the position information of the adjacent vehicle adjacent to the vehicle at the time of leaving the garage is acquired as the second obstacle position information.
The comparison unit compares the first obstacle position information with the second obstacle position information, and compares whether or not the position of the adjacent vehicle has changed when the vehicle leaves the garage.
When the comparison unit determines that the position of the adjacent vehicle has changed when the vehicle leaves the garage, the display control unit causes the display unit to display the bird's-eye view image generated by the bird's-eye view image generation unit.
The display control device according to claim 1.
前記表示制御部は、前記比較部が、入庫時の隣接車両の位置に対して出庫時の隣接車両の位置が前記車両に近接する方向に変化していると判定した場合、出庫時に前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項2に記載の表示制御装置。 The comparison unit compares the first obstacle position information with the second obstacle position information, and determines whether or not the position of the adjacent vehicle at the time of leaving the vehicle has changed in the direction closer to the vehicle. Compare and
When the display control unit determines that the position of the adjacent vehicle at the time of warehousing has changed in the direction closer to the vehicle with respect to the position of the adjacent vehicle at the time of warehousing, the bird's-eye view image at the time of warehousing. Display the bird's-eye view image generated by the generation unit on the display unit,
The display control device according to claim 2.
請求項2または3に記載の表示制御装置。 The adjacent information acquisition unit acquires, as the first obstacle position information and the second obstacle position information, information indicating the position of at least one of the left and right sides, left and right front, and front of the vehicle.
The display control device according to claim 2 or 3.
前記表示制御部は、前記比較部が、入庫時の隣接車両の位置に対して出庫時の隣接車両の位置が前記車両の出庫方向に変化していると判定した場合、出庫時に前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項2に記載の表示制御装置。 The comparison unit compares the first obstacle position information with the second obstacle position information, and determines whether or not the position of the adjacent vehicle at the time of leaving the vehicle changes in the leaving direction of the vehicle. Compare and
When the comparison unit determines that the position of the adjacent vehicle at the time of warehousing is changing in the warehousing direction of the vehicle with respect to the position of the adjacent vehicle at the time of warehousing, the display control unit generates the bird's-eye view image at the time of warehousing. Display the bird's-eye view image generated by the unit on the display unit,
The display control device according to claim 2.
請求項5に記載の表示制御装置。 The adjacent information acquisition unit acquires information indicating the positions of the vehicles on the left and right sides of the vehicle as the first obstacle position information and the second obstacle position information.
The display control device according to claim 5.
請求項1から6のいずれか一項に記載の表示制御装置。 When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit highlights the obstacle determined to have changed its position. ,
The display control device according to any one of claims 1 to 6.
前記映像データ取得部が映像データを取得する複数の撮影部、前記隣接情報取得部が前記第一障害物位置情報および前記第二障害物位置情報を取得する障害物検出部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示制御システム。 The display control device according to any one of claims 1 to 9,
A plurality of photographing units in which the video data acquisition unit acquires video data, an obstacle detection unit in which the adjacent information acquisition unit acquires the first obstacle position information and the second obstacle position information, and the display control unit At least one of the display units that displays the bird's-eye view image,
A display control system characterized by being equipped with.
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、
前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。 A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition step to acquire the second obstacle position information including the position information of the object,
A comparison step of comparing the position information of the first obstacle with the position information of the second obstacle and comparing the change in the position of the obstacle at the time of entering and leaving the vehicle.
When it is determined in the comparison step that the position of the obstacle has changed when the vehicle leaves the garage, a display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. When,
A display control method characterized by including.
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、
前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。 A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition step to acquire the second obstacle position information including the position information of the object,
A comparison step of comparing the position information of the first obstacle with the position information of the second obstacle and comparing the change in the position of the obstacle at the time of entering and leaving the vehicle.
When it is determined in the comparison step that the position of the obstacle has changed when the vehicle leaves the garage, a display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. When,
Is a program to be executed by a computer that operates as a display control device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148385A JP6763357B2 (en) | 2017-07-31 | 2017-07-31 | Display control device, display control system, display control method and program |
PCT/JP2018/014137 WO2019026348A1 (en) | 2017-07-31 | 2018-04-02 | Display control device, display control system, display control method, and program |
CN201880004577.6A CN109997356B (en) | 2017-07-31 | 2018-04-02 | Display control device, display control system, display control method, and program |
EP18840930.4A EP3550830B1 (en) | 2017-07-31 | 2018-04-02 | Display control device, display control system, display control method, and program |
US16/424,691 US11117520B2 (en) | 2017-07-31 | 2019-05-29 | Display control device, display control system, display control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148385A JP6763357B2 (en) | 2017-07-31 | 2017-07-31 | Display control device, display control system, display control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019029864A JP2019029864A (en) | 2019-02-21 |
JP6763357B2 true JP6763357B2 (en) | 2020-09-30 |
Family
ID=65476666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148385A Active JP6763357B2 (en) | 2017-07-31 | 2017-07-31 | Display control device, display control system, display control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6763357B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010064546A (en) * | 2008-09-09 | 2010-03-25 | Toyota Industries Corp | Parking assist device |
JP2012056428A (en) * | 2010-09-08 | 2012-03-22 | Aisin Seiki Co Ltd | Driving support device |
JP5776533B2 (en) * | 2011-12-13 | 2015-09-09 | 三菱自動車工業株式会社 | Driving assistance device |
-
2017
- 2017-07-31 JP JP2017148385A patent/JP6763357B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019029864A (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102042371B1 (en) | Parking space detection method and apparatus | |
JP5983680B2 (en) | Automatic parking system | |
CN109996706B (en) | Display control apparatus, system, method, and computer-readable storage medium | |
CN109314765B (en) | Display control device for vehicle, display system, display control method, and program | |
CN109997356B (en) | Display control device, display control system, display control method, and program | |
US10688868B2 (en) | On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium | |
WO2016152000A1 (en) | Safety confirmation assist apparatus, safety confirmation assist method | |
JP2020182220A (en) | Bird's-eye video creation device, bird's-eye video creation method, and program | |
KR102135900B1 (en) | Apparatus and Method for Assisting Parking | |
WO2015136863A1 (en) | Parking-assist device | |
JP6763357B2 (en) | Display control device, display control system, display control method and program | |
JP6763356B2 (en) | Display control device, display control system, display control method and program | |
JP6763358B2 (en) | Display control device, display control system, display control method and program | |
JP6825521B2 (en) | Display control device, display control system, display control method and program | |
JP6825522B2 (en) | Display control device, display control system, display control method and program | |
JP6787272B2 (en) | Display control device, display control system, display control method and program | |
JP4096251B2 (en) | Vehicle periphery monitoring device | |
JP2018195935A (en) | Overhead image generation device, overhead image display system, overhead image generating method and program | |
JP4682936B2 (en) | Vehicle driving support device | |
JP7424144B2 (en) | Vehicle display device and vehicle display method | |
JP6911607B2 (en) | Parking control method and parking control device | |
JP6816686B2 (en) | Bird's-eye view image generation device, bird's-eye view image generation system, bird's-eye view image generation method and program | |
JP6825512B2 (en) | Bird's-eye view image generation device, bird's-eye view image generation system, bird's-eye view image generation method and program | |
JP2018160751A (en) | Vehicular display control device, vehicular display control system, vehicular display control method, and program | |
JP2022071969A (en) | Parking support device and parking support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6763357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |