JP5321267B2 - Vehicular image display device and overhead image display method - Google Patents
Vehicular image display device and overhead image display method Download PDFInfo
- Publication number
- JP5321267B2 JP5321267B2 JP2009143229A JP2009143229A JP5321267B2 JP 5321267 B2 JP5321267 B2 JP 5321267B2 JP 2009143229 A JP2009143229 A JP 2009143229A JP 2009143229 A JP2009143229 A JP 2009143229A JP 5321267 B2 JP5321267 B2 JP 5321267B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- parking
- display
- image
- overhead image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、複数の車載カメラで撮像された画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示する車両用画像表示装置及び俯瞰画像の表示方法に関する。 The present invention relates to a vehicle image display device that generates and displays a bird's-eye view image obtained by looking down a vehicle periphery from above the vehicle using images captured by a plurality of in-vehicle cameras, and a method for displaying the bird's-eye view image.
従来、車両に搭載された複数の車載カメラで車両周囲の画像を各々撮像し、得られた複数の画像をそれぞれ視点変換するとともにこれらを繋ぎ合せ、車両周囲を車両上方から見下ろした俯瞰映像を生成してディスプレイに表示する技術が知られている（例えば、特許文献１参照。）。車両周囲を車両上方から見下ろした俯瞰画像は、路面上の白線等に対する車両の位置や距離感を客観的に把握しやすく、例えば車両の駐車動作を支援する際に用いる画像として非常に有効である。 Conventionally, a plurality of in-vehicle cameras mounted on the vehicle respectively capture images of the surroundings of the vehicle, respectively convert the viewpoints of the obtained images and connect them together to generate a bird's-eye view of the surroundings of the vehicle from above the vehicle. A technique for displaying on a display is known (see, for example, Patent Document 1). A bird's-eye view of the surroundings of the vehicle from above is easy to objectively grasp the position and distance of the vehicle with respect to the white line on the road surface, and is very effective as an image used for supporting the parking operation of the vehicle, for example. .
前記特許文献１にて開示される車両用画像表示システムをはじめとして、この種の俯瞰画像を表示する機能を持つ従来の表示装置では、ディスプレイの限られた表示サイズの中で車両周囲の全域をバランスよく表示できるようにするために、俯瞰画像としてディスプレイに表示させる車両周囲の表示対象領域を予め一定の領域に定めていた。このため、車両の動作に応じて特にドライバが俯瞰画像上で確認したいと考える領域の画像範囲が制限される場合があり、必ずしも最適な表示となっていないという問題点があった。 In the conventional display device having a function of displaying this kind of overhead view image, including the vehicle image display system disclosed in Patent Document 1, the entire area around the vehicle is limited within the limited display size of the display. In order to display in a well-balanced manner, the display target area around the vehicle to be displayed on the display as a bird's-eye view image is determined in advance as a certain area. For this reason, there is a case in which the image range of the region that the driver wants to confirm on the overhead image is limited depending on the operation of the vehicle, and there is a problem that the display is not always optimal.
本発明は、以上のような従来技術の問題点に鑑みて創案されたものであって、車両の動作に応じた最適な俯瞰画像を効率よく表示することができる車両用画像表示装置及び俯瞰画像の表示方法を提供することを目的としている。 The present invention was devised in view of the above-described problems of the prior art, and is a vehicle image display device and an overhead image that can efficiently display an optimal overhead image according to the operation of the vehicle. It aims to provide a display method.
本発明は、複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示手段に表示するに際し、車両信号を入力し、入力した車両信号に応じて俯瞰画像として表示手段に表示させる車両周囲の表示対象領域を変更することにより、上述した課題を解決する。 The present invention inputs a vehicle signal when generating a bird's-eye view of the vehicle surroundings from above the vehicle using a plurality of images captured by a plurality of in-vehicle cameras and displaying the image on the display means. Accordingly, the above-described problem is solved by changing the display target area around the vehicle to be displayed on the display unit as an overhead image.
本発明によれば、車両信号に応じて車両周囲の表示対象領域が変更されるので、車両の動作に応じた最適な俯瞰画像を効率よく表示することができる。 According to the present invention, since the display target area around the vehicle is changed according to the vehicle signal, it is possible to efficiently display an optimum overhead view image according to the operation of the vehicle.
以下、本発明の実施形態として、駐車支援システムに用いられる画像表示装置に本発明を適用した例について、図面を参照しながら詳細に説明する。 Hereinafter, as an embodiment of the present invention, an example in which the present invention is applied to an image display device used in a parking assistance system will be described in detail with reference to the drawings.
［第１の実施形態］
図１は、本発明を適用した画像表示装置の概要を示す構成図である。この画像表示装置は、自車周囲の俯瞰画像を生成するプログラムを内蔵したコントローラ１０を備え、このコントローラ１０に対して、自車周囲の画像を撮像する４つの車載カメラ１ａ〜１ｄと、自車の車室内に設置されたディスプレイ２とが接続されている。
[First Embodiment]
FIG. 1 is a configuration diagram showing an outline of an image display device to which the present invention is applied. This image display device includes a controller 10 that includes a program that generates a bird's-eye view of the surroundings of the host vehicle. The in-vehicle cameras 1a to 1d that capture images of the surroundings of the host vehicle and the own vehicle Is connected to a display 2 installed in the passenger compartment.
車載カメラ１ａ〜１ｄは、例えば１８０度程度の画角を有する広角のＣＣＤカメラ或いはＣＭＯＳカメラよりなり、これら４つの車載カメラ１ａ〜１ｄで自車を中心とした全周囲の画像を撮像できるように、自車の前後左右の適所に各々設置されている。具体的には、例えば図２に示すように、車載カメラ１ａはフロントグリルなどの自車前方の所定位置に設置され、例えば自車から５ｍ程度の範囲の前方の領域を斜めに見下ろした画像（以下、フロントビュー画像という。）を撮像する。また、車載カメラ１ｂは左ドアミラーなどの自車左側方の所定位置に設置され、例えば自車から５ｍ程度の範囲の左側方の領域を斜めに見下ろした画像（以下、左サイドビュー画像という。）を撮像する。また、車載カメラ１ｃはリアフィニッシャなどの自車後方の所定位置に設置され、例えば自車から５ｍ程度の範囲の後方の領域を斜めに見下ろした画像（以下、リアビュー画像という。）を撮像する。また、車載カメラ１ｄは右ドアミラーなどの自車右側方の所定位置に設置され、例えば自車から５ｍ程度の範囲の右側方の領域を斜めに見下ろした画像（以下、右サイドビュー画像という。）を撮像する。これら４つの車載カメラ１ａ〜１ｄは、撮像した画像のデータをコントローラ１０に対して随時供給している。 The in-vehicle cameras 1a to 1d are, for example, wide-angle CCD cameras or CMOS cameras having an angle of view of about 180 degrees, and these four in-vehicle cameras 1a to 1d can capture an image of the entire periphery centering on the own vehicle. They are installed at the right and left, right and left of the vehicle. Specifically, as shown in FIG. 2, for example, the in-vehicle camera 1 a is installed at a predetermined position in front of the host vehicle such as a front grille, for example, an image in which a front region within a range of about 5 m from the host vehicle is obliquely looked down Hereinafter, it is referred to as a front view image). The in-vehicle camera 1b is installed at a predetermined position on the left side of the host vehicle, such as a left door mirror, for example, an image obtained by obliquely looking down on a left side region within a range of about 5 m from the host vehicle (hereinafter referred to as a left side view image). Image. The in-vehicle camera 1c is installed at a predetermined position behind the host vehicle, such as a rear finisher, and captures an image (hereinafter, referred to as a rear view image) obliquely looking down at a rear region within a range of about 5 m from the host vehicle. The in-vehicle camera 1d is installed at a predetermined position on the right side of the vehicle such as a right door mirror. For example, the vehicle-mounted camera 1d is an image obtained by obliquely looking down on the right side region within a range of about 5 m from the vehicle (hereinafter referred to as a right side view image). Image. These four in-vehicle cameras 1a to 1d supply data of captured images to the controller 10 as needed.
コントローラ１０は、制御プログラムに従った各種演算処理を実行するＣＰＵや、制御プログラムを格納するＲＯＭ、ＣＰＵの演算処理のワークエリアとして用いられるＲＡＭ、画像データを一時的に格納するフレームメモリ、入出力回路等を備えた電子制御ユニット（ＥＣＵ）として構成される。このコントローラ１０は、４つの車載カメラ１ａ〜１ｄで撮像された画像を用いて自車周囲を自車上方の仮想視点から見下ろした俯瞰画像（以下、トップビュー画像という。）を生成する機能を持つ。また、コントローラ１０は、生成したトップビュー画像をディスプレイ２に表示しながら自車の駐車動作を支援する支援機能を持つ。ここで、コントローラ１０が実行する駐車支援は、例えば、自車のドライバによりトップビュー画像上で目標駐車位置が指定されたときに、自車の現在位置（駐車開始位置）から後退開始位置まで一旦前進した後に後退して目標駐車位置に至る一連の誘導経路を算出し、この誘導経路に沿って自車を目標駐車位置へと誘導するものである。なお、自車を目標駐車位置へ誘導する方法としては、（１）ドライバの運転操作を補助するための各種ガイド線をトップビュー画像上に重畳してディスプレイ２に表示させる、（２）自車が誘導経路に沿って移動するようにステアリングを自動制御する、（３）ステアリング操作に加えてアクセル、ブレーキ操作も自動制御するなどが挙げられるが、本実施形態では（１）の方法で誘導を行う場合を例示する。勿論、上記の（２）、（３）の誘導を行う場合にも本発明は有効に適用できる。 The controller 10 includes a CPU that executes various arithmetic processes according to the control program, a ROM that stores the control program, a RAM that is used as a work area for arithmetic processing of the CPU, a frame memory that temporarily stores image data, and an input / output The electronic control unit (ECU) is provided with a circuit and the like. The controller 10 has a function of generating a bird's-eye view image (hereinafter referred to as a top view image) in which the surroundings of the vehicle are looked down from a virtual viewpoint above the vehicle using images captured by the four in-vehicle cameras 1a to 1d. . Further, the controller 10 has a support function for supporting the parking operation of the host vehicle while displaying the generated top view image on the display 2. Here, the parking assistance executed by the controller 10 is, for example, when the target parking position is designated on the top view image by the driver of the own vehicle, from the current position of the own vehicle (parking start position) to the reverse start position. A series of guidance routes to reach the target parking position after moving forward is calculated, and the host vehicle is guided to the target parking position along the guidance route. As a method of guiding the host vehicle to the target parking position, (1) various guide lines for assisting the driving operation of the driver are superimposed on the top view image and displayed on the display 2; (2) the host vehicle (3) In addition to the steering operation, the accelerator and the brake operation are also automatically controlled. In this embodiment, the guidance is performed by the method (1). The case where it performs is illustrated. Of course, the present invention can be effectively applied to the cases (2) and (3) described above.
図３は、コントローラ１０により生成されるトップビュー画像の概要を示す図である。コントローラ１０は、車載カメラ１ａで撮像されたフロントビュー画像、車載カメラ１ｂで撮像された左サイドビュー画像、車載カメラ１ｃで撮像されたリアビュー画像、車載カメラ１ｄで撮像された右サイドビュー画像をそれぞれ自車上方の仮想視点から見下ろした俯瞰画像に視点変換するとともに合成し、図３に示すようなトップビュー画像を生成する。ここで、視点変換前後の各画像における画素の位置関係は、各車載カメラ１ａ〜１ｄのレンズの特性及び取り付け角度により一意に決定するため、図３のようなトップビュー画像の生成は、視点変換前後の画素の配置を定義した変換マップ若しくは変換式を用いて各画像の画素を再配置することで容易に実現可能である。つまり、車載カメラ１ａ〜１ｄで撮像された各画像を画像入力用のフレームメモリに一時的に格納しておき、事前に定義された変換マップ若しくは変換式に従って、画像入力用のフレームメモリに格納された各画像から必要な画素を取り出して、トップビュー画像を出力するための画像出力用のフレームメモリ上の該当する画素アドレスに再配置することによって、図３のようなトップビュー画像を生成することができる。なお、図３に示すトップビュー画像において、画像エリアＡ１がフロントビュー画像を用いて生成された俯瞰画像、画像エリアＡ２が左サイドビュー画像を用いて生成された俯瞰画像、画像エリアＡ３がリアビュー画像を用いて生成された俯瞰画像、画像エリアＡ４が右サイドビュー画像を用いて生成された俯瞰画像である。また、画像の中央部は自車の位置であり、コンピュータグラフィックスで生成された仮想自車画像が重畳されている。 FIG. 3 is a diagram showing an outline of the top view image generated by the controller 10. The controller 10 has a front view image captured by the vehicle-mounted camera 1a, a left side view image captured by the vehicle-mounted camera 1b, a rear view image captured by the vehicle-mounted camera 1c, and a right side view image captured by the vehicle-mounted camera 1d, respectively. The viewpoint is converted into a bird's-eye view image looking down from the virtual viewpoint above the host vehicle and synthesized to generate a top view image as shown in FIG. Here, since the positional relationship of the pixels in each image before and after the viewpoint conversion is uniquely determined by the lens characteristics and mounting angles of the in-vehicle cameras 1a to 1d, the generation of the top view image as shown in FIG. This can be easily realized by rearranging the pixels of each image using a conversion map or a conversion formula that defines the arrangement of the previous and subsequent pixels. That is, each image captured by the in-vehicle cameras 1a to 1d is temporarily stored in an image input frame memory, and is stored in the image input frame memory according to a predefined conversion map or conversion formula. 3 is generated by extracting necessary pixels from each image and rearranging them at the corresponding pixel addresses on the image output frame memory for outputting the top view image. Can do. In the top view image shown in FIG. 3, the image area A1 is an overhead image generated using a front view image, the image area A2 is an overhead image generated using a left side view image, and the image area A3 is a rear view image. The bird's-eye view image generated using the image area A4 is a bird's-eye view image generated using the right side view image. Further, the center of the image is the position of the vehicle, and a virtual vehicle image generated by computer graphics is superimposed.
図４は、駐車支援の際にディスプレイ２に表示される画像の一例を示す図である。コントローラ１０は、例えば自車の車速が所定値未満となった場合などに、この図４に示すような監視画像をディスプレイ２に表示させる。この図４に示す監視画像は、ディスプレイ２の表示画面全体を左右に２分割して画面左側の表示エリアＳＡ１にはトップビュー画像を表示し、画面右側の表示エリアＳＡ２には通常はリアビュー画像を表示して、ドライバの操作に応じてリアビュー画像からフロントビュー画像、左サイドビュー画像、右サイドビューへと切り替えられるようにしたものである。なお、コントローラ１０による画像の入力及び出力は、車載カメラ１ａ〜１ｄの撮像周期と同期して行われるので、ディスプレイ４には以上のような監視画像が随時更新されながら動画として表示されることになる。 FIG. 4 is a diagram illustrating an example of an image displayed on the display 2 during parking assistance. The controller 10 displays the monitoring image as shown in FIG. 4 on the display 2 when the vehicle speed of the host vehicle becomes less than a predetermined value, for example. The monitoring image shown in FIG. 4 divides the entire display screen of the display 2 into left and right parts, displays a top view image in the display area SA1 on the left side of the screen, and normally displays a rear view image in the display area SA2 on the right side of the screen. It is displayed and can be switched from the rear view image to the front view image, the left side view image, and the right side view in accordance with the operation of the driver. In addition, since the input and output of the image by the controller 10 are performed in synchronization with the imaging cycle of the in-vehicle cameras 1a to 1d, the monitoring image as described above is displayed on the display 4 as a moving image while being updated as needed. Become.
ディスプレイ２に監視画像として表示されるトップビュー画像は、上述したように自車を中心とした全周囲を自車上方の仮想視点から見下ろした画像であるため、自車のドライバはこのトップビュー画像を参照することで、路面上の白線等に対する自車の位置や距離感を的確に認識することが可能となる。ただし、この種のトップビュー画像を表示する機能を持つ従来の画像表示装置では、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまり、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域が予め定められた固定値とされており、例えば、画像エリアＡ１では自車前方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ２では自車左側方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ３では自車後方の２．５ｍ〜３．５ｍ程度の領域、画像エリアＡ４では自車右側方の１．５ｍ〜２．５ｍ程度の領域をそれぞれ表示対象としていた。このため、自車の動作状態によっては、ドライバが最も確認したいと考える領域の画像範囲が制限される場合があり、必ずしも最適な表示となっていなかった。 Since the top view image displayed as the monitoring image on the display 2 is an image in which the entire periphery centering on the own vehicle is looked down from the virtual viewpoint above the own vehicle as described above, the driver of the own vehicle can view the top view image. By referring to, it becomes possible to accurately recognize the position and sense of distance of the vehicle with respect to the white line on the road surface. However, in a conventional image display device having a function of displaying this type of top view image, the display area of each image area A1 to A4 constituting the top view image, that is, the vehicle displayed on the display 2 as the top view image. The surrounding display target area is set to a predetermined fixed value. For example, in the image area A1, an area of about 1.5 m to 2.5 m ahead of the own vehicle, and in the image area A2, 1.5 m on the left side of the own vehicle. The area to be displayed is about 2.5m, the area about 2.5m to 3.5m behind the vehicle in the image area A3, and the area about 1.5m to 2.5m on the right side of the vehicle in the image area A4. I was trying. For this reason, depending on the operation state of the own vehicle, the image range of the region that the driver most wants to confirm may be limited, and the display is not always optimal.
そこで、本実施形態の画像表示装置では、コントローラ１０が自車の動作状態を示す車両信号を入力して、入力した車両信号に応じてトップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまりトップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更することで、自車の動作に応じた最適なトップビュー画像をディスプレイ２に表示させるようにしている。具体的には、コントローラ１０には、図１に示すように、自車のシフトレバーの操作に連動してギア位置を検出するインヒビタースイッチ３や、自車のステアリング舵角を検出する舵角センサ４、自車の車速を検出する車速センサ５が接続されており、自車のギア位置信号や舵角信号、車速信号が車両信号としてコントローラ１０に入力される。また、本実施形態では、上述したようにコントローラ１０が駐車支援を行う機能を有しており、例えば、ディスプレイ２上に設けたタッチパネル６で構成される駐車支援開始ボタンを自車ドライバが押下するとコントローラ１０に駐車支援開始信号が入力されるが、この駐車支援開始信号も広義では自車の動作状態を示す信号であるので、車両信号として扱うものとする。コントローラ１０は、以上のギア位置信号、舵角信号、車速信号、駐車支援開始信号などの車両信号から自車の動作状態を把握し、現在の動作状態に応じて最適なトップビュー画像がディスプレイ２に表示されるように、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまり、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更する。 Therefore, in the image display device according to the present embodiment, the controller 10 inputs a vehicle signal indicating the operation state of the host vehicle, and the display ranges of the image areas A1 to A4 constituting the top view image according to the input vehicle signal. That is, by changing the display target area around the host vehicle displayed on the display 2 as the top view image, an optimal top view image corresponding to the operation of the host vehicle is displayed on the display 2. Specifically, as shown in FIG. 1, the controller 10 includes an inhibitor switch 3 that detects the gear position in conjunction with the operation of the shift lever of the host vehicle, and a steering angle sensor that detects the steering angle of the host vehicle. 4. A vehicle speed sensor 5 for detecting the vehicle speed of the own vehicle is connected, and a gear position signal, a steering angle signal, and a vehicle speed signal of the own vehicle are input to the controller 10 as vehicle signals. In the present embodiment, as described above, the controller 10 has a function of performing parking assistance. For example, when the driver of the vehicle presses a parking assistance start button configured by the touch panel 6 provided on the display 2. A parking support start signal is input to the controller 10, but this parking support start signal is also a signal indicating the operation state of the host vehicle in a broad sense, and is therefore treated as a vehicle signal. The controller 10 grasps the operation state of the vehicle from vehicle signals such as the gear position signal, the steering angle signal, the vehicle speed signal, and the parking assistance start signal, and the optimal top view image is displayed on the display 2 according to the current operation state. The display range of each of the image areas A1 to A4 constituting the top view image, that is, the display target area around the vehicle displayed on the display 2 as the top view image is changed.
以下、具体的な駐車シーンを想定しながら、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を駐車支援と連動させて変更する方法について説明する。 Hereinafter, a method for changing the display target area around the vehicle displayed on the display 2 as a top view image in conjunction with parking assistance will be described, assuming a specific parking scene.
図５（ａ）は車庫入れ駐車を行う場合の自車の典型的な挙動を示す図であり、図５（ｂ）は縦列駐車を行う場合の自車の典型的な挙動を示す図である。図中のＰ１は駐車初期位置、Ｐ２は目標駐車位置、Ｐ３は後退開始位置、Ｐ４は切り返し位置を示している。車庫入れ駐車を行う場合の自車の挙動としては、図５（ａ）に示すように、駐車初期位置Ｐ１から後退開始位置Ｐ３まで前進し、後退開始位置Ｐ３にて停止してギアをリバースに入れた後に、ステアリング操作しながら後退して目標駐車位置Ｐ２に到達するというのが一般的である。一方、縦列駐車を行う場合の自車の挙動としては、図５（ｂ）に示すように、駐車初期位置Ｐ１から後退開始位置Ｐ３まで前進し、後退開始位置Ｐ３にて停止してギアをリバースに入れた後に、ステアリング操作しながら後退し、切り返し位置Ｐ４にてステアリングの操作の方向を反転させ、ステアリングを操作しながら後退して目標駐車位置Ｐ２に到達するというのが一般的である。 FIG. 5A is a diagram illustrating a typical behavior of the own vehicle when parking in a garage, and FIG. 5B is a diagram illustrating a typical behavior of the own vehicle when performing parallel parking. . In the figure, P1 indicates an initial parking position, P2 indicates a target parking position, P3 indicates a reverse start position, and P4 indicates a return position. As shown in FIG. 5 (a), the behavior of the own vehicle when parking in the garage is as follows. From the initial parking position P1 to the reverse start position P3, the vehicle stops and reverses at the reverse start position P3. After entering, it is common to reverse while steering and reach the target parking position P2. On the other hand, as shown in FIG. 5B, the behavior of the own vehicle when performing parallel parking is advanced from the parking initial position P1 to the reverse start position P3, stopped at the reverse start position P3, and the gear is reversed. In general, the vehicle moves backward while steering, reverses the direction of steering at the turn-back position P4, and moves backward while operating the steering to reach the target parking position P2.
以上のような車庫入れ駐車や縦列駐車を支援するため、コントローラ１０は、ディスプレイ２に上述した監視画像を表示しながら、ドライバの操作に応じた目標駐車位置Ｐ２及び後退開始位置Ｐ３の設定、駐車初期位置Ｐ１から目標駐車位置Ｐ２までの誘導経路の計算、目標駐車位置Ｐ２及び後退開始位置Ｐ３や誘導経路を明示するためのガイド線の重畳表示などを行う。 In order to support the parking in the garage or the parallel parking as described above, the controller 10 displays the monitoring image described above on the display 2 and sets the target parking position P2 and the reverse start position P3 according to the driver's operation. Calculation of the guide route from the initial position P1 to the target parking position P2, the superimposed display of the guide line for clearly indicating the target parking position P2, the reverse start position P3, and the guide route are performed.
具体的には、自車が駐車初期位置Ｐ１に停車した状態では、まず、図６に示すような監視画像がディスプレイ２に表示されている。この図６の監視画像では、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲が従来の一般的なトップビュー画像と同等とされ、画像エリアＡ１には自車前方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像、画像エリアＡ２には自車左側方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像、画像エリアＡ３には自車後方の２．５ｍ〜３．５ｍ程度の領域の俯瞰画像、画像エリアＡ４には自車右側方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像がそれぞれ表示されている（以下、この初期状態における各画像エリアＡ１〜Ａ４の表示範囲を初期範囲という。）。また、画面右側の表示エリアＳＡ２にはリアビュー画像が表示され、リアビュー画像の下側の余白部分には、画面上のタッチパネル６で構成される駐車支援開始ボタン６ａが表示されている。 Specifically, in a state where the own vehicle is stopped at the initial parking position P1, a monitoring image as shown in FIG. In the monitoring image of FIG. 6, the display range of each of the image areas A1 to A4 constituting the top view image is the same as that of a conventional general top view image, and the image area A1 includes 1.5m to An overhead view image of an area of about 2.5 m, an image area A2 is an overhead view image of an area of about 1.5 m to 2.5 m on the left side of the own vehicle, and an image area A3 is 2.5 m to 3.5 m behind the own vehicle. A bird's-eye view image of an area of about 1.5m to 2.5m on the right side of the vehicle is displayed in the image area A4 (hereinafter referred to as each of the image areas A1 to A4 in this initial state). The display range is called the initial range.) In addition, a rear view image is displayed in the display area SA2 on the right side of the screen, and a parking assistance start button 6a configured by the touch panel 6 on the screen is displayed in a lower margin portion of the rear view image.
次に、図６の監視画像上で駐車支援開始ボタン６ａがドライバにより押下されると、コントローラ１０は駐車支援の開始を判断し、図７に示すように、トップビュー画像上に駐車枠Ｆ１を重畳して表示させる。この駐車枠Ｆ１は目標駐車位置Ｐ２を明示するためのガイド線であり、ドライバがトップビュー画像上でこの駐車枠Ｆ１の位置及び角度を調整することによって、ドライバの意図する所望の位置に目標駐車位置Ｐ２を設定できるようになっている。このとき、トップビュー画像として表示される自車の左右側方の表示対象領域（画像エリアＡ２，Ａ４の表示範囲）が図６のような初期範囲のままだと、目標駐車位置Ｐ２を設定したい左右側方の領域をトップビュー画像で確認することが困難となる。そこで、自車が停車した状態で駐車支援開始ボタン６ａが押下された場合には、図７に示すように、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲よりも広い範囲に切り替えて、目標駐車位置Ｐ２の設定を適切且つ簡便に行えるようにする。また、トップビュー画像の画像エリアＡ２，Ａ４が拡大されることによってディスプレイ２の表示エリアＳＡ２が縮小されるため、この表示エリアＳＡ２には、例えばトップビュー画像上で駐車枠Ｆ１等を移動させるためのタッチキー６ｂなどをリアビュー画像に代えて表示する。なお、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域や、画像エリアＡ３で表示する自車後方の表示対象領域は初期範囲のままでよい。トップビュー画像の画像エリアＡ１，Ａ３の表示対象領域を初期範囲のままとすることで、トップビュー画像の仮想視点の位置が変化することなく図６の監視画像から図７の監視画像へと画面が遷移するので、違和感のない表示が可能となる。 Next, when the parking support start button 6a is pressed by the driver on the monitoring image of FIG. 6, the controller 10 determines the start of parking support, and as shown in FIG. 7, the parking frame F1 is displayed on the top view image. Overlay and display. The parking frame F1 is a guide line for clearly indicating the target parking position P2, and the driver adjusts the position and angle of the parking frame F1 on the top view image, so that the target parking is performed at a desired position intended by the driver. The position P2 can be set. At this time, if the display target areas (display areas of the image areas A2 and A4) on the left and right sides of the vehicle displayed as the top view image remain in the initial range as shown in FIG. 6, the target parking position P2 is desired to be set. It is difficult to confirm the left-right region in the top view image. Therefore, when the parking assistance start button 6a is pressed while the host vehicle is stopped, as shown in FIG. 7, the left and right side display targets of the host vehicle displayed in the image areas A2 and A4 of the top view image. The region is switched to a range wider than the initial range so that the target parking position P2 can be set appropriately and easily. Further, since the display areas SA2 of the display 2 are reduced by enlarging the image areas A2 and A4 of the top view image, the parking frame F1 and the like are moved to the display area SA2 on the top view image, for example. The touch key 6b is displayed instead of the rear view image. Note that the display target area in front of the vehicle displayed in the image area A1 of the top view image and the display target area in the rear of the vehicle displayed in the image area A3 may remain in the initial range. By keeping the display target areas of the image areas A1 and A3 of the top view image in the initial range, the screen from the monitoring image of FIG. 6 to the monitoring image of FIG. 7 is changed without changing the position of the virtual viewpoint of the top view image. Since transition is made, display without a sense of incongruity becomes possible.
ここで、以上のように駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合の最適拡大範囲について説明する。駐車支援開始時におけるトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合、目標駐車位置Ｐ２を設定しやすくするとの観点からは、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域に目標駐車位置Ｐ２の全域が含まれることが望ましい。しかしながら、車庫入れ駐車時には、自車が駐車初期位置Ｐ１に停車しているときにディスプレイ２に表示されるトップビュー画像で車庫入れ駐車時の目標駐車位置Ｐ２の全域を表示するには、自車の左右側方の表示対象領域を大幅に拡大する必要が生じ、画質の劣化や立体物の歪みなどが無視できないレベルとなることが懸念される。そこで、駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合には、最低限、縦列駐車時における目標駐車位置Ｐ２の全域がトップビュー画像の画像エリアＡ２，Ａ４で表示されるように自車の左右側方の表示対象領域を拡大するようにし、それ以上の拡大は、路面状況や画質劣化の度合いなどに応じて許容できる範囲で行うことが望ましい。具体的には、例えば画像エリアＡ２，Ａ４に対する画像認識などにより当該表示対象領域に立体物が含まれていないと判断される場合に限って、画素の拡大率が例えば４以上とならない範囲でさらに拡大できるようにする。 Here, the optimum enlargement range when enlarging the image areas A2 and A4 of the top view image at the start of parking assistance as described above will be described. When enlarging the image areas A2 and A4 of the top view image at the start of parking support, from the viewpoint of making it easier to set the target parking position P2, the display objects on the left and right sides of the vehicle displayed in the image areas A2 and A4 It is desirable that the entire area of the target parking position P2 is included in the area. However, at the time of parking in the garage, in order to display the entire area of the target parking position P2 at the time of parking in the garage with the top view image displayed on the display 2 when the own vehicle is stopped at the parking initial position P1, It is necessary to greatly enlarge the display target area on the left and right sides of the image, and there is a concern that deterioration in image quality, distortion of a three-dimensional object, etc. will be at a level that cannot be ignored. Therefore, when the image areas A2 and A4 of the top view image are enlarged at the start of parking assistance, at least the entire target parking position P2 at the time of parallel parking is displayed in the image areas A2 and A4 of the top view image. It is desirable that the display target area on the left and right sides of the vehicle is enlarged, and further enlargement is performed within an allowable range according to the road surface condition, the degree of image quality deterioration, and the like. Specifically, for example, only when it is determined that the display target area does not include a three-dimensional object by image recognition for the image areas A2 and A4, the pixel enlargement ratio is not more than 4, for example. Make it expandable.
縦列駐車時における目標駐車位置Ｐ２の全域をトップビュー画像の画像エリアＡ２，Ａ４で表示することを考えた場合の自車左右側方の表示対象領域の最適な大きさは、図８に示すような駐車初期位置Ｐ１と目標駐車位置Ｐ２との標準的な位置関係に基づき、次式で求めることができる。
拡大後の自車左右側方の表示対象領域
＝（駐車初期位置Ｐ１と目標駐車位置Ｐ２との間隔Ｌ１）≒１ｍ
＋（目標駐車位置Ｐ２の全幅Ｌ２（＝自車の全幅×α（回転分））≒１．８ｍ
＋（目標駐車位置Ｐ２から縁石等の障害物までの距離Ｌ３）≒０．５ｍ
したがって、駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合は、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲である１．５ｍ〜２．５ｍ程度から３．０ｍ〜３．５ｍ程度まで拡大するとよいことが分かる。なお、自車の左右側方の画像を撮像する車載カメラ１ｂ，１ｄでは、上述したように自車から５ｍ程度の広い範囲の画像を撮像しているので、拡大後のトップビュー画像に対応した変換マップ若しくは変換式を予め用意しておき、この変換マップ若しくは変換式に従って車載カメラ１ｂ，１ｄの撮像画像から切り出す範囲を変更することで、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域の拡大を容易に実現することができる。
As shown in FIG. 8, the optimum size of the display target area on the left and right sides of the vehicle when considering the entire area of the target parking position P2 in the parallel parking in the image areas A2 and A4 of the top view image. Based on the standard positional relationship between the initial parking position P1 and the target parking position P2, the following equation can be used.
Display target area on the left and right sides of the vehicle after enlargement = (interval L1 between the initial parking position P1 and the target parking position P2) ≈1 m
+ (Full width L2 of target parking position P2 (= full width of own vehicle × α (rotation)) ≈1.8 m
+ (Distance L3 from the target parking position P2 to obstacles such as curbs) ≒ 0.5m
Therefore, when the image areas A2 and A4 of the top view image are enlarged at the start of parking assistance, the display target areas on the left and right sides of the own vehicle displayed in the image areas A2 and A4 are 1.5m-2. It turns out that it is good to enlarge from about 5 m to about 3.0 m to 3.5 m. In addition, since the in-vehicle cameras 1b and 1d that capture images on the left and right sides of the own vehicle capture an image of a wide range of about 5 m from the own vehicle as described above, this corresponds to the enlarged top view image. The own vehicle displayed in the image areas A2 and A4 of the top view image by preparing a conversion map or conversion formula in advance and changing the range to be cut out from the captured images of the in-vehicle cameras 1b and 1d according to the conversion map or conversion formula It is possible to easily realize the enlargement of the display target area on the left and right sides of the.
次に、図７の監視画像上でドライバがタッチキー６ｂを操作して駐車枠Ｆ１を動かすし、所望の位置に目標駐車位置Ｐ２が設定されると、コントローラ１０は自車の現在位置（駐車初期位置Ｐ１）から後退開始位置Ｐ３を経由して目標駐車位置Ｐ２に至る一連の誘導経路を計算し、図９に示すように、トップビュー画像上に後退開始枠Ｆ２を重畳して表示させる。この後退開始枠Ｆ２は後退開始位置Ｐ３を明示するためのガイド線であり、ドライバがトップビュー画像上でこの後退開始枠Ｆ２の角度を調整することによって、ドライバの意図する所望の角度で後退開始位置Ｐ３を設定できるようになっている。なお、後退開始位置Ｐ３の位置は角度が設定されることで一意に特定され、ドライバの操作により後退開始位置Ｐ３の角度及び位置が変更されると、ドライバにより指定された後退開始位置Ｐ３を経由する誘導経路が新たに計算される。このとき、トップビュー画像として表示される自車前方の表示対象領域（画像エリアＡ１の表示範囲）が図６や図７のような初期範囲のままだと、後退開始枠Ｆ２が画像エリアＡ１の表示範囲から外れてしまって後退開始位置Ｐ３をトップビュー画像で確認することができない場合がある。そこで、駐車支援開始後、目標駐車位置Ｐ２が設定されて誘導経路が算出されるタイミングでは、図９に示すように、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域を初期範囲よりも広い範囲に切り替えて、後退開始位置Ｐ３を示す後退開始枠Ｆ２の少なくとも一部が画像エリアＡ１の表示範囲に含まれるようにする。なお、画像エリアＡ１で表示する自車前方の表示対象領域を拡大する場合には、それに合わせて画像エリアＡ３で表示する自車後方の表示対象領域を縮小する。これにより、トップビュー画像の仮想視点の位置が変化することなく図７の監視画像から図９の監視画像へと画面が遷移するので、違和感のない表示が可能となる。 Next, when the driver operates the touch key 6b on the monitoring image in FIG. 7 to move the parking frame F1 and the target parking position P2 is set at a desired position, the controller 10 sets the current position of the vehicle (parking). A series of guidance routes from the initial position P1) to the target parking position P2 via the reverse start position P3 is calculated, and as shown in FIG. 9, the reverse start frame F2 is superimposed and displayed on the top view image. The reverse start frame F2 is a guide line for clearly indicating the reverse start position P3. The driver adjusts the angle of the reverse start frame F2 on the top view image to start the reverse at a desired angle intended by the driver. The position P3 can be set. The position of the reverse start position P3 is uniquely specified by setting the angle. When the angle and position of the reverse start position P3 are changed by the driver's operation, the reverse start position P3 passes through the reverse start position P3 specified by the driver. The guidance route to be calculated is newly calculated. At this time, if the display target area (display area of the image area A1) in front of the host vehicle displayed as the top view image remains in the initial range as shown in FIGS. 6 and 7, the reverse start frame F2 is the image area A1. There are cases in which the reverse start position P3 cannot be confirmed on the top view image because the display area is out of the display range. Therefore, at the timing when the target parking position P2 is set and the guidance route is calculated after the parking support is started, the display target area in front of the host vehicle displayed in the image area A1 of the top view image is initialized as shown in FIG. By switching to a range wider than the range, at least a part of the reverse start frame F2 indicating the reverse start position P3 is included in the display range of the image area A1. In addition, when enlarging the display object area | region ahead of the own vehicle displayed on image area A1, the display object area | region behind the own vehicle displayed on image area A3 is reduced according to it. As a result, the screen transitions from the monitoring image of FIG. 7 to the monitoring image of FIG. 9 without changing the position of the virtual viewpoint of the top view image, thereby enabling display without a sense of incongruity.
このときの画像エリアＡ１の拡大範囲は、誘導経路とともに計算される駐車初期位置Ｐ１から後退開始位置Ｐ３までの距離に応じてその都度設定するようにしてもよいし、駐車初期位置Ｐ１と後退開始位置Ｐ３との一般的な位置関係から、例えば３．５ｍ〜４．０ｍといった固定値として予め定めておくようにしてもよい。なお、トップビュー画像の画像エリアＡ２，Ａ４を拡大する場合と同様に、自車前方の画像を撮像する車載カメラ１ａは十分に広い範囲の画像を撮像しているので、拡大後のトップビュー画像に対応した変換マップ若しくは変換式を予め用意しておき、この変換マップ若しくは変換式に従って車載カメラ１ａの撮像画像から切り出す範囲を変更することで、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域の拡大を容易に実現することができる。 The enlargement range of the image area A1 at this time may be set each time according to the distance from the parking initial position P1 calculated with the guidance route to the reverse start position P3, or the initial parking position P1 and the reverse start. From a general positional relationship with the position P3, for example, it may be determined in advance as a fixed value such as 3.5 m to 4.0 m. As in the case of enlarging the image areas A2 and A4 of the top view image, since the vehicle-mounted camera 1a that captures an image in front of the host vehicle captures a sufficiently wide range of images, the enlarged top view image A conversion map or a conversion formula corresponding to the above is prepared in advance, and the front of the vehicle displayed in the image area A1 of the top view image is changed by changing the range cut out from the captured image of the in-vehicle camera 1a according to the conversion map or conversion formula The display target area can be easily enlarged.
次に、ドライバの操作に応じて誘導経路が確定し、自車が駐車初期位置Ｐ１に停止した状態から移動を開始すると、コントローラ１０は車速センサ５からの車速信号に基づいて自車が移動を開始したことを判断し、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲に戻す。これにより、ディスプレイ２には、図１０のような監視画像が表示される。この図１０の監視画像では、ディスプレイ２の表示エリアＳＡ１と表示エリアＳＡ２とが通常サイズに戻るため、表示エリアＳＡ２にはリアビュー画像（ドライバ操作によってはフロントビュー画像や左右のサイドビュー画像も表示できる）が表示される。また、ディスプレイ２の表示エリアＳＡ１に表示されるトップビュー画像上に、ドライバの運転操作を補助するためのガイド線として、目標駐車位置Ｐ２を示す駐車枠Ｆ１や後退開始位置Ｐ３を示す後退開始枠Ｆ２のほか、誘導経路を表す経路ラインＬが重畳表示される。したがって、ドライバはトップビュー画像上に重畳表示される各種のガイド線を見ながら自車を後退開始位置Ｐ３まで前進させた後、目標駐車位置Ｐ２まで後退させるように運転操作を行うことで、目標駐車位置Ｐ２への駐車を適切に行うことができる。なお、図１０の監視画像の例では、駐車初期位置Ｐ１から後退開始位置Ｐ２までの誘導経路を表す経路ラインＬがトップビュー画像上に重畳表示されているが、自車が後退開始位置Ｐ３に到達した後にディスプレイ２に表示する監視画像では、後退開始位置Ｐ３から目標駐車位置Ｐ２までの誘導経路を表す経路ラインＬをトップビュー画像上に重畳表示すればよい。 Next, when the guide route is determined according to the driver's operation and the vehicle starts moving from the state where the vehicle stops at the initial parking position P1, the controller 10 moves the vehicle based on the vehicle speed signal from the vehicle speed sensor 5. The start is determined, and the display target areas on the left and right sides of the vehicle displayed in the image areas A2 and A4 are returned to the initial range. As a result, a monitor image as shown in FIG. 10 is displayed on the display 2. In the monitoring image of FIG. 10, since the display area SA1 and the display area SA2 of the display 2 return to the normal size, a rear view image (a front view image and left and right side view images can be displayed depending on the driver operation). ) Is displayed. Further, on the top view image displayed in the display area SA1 of the display 2, as a guide line for assisting the driving operation of the driver, the parking frame F1 indicating the target parking position P2 and the reverse start frame indicating the reverse start position P3. In addition to F2, a route line L representing the guidance route is displayed in a superimposed manner. Therefore, the driver performs the driving operation so as to move the vehicle forward to the reverse start position P3 and then reverse to the target parking position P2 while looking at various guide lines superimposed on the top view image. Parking to the parking position P2 can be performed appropriately. In the example of the monitoring image in FIG. 10, the route line L representing the guidance route from the parking initial position P1 to the reverse start position P2 is superimposed on the top view image, but the host vehicle is at the reverse start position P3. In the monitoring image displayed on the display 2 after reaching, the route line L representing the guidance route from the reverse start position P3 to the target parking position P2 may be superimposed on the top view image.
ところで、以上のような監視画像をディスプレイ２に表示しながら自車を目標駐車位置Ｐ２へと誘導する場合、自車が移動している間はその移動方向の前方側の領域をトップビュー画像で広範囲に確認できるようにすれば、ドライバの運転操作をより効果的に支援することができる。このような観点から、自車が移動している間は、インヒビタースイッチ３からのギア位置信号や舵角センサ４からの舵角信号に応じて、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域（画像エリアＡ１〜Ａ４の表示範囲）を変更し、自車の移動方向の前方側をより広範囲に表示することが望ましい。以下、自車のギア位置や舵角に応じてトップビュー画像の各画像エリアＡ１〜Ａ４の表示範囲を変更する方法の具体例について説明する。 By the way, when the host vehicle is guided to the target parking position P2 while displaying the monitoring image as described above on the display 2, while the host vehicle is moving, an area on the front side in the moving direction is displayed as a top view image. If it is possible to confirm over a wide range, the driving operation of the driver can be supported more effectively. From this point of view, while the vehicle is moving, the vehicle surroundings displayed on the display 2 as a top view image according to the gear position signal from the inhibitor switch 3 and the steering angle signal from the steering angle sensor 4 It is desirable to change the display target area (display area of the image areas A1 to A4) to display the front side in the moving direction of the vehicle in a wider range. Hereinafter, a specific example of a method for changing the display ranges of the image areas A1 to A4 of the top view image according to the gear position and the steering angle of the vehicle will be described.
まず、ギア位置については、ギア位置がリバースの場合（自車が後退している場合）とリバース以外の場合（自車が前進している場合）とに分け、ギア位置がリバースの場合には、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域よりも画像エリアＡ３で表示する自車後方の表示対象領域を広くし、ギア位置がリバース以外の場合には、画像エリアＡ３で表示する自車後方の表示対象領域よりも画像エリアＡ１で表示する自車前方の表示対象領域を広くする。具体的には、上述したように画像エリアＡ１の初期範囲は自車前方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ３の初期範囲は自車後方の２．５ｍ〜３．５ｍ程度の領域となっているので、ギア位置がリバースの場合に、画像エリアＡ１，Ａ２で表示する自車の前後の表示対象領域を初期範囲とする。そして、ギア位置がリバース以外に切り替えられたときに、画像エリアＡ１，Ａ２で表示する自車の前後の表示対象領域を初期範囲から変更し、自車前方の表示対象領域は１．５ｍ〜２．５ｍ程度から２．５ｍ〜３．５ｍ程度まで拡大し、自車後方の表示対象領域は２．５ｍ〜３．５ｍ程度から１．５ｍ〜２．５ｍ程度まで縮小する。 First, the gear position is divided into a case where the gear position is reverse (when the vehicle is moving backward) and a case other than reverse (when the vehicle is moving forward), and when the gear position is reverse. If the display target area behind the host vehicle displayed in the image area A3 is wider than the display target area in front of the host vehicle displayed in the image area A1 of the top view image, and the gear position is other than reverse, the image area A3 The display target area in front of the host vehicle displayed in the image area A1 is made wider than the display target area in the rear of the host vehicle displayed in. Specifically, as described above, the initial range of the image area A1 is an area of about 1.5 m to 2.5 m ahead of the host vehicle, and the initial range of the image area A3 is about 2.5 m to 3.5 m of the rear of the host vehicle. Therefore, when the gear position is reverse, the display target area before and after the own vehicle displayed in the image areas A1 and A2 is set as the initial range. When the gear position is switched to other than reverse, the display target area before and after the host vehicle displayed in the image areas A1 and A2 is changed from the initial range, and the display target area in front of the host vehicle is 1.5m to 2m. The display target area behind the host vehicle is reduced from about 2.5 m to 3.5 m to about 1.5 m to 2.5 m.
次に、舵角については、ステアリングが中立付近の場合と、左に回されている場合と、右に回されている場合とに分け、ステアリングが中立付近の場合には、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右の表示対象領域を均等とし、ステアリングが左に回されている場合には、画像エリアＡ４で表示する自車右側方の表示対象領域よりも画像エリアＡ２で表示する自車左側方の表示対象領域を広くし、ステアリングが右に回されている場合には、画像エリアＡ２で表示する自車左側方の表示対象領域よりも画像エリアＡ４で表示する自車右側方の表示対象領域を広くする。 Next, the steering angle is divided into a case where the steering is near neutral, a case where the steering is turned to the left, and a case where the steering is turned to the right. When the left and right display target areas of the host vehicle displayed in the areas A2 and A4 are made equal and the steering is turned to the left, the image area A2 is displayed more than the display target area on the right side of the host vehicle displayed in the image area A4. If the display target area on the left side of the vehicle displayed in is widened and the steering wheel is turned to the right, the display area on the left side of the vehicle displayed on the image area A2 is displayed on the image area A4. Widen the display target area on the right side of the car.
具体的には、舵角信号から判定される自車の舵角θが左方向転舵時に正、右方向転舵時に負の値となるものとし、左フル転舵時のステアリング舵角をθｍａｘ（＞０）、右フル転舵時のステアリング舵角をθｍｉｎ（＜０）、中立付近かどうかを判定するための閾値となる微小なステアリング舵角をθ１（＞０），θ２（＜０）としたときに、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を、舵角θの値に応じて以下のように変更する。
θ１≦θ≦θｍａｘ：自車の左側方の表示対象領域を２．５ｍ〜３．５ｍ程度、自車の右側方の表示対象領域を０．５ｍ〜１．５ｍ程度とする。
θ２≦θ≦θ１：自車の左側方の表示対象領域と右側方の表示領域をともに初期範囲とする。
θｍｉｎ≦θ≦θ２：自車の左側方の表示対象領域を０．５ｍ〜１．５ｍ程度、自車の右側方の表示対象領域を２．５ｍ〜３．５ｍ程度とする。
Specifically, it is assumed that the steering angle θ of the host vehicle determined from the steering angle signal is positive when turning left, and negative when turning right, and the steering angle when turning left fully is θmax. (> 0), the steering angle at the time of full right steering is θmin (<0), and the minute steering angles that are threshold values for determining whether or not the vehicle is near neutral are θ1 (> 0), θ2 (<0) The display target areas on the left and right sides of the host vehicle displayed in the image areas A2 and A4 are changed as follows according to the value of the steering angle θ.
θ1 ≦ θ ≦ θmax: The display target area on the left side of the host vehicle is set to about 2.5 m to 3.5 m, and the display target area on the right side of the host vehicle is set to about 0.5 m to 1.5 m.
θ2 ≦ θ ≦ θ1: Both the left display area and the right display area of the vehicle are set as the initial range.
θmin ≦ θ ≦ θ2: The display target area on the left side of the host vehicle is set to about 0.5 m to 1.5 m, and the display target area on the right side of the host vehicle is set to about 2.5 m to 3.5 m.
なお、ドライバの運転操作によっては、ステアリングが中立付近かどうかを判定するための閾値となるθ１，θ２付近で舵角θがふらつくことによってディスプレイ２に表示されるトップビュー画像が頻繁に切り替わり、画面が煩雑となる懸念がある。そこで、舵角θに応じた表示対象領域の変更にヒステリシスを持たせた構成としてもよい。具体的には、ステアリングが中立付近であるか左に回されている状態であるかを判定する閾値θ１として、ステアリングが左方向に変化しているとき（θの値が増加しているとき）の閾値θ１−１と、ステアリングが右方向に変化しているとき（θの値が減少しているとき）の閾値θ１−２とを設定しておき、ステアリングが左方向に変化して舵角θが閾値θ１−１を超えたら自車の左右側方の表示対象領域を変更する。そして、この状態からステアリングが右方向に戻されて舵角θが閾値θ１−１を下回っても表示対象領域の変更は行わず、ステアリングがさらに右方向に戻されて舵角θが閾値θ１−２を下回った段階で表示対象領域の変更を行う。同様に、ステアリングが中立付近であるか右に回されている状態であるかを判定する閾値θ２として、ステアリングが右方向に変化しているとき（θの値が減少しているとき）の閾値θ２−１と、ステアリングが左方向に変化しているとき（θの値が増加しているとき）の閾値θ２−２とを設定しておき、ステアリングが右方向に変化して舵角θが閾値θ２−１を下回ったら自車の左右側方の表示対象領域を変更する。そして、この状態からステアリングが左方向に戻されて舵角θが閾値θ２−１を超えても表示対象領域の変更は行わず、ステアリングがさらに右方向に戻されて舵角θが閾値θ２−２を超えた段階で表示対象領域の変更を行う。このように、舵角θに応じた表示対象領域の変更にヒステリシスを持たせた構成とすることで、舵角θがθ１，θ２付近でふらつく場合にトップビュー画像が頻繁に切り替わらないようにすることが可能となり、見やすい表示とすることができる。 Depending on the driving operation of the driver, the top view image displayed on the display 2 frequently changes as the steering angle θ fluctuates in the vicinity of θ1 and θ2, which are threshold values for determining whether the steering is near neutral, and the screen There is a concern that becomes complicated. Therefore, a configuration may be adopted in which hysteresis is provided in the change of the display target area according to the steering angle θ. Specifically, when the steering is changing leftward (when the value of θ is increasing) as a threshold value θ1 for determining whether the steering is in the vicinity of neutral or being turned to the left And the threshold θ1-2 when the steering is changing in the right direction (when the value of θ is decreasing) are set in advance, and the steering is changed to the left and the steering angle is changed. When θ exceeds the threshold θ1-1, the display target areas on the left and right sides of the vehicle are changed. Then, even if the steering is returned to the right from this state and the steering angle θ falls below the threshold θ1-1, the display target area is not changed, and the steering is further returned to the right so that the steering angle θ is the threshold θ1-. When the number is less than 2, the display target area is changed. Similarly, as the threshold value θ2 for determining whether the steering is near neutral or being turned to the right, the threshold when the steering is changing in the right direction (when the value of θ is decreasing) θ2-1 and a threshold value θ2-2 when the steering is changing to the left (when the value of θ is increasing) are set, and the steering is changed to the right and the steering angle θ is changed. When the value is below the threshold value θ 2-1, the display target areas on the left and right sides of the own vehicle are changed. Then, even if the steering is returned to the left from this state and the steering angle θ exceeds the threshold θ2-1, the display target area is not changed, and the steering is further returned to the right and the steering angle θ is the threshold θ2-. When the number exceeds 2, the display target area is changed. In this way, by adopting a configuration in which the change of the display target area according to the steering angle θ is provided with hysteresis, the top view image is not frequently switched when the steering angle θ fluctuates in the vicinity of θ1 and θ2. It is possible to make the display easy to see.
以上説明したギア位置に応じた表示対象領域の変更と舵角に応じた表示対象領域の変更とを組み合わせると、ディスプレイ２に表示されるトップビュー画像は、自車のギア位置及び舵角に応じて図１１に示すように遷移する。すなわち、ギア位置がリバースで舵角が中立より左であれば、自車の後方と左側方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立より左であれば、自車の前方と左側方の表示対象領域が広くなる。また、ギア位置がリバースで舵角が中立付近であれば、自車の左右側方の表示領域は均等で自車後方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立であれば、自車の左右側方の表示領域は均等で自車前方の表示対象領域が広くなる。また、ギア位置がリバースで舵角が中立より右であれば、自車の後方と右側方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立より左であれば、自車の前方と右側方の表示対象領域が広くなる。これにより、自車の移動方向の前方側の領域がトップビュー画像上で広く表示されることとなり、駐車時におけるドライバの運転操作をより効果的に支援することが可能となる。 When the change of the display target area according to the gear position described above and the change of the display target area according to the steering angle are combined, the top view image displayed on the display 2 corresponds to the gear position and the steering angle of the own vehicle. Transition as shown in FIG. That is, if the gear position is reverse and the rudder angle is to the left of neutral, the display target area on the rear and left sides of the vehicle is widened, and if the gear position is other than reverse and the rudder angle is to the left of neutral, the own vehicle The display target area on the front side and the left side becomes wider. If the gear position is reverse and the rudder angle is near neutral, the display area on the left and right sides of the host vehicle is uniform and the display target area behind the host vehicle is wide.The gear position is not reverse and the rudder angle is neutral. If present, the display areas on the left and right sides of the host vehicle are uniform, and the display target area in front of the host vehicle is widened. If the gear position is reverse and the rudder angle is right from neutral, the display target area on the rear and right sides of the own vehicle is widened. If the gear position is other than reverse and the rudder angle is left from neutral, the own vehicle The display target area on the front side and the right side is enlarged. Thereby, the area | region ahead of the moving direction of the own vehicle is displayed widely on a top view image, and it becomes possible to support the driver's driving operation at the time of parking more effectively.
なお、以上のような自車のギア位置及び舵角に応じた自車周囲の表示対象領域の変更は、駐車支援を行っている場合に限らず、通常の低速走行時など、ディスプレイ２にトップビュー画像を表示している状況では常に行うようにしてもよい。駐車支援を行っている場合以外であっても、自車の移動方向の前方側の領域をトップビュー画像上で広く表示することにより、トップビュー画像をより有益な表示とすることができる。 In addition, the change of the display target area around the host vehicle according to the gear position and the steering angle of the host vehicle as described above is not limited to the case where parking assistance is performed, but the top of the display 2 is used during normal low-speed driving. It may be always performed in a situation where a view image is displayed. Even when parking assistance is not being performed, the top view image can be displayed more usefully by displaying the area on the front side in the moving direction of the host vehicle widely on the top view image.
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の画像表示装置によれば、コントローラ１０が自車の動作状態を示す車両信号を入力して、入力した車両信号に応じてトップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまりトップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更するようにしているので、ディスプレイ２の限られた表示サイズの中で自車の動作に応じた最適なトップビュー画像を効率よく表示することができる。 As described above in detail with reference to specific examples, according to the image display device of the present embodiment, the controller 10 inputs a vehicle signal indicating the operation state of the host vehicle, and responds to the input vehicle signal. Since the display range of each of the image areas A1 to A4 constituting the top view image, that is, the display target area around the vehicle displayed on the display 2 as the top view image is changed, the limited display on the display 2 It is possible to efficiently display an optimal top view image according to the operation of the vehicle within the size.
［第２の実施形態］
次に、本発明を適用した画像表示装置の変形例（第２の実施形態）について説明する。本実施形態の画像表示装置は、駐車支援の開始時にトップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を拡大する手法が上述した第１の実施形態とは異なるものである。以下、第１の実施形態との相違点についてのみ説明する。
[Second Embodiment]
Next, a modification (second embodiment) of the image display device to which the present invention is applied will be described. The image display apparatus according to the present embodiment is different from the first embodiment described above in that the method of enlarging the left and right side display target areas of the host vehicle displayed in the image areas A2 and A4 of the top view image at the start of parking assistance. Is different. Only the differences from the first embodiment will be described below.
第１の実施形態の画像表示装置では、上述したように、駐車支援の開始時にトップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を均等に拡大していたが、本実施形態の画像表示装置は、駐車支援の開始時に自車の駐車動作の種別（車庫入れ駐車か縦列駐車か）及び駐車方向（自車位置に対する目標駐車位置Ｐ２の方向）を判定し、当該判定の結果に応じて自車の左右側方の表示対象領域の拡大する方向及び大きさを決定する。 In the image display device according to the first embodiment, as described above, the display target areas on the left and right sides of the host vehicle displayed in the image areas A2 and A4 of the top view image at the start of parking assistance are evenly enlarged. However, the image display device according to the present embodiment determines the type of parking operation (whether garage parking or parallel parking) and the parking direction (direction of the target parking position P2 with respect to the own vehicle position) at the start of parking assistance. The direction and size of enlargement of the display target area on the left and right sides of the host vehicle are determined according to the result of the determination.
具体的には、車庫入れ駐車の場合は縦列駐車の場合よりも自車の左右側方を広範囲に確認できるようにすることが望まれるため、車庫入れ駐車時には、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を、縦列駐車時よりも広い範囲に拡大する。また、目標駐車位置Ｐ２を自車の左側に設定する場合にはトップビュー画像の画像エリアＡ２で表示する自車の左側方の表示対象領域のみを拡大して画像エリアＡ４で表示する自車の右側方の表示対象領域は初期範囲のままとし、目標駐車位置Ｐ２を自車の右側に設定する場合にはトップビュー画像の画像エリアＡ４で表示する自車の右側方の表示対象領域のみを拡大して画像エリアＡ２で表示する自車の左側方の表示対象領域は初期範囲のままとする。 Specifically, in the case of garage parking, it is desirable to be able to check the left and right sides of the vehicle in a wider range than in the case of parallel parking. The display object area | region of the left-right side of the own vehicle displayed by A4 is expanded to the range wider than the time of parallel parking. When the target parking position P2 is set on the left side of the host vehicle, only the display target area on the left side of the host vehicle displayed in the image area A2 of the top view image is enlarged and displayed on the image area A4. The right display area is left in the initial range, and when the target parking position P2 is set to the right side of the vehicle, only the display area on the right side of the vehicle displayed in the image area A4 of the top view image is enlarged. Then, the display target area on the left side of the own vehicle displayed in the image area A2 is left in the initial range.
駐車支援の開始時に駐車種別及び駐車方向を判定する方法としては、ドライバに駐車種別及び駐車方向を指定させる方法と、画像から白線等を認識して駐車種別及び駐車方向を自動判定する方法とが考えられる。ドライバに駐車種別及び駐車方向を指定させる場合には、例えば図６に示したような監視画像上で駐車支援開始ボタン６ａがドライバによって押下された後に、車庫入れ駐車か縦列駐車かの選択と左側駐車か右側駐車かの選択を行う画面を表示し、この画面上でのドライバの操作に応じて、駐車種別及び駐車方向を判定すればよい。また、画像から白線等を認識して駐車種別及び駐車方向を自動判定する場合は、自車の車幅方向と略平行な白線の長さと、自車の車幅方向に略垂直な白線と自車間の距離とから駐車種別及び駐車方向を判定すればよい。すなわち、自車の車幅方向と略平行な白線を画像から検出し、その長さを自車全長と比較することで、白線長さが自車全長よりも長ければ車庫入れ駐車、短ければ縦列駐車と判定できる。また、自車の車幅方向に略垂直な白線を自車の左右側方からそれぞれ検出し、自車の左側方にて検出された白線までの距離と自車の右側方にて検出された白線までの距離とを比較することで、左側方にて検出された白線までの距離の方が短ければ左側駐車、右側方にて検出された白線までの距離の方が短かれば右側駐車と判定できる。 As a method of determining the parking type and the parking direction at the start of parking support, there are a method for allowing the driver to specify the parking type and the parking direction, and a method for automatically determining the parking type and the parking direction by recognizing a white line or the like from the image. Conceivable. When the driver specifies the parking type and parking direction, for example, after the parking support start button 6a is pressed by the driver on the monitoring image as shown in FIG. A screen for selecting parking or right side parking is displayed, and the parking type and parking direction may be determined in accordance with the driver's operation on this screen. Also, when recognizing a white line or the like from the image and automatically determining the parking type and parking direction, the length of the white line substantially parallel to the vehicle width direction of the own vehicle and the white line substantially perpendicular to the vehicle width direction of the own vehicle What is necessary is just to determine a parking classification and a parking direction from the distance between vehicles. In other words, a white line that is substantially parallel to the vehicle width direction of the host vehicle is detected from the image, and the length is compared with the total length of the host vehicle. It can be determined as parking. In addition, white lines that are substantially perpendicular to the vehicle width direction of the vehicle are detected from the left and right sides of the vehicle, and the distance to the white line detected on the left side of the vehicle and the right side of the vehicle are detected. Compared with the distance to the white line, if the distance to the white line detected on the left side is shorter, the left side parking, if the distance to the white line detected on the right side is shorter, the right side parking. Can be judged.
図１２は、本実施形態の画像表示装置において駐車支援の開始時に駐車種別及び駐車方向（自車位置に対する目標駐車位置Ｐ２の方向）に応じてディスプレイ２に表示されるトップビュー画像を纏めたものである。この図１２に示すように、駐車方向が左側であれば自車の左側方の表示対象領域が広くなり、駐車方向が右側であれば自車の右側方の表示対象領域が広くなる。また、駐車種別が縦列駐車の場合に比べて駐車種別が車庫入れ駐車の場合の方が、自車の左右側方の表示対象領域が広範囲に拡大される。これにより、ドライバにとって目標駐車位置Ｐ２の設定がしやすいトップビュー画像をディスプレイ２に表示することができる。また、表示範囲を必要な範囲に絞ることで画質の劣化や歪みが目立たなくなったり、トップビュー画像上で駐車枠Ｆ１等を移動させるためのタッチキー６ｂを表示するための領域が増えるなどのメリットがある。 FIG. 12 summarizes the top view images displayed on the display 2 according to the parking type and the parking direction (direction of the target parking position P2 with respect to the own vehicle position) at the start of parking assistance in the image display device of the present embodiment. It is. As shown in FIG. 12, when the parking direction is the left side, the display target area on the left side of the own vehicle is widened, and when the parking direction is the right side, the display target area on the right side of the own vehicle is widened. Further, the display target area on the left and right sides of the own vehicle is expanded in a wider range when the parking type is garage parking than when the parking type is parallel parking. As a result, a top view image that allows the driver to easily set the target parking position P2 can be displayed on the display 2. Further, by reducing the display range to a necessary range, image quality deterioration and distortion become inconspicuous, and the area for displaying the touch key 6b for moving the parking frame F1 etc. on the top view image increases. There is.
［第３の実施形態］
次に、本発明を適用した画像表示装置の他の変形例（第３の実施形態）について説明する。本実施形態の画像表示装置は、駐車支援開始後にトップビュー画像として表示する自車周囲の表示対象領域を拡大する手法が、上述した第１の実施形態とは異なるものである。以下、第１の実施形態との相違点についてのみ説明する。
[Third Embodiment]
Next, another modification (third embodiment) of the image display device to which the present invention is applied will be described. The image display device according to the present embodiment is different from the first embodiment described above in the method of enlarging the display target area around the host vehicle displayed as a top view image after parking support is started. Only the differences from the first embodiment will be described below.
第１の実施形態の画像表示装置では、上述したように、仮想視点の位置は変えずに車載カメラ１ａ〜１ｄの撮像画像から切り出す範囲を広げることで、トップビュー画像として表示する自車周囲の表示対象領域を拡大するようにしていたが、本実施形態の画像表示装置は、トップビュー画像の表示縮尺を変更することで、トップビュー画像として表示する自車周囲の表示対象領域を均等に拡大する。 In the image display device according to the first embodiment, as described above, by expanding the range to be cut out from the captured images of the in-vehicle cameras 1a to 1d without changing the position of the virtual viewpoint, the area around the vehicle displayed as the top view image is displayed. Although the display target area has been enlarged, the image display apparatus according to the present embodiment uniformly enlarges the display target area around the vehicle displayed as the top view image by changing the display scale of the top view image. To do.
図１３は、本実施形態の画像表示装置においてディスプレイ２に表示される監視画像の画像例であり、（ａ）は駐車支援開始前の監視画像の例を示し、（ｂ）は駐車支援開始後の監視画像の例を示している。本実施形態の画像表示装置では、自車が低速走行中、若しくはドライバによって駐車支援開始ボタンが押下される前は、トップビュー画像として表示する自車周囲の表示対象領域が初期範囲とされ、図１３（ａ）のような監視画像がディスプレイ２に表示される。ここで、自車が駐車初期位置に停車してドライバによって駐車支援開始ボタンが押下されると、コントローラ１０が駐車支援の開始を判断し、トップビュー画像の表示縮尺を大きくして、図１３（ｂ）のような監視画像をディスプレイ２に表示させる。なお、図１３（ａ）中のＷ１及び図１３（ｂ）中のＷ２は、それぞれ自車の左右側方の１．５ｍ〜２．５ｍ程度の領域を表示するために必要な画面上の表示幅を示しているが、図１３（ａ）の画像例よりも図１３（ｂ）の画像例の方がトップビュー画像の縮尺が大きいため、Ｗ１＞Ｗ２となる。 FIG. 13 is an example of a monitoring image displayed on the display 2 in the image display apparatus of the present embodiment, (a) shows an example of a monitoring image before parking assistance is started, and (b) is after parking assistance is started. The example of the monitoring image of is shown. In the image display device of the present embodiment, the display target area around the vehicle displayed as the top view image is set as the initial range while the vehicle is traveling at a low speed or before the parking support start button is pressed by the driver. A monitoring image such as 13 (a) is displayed on the display 2. Here, when the vehicle stops at the initial parking position and the parking support start button is pressed by the driver, the controller 10 determines the start of parking support, increases the display scale of the top view image, and FIG. A monitoring image as shown in b) is displayed on the display 2. Note that W1 in FIG. 13 (a) and W2 in FIG. 13 (b) are on-screen displays necessary for displaying an area of about 1.5 m to 2.5 m on the left and right sides of the vehicle. Although the width is shown, since the scale of the top view image is larger in the image example in FIG. 13B than in the image example in FIG. 13A, W1> W2.
トップビュー画像の表示縮尺の変更は、例えば、複数の縮尺に対応させてトップビュー画像を生成するための変換マップ若しくは変換式を複数用意しておき、目的とする表示縮尺に対応する変換マップ若しくは変換式を用いてトップビュー画像を生成することで容易に実現することができる。 To change the display scale of the top view image, for example, a plurality of conversion maps or conversion expressions for generating a top view image corresponding to a plurality of scales are prepared, and a conversion map or a conversion scale corresponding to a target display scale is prepared. This can be easily realized by generating a top view image using a conversion formula.
以上のように、本実施形態の画像表示装置では、駐車支援開始後にトップビュー画像の表示縮尺を変更することで、トップビュー画像として表示する自車周囲の表示対象領域を均等に拡大するようにしているので、ユーザは目標駐車位置の設定だけでなく後退開始位置の角度の調整なども１つの画面上の操作で行うことができ、利便性が増す。なお、目標駐車位置や後退開始位置が確定した後に自車が移動を開始した場合は、第１の実施形態と同様に自車のギア位置及び舵角に応じて自車周囲の表示対象領域を変更するトップビュー画像をディスプレイ２に表示させるようにしてもよいし、図１３（ｂ）のような自車周囲の表示対象領域を均等に拡大したトップビュー画像を継続してディスプレイ２に表示させるようにしてもよい。 As described above, in the image display device according to the present embodiment, the display target area around the vehicle displayed as the top view image is uniformly enlarged by changing the display scale of the top view image after parking support is started. Therefore, the user can perform not only the setting of the target parking position but also the adjustment of the angle of the reverse start position by an operation on one screen, and convenience is increased. If the vehicle starts moving after the target parking position and the reverse start position are determined, the display target area around the vehicle is set according to the gear position and the steering angle of the vehicle as in the first embodiment. The top view image to be changed may be displayed on the display 2, or the top view image in which the display target area around the host vehicle is uniformly enlarged as shown in FIG. 13B is continuously displayed on the display 2. You may do it.
以上、第１乃至第３の実施形態の画像表示装置について具体的に説明したが、以上の各実施形態は本発明の適用例を例示的に示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。 The image display apparatuses according to the first to third embodiments have been specifically described above. However, each of the above embodiments is an example of application of the present invention, and the technical scope of the present invention is as follows. Of course, the present invention is not limited to the contents disclosed in the above description of the embodiments, and various alternative techniques that can be easily derived from these disclosures are also included.
１ａ〜１ｄ 車載カメラ
２ ディスプレイ
３ インヒビタースイッチ
４ 舵角センサ
５ 車速センサ
６ タッチパネル
１０ コントローラ
DESCRIPTION OF SYMBOLS 1a-1d Car-mounted camera 2 Display 3 Inhibitor switch 4 Rudder angle sensor 5 Vehicle speed sensor 6 Touch panel 10 Controller
Claims (8)
前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の左右の表示対象領域を予め設定した初期範囲よりも広い範囲に拡大し、
前記俯瞰画像生成手段は、前記車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする車両用画像表示装置。 A plurality of in-vehicle cameras that image the surroundings of the vehicle;
An overhead image generation means for generating an overhead image obtained by looking down the vehicle periphery from above the vehicle using a plurality of images captured by the plurality of in-vehicle cameras;
Display means for displaying the overhead image generated by the overhead image generation means,
The overhead image generation means inputs a vehicle speed signal of the vehicle and a parking assistance start signal of a parking assistance device that assists the parking operation of the vehicle as a vehicle signal, and the vehicle is stopped based on the inputted vehicle signal and the parking assistance When it is determined that parking support by the device has started, at least the entire target parking position at the time of parallel parking is included in the display target area, and the display target area around the vehicle displayed on the display unit as the overhead image is displayed. Among them, the display target areas on the left and right sides of the vehicle are expanded to a wider range than the preset initial range,
The bird's-eye view image generation means returns the left and right display target areas of the vehicle to the initial range when it is determined that the vehicle has started moving after enlarging the left and right display target areas of the vehicle. An image display device for a vehicle.
前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域を、予め設定した初期範囲よりも広い範囲に切り替え、
前記俯瞰画像生成手段は、車両の駐車動作の種別及び車両の現在位置に対する目標駐車位置の方向を判定し、当該判定の結果に応じて車両の左右の表示対象領域の拡大する方向及び大きさを決定し、
前記俯瞰画像生成手段は、車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする車両用画像表示装置。 A plurality of in-vehicle cameras that image the surroundings of the vehicle;
An overhead image generation means for generating an overhead image obtained by looking down the vehicle periphery from above the vehicle using a plurality of images captured by the plurality of in-vehicle cameras;
Display means for displaying the overhead image generated by the overhead image generation means,
The overhead image generation means inputs a vehicle speed signal of the vehicle and a parking assistance start signal of a parking assistance device that assists the parking operation of the vehicle as a vehicle signal, and the vehicle is stopped based on the inputted vehicle signal and the parking assistance When it is determined that parking support by the device has been started, the display target area around the vehicle to be displayed on the display unit as the overhead image is switched to a range wider than a preset initial range,
The overhead image generation means determines the type of the parking operation of the vehicle and the direction of the target parking position with respect to the current position of the vehicle, and determines the direction and size of enlargement of the left and right display target areas of the vehicle according to the determination result. Decide
The bird's-eye view image generation means returns the left and right display target areas of the vehicle to the initial range when it is determined that the vehicle has started moving after expanding the left and right display target areas of the vehicle. Image display device.
前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の前後の表示対象領域は予め設定した初期範囲と同等とし、車両の左右の表示対象領域のみを前記初期範囲よりも広い範囲に拡大することを特徴とする車両用画像表示装置。 A plurality of in-vehicle cameras that image the surroundings of the vehicle;
An overhead image generation means for generating an overhead image obtained by looking down the vehicle periphery from above the vehicle using a plurality of images captured by the plurality of in-vehicle cameras;
Display means for displaying the overhead image generated by the overhead image generation means,
The overhead image generation means inputs a vehicle speed signal of the vehicle and a parking assistance start signal of a parking assistance device that assists the parking operation of the vehicle as a vehicle signal, and the vehicle is stopped based on the inputted vehicle signal and the parking assistance When it is determined that parking support by the device has started, at least the entire target parking position at the time of parallel parking is included in the display target area, and the display target area around the vehicle displayed on the display unit as the overhead image is displayed. among them, the display target area before and after the vehicle is equal to the initial preset range, the vehicular image display apparatus characterized by enlarging only the target region of the left and right of the vehicle in a wider range than the initial range.
前記俯瞰画像生成手段は、車両の左右の表示対象領域を拡大した後、前記目標駐車位置が確定した場合に、少なくとも前記後退開始位置の一部が表示対象領域に含まれるように、車両前方の表示対象領域を拡大することを特徴とする請求項１、３又は４に記載の車両用画像表示装置。 The parking assist device assists a series of parking operations to reach the target parking position after the vehicle has moved from the current position to the reverse start position.
The overhead image generation means enlarges the left and right display target areas of the vehicle, and then, when the target parking position is determined, at least a part of the reverse start position is included in the display target area. 5. The vehicular image display device according to claim 1, wherein the display target region is enlarged.
車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の左右の表示対象領域を予め設定した初期範囲よりも広い範囲に拡大し、
前記車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする俯瞰画像の表示方法。 When generating and displaying on the display means an overhead image in which the vehicle periphery is looked down from above the vehicle using a plurality of images captured by a plurality of in-vehicle cameras,
As a vehicle signal, a vehicle speed signal and a parking assistance start signal of a parking assistance device that supports the parking operation of the vehicle are input. Based on the inputted vehicle signal, the vehicle is stopped and parking assistance by the parking assistance device is started. Of the display target area around the vehicle to be displayed on the display means as the overhead image so that at least the entire target parking position during parallel parking is included in the display target area. Expand the target area to a wider range than the preset initial range,
A bird's-eye view image display method comprising: returning the left and right display target areas of the vehicle to the initial range when it is determined that the vehicle has started moving after enlarging the left and right display target areas of the vehicle.
車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域を、予め設定した初期範囲よりも広い範囲に切り替え、
車両の駐車動作の種別及び車両の現在位置に対する目標駐車位置の方向を判定し、当該判定の結果に応じて車両の左右の表示対象領域の拡大する方向及び大きさを決定し、
車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする俯瞰画像の表示方法。 When generating and displaying on the display means an overhead image in which the vehicle periphery is looked down from above the vehicle using a plurality of images captured by a plurality of in-vehicle cameras,
As a vehicle signal, a vehicle speed signal and a parking assistance start signal of a parking assistance device that supports the parking operation of the vehicle are input. Based on the inputted vehicle signal, the vehicle is stopped and parking assistance by the parking assistance device is started. When it is determined that the display target area around the vehicle to be displayed on the display means as the overhead image is switched to a range wider than a preset initial range,
Determine the direction of the parking operation of the vehicle and the direction of the target parking position relative to the current position of the vehicle, determine the direction and size of the display target area to be expanded on the left and right of the vehicle according to the determination result,
A bird's-eye view image display method comprising: returning a left and right display target area of a vehicle to the initial range when it is determined that the vehicle has started moving after enlarging the left and right display target areas of the vehicle.
車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の前後の表示対象領域は予め設定した初期範囲と同等とし、車両の左右の表示対象領域のみを前記初期範囲よりも広い範囲に拡大することを特徴とする俯瞰画像の表示方法。 When generating and displaying on the display means an overhead image in which the vehicle periphery is looked down from above the vehicle using a plurality of images captured by a plurality of in-vehicle cameras,
As a vehicle signal, a vehicle speed signal and a parking assistance start signal of a parking assistance device that supports the parking operation of the vehicle are input. Based on the inputted vehicle signal, the vehicle is stopped and parking assistance by the parking assistance device is started. Of the display target area around the vehicle to be displayed on the display means as the overhead image so that at least the entire target parking position at the time of parallel parking is included in the display target area. A method for displaying an overhead image, wherein the target area is equal to a preset initial range, and only the left and right display target areas of the vehicle are expanded to a range wider than the initial range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009143229A JP5321267B2 (en) | 2009-06-16 | 2009-06-16 | Vehicular image display device and overhead image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009143229A JP5321267B2 (en) | 2009-06-16 | 2009-06-16 | Vehicular image display device and overhead image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011002884A JP2011002884A (en) | 2011-01-06 |
| JP5321267B2 true JP5321267B2 (en) | 2013-10-23 |
Family
ID=43560814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009143229A Active JP5321267B2 (en) | 2009-06-16 | 2009-06-16 | Vehicular image display device and overhead image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5321267B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11472339B2 (en) | 2018-09-06 | 2022-10-18 | Aisin Corporation | Vehicle periphery display device |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101787054B1 (en) * | 2011-04-08 | 2017-11-15 | 현대모비스 주식회사 | Back parking assist apparatus and method thereof |
| KR101482171B1 (en) | 2013-09-05 | 2015-01-13 | 현대모비스(주) | Control method for around view stop mode |
| JP5872517B2 (en) * | 2013-10-04 | 2016-03-01 | 本田技研工業株式会社 | Vehicle periphery display device |
| WO2015115103A1 (en) * | 2014-01-29 | 2015-08-06 | 京セラ株式会社 | Image processing device, camera system, and image processing method |
| JP2015154336A (en) * | 2014-02-17 | 2015-08-24 | 株式会社デンソー | Display image generation device and display image generation program |
| JP6313081B2 (en) * | 2014-03-20 | 2018-04-18 | クラリオン株式会社 | In-vehicle image processing apparatus and vehicle system using the same |
| KR102273570B1 (en) * | 2015-04-01 | 2021-07-07 | 주식회사 만도 | System for supporting parking out |
| CN107534757B (en) * | 2015-08-10 | 2020-04-10 | Jvc 建伍株式会社 | Vehicle display device and vehicle display method |
| KR101832224B1 (en) * | 2015-11-11 | 2018-02-26 | 엘지전자 주식회사 | Appratus and method for assisting a driver based on difficulty level of parking |
| KR101767074B1 (en) * | 2015-12-16 | 2017-08-23 | 현대자동차주식회사 | Vehicle and controlling method for the same |
| JP6644256B2 (en) * | 2015-12-22 | 2020-02-12 | 株式会社Ｊｖｃケンウッド | Overhead video generation device, overhead video generation system, overhead video generation method and program |
| JP7160513B2 (en) * | 2016-06-06 | 2022-10-25 | ヤフー株式会社 | TERMINAL PROGRAM, TERMINAL DEVICE, AND INFORMATION PROCESSING METHOD |
| JP6756554B2 (en) * | 2016-09-09 | 2020-09-16 | 株式会社タダノ | Image display system |
| KR102005944B1 (en) * | 2016-10-19 | 2019-08-01 | 주식회사 만도 | Parking Assist System and Method thereof |
| CN106671883A (en) * | 2016-11-18 | 2017-05-17 | 安徽江淮汽车集团股份有限公司 | Panoramic parking method and system |
| JP6753363B2 (en) * | 2017-06-20 | 2020-09-09 | トヨタ自動車株式会社 | Driving support device |
| JP6859216B2 (en) | 2017-07-03 | 2021-04-14 | トヨタ自動車株式会社 | Vehicle peripheral display device |
| JP7283514B2 (en) * | 2017-07-19 | 2023-05-30 | 株式会社アイシン | display controller |
| JP6568981B2 (en) * | 2018-05-29 | 2019-08-28 | 株式会社デンソーテン | Image display device, image display system, image display method, and program |
| JP6731022B2 (en) * | 2018-09-14 | 2020-07-29 | 本田技研工業株式会社 | Parking assistance device, vehicle and parking assistance method |
| KR102164702B1 (en) * | 2019-04-26 | 2020-10-14 | 주식회사 켐트로닉스 | Automatic parking device and automatic parking method |
| KR102195146B1 (en) * | 2019-08-22 | 2020-12-28 | 장현민 | Safety Accident Avoidance System Of Vehicle Based Omnidirectional Around View Monitoring And Method Thereof |
| JP7120274B2 (en) * | 2020-06-25 | 2022-08-17 | 株式会社Ｊｖｃケンウッド | Bird's-eye view video generation device, bird's-eye view video generation method and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0399952A (en) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | Surrounding situation monitor for vehicle |
| EP1641268A4 (en) * | 2004-06-15 | 2006-07-05 | Matsushita Electric Ind Co Ltd | Monitor and vehicle periphery monitor |
| JP2006341641A (en) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | Image display apparatus and image display method |
| JP2007183877A (en) * | 2006-01-10 | 2007-07-19 | Nissan Motor Co Ltd | Driving support device for vehicle and display method for bird's-eye video |
| JP4867512B2 (en) * | 2006-07-20 | 2012-02-01 | 株式会社デンソー | Image display apparatus and program |
| JP2008230560A (en) * | 2007-03-23 | 2008-10-02 | Pioneer Electronic Corp | Parking assistance device, parking assistance control method, and parking assistance program |
| JP5088074B2 (en) * | 2007-10-01 | 2012-12-05 | 日産自動車株式会社 | Parking support apparatus and method |
-
2009
- 2009-06-16 JP JP2009143229A patent/JP5321267B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11472339B2 (en) | 2018-09-06 | 2022-10-18 | Aisin Corporation | Vehicle periphery display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011002884A (en) | 2011-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5321267B2 (en) | Vehicular image display device and overhead image display method | |
| EP3357793B1 (en) | Parking assist apparatus | |
| JP5003946B2 (en) | Parking assistance device | |
| JP5316550B2 (en) | Rear view support system | |
| JP4609444B2 (en) | Parking assistance device | |
| EP2487906B1 (en) | Control device and vehicle surrounding monitoring device | |
| JP5271154B2 (en) | Image generating apparatus and image display system | |
| US10166922B2 (en) | On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device | |
| WO2010137684A1 (en) | Image generation device and image display system | |
| WO2011001794A1 (en) | Image generation device and image display system | |
| JP4985250B2 (en) | Parking assistance device | |
| WO2019008764A1 (en) | Parking assistance method and parking assistance device | |
| WO2013088613A1 (en) | Drive assistance device | |
| JP2010287163A (en) | In-vehicle image display apparatus, and method for trimming image | |
| EP3800111A1 (en) | Periphery monitoring device | |
| JP5966513B2 (en) | Rear side photographing device for vehicle | |
| JP5067169B2 (en) | Vehicle parking assistance apparatus and image display method | |
| JP2010116086A (en) | On-vehicle display, display method, and display program | |
| JP5400316B2 (en) | Parking assistance device | |
| KR20100021046A (en) | Display device for vehicle and method for controlling the same | |
| JP2007282098A (en) | Image processing apparatus and image processing program | |
| WO2017110069A1 (en) | Drive assist apparatus, drive assist method, and drive assist program | |
| WO2011105107A1 (en) | Driving assistance device | |
| JP6040766B2 (en) | Parking assistance device | |
| JP4375153B2 (en) | Vehicle display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130701 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5321267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |