JP4992800B2

JP4992800B2 - Parking assistance device

Info

Publication number: JP4992800B2
Application number: JP2008096466A
Authority: JP
Inventors: 吉浩中山
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-04-02
Filing date: 2008-04-02
Publication date: 2012-08-08
Anticipated expiration: 2028-04-02
Also published as: JP2009253460A

Description

本発明は、車両の進行方向周辺に存在する障害物を検出して画像上に表示させる駐車支援装置に関するものである。 The present invention relates to a parking assistance device that detects obstacles around a traveling direction of a vehicle and displays them on an image.

従来から、車両の周辺の状況を撮影した画像を表示部に表示することによって、車両周辺の障害物の存在などをドライバーに知らせる技術が知られている。 2. Description of the Related Art Conventionally, there is known a technique for informing a driver of the presence of an obstacle around a vehicle by displaying an image obtained by photographing a situation around the vehicle on a display unit.

また、近年では、車両の周辺をカメラで撮影した画像を、鉛直方向から地上面を見下ろした鳥瞰画像に変換して表示部に表示する技術も知られてきている。例えば、特許文献１には、カメラで撮影した画像を鳥瞰画像に変換し、その鳥瞰画像の中に自車両を表す画像を合成して表示部に表示する技術が開示されている。他にも、特許文献２には、ソナーによって障害物が検出されない場合にはカメラの原画像を表示し、ソナーによって障害物が検出された場合には鳥瞰画像を表示する技術が開示されている。
特開平１０−２１１８４９号公報特開２００７−１８０８０３号公報 In recent years, a technique has also been known in which an image obtained by photographing the periphery of a vehicle with a camera is converted into a bird's-eye view image looking down on the ground surface from the vertical direction and displayed on a display unit. For example, Patent Document 1 discloses a technique in which an image captured by a camera is converted into a bird's-eye image, and an image representing the host vehicle is synthesized in the bird's-eye image and displayed on a display unit. In addition, Patent Document 2 discloses a technique for displaying an original image of a camera when an obstacle is not detected by sonar, and displaying a bird's-eye view image when an obstacle is detected by sonar. .
Japanese Patent Laid-Open No. 10-211849 JP 2007-180803 A

しかしながら、鳥瞰画像では、自車両とその近辺の障害物との位置関係が把握しやすいももの、表示できる領域が自車両近辺に限られる。従って、特許文献１に開示の装置では、駐車開始時などのように、自車両から離れた領域の安全を確認したい場合に、安全確認が行いづらくなってしまうという問題点を有していた。 However, in the bird's-eye view image, although it is easy to grasp the positional relationship between the host vehicle and the obstacles in the vicinity thereof, the displayable area is limited to the vicinity of the host vehicle. Therefore, the apparatus disclosed in Patent Document 1 has a problem that it is difficult to confirm safety when it is desired to confirm safety in an area away from the host vehicle, such as when parking is started.

また、特許文献２に開示の技術では、ソナーによって障害物が検出されない場合にはカメラの原画像を表示し、自車両から離れた領域の安全確認を可能にしているが、ソナーによって障害物が検出された場合に、原画像から鳥瞰画像に急に切り替わるので、ユーザを混乱させてしまう虞があった。つまり、ユーザにとって安全確認が行いづらいという問題点を有していた。 Further, in the technique disclosed in Patent Document 2, when an obstacle is not detected by the sonar, the original image of the camera is displayed to enable safety confirmation of an area away from the host vehicle. When detected, the original image is suddenly switched to the bird's-eye view image, which may confuse the user. That is, there is a problem that it is difficult for the user to confirm safety.

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両の進行方向周辺の安全確認をより行い易くすることが可能な駐車支援装置を提供することにある。 The present invention has been made in view of the above-described conventional problems, and an object of the present invention is to provide a parking assist device capable of making it easier to confirm safety around the traveling direction of a vehicle.

請求項１の駐車支援装置は、上記課題を解決するために、車両周辺の画像を撮影するための撮影手段と、前記撮影手段によって撮影された画像に基づいて鳥瞰画像を作成する鳥瞰画像作成手段と、前記撮影手段によって撮影された画像の原画像と前記鳥瞰画像作成手段で作成された鳥瞰画像とのいずれも表示可能な表示手段と、前記車両周辺を障害物の検出範囲としている障害物検出手段と、を備えた駐車支援装置であって、前記障害物検出手段からの信号に基づいて、前記障害物検出手段によって検出された障害物から前記車両までの距離を逐次算出する距離算出手段と、前記障害物検出手段によって障害物が検出されていない場合には、前記原画像の表示を前記表示手段に行わせる一方、前記障害物検出手段によって障害物が検出された場合には、前記原画像から前記鳥瞰画像までを段階的に遷移させながら表示させる遷移表示を前記表示手段に行わせる表示制御手段と、前記車両が停止中であるかを判定する車両停止判定手段と、前記車両停止判定手段で前記車両が停止中であると判定された場合に、前記距離算出手段で逐次算出された前記障害物から前記車両までの距離が、所定の時間よりも短い時間の間に増減したかを判定する障害物運動判定手段とを備え、前記表示制御手段は、前記障害物検出手段が障害物を検出した場合に、前記距離算出手段によって算出された距離が所定の距離以下となったことに基づいて、前記遷移表示を前記表示手段に開始させるとともに、前記表示手段で前記遷移表示を開始させた後に、当該距離が前記所定の時間よりも短い時間の間に増減したと前記障害物運動判定手段で判定された場合に、前記遷移表示における遷移を一旦停止させることを特徴としている。 In order to solve the above-described problem, the parking assist apparatus according to claim 1 is a photographing unit for photographing an image around a vehicle, and a bird's-eye image creation unit that creates a bird's-eye image based on an image photographed by the photographing unit. Display means capable of displaying both the original image of the image photographed by the photographing means and the bird's-eye image created by the bird's-eye image creation means, and obstacle detection using the vehicle periphery as an obstacle detection range And a distance calculation means for sequentially calculating a distance from the obstacle detected by the obstacle detection means to the vehicle based on a signal from the obstacle detection means. , when the obstacle by the obstacle detecting unit is not detected, while causing the display of the original image on the display means, the obstacle detected by the obstacle detecting means Expediently, a display control unit for causing the transition indication to be displayed while stepwise transition from the original image to the bird's-eye image on the display unit, the vehicle stop determination means for determining whether the vehicle is stopped And when the vehicle stop determining means determines that the vehicle is stopped, the distance from the obstacle to the vehicle sequentially calculated by the distance calculating means is shorter than a predetermined time. An obstacle movement determining means for determining whether the distance has been increased or decreased in between, and the display control means, when the obstacle detecting means detects an obstacle, the distance calculated by the distance calculating means is a predetermined distance Based on the following, the display unit starts the transition display, and after the display unit starts the transition display, the distance increases during a time shorter than the predetermined time. When the the is determined by the obstacle movement determining means, it is characterized in Rukoto temporarily stop transitions in the transition display.

これによれば、障害物検出手段によって障害物が検出された場合に、表示制御手段によって、原画像から鳥瞰画像までを段階的に遷移させながら表示手段に表示を行わせることができる。従って、表示手段で表示する画像の変化をより緩やかにすることができ、画像の急激な変化によって生じる可能性のあるドライバーの混乱を抑えることができる。 According to this, when an obstacle is detected by the obstacle detection means, the display control means can cause the display means to perform display while making a transition from the original image to the bird's-eye view image in stages. Therefore, the change in the image displayed by the display means can be made more gradual, and the driver's confusion that can be caused by a sudden change in the image can be suppressed.

また、これによれば、距離算出手段によって算出された障害物から車両までの距離が所定の距離以下となったことに基づいて、遷移表示を開始させることができるので、障害物検出手段が障害物を検出した場合であっても、遷移表示を開始させる必要がない程度にその障害物が車両から離れているときには原画像を表示させ続け、遷移表示を開始させることが好ましい程度にその障害物が車両に近づいたときに遷移表示を開始させることが可能になる。
さらに、歩行者などのように自由に動く障害物が頻繁に車両に向かって前後移動を繰り返す場合、単に、障害物が車両に近づいてくるときに鳥瞰画像側に表示を遷移させ、車両から遠ざかるときに原画像側に表示を遷移させてしまうと、表示が遷移する方向が頻繁に変化することになり、ドライバーが煩わしい思いをすることになる。また、歩行者などのように由に動く障害物が障害物検出手段の検出範囲を通過して行ったり来たりする場合についても同様である。しかしながら、請求項５のようにすれば、車両と障害物との間の距離が頻繁に近づいたり遠ざかったりする場合に、遷移表示における遷移を一旦停止させることが可能になる。よって、停止中の車両の障害物検出手段の検出範囲内で頻繁に車両に向かって前後移動を繰り返す障害物やその検出範囲を通過して行ったり来たりする障害物がある場合に、遷移表示における遷移を一旦停止させることが可能になる。従って、頻繁な表示の切り替えを抑えることができ、頻繁な表示の切り替によって生じるドライバーの煩わしさを低減させることができる。
請求項２の駐車支援装置は、上記課題を解決するために、車両周辺の画像を撮影するための撮影手段と、前記撮影手段によって撮影された画像に基づいて鳥瞰画像を作成する鳥瞰画像作成手段と、前記撮影手段によって撮影された画像の原画像と前記鳥瞰画像作成手段で作成された鳥瞰画像とのいずれも表示可能な表示手段と、前記車両周辺を障害物の検出範囲としている障害物検出手段と、を備えた駐車支援装置であって、前記障害物検出手段からの信号に基づいて、前記障害物検出手段によって検出された障害物から前記車両までの距離を逐次算出する距離算出手段と、前記障害物検出手段によって障害物が検出されていない場合には、前記原画像の表示を前記表示手段に行わせる一方、前記障害物検出手段によって障害物が検出された場合には、前記原画像から前記鳥瞰画像までを段階的に遷移させながら表示させる遷移表示を前記表示手段に行わせる表示制御手段と、前記車両が停止中であるかを判定する車両停止判定手段と、前記車両停止判定手段で前記車両が停止中であると判定された場合に、前記距離算出手段で逐次算出された前記障害物から前記車両までの距離が、所定の時間よりも短い時間の間に増減したかを判定する障害物運動判定手段とを備え、前記表示制御手段は、前記障害物検出手段が障害物を検出した場合に、さらに、前記距離算出手段によって算出された距離に応じて、前記遷移表示の段階を変化させるとともに、前記表示手段で前記遷移表示を開始させた後に、当該距離が前記所定の時間よりも短い時間の間に増減したと前記障害物運動判定手段で判定された場合に、前記遷移表示における遷移を一旦停止させることを特徴としている。
これによれば、障害物検出手段によって障害物が検出された場合に、表示制御手段によって、原画像から鳥瞰画像までを段階的に遷移させながら表示手段に表示を行わせることができる。従って、表示手段で表示する画像の変化をより緩やかにすることができ、画像の急激な変化によって生じる可能性のあるドライバーの混乱を抑えることができる。
また、これによれば、距離算出手段によって算出された障害物から車両までの距離に応じて、遷移表示の段階を変化させることができるので、障害物検出手段が障害物を検出した場合に、障害物に車両が近づくにつれて原画像から鳥瞰画像へ段階的に遷移させながら表示手段に表示を行わせることが可能になるとともに、障害物から車両が遠ざかるにつれて鳥瞰画像から原画像へ段階的に遷移させながら表示手段に表示を行わせることも可能になる。
さらに、歩行者などのように自由に動く障害物が頻繁に車両に向かって前後移動を繰り返す場合、単に、障害物が車両に近づいてくるときに鳥瞰画像側に表示を遷移させ、車両から遠ざかるときに原画像側に表示を遷移させてしまうと、表示が遷移する方向が頻繁に変化することになり、ドライバーが煩わしい思いをすることになる。また、歩行者などのように由に動く障害物が障害物検出手段の検出範囲を通過して行ったり来たりする場合についても同様である。しかしながら、請求項５のようにすれば、車両と障害物との間の距離が頻繁に近づいたり遠ざかったりする場合に、遷移表示における遷移を一旦停止させることが可能になる。よって、停止中の車両の障害物検出手段の検出範囲内で頻繁に車両に向かって前後移動を繰り返す障害物やその検出範囲を通過して行ったり来たりする障害物がある場合に、遷移表示における遷移を一旦停止させることが可能になる。従って、頻繁な表示の切り替えを抑えることができ、頻繁な表示の切り替によって生じるドライバーの煩わしさを低減させることができる。 Further , according to this, since the transition display can be started based on the fact that the distance from the obstacle calculated by the distance calculating means to the vehicle is equal to or less than the predetermined distance, the obstacle detecting means Even if an object is detected, it is preferable to continue displaying the original image and start the transition display when the obstacle is away from the vehicle to the extent that it is not necessary to start the transition display. When the vehicle approaches the vehicle, the transition display can be started.
Furthermore, when an obstacle that moves freely, such as a pedestrian, frequently repeats moving back and forth toward the vehicle, the display is simply shifted to the bird's-eye view image side when the obstacle approaches the vehicle and moves away from the vehicle. If the display is sometimes shifted to the original image side, the direction in which the display is changed frequently changes, which causes trouble for the driver. The same applies to a case where an obstacle that moves freely, such as a pedestrian, passes back and forth through the detection range of the obstacle detection means. However, according to the fifth aspect, when the distance between the vehicle and the obstacle frequently approaches or moves away, the transition in the transition display can be temporarily stopped. Therefore, when there is an obstacle that repeatedly moves back and forth toward the vehicle within the detection range of the obstacle detection means of a stopped vehicle, or an obstacle that goes back and forth through the detection range, a transition display It is possible to temporarily stop the transition at. Accordingly, frequent display switching can be suppressed, and the troublesomeness of the driver caused by frequent display switching can be reduced.
In order to solve the above-described problem, the parking support apparatus according to claim 2 is a photographing unit for photographing an image around the vehicle, and a bird's-eye image creation unit that creates a bird's-eye image based on an image photographed by the photographing unit. Display means capable of displaying both the original image of the image photographed by the photographing means and the bird's-eye image created by the bird's-eye image creation means, and obstacle detection using the vehicle periphery as an obstacle detection range And a distance calculation means for sequentially calculating a distance from the obstacle detected by the obstacle detection means to the vehicle based on a signal from the obstacle detection means. In the case where no obstacle is detected by the obstacle detection means, the display means displays the original image, while the obstacle detection means detects the obstacle. In other words, display control means for causing the display means to perform transition display for displaying the original image to the bird's-eye view image in a stepwise manner, and vehicle stop determination means for determining whether the vehicle is stopped And when the vehicle stop determining means determines that the vehicle is stopped, the distance from the obstacle to the vehicle sequentially calculated by the distance calculating means is shorter than a predetermined time. An obstacle movement determining means for determining whether the distance has increased or decreased between the display control means and the display control means according to the distance calculated by the distance calculating means when the obstacle detecting means detects an obstacle. And the obstacle movement determination means when the distance is increased or decreased during a time shorter than the predetermined time after the transition display stage is changed and the display means starts the transition display. When it is determined, it is characterized in that to temporarily stop the transition in the transition display.
According to this, when an obstacle is detected by the obstacle detection means, the display control means can cause the display means to perform display while making a transition from the original image to the bird's-eye view image in stages. Therefore, the change in the image displayed by the display means can be made more gradual, and the driver's confusion that can be caused by a sudden change in the image can be suppressed.
Further, according to this, since the transition display stage can be changed according to the distance from the obstacle to the vehicle calculated by the distance calculation means, when the obstacle detection means detects the obstacle, As the vehicle approaches the obstacle, it is possible to display on the display means while gradually changing from the original image to the bird's-eye view image, and as the vehicle moves away from the obstacle, the bird's-eye view image changes to the original image step by step. It is also possible to cause the display means to perform display.
Furthermore, when an obstacle that moves freely, such as a pedestrian, frequently repeats moving back and forth toward the vehicle, the display is simply shifted to the bird's-eye view image side when the obstacle approaches the vehicle and moves away from the vehicle. If the display is sometimes shifted to the original image side, the direction in which the display is changed frequently changes, which causes trouble for the driver. The same applies to a case where an obstacle that moves freely, such as a pedestrian, passes back and forth through the detection range of the obstacle detection means. However, according to the fifth aspect, when the distance between the vehicle and the obstacle frequently approaches or moves away, the transition in the transition display can be temporarily stopped. Therefore, when there is an obstacle that repeatedly moves back and forth toward the vehicle within the detection range of the obstacle detection means of a stopped vehicle, or an obstacle that goes back and forth through the detection range, a transition display It is possible to temporarily stop the transition at. Accordingly, frequent display switching can be suppressed, and the troublesomeness of the driver caused by frequent display switching can be reduced.

また、請求項３の駐車支援装置では、前記表示制御手段は、前記障害物検出手段が障害
物を検出した場合に、さらに、前記距離算出手段によって算出された距離に応じて、前記
遷移表示の段階を変化させることを特徴としている。 In the parking assist device according to claim 3 , when the obstacle detection unit detects an obstacle, the display control unit further displays the transition display according to the distance calculated by the distance calculation unit. It is characterized by changing the stage.

これによれば、距離算出手段によって算出された障害物から車両までの距離に応じて、遷移表示の段階を変化させることができるので、障害物検出手段が障害物を検出した場合に、障害物に車両が近づくにつれて原画像から鳥瞰画像へ段階的に遷移させながら表示手段に表示を行わせることが可能になるとともに、障害物から車両が遠ざかるにつれて鳥瞰画像から原画像へ段階的に遷移させながら表示手段に表示を行わせることも可能になる。 According to this, since the stage of the transition display can be changed according to the distance from the obstacle to the vehicle calculated by the distance calculation means, when the obstacle detection means detects the obstacle, As the vehicle approaches, it is possible to display on the display means while gradually changing from the original image to the bird's-eye view image, and as the vehicle moves away from the obstacle, gradually changing from the bird's-eye view image to the original image. It is also possible to display on the display means.

また、請求項４の駐車支援装置では、前記表示制御手段は、前記障害物検出手段によって検出された障害物を含む画像を前記表示手段に表示させる場合、当該障害物を当該画像中で強調表示させることを特徴としている。 In the parking assist device according to claim 4 , when the display control unit displays an image including the obstacle detected by the obstacle detection unit on the display unit, the obstacle is highlighted in the image. It is characterized by letting.

このようにすれば、検出された障害物が強調表示されるため、車両の周辺に存在する障害物をドライバーがより把握しやすくなる。 In this way, since the detected obstacle is highlighted, it becomes easier for the driver to grasp the obstacle present around the vehicle.

また、請求項５の駐車支援装置では、前記表示制御手段は、前記障害物検出手段によって検出された障害物を含む画像を前記表示手段に表示させる場合、当該画像に重畳して前記車両の車幅延長線を表示させることを特徴としている。 In the parking assist device according to claim 5 , when the display control unit causes the display unit to display an image including the obstacle detected by the obstacle detection unit, the display control unit superimposes the image on the vehicle. It is characterized by displaying a width extension line.

このようにすれば、障害物を含む画像に重畳して車両の車幅延長線の表示が行われるため、車両と障害物との位置関係をドライバーがより把握しやすくなる。従って、車両周辺のどの領域に障害物があるのかをより直感的にドライバーに把握させることができる。 In this way, the vehicle width extension line is displayed superimposed on the image including the obstacle, so that the driver can more easily understand the positional relationship between the vehicle and the obstacle. Therefore, it is possible to make the driver more intuitively know in which area around the vehicle an obstacle exists.

また、請求項６の駐車支援装置では、前記表示制御手段は、前記障害物検出手段によって検出された障害物を含む画像を前記表示手段に表示させる場合、当該画像に重畳して当該障害物と前記車両との間の距離の目安を示すスケールを表示させることを特徴としている。 Moreover, in the parking assistance apparatus according to claim 6 , when the display control unit displays an image including the obstacle detected by the obstacle detection unit on the display unit, the display control unit superimposes the obstacle on the image. A scale indicating a standard of the distance to the vehicle is displayed.

このようにすれば、障害物を含む画像に重畳して車両と障害物との距離の目安を示すスケールの表示が行われるため、車両と障害物との位置関係をドライバーがより把握しやすくなる。従って、車両周辺のどの領域に障害物があるのかをより直感的にドライバーに把握させることができる。 In this way, a scale indicating the distance between the vehicle and the obstacle is displayed superimposed on the image including the obstacle so that the driver can more easily understand the positional relationship between the vehicle and the obstacle. . Therefore, it is possible to make the driver more intuitively know in which area around the vehicle an obstacle exists.

また、請求項７の駐車支援装置では、前記表示制御手段は、前記表示手段に前記遷移表示を行わせる場合、前記遷移表示を行っている間の画像を強調表示させることを特徴としている。 Further, in the parking assist device according to claim 7 , the display control unit highlights an image during the transition display when the display unit performs the transition display.

このようにすれば、遷移表示中であることをドライバーが容易に把握することができるため、画像の変化によるドライバーの混乱をさらに生じにくくすることができる。 In this way, since the driver can easily grasp that the transition display is being performed, it is possible to further prevent the driver from being confused due to the image change.

以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された駐車支援システム１００の全体構成を示したブロック図である。図１に示す駐車支援システム１００は、車両に搭載されるものであり、障害物センサ１、障害物検出情報記憶装置２、カメラ３、ディスプレイ４、および画像表示制御装置５によって構成され、ＣＡＮ（controller area network）などの通信プロトコルに準拠した車内ＬＡＮで各々接続されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a parking assistance system 100 to which the present invention is applied. A parking assistance system 100 shown in FIG. 1 is mounted on a vehicle and includes an obstacle sensor 1, an obstacle detection information storage device 2, a camera 3, a display 4, and an image display control device 5. Each of them is connected via an in-vehicle LAN conforming to a communication protocol such as a controller area network.

障害物センサ１は、車両後部に複数設置されて車両後部周辺の障害物を検出し、検出した障害物の障害物センサ１に対しての位置（以降では障害物位置と呼ぶ）、および検出した障害物と障害物センサ１との距離（以下、障害物距離と呼ぶ）を逐次算出する。よって、障害物センサ１は、請求項の障害物検出手段および距離算出手段として機能する。なお、障害物センサ１は車両後部に設置されるので、障害物位置は、検出した障害物の車両後部に対しての位置と言うこともでき、障害物距離は、検出した障害物と車両後部との距離と言うこともできる。 A plurality of obstacle sensors 1 are installed at the rear part of the vehicle to detect obstacles around the rear part of the vehicle, and the positions of the detected obstacles relative to the obstacle sensor 1 (hereinafter referred to as obstacle positions) and detected. The distance between the obstacle and the obstacle sensor 1 (hereinafter referred to as the obstacle distance) is sequentially calculated. Therefore, the obstacle sensor 1 functions as an obstacle detection means and a distance calculation means. Since the obstacle sensor 1 is installed at the rear part of the vehicle, the obstacle position can also be said to be the position of the detected obstacle with respect to the rear part of the vehicle, and the obstacle distance is the detected obstacle and the rear part of the vehicle. It can also be said that the distance.

本実施の形態では、障害物センサ１として超音波ソナーを用いている。以降では、図２中のＡおよびＢに示すように、障害物センサ１が車両後部に２つ設置される場合を例として説明を行う。また、超音波ソナーは、最大でおよそ１ｍ〜１．５ｍ先までの障害物を検出することができるため、超音波ソナーを用いた場合には、車両後方から最大でおよそ１ｍ〜１．５ｍ先までの障害物を検出できることになる。 In the present embodiment, an ultrasonic sonar is used as the obstacle sensor 1. Hereinafter, as illustrated in A and B in FIG. 2, the case where two obstacle sensors 1 are installed at the rear of the vehicle will be described as an example. In addition, since the ultrasonic sonar can detect obstacles up to about 1 m to 1.5 m ahead, when using the ultrasonic sonar, it is about 1 m to 1.5 m ahead from the rear of the vehicle. Obstacles up to can be detected.

なお、本実施の形態では、障害物センサ１として超音波ソナーを用いているが、必ずしもこれに限らず、レーザーレーダーセンサを用いてもよいし、画像認識技術を用いて障害物を認識する装置であってもよい。 In this embodiment, an ultrasonic sonar is used as the obstacle sensor 1. However, the present invention is not limited to this, and a laser radar sensor may be used, or an apparatus that recognizes an obstacle using image recognition technology. It may be.

また、本実施形態では、障害物センサ１が、障害物の検出に加え、障害物位置および障害物距離の算出を行うが、必ずしもこれに限らない。例えば、障害物センサ１が障害物の検出を行い、他に備えられる演算部によって障害物位置および障害物距離の算出を行う構成であってもよい。すなわち、障害物検出手段として機能する部材と距離算出手段として機能する部材とを別々に備える構成であってもよい。 In the present embodiment, the obstacle sensor 1 calculates the obstacle position and the obstacle distance in addition to the detection of the obstacle, but the present invention is not necessarily limited thereto. For example, the configuration may be such that the obstacle sensor 1 detects an obstacle and calculates an obstacle position and an obstacle distance by a calculation unit provided elsewhere. That is, a configuration may be provided in which a member that functions as an obstacle detection unit and a member that functions as a distance calculation unit are provided separately.

障害物検出情報記憶装置２は、障害物センサ１によって一定の時間間隔ごとに得た障害物検出情報を保存する。例えば、障害物センサ１から１００ｍｓｅｃ間隔でＮ回分（Ｎは自然数であって任意に設定可能な値とする）の障害物検出情報を得ている場合には、（１００×Ｎ）ｍｓｅｃ前までの障害物検出情報を保存することになる。本実施形態では、例として１００ｍｓｅｃ間隔ごとに障害物検出情報を得るものとして以降の説明を行う。なお、この障害物検出情報とは、上述の障害物位置および障害物距離の情報を表している。 The obstacle detection information storage device 2 stores obstacle detection information obtained by the obstacle sensor 1 at regular time intervals. For example, when obstacle detection information for N times (N is a natural number and can be arbitrarily set) is obtained from the obstacle sensor 1 at intervals of 100 msec, (100 × N) up to msec before Obstacle detection information will be saved. In the present embodiment, the following description will be given on the assumption that obstacle detection information is obtained every 100 msec as an example. The obstacle detection information represents the above-described obstacle position and obstacle distance information.

請求項の撮影手段として機能するカメラ３は車両後部に設置され、車両後部の状況を撮影する。このカメラ３の撮影画角は、複数の障害物センサ１（図２の場合は２つの障害物センサ１）の障害物検出範囲を包含する画角になっている。つまり、このカメラ３によって撮影される領域（カメラ撮影領域）は障害物検出範囲を包含する。なお、カメラ３の撮影画角は、一般的な駐車支援用カメラの画角である１３０度程度であってもよいし、例えば１８０度程度であってもよい。また、このカメラ３として、ＤＳＰ（digital signal processor）などの処理装置内蔵のカメラを用いてもよい。 The camera 3 functioning as the photographing means in the claims is installed in the rear part of the vehicle and photographs the situation of the rear part of the vehicle. The shooting angle of view of the camera 3 is an angle of view that includes an obstacle detection range of a plurality of obstacle sensors 1 (two obstacle sensors 1 in the case of FIG. 2). That is, the area (camera imaging area) captured by the camera 3 includes an obstacle detection range. The shooting angle of view of the camera 3 may be about 130 degrees, which is the angle of view of a general parking assistance camera, or may be about 180 degrees, for example. As the camera 3, a camera with a built-in processing device such as a DSP (digital signal processor) may be used.

請求項の表示手段として機能するディスプレイ４は、カメラ３で撮影された画像に基づく画像（以下、支援画像と呼ぶ）をドライバーに表示する。なお、ディスプレイ４として、カーナビゲーション装置のディスプレイを利用する構成であってもよい。 The display 4 functioning as the display means of the claims displays an image (hereinafter referred to as a support image) based on the image taken by the camera 3 to the driver. Note that the display 4 may be configured to use a display of a car navigation device.

画像表示制御装置５は、請求項の表示制御手段として機能するものであり、障害物センサ１によって障害物が検出されたか否かの情報と障害物距離の情報とに応じて、ディスプレイ４で表示させる画像を切り替えるものである。詳しくは、いずれの障害物センサ１によっても障害物が検出されていない場合には、カメラ３によって撮影された画像の原画像をディスプレイ４に表示させる（つまり、カメラ３の出力画像を未処理のままディスプレイ４に支援画像として表示させる）一方、障害物センサ１によって障害物が検出された場合には、その障害物の障害物距離に応じて、カメラ３によって撮影された画像の画像処理を行い、原画像からカメラ直下を原点とする鳥瞰座標系の画像（つまり、鳥瞰画像）までを段階的に遷移させながら表示させる遷移表示を行わせる。なお、障害物距離に応じた画像表示制御装置５での処理の詳細については後述する。 The image display control device 5 functions as a display control unit in the claims, and displays on the display 4 according to information on whether or not an obstacle is detected by the obstacle sensor 1 and information on the obstacle distance. The image to be switched is switched. Specifically, if no obstacle is detected by any obstacle sensor 1, the original image of the image taken by the camera 3 is displayed on the display 4 (that is, the output image of the camera 3 is not processed). On the other hand, when an obstacle is detected by the obstacle sensor 1, image processing of the image photographed by the camera 3 is performed according to the obstacle distance of the obstacle. Then, a transition display is performed in which a transition from an original image to an image in a bird's-eye coordinate system whose origin is directly below the camera (that is, a bird's-eye view image) is made to be gradually shifted. Details of processing in the image display control device 5 according to the obstacle distance will be described later.

また、カメラ３がＤＳＰなどの処理装置内蔵のカメラである場合、画像表示制御装置５は以下に述べるような制御を行ってもよい。例えば、障害物センサ１によって障害物が検出されていない場合には、カメラ３内の処理装置に対して、原画像をディスプレイ４に表示させる（つまり、カメラ３で撮影した画像を未処理のままディスプレイ４に表示させる）よう画像表示制御装置５が制御する。一方、障害物センサ１によって障害物が検出された場合には、カメラ３内の処理装置に対して、その障害物の障害物距離に応じて原画像から鳥瞰画像までを段階的に表示させる遷移表示を行わせるよう画像表示制御装置５が制御する。または、鳥瞰画像をディスプレイ４に表示させるよう画像表示制御装置５が制御する。 When the camera 3 is a camera with a built-in processing device such as a DSP, the image display control device 5 may perform control as described below. For example, when no obstacle is detected by the obstacle sensor 1, the processing device in the camera 3 displays the original image on the display 4 (that is, the image taken by the camera 3 remains unprocessed). The image display control device 5 controls to display on the display 4. On the other hand, when an obstacle is detected by the obstacle sensor 1, the processing device in the camera 3 displays a transition from the original image to the bird's-eye view image in stages according to the obstacle distance of the obstacle. The image display control device 5 controls the display. Alternatively, the image display control device 5 controls to display the bird's-eye view image on the display 4.

車両停止判定部６は、車両が停止しているか否かを判定する。具体的には、車両の速度が所定の値以下であるか否かを、例えば車輪速センサ（図示せず）の信号に基づいて行う。本実施形態では、上述の所定の値を５ｋｍ／ｈとした場合を例に挙げて以降の説明を行う。 The vehicle stop determination unit 6 determines whether or not the vehicle is stopped. Specifically, whether or not the vehicle speed is equal to or lower than a predetermined value is determined based on, for example, a signal from a wheel speed sensor (not shown). In the present embodiment, the following description will be given by taking as an example the case where the predetermined value is 5 km / h.

そして、障害物運動判定部７は、車両停止判定部６で車両の速度が所定の値以下であると判定された場合に、障害物センサ１で逐次算出された障害物距離が、所定の時間よりも短い時間の間に増減したか否かを判定する。なお、障害物運動判定部７でのこの判定の処理の詳細については後述する。 When the vehicle stop determination unit 6 determines that the vehicle speed is equal to or less than a predetermined value, the obstacle movement determination unit 7 determines that the obstacle distance sequentially calculated by the obstacle sensor 1 is a predetermined time. It is determined whether it has increased or decreased during a shorter time. The details of the determination process in the obstacle movement determination unit 7 will be described later.

また、本実施形態では、ディスプレイ４に支援画像を表示する場合、画像表示制御装置５は、図３に示すように、車幅の延長の目安を示す２本の車幅延長線１０および障害物と車両との間の距離の目安を示す２目盛りの距離目安スケール１１を支援画像に重畳して表示させるとともに、支援画像中の障害物を強調表示（図３中の楕円形の枠）させる。 Moreover, in this embodiment, when displaying a support image on the display 4, as shown in FIG. 3, the image display control device 5 includes two vehicle width extension lines 10 indicating obstacles of vehicle width extension and obstacles. A two-distance distance guide scale 11 indicating a guide of the distance between the vehicle and the vehicle is displayed superimposed on the support image, and an obstacle in the support image is highlighted (an oval frame in FIG. 3).

なお、図３中では、車幅延長線１０および距離目安スケール１１を実線で示しているが、必ずしもこれに限らず、破線などの他の線種であってもよい。また、距離目安スケール１１の目盛りの数は任意の数としてもよい。さらに、図３中では、支援画像中の障害物を楕円形の枠で囲うことによって強調表示しているが、必ずしもこれに限らず、他の形態の枠で囲う、障害物の色調を変えるなどの方法によって強調表示を行ってもよい。 In FIG. 3, the vehicle width extension line 10 and the distance guide scale 11 are indicated by solid lines. However, the line width extension line 10 and the distance guide scale 11 are not necessarily limited thereto, and may be other line types such as a broken line. The number of scales of the distance guide scale 11 may be an arbitrary number. Further, in FIG. 3, the obstacle in the support image is highlighted by surrounding it with an oval frame. However, the present invention is not limited to this, and it is not necessarily limited to this. The highlighting may be performed by the method.

また、本実施形態では、支援画像に車幅延長線１０および距離目安スケール１１を重畳して表示させる場合に、ステアリング角度の情報をステアリングセンサ（図示せず）から得ることによって、車幅延長線１０および距離目安スケール１１をステアリング角度に応じて変化させて表示させる制御を画像表示制御装置５がさらに行う。 Further, in the present embodiment, when the vehicle width extension line 10 and the distance guide scale 11 are displayed superimposed on the support image, the vehicle width extension line is obtained by obtaining information on the steering angle from a steering sensor (not shown). The image display control device 5 further performs control to display 10 and the distance guide scale 11 by changing them according to the steering angle.

なお、本実施形態では、障害物の強調表示と車幅延長線１０の表示と距離目安スケール１１の表示とをともに行う構成を示したが、必ずしもこれに限らない。例えば、障害物の強調表示と車幅延長線１０の表示と距離目安スケール１１の表示とのうち、障害物の強調表示のみを行う構成であってもよいし、車幅延長線１０の表示のみを行う構成であってもよいし、距離目安スケール１１の表示のみを行う構成であってもよい。また、障害物の強調表示と車幅延長線１０の表示と距離目安スケール１１の表示とのうちの一部の組み合わせの表示を行う構成であってもよい。 In the present embodiment, the configuration in which the obstacle highlighting, the vehicle width extension line 10 display, and the distance guide scale 11 are displayed together is shown, but the present invention is not necessarily limited thereto. For example, it may be configured to perform only the obstacle highlighting among the obstacle highlighting, the vehicle width extension line 10 display, and the distance guide scale 11 display, or only the vehicle width extension line 10 display. The structure which performs only the display of the distance standard scale 11 may be sufficient. Moreover, the structure which performs the display of the one part combination among the emphasis display of an obstacle, the display of the vehicle width extension line 10, and the display of the distance standard scale 11 may be sufficient.

以上のように、障害物を強調表示することによって、検出された障害物が強調表示されるため、車両の周辺に存在する障害物をドライバーがより把握しやすくなる。また、車幅延長線１０を表示したり、距離目安スケール１１を表示したりすることによって、車両と障害物との位置関係をドライバーがより把握しやすくなる。さらに、障害物を強調表示すること、距離目安スケールを表示すること、車幅延長線を表示することを組み合わせることによって、車両と障害物との位置関係をさらに把握しやすくすることができる。また、車幅延長線１０や距離目安スケール１１をステアリング角度に応じて変化させて表示させることによって、車両と障害物との位置関係を常に明確にすることもできる。 As described above, since the detected obstacle is highlighted by highlighting the obstacle, the driver can more easily grasp the obstacle present around the vehicle. Further, displaying the vehicle width extension line 10 or displaying the distance guide scale 11 makes it easier for the driver to grasp the positional relationship between the vehicle and the obstacle. Furthermore, it is possible to make it easier to grasp the positional relationship between the vehicle and the obstacle by combining highlighting the obstacle, displaying the distance guide scale, and displaying the vehicle width extension line. In addition, the positional relationship between the vehicle and the obstacle can be always clarified by displaying the vehicle width extension line 10 and the distance reference scale 11 by changing the display according to the steering angle.

次に、図４および図６を用いて、駐車支援システム１００での動作フローについて説明を行う。 Next, the operation flow in the parking assistance system 100 will be described with reference to FIGS. 4 and 6.

まず、図４のフローチャートを用いて、駐車支援システム１００による駐車支援処理の概略について説明を行う。ステップＳ１では、車両が後退中か否かを判定する。そして、車両が後退中であった場合（ステップＳ１でＹｅｓ）には、ステップＳ２に移る。また、車両が後退中でなかった場合（ステップＳ１でＮｏ）には、ステップＳ１に戻ってフローを繰り返す。なお、車両が後退中か否かの判定は、例えばシフトレバーが後退位置（Ｒ）に入っているか否かに基づいて判定すればよい。 First, the outline of the parking assistance process by the parking assistance system 100 is demonstrated using the flowchart of FIG. In step S1, it is determined whether or not the vehicle is moving backward. If the vehicle is moving backward (Yes in step S1), the process proceeds to step S2. If the vehicle is not moving backward (No in step S1), the process returns to step S1 and the flow is repeated. Note that whether or not the vehicle is moving backward may be determined based on whether or not the shift lever is in the reverse position (R), for example.

ステップＳ２では、車両が低速で移動しているか否かを画像表示制御装置５が判定する。そして、低速移動していると判定した場合（ステップＳ２でＹｅｓ）には、ステップＳ３に移る。また、低速移動していると判定しなかった場合（ステップＳ２でＮｏ）には、ディスプレイ４での支援画像（原画像、鳥瞰画像、および後述する遷移画像）の表示を行わないものとして、フローを終了する。なお、車両が低速で移動しているか否かについては、車両の速度が所定の値（例えば１０ｋｍ／ｈ）未満であるか否かを例えば車輪速センサ（図示せず）によって判定すればよい。 In step S2, the image display control device 5 determines whether or not the vehicle is moving at a low speed. And when it determines with moving at low speed (it is Yes at step S2), it moves to step S3. If it is not determined that the vehicle is moving at a low speed (No in step S2), it is assumed that the support image (original image, bird's-eye view image, and transition image described later) is not displayed on the display 4. Exit. Whether or not the vehicle is moving at a low speed may be determined by, for example, a wheel speed sensor (not shown) whether or not the vehicle speed is less than a predetermined value (for example, 10 km / h).

ステップＳ３では、車両後部に２つ設置された障害物センサ１（図２のＡおよびＢ）が障害物を検出しているか否かを判定する。そして、いずれかの障害物センサ１が障害物を検出している場合（ステップＳ３でＹｅｓ）には、ステップＳ４に移る。また、いずれの障害物センサ１も障害物を検出していない場合（ステップＳ３でＮｏ）には、ステップＳ９に移る。 In step S3, it is determined whether or not two obstacle sensors 1 (A and B in FIG. 2) installed at the rear of the vehicle have detected an obstacle. If any obstacle sensor 1 detects an obstacle (Yes in step S3), the process proceeds to step S4. If none of the obstacle sensors 1 detects an obstacle (No in step S3), the process proceeds to step S9.

ステップＳ４では、障害物距離を障害物センサ１が算出し、障害物距離の値が遷移表示を開始する距離（以下、遷移表示開始閾値と呼ぶ）以下か否かを画像表示制御装置５が判定する。そして、遷移表示開始閾値以下であると判定した場合（ステップＳ４でＹｅｓ）には、ステップＳ５に移る。また、遷移表示開始閾値以下であると判定しなかった場合（ステップＳ４でＮｏ）には、ステップＳ９に移る。なお、遷移表示開始閾値は任意に設定可能であって、予め定められた一定値であってもよいし、車速が大きくなると長くなるといったような、条件に基づいて変動する値であってもよい。本実施形態では、例として遷移表示開始閾値は１．５ｍとする。 In step S4, the obstacle sensor 1 calculates the obstacle distance, and the image display control device 5 determines whether or not the value of the obstacle distance is equal to or less than a distance for starting transition display (hereinafter referred to as a transition display start threshold). To do. And when it determines with it being below a transition display start threshold value (it is Yes at step S4), it moves to step S5. On the other hand, if it is not determined that it is equal to or lower than the transition display start threshold (No in step S4), the process proceeds to step S9. The transition display start threshold value can be arbitrarily set, and may be a predetermined constant value, or may be a value that varies based on conditions such as a longer vehicle speed. . In the present embodiment, as an example, the transition display start threshold is 1.5 m.

ステップＳ５では、障害物距離の値が遷移表示を終了する距離（以下、遷移表示終了閾値と呼ぶ）未満か否かを画像表示制御装置５が判定する。そして、遷移表示終了閾値未満であると判定した場合（ステップＳ５でＹｅｓ）には、ステップＳ８に移る。また、遷移表示終了閾値未満であると判定しなかった場合（ステップＳ５でＮｏ）には、ステップＳ６に移る。なお、遷移表示終了閾値は任意に設定可能であって、予め定められた一定値であってもよいし、車速が大きくなると長くなるといったような、条件に基づいて変動する値であってもよい。本実施形態では、例として遷移表示終了閾値は０．７ｍとする。 In step S5, the image display control device 5 determines whether or not the value of the obstacle distance is less than the distance at which the transition display ends (hereinafter referred to as a transition display end threshold). And when it determines with it being less than a transition display end threshold value (it is Yes at step S5), it moves to step S8. On the other hand, if it is not determined that the transition display end threshold value is not reached (No in step S5), the process proceeds to step S6. Note that the transition display end threshold value can be arbitrarily set, and may be a predetermined constant value, or may be a value that varies based on conditions such as increasing as the vehicle speed increases. . In this embodiment, as an example, the transition display end threshold is 0.7 m.

ステップＳ６では、原画像から鳥瞰画像に段階的に遷移する途中の画像である遷移画像を、画像表示制御装置５が障害物距離の値に応じて作成し、ステップＳ７に移る。例えば、遷移表示開始閾値を１．５ｍ、遷移表示終了閾値を０．７ｍとし、原画像から鳥瞰画像までを８段階で遷移させる場合には、障害物距離の値が１．５ｍ未満から１．４ｍ以上までを第１段階、１．４ｍ未満から１．３ｍ以上までを第２段階、１．３ｍ未満から１．２ｍ以上までを第３段階、１．２ｍ未満から１．１ｍ以上までを第４段階、１．１ｍ未満から１．０ｍ以上までを第５段階、１．０ｍ未満から０．９ｍ以上までを第６段階、０．９ｍ未満から０．８ｍ以上までを第７段階、０．８ｍ未満から０．７ｍ以上までを第８段階として設定する。 In step S6, the image display control device 5 creates a transition image, which is an image in the middle of the transition from the original image to the bird's-eye view image, in accordance with the value of the obstacle distance, and proceeds to step S7. For example, when the transition display start threshold is 1.5 m, the transition display end threshold is 0.7 m, and the transition from the original image to the bird's-eye view image is performed in 8 stages, the obstacle distance value is less than 1.5 m to 1. 4m or more is the first stage, less than 1.4m to 1.3m or more is the second stage, less than 1.3m to 1.2m or more is the third stage, less than 1.2m to 1.1m or more is the first stage 4 stages, 5th stage from less than 1.1 m to 1.0 m or more, 6th stage from less than 1.0 m to 0.9 m or more, 7th stage from less than 0.9 m to 0.8 m or more, 0. The range from less than 8 m to 0.7 m or more is set as the eighth stage.

ここで、以上に示したような段階別の遷移画像を作成する方法について説明を行う。まず、鳥瞰画像を作成する方法としては、公知の鳥瞰変換によるものとし、例えば以下の式１を用いて鳥瞰変換（つまり、地平面座標系（ｘ，ｙ，ｚ）のディスプレイ座標系（Ｘｍ，Ｙｍ）への変換）を行うものとする。なお、図５に示すように、ディスプレイ座標系（Ｘｍ，Ｙｍ）とは、カメラ３からの焦点距離ｆにあるスクリーン平面上の座標系である。また、図５に示すように、カメラ３はｚ軸上に高さＨに取り付けられており、俯角ｔで地平面（ｘｙ座標面）を撮像している。そして、Ｘ_ＭＡＸおよびＹ_ＭＡＸは、それぞれ、ディスプレイの画像サイズであり、Ｘ_ＭＡＸ／２およびＹ_ＭＡＸ／２は、処理の都合上、原点を画面中心に移動させるための移動量である。 Here, a method of creating a transition image for each stage as described above will be described. First, as a method for creating a bird's-eye view image, a known bird's-eye view conversion is used. For example, the bird's-eye view conversion (that is, the display coordinate system (Xm, Ym)). As shown in FIG. 5, the display coordinate system (Xm, Ym) is a coordinate system on the screen plane at the focal length f from the camera 3. As shown in FIG. 5, the camera 3 is mounted at a height H on the z axis, and images the ground plane (xy coordinate plane) at a depression angle t. X _MAX and Y _MAX are display image sizes, respectively, and X _MAX / 2 and Y _MAX / 2 are movement amounts for moving the origin to the center of the screen for convenience of processing.

段階別の遷移画像を作成するためには、この式１のパラメータのうち俯角ｔを段階的に変更した式によって原画像の変換を行えばよい。例えば、上述したような８段階の遷移画像を作成する場合には、俯角ｔを８段階変化させて８種類の遷移画像を作成すればよい。

In order to create a stage-by-stage transition image, the original image may be converted by an expression in which the depression angle t is changed in steps among the parameters of Expression 1. For example, when the above-described eight-stage transition image is created, the transition angle t may be changed in eight stages to create eight types of transition images.

ステップＳ７では、ステップＳ６で作成した遷移画像を画像表示制御装置５がディスプレイ４に表示させ、ステップＳ１０に移る。また、ステップＳ８では、鳥瞰画像を画像表示制御装置５が生成し、ディスプレイ４に表示させる。さらに、ステップＳ９では、原画像を画像表示制御装置５がディスプレイ４に表示させる。 In step S7, the image display control device 5 displays the transition image created in step S6 on the display 4, and the process proceeds to step S10. In step S <b> 8, the bird's-eye view image is generated by the image display control device 5 and displayed on the display 4. Furthermore, in step S9, the image display control device 5 displays the original image on the display 4.

ステップＳ１０では、現在の障害物距離および障害物位置の情報（すなわち、障害物検出情報）を障害物検出情報記憶装置２に保存し、ステップＳ１１に移る。 In step S10, information on the current obstacle distance and obstacle position (that is, obstacle detection information) is stored in the obstacle detection information storage device 2, and the process proceeds to step S11.

ステップＳ１１では、障害物運動判定処理を行って、ステップＳ１２に移る。ここで、図６のフローチャートを用いて、障害物運動判定処理の概略について説明を行う。図６は、障害物運動判定処理のフローを示すフローチャートである。なお、障害物運動判定処理中は、障害物運動判定処理が開始された時点でディスプレイ４に表示されていた遷移画像の表示がディスプレイ４に維持されるものとする。 In step S11, an obstacle movement determination process is performed, and the process proceeds to step S12. Here, an outline of the obstacle movement determination process will be described using the flowchart of FIG. FIG. 6 is a flowchart showing the flow of the obstacle movement determination process. Note that during the obstacle movement determination process, the display of the transition image displayed on the display 4 when the obstacle movement determination process is started is maintained on the display 4.

まず、ステップＳ１１１では、車両の速度が５ｋｍ／ｈ以下であるか否かを車両停止判定部６が判定する。そして、車両の速度が５ｋｍ／ｈ以下であると判定した場合（ステップＳ１１１でＹｅｓ）には、車両が停止中であるものとしてステップＳ１１２に移る。また、車両の速度が５ｋｍ／ｈ以下であると判定しなかった場合には、車両が停止中でないものとしてステップＳ１２に移る。 First, in step S111, the vehicle stop determination unit 6 determines whether or not the vehicle speed is 5 km / h or less. And when it determines with the speed of a vehicle being 5 km / h or less (it is Yes at step S111), it moves to step S112 as what the vehicle has stopped. If it is not determined that the vehicle speed is 5 km / h or less, the process proceeds to step S12 assuming that the vehicle is not stopped.

ステップＳ１１２では、障害物検出情報記憶装置２に前回の障害物距離の値が保存されているか否かを障害物運動判定部７が判定する。前回の障害物検出距離とは、検出した障害物から一定の時間間隔ごとに障害物検出距離を得る場合の、一定の時間前の障害物検出距離を表している。よって、本実施形態では、１００ｍｓｅｃ前の障害物検出距離を意味することになる。そして、障害物検出情報記憶装置２に前回の障害物距離の値が保存されていると判定した場合（ステップＳ１１２でＹｅｓ）には、ステップＳ１１３に移る。また、障害物検出情報記憶装置２に前回の障害物距離の値が保存されていると判定しなかった場合（ステップＳ１１２でＮｏ）には、ステップＳ１２に移る。なお、障害物検出情報記憶装置２に前回の障害物距離の値が保存されていない場合とは、障害物センサ１から得られた現在の障害物距離が、本フローが開始されてから初めて障害物センサ１によって得られた障害物距離である場合である。 In step S112, the obstacle movement determination unit 7 determines whether or not the previous obstacle distance value is stored in the obstacle detection information storage device 2. The previous obstacle detection distance represents an obstacle detection distance a predetermined time before the obstacle detection distance is obtained from the detected obstacle at regular time intervals. Therefore, in this embodiment, the obstacle detection distance before 100 msec is meant. If it is determined that the previous obstacle distance value is stored in the obstacle detection information storage device 2 (Yes in step S112), the process proceeds to step S113. When it is not determined that the previous obstacle distance value is stored in the obstacle detection information storage device 2 (No in step S112), the process proceeds to step S12. Note that the case where the previous obstacle distance value is not stored in the obstacle detection information storage device 2 means that the current obstacle distance obtained from the obstacle sensor 1 is the first obstacle after this flow is started. This is a case of the obstacle distance obtained by the object sensor 1.

ステップＳ１１３では、障害物センサ１から得られた現在の障害物距離の値と障害物検出情報記憶装置２が記憶している前回の障害物距離の値との比較を障害物運動判定部７が行う。そして、現在の障害物距離の値が前回の障害物距離の値以下であった場合（ステップＳ１１３でＹｅｓ）には、ステップＳ１１４に移る。また、現在の障害物距離の値が前回の障害物距離の値よりも大きかった場合（ステップＳ１１３でＮｏ）には、ステップＳ１１５に移る。 In step S113, the obstacle motion determination unit 7 compares the current obstacle distance value obtained from the obstacle sensor 1 with the previous obstacle distance value stored in the obstacle detection information storage device 2. Do. If the current obstacle distance value is less than or equal to the previous obstacle distance value (Yes in step S113), the process proceeds to step S114. If the current obstacle distance value is larger than the previous obstacle distance value (No in step S113), the process proceeds to step S115.

ステップＳ１１４では、障害物センサ１から得られた現在の障害物距離の値と障害物検出情報記憶装置２が記憶している前回の障害物距離の値との比較を１００ｍｓｅｃごとに繰り返し、現在の障害物距離の値が前回の障害物距離の値以下であった場合がステップＳ１１３での判定も含めｍ回（例えばｍを１０回とすると１秒）続くか否かを障害物運動判定部７が判定する。そして、ｍ回続いたと判定した場合（ステップＳ１１４でＹｅｓ）には、障害物が車両に近づき続けていると判定し、ステップＳ１２に移る。また、ｍ回続いたと判定しなかった場合（ステップＳ１１４でＮｏ）には、障害物が頻繁に車両に向かって前後移動を繰り返す運動や障害物が障害物センサ１の検出範囲を通過して行ったり来たりする運動をしていると判定し、ステップＳ１１１に戻ってフローを繰り返す。 In step S114, the comparison between the current obstacle distance value obtained from the obstacle sensor 1 and the previous obstacle distance value stored in the obstacle detection information storage device 2 is repeated every 100 msec. The obstacle motion determination unit 7 determines whether or not the case where the obstacle distance value is equal to or less than the previous obstacle distance value continues m times (for example, 1 second when m is 10 times) including the determination in step S113. Judgment. And when it determines with having continued m times (it is Yes at step S114), it determines with the obstacle continuing approaching a vehicle, and moves to step S12. If it is not determined that the operation has continued m times (No in step S114), the obstacle frequently moves back and forth toward the vehicle and the obstacle passes through the detection range of the obstacle sensor 1. It is determined that a back and forth exercise is being performed, and the flow returns to step S111 to repeat the flow.

また、ステップＳ１１５では、障害物センサ１から得られた現在の障害物距離の値と障害物検出情報記憶装置２が記憶している前回の障害物距離の値との比較を１００ｍｓｅｃごとに繰り返し、現在の障害物距離の値が前回の障害物距離の値よりも大きかった場合がステップＳ１１３での判定も含めｍ回（例えばｍを１０回とすると１秒）続くか否かを障害物運動判定部７が判定する。そして、ｍ回続いたと判定した場合（ステップＳ１１５でＹｅｓ）には、障害物が車両から遠ざかり続けていると判定し、ステップＳ１２に移る。また、ｍ回続いたと判定しなかった場合（ステップＳ１１５でＮｏ）には、障害物が頻繁に車両に向かって前後移動を繰り返す運動や障害物が障害物センサ１の検出範囲を通過して行ったり来たりする運動をしていると判定し、ステップＳ１１１に戻ってフローを繰り返す。 In step S115, the comparison between the current obstacle distance value obtained from the obstacle sensor 1 and the previous obstacle distance value stored in the obstacle detection information storage device 2 is repeated every 100 msec, Whether the current obstacle distance value is larger than the previous obstacle distance value is determined whether or not the obstacle movement continues for m times (for example, 1 second when m is 10 times) including the determination in step S113. Part 7 determines. And when it determines with having continued m times (it is Yes at step S115), it determines with the obstacle continuing moving away from a vehicle, and moves to step S12. If it is not determined that the operation has continued m times (No in step S115), the obstacle frequently moves back and forth toward the vehicle and the obstacle passes through the detection range of the obstacle sensor 1. It is determined that a back and forth exercise is being performed, and the flow returns to step S111 to repeat the flow.

図４に戻って、ステップＳ１２では、再度、車両が後退中か否かを判定する。そして、車両が後退中であった場合（ステップＳ１２でＹｅｓ）には、ステップＳ２に戻ってフローを繰り返す。すなわち、ステップＳ２〜ステップＳ１１までの処理が車両の後退中は繰り返される。また、車両が後退中でなかった場合（ステップＳ１２でＮｏ）には、駐車支援処理を終了する。 Returning to FIG. 4, in step S12, it is determined again whether or not the vehicle is moving backward. If the vehicle is moving backward (Yes in step S12), the process returns to step S2 to repeat the flow. That is, the process from step S2 to step S11 is repeated while the vehicle is moving backward. If the vehicle is not moving backward (No in step S12), the parking support process is terminated.

以上の構成によれば、駐車開始時など、自車両から離れた領域（本実施形態では車両から１．５ｍ以上離れた領域）に障害物が存在している場合は、図７に示すように原画像がディスプレイ４に表示される。なお、図７に示す表示例では、車幅延長線１０および距離目安スケール１１を支援画像に重畳して表示している。一方、駐車完了の寸前など、自車両の近辺（本実施形態では車両から０．７ｍ未満の範囲内）に障害物が存在している場合は、図８に示すように鳥瞰画像がディスプレイ４に表示される。なお、図８に示す表示例でも、車幅延長線１０および距離目安スケール１１を支援画像に重畳して表示している。また、駐車開始後であって障害物に接近してきている場合（本実施形態では１．５ｍ未満から０．７ｍ以上までの範囲内にある場合）に、図９に示すように、原画像から前記鳥瞰画像までを段階的に遷移させるように遷移画像がディスプレイ４に表示される（つまり、ディスプレイ４に遷移表示が行われる）。このように、障害物に車両が近づくにつれてディスプレイ４に表示させる支援画像が原画像から鳥瞰画像に段階的に遷移していくので、車両が障害物に近づいていることをドライバーが直感的に理解することができる。 According to the above configuration, when there is an obstacle in an area away from the host vehicle (in this embodiment, an area away from the vehicle by 1.5 m or more) such as when parking is started, as shown in FIG. The original image is displayed on the display 4. In the display example shown in FIG. 7, the vehicle width extension line 10 and the distance guide scale 11 are displayed superimposed on the support image. On the other hand, when there is an obstacle in the vicinity of the host vehicle (in the present embodiment, within a range of less than 0.7 m from the vehicle) such as just before the parking is completed, a bird's-eye view image is displayed on the display 4 as shown in FIG. Is displayed. In the display example shown in FIG. 8, the vehicle width extension line 10 and the distance guide scale 11 are also displayed superimposed on the support image. In addition, when parking is started and the vehicle is approaching an obstacle (in this embodiment, within a range from less than 1.5 m to 0.7 m or more), as shown in FIG. The transition image is displayed on the display 4 so as to make a transition in stages up to the bird's-eye view image (that is, transition display is performed on the display 4). As described above, the support image displayed on the display 4 gradually changes from the original image to the bird's-eye view image as the vehicle approaches the obstacle, so the driver intuitively understands that the vehicle is approaching the obstacle. can do.

また、以上の構成によれば、障害物センサ１によって障害物が検出された場合であって、障害物距離が遷移表示開始閾値以下となったことに基づいて、遷移表示を開始させるので、障害物センサ１が障害物を検出した場合であっても、遷移表示を開始させる必要がない程度にその障害物が車両から離れているときには原画像を表示させ続け、遷移表示を開始させることが好ましい程度にその障害物が車両に近づいたときに遷移表示を開始させることが可能になる。また、障害物距離に応じて、遷移表示の段階を変化させることができるので、障害物センサ１が障害物を検出した場合に、障害物に車両が近づくにつれて原画像から鳥瞰画像へ段階的に遷移させながらディスプレイ４に表示を行わせることが可能になるとともに、障害物から車両が遠ざかるにつれて鳥瞰画像から原画像へ段階的に遷移させながらディスプレイ４に表示を行わせることも可能になる。よって、ディスプレイ４に表示させる支援画像の変化をより緩やかにすることができ、画像の急激な変化によって生じる可能性のあるドライバーの混乱を抑えることができる。 Further, according to the above configuration, since the obstacle display is started when the obstacle sensor 1 detects an obstacle and the obstacle distance is equal to or less than the transition display start threshold, the obstacle display Even when the obstacle sensor 1 detects an obstacle, it is preferable to continue displaying the original image and start the transition display when the obstacle is away from the vehicle to the extent that it is not necessary to start the transition display. The transition display can be started when the obstacle approaches the vehicle. Further, since the transition display stage can be changed according to the obstacle distance, when the obstacle sensor 1 detects the obstacle, the original image is gradually changed to the bird's-eye view image as the vehicle approaches the obstacle. It is possible to display on the display 4 while making the transition, and it is also possible to cause the display 4 to perform the display while making a transition from the bird's-eye view image to the original image in stages as the vehicle moves away from the obstacle. Therefore, the change of the support image displayed on the display 4 can be made more gradual, and the driver's confusion that can be caused by the sudden change of the image can be suppressed.

さらに、歩行者などのように自由に動く障害物が頻繁に車両に向かって前後移動を繰り返す場合、単に、障害物が車両に近づいてくるときに鳥瞰画像側に表示を遷移させ、車両から遠ざかるときに原画像側に表示を遷移させてしまうと、表示が遷移する方向が頻繁に変化することになり、ドライバーが煩わしい思いをすることになる。また、歩行者などのように自由に動く障害物が障害物センサ１の検出範囲を通過して行ったり来たりする場合についても同様である。しかしながら、以上の構成によれば、車両と障害物との間の距離が頻繁に近づいたり遠ざかったりする場合に、遷移表示における遷移を一旦停止させることが可能になる。よって、停止中の車両の障害物センサ１の検出範囲内で頻繁に車両に向かって前後移動を繰り返す障害物やその検出範囲を通過して行ったり来たりする障害物がある場合に、遷移表示における遷移を一旦停止させることが可能になる。従って、頻繁な表示の切り替えを抑えることができ、頻繁な表示の切り替によって生じるドライバーの煩わしさを低減させることができる。 Furthermore, when an obstacle that moves freely, such as a pedestrian, frequently repeats moving back and forth toward the vehicle, the display is simply shifted to the bird's-eye view image side when the obstacle approaches the vehicle and moves away from the vehicle. If the display is sometimes shifted to the original image side, the direction in which the display is changed frequently changes, which causes trouble for the driver. The same applies to a case where an obstacle that moves freely, such as a pedestrian, passes through the detection range of the obstacle sensor 1. However, according to the above configuration, when the distance between the vehicle and the obstacle frequently approaches or moves away, the transition in the transition display can be temporarily stopped. Therefore, when there is an obstacle that repeatedly moves forward and backward toward the vehicle within the detection range of the obstacle sensor 1 of the stopped vehicle and an obstacle that goes back and forth through the detection range, a transition display It is possible to temporarily stop the transition at. Accordingly, frequent display switching can be suppressed, and the troublesomeness of the driver caused by frequent display switching can be reduced.

なお、上述した障害物運動判定処理は、障害物センサ１として超音波ソナーを設置した場合の例を示したものであるが、障害物センサ１として画像認識技術を用いて障害物を認識する装置を用いる場合には、障害物の動く方向が画像認識によってわかるので、歩行者などのように自由に動く障害物が頻繁に車両に向かって前後移動を繰り返す運動や障害物センサ１の検出範囲を通過して行ったり来たりする運動をさらに容易に判定できる。 The obstacle movement determination process described above is an example in which an ultrasonic sonar is installed as the obstacle sensor 1, but the obstacle recognition apparatus 1 recognizes an obstacle using an image recognition technique. Since the direction in which the obstacle moves can be recognized by image recognition, the movement of the obstacle that moves freely like a pedestrian frequently moves back and forth toward the vehicle, and the detection range of the obstacle sensor 1 is set. The movement going back and forth can be determined more easily.

また、遷移表示中であることをドライバーにわかり易くするために、図１０に示すように、遷移表示中の支援画像（つまり、遷移画像）の外枠を色づけして強調表示する構成であってもよい。遷移表示中の支援画像の協調表示としては他の方法を用いてもよく、例えば支援画像の色調を変えたり、支援画像の輝度を変えたりしてもよい。このようにすれば、遷移表示中であることをドライバーが容易に把握することができるため、画像の変化によるドライバーの混乱をさらに生じにくくすることができる。 Further, in order to make it easy for the driver to understand that the transition display is in progress, as shown in FIG. 10, the outer frame of the support image (that is, the transition image) that is being displayed for transition is colored and highlighted. Good. Other methods may be used for cooperative display of the support image during the transition display. For example, the color of the support image may be changed, or the brightness of the support image may be changed. In this way, since the driver can easily grasp that the transition display is being performed, it is possible to further prevent the driver from being confused due to the image change.

なお、本実施形態では、駐車支援システム１００に障害物センサ１を２つ備える構成を示したが、必ずしもこれに限らない。例えば、障害物センサ１を車両のコーナーにさらに２つ設置し、駐車支援システム１００に障害物センサ１を４つ備える構成であってもよいし、障害物センサ１をそれ以上の数備える構成であってもよい。 In addition, in this embodiment, although the structure provided with the two obstacle sensors 1 in the parking assistance system 100 was shown, it does not necessarily restrict to this. For example, two obstacle sensors 1 may be installed at the corner of the vehicle, and the parking assistance system 100 may be configured to include four obstacle sensors 1 or may be configured to include a greater number of obstacle sensors 1. There may be.

また、本実施形態では、後退中の駐車支援を行う場合の構成について示したが、車両前部にカメラ３と障害物センサ１とを設置することによって、前進中の駐車支援を行う構成であってもよい。また、駐車支援だけに限らず、低速前進または低速後退中の支援に用いる構成であってもよい。 Further, in the present embodiment, the configuration in the case of performing the parking assistance during the backward movement has been described, but the configuration in which the camera 3 and the obstacle sensor 1 are installed in the front portion of the vehicle to perform the parking assistance during the forward traveling. May be. Moreover, the structure used not only for parking assistance but for assistance during low-speed forward movement or low-speed backward movement may be used.

なお、本実施形態では、障害物運動判定処理を行う構成を示したが、必ずしもこれに限らない。例えば、駐車支援システム１００が障害物検出情報記憶装置２、車両停止判定部６、および障害物運動判定部７を備えず、障害物運動判定処理を行わない構成であってもよい。 In addition, in this embodiment, although the structure which performs an obstacle exercise | movement determination process was shown, it does not necessarily restrict to this. For example, the parking assistance system 100 may not include the obstacle detection information storage device 2, the vehicle stop determination unit 6, and the obstacle movement determination unit 7, and may not perform the obstacle movement determination process.

また、本実施形態では、遷移画像を８段階作成する構成を示したが、必ずしもこれに限らない。例えば、８段階よりも少ない構成であってもよいし、８段階よりも多い構成であってもよい。なお、他段階の遷移画像を作成すればするほど、より滑らかな遷移表示を行うことが可能となる。 Further, in the present embodiment, a configuration in which eight stages of transition images are created is shown, but the present invention is not necessarily limited to this. For example, the configuration may be less than 8 steps, or the configuration may be more than 8 steps. Note that the smoother the transition display is, the more transition images at other stages are created.

なお、本実施形態では、障害物センサ１が障害物位置および障害物距離の算出を行う構成を示したが、必ずしもこれに限らない。例えば、障害物センサ１が障害物位置および障害物距離のうちの障害物距離の算出のみ行う構成であってもよい。この場合、障害物検出情報には障害物位置の情報および障害物距離の情報のうちの障害物距離の情報のみを含むことになる。 In the present embodiment, the configuration in which the obstacle sensor 1 calculates the obstacle position and the obstacle distance is shown, but the present invention is not necessarily limited thereto. For example, the obstacle sensor 1 may be configured to only calculate the obstacle distance of the obstacle position and the obstacle distance. In this case, the obstacle detection information includes only the obstacle distance information of the obstacle position information and the obstacle distance information.

また、本実施形態では、障害物センサ１で障害物を検出した場合であって、障害物距離が遷移表示開始閾値以下となった場合に、画像表示制御装置５が遷移表示を開始させる構成を示したが、必ずしもこれに限らない。例えば、障害物センサ１で障害物を検出した場合に、画像表示制御装置５が遷移表示を開始させる構成であってもよい。 In the present embodiment, when the obstacle sensor 1 detects an obstacle and the obstacle distance is equal to or less than the transition display start threshold, the image display control device 5 starts the transition display. Although shown, it is not necessarily limited to this. For example, when the obstacle sensor 1 detects an obstacle, the image display control device 5 may start the transition display.

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the technical means disclosed in different embodiments can be appropriately combined. Such embodiments are also included in the technical scope of the present invention.

駐車支援システム１００の概略的な構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a parking assistance system 100. FIG. 障害物センサ１およびカメラ３のカメラ撮影領域の一例を示す図である。It is a figure which shows an example of the camera imaging region of the obstacle sensor 1 and the camera 3. 車幅延長線１０、距離目安スケール１１、および障害物の強調表示の一例を示す図である。It is a figure which shows an example of the vehicle width extension line 10, the distance standard scale 11, and the emphasis display of an obstruction. 駐車支援処理の一例について示すフローチャートである。It is a flowchart shown about an example of a parking assistance process. 鳥瞰変換の原理を説明する図である。It is a figure explaining the principle of bird's-eye view conversion. 障害物運動判定処理の一例について示すフローチャートである。It is a flowchart shown about an example of an obstacle exercise | movement determination process. 原画像の表示例を示す図である。It is a figure which shows the example of a display of an original image. 鳥瞰画像の表示例を示す図である。It is a figure which shows the example of a display of a bird's-eye view image. 原画像から鳥瞰画像への遷移表示の一例を示す図である。It is a figure which shows an example of the transition display from an original image to a bird's-eye view image. 遷移表示中の支援画像の強調表示の一例を示す図である。It is a figure which shows an example of the highlight display of the assistance image in transition display.

Explanation of symbols

１障害物センサ（障害物検出手段、距離算出手段）、２障害物検出情報記憶装置、３カメラ（撮影手段）、４ディスプレイ（表示手段）、５画像表示制御装置（表示制御手段）、６車両停止判定部（車両停止判定手段）、７障害物運動判定部（障害物運動判定手段）、１０車幅延長線、１１距離目安スケール（スケール）、１００駐車支援システム（駐車支援装置） DESCRIPTION OF SYMBOLS 1 Obstacle sensor (obstacle detection means, distance calculation means), 2 Obstacle detection information storage device, 3 Camera (photographing means), 4 Display (display means), 5 Image display control apparatus (display control means), 6 Vehicle Stop determination unit (vehicle stop determination means), 7 Obstacle motion determination unit (obstacle motion determination means), 10 vehicle width extension line, 11 distance guide scale (scale), 100 parking support system (parking support device)

Claims

Photographing means for photographing an image around the vehicle;
A bird's-eye view image creating means for creating a bird's-eye view image based on the image photographed by the photographing means;
Display means capable of displaying both the original image of the image photographed by the photographing means and the bird's-eye image created by the bird's-eye image creation means;
An obstacle detection means having an obstacle detection range around the vehicle, and a parking assistance device comprising:
Distance calculating means for sequentially calculating the distance from the obstacle detected by the obstacle detecting means to the vehicle based on a signal from the obstacle detecting means;
When no obstacle is detected by the obstacle detection means, the original image is displayed on the display means. On the other hand, when an obstacle is detected by the obstacle detection means, the original image is displayed. Display control means for causing the display means to perform a transition display in which the bird's-eye view image is displayed while being gradually shifted,
Vehicle stop determination means for determining whether the vehicle is stopped;
When the vehicle stop determination means determines that the vehicle is stopped, the distance from the obstacle to the vehicle sequentially calculated by the distance calculation means is shorter than a predetermined time. An obstacle movement judging means for judging whether the number has increased or decreased ,
The display control means includes
When the obstacle detecting means detects an obstacle, based on the fact that the distance calculated by the distance calculating means is equal to or less than a predetermined distance, the display means starts the transition display,
After the transition display is started by the display means, when the obstacle motion determination means determines that the distance has increased or decreased during a time shorter than the predetermined time, the transition in the transition display is temporarily changed. parking assist device according to claim Rukoto to stop.

Photographing means for photographing an image around the vehicle;
A bird's-eye view image creating means for creating a bird's-eye view image based on the image photographed by the photographing means;
Display means capable of displaying both the original image of the image photographed by the photographing means and the bird's-eye image created by the bird's-eye image creation means;
An obstacle detection means having an obstacle detection range around the vehicle, and a parking assistance device comprising:
Distance calculating means for sequentially calculating the distance from the obstacle detected by the obstacle detecting means to the vehicle based on a signal from the obstacle detecting means;
When no obstacle is detected by the obstacle detection means, the original image is displayed on the display means. On the other hand, when an obstacle is detected by the obstacle detection means, the original image is displayed. Display control means for causing the display means to perform a transition display in which the bird's-eye view image is displayed while being gradually shifted,
Vehicle stop determination means for determining whether the vehicle is stopped;
When the vehicle stop determination means determines that the vehicle is stopped, the distance from the obstacle to the vehicle sequentially calculated by the distance calculation means is shorter than a predetermined time. An obstacle movement judging means for judging whether the number has increased or decreased ,
The display control means includes
When the obstacle detecting means detects an obstacle, the stage of the transition display is further changed according to the distance calculated by the distance calculating means,
After the transition display is started by the display means, when the obstacle motion determination means determines that the distance has increased or decreased during a time shorter than the predetermined time, the transition in the transition display is temporarily changed. parking assist device according to claim Rukoto to stop.

The display control means, when the obstacle detection means detects an obstacle, further changes the stage of the transition display according to the distance calculated by the distance calculation means. the parking assist device according to 1.

Wherein the display control unit, when displaying an image containing the obstacle detected by the obstacle detecting unit on the display unit, according to claim 1 to 3, characterized in that to highlight the obstacle in the image The parking assistance device according to any one of the above.

The display control means, when displaying an image including an obstacle detected by the obstacle detection means on the display means, displays a vehicle width extension line superimposed on the image. The parking assistance device according to any one of claims 1 to 4 .

When the display control unit displays an image including an obstacle detected by the obstacle detection unit on the display unit, the display control unit superimposes the image on the image to indicate a distance between the obstacle and the vehicle. The parking assist device according to any one of claims 1 to 5 , wherein a scale is displayed.

The said display control means highlights the image during performing the said transition display, when making the said display means perform the said transition display, The display of any one of Claims 1-6 characterized by the above-mentioned. Parking assistance device.