JP5958366B2

JP5958366B2 - In-vehicle image processing device

Info

Publication number: JP5958366B2
Application number: JP2013014527A
Authority: JP
Inventors: 下村　修; 修下村; 直輝川嵜; 充保松浦; 啓子秋山; 田中　秀典; 秀典田中
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2013-01-29
Filing date: 2013-01-29
Publication date: 2016-07-27
Anticipated expiration: 2033-01-29
Also published as: JP2014146182A

Description

本発明は、車載画像処理装置に関するものである。 The present invention relates to an in-vehicle image processing apparatus.

従来、駐車支援装置において、右側方カメラ、左側方カメラ、前方カメラ、および後方カメラによって目標駐車場を含む車両の周囲を撮像するとともに、この撮影した車両の周囲を鳥瞰変換して鳥瞰画像を表示するものがある（特許文献１参照）。 Conventionally, in a parking assistance device, a right side camera, a left side camera, a front camera, and a rear camera capture an image of the surroundings of the vehicle including the target parking lot, and display the bird's-eye view image by converting the captured vehicle's surroundings into a bird's-eye view. (See Patent Document 1).

このものにおいては、カメラの死角による映像欠落部分の少ない車両周囲の映像を表示することにより、駐車範囲を区分する駐車枠の白線などが明確に映し出すことができる。 In this case, by displaying an image of the surroundings of the vehicle with few image missing portions due to the blind spot of the camera, the white line of the parking frame that divides the parking range can be clearly projected.

特開２０１２−１１８６５６号公報JP 2012-118656 A

本発明者等は、上述の鳥瞰変換した画像内の駐車枠によって駐車目標位置を決定することを検討したところ、次のような問題点が生じることが分かった。 The inventors of the present invention have studied to determine the parking target position based on the parking frame in the above-described bird's-eye-view converted image, and found that the following problems occur.

すなわち、駐車場において駐車枠を形成する路面が傾斜している場合には、鳥瞰画像では、平行な２本の白線５２ａ、５２ｂから構成される駐車枠５２として、ハの字状に配置される白線５２ａ、５２ｂが表示される（図１３（ａ）参照）。 That is, when the road surface forming the parking frame is inclined in the parking lot, the bird's-eye view image is arranged in a C shape as the parking frame 52 composed of two parallel white lines 52a and 52b. White lines 52a and 52b are displayed (see FIG. 13A).

また、駐車場の路面に段差が形成されて路面上の駐車枠が段差を跨いでいる場合には、鳥瞰画像では、２本の白線５２ａ、５２ｂがずれて表示される（図１３（ｂ）参照）。 In addition, when a step is formed on the road surface of the parking lot and the parking frame on the road surface straddles the step, the two white lines 52a and 52b are displayed in a shifted manner in the bird's-eye view image (FIG. 13B). reference).

このように駐車場の路面が傾斜していたり、或いは駐車枠が段差を跨いでいる場合には、鳥瞰変換の変換誤差が起因して、鳥瞰画像では駐車枠が正確に表示されない。このため、鳥瞰画像内の駐車枠を用いて駐車目標位置を決定すると、駐車目標位置の位置誤差が大きくなる。 As described above, when the road surface of the parking lot is inclined or the parking frame straddles a step, the parking frame is not accurately displayed in the bird's-eye view image due to the conversion error of the bird's-eye conversion. For this reason, if a parking target position is determined using the parking frame in a bird's-eye view image, the position error of a parking target position will become large.

本発明は上記点に鑑みて、高い精度の駐車目標位置を取得することができる車載画像処理装置を提供することを目的とする。 In view of the above points, an object of the present invention is to provide an in-vehicle image processing apparatus capable of acquiring a highly accurate parking target position.

上記目的を達成するため、請求項１に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に鳥瞰変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを判定する駐車枠判定手段（Ｓ１８０）と、
前記駐車枠を形成する駐車路面が傾斜しているか否かを判定する傾斜判定手段（Ｓ２０１）と、
前記駐車枠を形成する駐車路面が傾斜していると前記傾斜判定手段が判定した場合に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線に基づいて、前記駐車路面の傾斜情報を求める傾斜情報算出手段（Ｓ２０３）と、
前記傾斜情報算出手段によって求められる駐車路面の傾斜情報に基づいて、前記駐車路面の傾斜に起因する前記鳥瞰変換の変換誤差を無くした前記鳥瞰座標上の各エッジ点の座標を再計算する再計算手段（Ｓ２０４）と、
前記再計算手段によって再計算される前記鳥瞰座標上の各エッジ点をハフ空間に投票して、この投票した結果から前記駐車枠を構成する直線を抽出する直線抽出手段（Ｓ２０５）と、
前記直線抽出手段によって抽出される前記駐車枠を構成する直線と前記再計算される前記鳥瞰座標上の各エッジ点の座標とに基づいて前記自車の駐車目標位置を決める決定手段（Ｓ２１０）と、を備えることを特徴とする。 In order to achieve the above object, according to the first aspect of the present invention, when the vehicle travels in the vicinity of the parking frame on the road surface, the camera (10) for repeatedly capturing the scenery on the parking frame side captures the image. Acquisition means (S110) for acquiring the position information of the vehicle every time;
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into a bird's eye view for each photographing to the edge point on the common bird's eye coordinates viewed from the upper side of the own vehicle. Voting means (S160) for voting edge points on the common bird's-eye coordinates to the Hough space for each photographing,
Parking frame determination means (S180) for determining whether or not a straight line constituting the parking frame exists in the voting history voted for the Hough space;
Inclination determining means (S201) for determining whether or not the parking road surface forming the parking frame is inclined;
When the inclination determination means determines that the parking road surface forming the parking frame is inclined, based on a straight line constituting the parking frame determined by the parking frame determination means as being present in the voting history, Inclination information calculating means for obtaining inclination information of the parking road surface (S203);
Recalculation that recalculates the coordinates of each edge point on the bird's-eye coordinates without the conversion error of the bird's-eye view conversion caused by the inclination of the parking road surface, based on the inclination information of the parking road surface obtained by the inclination information calculating means Means (S204);
Voting each edge point on the bird's eye coordinate recalculated by the recalculating means to a Hough space, and a straight line extracting means (S205) for extracting a straight line constituting the parking frame from the voted result;
Determining means (S210) for determining a parking target position of the own vehicle based on a straight line constituting the parking frame extracted by the straight line extracting means and coordinates of each edge point on the bird's eye coordinates recalculated; It is characterized by providing.

請求項１に記載の発明によれば、駐車路面の傾斜情報に基づいて再計算される各エッジ点の座標をハフ空間に投票して、この投票した結果から駐車枠を構成する直線を抽出する。このため、駐車枠を構成する直線を精度良く求めることができる。これに加えて、このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。 According to the first aspect of the present invention, the coordinates of each edge point recalculated based on the inclination information of the parking road surface are voted on the Hough space, and a straight line constituting the parking frame is extracted from the voted result. . For this reason, the straight line which comprises a parking frame can be calculated | required accurately. In addition to this, since the parking target position is determined based on the straight line constituting the parking frame thus obtained and the coordinates of each edge point on the bird's eye coordinates recalculated, the parking target position with high position accuracy is obtained. can do.

また、請求項３に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを前記撮影毎に判定する駐車枠判定手段（Ｓ１８０）と、
前記投票履歴に前記駐車枠を構成する直線が存在すると前記駐車枠判定手段が判定する毎に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線と、前記共通の鳥瞰座標上のエッジ点とに基づいて前記自車の駐車目標位置の瞬時値を算出する算出手段（Ｓ２５０）と、
前記算出手段によって前記駐車目標位置の瞬時値を算出する毎に、前記算出手段によって今回算出された前記瞬時値に第１の重みに掛けた値と、前記算出手段によって前回算出された前記瞬時値に第２の重みに掛けた値とを加算した加算値を前記駐車目標位置として求める加重平均手段（Ｓ２８０）と、
前記駐車枠を形成する路面の段差を前記駐車枠が跨いでいるか否かを段差判定手段（Ｓ２２０）と、を備え、
前記段差を前記駐車枠が跨いでいると前記段差判定手段が判定した場合には、前記段差を前記駐車枠が跨いでいないと前記段差判定手段が判定した場合に比べて、前記第１の重みが大きく、かつ前記第２の重みが小さくなっていることを特徴とする。 Further, in the invention described in claim 3, each time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface, the own vehicle is captured. Acquisition means (S110) for acquiring the position information of
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into the edge point on the common bird's-eye coordinates viewed from the upper side of the own vehicle for each photographing, and this conversion is performed. Voting means (S160) for voting edge points on common bird's-eye coordinates to the Hough space for each shooting;
Parking frame determination means (S180) for determining whether or not there is a straight line constituting the parking frame in the voting history voted in the Hough space for each shooting.
Each time the parking frame determining means determines that a straight line constituting the parking frame exists in the voting history, a straight line constituting the parking frame determined by the parking frame determining means as existing in the voting history; and Calculating means (S250) for calculating an instantaneous value of the parking target position of the own vehicle based on the edge point on the common bird's eye coordinate;
Every time the instantaneous value of the parking target position is calculated by the calculating means, a value obtained by multiplying the instantaneous value calculated this time by the calculating means by a first weight and the instantaneous value previously calculated by the calculating means. Weighted average means (S280) for obtaining an added value obtained by adding the value multiplied by the second weight to the parking target position;
Step determining means (S220), whether or not the parking frame straddles the step of the road surface forming the parking frame,
When the step determining means determines that the parking frame is straddling the step, the first weight is greater than when the step determining means determines that the parking frame is not straddling the step. Is large and the second weight is small.

請求項３に記載の発明によれば、加算値を駐車目標位置として求める際に、駐車枠が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠が段差を跨いでいる判定する後に算出される瞬時駐車目標位置に比べて小さくすることができる。このため、加算値を駐車目標位置として求める際に、変換誤差を含む駐車目標位置の使用を少なくすることができる。したがって、加算値としての駐車目標位置を精度良く求めることができる。 According to the third aspect of the present invention, when the addition value is determined as the parking target position, the parking frame indicates the use ratio of the instantaneous parking target position calculated before determining that the parking frame straddles the step. It can be made smaller than the instantaneous parking target position calculated after the determination of straddling the step. For this reason, when calculating | requiring an addition value as a parking target position, use of the parking target position containing a conversion error can be decreased. Therefore, the parking target position as the added value can be obtained with high accuracy.

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis of each means described in this column and the claim shows the correspondence with the specific means as described in embodiment mentioned later.

本発明の第１実施形態における駐車支援装置の構成を示す図である。It is a figure which shows the structure of the parking assistance apparatus in 1st Embodiment of this invention. 図１の駐車支援装置の作動を説明するための図である。It is a figure for demonstrating the action | operation of the parking assistance apparatus of FIG. 駐車場の路面の傾斜を示す図である。It is a figure which shows the inclination of the road surface of a parking lot. 図１のマイクロコンピュータが実行する駐車目標位置決定処理を示すフローチャートである。It is a flowchart which shows the parking target position determination process which the microcomputer of FIG. 1 performs. 図１のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。It is a flowchart which shows the one part detail of the parking target position determination process which the microcomputer of FIG. 1 performs. 図１のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。It is a flowchart which shows the one part detail of the parking target position determination process which the microcomputer of FIG. 1 performs. 駐車枠を示す４本の直線を示す図である。It is a figure which shows four straight lines which show a parking frame. 駐車枠を示す４本の直線を示す図である。It is a figure which shows four straight lines which show a parking frame. 上記駐車目標位置決定処理を説明するための図である。It is a figure for demonstrating the said parking target position determination process. 図９中Ｘ−Ｘ断面図であるIt is XX sectional drawing in FIG. 本発明の第２実施形態における駐車目標位置決定処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking target position determination process in 2nd Embodiment of this invention. 第２実施形態における駐車目標位置決定処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking target position determination process in 2nd Embodiment. 鳥瞰変換による白線の変換誤差を示す図である。It is a figure which shows the conversion error of the white line by bird's-eye view conversion.

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, parts that are the same or equivalent to each other are given the same reference numerals in the drawings in order to simplify the description.

（第１実施形態）
図１に本発明の車載画像処理装置が適用される駐車支援装置１の概略構成を示す。 (First embodiment)
FIG. 1 shows a schematic configuration of a parking assistance apparatus 1 to which the in-vehicle image processing apparatus of the present invention is applied.

駐車支援装置１は、図１に示すように、ＣＣＤカメラ１０、メモリ２０、およびマイクロコンピュータ３０から構成されている。 As shown in FIG. 1, the parking assist device 1 includes a CCD camera 10, a memory 20, and a microcomputer 30.

ＣＣＤカメラ１０は、自車の後方に配置されて、自車の後方の景色を撮影するリアカメラである。自車とは、駐車支援装置１が搭載されている自動車のことである。メモリ２０は、マイクロコンピュータ３０のコンピュータプログラムを記憶するとともに、マイクロコンピュータ３０がコンピュータプログラムを実行する際に生じるデータを保存するバッファとして機能する。 The CCD camera 10 is a rear camera that is arranged behind the host vehicle and captures the scenery behind the host vehicle. The own vehicle is a vehicle on which the parking assistance device 1 is mounted. The memory 20 stores a computer program of the microcomputer 30 and functions as a buffer for storing data generated when the microcomputer 30 executes the computer program.

マイクロコンピュータ３０は、操舵角センサ４０、車速センサ４１、および駐車開始スイッチ４２のそれぞれの出力信号を用いて、ＣＣＤカメラ１０の撮影画像からハフ変換を用いて駐車枠を示す４本の直線を抽出するとともに、この抽出される４本の直線に基づいて自車の駐車目標位置を決定する駐車目標位置決定処理を実行する。 The microcomputer 30 uses the output signals of the steering angle sensor 40, the vehicle speed sensor 41, and the parking start switch 42 to extract four straight lines indicating the parking frame from the captured image of the CCD camera 10 using the Hough transform. At the same time, a parking target position determining process for determining the parking target position of the own vehicle based on the four extracted straight lines is executed.

操舵角センサ４０は、自車の前輪の操舵角を検出するセンサである。車速センサ４１は、自車の速度を検出するセンサである。駐車開始スイッチ４２は、駐車目標位置決定処理の実行開始を指示する際に乗員によって操作されるスイッチである。Ｇセンサ４３は、天地方向（すなわち、重力方向）の加速度を検出する。 The steering angle sensor 40 is a sensor that detects the steering angle of the front wheel of the host vehicle. The vehicle speed sensor 41 is a sensor that detects the speed of the host vehicle. The parking start switch 42 is a switch operated by the occupant when instructing the start of execution of the parking target position determination process. The G sensor 43 detects acceleration in the top-and-bottom direction (that is, the gravity direction).

次に、本実施形態の作動の具体例として、図２において自車５０が駐車場６０の路面６１上の駐車枠５２の付近をＦ１点→Ｆ２点→Ｆ３→Ｆ４点の順で走行する際にＣＣＤカメラ１０の撮影画像内の駐車枠５２を用いて駐車枠５２内の駐車目標位置を決める例について説明する。 Next, as a specific example of the operation of the present embodiment, when the own vehicle 50 travels in the order of F1 point → F2 point → F3 → F4 point in the vicinity of the parking frame 52 on the road surface 61 of the parking lot 60 in FIG. Next, an example of determining the parking target position in the parking frame 52 using the parking frame 52 in the captured image of the CCD camera 10 will be described.

本実施形態の駐車場６０の路面６１は、自車５０側の部位Ｇから駐車枠５２の奥側に向けて徐々に高くなる傾斜が形成されている駐車路面である。駐車枠５２の奥側とは、駐車枠５２に対して自車５０の反対側のことである。本実施形態では、路面６１と水平方向との成す角度は、角度φ（図３参照）に設定されている。角度φは、路面６１の傾斜角度を表すものである。駐車枠５２は、路面６１上において平行に配置される２本の白線５２ａ、５２ｂからなるものであって、車両の駐車領域を示すものである。駐車枠５２は、駐車場６０内の駐車車両５３、５４の間に位置する。 The road surface 61 of the parking lot 60 of the present embodiment is a parking road surface on which a slope that gradually increases from the portion G on the own vehicle 50 side toward the back side of the parking frame 52 is formed. The back side of the parking frame 52 is the opposite side of the vehicle 50 with respect to the parking frame 52. In the present embodiment, the angle between the road surface 61 and the horizontal direction is set to an angle φ (see FIG. 3). The angle φ represents the inclination angle of the road surface 61. The parking frame 52 is composed of two white lines 52a and 52b arranged in parallel on the road surface 61, and indicates a parking area of the vehicle. The parking frame 52 is located between the parked vehicles 53 and 54 in the parking lot 60.

まず、本実施形態の駐車目標位置決定処理の詳細の説明に先立って、本実施形態の駐車目標位置決定処理で用いるハフ空間について説明する。 First, prior to the detailed description of the parking target position determination process of the present embodiment, the Hough space used in the parking target position determination process of the present embodiment will be described.

まず、ハフ空間とは、直線を表すための３次元座標のことである。具体的には、Ｘ軸をρとし、Ｙ軸をθとし、Ｚ軸をエッジ点の投票数とする空間である。 First, the Hough space is a three-dimensional coordinate for representing a straight line. Specifically, it is a space where the X axis is ρ, the Y axis is θ, and the Z axis is the number of votes of edge points.

ここで、エッジ点とは、ＣＣＤカメラ１０の撮影画像から抽出されるエッジ点のことである。ρおよびθは、二次元のＸＹ座標上の点（ｘｉ、ｙｉ）を通る直線Ｆ１を極座標表現にてρ＝ｘｉ・ｃｏｓθ＋ｙｉ・ｓｉｎθと表すために用いられるパラメータである。 Here, the edge point is an edge point extracted from a captured image of the CCD camera 10. ρ and θ are parameters used to express the straight line F1 passing through the point (xi, yi) on the two-dimensional XY coordinates as ρ = xi · cos θ + yi · sin θ in the polar coordinate representation.

ρは、直線Ｆ１へ原点から下ろした垂線の長さを示す第１パラメータである。θは、Ｘ軸と垂線とがなす角度を示す第２パラメータである。本実施形態のハフ空間は、駐車枠５２を含む撮影領域が対象となっている。撮影領域とはＣＣＤカメラ１０によって撮影される領域のことである。 ρ is a first parameter indicating the length of a perpendicular line drawn from the origin to the straight line F1. θ is a second parameter indicating the angle formed by the X axis and the perpendicular. The Hough space of the present embodiment is a shooting area including the parking frame 52. The shooting area is an area shot by the CCD camera 10.

次に、本実施形態の駐車目標位置決定処理の詳細について説明する。 Next, the detail of the parking target position determination process of this embodiment is demonstrated.

マイクロコンピュータ３０は、図４、図５、図６のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ４２をオンしたときに開始される。図５は、図４中のステップＳ２００の詳細を示すフローチャートであり、図６は図４中のステップＳ２１０の詳細を示すフローチャートである。 The microcomputer 30 executes the parking target position determination process according to the flowcharts of FIGS. 4, 5, and 6. The execution of the parking target position determination process is started when the parking start switch 42 is turned on. FIG. 5 is a flowchart showing details of step S200 in FIG. 4, and FIG. 6 is a flowchart showing details of step S210 in FIG.

まず、図４のステップＳ１００において、ＣＣＤカメラ１０を制御して後方の景色を撮影させる。このとき、ＣＣＤカメラ１０が、自車５０の真後ろの景色、右後方の景色、および左後方の景色を含む後方画像を撮影することになる。 First, in step S100 in FIG. 4, the CCD camera 10 is controlled to photograph a rear scene. At this time, the CCD camera 10 captures a rear image including the scenery directly behind the host vehicle 50, the right rear scenery, and the left rear scenery.

次に、ステップＳ１１０において、操舵角センサ４０の出力信号および車速センサ４１の出力信号に基づいて、自車５０の位置情報（すなわち、ＣＣＤカメラ１０の撮影位置）を算出する。 Next, in step S110, based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41, the position information of the own vehicle 50 (that is, the shooting position of the CCD camera 10) is calculated.

次に、ステップＳ１２０において、ＣＣＤカメラ１０の撮影画像からエッジ点を抽出する。本実施形態のエッジ点とは、ＣＣＤカメラ１０の撮影画像のうち輝度の変化を示す点である。このように撮影画像から抽出された複数のエッジ点に対してトップビュー変換を施す（ステップＳ１３０）。つまり、複数のエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換する。すなわち、撮影画像毎に複数のエッジ点を鳥瞰座標上の複数のエッジ点に座標変換することになる。 Next, in step S120, edge points are extracted from the captured image of the CCD camera 10. The edge point in the present embodiment is a point indicating a change in luminance in the captured image of the CCD camera 10. Thus, top view conversion is performed on the plurality of edge points extracted from the photographed image (step S130). That is, coordinate conversion is performed on the plurality of edge points to the plurality of edge points on the bird's-eye view coordinates viewed from the upper side of the host vehicle 50. That is, coordinate conversion of a plurality of edge points into a plurality of edge points on the bird's eye coordinate for each captured image is performed.

ここで、後述するように、駐車枠５２の検出には複数の撮影画像が用いられる。複数の撮影画像は、撮影画像毎にその撮影位置が異なる。これに加えて、撮影毎の鳥瞰座標はそれぞれ独立して設定されている。このため、撮影画像毎の鳥瞰座標の位置関係が定まっていない。 Here, as will be described later, a plurality of captured images are used to detect the parking frame 52. The shooting positions of the plurality of shot images are different for each shot image. In addition to this, the bird's-eye coordinates for each photographing are set independently. For this reason, the positional relationship of bird's-eye coordinates for each captured image is not fixed.

そこで、次のステップＳ１４０において、自車５１の位置情報を用いて上記鳥瞰座標をＣＣＤカメラ１０の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換する。つまり、上記鳥瞰座標上の複数のエッジ点を撮影画像毎に共通の鳥瞰座標上に写像することになる。このことにより、撮影画像毎の鳥瞰座標の位置関係を撮影画像毎の位置情報を用いて設定することができる。 Therefore, in the next step S140, the bird's-eye coordinates are coordinate-converted for each photographing so that the bird's-eye coordinates are associated with the photographing position of the CCD camera 10 using the position information of the own vehicle 51. That is, the plurality of edge points on the bird's-eye coordinates are mapped onto the common bird's-eye coordinates for each captured image. Thereby, the positional relationship of the bird's-eye coordinates for each captured image can be set using the positional information for each captured image.

次に、このようにステップＳ１４０において座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ２０に保存する（ステップＳ１５０）。 Next, the coordinates of the plurality of edge points on the bird's-eye coordinates that have been coordinate-converted in step S140 are stored in the memory 20 (step S150).

次に、ステップＳ１６０において、上記ステップＳ１４０で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に写像することになる。つまり、上記ステップＳ１４０で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に投票する。つまり、このように共通のハフ空間に投票された投票履歴をメモリ２０に記憶させる。 Next, in step S160, the plurality of edge points on the bird's eye coordinate coordinate-converted in step S140 are mapped to a common Hough space. That is, a plurality of edge points on the bird's-eye coordinate coordinate-transformed in step S140 are voted for a common Hough space. That is, the voting history voted for the common Hough space in this way is stored in the memory 20.

その後、ステップＳ１７０〜ステップＳ１９０において、上記共通のハフ空間に写像された投票履歴（以下、単に、共通ハフ空間の投票履歴という）から駐車枠の直線を抽出する直線抽出処理を実行する。 Thereafter, in steps S170 to S190, a straight line extraction process for extracting a straight line of the parking frame from the voting history mapped to the common hough space (hereinafter, simply referred to as the voting history of the common hough space) is executed.

具体的には、ステップＳ１７０において、共通ハフ空間の投票履歴から複数の直線を抽出する。なお、共通ハフ空間の投票履歴から直線を抽出する処理は周知であるため、その説明を省略する。 Specifically, in step S170, a plurality of straight lines are extracted from the voting history of the common Hough space. In addition, since the process which extracts a straight line from the voting history of a common Hough space is known, the description is abbreviate | omitted.

ここで、駐車枠５２は、駐車場の路上に平行に配置されている２本の白線５２ａ、５２ｂ（図２参照）から構成されている。白線５２ａ、５２ｂ間の間隔Ｗ１は、Ｆ１寸法からＦ２寸法までの所定寸法範囲内に入るように設定されている。そして、白線５２ａ（或いは、５２ｂ）のうち幅方向（すなわち、白線が延びる方向に対する直交する方向）の寸法Ｗ２は、Ｃ寸法からＤ寸法までの所定寸法範囲内に入るように設定されている。以下、本実施形態では、便宜上、白線５２ａ、５２ｂ間の間隔Ｗ１を定める所定寸法範囲を第１の寸法範囲とし、白線５２ａ（或いは、５２ｂ）のうち幅方向寸法Ｗ２を定める所定寸法範囲を第２の寸法範囲とする。 Here, the parking frame 52 includes two white lines 52a and 52b (see FIG. 2) arranged in parallel on the road of the parking lot. The interval W1 between the white lines 52a and 52b is set to fall within a predetermined size range from the F1 size to the F2 size. The dimension W2 in the width direction (that is, the direction perpendicular to the direction in which the white line extends) of the white line 52a (or 52b) is set to fall within a predetermined dimension range from the C dimension to the D dimension. Hereinafter, in this embodiment, for the sake of convenience, the predetermined dimension range that defines the interval W1 between the white lines 52a and 52b is defined as the first dimension range, and the predetermined dimension range that defines the width direction dimension W2 of the white line 52a (or 52b) is defined as the first dimension range. Dimension range of 2.

そして、共通ハフ空間の投票履歴では、白線５２ａ（或いは、５２ｂ）は、ほぼ平行に配置されている二本の直線によって表される。二本の直線は、アップエッジによる直線とダウンエッジによる直線とから構成されるものである。アップエッジによる直線とは、輝度の増大を示すエッジ点からなる直線のことである。ダウンエッジによる直線とは、輝度の低下を示すエッジ点からなる直線のことである。つまり、アップエッジによる直線とダウンエッジによる直線との間の寸法Ｗ２が第２の寸法範囲に入いる場合には、アップエッジによる直線とダウンエッジによる直線とが白線を示していることになる。なお、以下、このように間隔が第２の寸法範囲内に入っているアップエッジによる直線とダウンエッジによる直線とからなる直線の対を単に平行直線という。 In the voting history of the common Hough space, the white line 52a (or 52b) is represented by two straight lines arranged substantially in parallel. The two straight lines are composed of a straight line due to an up edge and a straight line due to a down edge. The straight line due to the up-edge is a straight line composed of edge points indicating an increase in luminance. The straight line due to the down edge is a straight line composed of edge points indicating a decrease in luminance. That is, when the dimension W2 between the straight line due to the up edge and the straight line due to the down edge falls within the second dimension range, the straight line due to the up edge and the straight line due to the down edge indicate white lines. In the following, a pair of straight lines composed of a straight line due to an up edge and a straight line due to a down edge whose distance is within the second dimension range is simply referred to as a parallel straight line.

そこで、ステップＳ１８０において、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する４本の直線が含まれているか否かを判定する。このことにより、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する２対の平行線が含まれているか否かを判定することになる。 Therefore, in step S180, it is determined whether or not four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170. Thus, it is determined whether or not the plurality of straight lines extracted in step S170 include two pairs of parallel lines that constitute the parking frame 52.

ここで、駐車枠５２を構成する２対の平行線は、４本の直線のうち内側の２本の直線の間の寸法（すなわち、図７中の直線６１、６２の間の寸法）が第１の寸法範囲内に入っているものである。図７は、駐車枠５２を示す直線６０、６１、６２、６３を示している。 Here, the two pairs of parallel lines constituting the parking frame 52 have the dimension between the two inner straight lines out of the four straight lines (that is, the dimension between the straight lines 61 and 62 in FIG. 7). 1 is within the dimension range. FIG. 7 shows straight lines 60, 61, 62, 63 indicating the parking frame 52.

このように２対の平行直線の間の寸法が第１の寸法範囲内に入っている２対の平行直線が上記ステップＳ１７０で抽出される複数の直線に含まれていない場合には、駐車枠を示す４本の直線が共通ハフ空間の投票履歴に存在しないとして、上記ステップＳ１８０でＮＯと判定する。これに伴って、ステップＳ１００に戻る。 When two pairs of parallel straight lines in which the dimension between the two pairs of parallel straight lines is within the first dimension range are not included in the plurality of straight lines extracted in step S170, the parking frame In step S180, it is determined as NO, assuming that the four straight lines that indicate are not present in the voting history of the common Hough space. Accordingly, the process returns to step S100.

その後、上記ステップＳ１８０でＮＯと判定される限り、ステップＳ１００、Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、およびステップＳ１８０のＮＯ判定を繰り返す。このため、ハフ空間への写像（ステップＳ１６０）、直線抽出（ステップＳ１７０）、駐車枠の直線の有無判定（ステップＳ１８０）を繰り返すことになる。 Thereafter, as long as NO is determined in step S180, the NO determinations in steps S100, S110, S120, S130, S140, S150, S160, S170, and step S180 are repeated. For this reason, mapping to the Hough space (step S160), straight line extraction (step S170), and determination of the presence or absence of a straight line of the parking frame (step S180) are repeated.

その後、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する４本の直線が含まれている場合には、ステップＳ１８０においてＹＥＳと判定する。これに伴い、上記ステップＳ１７０で抽出される複数の直線から、駐車枠５２を構成する４本の直線を抽出する（ステップＳ１９０）。 Thereafter, when the four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170, YES is determined in step S180. Accordingly, four straight lines constituting the parking frame 52 are extracted from the plurality of straight lines extracted in step S170 (step S190).

駐車場６０の路面６１に、自車５０側の部位Ｇ（つまり、傾斜開始部位）から駐車枠５２の奥側に向けて徐々に高くなる傾斜が形成されている場合において、白線５２ａ、５２ｂが伸びる方向に鳥瞰座標の視点が位置する場合には、鳥瞰図では、駐車枠５２を構成する白線５２ａ、５２ｂは、平行にならず、ハの字状に表示される。 When the road surface 61 of the parking lot 60 is formed with a slope that gradually increases from the part G on the own vehicle 50 side (that is, the slope start part) toward the back side of the parking frame 52, the white lines 52a and 52b are When the viewpoint of the bird's eye view coordinates is positioned in the extending direction, in the bird's eye view, the white lines 52a and 52b constituting the parking frame 52 are not parallel but are displayed in a C shape.

この場合、白線５２ａを示す直線６０と白線５２ｂ示す直線６２が所定角度θ以上の角度で交差し、かつ白線５２ａを示す直線６１と白線５２ｂ示す直線６３が所定角度θ以上で交差することになる（図８参照）。 In this case, the straight line 60 indicating the white line 52a and the straight line 62 indicating the white line 52b intersect at a predetermined angle θ or more, and the straight line 61 indicating the white line 52a and the straight line 63 indicating the white line 52b intersect at a predetermined angle θ or more. (See FIG. 8).

なお、実際には、鳥瞰変換によって白線５２ａを示す直線６０、６１も平行にならず、ハの字状に表示される。白線５２ｂを示す直線６２、６３も平行にならず、ハの字状に表示されるが、図８では、このようなハの字状の表示を省略して、直線６０、６１を平行に表示し、かつ直線６２、６３を平行に表示している。 Actually, the straight lines 60 and 61 indicating the white line 52a by the bird's-eye conversion are not parallel but are displayed in a C shape. The straight lines 62 and 63 indicating the white line 52b are also not displayed in parallel but are displayed in a C shape. In FIG. 8, such a C-shaped display is omitted and the straight lines 60 and 61 are displayed in parallel. In addition, the straight lines 62 and 63 are displayed in parallel.

このように、駐車場６０の路面６１の傾斜が起因する鳥瞰変換による変換誤差によって、駐車枠５２を示す直線６０、６１、６２、６３が正確に表示されなくなる。このため、このような変換誤差を含んだ直線６０、６１、６２、６３を用いると、自車の駐車目標位置を精度良く決定することができない。 As described above, the straight lines 60, 61, 62, and 63 indicating the parking frame 52 are not accurately displayed due to the conversion error due to the bird's eye view conversion caused by the inclination of the road surface 61 of the parking lot 60. For this reason, if the straight lines 60, 61, 62, and 63 including such conversion errors are used, the parking target position of the own vehicle cannot be determined with high accuracy.

そこで、駐車場６０の路面６１が傾斜している場合には、図５のステップＳ２０１〜Ｓ２０７において、鳥瞰座標上において駐車枠５２を示す４本の直線を補正する。 Therefore, when the road surface 61 of the parking lot 60 is inclined, the four straight lines indicating the parking frame 52 are corrected on the bird's-eye coordinates in steps S201 to S207 in FIG.

まず、ステップＳ２０１において、駐車枠５２を構成する４本の直線を用いて
駐車場６０の路面６１に傾斜が形成されているか否かを判定する。本実施形態では、駐車枠５２を構成する４本の直線のうち内側の２本の直線（図８中の直線６２、６１）がなす角度θが所定値以上であるか否かを判定する。すなわち、白線５２ａ、５２ｂがなす角度θが所定値以上であるか否かを判定することになる。 First, in step S <b> 201, it is determined whether or not an inclination is formed on the road surface 61 of the parking lot 60 using the four straight lines constituting the parking frame 52. In the present embodiment, it is determined whether or not the angle θ formed by the two inner straight lines (the straight lines 62 and 61 in FIG. 8) among the four straight lines constituting the parking frame 52 is greater than or equal to a predetermined value. That is, it is determined whether or not the angle θ formed by the white lines 52a and 52b is greater than or equal to a predetermined value.

このとき、駐車枠５２を構成する４本の直線のうち内側の２本の直線がなす角度θが所定値未満であるときには、駐車場６０の路面６１が傾斜していないとして、ステップＳ２０１においてＮＯと判定する。 At this time, if the angle θ formed by the two inner straight lines out of the four straight lines constituting the parking frame 52 is less than the predetermined value, it is determined that the road surface 61 of the parking lot 60 is not inclined and NO in step S201. Is determined.

また、駐車枠５２を構成する４本の直線のうち内側の２本の直線がなす角度θが所定値以上であるときには、駐車場６０の路面６１が傾斜しているとして、ステップＳ２０１においてＹＥＳと判定する。 In addition, when the angle θ formed by the two inner straight lines out of the four straight lines constituting the parking frame 52 is equal to or greater than a predetermined value, the road surface 61 of the parking lot 60 is assumed to be inclined, and YES in step S201. judge.

例えば、駐車場６０の路面６１が傾斜しているとして、ステップＳ２０１においてＹＥＳと判定した場合には、次のステップＳ２０２では、自車５０の走行軌跡から路面６１が傾斜する方向を推定する。具体的には、駐車開始スイッチ４２がオンされてからステップＳ１８０でＹＥＳと判定されるまでに繰り返しステップＳ１１０で取得される位置情報に基づいて、自車５０の走行軌跡を推定する。本実施形態では、この推定される走行軌跡としては、図２中のＦ１点からＦ２点までの軌跡を想定する。そして、このように推定される走行軌跡（Ｆ１点〜Ｆ２点）に対して直交する方向に路面６１が傾斜していると推定する。つまり、Ｆ１点とＦ２点とを結ぶ線分に対して直交する方向に、路面６１が傾斜していると推定することになる。 For example, if it is determined that the road surface 61 of the parking lot 60 is inclined and YES is determined in step S201, the direction in which the road surface 61 is inclined is estimated from the travel locus of the host vehicle 50 in the next step S202. Specifically, the travel locus of the host vehicle 50 is estimated based on the position information acquired in step S110 repeatedly after the parking start switch 42 is turned on until YES is determined in step S180. In the present embodiment, the estimated travel locus is assumed to be a locus from point F1 to point F2 in FIG. And it is estimated that the road surface 61 inclines in the direction orthogonal to the traveling locus (F1 point-F2 point) estimated in this way. That is, it is estimated that the road surface 61 is inclined in a direction orthogonal to the line segment connecting the points F1 and F2.

次のステップＳ２０３では、駐車枠５２を構成する４本の直線に基づいて路面６１の傾斜情報を算出する。以下、図９、図１０を用いて路面６１の傾斜情報の算出について説明する。 In the next step S203, the inclination information of the road surface 61 is calculated based on the four straight lines constituting the parking frame 52. Hereinafter, calculation of the inclination information of the road surface 61 will be described with reference to FIGS. 9 and 10.

図９の鳥瞰座標上において、符号５２ａ’、５２ｂ’は、傾斜が形成されている路面６１上の駐車枠の２本の白線を示す。符号５２ａ’、５２ｂ’は、路面６１の傾斜が起因する変換誤差によってハの字状に配置されている２本の白線を示す。図９中の符号５２ａ、５２ｂは、鳥瞰座標上にて本来表示されるべき白線５２ａ、５２ｂの座標を示している。図１０は図９中Ｘ−Ｘ断面図である。図１０において、路面６１が傾斜角φで傾斜している。 On the bird's-eye coordinates in FIG. 9, reference numerals 52 a ′ and 52 b ′ indicate two white lines of the parking frame on the road surface 61 where the slope is formed. Reference numerals 52 a ′ and 52 b ′ indicate two white lines arranged in a C shape due to a conversion error caused by the inclination of the road surface 61. Reference numerals 52a and 52b in FIG. 9 indicate the coordinates of the white lines 52a and 52b that should be originally displayed on the bird's-eye view coordinates. 10 is a cross-sectional view taken along the line XX in FIG. In FIG. 10, the road surface 61 is inclined at an inclination angle φ.

まず、カメラ１０の位置を原点Ｏとし、鳥瞰座標上で白線５２ａ’を構成する任意のエッジ点ａ’、ｂ’の座標を求める。カメラ１０の位置を原点Ｏとし、鳥瞰座標上で白線５２ａ’を構成する任意のエッジ点ｃ’、ｄ’の座標をそれぞれ求める。エッジ点ａ’、ｂ’は直線６２上に位置するエッジ点である。エッジ点ｃ’、ｄ’は直線６１上に位置するエッジ点である。 First, the position of the camera 10 is set as the origin O, and the coordinates of arbitrary edge points a 'and b' constituting the white line 52a 'are obtained on the bird's-eye view coordinates. With the position of the camera 10 as the origin O, the coordinates of arbitrary edge points c 'and d' constituting the white line 52a 'on the bird's-eye view coordinates are obtained. Edge points a ′ and b ′ are edge points located on the straight line 62. Edge points c ′ and d ′ are edge points located on the straight line 61.

図９、図１０中のエッジ点ａ、ｂ、ｃ、ｄは、本来表示されるべき白線５２ａ、５２ｂを構成するエッジ点である。エッジ点ａはエッジ点ａ’に対応し、エッジ点ｂはエッジ点ｂ’に対応し、エッジ点ｃはエッジ点ｃ’に対応し、エッジ点ｄはエッジ点ｄ’に対応する。 Edge points a, b, c, and d in FIGS. 9 and 10 are edge points that constitute the white lines 52a and 52b to be originally displayed. The edge point a corresponds to the edge point a ', the edge point b corresponds to the edge point b', the edge point c corresponds to the edge point c ', and the edge point d corresponds to the edge point d'.

次に、図１０において、エッジ点ａ’を含んで路面６１に平行な平行面６３に対して原点ｏを通る垂線６４を形成した場合に、垂線６４が平行面６３に交わる点ｖ’の座標を求める。さらに、垂線６４が路面６１に交わる点ｖの座標を求める。 Next, in FIG. 10, when the perpendicular 64 passing through the origin o is formed with respect to the parallel plane 63 including the edge point a ′ and parallel to the road surface 61, the coordinates of the point v ′ where the perpendicular 64 intersects the parallel plane 63. Ask for. Further, the coordinates of the point v where the perpendicular 64 intersects the road surface 61 are obtained.

次に、点ｖと原点ｏとの間の距離をｖｏとし、エッジ点ａと原点ｏとの間の距離をａｏとし、点ｖ’と原点ｏとの間の距離をｖｏとし、エッジ点ａ’と原点ｏとの間の距離をａ’ｏとする。距離ｖｏ、ｖ’ｏ、ａ’ｏを、点ｖの座標、点ｖ’の座標、およびエッジ点ａ’の座標から求めることができる。 Next, the distance between the point v and the origin o is vo, the distance between the edge point a and the origin o is ao, the distance between the point v ′ and the origin o is vo, and the edge point a Let a'o be the distance between 'and the origin o. The distances vo, v'o, a'o can be obtained from the coordinates of the point v, the coordinates of the point v ', and the coordinates of the edge point a'.

ここで、距離ｖｏ、ａｏ、ｖ’ｏ、ａ’ｏの間には、ｖｏ：ａｏ＝ｖ’ｏ：ａ’ｏの比例関係が成立し、この比例関係からエッジ点ａの座標を求めることができる。これに加えて、エッジ点ａの場合と同様に、エッジ点ｂ，ｃ，ｄの座標を求める。 Here, a proportional relationship of vo: ao = v′o: a′o is established between the distances vo, ao, v′o, and a′o, and the coordinates of the edge point a are obtained from this proportional relationship. Can do. In addition to this, as in the case of the edge point a, the coordinates of the edge points b, c, and d are obtained.

そして、エッジ点ａ、ｂ、ｃ、ｄの座標は、傾斜角度φ、および部位Ｇ（すなわち、路面６１の傾斜が始まる部位）の座標をそれぞれ変数とする以下の関数Ｆａ（φ、Ｇ）、Ｆｂ（φ、Ｇ）、Ｆｃ（φ、Ｇ）、Ｆｄ（φ、Ｇ）で表されるものとする。 The coordinates of the edge points a, b, c, and d are the following functions Fa (φ, G) having the variables of the inclination angle φ and the coordinates of the part G (that is, the part where the slope of the road surface 61 starts), respectively. It is assumed that Fb (φ, G), Fc (φ, G), and Fd (φ, G).

ａ＝Ｆａ（φ、Ｇ）・・・・・数式１
ｂ＝Ｆｂ（φ、Ｇ）・・・・・数式２
ｃ＝Ｆｃ（φ、Ｇ）・・・・・数式３
ｄ＝Ｆｄ（φ、Ｇ）・・・・・数式４
まず、車両進行方向（図２中点Ｆ１とＦ２とを結ぶ方向）をＹ方向とし、以降すべて、ｚ＝０として、ｘｙ平面で考える。 a = Fa (φ, G) Equation 1
b = Fb (φ, G) Equation 2
c = Fc (φ, G) Equation 3
d = Fd (φ, G) Equation 4
First, the vehicle traveling direction (direction connecting the points F1 and F2 in FIG. 2) is defined as the Y direction, and all of the following are considered on the xy plane with z = 0.

エッジ点ａからエッジ点ｃに向かうベクトルをＡＣとし、エッジ点ｂからエッジ点ｄに向かうベクトルをＢＤとし、Ｙ方向の単位ベクトル（０、１）をＹｅとすると、ＡＣがＹｅと直交することから、数式５、数式６が成立する。 If the vector from the edge point a to the edge point c is AC, the vector from the edge point b to the edge point d is BD, and the unit vector (0, 1) in the Y direction is Ye, AC is orthogonal to Ye. Therefore, Expression 5 and Expression 6 are established.

ＡＣ・Ｙｅ＝０・・・・・数式５
ＡＣ＝ｃ−ａ＝Ｆｃ（φ、Ｇ）−Ｆａ（φ、Ｇ）・・・・・数式６
同様に、ＢＤがＹｅと直交することから、数式７、数式８が成立する。 AC · Ye = 0 Equation 5
AC = c−a = Fc (φ, G) −Fa (φ, G)...
Similarly, since BD is orthogonal to Ye, Expressions 7 and 8 are established.

ＢＤ・Ｙｅ＝０・・・・・数式７
ＢＤ＝ｄ−ｂ＝Ｆｄ（φ、Ｇ）−Ｆｂ（φ、Ｇ）・・・・・数式８
以上により、数式５、数式７は、角度φ、Ｇの座標で表されるので、数式５、数式７を連立方程式として傾斜角φ、およびＧの座標を路面６１の傾斜情報として求めることができる。なお、上記数式５および数式７の「・」は内積を表している。 BD · Ye = 0 Equation 7
BD = db = Fd ([phi], G) -Fb ([phi], G) (8)
As described above, since Equations 5 and 7 are expressed by coordinates of the angles φ and G, the inclination angles φ and G can be obtained as inclination information of the road surface 61 using Equations 5 and 7 as simultaneous equations. . In the above formulas 5 and 7, “·” represents an inner product.

次に、ステップＳ２０４において、傾斜角φおよびＧの座標と上記ステップＳ１３０で求められる鳥瞰座標上の複数のエッジ点の座標とに基づいて、本来、ステップＳ１３０のトップビュー変換（鳥瞰変換）で取得されるべき鳥瞰座標上の各エッジ点の座標を再計算する。これにより、路面６１の傾斜を起因とする鳥瞰変換の変換誤差（表示誤差）を無くした鳥瞰座標上の各エッジ点の座標を取得することができる。 Next, in step S204, based on the coordinates of the inclination angles φ and G and the coordinates of a plurality of edge points on the bird's-eye coordinates obtained in step S130, the top-view conversion (bird's-eye conversion) originally obtained in step S130 is obtained. Recalculate the coordinates of each edge point on the bird's eye coordinates to be done. Thereby, it is possible to acquire the coordinates of each edge point on the bird's-eye coordinates without the conversion error (display error) of the bird's-eye conversion caused by the inclination of the road surface 61.

その後、ステップＳ２０４で求められた変換誤差を含まない鳥瞰座標上の各エッジ点をハフ空間に投票する（ステップＳ２０５）。このハフ空間に投票された投票履歴から複数の直線を抽出する（ステップＳ２０６）。この抽出される複数の直線から駐車枠を示す直線６０、６１、６２、６３（図７参照）を抽出する（ステップＳ２０７）。これに伴い、図４のステップＳ２１０において、ステップＳ２０６で抽出される駐車枠５２を示す直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。 Thereafter, each edge point on the bird's-eye view coordinates not including the conversion error obtained in step S204 is voted in the Hough space (step S205). A plurality of straight lines are extracted from the voting history voted for the Hough space (step S206). Straight lines 60, 61, 62, 63 (see FIG. 7) indicating parking frames are extracted from the plurality of extracted straight lines (step S207). Accordingly, in step S210 of FIG. 4, the parking target position of the host vehicle 50 is determined using the straight lines 60, 61, 62, 63 indicating the parking frame 52 extracted in step S206.

一方、上記ステップＳ２０１において、駐車場６０の路面６１が傾斜していないとしてＮＯと判定した場合、図４のステップＳ２１０において、上記ステップＳ１９０で抽出される駐車枠５２を示す直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。 On the other hand, in step S201, when it is determined NO because the road surface 61 of the parking lot 60 is not inclined, straight lines 60, 61, 62 indicating the parking frame 52 extracted in step S190 in step S210 of FIG. , 63 is used to determine the parking target position of the host vehicle 50.

このように路面６１の傾斜の有無に応じて、ステップＳ１９０、Ｓ２０６のうち一方のステップで抽出される直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。 As described above, the parking target position of the host vehicle 50 is determined using the straight lines 60, 61, 62, 63 extracted in one of the steps S190, S206 depending on whether the road surface 61 is inclined.

例えば、上記ステップＳ２０１でＹＥＳと判定したときには、上記ステップＳ２０４において再計算される鳥瞰座標上の各エッジ点のうち、駐車枠５２を示す直線６０、６１、６２、６３の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ２０に保存する。 For example, when it is determined YES in step S201, among the edge points on the bird's-eye coordinates recalculated in step S204, a plurality of points positioned on the straight lines 60, 61, 62, and 63 indicating the parking frame 52 are displayed. Edge points are extracted for each straight line, and the extracted plurality of edge points are stored in the memory 20 for each straight line.

また、上記ステップＳ２０１でＮＯと判定したときには、図４のステップＳ１５０において取得される鳥瞰座標上の各エッジ点のうち、駐車枠５２を示す直線６０、６１、６２、６３の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ２０に保存する。 When it is determined NO in step S201, a plurality of edge points located on the straight lines 60, 61, 62, and 63 indicating the parking frame 52 among the respective edge points on the bird's eye coordinate acquired in step S150 of FIG. The edge points are extracted for each straight line, and the extracted plurality of edge points are stored in the memory 20 for each straight line.

次のステップ２１２において、このようにメモリ２０に保存される直線毎の複数のエッジ点を自車５０の位置を含む鳥瞰座標上にソートする。これに伴い、鳥瞰座標上の複数のエッジ点を直線毎に自車５０に近い側から走査し、鳥瞰座標上の複数のエッジ点において、駐車枠５２のうち自車５０側の端点（すなわち、手前側端点）となるエッジ点が有るか否かを直線毎に判定する（ステップＳ２１２、Ｓ２１３、Ｓ２１４）。 In the next step 212, the plurality of edge points for each straight line thus stored in the memory 20 are sorted on the bird's eye coordinates including the position of the vehicle 50. Accordingly, a plurality of edge points on the bird's eye coordinate are scanned from the side closer to the own vehicle 50 for each straight line, and at the plurality of edge points on the bird's eye coordinate, the end points on the own vehicle 50 side (that is, the parking frame 52 side) It is determined for each straight line whether or not there is an edge point that is the front end point (steps S212, S213, and S214).

具体的には、鳥瞰座標上の複数のエッジ点において、自車５０側（すなわち、手前側）の第１所定距離内に位置するエッジ点の個数が第１の閾値未満で、かつ自車と反対側（すなわち、奥側）の第２所定距離内に位置するエッジ点の個数が第２の閾値以上であるエッジ点が有るか否かを直線毎に判定する。 Specifically, among the plurality of edge points on the bird's eye coordinate, the number of edge points located within the first predetermined distance on the own vehicle 50 side (that is, the front side) is less than the first threshold, and It is determined for each straight line whether or not there is an edge point whose number of edge points located within the second predetermined distance on the opposite side (that is, the back side) is equal to or greater than the second threshold value.

本実施形態では、第１所定距離としては１メートルとし、第２所定距離を１メートルとし、第１の閾値を１個とし、第２の閾値を５個とする。 In the present embodiment, the first predetermined distance is 1 meter, the second predetermined distance is 1 meter, the first threshold is one, and the second threshold is five.

このため、４本の直線のうち一本の直線上に位置する複数のエッジ点を走査して、直線上の複数のエッジ点のうち、自車５０側の１メートル内に位置するエッジ点が零個で、かつ自車５０と反対側の１メートル内に位置するエッジ点の個数が５個以上であるエッジ点が存在するときには、この存在するエッジ点が駐車枠５２のうち自車５０側の端点であるとする。 For this reason, a plurality of edge points located on one straight line among the four straight lines are scanned, and among the plurality of edge points on the straight line, the edge points located within 1 meter on the own vehicle 50 side are detected. When there are zero edge points and the number of edge points located within 1 meter opposite to the host vehicle 50 is five or more, this existing edge point is the side of the host vehicle 50 in the parking frame 52. Is the end point of.

これに加えて、４本の直線のうち一本の直線以外の３本の直線についても、同様に、直線上の複数のエッジ点に対して走査判定処理（ステップＳ２１２、Ｓ２１３、Ｓ２１４）を実施して、直線上の複数のエッジ点のうち、駐車枠５２のうち自車５０側の端点となるエッジ点が存在するか否かを判定する。 In addition, scanning determination processing (steps S212, S213, and S214) is similarly performed on a plurality of edge points on the three straight lines other than one of the four straight lines. And it is determined whether the edge point used as the end point by the side of the own vehicle 50 among the parking frame 52 exists among several edge points on a straight line.

その結果、４本の直線について、直線上の複数のエッジ点のうち、自車５０側の１メートル内に位置するエッジ点が零個で、かつ自車５０と反対側の１メートル内に位置するエッジ点の個数が５個以上であるエッジ点が存在すると判定したときには、この存在すると判定される直線毎のエッジ点を駐車枠５２のうち自車５０側の端点６０ａ、６１ａ、６２ａ、６３ａとして決める（ステップＳ２１５）。 As a result, for four straight lines, among the plurality of edge points on the straight line, zero edge points are located within 1 meter on the own vehicle 50 side, and are located within 1 meter opposite to the own vehicle 50. When it is determined that there are five or more edge points, the edge points for each straight line determined to exist are used as the end points 60a, 61a, 62a, 63a on the own vehicle 50 side of the parking frame 52. (Step S215).

次に、ステップＳ２１６において、駐車枠５２のうち自車５０側の端点６０ａ、６１ａ、６２ａ、６３ａと駐車枠５２を示す４本の直線とに基づいて、目標駐車位置を決定する。 Next, in step S216, the target parking position is determined based on the end points 60a, 61a, 62a, 63a on the own vehicle 50 side of the parking frame 52 and the four straight lines indicating the parking frame 52.

具体的には、駐車枠５２を示す４本の直線のうち、自車５０側の端点に対して自車５０と反対側で、かつ自車５０側の端点との間の距離が所定距離Ｌとなる位置を直線毎に決める。この直線毎に決められる４つの位置から定める位置を目標駐車位置として決定する。目標駐車位置は、操舵角等を制御して自車５０の駐車を支援する際に、自車５０を駐車させるための目標位置として用いられる。 Specifically, of the four straight lines indicating the parking frame 52, the distance between the end point on the own vehicle 50 side and the end point on the own vehicle 50 side is the predetermined distance L. Determine the position for each straight line. A position determined from the four positions determined for each straight line is determined as a target parking position. The target parking position is used as a target position for parking the host vehicle 50 when assisting the parking of the host vehicle 50 by controlling the steering angle or the like.

以上説明した本実施形態によれば、マイクロコンピュータ３０は、駐車枠の付近を自車５０が走行する際に駐車枠側の景色を繰り返し撮影するためのＣＣＤカメラ１０が撮影する毎に自車５０の位置情報を取得する。撮影毎の位置情報に基づいてＣＣＤカメラ１０の撮影画像中のエッジ点の座標を共通の鳥瞰座標上のエッジ点に撮影毎に変換して、この変換された共通の鳥瞰座標上のエッジ点を撮影毎にハフ空間に投票する。ハフ空間に投票された投票履歴に駐車枠を構成する直線が存在するか否かを判定し、投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車枠を形成する駐車路面が傾斜しているか否かを判定する。投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車路面の傾斜情報を求め、この駐車路面の傾斜情報に基づいて、駐車場６０の路面６１の傾斜に起因する鳥瞰変換の変換誤差を無くした鳥瞰座標上の各エッジ点の座標を計算する。この再計算される鳥瞰座標上の各エッジ点をハフ空間に投票してこの投票した結果から駐車枠を構成する直線を抽出する。この抽出される駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて自車５０の駐車目標位置を算出することを特徴としている。 According to the present embodiment described above, the microcomputer 30 causes the own vehicle 50 to be captured every time the CCD camera 10 for repeatedly photographing the scenery on the parking frame side when the own vehicle 50 travels in the vicinity of the parking frame. Get location information. The coordinates of the edge point in the captured image of the CCD camera 10 are converted into the edge point on the common bird's-eye coordinate based on the positional information for each shooting, and the converted edge point on the common bird's-eye coordinate is converted. Vote for Hough space every time you shoot. A parking road surface that determines whether there is a straight line that constitutes a parking frame in the voting history voted in the Hough space, and forms a parking frame based on a straight line that constitutes the parking frame that is determined to exist in the voting history It is determined whether or not is inclined. Based on the straight line that constitutes the parking frame determined to be present in the voting history, the inclination information of the parking road surface is obtained, and based on the inclination information of the parking road surface, the bird's eye view conversion caused by the inclination of the road surface 61 of the parking lot 60 is obtained. Calculate the coordinates of each edge point on the bird's-eye view coordinates with no conversion error. Each edge point on the bird's eye coordinates to be recalculated is voted on the Hough space, and a straight line constituting the parking frame is extracted from the result of the vote. The parking target position of the host vehicle 50 is calculated based on the extracted straight line constituting the parking frame and the coordinates of each edge point on the bird's eye coordinates recalculated.

このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。 Since the parking target position is determined based on the straight line constituting the parking frame thus obtained and the coordinates of each edge point on the bird's-eye coordinates recalculated, a parking target position with high position accuracy can be acquired.

（第２実施形態）
上記第１実施形態では、路面６１の傾斜が生じている場合に、高い精度の目標駐車位置を求める例について説明したが、これに代えて、本第２実施形態では、路面６１上の駐車枠５２が段差を跨いでいる場合でも、高い精度の目標駐車位置を求める例について説明する。 (Second Embodiment)
In the said 1st Embodiment, when the inclination of the road surface 61 has arisen, although the example which calculates | requires a highly accurate target parking position was demonstrated, it replaces with this and the parking frame on the road surface 61 is replaced with this. An example in which a highly accurate target parking position is obtained even when 52 crosses a step will be described.

本実施形態のマイクロコンピュータ３０は、図４〜図６に代わる図１１、図１２のフローチャートに従って駐車目標位置決定処理を実行する。図１１中のステップＳ１００、Ｓ１１０、・・・・Ｓ２００は、図４中のステップＳ１００、Ｓ１１０、・・・・Ｓ２００と同一である。このため、ステップＳ１００、Ｓ１１０、・・・・Ｓ２００の説明を簡素化する。 The microcomputer 30 of this embodiment performs a parking target position determination process according to the flowcharts of FIGS. 11 and 12 instead of FIGS. Steps S100, S110,... S200 in FIG. 11 are the same as steps S100, S110,. For this reason, description of step S100, S110, ..., S200 is simplified.

マイクロコンピュータ３０は、図１１、図１２のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ４２をオンしたときに開始される。駐車目標位置決定処理は、繰り返し実行される。 The microcomputer 30 executes a parking target position determination process according to the flowcharts of FIGS. The execution of the parking target position determination process is started when the parking start switch 42 is turned on. The parking target position determination process is repeatedly executed.

まず、図１１のステップＳ１００〜Ｓ１８０の処理を上記第１実施形態と同様に実行する。例えば、図２中Ｆ１点からＦ２点側に自車５０が近づくと、ステップＳ１８０において、駐車枠５２を示す４本の直線が共通ハフ空間の投票履歴に存在するとして、ＹＥＳと判定する。 First, the processing of steps S100 to S180 in FIG. 11 is executed in the same manner as in the first embodiment. For example, when the host vehicle 50 approaches the F2 point side from the F1 point in FIG. 2, it is determined as YES in step S180 because four straight lines indicating the parking frame 52 exist in the voting history of the common Hough space.

これに伴い、次のステップＳ１９０において、上記ステップＳ１７０で抽出される複数の直線から、駐車枠５２を構成する４本の直線を抽出する。その後、この４本の直線を補正する枠線補正処理（ステップＳ２００）を実施する。このため、ハフ空間に投票された投票履歴から駐車枠５２を示す直線６０、６１、６２、６３（図７参照）を抽出することができる。 Accordingly, in the next step S190, four straight lines constituting the parking frame 52 are extracted from the plurality of straight lines extracted in step S170. Thereafter, a frame line correction process (step S200) for correcting the four straight lines is performed. For this reason, straight lines 60, 61, 62, and 63 (see FIG. 7) indicating the parking frame 52 can be extracted from the voting history voted in the Hough space.

次に、図１２のステップＳ２２０において、Ｇセンサ４３の出力信号に基づいて、路面６１上の駐車枠５２が段差を跨いでいるか否かを判定する。このとき、Ｇセンサ４３によって所定値以上の天地方向の加速度を検出した場合には、駐車枠５２が段差を跨いでいるとして、ＹＥＳと判定する。つまり、駐車枠５２に段差が生じていると判定することになる。この場合、駐車目標位置の決定に用いる重みαを「ゼロ」とする。一方、Ｇセンサ４３によって所定値以上の天地方向の加速度が検出しなかった場合には、駐車枠５２が段差を跨いでいないとして、ＮＯと判定する。つまり、駐車枠５２に段差が生じていないと判定する。これに伴い、駐車目標位置の決定に用いる重みαを「０．８」とする。 Next, in step S220 of FIG. 12, it is determined based on the output signal of the G sensor 43 whether or not the parking frame 52 on the road surface 61 straddles a step. At this time, when the acceleration in the vertical direction equal to or greater than a predetermined value is detected by the G sensor 43, it is determined as YES because the parking frame 52 straddles the step. That is, it is determined that a step is generated in the parking frame 52. In this case, the weight α used for determining the parking target position is set to “zero”. On the other hand, when the acceleration in the vertical direction equal to or greater than the predetermined value is not detected by the G sensor 43, it is determined as NO because the parking frame 52 does not straddle the step. That is, it is determined that there is no step in the parking frame 52. Accordingly, the weight α used for determining the parking target position is set to “0.8”.

次に、ステップＳ２５０において、駐車目標位置の瞬時値（以下、瞬時駐車目標位置という）を求める。瞬時駐車目標位置の算出は、図４中のステップＳ２１０と同様であるので、その説明を省略する。 Next, in step S250, an instantaneous value of the parking target position (hereinafter referred to as an instantaneous parking target position) is obtained. The calculation of the instantaneous parking target position is the same as step S210 in FIG.

その後、上記ステップＳ２５０において、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値を算出することになる（ステップＳ２６０〜Ｓ２９０）。 Thereafter, in step S250, every time the instantaneous parking target position is calculated, the weighted average value of the instantaneous parking target position is calculated (steps S260 to S290).

具体的には、ステップＳ２６０において、今回に算出される瞬時駐車目標位置の座標（Ｘ（ｍ）、Ｙ（ｍ）、Ｚ（ｍ））に対して（１−α）を掛けた座標（Ｘ（ｍ）×（１−α）、Ｙ（ｍ）×（１−α）、Ｚ（ｍ）×（１−α））を求める。ｍは、ステップＳ２５０の実行回数を示す値である。 Specifically, in step S260, a coordinate (X) obtained by multiplying the coordinate (X (m), Y (m), Z (m)) of the instantaneous parking target position calculated this time by (1-α). (M) × (1-α), Y (m) × (1-α), Z (m) × (1-α)). m is a value indicating the number of executions of step S250.

次に、ステップＳ２７０において、前回に算出される瞬時駐車目標位置の座標（Ｘ（ｍ−１）、Ｙ（ｍ−１、Ｚ（ｍ−１）に対してαを掛けた座標（Ｘ（ｍ−１×α、Ｙ（ｍ−１×α、Ｚ（ｍ−１）×α）を求める。 Next, in step S270, the coordinates (X (m-1), Y (m-1, Z (m-1)) multiplied by α (X (m-1), the coordinates of the instantaneous parking target position calculated last time. −1 × α and Y (m−1 × α, Z (m−1) × α) are obtained.

次に、ステップＳ２８０において、上記ステップＳ２６０において算出される座標（Ｘ（ｍ）×（１−α）、Ｙ（ｍ）×（１−α）、Ｚ（ｍ）×（１−α））と、上記ステップＳ２７０において算出される座標（Ｘ（ｍ−１）×α、Ｙ（ｍ−１）×α、Ｚ（ｍ−１）×α）とを加算する。これにより、瞬時駐車目標位置の加重平均値を求めることができる。加重平均値のｘ成分は、｛Ｘ（ｍ）×（１−α）＋Ｘ（ｍ−１）×α｝であり、ｙ成分は、｛Ｙ（ｍ）×（１−α）＋Ｙ（ｍ−１）×α｝、ｚ成分は、｛Ｚ（ｍ）×（１−α）＋Ｚ（ｍ−１）×α｝である。このよう瞬時駐車目標位置の加重平均値は、ステップＳ２９０で出力される。その後、図１１のステップＳ１００に戻る。このため、ステップＳ１８０において、上記ステップＳ１７０で抽出される複数の直線に駐車枠５２を構成する４本の直線が含まれているとしてＹＥＳと判定される毎に、ステップＳ１９０、Ｓ２００の処理後、図１２のステップＳ２２０〜Ｓ２９０の処理を実行する。このため、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値が出力される。 Next, in step S280, the coordinates (X (m) × (1-α), Y (m) × (1-α), Z (m) × (1-α)) calculated in step S260 are The coordinates (X (m−1) × α, Y (m−1) × α, Z (m−1) × α) calculated in step S270 are added. Thereby, the weighted average value of the instantaneous parking target position can be obtained. The x component of the weighted average value is {X (m) × (1−α) + X (m−1) × α}, and the y component is {Y (m) × (1−α) + Y (m− 1) × α} and the z component are {Z (m) × (1−α) + Z (m−1) × α}. The weighted average value of the instantaneous parking target position is output in step S290. Then, it returns to step S100 of FIG. For this reason, every time it is determined YES in step S180 that the four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170, after the processing in steps S190 and S200, The processes of steps S220 to S290 in FIG. 12 are executed. For this reason, every time the instantaneous parking target position is calculated, the weighted average value of the instantaneous parking target position is output.

以上説明した説明した本実施形態によれば、駐車枠５２を示す４本の直線が共通ハフ空間の投票履歴に存在するとして、ステップＳ１８０でＹＥＳと判定した後に、Ｇセンサ４３によって所定値以上の天地方向の加速度を検出した場合には、駐車枠５２が段差を跨いでいるとしてステップ２２０でＹＥＳと判定する。 According to the embodiment described above, it is assumed that four straight lines indicating the parking frame 52 exist in the voting history of the common hough space, and after determining YES in step S180, the G sensor 43 increases the predetermined value or more. If the acceleration in the top-and-bottom direction is detected, it is determined as YES in step 220 because the parking frame 52 straddles the step.

そして、ステップＳ１８０でＹＥＳと判定される毎に、図１２のステップＳ２２０〜Ｓ２９０において瞬時駐車目標位置が算出される。このため、瞬時駐車目標位置の算出毎に、今回の瞬時駐車目標位置の座標に対して（１−α）を掛けた座標と、前回の瞬時駐車目標位置の座標に対してαを掛けた座標とを加算して瞬時駐車目標位置の加重平均値を算出する。 And whenever it determines with YES by step S180, the instantaneous parking target position is calculated in step S220-S290 of FIG. For this reason, every time the instantaneous parking target position is calculated, the coordinates obtained by multiplying the coordinates of the current instantaneous parking target position by (1-α) and the coordinates obtained by multiplying the coordinates of the previous instantaneous parking target position by α. And the weighted average value of the instantaneous parking target position is calculated.

駐車枠５２が段差を跨いでいると判定したときには、重みαを「ゼロ」とする一方、駐車枠５２に段差が生じていないと判定した場合には重みαを「０．８」とする。このため、駐車枠５２が段差を跨いでいると判定したときには、駐車枠５２が段差を跨いでいないと判定する場合に比べて、前回の瞬時駐車目標位置の座標に掛ける重みα（第２の重み）を小さくし、かつ今回の瞬時駐車目標位置の座標に掛ける重み（１−α）（第１の重み）を大きくすることができる。 When it is determined that the parking frame 52 straddles a step, the weight α is set to “zero”, while when it is determined that no step is generated in the parking frame 52, the weight α is set to “0.8”. For this reason, when it is determined that the parking frame 52 straddles the step, the weight α (second value) applied to the coordinates of the previous instantaneous parking target position is compared with the case where it is determined that the parking frame 52 does not straddle the step. The weight (1-α) (first weight) applied to the coordinates of the current instantaneous parking target position can be increased.

したがって、駐車目標位置の加重平均値を求める際に、駐車枠５２が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠５２が段差を跨いでいると判定する後に算出される瞬時駐車目標位置の使用比率に比べて小さくすることができる。これにより、駐車枠５２に生じている段差を起因とする鳥瞰変換の変換誤差を含む駐車目標位置の使用比率を減らすことができる。このため、加重平均値としての駐車目標位置を精度良く求めることができる。 Therefore, when calculating the weighted average value of the parking target position, the use ratio of the instantaneous parking target position calculated before determining that the parking frame 52 straddles the step, and the parking frame 52 straddling the step. The use ratio of the instantaneous parking target position calculated after the determination can be made smaller. Thereby, the usage ratio of the parking target position including the conversion error of the bird's eye view conversion caused by the step generated in the parking frame 52 can be reduced. For this reason, the parking target position as a weighted average value can be obtained with high accuracy.

（他の実施形態）
上記第１実施形態では、駐車場６０の路面６１に傾斜が形成されているか否かを判定する際に、駐車枠５２を構成する４本の直線を用いた例について説明したが、これに代えて、ＣＣＤカメラ１０のモーションステレオにより立体写真を取得し、この取得される立体写真から路面６１の斜面を検出してもよい。 (Other embodiments)
In the said 1st Embodiment, when determining whether the slope 61 is formed in the road surface 61 of the parking lot 60, although the example using four straight lines which comprise the parking frame 52 was demonstrated, it replaced with this Then, a stereoscopic photograph may be acquired by the motion stereo of the CCD camera 10, and the slope of the road surface 61 may be detected from the acquired stereoscopic photograph.

上記第２実施形態では、Ｇセンサの出力信号に基づいて、路面６１の段差を駐車枠５２が跨いでいるか否かを判定した例について説明したが、これに代えて、次の（１）、（２）、（３）のようにしてもよい。
（１）ＣＣＤカメラ１０のモーションステレオにより立体写真を取得し、この取得される立体写真から路面６１の段差、および駐車枠５２を検出する。或いは、三次元カメラを用いて立体写真を取得し、この取得される立体写真から路面６１の段差および駐車枠５２を検出する。このように検出される段差および駐車枠５２によって路面６１の段差を駐車枠５２が跨いでいるか否かを判定してもよい。
（２）ＣＣＤカメラ１０により撮影される画像を鳥瞰変換した鳥瞰画像から路面の段差を跨ぐ白線のずれ（図１３（ｂ）参照）を検出したとき、路面６１の段差を駐車枠５２が跨いでいると判定する。
（３）超音波や電磁波を用いて障害物を検出するソナーによって障害物を探知する処理と、上記第１実施形態においてＣＣＤカメラ１０の撮影画像を用いて駐車目標位置を算出する処理とを並列的に実施する場合、ソナーにより探知される障害物と自車５０との間の距離が一定であるにも関わらず、上記第１実施形態におけるＣＣＤカメラ１０の撮影画像を用いて算出される駐車目標位置が大きくずれる場合には、路面６１の段差を駐車枠５２が跨いでいると判定する。 In the said 2nd Embodiment, although the example which determined whether the parking frame 52 straddled the level | step difference of the road surface 61 based on the output signal of G sensor was demonstrated, instead of this, following (1), (2) and (3) may be used.
(1) A stereoscopic photograph is acquired by the motion stereo of the CCD camera 10, and a step on the road surface 61 and the parking frame 52 are detected from the acquired stereoscopic photograph. Alternatively, a three-dimensional photograph is obtained using a three-dimensional camera, and the step on the road surface 61 and the parking frame 52 are detected from the obtained three-dimensional photograph. It may be determined whether or not the parking frame 52 straddles the step on the road surface 61 based on the detected step and the parking frame 52.
(2) When a white line shift (see FIG. 13B) straddling a step on the road surface is detected from a bird's eye image obtained by bird's-eye conversion of an image captured by the CCD camera 10, the parking frame 52 straddles the step on the road surface 61. It is determined that
(3) Parallel processing of detecting an obstacle with a sonar that detects the obstacle using ultrasonic waves or electromagnetic waves and processing of calculating a parking target position using an image captured by the CCD camera 10 in the first embodiment. In the case of the actual implementation, the parking calculated using the photographed image of the CCD camera 10 in the first embodiment, although the distance between the obstacle detected by the sonar and the own vehicle 50 is constant. When the target position deviates greatly, it is determined that the parking frame 52 straddles the step on the road surface 61.

上記第１、第２実施形態では、操舵角センサ４０の出力信号および車速センサ４１の出力信号に基づいて、自車５０の位置情報を算出した例について説明したが、これに限らず、ＧＰＳによって自車５０の位置情報を算出してもよい。 In the first and second embodiments, the example in which the position information of the host vehicle 50 is calculated based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41 has been described. The position information of the host vehicle 50 may be calculated.

上記第２実施形態では、重みαを「ゼロ」「０．８」とした例について説明したが、これに代えて、重みαを「ゼロ」、「０．８」以外の値にしてもよい。 In the second embodiment, the example in which the weight α is “zero” and “0.8” has been described. Alternatively, the weight α may be a value other than “zero” and “0.8”. .

上記第１、第２実施形態では、ステップＳ１３０において、複数のエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換した後に次のステップＳ１４０において、自車５１の位置情報を用いて上記鳥瞰座標をＣＣＤカメラ１０の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換した例について説明したが、これに代えて、次のようにしてもよい。 In the first and second embodiments, after the coordinate conversion of the plurality of edge points to the plurality of edge points on the bird's-eye coordinates viewed from the upper side of the host vehicle 50 in step S130, in the next step S140, the vehicle 51 Although the example in which the bird's-eye coordinates are coordinate-converted for each photographing so as to associate the bird's-eye coordinates with the photographing position of the CCD camera 10 using the position information has been described, the following may be used instead.

すなわち、ＣＣＤカメラ１０の撮影画像中のエッジ点を自車５１の位置情報を用いてＣＣＤカメラ１０の撮影位置に対応付けるように撮影毎に座標変換し、この座標変換されたエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換してもよい。 That is, the coordinates of the edge point in the captured image of the CCD camera 10 are converted for each photographing so as to correspond to the photographing position of the CCD camera 10 using the position information of the own vehicle 51, and the edge point after the coordinate conversion is converted to the own vehicle 50. The coordinates may be converted into a plurality of edge points on the bird's-eye coordinates viewed from above.

なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。 In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. Further, the above embodiments are not irrelevant to each other, and can be combined as appropriate unless the combination is clearly impossible. In each of the above-described embodiments, it is needless to say that elements constituting the embodiment are not necessarily essential unless explicitly stated as essential and clearly considered essential in principle. Yes. Further, in each of the above embodiments, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is clearly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to the specific number except for the case. Further, in each of the above embodiments, when referring to the shape, positional relationship, etc. of the component, etc., the shape, unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to the positional relationship or the like.

１駐車支援装置
１０ＣＣＤカメラ
３０マイクロコンピュータ
４０操舵角センサ
４１車速センサ
４２駐車開始スイッチ
５０自車（自動車）
５２駐車枠
５１ａ、５１ｂ白線
６０、６１、６２、６３直線 DESCRIPTION OF SYMBOLS 1 Parking assistance apparatus 10 CCD camera 30 Microcomputer 40 Steering angle sensor 41 Vehicle speed sensor 42 Parking start switch 50 Own vehicle (automobile)
52 Parking frame 51a, 51b White line 60, 61, 62, 63 Straight line

Claims

Acquisition means (S110) for acquiring the position information of the vehicle every time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface When,
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into a bird's eye view for each photographing to the edge point on the common bird's eye coordinates viewed from the upper side of the own vehicle. Voting means (S160) for voting edge points on the common bird's-eye coordinates to the Hough space for each photographing,
Parking frame determination means (S180) for determining whether or not a straight line constituting the parking frame exists in the voting history voted for the Hough space;
Inclination determining means (S201) for determining whether or not the parking road surface forming the parking frame is inclined;
When the inclination determination means determines that the parking road surface forming the parking frame is inclined, based on a straight line constituting the parking frame determined by the parking frame determination means as being present in the voting history, Inclination information calculating means for obtaining inclination information of the parking road surface (S203);
Recalculation that recalculates the coordinates of each edge point on the bird's-eye coordinates without the conversion error of the bird's-eye view conversion caused by the inclination of the parking road surface, based on the inclination information of the parking road surface obtained by the inclination information calculating means Means (S204);
Voting each edge point on the bird's eye coordinate recalculated by the recalculating means to a Hough space, and a straight line extracting means (S205) for extracting a straight line constituting the parking frame from the voted result;
Determining means (S210) for determining a parking target position of the own vehicle based on a straight line constituting the parking frame extracted by the straight line extracting means and coordinates of each edge point on the bird's eye coordinates recalculated; An in-vehicle image processing apparatus comprising:

When the parking road surface is formed so that the height of the road surface gradually increases from the own vehicle side toward the opposite side to the own vehicle with respect to the parking frame, the inclination information of the parking road surface is: The vehicle-mounted image processing apparatus according to claim 1, comprising coordinates of a position (G) at which the parking road surface starts to be inclined and an inclination angle (φ) of the road surface.

Acquisition means (S110) for acquiring the position information of the vehicle every time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface When,
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into the edge point on the common bird's-eye coordinates viewed from the upper side of the own vehicle for each photographing, and this conversion is performed. Voting means (S160) for voting edge points on common bird's-eye coordinates to the Hough space for each shooting;
Parking frame determination means (S180) for determining whether or not there is a straight line constituting the parking frame in the voting history voted in the Hough space for each shooting.
Each time the parking frame determining means determines that a straight line constituting the parking frame exists in the voting history, a straight line constituting the parking frame determined by the parking frame determining means as existing in the voting history; and Calculating means (S250) for calculating an instantaneous value of the parking target position of the own vehicle based on the edge point on the common bird's eye coordinate;
Every time the instantaneous value of the parking target position is calculated by the calculating means, a value obtained by multiplying the instantaneous value calculated this time by the calculating means by a first weight and the instantaneous value previously calculated by the calculating means. Weighted average means (S280) for obtaining an added value obtained by adding the value multiplied by the second weight to the parking target position;
Step determining means (S220), whether or not the parking frame straddles the step of the road surface forming the parking frame,
When the step determining means determines that the parking frame is straddling the step, the first weight is greater than when the step determining means determines that the parking frame is not straddling the step. A vehicle-mounted image processing apparatus characterized in that the second weight is small.

The voting means is
Bird's-eye coordinate conversion means (S130) for converting the coordinates of the edge point in the photographed image of the camera into the edge point on the bird's-eye coordinate viewed from the upper side of the own vehicle every time of photographing;
The common bird's-eye coordinates are converted by converting the edge points on the bird's-eye coordinates for each photographing so that the edge points on the bird's-eye coordinates for each photographing converted by the bird's-eye coordinate conversion means correspond to the position information for each photographing. The vehicle-mounted image processing apparatus according to any one of claims 1 to 3, further comprising coordinate conversion means (S140) for acquiring an upper edge point.