JP3324821B2 - Vehicle outside the vehicle monitoring system - Google Patents

Vehicle outside the vehicle monitoring system

Info

Publication number
JP3324821B2
JP3324821B2 JP05259193A JP5259193A JP3324821B2 JP 3324821 B2 JP3324821 B2 JP 3324821B2 JP 05259193 A JP05259193 A JP 05259193A JP 5259193 A JP5259193 A JP 5259193A JP 3324821 B2 JP3324821 B2 JP 3324821B2
Authority
JP
Japan
Prior art keywords
road
data
side wall
dimensional
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05259193A
Other languages
Japanese (ja)
Other versions
JPH06266828A (en
Inventor
圭二 塙
敬二 実吉
Original Assignee
富士重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士重工業株式会社 filed Critical 富士重工業株式会社
Priority to JP05259193A priority Critical patent/JP3324821B2/en
Publication of JPH06266828A publication Critical patent/JPH06266828A/en
Application granted granted Critical
Publication of JP3324821B2 publication Critical patent/JP3324821B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、ガイドレール等の道路の境界となる連続した立体物としての側壁を検出する車輌用車外監視装置に関する。 The present invention relates to a vehicle surroundings monitoring apparatus for a vehicle for detecting a side wall of the three-dimensional object continuous to be a road boundary, such as a guide rail.

【0002】 [0002]

【従来の技術】人や物を運ぶ手段の1つである自動車等の車輌は、その利便性と快適性から現代社会においてなくてはならない存在となっている。 Which is one vehicle such as an automobile of the Prior Art] means to carry people and goods has already become a must-have in modern society from the convenience and comfort. そこで、自動車の持つ優れた点を犠牲にすることなく、自動車の衝突や道路からの逸脱等の事故発生の危険性を判断したり、これらの事故を自動的に回避する技術が従来より進められており、自車輌が走行して行く道筋や走行可能な道路の範囲を認識することが重要な課題の1つとなっている。 Therefore, without sacrificing the good points with the car, or to determine the risk of accident of departure or the like from the collision and racing cars, automatic avoidance technology is advanced compared with the prior art these accidents and which, to recognize the range of pathways and drivable road own vehicle is going to travel has become one of the important problems.

【0003】道路の形状や走行可能範囲を認識する技術としては、車輌に搭載したカメラ等の撮像装置により車外の対象風景を撮像し、この撮像した画像を画像処理することにより、道路上の白線、他の車輌、道路周辺の物体を検出する技術が開発されており、さらに、道路の形状や物体までの距離を求める計測技術が開発されている。 [0003] The shape and driving range recognizing technology road, by imaging the outside of the target scene by the imaging device such as a camera mounted on the vehicle, image processing of the captured image, the white line on the road other vehicles, and technologies for detecting an object near the road have been developed, further measurement technology for determining the distance to the shape and the object of the road have been developed.

【0004】この画像による認識・計測技術は、単眼視像からカメラ位置との関係を用いて対象物までの距離を推定する技術と、複数のカメラにより、あるいは1つのカメラの位置を変えることにより複数の画像を撮像し、 [0004] Recognition and measurement technology by this image, a technique of estimating the distance to an object using the relationship between the camera position from the monocular images, a plurality of cameras, or by changing the position of one camera capturing a plurality of images,
三角測量の原理で対象物までの距離を求める、いわゆるステレオ法による技術とに大別される。 Determining a distance to the object on the principle of triangulation is classified roughly into a technology using a so-called stereo method.

【0005】単眼視像による二次元画像から障害物や道路形状を検出する技術は、種々提案されており、例えば、特開平1−242916号公報には、1台のTVカメラを車内のフロントウインド中央上部付近に取り付け、これから得られる画像を用いて、画像中のあるサーベイ・ライン上の輝度分布パターンや、二次元的な輝度分布パターンから障害物や道路の白線を検出し、TVカメラの取り付け位置や、方向、視野等のパラメータからカメラ位置を仮定し、障害物や白線の三次元位置を推定する技術が開示されている。 [0005] Techniques for detecting an obstacle and road shape from a two-dimensional image by monocular images is proposed, for example, JP-A-1-242916, car windshield a single TV camera central mounting near the top, using the images obtained therefrom, and the brightness distribution pattern on the survey line with the image, and detects the white line of the obstacles and road from the two-dimensional intensity distribution pattern, the mounting of the TV camera position and direction, assuming the camera position from a parameter of the field, such as a technique of estimating a three-dimensional position of the obstacle and the white line is disclosed.

【0006】しかしながら、実際の道路上で撮影される画像には、周囲の建物や木々等の様々な物体や背景が写っており、この中から、道路の白線を二次元的な特徴パターンのみによって的確に検出することは困難である。 However, the image captured on the actual road, and photographed various objects and backgrounds, such as surrounding buildings and trees, from this, only by the two-dimensional feature pattern white lines of the road it is difficult to accurately detect.
さらに、一般の道路では白線が整備されていない箇所も多くあり、この場合には、この技術は使用できないことになる。 Further, in a general road there are many places where the white line is not in place, in this case, that this technique can not be used.

【0007】このように、白線が無い道路では、ガードレール、植込み、パイロン列等、道路の境界となる連続した立体物としての側壁を検出し、これによって道路の形状や走行可能範囲を検出することが有効であると考えられる。 [0007] Thus, the white line is not a road, a guardrail, implantation, pylon string or the like, to detect a side wall of the three-dimensional object continuous to be a road boundary, thereby detecting the shape and travelable range of the road it is considered to be effective. しかし、単眼視像を用いる技術では、このような側壁を検出することは困難である。 However, the technique of using a monocular image, it is difficult to detect such side walls.

【0008】一方、複数の画像から三角測量の原理で距離を求めるステレオ法の技術は、左右画像における同一物体の位置の相対的なずれから距離を求めるので、正確な距離を求めることができる。 On the other hand, stereo method technique for determining the distance from a plurality of images by the principle of triangulation, so obtaining the distance from the relative displacement of the positions of the same object in the left and right images, it is possible to obtain an accurate distance.

【0009】例えば、特開昭48−2927号公報、特開昭55−27708号公報には、2台のTVカメラを車輌前方に取り付け、まず、各々の画像を空間微分して明暗変化点のみを抽出し、片方のカメラの画像の走査を所定時間だけ遅延させてもう一方の画像と重ね合わせ、 [0009] For example, JP 48-2927 and JP-Sho 55-27708, fitted with two TV cameras on a vehicle forward, first, light-dark change points each image by spatially differentiating only extracting, superimposed with other images by delaying the scanning of one camera images a predetermined time,
2つの画像で一致する部分のうち、立体物が持つ明暗変化の特徴から、立体物だけを抽出する技術が開示されており、さらに、計測自動制御学会論文集Vol. Of the portion matching the two images, the feature of the light-dark change three-dimensional object has, and a technique for extracting only the three-dimensional object is disclosed, additionally, Instrument and Control Engineers Proceedings Vol. 21, 21,
No. No. 2(昭和60年2月)の中に発表されている「障害物の2次元的な分布の認識手法」には、通路パターン認識装置により道路脇のガードレールを検出する技術が記載されている。 2 to have been published in the (1985 February) "Recognition of two-dimensional distribution of obstacles", a technique for detecting a roadside guardrail is described by passage pattern recognition device.

【0010】しかしながら、この技術では、検出されるガードレールは、細かい部分毎の位置のデータの集まりとして出力されるに留まり、側壁を連続的に存在する立体物として認識していない。 [0010] However, in this technique, guard rail to be detected, remains in the output as a set of data of the position of the fine each partial, not confirmed three-dimensional object present sidewalls continuously. 従って、この検出結果の出力を使って、前述のような事故発生の危険性の判断や事故回避を実現しようとすると、繁雑なデータ処理が必要になる。 Thus, by using the output of this detection result, an attempt to realize the accident risk judgment or accident avoidance of generation as described above, it is required complicated data processing.

【0011】また、車輌の側面や四隅に超音波センサーを取り付け、ガードレール等を検出する技術も開発されているが、超音波センサーは計測可能な距離が短く、車輌の近傍のガードレールしか検出できない。 Further, mounting the ultrasonic sensors on the sides and corners of the vehicle, but has also been developed a technique for detecting the guard rails and the like, an ultrasonic sensor is short measurable distance can not be detected only guardrail near the vehicle. このため、 For this reason,
一般道路を通常速度で走行する場合には、検出能力が不足し、さらには、植込み等のように超音波では検出困難な側壁には対処することができない。 When traveling on the general road at normal speed, insufficient detection capability, furthermore, can not be addressed to the detection difficult sidewalls ultrasonic as such implantation.

【0012】 [0012]

【発明が解決しようとする課題】以上のように、実際の複雑な状況においては、実際の道路上の画像には様々な物が写っており、ガードレール、植込み、パイロン列等の検出すべき物体を、前方にある別の物体が部分的に隠している場合もある。 As described above [0006] In the actual complex situations, the actual image on the road is photographed various things, guardrails, implantation, to be detected such as a pylon column object and in some cases a separate object in front hiding partially. このような状況下では、目的とする側壁だけを正確に検出することは極めて困難である。 Under such circumstances, it is extremely difficult to only accurately detect sidewalls of interest.

【0013】本発明は前記事情に鑑みてなされたもので、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁を確実に検出することができ、しかも、側壁の有無、位置、方向を処理が容易なデータ形態で検出することのできる車輌用車外監視装置を提供することを目的とする。 [0013] The present invention has been made in view of the above circumstances, guard rail, implantation, it is possible to reliably detect the side walls of the solid body contiguous to the road boundary, such as pylon column, moreover, the presence or absence of sidewall , position, and an object thereof is to provide a vehicle surroundings monitoring apparatus for a vehicle which can be detected with easy data forms processing direction.

【0014】 [0014]

【課題を解決するための手段】第1の発明は、車外の設定範囲の対象を検出し、この対象に対する位置情報を出力する計測手段と、前記計測手段からの位置情報に基づき、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出する側壁直線検出手段と、前記側壁直線検出手段で検出した直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する側壁範囲検出手段とを備えたことを特徴とする。 SUMMARY OF THE INVENTION The first invention detects target outside of the set range, the measuring means for outputting position information for the subject, based on the position information from the measuring means, a road boundary and the presence or absence of the side walls of the solid body contiguous to the the side wall straight line detecting means for detecting a linear expression that approximates the position of the side wall, set the spatial region around the linear equation detected by the side wall straight line detecting means , characterized in that a sidewall range detecting means for detecting the extent to which there is the side wall extracts only the data of the space region.

【0015】第2の発明は、車外の設定範囲内の対象を検出し、この対象に対する三次元位置情報を出力する計測手段と、前記計測手段からの三次元位置情報に基づいて道路モデルを決定し、この道路モデルを道路形状として検出する道路検出手段と、前記道路モデルに基づいて、前記三次元位置情報の中から道路表面より上にあるデータのみを抽出するデータ抽出手段と、前記データ抽出手段で抽出したデータから、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出する側壁直線検出手段と、前記側壁直線検出手段で検出した直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する側壁範囲検出手段とを備えたことを特徴とする。 [0015] The second invention is to detect an object in the outside of the set range, determining a measuring means for outputting a three-dimensional position information for the target, the road model based on the three-dimensional position information from said measuring means and, a road detecting means for detecting the road model as the road shape, on the basis of the road model, a data extracting means for extracting only the data in the above road surface from among the three-dimensional position information, the data extraction from the extracted data unit, and the presence or absence of the side wall of the three-dimensional object continuous to be a road boundary, a side wall straight line detecting means for detecting a linear expression that approximates the position of the side wall, detected by the side wall straight line detecting means set spatial region around the linear equation, is characterized in that a sidewall range detecting means for detecting the extent to which the side wall extracts only the data in the spatial region is present.

【0016】第3の発明は、第2の発明において、前記道路検出手段に、前記三次元位置情報に基づいて、道路の白線の位置及び形状を推定する道路形状推定手段と、 [0016] The third invention is the second invention, the road detecting means, based on the three-dimensional position information, the road shape estimating means for estimating the position and shape of the white line of the road,
前記道路形状推定手段で推定した道路の白線を包合する三次元の空間領域を三次元ウインドウとして設定する三次元ウインドウ設定手段と、前記三次元位置情報の中から前記三次元ウインドウ内のデータのみを抽出し、前記道路モデルを構成する三次元の直線要素を検出する直線要素検出手段と、前記直線要素検出手段で検出した直線要素の妥当性を判定し、判定基準に合致しない場合には前記直線要素を修正あるいは変更して前記道路モデルを決定する道路形状判定手段とを備えたことを特徴とする。 And 3D window setting means for setting a three-dimensional space region that condition for inclusion the white line of the road estimated by the road shape estimation unit as a three-dimensional window, only the data in the three-dimensional window from among said three-dimensional position information extracting a linear element detecting means for detecting a three-dimensional linear elements constituting the road model, to determine the validity of the linear element detected by the linear element detecting means, wherein if it does not meet the criteria Fixed linear element or by changing, characterized in that a road shape judging means for determining the road model.

【0017】第4の発明は、第1の発明または第2の発明において、前記側壁直線検出手段は、前記側壁の存在を探索する探索領域を設定し、この探索領域内のデータのみを抽出してハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出するものであることを特徴とする。 [0017] The fourth invention is the first invention or the second invention, the side wall straight line detecting means sets a search area for searching for the presence of the side wall, to extract only the data in the search range performing the Hough transform Te by, characterized in that the existence of the side wall, and detects and said linear equation.

【0018】第5の発明は、第1の発明または第2の発明において、前記側壁直線検出手段は、前記側壁の存在を探索する探索領域を格子状に区分して設定し、この探索領域内のデータのみを抽出して各格子内に含まれるデータの個数を求め、各格子内のデータは各格子の中心位置にまとまって存在するものとしてハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出するものであることを特徴とする。 [0018] The fifth invention is the first invention or the second invention, the side wall straight line detecting means, a search area for searching for the presence of the side wall and set by dividing a grid pattern, the search range It obtains the number of data included by extracting only the data within each grid by the data in each grid performing Hough transform as existing collectively in a central position of each grid, the presence or absence of the side wall When, characterized in that it is intended to detect the said linear equation.

【0019】第6の発明は、第1の発明または第2の発明において、前記側壁範囲検出手段は、前記空間領域内のデータの個数を縦軸とし、自車輌との距離を横軸とするヒストグラムを作成し、このヒストグラムの度数の大小から前記側壁が存在する範囲を検出するものであることを特徴とする。 [0019] According to a sixth aspect, in the first or second aspect, the sidewall range detecting means, the number of data in the spatial domain and the vertical axis, and the horizontal axis the distance between the host vehicle a histogram, wherein the large and small of the frequency of the histogram is to detect the extent to which the side walls are present.

【0020】 [0020]

【0021】 [0021]

【0022】第の発明は、第1の発明または第2の発明において、前記計測手段は、車外の設定範囲を撮像して画像処理することにより、車外の対象に対する前記位置情報を出力するものであることを特徴とする。 [0022] In a seventh aspect based on the first or second aspect, the measuring means, by the image processing by imaging the outside of the set range, and outputs the positional information for the outside of the target and characterized in that.

【0023】第の発明は、第1の発明または第2の発明において、前記計測手段は、車外の設定範囲を走査してレーザ光を投射・受光することにより、車外の対象に対する前記位置情報を出力するものであることを特徴とする。 [0023] An eighth invention is the first invention or the second invention, the measuring means, by projecting and receiving a laser beam by scanning the outside of the set range, the location information for outside of the target characterized in that it is intended to output.

【0024】 [0024]

【作用】第1の発明では、車外の設定範囲の対象に対する位置情報に基づいて、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出し、さらに、この直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する。 [Action] In the first invention, based on the position information for the outside of the set range of interest, detecting a presence or absence of the side walls of the solid body contiguous to the road boundary, a linear expression that approximates the position of the side wall and, further, the linear equation set the spatial region around the to detect the extent to which the side wall extracts only the data in the spatial region is present.

【0025】第2の発明では、車外の設定範囲内の対象に対する三次元位置情報に基づいて道路モデルを決定し、この道路モデルに基づいて、前記三次元位置情報の中から道路表面より上にあるデータのみを抽出する。 [0025] In the second invention, a road model is determined based on the three-dimensional position information for objects within outside the set range, based on the road model, above the road surface from among the three-dimensional position information to extract only certain data. そして、抽出したデータから、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出し、さらに、この直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する。 Then, from the extracted data, it detects the presence or absence of the side walls of the solid body contiguous to the road boundary, a linear expression that approximates the position of the side wall, furthermore, sets a spatial region around the linear equation , it detects a range where there is the side wall extracts only the data of the space region.

【0026】第3の発明では、第2の発明において、前記三次元位置情報に基づいて道路の白線の位置及び形状を推定し、推定した道路の白線を包合する三次元の空間領域を三次元ウインドウとして設定するとともに、前記三次元位置情報の中から前記三次元ウインドウ内のデータのみを抽出して前記道路モデルを構成する三次元の直線要素を検出し、検出した直線要素の妥当性を判定し、 In a third aspect, in the second invention, on the basis of the three-dimensional position information to estimate the position and shape of the white line of the road, the three-dimensional space region that condition for inclusion the white line of the estimated road primary and sets as the original window, and detects the three-dimensional linear elements constituting the road model by extracting only data in the three-dimensional window from among said three-dimensional position information, the validity of the detected linear element the judgment,
判定基準に合致しない場合には前記直線要素を修正あるいは変更して前記道路モデルを決定することにより、道路形状を検出する。 If it does not meet the criterion by determining the road model by modifying or changing the linear element, for detecting the road shape.

【0027】第4の発明では、第1の発明または第2の発明において、前記側壁の存在を探索する探索領域を設定し、この探索領域内のデータのみを抽出してハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出する。 [0027] In the fourth aspect of the invention, in the first or second aspect sets a search area for searching for the presence of the side wall, by performing the Hough transform to extract only the data in the search range detects the presence or absence of said sidewall, and said linear equation.

【0028】第5の発明では、第1の発明または第2の発明において、前記側壁の存在を探索する探索領域を格子状に区分して設定し、この探索領域内のデータのみを抽出して各格子内に含まれるデータの個数を求め、各格子内のデータは各格子の中心位置にまとまって存在するものとしてハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出する。 [0028] In the fifth invention, in the first invention or the second invention, a search region for searching for the presence of the side wall and set by dividing a grid pattern, and extracting only the data in the search range It obtains the number of data contained within each grid by the data in each grid performing Hough transform as existing collectively in a central position of each of the grid, and the presence or absence of said sidewall, and said linear equation To detect.

【0029】第6の発明では、第1の発明または第2の発明において、前記空間領域内のデータの個数を縦軸とし、自車輌との距離を横軸とするヒストグラムを作成し、このヒストグラムの度数の大小から前記側壁が存在する範囲を検出する。 [0029] In the sixth invention, in the first or second aspect, the number of data in the spatial domain and the vertical axis, to create a histogram of the distance between the host vehicle and the horizontal axis, the histogram from the frequency of magnitude detecting the extent to which the side walls are present.

【0030】 [0030]

【0031】 [0031]

【0032】第の発明は、第1の発明または第2の発明において、車外の設定範囲を撮像して画像処理することにより、車外の対象に対する前記位置情報を出力する。 [0032] In a seventh aspect based on the first or second aspect, by image processing by imaging the outside of the set range, and outputs the positional information for the outside of the subject.

【0033】第の発明は、第1の発明または第2の発明において、車外の設定範囲を走査してレーザ光を投射・受光することにより、車外の対象に対する前記位置情報を出力する。 [0033] An eighth invention, in the first invention or the second invention, by projecting and receiving a laser beam by scanning the outside of the set range, and outputs the positional information for the outside of the subject.

【0034】 [0034]

【実施例】以下、図面を参照して本発明の実施例を説明する。 EXAMPLES Hereinafter, an embodiment of the present invention with reference to the drawings. 図1〜図38は本発明の第1実施例に係り、図1 FIGS 38 relates to a first embodiment of the present invention, FIG. 1
は車外監視装置の全体構成図、図2は車輌の正面図、図3は車外監視装置の回路ブロック図、図4はカメラと被写体との関係を示す説明図、図5はステレオ画像処理装置の具体例を示す回路構成図、図6はシティブロック距離計算回路の説明図、図7は最小値検出回路のブロック図、図8は車載のCCDカメラで撮像した画像の例を示す説明図、図9は距離画像の例を示す説明図、図10は車輌の上面図、図11は車輌の側面図、図12は道路・ Overall configuration diagram of a vehicle surroundings monitoring apparatus, FIG. 2 is a front view of the vehicle, FIG. 3 is a circuit block diagram of a vehicle surroundings monitoring apparatus, illustration Figure 4 showing the relationship between the camera and the subject, Figure 5 is a stereo image processing apparatus circuit diagram showing a specific example, FIG. 6 is a schematic view for illustrating a city block distance calculation circuit, FIG. 7 is a block diagram of the minimum value detection circuit, FIG. 8 is an explanatory diagram showing an example of an image captured by the vehicle-mounted CCD camera, Fig. 9 is an explanatory diagram showing an example of a distance image, FIG. 10 is a top view of the vehicle, FIG. 11 is a side view of a vehicle, FIG. 12 is a road-
側壁検出装置の機能ブロック図、図13は道路モデルの例を示す説明図、図14は三次元ウインドウの形状を示す説明図、図15は二次元ウインドウの形状を示す説明図、図16は直線要素とデータのずれ量を示す説明図、 Functional block diagram of a side wall detector, FIG. 13 is an explanatory diagram showing an example of a road model, Figure 14 is an explanatory view showing the shape of a three-dimensional window, Figure 15 is an explanatory view showing the shape of a two-dimensional window, Figure 16 is a straight line explanatory view showing a displacement amount of elements and data,
図17はずれ量と重み係数の関係を示す説明図、図18 Figure 17 off amount and explanatory diagram showing the relationship of the weighting factor, FIG. 18
は検出した道路形状の例を示す説明図、図19は側壁検出における探索領域の形状を示す説明図、図20は側壁検出における画像の例を示す説明図、図21は立体物データの分布状況を示す説明図、図22はハフ変換での直線の想定を示す説明図、図23はパラメータ空間の投票領域を示す説明図、図24はパラメータ空間への投票結果を示す説明図、図25は側壁候補領域を示す説明図、 Explanatory view showing an example of the detected road shape is 19 is an explanatory view showing the shape of a search area in the side wall detection, illustration Figure 20 is a diagram showing an example of the image in the side wall detection, FIG. 21 is distribution of the three-dimensional object data the illustration shown, FIG. 22 is an explanatory view showing a linear assumptions in the Hough transform, Figure 23 is an explanatory view showing a voting region of the parameter space, illustration Figure 24 showing the voting results to the parameter space, Fig. 25 explanatory view showing a sidewall candidate area,
図26はヒストグラムと側壁の存在範囲の関係を示す説明図、図27はステレオ画像処理装置の動作を示すフローチャート、図28はシフトレジスタ内の保存順序を示す説明図、図29はシティブロック距離計算回路の動作を示すタイミングチャート、図30はずれ量決定部の動作を示すタイミングチャート、図31はステレオ画像処理装置の動作を示すタイミングチャート、図32〜図3 Figure 26 is an explanatory view showing a relationship between existence range of the histogram and the side wall, FIG. 27 is a flowchart showing the operation of the stereo image processing apparatus, FIG. 28 is an explanatory view showing a storage sequence in the shift register, 29 is the city block distance calculation timing chart illustrating the operation of the circuit, a timing chart showing the operation of FIG. 30 off amount determination unit, Figure 31 is a timing chart showing the operation of the stereo image processing apparatus, FIGS. 32 3
5は道路検出部の動作を示すフローチャートであり、図32は道路形状推定処理のフローチャート、図33は三次元ウインドウ発生処理のフローチャート、図34は直線要素検出処理のフローチャート、図35は道路形状判定処理のフローチャート、図36〜図38は側壁検出部の動作を示すフローチャートであり、図36は立体物データ抽出処理のフローチャート、図37は側壁直線検出処理のフローチャート、図38は側壁範囲検出処理のフローチャートである。 5 is a flowchart showing the operation of the road detecting unit, FIG. 32 is a flow chart of a road shape estimation processing, the flow chart of FIG. 33 is a three-dimensional window generation process, Figure 34 is a flow chart of the linear element detection process, Figure 35 is a road shape determination flowchart of a process, FIGS. 36 38 is a flowchart showing the operation of the side wall detection unit, Figure 36 is a flow chart of the three-dimensional object data extraction process, FIG. 37 is a flow chart of the sidewall line detection process, Figure 38 is a sidewall range detection process it is a flow chart.

【0035】図1において、符号1は自動車等の車輌であり、この車輌1に、車外の設置範囲内の対象を認識して監視する車外監視装置2が搭載されている。 [0035] In FIG. 1, reference numeral 1 denotes a vehicle such as an automobile, in the vehicle 1, vehicle surroundings monitoring apparatus 2 to be monitored to recognize the object in outside the installation range is mounted. この車外監視装置2は、車外の設定範囲内の対象を撮像するステレオ光学系10と、このステレオ光学系10によって撮像した画像を処理し、三次元の距離分布情報を算出するステレオ画像処理装置20と、このステレオ画像処理装置20からの距離情報を入力し、その距離情報から、道路形状、及び、ガードレール、植込み、パイロン列等の道路の境界となる連続した立体物としての側壁の三次元位置を高速で検出する道路・側壁検出装置100とを備えており、例えば、図示しないアクチュエータ類を制御する外部装置を接続することにより、認識された側壁に車輌1が衝突あるいは接触する危険がある場合、運転者に対する警告、車体の自動衝突回避等の動作を行なうことができるようになっている。 The vehicle surroundings monitoring apparatus 2 comprises a stereoscopic optical system 10 for imaging an object in the outside of the set range, processing the image captured by the stereoscopic optical system 10, the stereo image processing apparatus for calculating the distance distribution information of three-dimensional 20 If, enter the distance information from the stereo image processing apparatus 20, from the distance information, the road shape, and, guardrail, implantation, three-dimensional position of the side wall of the three-dimensional object continuous to be the road boundary, such as pylon column the includes a road-side wall detector 100 for detecting a high speed, for example, by connecting an external device for controlling the actuators (not shown), if the recognized sidewall there is a risk that the vehicle 1 collides or contacts warning to the driver, thereby making it possible to perform the operation of the automatic collision avoidance of a vehicle body.

【0036】前記ステレオ光学系10は、撮像した画像を電気信号に変換する撮像装置として、例えば電荷結合素子(CCD)等の固体撮像素子を用いたCCDカメラを用いて構成されており、図2に示すように、遠距離の左右画像用としての2台のCCDカメラ11a,11b [0036] The stereoscopic optical system 10, an imaging device for converting the captured image to an electrical signal, is constructed by using a CCD camera using e.g. a solid-state image sensor such as a charge-coupled device (CCD), 2 as shown in, two CCD cameras 11a as a long distance right and left images, 11b
(代表してCCDカメラ11と表記する場合もある) (Representatively sometimes referred to as CCD camera 11)
が、それぞれ車室内の天井前方に一定の間隔をもって取り付けられるとともに、近距離の左右画像用としての2 But 2 together with the front ceiling of each cabin is mounted with a predetermined interval, as a short-range right and left images
台のCCDカメラ12a,12b(代表してCCDカメラ12と表記する場合もある)が、それぞれ、遠距離用のCCDカメラ11a,11bの内側に一定の間隔をもって取り付けられている。 Pedestal CCD camera 12a, 12b (representatively sometimes referred to as CCD camera 12), respectively, are mounted with the CCD camera 11a for long range, a predetermined distance inwardly of 11b.

【0037】また、図3に示すように、前記ステレオ画像処理装置20は、前記ステレオ光学系10からの左右2枚の画像信号を入力し、画像の微小領域毎に2枚の画像で同一の物体が写っている部分を検出し、その画像上の位置のずれ量から物体までの距離を算出する処理を画像全体に渡って実行する距離検出回路20a、この距離検出回路20aの出力である距離情報を記憶する距離画像メモリ20b等から構成されており、前記ステレオ光学系10と前記ステレオ画像処理装置20とで、車外の設定範囲の対象を検出し、この対象に対する位置情報を出力する計測手段を構成するようになっている。 Further, as shown in FIG. 3, the stereo image processing apparatus 20, the type the left and right images signals from the stereo optical system 10, an image identical in the two images for each minute region of detecting a portion that is reflected by the object, the distance detecting circuit 20a for executing across the processing of calculating the distance to the object from the displacement amount of the position on the image on the entire image, which is the output of the distance detecting circuit 20a distance is composed from the distance image memory 20b for storing information, wherein in a stereoscopic optical system 10 and the stereo image processing apparatus 20, measuring means for detecting a target outside of the set range, and outputs the position information for the target so as to constitute a.

【0038】また、道路・側壁検出装置100は、距離画像メモリ20bに書き込まれた距離情報を読み出して各種の計算処理を行なうマイクロプロセッサ100aを中心に構成され、制御プログラムを格納する読み出し専用メモリ(ROM)100b、計算処理途中の各種パラメータを記憶する読み書き両用メモリ(RAM)100 Further, the road-side wall detecting apparatus 100, a distance image is read distance information written in the memory 20b is configured around a microprocessor 100a that performs various calculation processes, a read only memory for storing a control program ( ROM) 100b, a read-write memory for storing various parameters of the calculation processing course (RAM) 100
c、インターフェース回路100d、処理結果のパラメータを記憶する出力用メモリ100e等から構成されており、前記インターフェース回路100dには、車輌1 c, the interface circuit 100d, which is an output memory 100e for storing the parameters of the processing result, to the interface circuit 100d includes vehicle 1
に取り付けられた車速センサ3と、ステアリングの操舵角を検出する舵角センサ4とが接続されている。 A vehicle speed sensor 3 attached to a steering angle sensor 4 that detects the steering angle of the steering is connected.

【0039】前記マイクロプロセッサ100aは、前記距離画像メモリ20bを介して距離画像を入力して計算処理を実行し、処理結果である道路形状や側壁のパラメータを出力用メモリ100eに出力する。 [0039] The microprocessor 100a executes the distance image memory 20b calculation processing by inputting a distance image through, and outputs the parameters of the road shape and the side wall is a processing result to the output memory 100 e. 道路・側壁検出装置100に接続される外部機器は、前記出力用メモリ100eを介して、これらのパラメータを受け取ることになる。 External device connected to the road-side wall detecting apparatus 100 via the output memory 100 e, will receive these parameters.

【0040】ここで、前記ステレオ光学系10として、 [0040] In this case, as the stereo optical system 10,
直近から例えば100m遠方までの距離計測を行なう場合、車室内のCCDカメラ11、12の取付位置を、例えば、車輌1のボンネット先端から2mとすると、実際には前方2mから100mまでの位置を計測できれば良い。 When performing the distance measurement from the last to example 100m distant place, the mounting position of the passenger compartment of the CCD cameras 11 and 12, for example, when the 2m from the bonnet leading end of the vehicle 1, actually measuring the position of the front 2m to 100m may, if possible.

【0041】すなわち、図4に示すように、遠距離用の2台のCCDカメラ11a、11bの取付間隔をrとして、2台のカメラ11a,11bの設置面から距離Zにある点Pを撮影する場合、2台のカメラ11a,11b [0041] That is, as shown in FIG. 4, two CCD cameras 11a for long range, the attachment interval 11b as r, 2 cameras 11a, taking a point P from the installation surface of 11b a distance Z If you, the two cameras 11a, 11b
の焦点距離を共にfとすると、点Pの像は、それぞれのカメラについて焦点位置からfだけ離れた投影面に写る。 The focal length of the both f, image of the point P is caught on the projection plane away from the focal position by f for each camera.

【0042】このとき、右のCCDカメラ11bにおける像の位置から左のCCDカメラ11aにおける像の位置までの距離は、r+δとなり、このδをずれ量とすると、点Pまでの距離Zは、ずれ量δから以下の式で求めることができる。 [0042] At this time, the distance from the position of the image in the right of the CCD camera 11b to the position of the image on the left of the CCD camera 11a is, r + [delta] becomes, when the amount of deviation of the [delta], the distance Z to the point P, the deviation it can be calculated by the following formula from the amount [delta].

【0043】 Z=r×f/δ (1) この左右画像のずれ量δを検出するには、左右画像における同一物体の像を見つけ出す必要があり、本発明では、次に述べるステレオ画像処理装置20において、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。 [0043] To detect the amount of deviation Z = r × f / δ (1) The left and right images [delta], it is necessary to find an image of the same object in the left and right images, in the present invention, described below stereo image processing apparatus in 20, an image is divided into small areas, the brightness or color of the pattern of each subregion finds areas that match by comparing the left and right images, we obtain the distance distribution over the entire screen. 従って、 Therefore,
従来のように、エッジ、線分、特殊な形等、何らかの特徴を抽出し、それらの特徴が一致する部分を見つけ出すことによる情報量の低下を避けることができる。 As in the prior art, it can be avoided edges, line segments, special-shaped, etc., to extract some feature, a reduction in information amount by finding a portion of those features match.

【0044】左右画像の一致度は、右画像、左画像のi The degree of matching of the left and right image, the right image, the left image i
番目画素の輝度(色を用いても良い)を、それぞれ、A Th pixel of luminance (may be used color), respectively, A
i、Biとすると、例えば、以下の(2)式に示すシティブロック距離Hによって評価することができ、平均値の採用による情報量の低下もなく、乗算がないことから演算速度を向上させることができる。 i, when the Bi, for example, can be evaluated by city block distance H shown in the following equation (2), no reduction in information amount by adopting the average value, to improve the operation speed since it is not multiplied can.

【0045】 H=Σ|Ai−Bi| (2) また、分割すべき小領域の大きさとしては、大きすぎると、その領域内に遠方物体と近くの物体が混在する可能性が高くなり、検出される距離が曖昧になる。 [0045] H = Σ | Ai-Bi | (2) As the size of the to be divided small regions, too large, is likely to have far object and near objects mixed in the region, the detected distance is ambiguous. 画像の距離分布を得るためにも領域は小さい方が良いが、小さすぎると、一致度を調べるための情報量が不足する。 Region in order to obtain a distance distribution of the image is smaller is better, but if too small, the amount of information to examine the degree of coincidence is insufficient.

【0046】このため、例えば、100m先にある幅1.7mの車輌が、隣の車線の車輌と同じ領域内に含まれないように、4つに分割される画素数を領域横幅の最大値とすると、前記ステレオ光学系10に対して4画素となる。 [0046] Thus, for example, vehicle width 1.7m in 100m destination, so that it is not included in the same area as the next lane of the vehicle, the maximum value of the area width the number of pixels is divided into four When, the four pixels to the stereoscopic optical system 10. この値を基準に最適な画素数を実際の画像で試行した結果、縦横共に4画素となる。 As a result of attempting an optimal number of pixels the value to reference in the actual image, the 4 pixels both vertically and horizontally.

【0047】以下の説明では、画像を4×4の小領域で分割して左右画像の一致度を調べるものとし、ステレオ光学系10は、遠距離用のCCDカメラ11a,11b [0047] In the following description, by dividing a small region of the image 4 × 4 shall examine the degree of matching of the left and right images, the stereo optical system 10, CCD camera 11a for long range, 11b
で代表するものとする。 In shall be representative.

【0048】前記ステレオ画像処理装置20の具体的回路例は、図5に示され、この回路例では、距離検出回路20aに、前記ステレオ光学系10で撮像したアナログ画像をデジタル画像に変換する画像変換部30、この画像変換部30からの画像データに対し、左右画像のずれ量δを決定するためのシティブロック距離Hを画素を一つずつずらしながら次々と計算するシティブロック距離計算部40、シティブロック距離Hの最小値HMIN 及び最大値HMAX を検出する最小・最大値検出部50、この最小・最大値検出部50で得られた最小値HMIN が左右小領域の一致を示すものであるか否かをチェックしてずれ量δを決定するずれ量決定部60が備えられており、 The specific circuit example of the stereo image processing apparatus 20 is shown in FIG. 5, the image to be converted in this circuit example, the distance detecting circuit 20a, the analog image taken by the stereoscopic optical system 10 into a digital image conversion unit 30, the image data from the image conversion unit 30, the city block distance calculation unit 40 to sequentially calculate while the city block distance H to determine the shift amount δ of the left and right image shifting one by one pixel, minimum and maximum value detector 50 for detecting a minimum value HMIN and maximum HMAX of city block distance H, or the minimum value HMIN obtained in this minimum-maximum value detector 50 is indicative of the matching of the left and right small area whether is provided with a shift amount determining section 60 which determines the amount of deviation δ by checking,
また、距離画像メモリ20bとして、デュアルポートメモリ90が採用されている。 Further, as the distance image memory 20b, the dual port memory 90 is employed.

【0049】前記画像変換部30では、左右画像用のC [0049] In the image converting unit 30, C for the left and right images
CDカメラ11a,11bに対応してA/Dコンバータ31a,31bが備えられ、各A/Dコンバータ31 CD cameras 11a, corresponding to 11b A / D converters 31a, 31b are provided, each A / D converter 31
a,31bに、データテーブルとしてのルックアップテーブル(LUT)32a,32b、前記CCDカメラ1 a, in 31b, a look-up table (LUT) 32a as a data table, 32b, the CCD camera 1
1a,11bで撮像した画像を記憶する画像メモリ33 An image memory 33 for storing 1a, an image captured by 11b
a,33bが、それぞれ接続されている。 a, 33b are connected, respectively.

【0050】A/Dコンバータ31a,31bは、例えば8ビットの分解能を有し、左右のCCDカメラ11 The A / D converter 31a, 31b has, for example, a resolution of 8 bits, the left and right CCD cameras 11
a,11bからのアナログ画像を、所定の輝度階調を有するデジタル画像に変換する。 a, an analog image from 11b, into a digital image having a predetermined luminance gradation. すなわち、処理の高速化のため画像の二値化を行なうと、左右画像の一致度を計算するための情報が著しく失われるため、例えば256 That is, when performing binarization of the image for the high-speed processing, the information for calculating the degree of coincidence of the left and right images is lost significantly, for example, 256
階調のグレースケールに変換するのである。 It is to convert the grayscale gradation.

【0051】また、LUT32a,32bはROM上に構成され、前記A/Dコンバータ31a,31bでデジタル量に変換された画像に対し、低輝度部分のコントラストを上げたり、左右のCCDカメラ11a,11bの特性の違いを補正する。 [0051] Further, LUT32a, 32 b is configured to ROM, containing the A / D converter 31a, to an image in a digital quantity by 31b, raising the contrast of the low luminance portion, the left and right CCD cameras 11a, 11b to compensate for differences in characteristics. そして、LUT32a,32b Then, LUT32a, 32b
で変換された信号は、一旦、画像メモリ33a,33b In the converted signal is once image memory 33a, 33b
に記憶される。 It is stored in.

【0052】前記画像メモリ33a,33bは、後述するように、シティブロック距離計算部40で画像の一部を繰り返し取り出して処理するため、比較的低速のメモリから構成することができ、コスト低減を図ることができる。 [0052] The image memory 33a, 33b, as described later, is possible to incubate repeating a part of the image in the city block distance calculation unit 40, can be composed of a relatively slow memory, the cost reduction it is possible to achieve.

【0053】前記シティブロック距離計算部40では、 [0053] In the city block distance calculator 40,
前記画像変換部30の左画像用の画像メモリ33aに、 The image memory 33a for the left image of the image conversion unit 30,
共通バス80を介して2組の入力バッファメモリ41 Via a common bus 80 two sets of input buffer memory 41
a,41bが接続されるとともに、右画像用の画像メモリ33bに、共通バス80を介して2組の入力バッファメモリ42a,42bが接続されている。 a, together with 41b is connected, the image memory 33b for the right image, the two sets of input buffer memory 42a through the common bus 80, 42b are connected.

【0054】前記左画像用の各入力バッファメモリ41 [0054] Each input buffer memory 41 for the left image
a,41bには、2組の例えば8段構成のシフトレジスタ43a,43bが接続され、右画像用の各入力バッファメモリ42a,42bには、同様に、2組の例えば8 a, the 41b, two sets of example 8-stage shift register 43a, 43b are connected, each input buffer memory 42a for the right image, the 42b, similarly, two sets of example 8
段構成のシフトレジスタ44a,44bが接続されている。 The shift register 44a of the stage configuration, 44b are connected. さらに、これら4組のシフトレジスタ43a,43 Further, these four sets of shift register 43a, 43
b,44a,44bには、シティブロック距離を計算するシティブロック距離計算回路45が接続されている。 b, 44a, the 44b, city block distance calculation circuit 45 for calculating a city block distance is connected.

【0055】また、前記右画像用のシフトレジスタ44 [0055] In addition, the shift register 44 for the right image
a、44bには、後述するずれ量決定部60の2組の1 a, the 44b, 2 sets of 1 shift amount determining section 60 to be described later
0段構成のシフトレジスタ64a,64bが接続されており、次の小領域のデータ転送が始まると、シティブロック距離Hの計算の終わった古いデータはこれらのシフトレジスタ64a,64bに送られ、ずれ量δの決定の際に用いられる。 0-stage shift register 64a, 64b are connected, the data transfer of the next small region begins, old data has finished the calculation of the city block distance H is sent the shift registers 64a, to 64b, shift used in the determination of the amount [delta].

【0056】また、シティブロック距離計算回路45 [0056] In addition, the city block distance calculation circuit 45
は、加減算器に入出力ラッチをつなげてワンチップ化した高速CMOS型演算器46を組み合わせており、図6 Is a combination of high-speed CMOS-type calculator 46 into one chip by connecting the input and output latches to adder-subtracter, 6
に詳細が示されるように、演算器46を16個ピラミッド状に接続したパイプライン構造で、例えば8画素分を同時に入力して計算するようになっている。 As detailed is shown, so that the pipeline structure of connecting the arithmetic units 46 to 16 pyramid is calculated by inputting for example the eight pixels at the same time. このピラミッド型構造の初段は、絶対値演算器、2段〜4段は、それぞれ、第1加算器、第2加算器、第3加算器を構成し、最終段は総和加算器となっている。 The first stage of the pyramid structure, an absolute value calculator, the two-stage to four-stage, respectively, the first adder, a second adder, constitutes a third adder, the final stage has a total adder .

【0057】尚、図6においては、絶対値計算と1,2 [0057] In FIG. 6, the absolute value calculation 1,2
段目の加算器は半分のみ表示している。 Th stage of the adder is displayed only half.

【0058】また、前記各入力バッファメモリ41a, [0058] Further, each of the input buffer memory 41a,
41b,42a,42bは、シティブロック距離計算の速度に応じた比較的小容量の高速タイプであり、入出力が分離し、クロック発生回路85から供給されるクロックに従って、#1アドレスコントローラ86によって発生されるアドレスが共通に与えられる。 41b, 42a, 42b is a high-speed type of relatively small capacity corresponding to the speed of the city block distance calculation, input and output are separated, in accordance with the clock supplied from the clock generation circuit 85, generated by the # 1 address controller 86 address, which is given to common. また、4組のシフトレジスタ43a,43b,44a,44bとの転送は、#2アドレスコントローラ87によって制御される。 Further, four sets of shift register 43a, 43 b, 44a, transfers and 44b are controlled by the # 2 address controller 87.

【0059】尚、シティブロック距離Hの計算をコンピュータのソフトウエアで行なう場合、右画像の一つの小領域に対して左画像の小領域を次々に探索し、これを右画像の小領域全部について行なう必要があり、この計算を例えば0.08秒で行なうとすると、一画素当たり例えば5ステップのプログラムで、500MIPS(Mega [0059] Incidentally, when performing calculation of city block distance H in computer software, searches one after another small region of the left image for one small area of ​​the right image, the small area all the right image this performed must, when performing this calculation example 0.08 seconds, one pixel per example 5 step program, 500MIPS (Mega
Instruction Per Second )の能力が要求される。 Instruction ability of Per Second) is required. これは現在の一般的なシスク(CISC)タイプのマイクロプロセッサでは実現不可能な数字であり、リスク(RI This is an unfeasible number in the current general Sisk (CISC) type of microprocessor, risk (RI
SC)プロセッサ、デジタルシグナルプロセッサ(DS SC) processor, a digital signal processor (DS
P)、あるいは、並列プロセッサ等を用いなければならなくなる。 P), or it would have to be used a parallel processor, or the like.

【0060】前記最小・最大値検出部50は、シティブロック距離Hの最小値HMIN を検出する最小値検出回路51とシティブロック距離Hの最大値HMAX を検出する最大値検出回路52とを備えており、前記シティブロック距離計算回路45で使用する演算器46を最小値、最大値検出用として2個使用した構成となっており、シティブロック距離Hの出力と同期が取られるようになっている。 [0060] The minimum and maximum value detection unit 50, and a maximum value detecting circuit 52 for detecting a maximum value HMAX of the minimum value detection circuit 51 and the city block distance H for detecting a minimum value HMIN of city block distance H cage, the minimum value calculator 46 for use in the city block distance calculation circuit 45 has a configuration that uses two for the maximum value detection, so that the output and synchronization city block distance H is taken .

【0061】図7に示すように、最小値検出回路51 [0061] As shown in FIG. 7, the minimum value detecting circuit 51
は、具体的には、Aレジスタ46a、Bレジスタ46 Is specifically, A register 46a, B register 46
b、及び、算術論理演算ユニット(ALU)46cからなる演算器46に、Cラッチ53,ラッチ54,Dラッチ55を接続して構成され、シティブロック距離計算回路45からの出力が、Aレジスタ46aと、Cラッチ5 b, and, to the computing unit 46 of the arithmetic logic unit (ALU) 46c, is constructed by connecting the C latch 53, latch 54, D latch 55, the output from the city block distance calculation circuit 45, A register 46a and, C latch 5
3を介してBレジスタ46bとに入力され、ALU46 3 via the input into the B register 46b, ALU46
の出力の最上位ビット(MSB)がラッチ54に出力される。 The most significant bit of the output (MSB) is output to the latch 54. このラッチ54の出力は、Bレジスタ46b及びDラッチ55に出力され、演算器46での最小値計算の途中の値が、Bレジスタ46bに保存されるとともに、 The output of the latch 54 is output to the B register 46b and the D latch 55, the middle value of the minimum value calculation in the calculator 46, while being stored in the B register 46b,
そのときのずれ量δがDラッチ55に保存されるようになっている。 Shift amount at that time δ is adapted to be stored in the D latch 55.

【0062】尚、最大値検出回路52については、論理が逆になることと、ずれ量δを保存しないこと以外は、 [0062] Incidentally, the maximum value detecting circuit 52, and the logic is reversed, except that no save the amount of deviation [delta],
最小値検出回路51と同様の構成である。 The same configuration as that of the minimum value detection circuit 51.

【0063】前述したようにシティブロック距離Hは、 [0063] The city-block distance H as described above,
一つの右画像小領域に対し、左画像小領域を1画素ずつずらしながら順次計算されていく。 For one of the right image subregion, it is sequentially calculated while shifting by one pixel to the left image subregion. そこで、シティブロック距離Hの値が出力される毎に、これまでの値の最大値HMAX 、最小値HMIN と比較、更新することによって、最後のシティブロック距離Hの出力とほぼ同時に、 Therefore, every time the value of the city block distance H is output, the maximum HMAX the previous value, compared with a minimum value HMIN, by updating, substantially simultaneously with the output of the last city block distance H,
その小領域におけるシティブロック距離Hの最大値HMA Maximum HMA the city block distance H in the small region
X 、最小値HMIN が求まるようになっている。 X, so that the is obtained a minimum HMIN.

【0064】前記ずれ量決定部60は、比較的小規模のRISCプロセッサとして構成され、演算器61を中心として、2本の16ビット幅データバス62a,62 [0064] The shift amount determining unit 60 is configured as a relatively small RISC processor, around the calculator 61, the two 16-bit wide data bus 62a, 62
b、ずれ量δを保持するラッチ63a、第1の規定値としてのしきい値Haを保持するラッチ63b、第2の規定値としてのしきい値Hbを保持するラッチ63c、第3の規定値としてのしきい値Hcを保持するラッチ63 b, a latch 63a for holding the shift amount [delta], a latch 63b for holding a threshold value Ha of the first predetermined value, the latch holds the threshold Hb as a second prescribed value 63c, the third predetermined value latch 63 for holding the threshold value Hc as
d、右画像の輝度データを保持する2組のシフトレジスタ64a,64b、演算器61の出力を受けてずれ量δ d, 2 sets of shift registers 64a for holding the luminance data of the right image, 64b, the amount of displacement in response to the output of the arithmetic unit 61 [delta]
または”0”を出力するスイッチ回路65、そして出力された結果を一時保存する出力バッファメモリ66a, Output buffer memory 66a of the switch circuit 65, and temporarily stores the result output for outputting or "0",
66b、回路の動作タイミングや演算器61の機能の制御プログラムが書き込まれた16ビット幅のROM67 66b, the 16-bit wide control program is written in the function of the operation timing and operation unit 61 of the circuit ROM67
が備えられている。 It is provided.

【0065】前記演算器61は、ALU70を中心として、Aレジスタ71、Bレジスタ72、Fレジスタ7 [0065] The arithmetic unit 61, around the ALU 70, A register 71, B register 72, F register 7
3、及び、セレクタ74からなり、前記データバス62 3, and consists of the selector 74, the data bus 62
a(以下、Aバス62aとする)にAレジスタ71が接続されるとともに、前記データバス62b(以下、Bバス62bとする)にBレジスタ72が接続され、ALU a (hereinafter referred to as the A bus 62a) with the A register 71 is connected to the data bus 62b (hereinafter referred to as B bus 62b) B register 72 is connected to, ALU
70の演算結果で前記スイッチ回路65を作動し、ずれ量δまたは“0”が前記出力バッファメモリ66a,6 In operation result of 70 to operate the switching circuit 65, the deviation amount δ or "0" is the output buffer memory 66a, 6
6bに格納されるようになっている。 It is adapted to be stored in 6b.

【0066】前記Aバス62aには、各しきい値Ha 、 [0066] to the A bus 62a, each threshold Ha,
Hb 、Hc を保持するラッチ63b,63c,63d、 Hb, the latch to hold the Hc 63b, 63c, 63d,
前記最大値検出回路52が接続され、前記Bバス62b It said maximum value detecting circuit 52 is connected, the B bus 62b
には、前記最小値検出回路51が接続されている。 , Said minimum value detecting circuit 51 is connected. さらに、前記Aバス62a及びBバス62bには、前記各シフトレジスタ64a,64bが接続されている。 Furthermore, the A bus 62a and the B bus 62b, the respective shift registers 64a, 64b are connected.

【0067】また、前記スイッチ回路65には、前記演算器61が接続されるとともに、前記ラッチ63aを介して前記最小値検出回路51が接続され、後述する3つのチェック条件が演算器61で判定され、その判定結果に応じて前記出力バッファメモリ66a,66bへの出力が切り換えられる。 [0067] Further, the switching circuit 65, the conjunction calculator 61 is connected, the said minimum value detecting circuit 51 via the latch 63a is connected, determining three check conditions to be described later in the calculator 61 is, the output buffer memory 66a in accordance with the determination result, output to 66b is switched.

【0068】このずれ量決定部60では、得られたシティブロック距離Hの最小値HMIN が本当に左右小領域の一致を示しているものかどうかチェックを行い、条件を満たしたもののみ、出力バッファメモリ66a,66b [0068] In the shift amount determination unit 60, the minimum value HMIN obtained city block distance H really checks whether the show matches the left and right small region, only those that meet the condition, the output buffer memory 66a, 66b
の対応する画素の位置にずれ量δを出力する。 And it outputs the amount of shift is set for the position of the corresponding pixel [delta].

【0069】すなわち、シティブロック距離Hが最小となるずれ量が求めるずれ量δとなる訳であるが、以下の3つのチェック条件を満足した場合にずれ量δを出力し、満足しない場合には、データを採用せずに“0”を出力する。 [0069] That is, when the city block distance H but mean that the amount of deviation δ for determining the shift amount becomes minimum, which outputs the shift amount δ when satisfying the following three check condition, not satisfied and outputs "0" without employing the data.

【0070】(1)HMIN ≦Ha (HMIN >Ha のときには距離を検出できず。) (2)HMAX −HMIN ≧Hb (得られた最小値HMIN がノイズによる揺らぎより明らかに低くなっていることをチェックするための条件であり、最小値HMINの近傍の値との差でなく、最大値HMAX との差をチェック対象とすることにより、曲面等の緩やかに輝度の変わる物体に対しても距離検出が行なえる。) (3)右画像の小領域内の横方向の隣接画素間の輝度差>Hc (しきい値Hc を大きくするとエッジ検出となるが、輝度が緩やかに変化している場合にも対応可能なように、しきい値Hc は通常のエッジ検出レベルよりはずっと低くしてある。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいており、小領域中の画素毎 [0070] (1) HMIN ≦ Ha (when HMIN> Ha not detect distance.) (2) to HMAX -HMIN ≧ Hb (resulting minimum HMIN becomes clearly lower than the fluctuations due to noise is a condition for checking, the minimum value instead of the difference between the value in the vicinity of HMIN, by the checked the difference between the maximum value HMAX, even if the distance detection for object slowly varying luminance curved like Although but performed.) (3) difference in luminance between the lateral adjacent pixels in the small area of ​​the right image> Hc (a higher threshold Hc becomes the edge detection, if the brightness is changing slowly even so adaptable threshold Hc is are by far lower than the normal edge detection level. this condition, in the portion without the luminance change is based on the fundamental principle that can not be performed is the distance detection , each pixel in the small area 行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、自然な結果が得られる。) 尚、このずれ量決定の処理も、通常のマイクロプロセッサでソフト的に行おうとすると、例えば27MIPSの速さが必要となり、実行不可能である。 Because performed, will be only detected pixels actually distance among the small regions is adopted, the natural result.) Also the process of the shift amount determining, by software in a conventional microprocessor an attempt to, for example, the speed of 27MIPS is required, it is impracticable.

【0071】以上のずれ量決定部60から出力される最終結果である距離分布情報は、距離画像メモリ20bとしてのデュアルポートメモリ90へ共通バス80を介して書き込まれる。 [0071] or more distance distribution information, the final result output from the shift amount determination unit 60 is written via a common bus 80 to the dual port memory 90 as a distance image memory 20b.

【0072】以上説明したステレオ画像処理装置20から出力される距離分布情報は、画像のような形態をしており(距離画像)、左右2台のCCDカメラ11a,1 [0072] The distance distribution information outputted from the stereo image processing apparatus 20 described above is in the form such as an image (distance image), the two left and right CCD cameras 11a, 1
1bで撮影した画像、例えば図8に示すような画像(図8は片方のカメラで撮像した画像を示す)を前記ステレオ画像処理装置20で処理すると、図9のような画像となる。 Images were taken with 1b, for example, an image as shown in FIG. 8 (FIG. 8 shows an image captured by one camera) when the treatment with the stereo image processing apparatus 20, the image as shown in FIG.

【0073】図9に示す画像例では、画像サイズは横4 [0073] In the image example shown in FIG. 9, the image size is horizontal 4
00画素×縦200画素であり、距離データを持っているのは黒点の部分で、これは図8の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。 00 is a pixel × vertical 200 pixels, to have a distance data in the portion of black dots, which among the pixels of the image of FIG. 8 is a partial brightness change is large between adjacent pixels in the horizontal direction. 画像上の座標系は、図9に示すように、左上隅を原点として横方向をi座標軸,縦方向をj座標軸とし、 Coordinate system on the image, as shown in FIG. 9, the horizontal direction i axis, a longitudinal direction and j axes of the upper left corner as the origin,
単位は画素である。 The unit is a pixel.

【0074】この距離画像は、前記道路・側壁検出装置100に読み込まれ、道路上の白線と、道路周辺に存在する側壁が検出される。 [0074] The distance image is read into the road-side wall detection device 100, a white line on the road, side walls present around the road is detected. この場合、前記道路・側壁検出装置100では、物体の三次元的な位置情報を利用し、 In this case, the said roads and sidewall detection device 100, using the three-dimensional position information of the object,
道路と側壁の区別は道路表面からの高さによって行い、 Distinction between road and the side wall was carried out by the height from the road surface,
側壁と背景の区別は距離の値によって行なう。 Distinction between the sidewall and the background is performed by the distance values.

【0075】このため、前記道路・側壁検出装置100 [0075] Therefore, the road-side wall detector 100
では、まず、前記ステレオ画像処理装置20からの距離画像の座標系を、自車(車輌1)を取り巻く実空間の座標系に変換し、検出した道路形状や側壁に対し、位置や大きさを計算する。 In, first, the coordinate system of the range image from the stereo image processing apparatus 20, and converts the coordinate system of the real space surrounding the vehicle (vehicle 1) with respect to the detected road shape and the side wall, the position and size calculate.

【0076】すなわち、図10及び図11に示すように、実空間の座標系を車輌1固定の座標系とし、X軸を車輌1の右側側方、Y軸を車輌1の上方、Z軸を車輌1 [0076] That is, as shown in FIGS. 10 and 11, the coordinate system of the real space and the coordinate system of the vehicle 1 fixed, right side of the vehicle 1 in the X-axis, the upper vehicle 1 in the Y-axis, the Z axis vehicle 1
の前方、原点を2台のCCDカメラ11a(12b), Forward, origin two CCD cameras 11a (12b),
11b(12b)の中央の真下の道路面とすると、XZ When the road surface directly below the center of 11b (12b), XZ
平面(Y=0)は、道路が平坦な場合、道路面と一致することになり、画像中の距離情報(i,j,Z)から被写体の三次元位置(X,Y,Z)を算出するには、以下の(3),(4)式により一種の座標変換を行なう。 Plane (Y = 0) is calculated if the road is flat, would be consistent with the road surface, the distance in the image information (i, j, Z) three-dimensional position of the object from the (X, Y, Z) and to the following (3), (4) perform a kind of coordinate transformation by equations.

【0077】 Y=CH−Z×PW×(j−JV) (3) X=r/2+Z×PW×(i−IV) (4) ここで、 CH :CCDカメラ11(CCDカメラ12)の取付け高さ、 PW :1画素当たりの視野角、 JV,IV:車輌1の真正面の無限遠点の画像上の座標である。 [0077] Y = CH-Z × PW × (j-JV) (3) X = r / 2 + Z × PW × (i-IV) (4) where, CH: mounting the CCD camera 11 (CCD camera 12) height, PW: viewing angle per pixel, JV, IV: a coordinate on the image of the front of the point at infinity of the vehicle 1.

【0078】また、実空間の三次元座標(X,Y,Z) [0078] In addition, three-dimensional coordinates in the real space (X, Y, Z)
から画像上の位置(i,j)を算出する式も、前記(3),(4)式を変形し、次のようになる。 Position on the image from the (i, j) is also the formula for calculating the above (3), by modifying the equation (4), as follows.

【0079】 j=(CH−Y)/(Z×PW)+JV (5) i=(X−r/2)/(Z×PW)+IV (6) 尚、CCDカメラ11の取り付け位置を、前記実空間のXYZ座標系で示すと、例えば、右側のCCDカメラ1 [0079] j = Note (CH-Y) / (Z × PW) + JV (5) i = (X-r / 2) / (Z × PW) + IV (6), the mounting position of the CCD camera 11, the If indicated by the XYZ coordinate system of the real space, for example, the right side of the CCD camera 1
1bは、X=0.45m,Y=1.24m,Z=0.0 1b is, X = 0.45m, Y = 1.24m, Z = 0.0
mであり、左側のCCDカメラ11aは、X=−0.4 M, and the left CCD camera 11a is, X = -0.4
5m,Y=1.24m,Z=0.0mとなる。 5m, Y = 1.24m, the Z = 0.0 m.

【0080】前記道路・側壁検出装置100の認識機能は、図12に示すように、道路検出部110と、側壁検出部120とに大別され、処理結果が、道路・側壁パラメータ記憶部130としての出力メモリ100eに記憶され、図示しない外部装置に読み込まれる。 [0080] recognition function of the road-side wall detecting apparatus 100, as shown in FIG. 12, the road detecting unit 110 is roughly divided into a side wall detection unit 120, the processing results, as the road-side wall parameter storage unit 130 the storage in the output memory 100 e, are read to an external device (not shown).

【0081】前記道路検出部110は、前記距離画像に含まれる距離分布の情報(三次元位置情報)に基づいて道路モデルを決定し、この道路モデルを道路形状として検出する道路検出手段としての機能を有し、道路形状推定部111、三次元ウインドウ発生部112、直線要素検出部113、及び、道路形状判定部114から構成されている。 [0081] The road detecting unit 110, a road model is determined based on the distance the distance distribution information included in the image (three-dimensional position information), functions as a road detecting means for detecting the road model as the road shape the a road shape estimation unit 111, the three-dimensional window generation unit 112, the linear element detection unit 113 and, and a road shape judging unit 114. また、前記側壁検出部120は、立体物データ抽出部121、側壁直線検出部122、及び、側壁範囲検出部123から構成されている。 Further, the side wall detection unit 120, three-dimensional object data extraction unit 121, the side wall line detection unit 122 and, and a side wall range detector 123.

【0082】道路形状推定部111は、前記距離画像に含まれる距離分布の情報に基づいて、道路の白線の位置及び形状を推定する道路形状推定手段としての機能を有し、三次元ウインドウ発生部112は、推定した道路の白線を包合する三次元の空間領域を三次元ウインドウとして設定する三次元ウインドウ設定手段としての機能を有している。 [0082] road shape estimation unit 111, based on the distance distribution information included in the range image has a function as a road shape estimating means for estimating the position and shape of the white line of the road, the three-dimensional window generation unit 112 has a function of a three-dimensional space region that condition for inclusion the white line of the estimated road as a three-dimensional window setting means for setting a three-dimensional window.

【0083】また、直線要素検出部113は、前記距離分布の情報の中から前記三次元ウインドウ内のデータのみを抽出し、前記道路モデルを構成する三次元の直線要素を検出する直線要素検出手段としての機能を有し、道路形状判定部114は、検出した直線要素の妥当性を判定し、判定基準に合致しない場合には前記直線要素を修正あるいは変更し、前記道路モデルを決定する道路形状判定手段としての機能を有している。 [0083] Also, the linear element detection unit 113, the distance to extract only data in the three-dimensional window from the distribution of information, linear element detecting means for detecting a three-dimensional linear elements constituting the road model functions as a road shape determining unit 114 determines the validity of the detected linear element, the linear element modified or changed if it does not meet the criteria, the road shape determining said road model It has a function as a determination unit.

【0084】また、立体物データ抽出部121は、決定した道路モデルに基づいて、前記距離分布の情報の中から道路表面より上にあるデータのみを抽出するデータ抽出手段としての機能を有し、側壁直線検出部122は、 [0084] In addition, three-dimensional object data extraction unit 121, based on the determined road model has a function as a data extraction means for extracting only the data that is above the road surface from the information of the distance distribution, sidewall line detection unit 122,
抽出した立体物データの中から、予め設定された側壁の探索領域内のデータのみを抽出し、これをハフ変換で処理して側壁の有無と側壁の位置を示す直線式とを検出する側壁直線検出手段としての機能を有している。 From among the extracted three-dimensional object data, extracts only the data of the preset sidewalls of the search area, the side wall straight for detecting a linear equation shown by treatment with the Hough transform a position of presence and sidewalls of this It has a function as a detection means.

【0085】また、側壁範囲検出部123は、側壁の位置を示す直線式に基づいて、側壁が存在すると推定される側壁候補領域を設定し、この側壁候補領域内の立体物データの分布状態から、側壁の前後端の位置を検出する側壁範囲検出手段としての機能を有している。 [0085] Further, sidewall range detection unit 123, based on the linear equation that indicates the position of the side wall, set the sidewalls candidate region estimated as the side wall is present, the distribution of the three-dimensional object data of the side wall candidate region , has a function as a sidewall range detecting means for detecting a position of the front and rear ends of the side walls.

【0086】前記道路検出部110では、距離画像メモリ20bに記憶された距離画像による三次元的な位置情報を利用し、実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを、実際の道路形状と合致するよう修正・変更して道路形状を認識する。 [0086] The in road detecting unit 110, using the three-dimensional position information by the distance image memory 20b to the stored distance image, and separates and extracts only the white line on the actual road, built-in road model parameters, and modifications and changes to match the actual road shape recognizing the road shape.

【0087】実際の画像では、道路上の白線に先行車等が重なって写るが、画像に写った道路の白線を二次元的な特徴を頼りに検出する従来の多くの装置では、白線と立体物とを二次元的な特徴によって分離することは困難な場合が多いが、本発明では白線の三次元的な位置情報を利用することにより、確実に白線と立体物とを分離することができる。 [0087] In the actual image, but Utsuru overlap the preceding vehicle or the like white lines on the road, in many devices of the prior art for detecting the white line of the road that reflected in the image relying on two-dimensional features, white lines and three-dimensional it is often difficult to separate the objects by two-dimensional features, the present invention by utilizing the three-dimensional position information of the white line can be reliably separate the white line and the three-dimensional object .

【0088】すなわち、三次元空間では白線は道路の平面上にあり、一方、先行車等の立体物は道路平面より高い位置にある。 [0088] That is, white lines in the three-dimensional space is on the plane of the road, while the three-dimensional object such as a preceding vehicle is higher than the road plane position. そこで、道路面からの高さによって白線と立体物を区別するのである。 Therefore, it is to distinguish the white line and the three-dimensional object by the height from the road surface.

【0089】さらに、道路検出部110には道路モデルが内蔵されており、この道路モデルは、認識対象範囲までの道路の自車線を、設定した距離によって複数個の区間に分け、各区間毎に左右の白線を、後述する三次元の直線式で近似して折れ線状に連結したものであり、左右の折れ線で囲まれた範囲を自分の走行車線と判断する。 [0089] Further, the road detecting unit 110 has a built-in road model, the road model, the self-lane road to the recognition target range, divided into a plurality of sections by the distance set, for each section the left and right white lines is obtained by connecting the polygonal line approximated by a linear equation which will be described later three-dimensional, it is determined range surrounded by the left and right fold lines and their traffic lane.
道路形状の認識とは、三次元の直線式のパラメータを導出するプロセスともいえる。 The recognition of the road shape, it can be said that the process of deriving the parameters of the three-dimensional linear equation.

【0090】図13は道路モデルの例であり、例えば、 [0090] Figure 13 is an example of a road model, for example,
前方84mまでの道路を、第0区間R0,第1区間R1, The road to the front 84m, 0th zone R0, the first section R1,
第2区間R2,…,第6区間R6の7区間に分け、左カーブを近似表現したものである。 Second section R2, ..., divided into 7 sections of a sixth section R6, is obtained by approximating represent left curve. この道路モデルでは、7 In this road model, 7
個の区間で道路を近似表現することにより、直線路のみでなくカーブやS字路も十分な精度で表現でき、また、 By approximating express road number of intervals, can also be expressed with sufficient accuracy curve or S-shaped road not only straight path, also,
各区間は直線で表現されるため、計算処理や取扱いが簡単である。 Each section to be represented by a straight line, computing and handling is easy. さらに、後述するように、各区間は、水平方向及び垂直方向の直線式で表され、道路の上り下りや凹凸等の、道路の上下方向の形状も表現できる。 Further, as described below, each section is represented by a linear equation of the horizontal and vertical directions, up and down or irregularities or the like of the road, vertical shape of the road can be represented.

【0091】尚、前記道路モデルの各区間を区切る距離の値は、走行する道路のカーブの曲率に応じて変更する必要がある。 [0091] The value of the distance separating each section of the road model has to be changed according to the curvature of the curve of the traveling road. 一般の高速道路ではカーブの半径は最小で230m程度に設計されているため、このような場合、 Since the general highway that is designed to be about 230m radius of the curve at the minimum, in this case,
各区間の区切り距離を、10m,17m,25m,35 Delimiting distance of each section, 10m, 17m, 25m, 35
m,48m,64m,84mにすると良好な結果が得られる。 m, 48m, 64m, good results have been obtained in 84m.

【0092】次に、道路検出部110の機能を詳細に説明する。 [0092] Next, the function of the road detecting unit 110 in detail. 道路形状推定部111では、前回(Δtsec In the road shape estimation unit 111, the previous (Derutatsec
前)の道路形状の認識結果を基にし、車速センサ3、舵角センサ4からの出力信号を使ってΔt秒間の車輌1の動きを算出し、Δt秒後の車輌1の位置から見た道路形状を推定する。 Based on the recognition result of the road shape before), a vehicle speed sensor 3, calculates the movement of the vehicle 1 of Δt seconds using an output signal from the steering angle sensor 4, as viewed from the position of the vehicle 1 after Δt seconds the road shape to estimate.

【0093】すなわち、車速センサ3の出力信号をV [0093] That is, the output signal of the vehicle speed sensor 3 V
(m/sec)、ステアリング・コラムに取り付けた舵角センサ4の出力信号(操舵角)をη(rad)とすると、Δt秒間の車輌1の前進量ΔZ(m)と回転角(ヨー角)Δθ(rad)は、一般に次式で概算できる。 (M / sec), the output signal of the steering angle sensor 4 attached to the steering column (steering angle) and eta (rad), the rotation angle and the advancing amount ΔZ vehicle 1 of Δt seconds (m) (yaw angle) Δθ (rad) can generally approximated by the following equation.

【0094】 ΔZ=V×Δt (7) Δθ=ΔZ×tan(η/rs)×1/wb (8) ここで、rs:ステアリングと前輪の回転比、 wb:車輌のホイールベースである。 [0094] ΔZ = V × Δt (7) Δθ = ΔZ × tan (η / rs) × 1 / wb (8) where, rs: rotation ratio of the steering front wheel, wb: a vehicle wheel base.

【0095】従って、前回の処理で検出した道路形状をΔZだけ手前に移動し、さらに、Δθだけ車輌1の回転と逆方向に道路形状を回転させることにより、Δt秒後の道路の概略の位置と形状が推定できるのである。 [0095] Therefore, the road shape detected in the previous process to move forward by [Delta] Z, further, by rotating the road shape only in the rotational direction opposite the vehicle 1 [Delta] [theta], the position of the outline of the road after Δt seconds and it is the shape can be estimated.

【0096】三次元ウインドウ発生部112では、推定した道路形状RDを表す左右の折れ線の内の一つの直線要素Ldを中心として、図14に示すような直方体状の三次元空間領域すなわち三次元ウインドウWD3Aを設定し、この設定した三次元ウインドウWD3Aが、図15に示すように、二次元の画像上でどのように見えるかを計算し、ウインドウ輪郭線の内側(図15中の斜線部分) [0096] In the three-dimensional window generation section 112, around the one linear element Ld of the left and right fold line representing the estimated road shape RD, rectangular parallelepiped three-dimensional space region or three-dimensional window such as shown in FIG. 14 set WD3A, three-dimensional window WD3A that this setting, as shown in FIG. 15, to calculate what it looks like on a two-dimensional image, the inside (the hatched portion in FIG. 15) of the window outline
を二次元ウインドウWD2Aとし、この中のデータのみを検出対象とする。 Was a two-dimensional window WD2a, the only data in this detected.

【0097】三次元ウインドウWD3Aから二次元ウインドウWD2Aを求めるには、三次元ウインドウWD3Aの8 [0097] In order to obtain a two-dimensional window WD2A from the three-dimensional window WD3A is, of the three-dimensional window WD3A 8
個の頂点の各座標(Xn,Yn,Zn)から、前述した(5)(6)式を用いて画像上の座標(in,jn)を計算し、これらの点を包絡する多角形を計算する。 From pieces of the coordinates of the vertices (Xn, Yn, Zn), the coordinates (in, jn) of the image using the above-described (5) (6) Calculate the calculation polygons enveloping these points to.

【0098】この三次元ウインドウWD3Aは、長さを各区間の区切り距離(例えば、第1区間R1では前方10 [0098] The three-dimensional window WD3A is a length delimited distance of each section (e.g., front 10 in the first section R1
〜17m)と等しくし、一方、高さと幅は、車速等の状況に応じて変化させるが、道路形状の推定に誤差があり、実際の白線の位置とのずれが予想される場合には、 ~17M) and equal, whereas, height and width, but vary according to the condition of the vehicle speed or the like, there is an error in the estimation of the road shape, if the deviation between the actual position of the white line is expected,
高さや幅を大きくして検出する範囲を広くする。 Widening the range for detecting the height and width increased to. しかし、ウインドウを大きくし過ぎると、道路周辺の縁石や草木等も検出してしまい、誤認識の原因となるため、ウインドウの大きさを適切に選定することは重要である。 However, if too large a window, curbs and vegetation around the road or the like also causes to detect, it will cause erroneous recognition, it is important to properly select the size of the window.
一般の高速道路の走行では、試験の結果、高さ0.4m The running of the general highway, the result of the test, the height 0.4m
〜0.8m、幅0.4〜1.6mの範囲で変化させると良いことがわかっている。 ~0.8M, it has been found that good vary from wide 0.4~1.6M.

【0099】このように、二次元の画像上では道路の白線と立体物が重なり合っていても、三次元ウィンドウを設定して道路の表面付近のデータのみを抽出することにより、白線を立体物と区別して検出できる。 [0099] Thus, even in the two-dimensional image have overlap white lines and three-dimensional objects of the road, by extracting only the data in the vicinity of the surface of the road by setting a three-dimensional window, the three-dimensional object white lines It can be detected separately. また、道路周辺には縁石や草木等もあるが、三次元ウィンドウを設定して白線があると推定される位置の近辺のデータのみを抽出することによって、道路上の白線をこれらの縁石や草木等と区別して検出できる。 Further, although the peripheral roads also curbs or plants such as, by extracting only the data in the vicinity of a position that is presumed to be the white line to set a three-dimensional window, these curb and plants the white line on the road etc. and it can be detected separately. さらには、二次元ウィンドウを設定することにより、探索する領域及びデータ数を少なくして処理時間を短縮することができるのである。 Further, by setting the two-dimensional window, it is possible to shorten the smaller the processing time the number of regions and data searches.

【0100】直線要素検出部113では、先に推定した道路形状の直線要素Ldに対し、被写体の三次元位置のX方向のずれ量ΔX、Y方向のずれ量ΔYを計算し、このずれ量ΔX,ΔYに応じて設定した重み係数を各データに掛け、最小自乗法により、水平方向(XZ方向)及び垂直方向(YZ)方向の直線式を導出してパラメータを求める。 [0100] In the linear element detection unit 113, with respect to the linear element Ld road shape estimated earlier, the deviation amount ΔX in the X direction of the three-dimensional position of the subject, the Y direction deviation amount ΔY is calculated and the deviation amount ΔX , multiplied by a weighting factor set in accordance with the ΔY to the data by the least square method to determine the parameters to derive the horizontal direction (XZ direction) and vertical direction (YZ) direction of the linear equation.

【0101】詳細には、まず、二次元ウインドウWD2A [0101] More specifically, first, a two-dimensional window WD2A
内の画素を順次サーベイして行き、距離データを持っている画素について、前述の(3),(4)式を用いて被写体の三次元位置(X,Y,Z)を計算し、距離Zの値が三次元ウインドウWD3Aの長さの範囲(例えば、第1 The pixel in the sequence continue to survey, the pixels have the distance data, the above-mentioned (3), calculates the equation (4) three-dimensional position of the object using the (X, Y, Z), the distance Z length in the range of values ​​the three-dimensional window WD3A (e.g., first
区間R1ではZ=10〜17m)の外にある距離データは検出対象から除外する。 Distance data outside the section R1 in Z = 10~17m) is excluded from the detection target.

【0102】すなわち、三次元ウインドウWD3Aの向こう側や手前側にある物体の画像は、二次元ウインドウW [0102] That is, an image of the object on the other side and the front side of the three-dimensional window WD3A is a two-dimensional window W
D2A内に写り込むため、二次元ウインドウWD2A内でサーベイされる被写体は、三次元ウインドウWD3Aに包含されるとは限らない。 Since visible on captured within D2A, subject to be survey in a two-dimensional window WD2A are not necessarily encompassed by the three-dimensional window WD3A. そこで、各画素の被写体の三次元位置(X,Y,Z)を計算し、三次元ウインドウWD3A Therefore, to calculate the three-dimensional position (X, Y, Z) of the object for each pixel, three-dimensional window WD3A
に含まれるか否かを判別するのである。 Than it is determined whether or not included in the.

【0103】続いて、先に推定した道路形状の直線要素Ldと被写体の三次元位置を比較して図16に示すようなデータDiのX方向、Y方向のずれ量ΔXi、ΔYiを計算し、三次元ウインドウWD3Aの幅、高さの範囲内にあるデータのみを選別した後、X方向、Y方向のずれ量ΔXi、ΔYiに応じたデータDiの重み係数を決定する。 [0103] Subsequently, calculated linear element Ld and X-direction data Di, as shown in FIG. 16 compares the three-dimensional position of the object road shape estimated previously, Y direction deviation amount Xi, the .DELTA.YI, three-dimensional window WD3A width, after selecting the data only within the height range of, determining a weighting factor in the X direction, Y direction deviation amount Xi, data Di corresponding to the .DELTA.YI.

【0104】前記重み係数は、図17に示すように、例えば、中心を1.0、周辺を0.0とする放物線状で、 [0104] The weighting factor, as shown in FIG. 17, for example, the central 1.0, parabolic that the peripheral and 0.0,
X方向の重み係数fxとY方向の重み係数fyの積を、 The product of the weight coefficient fy weighting factors fx and Y direction of the X-direction,
そのデータDiの重み係数としている。 It is a weighting coefficient of the data Di. また、重み係数が0.0以上となるX方向、Y方向の範囲は、三次元ウインドウWD3Aの幅、高さと同一とするか、あるいは、 Also, if X direction weighting coefficient is 0.0 or more, Y-direction range, the three-dimensional window WD3A width the same as the height, or,
これらより大きくする。 Larger than they are.

【0105】各データDiに対して、前記重み係数を掛けた後、最小自乗法を用いて、以下の(9),(10) [0105] For each data Di, after multiplication by the weighting coefficients, by using the least squares method, the following (9), (10)
式に示す水平方向及び垂直方向の直線式を導出し、パラメータa,b,c,dを求め、これを新しい直線要素L Deriving a horizontal and vertical linear equation shown in which the parameters a, b, c, obtains a d, this new straight line elements L
dの候補とする。 And d of the candidate.

【0106】 水平方向:X=a×Z+b (9) 垂直方向:Y=c×Z+d (10) 同時に、重み係数が設定値(例えば、0.05〜0.1 [0106] Horizontal direction: X = a × Z + b (9) vertical: Y = c × Z + d (10) at the same time, weighting factor setting value (e.g., 0.05 to 0.1
程度)以上のデータについて、その個数と、それらのデータが分布する距離Zの範囲を調べ、データ数が設定値(例えば、10個程度)以下の場合、または距離Zの範囲が三次元ウインドウWD3Aの長さ(例えば、第1区間R1ではZ=10m〜17mの長さ7m)の1/2 以下の場合には、正確な直線要素Ldの候補は得られていないと判断し、前記で求めた直線式は棄却し、候補なしとする。 The degree) or more data, and the number thereof, examine the range of the distance Z which those data are distributed, the number of data is a set value (e.g., about 10) or less, or if the range of the distance Z three-dimensional window WD3A length (e.g., length 7m in the first section R1 in Z = 10m~17m) when less than half of the judges that no candidate obtained an accurate linear element Ld, obtained by the the linear equation is dismissed, and no candidate.

【0107】以上の処理を、左右および手前側から遠方側の区間に向かって順次行い、道路モデルを構成する全ての直線要素Ldの候補を求める。 [0107] The above process is performed from the left and right and front side sequentially toward the far side of the segment, determining a candidate of all the linear element Ld constituting a road model. この場合、三次元ウィンドウの幅の設定が大き過ぎると、道路周辺の縁石や草木等が三次元ウィンドウの端に掛かって来る場合があるが、この直線要素検出部113では、各データに重み係数を掛けて三次元ウィンドウの周辺部の重みを小さくすることにより、万一、縁石や草木等が掛かってきた場合にも、これらの影響を小さくし、安定して白線の直線式が導出できるのである。 In this case, the setting of the width of the three-dimensional window is too large, there are cases where curb or plants such as near roads come hanging on the end of the three-dimensional window in the linear element detection unit 113, the weighting factor to each data by reducing the weight of the peripheral portion of the three-dimensional window over a event, even if the curb or plants or the like has been applied, these effects can be reduced, since the linear equation of stable white line can be derived is there.

【0108】道路形状判定部114では、各区間について、左右両方の直線要素Ldの候補について、水平方向及び垂直方向の平行度から妥当性を判定する。 [0108] In the road shape determining unit 114, for each section, the candidate of the right and left both linear element Ld, it determines the validity of the horizontal and vertical parallelism. その判定の結果、妥当と判定した場合には、両方を新しい直線要素Ldの候補として採用し、一方、左右いずれかの直線要素Ldの候補が正確でないと判定した場合には、直線要素Ldの代用、補完を行なう。 Result of the determination, when it is determined that reasonable, both employing as a candidate of a new linear element Ld, whereas, if the candidate of the right or left linear element Ld is determined not to be accurate, the linear element Ld substitute, perform a completion. そして、求められた各直線要素Ldのパラメータを道路・側壁パラメータ記憶部130に出力する。 Then, the parameters of each linear element Ld obtained outputs to the road-side wall parameter storage unit 130.

【0109】具体的には、まず、左側の直線要素Ldに対する(9)式のパラメータ(以下、左側を表すL、右側を表すRを各パラメータに付加して示す)aLと、右側の直線要素Ldに対する(9)式のパラメータaRとの差異から、水平方向の平行度を調べ、設定値(例えば、5°程度)以上の場合には、左右いずれかの直線要素Ldは不正確であると判定する。 [0109] Specifically, first, the left relative to the linear element Ld of (9) parameters (hereinafter referred to L representing the left, the R representing the right added to each parameter) aL and the right linear element from the difference between (9) of the parameters aR for ld, and examine the horizontal parallelism, set value (e.g., 5 about °) in the case of above, either the left or right linear element ld is incorrect judge. 同様にして、パラメータcLとパラメータcRの差異から垂直方向の平行度を調べ、設定値(例えば、1°程度)以上の場合は、いずれかの直線要素は不正確であると判定する。 Similarly, it is determined that if the difference in parameters cL and parameter cR examined vertical parallelism, a set value or more (e.g., about 1 °), either linear element is incorrect.

【0110】この判定の結果、水平方向及び垂直方向いずれの平行度も条件を満たす場合には、両方が新しい直線要素として採用されるが、左右いずれかの直線要素L [0110] As a result of the determination, if the conditions are satisfied also the horizontal and vertical directions any parallelism is both is employed as a new linear element, the right or left of the straight line element L
dが不正確と判定されると、左右の各々の直線要素Ld When d is determined inaccurate, left and right of each linear element Ld
の候補と先に推定した道路形状の位置とを比較し、ずれ量が少ない方を新しい直線要素Ldとして採用し、他方は棄却して候補なしとする。 Comparing the candidate and the position of the previously estimated road shape, adopted it is less deviation amount as a new linear element Ld, the other is that no candidate was rejected.

【0111】そして、平行度の判定により左右いずれかの直線要素Ldが候補なしとされた場合、あるいは、道路上の白線が破線状であったり、障害物に隠れて見えないためにデータが不足して左右いずれかの直線要素Ld [0111] Then, lack of data for when the left or right of the linear element Ld is that no candidate, or the white line on the road or a broken line shape, not visible to the obstacle by the determination of parallelism either left or right of the linear element Ld to
が候補なしと判定された場合には、検出された側の直線要素Ldを車線の幅だけ並行移動して代用する。 There when it is determined that no candidate to substitute linear element Ld of the detected side in parallel moved by the width of the lane. さらに、左右両方の直線要素Ldが候補なしの場合には、先に推定した道路形状の直線要素Ldを代用する。 Moreover, the linear elements Ld both left and right in the case of no candidate to substitute linear element Ld road shape estimated earlier. これにより、部分的に直線要素の検出失敗や誤検出が発生しても、全体としては安定した道路形状が得られるのである。 Thus, even partially missed detection or erroneous detection of the linear element is generated as a whole is of a stable road shape can be obtained.

【0112】図18は、道路検出部110によって検出された道路形状を図式化した説明図あり、左右の白線に沿って直線要素が検出されている。 [0112] Figure 18 is located explanatory view graphically the detected road shape by the road detecting unit 110, the linear elements along the left and right white lines are detected. 尚、左右の直線要素の間の横線は、各区間の境界である。 Incidentally, the horizontal line between the left and right linear element is the boundary of each section.

【0113】次に、側壁検出部120について説明する。 Next, a description will be given side wall detection unit 120. この側壁検出部120では、側壁と道路との区別を道路表面からの高さによって行ない、側壁と遠方の背景との区別を、前後方向と横方向の距離によって行なうことにより、側壁が存在すると推定される周辺のデータのみを抽出し、続いて側壁のデータは水平方向に直線的に並んでいる特徴に注目してこれをハフ変換によって検出し、位置を求める。 In the side wall detection unit 120, the distinction between the side wall and the road carried out by the height from the road surface, the distinction between the sidewalls and distant background, by performing the distance in the longitudinal direction and the transverse direction, estimated that the side wall is present only near the data was extracted is, subsequently the data of the side wall is detected by this Hough transform on features that are aligned linearly in the horizontal direction, obtaining the position.

【0114】詳細には、側壁は立体物の一種であるから、まず、立体物データ抽出部121で、前述した道路検出部110における検出結果のパラメータを読み込んで道路表面の高さHを設定し、この道路表面の高さHより上にある立体物のデータを、距離画像の中から抽出する。 [0114] Specifically, since the side wall is a kind of three-dimensional object, first, in the three-dimensional object data extraction unit 121, to set the height H of the road surface reads the parameters of the detection result of the road detecting unit 110 described above , the data of the three-dimensional object that is above the height H of the road surface are extracted from the distance image. 尚、白線が無い道路では、道路表面は車輌1に水平であると仮定して道路表面の高さを設定する。 In the white line is not a road, the road surface to set the height of the assumption that the road surface to be horizontal in the vehicle 1.

【0115】距離画像における被写体は、画像上の座標(i,j)と距離データZから、前述の(3),(4) [0115] subject in the distance image, the image on the coordinates (i, j) and from the distance data Z, the above-mentioned (3), (4)
式を使って実空間の三次元位置(X,Y,Z)が算出され、さらに、先に検出した道路形状の式(10)を使って、距離Zに於ける道路表面の高さYrが計算される。 Three-dimensional position in the real space using the equation (X, Y, Z) are calculated, further, using Equation (10) of the road shape detected earlier, the distance Z in the road surface height Yr It is calculated.
被写体の道路表面からの高さHは、次の(11)式で計算することができる。 The height H from the road surface of the object can be calculated by the following equation (11).

【0116】 H=Y−Yr (11) 高さHが0.1m程度以下の被写体は、道路上の白線や汚れ、影等と考えられるため、この被写体のデータは棄却する。 [0116] H = Y-Yr (11) the height H is less about 0.1m subject, because the white line or dirt on the road is considered to shadow the like, data of the object is rejected. また、車輌の高さより上にある被写体も、歩道橋や標識等と考えられるので棄却し、道路上の立体物のデータのみを選別する。 Also, the subject is above the height of the vehicle, rejected since it is considered that overpass and signs, etc., to select only the data of the three-dimensional object on the road.

【0117】前記立体物データ抽出部121では、画面に写っている広範囲の立体物のデータが抽出される。 [0117] In the three-dimensional object data extraction unit 121, data of a wide range of three-dimensional object that is reflected on the screen is extracted. これら全てを処理することは合理的でないため、側壁直線検出部122では、側壁を探索する領域に制限を設ける。 Since it is not reasonable to handle all of these, the side wall line detection unit 122, a limit on the area to explore the sidewalls.

【0118】この場合、距離画像が計測される範囲を上から見ると、CCDカメラ11の視野に制限されて図1 [0118] In this case, the distance image is viewed from above the area to be measured, is limited to the field of view of the CCD camera 11 1
9のようになっており、道路を通常走行している場合には、側壁は車輌1の左側と右側に、車輌1と概ね平行に存在する。 Being adapted to 9, if you have the road to the normal running, the side wall on the left and right sides of the vehicle 1, is generally present in parallel to the vehicle 1. 一方、遠くの側壁は、距離データの精度の面から検出が困難になり、且つ、検出の必要性も小さい。 On the other hand, the side wall of the far, detected from the accuracy of the surface of the distance data becomes difficult, and, less need for detection.
そこで、これらを考慮し、図示したような左側と右側の2つの探索領域SL,SRを設定し、左側と右側の側壁を別々に検出して行く。 Therefore, considering these two search areas SL for the left and right as illustrated, to set the SR, the left and right side walls continue to detect separately.

【0119】すなわち、各探索領域SL,SRに含まれる立体物データを抽出するには、前記立体物データ抽出部121で抽出された各データの被写体の三次元位置(X,Z座標)を計算し、この三次元位置(X,Z)と各探索領域SL,SRとを、それぞれ比較して判定するのである。 [0119] That is, each search region SL, to extract the three-dimensional object data included in the SR, calculates the three-dimensional position (X, Z coordinates) of the object of the data extracted by the three-dimensional object data extraction unit 121 and, the three-dimensional position (X, Z) and the search area SL, and SR, is to determine by comparing respectively.

【0120】例えば図20に示すような状況では、画像上に前記各探索領域SL,SRを図示すると破線枠のようになり、これらの探索領域内にも、目的とする側壁の他に歩行者や電柱等様々な立体物が存在する。 [0120] In situations such as that shown in FIG. 20, for example, the on the image each search area SL, To illustrate the SR is as broken line frame, also these search region, pedestrian other sidewall of interest and utility poles, etc. various three-dimensional object is present. さらに、 further,
距離画像にはノイズ状の偽データも含まれており、実際には物体が存在しない空間にデータのみが分散して存在する。 The distance image is also included noise-like false data, in practice only the data in the space there is no object exists dispersed. これらのデータを模式的に示すと図21のようになり、この中で側壁は、そのデータが直線状に並んでいる特徴がある。 These data is shown in Figure 21 the illustrated schematically, the side walls in this is characterized in which the data are lined. そこで、ハフ変換を使用してデータの列の直線式を検出することによって側壁の検出を行なう。 Therefore, to detect the side wall by using the Hough transform to detect the linear equation of the columns of data.

【0121】このハフ変換による直線式の検出について説明すると、まず、図22の立体物データPi(座標X [0121] Referring to detect the linear equation according to the Hough transform, first, three-dimensional object data Pi (coordinates X in FIG. 22
i,Zi)に対し、このデータPiの点を通る直線Fiを想定する。 i, to Zi), assuming a linear Fi through the points of the data Pi. この直線の式は、以下の(12)式で示される。 Equation of the line is expressed by the following equation (12).

【0122】 X=afi×Z+bfi (12) 次に図23に示すように、縦軸が式(12)の傾きa [0122] X = afi × Z + bfi (12) Next, as shown in FIG. 23, the vertical axis gradient a of the formula (12)
f、横軸が切片bfのパラメータ空間を設定し、式(1 f, the horizontal axis sets the parameter space sections bf, formulas (1
2)のパラメータafi,bfiに相当する位置に投票を行う。 Parameters 2) afi, to vote at a position corresponding to bfi.

【0123】ここで、傾きafiの値は、前述したように側壁は車輌1と概ね平行と考えられるため、高速道路では、例えば±10゜(afi:±0.18)程度、一般道路では、例えば±20゜(afi:±0.36)程度の範囲で変化させれば実用上十分である。 [0123] Here, the value of the slope afi, since it is considered that generally parallel to the sidewalls vehicle 1 as described above, in the highway, for example, ± 10 ° (afi: ± 0.18) mm, in a general road, for example ± 20 °: practically it is sufficient to vary (afi ± 0.36) in the range of about. また、切片b In addition, the intercept b
fi の値は、左側の側壁を検出する場合、車輌1の左脇である例えばX=−1mから−10m程度の範囲、右側の側壁を検出する場合には、例えばX=+1mから+1 The value of fi is the case of detecting the sidewall of the left, the left side and is for instance X = range of about -10m from -1m of the vehicle 1, when detecting the right side wall, for example, from X = + 1 m +1
0m程度の範囲に制限する。 To limit the range of about 0m. このように、制限範囲を例えば±10m程度にするのは、あまり遠く離れた側壁の検出は実用面の必要性が小さいためである。 Thus, to a limited range of about ± 10 m for example, is for the detection of very far apart sidewalls is less need for practical use.

【0124】このような制限により、パラメータ空間上で投票が行われる範囲は、図23に示すような矩形領域となり、この矩形領域はさらに格子状に分割されて各格子毎に投票される。 [0124] With such a limit, a range vote on the parameter space is performed, becomes a rectangle as shown in FIG. 23, the rectangular area is voted in each grid is further divided in a grid pattern. 式(12)の傾きafiは、所定の変化範囲内(例えば±10゜〜±20゜)であり、格子間隔Δaf毎に順次変化させて設定する。 Inclination afi of formula (12) is within a predetermined variation range (e.g. ± 10 ° ~ ± 20 °), by sequentially changing settings for each lattice spacing? Af. 切片bfi Sections bfi
は、設定された傾きafiと立体物データPiの座標(X Is set inclination afi and solid object data Pi coordinates (X
i,Zi)を式(12)に代入して算出され、これが前記制限範囲内であればパラメータ空間の該当する格子に投票される。 i, Zi) and are calculated by substituting the equation (12), which is found in the corresponding lattice of the limited range, if sooner parameter space.

【0125】検出される側壁の位置、すなわち直線式の傾きと切片の検出精度は、格子間隔Δaf,Δbfによって決定され、格子間隔Δaf,Δbfの設定は、側壁の情報を利用する外部装置側の要求に基づいて行なわれる。 [0125] Detection accuracy of the position of the side wall to be detected, that is, the slope of the linear equation sections, lattice spacing? Af, is determined by .DELTA.Bf, lattice spacing? Af, the .DELTA.Bf configuration, the external device that utilizes the information of the side wall It is performed based on the request. 例えば、道路を通常走行する場合の衝突等の危険の検知として利用する場合には、格子間隔Δafは1〜2 For example, when used as the detection of the risk of collision in the case of normal running on a road, the lattice spacing Δaf 1-2
゜程度、格子間隔Δbfは0.3〜0.6m程度が良い。 ° about, lattice spacing Δbf good about 0.3~0.6m.

【0126】以上のようにして探索領域内の全立体物データに対してパラメータ空間への投票を行なう際、図2 [0126] When performing the vote of the parameter space for all three-dimensional object data in the search area as described above, FIG. 2
2に示すように、直線的に並んだデータが存在すると、 As shown in 2, when linearly aligned data exists,
このデータの列と一致するように設定した直線のパラメータafi,bfiに相当するパラメータ空間の格子は多くの得票を得て、左右の投票領域SL,SR毎に局所極大値が現れる。 Parameters afi straight lines set to match the column of the data, the lattice parameter space corresponding to the bfi is getting a lot of votes, the left and right voting region SL, local maximum values ​​appear in each SR. 図24は、図22に示した立体物データの例を処理してパラメータ空間に投票した結果を示し、 Figure 24 shows the results of the vote in the parameter space by processing the example of the three-dimensional object data shown in FIG. 22,
この例では局所極大値は43である。 Local maxima in this example is 43.

【0127】側壁が存在し、明確な立体物データの列があるとパラメータ空間の局所極大値は大きな値を示し、 [0127] sidewall is present, the local maxima of the there is a clear sequence of the three-dimensional object data parameter space showed a large value,
一方、側壁が無く、複数の物体が分散して存在する状態では局所極大値は小さい値を示す。 On the other hand, the side wall is no local maximum value in a state where a plurality of objects are present dispersed indicates a small value. 従って、パラメータ空間の左右の投票領域SL,SR毎に局所極大値を検出し、検出した局所極大値が判定値以上であれば側壁が存在すると判定することができる。 Therefore, it is possible to determine voting area SL of the left and right parameter space, and detects the local maximum value for each SR, detected local maximum values ​​sidewall exists if the above judgment value. 判定値は設定する探索領域の大きさや格子の間隔等を考慮して設定する。 Judgment value is set in consideration of the distance or the like of the size and the lattice of the search area to be set.

【0128】次に、前記側壁直線検出部122で側壁有りと判定された場合には、側壁範囲検出部123で側壁の前後端の位置を検出する。 [0128] Next, when the it is determined that there is the side wall at the side wall line detection unit 122 detects the position of the front and rear ends of the side walls by the side walls range detector 123. 局所極大値の格子に相当するパラメータaf,bfを読み出すと、側壁は、次の直線式(13)に沿って存在すると推定され、図22及び図24の例で検出された直線式を図示すると図25に示す直線Ffとなる。 Parameter af corresponding to the lattice of the local maximum values, reading the bf, sidewalls, is estimated to be present along the following linear equation (13), To illustrate the detected linear equation in the example of FIGS. 22 and 24 a straight line Ff shown in FIG. 25.

【0129】 X=af×Z+bf (13) まず、直線Ffを中心として幅0.3m〜1.0m程度の領域を側壁候補領域Tfとすると、この領域は、さらに図25のようにZ方向に区分される。 [0129] X = af × Z + bf (13) First, when an area of ​​the side wall candidate region Tf width of about 0.3m~1.0m about a straight line Ff, this region further to the Z direction as shown in FIG. 25 It is classified. 側壁候補領域T Side wall candidate region T
fの幅は、前記パラメータ空間の格子の間隔Δbfにデータの誤差等を考慮して設定する。 The width of f, taking into account for setting the error of the data to the interval Δbf lattice of the parameter space.

【0130】次に、前記探索領域内の立体物データを順次サーベイし、側壁候補領域Tf内にあるデータのみを抽出した後、区分毎に立体物データの個数をカウントし、ヒストグラムを作成する。 [0130] Next, sequentially survey the solid object data of the search area, after extracting only the data that is in the side wall candidate region Tf, counts the number of three-dimensional object data for each segment, to create a histogram. これを模式的に示すと図26のようになり、側壁が存在する部分では大きな度数を示す。 When indicating this schematically is shown in Figure 26, it shows a large degree in the portion where there is the side wall. 従って、度数が判定値以上の区分を検出することによって、この範囲に側壁が存在すると判断することができ、その両端の三次元位置を計算して側壁の前後端位置とする。 Therefore, by frequency to detect the division of equal to or greater than the determination value, it is possible to determine that the side walls in this range are present, and front and rear end position of the side wall by calculating the three-dimensional position of both ends.

【0131】左右両側の側壁を検出するには、まず、側壁直線検出部122で左側の探索領域SLを設定して側壁直線検出処理及び側壁範囲検出処理を行なって左側の側壁を検出した後、再び側壁直線検出部122で右側の探索領域SRを設定し、同様の処理を繰り返して右側の側壁を検出する。 [0131] To detect the left and right side walls of both sides, first, after the detection of the side wall of the left by performing sidewall line detection process and the sidewall range detection process by setting the left search area SL in the side wall line detection unit 122, set the right of the search area SR in the side wall line detection unit 122 again detects the right side wall by repeating the same process.

【0132】以上のようにして求められた道路の形状と側壁の有無、位置等のパラメータは、道路・側壁パラメータ記憶部130に出力され、記憶される。 [0132] The above way shape and presence or absence of the side wall of the road determined, parameters such as the position is output to the road-side wall parameter storage unit 130, and stored.

【0133】次に、ステレオ画像処理装置20による距離情報の算出、及び、道路・側壁検出装置100の動作について説明する。 [0133] Next, calculation of the distance information by stereo image processing apparatus 20, and, the operation of the road-side wall detector 100 will be described.

【0134】まず、ステレオ画像処理装置20では、図27に示すプログラムのステップS101で左右のCCDカメラ11a,11bによって撮像した画像を入力すると、ステップS102で、入力した画像をA/D変換した後、LUT32a,32bで補正し、画像メモリ33 [0134] First, the stereo image processing apparatus 20, CCD camera 11a of the left and right in step S101 of the program shown in FIG. 27, when inputting the image captured by 11b, in step S102, after the image input A / D converted , LUT32a, corrected by 32b, the image memory 33
a,33bに記憶する。 a, and stores it in the 33b.

【0135】これらの画像メモリ33a,33bに記憶される画像は、CCDカメラ11a,11bのCCD素子の全ラインのうち、その後の処理に必要なラインのみであり、例えば0.1秒に1回の割合(テレビ画像で3 [0135] These image memories 33a, an image stored in 33b is, CCD cameras 11a, of the total lines of the CCD element 11b, is only line needed for subsequent processing, for example, once every 0.1 seconds 3 in percentage (TV image
枚に1枚の割合)で書き換えられる。 It is rewritten at a rate of one) to the sheets.

【0136】次に、ステップS103へ進むと、左右画像用の画像メモリ33a,33bから入力バッファメモリ4 [0136] Then, the process proceeds to step S103, the image memory 33a for the left and right images, input from 33b buffer memory 4
1a,41b,42a,42bへ、共通バス80を介して、例えば4ラインずつ左右画像データが読み込まれ、 1a, 41b, 42a, to 42b, through the common bus 80, the left and right image data are read for example by four lines,
読み込んだ左右画像のマッチング、すなわち一致度の評価が行なわれる。 Read the left image matching, i.e. evaluation of the degree of coincidence is carried out.

【0137】その際、左右の画像毎に、前記画像メモリ33a,33bから前記入力バッファメモリ41a,4 [0137] At this time, for each of the left and right of the image, the image memory 33a, 33b from the input buffer memory 41a, 4
1b,42a,42bへの読み込み動作と、シフトレジスタ43a,43b,44a,44bに対する書き込み動作とが交互に行なわれる。 1b, 42a, and read operation to 42b, a shift register 43a, 43b, 44a, and a write operation for 44b are alternately performed. 例えば、左画像では、画像メモリ33aから一方の入力バッファメモリ41aに画像データが読み込まれている間に、他方の入力バッファメモリ41bからシフトレジスタ43bへ読み込んだ画像データの書き出しが行なわれ、右画像では、画像メモリ33bから一方の入力バッファメモリ42aに画像データが読み込まれている間に、他方の入力バッファメモリ42bからシフトレジスタ44bへ読み込んだ画像データの書き出しが行なわれる。 For example, in the left image, while the image data is loaded into one of the input buffer memory 41a from the image memory 33a, the writing of the image data read from the other input buffer memory 41b to the shift register 43b is performed, the right image So while the image data is loaded into one of the input buffer memory 42a from the image memory 33b, writing of the image data is read from the other input buffer memory 42b to the shift register 44b.

【0138】そして、図28に示すように、前記シフトレジスタ43a,43b,44a,44bには、左右の4×4画素の小領域の画像データ(1,1)…(4, [0138] Then, as shown in FIG. 28, the shift register 43a, 43 b, 44a, and 44b, the image data of the small region of the left and right 4 × 4 pixels (1,1) ... (4,
4)が保存され、一方のシフトレジスタ43a(44 4) are stored, one of the shift register 43a (44
a)には1、2ラインのデータが、もう一方のシフトレジスタ43b(44b)には3、4ラインのデータが、 Data 1 and 2 lines in a) is, on the other shift register 43 b (44b) data 3,4 line,
それぞれ1画素毎に奇数ライン、偶数ラインの順序で入る。 Odd lines respectively each pixel enters in the order of the even lines.

【0139】前記各シフトレジスタ43a,43b,4 [0139] each of the shift register 43a, 43b, 4
4a,44bは、それぞれが独立した転送ラインを持ち、4×4画素のデータは例えば8クロックで転送される。 4a, 44b has a transfer line, each independent, data 4 × 4 pixels are transferred in 8 clock for example. そして、これらのシフトレジスタ43a,43b, Then, the shift registers 43a, 43b,
44a,44bは、8段のうちの偶数段の内容を同時にシティブロック距離計算回路45に出力し、シティブロック距離Hの計算が始まると、右画像のデータはシフトレジスタ44a,44b内に保持されて、クロック毎に奇数ライン、偶数ラインのデータが交互に出力され、一方、左画像のデータはシフトレジスタ43a,43bに転送され続け、奇数ライン、偶数ラインのデータが交互に出力されつつ、2クロック毎に1画素分右のほうにずれたデータに置き換わっていく。 44a, 44b outputs the even stage of the contents of the eight stages simultaneously city block distance calculation circuit 45, when the calculation of the city block distance H starts, the data of the right image is hold shift register 44a, in the 44b Te, odd lines per clock, data of even lines are alternately output while the data shift register 43a of the left image, continue to be forwarded to 43 b, the odd lines, while data of the even-numbered lines are alternately output, 2 It replaced the deviation data to the better of one pixel to the right on every clock. この動作を、例えば1 This operation, for example 1
00画素分ずれるまで(200クロック)繰り返す。 00 until the displaced pixels (200 clock) Repeat.

【0140】その後、一つの小領域に対する転送が終了すると、#2アドレスコントローラ87内の左画像用アドレスカウンタに右画像用アドレスカウンタの内容(次の4×4画素の小領域の先頭アドレス)がセットされ、 [0140] Thereafter, when the transfer to one small region is completed, # contents of the right image address counter in the left image address counter in the second address controller 87 (head address of the small area of ​​the next 4 × 4 pixels) It is set,
次の小領域の処理が始まる。 Processing of the next small area begins. シティブロック距離計算回路45では、図29のタイミングチャートに示すように、まず、ピラミッド型構造初段の絶対値演算器に8画素分のデータを入力し、左右画像の輝度差の絶対値を計算する。 In city-block distance calculation circuit 45, as shown in the timing chart of FIG. 29, first, the pyramidal structure first stage of the absolute value calculator and enter the 8 pixels of data, calculates the absolute value of the luminance difference between the left and right images . すなわち、右画素の輝度から対応する左画素の輝度を引き算し、結果が負になった場合、演算命令を変えることにより、引く方と引かれる方を逆にして再び引き算を行なうことにより、絶対値の計算を行なう。 That is, by subtracting the luminance of the left pixel corresponding luminance of the right pixel, if the result is negative, by changing the operation instruction, by performing the person again subtracted by reversed drawn a person pulling the absolute the calculation of the value. 従って、初段では引き算を2回行なう場合がある。 Therefore, there is a case where twice the subtraction in the first stage.

【0141】次いで、初段を通過すると、2段目から4 [0141] Then, when passing through the first stage, from the second stage 4
段目までの第1ないし第3加算器で二つの同時入力データを加算して出力する。 By adding the two simultaneous input data in the first to third adder until stage outputs. そして、最終段の総和加算器で二つの連続するデータを加え合わせて総和を計算し、必要とする16画素分のシティブロック距離Hを2クロック毎に最小・最大値検出部50へ出力する。 The combined addition of two consecutive data sum adder of the final stage to calculate the total sum, and outputs it to the minimum and maximum value detecting unit 50 a city block distance H 16 pixels requiring every two clocks.

【0142】次に、ステップS104へ進み、前記ステップ [0142] Then, the process proceeds to step S104, the step
S103で算出したシティブロック距離Hの最大値HMAX 、 Maximum HMAX of city block distance H calculated in S103,
最小値HMIN を検出する。 To detect the minimum value HMIN. 前述したように、この最大値HMAX の検出と最小値HMIN の検出とは、互いに論理が逆になることと、ずれ量を保存しないこと以外は、全く同じであるため、以下、代表して最小値HMIN の検出について説明する。 Min As described above, the detection of detection and minimum HMIN of this maximum HMAX are that logic is reversed to each other, except that no save the amount of deviation, because it is exactly the same, or less, as a representative It will be described detection of value HMIN.

【0143】まず、最初に出力されてきたシティブロック距離H(ずれ量δ=0)が、図7に示す最小値検出回路51のCラッチ53を介して、演算器46のBレジスタ46bに入力される。 [0143] First, the first city has been outputted to the block distance H (displacement amount [delta] = 0), via the C latch 53 of the minimum value detection circuit 51 shown in FIG. 7, the input to the B register 46b of the arithmetic unit 46 It is. 次のクロックで出力されてきたシティブロック距離H(ずれ量δ=1)は、Cラッチ5 City block distance has been output at the next clock H (displacement amount [delta] = 1) is, C latch 5
3と演算器46のAレジスタ46aとに入れられ、演算器46では、同時に、Bレジスタ46bとの比較演算が始まる。 3 and placed in the A register 46a of the arithmetic unit 46, the arithmetic unit 46, at the same time, the comparison operation between the B register 46b is started.

【0144】前記演算器46での比較演算の結果、Bレジスタ46bの内容よりもAレジスタ46aの内容の方が小さければ、次のクロックのときに、Cラッチ53の内容(すなわちAレジスタ46aの内容)がBレジスタ46bに送られ、このときのずれ量δがDラッチ55に保存される。 [0144] Results of the comparison operation by the arithmetic unit 46, the smaller the better the contents of the A register 46a than the contents of the B register 46b, when the next clock, the contents of the C latch 53 (i.e. in the A register 46a content) is sent to the B register 46b, the deviation amount δ in this case is stored in the D latch 55. このクロックで同時に、次のシティブロック距離H(ずれ量δ=2)がAレジスタ46aとCラッチ53に入れられ、再び比較演算が始まる。 At the same time this clock, the next city block distance H (displacement amount [delta] = 2) is placed in the A register 46a and C latch 53, the comparison operation begins again.

【0145】このようにして、計算途中での最小値が常にBレジスタ46bに、そのときのずれ量δがDラッチ55に保存されながら、ずれ量δが100になるまで計算が続けられる。 [0145] Thus, the minimum value is always B register 46b for calculating the middle, while the deviation amount at that time δ is stored in the D latch 55, is calculated until the deviation amount δ is 100 continues. 計算が終了すると(最後のシティブロック距離Hが出力されてから1クロック後)、Bレジスタ46bとDラッチ55の内容はずれ量決定部60に読み込まれる。 When the calculation is finished (after one clock since the last city block distance H output), read the content out amount determining section 60 of the B register 46b and the D latch 55.

【0146】この間に、前述したシティブロック距離計算回路45では次の小領域の初期値が読み込まれ、時間の無駄を生じないようになっており、一つのシティブロック距離Hを計算するのに、例えば4クロックかかるが、パイプライン構造をとっているため、2クロック毎に新たな計算結果が得られる。 [0146] During this time, the initial value of the city block distance calculation circuit 45 in the next small region described above is read, and so does not cause waste of time, to calculate a single city block distance H, for example it takes 4 clock, since taking a pipeline structure, a new calculation result is obtained for each two clocks.

【0147】ステップS105では、前記ステップ104 でシティブロック距離Hの最小値HMIN、最大値HMAX が確定すると、ずれ量決定部60にて、前述した3つの条件がチェックされ、ずれ量δが決定される。 [0147] In step S105, the minimum value HMIN of city block distance H in the step 104, the maximum value HMAX is determined at displacement amount determination unit 60, it is checked three conditions mentioned above, the deviation amount δ is determined that.

【0148】すなわち、図30のタイミングチャートに示すように、Bバス62bを介して最小値HMIN が演算器61のBレジスタ72にラッチされるとともに、このBレジスタ72の値と比較されるしきい値Ha がAバス62aを介してAレジスタ71にラッチされる。 [0148] That is, as shown in the timing chart of FIG. 30, with the minimum value HMIN is latched in the B register 72 of the arithmetic unit 61 via the B bus 62b, a threshold to be compared with the value of the B register 72 value Ha is latched in the a register 71 through the a bus 62a. そしてALU70で両者が比較され、しきい値Ha よりも最小値HMIN の方が大きければ、スイッチ回路65がリセットされ、以後のチェックの如何に係わらず常に0が出力されるようになる。 Then they are compared with ALU 70, the larger the better minimum HMIN than the threshold Ha, the switch circuit 65 is reset, so that is always 0 regardless of the subsequent check is output.

【0149】次に、Aレジスタ71に最大値HMAX がラッチされ、このAレジスタ71にラッチされた最大値H [0149] Then, the maximum value HMAX is latched in the A register 71, a maximum value H latched in the A register 71
MAX とBレジスタ72に保存されている最小値HMIN との差が計算されて、その結果がFレジスタ73に出力される。 The difference between the minimum value HMIN stored in MAX and B register 72 is calculated and the result is output to the F register 73. 次のクロックでAレジスタ71にしきい値Hb がラッチされ、Fレジスタ73の値と比較される。 Threshold Hb is latched in the A register 71 in the next clock, is compared to the value of the F register 73. Aレジスタ71にラッチされたしきい値Hb よりもFレジスタ73の内容の方が小さければ同様にスイッチ回路65がリセットされる。 The switch circuit 65 similarly if is smaller towards the contents of the A register 71 F register 73 than latching threshold Hb in is reset.

【0150】次のクロックからは、隣接画素間の輝度差の計算が始まる。 [0150] From the next clock, beginning with the calculation of the luminance difference between adjacent pixels. 輝度データが保存されている2組のシフトレジスタ64a,64bは10段構成であり、それぞれ、シティブロック距離計算部40の1,2ライン用のシフトレジスタ44aと、3,4ライン用のシフトレジスタ44bの後段に接続されている。 Two pairs of shift register 64a which luminance data is stored, 64b is 10-stage configuration, respectively, and the shift register 44a for 1,2 line of the city block distance calculation unit 40, a shift register for 3,4 line It is connected to the subsequent stage of 44b. 前記シフトレジスタ64a,64bの出力は最後の段とその2つ手前の段から取り出され、それぞれが、Aバス62aとBバス62bとに出力される。 The shift register 64a, the output of 64b is taken from the last stage and its two front stages, respectively, are outputted to the A bus 62a and the B bus 62b.

【0151】輝度差の計算が始まるとき、前記シフトレジスタ64a,64bの各段には小領域中の各場所の輝度データが保持されており、初めに前回の小領域の第4 [0151] When the calculation of the brightness difference begins, the shift register 64a, and each stage of 64b are held luminance data of each location in the small area, the fourth previous small region in the beginning
行第1列の輝度データと、今回の小領域の第1行第1列の輝度データとが、演算器61のAレジスタ71とBレジスタ72とにラッチされる。 And brightness data of the row first column, and the present brightness data of the first row and first column of the small region is latched in the A register 71 and B register 72 of the arithmetic unit 61.

【0152】そして、Aレジスタ71の内容とBレジスタ72の内容の差の絶対値が計算され、結果がFレジスタ73に保存される。 [0152] Then, the absolute value of the difference between the contents of the content and the B register 72 of the A register 71 is calculated, the result is stored in the F register 73. 次のクロックでAレジスタ71にしきい値Hc がラッチされ、Fレジスタ73の値と比較される。 Threshold Hc are latched in the A register 71 in the next clock, is compared to the value of the F register 73.

【0153】前記演算器61での比較結果、Aレジスタの内容(しきい値Hc )よりもFレジスタ73の内容(輝度差の絶対値)のほうが大きければ、前記スイッチ回路65からずれ量δあるいは”0”が出力され、、A [0153] comparison result by the computing unit 61, the larger the better the contents of the F register 73 than the contents of the A register (threshold Hc) (absolute value of the luminance difference), the amount of deviation from the switching circuit 65 [delta], or "0" is output ,, a
レジスタの内容よりもFレジスタ73の内容のほうが小さければ”0”が出力されて、出力バッファメモリ66 Smaller towards the contents of the F register 73 than the contents of register "0" is output, the output buffer memory 66
a,66bの該当する小領域の第1行第1列に当たる位置に書き込まれる。 a, it is written into the first row position corresponding to the first column of the relevant small region 66b.

【0154】前記演算器61で隣接画素間の輝度差としきい値Hc との比較が行なわれている間に、シフトレジスタ64a,64bは1段シフトする。 [0154] While comparing the luminance differences with a threshold value Hc between adjacent pixels in the arithmetic unit 61 is being performed, the shift register 64a, 64b are shifted one stage. そして今度は、 And now,
前回の小領域の第4行第2列と、今回の小領域の第1行第2列の輝度データに対して計算を始める。 Last and fourth row and the second column of the small areas, begin calculations on this luminance data of the first row and the second column of the small region. このようにして小領域の第1列、第2列に対し交互に計算を行なった後、第3列、第4列に対して同様に計算を進める。 The first column of the thus small area, after performing the calculation alternately with respect to the second column, third column, proceed similarly calculated with respect to the fourth column.

【0155】計算中は、シフトレジスタ64a,64b [0155] In the calculation, the shift register 64a, 64b
の最終段と最初の段がつながってリングレジスタになっており、小領域全体を計算した後にシフトクロックが2 Final stage and the first and stage become the ring register connected is a shift clock after calculating the entire small region 2
回追加されるとレジスタの内容が計算前の状態に戻り、 Once added times the contents of the register is to return to the state before the calculation,
次の小領域の輝度データが転送され終わったときに、最終段とその前の段に今回の小領域の第4行のデータが留められる。 When the next small region luminance data has finished being transferred, the data in the fourth row of the current small region last stage and its previous stage is fastened.

【0156】このように、ずれ量決定のための計算中に次のデータをAバス62a,Bバス62bに用意したり、結果の書き込みを行なうため、計算に必要な2クロックのみで一つのデータが処理される。 [0156] Thus, to perform the next data A bus 62a during the calculation for the amount of deviation determined, or prepared in B bus 62b, the writing of the result, one data only in two clock necessary for the calculation There is processed. この結果、初めに行なう最小値HMIN 、最大値HMAX のチェックを含めても、例えば43クロックで全ての計算が終了し、一つの小領域に対して、シティブロック距離Hの最小値HMI As a result, the minimum value HMIN performed initially, be included to check the maximum HMAX, all calculations completed, for example 43 clock, for one small region, the minimum HMI of city block distance H
N 、最大値HMAX を求めるのに要する時間は充分に余裕があり、さらに機能を追加することも可能となっている。 N, there is sufficient margin time is required to obtain the maximum HMAX, is also capable of additional functionality.

【0157】そして、ずれ量δが決定されると、ステップS106で、出力バッファメモリ66a,66bからデュアルポートメモリ90へ、ずれ量δを距離分布情報として出力し、ステレオ画像処理装置20における処理が終了する。 [0157] Then, when the deviation amount δ is determined, in step S106, the output buffer memory 66a, to the dual port memory 90 from 66b, and outputs the shift amount δ as distance distribution information, the processing in the stereo image processing apparatus 20 finish.

【0158】この出力バッファメモリ66a,66b [0158] The output buffer memory 66a, 66b
は、前述した入力バッファメモリ41a,41b,43 It includes an input buffer memory 41a as described above, 41b, 43
a,43bと同様、例えば4ライン分の容量があり、2 a, similar to 43 b, has a capacity of for example 4 lines, 2
組の一方に書き込んでいる間にもう一方から前記デュアルポートメモリ90へ距離分布情報を送り出す。 Feeding the distance distribution information to the dual port memory 90 from the other while writing to a set of one.

【0159】前記デュアルポートメモリ90へ書き込まれた距離分布情報からは、CCDカメラ11,12の取付け位置と焦点距離等のレンズパラメータとから、各画素に対応する物体のXYZ空間における三次元位置を算出することができ、情報量の低下なく車外の対象物までの距離を正確に検出することができる。 [0159] from said dual port distance distribution information written in the memory 90, and a lens parameters such as mounting position and focal length of the CCD cameras 11 and 12, the three-dimensional position in the XYZ space of the object corresponding to each pixel calculation it is possible to, the distance to the outside of the object without lowering the amount of information can be accurately detected.

【0160】次に、ステレオ画像処理装置20のタイミングについて、図31に示すタイミングチャートに従って説明する。 [0160] Next, the timing of the stereo image processing apparatus 20 will be described with reference to a timing chart shown in FIG. 31.

【0161】まず初めに、同期を取っている左右のCC [0161] First of all, the left and right are synchronized CC
Dカメラ11a,11bからのフィールド信号を0.1 D camera 11a, a field signal from 11b 0.1
秒毎(3画面に1画面の割合)に、画像メモリ33a, Every second (one screen ratio of the three screens), the image memory 33a,
33bに書き込む。 Write to 33b.

【0162】次に、取り込み終了信号を受けて、4ライン毎のブロック転送が始まる。 [0162] Next, in response to the capture end signal, begins block transfer of every four lines. この転送は、右画像、左画像、結果の距離分布像の順に3ブロック転送する。 This transfer, right image, left image, three blocks sequentially transferred to the result of the distance distribution image.

【0163】この間に、一方の入出力バッファメモリに対してずれ量δの計算が行われる。 [0163] During this time, the calculation of the shift amount δ is made to one of the input and output buffer memory. そして、ずれ量δの計算時間を考慮し、所定時間待機してからもう一方の入出力バッファメモリに対して転送を始める。 Then, taking into account the calculation time of the shift amount [delta], begin transfer to the other output buffer memory after waiting a predetermined time.

【0164】一つの右画像の4×4画素の小領域に対するシティブロック距離Hの計算は、左画像について10 [0164] Calculation of city block distance H to the small region of 4 × 4 pixels of one right image for the left image 10
0画素ずらしながら計算するため、100回行われる。 0 To calculate while shifting pixels, it is performed 100 times.
一つの領域のシティブロック距離Hが計算されている間に、その前の領域のずれ量δが各チェックを経て距離分布として出力される。 While the city block distance H of one region is calculated, the deviation amount of the previous region δ is output as distance distribution through each check.

【0165】処理すべきライン数を200とすると4ライン分の処理を50回繰り返すことになり、計算の開始時に最初のデータを転送するための4ライン分の処理時間、計算終了後に最後の結果を画像認識部に転送するための4ライン分の処理時間と、計8ライン分の処理時間がさらに必要となる。 [0165] When 200 the number of lines to be processed becomes fourth lines the process to be repeated 50 times, 4 processing time for one line for transferring the first data at the start of the calculation, the last result after finishing the calculation and a fourth processing time for one line to be transferred to the image recognition unit, is further required processing time for a total of eight lines.

【0166】最初の入力画像ラインの転送を開始してから最後の距離分布を転送し終わるまでの時間は、実際の回路動作の結果、0.076秒である。 [0166] The time from the start of the transfer of the first input image lines until we transfer the last distance distribution, the results of the actual circuit operation, a 0.076 seconds.

【0167】次に、道路・側壁検出装置100の動作について、道路検出部110の動作を図32〜図35のフローチャートに従って、また、側壁検出部120の動作を図36〜図38のフローチャートに従って説明する。 [0167] Next, the operation of the road-side wall detection device 100, in accordance with the flowchart of FIGS. 32 35 The operation of the road detecting unit 110, also the operation of the side wall detection unit 120 according to the flowchart of FIGS. 36 to 38 described to.

【0168】道路検出部110では、まず、道路形状推定処理を行なう。 [0168] In the road detecting unit 110 first performs road shape estimation processing. すなわち、図32に示すプログラムのステップS201で、前回(Δtsec前)の道路形状パラメータを読み込むと、次いで、ステップS202へ進み、車速センサ3の出力信号V、舵角センサ4の出力信号ηを読み込む。 That is, in step S201 of the program shown in FIG. 32 reads the reads the road shape parameters of the previous (Derutatsec ago), then the process proceeds to step S202, the output signal V of the vehicle speed sensor 3, the output signal η of the steering angle sensor 4 .

【0169】次に、ステップS203へ進むと、前記ステップS202で読み込んだ車速センサ3の出力信号と舵角センサ4の出力信号ηを使ってΔt秒間の車輌1の動きを算出し、ステップS204で、Δt秒後の車輌1の位置から見た道路形状を推定して道路形状パラメータを修正する。 [0169] Then, the process proceeds to step S203, and calculates the motion of the vehicle 1 of Δt seconds using the output signal η of the output signal and the steering angle sensor 4 of the vehicle speed sensor 3 read in step S202, in step S204 modifies the road shape parameter by estimating a road shape as viewed from the position of the vehicle 1 after Δt seconds.

【0170】以上の道路形状推定処理が終わると、三次元ウインドウ発生処理へ移行し、ステップS205で、道路モデルの第1区間R1の左側の直線要素Ldのパラメータ(a,b,c,d)を読み込むと、ステップS206で、 [0170] When the above road shape estimation processing is completed, the process proceeds to the three-dimensional window generation process, at step S205, the parameters of the left linear element Ld of the first section R1 of a road model (a, b, c, d) When you import, in step S206,
この直線要素Ldを中心とする三次元ウインドウWD3A Dimensional window WD3A centered on this linear element Ld
を設定する。 To set.

【0171】その後、ステップS207へ進み、前記ステップS206で設定した三次元ウインドウWD3Aから二次元画像上での二次元ウインドウWD2Aを設定し、次のステップS208以降へ進む。 [0171] Then, the process proceeds to step S207, sets the two-dimensional window WD2A from the three-dimensional window WD3A set at step S206 on a two-dimensional image, the process proceeds to step S208 and later.

【0172】ステップS208〜ステップS217は、直線要素検出処理であり、ステップS208で、二次元ウインドウW [0172] Step S208~ step S217 is a linear element detecting process, at step S208, the two-dimensional window W
D2A内のデータを読み込むと、ステップS209で、各データの三次元位置を計算し、ステップS210で、距離Zの値が三次元ウインドウWD3Aの長さの範囲内にあるデータを選別する。 When reading the data in the D2A, in step S209, the three-dimensional position of each data is calculated, in step S210, the value of the distance Z is selected the data in the range of the length of the three-dimensional window WD3A.

【0173】そして、ステップS211へ進み、先に推定した道路形状の直線要素Ldと被写体の三次元位置を比較してX方向、Y方向の位置のずれ量ΔX、ΔYを計算し、ステップS212で、これらのずれ量ΔX,ΔYが、三次元ウインドウWD3Aの幅、高さの範囲内にあるデータのみを選別し、他は除外する。 [0173] Then, the process proceeds to step S211, by comparing the three-dimensional position of the linear element Ld and the subject road shape estimated earlier X direction, deviation amounts ΔX of position in the Y direction, to calculate the [Delta] Y, in Step S212 these shift amounts [Delta] X, [Delta] Y is a three-dimensional window WD3A width, sorted data only within the scope of the height and the other excluded.

【0174】その後、ステップS213へ進み、前記ステップS212で計算したX方向、Y方向のずれ量ΔX,ΔYに応じて、そのデータの重み係数を決定し、各データに、 [0174] Then, the process proceeds to step S213, the calculated X-direction in the step S212, the shift amount ΔX in the Y-direction, in response to [Delta] Y, determines the weight coefficients of the data, each data,
ずれ量ΔX,ΔYに応じた重み係数を付加する。 Deviation amount [Delta] X, adds a weight coefficient corresponding to [Delta] Y.

【0175】次に、ステップS214へ進むと、最小自乗法を用いて水平方向(XZ平面)および垂直方向(YZ平面)の直線式を導出し、パラメータ(a,b,c,d) [0175] Then, the process proceeds to step S214, the derived linear equation in the horizontal direction (XZ plane) and vertical (YZ plane) by using the least squares method, the parameters (a, b, c, d)
を求め、これを新しい直線要素Ldの候補とする。 Look, this is a candidate for a new linear element Ld.

【0176】そして、ステップS215で、道路モデルの右側のラインの直線要素Ldの候補が求められたか否かを調べ、その結果がNOの場合には、ステップS216で、右側の直線要素Ldのパラメータを読み込んで前述のステップS206へ戻り、結果がYESの場合には、ステップS2 [0176] Then, in step S215, the checked whether the candidate of the linear element Ld of the right line of the road model obtained, if the result is NO, at step S216, the parameters of the right linear element Ld Loading returns to aforementioned step S206, if the result is YES, step S2
17へ進む。 It advances to 17.

【0177】ステップS217では、求めた直線要素Ldの候補が最終区間の右側のものであるか否かを調べ、最終区間でない場合には、ステップS218で、次の区間の左側の直線要素Ldのパラメータを読み込んで、前述のステップS206へ戻り、同様の処理を繰り返す。 [0177] In step S217, the candidate of the linear element Ld obtained is examined whether or not the right end section, if not the last section, in step S218, the next section of the left side of the linear element Ld Loading parameter, it returns to step S206 described above to repeat the same process.

【0178】一方、前記ステップS217で、求めた直線要素Ldの候補が最終区間の右側のものであり、道路モデルを構成する全ての直線要素Ldの候補を求め終えた場合には、前記ステップS217からステップS219以降へ進み、道路形状判定処理を実行する。 [0178] On the other hand, in step S217, are those candidates linear element Ld obtained is of the right end section, when you have finished seeking candidates of all linear element Ld constituting the road model, the step S217 proceeds from the step S219 and later, executes the road shape determination process.

【0179】すなわち、ステップS219で、第1区間R1 [0179] That is, in step S219, the first section R1
の直線要素Ldのパラメータを読み込むと、ステップS2 When reading the parameters of the linear element Ld of step S2
20で、左右の直線要素Ldの水平方向の平行度を調べて、その妥当性を判定し、ステップS221で、左右の直線要素Ldの垂直方向の平行度を調べ、その妥当性を判定する。 20, examine the horizontal parallelism of the left and right linear elements Ld, to determine its validity, at step S221, examines the vertical parallelism of the left and right linear element Ld, determines its validity.

【0180】その後、ステップS222へ進み、前記ステップS220,S221における判定結果、左右いずれかの直線要素が妥当でないと判定された場合、あるいは、道路上の白線が破線状であったり、障害物に隠れて見えないためにデータが不足して、左右いずれかの直線要素の候補がない場合に対し、検出された側の直線要素を車線の幅だけ並行移動して代用することにより、欠落する直線要素を補完し、ステップS223へ進む。 [0180] Then, the process proceeds to step S222, the determination result in the step S220, S221, if the left or right of the linear element is determined to be invalid, or or white lines on the road is a broken line shape, the obstacle a lack of data to not visible, to when there is no candidate for the left or right of the straight line element, the linear element of the detected side by substituting concurrently moved by the width of the lane, missing linearly to complement the elements, the process proceeds to step S223.

【0181】尚、左右両方の直線要素が無しの場合には、先に推定した道路形状の直線要素を代用する。 [0181] Incidentally, when the linear elements of both left and right without the substituting linear element road shape estimated earlier.

【0182】ステップS223では、最終区間か否かを調べ、最終区間でない場合には、ステップS224で、次の区間の左右の直線要素Ldのパラメータを読み込んで前述のステップS220へ戻り、最終区間の場合には、ステップ [0182] In step S223, checks whether the last leg or not, if not the last interval, in step S224, reads the parameters of the linear element Ld of the left and right next interval returns to the aforementioned step S220, the last leg in this case, step
S223からステップS225へ進んで、各直線要素Ldのパラメータを出力用メモリ100eへ書き込んでプログラムを終了する。 Proceeds from S223 to step S225, and ends the program writes the parameters of the linear element Ld to the output memory 100 e.

【0183】次に、側壁検出部120の動作について説明する。 [0183] Next, the operation of the side wall detection unit 120. 図36のプログラムにおけるステップS301〜S3 Steps in the program of FIG. 36 S301~S3
07は、立体物データ抽出処理であり、まず、ステップS3 07 is a three-dimensional object data extraction processing, first, the step S3
01で道路形状パラメータを読み込むと、ステップS302 When reading the road shape parameters at 01, step S302
で、距離画像から最初の距離データを読み込む。 In, it reads the first distance data from the distance image.

【0184】次に、ステップS303へ進み、被写体の位置(X,Z座標)と高さ(Y座標)とを計算し、ステップ [0184] Next, the process proceeds to step S303, the position of the subject (X, Z-coordinate) and height (Y coordinate) were calculated, step
S304で、距離Zに於ける道路表面の高さH(Y座標)を計算し、ステップS305で、道路面より上、且つ自車輌1 In S304, the distance Z to in road surface height H (Y coordinate) were calculated, in step S305, above the road surface, and the own vehicle 1
の高さ以下にあるデータを立体物データとして抽出する。 Extracting the data in the following height as three-dimensional object data.

【0185】そして、ステップS306へ進んで最終データか否かを調べ、最終データでない場合、ステップS307で次の距離データを読み込むと前述のステップS303へ戻って処理を繰り返し、最終データの場合にはステップS306 [0185] Then, it is checked whether the last data proceeds to step S306, if not the last data, reads the next distance data and repeats the process returns to the aforementioned step S303 in step S307, if the last data step S306
からステップS308へ進む。 From the processing proceeds to step S308.

【0186】図37のステップS308〜ステップS317は、 [0186] step S308~ step S317 of FIG. 37,
側壁直線検出処理であり、ステップS308で、最初の立体物データを読み込むと、ステップS309で、被写体の位置(X,Z座標)を計算し、ステップS310で、計算した位置(X,Z座標)が探索領域内か否かを調べる。 A sidewall line detection process, in step S308, the loading of the first three-dimensional object data, at step S309, the calculated position of the object (X, Z coordinates) in step S310, the calculated position (X, Z coordinates) There checks whether the search area.

【0187】計算した位置(X,Z座標)が探索領域外であるときには、前記ステップS310からステップS312へジャンプし、探索領域内のとき、前記ステップS310からステップS311へ進んでパラメータ空間へ投票し、ステップS312へ進む。 [0187] The calculated position (X, Z coordinates) when it is outside the search area, and jumps from the step S310 to step S312, the search time in the region, and vote to parameter space proceeds from step S310 to step S311 , the process proceeds to step S312.

【0188】ステップS312では、処理した立体物データが最終データか否かを調べ、最終データでないときには、ステップS313で、次の立体物データを読み込んで、 [0188] At step S312, the processed three-dimensional object data is checked whether the last data, when it is not the last data in step S313, reads the next solid object data,
前述のステップS309からの処理を繰り返し、最終データのとき、ステップS314へ進んで、パラメータ空間上の局所極大値を検出する。 Repeating the processing from step S309 described above, when the final data, the process proceeds to step S314, the detecting a local maximum value of the parameter space.

【0189】次いで、ステップS315へ進むと、検出した局所極大値が判定値以上か否かを調べ、判定値よりも小さいとき、ステップS316で側壁は存在しないと判定し、 [0189] Then, the process proceeds to step S315, the local maximum value detected is checked whether the determination value or more, is smaller than the judgment value, it is determined that the side wall does not exist in step S316,
判定値以上のとき、ステップS317で、側壁が存在すると判定して、ステップS318へ進む。 When the above judgment value, at step S317, it is determined that the side walls are present, the process proceeds to step S318.

【0190】図38のステップS318以下は、側壁範囲検出処理であり、ステップS318で、前記ステップS314で検出した局所極大値の格子に相当するパラメータ、すなわち局所極大点が示す直線式のパラメータ(af,bf) [0190] Step S318 in FIG. 38 below are sidewall range detection process in step S318, parameters corresponding to the lattice of the local maximum value detected by the step S314, the ie linear equation indicated by the local maximum point parameters (af , bf)
を読み込むと、ステップS319へ進んで、側壁候補領域を設定する。 When read, the process proceeds to step S319, sets the sidewall candidate region.

【0191】そして、ステップS320で、探索領域内の最初の立体物データを読み込み、ステップS321で、被写体の位置(X,Z座標)を計算すると、ステップS322で、 [0191] Then, in step S320, it reads the first three-dimensional object data in the search area, in step S321, when calculating the position of the object (X, Z coordinates), at step S322,
側壁候補領域内にあるデータを抽出し、ステップS323 Extracting the data in the sidewall candidate region, step S323
で、処理したデータが探索領域内の最終データか否かを調べる。 In, processed data is checked whether the last data in the search area.

【0192】探索領域内の最終データでないときには、 [0192] When it is not the final data in the search area,
前記ステップS323からステップS324へ分岐して探索領域内の次の立体物データを読み込んで、前述のステップS3 It reads the next solid object data of the search area branches from step S323 to step S324, described above step S3
21へ戻り、探索領域内の最終データであるときには、前記ステップS323からステップS325へ進んで、側壁候補領域内のデータを使ってヒストグラムを作成する。 Returning to 21, when the final data within the search area, the process proceeds from step S323 to step S325, a histogram with the data in the sidewall candidate region.

【0193】次に、ステップS326へ進むと、作成したヒストグラムの度数が判定値以上の区分を検出し、ステップS327で、ヒストグラムの度数が判定値以上の区間の両端の三次元位置、すなわち側壁の前後端位置を算出し、 [0193] Then, the process proceeds to step S326, the frequency of the histogram created detects the division of equal to or greater than the determination value, in step S327, the three-dimensional positions of both ends of the power determination value or more sections of the histogram, i.e., the side walls of the calculating the front and rear end position,
ステップS328で、側壁の有無、位置、方向、前後端の位置等のパラメータを出力用メモリ100eへ書き込んでプログラムを終了する。 In step S328, the presence or absence of sidewall position, direction, and ends the program writes the parameters such as the position of the front and rear ends to the output memory 100 e. 尚、このプログラムは、左側の側壁について実行した後、右側の側壁について実行する。 Note that this program, after performing the side wall of the left, to perform the right side wall.

【0194】このように、本実施例においては、三次元の位置に関する特徴を利用するため、側壁の色や形、材質等の見掛け上の特徴に影響されにくく、一般的なガードレールのみでなく、様々な手擦りや植え込み、道路工事のパイロンの列等も側壁として検出でき、自動車の走行を規制するものとしての側壁を的確に検出することができ、しかも、側壁の有無や位置を、直線式のパラメータや前後端の座標といった簡素なデータ形態に変換するため、利用側でのデータの取扱いや処理が容易となり、 [0194] Thus, in the present embodiment, in order to utilize the characteristics related to the position of the three-dimensional, the side walls of color and shape, less sensitive to the characteristics of the apparent, such material, not only general guardrail, various hand rubbing or implantation, column pylon road construction, etc. can also be detected as the side wall, the side walls as a restricts the travel of the automobile can be detected accurately, moreover, the presence and position of the side wall, the linear equation to convert the parameters and simple data such forms as front and rear ends of the coordinates, it is easy to handle and process data in the utilization-side,
外部装置を接続することにより、より高度な危険警報や事故回避の機能を実現することができるのである。 By connecting an external device, it is possible to achieve a more advanced features of the hazard alarm and avoiding accidents.

【0195】図39及び図40は本発明の第2実施例に係り、図39は探索領域と格子区分を示す説明図、図4 [0195] FIGS. 39 and 40 relates to a second embodiment of the present invention, FIG 39 is an explanatory diagram showing a search area and the lattice division, FIG. 4
0は側壁直線検出処理のフローチャートである。 0 is a flowchart of the sidewall line detection processing.

【0196】本実施例は、前述の第1実施例に対し、側壁直線検出におけるハフ変換の処理を変更するものである。 [0196] This example with respect to the first embodiment described above, and changes the process of Hough transform in sidewall line detection. 一般的に、ハフ変換は時間を要する処理であり、前述の第1実施例においても処理時間を短縮するように種々制限を設けているが、前述の第1実施例ではハフ変換の処理を立体物データ毎に行うために、立体物データの数が画像の状況によって変化すると処理時間も変化する。 Generally, the Hough transform is a time consuming process, is provided with the various restriction so as to shorten the processing time in the first embodiment described above, the three-dimensional processing of the Hough transform in the first embodiment described above to do for each object data, the number of three-dimensional object data is changed to as the processing time varies depending on the situation of an image.

【0197】本実施例は、この点を改良するものであり、前述の第1実施例における側壁の探索領域SL,S [0197] This embodiment is intended to improve this point, the search area SL of the side wall in the first embodiment described above, S
Rを、図39に示すように格子状に区分し、それぞれに番号を付け、ハフ変換の処理を設定した格子の数だけ実行する。 The R, divided in a lattice shape as shown in FIG. 39, numbered respectively, to perform the number of gratings setting processing of the Hough transform. ここで、区分の間隔は、X方向は、例えば0. Here, the interval of division, X direction is, for example 0.
3m〜0.6m程度、Z方向は、距離データの精度や側壁の情報を利用する装置側の要求を考慮して設定するが、例えば、概ね1m〜5m程度である。 About 3M~0.6M, Z direction is set in consideration of the distance data request accuracy and sidewalls information utilizing device side of, for example, it is generally about 1M~5m.

【0198】以下、図40のフローチャートに従って、 [0198] Hereinafter, in accordance with the flowchart of FIG. 40,
側壁直線検出処理について説明する。 Described sidewall line detection processing. 尚、このフローチャートは、前述の第1実施例の側壁直線検出処理のフローチャート(図37)に代わるものであり、その他の処理は、前述の第1実施例と同じである。 Incidentally, this flowchart, replaces the flowchart of sidewall line detection processing of the first embodiment described above (FIG. 37), other processes are the same as in the first embodiment described above.

【0199】まず、前述の立体物データ抽出処理において抽出された各データに対し、ステップS401で最初の立体物データを読み込むと、ステップS402で、被写体の三次元位置(X,Z座標)を計算し、これが探索領域S [0199] First, calculate for each data extracted in the three-dimensional object data extraction processing described above, when reading the first three-dimensional object data in step S401, in step S402, the three-dimensional position of a subject (X, Z coordinates) and, this is the search area S
L、SRに含まれる場合には、ステップS403で、該当する格子番号を計算し、ステップS404で、その格子内のデータ数のカウントを更新する。 L, if included in the SR, in step S403, calculates the appropriate grating number, at step S404, and updates the count of the number of data in the grid.

【0200】続いて、ステップS405で最終データか否かを調べ、最終データでないときには、ステップS406で、 [0200] Subsequently, it is checked whether or not the final data in step S405, when it is not the final data, in step S406,
次の立体物データを読み込んで、同様にステップS402以降の処理を繰り返し、格子毎のデータ数を求める。 Reads the next solid object data, also step S402 repeats the subsequent processing to determine the number of data for each grid.

【0201】そして、前記ステップS405で、最終データとなったとき、前記ステップS405からステップS407へ進んで最初の格子データを読み込むと、ステップS408で、 [0202] Then, in step S405, when it becomes a final data and reads the first grid data proceeds from step S405 to step S407, at step S408,
格子中心の位置(X,Z座標)を計算してステップS409 Position of the grating centration (X, Z coordinates) step S409 to calculate the
でパラメータ空間への投票を行ない、ステップS410へ進む。 In performs a vote of the parameter space, the process proceeds to step S410.

【0202】すなわち、前述の第1実施例では、探索領域内のデータ毎に直線の設定と投票を行なったが、本実施例においては、各格子毎にデータが、その格子の中心位置にまとまって存在するとして直線を設定し、投票は格子のデータ数だけまとめて行なうのである。 [0203] That is, in the first embodiment described above, but performed and vote straight set for each data in the search region, in the present embodiment, data for each grating, together in the center position of the grating set linear as there Te, voting is performed collectively by the number data of the lattice. この場合、設定する直線式(12)の傾きafi や切片bfi In this case, the slope afi and intercept bfi the linear equation (12) to be set
の範囲は、前述の第1実施例と同じである。 The range is the same as the first embodiment described above.

【0203】また、投票されたパラメータ空間から局所極大値を求め、側壁の有無を判定するプロセスは、前述の第1実施例と同じであり、ステップS410で、最終格子か否かを調べ、最終格子でないときには、ステップS411 [0203] Also, determine the local maximum value from the polled parameter space, the process determines the presence or absence of sidewall is the same as the first embodiment described above, at step S410, checks whether the final grid, the final when not lattice, step S411
で次の格子データを読み込んでステップS408からの処理を繰り返し、最終格子になったとき、ステップS412へ進んで、パラメータ空間上の局所極大値を検出すると、ステップS413で、検出した局所極大値が判定値以上か否かを調べ、判定値より小さいとき、ステップS414で、側壁は存在しないと判定し、判定値以上のとき、ステップS4 In repeating the processing from step S408 reads the next grid data, when it becomes the final grid, the process proceeds to step S412, upon detecting a local maximum value of the parameter space, in step S413, the local maximum value detected checks whether the determination value or more, is smaller than the determination value, at step S414, determines that no side walls there, when the above determination value, step S4
15で、側壁が存在すると判定する。 In 15, it is determined that the side walls are present.

【0204】本実施例では、立体物データを格子状空間毎にまとめ、ハフ変換の処理を設定した格子の数だけ実行するため、側壁検出の際の処理時間を一定とすることができ、特に、立体物データの数が多い場合には、大幅に処理時間を短縮できる効果がある。 [0204] In this embodiment, summarizes the three-dimensional object data for each grid-like space, to perform the number of gratings setting processing of the Hough transform can be a constant processing time of the side wall detection, particularly , when the number of three-dimensional object data is large, which reduces significantly the processing time. その他の作用・効果は前述の第1実施例と同様である。 Other functions and effects of the same as the first embodiment described above.

【0205】図41〜図45は本発明の第3実施例に係り、図41は車外監視装置の全体構成図、図42は車外監視装置の回路ブロック図、図43は側壁検出装置の機能ブロック図、図44は画像の例を示す説明図、図45 [0205] Figures 41 45 relates to a third embodiment of the present invention, Figure 41 is an overall configuration diagram of a vehicle surroundings monitoring apparatus, FIG. 42 is a circuit block diagram of a vehicle surroundings monitoring apparatus, FIG. 43 is a functional block wall detector FIG, 44 is an explanatory diagram showing an example of an image, FIG. 45
は立体物の二次元分布の例を示す説明図である。 Is an explanatory diagram showing an example of a two-dimensional distribution of the three-dimensional object.

【0206】本実施例の車外監視装置200は、図41 [0206] vehicle surroundings monitoring apparatus 200 of this embodiment, FIG. 41
に示すように、前述の第1実施例のステレオ画像処理装置20に代えて、立体物の二次元的な位置分布を認識する通路パターン認識装置210を採用し、この通路パターン認識装置210に側壁検出装置220を接続したものであり、通路パターン認識装置210によって得られる立体物の二次元分布の位置情報を前述の第1の実施例と同様の方法で処理し、側壁を検出するものである。 As shown in, in place of the stereo image processing apparatus 20 of the first embodiment described above, the two-dimensional location distribution of the three-dimensional object adopted recognizing passage pattern recognition apparatus 210, the side wall in the passage pattern recognition device 210 is obtained by connecting the detection device 220, the position information of the two-dimensional distribution of the three-dimensional object obtained by a passage pattern recognition apparatus 210 is treated with the first embodiment the same method as described above, and detects the side wall .

【0207】前記側壁検出装置220に接続する通路パターン認識装置210は、周知の装置を適用することができ、例えば、計測自動制御学会論文集Vol. [0207] passage pattern recognition apparatus 210 to be connected to the side wall detection device 220 can be applied to well-known devices, for example, Instrument and Control Engineers Proceedings Vol. 21, 21,
No. No. 2(昭和60年2月)「障害物の2次元的な分布の認識手法」に記載されている通路パーン認識装置等を適用することができる。 Can be applied 2 (Showa February 1960) passage Pan recognition device is described in "Recognition of two-dimensional distribution of obstacles", and the like.

【0208】前記通路パターン認識装置210は、第1 [0208] The passage pattern recognition apparatus 210, first
実施例のステレオ画像処理装置20と同様に2台のカメラの画像を処理して被写体までの距離分布を検出するものであるが、装置内部のデータ処理方法が異なるため立体物の情報のみが出力され、第1実施例のような白線による道路形状の検出はできない。 Although those processes the image of the two cameras in the same manner as the stereo image processing apparatus 20 of the embodiment detects the distance distribution to the object, only the information of the device inside the data processing method is different for the three-dimensional object is an output It is unable white line detection of the road shape by such as the first embodiment.

【0209】また、本実施例では、車外の対象風景を撮像するステレオ光学系201は、車輌230の前部に上下一定の間隔をもって取り付けられる2台のCCDカメラ201a,201bで構成されており、また、前記通路パターン認識装置210は、図42に示すように、前記ステレオ光学系201からの上下2枚の画像信号を入力し、立体物の距離及び位置の二次元分布を算出する距離検出回路210a、この距離検出回路210aからの二次元分布情報を記憶する二次元分布メモリ210b等から構成されている。 [0209] Further, in the present embodiment, the stereo optical system 201 for imaging an outside of a subject scenery, two CCD cameras 201a mounted with the upper and lower fixed intervals on the front of the vehicle 230 is configured by 201b, Moreover, said passage pattern recognition device 210, as shown in FIG. 42, the stereo vertical type the two image signals from the optical system 201, the distance detecting circuit for calculating a two-dimensional distribution of distance and position of the three-dimensional object 210a, and a two-dimensional distribution memory 210b for storing the two-dimensional distribution information from the distance detection circuit 210a.

【0210】前記側壁検出装置220は、前記二次元分布メモリ210bに書き込まれた二次元分布情報を読み出して各種の計算処理を行なうマイクロプロセッサ22 [0210] The sidewall detecting device 220, the microprocessor 22 reads the two-dimensional distribution information written in the two-dimensional distribution memory 210b performs various calculation processes
0aを中心に構成され、制御プログラムを格納する読み出し専用メモリ(ROM)220b、計算処理途中の各種パラメータを記憶する読み書き両用メモリ(RAM) Organized around 0a, read only memory (ROM) 220b which stores a control program, a read-write memory for storing various parameters of the calculation processing course (RAM)
220c、処理結果のパラメータを記憶する出力用メモリ220d等から構成されている。 220c, and an output memory 220d for storing the parameters of the processing result. 前記マイクロプロセッサ220aは、前記二次元分布メモリ210bを介して二次元分布情報を入力して計算処理を実行し、処理結果である側壁のパラメータを出力用メモリ220dに出力する。 The microprocessor 220a inputs the two-dimensional distribution information via the two-dimensional distribution memory 210b performs calculation processing, and outputs the parameters of the side wall as the processing result to the output memory 220d.

【0211】前記側壁検出装置220は、前述の第1実施例における道路・側壁検出装置100の側壁検出部1 [0211] The sidewall detecting device 220, the side wall detection unit 1 of the road-side wall detecting apparatus 100 according to the first embodiment described above
20と同様の機能構成であり、図43に示すように、前記二次元分布メモリ210bに記憶されている立体物の二次元分布情報の中から、予め設定された側壁の探索領域内のデータのみを抽出し、これをハフ変換で処理して側壁の有無と側壁の位置を示す直線式とを検出する側壁直線検出部221、この側壁直線検出部221で検出された側壁の位置を示す直線式に基づいて、側壁が存在すると推定される側壁候補領域を設定し、この側壁候補領域内の立体物データの分布状態から、側壁の前後端の位置を検出する側壁範囲検出部222、処理結果を記憶する前記出力用メモリ220dからなる側壁パラメータ記憶部223から構成されている。 Has the same functional configuration as the 20, as shown in FIG. 43, from the two-dimensional distribution information of the three-dimensional object stored in the two-dimensional distribution memory 210 b, only the data in the search area of ​​a preset sidewalls extracts, which sidewall line detection unit 221 for detecting a linear equation indicating the position of the presence and sidewalls of treated with Hough transform, a straight line equation indicating the detected position of the side wall with the side wall line detection unit 221 based on, sets the sidewall candidate region estimated as the side wall is present, the distribution of the three-dimensional object data of the side wall candidate region, sidewall range detection unit 222 for detecting the position of the front and rear ends of the side walls, the processing result and a side wall parameter storage unit 223 consisting of the output memory 220d for storing.

【0212】本実施例では、ステレオ光学系201で撮像した画像、例えば、図44に示すような画像を通路パターン認識装置210で処理すると、図45に示すような立体物の二次元分布パターンが出力される。 [0212] In this embodiment, the image captured by the stereo optical system 201, for example, when processing an image as shown in FIG. 44 in the passage pattern recognition apparatus 210, the two-dimensional distribution pattern of the three-dimensional object as shown in FIG. 45 is output. これは、 this is,
前述の第1実施例における立体物データ抽出処理で抽出されるデータ(図21参照)と同様であり、このデータに対し、前述の第1実施例と同様の側壁直線検出処理、 It is the same as the data extracted by the three-dimensional object data extraction processing in the first embodiment described above (see FIG. 21), with respect to this data, like the side wall line detection processing in the first embodiment described above,
側壁範囲検出処理を行なえば、左右の側壁の有無、位置を検出することができる。 By performing the sidewall range detection process, the presence or absence of left and right side walls, it is possible to detect the position.

【0213】このように、本実施例では、通路パターン認識装置から出力される立体物の二次元分布の位置情報を利用する場合のような、道路の白線を検出することが困難で、しかも、この位置情報を利用する側である事故の危険判断や走行制御におけるデータ処理が容易でない場合であっても、側壁を確実に検出することができ、且つ、側壁の有無や位置を、直線式のパラメータや前後端の座標といった簡素なデータ形態に変換するため、利用側でのデータの取扱いや処理が容易となる。 [0213] Thus, in this embodiment, like in the case of utilizing the position information of the two-dimensional distribution of the three-dimensional object that is output from the passage pattern recognition apparatus, it is difficult to detect the white line of the road, moreover, even if data processing is not easy in hazardous decisions and running control of the position information is the side that utilizes accident, it is possible to reliably detect the side walls, and the presence and location of the side wall, the linear equation to convert the coordinate simple data form such as parameters and front and rear ends, thereby facilitating the handling and processing of data in the utilization side.

【0214】図46〜図51は本発明の第4実施例に係り、図46は車外監視装置の全体構成図、図47は車外監視装置の回路ブロック図、図48は側壁検出装置の機能ブロック図、図49はレーザビームの走査方法を側面から示す説明図、図50はレーザビームの走査方法を上面から示す説明図、図51はレーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図である。 [0214] FIGS. 46 51 relates to a fourth embodiment of the present invention, Figure 46 is an overall configuration diagram of a vehicle surroundings monitoring apparatus, FIG. 47 is a circuit block diagram of a vehicle surroundings monitoring apparatus, FIG. 48 is a functional block wall detector FIG, 49 is an explanatory view showing a method of scanning a laser beam from the side, Figure 50 is an explanatory view showing a method of scanning a laser beam from the top, FIG. 51 is a two-dimensional distribution of the three-dimensional object to be measured by the laser radar distance measuring device is an explanatory view showing an example.

【0215】本実施例の車外監視装置300は、図46 [0215] vehicle surroundings monitoring apparatus 300 of this embodiment, FIG. 46
に示すように、前述の第1実施例のステレオ画像処理装置20に代えて、レーザビームによるレーザレーダ測距装置310を採用し、このレーザレーダ測距装置310 As shown in, in place of the stereo image processing apparatus 20 of the first embodiment described above, employs a laser radar ranging device 310 by the laser beam, the laser radar distance measuring device 310
に側壁検出装置320を接続したものであり、レーザレーダ測距装置310によって得られる立体物の二次元分布の位置情報を前述の第1,第2実施例と同様の方法で処理し、側壁を検出するものである。 A is obtained by connecting a side wall detector 320, first position information of the aforementioned two-dimensional distribution of the three-dimensional object obtained by the laser radar ranging device 310, and treated with a second embodiment the same way, the side walls it is intended to be detected.

【0216】前記レーザレーダ測距装置310は、レーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものであり、本実施例の車外監視装置3 [0216] The laser radar ranging device 310 projects a laser beam, the laser beam receives the light reflected against the object is to measure the distance to the object from the required time, present example vehicle surroundings monitoring apparatus 3
00には周知のレーザレーダ測距装置を適用することができる。 The 00 can be applied to known laser radar ranging system.

【0217】すなわち、本実施例の車外監視装置300 [0217] That is, vehicle surroundings monitoring apparatus of the present embodiment 300
では、レーザビームの投射・受光と左右方向への走査機能を有するレーザ投光ユニット301が車輌330の前部に取り付けられており、図47に示すように、レーザレーダ測距装置310には、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置を計算する距離検出回路310a、検出された物体の二次元の位置を書き込む二次元分布メモリ310b等から構成されている。 In the laser projection unit 301 having a scanning function of the projection-receiving a laser beam in the lateral direction is mounted to the front of the vehicle 330, as shown in FIG. 47, the laser radar ranging device 310, the distance from the required time light projecting and receiving a laser beam to the object is calculated, also, the distance detecting circuit 310a for calculating the two-dimensional position of the object from the direction of scanning the laser beam, the position of two-dimensional objects detected and a two-dimensional distribution memory 310b such that writing.

【0218】また、側壁検出装置320は、前記二次元分布メモリ310bに書き込まれた二次元分布情報を読み出して各種の計算処理を行なうマイクロプロセッサ3 [0218] Further, sidewall detection device 320 includes a microprocessor 3 for various calculation process reads the two-dimensional distribution information written in the two-dimensional distribution memory 310b
20aを中心に構成され、制御プログラムを格納する読み出し専用メモリ(ROM)320b、計算処理途中の各種パラメータを記憶する読み書き両用メモリ(RA Organized around 20a, read only memory (ROM) which stores a control program 320b, a read-write memory for storing various parameters of the calculation process halfway (RA
M)320c、処理結果のパラメータを記憶する出力用メモリ320d等から構成されている。 M) 320c, and an output memory 320d for storing the parameters of the processing result. 前記マイクロプロセッサ320aは、前記二次元分メモリ310bを介して二次元分布情報を入力して計算処理を実行し、処理結果である側壁のパラメータを出力用メモリ320dに出力する。 The microprocessor 320a inputs the two-dimensional distribution information via the two-dimensional partial memory 310b performs calculation processing, and outputs the parameters of the side wall as the processing result to the output memory 320d.

【0219】前記側壁検出装置320は、前述の第2実施例の側壁検出装置220と同様の機能構成であり、図48に示すように、前記二次元分布メモリ310bに記憶されている立体物の二次元分情報の中から、予め設定された側壁の探索領域内のデータのみを抽出し、これをハフ変換で処理して側壁の有無と側壁の位置を示す直線式とを検出する側壁直線検出部321、この側壁直線検出部321で検出された側壁の位置を示す直線式に基づいて、側壁が存在すると推定される側壁候補領域を設定し、この側壁候補領域内の立体物データの分布状態から、側壁の前後端の位置を検出する側壁範囲検出部32 [0219] The sidewall detecting device 320 has the same functional configuration as the sidewall detecting device 220 of the second embodiment described above, as shown in FIG. 48, the three-dimensional object stored in the two-dimensional distribution memory 310b from the two-dimensional partial information, extracting only data of a predetermined side wall of the search area, the sidewall line detection for detecting a linear equation shown by treatment with the Hough transform a position of presence and sidewalls of this part 321, based on the linear equation indicating the detected position of the side wall with the side wall line detection unit 321 sets a sidewall candidate region estimated as the side wall is present, distribution of the three-dimensional object data of the side wall candidate region from sidewall range detector 32 for detecting the position of the front and rear ends of the side walls
2、処理結果を記憶する前記出力用メモリ320dからなる側壁パラメータ記憶部323から構成されている。 2, and a side wall parameter storage unit 323 consisting of the output memory 320d for storing the processing result.

【0220】図49に示すように、レーザ投光ユニット301からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出される。 [0220] As shown in FIG. 49 is projected horizontally laser beam from the laser projection unit 301, only the three-dimensional object on the higher road surface position is detected. また、図50に示すように、レーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。 Further, as shown in FIG. 50, the laser beam is scanned in the lateral direction, the operation of the laser beam at every predetermined intervals in a predetermined scanning range is detected distance is the light projecting and receiving is repeated, the three-dimensional object two dimension distribution is measured.

【0221】例えば、前述の図44に示すような、左側にガードレール、右前方に他の車輌がある状況を前記レーザレーダ測距装置310で計測すると、図51に示すような立体物の二次元分布の情報が得られる。 [0221] For example, as shown in FIG. 44 described above, guard rail on the left side, when measuring the situation where there is another vehicle in front and to the right by the laser radar distance measuring device 310, two-dimensional three-dimensional object as shown in FIG. 51 information of the distribution can be obtained. これは、 this is,
前述の第1実施例における立体物データ抽出処理で抽出されるデータ(図21参照)と同様である。 It is similar to the data extracted by the three-dimensional object data extraction processing in the first embodiment described above (see FIG. 21). 従って、レーザレーダ測距装置310の出力である立体物の二次元分布に対し、第1、第2実施例と同様の側壁直線検出処理及び側壁範囲検出処理を行なうことにより、左右の側壁の有無、位置を検出することができる。 Thus, for two-dimensional distribution of the three-dimensional object which is the output of the laser radar ranging device 310, first, by performing the second embodiment and the same sidewall line detection process and the sidewall range detection process, the presence or absence of left and right side walls , it is possible to detect the position.

【0222】本実施例においても、前述の第3実施例と同様、道路の白線を検出することが困難な場合においても、側壁を確実に検出することができ、しかも、側壁の有無、位置、方向を処理が容易なデータ形態で検出することができる。 [0222] In this embodiment, like the third embodiment described above, even when it is difficult to detect the white line of the road, it is possible to reliably detect the sidewall, moreover, the presence or absence of sidewall position, can handle direction is detected with easy data form.

【0223】 [0223]

【発明の効果】以上説明したように本発明によれば、車外の設定範囲の対象に対する位置情報に基づいて、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式と、この側壁が存在する範囲とを検出するため、道路の白線がない場合、あるいは白線を検出することが困難な場合においても、側壁を確実に検出することができ、しかも、側壁の有無、位置、方向を処理が容易なデータ形態で検出するため、これらのデータを用いて、より高度な危険警報や事故回避の機能を実現することができる等優れた効果が得られる。 According to the present invention as described in the foregoing, based on the position information for the outside of the set range of the target, guardrail, implantation, the sidewalls of the three-dimensional object continuous to be the road boundary, such as pylon column and the presence or absence, and a linear expression that approximates the position of the side wall, in order to detect the range where the side walls are present, when there is no white line of the road, or even when it is difficult to detect the white line, to ensure the side walls can be detected, moreover, the presence or absence of sidewall position, to detect at easy data forms processing direction, it is possible to use these data, to achieve a more advanced features of the hazard alarm and accidents avoided etc. excellent effect can be obtained.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】図1〜図38は本発明の第1実施例に係り、図1は車外監視装置の全体構成図 [1] Figures 1 to 38 relates to a first embodiment of the present invention, FIG. 1 is an overall configuration diagram of a vehicle surroundings monitoring apparatus

【図2】車輌の正面図 FIG. 2 is a front view of the vehicle

【図3】車外監視装置の回路ブロック図 Figure 3 is a circuit block diagram of a vehicle surroundings monitoring apparatus

【図4】カメラと被写体との関係を示す説明図 Figure 4 is an explanatory diagram showing the relationship between the camera and the subject

【図5】ステレオ画像処理装置の具体例を示す回路構成図 Figure 5 is a circuit diagram showing a specific example of a stereo image processing apparatus

【図6】シティブロック距離計算回路の説明図 Figure 6 is an illustration of a city block distance calculation circuit

【図7】最小値検出回路のブロック図 FIG. 7 is a block diagram of the minimum value detecting circuit

【図8】車載のCCDカメラで撮像した画像の例を示す説明図 FIG. 8 is an explanatory diagram showing an example of an image captured by the vehicle-mounted CCD camera

【図9】距離画像の例を示す説明図 Diagram illustrating an example of FIG. 9 range image

【図10】車輌の上面図 FIG. 10 is a top view of the vehicle

【図11】車輌の側面図 FIG. 11 is a side view of the vehicle

【図12】道路・側壁検出装置の機能ブロック図 Figure 12 is a functional block diagram of a road-side wall detector

【図13】道路モデルの例を示す説明図 Figure 13 is an explanatory diagram showing an example of a road model

【図14】三次元ウインドウの形状を示す説明図 Figure 14 is an explanatory view showing the shape of a three-dimensional window

【図15】二次元ウインドウの形状を示す説明図 Figure 15 is an explanatory view showing the shape of a two-dimensional window

【図16】直線要素とデータのずれ量を示す説明図 Figure 16 is an explanatory diagram showing a shift amount of linear elements and data

【図17】ずれ量と重み係数の関係を示す説明図 Figure 17 is an explanatory diagram showing a relationship between displacement amount and the weighting factor

【図18】検出した道路形状の例を示す説明図 Figure 18 is an explanatory diagram showing an example of the detected road shape

【図19】側壁検出における探索領域の形状を示す説明図 Figure 19 is an explanatory view showing the shape of a search area in the side wall detection

【図20】側壁検出における画像の例を示す説明図 Figure 20 is an explanatory diagram showing an example of an image in the side wall detection

【図21】立体物データの分布状況を示す説明図 Figure 21 is an explanatory view showing the distribution of the three-dimensional object data

【図22】ハフ変換での直線の想定を示す説明図 Figure 22 is an explanatory view showing an assumed straight line in the Hough transform

【図23】パラメータ空間の投票領域を示す説明図 Figure 23 is an explanatory diagram showing a voting region of parameter space

【図24】パラメータ空間への投票結果を示す説明図 FIG. 24 is an explanatory view showing the voting results to the parameter space

【図25】側壁候補領域を示す説明図 Figure 25 is an explanatory view showing a sidewall candidate region

【図26】ヒストグラムと側壁の存在範囲の関係を示す説明図 Figure 26 is an explanatory diagram showing a relationship between existence range of the histogram and the side wall

【図27】ステレオ画像処理装置の動作を示すフローチャート Figure 27 is a flowchart showing the operation of the stereo image processing apparatus

【図28】シフトレジスタ内の保存順序を示す説明図 Figure 28 is an explanatory view showing a storage sequence in the shift register

【図29】シティブロック距離計算回路の動作を示すタイミングチャート Figure 29 is a timing chart showing the operation of the city block distance calculation circuit

【図30】ずれ量決定部の動作を示すタイミングチャート Figure 30 is a timing chart showing the operation of shift amount determination unit

【図31】ステレオ画像処理装置の動作を示すタイミングチャート Figure 31 is a timing chart showing the operation of the stereo image processing apparatus

【図32】図32〜図35は道路検出部の動作を示すフローチャートであり、図32は道路形状推定処理のフローチャート [32] FIGS. 32 to 35 are flowcharts showing the operation of the road detecting section, the flow chart of FIG. 32 is a road shape estimation processing

【図33】三次元ウインドウ発生処理のフローチャート Figure 33 is a flowchart of a three-dimensional window generation process

【図34】直線要素検出処理のフローチャート Figure 34 is a flowchart of a linear element detecting process

【図35】道路形状判定処理のフローチャート Figure 35 is a flowchart of a road shape determination process

【図36】図36〜図38は側壁検出部の動作を示すフローチャートであり、図36は立体物データ抽出処理のフローチャート [36] FIGS. 36 to 38 are flowcharts showing the operation of the side wall detection unit, Figure 36 is a flow chart of the three-dimensional object data extraction process

【図37】側壁直線検出処理のフローチャート Figure 37 is a flowchart of a sidewall line detection processing

【図38】側壁範囲検出処理のフローチャート Figure 38 is a flowchart of a sidewall range detection process

【図39】図39及び図40は本発明の第2実施例に係り、図39は探索領域と格子区分を示す説明図 Figure 39 and Figure 40 relates to a second embodiment of the present invention, illustrating FIG. 39 showing the search area and the lattice segment

【図40】側壁直線検出処理のフローチャート Figure 40 is a flowchart of a sidewall line detection processing

【図41】図41〜図45は本発明の第3実施例に係り、図41は車外監視装置の全体構成図 [41] Figures 41 45 relates to a third embodiment of the present invention, Figure 41 is an overall configuration diagram of a vehicle surroundings monitoring apparatus

【図42】車外監視装置の回路ブロック図 Figure 42 is a circuit block diagram of a vehicle surroundings monitoring apparatus

【図43】側壁検出装置の機能ブロック図 Figure 43 is a functional block diagram of a side wall detector

【図44】画像の例を示す説明図 Figure 44 is an explanatory diagram showing an example of an image

【図45】立体物の二次元分布の例を示す説明図 Figure 45 is an explanatory diagram showing an example of a two-dimensional distribution of the three-dimensional object

【図46】図46〜図51は本発明の第4実施例に係り、図46は車外監視装置の全体構成図 [46] FIGS. 46 51 relates to a fourth embodiment of the present invention, Figure 46 is an overall configuration diagram of a vehicle surroundings monitoring apparatus

【図47】車外監視装置の回路ブロック図 Figure 47 is a circuit block diagram of a vehicle surroundings monitoring apparatus

【図48】側壁検出装置の機能ブロック図 Figure 48 is a functional block diagram of a side wall detector

【図49】レーザビームの走査方法を側面から示す説明図 Figure 49 is an explanatory diagram showing a scanning method of laser beam from the side

【図50】レーザビームの走査方法を上面から示す説明図 Figure 50 is an explanatory diagram showing a scanning method of laser beam from the upper surface

【図51】レーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図 Figure 51 is an explanatory diagram showing an example of a two-dimensional distribution of the three-dimensional object to be measured by the laser radar distance measuring device

【符号の説明】 DESCRIPTION OF SYMBOLS

1 車輌 2 車外監視装置 10 ステレオ光学系(計測手段) 20 ステレオ画像処理装置(計測手段) 110 道路検出部(道路検出手段) 111 道路形状推定部(道路形状推定手段) 112 三次元ウインドウ発生部(三次元ウインドウ発生手段) 113 直線要素検出部(直線要素検出手段) 114 道路形状判定部(道路形状判定手段) 121 立体物データ抽出部(データ抽出手段) 122 側壁直線検出部(側壁直線検出手段) 123 側壁範囲検出部(側壁範囲検出手段) 1 vehicle 2 vehicle surroundings monitoring apparatus 10 stereoscopic optical system (measuring unit) 20 stereo image processing apparatus (measuring means) 110 road detecting section (road detecting means) 111 road shape estimation unit (road shape estimation unit) 112 three-dimensional window generation section ( three-dimensional window generation means) 113 linear element detection unit (linear element detecting means) 114 road shape judging unit (road shape judging means) 121 three-dimensional object data extraction section (data extraction means) 122 sidewall line detection unit (the side wall straight line detecting means) 123 sidewall range detector (sidewall range detecting means)

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI G08G 1/16 G08G 1/16 C (56)参考文献 特開 昭60−45882(JP,A) 特開 平2−90380(JP,A) 特開 平2−90381(JP,A) 特開 平4−161810(JP,A) 特開 平4−262498(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) G06T 1/00 315 G06T 1/00 330 B60R 21/00 624 G06T 7/00 G08G 1/16 ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 7 identifications FI G08G 1/16 G08G 1/16 C (56 ) references Patent Sho 60-45882 (JP, a) Patent Rights 2-90380 ( JP, a) JP flat 2-90381 (JP, a) JP flat 4-161810 (JP, a) JP flat 4-262498 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) G06T 1/00 ​​315 G06T 1/00 ​​330 B60R 21/00 624 G06T 7/00 G08G 1/16

Claims (8)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 車外の設定範囲の対象を検出し、この対象に対する位置情報を出力する計測手段と、 前記計測手段からの位置情報に基づき、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出する側壁直線検出手段と、 前記側壁直線検出手段で検出した直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する側壁範囲検出手段とを備えたことを特徴とする車輌用車外監視装置。 [Claim 1] to detect an object outside the vehicle set range, the measuring means for outputting position information for the subject, based on the position information from the measuring means, the sidewall of a three-dimensional object continuous to be a road boundary extraction and presence, and a side wall straight line detecting means for detecting a linear expression that approximates the position of the side wall, the set of spatial region around the linear equation detected by the side wall straight line detecting means, only the data of the space region to vehicle outside monitoring apparatus characterized by comprising a sidewall range detecting means for detecting the extent to which the side walls are present.
  2. 【請求項2】 車外の設定範囲内の対象を検出し、この対象に対する三次元位置情報を出力する計測手段と、 前記計測手段からの三次元位置情報に基づいて道路モデルを決定し、この道路モデルを道路形状として検出する道路検出手段と、 前記道路モデルに基づいて、前記三次元位置情報の中から道路表面より上にあるデータのみを抽出するデータ抽出手段と、 前記データ抽出手段で抽出したデータから、道路の境界となる連続した立体物としての側壁の有無と、この側壁の位置を近似する直線式とを検出する側壁直線検出手段と、 前記側壁直線検出手段で検出した直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する側壁範囲検出手段とを備えたことを特徴とする車輌用車外監視 Wherein detecting the target in the outside of the set range, and determining a measurement unit for outputting the three-dimensional position information for the target, the road model based on the three-dimensional position information from the measuring means, the road and road detecting means for detecting a model as a road shape based on the road model, a data extracting means for extracting only the data that is above the road surface from among the three-dimensional position information, extracted by the data extracting means from the data, the existence of the side wall of the three-dimensional object continuous to be a road boundary, a side wall straight line detecting means for detecting a linear expression that approximates the position of the side wall, around the linear equation detected by the side wall straight line detecting means to set the spatial domain, a vehicle outside monitoring, characterized in that a sidewall range detecting means for detecting the extent to which the side wall extracts only the data in the spatial region exists 置。 Location.
  3. 【請求項3】 前記道路検出手段に、 前記三次元位置情報に基づいて、道路の白線の位置及び形状を推定する道路形状推定手段と、 前記道路形状推定手段で推定した道路の白線を包合する三次元の空間領域を三次元ウインドウとして設定する三次元ウインドウ設定手段と、 前記三次元位置情報の中から前記三次元ウインドウ内のデータのみを抽出し、 前記道路モデルを構成する三次元の直線要素を検出する直線要素検出手段と、 前記直線要素検出手段で検出した直線要素の妥当性を判定し、判定基準に合致しない場合には前記直線要素を修正あるいは変更して前記道路モデルを決定する道路形状判定手段とを備えたことを特徴とする請求項2記載の車輌用車外監視装置。 To wherein said road detecting means, based on the three-dimensional position information, the road shape estimating means for estimating the position and shape of the white line of the road, the white line of the road estimated by the road shape estimation unit condition for inclusion and 3D window setting means for setting a three-dimensional space region as three-dimensional window, the extracts only the data in the three-dimensional window from the three-dimensional position information, the linear three dimensional constituting the road model a linear element detecting means for detecting element, to determine the validity of the linear element detected by the linear element detecting means, if not meet the criteria for determining the road model by modifying or changing the linear element vehicle outside monitoring apparatus according to claim 2, characterized in that a road shape judging means.
  4. 【請求項4】 前記側壁直線検出手段は、 前記側壁の存在を探索する探索領域を設定し、この探索領域内のデータのみを抽出してハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出するものであることを特徴とする請求項1または2記載の車輌用車外監視装置。 Wherein said side wall straight line detecting means sets a search area for searching for the presence of the side wall, by performing the Hough transform to extract only the data of the search area, the existence of the side wall vehicular vehicle surroundings monitoring apparatus according to claim 1, wherein a is for detecting the above linear equation.
  5. 【請求項5】 前記側壁直線検出手段は、 前記側壁の存在を探索する探索領域を格子状に区分して設定し、この探索領域内のデータのみを抽出して各格子内に含まれるデータの個数を求め、各格子内のデータは各格子の中心位置にまとまって存在するものとしてハフ変換を行なうことにより、前記側壁の存在の有無と、前記直線式とを検出するものであることを特徴とする請求項1または2記載の車輌用車外監視装置。 Wherein said side wall straight line detecting means, a search area for searching for the presence of the side wall and set by dividing in a grid, the data contained by extracting only the data of the search area within each grid wherein the determined the number, data within each grid by performing Hough transform as existing collectively in a central position of each of the grid, and the presence or absence of the side wall, and detects and said linear equation vehicle outside monitoring apparatus according to claim 1 or 2 wherein the.
  6. 【請求項6】 前記側壁範囲検出手段は、 前記空間領域内のデータの個数を縦軸とし、自車輌との距離を横軸とするヒストグラムを作成し、このヒストグラムの度数の大小から前記側壁が存在する範囲を検出するものであることを特徴とする請求項1または2記載の車輌用車外監視装置。 Wherein said sidewall range detecting means, the number of data in the spatial domain and the vertical axis, to create a histogram of the horizontal axis the distance between the host vehicle and the side wall on the magnitude of the frequency of the histogram vehicle outside monitoring device according to claim 1 or 2, characterized in that in order to detect the extent present.
  7. 【請求項7】 前記計測手段は、 車外の設定範囲を撮像して画像処理することにより、車外の対象に対する前記位置情報を出力するものであることを特徴とする請求項1または2記載の車輌用車外監視装置。 Wherein said measuring means, by the image processing by imaging the outside of the set range, the vehicle according to claim 1, wherein a and outputs the positional information for the outside of the target use outside the vehicle monitoring device.
  8. 【請求項8】 前記計測手段は、 車外の設定範囲を走査してレーザ光を投射・受光することにより、車外の対象に対する前記位置情報を出力するものであることを特徴とする請求項1 または2記載の車輌用車外監視装置。 Wherein said measuring means, by projecting and receiving a laser beam by scanning the outside of the set range, according to claim 1 or characterized in that for outputting said location information for outside of the target 2 vehicle outside monitoring device as claimed.
JP05259193A 1993-03-12 1993-03-12 Vehicle outside the vehicle monitoring system Expired - Lifetime JP3324821B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05259193A JP3324821B2 (en) 1993-03-12 1993-03-12 Vehicle outside the vehicle monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05259193A JP3324821B2 (en) 1993-03-12 1993-03-12 Vehicle outside the vehicle monitoring system

Publications (2)

Publication Number Publication Date
JPH06266828A JPH06266828A (en) 1994-09-22
JP3324821B2 true JP3324821B2 (en) 2002-09-17

Family

ID=12919036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05259193A Expired - Lifetime JP3324821B2 (en) 1993-03-12 1993-03-12 Vehicle outside the vehicle monitoring system

Country Status (1)

Country Link
JP (1) JP3324821B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013236A1 (en) 2003-07-30 2005-02-10 Olympus Corporation Safe movement support device
WO2012014627A1 (en) 2010-07-29 2012-02-02 本田技研工業株式会社 Vehicle periphery monitoring device

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516856B2 (en) 1998-01-30 2004-04-05 富士重工業株式会社 The outside of the vehicle monitoring system
US6647139B1 (en) 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
JP2003106859A (en) * 2001-09-28 2003-04-09 Equos Research Co Ltd Running trafic lane estimation device, method therefor and navigator
JP3739693B2 (en) 2001-11-09 2006-01-25 本田技研工業株式会社 Image recognition device
JP4531366B2 (en) * 2003-09-19 2010-08-25 富士重工業株式会社 Entry judging device and the entry determination method
JP4574157B2 (en) * 2003-10-17 2010-11-04 富士重工業株式会社 Method information display device and the information display
JP2006054662A (en) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp Drive support device
JP2007240277A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP4632987B2 (en) 2006-03-28 2011-02-23 株式会社パスコ Road image analyzing apparatus and a road image analyzing method
JP4901275B2 (en) * 2006-04-07 2012-03-21 富士重工業株式会社 Travel guidance obstacle detection device and vehicle control device
CN101356547A (en) * 2006-05-25 2009-01-28 日本电气株式会社 Recognizing system, recognizing method and recognizing program
JP4887932B2 (en) * 2006-06-23 2012-02-29 日産自動車株式会社 Road edge recognition device, automobile, and road edge recognition method
JP2008014814A (en) * 2006-07-06 2008-01-24 Mitsubishi Precision Co Ltd Method for detecting end of road
JP4956099B2 (en) * 2006-08-31 2012-06-20 富士重工業株式会社 Wall detector
JP4914234B2 (en) 2007-01-31 2012-04-11 富士重工業株式会社 Leading vehicle detection device
JP4914233B2 (en) 2007-01-31 2012-04-11 富士重工業株式会社 Outside monitoring device
JP4987573B2 (en) 2007-06-01 2012-07-25 富士重工業株式会社 Outside monitoring device
JP4856612B2 (en) 2007-10-29 2012-01-18 富士重工業株式会社 Object detection device
JP4856611B2 (en) 2007-10-29 2012-01-18 富士重工業株式会社 Object detection device
JP4956795B2 (en) * 2008-01-15 2012-06-20 日産自動車株式会社 Image processing apparatus for vehicle and image processing method
JP4856656B2 (en) 2008-01-22 2012-01-18 富士重工業株式会社 Vehicle detection device
JP4956452B2 (en) 2008-01-25 2012-06-20 富士重工業株式会社 Vehicle environment recognition device
JP4876080B2 (en) 2008-01-25 2012-02-15 富士重工業株式会社 Environment recognition device
JP5034985B2 (en) * 2008-01-30 2012-09-26 株式会社豊田中央研究所 Parameter estimation device
JP5137617B2 (en) 2008-02-27 2013-02-06 富士重工業株式会社 Steering support device
JP5073548B2 (en) 2008-03-27 2012-11-14 富士重工業株式会社 Vehicle environment recognition device and preceding vehicle tracking control system
JP5089545B2 (en) 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 Road boundary detection and judgment device
JP5075152B2 (en) * 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 Vehicle control device
JP5188452B2 (en) * 2009-05-22 2013-04-24 富士重工業株式会社 Road shape recognition device
JP5468305B2 (en) * 2009-05-25 2014-04-09 株式会社東芝 Radar equipment
WO2010137390A1 (en) * 2009-05-25 2010-12-02 株式会社 東芝 Radar system
JP5441549B2 (en) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 Road shape recognition device
JP5269755B2 (en) 2009-12-10 2013-08-21 株式会社日立製作所 Cross-person support vehicle system and cross-person support method
JP5502448B2 (en) * 2009-12-17 2014-05-28 富士重工業株式会社 Road surface shape recognition device
JP5603687B2 (en) * 2010-07-15 2014-10-08 富士重工業株式会社 Vehicle white line recognition device
US20130274959A1 (en) * 2010-12-15 2013-10-17 Toyota Jidosha Kabushiki Kaisha Driving support apparatus, driving support method, and vehicle
JP5693994B2 (en) 2011-02-16 2015-04-01 富士重工業株式会社 Vehicle detection device
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
JP6054777B2 (en) * 2013-03-01 2016-12-27 日立オートモティブシステムズ株式会社 Stereo camera device
JP6434743B2 (en) * 2014-08-19 2018-12-05 日野自動車株式会社 Runway edge estimation device
JP2017004401A (en) * 2015-06-15 2017-01-05 富士重工業株式会社 Out-of-vehicle environment recognizing device
EP3399499A4 (en) 2015-12-28 2019-01-09 Ricoh Company, Ltd. Image processing device, object recognition device, machinery control system, image processing method, and image processing program
EP3432261A4 (en) 2016-03-18 2019-03-27 Ricoh Company, Ltd. Image processing device, image processing method, image processing program, object recognition device, and apparatus control system
JP2018026058A (en) * 2016-08-12 2018-02-15 パナソニックIpマネジメント株式会社 Road surface estimation device, vehicle controller, road surface estimation method, and program
WO2019039106A1 (en) * 2017-08-25 2019-02-28 日立オートモティブシステムズ株式会社 Image recognition device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013236A1 (en) 2003-07-30 2005-02-10 Olympus Corporation Safe movement support device
WO2012014627A1 (en) 2010-07-29 2012-02-02 本田技研工業株式会社 Vehicle periphery monitoring device
US8867788B2 (en) 2010-07-29 2014-10-21 Honda Motor Co., Ltd. Vehicle periphery monitoring device

Also Published As

Publication number Publication date
JPH06266828A (en) 1994-09-22

Similar Documents

Publication Publication Date Title
US7389000B2 (en) System and method for detecting obstacle
US5307136A (en) Distance detection system for vehicles
EP0567059B1 (en) Object recognition system using image processing
EP1005234B1 (en) Three-dimensional scope system for vehicles with a single camera
US6853738B1 (en) Optical object recognition system
JP3337197B2 (en) The outside of the vehicle monitoring system
JP2570315B2 (en) Car on the distance detection device
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US20040258279A1 (en) Method and apparatus for pedestrian detection
JP4956452B2 (en) Vehicle environment recognition device
US20100104199A1 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
US5535144A (en) Distance detection method and system using a stereoscopical imaging apparatus
US7132933B2 (en) Obstacle detection device and method therefor
Broggi Automatic vehicle guidance: the experience of the ARGO autonomous vehicle
EP1959675A2 (en) Detection device, method and program thereof
US20090169052A1 (en) Object Detector
EP1901225A1 (en) Image processing device, image processing method, and image processing program
US5020114A (en) Object discriminating apparatus and method therefor
US20030137593A1 (en) Infrared image-processing apparatus
US10274598B2 (en) Navigation based on radar-cued visual imaging
JP3049603B2 (en) Stereoscopic image - object detection method
JP5188452B2 (en) Road shape recognition device
JP3862015B2 (en) Vehicle-mounted radar apparatus
Zielke et al. Intensity and edge-based symmetry detection with an application to car-following
US20120300078A1 (en) Environment recognizing device for vehicle

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100705

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120705

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120705

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130705

Year of fee payment: 11

EXPY Cancellation because of completion of term