WO2010032523A1 - 道路境界検出判断装置 - Google Patents

道路境界検出判断装置 Download PDF

Info

Publication number
WO2010032523A1
WO2010032523A1 PCT/JP2009/060975 JP2009060975W WO2010032523A1 WO 2010032523 A1 WO2010032523 A1 WO 2010032523A1 JP 2009060975 W JP2009060975 W JP 2009060975W WO 2010032523 A1 WO2010032523 A1 WO 2010032523A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
boundary
dimensional object
region
dimensional
Prior art date
Application number
PCT/JP2009/060975
Other languages
English (en)
French (fr)
Inventor
拓久哉 中
門司　竜彦
Original Assignee
株式会社 日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立製作所 filed Critical 株式会社 日立製作所
Priority to US12/920,405 priority Critical patent/US8411900B2/en
Priority to EP09814368.8A priority patent/EP2336999B1/en
Publication of WO2010032523A1 publication Critical patent/WO2010032523A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping

Definitions

  • the present invention detects a road boundary partitioned by a three-dimensional object by a plurality of imaging devices mounted on a vehicle and determines a traveling region of the vehicle, and particularly corresponds to a road boundary because occlusion and captured images are unclear.
  • the present invention relates to a road boundary detection / determination device that can cope with a case where detection of a three-dimensional object is difficult.
  • ASV advanced safety vehicle
  • ASV requires the detection of road boundaries, especially to prevent deviations from the roads of automobiles. Therefore, a method of detecting a road marking such as a lane on a road surface that defines a roadway or a roadway using a camera mounted on an automobile is often used.
  • road markings can be expected on highways and roads that have been improved, but roads with narrow widths or roads that are under development often do not have road markings outside the roadway outside line.
  • Patent Document 1 calculates the height from the road surface of a three-dimensional object in an imaging region based on stereo images obtained from two cameras, and detects continuous three-dimensional objects such as guardrails and side walls.
  • Patent Document 2 discloses a road shoulder detection apparatus and method based on a planar projection stereo method using two cameras.
  • planar projection stereo method it is assumed that everything in the image obtained by one camera is present on the road plane, and this is converted into an image viewed from the other camera.
  • the portion corresponding to the road plane is not deformed, and only the portion corresponding to the three-dimensional object is deformed.
  • a solid object on the road plane can be detected.
  • Patent Document 1 In the method described in Patent Document 1 above, it is necessary to perform a corresponding point search between stereo images in order to calculate the height of the three-dimensional object from the road surface, but due to environmental changes such as a decrease in brightness. If the edge of the three-dimensional object or the shading pattern in the image becomes unclear, the accuracy of the corresponding point search generally decreases. In addition, when the height of the three-dimensional object is low or exists far away, the three-dimensional object shown in the image is small, and it is difficult to obtain the height of the three-dimensional object from the road surface. In the technique of Patent Document 1, there is a problem that it is difficult to obtain a road boundary delimited by a three-dimensional object on a road where the height of the three-dimensional object cannot be obtained.
  • An object of the present invention is to provide a road boundary detection / judgment device that is resistant to environmental changes and can detect a road boundary partitioned by a distant solid object. .
  • a road boundary detection / determination device is an in-vehicle device that detects and determines a three-dimensional object at the boundary of a road on which the host vehicle travels, and includes two or more devices that capture the road region.
  • An image acquisition unit having a camera, a distance data acquisition unit that acquires three-dimensional distance information of an imaging region based on an image obtained by the image acquisition unit, and a three-dimensional distance information obtained by the distance data acquisition unit
  • the road boundary detection unit Based on the road boundary detection unit that detects the road boundary by detecting the height of the three-dimensional object existing in the road region, and the road boundary detection unit can detect the height of the three-dimensional object corresponding to the road boundary
  • the image is converted and the three-dimensional object corresponding to the boundary of the first road area and the second Road area border
  • the same boundary determination unit for determining whether or not the three-dimensional object corresponding to the same is the same, and the same boundary determination unit is the same three-dimensional object corresponding to the boundary between the first and second road regions If it is determined, the second road area is reset to the first road area.
  • the edge or shading pattern of the three-dimensional object in the image becomes unclear due to the change in the brightness of the environment or the presence of the object in the distance
  • occlusion occurs and the three-dimensional distance data of the three-dimensional object is obtained.
  • a road boundary delimited by the three-dimensional object can be detected and determined by searching for the three-dimensional object from the image based on the image information of the already-obtained three-dimensional object.
  • FIG. 1 is a block diagram of a road boundary detection / judgment device according to a first embodiment.
  • FIG. 2 shows the arrangement and coordinate system of the left and right cameras mounted on the vehicle.
  • FIG. 3 is an example of an image obtained by capturing the traveling direction with the right camera shown in FIG.
  • FIG. 4 shows an image obtained by projecting three-dimensional distance data based on an image captured by a left and right camera mounted on a vehicle onto an XZ plane, and a strip which is an area divided at predetermined intervals in the Z direction.
  • FIG. 5 shows an image obtained by projecting three-dimensional distance data based on an image captured by a left and right camera mounted on a vehicle onto a YZ plane, and a strip that is an area divided in the Z direction.
  • FIG. 1 is a block diagram of a road boundary detection / judgment device according to a first embodiment.
  • FIG. 2 shows the arrangement and coordinate system of the left and right cameras mounted on the vehicle.
  • FIG. 3 is an example of an image obtained by
  • FIG. 6 shows the distribution of the three-dimensional distance data contained in the strip and the detected road shape.
  • FIG. 7 shows a three-dimensional object corresponding to the distribution of the three-dimensional distance data contained in the strip and the detected road boundary.
  • FIG. 8 shows the distribution on the XZ plane of the three-dimensional position distance data of a three-dimensional object corresponding to a road boundary.
  • FIG. 9 shows an example of the detection status of a three-dimensional object corresponding to a strip number and a left and right road boundary.
  • FIG. 10 shows the center of gravity of the three-dimensional position data of the three-dimensional object and the position of the virtual viewpoint on the XZ plane.
  • FIG. 11 shows an example of an image acquired from the right camera of the vehicle and a three-dimensional object corresponding to the detected road boundary.
  • FIG. 12 is an example of an image obtained by converting a three-dimensional object region 410 corresponding to the left road boundary in FIG. 11 into an image viewed in front.
  • FIG. 13 shows a template setting area and a template matching search range.
  • FIG. 14 shows a method for obtaining an estimated position (X, Z) of a three-dimensional object.
  • FIG. 15 is a part of a flowchart of the operation of the first embodiment.
  • FIG. 16 is a part of a flowchart of the operation of the first embodiment.
  • FIG. 17 is a part of a flowchart of the operation of the first embodiment.
  • FIG. 18 is a part of a flowchart of the operation of the first embodiment.
  • FIG. 19 is a part of a flowchart of the operation of the second embodiment.
  • FIG. 20 shows a scene deviating from the road boundary.
  • FIG. 1 is a block diagram showing the configuration of the road boundary detection / judgment device according to the first embodiment.
  • the road boundary detection determination apparatus 1 includes a left camera 100 and a right camera 101, and an image acquisition unit 102 that stores images of the left camera 100 and the right camera 101 captured at the same timing.
  • the road boundary detection determination apparatus 1 is further obtained by the distance data acquisition unit 103 and the distance data acquisition unit 103 that acquire three-dimensional distance data of the imaging region of the left and right cameras from the two images stored in the image acquisition unit 102.
  • FIG. 2 shows a host vehicle 110 equipped with a left camera 100 and a right camera 101.
  • the left camera 100 is installed on the left side and the right camera 101 is installed on the right side with respect to the traveling direction of the host vehicle. Normally, it is installed inside the front window, but it may be installed in the left and right headlight covers, or may be installed in the front grill.
  • the length between the optical axes of the left and right cameras 100 and 101 and the height from the road surface are appropriately set according to the type of the host vehicle 110.
  • the left and right cameras 100 and 101 are installed so that the viewing angles overlap each other by a predetermined amount.
  • the image acquisition unit 102 outputs an imaging timing signal to the left and right cameras 100 and 101 so that images are taken at the same time, and image data with the left and right cameras 100 and 101 is obtained after a predetermined exposure time by an electronic shutter or a mechanical shutter. Obtain and save in memory.
  • the distance data acquisition unit 103 calculates the three-dimensional distance data of the area imaged by the left and right cameras 100 and 101 and stores it in the memory. The three-dimensional distance data is calculated by associating a certain point in the three-dimensional space between the left and right images based on the principle of triangulation.
  • the accuracy of the three-dimensional distance data can be improved by performing the association with the sub-pixel accuracy.
  • the coordinate system of the three-dimensional distance data is set such that the traveling direction is the Z axis 202, the width direction of the host vehicle 110 is the X axis 200, the height direction is the Y axis 201, and the origin is the left and right cameras. The center of the installation position.
  • the road boundary detection unit 104 is a unit that determines whether a three-dimensional object corresponding to the road boundary exists based on the three-dimensional distance data calculated by the distance data acquisition unit 103.
  • FIG. 3 shows an image captured by the right camera 101. An example of detection of the curb 320 shown in this image will be described below.
  • FIGS. 15 to 18 are flowcharts showing the flow of processing of the first embodiment.
  • FIG. 4 is an overhead view of the XZ plane as viewed from directly above, and the black dots indicate the positions of the three-dimensional distance data (see S02 in FIG. 15) calculated by the distance data acquisition unit.
  • the three-dimensional distance data is distributed within the visual field range of the left and right cameras 100 and 101 and generally has a larger number of data on the near side than on the far side of the host vehicle.
  • a region divided at predetermined intervals in the Z-axis direction (this region is hereinafter referred to as a “strip”).
  • a road boundary detection process is performed for each strip.
  • the length of the strip width may be set as appropriate, but is preferably set to a length corresponding to the width of the host vehicle 110.
  • FIG. 5 is a diagram in which the three-dimensional distance data is projected onto the YZ plane.
  • the horizontal axis is the Z axis 202 in the depth direction
  • the vertical axis is the Y axis 201 in the height direction.
  • a black dot indicates the position of the three-dimensional distance data as in FIG.
  • Equation 1 is a road model represented by a linear equation
  • a and b are parameters.
  • the result of fitting the road model of Equation 1 to the data distribution is a straight line 400 shown in FIG.
  • a search is made as to whether a three-dimensional shape having a predetermined height or more exists on the left and right sides in the traveling direction.
  • a search method for example, as shown in FIG. 7, a straight line 400 is set as the X axis, and a straight line 402 perpendicular to the straight line 400 is newly set as the Y ′ axis. Good.
  • the existence of a three-dimensional object corresponding to the road boundary on the left side is confirmed in the shaded area 401 shown in FIG.
  • FIG. 8 shows the distribution of the three-dimensional distance data of the three-dimensional object corresponding to the road boundary detected by the above processing, and the distribution 310, 311 of the three-dimensional distance data of the three-dimensional object corresponding to the left and right road boundaries. Is recognized.
  • FIG. 8 shows the distribution of the three-dimensional distance data of the three-dimensional object corresponding to the road boundary detected by the above processing, and the distribution 310, 311 of the three-dimensional distance data of the three-dimensional object corresponding to the left and right road boundaries. Is recognized.
  • the same boundary determination unit 105 compares the image corresponding to the first road region and the image corresponding to the second road region in the image obtained by the image acquisition unit 102. This is a unit that determines whether the same three-dimensional object as the first road area exists in the second road area. Since this estimation process is performed for each acquired image, it is possible to estimate a road boundary even when a three-dimensional object is hidden by occlusion. Next, the process flow of the same boundary determination unit will be described.
  • strips classified into the second road area are searched from the processing result of the road boundary detection unit (see S18 in FIG. 17).
  • the image obtained from the left and right cameras 100 and 101 is positioned in front of the corresponding strip (or included in a predetermined number of strips from the corresponding strip).
  • Projective transformation is performed on the image of the object seen in front (see S19 in FIG. 17).
  • u and v are image positions before conversion
  • u ′ and v ′ are image positions after conversion
  • ⁇ is an eigenvalue.
  • the elements of the projective transformation matrix H are represented by variables h 11 to h 33 .
  • the projective transformation matrix H can be calculated by the following equation.
  • the matrix A is a 3-by-3 internal parameter matrix composed of the focal length of the lens mounted on the camera, the image center, and the pixel size.
  • a matrix R and a vector t are a 3-by-3 rotation matrix and a camera three-dimensional position, respectively, relating to the camera posture with respect to the world coordinate system.
  • the matrix A, the matrix R, and the vector t are prepared for the left and right cameras 100 and 101, respectively, and values are known in advance by camera calibration performed before factory shipment. However, the latest value is used when the value is changed by camera calibration after mounting on the vehicle.
  • the matrix R ′ and the vector t ′ are arranged so that the three-dimensional object in the first road area located in front of the corresponding strip (or included between the corresponding strip and a predetermined number of strips) is seen in front of the camera.
  • the rotation matrix and the three-dimensional position when the posture and the three-dimensional position are virtually moved are shown.
  • the orientation of the virtual camera is such that, for example, the camera optical axis is directed to a three-dimensional object that exists in a strip one before the strip classified into the second road region.
  • the three-dimensional distance data of the three-dimensional object existing in the strip number W4 is perpendicular to the straight line 334 of the data projected on the XZ plane, and (Equation 1)
  • the orientation of the virtual camera may be set so that the optical axis overlaps or is parallel to the straight line 331 that is parallel to the road model.
  • the three-dimensional position of the virtual camera is the center of gravity position 332 of the three-dimensional distance data of the three-dimensional object existing in the strip number W4 as the gaze position, and this gaze position 332 is the set camera light.
  • the position is set to a position 333 that passes through the axis and is equal to the distance from the camera of the host vehicle to the gaze position.
  • the three-dimensional position of the camera may be set at a position 333 equal to the length of the straight line 330.
  • the projective transformation matrix H can be calculated by (Equation 4).
  • the number of three-dimensional distance data of the three-dimensional object existing in the strip is smaller than the predetermined number, it is preferable to use the three-dimensional distance data of the three-dimensional object included in the immediately preceding strip.
  • 11 and 12 show an example of image conversion by projective transformation.
  • FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object corresponding to the road boundary detected by the road boundary detection unit 104 is represented by hatched portions 410 and 411 in the image shown in FIG. ing.
  • FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object corresponding to the road boundary detected by the road boundary detection unit 104 is represented by hatched portions 410 and 411 in the image shown in FIG. ing.
  • FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object
  • FIG. 12 shows an image obtained by projective transformation of the three-dimensional object in the region indicated by the hatched portion 410 in FIG. 11 so that the three-dimensional object with the strip number W4 is viewed in front.
  • a square whose one side is the vertical width in the image of a three-dimensional object existing in a strip (first road region) immediately before the strip adjacent to the second road region is used. It is good to make it.
  • About a template position what is necessary is just to set to the 2nd road area
  • the template set in this way is moved in the image area corresponding to the first road area as the search range, and the similarity between the image in the template and the image area corresponding to the first road area is calculated. (Refer to S21 in FIG. 17).
  • the three-dimensional object having the same height as the three-dimensional object existing in the first road region corresponding to the template position having the maximum similarity is the image position where the template is set. Presence is present (see S23 in FIG. 18).
  • the template matching process is performed for each image obtained from the left and right cameras 100 and 101, and even when the similarity of either the left or right exceeds a predetermined value, the template position corresponding to the maximum similarity is handled as described above. It is determined that there is a solid object having the same height as the solid object existing in the first road area. The above processing is performed over the entire image region corresponding to the strip set in the second road region while shifting the setting position of the template.
  • the strip is reset from the second road area to the first road area (see S25 in FIG. 18).
  • the maximum value of the similarity is smaller than the predetermined value, it is determined that there is no solid object corresponding to the road area (see S26 in FIG. 18).
  • the position and height of the three-dimensional object corresponding to the road boundary that could not be detected by the three-dimensional distance data are estimated (first (See S28 in FIG. 18).
  • the similarity it is preferable to use a correlation coefficient that is strong against changes in contrast and brightness. Not only this but the scale which shows textures, such as a Fourier transform, may be used.
  • FIG. 13 shows a template setting area 420 and a search range 421 for setting a template.
  • the template is set in the image area of the strip number W5 classified as the second road area, and template matching is performed with the search range 421 to determine whether or not the maximum value of the similarity exceeds a predetermined value. .
  • the template setting area is shifted to the right in FIG. 13, and template matching with the search range 421 is performed again.
  • a predetermined range may be covered with the previous setting area.
  • the coordinates of the intersection 341 between the line 334 and the straight line 340 obtained by projecting the line of sight corresponding to the template position onto the XZ plane may be used.
  • not only the three-dimensional distance data in the strip number W4 but also the strip three-dimensional distance data corresponding to the other first road area is projected on the XZ plane, and the higher-order equations and straight lines 340 applied to this projection data are projected. It is good also as a coordinate of the intersection with.
  • the same boundary determination unit 105 as the road boundary detection unit 104 can detect the height and position of a three-dimensional object corresponding to the road boundary existing in the traveling direction of the host vehicle.
  • the first embodiment uses two left and right cameras. However, when there are more than two cameras, the first embodiment is expanded by combining the two cameras. It is possible to apply.
  • FIG. 19 is a block diagram illustrating the configuration of the road boundary detection / judgment device according to the second embodiment.
  • a movement information acquisition unit 123 that acquires movement information of the host vehicle 110 and a movement locus estimation unit that estimates a movement locus. 124, and a road boundary deviation determination unit 125 that detects a deviation of the host vehicle 110 from the road, and an alarm unit that gives a warning to the driver. Details of each part will be described below.
  • the motion information acquisition unit 123 is a unit that acquires signals from the vehicle speed sensor 120, the rudder angle sensor 121, and the acceleration / yaw rate sensor 122 mounted on the host vehicle 110, and uses a communication protocol such as CAN (Control Area Network) or FlexRay. In principle, signals are transmitted and received at predetermined time intervals. However, the present invention is not limited to the above communication protocol, and other communication protocols may be used.
  • the movement trajectory estimation unit 124 is a unit that estimates a movement trajectory up to a predetermined time after the host vehicle based on the vehicle speed, steering angle, acceleration / yaw rate of the host vehicle acquired by the motion information acquisition unit 123. A vehicle motion model based on the vehicle dynamics of the host vehicle is used for estimating the movement trajectory.
  • estimation error can be reduced by adding position information obtained from, for example, GPS (Global Positioning System).
  • the estimated position information of the movement locus is a point on the XZ plane in the world coordinate system composed of the X axis 200, the Y axis 201, and the Z axis 202 shown in FIG.
  • the movement trajectory may be projected onto the road model estimated by the road boundary detection unit 104.
  • the present invention is not limited to the movement trajectory estimation method, and other estimation methods may be used.
  • the position information of the movement locus estimated by the movement locus estimation unit 124 is stored in the memory.
  • the position information of one movement locus may be stored for each strip, or the position information for every predetermined time may be stored.
  • the road boundary deviation determining unit 125 is configured to detect the position of the moving track estimated by the moving track estimating unit 124 and the position of the three-dimensional object corresponding to the left and right road boundaries obtained by the road boundary detecting unit 104 and the same boundary determining unit 105. Based on the information, it is a unit that determines whether or not the vehicle deviates from the road boundary.
  • FIG. 20 shows an example in which departure determination is performed.
  • the movement trajectory 316 estimated by the movement trajectory estimation unit 124 crosses the position of the three-dimensional object 315 corresponding to the left road boundary detected and estimated by the road boundary detection unit 104 and the same boundary determination unit 105.
  • the contents of the determination process will be described below with reference to FIG. First, the position 318 of the movement trajectory crossing the three-dimensional object at the left and right road boundary is estimated. Then, the crossing time tc until crossing the boundary is calculated from the travel distance L to the crossing position 318 and the vehicle speed v by the following equation. Further, the number of consecutive estimations Nc at the crossing position 318 is counted.
  • This continuous estimation number Nc reduces the misjudgment of crossing due to vibration of the moving trajectory caused by minute vibration of the steering angle by the driver's steering wheel operation and noise included in the output signals of the vehicle speed sensor 120 and the acceleration / yaw rate sensor 122.
  • the predetermined value related to the crossing time tc is related to the time required to stop to the crossing position at a predetermined deceleration and a series of operations for avoiding or braking by recognizing and judging the driver's obstacle. It is desirable to set based on time statistics.
  • the road boundary deviation judgment unit judges whether or not to issue a warning for deviation prevention.
  • the warning unit 126 is a part that issues a warning to the driver based on the determination result of the road boundary deviation determination unit 125.
  • As an alarm it is desirable to turn on an alarm sound or an alarm lamp using a speaker mounted on the host vehicle. Further, the handle may be vibrated. Note that the present invention is not limited to the above-described method of giving an alarm, and other methods may be used. As described above, in the second embodiment, it is possible to prevent a road departure by giving a road departure warning to the driver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供すること。 　道路領域を撮像する２台以上のカメラを有する画像取得部と、画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、距離データ取得部によって得られた３次元距離情報に基づいて道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、道路境界に相当する立体物の高さを検出できた第１の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、画像を変換して第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部を備え、第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定すること。

Description

道路境界検出判断装置
　本発明は、車両に搭載された複数の撮像装置によって立体物で区切られた道路境界を検出して車両の走行領域を判断する装置、特にオクルージョンや撮像画像が不明瞭のため道路境界に相当する立体物の検出が困難である場合にも対応できる道路境界検出判断装置に関する。
　従来から、自動車の安全運転を確保するために運転者に警報を与えたり、操作支援を行ったりするＡＳＶ（Ａｄｖａｎｃｅｄ　Ｓａｆｅｔｙ　Ｖｅｈｉｃｌｅ：先進安全自動車）に関して、技術開発が進められている。ＡＳＶには、特に自動車の道路からの逸脱を防止するために、道路の境界を検出することが必要である。そこで、自動車に搭載したカメラを用いて、車道を規定する路面上の車線や道路鋲などの道路標示を検出する方法がよく用いられる。
　しかし、高速道路や整備された道路には道路標示の存在を期待できるが、幅員の狭い道路や整備途中の道路では、車道外側線の外側には道路標示のない場合が多い。また、カーブ半径の短い道路では、道路湾曲部の車線がカメラに映りにくいため、道路の境界を判断するのが困難である。そのため、車線や道路鋲等の道路標示だけでなく、歩車道分離ブロック，歩道，生垣，ガードレール，側壁，ポール等の立体物からも、道路の境界を判断する必要がある。
　カメラを用いて、立体物で区切られた道路境界を検出する方法として、２台以上の複数のカメラを用いる方法がある。例えば、特許文献１には、２台のカメラから得たステレオ画像を基に撮像領域中の立体物の路面からの高さを算出し、ガードレールや側壁等の連続する立体物を検出することにより、道路境界を検出する方法が提案されている。
　また、特許文献２には、２台のカメラを用い平面投影ステレオ法による路肩検出装置及び方法が開示されている。平面投影ステレオ法では、一方のカメラで得た画像中のすべてのものが道路平面に存在すると仮定し、これを他方のカメラからの見た画像に変換する。変換された画像は、道路平面に相当する部分は変形せず、立体物に相当する部分のみ変形した画像になっている。この変換された画像と他方のカメラで得た画像と比較することにより、道路平面上の立体物を検出できるのである。
特開平１１−２１３１３８号公報 特開２００３−２３３８９９号公報
　上記の特許文献１に記載された手法では、立体物の路面からの高さを算出するためにはステレオ画像間の対応点探索を行う必要があるが、明るさが低下する等の環境変化によって画像中の立体物のエッジや濃淡パターンが不明瞭になると、一般的に対応点探索の精度が低下する。また、立体物の高さが低い場合や遠方に存在する場合では、画像に映る立体物が小さくなり、立体物の路面からの高さを求めるのが困難となる。特許文献１の技術では、こうした立体物の高さの得られない道路では、立体物で区切られた道路境界を得ることが難しくなるという問題が生じる。
　また、特許文献２に記載された手法では、車両の走行する道路平面を予め知っておく必要があり、勾配変化の多い道路に適用する場合や遠方にある立体物で区切られた道路境界を検知することが難しいという問題が生じる。
　本発明は、上記のような従来技術の問題の解決を課題として、環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供することを目的とする。
　上記課題を解決するために、本発明の道路境界検出判断装置は、自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、前記道路領域を撮像する２台以上のカメラを有する画像取得部と、前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第１の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする。
　本発明によれば、環境の明るさ変化や遠方に存在することによって画像中の立体物のエッジや濃淡パターンが不明瞭になる場合、また、オクルージョンが発生して立体物の３次元距離データを一部検出できない場合等において、既に求まっている立体物の画像情報を基にして画像中から立体物の探索を行うことにより、立体物で区切られた道路境界を検出し判断することができる。
　第１図は実施例１の道路境界検出判断装置のブロック図。
　第２図は車両に搭載された左右カメラの配置と座標系。
　第３図は第２図に示された右カメラで進行方向を撮像した画像の一例。
　第４図は車両に搭載された左右カメラで撮像した画像による３次元距離データをＸＺ平面へ投影した画像と、Ｚ方向で所定間隔毎に区分された領域である短冊。
　第５図は車両に搭載された左右カメラで撮像した画像による３次元距離データをＹＺ平面へ投影した画像と、Ｚ方向で区分された領域である短冊。
　第６図は短冊に含まれる３次元距離データの分布と検出された道路形状。
　第７図は短冊に含まれる３次元距離データの分布と検出された道路境界に相当する立体物。
　第８図は道路境界に相当する立体物の３次元位置距離データのＸＺ平面上の分布状況。
　第９図は短冊番号と左右道路境界に相当する立体物の検出状況の一例。
　第１０図は立体物の３次元位置データの重心と仮想視点のＸＺ平面上の位置。
　第１１図は車両の右カメラから取得した画像の一例と、検出された道路境界に相当する立体物。
　第１２図は第１１図における左側の道路境界に相当する立体物の領域４１０を正面に見る画像に変換した画像の一例。
　第１３図はテンプレートの設定領域とテンプレートマッチングの探索範囲。
　第１４図は立体物の推定位置（Ｘ，Ｚ）を求める方法。
　第１５図は実施例１の動作のフローチャートの一部。
　第１６図は実施例１の動作のフローチャートの一部。
　第１７図は実施例１の動作のフローチャートの一部。
　第１８図は実施例１の動作のフローチャートの一部。
　第１９図は実施例２の動作のフローチャートの一部。
　第２０図は道路境界から逸脱するシーン。
　以下、道路境界検出装置の実施の形態について、図を参照して説明する。
　第１図は、実施例１の道路境界検出判断装置の構成を示すブロック図である。道路境界検出判断装置１は、左カメラ１００，右カメラ１０１と、同時刻のタイミングで撮像した左カメラ１００と右カメラ１０１との画像を保存する画像取得部１０２を備える。道路境界検出判断装置１は、更に画像取得部１０２に保存された２つの画像から左右カメラの撮像領域の３次元距離データを取得する距離データ取得部１０３と、距離データ取得部１０３によって得られた３次元距離データに基づき道路境界を検出する道路境界検出部１０４と、道路境界検出部１０４の出力と画像取得部１０２の出力から道路境界の位置と高さを出力する同一境界判断部１０５を備える。
　第２図は、左カメラ１００と右カメラ１０１を搭載した自車両１１０を示す。自車両の進行方向に対して、左カメラ１００は左側に、右カメラ１０１は右側に設置される。通常はフロントウィンドウの内側に設置されるが、左右のヘッドライトカバー内に設置してもよいし、また、フロントグリル部に設置してもよい。左右カメラ１００，１０１の光軸間長さ及び路面からの高さは、自車両１１０の種類に応じて適宜設定する。また、左右カメラ１００，１０１の視野角が所定量だけ重なるように設置する。
　画像取得部１０２は、左右カメラ１００，１０１に対し、同時刻のタイミングで撮像するよう撮像タイミング信号を出力し、電子シャッター若しくはメカニカルシャッターによって所定の露光時間後に左右カメラ１００，１０１との画像データを取得してメモリに保存する。
　距離データ取得部１０３は、左右カメラ１００，１０１で撮像した領域の３次元距離データを算出してメモリに保存する。３次元距離データは、三角測量の原理に基づき３次元空間中のある点の左右画像間での対応付けを行うことで算出する。画像間の対応付けには、輝度差の総和ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ），輝度差の２乗和ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ），正規化相関マッチング法や位相限定相関法等の方法がよく用いられ、サブピクセル精度での対応付けを行うことにより、３次元距離データの精度を向上することができる。なお、３次元距離データの座標系は、第２図に示すように、進行方向をＺ軸２０２、自車両１１０の幅方向をＸ軸２００、高さ方向をＹ軸２０１とし、原点は左右カメラ設置位置の中心とする。（この座標系を以下「世界座標系」という。）
　道路境界検出部１０４は、距離データ取得部１０３によって算出された３次元距離データに基づいて、道路境界に相当する立体物が存在するかを判定する部である。第３図は右カメラ１０１によって撮像された画像であり、この画像に写る縁石３２０の検出例を、以下、説明する。なお、第１５図~第１８図は、実施例１の処理の流れを示すフローチャートである。
　第４図はＸＺ平面を真上から眺めた俯瞰図であり、黒点は距離データ取得部によって算出された３次元距離データ（第１５図のＳ０２参照）の位置を示す。３次元距離データは左右カメラ１００，１０１の視野範囲内に分布しており、一般的に自車両遠方側に比べて近傍側のデータ数が多い。この３次元距離データ分布から道路境界に相当する立体物を検出するために、第４図に示すようにＺ軸方向に所定間隔毎に区切った領域（この領域を以下「短冊」という。）を設ける（第１５図のＳ０３参照）。そして、短冊毎に道路境界の検出処理を行う。短冊幅の長さは適宜設定してよいが、自車両１１０の幅に相当する長さに設定することが望ましい。また、自車両１１０の車速に応じ（Ｘ軸方向の）長さを変えてもよい。
　次に、短冊に含まれる３次元距離データから道路形状を求める（第１５図のＳ０４参照）方法を説明する。第５図は３次元距離データをＹＺ平面に投影した図であり、横軸が奥行き方向のＺ軸２０２、縦軸が高さ方向のＹ軸２０１である。黒点は、第４図と同様に３次元距離データの位置を示す。短冊番号Ｗ１の短冊中に含まれる３次元距離データをＸ軸Ｙ軸で張られるＸＹ平面に投影すると、第６図に示すデータ分布が得られる。この分布から次式で表される道路モデルに従って道路形状を推定する。
Figure JPOXMLDOC01-appb-I000001
　式１は、１次方程式で表わされる道路モデルであり、ａ及びｂはパラメータである。パラメータの算出方法は種々のものがあるが、例えばＸＹ平面上のデータ分布に対してハフ変換を用いる場合は、ハフ空間の所定領域で投票数が最大となるａ及びｂを選択すればよい。さらに、ハフ変換で算出された値を初期値とし、Ｍ推定法によってａ及びｂを再探索し、はずれ値の影響を減らす方法を用いるのがよい。また、一次方程式ではなく多次元方程式を道路モデルに用いてもよい。
　式１の道路モデルを前記データ分布に当てはめた結果は、第６図に示された直線４００である。この算出された道路モデルに対して、所定高さ以上の立体形状が進行方向に対して左右それぞれ存在するかどうかを探索する。探索方法としては、例えば第７図に示すように、直線４００をＸ軸、直線４００に直行する直線４０２を新たにＹ′軸とし、所定高さ以上のデータ群が存在するかを探索すればよい。探索した結果、第７図に示された斜線領域４０１に左側の道路境界に相当する立体物の存在を確認する。
　上記処理を短冊毎に繰り返し実行することにより、左右道路境界に相当する立体物の高さ及び位置を検出する（第１６図のＳ０８参照）。そして、短冊毎に左右道路境界に相当する立体物の検出状況に応じて、左右に分けたそれぞれに、立体物の検出できた領域を第１の道路領域に（第１６図のＳ１４参照）、立体物を検出できない場合は第２の道路領域に（第１６図のＳ１５参照）分類する。
　第８図は、上記処理によって検出された道路境界に相当する立体物の３次元距離データの分布を示すもので、左右に左右道路境界に相当する立体物の３次元距離データの分布３１０，３１１が認められる。第９図は、第８図に示された検出結果に対応した短冊毎の分類結果を示す。以上に記載したようにして得られた短冊毎の道路境界に相当する立体物の高さと位置、そして分類結果のデータを、メモリに保存する。
　同一境界判断部１０５は、道路境界検出部１０４の分類結果に基づき、画像取得部１０２で得られた画像における第１の道路領域に相当する画像と第２の道路領域に相当する画像との比較を行うことにより、第２の道路領域に第１の道路領域と同一の立体物が存在するかを判断する部である。取得した画像毎にこの推定処理を行うため、立体物がオクルージョンによって隠されている場合にも道路境界を推定することが可能である。
　次に、同一境界判断部の処理の流れを説明する。まず、道路境界検出部の処理結果から第２の道路領域に分類された短冊を探索する（第１７図のＳ１８参照）。該当する短冊が見つかった場合、左右カメラ１００，１０１から得られた画像を、該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第１の道路領域の立体物を正面に見る画像に、それぞれ射影変換する（第１７図のＳ１９参照）。前記画像を変換することにより、消失点に向って第１及び第２の道路領域に相当する画像が小さくなって比較が難しくなる問題を解消することができる。さらに、第１及び第２の道路領域に相当する画像の位置関係を水平にすることで、比較を容易にすることができる。その変換式を次に示す。
Figure JPOXMLDOC01-appb-I000002
　ここで、ｕ，ｖは変換前の画像位置、ｕ′，ｖ′は変換後の画像位置、λは固有値を表す。射影変換行列Ｈの要素をｈ１１からｈ３３の変数で表す。
　そして、射影変換行列Ｈは、次式によって算出することができる。
Figure JPOXMLDOC01-appb-I000003
　ここで、行列Ａはカメラに装着したレンズの焦点距離，画像中心，画素サイズからなる３行３列の内部パラメータ行列である。行列Ｒとベクトルｔは、それぞれ世界座標系に対するカメラの姿勢に関する３行３列の回転行列とカメラの３次元位置である。行列Ａ，行列Ｒ，ベクトルｔは、左右カメラ１００，１０１に対してそれぞれ用意されており、工場出荷前に行われるカメラ校正によって予め値が既知である。ただし、車両搭載後のカメラ校正で値が変更された場合は最新の値を用いることにする。
　行列Ｒ′とベクトルｔ′は、前記の該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第１の道路領域の立体物を正面に見るようにカメラの姿勢及び３次元位置を仮想的に移動した場合の回転行列と３次元位置を表している。この仮想カメラの姿勢は、例えば、第２の道路領域に分類された短冊より１つ手前にある短冊に存在する立体物にカメラ光軸が向くようにする。これを第１０図に示された例について言えば、短冊番号Ｗ４に存在する立体物の３次元距離データをＸＺ平面に投影したデータのよる直線３３４に対して直角で、かつ（式１）の道路モデルに平行となる直線３３１に対し、光軸が重なるように又は平行となるように仮想カメラの向きを設定すればよい。
　第１０図に示した例では、仮想カメラの３次元位置は、短冊番号Ｗ４に存在する立体物の３次元距離データの重心位置３３２を注視位置とし、この注視位置３３２を、前記設定したカメラ光軸が通り、自車両のカメラから前記注視位置までの距離に等しくなる位置３３３に設定している。つまり、直線３３１において、直線３３０の長さに等しい位置３３３にカメラの３次元位置を設定すればよい。
　このように、（式４）によって、射影変換行列Ｈを算出することができる。ただし、短冊に存在する立体物の３次元距離データ数が所定数より少ない場合は、更に一つ手前の短冊に含まれる立体物の３次元距離データを用いるのがよい。
　第１１図及び第１２図は、射影変換で画像変換する例を示す。第１１図は右カメラ１０１から取得した画像であり、道路境界検出部１０４によって検出された道路境界に相当する立体物は、第１１図に示された画像中の斜線部４１０，４１１で表されている。第１２図は、第１１図の斜線部４１０で示す領域の立体物について、短冊番号Ｗ４の立体物を正面に見るように射影変換した画像を示す。以上のように変換することによって、消失点に向って小さくなる立体物の画像の変化を抑えることができ、更に第１の道路領域と第２の道路領域の画像位置を水平にすることができる。
　次に、射影変換した画像において、立体物を検知しない第２の道路領域に相当する画像領域の所定位置に、所定サイズのテンプレートを設定する（第１７図のＳ２０参照）。テンプレートサイズの設定としては、前記第２の道路領域に隣接する短冊の一つ手前にある短冊（第１の道路領域）に存在する立体物の画像中の縦幅を、一辺の長さとする正方形にするのがよい。テンプレート位置については、この射影変換した画像における第１の道路領域に、水平方向で隣接する第２の道路領域に設定すればよい。
　このように設定したテンプレートを、探索範囲である第１の道路領域に相当する画像領域内で動かし、このテンプレート内の画像とこの第１の道路領域に相当する画像領域内との類似度を算出する（第１７図のＳ２１参照）。
　この類似度の最大値が所定値より高い場合、類似度の最大となるテンプレート位置に対応する第１の道路領域に存在する立体物と同じ高さの立体物が、テンプレートを設定した画像位置に存在すると推定する（第１８図のＳ２３参照）。また、左右カメラ１００，１０１から得られる画像毎に前記テンプレートマッチング処理を行い、左右どちらか一方の類似度が所定値を上回る場合にも、前記と同様に類似度が最大となるテンプレート位置に対応する第１の道路領域に存在する立体物と同じ高さの立体物が存在すると判断する。
　以上の処理をテンプレートの設定位置をずらしながら、第２の道路領域に設定された短冊に相当する画像領域全体にわたって処理を行う。もし一度でも類似度の最大値が所定値を上回った場合は、その短冊を第２の道路領域から第１の道路領域に再設定する（第１８図のＳ２５参照）。
　この類似度の最大値が所定値より小さい場合は、道路領域に相当する立体物が存在しないと判断する（第１８図のＳ２６参照）。
　以上の処理を全ての第２の道路領域に分類された短冊に対して実行することにより、３次元距離データで検出できなかった道路境界に相当する立体物の位置と高さを推定する（第１８図のＳ２８参照）。なお、類似度としては、コントラストや明度の変化に強い相関係数を用いるのがよい。これに限らず、フーリエ変換等のテクスチャーを示す尺度を用いてもよい。
　第１３図は、テンプレートを設定する例のテンプレート設定領域４２０と探索範囲４２１を示す。テンプレートは、第２の道路領域に分類されている短冊番号Ｗ５の画像領域中に設定され、探索範囲４２１とテンプレートマッチングを行って、類似度の最大値が所定値を上回るか否かを判定する。この判定が済むと、テンプレートの設定領域を、第１３図において右側にずらし、再度探索範囲４２１とテンプレートマッチングを行う。なお、テンプレートの設定領域を右側にずらす際に、前回の設定領域と所定範囲を被らせるようにしてもよい。
　また、上記処理において、立体物のＸＺ平面上の位置（Ｘ，Ｚ）を推定するには、例えば第１４図に示されたように、射影変換行列を求める際に算出したＸＺ平面上の直線３３４と、テンプレート位置に対応する視線をＸＺ平面に投影した直線３４０との交点３４１の座標とするのがよい。ただし、短冊番号Ｗ４内の３次元距離データだけではなく、他の第１の道路領域に相当する短冊の３次元距離データもＸＺ平面に投影し、この投影データに当てはめた高次方程式と直線３４０との交点の座標としてもよい。
　以上のようにして、道路境界検出部１０４と同一境界判断部１０５により、自車両の進行方向に存在する道路境界に相当する立体物の高さと位置を検出することができる。以上、実施例１は、左右２台のカメラを用いる形態であるが、２台を超える数のカメラがある場合では、その中の２台のカメラを組み合わせることにより、実施例１を拡張して適用することが可能である。
　次に、実施例２の道路境界検出判断装置について説明する。第１９図は、実施例２の道路境界検出判断装置の構成を示すブロック図である。実施例２は、第１図に示された実施例１の道路境界検出判断装置に対して、自車両１１０の運動情報を取得する運動情報取得部１２３と、移動軌跡を推定する移動軌跡推定部１２４、更に自車両１１０の道路からの逸脱を検知する道路境界逸脱判断部１２５と、運転者に警報を与える警報部が加わった構成である。以下、各部の詳細を説明する。
　運動情報取得部１２３は、自車両１１０に搭載された車速センサ１２０，舵角センサ１２１，加速度・ヨーレートセンサ１２２の信号を取得する部であり、ＣＡＮ（Ｃｏｎｔｒｏｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ），ＦｌｅｘＲａｙなどの通信プロトコルに則り、所定の時間間隔で信号の送受信を行う。ただし、本発明は、上記の通信プロトコルに制限されるものではなく、他の通信プロトコルを用いてもよい。
　移動軌跡推定部１２４は、運動情報取得部１２３によって取得された自車両の車速，舵角，加速度・ヨーレートに基づいて、自車両の所定時間後までの移動軌跡を推定する部である。移動軌跡の推定には、自車両の車両ダイナミクスに基づく車両運動モデルを用いる。車両運動モデルを用いた移動軌跡の推定には、所定時間までの数値積分を行う必要があるが、各種センサの信号に含まれる計測誤差が蓄積して推定誤差が肥大化してしまうおそれがある。
　これに対して、例えばＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から得られる位置情報を付加することにより、推定誤差の低減が可能である。推定される移動軌跡の位置情報は、図２に示されたＸ軸２００，Ｙ軸２０１，Ｚ軸２０２からなる世界座標系におけるＸＺ平面上の点とする。なお、道路境界検出部１０４で推定された道路モデルに、移動軌跡を投影するようにしてもよい。また、本発明は、移動軌跡推定法に限定されるものではなく、他の推定法を用いてもよい。
　本移動軌跡推定部１２４によって推定された移動軌跡の位置情報は、メモリに保存される。なお、メモリには、短冊毎に一つの移動軌跡の位置情報を保存してもよいし、所定時間毎の位置情報を保存してもよい。
　道路境界逸脱判断部１２５は、移動軌跡推定部１２４で推定された移動軌跡の位置情報と、道路境界検出部１０４と同一境界判断部１０５とによって得られた左右道路境界に相当する立体物の位置情報とに基づいて、自車両が道路境界を逸脱するか否かを判断する部である。第２０図は、逸脱判断を行う例を示す。移動軌跡推定部１２４で推定された移動軌跡３１６が道路境界検出部１０４と同一境界判断部１０５とによって検出及び推定された左側道路境界に相当する立体物３１５の位置を横切る様子を示している。
　以下、第２０図を参照して判断処理内容を説明する。まず、左右道路境界の立体物を横切る移動軌跡の位置３１８を推定する。それから、次式により、横切り位置３１８までの走行距離Ｌと車速ｖより、境界を横切るまでの横切り時間ｔｃを算出する。
Figure JPOXMLDOC01-appb-I000004
　さらに、横切り位置３１８の連続推定回数Ｎｃをカウントする。この連続推定回数Ｎｃは、運転者のハンドル操作による舵角の微小振動や、車速センサ１２０，加速度・ヨーレートセンサ１２２の出力信号に含まれるノイズによって移動軌跡が振動し、横切りの誤判断を低下する目的で設定する。
　横切り時間ｔｃが所定値より短く、連続推定回数Ｎｃが所定値より大きい場合、自車両の道路逸脱の可能性が高いと判断する。なお、横切り時間ｔｃに関する所定値は、所定の減速度で横切り位置までに停止するのに必要な時間と、運転者の障害物を認知・判断して回避又は制動操作を行う一連の動作にかかる時間の統計値に基づいて設定することが望ましい。こうして、道路境界逸脱判断部によって逸脱防止のための警報を出すか出さないかの判断がなされる。
　警報部１２６は、道路境界逸脱判断部１２５の判断結果に基づいて、運転者に警報を出す部分である。警報としては、自車両に搭載されているスピーカを利用した警報音や警報ランプの点灯が望ましい。また、ハンドルを加振させるようにしてもよい。なお、本発明は、上記の警報の与え方に限定されるものではなく、他の方法を用いるようにしてもよい。
　以上のとおり、実施例２は、運転者に道路逸脱警報を与えることにより、道路逸脱を未然に防ぐことが可能となる。
１００　左カメラ
１０１　右カメラ
１０２　画像取得部
１０３　距離データ取得部
１０４　道路境界検出部
１０５　同一境界判断部
１１０　自車両
１２０　車速センサ
１２１　舵角センサ
１２２　加速度・ヨーレートセンサ
１２３　運動情報取得部
１２４　移動軌跡推定部
１２５　道路境界逸脱判断部
１２６　警報部
２００　Ｘ軸
２０１　Ｙ軸
２０２　Ｚ軸
３００　３次元距離データ
３０１　短冊
３０５　短冊３０１に含まれる３次元距離データ
３１０　左側道路境界に相当する立体物データ
３１１　右側道路境界に相当する立体物データ
３１５　検出及び推定された左側道路境界に相当する立体物データ
３１６　短冊毎の自車両の移動軌跡位置
３１７　移動軌跡の点列
３２０　縁石
３３０　注視位置までの距離
３３１　仮想視点位置と注視位置との距離
３３２　注視位置
３３３　仮想視点位置
３３４　短冊Ｗ４に含まれる３次元距離データのＸＺ投影点に対する直線当てはめ結果
３４０　類似度が最大になるテンプレート位置に対応するＸＺ平面に投影した視線
３４１　立体物の推定位置
４００　道路形状
４０１　道路境界に相当する立体物
４０２　Ｙ′軸
４０３　Ｘ′軸
４１０　右画面における左側道路境界に相当する立体物データ
４１１　右画面における右側道路境界に相当する立体物データ
４２０　テンプレート設定領域
４２１　探索範囲

Claims (6)

  1. 　自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、
    　前記道路領域を撮像する２台以上のカメラを有する画像取得部と、
    　前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、
    　前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、
    　前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第１の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、
    　前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする道路境界検出判断装置。
  2. 　請求項１に記載された道路境界検出判断装置において、
    　前記道路境界検出部は、前記３次元距離情報に基づいて前記自車両から前方に向かって所定間隔毎に道路形状を検出し、かかる検出された道路形状に対して前記所定間隔内の所定領域に高さが所定値以上の立体物が存在するかを判定し、該立体物が存在すると判定された場合、該立体物の３次元位置と高さを算出して前記所定領域を第１の道路領域に分類し、該立体物が存在しないと判定された場合には、前記所定領域を第２の道路領域に分類することを特徴とする道路境界検出判断装置。
  3. 　請求項２に記載された道路境界検出判断装置において、
    　前記同一境界判断部は、前記道路境界検出部によって検出された第２の道路領域に分類された前記所定の領域の手前の第１の道路領域に分類された前記領域の境界に相当する立体物の３次元距離情報と前記道路形状とに基づいて前記画像を射影変換によって前記立体物を仮想的に正面から見た画像に変換することを特徴とする道路境界検出判断装置。
  4. 　請求項３に記載された道路境界検出判断装置において、
    　前記同一境界判断部は、前記第１の道路領域に分類された領域の遠方側の画像位置に接する前記第２の道路領域に分類された領域の画像の所定領域をテンプレートとし、該テンプレートと前記第１の道路領域に分類された領域の境界に相当する立体物を含む所定領域内の画像との類似度を算出し、該類似度の最大値が所定値より高い場合、該類似度の最大となるテンプレート位置に対応する立体物が前記第２の道路領域に分類された前記領域に存在すると判断することを特徴とする道路境界検出判断装置。
  5. 　請求項４に記載された道路境界検出判断装置において、
    　前記類似度として、相関係数を用いることを特徴とする道路境界検出判断装置。
  6. 　請求項１に記載された道路境界検出判断装置において、
    　前記自車両の運動情報を取得する運動情報取得部と、
    　前記運動情報取得部によって得られた運動情報に基づいて所定時間後までの前記自車両の移動軌跡を推定する移動軌跡推定部と、
    　前記推定された移動軌跡並びに前記道路境界検出部及び前記同一境界判断部によって検出された道路境界に相当する立体物との横切る位置を探索し、該横切る位置が存在する場合には該横切る位置までの距離と前記自車両の速度に基づいて運転者に警報を与える警報部と、を備えることを特徴とする道路境界検出判断装置。
PCT/JP2009/060975 2008-09-17 2009-06-10 道路境界検出判断装置 WO2010032523A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/920,405 US8411900B2 (en) 2008-09-17 2009-06-10 Device for detecting/judging road boundary
EP09814368.8A EP2336999B1 (en) 2008-09-17 2009-06-10 Device for detecting/judging road boundary

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008237878A JP5089545B2 (ja) 2008-09-17 2008-09-17 道路境界検出判断装置
JP2008-237878 2008-09-17

Publications (1)

Publication Number Publication Date
WO2010032523A1 true WO2010032523A1 (ja) 2010-03-25

Family

ID=42039368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/060975 WO2010032523A1 (ja) 2008-09-17 2009-06-10 道路境界検出判断装置

Country Status (4)

Country Link
US (1) US8411900B2 (ja)
EP (1) EP2336999B1 (ja)
JP (1) JP5089545B2 (ja)
WO (1) WO2010032523A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2431917A1 (en) * 2010-09-21 2012-03-21 Mobileye Technologies Limited Barrier and guardrail detection using a single camera
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5269755B2 (ja) 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
JP5161936B2 (ja) * 2010-08-11 2013-03-13 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
JP5389002B2 (ja) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 走行環境認識装置
EP2574958B1 (en) 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
JPWO2013058093A1 (ja) * 2011-10-18 2015-04-02 日立建機株式会社 作業機械の周囲監視装置
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
DE102011056671A1 (de) * 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
JP5820774B2 (ja) * 2012-06-21 2015-11-24 株式会社豊田中央研究所 路面境界推定装置及びプログラム
WO2014027500A1 (ja) 2012-08-15 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 特徴抽出方法、プログラム及びシステム
US9256791B2 (en) 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
CN104050654B (zh) 2013-03-11 2017-06-09 株式会社理光 道路边缘检测方法和装置
TWI498831B (zh) * 2013-10-15 2015-09-01 Nat Univ Chung Hsing 產生可變形狀之適應性動態區域之系統與其控制方法
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
EP3742339A1 (en) 2013-12-04 2020-11-25 Mobileye Vision Technologies Ltd. System and method for implementing a multi-segment braking profile for a vehicle
EP2899669A1 (en) 2014-01-22 2015-07-29 Honda Research Institute Europe GmbH Lane relative position estimation method and system for driver assistance systems
US9298993B2 (en) * 2014-02-27 2016-03-29 Xerox Corporation On-street vehicle parking occupancy estimation via curb detection
US9834207B2 (en) 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
JP6374695B2 (ja) * 2014-04-28 2018-08-15 日立建機株式会社 路肩検出システムおよび鉱山用運搬車両
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
KR101637716B1 (ko) * 2014-11-03 2016-07-07 현대자동차주식회사 차량의 장애물 위치 인식 장치 및 방법
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
JP6456405B2 (ja) * 2015-01-16 2019-01-23 株式会社日立製作所 ３次元情報算出装置、３次元情報算出方法、および自律移動装置
KR102079882B1 (ko) * 2015-08-04 2020-02-20 닛산 지도우샤 가부시키가이샤 단차 검출 장치 및 단차 검출 방법
WO2017022079A1 (ja) * 2015-08-04 2017-02-09 日産自動車株式会社 段差検出装置及び段差検出方法
JP6485280B2 (ja) * 2015-08-10 2019-03-20 日産自動車株式会社 段差検出装置及び段差検出方法
DE102016201304A1 (de) * 2016-01-28 2017-08-03 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug
US9852631B2 (en) 2016-03-04 2017-12-26 Conduent Business Services, Llc Mobile on-street parking occupancy detection
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
TWI608448B (zh) * 2016-03-25 2017-12-11 晶睿通訊股份有限公司 計數流道設定方法、具有計數流道設定功能的影像監控系統、及其相關的電腦可讀取媒體
JP6834330B2 (ja) * 2016-10-12 2021-02-24 日産自動車株式会社 走路境界検出方法及び走路境界検出装置
KR102518537B1 (ko) * 2016-12-16 2023-04-07 현대자동차주식회사 운전자 지원 장치 및 그의 차선 정보 제공 방법
EP3619643A1 (en) 2017-05-03 2020-03-11 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
CN107926264A (zh) * 2017-10-23 2018-04-20 北京勇搏科技有限公司 一种基于无人驾驶技术的收割机
CN108182412A (zh) * 2017-12-29 2018-06-19 百度在线网络技术（北京）有限公司 用于检测图像类型的方法及装置
JP7344744B2 (ja) * 2019-10-09 2023-09-14 日産自動車株式会社 路側端検出方法、及び、路側端検出装置
JP7359715B2 (ja) 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
US11584371B2 (en) 2020-07-15 2023-02-21 Toyota Research Institute, Inc. Systems and methods for using R-functions and semi-analytic geometry for lane keeping in trajectory planning
CN112000757B (zh) * 2020-08-25 2024-05-28 北京四维图新科技股份有限公司 道路边界处理方法及电子设备
CN117083575A (zh) * 2021-03-15 2023-11-17 动态Ad有限责任公司 轨迹检查器
CN113869129A (zh) * 2021-08-31 2021-12-31 广州文远知行科技有限公司 一种路肩检测方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH11213138A (ja) 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2000331148A (ja) * 1999-05-19 2000-11-30 Nissan Motor Co Ltd 障害物検出装置
JP2003204546A (ja) * 2002-09-20 2003-07-18 Fuji Heavy Ind Ltd 車外監視装置
JP2003233899A (ja) 2002-02-08 2003-08-22 Toshiba Corp 路肩検出装置及び方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法
JP2006053757A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
US7751589B2 (en) * 2005-04-18 2010-07-06 Intel Corporation Three-dimensional road map estimation from video sequences by tracking pedestrians
JP4797794B2 (ja) * 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
JP2009053818A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 画像処理装置及びその方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH11213138A (ja) 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2000331148A (ja) * 1999-05-19 2000-11-30 Nissan Motor Co Ltd 障害物検出装置
JP2003233899A (ja) 2002-02-08 2003-08-22 Toshiba Corp 路肩検出装置及び方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法
JP2003204546A (ja) * 2002-09-20 2003-07-18 Fuji Heavy Ind Ltd 車外監視装置
JP2006053757A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2336999A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685424B2 (en) 2010-09-21 2020-06-16 Mobileye Vision Technologies Ltd. Dense structure from motion
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US11170466B2 (en) 2010-09-21 2021-11-09 Mobileye Vision Technologies Ltd. Dense structure from motion
EP2431917A1 (en) * 2010-09-21 2012-03-21 Mobileye Technologies Limited Barrier and guardrail detection using a single camera
US11087148B2 (en) 2010-09-21 2021-08-10 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
EP3301612A1 (en) * 2010-09-21 2018-04-04 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US10078788B2 (en) 2010-09-21 2018-09-18 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US10115027B2 (en) 2010-09-21 2018-10-30 Mibileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
EP3751457A1 (en) * 2010-09-21 2020-12-16 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US10445595B2 (en) 2010-09-21 2019-10-15 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
JP2016206775A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
CN106056569B (zh) * 2015-04-17 2019-03-29 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
US9898669B2 (en) 2015-04-17 2018-02-20 Toyota Jidosha Kabushiki Kaisha Traveling road surface detection device and traveling road surface detection method
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法

Also Published As

Publication number Publication date
JP2010072807A (ja) 2010-04-02
EP2336999A4 (en) 2013-10-30
EP2336999A1 (en) 2011-06-22
EP2336999B1 (en) 2020-04-22
US20110063097A1 (en) 2011-03-17
US8411900B2 (en) 2013-04-02
JP5089545B2 (ja) 2012-12-05

Similar Documents

Publication Publication Date Title
JP5089545B2 (ja) 道路境界検出判断装置
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
JP4420011B2 (ja) 物体検知装置
US20190188498A1 (en) Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP2007235642A (ja) 障害物検知システム
JP2010198552A (ja) 運転状況監視装置
JP6547785B2 (ja) 物標検出装置
JP5482672B2 (ja) 移動物体検出装置
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6035095B2 (ja) 車両の衝突判定装置
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6314655B2 (ja) 標示線検出装置、標示線検出方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム
JP5891802B2 (ja) 車両位置算出装置
CN115346191A (zh) 用于校准的方法和设备
JP3951734B2 (ja) 車両用外界認識装置
JP4144464B2 (ja) 車載用距離算出装置
CN115943287A (zh) 车辆姿态推断系统及车辆姿态推断方法
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP2009059132A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814368

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009814368

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12920405

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE