WO2011013586A1 - 道路形状認識装置 - Google Patents

道路形状認識装置 Download PDF

Info

Publication number
WO2011013586A1
WO2011013586A1 PCT/JP2010/062416 JP2010062416W WO2011013586A1 WO 2011013586 A1 WO2011013586 A1 WO 2011013586A1 JP 2010062416 W JP2010062416 W JP 2010062416W WO 2011013586 A1 WO2011013586 A1 WO 2011013586A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
road shape
shape
unit
vehicle
Prior art date
Application number
PCT/JP2010/062416
Other languages
English (en)
French (fr)
Inventor
未来 樋口
盛彦 坂野
健 志磨
彰二 村松
門司　竜彦
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP10804332.4A priority Critical patent/EP2461305B1/en
Priority to US13/387,137 priority patent/US9074906B2/en
Publication of WO2011013586A1 publication Critical patent/WO2011013586A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a road shape recognition device, and more particularly, to a road shape recognition device that recognizes the shape of a road existing in front of the traveling direction of the host vehicle.
  • An adaptive cruise control that controls the speed of the vehicle according to the speed of the preceding vehicle using a radar or the like has been commercialized. Furthermore, in recent years, an ACC technique has been proposed in which a navigation system is used to detect a curve ahead of the host vehicle and automatically decelerates using the curve.
  • Patent Document 1 uses a millimeter wave radar to detect a stationary object in front of the vehicle, and uses a previous processing result, a vehicle yaw rate sensor, or a steering angle sensor from the detected stationary object.
  • a stationary object effective for estimating the road shape is selected, and the road shape such as a curve is estimated.
  • select the effective stationary objects for each road shape assuming multiple road shapes, and select the one with the most selected stationary objects for the estimation of the road shape. It is to select as a thing.
  • Patent Document 1 since the method of Patent Document 1 only selects a three-dimensional object based on the road shape of the previous processing result, the road shape is erroneously estimated in the previous processing or when the road shape is discontinuous. In such a case, it becomes difficult to estimate the road shape with high accuracy.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a road shape recognition device capable of accurately recognizing the road shape of a road existing ahead in the traveling direction of the vehicle. There is.
  • a road shape recognition device of the present invention that solves the above problems is a road shape recognition device that recognizes a road shape of a road existing in front of the traveling direction of the vehicle, and images the front side of the traveling direction of the vehicle.
  • the road area of the road is detected based on the road area, and the road shape of the road is estimated based on the detected road area.
  • the road area of the road is detected from the captured image, and the road shape of the road is estimated from the detected road area.
  • the road shape can be accurately recognized from near to far. Therefore, it is difficult to detect objects such as white lines and curbs as in the past, road shapes where there are no objects such as white lines and curbs, or roads with white lines. Even in the case of a road shape of a road that is curved far away and it is difficult to detect a white line, it can be accurately recognized.
  • the functional block diagram of the road shape recognition apparatus in 1st Embodiment The block diagram of the vehicle-mounted system to which the road shape recognition apparatus of 1st Embodiment is applied.
  • FIG. 1 It is a figure which shows an example of a road area detection method, (a) is the right image imaged with the right camera, (b) is a figure which shows a road area, (c) is a figure which shows the luminance distribution and luminance range of a road area. It is a figure which shows a road area detection result, (a) is a figure which shows the image which imaged the road curving to the right in the distance, (b) is an example which detected the road area based on the image of (a) FIG.
  • (a) is a figure which shows the image which imaged the road with an uphill in the distance
  • (b) is a figure which shows the example which detected the road area
  • amendment The figure which shows an example of the result of having calculated the angle of the curve, and the distance from a vehicle to a curve based on the road shape after correction
  • the road shape recognition apparatus 1 includes a measuring unit (imaging unit) 30 shown in FIG. 1 constituted by a plurality of cameras 4, and is applied to an in-vehicle system 3 as shown in FIG.
  • a function of recognizing the environment around the vehicle is realized by a camera 4R (right camera) and a camera 4L (left camera).
  • the number of cameras 4 is not limited to two, and may be three or more.
  • the control unit 2 separate from the camera 4 or an image processing unit (not shown) may capture the image from the camera 4 and process it.
  • the road shape recognition device 1 uses the difference in appearance (hereinafter referred to as parallax) that occurs when the same measurement point P0 is imaged by the cameras 4R and 4L, and uses the principle of triangulation as a distance. It is the composition which can ask for.
  • the distance from the lens 5 of the cameras 4R, 4L to the measurement point P0 is Z
  • the distance between the cameras 4R, 4L is B
  • the focal distance from the lens 5a of each camera 4R, 4L to the imaging surface 5b is f
  • parallax If ⁇ is ⁇ , the distance Z can be obtained by the following equation (1).
  • the unit is all millimeters, for example.
  • the road shape recognition device 1 is applied to the in-vehicle system 3 shown in FIG.
  • the in-vehicle system 3 is mounted on the vehicle v, detects the road shape of the road existing on the front side in the traveling direction of the vehicle (hereinafter referred to as the own vehicle) v by the road shape recognition device 1, and transmits the detection result to the control unit 2. Then, the control unit 2 controls the vehicle based on the detection result, or notifies the passenger of the danger.
  • the road shape recognition apparatus 1 includes a CPU 6, a RAM 9, a program ROM 10, and a data ROM 7 in addition to the camera 4R and the camera 4L.
  • the control unit 2 includes a CPU 12, a RAM 11, a program ROM 14, and a data ROM 13.
  • the in-vehicle system 3 includes a road shape recognition device 1 and a control unit 2 that are connected to each other, a display 15 that is installed in the passenger compartment and displays various images and various information, and the vehicle v has a curve or the like.
  • a speaker 19 that generates a warning sound when there is a danger such as excessive speed when entering, an ignition switch 20 that is turned on when the engine of the vehicle v is started, and a start switch 21 that starts the in-vehicle system 3 Are connected, and the control unit 2 controls the operation of the entire in-vehicle system 3 including display control of the display 15.
  • the road shape recognition device 1 is attached to, for example, a room mirror in a passenger compartment, and images a state in front of the host vehicle, which is the front side in the traveling direction of the host vehicle v, at a predetermined depression angle and mounting position. .
  • Images in front of the host vehicle (hereinafter referred to as captured images) captured by the camera 4R and the camera 4L are taken into the RAM 9 inside the road shape recognition device 1 and used to detect the road area of the road in front of the host vehicle. .
  • the road shape recognition device 1 detects a road area based on the images of the cameras 4R and 4L, and calculates the road shape based on the road area.
  • the road shape recognition device 1 calculates, for example, the curvature radius of the curve and the distance to the curve entrance as the road shape, and draws the detection result on the display 15 as a display image, or automatically calculates the road shape estimated by the own vehicle.
  • the control unit 2 determines that the speed of the car is excessive and there is a risk of deviation from the road, the display 15 and the speaker 19, or the display 15 or the speaker 19 are controlled under the control of the control unit 2. The driver is notified either way. Further, the vehicle may be controlled by the control unit 2 such that automatic braking is performed so as to avoid or reduce danger.
  • the display 15 is composed of a display device such as an LCD (Liquid Crystal Display), for example. Under display control by the control unit 2, for example, an image of driving route guidance by a car navigation system (not shown) or an image of the road shape recognition device 1. Various images such as are displayed. Further, when the road shape recognition apparatus 1 recognizes a sharp curve or the like, the display 15 displays a message for informing that a sharp curve or the like exists under the control of the control unit 2.
  • the control unit 2 has a configuration in which a CPU 12, a RAM 11, a data ROM 13 and a program ROM 14 are connected via a bus, and the CPU 12 executes various control programs stored in the program ROM 14, thereby operating the entire system. Is to control.
  • a road shape recognition program for detecting an object such as a lane or a three-dimensional object in front of the host vehicle and calculating the road shape is stored in the program ROM 10, and when the engine is started, the CPU 6 executes these programs.
  • a road shape recognition function is realized, and functions as a road area detection unit 31, a road shape estimation unit 32, a road boundary point extraction unit 33, and a road shape calculation unit 34 as shown in the functional block diagram of FIG. It is like that.
  • the technique which detects a lane, a solid object, etc. is a well-known technique, it does not illustrate in particular.
  • the road area detection unit 31 has a function of processing at least one of the images captured by the camera 4R and the camera 4L to detect a road area of a road made of asphalt or the like.
  • the road shape estimation unit 32 has a function of estimating the road shape of the road based on the road region detected by the road region detection unit 31.
  • the road boundary point extraction unit 33 has a function of extracting road boundary points between the road and the outside of the road.
  • the road shape calculation unit 34 corrects the road shape estimated by the road shape estimation unit 32 based on the three-dimensional position of the road boundary point extracted by the road boundary point extraction unit 33, and calculates a more accurate road shape. It has a function.
  • the road shape recognition device 1 configured as described above allows the CPU 6 to execute a road shape recognition program so that, for example, an object capable of recognizing a road shape such as a lane or a curb is visible even in a distant place. Further, even on a road where such an object does not exist, the road shape can be accurately recognized by detecting a road area made of asphalt or the like.
  • an image in which the recognition result is superimposed on the input image is output to the display 15, and the recognition result is transmitted to the control unit 2.
  • the image is decelerated. Control is performed or an alarm sound is generated to notify the vehicle occupant.
  • FIG. 4 is a flowchart showing a road shape recognition processing method in the present embodiment. A series of processes shown in the flowchart of FIG. 4 starts when the ignition switch 20 (see FIG. 2) is turned on, and is repeated until the ignition switch 20 is turned off.
  • the process is executed. It is good also as a structure which determines.
  • step S101 when the ignition switch 20 is turned on, a road shape recognition program is executed by the road shape recognition device 1, and an initialization flag is set to ON (step S101). Next, it is determined whether or not the start switch 21 of the in-vehicle system 3 is ON (step S102). If the start switch 21 of the in-vehicle system 3 is ON, it is determined whether or not the initialization flag is ON (step S103).
  • step S104 initialization processing such as resetting past road shape recognition results is performed (step S104), and the initialization flag is set to OFF (step S105). Then, when the initialization flag is OFF in step S103, or after the initialization flag is set OFF in step S105, the process proceeds to step S106 and subsequent steps to calculate the road shape.
  • step S106 a process of detecting a road area of a road made of asphalt or the like and detecting a three-dimensional position of an object existing on the front side in the traveling direction of the host vehicle v is performed based on a difference in appearance between the camera 4R and the camera 4L.
  • the three-dimensional coordinate system at this time is, for example, as shown in FIG. 5, the intermediate point between the camera 4R and the camera 4L is the origin O, the vehicle traveling direction is the Z axis, and the horizontal direction (vehicle width direction) is the X axis. It is assumed that the vertical direction is represented by an orthogonal coordinate system having the Y axis.
  • an object such as a lane or a three-dimensional object existing on the front side of the traveling direction of the own vehicle v is analyzed for three-dimensional data obtained by processing images captured by the cameras 4R and 4L, and a vertical structure is converted into a three-dimensional object.
  • continuous white lines can be detected as lanes.
  • stereo cameras By using two or more cameras (hereinafter referred to as stereo cameras), high-resolution three-dimensional data can be obtained, and small objects such as lanes and curbs located near the vehicle v can be detected with high accuracy. Can do.
  • the 3D measurement performance does not depend on the reflection characteristics of the object, such as a radar device, so it can measure 3D data of a wide variety of objects, such as plants and buildings, along the road shape. Even for three-dimensional data, more objects can be detected.
  • the road area detection unit 31 processes an imaged image to detect a three-dimensional position of an object, and obtains an image between the right camera 4R (hereinafter, right image) and an image of the left camera 4L (hereinafter, left image). A road region is detected using a series of correlation values (FIG. 6B).
  • FIG. 6A and 6B are diagrams for explaining an example of a road area detection method.
  • FIG. 6A is a diagram showing left and right images taken by the left and right cameras
  • FIG. 6B is a diagram showing an example of a correlation value series.
  • a parallax calculation window 65R is set in the right image 61R, and a window 65L having the same size as the window 65R is operated in the horizontal direction of the left image 61L, so that the window of the right image 61R is displayed.
  • a correlation value indicating how similar the images in the window 65L of 65R and the left image 61L are calculated (parallax search).
  • the correlation value can be calculated by the following equation (2), such as the sum of absolute differences (SAD).
  • N is the vertical size of the parallax calculation target window
  • M is the horizontal size
  • I (i, j) is the luminance value of the right image 61R
  • T (i, j) is the luminance value of the left image 61L. .
  • the window 65L of the left image 61L is shifted by the disparity search range S m and the correlation value is calculated to obtain a correlation value series (FIG. 6B).
  • the minimum value S i is obtained from the S m correlation values, and S i becomes the parallax.
  • the right image 61R It is determined that the pixel in the parallax calculation target window 65R is the road region 62R, and a road region label is assigned to the pixel.
  • 1 is assigned as the road area label to the pixel position determined to be the road area 62R, and 0 is assigned to the pixel position determined to be not the road area (for example, the sky area 64R and the outside road area 63R). Then, the parallax calculation target window 65R of the right image 61R is shifted to obtain the parallax and road area label of the entire right image 61R.
  • FIG. 8 is a diagram showing a road area detection result.
  • FIG. 8A is a diagram illustrating an image 81 obtained by capturing a road 82 that is curved to the right at a distance
  • FIG. 8B is a diagram illustrating FIG. It is a figure which shows the example of a result of having detected the road area
  • the road 82, the road outside 83, and the sky 84 are imaged.
  • the road 82 in the image 81 is imaged so as to approach the vanishing point and gradually become smaller as it moves farther away. Therefore, the region 85 including a portion that is curved far away has a relatively low resolution compared to the neighboring position, and can hardly be recognized when a white line, a curbstone, or the like exists on the road 82. Therefore, it is difficult to recognize a distant road shape by a conventional method of recognizing a road shape by using a white line or a curb.
  • the road shape recognition device 1 of the present invention detects the road area of the road by the road area detection unit 31.
  • the hatched portion shown in FIG. 8 (b) consists of road candidate points with the road region label 1 assigned to the pixels, and the portions other than the hatching consist of non-candidate points with the road region label 0 assigned to the pixels.
  • the island-shaped part 87 shown by FIG.8 (b) represents noise.
  • the road area 86 can recognize the entire road shape, and can recognize that the road is curved to the right at a distance.
  • FIG. 9 is a diagram showing a road area detection result
  • FIG. 9A is a diagram showing an image obtained by capturing a road with an uphill in the distance with the camera 4
  • FIG. 9B is a diagram of FIG. 9A. It is a figure which shows the example which detected the road area
  • a road 92 In the image 91 of FIG. 9A, a road 92, a road outside 93, and the sky 94 are imaged.
  • the road 92 is imaged so as to approach the vanishing point and gradually become smaller as it moves farther in the image 91.
  • the region 95 including the distant uphill portion has a relatively low resolution as compared with the neighboring position, and can hardly be recognized when a white line or a curb is present on the road 92. Therefore, it is difficult to recognize a distant road shape by a conventional method of recognizing a road shape by using a white line or a curb.
  • the road area detection unit 31 detects the road area.
  • the hatched portion shown in FIG. 9B is composed of road candidate points with the road region label 1 added to the pixels, and the portions other than the hatched are non-candidate points with the road region label 0 added to the pixels.
  • the island-shaped portion 97 shown in FIG. 9B represents noise.
  • the road area 96 can recognize the entire road shape, and the road extends straight away and changes in a direction in which the inclination angle of the road edge stands at the middle position. Therefore, it can be recognized that the slope changes along the road and the road is uphill.
  • the processing time can be shortened and the responsiveness of the apparatus can be improved.
  • the road area 75 may be detected by acquiring luminance values and color distributions from road areas detected in the past.
  • FIG. 7 is a diagram illustrating another example of the road region detection method, where (a) is a right image captured by the right camera, (b) is a diagram illustrating a road region detected based on luminance from the right image, (C) is a figure which shows the luminance distribution and luminance range of a road area
  • a road 72, an outside road 73, and the sky 74 are imaged.
  • the luminance information of the pixels existing in the past road area is collected from the right image 71 shown in FIG. 7A, and the average value Bm of the luminance distribution, the standard deviation ⁇ , and the like are obtained.
  • the luminance within the range of the standard deviation ⁇ or 2 ⁇ from the average value Bm of the luminance distribution is obtained as the luminance range 76 of the road region.
  • a road area label is assigned to the pixels that fall within the 72 luminance range 76. Accordingly, as shown in FIG. 7B, the road region 75 can be detected, and the entire road shape can be recognized.
  • the road shape is predicted using the vehicle speed, the steering angle, etc. of the own vehicle, and the distribution of luminance values, colors, etc. using the road area obtained by defining the lane width w Or a road area obtained from the correlation value series and a road area obtained from luminance or color distribution may be combined.
  • obstacles on a road such as a parked vehicle and a preceding vehicle are detected by a three-dimensional object detection means (not shown) such as a laser radar or a millimeter wave radar (radar apparatus), and all or a part of the area of the obstacle is By setting the area, the influence of the road area being blocked by an obstacle on the road may be removed.
  • a three-dimensional object detection means such as a laser radar or a millimeter wave radar (radar apparatus
  • the road area is composed of asphalt and multiple brightnesses and colors such as road surface paint such as pedestrian crossings
  • the area of asphalt and road surface paint is obtained by obtaining multiple brightness distributions and color distributions of the road area. May be detected as a road region.
  • the in-vehicle system 3 includes a car navigation system (not shown in FIG. 2)
  • the shape of the road being traveled is acquired from a map database included in the car navigation system, and the brightness of the road area is obtained. Color information can also be acquired.
  • the car navigation system obtains the curve radius based on the information in the map database and transmits it to the road shape recognition device 1.
  • the navigation information acquisition unit of the road shape recognition apparatus 1 predicts the road area on the image by defining the road width and the position of the vehicle relative to the road in addition to the curve radius obtained from the car navigation system. Luminance and color information in the road area can be acquired.
  • the car navigation system acquires information such as the presence or absence of road surface paint such as a pedestrian crossing from the map database and transmits the information to the navigation information acquisition unit of the road shape recognition apparatus 1, the road shape recognition apparatus 1 is connected to the car navigation system. Based on the information, a plurality of luminance and color distributions may be obtained by determining how many luminances and colors the road area is composed of.
  • step S107 the road shape model 101 or the like expressed by a combination of curves, straight lines, etc. as shown in FIGS. 10, 11, and 12 is applied to the road area detected in step S106. Is performed.
  • FIG. 10 and FIG. 11 are diagrams showing examples of a road shape model of a curve used when estimating the road shape
  • FIG. 12 shows an example of a road shape model of a slope used when estimating the road shape.
  • Road ends 101L and 101R are defined.
  • a road shape model 110 shown in FIG. 11 is a road shape model that bends to the right at a connection point P11 that is separated from the host vehicle v by a distance Zj on the front side in the traveling direction on the XZ plane.
  • left and right road edges 111L, 112L, 111R, and 112R are defined so as to face each other with a road width w.
  • FIG. 13A and 13B are diagrams for explaining a road shape estimation method.
  • FIG. 13A shows a plurality of candidates for the road shape model
  • FIG. 13B shows a state in which the road shape is estimated by the road shape model.
  • FIG. 13A shows a plurality of candidates for the road shape model
  • FIG. 13B shows a state in which the road shape is estimated by the road shape model.
  • Nc candidate road shape models 130 are generated, and each of the candidates 1 to Nc is converted into an image coordinate system and superimposed on the road region 132 on the image 131 (see FIG. 13). 13 (b)). Then, the road shape model 130 having the highest similarity when superposed is employed as the road shape estimation result. For example, the similarity is determined to be high when the road shape includes many pixels determined to be the road region 132.
  • the road shape in the real space can be obtained.
  • noise 134 is generated in the road area detection result.
  • the influence of such noise is reduced. Can be reduced.
  • the height of the road surface and the like can be known, so that a more accurate estimation can be made than using other sensors.
  • the road shape of the slope can be estimated in the same manner by using the road shape model 121 on the YZ plane.
  • the shape of the road that is running can be acquired from the map database, and a candidate for the road shape model 130 can be generated. .
  • the car navigation system acquires the curve radius from the map database and transmits it to the road shape recognition device 1.
  • the road shape recognition device 1 can estimate the road shape efficiently and accurately by generating only the road shape candidates near the curve radius obtained from the car navigation system. Further, if information on whether the vehicle is traveling on a general road or an expressway can be acquired, only a road shape model candidate having a large curve radius may be generated on the expressway.
  • the road edge such as a white line or curbstone is detected for a short distance, and the road width and the coefficient of a cubic function are obtained.
  • the road shape may be estimated using road edges such as white lines and curbs, and road areas.
  • the roads are extracted from the three-dimensional data group measured by the stereo camera based on the road shapes 141 and 151 estimated in step S106 as shown in FIGS.
  • a process of selecting three-dimensional data existing at a boundary outside the road and extracting the selected three-dimensional data as a road boundary point is performed.
  • road boundary points are extracted using information on the left road end 141L out of the left road end 141L and the right road end 141R.
  • the right road end 141R may be shielded by a three-dimensional object or the like, so that a stable result can be obtained by using the left road end 141L.
  • a three-dimensional data extraction region 142 is set for the left road end 141L of the road shape 141 estimated by the road shape estimation process in step S107, and is detected in front of the traveling direction of the host vehicle v.
  • the three-dimensional data 143a to 143n the three-dimensional data 143a to 143e in the three-dimensional data extraction area 142 are selected as the three-dimensional data existing on the road boundary.
  • the selected three-dimensional data 143a to 143e are extracted as road boundary points.
  • the three-dimensional data extraction region 152 is set for the road shape 151 estimated by the road shape estimation process in step S107, and the three-dimensional data detected in front of the traveling direction of the host vehicle v.
  • the three-dimensional data 153a to 153c in the three-dimensional data extraction area 152 are selected as the three-dimensional data existing at the road boundary from 153a to 153h.
  • the selected three-dimensional data 153a to 153c are extracted as road boundary points.
  • solid objects on a road such as a parked vehicle and a preceding vehicle are detected by a three-dimensional object detection unit (not shown) such as a laser radar or a millimeter wave radar, and all or a part of the three-dimensional data of the three-dimensional object region is extracted. It is good also as a structure which does not. By excluding solid objects on the road such as parked vehicles and preceding vehicles, the same road shape as when there is no solid object can be obtained.
  • a three-dimensional object detection unit such as a laser radar or a millimeter wave radar
  • the road boundary point is obtained in consideration of the road shape of the map database by acquiring the shape of the road being traveled from the map database. Can also be extracted.
  • the car navigation system acquires the curve radius from the map database and transmits it to the road shape recognition device 1.
  • the road boundary points can be extracted efficiently and accurately by setting the three-dimensional data extraction regions 142 and 152 along the curve radius obtained from the car navigation system.
  • step S109 processing for correcting the road shape estimated in step S107 and calculating the corrected road shape is performed.
  • a road shape coordinate sequence obtained by sampling the road shape estimated by the road shape estimation unit 32 at a predetermined interval and a coordinate sequence of a three-dimensional position extracted by the road boundary point extraction unit 33 are used. is there. Let these coordinate sequences be (Xi, Zi).
  • i 1, 2,... L, and L is the total number of sampled road shape coordinate strings and three-dimensional position coordinate strings.
  • the road shape calculation unit 34 calculates the curvature radius R of the curve and the distance Dc to the curve based on either the result of correcting the road shape in step S109 or the result of the road shape estimation unit 32 in step S107. Calculate (FIG. 18).
  • the radius of curvature R can be calculated by the following equation (4).
  • a gazing point P18 (Xf, Zf) for obtaining the curvature radius R of the curve is defined.
  • the gazing point P18 (Xf, Zf) can be defined as, for example, the intersection of the Z axis and the road edge outside the curve of the road shape 181 (left road edge 181L in FIG. 18).
  • the angle formed by the Z axis and the road shape 191 at the gazing point P19 may be obtained as the curve angle ⁇ (FIG. 19).
  • the road shape itself obtained by a cubic function or the like may be output as the position information of the road edge, and the road shape of the road 201 is sampled at a predetermined distance interval as shown in FIG.
  • the position series PiR and the position series PiL of the left road edge 201L may be calculated and output.
  • i is a segment number when the road shape is divided into N segments, and takes values from 1 to N.
  • the gradient change point is set as a gazing point P21 (Yf, Zf). Then, from the corrected road shape of the road 211, the angle formed by the tangent 212 and the Z axis is obtained as the gradient angle ⁇ ′ of the road 211, and the distance Ds from the vehicle v to the gazing point P21 is obtained (FIG. 21). ).
  • the coefficient of the road shape model such as a cubic function and the data of the sampled road shape may be obtained and output similarly to the curve.
  • the navigation information acquisition unit obtains the shape of the road being traveled from the map database based on the detection signal from the vehicle position detection unit. By acquiring, the road shape can be calculated with high accuracy.
  • step S110 at least one result of the road shapes obtained up to step S109 is transmitted.
  • the control unit 2 determines the contents of control / warning based on the road shape calculation result obtained by the road shape recognition device 1, controls the own vehicle v or issues a warning to the occupant, or controls the own vehicle v. In addition, a process for issuing a warning to the passenger is performed.
  • the ignition switch 20 starts when the ignition switch 20 is turned on and is repeatedly performed until the ignition switch 20 is turned off. This is carried out regardless of whether the host vehicle v is traveling or stopped, and whether the image displayed on the display 15 is a travel route guidance image of the car navigation system or other video. However, depending on whether the vehicle v is running or stopped, and whether the image displayed on the display 15 is a travel route guidance image of the navigation system or other video, the process is executed. It is good also as a structure which determines.
  • step S201 when the ignition switch 20 is turned on, the driving support program is executed by the control unit 2 and an initialization process is executed (step S201). At this time, various programs such as a car navigation program may be executed simultaneously.
  • step S202 it is determined whether or not the system start switch 21 is ON (step S202). When the system start switch 21 is turned ON, road shape calculation result reception processing is executed, and road shape information is stored in the RAM 11 (step S203).
  • an appropriate speed according to the road shape is calculated in step S204. For example, in the case of a curve, by setting an appropriate vehicle speed in advance according to the curvature radius of the curve and the distance to the curve, it is possible to obtain an appropriate vehicle speed that matches the road shape.
  • the above-described road shape recognition device 1 can calculate a road shape far away by using the road region, and a target vehicle speed corresponding to the road shape can be obtained in real time. Furthermore, in the stereo camera 4, since the three-dimensional position of each pixel is obtained in addition to the shape on the image, the road shape is accurately calculated if only the three-dimensional data existing at the road boundary is selected appropriately. This makes it possible to perform vehicle control and warning with less discomfort to the passenger.
  • step S205 the appropriate vehicle speed obtained in step S204 is compared with the vehicle speed of the own vehicle v. If the vehicle speed of the own vehicle v is larger, deceleration control is performed with at least one of brake, engine brake, and regenerative brake. Or give a message, voice, or warning to warn the driver of overspeed. At this time, deceleration control and warning may be performed simultaneously.
  • the alarm is issued to the occupant using either the display 15 or the speaker 19 or both the display 15 and the speaker 19.
  • the alarm may be issued by vibrating the seat belt, accelerator, brake pedal, steering, seat, etc. in addition to the display 15 and the speaker 19.
  • the road shape recognition apparatus 1 to which the present invention is applied is configured to execute all the processing by the CPU 6, but part or all of the image processing may be processed by an image processing dedicated LSI or the like.
  • each image captured by the cameras 4R and 4L of the measuring unit 30 is processed to detect a road area made of asphalt or the like, and the detection thereof. Since the road shape is estimated based on the road area, the area of the road area can be detected larger than the white line and curb, and even on roads where there is no white line or curb, or on distant roads where the white line or curb is not visible, The road shape can be calculated with high accuracy.
  • the road boundary point extraction unit 33 and the road shape calculation unit 34 are provided, the road boundary can be detected from the three-dimensional data group calculated by the stereo camera based on the road shape estimated by the road shape estimation unit 32. In addition, there is an advantage that a more accurate road shape can be calculated.
  • the vehicle position information obtained from the vehicle position detection unit of the car navigation system and the map data obtained from the map database of the car navigation system thus, it is possible to determine the road type such as whether the road being traveled is an expressway or a general road, and to determine the range of possible values of the road shape coefficient based on the road type or the like.
  • a series of processes or a part of the processes in the road shape recognition apparatus 1 may be configured to be processed in the control unit 2 or another processing apparatus (not shown), and the processing of the control unit 2 is performed in the road shape recognition apparatus. It is good also as a structure processed within 1.
  • the two cameras 4R and 4L are used as the measurement unit 30 .
  • a radar device such as a laser radar or a millimeter wave radar.
  • a configuration in which a camera, a laser radar, a millimeter wave radar, or the like is combined may be used.
  • a road region is detected by a monocular camera, and a three-dimensional position of an object is detected by the radar apparatus, so that the same processing as in the above-described embodiment can be realized.
  • a plurality of sensors such as a monocular camera and a radar device
  • the road shape can be calculated, although the accuracy is lower than that of a stereo camera, a combination of a monocular camera and a radar device, or the like.
  • the road shape recognition device 1 outputs an appropriate speed to travel on the road shape detected from at least one of the distance Dc to the curve, the curvature radius R of the curve, the curve tangent angle ⁇ , the distance Ds to the slope, and the gradient ⁇ ′. By calculating, vehicle control and warning processing according to the road shape can be performed.
  • FIG. 23 is a functional block diagram of the road shape recognition apparatus according to the second embodiment.
  • the road shape recognition device 1 ′ includes a selection unit 40, a first recognition unit 41, and a second recognition unit 42 as shown in FIG.
  • the selection unit 40 selects the first recognition unit 41 when the presence or the presence of a three-dimensional object around the road is good, the prospect is poor due to the three-dimensional object around the road, and a part of the road shape ahead becomes a blind spot. If so, the second recognition unit 42 is selected.
  • the first recognizing unit 41 recognizes the road shape based on the road area, and the details of the processing are the same as those in the first embodiment described above, and a detailed description thereof will be omitted.
  • the second recognition unit 42 detects an object existing on the front side in the traveling direction, and recognizes the road shape based on the three-dimensional position of the object.
  • the object detection unit 51, the road shape prediction unit 52, the object selection Unit 53 and road shape estimation unit 54 are the same as those in the first embodiment described above, and a detailed description thereof will be omitted.
  • the second recognition unit 42 detects an object existing on the front side in the traveling direction, and recognizes the road shape based on the three-dimensional position of the object.
  • the object detection unit 51, the road shape prediction unit 52, the object selection Unit 53 and road shape estimation unit 54 are the same as those in the first embodiment described above, and a detailed description thereof will be omitted.
  • the object detection unit 51 has a function of detecting an object by processing captured images of the cameras 4R and 4L that are the measurement unit 30.
  • Objects include road markings such as lanes and solid objects such as curbs, trees, and buildings.
  • an object is detected and its three-dimensional position is also measured.
  • the road shape prediction unit 52 has a function of predicting a distant road shape based on the lane detected by the object detection unit 51. This prediction may be predicted not only by the lane but also by a three-dimensional object that constitutes a road such as a guardrail or a curb, and there is no restriction that it must be a lane.
  • the object selection unit 53 has a function of selecting a solid object near the road shape predicted by the road shape prediction unit 52.
  • the road shape estimation unit 54 has a function of obtaining the road shape again using the three-dimensional position information of the three-dimensional object selected by the object selection unit 53 and the lane information used when the road shape prediction unit 52 predicts the road shape. Have.
  • the second recognizing unit 42 having the above configuration processes the images captured by the cameras 4R and 4L, predicts the road shape from objects constituting the road, such as lanes and curbs, and predicts the lanes constituting the road shape, etc.
  • objects constituting the road such as lanes and curbs
  • the lanes constituting the road shape etc.
  • solid objects including buildings, trees, etc. that exist along the road based on the location information of white objects, curbs, and other solid objects can be used, and high-precision road shape estimation is realized. it can.
  • the stereo camera 4 when the stereo camera 4 is used, not only can the lane and curb be detected, but also its three-dimensional position can be acquired, so that the road shape can be accurately predicted and a variety of three-dimensional objects including vegetation can be detected.
  • the position information of the three-dimensional object can be used.
  • the road shape estimation unit 54 of the second recognition unit 42 calculates the distance between an object that forms a road such as a lane and an object that exists along the road such as a building, and the position of a three-dimensional object used for estimation of the road shape. By correcting the information, it is possible to absorb a position error between an object that forms a road shape such as a lane and an object that exists along a road such as a building, and the road shape can be estimated with higher accuracy.
  • the selection unit 40 selects the second recognition unit 42 when the line of sight is poor and a part of the road shape ahead is a blind spot.
  • the road shape can be calculated even on a road with poor visibility without reducing accuracy.
  • FIG. 24 is a functional block diagram of the road shape recognition apparatus in the third embodiment.
  • the road shape recognition apparatus 1 ′′ in the present embodiment includes a first recognition unit 41, a second recognition unit 42, and a road shape integration unit 43.
  • First recognition unit 41 Since the second recognizing unit 42 is the same as that of each of the above-described embodiments, detailed description thereof is omitted.
  • both the process of calculating the road shape based on the road area by the first recognition unit 41 and the process of calculating the road shape using the three-dimensional object by the second recognition unit 42 are performed. Since the road shape integration unit 43 selects one of the road shapes based on the presence or absence of a three-dimensional object, or integrates them by taking the average of both, the road shape integration unit 43 outputs a single road shape. However, the road shape can be calculated without reducing the accuracy.
  • Whether or not the road shape recognition apparatus 1 ′′ in this embodiment is operating normally depends on whether the road has a good sight, a road with a lane, a road with a good sight and no lane, a road with a bad sight, a road with a lane, and a lane with a bad sight. It can be confirmed by comparing the road shape detection rate, the road shape detection distance, and the road shape calculation accuracy on a road without a road.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

　車両の進行方向前方に存在する道路の道路形状を正確に認識することができる道路形状認識装置を提供する。道路形状認識装置１は、車両の進行方向前側を撮像した画像に基づいて道路の道路領域を検出し、その道路領域に基づいて道路の形状を推定する。これにより、道路形状を近傍から遠方まで正確に認識することができる。

Description

道路形状認識装置
　本発明は、道路形状認識装置に係り、特に、自車の進行方向前側に存在する道路の形状を認識する道路形状認識装置に関する。
　レーダ等を用いて先行車の車速に合わせて自車の車速を制御するアダプティブ・クルーズ・コントロール（ＡＣＣ）が製品化されている。さらに近年では、ナビゲーションシステムを用いて自車前方のカーブを検知し、カーブで自動的に減速するＡＣＣの技術が提案されている。
　このように自車の走行状態だけでなく、道路形状等の情報に基づいて車両を制御したり、運転者に警報を発するシステムでは、道路形状の検知誤差や工事による道路形状の変更、自車からカーブ等の所定箇所までの距離の算出誤差などの影響により、制御・警報タイミングにずれが発生するなどの問題がある。このため、道路形状をリアルタイムかつ高精度に計測する技術が重要となってくる。
　従来、このような目的のために開発された技術として、特許文献１に記載されたものが知られている。特許文献１に記載の従来の技術は、ミリ波レーダを用いて車両前方の静止物を検出し、該検出した静止物の中から前回の処理結果や、車両のヨーレートセンサや操舵角センサを用いて、道路形状の推定に有効な静止物のみを選択して、カーブ等の道路形状を推定するものである。また、前回の処理結果を用いる代わりに、複数道路形状を仮定して有効な静止物を道路形状毎に選択して、選択された静止物が最も多かったものを道路形状の推定に有効な静止物として選択するというものである。
特開２００７―６６０４７号公報
　しかし、特許文献１の手法では、前回の処理結果の道路形状に基づいて立体物を選択するのみであるため、道路形状が不連続である場合や、前回の処理で道路形状を誤って推定してしまった場合などに精度良く道路形状を推定することが難しくなる。
　また、前回の道路形状に基づいて静止物を選択する代わりに、複数の道路形状に対して静止物を選択する処理を行い、最も選択された静止物が多かった場合の静止物を有効とするため、複数の道路形状分だけ立体物選択処理を行う必要があり、道路形状に沿った立体物以外に多数の立体物を含む走行環境では誤った静止物を選択してしまうなどの問題がある。
　また、ヨーレートセンサや操舵角センサを用いて道路形状の推定に有効な静止物のみを選択して、カーブを推定する場合については、カーブ進入前にハンドルは操作せず、横加速度も発生しないので、カーブ進入前にカーブを検出することができないといった問題があった。そして、道路周辺に立体物が存在しない道路では、原理的にカーブを検出することが不可能であった。
　カーブなどの道路形状に応じた速度調整や道路の逸脱防止、警報処理などにおいて、運転者にとって違和感のない車両制御や警報処理等を行うためには、道路形状を高精度に認識する必要がある。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両の進行方向前方に存在する道路の道路形状を正確に認識することができる道路形状認識装置を提供することにある。
　上記課題を解決する本発明の道路形状認識装置は、車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、車両の進行方向前側を撮像し、その撮像した画像に基づき道路の道路領域を検出し、その検出した道路領域に基づき道路の道路形状を推定する。
　本発明の道路形状認識装置によれば、撮像画像から道路の道路領域を検出して、その検出した道路領域から道路の道路形状を推定するので、撮像画像において、道路の道路領域を大きな面積で得ることができ、道路形状を近傍から遠方まで正確に認識することができる。したがって、従来のように白線や縁石等の物体を検出することが困難な遠方の道路形状や、白線や縁石等の物体が存在しない道路の道路形状の場合、あるいは、白線が存在する道路であっても遠方でカーブしており、白線の検知が困難な道路の道路形状の場合であっても、正確に認識することができる。
　本明細書は、本願の優先権の基礎である日本国特許出願2009-176015号の明細書及び／または図面に記載されている内容を包含する。
第１実施の形態における道路形状認識装置の機能ブロック図。 第１実施の形態の道路形状認識装置が適用される車載システムの構成図。 ステレオカメラの原理を示す図。 第１実施の形態における道路形状認識処理方法を示すフローチャート。 物体の三次元位置の座標系を示す図。 道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図。 道路領域検出方法の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）は道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図。 道路領域検出結果を示す図であり、（ａ）は遠方で右にカーブしている道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。 道路領域検出結果を示す図であり、（ａ）は遠方に上り坂がある道路を撮像した画像を示す図、（ｂ）は（ａ）の画像に基づいて道路領域を検出した例を示す図。 道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。 道路形状を推定する際に用いるカーブの道路形状モデルの一例を示す図。 道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図。 道路形状推定方法を説明する図であり、（ａ）は道路形状モデルの候補を示す図、（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図。 車両の進行方向前側に存在する三次元データの中からカーブの道路境界に存在する三次元データを選択する方法を説明する図。 車両の進行方向前側に存在する三次元データの中から坂道の道路境界に存在する三次元データを選択する方法を説明する図。 道路境界点に基づいてカーブの道路形状の推定結果を補正する道路形状算出方法を説明する図。 道路境界点に基づいて坂道の道路形状の推定結果を補正する道路形状算出方法を説明する図。 道路形状算出部が補正後の道路形状に基づき、カーブに接する円と、車両からカーブまでの距離を算出した結果の一例を示す図。 道路形状算出部が補正後の道路形状に基づき、カーブの角度と、車両からカーブまでの距離を算出した結果の一例を示す図。 道路形状算出部が補正後の道路形状に基づき、カーブの道路端の位置情報を算出した結果の一例を示す図。 道路形状算出部が補正後の道路形状に基づき、坂道の道路勾配の角度と坂道までの距離を算出した結果の一例を示す図。 コントロールユニットの処理を説明するフローチャート。 第２実施の形態における道路形状認識装置の機能ブロック図。 第３実施の形態における道路形状認識装置の機能ブロック図。
１、１’、１”…道路形状認識装置、２…コントロールユニット、３…車載システム、４Ｒ…カメラ、４Ｌ…カメラ、６…ＣＰＵ、７…データＲＯＭ、９…ＲＡＭ、１０…プログラムＲＯＭ、１１…ＲＡＭ、１２…ＣＰＵ、１３…データＲＯＭ、１４…プログラムＲＯＭ、１５…ディスプレイ、１９…スピーカ、２０…イグニッションスイッチ、２１…起動スイッチ、３０…計測部（撮像部）、３１…道路領域検出部、３２…道路形状推定部、３３…道路境界点抽出部、３４…道路形状算出部、４０…選択部、４１…第１認識部、４２…第２認識部、４３…道路形状統合部、５１…物体検知部、５２…道路形状予測部、５３…物体選択部、５４…道路形状推定部
［第１実施の形態］
　次に、本発明の第１実施の形態について、図面を参照して詳細に説明する。
　道路形状認識装置１は、図１に示す計測部（撮像部）３０が、複数台のカメラ４により構成され、図２に示すような車載システム３に適用される。本実施の形態では、図２に示すように、カメラ４Ｒ（右カメラ）とカメラ４Ｌ（左カメラ）によって、車両周囲の環境を認識する機能を実現する。なお、カメラ４の台数は２台に限定されるものではなく、３台以上を備えていてもよい。また、カメラ４とは別体のコントロールユニット２や図示しない画像処理ユニットなどがカメラ４から画像を取り込んで処理する構成としてもよい。
　道路形状認識装置１は、図３に示すように、カメラ４Ｒ、４Ｌで同一の計測点Ｐ０を撮像した際に、生じる見え方の違い（以降、視差）を用いて、三角測量の原理で距離を求めることができる構成となっている。
　例えば、カメラ４Ｒ、４Ｌのレンズ５から計測点Ｐ０までの距離をＺ、カメラ４Ｒ、４Ｌの間の距離をＢ、各カメラ４Ｒ、４Ｌのレンズ５ａから撮像面５ｂまでの焦点距離をf、視差をδとすると、距離Ｚは下記の式（１）で求めることができる。ただし、単位は例えばすべてミリメートルとする。
Figure JPOXMLDOC01-appb-M000001
　道路形状認識装置１は、図２に示す車載システム３に適用される。車載システム３は、車両ｖに搭載され、道路形状認識装置１によって車両（以下、自車という。）ｖの進行方向前側に存在する道路の道路形状を検出し、コントロールユニット２に検出結果を送信し、検出結果に基づいてコントロールユニット２が車両を制御し、あるいは乗員に危険を報知するように構成されている。
　道路形状認識装置１は、図２に示すように、カメラ４Ｒおよびカメラ４Ｌに加え、ＣＰＵ６、ＲＡＭ９、プログラムＲＯＭ１０、データＲＯＭ７を備えている。そして、コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、プログラムＲＯＭ１４、データＲＯＭ１３を備えている。
　車載システム３は、道路形状認識装置１とコントロールユニット２とが互いに接続されており、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５と、自車ｖがカーブ等に進入する際に速度超過などの危険性があるときなどに警告音声を発生するスピーカ１９と、自車ｖのエンジンを始動する際にＯＮとなるイグニッションスイッチ２０と車載システム３を起動する起動スイッチ２１が接続されており、ディスプレイ１５の表示制御をはじめとして当該車載システム３全体の動作をコントロールユニット２が制御する構成となっている。
　道路形状認識装置１は、例えば車室内のルームミラー部に取り付けられており、自車ｖの進行方向前側である自車両前方の様子を、所定の俯角および取り付け位置で撮像するようになっている。
　カメラ４Ｒおよびカメラ４Ｌにより撮像された自車両前方の画像（以下、撮像画像という）は、道路形状認識装置１内部のＲＡＭ９に取り込まれ、自車両前方の道路の道路領域を検出するのに用いられる。道路形状認識装置１は、カメラ４Ｒ、４Ｌの画像に基づいて道路領域を検出し、道路領域に基づいて道路形状を算出する。
　道路形状認識装置１は、道路形状として、例えばカーブの曲率半径とカーブ入り口までの距離を算出し、ディスプレイ１５に表示画像として検出結果を描画するか、自車が推定した道路形状に対して自車の速度が超過しており、道路の逸脱の危険性があるとコントロールユニット２が判断した場合などには、コントロールユニット２の制御の基でディスプレイ１５とスピーカ１９、またはディスプレイ１５あるいはスピーカ１９のいずれかにより運転者に報知する。また、危険を回避、軽減するように自動制動をかけるなど、車両をコントロールユニット２により制御してもよい。
　ディスプレイ１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示機器よりなり、コントロールユニット２による表示制御のもとで、例えば図示しないカーナビゲーションシステムによる走行経路案内の画像や、道路形状認識装置１の画像等の各種画像を表示する。また、ディスプレイ１５は、道路形状認識装置１により急カーブ等を認識したときに、コントロールユニット２による制御のもとで、急カーブなどが存在する旨を報知するメッセージを表示する。
　コントロールユニット２は、ＣＰＵ１２、ＲＡＭ１１、データＲＯＭ１３やプログラムＲＯＭ１４がバスを介して接続された構成を有しており、ＣＰＵ１２がプログラムＲＯＭ１４に格納された各種制御プログラムを実行することで、システム全体の動作を制御するようになっている。
　道路形状認識装置１は、自車前方の車線や立体物等の物体を検知するとともに道路形状を算出する道路形状認識プログラムがプログラムＲＯＭ１０に格納されており、エンジンを始動するとＣＰＵ６がこれらのプログラムを実行することで、道路形状認識機能が実現され、図１の機能ブロック図のように、道路領域検出部３１、道路形状推定部３２、道路境界点抽出部３３、道路形状算出部３４として機能するようになっている。なお、車線や立体物等を検出する技術は、公知の技術であるので特に図示はしない。
　道路領域検出部３１は、カメラ４Ｒとカメラ４Ｌの撮像画像の少なくともいずれか１つを処理して、アスファルト等からなる道路の道路領域を検出する機能を有する。道路形状推定部３２は、道路領域検出部３１で検出した道路領域を基に道路の道路形状を推定する機能を有する。道路境界点抽出部３３は、道路と道路外との道路境界点を抽出する機能を有する。道路形状算出部３４は、道路境界点抽出部３３により抽出した道路境界点の三次元位置に基づいて、道路形状推定部３２により推定した道路形状を補正して、より正確な道路形状を算出する機能を有する。
　以上のように構成される道路形状認識装置１は、上述したように、ＣＰＵ６が道路形状認識プログラムを実行することで、例えば車線や縁石等の道路形状を認識可能な物体が見えない遠方においても、また、そのような物体が存在しない道路においても、アスファルト等からなる道路領域を検出することで、道路形状を正確に認識することができる。
　そして、認識結果を入力画像に重畳した画像等をディスプレイ１５に出力するとともに、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで危険があると判断した場合は、減速する制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。
　この減速する制御を行う際に、エンジンブレーキや回生ブレーキを用い、また走行路が上り坂または走行路の先が上り坂の場合は減速制御を行わないこと等により燃費を向上することができる。また、出力された道路形状に対して自車が逸脱する危険がある場合には、ステアリングやブレーキにより旋回制御やブレーキ制御を行うか、警報音を発生させて、車両の乗員に報知するようにしてもよい。
　ここで、以上のような道路形状認識装置１において、画像を撮像し道路形状を算出して結果を出力するまでの一連の処理の流れについて、フローチャートおよび図面を参照しながら説明する。
　図４は、本実施の形態における道路形状認識処理方法を示すフローチャートである。図４のフローチャートに示す一連の処理は、イグニッションスイッチ２０（図２を参照）がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。
　そして、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステム（図示せず）の走行経路案内画像であるか、その他の映像であるかに拘わらず実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像かその他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
　まず、イグニッションスイッチ２０がオンとなると、道路形状認識装置１により道路形状認識プログラムが実行され、初期化フラグがＯＮに設定される（ステップＳ１０１）。次に、車載システム３の起動スイッチ２１がＯＮか否かを判定する（ステップＳ１０２）。そして、車載システム３の起動スイッチ２１がＯＮの場合は、初期化フラグがＯＮか否かを判定する（ステップＳ１０３）。
　そして、初期化フラグがＯＮのときは過去の道路形状認識結果をリセットするなどの初期化処理を実施して（ステップＳ１０４）、初期化フラグをＯＦＦに設定する（ステップＳ１０５）。そして、ステップＳ１０３で初期化フラグがＯＦＦのとき、あるいはステップＳ１０５で初期化フラグをＯＦＦに設定した後に、道路形状を算出すべく、ステップＳ１０６以降に移行する。
　ステップＳ１０６では、アスファルト等からなる道路の道路領域を検出するとともに、カメラ４Ｒとカメラ４Ｌの見え方の違いから、自車ｖの進行方向前側に存在する物体の三次元位置を検出する処理が行われる。ただし、このときの三次元座標系は、例えば図５に示すようにカメラ４Ｒとカメラ４Ｌの中間点を原点Ｏとし、自車進行方向をＺ軸、水平方向（車幅方向）をＸ軸、垂直方向をＹ軸とする直交座標系で表すものとする。
　例えば、自車ｖの進行方向前側に存在する車線や立体物等の物体は、カメラ４Ｒ、４Ｌの撮像画像を処理することで得られる３次元データを解析し、垂直構造物を立体物、水平かつ連続に存在する白線を車線として検出することができる。
　２台以上のカメラ（以下、ステレオカメラ）を用いることにより、分解能の高い３次元データを得ることができ、自車ｖの近傍に位置する車線や縁石等の小さい物体を高精度に検出することができる。
　また、ステレオカメラでは、三次元計測性能がレーダ装置等のように、対象物の反射特性に依存しないので、草木や建物などの多種多様な物体の三次元データを計測でき、道路形状に沿った三次元データについても、より多くの対象を検出することができる。
　道路領域検出部３１は、例えば撮像画像を処理して物体の三次元位置を検出する際に得られる右カメラ４Ｒの画像（以下、右画像）と左カメラ４Ｌの画像（以下、左画像）間の相関値の系列（図６（ｂ））を用いて道路領域を検出する。
　以下、図６を用いて、相関値の系列の算出から道路領域を検出する一例について説明する。図６は、道路領域検出方法の一例を説明する図であり、（ａ）は左右のカメラにより撮像した左右の画像を示す図、（ｂ）は相関値の系列の一例を示す図である。
　図６（ａ）に示すように、右画像６１Ｒに視差算出用のウィンドウ６５Ｒを設定し、そのウィンドウ６５Ｒと同サイズのウィンドウ６５Ｌを左画像６１Ｌの水平方向に操作して、右画像６１Ｒのウィンドウ６５Ｒと左画像６１Ｌのウィンドウ６５Ｌ内の画像が、どの程度類似しているかを表す相関値を計算していく（視差探索）。
　相関値は、下記の式（２）の差分絶対値和（SAD：Sub of Absolute Difference）などによって計算することができる。ただし、Nは視差算出対象ウィンドウの縦サイズ、Mは横サイズであり、I(i, j)は、右画像６１Ｒの輝度値、T(i,j)は、左画像６１Ｌの輝度値である。
Figure JPOXMLDOC01-appb-M000002
　そして、視差の探索範囲Sm分だけ、左画像６１Ｌのウィンドウ６５Ｌをシフトしていき、相関値を計算することで相関値の系列を得る（図６（ｂ））。そして、Sm個の相関値の中から最小値Siを求め、Siが視差となる。
　ここで、Siの左隣の相関値Si-1と右隣の相関値Si+1を比較し、その差が所定値以下（類似していれば）であれば、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒ内の画素は道路領域６２Ｒであると判断し、当該画素に道路領域ラベルを付与する。
　例えば、道路領域６２Ｒと判定された画素位置には、道路領域ラベルとして１を代入し、道路領域でないと判定された画素位置（例えば上空領域６４Ｒ、道路外領域６３Ｒ）には０を代入する。そして、右画像６１Ｒの視差算出対象ウィンドウ６５Ｒをシフトさせて、右画像６１Ｒ全体の視差と道路領域ラベルを得る。
　道路領域ラベルを付与した道路領域検出結果の例を図８、図９に示す。図８は、道路領域検出結果を示す図であり、図８（ａ）は遠方で右にカーブしている道路８２をカメラ４で撮像した画像８１を示す図、図８（ｂ）は図８（ａ）の画像８１に基づいて道路領域検出部３１で道路領域を検出した結果例を示す図である。
　図８（ａ）の画像８１には、道路８２と、道路外８３と、上空８４が撮像されている。画像８１内の道路８２は、遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。したがって、遠方でカーブしている部分を含む領域８５は、近傍位置と比較して相対的に解像度が低く、道路８２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
　これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路の道路領域を検出する。図８（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図８（ｂ）に示される島状部分８７はノイズが表されたものである。道路領域８６は、図８（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方で右側にカーブしていることが認識できる。
　図９は、道路領域検出結果を示す図であり、図９（ａ）は遠方に上り坂がある道路をカメラ４で撮像した画像を示す図、図９（ｂ）は図９（ａ）の画像に基づいて道路領域検出部で道路領域を検出した例を示す図である。
　図９（ａ）の画像９１には、道路９２と、道路外９３と、上空９４が撮像されている。道路９２は、画像９１内において遠方に移行するにしたがって消失点に接近し、漸次小さくなるように撮像される。
　したがって、遠方の上り坂部分を含む領域９５は、近傍位置と比較して相対的に解像度が低く、道路９２に白線や縁石等が存在している場合には、ほとんど認識できない。したがって、従来の白線や縁石等によって道路形状を認識する方法では、遠方の道路形状を認識することは困難であった。
　これに対して、本発明の道路形状認識装置１は、道路領域検出部３１によって道路領域を検出する。図９（ｂ）に示されるハッチング部分は、画素に道路領域ラベル１が付与された道路候補点からなり、ハッチング以外の部分は、画素に道路領域ラベル０が付与された非候補点からなる。なお、図９（ｂ）に示される島状部分９７はノイズが表されたものである。道路領域９６は、図９（ｂ）に示されるように、道路形状全体を認識することができ、道路が遠方にまっすぐに延びて、その途中位置で、道路端の傾斜角度が立つ方向に変化していることから、道路途中で勾配が変化して上り坂となっていることが認識できる。
　このように、視差算出時に求める相関値の系列を用いて道路領域を検出することで、処理時間を短縮することができ、装置としての応答性を良好なものにすることができる。
　また、道路領域検出方法として、過去に検出した道路領域から輝度値、色の分布を取得して、道路領域７５を検出してもよい。図７は、道路領域検出方法の他の一例を示す図であり、（ａ）は右カメラにより撮像した右画像、（ｂ）はその右画像から輝度に基づいて検出した道路領域を示す図、（ｃ）は道路領域の輝度分布と輝度範囲を示す図である。
　図７（ａ）に示す右画像７１には、道路７２と、道路外７３と、上空７４が撮像されている。例えば、図７（ａ）に示す右画像７１から過去の道路領域中に存在する画素の輝度の情報を収集し、輝度の分布の平均値Bmと標準偏差σ等を求める。そして、図７（ｃ）に示すように、輝度の分布の平均値Bmから標準偏差σあるいは２σの範囲に入る輝度を道路領域の輝度範囲７６として求め、右画像７１の輝度のうち、道路領域７２の輝度範囲７６に入る画素に道路領域ラベルを付与する。これにより、図７（ｂ）に示されるように、道路領域７５を検出することができ、道路形状全体を認識することができる。
　このとき、過去の道路領域の代わりに自車の車速や操舵角等を用いて道路形状を予測して、車線幅ｗを定義することで得られる道路領域を用いて輝度値や色等の分布を取得してもよく、また、前記相関値系列から求める道路領域と輝度や色の分布から求める道路領域を組み合わせてもよい。
　さらに、レーザレーダやミリ波レーダ（レーダ装置）等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の障害物を検出し、その障害物の領域の全部あるいは一部を道路領域とすることで、道路上の障害物により道路領域が遮蔽される影響を除去してもよい。
　また、道路領域がアスファルトと、横断歩道などの路面ペイント等の複数の輝度、色から構成される場合は、道路領域の輝度分布、色の分布を複数求めることで、アスファルトと路面ペイント等の領域を道路領域として検出してもよい。
　また、車載システム３が、図２に図示しないカーナビゲーションシステムを具備している場合には、カーナビゲーションシステムが有する地図データベースから、走行中の道路の形状等を取得して、道路領域の輝度、色情報を取得することもできる。
　例えば、地図データベースの情報を基にカーナビゲーションシステムがカーブ半径を求め、道路形状認識装置１に送信する。道路形状認識装置１のナビゲーション情報取得部では、カーナビゲーションシステムから得たカーブ半径に加え、道路幅、道路に対する自車の位置を定義することで画像上での道路領域を予測して、予測した道路領域内の輝度、色情報を取得することができる。
　また、カーナビゲーションシステムが地図データベースから、横断歩道等の路面ペイントの有無等の情報を取得し、道路形状認識装置１のナビゲーション情報取得部に送信すれば、道路形状認識装置１がカーナビゲーションシステムの情報を基に、道路領域がいくつの輝度、色から構成されるかを判定して複数の輝度や色の分布を求めてもよい。
　そして、ステップＳ１０７では、ステップＳ１０６で検出した道路領域に対して、図１０、図１１、図１２のような曲線、直線等の組み合わせで表現される道路形状モデル１０１等を当てはめることで、道路形状を推定する処理が行われる。
　図１０と図１１は、道路形状を推定する際に用いるカーブの道路形状モデルの一例をそれぞれ示す図であり、図１２は、道路形状を推定する際に用いる坂道の道路形状モデルの一例を示す図である。
　図１０に示す道路形状モデル１０１は、Ｘ－Ｚ平面において所定の曲率半径で右カーブする道路形状モデル（Ｘ＝ａＺ３＋ｂＺ＋ｃ）であり、道路幅ｗを有して互いに対向するように左右の道路端１０１Ｌ、１０１Ｒが規定される。
　図１１に示す道路形状モデル１１０は、Ｘ－Ｚ平面において自車ｖから進行方向前側に距離Ｚｊだけ離間した接続点Ｐ１１で右に折れ曲がる道路形状モデルであり、自車ｖから接続点Ｐ１１までＺ軸に沿って延在する道路形状１１１（Ｘ＝ｅＺ＋ｆ）と、接続点Ｐ１１から進行方向に向かってＺ軸に対して一定の傾斜角度で延在する道路形状１１２（Ｘ＝ｇＺ＋ｈ）とを組み合わせたものである。道路形状モデル１１０は、道路幅ｗを有して互いに対向するように左右の道路端１１１Ｌ、１１２Ｌ、１１１Ｒ、１１２Ｒが規定される。
　図１２に示す道路形状モデル１２１は、Ｙ－Ｚ平面において所定の上り勾配を有する上り坂の道路形状モデル（Ｙ＝ａＺ３＋ｂＺ＋ｃ）である。
　図１３は、道路形状推定方法を説明する図であり、図１３（ａ）は道路形状モデルの複数の候補を示す図、図１３（ｂ）は道路形状モデルによって道路形状が推定された状態を示す図である。
　例えば、図１３（ａ）のように、道路形状モデル１３０の候補をＮｃ個生成し、各候補１～Ｎｃを画像座標系に変換して、画像１３１上の道路領域１３２とそれぞれ重ね合わせる（図１３（ｂ））。そして、重ね合わせた際に、最も類似度が高かった道路形状モデル１３０を道路形状の推定結果として採用する。類似度は、例えば道路形状内に道路領域１３２と判定された画素を多く含む場合に高くなるように判断される。
　このように、Ｘ－Ｚ平面の道路形状モデル１３０を用いて道路形状を推定することにより、実空間での道路形状を得ることができる。これにより、例えば図１３（ｂ）に示すように、道路領域検出結果にはノイズ１３４が発生するが、道路領域１３２全体と道路形状モデル１３０とを比較することで、このようなノイズの影響を軽減できる。
　このとき、計測部３０としてステレオカメラを用いれば道路面の高さ等が分かるため、他のセンサを用いるより精度のよい推定ができる。また、図１２に示すように、Ｙ－Ｚ平面の道路形状モデル１２１を用いれば、同様にして坂道の道路形状を推定することができる。
　また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、道路形状モデル１３０の候補を生成することもできる。
　例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径付近の道路形状候補のみを生成することで効率よく、かつ精度良く道路形状の推定を行うことができる。また、一般道か高速道路のいずれを走行中であるかの情報を取得できれば、高速道路では、カーブ半径が大きい道路形状モデルの候補のみを生成する構成にしてもよい。
　さらに、道路形状を推定する際に、近距離については白線や、縁石等の道路端を検出して、道路幅や３次関数の係数等を求め、遠くについては道路領域を用いて道路形状を推定するか、白線や縁石等の道路端等と、道路領域とを用いて道路形状を推定する構成としてもよい。
　また、ステップＳ１０８の道路境界点抽出処理では、図１４、図１５のようにステップＳ１０６で推定した道路形状１４１、１５１をもとに、ステレオカメラで計測した三次元データ群の中から、道路と道路外の境界に存在する三次元データを選択し、その選択した三次元データを道路境界点として抽出する処理が行われる。
　図１４に示す例では、左道路端１４１Ｌと右道路端１４１Ｒのうち、左道路端１４１Ｌの情報を用いて道路境界点を抽出している。右カーブでは、右道路端１４１Ｒが立体物等により遮蔽されることがあるため、左道路端１４１Ｌを用いることで安定した結果を得ることができる。
　図１４に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１４１の左道路端１４１Ｌに対して、三次元データ抽出領域１４２を設定し、自車ｖの進行方向前側で検出した三次元データ１４３ａ～１４３ｎの中から、三次元データ抽出領域１４２内の三次元データ１４３ａ～１４３ｅを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１４３ａ～１４３ｅを道路境界点として抽出している。
　また、図１５に示す例の場合、ステップＳ１０７の道路形状推定処理により推定した道路形状１５１に対して、三次元データ抽出領域１５２を設定し、自車ｖの進行方向前側で検出した三次元データ１５３ａ～１５３ｈの中から、三次元データ抽出領域１５２内の三次元データ１５３ａ～１５３ｃを、道路境界に存在する三次元データとして選択している。そして、その選択した三次元データ１５３ａ～１５３ｃを道路境界点として抽出している。
　例えば、道路境界に存在する三次元データを選択する場合に、単に三次元データ抽出領域１４２、１５２内の三次元データ１４３ａ～１４３ｅ、１５３ａ～１５３ｃを選択するだけでなく、連続性等を考慮して選択することでさらに精度のよい道路境界点が抽出できる。
　さらに、レーザレーダやミリ波レーダ等の図示しない立体物検出手段により、駐車車両や先行車両等の道路上の立体物を検出し、その立体物の領域の全部あるいは一部の三次元データを抽出しない構成としてもよい。駐車車両や先行車両等の道路上の立体物を除外することで、立体物が存在しないときと同じ道路形状を求めることができるようになる。
　また、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、地図データベースから走行中の道路の形状等を取得して、地図データベースの道路形状を考慮して道路境界点を抽出することもできる。
　例えば、カーナビゲーションシステムが地図データベースから、カーブ半径を取得し、道路形状認識装置１に送信する。道路形状認識装置１では、カーナビゲーションシステムから得たカーブ半径に沿うように三次元データ抽出領域１４２、１５２を設定することで、効率良く、かつ精度良く道路境界点を抽出することができる。
　そして、ステップＳ１０９では、ステップＳ１０７で推定された道路形状を補正して、補正後の道路形状を算出する処理が行われる。道路形状算出部３４は、図１６、図１７のようにステップＳ１０８で抽出した道路境界点の三次元位置を用いて道路形状のずれを補正する。例えばカーブの道路形状の場合は、道路形状モデルを３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃとし、係数ｃは道路幅ｗから求めると、ａとｂのみを算出すればよい。
　これは、下記の式（３）で表される最小二乗法などにより求めることができる。最小二乗法の入力データとしては、例えば道路形状推定部３２で推定した道路形状を所定の間隔でサンプリングした道路形状の座標列と、道路境界点抽出部３３により抽出した三次元位置の座標列である。これらの座標列を（Xi, Zi）とする。ただし、i=1,2,・・・Lであり、Lは、サンプリングした道路形状の座標列と、三次元位置の座標列の総数である。
Figure JPOXMLDOC01-appb-M000003
　また、道路形状算出部３４は、ステップＳ１０９で道路形状を補正した結果、もしくは、ステップＳ１０７の道路形状推定部３２の結果のいずれかに基づいて、カーブの曲率半径Ｒとカーブまでの距離Ｄｃを算出する（図１８）。道路形状モデルに３次関数Ｘ＝ａＺ３＋ｂＺ＋ｃを用いた場合には、下記の式（４）により曲率半径Ｒを算出することができる。
Figure JPOXMLDOC01-appb-M000004
　上記した式（４）では、距離Ｚが決まれば曲率半径Ｒが一意に求まる。したがって、図１８のように、カーブの曲率半径Ｒを求める注視点Ｐ１８（Ｘｆ、Ｚｆ）を定義する。注視点Ｐ１８（Ｘｆ、Ｚｆ）は、例えばＺ軸と道路形状１８１のカーブ外側の道路端（図１８では左道路端１８１Ｌ）との交点として定義できる。
　そして、図１８に示すように、曲率半径Ｒが注視点Ｐ１８（Ｘｆ、Ｚｆ）に接するように円１８２の中心１８２ａ（Ｃｘ、Ｃｚ）を求めると、自車ｖからカーブまでの距離Ｄｃを円１８２の中心のＺ座標であるＣｚとすることができる。このとき、道路形状を直線と３次関数など複数のモデルで近似することにより実際の道路形状に近い結果を得ることができる。
　また、カーブの曲率半径の変わりに、注視点Ｐ１９（Ｘｆ、Ｚｆ）でＺ軸と道路形状１９１のなす角度をカーブの角度θとして求めてもよい（図１９）。さらに、道路端の位置情報として、３次関数等で求めた道路形状そのものを出力してもよく、図２０のように所定の距離間隔で道路２０１の道路形状をサンプリングし、右道路端２０１Ｒの位置の系列ＰiR、左道路端２０１Ｌの位置の系列ＰiLを算出して出力してもよい。ただし、ｉは道路形状をＮ個のセグメントに分割した際のセグメント番号であり、１からＮの値を取る。
　坂道の場合は、図２１に示すように、勾配変化点を注視点Ｐ２１（Ｙｆ、Ｚｆ）として設定する。そして、補正後の道路２１１の道路形状から、その接線２１２とＺ軸の成す角度を道路２１１の勾配角度θ’として求め、また、自車ｖから注視点Ｐ２１までの距離Ｄｓを求める（図２１）。坂道についても、カーブと同様に３次関数等の道路形状モデルの係数や、サンプリングした道路形状のデータを求め、出力してもよい。
　そして、車載システム３が図２に図示しないカーナビゲーションシステムを具備している場合には、ナビゲーション情報取得部が自車位置検出部からの検出信号に基づき地図データベースから走行中の道路の形状等を取得することにより、道路形状を精度良く算出することもできる。
　ステップＳ１１０では、ステップＳ１０９までに求めた道路形状のうち少なくとも一つの結果を送信する。コントロールユニット２は、道路形状認識装置１により求めた道路形状算出結果に基づいて、制御・警報内容を決定し、自車ｖを制御するか乗員に警報を発する、あるいは自車ｖを制御し、かつ乗員に警報を発する処理を行う。
　その処理について図２２のフローチャートに沿って説明する。本実施の形態では、道路形状に応じて適正車速を求め、減速、警報処理を実施する例について説明するが、道路形状に応じて自動的に旋回する等の処理を行ってもよい。
　図２２に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がカーナビゲーションシステムの走行経路案内画像か、その他の映像であるかに拘わらず、実施される。ただし、自車ｖが走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像か、その他の映像であるかに応じて、処理の実施を決定する構成としてもよい。
　まず、イグニッションスイッチ２０がオンとなると、コントロールユニット２により運転支援プログラムが実行され、初期化処理を実行する（ステップＳ２０１）。このとき、カーナビゲーションプログラム等の各種プログラムが同時に実行されていてもよい。次に、システムの起動スイッチ２１がＯＮか否かを判定する（ステップＳ２０２）。そして、システムの起動スイッチ２１がＯＮとなったときは、道路形状算出結果受信処理を実行し道路形状の情報をＲＡＭ１１に格納する（ステップＳ２０３）。
　次に、ステップＳ２０４により道路形状に応じた適性速度を算出する。例えば、カーブの場合であればカーブの曲率半径とカーブまでの距離に応じて予め適性車速を設定しておくことで、道路形状にあった適性車速を得ることができる。
　前述の道路形状認識装置１によって、道路領域を利用して遠方までの道路形状を算出することができ、道路形状に応じた目標車速をリアルタイムで求めることができる。さらに、ステレオカメラ４では、画像上での形状に加えて各画素の三次元位置が求まっているため、道路境界に存在する三次元データのみを適切に選択すれば、精度良く道路形状を算出することができ、乗員に対して違和感の小さい車両制御、警報が可能となる。
　そして、ステップＳ２０５では、ステップＳ２０４により求めた適性車速と自車ｖの車速とを比較し、自車ｖの車速の方が大きければブレーキ、エンジンブレーキ、回生ブレーキのいずれか少なくとも１つで減速制御するか、あるいは運転者に速度超過を警告するメッセージや音声、警告を発する。このとき、減速制御と警告を同時に行ってもよい。
　また、警報は、ディスプレイ１５かスピーカ１９のいずれか、あるいはディスプレイ１５とスピーカ１９の両方を用いて乗員に警報を発する。ここで、警報にはディスプレイ１５、スピーカ１９の他にシートベルトや、アクセル、ブレーキペダル、ステアリング、シート等を振動させるなどによって警報を発してもよい。
　本発明を適用した道路形状認識装置１は、すべての処理をＣＰＵ６により実行する構成となっているが、画像処理専用ＬＳＩなどで画像処理の一部、あるいは全てを処理するようにしてもよい。
　以上説明したように、本発明を適用した道路形状認識装置１によれば、計測部３０のカメラ４Ｒ、４Ｌで撮像した各画像を処理して、アスファルト等からなる道路領域を検出し、その検出した道路領域に基づいて道路形状を推定するので、道路領域は白線や縁石に比べ面積が広く検出でき、白線や縁石などが存在しない道路や、白線や縁石などが見えない遠方の道路においても、精度良く道路形状を算出することができる。
　特に、ステレオカメラを用いると、画像上での道路形状を求めるだけでなく、物体の三次元位置を利用することができ、カーブの曲率半径等を高精度に求めることができる。さらに、道路境界点抽出部３３と道路形状算出部３４を具備すれば、道路形状推定部３２で推定した道路形状に基づき、ステレオカメラで算出した三次元データ群から道路境界を検出することができ、さらに精度のよい道路形状を算出することができる利点がある。
　また、本実施の形態の構成に加えて、カーナビゲーションシステムを具備すれば、カーナビゲーションシステムの自車位置検出部から得られる自車位置の情報と、カーナビゲーションシステムの地図データベースから得られる地図データとから、走行中の道路が高速道路か一般道かなどの道路種別を判定し、道路種別などに基づいて道路形状の係数の取り得る値の範囲を決定することができる。
　また、道路形状認識装置１における一連の処理または一部の処理を、コントロールユニット２内あるいは図示しない別の処理装置で処理される構成としてもよく、また、コントロールユニット２の処理が道路形状認識装置１内で処理される構成としてもよい。
　以上説明した本実施の形態では、計測部３０として２つのカメラ４Ｒ、４Ｌを用いる例を示したが、カメラを１つのみと、レーザレーダ、ミリ波レーダなどのレーダ装置とを用いた構成でもよく、またはカメラ、レーザレーダ、ミリ波レーダなどを組み合わせた構成であってもよい。
　例えば、単眼カメラとレーダ装置とを組み合わせて、単眼カメラで道路領域を検出し、レーダ装置で物体の三次元位置を検出することで、上記した本実施の形態と同様の処理を実現できる。なお、単眼カメラとレーダ装置等の複数のセンサを組み合わせる場合は、カメラとレーダ装置の取り付け位置、取り付け角度を予め求めておき、座標系を合わせておくことが必要である。また、単眼カメラのみで構成した場合も、ステレオカメラ、単眼カメラとレーダ装置の組み合わせ等よりも精度は落ちるものの、道路形状を算出することができる。
　さらに、Ｘ－Ｚ平面やＹ－Ｚ平面などの２次元平面上での道路形状の当てはめだけでなく、Ｘ－Ｙ－Ｚ空間で平面や曲面の当てはめを行うことでカーブや勾配に加えバンク等の道路形状も推定することができる。
　道路形状認識装置１が出力する、カーブまでの距離Ｄｃとカーブの曲率半径Ｒ、カーブ接線角度θ、坂までの距離Ｄｓ、勾配θ’のすくなくとも１つから検出した道路形状を走行する適正速度を算出することで、道路形状に応じた車両制御や警報処理が可能となる。
［第２実施の形態］
　図２３は、第２実施の形態における道路形状認識装置の機能ブロック図である。
　本実施の形態における道路形状認識装置１’は、図２３に示すように、選択部４０と、第１認識部４１と、第２認識部４２を備えている。選択部４０は、道路周辺の立体物の有無や見通しなどがよい場合には第１認識部４１を選択し、道路周辺の立体物により見通しが悪く、前方の道路形状の一部が死角となっている場合には第２認識部４２を選択する。
　第１認識部４１は、道路領域に基づいて道路形状を認識するものであり、その処理の内容は、上述の第１実施の形態と同様であるのでその詳細な説明は省略する。第２認識部４２は、進行方向前側に存在する物体を検出して、その物体の三次元位置に基づいて道路形状を認識するものであり、物体検知部５１、道路形状予測部５２、物体選択部５３、道路形状推定部５４を有している。
　物体検知部５１は、計測部３０であるカメラ４Ｒ、４Ｌの撮像画像を処理して物体を検出する機能を有する。物体には、車線などの路面標示と、縁石や樹木、建物といった立体物が含まれる。ここでは、物体を検出するとともに、その三次元位置も計測される。
　道路形状予測部５２は、物体検知部５１で検出した車線を基に遠方の道路形状を予測する機能を有するものである。この予測は、車線だけでなく、ガードレールや縁石などの道路を構成する立体物で予測してもよく、車線でなければならないといった制約はない。
　物体選択部５３は、道路形状予測部５２により予測した道路形状付近の立体物を選択する機能を有する。道路形状推定部５４は、物体選択部５３により選択した立体物の三次元位置情報と道路形状予測部５２で道路形状を予測する際に用いた車線情報とを用いて道路形状を再度求める機能を有する。
　上記構成を有する第２認識部４２は、カメラ４Ｒ、４Ｌで撮像した画像を処理し、車線や縁石といった道路を構成する物体から道路形状を予測し、道路形状を構成する車線等により予測した結果を基に道路に沿って存在する建物、樹木等を含む立体物を正しく選択することで、白線や縁石などに加えその他の立体物の位置情報を利用でき、高精度な道路形状の推定が実現できる。
　特に、ステレオカメラ４を用いると、車線や縁石を検出できるだけでなく、その三次元位置を取得できるので、道路形状を精度よく予測できるとともに、草木を含む多種多様な立体物を検出でき、多くの立体物の位置情報を利用することができる。
　また、第２認識部４２の道路形状推定部５４は、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出し、道路形状の推定に用いる立体物の位置情報を補正することで、車線等の道路形状を構成する物体と、建物等の道路に沿って存在する物体の位置誤差を吸収でき、より精度の高い道路形状の推定が可能となる。また、車線などの道路を構成する物体と建物などの道路に沿って存在する物体の距離を算出する代わりに、自車走行車線の左側に存在する車線数、右側に存在する車線数を求め、車線数に応じて道路形状の推定に用いる立体物の位置情報を補正する構成としてもよい。
　上記構成を有する道路形状認識装置１’によれば、立体物により見通しが悪く、前方の道路形状の一部が死角になっている場合は、選択部４０が第２認識部４２を選択することにより、見通しの悪い道路においても、精度を下げることなく、道路形状を算出することができる。
［第３実施の形態］
　図２４は、第３実施の形態における道路形状認識装置の機能ブロック図である。
　本実施の形態における道路形状認識装置１”は、図２４に示すように、第１認識部４１と、第２認識部４２と、道路形状統合部４３を備えている。第１認識部４１と第２認識部４２は、上述の各実施の形態と同様であるのでその詳細な説明を省略する。
　道路形状認識装置１”によれば、第１認識部４１で道路領域に基づいて道路形状を算出する処理と、第２認識部４２で立体物を用いて道路形状を算出する処理の両方を行い、道路形状統合部４３が立体物の有無などからいずれかの道路形状を選択するか、又は、両方の平均をとるなどにより統合して１つの道路形状を出力するので、見通しが悪い道路などにおいても、精度を下げることなく、道路形状を算出することができる。
　本実施の形態における道路形状認識装置１”が正常に動作しているか否かは、見通しが良く車線のある道路、見通しが良く車線のない道路、見通しが悪く車線がある道路、見通しが悪く車線のない道路等において、道路形状を算出できるかどうか、道路形状の検出率、道路形状の検出距離、道路形状の算出精度を比較することで確認できる。
　本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

Claims (21)

  1. 　車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
    　前記車両の進行方向前側を撮像する撮像部と、
    　該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、
    　該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部と、を有することを特徴とする道路形状認識装置。
  2. 　前記道路領域検出部は、前記撮像装置により撮像した画像の輝度情報と色情報の少なくとも一方に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
  3. 　前記道路領域検出部は、該道路領域検出部によって過去に道路領域を検出した過去画像から前記道路領域の輝度または色の分布の少なくとも一方の情報を取得し、該取得した情報に基づいて前記画像から前記道路の道路領域を検出することを特徴とする請求項２に記載の道路形状認識装置。
  4. 　自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
    　前記道路領域検出部は、前記地図データベースから得られる道路領域の輝度又は色の分布の少なくとも一方の情報に基づいて前記画像から前記道路の道路形状を検出することを特徴とする請求項２に記載の道路形状認識装置。
  5. 　前記道路領域検出部は、前記撮像部によって撮像された前記道路上の障害物の全部又はその一部を道路領域として検出することを特徴とする請求項２に記載の道路形状認識装置。
  6. 　前記撮像部は、複数のカメラを備え、
    　前記道路領域検出部は、前記複数のカメラにより撮像した各画像を処理して前記車両の進行方向前側に存在する物体の三次元位置を検出し、該物体の三次元位置を検出する際に前記複数のカメラから得られる画像間の相関値の系列に基づいて前記道路領域を検出することを特徴とする請求項１に記載の道路形状認識装置。
  7. 　前記道路形状推定部は、前記道路領域検出部により検出した道路領域と予め設定された複数の道路形状モデルとの形状の類似度をそれぞれ判定し、該類似度が最も高い道路形状モデルを前記道路の道路形状として採用することを特徴とする請求項１から請求項６のいずれか一項に記載の道路形状認識装置。
  8. 　前記道路形状推定部は、前記道路領域検出部により検出した道路領域に基づいて、複数の道路形状モデルを生成することを特徴とする請求項７に記載の道路形状認識装置。
  9. 　自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
    　前記道路形状推定部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状モデルの候補を生成することを特徴とする請求項７に記載の道路形状認識装置。
  10. 　前記道路形状推定部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として推定することを特徴とする請求項７に記載の道路形状認識装置。
  11. 　前記道路と道路外との道路境界点を抽出する道路境界点抽出部と、
    　該道路境界点抽出部により抽出した道路境界点に基づいて前記道路形状推定部により推定した道路形状を補正する道路形状算出部と、を有することを特徴とする請求項１から請求項１０のいずれか一項に記載の道路形状認識装置。
  12. 　前記道路境界点抽出部は、前記道路形状推定部により推定した道路形状に基づいて、前記車両の進行方向前側に存在する三次元データのうち、前記道路と道路外との境界に存在する三次元データを選択し、該選択した三次元データを前記道路境界点として抽出することを特徴とする請求項１１に記載の道路形状認識装置。
  13. 　前記車両の進行方向前側に存在する物体の三次元データを検出するレーダ装置を有し、
    　前記道路境界点抽出部は、該レーダ装置の検出結果から前記境界に存在する三次元データを抽出することを特徴とする請求項１２に記載の道路形状認識装置。
  14. 　前記道路境界点抽出部は、前記道路上に存在する駐車車両や先行車両等の障害物の三次元データを前記境界に存在する三次元データから除外することを特徴とする請求項１２に記載の道路形状認識装置。
  15. 　自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
    　前記道路境界点抽出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路境界点を抽出することを特徴とする請求項１１に記載の道路形状認識装置。
  16. 　前記道路形状算出部は、前記道路のカーブの曲率半径、前記カーブまでの距離、前記カーブの接線角度、前記道路の坂の勾配、前記坂までの距離、前記車両と前記カーブ又は前記車両と前記坂との相対位置、前記道路の道路形状を道路形状モデルで近似した道路形状モデル係数の少なくともいずれか１つを道路形状として算出することを特徴とする請求項１１に記載の道路形状認識装置。
  17. 　自車位置周辺の地図データを地図データベースから取得するナビゲーション情報取得部を有し、
    　前記道路形状算出部は、前記地図データベースから得られる道路形状の情報に基づいて前記道路形状を補正することを特徴とする請求項１１に記載の道路形状認識装置。
  18. 　車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
    　前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
    　前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
    　前記道路の道路周辺に立体物が存在するか否か、もしくは見通し条件に基づいて前記第１認識部と前記第２認識部のいずれか一方を選択し、該選択した方に道路形状の算出を行わせる選択部と、を有することを特徴とする道路形状認識装置。
  19. 　車両の進行方向前側に存在する道路の道路形状を認識する道路形状認識装置であって、
    　前記車両の進行方向前側を撮像した画像に基づき前記道路の道路領域を検出し、該検出した道路領域に基づいて前記道路の道路形状を算出する第１認識部と、
    　前記車両の進行方向前側を撮像した画像に基づき前記車両の進行方向前側に存在する物体の三次元位置を検出し、該検出した物体の三次元位置に基づいて前記道路の道路形状を算出する第２認識部と、
    　前記第１認識部により算出された前記道路の道路形状と、前記第２認識部により算出された前記道路の道路形状とを統合して一つの道路形状を出力する道路形状統合部と、を有することを特徴とする道路形状認識装置。
  20. 　前記第１認識部は、前記車両の進行方向前側を撮像する撮像部と、該撮像部により撮像した画像に基づき前記道路の道路領域を検出する道路領域検出部と、該道路領域検出部により検出した道路領域に基づき前記道路の道路形状を推定する道路形状推定部とを有し、
    　前記第２認識部は、前記車両の前方に存在する物体の三次元位置を検出する検出部と、該検出部で検出した物体の三次元位置に基づき遠方の道路形状を推定する道路形状予測部と、該道路形状予測部により予測した道路形状付近の立体物を選択する立体物選択手段と、該立体物選択手段により選択された立体物の三次元位置情報と、前記道路形状予測部で前記道路形状を予測する際に用いた車線や縁石等の道路を構成する物体の情報とを用いて道路形状を再度求める道路形状算出部を有することを特徴とする請求項１８又は１９に記載の道路形状認識装置。
  21. 　前記請求項１から請求項２０のいずれか一項に記載の道路形状認識装置と、
    　該道路形状認識装置から出力される道路形状に基づいて、該道路形状を有する道路を走行する適正速度を算出し、前記車両の走行速度を制御するコントロールユニットと、を有することを特徴とする車載システム。
PCT/JP2010/062416 2009-07-29 2010-07-23 道路形状認識装置 WO2011013586A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10804332.4A EP2461305B1 (en) 2009-07-29 2010-07-23 Road shape recognition device
US13/387,137 US9074906B2 (en) 2009-07-29 2010-07-23 Road shape recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-176015 2009-07-29
JP2009176015A JP5441549B2 (ja) 2009-07-29 2009-07-29 道路形状認識装置

Publications (1)

Publication Number Publication Date
WO2011013586A1 true WO2011013586A1 (ja) 2011-02-03

Family

ID=43529243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062416 WO2011013586A1 (ja) 2009-07-29 2010-07-23 道路形状認識装置

Country Status (4)

Country Link
US (1) US9074906B2 (ja)
EP (1) EP2461305B1 (ja)
JP (1) JP5441549B2 (ja)
WO (1) WO2011013586A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425254B1 (ja) 2023-11-16 2024-01-30 Ｐｃｉソリューションズ株式会社 警戒エリア設定装置

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5075152B2 (ja) * 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
EP2347940A1 (en) * 2010-01-25 2011-07-27 Autoliv Development AB An object collision warning system and method for a motor vehicle
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
US20130253753A1 (en) * 2012-03-23 2013-09-26 Google Inc. Detecting lane markings
KR20130125644A (ko) * 2012-05-09 2013-11-19 현대모비스 주식회사 레이더 센서를 이용한 주행 경로 생성 가능한 차선 유지 보조 시스템 및 주행 경로 생성 방법
EP2863374A4 (en) * 2012-06-14 2016-04-20 Toyota Motor Co Ltd CIRCULATION PATH SEPARATION MARKING DETECTION APPARATUS, AND DRIVER ASSISTANCE SYSTEM
JP5829980B2 (ja) 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP6376429B2 (ja) * 2012-11-13 2018-08-22 株式会社リコー 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
JP5739465B2 (ja) * 2013-02-14 2015-06-24 本田技研工業株式会社 車両の操舵制御装置
CN104021368A (zh) * 2013-02-28 2014-09-03 株式会社理光 估计路面高度形状的方法和系统
DE102013104256A1 (de) * 2013-04-26 2014-10-30 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
KR101748904B1 (ko) 2013-10-31 2017-06-20 주식회사 엘지화학 모듈 중계 장치 및 그 중계 방법
US20150142251A1 (en) * 2013-11-21 2015-05-21 International Business Machines Corporation Vehicle control based on colors representative of navigation information
US10099724B2 (en) 2014-01-21 2018-10-16 Continental Automotive Systems, Inc. Road departure protection system
WO2015112709A1 (en) * 2014-01-21 2015-07-30 Continental Automotive Systems, Inc. Road departure protection system
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
SE538252C2 (sv) * 2014-08-13 2016-04-19 Scania Cv Ab Förfarande och system för säkerhetsförbättring vid framförande av ett motorfordon
KR20230042386A (ko) * 2014-08-15 2023-03-28 에이아이, 아이엔씨. 레이더 전송을 위한 방법 및 시스템
JP6285321B2 (ja) * 2014-08-25 2018-02-28 株式会社Ｓｏｋｅｎ 道路形状認識装置
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
KR102239483B1 (ko) * 2014-10-28 2021-04-13 현대모비스 주식회사 차량의 맵매칭 방법 및 그 장치
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
JP6443063B2 (ja) * 2015-01-15 2018-12-26 株式会社デンソー 道路形状情報生成装置、道路形状情報集配システム及び道路形状情報生成プログラム
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6160634B2 (ja) * 2015-02-09 2017-07-12 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
BR112017021042B1 (pt) * 2015-05-15 2022-10-25 Honor Device Co., Ltd Método de medição, terminal e meio legível por computador
DE102015008154A1 (de) * 2015-06-24 2016-12-29 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
WO2017037753A1 (ja) * 2015-08-28 2017-03-09 日産自動車株式会社 車両位置推定装置、車両位置推定方法
US20190078876A1 (en) * 2016-03-29 2019-03-14 Kyb Corporation Road surface displacement detection device and suspension control method
KR20190028528A (ko) * 2016-07-26 2019-03-18 닛산 지도우샤 가부시키가이샤 자기 위치 추정 방법 및 자기 위치 추정 장치
JP6592423B2 (ja) * 2016-11-25 2019-10-16 株式会社デンソー 車両制御装置
KR101897104B1 (ko) * 2016-12-06 2018-09-11 현대오트론 주식회사 예측 제어 방법 및 장치
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
JP6693893B2 (ja) 2017-01-16 2020-05-13 株式会社Ｓｏｋｅｎ 走路認識装置
KR20180090610A (ko) 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
JP6889005B2 (ja) 2017-04-05 2021-06-18 株式会社Ｓｏｋｅｎ 道路パラメータ推定装置
DE102017114571A1 (de) * 2017-06-29 2019-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs
US10382383B2 (en) 2017-07-28 2019-08-13 Upheaval LLC Social media post facilitation systems and methods
MX2020002174A (es) * 2017-08-30 2020-07-14 Nissan Motor Metodo de control de desplazamiento y dispositivo de control de desplazamiento para vehiculo de conduccion asistida.
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
JP6971177B2 (ja) 2018-03-09 2021-11-24 フォルシアクラリオン・エレクトロニクス株式会社 区画線認識装置
JP7082545B2 (ja) * 2018-08-01 2022-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
EP3852355A4 (en) * 2018-09-13 2021-11-10 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE AND METHOD, IMAGING DEVICE, MOBILE BODY DEVICE AND COMPUTER PROGRAM
JP2020085688A (ja) * 2018-11-27 2020-06-04 本田技研工業株式会社 表示システム、表示制御方法、およびプログラム
JP7359715B2 (ja) 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
US11314974B2 (en) * 2020-03-30 2022-04-26 Hitachi Astemo, Ltd. Detecting debris in a vehicle path
US20220080986A1 (en) * 2020-09-16 2022-03-17 Zenuity Ab Monitoring of on-board vehicle image capturing device functionality compliance
JP7090136B2 (ja) * 2020-10-29 2022-06-23 成典 田中 道路特徴決定装置
WO2023152871A1 (ja) * 2022-02-10 2023-08-17 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2006024104A (ja) * 2004-07-09 2006-01-26 Honda Motor Co Ltd 車両の道路適応走行制御装置
JP2007066047A (ja) 2005-08-31 2007-03-15 Mitsubishi Electric Corp 道路形状認識装置
JP2009176015A (ja) 2008-01-24 2009-08-06 Ricoh Co Ltd データベース検索システム、検索画面提供方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611326B2 (ja) * 1988-04-18 1997-05-21 株式会社デンソー 車両用道路認識装置
US6526352B1 (en) 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
JP4295298B2 (ja) 2006-08-07 2009-07-15 株式会社日立製作所 車両の運転支援制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266828A (ja) * 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2006024104A (ja) * 2004-07-09 2006-01-26 Honda Motor Co Ltd 車両の道路適応走行制御装置
JP2007066047A (ja) 2005-08-31 2007-03-15 Mitsubishi Electric Corp 道路形状認識装置
JP2009176015A (ja) 2008-01-24 2009-08-06 Ricoh Co Ltd データベース検索システム、検索画面提供方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2461305A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425254B1 (ja) 2023-11-16 2024-01-30 Ｐｃｉソリューションズ株式会社 警戒エリア設定装置

Also Published As

Publication number Publication date
EP2461305A1 (en) 2012-06-06
EP2461305A4 (en) 2013-10-30
JP5441549B2 (ja) 2014-03-12
US9074906B2 (en) 2015-07-07
EP2461305B1 (en) 2024-01-17
JP2011028659A (ja) 2011-02-10
US20120185167A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
JP5441549B2 (ja) 道路形状認識装置
JP5094658B2 (ja) 走行環境認識装置
US9669829B2 (en) Travel lane marking recognition system
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
EP3306429B1 (en) Position estimation device and position estimation method
JP4420011B2 (ja) 物体検知装置
US10246030B2 (en) Object detection apparatus and driving assistance apparatus
US20140240502A1 (en) Device for Assisting a Driver Driving a Vehicle or for Independently Driving a Vehicle
JP5363921B2 (ja) 車両用白線認識装置
KR20080004835A (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
JP2018048949A (ja) 物体識別装置
JP2020016541A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
WO2020162109A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP2012088217A (ja) 運転支援制御装置
JP2011012965A (ja) 車線判定装置及びナビゲーションシステム
JP5097681B2 (ja) 地物位置認識装置
JP6115429B2 (ja) 自車位置認識装置
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
JP6200780B2 (ja) 車線認識判定装置
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
US20190185016A1 (en) Vehicle position attitude calculation apparatus and vehicle position attitude calculation program
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
CN115050205A (zh) 地图生成装置以及位置识别装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10804332

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010804332

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13387137

Country of ref document: US